WO2022259799A1 - 制御装置、飛行体システム、制御方法、及びプログラム - Google Patents

制御装置、飛行体システム、制御方法、及びプログラム Download PDF

Info

Publication number
WO2022259799A1
WO2022259799A1 PCT/JP2022/019850 JP2022019850W WO2022259799A1 WO 2022259799 A1 WO2022259799 A1 WO 2022259799A1 JP 2022019850 W JP2022019850 W JP 2022019850W WO 2022259799 A1 WO2022259799 A1 WO 2022259799A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
flying object
marker
instruction
light emission
Prior art date
Application number
PCT/JP2022/019850
Other languages
English (en)
French (fr)
Inventor
哲 和田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023527575A priority Critical patent/JPWO2022259799A1/ja
Publication of WO2022259799A1 publication Critical patent/WO2022259799A1/ja
Priority to US18/523,880 priority patent/US20240103538A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F3/00Ground installations specially adapted for captive aircraft
    • B64F3/02Ground installations specially adapted for captive aircraft with means for supplying electricity to aircraft during flight
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/60Tethered aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01DCONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • G05D1/2248Optic providing the operator with simple or augmented images from one or more cameras the one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/244Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/25UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/80Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/89Specific applications of the controlled vehicles for information gathering, e.g. for academic research for inspecting structures, e.g. wind mills, bridges, buildings or vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/90Building sites; Civil engineering
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones
    • G05D2109/25Rotorcrafts
    • G05D2109/254Flying platforms, e.g. multicopters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals

Definitions

  • the technology of the present disclosure relates to a control device, an aircraft system, a control method, and a program.
  • Japanese Unexamined Patent Application Publication No. 2020-032804 discloses an unmanned flying carrier comprising a flightable aircraft having a plurality of rotor blades, and a fork provided to fly together with the aircraft and on which a workpiece is placed. It is
  • Japanese Patent Application Laid-Open No. 2017-024616 describes a flying object that flies using a propulsive force generated by a propulsion device, which includes an attitude detection unit that detects the attitude of the flying object, a light receiving unit that receives light, The propulsion force of the propulsion system is controlled based on the attitude angle obtained from the attitude detector and the intensity of the light obtained from the light receiver so that the flying object maintains a constant position with respect to the luminous body that emits light. and a flight control for controlling the position and/or velocity of the vehicle.
  • Japanese Patent Application Laid-Open No. 2019-055780 discloses an aircraft control system used for controlling an aircraft, which is arranged on a flight route of the aircraft, and control information for controlling the aircraft is an image or text, or a combination thereof. a mark portion displayed as a combination; a flight control portion that controls the flying object based on the control information; an imaging portion that captures an image or characters displayed on the mark portion, or a combination thereof; Alternatively, a control system for an flying object is disclosed that includes a correcting unit that corrects control information based on the positional relationship between the flying object and the mark portion when capturing an image of characters or a combination thereof.
  • Japanese Patent Application Laid-Open No. 2019-156242 discloses a system for an aircraft that flies by the driving force of a motor, which is installed on the ground and has a ground part having a power supply device, and a first end connected to the ground part A cable, a flying object connected to the second end of the cable, a reel device installed on the ground for winding the surplus cable, and a controller for operating the flying object, the flying object having a main rotor.
  • a flying object altitude measuring means for measuring its own altitude, and a flying object position grasping means for grasping its own position
  • the reel device is a cylindrical drum on which the cable is wound a motor for rotationally driving the drum; a rotation sensor capable of measuring the direction and speed of rotation of the drum; current detection means for detecting current flowing through the coil of the motor; It has a motor controller that controls the torque generated by the motor, a reel device altitude measurement means that measures its own altitude, and a reel device position grasping means that grasps its position, and the motor controller basically consists of
  • the drum By matching the current value detected by the current detection means with a preset standard value, the drum generates torque in the direction in which the cable is wound to control the motor, and the operator controls the controller is operated, based on the information obtained from the flying object altitude measuring means, the flying object position grasping means, the reel device altitude measuring means, and the reel device position grasping means, and the operation information of the controller,
  • a flying object system that corrects and controls the set
  • JP-A-2018-095105 a main rope stretched along the object to be inspected and a part on one end side are joined to a flying object provided with an inspection unit for inspecting the object to be inspected, and the other end side A connecting rope engages the main rope so that the portion of the main rope is movable in the longitudinal direction of the main rope.
  • Japanese Patent Application Laid-Open No. 2019-144052 discloses an inspection device for an inspection object that evaluates the inspection object based on the inspection result of the state of the inspection object, detecting the state of the inspection object and detecting the inspection object a detection unit that generates inspection information representing the state of the inspection object; an index unit that is provided in the detection unit and indicates the inspection location of the inspection object; a flying object that moves along the inspection object; A power supply unit connected via a cable and capable of continuously supplying power to the flying vehicle, and a plurality of reference points and indicators mounted on the flying vehicle and set at at least two locations separated from each other on the surface of the object to be inspected.
  • an imaging unit for generating image information by capturing an image of a range including a plurality of reference points and an index unit.
  • a control unit an inspection position information generation unit that generates inspection position information of an object to be inspected based on the image information captured by the imaging unit, the position of the index unit relative to the positions of the plurality of reference points, and a detection unit.
  • an inspection object evaluation information generation unit that generates evaluation information for evaluating the state of the inspection object in which the inspection information and the inspection position information are associated with each other.
  • One embodiment of the technology of the present disclosure provides, for example, a control device, an aircraft system, a control method, and a program that can position an aircraft in the vertical direction without using a satellite positioning system.
  • a first aspect of the technology of the present disclosure includes a processor and a memory connected to or built into the processor, and the processor is mounted on an aircraft for a marker whose vertical position is variable by a displacement mechanism.
  • a control device that obtains the vertical position of the marker detected by the optical sensor and controls the aircraft to maintain or change the vertical position of the aircraft based on the vertical position of the marker. be.
  • a second aspect of the technology of the present disclosure is the control device according to the first aspect, wherein the optical sensor has a first imaging device.
  • a third aspect of the technology of the present disclosure is the control device according to the second aspect, wherein the processor controls the first imaging device to capture an imaging scene partially including the marker. be.
  • a fourth aspect of the technology of the present disclosure is the control device according to the third aspect, wherein the imaging scene includes a first inspection object positioned around the marker.
  • a fifth aspect of the technology of the present disclosure is the control device according to the third aspect or the fourth aspect, wherein the vertical position of the marker is obtained by imaging the imaging scene with the first imaging device. is the position detected based on the image obtained.
  • a sixth aspect of the technology of the present disclosure is the control device according to the fifth aspect, wherein the processor adjusts the height of the flying object so that the marker is arranged in the center of the image in the vertical direction on the image. It is a control device that performs control for setting the vertical position of the aircraft.
  • a seventh aspect of the technology of the present disclosure is the control device according to any one of the first to sixth aspects, wherein the processor determines the vertical position of the flying object with respect to the flying object. It is a control device that controls setting to the same position as the vertical position of the marker.
  • An eighth aspect of the technology of the present disclosure is the control device according to the first aspect or the second aspect, wherein the optical sensor has a LiDAR scanner, and the vertical position of the marker is determined by the LiDAR scanner.
  • the control device is a position detected based on scan data obtained by scanning a target area included in a part.
  • a ninth aspect of the technology of the present disclosure is the control device according to any one of the first to eighth aspects, wherein the marker has a light emitter.
  • a tenth aspect of the technology of the present disclosure is the control device according to the ninth aspect, wherein the processor performs first control on the flying object according to a first light emission mode of the light emitter. .
  • An eleventh aspect of the technology of the present disclosure is the control device according to the tenth aspect, wherein the first control includes control for maintaining or changing the vertical position of the aircraft.
  • a twelfth aspect of the technology of the present disclosure is the control device according to the tenth aspect or the eleventh aspect, wherein the first control includes control for maintaining or changing the movement speed of the flying object.
  • a thirteenth aspect of the technology of the present disclosure is the control device according to any one of the tenth to twelfth aspects, wherein the first control includes movement control for horizontally moving the flying object. It is a control device.
  • a fourteenth aspect of the technology of the present disclosure is the control device according to the thirteenth aspect, wherein the movement control adjusts the first distance between the marker and the flying object by horizontally moving the flying object. It is a control device containing controls.
  • a fifteenth aspect of the technology of the present disclosure is the control device according to any one of the tenth to fourteenth aspects, wherein the first light emission mode includes blinking.
  • a sixteenth aspect of the technology of the present disclosure is the control device according to any one of the ninth to fifteenth aspects, wherein the processor causes the aircraft to emit light in the second light emission mode. It is a control device that performs control to hover in response.
  • a seventeenth aspect of the technology of the present disclosure is the control device according to the sixteenth aspect, wherein the second light emission mode is a mode including turning off.
  • An eighteenth aspect of the technology of the present disclosure is the control device according to any one of the ninth aspect to the seventeenth aspect, wherein the processor is configured to: The control device performs imaging control for imaging a still image according to a third light emission mode of the light emitter.
  • a nineteenth aspect of the technology of the present disclosure is the control device according to the eighteenth aspect, wherein the processor performs imaging control when the flying object is hovering.
  • a twentieth aspect of the technology of the present disclosure is the control device according to the eighteenth aspect or the nineteenth aspect, wherein the light emitter includes a plurality of light sources, and the third light emission aspect comprises alternate blinking of the plurality of light sources. It is a control device which is an aspect including
  • a twenty-first aspect of the technology of the present disclosure is the control device according to any one of the ninth to twentieth aspects, wherein the processor controls the flying object according to the fourth light-emitting aspect of the light-emitting body.
  • control to move the flying object in the horizontal direction while maintaining the vertical position of the flying object, and control to image the second object to be inspected by the third imaging device mounted on the flying object are repeatedly performed. It is a control device.
  • a twenty-second aspect of the technology of the present disclosure is an aircraft system including the control device according to any one of the first to twenty-first aspects, a displacement mechanism, a marker, and an aircraft. be.
  • a twenty-third aspect of the technology of the present disclosure is the aircraft system according to the twenty-second aspect, wherein the displacement mechanism includes a cable provided with a marker, and a reel for winding and delivering the cable. System.
  • a twenty-fourth aspect of the technology of the present disclosure is the flying object system according to the twenty-third aspect, wherein the displacement mechanism includes a sensor that detects the amount of delivery of the cable to the reel.
  • a twenty-fifth aspect of the technology of the present disclosure is the flying object system according to the twenty-second aspect, wherein the displacement mechanism includes an elevating mechanism for elevating and lowering the marker.
  • a twenty-sixth aspect of the technology of the present disclosure is the flying object system according to any one of the twenty-second to twenty-fifth aspects, wherein the flying object system includes a rope that connects the displacement mechanism and the flying object. .
  • a twenty-seventh aspect of the technology of the present disclosure is the flying object system according to the twenty-sixth aspect, wherein the displacement mechanism and the rope include a power transmission cable that transmits power to the flying object.
  • a twenty-eighth aspect of the technology of the present disclosure is the flying object system according to any one of the twenty-second to twenty-seventh aspects, wherein the fourth imaging device is provided in the displacement mechanism and captures an image of the flying object. It is an aircraft system equipped.
  • a twenty-ninth aspect of the technology of the present disclosure is the flying object system according to the twenty-eighth aspect, wherein the processor, based on an image obtained by capturing an image of the flying object by the fourth imaging device, It is an aircraft system that controls.
  • a thirtieth aspect of the technology of the present disclosure is the flying object system according to the twenty-ninth aspect, wherein the processor controls the flying object to move the flying object to the center of the angle of view of the fourth imaging device. It is an aircraft system.
  • a thirty-first aspect of the technology of the present disclosure is the flying vehicle system according to any one of the twenty-eighth to thirtieth aspects, wherein the fourth imaging device is arranged at a position adjacent to the marker It is an aircraft system.
  • a 32nd aspect of the technology of the present disclosure is the aircraft system according to any one of the 22nd to 31st aspects, comprising a rangefinder provided in the displacement mechanism, wherein the rangefinder includes: , an air vehicle system for measuring a second distance between a range finder and an air vehicle.
  • a thirty-third aspect of the technology of the present disclosure is the flying vehicle system according to the thirty-second aspect, wherein the processor, based on the ranging information obtained by measuring the second distance with the ranging device, An air vehicle system that provides secondary control over a body.
  • a thirty-fourth aspect of the technology of the present disclosure is an aircraft system according to the thirty-third aspect, wherein the second control is control for setting the second distance to a predetermined distance.
  • a thirty-fifth aspect of the technology of the present disclosure is the flying vehicle system according to any one of the thirty-second to thirty-fourth aspects, wherein the ranging device is arranged at a position adjacent to the marker. body system.
  • a thirty-sixth aspect of the technology of the present disclosure is to acquire the vertical position of the marker, which is detected by an optical sensor mounted on the aircraft, for a marker whose vertical position is variable by a displacement mechanism, and A control method comprising controlling a flying object to maintain or change the vertical position of the flying object based on the vertical position of the marker.
  • a thirty-seventh aspect of the technology of the present disclosure is to acquire the vertical position of the marker detected by an optical sensor mounted on the aircraft, for a marker whose vertical position is variable by a displacement mechanism, and A program for causing a computer to execute processing including controlling a flying object to maintain or change the vertical position of the flying object based on the vertical position of the marker.
  • FIG. 1 is a side view showing an example of the overall configuration of an inspection system according to an embodiment of the technology of the present disclosure
  • FIG. 1 is a block diagram showing an example of an electrical configuration of an imaging support device according to this embodiment
  • FIG. It is a block diagram showing an example of the electrical configuration of the lifting device according to the present embodiment.
  • It is a block diagram showing an example of an electrical configuration of a marker device according to the present embodiment.
  • 1 is a block diagram showing an example of an electrical configuration of an imaging rangefinder according to this embodiment
  • FIG. 1 is a block diagram showing an example of an electrical configuration of an aircraft according to an embodiment
  • FIG. It is a block diagram showing an example of functional composition of an imaging support device concerning this embodiment.
  • FIG. 1 is a block diagram showing an example of a functional configuration of an image pickup and distance measuring device according to this embodiment
  • FIG. 1 is a block diagram showing an example of a functional configuration of an aircraft according to this embodiment
  • FIG. 2 is a block diagram showing an example of the operation of an imaging distance measuring device capturing an image of a flying object based on control by the imaging support device according to the present embodiment
  • FIG. 1 is a block diagram showing an example of a functional configuration of an image pickup and distance measuring device according to this embodiment
  • FIG. 1 is a block diagram showing an example of a functional configuration of an aircraft according to this embodiment
  • FIG. 2 is a block diagram showing an example of the operation of an imaging distance measuring device capturing an image of a flying object based on control by the imaging support device according to the present embodiment
  • FIG. 2 is a block diagram showing an example of the operation of the imaging distance measuring device to measure the distance between the imaging distance measuring device and the flying object based on the control by the imaging support device according to the present embodiment
  • 4 is a block diagram showing an example of the operation of the imaging support device when an operator inputs an instruction to the imaging support device according to the present embodiment
  • FIG. FIG. 10 is a block diagram showing an example of an operation in which the lifting device lifts and lowers the marker based on control by the imaging support device according to the present embodiment
  • FIG. 4 is a block diagram showing an example of the operation of setting the vertical position of the flying object based on the vertical position of the marker according to the present embodiment
  • FIG. 3 is a block diagram showing an example of an operation in which a light emitter emits light in a first light emission mode based on control by the imaging support device according to the present embodiment
  • FIG. 4 is a block diagram showing an example of an operation in which a flying object flies based on light emitted by a light emitter according to the present embodiment in a first light emission mode
  • FIG. 4 is a block diagram showing an example of an operation in which the flying object ascends based on the first example of the first light emission mode of the light emitter according to the present embodiment
  • FIG. 10 is a block diagram showing an example of an operation in which the flying object descends based on the second example of the first light emission mode of the light emitter according to the present embodiment
  • FIG. 10 is a block diagram showing an example of an operation in which the flying object moves to the right based on the third example of the first light emission mode of the light emitter according to the present embodiment
  • FIG. 11 is a block diagram showing an example of an operation in which the flying object moves to the left based on the fourth example of the first light emission mode of the light emitter according to the present embodiment
  • FIG. 11 is a block diagram showing an example of the movement of the flying object moving forward based on the fifth example of the first light emission mode of the light emitter according to the present embodiment
  • FIG. 11 is a block diagram showing an example of an operation in which the flying object moves backward based on the sixth example of the first light emission mode of the light emitter according to the present embodiment
  • FIG. 5 is a block diagram showing an example of an operation in which a light emitter emits light in a second light emission mode based on control by the imaging support device according to the embodiment;
  • FIG. 5 is a block diagram showing an example of the operation of hovering by the flying object based on the second light emission mode of the light emitter according to the present embodiment;
  • FIG. 10 is a block diagram showing an example of an operation in which a light emitter emits light in a third light emission mode based on control by the imaging support device according to the present embodiment;
  • FIG. 10 is a block diagram showing an example of the operation of the flying object capturing an image based on the third light emission mode of the light emitter according to the present embodiment;
  • FIG. 11 is a block diagram showing an example of an operation in which a light emitter emits light in a fourth light emission mode based on control by the imaging support device according to the present embodiment
  • FIG. 12 is a block diagram showing an example of the operation of the flying object performing lateral movement and imaging based on the fourth light emission mode of the light emitter according to the present embodiment
  • FIG. 2 is a block diagram showing an example of the operation of an imaging distance measuring device capturing an image of a flying object based on control by the imaging support device according to the present embodiment;
  • 5 is a block diagram showing an example of an operation in which a light emitter emits light in a first light emission mode or a second light emission mode based on a positional deviation determination result by the imaging support device according to the present embodiment
  • 6 is a flow chart showing an example of the flow of the first process in the imaging support process according to the embodiment
  • 9 is a flow chart showing an example of the flow of second processing of the imaging support processing according to the present embodiment
  • 9 is a flow chart showing an example of the flow of third processing in the imaging support processing according to the present embodiment
  • It is a flow chart which shows an example of the flow of the 4th processing of the imaging support processing concerning this embodiment.
  • 6 is a flowchart showing an example of the flow of lifting processing according to the embodiment; 5 is a flowchart showing an example of the flow of light emission mode control processing according to the present embodiment; 6 is a flow chart showing an example of the flow of imaging and ranging processing according to the present embodiment; It is a flowchart which shows an example of the flow of the 1st process of the flight imaging processes which concern on this embodiment. It is a flow chart which shows an example of the flow of the 2nd processing of flight imaging processing concerning this embodiment. It is a flow chart which shows an example of the flow of the 3rd processing of flight imaging processing concerning this embodiment.
  • FIG. 11 is a side view showing an example in which a LiDAR scanner is mounted on an aircraft as a first modified example of the present embodiment; It is a side view which shows an example using the raising/lowering apparatus which has a ladder as a 2nd modification of this embodiment.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • IC is an abbreviation for "Integrated Circuit”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip.”
  • SSD is an abbreviation for "Solid State Drive”.
  • HDD is an abbreviation for "Hard Disk Drive”.
  • EEPROM is an abbreviation for "Electrically Erasable and Programmable Read Only Memory”.
  • SRAM is an abbreviation for "Static Random Access Memory”.
  • I/F is an abbreviation for "Interface”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD is an abbreviation for "Charge Coupled Device”.
  • LED is an abbreviation for "light emitting diode”.
  • EL is an abbreviation for "Electro Luminescence”.
  • LiDAR is an abbreviation for “light detection and ranging”.
  • vertical means an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to perfect verticality, and does not go against the spirit of the technology of the present disclosure. It refers to the vertical in the sense of including the error of
  • the “vertical position” is an error generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to the complete vertical position. It refers to the vertical position in the sense of including an error that does not go against the purpose of .
  • parallel means, in addition to complete parallelism, an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, and does not go against the spirit of the technology of the present disclosure.
  • horizontal means an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, in addition to being completely horizontal, and is not contrary to the spirit of the technology of the present disclosure. It refers to the horizontal in the sense of including the error of
  • an inspection system 1 includes an imaging system S and an image analysis device 230, and inspects an inspection target 3.
  • the inspection object 3 is the pier of the bridge 5.
  • the piers are made of reinforced concrete.
  • Road facilities include, for example, road surfaces, tunnels, guardrails, traffic lights, and/or windbreak fences.
  • the inspection object 3 may be social infrastructure other than road facilities (for example, airport facilities, port facilities, water storage facilities, gas facilities, medical facilities, firefighting facilities, and/or educational facilities, etc.). , may be private property. Also, the inspection object 3 may be land (for example, state-owned land and/or private land).
  • the bridge piers illustrated as the inspection object 3 may be bridge piers other than those made of reinforced concrete.
  • inspection refers to inspection of the state of the inspection object 3, for example.
  • the inspection system 1 inspects whether or not the inspection object 3 is damaged and/or the extent of the damage.
  • the inspection target 3 is an example of an "inspection target" according to the technology of the present disclosure.
  • the imaging system S includes an imaging support device 10, a power supply device 40, an elevating device 50, a marker device 90, an imaging ranging device 130, and an aircraft 180.
  • the flying object 180 has a function of capturing an image of a subject (the inspection target 3 in the example shown in FIG. 1).
  • the imaging system S is a system that provides the image analysis device 230 with an image obtained by imaging the inspection object 3 by the flying vehicle 180 .
  • the image analysis device 230 performs image analysis processing on the image provided from the inspection system 1 to inspect the presence or absence of damage and/or the degree of damage to the inspection object 3, and outputs inspection results.
  • the image analysis process is a process of analyzing an image using artificial intelligence or the like.
  • the imaging system S is an example of the “aircraft system” according to the technology of the present disclosure.
  • the imaging support device 10 is, for example, a notebook personal computer.
  • a laptop personal computer is exemplified as the imaging support device 10, but this is merely an example, and a desktop personal computer may also be used.
  • it is not limited to a personal computer, and may be a server.
  • the server may be a mainframe or an external server realized by cloud computing.
  • the server may also be an external server implemented by network computing such as fog computing, edge computing, or grid computing.
  • the imaging support device 10 may be a tablet terminal and/or a smartphone or the like.
  • the imaging support device 10 is communicably connected to the lifting device 50 , the marker device 90 , the imaging distance measuring device 130 , and the image analysis device 230 .
  • the operator 7 operates the imaging support device 10 .
  • the imaging support device 10 transmits various commands to the lifting device 50 , the marker device 90 , and the imaging and ranging device 130 according to the operation by the operator 7 .
  • the operator 7 who operates the imaging support device 10 is on the bridge girder of the bridge 5, but the operator 7 is on the ground (for example, the ground below the bridge girder). It may well be in a remote location away from the bridge 5.
  • the remote location away from the bridge 5 may be a position where the imaging support device 10 can communicate with the lifting device 50 , the marker device 90 , the imaging ranging device 130 and the image analysis device 230 .
  • the power supply device 40 is connected to the lifting device 50 via a power cable 42 .
  • the power supply device 40 is, for example, a battery or a generator, and supplies DC power to the lifting device 50 .
  • the power supply 40 is placed on a bridge girder, but the power supply 40 may be placed on the ground or in a remote location away from the bridge 5. .
  • the lifting device 50 includes an electric reel mechanism 54 and a cable 86.
  • the electric reel mechanism 54 has a reel 82 .
  • the reel 82 is formed in a drum shape and selectively rotates in both the first direction and the second direction by the power of the electric reel mechanism 54 .
  • Cable 86 is wound around reel 82 .
  • Cable 86 is wound onto reel 82 when reel 82 rotates in a first direction, and cable 86 is unwound from reel 82 when reel 82 rotates in a second direction opposite to the first direction.
  • the lifting device 50 is arranged on a bridge girder, and the cable 86 is suspended along the pier below the bridge girder.
  • the lifting device 50 is an example of the “lifting mechanism” and the “displacement mechanism” according to the technology of the present disclosure.
  • the marker device 90 is attached to the cable 86.
  • Marker device 90 comprises marker 94 .
  • a balloon B in FIG. 1 shows a view of the marker 94 from the AA direction (that is, a view of the marker 94 viewed from the front).
  • the marker 94 is a triangular plate material when viewed from the front.
  • the marker 94 is arranged parallel to the surface 3A of the inspection object 3 .
  • the flying object 180 is positioned in front of the marker 94.
  • FIG. The following description assumes that the flying object 180 is positioned in front of the marker 94 unless otherwise specified.
  • the predetermined separation distance is, for example, a distance in which the entire marker 94 fits within the imaging range when the marker 94 is imaged by the aircraft 180 and the position of the marker 94 fits within the depth of field. / Or refers to a distance derived in advance by computer simulation or the like.
  • the imaging and ranging device 130 is attached to the cable 86 .
  • the imaging and ranging device 130 is arranged at a position adjacent to the marker 94 .
  • the imaging distance measuring device 130 is arranged above the marker 94 , but the imaging distance measuring device 130 may be arranged below the marker 94 .
  • the imaging and ranging device 130 may be arranged on the side of the marker 94 .
  • the imaging rangefinder 130 may be held beside the marker 94 by a bracket or the like attached to the cable 86 .
  • the imaging and ranging device 130 is separate from the marker device 90 , but may be integrated with the marker device 90 .
  • the image ranging device 130 was adjacent to the marker 94 preferably when the total length of the vehicle 180 was approximately 30 cm, and the distance between the vehicle 180 and the image ranging device 130 was approximately 100 cm. In this case, the distance between the imaging distance measuring device 130 and the marker 94 should be within 20 cm, more preferably within 17 cm. Furthermore, regarding the distance between the imaging distance measuring device 130 and the marker 94, calibration processing of the position information given to the image so that the center of the image acquired by the imaging distance measuring device 130 is the center of the marker 94. may be performed.
  • the imaging and ranging device 130 includes an imaging device 160 and a ranging device 170 .
  • the imaging device 160 is a device having an imaging function.
  • the imaging function of the imaging device 160 is implemented by, for example, a digital camera or a video camera.
  • the imaging device 160 is an example of a “fourth imaging device” according to the technology of the present disclosure.
  • the distance measuring device 170 is a device having a distance measuring function.
  • the ranging function of the ranging device 170 is implemented by, for example, an ultrasonic ranging device, a laser ranging device, a radar ranging device, or the like. Note that a LiDAR scanner may be used as the distance measuring device 170 .
  • the imaging device 160 captures an image of the flying object 180 , and the ranging device 170 measures the distance between the ranging device 170 and the flying object 180 .
  • the orientation of the imaging device 160 and the orientation of the distance measuring device 170 are set as follows. That is, when the flying object 180 is positioned in front of the marker 94 and is separated from the marker 94 by a predetermined separation distance, the flying object 180 is positioned within the imaging range 160A of the imaging device 160. , the orientation of the imaging device 160 is set. Similarly, when the flying object 180 is positioned in front of the marker 94 and the flying object 180 is separated from the marker 94 by a predetermined separation distance, the flying object 180 is within the range 170A of the ranging device 170. The orientation of the distance measuring device 170 is set so that .
  • the imaging device 160 is fixed to the cable 86 so that when the cable 86 is parallel to the vertical direction, it faces obliquely downward with respect to the horizontal direction.
  • the imaging device 160 may be fixed to the cable 86 so as to be horizontal when the cable 86 is parallel to the vertical direction.
  • the distance measuring device 170 is fixed to the cable 86 so that it faces obliquely downward with respect to the horizontal direction when the cable 86 is parallel to the vertical direction, but this is only an example.
  • the distance measuring device 170 may be fixed to the cable 86 so as to be horizontal when the cable 86 is parallel to the vertical direction.
  • the imaging and ranging device 130 includes the imaging device 160 and the ranging device 170, but this is merely an example, and the imaging and ranging device 130 has an imaging function and a ranging device.
  • An imaging device having functions may be used.
  • An imaging device having an imaging function and a ranging function includes, for example, a stereo camera or a phase difference pixel camera.
  • the marker device 90 and the imaging and ranging device 130 are lifted.
  • the marker device 90 and the imaging and ranging device 130 descend.
  • the vertical position of the marker 94 is variable by the lifting device 50 . That is, when the cable 86 is wound on the reel 82, the vertical position of the marker 94 is changed to the vertical upper side, and when the cable 86 is fed out on the reel 82, the vertical position of the marker 94 is changed to It is changed vertically downward.
  • the flying body 180 is an unmanned aerial vehicle such as a drone, and includes a flying body body 184 and an imaging device 210 .
  • the aircraft body 184 is, for example, a multicopter having a plurality of rotor blades 222 .
  • the number of multiple rotor blades 222 is, for example, three or more.
  • the imaging device 210 is a device having an imaging function.
  • the imaging function of the imaging device 210 is implemented by, for example, a digital camera or a video camera.
  • the imaging device 210 is mounted on the upper part of the aircraft main body 184, but this is only an example, and the imaging device 210 is mounted on the lower part of the aircraft main body 184. good too.
  • the imaging device 210 is arranged so as to image the front of the aircraft 180 .
  • the imaging device 210 is fixed to the aircraft main body 184 so that the optical axis of the imaging device 210 is horizontal when the aircraft 180 is horizontal.
  • the flying object 180 may also include an angle changing mechanism that changes the angle of the imaging device 210 with respect to the horizontal direction.
  • the imaging device 210 is an example of an “optical sensor”, a “first imaging device”, a “second imaging device”, and a “third imaging device” according to the technology of the present disclosure.
  • the flying object 180 is connected to the cable 86 via a rope 186.
  • a first end of rope 186 is connected to the lower portion of vehicle body 184 and a second end of rope 186 is connected to cable 86 below marker device 90 .
  • a power transmission cable 44 is provided on the cable 86 and the rope 186 .
  • the power transmission cable 44 is indicated by an imaginary line (that is, a two-dot chain line).
  • the power transmission cable 44 may be provided inside the cable 86 and the rope 186 or may be provided outside the cable 86 and the rope 186 . Also, the power transmission cable 44 itself may be configured as the cable 86 and the rope 186 .
  • the lifting device 50 has a power supply circuit 64 .
  • the power supply circuit 64 is connected to the power supply device 40 via the power cable 42 and receives power from the power supply device 40 via the power cable 42 .
  • the power supply circuit 64 receives power supplied from the power supply device 40 via the power cable 42 as power for driving the lifting device 50 .
  • the power supply circuit 64 supplies power received from the power supply device 40 to various electronic devices mounted on the lifting device 50 .
  • the power supply circuit 64 is connected to the marker device 90 , the imaging and ranging device 130 and the aircraft 180 via the power transmission cable 44 .
  • the marker device 90 , the imaging and ranging device 130 , and the aircraft 180 may be connected to the power supply device 40 without going through the power supply circuit 64 .
  • the power supply circuit 64 may be provided inside the lifting device 50 or may be provided outside the lifting device 50 .
  • the power relay circuit 66 may be provided in a power relay device (not shown) that is a device different from the elevator device 50 .
  • a power supply relay circuit 66 is built into the power supply circuit 64 .
  • the power supply relay circuit 66 relays power supplied from the power supply device 40 to the power supply circuit 64 via the power supply cable 42 to the marker device 90 , the imaging rangefinder 130 , and the aircraft 180 . That is, the power supply relay circuit 66 supplies the power generated by the power supply device 40 to the marker device 90 , the imaging and ranging device 130 , and the aircraft 180 via the power transmission cable 44 .
  • the imaging support device 10 includes a computer 12, a reception device 14, a display 16, an external I/F 18, a first communication I/F 20, a second communication I/F 22, and a third communication I/F 24. , and a fourth communication I/F 26 .
  • the computer 12 includes a processor 30, storage 32, and RAM34.
  • Processor 30, storage 32, RAM 34, external I/F 18, first communication I/F 20, second communication I/F 22, third communication I/F 24, and fourth communication I/F 26 are connected to bus 36.
  • bus 36 In the example shown in FIG. 2, one bus is shown as the bus 36 for convenience of illustration, but a plurality of buses may be used.
  • Bus 36 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the processor 30 has, for example, a CPU, and controls the imaging support device 10 as a whole. Although an example in which the processor 30 has a CPU is given here, this is merely an example.
  • processor 30 may have a CPU and a GPU. In this case, for example, the GPU operates under the control of the CPU and is responsible for executing image processing.
  • the storage 32 is a nonvolatile storage device that stores various programs and various parameters. Examples of the storage 32 include HDDs and SSDs. Note that the HDD and SSD are merely examples, and flash memory, magnetoresistive memory, and/or ferroelectric memory may be used in place of or together with the HDD and/or SSD. .
  • the RAM 34 is a memory that temporarily stores information, and is used by the processor 30 as a work memory. Examples of the RAM 34 include DRAM and/or SRAM.
  • the reception device 14 has a keyboard, mouse, touch pad, etc., and receives instructions from the worker 7.
  • the display 16 displays various information (eg, images, characters, etc.) under the control of the processor 30 .
  • Examples of the display 16 include an EL display (such as an organic EL display or an inorganic EL display). Note that the display is not limited to the EL display, and other types of display such as a liquid crystal display may be used.
  • the external I/F 18 manages exchange of various information with devices existing outside the imaging support device 10 (for example, smart devices, personal computers, servers, USB memories, memory cards, and/or printers, etc.).
  • An example of the external I/F 18 is a USB interface.
  • Various devices such as smart devices, personal computers, servers, USB memories, memory cards, and/or printers are directly or indirectly connected to the USB interface.
  • the first communication I/F 20 is communicably connected to the lifting device 50 .
  • the first communication I/F 20 is wirelessly communicably connected to the lifting device 50 according to a predetermined wireless communication standard.
  • the predefined wireless communication standard includes, for example, Bluetooth (registered trademark). Note that wireless communication standards other than this (for example, Wi-Fi, 5G, etc.) may be used. Although wireless communication is exemplified here, the technology of the present disclosure is not limited to this, and wired communication may be applied instead of wireless communication.
  • the first communication I/F 20 is in charge of exchanging information with the lifting device 50 .
  • the first communication I/F 20 transmits information requested by the processor 30 to the lifting device 50 .
  • the first communication I/F 20 also receives information transmitted from the lifting device 50 and outputs the received information to the processor 30 via the bus 36 .
  • the second communication I/F 22 is communicably connected to the marker device 90 .
  • the second communication I/F 22 is wirelessly communicably connected to the marker device 90 according to a predetermined wireless communication standard.
  • wireless communication is exemplified here, the technology of the present disclosure is not limited to this, and wired communication may be applied instead of wireless communication.
  • the second communication I/F 22 is in charge of exchanging information with the marker device 90 .
  • the second communication I/F 22 transmits information requested by the processor 30 to the marker device 90 .
  • Second communication I/F 22 also receives information transmitted from marker device 90 and outputs the received information to processor 30 via bus 36 .
  • the third communication I/F 24 is communicably connected to the imaging and ranging device 130 .
  • the third communication I/F 24 is connected so as to be able to communicate wirelessly with the imaging and ranging device 130 according to a predetermined wireless communication standard.
  • wireless communication is exemplified here, the technology of the present disclosure is not limited to this, and wired communication may be applied instead of wireless communication.
  • the third communication I/F 24 is in charge of exchanging information with the imaging and ranging device 130 .
  • the third communication I/F 24 transmits information in response to a request from the processor 30 to the imaging and ranging device 130 .
  • the third communication I/F 24 receives information transmitted from the imaging and ranging device 130 and outputs the received information to the processor 30 via the bus 36 .
  • the fourth communication I/F 26 is communicably connected to the image analysis device 230 .
  • the fourth communication I/F 26 is wirelessly communicably connected to the image analysis device 230 according to a predetermined wireless communication standard.
  • wireless communication is exemplified here, the technology of the present disclosure is not limited to this, and wired communication may be applied instead of wireless communication.
  • the fourth communication I/F 26 is in charge of exchanging information with the image analysis device 230 .
  • the fourth communication I/F 26 transmits information requested by the processor 30 to the image analysis device 230 .
  • the fourth communication I/F 26 also receives information transmitted from the image analysis device 230 and outputs the received information to the processor 30 via the bus 36 .
  • the lifting device 50 includes a computer 52, an electric reel mechanism 54, a motor driver 56, a sensor 58, an input/output I/F 60, a communication I/F 62, and a power supply circuit 64.
  • the computer 52 includes a processor 70, storage 72, and RAM74.
  • Processor 70 , storage 72 , and RAM 74 are interconnected via bus 76 , and bus 76 is connected to input/output I/F 60 .
  • bus 76 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the storage 72 is a non-temporary storage medium and stores various parameters and various programs.
  • storage 72 is an EEPROM.
  • this is merely an example, and an HDD and/or an SSD or the like may be applied as the storage 72 instead of or together with the EEPROM.
  • the RAM 74 temporarily stores various information and is used as a work memory.
  • the processor 70 has, for example, a CPU.
  • the processor 70 reads necessary programs from the storage 72 and executes the read programs in the RAM 74 .
  • the processor 70 controls the entire lifting device 50 according to programs executed on the RAM 74 .
  • the electric reel mechanism 54 has a reel 82 and a motor 84.
  • the reel 82 is connected to a motor 84 via a deceleration mechanism (not shown).
  • the motor 84 is, for example, a motor such as a DC brushed motor, a brushless motor, or a stepping motor.
  • Motor driver 56 and sensor 58 are connected to processor 70 via input/output I/F 60 and bus 76 .
  • Motor driver 56 controls motor 84 according to instructions from processor 70 .
  • the sensor 58 is a sensor having a function of detecting the amount of rotation, such as a rotary encoder, potentiometer, or pickup sensor.
  • the sensor 58 detects the amount of rotation of the reel 82 and outputs a signal corresponding to the detected amount of rotation to the processor 70 .
  • the amount of rotation of the reel 82 is proportional to the amount of delivery of the cable 86 (see FIG. 1) relative to the reel 82 .
  • the reel 82 may be provided with a scale indicating the amount of rotation of the reel 82. FIG. In the case where the reel 82 is provided with a scale indicating the amount of rotation of the reel 82, the operator 7 (see FIG.
  • the communication I/F 62 controls transmission and reception of information to and from the imaging support device 10 by the lifting device 50 .
  • the communication I/F 62 controls information transfer between the processor 30 (see FIG. 2) of the imaging support device 10 and the processor 70 of the lifting device 50 .
  • the communication I/F 62 transmits information requested by the processor 70 to the imaging support device 10 .
  • the communication I/F 62 receives information transmitted from the processor 30 of the imaging support device 10 via the first communication I/F 20 (see FIG. 2), and transmits the received information to the processor 70 via the bus 76. output to
  • the power supply circuit 64 is connected to the power supply device 40 via the power cable 42 . DC power is supplied from the power supply device 40 to the power supply circuit 64 via the power cable 42 . When DC power is supplied to the power supply circuit 64 , DC power is supplied to each part of the lifting device 50 .
  • the power supply circuit 64 is also connected to a marker device 90 , an imaging rangefinder 130 , and an aircraft 180 via a power transmission cable 44 .
  • the marker device 90 includes a computer 92, a marker 94, a light emitter control circuit 96, an input/output I/F 100, a communication I/F 102, and a power supply circuit 104, as shown in FIG.
  • the computer 92 comprises a processor 110, a storage 112 and a RAM 114.
  • Processor 110 , storage 112 , and RAM 114 are interconnected via bus 116 , which is connected to input/output I/F 100 .
  • bus 116 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the storage 112 is a non-temporary storage medium and stores various parameters and various programs.
  • storage 112 is an EEPROM.
  • this is merely an example, and an HDD and/or an SSD or the like may be applied as the storage 112 instead of or together with the EEPROM.
  • the RAM 114 temporarily stores various information and is used as a work memory.
  • the processor 110 has, for example, a CPU.
  • Processor 110 reads a necessary program from storage 112 and executes the read program in RAM 114 .
  • Processor 110 controls the entire marker device 90 according to programs executed on RAM 114 .
  • the marker 94 has a luminous body 120.
  • Light emitter 120 includes a plurality of light sources 122A and 122B. As an example, in the example shown in FIG. 4, two light sources 122A and 122B are provided on the light emitter 120, but the number of multiple light sources 122A and 122B may be three or more.
  • Light sources 122A and 122B are, for example, LEDs or filament bulbs.
  • one of the two light sources 122A and 122B will be referred to as the first light source 122A, and the other of the two light sources 122A and 122B will be referred to as the second light source 122B.
  • the light emitter control circuit 96 is connected to the processor 110 via the input/output I/F 100 and the bus 116 .
  • the light emitter control circuit 96 controls the light emitters 120 according to instructions from the processor 110 . Specifically, the light emitter control circuit 96 outputs a first control signal to the first light source 122A and outputs a second control signal to the second light source 122B. The light emitter control circuit 96 switches the level of the first control signal between a HIGH level (hereinafter referred to as H level) and a LOW level (hereinafter referred to as L level). The first light source 122A is turned on when the first control signal is at H level, and turned off when the first control signal is at L level.
  • H level HIGH level
  • L level LOW level
  • the first light source 122A When the first control signal is maintained at the H level, the first light source 122A is maintained in the ON state, and when the first control signal is maintained at the L level, the first light source 122A is maintained in the OFF state. . Also, when the first control signal is alternately and repeatedly switched between the H level and the L level, the first light source 122A blinks.
  • the light emitter control circuit 96 switches the level of the second control signal between H level and L level.
  • the second light source 122B is turned on when the second control signal is at H level, and turned off when the second control signal is at L level.
  • the second control signal is maintained at the H level
  • the second light source 122B is maintained in the ON state
  • the second control signal is maintained at the L level
  • the second light source 122B is maintained in the OFF state.
  • the second control signal is alternately and repeatedly switched between the H level and the L level, the second light source 122B blinks.
  • the communication I/F 102 controls transmission and reception of information to and from the imaging support device 10 by the marker device 90 .
  • the communication I/F 102 manages exchange of information between the processor 30 (see FIG. 2) of the imaging support device 10 and the processor 110 of the marker device 90 .
  • the communication I/F 102 transmits information requested by the processor 110 to the imaging support apparatus 10 .
  • the communication I/F 102 receives information transmitted from the processor 30 of the imaging support device 10 via the second communication I/F 22 (see FIG. 2), and transmits the received information to the processor 110 via the bus 116 . output to
  • the power supply circuit 104 is connected to the power relay circuit 66 of the lifting device 50 via the power transmission cable 44 .
  • DC power is supplied to the power supply circuit 104 from the power supply device 40 via the power cable 42 , the power relay circuit 66 , and the power transmission cable 44 .
  • DC power is supplied to the power supply circuit 104 , DC power is supplied to each part of the marker device 90 .
  • the imaging and ranging device 130 includes a computer 132, an imaging device 160, a ranging device 170, an input/output I/F 140, a communication I/F 142, and a power supply circuit 144.
  • the computer 132 comprises a processor 150, a storage 152 and a RAM 154.
  • Processor 150 , storage 152 , and RAM 154 are interconnected via bus 156 , which is connected to input/output I/F 140 .
  • bus 156 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the storage 152 is a non-temporary storage medium and stores various parameters and various programs.
  • storage 152 is an EEPROM.
  • this is merely an example, and an HDD and/or an SSD or the like may be applied as the storage 152 instead of or together with the EEPROM.
  • the RAM 154 temporarily stores various information and is used as a work memory.
  • the processor 150 has, for example, a CPU.
  • Processor 150 reads a necessary program from storage 152 and executes the read program in RAM 154 .
  • the processor 150 controls the overall imaging and ranging device 130 according to programs executed on the RAM 154 .
  • the imaging device 160 has an image sensor 162 and an image sensor driver 164 .
  • Image sensor 162 is, for example, a CMOS image sensor. Although a CMOS image sensor is exemplified as the image sensor 162 here, the technology of the present disclosure is not limited to this, and other image sensors may be used.
  • Image sensor 162 and image sensor driver 164 are connected to processor 150 via input/output I/F 140 and bus 156 .
  • Image sensor driver 164 controls image sensor 162 according to instructions from processor 150 .
  • the image sensor 162 captures an image of a subject (for example, the aircraft 180 shown in FIG. 1) under the control of the image sensor driver 164 and outputs the captured image to the processor 150 .
  • the imaging device 160 includes optical components such as an objective lens, a focus lens, a zoom lens, and an aperture. Also, although not shown, the imaging device 160 includes a driving mechanism for driving optical components such as a focus lens, a zoom lens, and an aperture. When imaging is performed by the imaging device 160, optical components such as a focus lens, a zoom lens, and an aperture are driven by controlling the drive mechanism.
  • the ranging device 170 includes a ranging sensor 172 and a ranging sensor driver 174 .
  • the ranging sensor 172 is a sensor having a ranging function.
  • the ranging function of the ranging sensor 172 is implemented by, for example, an ultrasonic ranging sensor, a laser ranging sensor, a radar ranging sensor, or the like.
  • the ranging sensor 172 and the ranging sensor driver 174 are connected to the processor 150 via the input/output I/F 140 and the bus 156 .
  • a ranging sensor driver 174 controls the ranging sensor 172 according to instructions from the processor 150 .
  • the ranging sensor 172 measures the distance between the ranging device 170 and the ranging object (for example, the aircraft 180 shown in FIG. 1) under the control of the ranging sensor driver 174, and responds to the measured distance.
  • distance measurement information for example, information indicating the distance itself
  • the communication I/F 142 controls transmission and reception of information to and from the imaging support device 10 by the imaging ranging device 130 .
  • the communication I/F 142 manages exchange of information between the processor 30 (see FIG. 2) of the imaging support device 10 and the processor 150 of the imaging distance measuring device 130 .
  • the communication I/F 142 transmits information requested by the processor 150 to the imaging support device 10 .
  • the communication I/F 142 receives information transmitted from the processor 30 of the imaging support device 10 via the third communication I/F 24 (see FIG. 2), and transmits the received information to the processor 150 via the bus 156. output to
  • the power supply circuit 144 is connected to the power relay circuit 66 of the lifting device 50 via the power transmission cable 44 .
  • DC power is supplied to the power supply circuit 144 from the power supply device 40 via the power cable 42 , the power relay circuit 66 , and the power transmission cable 44 .
  • DC power is supplied to the power supply circuit 144 , DC power is supplied to each part of the imaging and ranging device 130 .
  • the aircraft 180 includes a computer 182, an imaging device 210, a flight device 220, an input/output I/F 190, an image memory 196, an external I/F 198, and a power supply circuit 194.
  • the computer 182 is an example of a "control device” and a "computer” according to the technology of the present disclosure.
  • Computer 182 includes processor 200 , storage 202 and RAM 204 .
  • the processor 200 is an example of a "processor” according to the technology of the present disclosure
  • the RAM 204 is an example of a "memory” according to the technology of the present disclosure.
  • Processor 200 , storage 202 , and RAM 204 are interconnected via bus 206 , and bus 206 is connected to input/output I/F 190 .
  • bus 206 may be a serial bus or a parallel bus including a data bus, an address bus, a control bus, and the like.
  • the storage 202 is a non-temporary storage medium and stores various parameters and various programs.
  • storage 202 is an EEPROM.
  • this is merely an example, and an HDD and/or an SSD or the like may be applied as the storage 202 instead of or together with the EEPROM.
  • the RAM 204 temporarily stores various information and is used as a work memory.
  • the processor 200 has, for example, a CPU.
  • the processor 200 reads necessary programs from the storage 202 and executes the read programs on the RAM 204 .
  • Processor 200 controls the entire aircraft 180 according to programs executed on RAM 204 .
  • the imaging device 210 includes an image sensor 212 and an image sensor driver 214 .
  • Image sensor 212 is, for example, a CMOS image sensor. Although a CMOS image sensor is exemplified as the image sensor 212 here, the technology of the present disclosure is not limited to this, and other image sensors may be used.
  • the image sensor 212 and image sensor driver 214 are connected to the processor 200 via the input/output I/F 190 and bus 206 .
  • Image sensor driver 214 controls image sensor 212 according to instructions from processor 200 .
  • the image sensor 212 captures an object (for example, the marker 94 and/or the inspection object 3 shown in FIG. 1) under the control of an image sensor driver 214, and transmits the captured image to the processor 200. Output.
  • the imaging device 210 includes optical components such as an objective lens, a focus lens, a zoom lens, and an aperture. Also, although not shown, the imaging device 210 includes a driving mechanism for driving optical components such as a focus lens, a zoom lens, and an aperture. When imaging is performed by the imaging device 210, optical components such as a focus lens, a zoom lens, and an aperture are driven by controlling the drive mechanism.
  • the flight device 220 has multiple rotor blades 222 , multiple motors 224 , and a motor driver 226 .
  • the number of multiple rotor blades 222 is four.
  • the number of motors 224 is the same as the number of rotor blades 222 .
  • Motor driver 226 is connected to processor 200 via input/output I/F 190 and bus 206 .
  • Motor drivers 226 individually control a plurality of motors 224 according to instructions from processor 200 .
  • a rotating blade 222 is fixed to the rotating shaft of each motor 224 .
  • Each motor 224 rotates the rotor blades 222 .
  • the aircraft 180 flies by rotating the plurality of rotor blades 222 .
  • the aircraft 180 ascends, and as the number of rotations of the plurality of rotors 222 decreases, the aircraft 180 descends.
  • the flying object 180 stops in the air (that is, hovers). Further, by creating a difference in the number of rotations of the plurality of rotors 222, the aircraft 180 turns, advances, retreats, and/or traverses.
  • the image memory 196 is, for example, an EEPROM. However, this is merely an example, and an HDD and/or an SSD or the like may be applied as the image memory 196 instead of or together with the EEPROM. Also, the image memory 196 may be a memory card. The image memory 196 stores an image captured by the image sensor 212 .
  • the external I/F 198 is in charge of exchanging various information with devices existing outside the aircraft 180 (for example, smart devices, personal computers, servers, USB memories, memory cards, and/or printers, etc.).
  • An example of the external I/F 198 is a USB interface.
  • Various devices such as smart devices, personal computers, servers, USB memories, memory cards, and/or printers are directly or indirectly connected to the USB interface.
  • the flying object 180 is connected to the imaging support device 10 through the external I/F 198 and provides the imaging support device 10 with images stored in the image memory 196 .
  • the power supply circuit 194 is connected to the power relay circuit 66 of the lifting device 50 via the power transmission cable 44 .
  • the power supply circuit 194 is supplied with DC power from the power supply device 40 via the power cable 42 , the power relay circuit 66 , and the power transmission cable 44 .
  • DC power is supplied to the power supply circuit 194 , DC power is supplied to each part of the aircraft 180 .
  • the storage 32 of the imaging support device 10 stores an imaging support processing program 300 .
  • the processor 30 reads the imaging support processing program 300 from the storage 32 and executes the read imaging support processing program 300 on the RAM 34 .
  • the processor 30 performs imaging support processing according to an imaging support processing program 300 executed on the RAM 34 .
  • the processor 30 controls a first imaging instruction unit 302, a first image input determination unit 304, a first image display control unit 306, a distance measurement instruction unit 308, a distance measurement information input determination unit. 310, distance measurement information display control unit 312, first reception information determination unit 314, elevation instruction unit 316, completion report input determination unit 318, second reception information determination unit 320, first light emission mode instruction unit 322, third reception information determination unit 324, second light emission mode instruction unit 326, fourth reception information determination unit 328, hovering determination unit 330, third light emission mode instruction unit 332, fifth reception information determination unit 334, fourth light emission mode instruction unit 336, 6 reception information determination unit 338, second imaging instruction unit 340, second image input determination unit 342, second image display control unit 344, misalignment determination unit 346, fifth light emission mode instruction unit 348, and sixth light emission mode instruction It operates as part 350 .
  • the storage 72 of the lifting device 50 stores a lifting processing program 400 .
  • the processor 70 reads the lifting process program 400 from the storage 72 and executes the read lifting process program 400 on the RAM 74 .
  • the processor 70 performs elevation processing according to an elevation processing program 400 executed on the RAM 74 .
  • the processor 70 By executing the elevation processing program 400, the processor 70 operates as an elevation instruction input determination unit 402, an elevation control unit 404, a movement amount determination unit 406, an elevation stop control unit 408, and a completion report output control unit 410.
  • the storage 112 of the marker device 90 stores a light emission mode control processing program 500 .
  • the processor 110 reads the elevation instruction processing program from the storage 112 and executes the read elevation instruction processing program on the RAM 114 .
  • Processor 110 performs light emission mode control processing in accordance with an elevation instruction processing program executed on RAM 114 .
  • processor 110 By executing the lifting instruction processing program, processor 110 performs first instruction input determination section 502, first lighting mode control section 504, second instruction input determination section 506, second lighting mode control section 508, third instruction input It operates as a determination unit 510 , a third lighting mode control unit 512 , a fourth instruction input determination unit 514 , and a fourth lighting mode control unit 516 .
  • the storage 152 of the imaging and ranging device 130 stores an imaging and ranging processing program 600 .
  • the processor 150 reads out the imaging ranging processing program 600 from the storage 152 and executes the read imaging ranging processing program 600 on the RAM 154 .
  • the processor 150 performs imaging and ranging processing according to an imaging and ranging processing program 600 executed on the RAM 154 .
  • the processor 150 By executing the imaging and ranging processing program 600, the processor 150 performs an imaging instruction input determination unit 602, an imaging control unit 604, an image output control unit 606, a ranging instruction input determination unit 608, a ranging control unit 610, and It operates as the distance information output control section 612 .
  • the flight imaging processing program 700 is stored in the storage 202 of the flying object 180 .
  • the flight imaging processing program 700 is an example of a “program” according to the technology of the present disclosure.
  • the processor 200 reads the flight imaging processing program 700 from the storage 202 and executes the read flight imaging processing program 700 on the RAM 204 .
  • the processor 200 performs flight imaging processing according to a flight imaging processing program 700 executed on the RAM 204 .
  • the processor 200 By executing the flight imaging processing program 700, the processor 200 performs a first imaging control unit 702, a marker position change determination unit 704, a change direction determination unit 706, an elevation control unit 708, a descent control unit 710, and a second imaging control unit. 712, aircraft position determination unit 714, first hovering control unit 716, first light emission mode determination unit 718, first movement control unit 720, second light emission mode determination unit 722, second hovering control unit 724, third light emission mode determination unit 726, third imaging control unit 728, first image storage control unit 730, fourth light emission mode determination unit 732, second movement control unit 734, fourth imaging control unit 736, second image storage control unit 738, image It operates as a memory count determination unit 740 , a feedback control unit 742 , a fifth imaging control unit 744 , a return completion determination unit 746 and a third hovering control unit 748 .
  • the first imaging instruction unit 302 outputs an imaging instruction to the imaging ranging device 130 .
  • the imaging instruction input determination unit 602 determines whether or not the imaging instruction from the imaging support device 10 has been input to the imaging distance measuring device 130 .
  • the imaging control unit 604 controls the image sensor 162 via the image sensor driver 164. Then, control is performed to image the flying object 180 .
  • the image output control unit 606 outputs an image obtained by imaging the aircraft 180 with the image sensor 162 to the imaging support device 10 .
  • the first image input determination unit 304 determines whether or not the image from the image capturing and ranging device 130 has been input to the image capturing support device 10 .
  • the first image display control unit 306 causes the display 16 to display the image when the first image input determination unit 304 determines that the image from the imaging and ranging device 130 has been input to the imaging support device 10 .
  • the operator 7 can confirm the attitude and/or position of the aircraft 180 based on the image displayed on the display 16 .
  • the distance measurement instruction unit 308 outputs a distance measurement instruction to the imaging distance measurement device 130 .
  • a ranging instruction input determination unit 608 determines whether or not a ranging instruction from the imaging support device 10 has been input to the imaging ranging device 130 .
  • the distance measurement control unit 610 performs measurement via the distance measurement sensor driver 174 .
  • the distance sensor 172 is controlled to measure the distance between the distance measuring device 170 and the aircraft 180 .
  • the distance between the marker 94 and the flying object 180 and the distance between the inspection object 3 and the flying object 180 are proportional to the distance between the rangefinder 170 and the flying object 180, respectively.
  • the distance between the marker 94 and the flying object 180 is an example of the "first distance” according to the technology of the present disclosure.
  • the distance between rangefinder 170 and flying object 180 is an example of the "second distance” according to the technology of the present disclosure.
  • the ranging information output control unit 612 outputs ranging information obtained by measuring the distance by the ranging sensor 172 to the imaging support device 10 .
  • the ranging information input determination unit 310 determines whether or not the ranging information from the imaging ranging device 130 has been input to the imaging support device 10 .
  • the ranging information display control unit 312 displays the ranging information on the display 16. Control is performed to display information (for example, a numerical value representing the distance between the rangefinder 170 and the aircraft 180).
  • Worker 7 can confirm the distance between rangefinder 170 and flying object 180 based on the distance information displayed on display 16 .
  • the distance between rangefinder 170 and flying object 180 may be converted to the distance between marker 94 and flying object 180 .
  • Elevating instruction for the lifting device includes either the first ascending instruction or the first descending instruction.
  • the first raise instruction is an instruction to raise the marker 94 and the first lower instruction is an instruction to lower the marker 94 .
  • the “lifting instruction for the lifting device” includes instructions for the amount of movement of the marker 94 .
  • “Moving instruction for the flying object” includes any of the second ascending instruction, second descending instruction, rightward movement instruction, leftward movement instruction, advance instruction, and retreat instruction.
  • the second climb instruction is an instruction to raise the flying object 180 .
  • the second descending instruction is an instruction to descend the flying object 180 .
  • the right movement instruction is an instruction to move the aircraft 180 to the right.
  • the left movement instruction is an instruction to move the aircraft 180 to the left.
  • the advance instruction is an instruction to advance the flying object 180 .
  • the retreat instruction is an instruction to retreat the flying object 180 .
  • the “movement instruction for the flying object” includes an instruction of the moving speed of the flying object 180 .
  • “Hovering instruction for flying object” is an instruction to hover the flying object 180.
  • the “imaging instruction for flying object” is an instruction to cause the imaging device 210 of the flying object 180 to take an image.
  • “Lateral movement and imaging instruction for flying object” is an instruction to repeatedly perform lateral movement control and imaging control. Lateral movement control is control for moving the aircraft 180 sideways. Imaging control is control for imaging by the imaging device 210 of the flying object 180 .
  • the “position correction instruction for flying object” is an instruction to correct the position of flying object 180 .
  • the operator 7 gives instructions to the reception device 14 based on the image displayed on the display 16 and/or the distance measurement information.
  • the worker 7 issues a movement instruction (that is, a first raise instruction, a first lowering instruction, a second raising instruction, a second lowering instruction, or , right movement instruction, left movement instruction, forward instruction, and/or backward instruction) may be given to the receiving device 14 .
  • the operator 7 sets the distance between the rangefinder 170 and the aircraft 180 to the predetermined distance based on the distance measurement information obtained by the measurement by the rangefinder 170.
  • An advance instruction or a retreat instruction may be given to the reception device 14 .
  • the first reception information determination unit 314 determines whether or not the reception device 14 has received an "elevation instruction for the lifting device" as reception information.
  • the lifting instruction unit 316 outputs the lifting instruction to the lifting device 50 when the first reception information determination unit 314 determines that the reception device 14 has received the “lifting instruction for the lifting device” as the reception information. .
  • the lifting instruction input determination unit 402 determines whether or not the lifting instruction from the imaging support device 10 has been input to the lifting device 50 .
  • the elevation control unit 404 controls the motor 84 via the motor driver 56 according to the elevation instruction. to control the reel 82 to rotate.
  • the elevation control unit 404 controls the motor 84 via the motor driver 56 to rotate the reel 82 in the first direction.
  • the cable 86 is wound on the reel 82, thereby raising the marker 94. As shown in FIG.
  • the elevation control unit 404 controls the motor 84 via the motor driver 56 to rotate the reel 82 in the second direction.
  • the cable 86 is fed from the reel 82, thereby lowering the marker 94.
  • the sensor 58 outputs a signal corresponding to the amount of rotation of the reel 82 .
  • the amount of rotation of the reel 82 is proportional to the amount of movement of the marker 94 .
  • the movement amount determination unit 406 determines whether or not the movement amount of the marker 94 has reached the designated movement amount designated by the elevation instruction.
  • the elevation stop control unit 408 controls the motor 84 to stop rotating via the motor driver 56 .
  • the motor 84 stops rotating the reel 82 stops rotating, thereby stopping the marker 94 from ascending or descending.
  • the completion report output control unit 410 sends an elevation completion report to the imaging support device 10 to the effect that the elevation of the marker 94 is completed. to output
  • the completion report input determination unit 318 determines whether or not the lifting completion report from the lifting device 50 has been input to the imaging support device 10 .
  • the first imaging control unit 702 controls the image sensor 212 via the image sensor driver 214 to capture an imaging scene including the marker 94 as a part thereof. conduct.
  • the marker 94 appears as an image in part of the image obtained by being imaged by the image sensor 212 .
  • the vertical position of the marker 94 with respect to the aircraft 180 is detected by reflecting the marker 94 as an image in a part of the image. That is, when the marker 94 is reflected as an image above the central portion of the image, it is detected that the marker 94 is positioned above the aircraft 180 in the vertical direction, and the central portion of the image is detected.
  • the first imaging control unit 702 can determine the light emission mode including blinking of the light emitter 120 as an image.
  • the image sensor 212 is caused to pick up images of the number of frames.
  • the marker position change determination unit 704 compares the image obtained in the previous flight imaging process (hereinafter referred to as the previous image) and the image obtained in the current flight imaging process (hereinafter referred to as the previous image). , referred to as the current image).
  • a marker position change determination unit 704 compares the previous image with the current image, and determines whether or not the position of the marker 94 has changed in the vertical direction, for example, by using object detection processing. In this manner, the vertical position of the marker 94 is detected based on an image obtained by imaging the imaging scene with the image sensor 212 according to instructions from the first imaging control unit 702 . Note that in the first flight imaging process, the marker position change determination unit 704 determines that the position of the marker 94 has not changed in the vertical direction.
  • the change direction determination unit 706 determines that the position of the marker 94 has changed upward based on the previous image and the current image. Determine whether or not When the change direction determination unit 706 determines that the position of the marker 94 has changed upward, the elevation control unit 708 controls the plurality of motors 224 to increase the number of revolutions via the motor driver 226 . When the number of rotations of the plurality of motors 224 increases, the thrust force generated by the plurality of rotor blades 222 increases, causing the aircraft 180 to ascend. As the flying object 180 ascends, the vertical position of the flying object 180 changes upward.
  • the descent control unit 710 controls the plurality of motors 224 via the motor driver 226 to decrease the number of revolutions. .
  • the thrust force generated by the plurality of rotor blades 222 decreases, causing the aircraft 180 to descend.
  • the vertical position of the flying object 180 changes downward.
  • the second imaging control unit 712 controls the image sensor 212 via the image sensor driver 214 to capture an imaging scene that partially includes the marker 94 .
  • the marker 94 appears as an image in part of the image obtained by being imaged by the image sensor 212 .
  • the flying object position determination unit 714 acquires an image captured by the image sensor 212 according to an instruction from the second imaging control unit 712 . Then, the flying object position determining unit 714 determines whether the marker 94 is placed in the center of the image in the vertical direction. It is determined whether or not the position is the same as the position of .
  • the number of pixels in the vertical direction of the image sensor 212 is 1000 pixels, and When the distance between the imaging device 210 and the marker 94 is approximately 100 cm, the position includes an error within 10 cm in the vertical direction, and more preferably, the position includes an error within 10 mm in the vertical direction. That is.
  • the first hovering control unit 716 causes the flying object 180 to hover when the flying object position determining unit 714 determines that the vertical position of the flying object 180 is the same as the vertical position of the marker 94 .
  • a motor driver 226 to control the number of rotations of a plurality of motors 224 .
  • the imaging device 210 is fixed to the flying object main body 184 in a horizontal state, but the imaging device 210 is attached to the flying object main body 184 in a state inclined with respect to the horizontal direction. If fixed relative to, the vertical position of the vehicle 180 relative to the vertical position of the marker 94 may be derived based on the elevation or depression angle of the imaging device 210 .
  • the second reception information determination unit 320 determines that the first reception information determination unit If determined by 314, it is determined whether or not the reception device 14 has received the "movement instruction for the flying object" as the reception information.
  • the first light emission mode instruction unit 322 instructs the marker device 90 to move.
  • a first light emission mode instruction corresponding to the instruction is output.
  • first light emission mode instruction section 322 outputs to marker device 90 the first light emission instruction corresponding to the second raise instruction.
  • the first light emission mode instruction section 322 outputs a first light emission mode instruction corresponding to the second lowering instruction to the marker device 90 when the movement instruction includes the second lowering instruction.
  • the first light emission mode instruction section 322 outputs a first light emission mode instruction corresponding to the right movement instruction to the marker device 90 .
  • first light emission mode instruction section 322 When the movement instruction includes a left movement instruction, first light emission mode instruction section 322 outputs a first light emission mode instruction corresponding to the left movement instruction to marker device 90 .
  • the first light emission mode instruction section 322 When the movement instruction includes a forward movement instruction, the first light emission mode instruction section 322 outputs a first light emission mode instruction corresponding to the forward movement instruction to the marker device 90 .
  • the first light emission mode instruction section 322 outputs a first light emission mode instruction corresponding to the backward movement instruction to the marker device 90 .
  • the first light emission mode instruction unit 322 includes an instruction corresponding to the moving speed designated by the movement instruction in the first light emission mode instruction.
  • the first instruction input determination unit 502 determines whether or not the first light emission mode instruction from the imaging support device 10 has been input to the marker device 90 .
  • the first light emission mode control unit 504 follows the first light emission mode instruction, The light emitter 120 is controlled to emit light in the first light emission mode via the light emitter control circuit 96 .
  • the first light emission mode determination unit 718 determines that the marker position change determination unit 704 determines that the position of the marker 94 has not changed. It is determined whether or not the light emission mode of the light emitter 120 is the first light emission mode, based on the image obtained by being imaged by the image sensor 212 in accordance with the instruction. The first light emission mode of light emitter 120 will be described in detail later with reference to FIGS. 19 to 24. FIG.
  • the first movement control unit 720 causes the flying object 180 to move in accordance with the first light emission mode.
  • control is performed to adjust the number of rotations of the plurality of motors 224 via the motor driver 226 .
  • the control performed by the first movement control unit 720 according to the first light emission mode is an example of the "first control" according to the technology of the present disclosure.
  • the first light emission mode control unit 504 receives, as the first light emission mode instruction, the first light emission mode instruction corresponding to the second raise instruction.
  • a rectangular signal is output as the first control signal to the circuit 96, and the level of the second control signal is held at the H level.
  • the first light emission mode control section 504 causes the light emitter control circuit 96 to output a rectangular signal as the first control signal at a frequency corresponding to the moving speed designated by the first light emission mode instruction. Therefore, when the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the rise instruction, the frequency corresponding to the moving speed designated by the first light emission mode instruction is set as the first light emission mode of the light emitter 120. , the first light source 122A blinks and the second light source 122B lights.
  • the first movement control unit 720 controls the number of rotations of the motors 224 via the motor driver 226 in response to the blinking of the first light source 122A and the lighting of the second light source 122B. Control to increase.
  • the number of rotations of the plurality of motors 224 increases, the thrust force generated by the plurality of rotor blades 222 increases, causing the aircraft 180 to ascend.
  • the vertical position of the flying object 180 changes upward.
  • the first movement control unit 720 adjusts the number of rotations of the plurality of motors 224 via the motor driver 226 so that the flying object 180 ascends at a movement speed corresponding to the frequency at which the first light source 122A blinks. to control.
  • the first movement control unit 720 maintains the ascending speed of the flying object 180 when the frequency at which the first light source 122A blinks is constant. On the other hand, the first movement control unit 720 changes the ascending speed of the flying object 180 when the frequency at which the first light source 122A blinks is changed. For example, the first movement control unit 720 increases the speed of the aircraft 180 by increasing the number of rotations of the motors 224 as the frequency at which the first light source 122A blinks increases.
  • the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the second lowering instruction as the first light emission mode instruction. It causes the circuit 96 to hold the level of the first control signal at the H level and output a rectangular signal as the second control signal. The first light emission mode control section 504 also causes the light emitter control circuit 96 to output a rectangular signal as a second control signal at a frequency corresponding to the moving speed specified by the first light emission mode instruction.
  • the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the lowering instruction, the first light source 122A is turned on as the first light emission mode of the light emitter 120, and the first light source 122A is turned on as specified by the first light emission mode instruction.
  • the second light source 122B blinks at a frequency corresponding to the determined moving speed.
  • the first movement control unit 720 controls the number of rotations of the motors 224 via the motor driver 226 in response to the lighting of the first light source 122A and the blinking of the second light source 122B. Control to decrease.
  • the number of rotations of the plurality of motors 224 decreases, the thrust force generated by the plurality of rotor blades 222 decreases, causing the aircraft 180 to descend.
  • the vertical position of the flying object 180 changes downward.
  • the first movement control unit 720 adjusts the number of rotations of the motors 224 via the motor driver 226 so that the flying object 180 descends at a movement speed corresponding to the frequency at which the second light source 122B blinks. to control.
  • the first movement control unit 720 maintains the descending speed of the flying object 180 when the frequency at which the second light source 122B blinks is constant. On the other hand, the first movement control unit 720 changes the descent speed of the flying object 180 when the frequency at which the second light source 122B blinks is changed. For example, the first movement control unit 720 increases the descending speed of the aircraft 180 by decreasing the number of rotations of the plurality of motors 224 as the frequency at which the second light source 122B blinks increases.
  • the first light emission mode control section 504 when the first light emission mode control section 504 receives the first light emission mode instruction corresponding to the right movement instruction as the first light emission mode instruction, the light emitter control circuit 96 is caused to output a rectangular signal as the first control signal and hold the level of the second control signal at the L level. Also, the first light emission mode control section 504 causes the light emitter control circuit 96 to output a rectangular signal as the first control signal at a frequency corresponding to the moving speed designated by the first light emission mode instruction.
  • the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the instruction to move to the right, the first light emission mode of the light emitter 120 corresponds to the moving speed designated by the finger in the first light emission mode.
  • the frequency causes the first light source 122A to blink and the second light source 122B to turn off.
  • the first movement control unit 720 causes the aircraft 180 to move to the right via the motor driver 226 in response to the first light source 122A blinking and the second light source 122B turning off. is used to control the number of rotations of the plurality of motors 224 .
  • the first movement control unit 720 controls the rotation speed of the motors 224 via the motor driver 226 so that the flying object 180 moves to the right at a movement speed corresponding to the frequency at which the first light source 122A blinks. control to adjust the The first movement control unit 720 maintains the rightward movement speed of the flying object 180 when the frequency of blinking of the first light source 122A is constant.
  • the first movement control unit 720 changes the rightward movement speed of the flying object 180 .
  • the first movement control unit 720 increases the rightward movement speed of the flying object 180 as the frequency at which the first light source 122A blinks increases. Control by the first movement control unit 720 to move the aircraft 180 to the right is an example of “movement control” according to the technology of the present disclosure.
  • the first light emission mode control section 504 receives the first light emission mode instruction corresponding to the left movement instruction as the first light emission mode instruction. 96, the level of the first control signal is held at L level, and the rectangular signal is output as the second control signal. The first light emission mode control section 504 also causes the light emitter control circuit 96 to output a rectangular signal as a second control signal at a frequency corresponding to the moving speed specified by the first light emission mode instruction.
  • the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the leftward movement instruction, the first light source 122A is turned off as the first light emission mode of the light emitter 120, and the first light emission mode instruction The second light source 122B blinks at a frequency corresponding to the designated moving speed.
  • the first movement control unit 720 causes the aircraft 180 to move leftward in response to the first light source 122A turning off and the second light source 122B blinking, via the motor driver 226. is used to control the number of rotations of the plurality of motors 224 . By moving the aircraft 180 to the left, the horizontal position of the aircraft 180 is changed to the left. Further, the first movement control unit 720 controls the rotation speed of the motors 224 via the motor driver 226 so that the flying object 180 moves to the left at a movement speed corresponding to the frequency at which the second light source 122B blinks. control to adjust the The first movement control unit 720 maintains the left movement speed of the flying object 180 when the frequency at which the second light source 122B blinks is constant.
  • the first movement control unit 720 changes the leftward movement speed of the flying object 180 when the frequency at which the second light source 122B blinks is changed. As an example, the first movement control unit 720 increases the leftward movement speed of the flying object 180 as the frequency at which the second light source 122B blinks increases. Control by the first movement control unit 720 to move the flying object 180 to the left is an example of “movement control” according to the technology of the present disclosure.
  • the first light emission mode control section 504 when the first light emission mode control section 504 receives the first light emission mode instruction corresponding to the forward movement instruction as the first light emission mode instruction, the light emitter control circuit 96 , a first rectangular signal is output as the first control signal, and a second rectangular signal having a period twice that of the first rectangular signal is output as the second control signal. Further, the first light emission mode control unit 504 supplies the light emitter control circuit 96 with the first rectangular signal and the second control signal as the first control signal at the frequency corresponding to the moving speed designated by the first light emission mode instruction. A second rectangular signal is output as a signal.
  • the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the forward movement instruction, the first light source 122A blinks and the second light source 122B turns on and off as the first light emission mode of the light emitter 120. It blinks at twice the period of the light source 122A. Also, the first light source 122A and the second light source 122B flash at a frequency corresponding to the moving speed designated by the first light emission mode instruction.
  • the first movement control unit 720 causes the flying object 180 to move in response to the blinking of the first light source 122A and the blinking of the second light source 122B at twice the cycle of the first light source 122A.
  • a plurality of motors 224 are controlled to adjust the number of rotations via a motor driver 226 so as to move forward. As the flying object 180 moves forward, the horizontal position of the flying object 180 is changed forward, thereby increasing the distance between the marker 94 and the flying object 180 and the distance between the inspection object 3 and the flying object 180. distance becomes shorter.
  • the first movement control unit 720 controls the plurality of motors 224 via the motor driver 226 so that the flying object 180 moves forward at a movement speed corresponding to the frequency at which the first light source 122A and the second light source 122B blink. control to adjust the rotation speed.
  • the first movement control unit 720 maintains the forward speed of the flying object 180 when the flickering frequency of the first light source 122A and the second light source 122B is constant.
  • the first movement control unit 720 changes the forward speed of the flying object 180 when the frequency at which the first light source 122A and the second light source 122B blink is changed.
  • the first movement control unit 720 increases the forward speed of the flying object 180 as the frequency at which the first light source 122A and the second light source 122B blink increases.
  • Control by which the first movement control unit 720 advances the flying object 180 is an example of “movement control” according to the technology of the present disclosure.
  • the first light emission mode control section 504 when the first light emission mode control section 504 receives the first light emission mode instruction corresponding to the retreat instruction as the first light emission mode instruction, the light emitter control circuit 96 , a first rectangular signal is output as the first control signal, and a second rectangular signal having a period 1/2 times that of the first rectangular signal is output as the second control signal. Further, the first light emission mode control unit 504 supplies the light emitter control circuit 96 with the first rectangular signal and the second control signal as the first control signal at the frequency corresponding to the moving speed designated by the first light emission mode instruction. A second rectangular signal is output as a signal.
  • the first light emission mode control unit 504 receives the first light emission mode instruction corresponding to the backward direction instruction, the first light source 122A blinks and the second light source 122B turns on and off as the first light emission mode of the light emitter 120. It blinks at a cycle that is 1/2 times that of the light source 122A. Also, the first light source 122A and the second light source 122B flash at a frequency corresponding to the moving speed designated by the first light emission mode instruction.
  • the first movement control unit 720 causes the first light source 122A to blink and the second light source 122B to blink at half the cycle of the first light source 122A.
  • a plurality of motors 224 are controlled to adjust the number of rotations via the motor driver 226 so that the motor 180 moves backward. As the flying object 180 retreats, the horizontal position of the flying object 180 is changed rearward, thereby increasing the distance between the marker 94 and the flying object 180 and the distance between the inspection object 3 and the flying object 180. the distance between them increases.
  • the first movement control unit 720 controls the plurality of motors 224 via the motor driver 226 so that the flying object 180 moves backward at a movement speed corresponding to the frequency at which the first light source 122A and the second light source 122B blink. control to adjust the rotation speed.
  • the first movement control unit 720 maintains the backward speed of the flying object 180 when the flickering frequency of the first light source 122A and the second light source 122B is constant.
  • the first movement control unit 720 changes the backward speed of the flying object 180 when the frequency at which the first light source 122A and the second light source 122B blink is changed.
  • the first movement control unit 720 increases the backward speed of the flying object 180 as the frequency at which the first light source 122A and the second light source 122B blink increases.
  • the control by which the first movement control unit 720 causes the aircraft 180 to retreat is an example of the “movement control” according to the technology of the present disclosure.
  • the operator 7 sets the distance between the range finder 170 and the flying object 180 to the predetermined distance based on the distance measurement information obtained by the measurement by the range finder 170.
  • An advance instruction or a retreat instruction may be given to the imaging support device 10 .
  • the third reception information determination unit 324 determines that the second reception information determination unit If determined by 320, it is determined whether or not the receiving device 14 has received "a hovering instruction for the flying object" as the received information.
  • the second light emission mode instruction unit 326 instructs the marker device 90 to hover. A second light emission mode instruction corresponding to the instruction is output.
  • the second instruction input determination unit 506 performs imaging support when the first instruction input determination unit 502 determines that the first light emission mode instruction from the imaging support device 10 has not been input to the marker device 90. It is determined whether or not the second light emission mode instruction from the device 10 has been input to the marker device 90 .
  • the second light emission mode control unit 508 follows the second light emission mode instruction, The light emitter control circuit 96 controls the light emitter 120 to emit light in the second light emission mode.
  • the second light emission mode control section 508 sets the level of the first control signal and the level of the second control signal to L level for the light emitter control circuit 96 in accordance with the second light emission mode instruction. to hold. Therefore, when the second light emission mode control unit 508 receives the second light emission mode instruction, the first light source 122A and the second light source 122B are turned off as the second light emission mode of the light emitter 120 .
  • the second light emission mode determination section 722 follows the instruction from the first imaging control section 702. Based on the image obtained by being imaged by the image sensor 212, it is determined whether or not the light emission mode of the light emitter 120 is the second light emission mode.
  • the second hovering control unit 724 controls the flying object 180 to hover in accordance with the second light emission mode when the second light emission mode determination unit 722 determines that the light emission mode of the light emitter 120 is the second light emission mode. Then, control is performed to adjust the number of rotations of the plurality of motors 224 via the motor driver 226 . That is, the second hovering control unit 724 causes the flying object 180 to hover in response to turning off the first light source 122A and the second light source 122B. When the vehicle 180 is hovering, the vertical position of the vehicle 180 is maintained.
  • the fourth reception information determination unit 328 determines that the third reception information determination unit 328 determines that the reception device 14 has not received the "hovering instruction for the flying object" as the reception information. If determined by 324, it is determined whether or not the reception device 14 has received the "imaging instruction for the flying object" as the reception information.
  • the hovering determination unit 330 determines whether or not the flying object 180 is hovering. When the hovering determining unit 330 determines that the flying object 180 is hovering, the third lighting mode instruction unit 332 outputs a third lighting mode instruction corresponding to the imaging instruction to the marker device 90. .
  • the hovering determination unit 330 determines that the flying object 180 is not hovering, information to the effect that the flying object 180 is to hover may be displayed to the operator 7 on the display 16 . Thereby, the worker 7 can be urged to give the hovering instruction to the reception device 14 .
  • the third instruction input determination unit 510 performs imaging support when the second instruction input determination unit 506 determines that the second light emission mode instruction from the imaging support device 10 has not been input to the marker device 90. It is determined whether or not the third lighting mode instruction from the device 10 has been input to the marker device 90 .
  • the third instruction input determination unit 510 determines that the third light emission mode instruction from the imaging support device 10 is input to the marker device 90
  • the third light emission mode control unit 512 follows the third light emission mode instruction, The light emitter 120 is controlled to emit light in the third light emission mode via the light emitter control circuit 96 .
  • the third light emission mode control unit 512 causes the light emitter control circuit 96 to output the first rectangular signal as the first control signal in accordance with the third light emission mode instruction, thereby causing the second control signal to be output.
  • a second rectangular signal having a phase opposite to that of the first rectangular signal is output as a signal. Therefore, when the third light emission mode control unit 512 receives the third light emission mode instruction, the first light source 122A and the second light source 122B blink alternately as the third light emission mode of the light emitter 120 .
  • the second light source 122B is turned off when the first light source 122A is turned on, and the second light source 122B is turned off when the first light source 122A is turned off.
  • the state in which the light source 122B is turned on is alternately repeated.
  • the third light emission mode determination section 726 determines that the light emission mode of the light emitter 120 is not the second light emission mode. 26), it is determined whether or not the light emission mode of the light emitter 120 is the third light emission mode.
  • the third imaging control section 728 sends the marker image to the image sensor 212 via the image sensor driver 214 .
  • 94 is partly captured.
  • the imaging scene includes the inspection object 3 located around the marker 94 .
  • the third imaging control unit 728 causes the image sensor 212 to perform still image imaging.
  • the marker 94 and the inspection object 3 positioned around the marker 94 are captured as an image in the image captured by the image sensor 212 .
  • the first image storage control unit 730 causes the image memory 196 to store an image captured by the image sensor 212 in accordance with an instruction from the third imaging control unit 728 .
  • the still image as an image stored in the image memory 196 is later analyzed by the image analysis device 230 (see FIG. 1).
  • Control by which the third imaging control unit 728 causes the image sensor 212 to perform imaging is an example of “imaging control” according to the technology of the present disclosure.
  • the fifth reception information determination unit 334 determines that the fourth reception information determination unit If determined by 328, it is determined whether or not the receiving device 14 has received the "instruction for lateral movement and imaging of the flying object" as the received information.
  • the fourth light emission mode instruction unit 336 instructs the marker device 90 to and outputs a fourth light emission mode instruction corresponding to the lateral movement and imaging instruction.
  • the fourth instruction input determination unit 514 performs imaging support when the third instruction input determination unit 510 determines that the third light emission mode instruction from the imaging support device 10 has not been input to the marker device 90. It is determined whether or not the fourth lighting mode instruction from the device 10 has been input to the marker device 90 .
  • the fourth lighting mode control unit 516 follows the fourth lighting mode instruction, The light emitter 120 is controlled to emit light in the fourth light emission mode via the light emitter control circuit 96 .
  • the fourth light emission mode control section 516 causes the light emitter control circuit 96 to output the first rectangular signal as the first control signal in accordance with the fourth light emission mode instruction, thereby causing the second control signal to be output.
  • a second rectangular signal having the same phase as the first rectangular signal is output as a signal. Therefore, when the fourth light emission mode control unit 516 receives the fourth light emission mode instruction, the first light source 122A and the second light source 122B blink simultaneously as the fourth light emission mode of the light emitter 120 .
  • the fourth light emission mode determination section 732 determines that the light emission mode of the light emitter 120 is not the third light emission mode by the third light emission mode determination section 726, the first imaging control section 702 (FIG. 26 ), it is determined whether or not the light emission mode of the light emitter 120 is the fourth light emission mode, based on the image (see FIG. 26) obtained by being imaged by the image sensor 212 according to the instruction.
  • the fourth light emission mode determination section 732 determines that the light emission mode of the light emitter 120 is the fourth light emission mode
  • the second movement control section 734 controls the predetermined movement of the flying body 180 while maintaining the position in the vertical direction.
  • Control is performed to adjust the number of rotations of the plurality of motors 224 via the motor driver 226 so as to hover after moving in the horizontal direction (in this case, in the left direction as an example) by the set movement distance.
  • the aircraft 180 moves to the left along the surface of the inspection object 3 as an example of lateral movement.
  • the flying object 180 may move to the right along the surface of the inspection object 3 as an example of lateral movement.
  • the predetermined moving distance is, for example, set to a distance at which adjacent still images partly overlap when moving in the horizontal direction and capturing still images are repeatedly performed, as will be described later. .
  • the fourth imaging control unit 736 controls the image sensor 212 via the image sensor driver 214 to image the front of the flying object 180 while the flying object 180 is hovering.
  • the fourth imaging control unit 736 causes the image sensor 212 to perform still image imaging.
  • the inspection object 3 appears as an image in the image obtained by being imaged by the image sensor 212 .
  • the second image storage control section 738 causes the image memory 196 to store an image captured by the image sensor 212 in accordance with an instruction from the fourth imaging control section 736 .
  • a still image as an image stored in the image memory 196 is later analyzed by the image analysis device 230 (see FIG. 1).
  • the image storage number determination unit 740 determines whether or not the number of image frames stored in the image memory 196 has reached a predetermined number according to the instruction from the second image storage control unit 738 . If the image storage number determination unit 740 determines that the number of frames of images stored in the image memory 196 has not reached the predetermined number, the process by the second movement control unit 734 and the process by the fourth imaging control unit 736 are performed. , and the processing by the second image storage control unit 738 are repeatedly executed. That is, leftward movement of the flying object 180, imaging by the flying object 180, and image storage are repeatedly executed. As a result, a plurality of horizontal regions of the inspection object 3 are imaged to obtain a plurality of images, and the plurality of images are stored in the image memory 196 .
  • the feedback control unit 742 causes the aircraft 180 to A plurality of motors 224 are controlled via a motor driver 226 to adjust the number of rotations so as to move laterally toward the position in front of the marker 94 (i.e., return to the original position). .
  • the aircraft 180 moves to the right along the surface of the inspection object 3 as an example of lateral movement.
  • the fifth imaging control unit 744 controls the image sensor 212 via the image sensor driver 214 to image the front of the aircraft 180 .
  • the marker 94 does not appear as an image in the image captured by the image sensor 212 .
  • the image captured by the image sensor 212 includes the marker 94 as an image.
  • the return completion determination unit 746 determines whether or not the marker 94 is reflected as an image in the image obtained by being imaged by the image sensor 212 in accordance with the instruction from the fifth imaging control unit 744 . has moved to the position in front of the marker 94 or not.
  • a third hovering control unit 748 controls a plurality of hovering objects via the motor driver 226 so that the flying object 180 hovers when the return completion determining unit 746 determines that the flying object 180 has moved to a position in front of the marker 94 . It controls the rotation speed of the motor 224 .
  • the sixth reception information determination unit 338 determines that the fifth reception is performed if the reception device 14 has not received the reception information “horizontal movement and imaging instruction for the flying object”. If determined by the information determination unit 334, it is determined whether or not the reception device 14 has received the "position correction instruction for the flying object" as the reception information.
  • the second imaging instruction unit 340 instructs the imaging and ranging device 130 to perform imaging. to output
  • the imaging instruction input determination unit 602 determines whether or not an imaging instruction has been input to the imaging distance measuring device 130 .
  • the imaging control unit 604 directs the flying object 180 to the image sensor 162 via the image sensor driver 164 . Perform control for imaging.
  • the image output control unit 606 outputs an image obtained by imaging the aircraft 180 with the image sensor 162 to the imaging support device 10 .
  • the second image input determination unit 342 determines whether or not the image from the imaging distance measuring device 130 has been input to the imaging support device 10 .
  • the second image display control unit 344 causes the display 16 to display the image when the second image input determination unit 342 determines that the image from the imaging and ranging device 130 has been input to the imaging support device 10. control.
  • the operator 7 can confirm the attitude and/or position of the aircraft 180 based on the image displayed on the display 16 .
  • the positional deviation determination unit 346 converts the image into an image based on the image (see FIG. 31) input to the imaging support device 10 from the imaging distance measuring device 130. It is determined whether or not the position of the captured flying object 180 is deviated from the central portion of the angle of view of the imaging device 160 .
  • the fifth light emission mode instruction unit 348 instructs the marker device 90 to position the flying object 180.
  • a first light emission mode instruction corresponding to a movement instruction for correcting the deviation is output.
  • the first instruction input determination unit 502 determines whether or not the first light emission mode instruction from the imaging support device 10 has been input to the marker device 90 .
  • the first light emission mode control unit 504 follows the first light emission mode instruction,
  • the light emitter 120 is controlled to emit light in the first light emission mode via the light emitter control circuit 96 .
  • the flying object 180 moves according to the first light emitting mode of the light emitting object 120, thereby correcting the positional deviation. That is, the flying object 180 moves to the central portion of the angle of view of the imaging device 160 .
  • the sixth light emission mode instruction unit 350 when the position deviation determination unit 346 determines that the position of the flying object 180 is not deviated from the central portion of the angle of view of the imaging device 160 , the marker device 90, a second light emission mode instruction corresponding to the hovering instruction is output.
  • the second instruction input determination unit 506 performs imaging support when the first instruction input determination unit 502 determines that the first light emission mode instruction from the imaging support device 10 has not been input to the marker device 90. It is determined whether or not the second light emission mode instruction from the device 10 has been input to the marker device 90 .
  • the second light emission mode control unit 508 follows the second light emission mode instruction,
  • the light emitter control circuit 96 controls the light emitter 120 to emit light in the second light emission mode. As a result, the flying object 180 hovers according to the second light emitting mode of the light emitter 120 .
  • FIG. 33 the action of the imaging system S will be described with reference to FIGS. 33 to 42.
  • FIG. 33 An example of the flow of imaging support processing performed by the processor 30 of the imaging support device 10 will be described with reference to FIGS. 33 to 36.
  • FIG. 33 An example of the flow of imaging support processing performed by the processor 30 of the imaging support device 10 will be described with reference to FIGS. 33 to 36.
  • step ST10 the first imaging instruction section 302 outputs an imaging instruction to the imaging distance measuring device .
  • step ST10 the imaging support process proceeds to step ST11.
  • step ST11 the first image input determination unit 304 determines whether or not the image from the imaging ranging device 130 has been input to the imaging support device 10. In step ST11, if the image from the imaging distance measuring device 130 has not been input to the imaging support device 10, the determination is negative, and the determination in step ST11 is performed again. In step ST11, if the image from the imaging ranging device 130 is input to the imaging support device 10, the determination is affirmative, and the imaging support processing proceeds to step ST12.
  • step ST12 the first image display control unit 306 causes the display 16 to display the image input from the imaging distance measuring device 130 to the imaging support device 10. After the process of step ST12 is executed, the imaging support process proceeds to step ST13.
  • step ST13 the distance measurement instruction section 308 outputs a distance measurement instruction to the imaging distance measurement device .
  • the imaging support process proceeds to step ST14.
  • step ST14 the ranging information input determination unit 310 determines whether or not ranging information from the imaging ranging device 130 has been input to the imaging support device 10. In step ST14, if the ranging information from the imaging ranging device 130 has not been input to the imaging support device 10, the determination is negative, and the determination in step ST14 is performed again. In step ST15, if the distance measurement information is input to the imaging support device 10, the determination is affirmative, and the imaging support process proceeds to step ST15.
  • step ST15 the distance measurement information display control unit 312 causes the display 16 to display the distance measurement information input from the imaging distance measurement device 130 to the imaging support device 10.
  • step ST15 the imaging support process proceeds to step ST16 shown in FIG.
  • the first reception information determination unit 314 determines whether or not the reception device 14 has received the "lifting instruction for the lifting device" as the reception information. In step ST16, if the reception device 14 has not received the "lifting instruction for the lifting device” as the reception information, the determination is negative, and the imaging support process proceeds to step ST19. In step ST16, if the acceptance device 14 accepts the "elevation instruction for the elevation device" as the acceptance information, the determination is affirmative, and the imaging support process proceeds to step ST17.
  • step ST ⁇ b>17 the elevation instruction section 316 outputs an elevation instruction to the elevation device 50 .
  • the imaging support process proceeds to step ST18.
  • step ST18 the completion report input determining unit 318 determines whether or not the lifting completion report from the lifting device 50 has been input to the imaging support device 10. In step ST18, if the lifting completion report from the lifting device 50 has not been input to the imaging support device 10, the determination is negative, and the determination of step ST18 is performed again. In step ST18, if the lifting completion report from the lifting device 50 is input to the imaging support device 10, the determination is affirmative, and the imaging support processing proceeds to step ST35 shown in FIG.
  • step ST19 the second reception information determination unit 320 determines whether or not the reception device 14 has received "instruction to move the flying object" as reception information. In step ST19, if the reception device 14 has not received the "movement instruction for the flying object" as the reception information, the determination is negative, and the imaging support process proceeds to step ST21. In step ST19, if the acceptance device 14 accepts the "movement instruction for the flying object" as the acceptance information, the determination is affirmative, and the imaging support process proceeds to step ST20.
  • step ST20 the first light emission mode instruction section 322 outputs to the marker device 90 a first light emission mode instruction corresponding to the movement instruction.
  • step ST21 the third received information determination unit 324 determines whether or not the receiving device 14 has received "a hovering instruction for the flying object" as received information. In step ST21, if the reception device 14 has not received the "hovering instruction for the flying object" as the reception information, the determination is negative, and the imaging support process proceeds to step ST23. In step ST21, if the acceptance device 14 accepts the "hovering instruction for the flying object" as the acceptance information, the determination is affirmative, and the imaging support process proceeds to step ST22.
  • step ST22 the second lighting mode instruction section 326 outputs a second lighting mode instruction corresponding to the hovering instruction to the marker device 90.
  • step ST23 the fourth reception information determination unit 328 determines whether or not the reception device 14 has received an "imaging instruction for the flying object" as the reception information. In step ST23, if the reception device 14 has not received the "imaging instruction for the flying object" as the reception information, the determination is negative, and the imaging support process proceeds to step ST26. In step ST23, if the acceptance device 14 accepts the "imaging instruction for the flying object" as the acceptance information, the determination is affirmative, and the imaging support process proceeds to step ST24.
  • the hovering determination unit 330 determines whether or not the flying object 180 is hovering. In step ST24, if the flying object 180 is not hovering, the determination is negative, and the imaging support process proceeds to step ST10. In step ST24, if the flying object 180 is hovering, the determination is affirmative, and the imaging support process proceeds to step ST25.
  • step ST25 the third lighting mode instruction section 332 outputs to the marker device 90 a third lighting mode instruction corresponding to the imaging instruction.
  • the imaging support process proceeds to step ST35 shown in FIG.
  • the fifth reception information determination unit 334 determines whether or not the reception device 14 has received "instruction to laterally move and image the flying object" as reception information. In step ST26, if the receiving device 14 has not received the "lateral movement and imaging instruction for the flying object" as the received information, the determination is negative, and the imaging support process proceeds to step ST28. In step ST26, if the acceptance device 14 accepts the "horizontal movement and imaging instruction for the flying object" as the acceptance information, the determination is affirmative, and the imaging support process proceeds to step ST27.
  • step ST27 the fourth lighting mode instruction section 336 outputs to the marker device 90 a fourth lighting mode instruction corresponding to the lateral movement and imaging instructions.
  • the imaging support process proceeds to step ST35.
  • the sixth reception information determination unit 338 determines whether or not the reception device 14 has received "position correction instruction for the flying object" as reception information. In step ST28, if the reception device 14 has not received the "position correction instruction for the flying object" as the reception information, the determination is negative, and the imaging support process proceeds to step ST10. In step ST28, if the acceptance device 14 accepts the "position correction instruction for the flying object" as the acceptance information, the determination is affirmative, and the imaging support process proceeds to step ST29.
  • step ST29 the second imaging instruction section 340 outputs an imaging instruction to the imaging distance measuring device .
  • the imaging support process proceeds to step ST30.
  • step ST30 the second image input determination unit 342 determines whether or not the image from the imaging ranging device 130 has been input to the imaging support device 10. In step ST30, if the image from the imaging distance measuring device 130 has not been input to the imaging support device 10, the determination is negative, and the determination in step ST30 is performed again. In step ST30, if the image from the imaging ranging device 130 is input to the imaging support device 10, the determination is affirmative, and the imaging support processing proceeds to step ST31.
  • step ST31 the second image display control unit 344 causes the display 16 to display the image input from the imaging distance measuring device 130 to the imaging support device 10. After the process of step ST31 is executed, the imaging support process proceeds to step ST32.
  • step ST32 the positional deviation determination unit 346 determines that the position of the flying object 180 appearing as an image in the image is the center of the angle of view of the imaging device 160, based on the image input from the imaging and ranging device 130 to the imaging support device 10. It is determined whether or not there is deviation with respect to the part. In step ST32, if the position of the flying object 180 does not deviate from the central portion of the angle of view of the imaging device 160, the determination is negative, and the imaging support process proceeds to step ST34. In step ST32, if the position of the flying object 180 is deviated from the central portion of the angle of view of the imaging device 160, the determination is affirmative, and the imaging support process proceeds to step ST33.
  • step ST33 the fifth lighting mode instruction section 348 outputs to the marker device 90 a first lighting mode instruction corresponding to the movement instruction for correcting the positional deviation.
  • step ST34 the sixth lighting mode instruction section 350 outputs a second lighting mode instruction corresponding to the hovering instruction to the marker device 90.
  • step ST35 the processor 30 determines whether or not a condition for ending the imaging support process (hereinafter referred to as "imaging support process end condition") is satisfied.
  • a condition for ending the imaging support process is that the receiving device 14 has received an instruction to end the imaging support process.
  • the imaging support process end condition is not satisfied, the determination is negative, and the imaging support process proceeds to step ST10 shown in FIG.
  • step ST35 if the imaging support process end condition is satisfied, the determination is affirmative, and the imaging support process ends.
  • control method described as the action of the imaging system S described above is an example of the "control method” according to the technology of the present disclosure.
  • step ST40 the lifting instruction input determination unit 402 determines whether or not the lifting instruction from the imaging support device 10 has been input to the lifting device 50 .
  • step ST40 if the elevation instruction from the imaging support device 10 is not input to the elevation device 50, the determination is negative, and the determination in step ST40 is performed again.
  • step ST40 if the lifting instruction from the imaging support device 10 is input to the lifting device 50, the determination is affirmative, and the lifting process proceeds to step ST41.
  • step ST41 the elevation control unit 404 raises or lowers the marker 94 according to the elevation instruction. After the process of step ST41 is executed, the lifting process proceeds to step ST42.
  • step ST42 the movement amount determination unit 406 determines whether or not the movement amount of the marker 94 has reached the designated movement amount designated by the elevation instruction. In step ST42, if the amount of movement of the marker 94 has not reached the designated amount of movement, the determination is negative, and the determination of step ST42 is performed again. In step ST42, when the amount of movement of the marker 94 has reached the specified amount of movement, the determination is affirmative, and the lifting process proceeds to step ST43.
  • step ST43 the elevation stop control section 408 stops the elevation or descent of the marker 94 by stopping the rotation of the motor 84. After the process of step ST43 is executed, the lifting process proceeds to step ST44.
  • step ST44 the completion report output control unit 410 outputs a lifting completion report indicating that the lifting of the marker 94 has been completed to the imaging support device 10. After the process of step ST44 is executed, the lifting process proceeds to step ST40.
  • step ST50 the first instruction input determining section 502 determines whether or not the first light emission mode instruction from the imaging support device 10 has been input to the marker device 90. In step ST50, if the first lighting mode instruction from the imaging support device 10 has not been input to the marker device 90, the determination is negative, and the lighting mode control process proceeds to step ST52. In step ST50, when the first light emission mode instruction from the imaging support device 10 is input to the marker device 90, the determination is affirmative, and the light emission mode control process proceeds to step ST51.
  • step ST51 the first light emission mode control section 504 causes the light emitter 120 to emit light in the first light emission mode according to the first light emission mode instruction. After the process of step ST51 is executed, the light emission mode control process proceeds to step ST50.
  • step ST52 the second instruction input determination unit 506 determines whether or not the second light emission mode instruction from the imaging support device 10 has been input to the marker device 90 . In step ST52, if the second lighting mode instruction from the imaging support device 10 has not been input to the marker device 90, the determination is negative, and the lighting mode control process proceeds to step ST54. In step ST52, when the second light emission mode instruction from the imaging support device 10 is input to the marker device 90, the determination is affirmative, and the light emission mode control process proceeds to step ST53.
  • step ST53 the second light emission mode control section 508 causes the light emitter 120 to emit light in the second light emission mode according to the second light emission mode instruction. After the process of step ST53 is executed, the light emission mode control process proceeds to step ST50.
  • step ST54 the third instruction input determination section 510 determines whether or not the third light emission mode instruction from the imaging support device 10 has been input to the marker device 90. In step ST54, if the third lighting mode instruction from the imaging support device 10 has not been input to the marker device 90, the determination is negative, and the lighting mode control process proceeds to step ST56. In step ST54, when the third lighting mode instruction from the imaging support device 10 is input to the marker device 90, the determination is affirmative, and the lighting mode control process proceeds to step ST55.
  • step ST55 the third light emission mode control section 512 causes the light emitter 120 to emit light in the third light emission mode according to the third light emission mode instruction. After the process of step ST55 is executed, the light emission mode control process proceeds to step ST50.
  • step ST56 the fourth instruction input determination unit 514 determines whether or not the fourth light emission mode instruction from the imaging support device 10 has been input to the marker device 90. In step ST56, if the fourth lighting mode instruction from the imaging support device 10 has not been input to the marker device 90, the determination is negative, and the lighting mode control process proceeds to step ST50. In step ST56, if the fourth lighting mode instruction from the imaging support device 10 is input to the marker device 90, the determination is affirmative, and the lighting mode control process proceeds to step ST57.
  • step ST57 the fourth light emission mode control section 516 causes the light emitter 120 to emit light in the fourth light emission mode according to the fourth light emission mode instruction. After the process of step ST57 is executed, the light emission mode control process proceeds to step ST50.
  • step ST60 the imaging instruction input determination unit 602 determines whether or not the imaging instruction from the imaging support device 10 has been input to the imaging distance measuring device 130 .
  • step ST60 if the imaging instruction from the imaging support device 10 has not been input to the imaging ranging device 130, the determination is negative, and the imaging ranging processing proceeds to step ST63.
  • step ST60 if the image capturing instruction from the image capturing support device 10 is input to the image capturing distance measuring device 130, the determination is affirmative, and the image capturing support process proceeds to step ST61.
  • step ST61 the imaging control unit 604 causes the image sensor 162 to image the flying object 180. After the process of step ST61 is executed, the imaging ranging process proceeds to step ST62.
  • step ST62 the image output control unit 606 outputs the image obtained in step ST61 to the imaging support device 10. After the process of step ST62 is executed, the imaging ranging process proceeds to step ST60.
  • step ST63 the distance measurement instruction input determination unit 608 determines whether or not a distance measurement instruction from the imaging support device 10 has been input to the imaging distance measurement device 130. In step ST63, if the ranging instruction from the imaging support device 10 has not been input to the imaging ranging device 130, the determination is negative, and the imaging ranging processing proceeds to step ST60. In step ST63, if the distance measurement instruction from the imaging support device 10 is input to the imaging distance measuring device 130, the determination is affirmative, and the imaging support processing proceeds to step ST64.
  • step ST64 the ranging control section 610 causes the ranging sensor 172 to measure the distance between the ranging device 170 and the flying object 180. After the process of step ST64 is executed, the imaging ranging process proceeds to step ST65.
  • step ST65 the distance measurement information output control unit 612 outputs the distance measurement information obtained at step ST65 to the imaging support device 10.
  • the imaging ranging process proceeds to step ST60.
  • step ST70 the first imaging control unit 702 causes the image sensor 212 to capture an imaging scene including the marker 94 as part of it. After the process of step ST70 is executed, the flight imaging process proceeds to step ST71.
  • step ST71 the marker position change determination unit 704 divides the image obtained in step ST70 of the previous flight imaging process (hereinafter referred to as the previous image) and the image obtained in step ST70 of the current flight imaging process ( (referred to as the current image), and it is determined whether or not the position of the marker 94 has changed in the vertical direction. In step ST71, if the position of the marker 94 has not changed in the vertical direction, the determination is negative, and the flight imaging process proceeds to step ST78. In step ST71, if the position of the marker 94 has changed in the vertical direction, the determination is affirmative, and the flight imaging process proceeds to step ST72.
  • step ST72 the change direction determination unit 706 determines whether the position of the marker 94 has changed upward based on the previous image and the current image. In step ST72, if the position of the marker 94 has not changed upward, the determination is negative, and the flight imaging process proceeds to step ST74. In step ST72, if the position of the marker 94 has changed upward, the determination is affirmative, and the flight imaging process proceeds to step ST73.
  • step ST73 the ascent control unit 708 increases the number of rotations of the plurality of motors 224 to ascend the flying object 180. After the process of step ST73 is executed, the flight imaging process proceeds to step ST75.
  • step ST74 the descent control unit 710 lowers the flying object 180 by decreasing the number of rotations of the motors 224. After the process of step ST74 is executed, the flight imaging process proceeds to step ST75.
  • step ST75 the second imaging control unit 712 causes the image sensor 212 to capture an imaging scene including the marker 94 as a part thereof. After the process of step ST75 is executed, the flight imaging process proceeds to step ST76.
  • step ST76 the flying object position determining unit 714 determines whether or not the vertical position of the flying object 180 is the same as the vertical position of the marker 94 based on the image obtained in step ST75. . In step ST76, if the vertical position of the flying object 180 is not the same as the vertical position of the marker 94, the determination is negative, and the flight imaging process proceeds to step ST75. In step ST76, if the vertical position of the flying object 180 is the same as the vertical position of the marker 94, the determination is affirmative, and the flight imaging process proceeds to step ST77.
  • the number of pixels in the vertical direction of the image sensor 212 is 1000 pixels, and When the distance between the imaging device 210 and the marker 94 is approximately 100 cm, the position includes an error within 10 cm in the vertical direction, and more preferably, the position includes an error within 10 mm in the vertical direction. That is.
  • step ST77 the first hovering control unit 716 adjusts the number of rotations of the plurality of motors 224 to cause the flying object 180 to hover.
  • step ST77 the flight imaging process proceeds to step ST94 shown in FIG.
  • the first light emission mode determination unit 718 determines whether or not the light emission mode of the light emitter 120 is the first light emission mode based on the image obtained at step ST70. In step ST78, if the light emission mode of light emitter 120 is not the first light emission mode, the determination is negative, and the flight imaging process proceeds to step ST80. In step ST78, when the light emission mode of the light emitter 120 is the first light emission mode, the determination is affirmative, and the flight imaging process proceeds to step ST79.
  • step ST79 the first movement control section 720 adjusts the number of rotations of the plurality of motors 224 so that the flying object 180 moves corresponding to the first light emission mode.
  • step ST79 the flight imaging process proceeds to step ST94 shown in FIG.
  • the second light emission mode determination unit 722 determines whether or not the light emission mode of the light emitter 120 is the second light emission mode based on the image obtained at step ST70. In step ST80, if the light emission mode of light emitter 120 is not the second light emission mode, the determination is negative, and the flight imaging process proceeds to step ST82. In step ST80, if the light emission mode of light emitter 120 is the second light emission mode, the determination is affirmative, and the flight imaging process proceeds to step ST81.
  • step ST81 the second hovering control unit 724 adjusts the number of rotations of the motors 224 so that the flying object 180 hovers in response to the second light emission mode.
  • step ST81 the flight imaging process proceeds to step ST94 shown in FIG.
  • the third light emission mode determination unit 726 determines whether or not the light emission mode of the light emitter 120 is the third light emission mode based on the image obtained at step ST70. In step ST82, if the light emission mode of the light emitter 120 is not the third light emission mode, the determination is negative, and the flight imaging process proceeds to step ST85. In step ST82, when the light emission mode of the light emitter 120 is the third light emission mode, the determination is affirmative, and the flight imaging process proceeds to step ST83.
  • step ST83 the third imaging control unit 728 causes the image sensor 212 to image the imaging scene including the marker 94 and the inspection object 3. After the process of step ST83 is executed, the flight imaging process proceeds to step ST84.
  • step ST84 the first image storage control section 730 stores the image obtained at step ST83 in the image memory 196. After the process of step ST84 is executed, the flight imaging process proceeds to step ST94 shown in FIG.
  • step ST85 based on the image obtained at step ST70, it is determined whether or not the light emission mode of the light emitter 120 is the fourth light emission mode. In step ST85, if the light emission mode of the light emitter 120 is not the fourth light emission mode, the determination is negative, and the flight imaging process proceeds to step ST94. In step ST85, when the light emission mode of light emitter 120 is the fourth light emission mode, the determination is affirmative, and the flight imaging process proceeds to step ST86.
  • step ST86 the second movement control unit 734 adjusts the number of rotations of the plurality of motors 224 to move the flying object 180 by a predetermined movement distance while maintaining the vertical position of the flying object 180. Move horizontally and then hover.
  • step ST86 the flight imaging process proceeds to step ST87.
  • step ST87 the fourth imaging control unit 736 causes the image sensor 212 to image the front of the flying object 180.
  • step ST87 the fourth imaging control unit 736 causes the image sensor 212 to image the front of the flying object 180.
  • step ST88 the second image storage control section 738 stores the image obtained at step ST87 in the image memory 196. After the process of step ST88 is executed, the flight imaging process proceeds to step ST89.
  • step ST89 the number-of-stored-images determining unit 740 determines whether or not the number of frames of images stored in the image memory 196 in step ST88 has reached a predetermined number as the flight imaging process is repeatedly performed. . In step ST89, if the number of frames of images stored in the image memory 196 has not reached the predetermined number, the determination is negative, and the flight imaging process proceeds to step ST86. In step ST89, if the number of frames of images stored in the image memory 196 has reached the predetermined number, the determination is affirmative, and the flight imaging process proceeds to step ST90.
  • step ST90 the feedback control unit 742 adjusts the number of rotations of the motors 224 to move the flying object 180 laterally toward the position in front of the marker 94.
  • step ST90 the flight imaging process proceeds to step ST91.
  • step ST91 the fifth imaging control unit 744 causes the image sensor 212 to image the front of the flying object 180. After the process of step ST91 is executed, the flight imaging process proceeds to step ST92.
  • step ST92 the return completion determination unit 746 determines whether or not the marker 94 appears as an image in the image obtained in step ST91. In step ST92, if the marker 94 is not captured as an image in the image, the determination is negative, and the flight imaging process proceeds to step ST91. In step ST92, when the marker 94 is reflected as an image in the image, the determination is affirmative, and the flight imaging process proceeds to step ST93.
  • step ST93 the third hovering control unit 748 adjusts the number of rotations of the plurality of motors 224 to cause the flying object 180 to hover.
  • step ST93 the flight imaging process proceeds to step ST94.
  • step ST94 the processor 200 determines whether or not a condition for terminating the flight imaging process (hereinafter referred to as "flight imaging process termination condition") is satisfied.
  • a condition for terminating the flight imaging process is a condition that the reception device 14 has received an instruction to terminate the flight imaging process.
  • step ST94 if the condition for terminating the flight imaging process is not satisfied, the determination is negative, and the flight imaging process proceeds to step ST70 shown in FIG.
  • step ST94 if the condition for ending the flight imaging process is satisfied, the determination is affirmative and the flight imaging process ends.
  • the processor 200 of the flying object 180 obtains an image of the marker 94 whose position in the vertical direction is variable by the lifting device 50 by imaging the imaging device 210. Obtaining the vertical position of the detected marker 94 based on the captured image, and maintaining or changing the vertical position of the aircraft 180 relative to the aircraft 180 based on the vertical position of the marker 94 control.
  • the aircraft 180 can be vertically positioned without using a satellite positioning system. Further, for example, even if communication between the imaging support device 10 and the flying object 180 is not possible, the flying object 180 can be moved vertically by changing the vertical position of the marker 94 .
  • the aircraft 180 also includes an imaging device 210 to acquire the vertical position of the marker 94 . Therefore, for example, in order to obtain the vertical position of the marker 94, it is possible to reduce the size and cost of the flying object 180 as compared with the case where a LiDAR scanner is provided.
  • the vertical position of the marker 94 is detected based on an image obtained by imaging the marker 94 with the imaging device 210 . Therefore, for example, compared to the case where the flying object 180 includes a detection device that detects the vertical position of the marker 94 separately from the imaging device 210, the flying object 180 can be reduced in size and cost. .
  • the processor 200 of the flying object 180 controls the imaging device 210 to capture an imaging scene including the marker 94 as a part thereof. Therefore, the position of the marker 94 in the vertical direction can be detected based on the image captured by the imaging device 210 .
  • the imaging scene includes the inspection object 3 located around the marker 94 . Therefore, an image in which the inspection object 3 is reflected as an image can be obtained.
  • the processor 200 of the flying object 180 controls the flying object 180 to set the vertical position of the flying object 180 at a height where the marker 94 is arranged in the center of the image in the vertical direction. conduct. Therefore, for example, the vertical position of the flying object 180 is set at a height where the marker 94 is located at the longitudinal edge of the image, compared to the case where the vertical position of the flying object 180 is set on the image. Even if the marker 94 moves upward or downward after is set, it is possible to prevent the image corresponding to the marker 94 from immediately deviating from the image.
  • the processor 200 of the flying object 180 controls the flying object 180 to set the vertical position of the flying object 180 to the same position as the marker 94 in the vertical direction. Therefore, for example, compared to the case where the vertical position of the flying object 180 is set to a position different from the vertical position of the marker 94, the vertical position of the flying object 180 changes according to the movement of the marker 94 above or below. Control to change the position of the direction can be easily performed. Further, by setting the vertical position of the flying object 180 to the same position as the vertical position of the marker 94, the flying object 180 falls within the imaging range 160A of the imaging device 160 of the imaging and ranging device 130. The trouble of controlling the imaging range 160A of the imaging device 160 can be saved.
  • the marker 94 has a light emitter 120 . Therefore, it is possible to send an instruction to the flying object 180 according to the light emission mode of the light emitter 120 .
  • the processor 200 of the flying object 180 controls the flying object 180 according to the first light emitting mode of the light emitter 120 . Therefore, by setting the light emission mode of the light emitter 120 to the first light emission mode, the flying body 180 can be controlled according to the first light emission mode of the light emitter 120 .
  • control according to the first light emission mode of the light emitter 120 includes control for maintaining or changing the vertical position of the flying body 180 . Therefore, by setting the light emission mode of the light emitter 120 to the first light emission mode, the vertical position of the flying body 180 can be maintained or changed.
  • control according to the first light emission mode of the light emitter 120 includes control for maintaining or changing the moving speed of the flying object 180 . Therefore, by setting the light emission mode of the light emitter 120 to the first light emission mode, the moving speed of the flying body 180 can be maintained or changed.
  • control according to the first light emission mode of the light emitter 120 includes control for moving the flying body 180 in the horizontal direction (that is, the front-rear direction and the lateral direction). Therefore, by setting the light emission mode of the light emitter 120 to the first light emission mode, the flying body 180 can be moved in the horizontal direction.
  • control according to the first light emitting mode of the light emitter 120 includes control for adjusting the distance between the marker 94 and the flying body 180 by moving the flying body 180 in the front-rear direction. Therefore, the distance between the marker 94 and the flying object 180 can be adjusted by moving the flying object 180 in the longitudinal direction by setting the lighting mode of the light emitting body 120 to the first lighting mode.
  • the first light emission mode of the light emitter 120 is a mode including blinking of the light emitter 120 . Therefore, by blinking the light emitter 120, the light emission mode of the light emitter 120 can be set to the first light emission mode.
  • the processor 200 of the flying object 180 controls the flying object 180 to hover according to the second light emitting mode of the light emitter 120 . Therefore, by setting the light emission mode of the light emitter 120 to the second light emission mode, the flying object 180 can be hovered.
  • the second light emission mode of the light emitter 120 is a mode including turning off the light emitter 120 . Therefore, by turning off the light emitter 120, the light emission mode of the light emitter 120 can be set to the second light emission mode. In addition, since the second light emission mode of the light emitter 120 includes turning off the light emitter 120, in the unlikely event that the light emitter 120 is turned off due to a failure or the like, the aircraft 180 can be hovered.
  • the processor 200 of the aircraft 180 controls the imaging device 210 mounted on the aircraft 180 to capture a still image according to the third light emitting mode of the light emitter 120 . Therefore, by setting the light emission mode of the light emitter 120 to the third light emission mode, the image capturing device 210 can be caused to capture a still image.
  • the processor 200 of the flying object 180 causes the imaging device 210 to pick up a still image when the flying object 180 is hovering. Therefore, compared with the case where the still image is captured while the flying object 180 is moving, it is possible to suppress the occurrence of image blurring in the still image captured by the imaging device 210. can be done.
  • the light emitter 120 also includes a plurality of light sources 122A and 122B. Therefore, for example, compared with the case where the light emitter 120 has only one light source, it is possible to increase the variation of the light emission mode of the light emitter 120 .
  • the third light emission mode of the light emitter 120 is a mode including alternate blinking of the plurality of light sources 122A and 122B. Therefore, by alternately blinking the plurality of light sources 122A and 122B, the light emission mode of the light emitter 120 can be set to the third light emission mode.
  • the processor 200 of the flying object 180 controls the flying object 180 to move laterally while maintaining the vertical position of the flying object 180 according to the fourth light emitting mode of the light emitting body 120;
  • the imaging device 210 is repeatedly controlled to image the inspection object 3 . Therefore, an image can be obtained for each of a plurality of horizontal regions of the inspection object 3 .
  • the lifting device 50 also includes a cable 86 provided with a marker 94 and a reel 82 for winding and feeding the cable 86 . Therefore, by rotating the reel 82, the vertical position of the marker 94 can be changed.
  • the lifting device 50 also includes a sensor 58 that detects the feed amount of the cable 86 with respect to the reel 82 . Therefore, the vertical position of the marker 94 can be grasped based on the detection of the feed amount of the cable 86 by the sensor 58 .
  • the flying object 180 is connected to the cable 86 of the lifting device 50 via a rope 186 . Therefore, the range of movement of the flying object 180 can be limited within the length of the rope 186 .
  • Cables 86 and ropes 186 also include power transmission cables 44 that transmit power to aircraft 180 . Therefore, power can be sent to the aircraft 180 through the power transmission cable 44 .
  • the cable 86 is provided with an imaging distance measuring device 130 , and an imaging device 160 of the imaging distance measuring device 130 images the flying object 180 . Therefore, by being imaged by the imaging device 160, an image in which the flying object 180 is reflected as an image can be obtained.
  • the worker 7 issues a movement instruction (that is, a first upward instruction, a first downward instruction, a second upward instruction, a second downward instruction, a right movement instruction, left movement instruction, forward instruction, and/or backward instruction) is given to the imaging support device 10 .
  • a movement instruction that is, a first upward instruction, a first downward instruction, a second upward instruction, a second downward instruction, a right movement instruction, left movement instruction, forward instruction, and/or backward instruction
  • the processor 30 of the imaging support device 10 controls the flying object 180 by setting the light emitting mode of the light emitting object 120 according to the movement instruction given by the operator 7 . Therefore, the attitude and/or position of the flying object 180 can be adjusted based on the image captured by the imaging device 160 .
  • the processor 30 of the imaging support device 10 controls the flying object 180 by setting the light emission mode of the light emitter 120 so that the flying object 180 moves to the center of the angle of view of the imaging device 160 . Therefore, the position of the flying object 180 that appears as an image in the image can be set at the center of the angle of view of the imaging device 160 .
  • the imaging device 160 is arranged at a position adjacent to the marker 94 . Therefore, for example, the image can include an image closer to the image of the flying object 180 as seen from the position of the marker 94 than if the imaging device 160 were arranged at a position distant from the marker 94 .
  • the imaging rangefinder 130 provided on the cable 86 includes a rangefinder 170 , and the rangefinder 170 measures the distance between the rangefinder 170 and the aircraft 180 . Therefore, distance measurement information can be obtained by measuring the distance between the distance measurement device 170 and the aircraft 180 by the distance measurement device 170 .
  • the operator 7 gives an advance instruction or a retreat instruction to the imaging support device 10 based on distance measurement information obtained by being measured by the distance measurement device 170 .
  • the processor 30 of the imaging support device 10 controls the flying object 180 by setting the light emission mode of the light emitter 120 according to the forward direction or backward direction given by the operator 7 . Therefore, the distance between the ranging device 170 and the flying object 180 can be adjusted based on the ranging information.
  • the operator 7 sets the distance between the rangefinder 170 and the aircraft 180 to the predetermined distance based on the distance measurement information obtained by the measurement by the rangefinder 170.
  • An advance instruction or a retreat instruction may be given to the imaging support device 10 .
  • the distance between the rangefinder 170 and the aircraft 180 can be adjusted to a predetermined distance.
  • the distance measuring device 170 is arranged at a position adjacent to the marker 94 . Therefore, for example, the distance between the rangefinder 170 and the flying object 180 measured by the rangefinder 170 is measured by the marker 94 compared to the case where the rangefinder 170 is arranged at a position distant from the marker 94 . The distance between 94 and the vehicle 180 can be approximated.
  • the flying object 180 may include a LiDAR scanner 250.
  • the LiDAR scanner 250 scans the target area including the marker 94 as part thereof to obtain scan data.
  • a processor 200 (see FIG. 6) of the aircraft 180 detects the vertical position of the marker 94 based on the scan data.
  • a technique for detecting the vertical position of the marker 94 based on scan data will be exemplified below.
  • a point cloud 252 represents a plurality of points scanned by the LiDAR scanner 250.
  • the distance between marker 94 and LiDAR scanner 250 is measured by LiDAR scanner 250, and at points off marker 94, the distance between the background surrounding marker 94 and LiDAR scanner 250 is measured.
  • Measured by LiDAR scanner 250 Scanning by the LiDAR scanner 250 provides distance information 254 representing the relationship between the scan position and the measured distance for the point cloud 252 .
  • FIG. 43 shows, as an example, distance information 254 obtained at scan position 254A.
  • Edge extraction processing (that is, processing for extracting points corresponding to distances equal to or less than a predetermined value) is performed on the distance information 254, for example, to extract a first point group corresponding to the shape of the marker 94 from the point group 252.
  • 252A ie, the point cloud located on the marker
  • the It is determined whether the shape represented by the one point group 252A corresponds to the marker 94 or not.
  • the shape of the marker 94 is determined based on the irradiation angle of the laser corresponding to each point forming the first point group 252A.
  • a vertical position is derived. In this way, when the flying vehicle 180 includes the LiDAR scanner 250, the vertical position of the marker 94 is determined based on scan data obtained by scanning the target area including the marker 94 with the LiDAR scanner 250. detected by
  • the flying object 180 may include a LiDAR scanner 250 instead of the imaging device 210 (see FIG. 1), or may include the LiDAR scanner 250 in addition to the imaging device 210. If the flying object 180 includes the imaging device 210 and the LiDAR scanner 250, imaging by the imaging device 210 and measurement by the LiDAR scanner 250 can be performed separately.
  • the imaging system S may include an elevating device 260 instead of the elevating device 50 (see FIG. 1).
  • the lifting device 260 has a telescoping ladder 262 .
  • ladder 262 is placed on the ground.
  • a marker device 90 and an imaging and ranging device 130 are provided above the ladder 262 .
  • the ladder 262 may extend and retract electrically or manually.
  • the extension and contraction of the ladder 262 allows the marker device 90 and the imaging and ranging device 130 to be raised and lowered.
  • the ladder 262 is exemplified as one means for raising and lowering the marker device 90 and the imaging and ranging device 130.
  • a telescoping member or telescoping mechanism such as a telescoping strut may be used.
  • the telescoping member or telescoping mechanism may be placed on the ground or suspended from the bridge girders of the bridge 5 .
  • the operator 7 issues a movement instruction (i.e., first ascent instruction, first 1 lowering instruction, 2nd raising instruction, 2nd lowering instruction, right movement instruction, left movement instruction, forward instruction, and/or backward instruction) is given to the imaging support device 10 .
  • a movement instruction i.e., first ascent instruction, first 1 lowering instruction, 2nd raising instruction, 2nd lowering instruction, right movement instruction, left movement instruction, forward instruction, and/or backward instruction
  • the processor 30 of the imaging support device 10 controls the flying object 180 by setting the light emitting mode of the light emitting object 120 according to the movement instruction given by the operator 7 .
  • the processor 30 of the imaging support device 10 determines the attitude and/or position of the flying object 180 based on the image obtained by imaging the flying object 180 with the imaging device 160, and may be used to control the flying object 180 .
  • the operator 7 gives the imaging support device 10 an advance instruction or a retreat instruction based on the distance measurement information obtained by being measured by the distance measurement device 170 .
  • the processor 30 of the imaging support device 10 controls the flying object 180 by setting the light emission mode of the light emitter 120 according to the forward direction or backward direction given by the operator 7 .
  • the processor 30 of the imaging support device 10 sets the light emission mode of the light emitter 120 based on the distance measurement information obtained by the measurement by the distance measurement device 170, thereby moving the flying object 180 forward or backward. You may let Also, in this case, the processor 30 of the imaging support device 10 may move the flying object 180 forward or backward so that the distance between the rangefinder 170 and the flying object 180 is set to a predetermined distance.
  • the lifting device 50 and the marker device 90 are controlled in accordance with the instructions received by the receiving device 14.
  • the lifting device 50 and the marker device 90 are controlled in a predetermined order.
  • the imaging device 160 is provided on the cable 86 of the lifting device 50, but the imaging device 160 may be omitted.
  • the imaging system S is used for inspection purposes, but may be used for purposes other than inspection, such as transportation, photography, surveying, pesticide spraying, maintenance, or security.
  • the vertical position of the aircraft 180 is changed in accordance with the change in the vertical position of the marker 94, but the position of the marker 94 is changed in directions other than the vertical direction. , the position of the vehicle 180 may be changed accordingly.
  • the imaging support processing is executed by the imaging support device 10
  • the elevation processing is executed by the lifting device 50
  • the light emission mode control processing is executed by the marker device 90
  • the imaging and ranging device 130 performs imaging and ranging.
  • the imaging support device 10 may collectively execute the imaging support processing, elevation processing, light emission mode control processing, and imaging ranging processing.
  • Two devices or three devices of the distance device 130 may perform the imaging support processing, the elevation processing, the lighting mode control processing, and the imaging ranging processing in a distributed manner.
  • the imaging support processing program 300 may be stored in a portable storage medium such as an SSD or USB memory.
  • the storage medium is a non-transitory storage medium.
  • the imaging support processing program 300 stored in the storage medium is installed in the computer 12 of the imaging support device 10 .
  • the processor 30 of the imaging support device 10 executes imaging support processing according to the imaging support processing program 300 .
  • the lifting processing program 400 is stored in the storage 72 of the lifting device 50 , but the technology of the present disclosure is not limited to this.
  • the elevation processing program 400 may be stored in a portable storage medium such as an SSD or USB memory.
  • the storage medium is a non-transitory storage medium.
  • a lifting processing program 400 stored in a storage medium is installed in the computer 52 of the lifting device 50 .
  • the processor 70 of the lifting device 50 executes lifting processing according to the lifting processing program 400 .
  • the light emission mode control processing program 500 is stored in the storage 112 of the marker device 90, but the technology of the present disclosure is not limited to this.
  • the lighting mode control processing program 500 may be stored in a portable storage medium such as an SSD or USB memory.
  • the storage medium is a non-transitory storage medium.
  • a lighting mode control processing program 500 stored in a storage medium is installed in the computer 92 of the marker device 90 .
  • the processor 110 of the marker device 90 executes lighting mode control processing according to the lighting mode control processing program 500 .
  • the storage 152 of the imaging and ranging device 130 stores the imaging and ranging processing program 600, but the technology of the present disclosure is not limited to this.
  • the imaging and ranging processing program 600 may be stored in a portable storage medium such as an SSD or USB memory.
  • the storage medium is a non-transitory storage medium.
  • the imaging and ranging processing program 600 stored in the storage medium is installed in the computer 132 of the imaging and ranging device 130 .
  • the processor 150 of the image pickup and ranging device 130 executes the image pickup and ranging processing according to the image pickup and ranging processing program 600 .
  • the flight imaging processing program 700 may be stored in a portable storage medium such as an SSD or USB memory.
  • the storage medium is a non-transitory storage medium.
  • a flight imaging processing program 700 stored in a storage medium is installed in the computer 182 of the aircraft 180 .
  • the processor 200 of the flying object 180 executes flight imaging processing according to the flight imaging processing program 700 .
  • the image capturing support processing program 300 is stored in a storage device such as another computer or server device connected to the image capturing support apparatus 10 via a network, and the image capturing support processing program 300 is stored in response to a request from the image capturing support apparatus 10 .
  • the imaging support processing program 300 may be downloaded and installed in the computer 12 of the imaging support device 10 .
  • imaging support processing program 300 it is not necessary to store all of the imaging support processing program 300 in a storage device such as another computer or server device connected to the imaging support device 10 or in the storage 32 of the imaging support device 10. A part of 300 may be stored.
  • the lifting processing program 400 is stored in a storage device such as another computer or a server device connected to the lifting device 50 via the network, and the lifting processing program 400 is stored in response to a request from the lifting device 50. 400 may be downloaded and installed on the computer 52 of the elevator 50 .
  • the lifting processing program 400 it is not necessary to store all of the lifting processing program 400 in a storage device such as another computer or server device connected to the lifting device 50, or in the storage 72 of the lifting device 50. may be stored.
  • the light emission mode control processing program 500 is stored in a storage device such as another computer or server device connected to the marker device 90 via a network, and light emission is performed in response to a request from the marker device 90 .
  • the modal control processing program 500 may be downloaded and installed on the computer 92 of the marker device 90 .
  • the light emission mode control processing program 500 may be stored in a storage device such as another computer or server device connected to the marker device 90, or in the storage 112 of the marker device 90. 500 may be stored.
  • the imaging and ranging processing program 600 is stored in another computer connected to the imaging and ranging device 130 via a network or in a storage device such as a server device. , the imaging and ranging processing program 600 may be downloaded and installed in the computer 132 of the imaging and ranging device 130 .
  • imaging and ranging processing program 600 it is not necessary to store all of the imaging and ranging processing program 600 in a storage device such as another computer or server device connected to the imaging and ranging device 130, or in the storage 152 of the imaging and ranging device 130. Part of the distance measurement processing program 600 may be stored.
  • the flight imaging processing program 700 is stored in a storage device such as another computer or server device connected to the aircraft 180 via the network, and the flight imaging processing program 700 is stored in response to a request from the aircraft 180 .
  • Processing program 700 may be downloaded and installed on computer 182 of air vehicle 180 .
  • flight imaging processing program 700 it is not necessary to store all of the flight imaging processing program 700 in a storage device such as another computer or server device connected to the flying object 180, or in the storage 202 of the flying object 180. A part may be stored.
  • the computer 12 is built in the imaging support device 10, but the technology of the present disclosure is not limited to this, and the computer 12 may be provided outside the imaging support device 10, for example.
  • the computer 52 is built in the lifting device 50, but the technology of the present disclosure is not limited to this, and the computer 52 may be provided outside the lifting device 50, for example.
  • the computer 92 is built in the marker device 90, but the technology of the present disclosure is not limited to this, and the computer 92 may be provided outside the marker device 90, for example.
  • the computer 132 is built in the imaging and ranging device 130, but the technology of the present disclosure is not limited to this. good.
  • the computer 182 is built in the flying object 180, but the technology of the present disclosure is not limited to this, and the computer 182 may be provided outside the flying object 180, for example.
  • the computer 12 is used for the imaging support device 10, but the technology of the present disclosure is not limited to this, and a device including ASIC, FPGA, and/or PLD may be used instead of the computer 12. may apply. Also, instead of the computer 12, a combination of hardware configuration and software configuration may be used.
  • the computer 52 is used in the lifting device 50, but the technology of the present disclosure is not limited to this, and instead of the computer 52, a device including ASIC, FPGA, and/or PLD is applied. You may also, instead of the computer 52, a combination of hardware configuration and software configuration may be used.
  • the computer 92 is used in the marker device 90, but the technology of the present disclosure is not limited to this, and instead of the computer 92, a device including ASIC, FPGA, and/or PLD is applied. You may also, instead of the computer 92, a combination of hardware configuration and software configuration may be used.
  • the computer 132 is used for the imaging and ranging device 130, but the technology of the present disclosure is not limited to this, and instead of the computer 132, a device including ASIC, FPGA, and/or PLD may apply. Also, instead of the computer 132, a combination of hardware and software configurations may be used.
  • the computer 182 is used in the aircraft 180, but the technology of the present disclosure is not limited to this, and instead of the computer 182, a device including ASIC, FPGA, and/or PLD is applied. You may Also, instead of the computer 182, a combination of hardware and software configurations may be used.
  • processors can be used as hardware resources for executing the various processes described in the above embodiments.
  • processors include CPUs, which are general-purpose processors that function as hardware resources that execute various processes by executing software, that is, programs.
  • the processor includes, for example, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing specific processing such as FPGA, PLD, or ASIC.
  • a memory is built in or connected to each processor, and each processor executes processing by using the memory.
  • hardware resources for executing various processes may be configured with one of these various processors, or a combination of two or more processors of the same or different types (for example, a combination of multiple FPGAs, or a combination of a CPU and an FPGA).
  • the hardware resource that executes the processing may be one processor.
  • one processor is configured by combining one or more CPUs and software, and this processor functions as a hardware resource that executes various processes.
  • this processor functions as a hardware resource that executes various processes.
  • SoC SoC, etc.
  • a and/or B is synonymous with “at least one of A and B.” That is, “A and/or B” means that only A, only B, or a combination of A and B may be used. Also, in this specification, when three or more matters are expressed by connecting with “and/or”, the same idea as “A and/or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

制御装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出されたマーカーの鉛直方向の位置を取得し、マーカーの鉛直方向の位置に基づいて、飛行体に対して、飛行体の鉛直方向の位置を維持又は変更する制御を行う。

Description

制御装置、飛行体システム、制御方法、及びプログラム
 本開示の技術は、制御装置、飛行体システム、制御方法、及びプログラムに関する。
 特開2020-032804号公報には、複数の回転翼を有する飛行可能な飛行体と、飛行体と共に飛行するように設けられ、ワークが載置されるフォークと、を備える無人飛行搬送装置が開示されている。
 特開2017-024616号公報には、推進装置により生成される推進力を利用して飛行する飛行体であって、飛行体の姿勢を検知する姿勢検知部と、光を受光する受光部と、飛行体が光を発する発光体に対して一定の位置を維持するように、姿勢検知部から得られる姿勢角と受光部から得られる光の強度とに基づいて、推進装置の推進力を制御して飛行体の位置及び/又は速度を制御する飛行制御部と、を備える飛行体が開示されている。
 特開2019-055780号公報には、飛行体の制御に用いる飛行体の制御システムであって、飛行体の飛行ルート上に配置され、飛行体を制御する制御情報が画像もしくは文字、またはそれらの組み合わせとして表示される目印部と、制御情報に基づいて、飛行体を制御する飛行制御部と、目印部に表示された画像もしくは文字、またはそれらの組み合わせを撮像する撮像部と、撮像部が画像もしくは文字、またはそれらの組み合わせを撮像する際の、飛行体と目印部の位置関係に基づいて制御情報を補正する補正部と、を備える飛行体の制御システムが開示されている。
 特開2019-156242号公報には、モータの駆動力によって飛行する飛行体のシステムであって、地上に設置され、電源装置を有する地上部と、第一の端部が地上部に接続されたケーブルと、ケーブルの第二の端部に接続された飛行体と、地上に設置され、ケーブルの余剰分を巻取るリール装置と、飛行体を操縦するコントローラを備え、飛行体は、主回転翼を駆動するDCモータと、自身の高度を計測する飛行体高度計測手段と、自身の位置を把握する飛行体位置把握手段と、を有し、リール装置は、ケーブルが巻取られる円筒状のドラムと、ドラムを回転駆動させるモータと、ドラムの回転方向及び回転速度を計測可能な回転センサと、モータのコイルを流れる電流を検出する電流検出手段と、電流検出手段によって検出される電流値を基にモータが発生するトルクを制御するモータコントローラと、自身の高度を計測するリール装置高度計測手段と、自身の位置を把握するリール装置位置把握手段と、を有し、モータコントローラは、基本的には、電流検出手段によって検出される電流値が予め設定された標準設定値と一致するようにすることで、ドラムがケーブルを巻き取る方向にトルクを発生させてモータを制御し、操縦者がコントローラを操作した時に、飛行体高度計測手段と、飛行体位置把握手段と、リール装置高度計測手段と、リール装置位置把握手段と、から得られた情報と、コントローラの操作情報を基に、その後、飛行体がリール装置から所定の速度以上で離れて行くと判定した場合は、検出される電流値の設定値を標準設定値よりも小さくなるように補正して制御する飛行体システムが開示されている。
 特開2018-095105号公報には、被点検物に沿って張られる親綱と、一端側の部位が、被点検物を点検する点検部が設けられている飛翔体に接合され、他端側の部位が、親綱の長手方向で移動自在なように親綱に係合する連結綱と、を有する飛翔体の安全装置が開示されている。
 特開2019-144052号公報には、検査対象物の状態の点検結果に基づいて検査対象物を評価する検査対象物の点検装置であって、検査対象物の状態を検出して該検査対象物の状態を表わす点検情報を生成する検出部と、検出部に設けられ検査対象物の状態点検箇所を指示する指標部と、検査対象物に沿って移動する飛行体と、飛行体と有線ケーブルを介して連結され、飛行体に対して持続的電力供給が可能な電源部と、飛行体に搭載され、検査対象物の表面の互いに離れた少なくとも2箇所に設定された複数の基準点と指標部とを含む範囲を撮像して画像情報を生成する撮像部と、検査対象物に対して飛行体を、複数の基準点と指標部とを含む範囲が撮像部により撮像し得る位置に飛行させる飛行制御部と、撮像部で撮像された画像情報に基づいて、複数の基準点の位置に対する指標部の相対的な位置を検査対象物の点検位置情報として生成する点検位置情報生成部と、検出部での点検情報と点検位置情報とを関連付けた検査対象物の状態を評価する評価情報を生成する検査対象物評価情報生成部と、を備える検査対象物の点検装置が開示されている。
 本開示の技術に係る一つの実施形態は、例えば、衛星測位システムを用いなくても、飛行体を鉛直方向に位置決めすることができる制御装置、飛行体システム、制御方法、及びプログラムを提供する。
 本開示の技術に係る第1の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出されたマーカーの鉛直方向の位置を取得し、マーカーの鉛直方向の位置に基づいて、飛行体に対して、飛行体の鉛直方向の位置を維持又は変更する制御を行う制御装置である。
 本開示の技術に係る第2の態様は、第1の態様に係る制御装置において、光学センサは、第1撮像装置を有する制御装置である。
 本開示の技術に係る第3の態様は、第2の態様に係る制御装置において、プロセッサは、第1撮像装置に対して、マーカーを一部に含む撮像シーンを撮像させる制御を行う制御装置である。
 本開示の技術に係る第4の態様は、第3の態様に係る制御装置において、撮像シーンは、マーカーの周囲に位置する第1点検対象物を含む制御装置である。
 本開示の技術に係る第5の態様は、第3の態様又は第4の態様に係る制御装置において、マーカーの鉛直方向の位置は、第1撮像装置によって撮像シーンが撮像されることで得られた画像に基づいて検出された位置である制御装置である。
 本開示の技術に係る第6の態様は、第5の態様に係る制御装置において、プロセッサは、飛行体に対して、画像上でマーカーが画像の縦方向の中央部に配置される高さに飛行体の鉛直方向の位置を設定する制御を行う制御装置である。
 本開示の技術に係る第7の態様は、第1の態様から第6の態様の何れか一つの態様に係る制御装置において、プロセッサは、飛行体に対して、飛行体の鉛直方向の位置をマーカーの鉛直方向の位置と同じ位置に設定する制御を行う制御装置である。
 本開示の技術に係る第8の態様は、第1の態様又は第2の態様に係る制御装置において、光学センサは、LiDARスキャナを有し、マーカーの鉛直方向の位置は、LiDARスキャナによってマーカーを一部に含む対象領域がスキャンされることで得られたスキャンデータに基づいて検出された位置である制御装置である。
 本開示の技術に係る第9の態様は、第1の態様から第8の態様の何れか一つの態様に係る制御装置において、マーカーは、発光体を有する制御装置である。
 本開示の技術に係る第10の態様は、第9の態様に係る制御装置において、プロセッサは、飛行体に対して、発光体の第1発光態様に応じた第1制御を行う制御装置である。
 本開示の技術に係る第11の態様は、第10の態様に係る制御装置において、第1制御は、飛行体の鉛直方向の位置を維持又は変更する制御を含む制御装置である。
 本開示の技術に係る第12の態様は、第10の態様又は第11の態様に係る制御装置において、第1制御は、飛行体の移動速度を維持又は変更する制御を含む制御装置である。
 本開示の技術に係る第13の態様は、第10の態様から第12の態様の何れか一つの態様に係る制御装置において、第1制御は、飛行体を水平方向に移動させる移動制御を含む制御装置である。
 本開示の技術に係る第14の態様は、第13の態様に係る制御装置において、移動制御は、飛行体を水平方向に移動させることでマーカーと飛行体との間の第1距離を調節する制御を含む制御装置である。
 本開示の技術に係る第15の態様は、第10の態様から第14の態様の何れか一つの態様に係る制御装置において、第1発光態様は、点滅を含む態様である制御装置である。
 本開示の技術に係る第16の態様は、第9の態様から第15の態様の何れか一つの態様に係る制御装置において、プロセッサは、飛行体に対して、発光体の第2発光態様に応じてホバリングさせる制御を行う制御装置である。
 本開示の技術に係る第17の態様は、第16の態様に係る制御装置において、第2発光態様は、消灯を含む態様である制御装置である。
 本開示の技術に係る第18の態様は、第9の態様から第17の態様の何れか一つの態様に係る制御装置において、プロセッサは、飛行体に搭載された第2撮像装置に対して、発光体の第3発光態様に応じて静止画像用の撮像を行わせる撮像制御を行う制御装置である。
 本開示の技術に係る第19の態様は、第18の態様に係る制御装置において、プロセッサは、飛行体がホバリングしている場合に、撮像制御を行う制御装置である。
 本開示の技術に係る第20の態様は、第18の態様又は第19の態様に係る制御装置において、発光体は、複数の光源を含み、第3発光態様は、複数の光源の交互の点滅を含む態様である制御装置である。
 本開示の技術に係る第21の態様は、第9の態様から第20の態様の何れか一つの態様に係る制御装置において、プロセッサは、発光体の第4発光態様に応じて、飛行体に対して、飛行体の鉛直方向の位置を維持した状態で水平方向に移動させる制御と、飛行体に搭載された第3撮像装置に対して、第2点検対象物を撮像させる制御とを繰り返し行う制御装置である。
 本開示の技術に係る第22の態様は、第1の態様から第21の態様の何れか一つの態様に係る制御装置と、変位機構と、マーカーと、飛行体と、を備える飛行体システムである。
 本開示の技術に係る第23の態様は、第22の態様に係る飛行体システムにおいて、変位機構は、マーカーが設けられたケーブルと、ケーブルに対する巻き取り及び送り出しを行うリールと、を備える飛行体システムである。
 本開示の技術に係る第24の態様は、第23の態様に係る飛行体システムにおいて、変位機構は、リールに対するケーブルの送り出し量を検出するセンサを備える飛行体システムである。
 本開示の技術に係る第25の態様は、第22の態様に係る飛行体システムにおいて、変位機構は、マーカーを昇降させる昇降機構を含む飛行体システムである。
 本開示の技術に係る第26の態様は、第22の態様から第25の態様の何れか一つの態様に係る飛行体システムにおいて、変位機構と飛行体とを繋ぐロープを備える飛行体システムである。
 本開示の技術に係る第27の態様は、第26の態様に係る飛行体システムにおいて、変位機構及びロープは、飛行体に対して電力を送る送電ケーブルを含む飛行体システムである。
 本開示の技術に係る第28の態様は、第22の態様から第27の態様の何れか一つの態様に係る飛行体システムにおいて、変位機構に設けられ、飛行体を撮像する第4撮像装置を備える飛行体システムである。
 本開示の技術に係る第29の態様は、第28の態様に係る飛行体システムにおいて、プロセッサは、第4撮像装置によって飛行体が撮像されることで得られた画像に基づいて、飛行体に対する制御を行う飛行体システムである。
 本開示の技術に係る第30の態様は、第29の態様に係る飛行体システムにおいて、プロセッサは、飛行体に対し、第4撮像装置の画角の中央部に飛行体を移動させる制御を行う飛行体システムである。
 本開示の技術に係る第31の態様は、第28の態様から第30の態様の何れか一つの態様に係る飛行体システムにおいて、第4撮像装置は、マーカーに隣接する位置に配置されている飛行体システムである。
 本開示の技術に係る第32の態様は、第22の態様から第31の態様の何れか一つの態様に係る飛行体システムにおいて、変位機構に設けられた測距装置を備え、測距装置は、測距装置と飛行体との間の第2距離を測定する飛行体システムである。
 本開示の技術に係る第33の態様は、第32の態様に係る飛行体システムにおいて、プロセッサは、測距装置によって第2距離が測定されることで得られた測距情報に基づいて、飛行体に対する第2制御を行う飛行体システムである。
 本開示の技術に係る第34の態様は、第33の態様に係る飛行体システムにおいて、第2制御は、第2距離を既定距離に設定する制御である飛行体システムである。
 本開示の技術に係る第35の態様は、第32の態様から第34の態様の何れか一つの態様に係る飛行体システムにおいて、測距装置は、マーカーに隣接する位置に配置されている飛行体システムである。
 本開示の技術に係る第36の態様は、変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出されたマーカーの鉛直方向の位置を取得すること、及び、マーカーの鉛直方向の位置に基づいて、飛行体に対して、飛行体の鉛直方向の位置を維持又は変更する制御を行うことを備える制御方法である。
 本開示の技術に係る第37の態様は、変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出されたマーカーの鉛直方向の位置を取得すること、及び、マーカーの鉛直方向の位置に基づいて、飛行体に対して、飛行体の鉛直方向の位置を維持又は変更する制御を行うことを含む処理をコンピュータに実行させるためのプログラムである。
本開示の技術の一実施形態に係る点検システムの全体構成の一例を示す側面図である。 本実施形態に係る撮像支援装置の電気的な構成の一例を示すブロック図である。 本実施形態に係る昇降装置の電気的な構成の一例を示すブロック図である。 本実施形態に係るマーカー装置の電気的な構成の一例を示すブロック図である。 本実施形態に係る撮像測距装置の電気的な構成の一例を示すブロック図である。 本実施形態に係る飛行体の電気的な構成の一例を示すブロック図である。 本実施形態に係る撮像支援装置の機能的な構成の一例を示すブロック図である。 本実施形態に係る昇降装置の機能的な構成の一例を示すブロック図である。 本実施形態に係るマーカー装置の機能的な構成の一例を示すブロック図である。 本実施形態に係る撮像測距装置の機能的な構成の一例を示すブロック図である。 本実施形態に係る飛行体の機能的な構成の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて撮像測距装置が飛行体を撮像する動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて撮像測距装置が撮像測距装置と飛行体との間の距離を測定する動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置に対して作業者によって指示が入力された場合の撮像支援装置の動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて昇降装置がマーカーを昇降させる動作の一例を示すブロック図である。 本実施形態に係るマーカーの鉛直方向の位置に基づいて飛行体が鉛直方向の位置を設定する動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて発光体が第1発光態様で発光する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様による発光に基づいて飛行体が飛行する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様の第1例に基づいて飛行体が上昇する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様の第2例に基づいて飛行体が下降する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様の第3例に基づいて飛行体が右に移動する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様の第4例に基づいて飛行体が左に移動する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様の第5例に基づいて飛行体が前進する動作の一例を示すブロック図である。 本実施形態に係る発光体の第1発光態様の第6例に基づいて飛行体が後退する動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて発光体が第2発光態様で発光する動作の一例を示すブロック図である。 本実施形態に係る発光体の第2発光態様に基づいて飛行体がホバリングを行う動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて発光体が第3発光態様で発光する動作の一例を示すブロック図である。 本実施形態に係る発光体の第3発光態様に基づいて飛行体が撮像を行う動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて発光体が第4発光態様で発光する動作の一例を示すブロック図である。 本実施形態に係る発光体の第4発光態様に基づいて飛行体が横移動及び撮像を行う動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による制御に基づいて撮像測距装置が飛行体を撮像する動作の一例を示すブロック図である。 本実施形態に係る撮像支援装置による位置ずれ判定結果に基づいて発光体が第1発光態様又は第2発光態様で発光する動作の一例を示すブロック図である。 本実施形態に係る撮像支援処理のうちの第1処理の流れの一例を示すフローチャートである。 本実施形態に係る撮像支援処理のうちの第2処理の流れの一例を示すフローチャートである。 本実施形態に係る撮像支援処理のうちの第3処理の流れの一例を示すフローチャートである。 本実施形態に係る撮像支援処理のうちの第4処理の流れの一例を示すフローチャートである。 本実施形態に係る昇降処理の流れの一例を示すフローチャートである。 本実施形態に係る発光態様制御処理の流れの一例を示すフローチャートである。 本実施形態に係る撮像測距処理の流れの一例を示すフローチャートである。 本実施形態に係る飛行撮像処理のうちの第1処理の流れの一例を示すフローチャートである。 本実施形態に係る飛行撮像処理のうちの第2処理の流れの一例を示すフローチャートである。 本実施形態に係る飛行撮像処理のうちの第3処理の流れの一例を示すフローチャートである。 本実施形態の第1変形例として飛行体にLiDARスキャナが搭載された一例を示す側面図である。 本実施形態の第2変形例として梯子を有する昇降装置が用いられた一例を示す側面図である。
 以下、添付図面に従って本開示の技術に係る制御装置、飛行体システム、制御方法、及びプログラムの実施形態の一例について説明する。
 先ず、以下の説明で使用される文言について説明する。
 CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。LEDとは、“light emitting diode”の略称を指す。ELとは、“Electro Luminescence”の略称を指す。LiDARとは、“light detection and ranging”の略称を指す。
 本明細書の説明において、「鉛直」とは、完全な鉛直の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの鉛直を指す。本明細書の説明において、「鉛直方向の位置」とは、完全な鉛直方向の位置の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの鉛直方向の位置を指す。本明細書の説明において、「平行」とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの平行を指す。本明細書の説明において、「水平」とは、完全な水平の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの水平を指す。
 一例として図1に示すように、本開示の技術の一実施形態に係る点検システム1は、撮像システムS及び画像解析装置230を備えており、点検対象物3を点検する。
 一例として、点検対象物3は、橋梁5の橋脚である。一例として、橋脚は、鉄筋コンクリート製である。ここでは、点検対象物3の一例として、橋脚が挙げられているが、点検対象物3は、橋脚以外の道路設備であってもよい。道路設備としては、例えば、路面、トンネル、ガードレール、信号機、及び/又は、防風フェンス等が挙げられる。点検対象物3は、道路設備以外の社会的なインフラストラクチャ(例えば、空港設備、港湾設備、貯水設備、ガス設備、医療設備、消防設備、及び/又は、教育設備等)であってもよいし、私的な所有物であってもよい。また、点検対象物3は、土地(例えば、国有地及び/又は私有地等)であってもよい。点検対象物3として例示している橋脚は、鉄筋コンクリート製以外の橋脚でもよい。
 本実施形態において、点検とは、例えば、点検対象物3の状態の点検を指す。例えば、点検対象物3の損傷の有無及び/又は損傷の程度等が点検システム1によって点検される。点検対象物3は、本開示の技術に係る「点検対象物」の一例である。
 撮像システムSは、撮像支援装置10、電源装置40、昇降装置50、マーカー装置90、撮像測距装置130、及び飛行体180を備える。飛行体180は、被写体(図1に示す例では、点検対象物3)を撮像する機能を有する。撮像システムSは、飛行体180によって点検対象物3が撮像されることで得られた画像を画像解析装置230に提供するシステムである。画像解析装置230は、点検システム1から提供された画像に対して画像解析処理を実行することで、点検対象物3の損傷の有無及び/又は損傷の程度等を点検し、点検結果を出力する。一例として、画像解析処理は、人工知能等を利用して画像を解析する処理である。撮像システムSは、本開示の技術に係る「飛行体システム」の一例である。
 撮像支援装置10は、例えば、ノート型パーソナルコンピュータである。ここでは、撮像支援装置10として、ノート型パーソナルコンピュータを例示しているが、これは、あくまでも一例に過ぎず、デスクトップ型パーソナルコンピュータであってもよい。また、パーソナルコンピュータに限らず、サーバであってもよい。サーバは、メインフレームであってもよいし、クラウドコンピューティングによって実現される外部サーバであってもよい。また、サーバは、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現される外部サーバであってもよい。また、撮像支援装置10は、タブレット端末及び/又はスマートフォン等でもよい。撮像支援装置10は、昇降装置50、マーカー装置90、撮像測距装置130、及び画像解析装置230に対して通信可能に接続されている。
 作業者7は、撮像支援装置10の操作を行う。撮像支援装置10は、作業者7による操作に応じて、昇降装置50、マーカー装置90、及び撮像測距装置130に対して各種指令を送信する。一例として図1に示す例では、撮像支援装置10の操作を行う作業者7は、橋梁5の橋桁の上にいるが、作業者7は、地面(例えば、橋桁の下方の地面)にいてもよく、橋梁5から離れた遠隔地にいてもよい。橋梁5から離れた遠隔地は、撮像支援装置10が、昇降装置50、マーカー装置90、撮像測距装置130、及び画像解析装置230と通信可能な位置であればよい。
 電源装置40は、電源ケーブル42を介して昇降装置50と接続されている。電源装置40は、例えば、バッテリ又は発電機であり、直流電力を昇降装置50に供給する。一例として図1に示す例では、電源装置40は、橋桁の上に配置されているが、電源装置40は、地面に配置されてもよく、橋梁5から離れた遠隔地に配置されてもよい。
 昇降装置50は、電動リール機構54及びケーブル86を備える。電動リール機構54は、リール82を有する。リール82は、ドラム状に形成されており、電動リール機構54の動力によって第1方向と第2方向との双方向に選択的に回転する。ケーブル86は、リール82に巻き回されている。リール82が第1方向に回転すると、ケーブル86がリール82に巻き取られ、リール82が第1方向とは反対の第2方向に回転すると、ケーブル86がリール82から送り出される。一例として、昇降装置50は、橋桁の上に配置されており、ケーブル86は、橋桁の下方へ橋脚に沿って垂下されている。昇降装置50は、本開示の技術に係る「昇降機構」及び「変位機構」の一例である。
 マーカー装置90は、ケーブル86に取り付けられている。マーカー装置90は、マーカー94を備える。図1中の吹き出しBには、マーカー94をA-A方向から見た図(すなわち、マーカー94を正面視した図)が示されている。マーカー94は、正面視で三角形状の板材である。マーカー94は、点検対象物3の表面3Aと平行に配置される。図1に示す例では、飛行体180は、マーカー94の正面に位置している。以下では、特段の説明が無い限り、飛行体180は、マーカー94の正面に位置することを前提にして説明する。また、以下では、飛行体180は、飛行体180の正面にマーカー94が位置する向きで飛行することを前提にして説明する。また、以下では、特段の説明が無い限り、飛行体180は、マーカー94から予め定められた離隔距離だけ離れていることを前提にして説明する。予め定められた離隔距離とは、例えば、飛行体180によってマーカー94が撮像される場合の撮像範囲にマーカー94の全体が収まり、マーカー94の位置が被写界深度に収まる距離として実機による試験及び/又はコンピュータシミュレーション等によって事前に導き出された距離を指す。
 撮像測距装置130は、ケーブル86に取り付けられている。撮像測距装置130は、マーカー94に隣接する位置に配置されている。一例として図1に示す例では、撮像測距装置130は、マーカー94の上側に配置されているが、撮像測距装置130は、マーカー94の下側に配置されていてもよい。また、撮像測距装置130は、マーカー94の側方に配置されていてもよい。この場合、ケーブル86に取り付けられたブラケット等によって撮像測距装置130がマーカー94の側方で保持されるようにすればよい。また、一例として図1に示す例では、撮像測距装置130は、マーカー装置90と別体であるが、マーカー装置90と一体でもよい。一例として、撮像測距装置130がマーカー94に隣接するとは、好ましくは、飛行体180の全長がおおよそ30cmであり、飛行体180と像測距装置130との間の距離がおおよそ100cmであった場合に、撮像測距装置130とマーカー94との間の距離が20cm以内となることであり、より好ましくは、17cm以内となることである。さらに、撮像測距装置130とマーカー94との間の距離については、撮像測距装置130で取得した画像の中心がマーカー94の中心となるように画像に付与される位置情報のキャリブレーションの処理を行っても良い。
 撮像測距装置130は、撮像装置160及び測距装置170を備える。撮像装置160は、撮像機能を有する装置である。撮像装置160の撮像機能は、例えば、デジタルカメラ又はビデオカメラ等によって実現される。撮像装置160は、本開示の技術に係る「第4撮像装置」の一例である。測距装置170は、測距機能を有する装置である。測距装置170の測距機能は、例えば、超音波式測距装置、レーザ式測距装置、又はレーダ式測距装置等によって実現される。なお、測距装置170として、LiDARスキャナが用いられてもよい。
 撮像装置160は、飛行体180を撮像し、測距装置170は、測距装置170と飛行体180との間の距離を測定する。撮像装置160の向き及び測距装置170の向きは次のように設定されている。すなわち、飛行体180がマーカー94の正面に位置し、かつ飛行体180がマーカー94から予め定められた離隔距離だけ離れている場合に、撮像装置160の撮像範囲160A内に飛行体180が収まるように、撮像装置160の向きは設定されている。同様に、飛行体180がマーカー94の正面に位置し、かつ飛行体180がマーカー94から予め定められた離隔距離だけ離れている場合に、測距装置170の測距範囲170A内に飛行体180が収まるように、測距装置170の向きは設定されている。
 一例として図1に示す例では、撮像装置160は、ケーブル86が鉛直方向と平行な状態では、水平方向に対して斜め下向きになるように、ケーブル86に対して固定されているが、これはあくまでも一例に過ぎず、撮像装置160は、ケーブル86が鉛直方向と平行な状態では、水平になるように、ケーブル86に対して固定されていてもよい。同様に、測距装置170は、ケーブル86が鉛直方向と平行な状態では、水平方向に対して斜め下向きになるように、ケーブル86に対して固定されているが、これはあくまでも一例に過ぎず、測距装置170は、ケーブル86が鉛直方向と平行な状態では、水平になるように、ケーブル86に対して固定されていてもよい。
 なお、一例として図1に示す例では、撮像測距装置130は、撮像装置160及び測距装置170を備えるが、これはあくまでも一例に過ぎず、撮像測距装置130は、撮像機能及び測距機能を備える撮像装置でもよい。撮像機能及び測距機能を備える撮像装置としては、例えばステレオカメラ又は位相差画素カメラ等が挙げられる。
 昇降装置50のリール82が第1方向に回転することにより、ケーブル86がリール82に巻き取られると、マーカー装置90及び撮像測距装置130が上昇する。一方、昇降装置50のリール82が第2方向に回転することにより、ケーブル86がリール82から送り出されると、マーカー装置90及び撮像測距装置130が下降する。マーカー94の鉛直方向の位置は、昇降装置50によって可変である。つまり、リール82に対してケーブル86が巻き取られると、マーカー94の鉛直方向の位置が鉛直方向上側に変更され、リール82に対してケーブル86が送り出されると、マーカー94の鉛直方向の位置が鉛直方向下側に変更される。
 飛行体180は、例えばドローン等の無人航空機であり、飛行体本体184及び撮像装置210を備える。飛行体本体184は、例えば複数の回転翼222を有するマルチコプタである。複数の回転翼222の数は、例えば3つ以上である。
 撮像装置210は、撮像機能を有する装置である。撮像装置210の撮像機能は、例えば、デジタルカメラ又はビデオカメラ等によって実現される。一例として図1に示す例では、撮像装置210は、飛行体本体184の上部に搭載されているが、これはあくまでも一例に過ぎず、撮像装置210は、飛行体本体184の下部に搭載されてもよい。撮像装置210は、飛行体180の前方を撮像する向きで配置されている。一例として図1に示す例では、撮像装置210は、飛行体180が水平な状態では、撮像装置210の光軸が水平になるように、飛行体本体184に対して固定されているが、これはあくまでも一例に過ぎず、撮像装置210は、飛行体180が水平な状態では、撮像装置210の光軸が水平方向に対して傾斜するように、飛行体本体184に対して固定されていてもよい。また、飛行体180は、水平方向に対する撮像装置210の角度を変更する角度変更機構を備えていてもよい。撮像装置210は、本開示の技術に係る「光学センサ」、「第1撮像装置」、「第2撮像装置」、及び「第3撮像装置」の一例である。
 飛行体180は、ロープ186を介してケーブル86と繋がっている。一例として、ロープ186の第1端は、飛行体本体184の下部に接続されており、ロープ186の第2端は、マーカー装置90の下方でケーブル86に接続されている。ケーブル86及びロープ186には、送電ケーブル44が設けられている。図1では、送電ケーブル44が想像線(すなわち、二点鎖線)で示されている。送電ケーブル44は、ケーブル86及びロープ186の内部に設けられてもよく、ケーブル86及びロープ186の外部に設けられてもよい。また、送電ケーブル44自体が、ケーブル86及びロープ186として構成されていてもよい。
 昇降装置50は、電源回路64を有する。電源回路64は、電源ケーブル42を介して電源装置40に接続されており、電源装置40から電源ケーブル42を介して受電する。電源回路64は、電源装置40から電源ケーブル42を介して供給された電力を、昇降装置50の駆動用電力として受け付ける。
 電源回路64は、電源装置40から受け付けた電力を、昇降装置50に搭載されている各種の電子機器に供給する。電源回路64は、送電ケーブル44を介してマーカー装置90、撮像測距装置130、及び飛行体180に接続されている。なお、これは、あくまでも一例に過ぎず、電源回路64を介さずに、電源装置40に対して、マーカー装置90、撮像測距装置130、及び飛行体180が接続されていてもよい。また、電源回路64は、昇降装置50の内部に設けられていてもよく、昇降装置50の外部に設けられていてもよい。また、電源中継回路66は、昇降装置50とは別の装置である電源中継装置(図示省略)に設けられていてもよい。
 電源回路64には、電源中継回路66が内蔵されている。電源中継回路66は、マーカー装置90、撮像測距装置130、及び飛行体180に対して、電源装置40から電源ケーブル42を介して電源回路64に供給された電力を中継する。すなわち、電源中継回路66は、電源装置40によって生成された電力を、送電ケーブル44を介して、マーカー装置90、撮像測距装置130、及び飛行体180に供給する。
 一例として図2に示すように、撮像支援装置10は、コンピュータ12、受付装置14、ディスプレイ16、外部I/F18、第1通信I/F20、第2通信I/F22、第3通信I/F24、及び第4通信I/F26を備えている。
 コンピュータ12は、プロセッサ30、ストレージ32、及びRAM34を備えている。プロセッサ30、ストレージ32、RAM34、外部I/F18、第1通信I/F20、第2通信I/F22、第3通信I/F24、及び第4通信I/F26は、バス36に接続されている。図2に示す例では、図示の都合上、バス36として1本のバスが図示されているが、複数本のバスであってもよい。バス36は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 プロセッサ30は、例えば、CPUを有しており、撮像支援装置10の全体を制御する。ここでは、プロセッサ30がCPUを有する例を挙げているが、これは、あくまでも一例に過ぎない。例えば、プロセッサ30は、CPU及びGPUを有していてもよい。この場合、例えば、GPUは、CPUの制御下で動作し、画像処理の実行を担う。
 ストレージ32は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ32としては、例えば、HDD及びSSD等が挙げられる。なお、HDD及びSSDは、あくまでも一例に過ぎず、HDD及び/又はSSDに代えて、或いは、HDD及び/又はSSDと共に、フラッシュメモリ、磁気抵抗メモリ、及び/又は強誘電体メモリを用いてもよい。
 RAM34は、一時的に情報が記憶されるメモリであり、プロセッサ30によってワークメモリとして用いられる。RAM34としては、例えば、DRAM及び/又はSRAM等が挙げられる。
 受付装置14は、キーボード、マウス、及びタッチパッド等を有しており、作業者7からの指示を受け付ける。ディスプレイ16は、プロセッサ30の制御下で、各種情報(例えば、画像及び文字等)を表示する。ディスプレイ16としては、例えば、ELディスプレイ(例えば、有機ELディスプレイ又は無機ELディスプレイ)等が挙げられる。なお、ELディスプレイに限らず、液晶ディスプレイ等の他の種類のディスプレイであってもよい。
 外部I/F18は、撮像支援装置10の外部に存在する装置(例えばスマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等)との間の各種情報の授受を司る。外部I/F18の一例としては、USBインタフェース等が挙げられる。USBインタフェースには、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の各種装置(図示省略)が直接的又は間接的に接続される。
 第1通信I/F20は、昇降装置50と通信可能に接続されている。ここでは、第1通信I/F20が既定の無線通信規格で昇降装置50と無線通信可能に接続されている。既定の無線通信規格とは、例えば、Bluetooth(登録商標)等が挙げられる。なお、これ以外の無線通信規格(例えば、Wi-Fi又は5G等)であってもよい。ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第1通信I/F20は、昇降装置50との間の情報の授受を司る。例えば、第1通信I/F20は、プロセッサ30からの要求に応じた情報を昇降装置50に送信する。また、第1通信I/F20は、昇降装置50から送信された情報を受信し、受信した情報を、バス36を介してプロセッサ30に出力する。
 第2通信I/F22は、マーカー装置90と通信可能に接続されている。ここでは、第2通信I/F22が既定の無線通信規格でマーカー装置90と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第2通信I/F22は、マーカー装置90との間の情報の授受を司る。例えば、第2通信I/F22は、プロセッサ30からの要求に応じた情報をマーカー装置90に送信する。また、第2通信I/F22は、マーカー装置90から送信された情報を受信し、受信した情報を、バス36を介してプロセッサ30に出力する。
 第3通信I/F24は、撮像測距装置130と通信可能に接続されている。ここでは、第3通信I/F24が既定の無線通信規格で撮像測距装置130と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第3通信I/F24は、撮像測距装置130との間の情報の授受を司る。例えば、第3通信I/F24は、プロセッサ30からの要求に応じた情報を撮像測距装置130に送信する。また、第3通信I/F24は、撮像測距装置130から送信された情報を受信し、受信した情報を、バス36を介してプロセッサ30に出力する。
 第4通信I/F26は、画像解析装置230と通信可能に接続されている。ここでは、第4通信I/F26が既定の無線通信規格で画像解析装置230と無線通信可能に接続されている。また、ここでは、無線通信を例示しているが、本開示の技術は、これに限定されず、無線通信に代えて有線通信を適用してもよい。第4通信I/F26は、画像解析装置230との間の情報の授受を司る。例えば、第4通信I/F26は、プロセッサ30からの要求に応じた情報を画像解析装置230に送信する。また、第4通信I/F26は、画像解析装置230から送信された情報を受信し、受信した情報を、バス36を介してプロセッサ30に出力する。
 一例として図3に示すように、昇降装置50は、コンピュータ52、電動リール機構54、モータドライバ56、センサ58、入出力I/F60、通信I/F62、及び電源回路64を備えている。
 コンピュータ52は、プロセッサ70、ストレージ72、及びRAM74を備えている。プロセッサ70、ストレージ72、及びRAM74は、バス76を介して相互に接続されており、バス76は、入出力I/F60に接続されている。図3に示す例では、図示の都合上、バス76として1本のバスが図示されているが、複数本のバスであってもよい。バス76は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 ストレージ72は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えばストレージ72は、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ72として適用してもよい。また、RAM74は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
 プロセッサ70は、例えば、CPUを有している。プロセッサ70は、ストレージ72から必要なプログラムを読み出し、読み出したプログラムをRAM74で実行する。プロセッサ70は、RAM74上で実行するプログラムに従って昇降装置50の全体を制御する。
 電動リール機構54は、リール82及びモータ84を有する。リール82は、減速機構(図示省略)介してモータ84と接続されている。モータ84は、例えば直流ブラシ付きモータ、ブラシレスモータ、又はステッピングモータ等のモータである。モータドライバ56及びセンサ58は、入出力I/F60及びバス76を介してプロセッサ70と接続されている。モータドライバ56は、プロセッサ70からの指示に従って、モータ84を制御する。
 センサ58は、例えばロータリーエンコーダ、ポテンショメータ、又はピックアップセンサ等の回転量を検出する機能を有するセンサである。センサ58は、リール82の回転量を検出し、検出した回転量に応じた信号をプロセッサ70に対して出力する。リール82の回転量は、リール82に対するケーブル86(図1参照)の送り出し量に比例する。なお、センサ58の代わりに、リール82の回転量を表す目盛りがリール82に設けられてもよい。リール82の回転量を表す目盛りがリール82に設けられた場合には、作業者7(図1参照)が目盛りを確認することにより、リール82の回転量、ひいては、ケーブル86の送り出し量を把握することができる。また、電動リール機構54の代わりに、リール82を手動で回転させる手動リール機構が用いられてもよい。手動リール機構が用いられた場合には、作業者7がリール82を手動で回転させることにより、リール82に対するケーブル86の巻き取り及び送り出しを行うことができる。
 通信I/F62は、昇降装置50による撮像支援装置10に対する情報の送受信を制御する。通信I/F62は、撮像支援装置10のプロセッサ30(図2参照)と昇降装置50のプロセッサ70との間の情報の授受を司る。例えば、通信I/F62は、プロセッサ70からの要求に応じた情報を撮像支援装置10に送信する。また、通信I/F62は、撮像支援装置10のプロセッサ30から第1通信I/F20(図2参照)を介して送信された情報を受信し、受信した情報を、バス76を介してプロセッサ70に出力する。
 電源回路64は、電源ケーブル42を介して電源装置40と接続されている。電源回路64には、電源ケーブル42を介して電源装置40から直流電力が供給される。電源回路64に直流電力が供給されると、昇降装置50の各部に直流電力が供給される。また、電源回路64には、送電ケーブル44を介して、マーカー装置90、撮像測距装置130、及び飛行体180が接続されている。
 一例として図4に示すように、マーカー装置90は、コンピュータ92、マーカー94、発光体制御回路96、入出力I/F100、通信I/F102、及び電源回路104を備えている。
 コンピュータ92は、プロセッサ110、ストレージ112、及びRAM114を備えている。プロセッサ110、ストレージ112、及びRAM114は、バス116を介して相互に接続されており、バス116は、入出力I/F100に接続されている。図4に示す例では、図示の都合上、バス116として1本のバスが図示されているが、複数本のバスであってもよい。バス116は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 ストレージ112は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えばストレージ112は、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ112として適用してもよい。また、RAM114は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
 プロセッサ110は、例えば、CPUを有している。プロセッサ110は、ストレージ112から必要なプログラムを読み出し、読み出したプログラムをRAM114で実行する。プロセッサ110は、RAM114上で実行するプログラムに従ってマーカー装置90の全体を制御する。
 マーカー94は、発光体120を有する。発光体120は、複数の光源122A及び122Bを含む。一例として図4に示す例では、2つの光源122A及び122Bが発光体120に設けられているが、複数の光源122A及び122Bの数は、3つ以上でもよい。光源122A及び122Bは、例えばLED又はフィラメント電球である。以降、2つの光源122A及び122Bのうちの一方を第1光源122Aと称し、2つの光源122A及び122Bのうちの他方を第2光源122Bと称する。発光体制御回路96は、入出力I/F100及びバス116を介してプロセッサ110と接続されている。
 発光体制御回路96は、プロセッサ110からの指示に従って、発光体120を制御する。具体的には、発光体制御回路96は、第1光源122Aに対して第1制御信号を出力し、第2光源122Bに対して第2制御信号を出力する。発光体制御回路96は、第1制御信号のレベルを、HIGHレベル(以降、Hレベルと称する)と、LOWレベル(以降、Lレベルと称する)とに切り替える。第1光源122Aは、第1制御信号がHレベルである場合に点灯し、第1制御信号がLレベルである場合に消灯する。第1制御信号がHレベルに維持されると、第1光源122Aが点灯した状態に維持され、第1制御信号がLレベルに維持されると、第1光源122Aが消灯した状態に維持される。また、第1制御信号がHレベルとLレベルとに交互に繰り返し切り替わると、第1光源122Aが点滅する。
 同様に、発光体制御回路96は、第2制御信号のレベルを、Hレベルと、Lレベルとに切り替える。第2光源122Bは、第2制御信号がHレベルである場合に点灯し、第2制御信号がLレベルである場合に消灯する。第2制御信号がHレベルに維持されると、第2光源122Bが点灯した状態に維持され、第2制御信号がLレベルに維持されると、第2光源122Bが消灯した状態に維持される。また、第2制御信号がHレベルとLレベルとに交互に繰り返し切り替わると、第2光源122Bが点滅する。
 通信I/F102は、マーカー装置90による撮像支援装置10に対する情報の送受信を制御する。通信I/F102は、撮像支援装置10のプロセッサ30(図2参照)とマーカー装置90のプロセッサ110との間の情報の授受を司る。例えば、通信I/F102は、プロセッサ110からの要求に応じた情報を撮像支援装置10に送信する。また、通信I/F102は、撮像支援装置10のプロセッサ30から第2通信I/F22(図2参照)を介して送信された情報を受信し、受信した情報を、バス116を介してプロセッサ110に出力する。
 電源回路104は、送電ケーブル44を介して昇降装置50の電源中継回路66と接続されている。電源回路104には、電源ケーブル42、電源中継回路66、及び送電ケーブル44を介して電源装置40から直流電力が供給される。電源回路104に直流電力が供給されると、マーカー装置90の各部に直流電力が供給される。
 一例として図5に示すように、撮像測距装置130は、コンピュータ132、撮像装置160、測距装置170、入出力I/F140、通信I/F142、及び電源回路144を備えている。
 コンピュータ132は、プロセッサ150、ストレージ152、及びRAM154を備えている。プロセッサ150、ストレージ152、及びRAM154は、バス156を介して相互に接続されており、バス156は、入出力I/F140に接続されている。図5に示す例では、図示の都合上、バス156として1本のバスが図示されているが、複数本のバスであってもよい。バス156は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 ストレージ152は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えばストレージ152は、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ152として適用してもよい。また、RAM154は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
 プロセッサ150は、例えば、CPUを有している。プロセッサ150は、ストレージ152から必要なプログラムを読み出し、読み出したプログラムをRAM154で実行する。プロセッサ150は、RAM154上で実行するプログラムに従って撮像測距装置130の全体を制御する。
 撮像装置160は、イメージセンサ162及びイメージセンサドライバ164を備える。イメージセンサ162は、例えば、CMOSイメージセンサである。なお、ここでは、イメージセンサ162としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。イメージセンサ162及びイメージセンサドライバ164は、入出力I/F140及びバス156を介してプロセッサ150と接続されている。イメージセンサドライバ164は、プロセッサ150からの指示に従って、イメージセンサ162を制御する。イメージセンサ162は、イメージセンサドライバ164の制御下で、被写体(例えば、図1に示す飛行体180)を撮像し、撮像することで得られた画像をプロセッサ150に対して出力する。
 なお、特に図示しないが、撮像装置160は、対物レンズ、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品を備える。また、特に図示しないが、撮像装置160は、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品を駆動させる駆動機構を備える。撮像装置160によって撮像が行われる場合には、駆動機構が制御されることにより、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品が駆動される。
 測距装置170は、測距センサ172及び測距センサドライバ174を備える。測距センサ172は、測距機能を有するセンサである。測距センサ172の測距機能は、例えば、超音波式測距センサ、レーザ式測距センサ、又はレーダ式測距センサ等によって実現される。測距センサ172及び測距センサドライバ174は、入出力I/F140及びバス156を介してプロセッサ150と接続されている。測距センサドライバ174は、プロセッサ150からの指示に従って、測距センサ172を制御する。測距センサ172は、測距センサドライバ174の制御下で、測距装置170と測距対象物(例えば、図1に示す飛行体180)との間の距離を測定し、測定した距離に応じた測距情報(例えば、距離そのものを示す情報)をプロセッサ150に対して出力する。
 通信I/F142は、撮像測距装置130による撮像支援装置10に対する情報の送受信を制御する。通信I/F142は、撮像支援装置10のプロセッサ30(図2参照)と撮像測距装置130のプロセッサ150との間の情報の授受を司る。例えば、通信I/F142は、プロセッサ150からの要求に応じた情報を撮像支援装置10に送信する。また、通信I/F142は、撮像支援装置10のプロセッサ30から第3通信I/F24(図2参照)を介して送信された情報を受信し、受信した情報を、バス156を介してプロセッサ150に出力する。
 電源回路144は、送電ケーブル44を介して昇降装置50の電源中継回路66と接続されている。電源回路144には、電源ケーブル42、電源中継回路66、及び送電ケーブル44を介して電源装置40から直流電力が供給される。電源回路144に直流電力が供給されると、撮像測距装置130の各部に直流電力が供給される。
 一例として図6に示すように、飛行体180は、コンピュータ182、撮像装置210、飛行装置220、入出力I/F190、画像メモリ196、外部I/F198、及び電源回路194を備えている。
 コンピュータ182は、本開示の技術に係る「制御装置」及び「コンピュータ」の一例である。コンピュータ182は、プロセッサ200、ストレージ202、及びRAM204を備えている。プロセッサ200は、本開示の技術に係る「プロセッサ」の一例であり、RAM204は、本開示の技術に係る「メモリ」の一例である。プロセッサ200、ストレージ202、及びRAM204は、バス206を介して相互に接続されており、バス206は、入出力I/F190に接続されている。図5に示す例では、図示の都合上、バス206として1本のバスが図示されているが、複数本のバスであってもよい。バス206は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
 ストレージ202は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えばストレージ202は、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等をストレージ202として適用してもよい。また、RAM204は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
 プロセッサ200は、例えば、CPUを有している。プロセッサ200は、ストレージ202から必要なプログラムを読み出し、読み出したプログラムをRAM204で実行する。プロセッサ200は、RAM204上で実行するプログラムに従って飛行体180の全体を制御する。
 撮像装置210は、イメージセンサ212及びイメージセンサドライバ214を備える。イメージセンサ212は、例えば、CMOSイメージセンサである。なお、ここでは、イメージセンサ212としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、他のイメージセンサであってもよい。イメージセンサ212及びイメージセンサドライバ214は、入出力I/F190及びバス206を介してプロセッサ200と接続されている。イメージセンサドライバ214は、プロセッサ200からの指示に従って、イメージセンサ212を制御する。イメージセンサ212は、イメージセンサドライバ214の制御下で、被写体(例えば、図1に示すマーカー94及び/又は点検対象物3)を撮像し、撮像することで得られた画像をプロセッサ200に対して出力する。
 なお、特に図示しないが、撮像装置210は、対物レンズ、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品を備える。また、特に図示しないが、撮像装置210は、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品を駆動させる駆動機構を備える。撮像装置210によって撮像が行われる場合には、駆動機構が制御されることにより、フォーカスレンズ、ズームレンズ、及び絞り等の光学部品が駆動される。
 飛行装置220は、複数の回転翼222、複数のモータ224、及びモータドライバ226を有する。一例として図6に示す例では、複数の回転翼222の数は、4つである。また、複数のモータ224の数は、複数の回転翼222と同数である。モータドライバ226は、入出力I/F190及びバス206を介してプロセッサ200と接続されている。モータドライバ226は、プロセッサ200からの指示に従って、複数のモータ224を個別に制御する。各モータ224の回転軸には、回転翼222が固定されている。各モータ224は、回転翼222を回転させる。複数の回転翼222が回転することにより、飛行体180が飛行する。複数の回転翼222の回転数が増加すると、飛行体180が上昇し、複数の回転翼222の回転数が減少すると、飛行体180が下降する。また、複数の回転翼222の推進力と飛行体180に作用する重力とが釣り合った状態では、飛行体180が空中で停止する(すなわち、ホバリングする)。さらに、複数の回転翼222の回転数に差を生じさせることにより、飛行体180が旋回、前進、後退、及び/又は横移動する。
 画像メモリ196は、例えば、EEPROMである。但し、これは、あくまでも一例に過ぎず、EEPROMに代えて、又は、EEPROMと共に、HDD、及び/又はSSD等を画像メモリ196として適用してもよい。また、画像メモリ196は、メモリカードでもよい。画像メモリ196には、イメージセンサ212によって撮像されることで得られた画像が記憶される。
 外部I/F198は、飛行体180の外部に存在する装置(例えばスマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等)との間の各種情報の授受を司る。外部I/F198の一例としては、USBインタフェース等が挙げられる。USBインタフェースには、スマートデバイス、パーソナルコンピュータ、サーバ、USBメモリ、メモリカード、及び/又はプリンタ等の各種装置(図示省略)が直接的又は間接的に接続される。また、飛行体180は、外部I/F198を通じて撮像支援装置10と接続され、画像メモリ196に記憶した画像を撮像支援装置10に提供する。
 電源回路194は、送電ケーブル44を介して昇降装置50の電源中継回路66と接続されている。電源回路194には、電源ケーブル42、電源中継回路66、及び送電ケーブル44を介して電源装置40から直流電力が供給される。電源回路194に直流電力が供給されると、飛行体180の各部に直流電力が供給される。
 一例として図7に示すように、撮像支援装置10のストレージ32には、撮像支援処理プログラム300が記憶されている。撮像支援装置10において、プロセッサ30は、ストレージ32から撮像支援処理プログラム300を読み出し、読み出した撮像支援処理プログラム300をRAM34上で実行する。プロセッサ30は、RAM34上で実行する撮像支援処理プログラム300に従って撮像支援処理を行う。
 プロセッサ30は、撮像支援処理プログラム300を実行することで、第1撮像指示部302、第1画像入力判定部304、第1画像表示制御部306、測距指示部308、測距情報入力判定部310、測距情報表示制御部312、第1受付情報判定部314、昇降指示部316、完了報告入力判定部318、第2受付情報判定部320、第1発光態様指示部322、第3受付情報判定部324、第2発光態様指示部326、第4受付情報判定部328、ホバリング判定部330、第3発光態様指示部332、第5受付情報判定部334、第4発光態様指示部336、第6受付情報判定部338、第2撮像指示部340、第2画像入力判定部342、第2画像表示制御部344、位置ずれ判定部346、第5発光態様指示部348、及び第6発光態様指示部350として動作する。
 一例として図8に示すように、昇降装置50のストレージ72には、昇降処理プログラム400が記憶されている。昇降装置50において、プロセッサ70は、ストレージ72から昇降処理プログラム400を読み出し、読み出した昇降処理プログラム400をRAM74上で実行する。プロセッサ70は、RAM74上で実行する昇降処理プログラム400に従って昇降処理を行う。
 プロセッサ70は、昇降処理プログラム400を実行することで、昇降指示入力判定部402、昇降制御部404、移動量判定部406、昇降停止制御部408、及び完了報告出力制御部410として動作する。
 一例として図9に示すように、マーカー装置90のストレージ112には、発光態様制御処理プログラム500が記憶されている。マーカー装置90において、プロセッサ110は、ストレージ112から昇降指示処理プログラムを読み出し、読み出した昇降指示処理プログラムをRAM114上で実行する。プロセッサ110は、RAM114上で実行する昇降指示処理プログラムに従って発光態様制御処理を行う。
 プロセッサ110は、昇降指示処理プログラムを実行することで、第1指示入力判定部502、第1発光態様制御部504、第2指示入力判定部506、第2発光態様制御部508、第3指示入力判定部510、第3発光態様制御部512、第4指示入力判定部514、及び第4発光態様制御部516として動作する。
 一例として図10に示すように、撮像測距装置130のストレージ152には、撮像測距処理プログラム600が記憶されている。撮像測距装置130において、プロセッサ150は、ストレージ152から撮像測距処理プログラム600を読み出し、読み出した撮像測距処理プログラム600をRAM154上で実行する。プロセッサ150は、RAM154上で実行する撮像測距処理プログラム600に従って撮像測距処理を行う。
 プロセッサ150は、撮像測距処理プログラム600を実行することで、撮像指示入力判定部602、撮像制御部604、画像出力制御部606、測距指示入力判定部608、測距制御部610、及び測距情報出力制御部612として動作する。
 一例として図11に示すように、飛行体180のストレージ202には、飛行撮像処理プログラム700が記憶されている。飛行撮像処理プログラム700は、本開示の技術に係る「プログラム」の一例である。飛行体180において、プロセッサ200は、ストレージ202から飛行撮像処理プログラム700を読み出し、読み出した飛行撮像処理プログラム700をRAM204上で実行する。プロセッサ200は、RAM204上で実行する飛行撮像処理プログラム700に従って飛行撮像処理を行う。
 プロセッサ200は、飛行撮像処理プログラム700を実行することで、第1撮像制御部702、マーカー位置変化判定部704、変化方向判定部706、上昇制御部708、下降制御部710、第2撮像制御部712、飛行体位置判定部714、第1ホバリング制御部716、第1発光態様判定部718、第1移動制御部720、第2発光態様判定部722、第2ホバリング制御部724、第3発光態様判定部726、第3撮像制御部728、第1画像記憶制御部730、第4発光態様判定部732、第2移動制御部734、第4撮像制御部736、第2画像記憶制御部738、画像記憶数判定部740、帰還制御部742、第5撮像制御部744、帰還完了判定部746、及び第3ホバリング制御部748として動作する。
 一例として図12に示すように、撮像支援装置10において、第1撮像指示部302は、撮像測距装置130に対して撮像指示を出力する。
 撮像測距装置130において、撮像指示入力判定部602は、撮像支援装置10からの撮像指示が撮像測距装置130に入力されたか否かを判定する。撮像制御部604は、撮像支援装置10からの撮像指示が撮像測距装置130に入力されたと撮像指示入力判定部602によって判定された場合には、イメージセンサドライバ164を介してイメージセンサ162に対して、飛行体180を撮像させる制御を行う。画像出力制御部606は、イメージセンサ162によって飛行体180が撮像されることで得られた画像を撮像支援装置10に対して出力する。
 撮像支援装置10において、第1画像入力判定部304は、撮像測距装置130からの画像が撮像支援装置10に入力されたか否かを判定する。第1画像表示制御部306は、撮像測距装置130からの画像が撮像支援装置10に入力されたと第1画像入力判定部304によって判定された場合には、ディスプレイ16に対して画像を表示させる制御を行う。作業者7は、ディスプレイ16に表示された画像に基づいて、飛行体180の姿勢及び/又は位置等を確認することができる。
 一例として図13に示すように、撮像支援装置10において、測距指示部308は、撮像測距装置130に対して測距指示を出力する。
 撮像測距装置130において、測距指示入力判定部608は、撮像支援装置10からの測距指示が撮像測距装置130に入力されたか否かを判定する。測距制御部610は、撮像支援装置10からの測距指示が撮像測距装置130に入力されたと測距指示入力判定部608によって判定された場合には、測距センサドライバ174を介して測距センサ172に対して、測距装置170と飛行体180との間の距離を測定させる制御を行う。マーカー94と飛行体180との間の距離、及び点検対象物3と飛行体180との間の距離は、測距装置170と飛行体180との間の距離にそれぞれ比例する。マーカー94と飛行体180との間の距離は、本開示の技術に係る「第1距離」の一例である。測距装置170と飛行体180との間の距離は、本開示の技術に係る「第2距離」の一例である。測距情報出力制御部612は、測距センサ172によって距離が測定されることで得られた測距情報を撮像支援装置10に対して出力する。
 撮像支援装置10において、測距情報入力判定部310は、撮像測距装置130からの測距情報が撮像支援装置10に入力されたか否かを判定する。測距情報表示制御部312は、撮像測距装置130からの測距情報が撮像支援装置10に入力されたと測距情報入力判定部310によって判定された場合には、ディスプレイ16に対して測距情報(例えば、測距装置170と飛行体180との間の距離を表す数値等)を表示させる制御を行う。作業者7は、ディスプレイ16に表示された距離情報に基づいて、測距装置170と飛行体180との間の距離を確認することができる。測距装置170と飛行体180との間の距離は、マーカー94と飛行体180との間の距離に換算されてもよい。
 一例として図14に示すように、撮像支援装置10のディスプレイ16には、「昇降装置に対する昇降指示」、「飛行体に対する移動指示」、「飛行体に対するホバリング指示」、「飛行体に対する撮像指示」、「飛行体に対する横移動及び撮像指示」、及び「飛行体に対する位置修正指示」に関するGUI38が表示される。作業者7は、ディスプレイ16に表示されたGUI38を見ながら、撮像支援装置10の受付装置14に対して、「昇降装置に対する昇降指示」、「飛行体に対する移動指示」、「飛行体に対するホバリング指示」、「飛行体に対する撮像指示」、「飛行体に対する横移動及び撮像指示」、及び「飛行体に対する位置修正指示」を付与することが可能である。受付装置14は、受付装置14によって受け付けられた指示に応じた受付情報を出力する。
 「昇降装置に対する昇降指示」は、第1上昇指示及び第1下降指示の何れかを含む。第1上昇指示は、マーカー94を上昇させる指示であり、第1下降指示は、マーカー94を下降させる指示である。また、「昇降装置に対する昇降指示」は、マーカー94の移動量の指示を含む。
 「飛行体に対する移動指示」は、第2上昇指示、第2下降指示、右移動指示、左移動指示、前進指示、及び後退指示の何れかを含む。第2上昇指示は、飛行体180を上昇させる指示である。第2下降指示は、飛行体180を下降させる指示である。右移動指示は、飛行体180を右に移動させる指示である。左移動指示は、飛行体180を左に移動させる指示である。前進指示は、飛行体180を前進させる指示である。後退指示は、飛行体180を後退させる指示である。また、「飛行体に対する移動指示」は、飛行体180の移動速度の指示を含む。
 「飛行体に対するホバリング指示」は、飛行体180をホバリングさせる指示である。「飛行体に対する撮像指示」は、飛行体180の撮像装置210に撮像させる指示である。「飛行体に対する横移動及び撮像指示」は、横移動制御と撮像制御とを繰り返し行わせる指示である。横移動制御は、飛行体180を横に移動させる制御である。撮像制御は、飛行体180の撮像装置210に撮像させる制御である。「飛行体に対する位置修正指示」は、飛行体180の位置を修正させる指示である。
 作業者7は、ディスプレイ16に表示された画像及び/又は測距情報に基づいて、受付装置14に対して指示を付与する。この場合に、作業者7は、撮像装置160によって撮像されることで得られた画像に基づいて、移動指示(すなわち、第1上昇指示、第1下降指示、第2上昇指示、第2下降指示、右移動指示、左移動指示、前進指示、及び/又は後退指示)を受付装置14に対して付与してもよい。また、作業者7は、測距装置170によって測定されることで得られた測距情報に基づいて、測距装置170と飛行体180との間の距離が既定距離に設定されるように、前進指示又は後退指示を受付装置14に対して付与してもよい。
 一例として図15に示すように、撮像支援装置10において、第1受付情報判定部314は、受付情報として「昇降装置に対する昇降指示」が受付装置14によって受け付けられたか否かを判定する。昇降指示部316は、受付情報として「昇降装置に対する昇降指示」が受付装置14によって受け付けられたと第1受付情報判定部314によって判定された場合には、昇降装置50に対して昇降指示を出力する。
 昇降装置50において、昇降指示入力判定部402は、撮像支援装置10からの昇降指示が昇降装置50に入力されたか否かを判定する。昇降制御部404は、撮像支援装置10からの昇降指示が昇降装置50に入力されたと昇降指示入力判定部402によって判定された場合には、昇降指示に従い、モータドライバ56を介してモータ84に対してリール82を回転させる制御を行う。具体的には、昇降指示に第1上昇指示が含まれる場合、昇降制御部404は、モータドライバ56を介してモータ84に対してリール82を第1方向に回転させる制御を行う。リール82が第1方向に回転すると、ケーブル86がリール82に巻き取られることにより、マーカー94が上昇する。一方、昇降指示に第1下降指示が含まれる場合、昇降制御部404は、モータドライバ56を介してモータ84に対してリール82を第2方向に回転させる制御を行う。リール82が第2方向に回転すると、ケーブル86がリール82から送り出されることにより、マーカー94が下降する。リール82が回転すると、リール82の回転量に応じた信号がセンサ58から出力される。リール82の回転量は、マーカー94の移動量に比例する。
 移動量判定部406は、センサ58から入力された信号に基づいて、マーカー94の移動量が昇降指示によって指定された指定移動量に達したか否かを判定する。昇降停止制御部408は、マーカー94の移動量が指定移動量に達したと移動量判定部406によって判定された場合、モータドライバ56を介してモータ84に対して回転を停止させる制御を行う。モータ84の回転が停止すると、リール82の回転が停止し、これにより、マーカー94の上昇又は下降が停止する。完了報告出力制御部410は、モータ84に対して回転を停止させる制御が昇降停止制御部408によって行われた後、撮像支援装置10に対して、マーカー94の昇降を完了した旨の昇降完了報告を出力する。
 撮像支援装置10において、完了報告入力判定部318は、昇降装置50からの昇降完了報告が撮像支援装置10に入力されたか否かを判定する。
 一例として図16に示すように、飛行体180において、第1撮像制御部702は、イメージセンサドライバ214を介してイメージセンサ212に対して、マーカー94を一部に含む撮像シーンを撮像させる制御を行う。イメージセンサ212によって撮像されることにより得られた画像の一部には、マーカー94が像として写り込む。画像の一部にマーカー94が像として写り込むことにより、飛行体180に対するマーカー94の鉛直方向の位置が検出される。つまり、画像の中央部よりも上側にマーカー94が像として写り込んでいる場合には、飛行体180に対してマーカー94が鉛直方向の上側に位置していることが検出され、画像の中央部よりも下側にマーカー94が像として写り込んでいる場合には、飛行体180に対してマーカー94が鉛直方向の下側に位置していることが検出される。なお、後述するように、画像に基づいて発光体120の点滅を含む発光態様が判定されるため、第1撮像制御部702は、画像として、発光体120の点滅を含む発光態様を判定可能なフレーム数の画像をイメージセンサ212に撮像させる。
 マーカー位置変化判定部704は、飛行撮像処理が繰り返し実行されるなか、前回の飛行撮像処理で得られた画像(以降、前回の画像と称する)と今回の飛行撮像処理で得られた画像(以降、今回の画像と称する)とを取得する。マーカー位置変化判定部704は、前回の画像と今回の画像とを比較し、例えば、物体検出処理を用いることにより、マーカー94の位置が鉛直方向に変化したか否かを判定する。このように、マーカー94の鉛直方向の位置は、第1撮像制御部702による指示に従ってイメージセンサ212により撮像シーンが撮像されることで得られた画像に基づいて検出される。なお、初回の飛行撮像処理では、マーカー位置変化判定部704は、マーカー94の位置が鉛直方向に変化していないと判定する。
 変化方向判定部706は、マーカー94の位置が鉛直方向に変化したとマーカー位置変化判定部704によって判定された場合、前回の画像及び今回の画像に基づいて、マーカー94の位置が上側に変化したか否かを判定する。上昇制御部708は、マーカー94の位置が上側に変化したと変化方向判定部706によって判定された場合、モータドライバ226を介して複数のモータ224に対して回転数を増加させる制御を行う。複数のモータ224の回転数が増加すると、複数の回転翼222による推力が増加することにより飛行体180が上昇する。飛行体180が上昇することにより、飛行体180の鉛直方向の位置が上側に変更される。下降制御部710は、マーカー94の位置が上側に変化していないと変化方向判定部706によって判定された場合、モータドライバ226を介して複数のモータ224に対して回転数を減少させる制御を行う。複数のモータ224の回転数が減少すると、複数の回転翼222による推力が低下することにより飛行体180が下降する。飛行体180が下降することにより、飛行体180の鉛直方向の位置が下側に変更される。
 第2撮像制御部712は、イメージセンサドライバ214を介してイメージセンサ212に対して、マーカー94を一部に含む撮像シーンを撮像させる制御を行う。イメージセンサ212によって撮像されることにより得られた画像の一部には、マーカー94が像として写り込む。飛行体位置判定部714は、第2撮像制御部712による指示に従ってイメージセンサ212によって撮像されることで得られた画像を取得する。そして、飛行体位置判定部714は、画像上でマーカー94が画像の縦方向の中央部に配置されているか否かを判定することにより、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置であるか否かを判定する。一例として、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置であるとは、好ましくは、イメージセンサ212の鉛直方向の画素数が1000画素である場合であり、かつ、撮像装置210とマーカー94との間の距離がおおよそ100cmの場合に、鉛直方向で10cm以内の誤差を含む位置になることであり、より好ましくは、鉛直方向で10mm以内の誤差を含む位置になることである。
 第1ホバリング制御部716は、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置であると飛行体位置判定部714によって判定された場合、飛行体180がホバリングするように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。飛行体180がホバリングすることにより、画像上でマーカー94が画像の縦方向の中央部に配置される高さに飛行体180の鉛直方向の位置が設定される。飛行体180がホバリングしている場合、飛行体180の鉛直方向の位置が維持される。
 なお、一例として図16に示す例では、撮像装置210が水平な状態で飛行体本体184に対して固定されているが、撮像装置210が水平方向に対して傾斜した状態で飛行体本体184に対して固定されている場合には、撮像装置210の仰角又は俯角に基づいて、マーカー94の鉛直方向の位置に対する飛行体180の鉛直方向の位置が導出されてもよい。
 一例として図17に示すように、撮像支援装置10において、第2受付情報判定部320は、受付情報として「昇降装置に対する昇降指示」が受付装置14によって受け付けられていないと第1受付情報判定部314によって判定された場合、受付情報として「飛行体に対する移動指示」が受付装置14によって受け付けられたか否かを判定する。
 第1発光態様指示部322は、受付情報として「飛行体に対する移動指示」が受付装置14によって受け付けられたと第2受付情報判定部320によって判定された場合には、マーカー装置90に対して、移動指示に対応する第1発光態様指示を出力する。具体的には、第1発光態様指示部322は、移動指示に第2上昇指示が含まれる場合、第2上昇指示に対応する第1発光態様指示をマーカー装置90に対して出力する。第1発光態様指示部322は、移動指示に第2下降指示が含まれる場合、第2下降指示に対応する第1発光態様指示をマーカー装置90に対して出力する。第1発光態様指示部322は、移動指示に右移動指示が含まれる場合、マーカー装置90に対して、右移動指示に対応する第1発光態様指示を出力する。第1発光態様指示部322は、移動指示に左移動指示が含まれる場合、マーカー装置90に対して、左移動指示に対応する第1発光態様指示を出力する。第1発光態様指示部322は、移動指示に前進指示が含まれる場合、マーカー装置90に対して、前進指示に対応する第1発光態様指示を出力する。第1発光態様指示部322は、移動指示に後退指示が含まれる場合、マーカー装置90に対して、後退指示に対応する第1発光態様指示を出力する。第1発光態様指示部322は、移動指示によって指定された移動速度に対応する指示を第1発光態様指示に含める。
 マーカー装置90において、第1指示入力判定部502は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されたか否かを判定する。第1発光態様制御部504は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されたと第1指示入力判定部502によって判定された場合には、第1発光態様指示に従い、発光体制御回路96を介して発光体120に対して第1発光態様で発光させる制御を行う。
 一例として図18に示すように、飛行体180において、第1発光態様判定部718は、マーカー94の位置に変化がないとマーカー位置変化判定部704によって判定された場合、第1撮像制御部702による指示に従ってイメージセンサ212によって撮像されることで得られた画像に基づいて、発光体120の発光態様が第1発光態様であるか否かを判定する。発光体120の第1発光態様については、図19から図24を用いて後に詳述する。第1移動制御部720は、発光体120の発光態様が第1発光態様であると第1発光態様判定部718によって判定された場合、第1発光態様に対応して飛行体180が移動するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1発光態様に応じて第1移動制御部720が行う制御は、本開示の技術に係る「第1制御」の一例である。
 一例として図19に示すように、マーカー装置90において、第1発光態様制御部504は、第1発光態様指示として、第2上昇指示に対応する第1発光態様指示を受け取った場合、発光体制御回路96に対して、第1制御信号として矩形信号を出力させ、第2制御信号のレベルをHレベルに保持させる。また、第1発光態様制御部504は、発光体制御回路96に対して、第1発光態様指示によって指定された移動速度に対応する周波数で第1制御信号としての矩形信号を出力させる。したがって、第1発光態様制御部504が上昇指示に対応する第1発光態様指示を受け取った場合、発光体120の第1発光態様として、第1発光態様指示によって指定された移動速度に対応する周波数で第1光源122Aが点滅し、第2光源122Bが点灯する。
 飛行体180において、第1移動制御部720は、第1光源122Aが点滅し、第2光源122Bが点灯することに対応して、モータドライバ226を介して複数のモータ224に対して回転数を増加させる制御を行う。複数のモータ224の回転数が増加すると、複数の回転翼222による推力が増加することにより飛行体180が上昇する。飛行体180が上昇することにより、飛行体180の鉛直方向の位置が上側に変更される。また、第1移動制御部720は、第1光源122Aが点滅する周波数に応じた移動速度で飛行体180が上昇するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1移動制御部720は、第1光源122Aが点滅する周波数が一定である場合、飛行体180の上昇速度を維持する。一方、第1移動制御部720は、第1光源122Aが点滅する周波数が変更された場合、飛行体180の上昇速度を変更する。一例として、第1移動制御部720は、第1光源122Aが点滅する周波数が高くなるほど複数のモータ224の回転数を増加させることにより飛行体180の上昇速度を上昇させる。
 一例として図20に示すように、マーカー装置90において、第1発光態様制御部504は、第1発光態様指示として、第2下降指示に対応する第1発光態様指示を受け取った場合、発光体制御回路96に対して、第1制御信号のレベルをHレベルに保持させ、第2制御信号として矩形信号を出力させる。また、第1発光態様制御部504は、発光体制御回路96に対して、第1発光態様指示によって指定された移動速度に対応する周波数で第2制御信号としての矩形信号を出力させる。したがって、第1発光態様制御部504が下降指示に対応する第1発光態様指示を受け取った場合、発光体120の第1発光態様として、第1光源122Aが点灯し、第1発光態様指示によって指定された移動速度に対応する周波数で第2光源122Bが点滅する。
 飛行体180において、第1移動制御部720は、第1光源122Aが点灯し、第2光源122Bが点滅することに対応して、モータドライバ226を介して複数のモータ224に対して回転数を減少させる制御を行う。複数のモータ224の回転数が減少すると、複数の回転翼222による推力が減少することにより飛行体180が下降する。飛行体180が下降することにより、飛行体180の鉛直方向の位置が下側に変更される。また、第1移動制御部720は、第2光源122Bが点滅する周波数に応じた移動速度で飛行体180が下降するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1移動制御部720は、第2光源122Bが点滅する周波数が一定である場合、飛行体180の降下速度を維持する。一方、第1移動制御部720は、第2光源122Bが点滅する周波数が変更された場合、飛行体180の降下速度を変更する。一例として、第1移動制御部720は、第2光源122Bが点滅する周波数が高くなるほど複数のモータ224の回転数を減少させることにより飛行体180の下降速度を上昇させる。
 一例として図21に示すように、マーカー装置90において、第1発光態様制御部504は、第1発光態様指示として、右移動指示に対応する第1発光態様指示を受け取った場合、発光体制御回路96に対して、第1制御信号として矩形信号を出力させ、第2制御信号のレベルをLレベルに保持させる。また、第1発光態様制御部504は、発光体制御回路96に対して、第1発光態様指示によって指定された移動速度に対応する周波数で第1制御信号としての矩形信号を出力させる。したがって、第1発光態様制御部504が右移動指示に対応する第1発光態様指示を受け取った場合、発光体120の第1発光態様として、第1発光態様指によって指定された移動速度に対応する周波数で第1光源122Aが点滅し、第2光源122Bが消灯する。
 飛行体180において、第1移動制御部720は、第1光源122Aが点滅し、第2光源122Bが消灯することに対応して、飛行体180が右に移動するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。飛行体180が右に移動することにより、飛行体180の水平方向の位置が右側に変更される。また、第1移動制御部720は、第1光源122Aが点滅する周波数に応じた移動速度で飛行体180が右に移動するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1移動制御部720は、第1光源122Aが点滅する周波数が一定である場合、飛行体180の右への移動速度を維持する。一方、第1移動制御部720は、第1光源122Aが点滅する周波数が変更された場合、飛行体180の右への移動速度を変更する。一例として、第1移動制御部720は、第1光源122Aが点滅する周波数が高くなるほど飛行体180の右への移動速度を上昇させる。第1移動制御部720が飛行体180を右に移動させる制御は、本開示の技術に係る「移動制御」の一例である。
 一例として図22に示すように、マーカー装置90において、第1発光態様制御部504は、第1発光態様指示として、左移動指示に対応する第1発光態様指示を受け取った場合、発光体制御回路96に対して、第1制御信号のレベルをLレベルに保持させ、第2制御信号として矩形信号を出力させる。また、第1発光態様制御部504は、発光体制御回路96に対して、第1発光態様指示によって指定された移動速度に対応する周波数で第2制御信号としての矩形信号を出力させる。したがって、第1発光態様制御部504が左移動指示に対応する第1発光態様指示を受け取った場合、発光体120の第1発光態様として、第1光源122Aが消灯し、第1発光態様指示によって指定された移動速度に対応する周波数で第2光源122Bが点滅する。
 飛行体180において、第1移動制御部720は、第1光源122Aが消灯し、第2光源122Bが点滅することに対応して、飛行体180が左に移動するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。飛行体180が左に移動することにより、飛行体180の水平方向の位置が左側に変更される。また、第1移動制御部720は、第2光源122Bが点滅する周波数に応じた移動速度で飛行体180が左に移動するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1移動制御部720は、第2光源122Bが点滅する周波数が一定である場合、飛行体180の左への移動速度を維持する。一方、第1移動制御部720は、第2光源122Bが点滅する周波数が変更された場合、飛行体180の左への移動速度を変更する。一例として、第1移動制御部720は、第2光源122Bが点滅する周波数が高くなるほど飛行体180の左への移動速度を上昇させる。第1移動制御部720が飛行体180を左に移動させる制御は、本開示の技術に係る「移動制御」の一例である。
 一例として図23に示すように、マーカー装置90において、第1発光態様制御部504は、第1発光態様指示として、前進指示に対応する第1発光態様指示を受け取った場合、発光体制御回路96に対して、第1制御信号として第1矩形信号を出力させ、第2制御信号として第1矩形信号に対して2倍の周期を有する第2矩形信号を出力させる。また、第1発光態様制御部504は、発光体制御回路96に対して、第1発光態様指示によって指定された移動速度に対応する周波数で第1制御信号としての第1矩形信号及び第2制御信号としての第2矩形信号を出力させる。したがって、第1発光態様制御部504が前進指示に対応する第1発光態様指示を受け取った場合、発光体120の第1発光態様として、第1光源122Aが点滅し、第2光源122Bが第1光源122Aに対して2倍の周期で点滅する。また、第1光源122A及び第2光源122Bは、第1発光態様指示によって指定された移動速度に対応する周波数で点滅する。
 飛行体180において、第1移動制御部720は、第1光源122Aが点滅し、第2光源122Bが第1光源122Aに対して2倍の周期で点滅することに対応して、飛行体180が前進するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。飛行体180が前進することにより、飛行体180の水平方向の位置が前側に変更され、これにより、マーカー94と飛行体180との間の距離、及び点検対象物3と飛行体180との間の距離が短くなる。また、第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数に応じた移動速度で飛行体180が前進するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数が一定である場合、飛行体180の前進速度を維持する。一方、第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数が変更された場合、飛行体180の前進速度を変更する。一例として、第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数が高くなるほど飛行体180の前進速度を上昇させる。第1移動制御部720が飛行体180を前進させる制御は、本開示の技術に係る「移動制御」の一例である。
 一例として図24に示すように、マーカー装置90において、第1発光態様制御部504は、第1発光態様指示として、後退指示に対応する第1発光態様指示を受け取った場合、発光体制御回路96に対して、第1制御信号として第1矩形信号を出力させ、第2制御信号として第1矩形信号に対して1/2倍の周期を有する第2矩形信号を出力させる。また、第1発光態様制御部504は、発光体制御回路96に対して、第1発光態様指示によって指定された移動速度に対応する周波数で第1制御信号としての第1矩形信号及び第2制御信号としての第2矩形信号を出力させる。したがって、第1発光態様制御部504が後退指示に対応する第1発光態様指示を受け取った場合、発光体120の第1発光態様として、第1光源122Aが点滅し、第2光源122Bが第1光源122Aに対して1/2倍の周期で点滅する。また、第1光源122A及び第2光源122Bは、第1発光態様指示によって指定された移動速度に対応する周波数で点滅する。
 飛行体180において、第1移動制御部720は、第1光源122Aが点滅し、第2光源122Bが第1光源122Aに対して1/2倍の周期で点滅することに対応して、飛行体180が後退するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。飛行体180が後退することにより、飛行体180の水平方向の位置が後側に変更され、これにより、マーカー94と飛行体180との間の距離、及び点検対象物3と飛行体180との間の距離が長くなる。また、第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数に応じた移動速度で飛行体180が後退するように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数が一定である場合、飛行体180の後退速度を維持する。一方、第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数が変更された場合、飛行体180の後退速度を変更する。一例として、第1移動制御部720は、第1光源122A及び第2光源122Bが点滅する周波数が高くなるほど飛行体180の後退速度を上昇させる。第1移動制御部720が飛行体180を後退させる制御は、本開示の技術に係る「移動制御」の一例である。
 なお、作業者7は、測距装置170によって測定されることで得られた測距情報に基づいて、測距装置170と飛行体180との間の距離が既定距離に設定されるように、前進指示又は後退指示を撮像支援装置10に対して付与してもよい。
 一例として図25に示すように、撮像支援装置10において、第3受付情報判定部324は、受付情報として「飛行体に対する移動指示」が受付装置14によって受け付けられていないと第2受付情報判定部320によって判定された場合、受付情報として「飛行体に対するホバリング指示」が受付装置14によって受け付けられたか否かを判定する。第2発光態様指示部326は、受付情報として「飛行体に対するホバリング指示」が受付装置14によって受け付けられたと第3受付情報判定部324によって判定された場合には、マーカー装置90に対して、ホバリング指示に対応する第2発光態様指示を出力する。
 マーカー装置90において、第2指示入力判定部506は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されていないと第1指示入力判定部502によって判定された場合、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されたか否かを判定する。第2発光態様制御部508は、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されたと第2指示入力判定部506によって判定された場合には、第2発光態様指示に従い、発光体制御回路96を介して発光体120に対して第2発光態様で発光させる制御を行う。
 一例として図26に示すように、第2発光態様制御部508は、第2発光態様指示に従い、発光体制御回路96に対して、第1制御信号のレベル及び第2制御信号のレベルをLレベルに保持させる。したがって、第2発光態様制御部508が第2発光態様指示を受け取った場合、発光体120の第2発光態様として、第1光源122A及び第2光源122Bが消灯する。
 飛行体180において、第2発光態様判定部722は、発光体120の発光態様が第1発光態様ではないと第1発光態様判定部718によって判定された場合、第1撮像制御部702による指示に従ってイメージセンサ212によって撮像されることで得られた画像に基づいて、発光体120の発光態様が第2発光態様であるか否かを判定する。第2ホバリング制御部724は、発光体120の発光態様が第2発光態様であると第2発光態様判定部722によって判定された場合、第2発光態様に対応して飛行体180がホバリングするように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。つまり、第2ホバリング制御部724は、第1光源122A及び第2光源122Bが消灯することに対応して、飛行体180をホバリングさせる。飛行体180がホバリングしている場合、飛行体180の鉛直方向の位置が維持される。
 一例として図27に示すように、撮像支援装置10において、第4受付情報判定部328は、受付情報として「飛行体に対するホバリング指示」が受付装置14によって受け付けられていないと第3受付情報判定部324によって判定された場合、受付情報として「飛行体に対する撮像指示」が受付装置14によって受け付けられたか否かを判定する。ホバリング判定部330は、飛行体180がホバリングしているか否かを判定する。第3発光態様指示部332は、飛行体180がホバリングしているとホバリング判定部330によって判定された場合には、マーカー装置90に対して、撮像指示に対応する第3発光態様指示を出力する。なお、飛行体180がホバリングしていないとホバリング判定部330によって判定された場合、ディスプレイ16には、飛行体180をホバリングさせる旨の情報が作業者7に対して表示されてもよい。これにより、作業者7に対して、ホバリング指示を受付装置14に付与するように促すことができる。
 マーカー装置90において、第3指示入力判定部510は、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されていないと第2指示入力判定部506によって判定された場合、撮像支援装置10からの第3発光態様指示がマーカー装置90に入力されたか否かを判定する。第3発光態様制御部512は、撮像支援装置10からの第3発光態様指示がマーカー装置90に入力されたと第3指示入力判定部510によって判定された場合には、第3発光態様指示に従い、発光体制御回路96を介して発光体120に対して第3発光態様で発光させる制御を行う。
 一例として図28に示すように、第3発光態様制御部512は、第3発光態様指示に従い、発光体制御回路96に対して、第1制御信号として第1矩形信号を出力させ、第2制御信号として第1矩形信号とは逆位相の第2矩形信号を出力させる。したがって、第3発光態様制御部512が第3発光態様指示を受け取った場合、発光体120の第3発光態様として、第1光源122A及び第2光源122Bが交互に点滅する。つまり、第1光源122A及び第2光源122Bの点滅態様として、第1光源122Aが点灯している場合に第2光源122Bが消灯する状態と、第1光源122Aが消灯している場合に第2光源122Bが点灯する状態とが交互に繰り返される。
 飛行体180において、第3発光態様判定部726は、発光体120の発光態様が第2発光態様ではないと第2発光態様判定部722によって判定された場合、第1撮像制御部702(図26参照)による指示に従ってイメージセンサ212によって撮像されることで得られた画像(図26参照)に基づいて、発光体120の発光態様が第3発光態様であるか否かを判定する。第3撮像制御部728は、発光体120の発光態様が第3発光態様であると第3発光態様判定部726によって判定された場合、イメージセンサドライバ214を介してイメージセンサ212に対して、マーカー94を一部に含む撮像シーンを撮像させる制御を行う。撮像シーンには、マーカー94の周囲に位置する点検対象物3が含まれる。この場合に、第3撮像制御部728は、イメージセンサ212に対して、静止画像用の撮像を行わせる。イメージセンサ212によって撮像されることにより得られた画像には、マーカー94、及びマーカー94の周囲に位置する点検対象物3が像として写り込む。
 第1画像記憶制御部730は、第3撮像制御部728による指示に従ってイメージセンサ212によって撮像されることで得られた画像を画像メモリ196に記憶させる。画像メモリ196に記憶された画像としての静止画像は、後に画像解析装置230(図1参照)によって解析される。第3撮像制御部728がイメージセンサ212に対して撮像を行わせる制御は、本開示の技術に係る「撮像制御」の一例である。
 一例として図29に示すように、撮像支援装置10において、第5受付情報判定部334は、受付情報として「飛行体に対する撮像指示」が受付装置14によって受け付けられていないと第4受付情報判定部328によって判定された場合、受付情報として「飛行体に対する横移動及び撮像指示」が受付装置14によって受け付けられたか否かを判定する。第4発光態様指示部336は、受付情報として「飛行体に対する横移動及び撮像指示」が受付装置14によって受け付けられたと第4受付情報判定部328によって判定された場合には、マーカー装置90に対して、横移動及び撮像指示に対応する第4発光態様指示を出力する。
 マーカー装置90において、第4指示入力判定部514は、撮像支援装置10からの第3発光態様指示がマーカー装置90に入力されていないと第3指示入力判定部510によって判定された場合、撮像支援装置10からの第4発光態様指示がマーカー装置90に入力されたか否かを判定する。第4発光態様制御部516は、撮像支援装置10からの第4発光態様指示がマーカー装置90に入力されたと第4指示入力判定部514によって判定された場合には、第4発光態様指示に従い、発光体制御回路96を介して発光体120に対して第4発光態様で発光させる制御を行う。
 一例として図30に示すように、第4発光態様制御部516は、第4発光態様指示に従い、発光体制御回路96に対して、第1制御信号として第1矩形信号を出力させ、第2制御信号として第1矩形信号と同位相の第2矩形信号を出力させる。したがって、第4発光態様制御部516が第4発光態様指示を受け取った場合、発光体120の第4発光態様として、第1光源122A及び第2光源122Bが同時に点滅する。つまり、第1光源122A及び第2光源122Bの点滅態様として、第1光源122A及び第2光源122Bが点灯している状態と、第1光源122A及び第2光源122Bが消灯している状態とが交互に繰り返される。
 飛行体180において、第4発光態様判定部732は、発光体120の発光態様が第3発光態様ではないと第3発光態様判定部726によって判定された場合、第1撮像制御部702(図26参照)による指示に従ってイメージセンサ212によって撮像されることで得られた画像(図26参照)に基づいて、発光体120の発光態様が第4発光態様であるか否かを判定する。第2移動制御部734は、発光体120の発光態様が第4発光態様であると第4発光態様判定部732によって判定された場合、飛行体180が鉛直方向の位置を維持した状態で予め定められた移動距離だけ横方向(この場合、一例として左方向)に移動してからホバリングするように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。この場合に、飛行体180は、横方向への移動の一例として、点検対象物3の表面に沿って左に移動する。なお、飛行体180は、横方向への移動の一例として、点検対象物3の表面に沿って右に移動してもよい。予め定められた移動距離は、例えば、後述するように、横方向への移動と静止画像用の撮像を繰り返し行った場合に、隣接する静止画像同士の一部がオーバーラップする距離に設定される。
 第4撮像制御部736は、飛行体180がホバリングしている状態において、イメージセンサドライバ214を介してイメージセンサ212に対して、飛行体180の前方を撮像させる制御を行う。この場合に、第4撮像制御部736は、イメージセンサ212に対して、静止画像用の撮像を行わせる。イメージセンサ212によって撮像されることにより得られた画像には、点検対象物3が像として写り込む。第2画像記憶制御部738は、第4撮像制御部736による指示に従ってイメージセンサ212によって撮像されることで得られた画像を画像メモリ196に記憶させる。画像メモリ196に記憶された画像としての静止画像は、後に画像解析装置230(図1参照)によって解析される。
 画像記憶数判定部740は、第2画像記憶制御部738による指示に従って画像メモリ196に記憶された画像のフレーム数が既定数に達したか否かを判定する。画像メモリ196に記憶された画像のフレーム数が既定数に達してしないと画像記憶数判定部740によって判定された場合には、第2移動制御部734による処理、第4撮像制御部736による処理、及び第2画像記憶制御部738による処理が繰り返し実行される。すなわち、飛行体180の左移動、飛行体180による撮像、及び画像の記憶が繰り返し実行される。これにより、点検対象物3における水平方向の複数の領域が撮像されることで複数の画像が得られ、複数の画像が画像メモリ196に記憶される。
 帰還制御部742は、第2画像記憶制御部738による指示に従って画像メモリ196に記憶された画像のフレーム数が既定数に達したと画像記憶数判定部740によって判定された場合、飛行体180がマーカー94の正面の位置に向けて横方向に移動するように(すなわち、元の位置に帰還するように)、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。この場合に、飛行体180は、横方向への移動の一例として、点検対象物3の表面に沿って右に移動する。第5撮像制御部744は、イメージセンサドライバ214を介してイメージセンサ212に対して、飛行体180の前方を撮像させる制御を行う。飛行体180がマーカー94の正面の位置に移動していない場合、イメージセンサ212によって撮像されることにより得られた画像には、マーカー94が像として写り込まない。一方、飛行体180がマーカー94の正面の位置に移動した場合、イメージセンサ212によって撮像されることにより得られた画像には、マーカー94が像として写り込む。
 帰還完了判定部746は、第5撮像制御部744による指示に従ってイメージセンサ212によって撮像されることで得られた画像にマーカー94が像として写り込んでいるか否かを判定することにより、飛行体180がマーカー94の正面の位置に移動したか否かを判定する。第3ホバリング制御部748は、飛行体180がマーカー94の正面の位置に移動したと帰還完了判定部746によって判定された場合、飛行体180がホバリングするように、モータドライバ226を介して複数のモータ224に対して回転数を調節する制御を行う。
 一例として図31に示すように、撮像支援装置10において、第6受付情報判定部338は、受付情報として「飛行体に対する横移動及び撮像指示」が受付装置14によって受け付けられていないと第5受付情報判定部334によって判定された場合、受付情報として「飛行体に対する位置修正指示」が受付装置14によって受け付けられたか否かを判定する。第2撮像指示部340は、受付情報として「飛行体に対する位置修正指示」が受付装置14によって受け付けられたと第6受付情報判定部338によって判定された場合、撮像測距装置130に対して撮像指示を出力する。
 撮像測距装置130において、撮像指示入力判定部602は、撮像指示が撮像測距装置130に入力されたか否かを判定する。撮像制御部604は、撮像指示が撮像測距装置130に入力されたと撮像指示入力判定部602によって判定された場合には、イメージセンサドライバ164を介してイメージセンサ162に対して、飛行体180を撮像させる制御を行う。画像出力制御部606は、イメージセンサ162によって飛行体180が撮像されることで得られた画像を撮像支援装置10に対して出力する。
 撮像支援装置10において、第2画像入力判定部342は、撮像測距装置130からの画像が撮像支援装置10に入力されたか否かを判定する。第2画像表示制御部344は、撮像測距装置130からの画像が撮像支援装置10に入力されたと第2画像入力判定部342によって判定された場合には、ディスプレイ16に対して画像を表示させる制御を行う。作業者7は、ディスプレイ16に表示された画像に基づいて、飛行体180の姿勢及び/又は位置を確認することができる。
 一例として図32に示すように、撮像支援装置10において、位置ずれ判定部346は、撮像測距装置130から撮像支援装置10に入力された画像(図31参照)に基づいて、画像に像として写り込む飛行体180の位置が撮像装置160の画角の中央部に対してずれているか否かを判定する。第5発光態様指示部348は、飛行体180の位置が撮像装置160の画角の中央部に対してずれていると位置ずれ判定部346によって判定された場合、マーカー装置90に対して、位置ずれを補正するための移動指示に対応する第1発光態様指示を出力する。
 マーカー装置90において、第1指示入力判定部502は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されたか否かを判定する。第1発光態様制御部504は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されたと第1指示入力判定部502によって判定された場合には、第1発光態様指示に従い、発光体制御回路96を介して発光体120に対して第1発光態様で発光させる制御を行う。これにより、発光体120の第1発光態様に応じて飛行体180が移動することにより、位置ずれが補正される。つまり、撮像装置160の画角の中央部に飛行体180が移動する。
 撮像支援装置10において、第6発光態様指示部350は、飛行体180の位置が撮像装置160の画角の中央部に対してずれていないと位置ずれ判定部346によって判定された場合、マーカー装置90に対して、ホバリング指示に対応する第2発光態様指示を出力する。
 マーカー装置90において、第2指示入力判定部506は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されていないと第1指示入力判定部502によって判定された場合、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されたか否かを判定する。第2発光態様制御部508は、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されたと第2指示入力判定部506によって判定された場合には、第2発光態様指示に従い、発光体制御回路96を介して発光体120に対して第2発光態様で発光させる制御を行う。これにより、発光体120の第2発光態様に応じて飛行体180がホバリングする。
 次に、撮像システムSの作用について図33から図42を参照しながら説明する。
 はじめに、図33から図36を参照しながら、撮像支援装置10のプロセッサ30によって行われる撮像支援処理の流れの一例について説明する。
 図33に示す撮像支援処理では、先ず、ステップST10で、第1撮像指示部302は、撮像測距装置130に対して撮像指示を出力する。ステップST10の処理が実行された後、撮像支援処理は、ステップST11へ移行する。
 ステップST11で、第1画像入力判定部304は、撮像測距装置130からの画像が撮像支援装置10に入力されたか否かを判定する。ステップST11において、撮像測距装置130からの画像が撮像支援装置10に入力されていない場合には、判定が否定されて、ステップST11の判定が再び行われる。ステップST11において、撮像測距装置130からの画像が撮像支援装置10に入力された場合には、判定が肯定されて、撮像支援処理は、ステップST12へ移行する。
 ステップST12で、第1画像表示制御部306は、撮像測距装置130から撮像支援装置10に入力された画像をディスプレイ16に表示させる。ステップST12の処理が実行された後、撮像支援処理は、ステップST13へ移行する。
 ステップST13で、測距指示部308は、撮像測距装置130に対して測距指示を出力する。ステップST13の処理が実行された後、撮像支援処理は、ステップST14へ移行する。
 ステップST14で、測距情報入力判定部310は、撮像測距装置130からの測距情報が撮像支援装置10に入力されたか否かを判定する。ステップST14において、撮像測距装置130からの測距情報が撮像支援装置10に入力されていない場合は、判定が否定されて、ステップST14の判定が再び行われる。ステップST15において、測距情報が撮像支援装置10に入力された場合は、判定が肯定されて、撮像支援処理は、ステップST15へ移行する。
 ステップST15で、測距情報表示制御部312は、撮像測距装置130から撮像支援装置10に入力された測距情報をディスプレイ16に表示させる。ステップST15の処理が実行された後、撮像支援処理は、図34に示すステップST16へ移行する。
 図34に示すステップST16で、第1受付情報判定部314は、受付情報として「昇降装置に対する昇降指示」が受付装置14によって受け付けられたか否かを判定する。ステップST16において、受付情報として「昇降装置に対する昇降指示」が受付装置14によって受け付けられていない場合には、判定が否定されて、撮像支援処理は、ステップST19へ移行する。ステップST16において、受付情報として「昇降装置に対する昇降指示」が受付装置14によって受け付けられた場合には、判定が肯定されて、撮像支援処理は、ステップST17へ移行する。
 ステップST17で、昇降指示部316は、昇降装置50に対して昇降指示を出力する。ステップST17の処理が実行された後、撮像支援処理は、ステップST18へ移行する。
 ステップST18で、完了報告入力判定部318は、昇降装置50からの昇降完了報告が撮像支援装置10に入力されたか否かを判定する。ステップST18において、昇降装置50からの昇降完了報告が撮像支援装置10に入力されていない場合には、判定が否定されて、ステップST18の判定が再び行われる。ステップST18において、昇降装置50からの昇降完了報告が撮像支援装置10に入力された場合には、判定が肯定されて、撮像支援処理は、図36に示すステップST35へ移行する。
 ステップST19で、第2受付情報判定部320は、受付情報として「飛行体に対する移動指示」が受付装置14によって受け付けられたか否かを判定する。ステップST19において、受付情報として「飛行体に対する移動指示」が受付装置14によって受け付けられていない場合には、判定が否定されて、撮像支援処理は、ステップST21へ移行する。ステップST19において、受付情報として「飛行体に対する移動指示」が受付装置14によって受け付けられた場合には、判定が肯定されて、撮像支援処理は、ステップST20へ移行する。
 ステップST20で、第1発光態様指示部322は、マーカー装置90に対して、移動指示に対応する第1発光態様指示を出力する。ステップST20の処理が実行された後、撮像支援処理は、図36に示すステップST35へ移行する。
 ステップST21で、第3受付情報判定部324は、受付情報として「飛行体に対するホバリング指示」が受付装置14によって受け付けられたか否かを判定する。ステップST21において、受付情報として「飛行体に対するホバリング指示」が受付装置14によって受け付けられていない場合には、判定が否定されて、撮像支援処理は、ステップST23へ移行する。ステップST21において、受付情報として「飛行体に対するホバリング指示」が受付装置14によって受け付けられた場合には、判定が肯定されて、撮像支援処理は、ステップST22へ移行する。
 ステップST22で、第2発光態様指示部326は、マーカー装置90に対して、ホバリング指示に対応する第2発光態様指示を出力する。ステップST22の処理が実行された後、撮像支援処理は、ステップST10へ移行する。
 ステップST23で、第4受付情報判定部328は、受付情報として「飛行体に対する撮像指示」が受付装置14によって受け付けられたか否かを判定する。ステップST23において、受付情報として「飛行体に対する撮像指示」が受付装置14によって受け付けられていない場合には、判定が否定されて、撮像支援処理は、ステップST26へ移行する。ステップST23において、受付情報として「飛行体に対する撮像指示」が受付装置14によって受け付けられた場合には、判定が肯定されて、撮像支援処理は、ステップST24へ移行する。
 ステップST24で、ホバリング判定部330は、飛行体180がホバリングしているか否かを判定する。ステップST24において、飛行体180がホバリングしていない場合には、判定が否定されて、撮像支援処理は、ステップST10へ移行する。ステップST24において、飛行体180がホバリングしている場合には、判定が肯定されて、撮像支援処理は、ステップST25へ移行する。
 ステップST25で、第3発光態様指示部332は、マーカー装置90に対して、撮像指示に対応する第3発光態様指示を出力する。ステップST25の処理が実行された後、撮像支援処理は、図36に示すステップST35へ移行する。
 ステップST26で、第5受付情報判定部334は、受付情報として「飛行体に対する横移動及び撮像指示」が受付装置14によって受け付けられたか否かを判定する。ステップST26において、受付情報として「飛行体に対する横移動及び撮像指示」が受付装置14によって受け付けられていない場合には、判定が否定されて、撮像支援処理は、ステップST28へ移行する。ステップST26において、受付情報として「飛行体に対する横移動及び撮像指示」が受付装置14によって受け付けられた場合には、判定が肯定されて、撮像支援処理は、ステップST27へ移行する。
 ステップST27で、第4発光態様指示部336は、マーカー装置90に対して、横移動及び撮像指示に対応する第4発光態様指示を出力する。ステップST27の処理が実行された後、撮像支援処理は、ステップST35へ移行する。
 ステップST28で、第6受付情報判定部338は、受付情報として「飛行体に対する位置修正指示」が受付装置14によって受け付けられたか否かを判定する。ステップST28において、受付情報として「飛行体に対する位置修正指示」が受付装置14によって受け付けられていない場合には、判定が否定されて、撮像支援処理は、ステップST10へ移行する。ステップST28において、受付情報として「飛行体に対する位置修正指示」が受付装置14によって受け付けられた場合には、判定が肯定されて、撮像支援処理は、ステップST29へ移行する。
 ステップST29で、第2撮像指示部340は、撮像測距装置130に対して撮像指示を出力する。ステップST29の処理が実行された後、撮像支援処理は、ステップST30へ移行する。
 ステップST30で、第2画像入力判定部342は、撮像測距装置130からの画像が撮像支援装置10に入力されたか否かを判定する。ステップST30において、撮像測距装置130からの画像が撮像支援装置10に入力されていない場合には、判定が否定されて、ステップST30の判定が再び行われる。ステップST30において、撮像測距装置130からの画像が撮像支援装置10に入力された場合には、判定が肯定されて、撮像支援処理は、ステップST31へ移行する。
 ステップST31で、第2画像表示制御部344は、撮像測距装置130から撮像支援装置10に入力された画像をディスプレイ16に表示させる。ステップST31の処理が実行された後、撮像支援処理は、ステップST32へ移行する。
 ステップST32で、位置ずれ判定部346は、撮像測距装置130から撮像支援装置10に入力された画像に基づいて、画像に像として写り込む飛行体180の位置が撮像装置160の画角の中央部に対してずれているか否かを判定する。ステップST32において、飛行体180の位置が撮像装置160の画角の中央部に対してずれていない場合には、判定が否定されて、撮像支援処理は、ステップST34へ移行する。ステップST32において、飛行体180の位置が撮像装置160の画角の中央部に対してずれている場合には、判定が肯定されて、撮像支援処理は、ステップST33へ移行する。
 ステップST33で、第5発光態様指示部348は、マーカー装置90に対して、位置ずれを補正するための移動指示に対応する第1発光態様指示を出力する。ステップST33の処理が実行された後、撮像支援処理は、ステップST35へ移行する。
 ステップST34で、第6発光態様指示部350は、マーカー装置90に対して、ホバリング指示に対応する第2発光態様指示を出力する。ステップST34の処理が実行された後、撮像支援処理は、ステップST35へ移行する。
 ステップST35で、プロセッサ30は、撮像支援処理が終了する条件(以下、「撮像支援処理終了条件」と称する)を満足したか否かを判定する。撮像支援処理終了条件の一例としては、撮像支援処理を終了させる指示が受付装置14によって受け付けられた、との条件が挙げられる。ステップST35において、撮像支援処理終了条件を満足していない場合は、判定が否定されて、撮像支援処理は、図33に示すステップST10へ移行する。ステップST35において、撮像支援処理終了条件を満足した場合は、判定が肯定されて、撮像支援処理が終了する。
 なお、上述の撮像システムSの作用として説明した制御方法は、本開示の技術に係る「制御方法」の一例である。
 次に、図37を参照しながら、昇降装置50のプロセッサ70によって行われる昇降処理の流れの一例について説明する。
 図37に示す昇降処理では、先ず、ステップST40で、昇降指示入力判定部402は、撮像支援装置10からの昇降指示が昇降装置50に入力されたか否かを判定する。ステップST40において、撮像支援装置10からの昇降指示が昇降装置50に入力されていない場合には、判定が否定されて、ステップST40の判定が再び行われる。ステップST40において、撮像支援装置10からの昇降指示が昇降装置50に入力された場合には、判定が肯定されて、昇降処理は、ステップST41へ移行する。
 ステップST41で、昇降制御部404は、昇降指示に従ってマーカー94を上昇又は下降させる。ステップST41の処理が実行された後、昇降処理は、ステップST42へ移行する。
 ステップST42で、移動量判定部406は、マーカー94の移動量が昇降指示によって指定された指定移動量に達したか否かを判定する。ステップST42において、マーカー94の移動量が指定移動量に達していない場合には、判定が否定されて、ステップST42の判定が再び行われる。ステップST42において、マーカー94の移動量が指定移動量に達した場合には、判定が肯定されて、昇降処理は、ステップST43へ移行する。
 ステップST43で、昇降停止制御部408は、モータ84の回転を停止させることにより、マーカー94の上昇又は下降を停止させる。ステップST43の処理が実行された後、昇降処理は、ステップST44へ移行する。
 ステップST44で、完了報告出力制御部410は、撮像支援装置10に対して、マーカー94の昇降を完了した旨の昇降完了報告を出力する。ステップST44の処理が実行された後、昇降処理は、ステップST40へ移行する。
 次に、図38を参照しながら、マーカー装置90のプロセッサ110によって行われる発光態様制御処理の流れの一例について説明する。
 図38に示す発光態様制御処理では、先ず、ステップST50で、第1指示入力判定部502は、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されたか否かを判定する。ステップST50において、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力されていない場合には、判定が否定されて、発光態様制御処理は、ステップST52へ移行する。ステップST50において、撮像支援装置10からの第1発光態様指示がマーカー装置90に入力された場合には、判定が肯定されて、発光態様制御処理は、ステップST51へ移行する。
 ステップST51で、第1発光態様制御部504は、第1発光態様指示に従って発光体120を第1発光態様で発光させる。ステップST51の処理が実行された後、発光態様制御処理は、ステップST50へ移行する。
 ステップST52で、第2指示入力判定部506は、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されたか否かを判定する。ステップST52において、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力されていない場合には、判定が否定されて、発光態様制御処理は、ステップST54へ移行する。ステップST52において、撮像支援装置10からの第2発光態様指示がマーカー装置90に入力された場合には、判定が肯定されて、発光態様制御処理は、ステップST53へ移行する。
 ステップST53で、第2発光態様制御部508は、第2発光態様指示に従って発光体120を第2発光態様で発光させる。ステップST53の処理が実行された後、発光態様制御処理は、ステップST50へ移行する。
 ステップST54で、第3指示入力判定部510は、撮像支援装置10からの第3発光態様指示がマーカー装置90に入力されたか否かを判定する。ステップST54において、撮像支援装置10からの第3発光態様指示がマーカー装置90に入力されていない場合には、判定が否定されて、発光態様制御処理は、ステップST56へ移行する。ステップST54において、撮像支援装置10からの第3発光態様指示がマーカー装置90に入力された場合には、判定が肯定されて、発光態様制御処理は、ステップST55へ移行する。
 ステップST55で、第3発光態様制御部512は、第3発光態様指示に従って発光体120を第3発光態様で発光させる。ステップST55の処理が実行された後、発光態様制御処理は、ステップST50へ移行する。
 ステップST56で、第4指示入力判定部514は、撮像支援装置10からの第4発光態様指示がマーカー装置90に入力されたか否かを判定する。ステップST56において、撮像支援装置10からの第4発光態様指示がマーカー装置90に入力されていない場合には、判定が否定されて、発光態様制御処理は、ステップST50へ移行する。ステップST56において、撮像支援装置10からの第4発光態様指示がマーカー装置90に入力された場合には、判定が肯定されて、発光態様制御処理は、ステップST57へ移行する。
 ステップST57で、第4発光態様制御部516は、第4発光態様指示に従って発光体120を第4発光態様で発光させる。ステップST57の処理が実行された後、発光態様制御処理は、ステップST50へ移行する。
 次に、図39を参照しながら、撮像測距装置130のプロセッサ150によって行われる撮像測距処理の流れの一例について説明する。
 図39に示す撮像測距処理では、先ず、ステップST60で、撮像指示入力判定部602は、撮像支援装置10からの撮像指示が撮像測距装置130に入力されたか否かを判定する。ステップST60において、撮像支援装置10からの撮像指示が撮像測距装置130に入力されていない場合には、判定が否定されて、撮像測距処理は、ステップST63へ移行する。ステップST60において、撮像支援装置10からの撮像指示が撮像測距装置130に入力された場合には、判定が肯定されて、撮像支援処理は、ステップST61へ移行する。
 ステップST61で、撮像制御部604は、イメージセンサ162に飛行体180を撮像させる。ステップST61の処理が実行された後、撮像測距処理は、ステップST62へ移行する。
 ステップST62で、画像出力制御部606は、ステップST61で得られた画像を撮像支援装置10に対して出力する。ステップST62の処理が実行された後、撮像測距処理は、ステップST60へ移行する。
 ステップST63で、測距指示入力判定部608は、撮像支援装置10からの測距指示が撮像測距装置130に入力されたか否かを判定する。ステップST63において、撮像支援装置10からの測距指示が撮像測距装置130に入力されていない場合には、判定が否定されて、撮像測距処理は、ステップST60へ移行する。ステップST63において、撮像支援装置10からの測距指示が撮像測距装置130に入力された場合には、判定が肯定されて、撮像支援処理は、ステップST64へ移行する。
 ステップST64で、測距制御部610は、測距センサ172に測距装置170と飛行体180との間の距離を測定させる。ステップST64の処理が実行された後、撮像測距処理は、ステップST65へ移行する。
 ステップST65で、測距情報出力制御部612は、ステップST65で得られた測距情報を撮像支援装置10に対して出力する。ステップST65の処理が実行された後、撮像測距処理は、ステップST60へ移行する。
 次に、図40を参照しながら、飛行体180のプロセッサ200によって行われる飛行撮像処理の流れの一例について説明する。
 図40に示す飛行撮像処理では、先ず、ステップST70で、第1撮像制御部702は、イメージセンサ212にマーカー94を一部に含む撮像シーンを撮像させる。ステップST70の処理が実行された後、飛行撮像処理は、ステップST71へ移行する。
 ステップST71で、マーカー位置変化判定部704は、前回の飛行撮像処理のステップST70で得られた画像(以降、前回の画像と称する)と、今回の飛行撮像処理のステップST70で得られた画像(今回の画像と称する)とを比較し、マーカー94の位置が鉛直方向に変化したか否かを判定する。ステップST71において、マーカー94の位置が鉛直方向に変化していない場合には、判定が否定されて、飛行撮像処理は、ステップST78へ移行する。ステップST71において、マーカー94の位置が鉛直方向に変化した場合には、判定が肯定されて、飛行撮像処理は、ステップST72へ移行する。
 ステップST72で、変化方向判定部706は、前回の画像及び今回の画像に基づいて、マーカー94の位置が上側に変化したか否かを判定する。ステップST72において、マーカー94の位置が上側に変化していない場合には、判定が否定されて、飛行撮像処理は、ステップST74へ移行する。ステップST72において、マーカー94の位置が上側に変化した場合には、判定が肯定されて、飛行撮像処理は、ステップST73へ移行する。
 ステップST73で、上昇制御部708は、複数のモータ224の回転数を増加させることにより、飛行体180を上昇させる。ステップST73の処理が実行された後、飛行撮像処理は、ステップST75へ移行する。
 ステップST74で、下降制御部710は、複数のモータ224の回転数を減少させることにより、飛行体180を下降させる。ステップST74の処理が実行された後、飛行撮像処理は、ステップST75へ移行する。
 ステップST75で、第2撮像制御部712は、イメージセンサ212にマーカー94を一部に含む撮像シーンを撮像させる。ステップST75の処理が実行された後、飛行撮像処理は、ステップST76へ移行する。
 ステップST76で、飛行体位置判定部714は、ステップST75で得られた画像に基づいて、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置であるか否かを判定する。ステップST76において、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置でない場合には、判定が否定されて、飛行撮像処理は、ステップST75へ移行する。ステップST76において、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置である場合には、判定が肯定されて、飛行撮像処理は、ステップST77へ移行する。一例として、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置であるとは、好ましくは、イメージセンサ212の鉛直方向の画素数が1000画素である場合であり、かつ、撮像装置210とマーカー94との間の距離がおおよそ100cmの場合に、鉛直方向で10cm以内の誤差を含む位置になることであり、より好ましくは、鉛直方向で10mm以内の誤差を含む位置になることである。
 ステップST77で、第1ホバリング制御部716は、複数のモータ224の回転数を調節することにより、飛行体180をホバリングさせる。ステップST77の処理が実行された後、飛行撮像処理は、図42に示すステップST94へ移行する。
 ステップST78で、第1発光態様判定部718は、ステップST70で得られた画像に基づいて、発光体120の発光態様が第1発光態様であるか否かを判定する。ステップST78において、発光体120の発光態様が第1発光態様でない場合には、判定が否定されて、飛行撮像処理は、ステップST80へ移行する。ステップST78において、発光体120の発光態様が第1発光態様である場合には、判定が肯定されて、飛行撮像処理は、ステップST79へ移行する。
 ステップST79で、第1移動制御部720は、第1発光態様に対応して飛行体180が移動するように、複数のモータ224の回転数を調節する。ステップST79の処理が実行された後、飛行撮像処理は、図42に示すステップST94へ移行する。
 ステップST80で、第2発光態様判定部722は、ステップST70で得られた画像に基づいて、発光体120の発光態様が第2発光態様であるか否かを判定する。ステップST80において、発光体120の発光態様が第2発光態様でない場合には、判定が否定されて、飛行撮像処理は、ステップST82へ移行する。ステップST80において、発光体120の発光態様が第2発光態様である場合には、判定が肯定されて、飛行撮像処理は、ステップST81へ移行する。
 ステップST81で、第2ホバリング制御部724は、第2発光態様に対応して飛行体180がホバリングするように、複数のモータ224の回転数を調節する。ステップST81の処理が実行された後、飛行撮像処理は、図42に示すステップST94へ移行する。
 ステップST82で、第3発光態様判定部726は、ステップST70で得られた画像に基づいて、発光体120の発光態様が第3発光態様であるか否かを判定する。ステップST82において、発光体120の発光態様が第3発光態様でない場合には、判定が否定されて、飛行撮像処理は、ステップST85へ移行する。ステップST82において、発光体120の発光態様が第3発光態様である場合には、判定が肯定されて、飛行撮像処理は、ステップST83へ移行する。
 ステップST83で、第3撮像制御部728は、イメージセンサ212にマーカー94及び点検対象物3を含む撮像シーンを撮像させる。ステップST83の処理が実行された後、飛行撮像処理は、ステップST84へ移行する。
 ステップST84で、第1画像記憶制御部730は、ステップST83で得られた画像を画像メモリ196に記憶させる。ステップST84の処理が実行された後、飛行撮像処理は、図42に示すステップST94へ移行する。
 ステップST85で、ステップST70で得られた画像に基づいて、発光体120の発光態様が第4発光態様であるか否かを判定する。ステップST85において、発光体120の発光態様が第4発光態様でない場合には、判定が否定されて、飛行撮像処理は、ステップST94へ移行する。ステップST85において、発光体120の発光態様が第4発光態様である場合には、判定が肯定されて、飛行撮像処理は、ステップST86へ移行する。
 ステップST86で、第2移動制御部734は、複数のモータ224の回転数を調節することにより、飛行体180の鉛直方向の位置を維持させた状態で飛行体180を予め定められた移動距離だけ横方向に移動させてからホバリングさせる。ステップST86の処理が実行された後、飛行撮像処理は、ステップST87へ移行する。
 ステップST87で、第4撮像制御部736は、イメージセンサ212に飛行体180の前方を撮像させる。ステップST87の処理が実行された後、飛行撮像処理は、ステップST88へ移行する。
 ステップST88で、第2画像記憶制御部738は、ステップST87で得られた画像を画像メモリ196に記憶させる。ステップST88の処理が実行された後、飛行撮像処理は、ステップST89へ移行する。
 ステップST89で、画像記憶数判定部740は、飛行撮像処理が繰り返し行われることに伴って、ステップST88で画像メモリ196に記憶された画像のフレーム数が既定数に達したか否かを判定する。ステップST89において、画像メモリ196に記憶された画像のフレーム数が既定数に達していない場合には、判定が否定されて、飛行撮像処理は、ステップST86へ移行する。ステップST89において、画像メモリ196に記憶された画像のフレーム数が既定数に達した場合には、判定が肯定されて、飛行撮像処理は、ステップST90へ移行する。
 ステップST90で、帰還制御部742は、複数のモータ224の回転数を調節することにより、飛行体180をマーカー94の正面の位置に向けて横方向に移動させる。ステップST90の処理が実行された後、飛行撮像処理は、ステップST91へ移行する。
 ステップST91で、第5撮像制御部744は、イメージセンサ212に飛行体180の前方を撮像させる。ステップST91の処理が実行された後、飛行撮像処理は、ステップST92へ移行する。
 ステップST92で、帰還完了判定部746は、ステップST91で得られた画像にマーカー94が像として写り込んでいるか否かを判定する。ステップST92において、画像にマーカー94が像として写り込んでいない場合には、判定が否定されて、飛行撮像処理は、ステップST91へ移行する。ステップST92において、画像にマーカー94が像として写り込んでいる場合には、判定が肯定されて、飛行撮像処理は、ステップST93へ移行する。
 ステップST93で、第3ホバリング制御部748は、複数のモータ224の回転数を調節することにより、飛行体180をホバリングさせる。ステップST93の処理が実行された後、飛行撮像処理は、ステップST94へ移行する。
 ステップST94で、プロセッサ200は、飛行撮像処理が終了する条件(以下、「飛行撮像処理終了条件」と称する)を満足したか否かを判定する。飛行撮像処理終了条件の一例としては、飛行撮像処理を終了させる指示が受付装置14によって受け付けられた、との条件が挙げられる。ステップST94において、飛行撮像処理終了条件を満足していない場合は、判定が否定されて、飛行撮像処理は、図40に示すステップST70へ移行する。ステップST94において、飛行撮像処理終了条件を満足した場合は、判定が肯定されて、飛行撮像処理が終了する。
 以上説明したように、本実施形態に係る撮像システムSでは、飛行体180のプロセッサ200は、昇降装置50によって鉛直方向の位置が可変なマーカー94について、撮像装置210によって撮像されることで得られた画像に基づいて検出されたマーカー94の鉛直方向の位置を取得し、マーカー94の鉛直方向の位置に基づいて、飛行体180に対して、飛行体180の鉛直方向の位置を維持又は変更する制御を行う。したがって、例えば、衛星測位システムを用いなくても、飛行体180を鉛直方向に位置決めすることができる。また、例えば、撮像支援装置10と飛行体180との間で通信できなくても、マーカー94の鉛直方向の位置を変更することにより、飛行体180を鉛直方向に移動させることができる。
 また、飛行体180は、マーカー94の鉛直方向の位置を取得するために、撮像装置210を備える。したがって、例えば、マーカー94の鉛直方向の位置を取得するために、LiDARスキャナを備える場合に比して、飛行体180の小型化及び低コスト化を図ることができる。
 また、マーカー94の鉛直方向の位置は、撮像装置210によってマーカー94が撮像されることで得られた画像に基づいて検出される。したがって、例えば、飛行体180が、マーカー94の鉛直方向の位置を検出する検出装置を撮像装置210とは別に備える場合に比して、飛行体180の小型化及び低コスト化を図ることができる。
 また、飛行体180のプロセッサ200は、撮像装置210に対して、マーカー94を一部に含む撮像シーンを撮像させる制御を行う。したがって、撮像装置210によって撮像されることで得られた画像に基づいて、マーカー94の鉛直方向の位置を検出することができる。
 また、撮像シーンは、マーカー94の周囲に位置する点検対象物3を含む。したがって、点検対象物3が像として写り込む画像を得ることができる。
 また、飛行体180のプロセッサ200は、飛行体180に対して、画像上でマーカー94が画像の縦方向の中央部に配置される高さに飛行体180の鉛直方向の位置を設定する制御を行う。したがって、例えば、画像上でマーカー94が画像の縦方向の端部に配置される高さに飛行体180の鉛直方向の位置が設定される場合に比して、飛行体180の鉛直方向の位置が設定された後に、マーカー94が上側又は下側に移動した場合でも、マーカー94に対応する像が画像から直ちに外れることを抑制することができる。
 また、飛行体180のプロセッサ200は、飛行体180に対して、飛行体180の鉛直方向の位置をマーカー94の鉛直方向の位置と同じ位置に設定する制御を行う。したがって、例えば、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と異なる位置に設定される場合に比して、マーカー94の上側又は下側の移動に応じて飛行体180の鉛直方向の位置を変更する制御を容易に行うことができる。また、飛行体180の鉛直方向の位置がマーカー94の鉛直方向の位置と同じ位置に設定されることにより、飛行体180が撮像測距装置130の撮像装置160の撮像範囲160A内に収まるため、撮像装置160の撮像範囲160Aを制御する手間を省くことができる。
 また、マーカー94は、発光体120を有する。したがって、発光体120の発光態様によって飛行体180に対して指示を送ることができる。
 また、飛行体180のプロセッサ200は、飛行体180に対して、発光体120の第1発光態様に応じた制御を行う。したがって、発光体120の発光態様を第1発光態様に設定することにより、飛行体180に対して、発光体120の第1発光態様に応じた制御を行うことができる。
 また、発光体120の第1発光態様に応じた制御は、飛行体180の鉛直方向の位置を維持又は変更する制御を含む。したがって、発光体120の発光態様を第1発光態様に設定することにより、飛行体180の鉛直方向の位置を維持又は変更することができる。
 また、発光体120の第1発光態様に応じた制御は、飛行体180の移動速度を維持又は変更する制御を含む。したがって、発光体120の発光態様を第1発光態様に設定することにより、飛行体180の移動速度を維持又は変更することができる。
 また、発光体120の第1発光態様に応じた制御は、飛行体180を水平方向(すなわち、前後方向及び横方向)に移動させる制御を含む。したがって、発光体120の発光態様を第1発光態様に設定することにより、飛行体180を水平方向に移動させることができる。
 また、発光体120の第1発光態様に応じた制御は、飛行体180を前後方向に移動させることでマーカー94と飛行体180との間の距離を調節する制御を含む。したがって、発光体120の発光態様を第1発光態様に設定することで飛行体180を前後方向に移動させることにより、マーカー94と飛行体180との間の距離を調節することができる。
 また、発光体120の第1発光態様は、発光体120の点滅を含む態様である。したがって、発光体120を点滅させることにより、発光体120の発光態様を第1発光態様に設定することができる。
 また、飛行体180のプロセッサ200は、飛行体180に対して、発光体120の第2発光態様に応じてホバリングさせる制御を行う。したがって、発光体120の発光態様を第2発光態様に設定することにより、飛行体180をホバリングさせることができる。
 また、発光体120の第2発光態様は、発光体120の消灯を含む態様である。したがって、発光体120を消灯させることにより、発光体120の発光態様を第2発光態様に設定することができる。また、発光体120の第2発光態様が発光体120の消灯を含む態様であることにより、万が一、故障等により発光体120が消灯した場合には、飛行体180をホバリングさせることができる。
 また、飛行体180のプロセッサ200は、飛行体180に搭載された撮像装置210に対して、発光体120の第3発光態様に応じて静止画像用の撮像を行わせる撮像制御を行う。したがって、発光体120の発光態様を第3発光態様に設定することにより、撮像装置210に静止画像用の撮像を行わせることができる。
 また、飛行体180のプロセッサ200は、飛行体180がホバリングしている場合に、撮像装置210に対して静止画像用の撮像を行わせる。したがって、飛行体180が移動している場合に静止画像用の撮像が行われる場合に比して、撮像装置210によって撮像されることで得られた静止画像に像ぶれが生じることを抑制することができる。
 また、発光体120は、複数の光源122A及び122Bを含む。したがって、例えば、発光体120が1つの光源のみを有する場合に比して、発光体120の発光態様のバリエーションを増加させることができる。
 また、発光体120の第3発光態様は、複数の光源122A及び122Bの交互の点滅を含む態様である。したがって、複数の光源122A及び122Bを交互に点滅させることにより、発光体120の発光態様を第3発光態様に設定することができる。
 また、飛行体180のプロセッサ200は、発光体120の第4発光態様に応じて、飛行体180に対して、飛行体180の鉛直方向の位置を維持した状態で横方向に移動させる制御と、撮像装置210に対して、点検対象物3を撮像させる制御とを繰り返し行う。したがって、点検対象物3における水平方向の複数の領域のそれぞれについて画像を得ることができる。
 また、昇降装置50は、マーカー94が設けられたケーブル86と、ケーブル86に対する巻き取り及び送り出しを行うリール82とを備える。したがって、リール82を回転させることにより、マーカー94の鉛直方向の位置を変更することができる。
 また、昇降装置50は、リール82に対するケーブル86の送り出し量を検出するセンサ58を備える。したがって、センサ58によってケーブル86の送り出し量が検出されることに基づいて、マーカー94の鉛直方向の位置を把握することができる。
 また、飛行体180は、ロープ186を介して昇降装置50のケーブル86と繋がっている。したがって、飛行体180の移動範囲をロープ186の長さの範囲内に制限することができる。
 また、ケーブル86及びロープ186は、飛行体180に対して電力を送る送電ケーブル44を含む。したがって、送電ケーブル44を通じて飛行体180に対して電力を送ることができる。
 また、ケーブル86には、撮像測距装置130が設けられており、撮像測距装置130の撮像装置160は、飛行体180を撮像する。したがって、撮像装置160によって撮像されることにより、飛行体180が像として写り込む画像を得ることができる。
 また、作業者7は、撮像装置160によって撮像されることで得られた画像に基づいて、移動指示(すなわち、第1上昇指示、第1下降指示、第2上昇指示、第2下降指示、右移動指示、左移動指示、前進指示、及び/又は後退指示)を撮像支援装置10に対して付与する。そして、撮像支援装置10のプロセッサ30は、作業者7によって付与された移動指示に応じて、発光体120の発光態様を設定することにより、飛行体180に対する制御を行う。したがって、撮像装置160によって撮像されることで得られた画像に基づいて、飛行体180の姿勢及び/又は位置を調節することができる。
 また、撮像支援装置10のプロセッサ30は、撮像装置160の画角の中央部に飛行体180が移動するように、発光体120の発光態様を設定することにより、飛行体180に対する制御を行う。したがって、画像に像として写り込む飛行体180の位置を撮像装置160の画角の中央部に設定することができる。
 また、撮像装置160は、マーカー94に隣接する位置に配置されている。したがって、例えば、撮像装置160がマーカー94から離れた位置に配置されている場合に比して、マーカー94の位置から見た飛行体180の像に近い像を画像に含めることができる。
 また、ケーブル86に設けられた撮像測距装置130は、測距装置170を備えており、測距装置170は、測距装置170と飛行体180との間の距離を測定する。したがって、測距装置170によって測距装置170と飛行体180との間の距離が測定されることにより測距情報を得ることができる。
 また、作業者7は、測距装置170によって測定されることで得られた測距情報に基づいて、前進指示又は後退指示を撮像支援装置10に対して付与する。そして、撮像支援装置10のプロセッサ30は、作業者7によって付与された前進指示又は後退指示に応じて、発光体120の発光態様を設定することにより、飛行体180に対する制御を行う。したがって、測距情報に基づいて、測距装置170と飛行体180との間の距離を調節することができる。
 また、作業者7は、測距装置170によって測定されることで得られた測距情報に基づいて、測距装置170と飛行体180との間の距離が既定距離に設定されるように、前進指示又は後退指示を撮像支援装置10に対して付与してもよい。この場合には、測距装置170と飛行体180との間の距離を既定距離に調節することができる。
 また、測距装置170は、マーカー94に隣接する位置に配置されている。したがって、例えば、測距装置170がマーカー94から離れた位置に配置されている場合に比して、測距装置170によって測定される測距装置170と飛行体180との間の距離を、マーカー94と飛行体180との間の距離に近づけることができる。
 なお、一例として図43に示すように、飛行体180は、LiDARスキャナ250を備えていてもよい。図43に示される例では、LiDARスキャナ250によってマーカー94を一部に含む対象領域がスキャンされることでスキャンデータが得られる。飛行体180のプロセッサ200(図6参照)は、スキャンデータに基づいて、マーカー94の鉛直方向の位置を検出する。以下、スキャンデータに基づいて、マーカー94の鉛直方向の位置を検出する手法について例示する。
 図43に示す例において、点群252は、LiDARスキャナ250によってスキャンされた複数の点を表している。マーカー94上の点では、マーカー94とLiDARスキャナ250との間の距離がLiDARスキャナ250によって測定され、マーカー94から外れた点では、マーカー94の周囲の背景とLiDARスキャナ250との間の距離がLiDARスキャナ250によって測定される。LiDARスキャナ250によってスキャンされることにより、点群252について、スキャン位置と測定距離との関係を表す距離情報254が得られる。図43には、一例として、スキャン位置254Aで得られた距離情報254が示されている。
 距離情報254に対して、例えばエッジ抽出処理(すなわち、既定値以下の距離に対応する点を抽出する処理)が実行されることにより、点群252からマーカー94の形状に対応する第1点群252A(すなわち、マーカー上に位置する点群)が抽出される。また、第1点群252Aと、第1点群252Aを構成する各点について測定された距離と、予め定められたマーカー94の形状と、予め定められたマーカー94の大きさとに基づいて、第1点群252Aによって表される形状がマーカー94に相当するか否かが判定される。そして、第1点群252Aによって表される形状がマーカー94に相当すると判定された場合には、第1点群252Aを構成する各点に対応するレーザの照射角度等に基づいて、マーカー94の鉛直方向の位置が導出される。このように、飛行体180がLiDARスキャナ250を備える場合、マーカー94の鉛直方向の位置は、LiDARスキャナ250によってマーカー94を一部に含む対象領域がスキャンされることで得られたスキャンデータに基づいて検出される。
 なお、飛行体180は、撮像装置210(図1参照)の代わりにLiDARスキャナ250を備えていてもよく、撮像装置210に加えて、LiDARスキャナ250を備えていてもよい。飛行体180が撮像装置210及びLiDARスキャナ250を備えていると、撮像装置210による撮像とLiDARスキャナ250による測定を別々に行うことができる。
 また、一例として図44に示すように、撮像システムSは、昇降装置50(図1参照)の代わりに、昇降装置260を備えていてもよい。昇降装置260は、伸縮式の梯子262を有する。一例として、梯子262は、地上に置かれている。梯子262の上部には、マーカー装置90及び撮像測距装置130が設けられている。梯子262は、電動で伸縮してもよく、手動で伸縮してもよい。図44に示す例では、梯子262が伸縮することにより、マーカー装置90及び撮像測距装置130を昇降させることができる。なお、図44に示す例では、マーカー装置90及び撮像測距装置130を昇降させる一手段として、梯子262が例示されているが、その他、伸縮式の支柱などの伸縮部材又は伸縮機構が用いられてもよい。また、伸縮部材又は伸縮機構は、地上に置かれてもよく、橋梁5の橋桁から垂下されてもよい。
 また、上記実施形態では、作業者7は、撮像測距装置130の撮像装置160によって飛行体180を撮像されることで得られた画像に基づいて、移動指示(すなわち、第1上昇指示、第1下降指示、第2上昇指示、第2下降指示、右移動指示、左移動指示、前進指示、及び/又は後退指示)を撮像支援装置10に対して付与する。そして、撮像支援装置10のプロセッサ30は、作業者7によって付与された移動指示に応じて、発光体120の発光態様を設定することにより、飛行体180に対する制御を行う。しかしながら、撮像支援装置10のプロセッサ30は、撮像装置160によって飛行体180が撮像されることで得られた画像に基づいて、飛行体180の姿勢及び/又は位置を判定し、判定した結果に応じて、飛行体180に対する制御を行ってもよい。
 また、上記実施形態では、作業者7は、測距装置170によって測定されることで得られた測距情報に基づいて、前進指示又は後退指示を撮像支援装置10に対して付与する。そして、撮像支援装置10のプロセッサ30は、作業者7によって付与された前進指示又は後退指示に応じて、発光体120の発光態様を設定することにより、飛行体180に対する制御を行う。しかしながら、撮像支援装置10のプロセッサ30は、測距装置170によって測定されることで得られた測距情報に基づいて、発光体120の発光態様を設定することにより、飛行体180を前進又は後退させてもよい。また、この場合に、撮像支援装置10のプロセッサ30は、測距装置170と飛行体180との間の距離が既定距離に設定されるように、飛行体180を前進又は後退させてもよい。
 また、上記実施形態では、受付装置14によって受け付けられた指示に応じて、昇降装置50及びマーカー装置90が制御されるが、例えば、予め定められた順序で昇降装置50及びマーカー装置90が制御されてもよい。
 また、上記実施形態では、昇降装置50のケーブル86に撮像装置160が設けられているが、撮像装置160は省かれてもよい。
 また、上記実施形態では、撮像システムSは、点検の用途で用いられているが、例えば、運搬、撮影、測量、農薬散布、メンテナンス、又は警備など、点検以外の用途で用いられてもよい。
 また、上記実施形態では、マーカー94の鉛直方向の位置が変更されることに応じて、飛行体180の鉛直方向の位置が変更されるが、鉛直方向以外の方向にマーカー94の位置が変更され、これに応じて、飛行体180の位置が変更されてもよい。
 また、上記実施形態では、撮像支援装置10によって撮像支援処理が実行され、昇降装置50によって昇降処理が実行され、マーカー装置90によって発光態様制御処理が実行され、撮像測距装置130によって撮像測距処理が実行される形態例を挙げて説明したが、本開示の技術は、これに限定されない。例えば、撮像支援装置10が、撮像支援処理、昇降処理、発光態様制御処理、及び撮像測距処理を集約して実行してもよく、撮像支援装置10、昇降装置50、マーカー装置90、撮像測距装置130のうちの2つの装置又は3つの装置が、撮像支援処理、昇降処理、発光態様制御処理、及び撮像測距処理を分散して実行してもよい。
 また、上記実施形態では、撮像支援装置10のストレージ32に撮像支援処理プログラム300が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像支援処理プログラム300がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的記憶媒体である。記憶媒体に記憶されている撮像支援処理プログラム300は、撮像支援装置10のコンピュータ12にインストールされる。撮像支援装置10のプロセッサ30は、撮像支援処理プログラム300に従って撮像支援処理を実行する。
 また、上記実施形態では、昇降装置50のストレージ72に昇降処理プログラム400が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、昇降処理プログラム400がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的記憶媒体である。記憶媒体に記憶されている昇降処理プログラム400は、昇降装置50のコンピュータ52にインストールされる。昇降装置50のプロセッサ70は、昇降処理プログラム400に従って昇降処理を実行する。
 また、上記実施形態では、マーカー装置90のストレージ112に発光態様制御処理プログラム500が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、発光態様制御処理プログラム500がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的記憶媒体である。記憶媒体に記憶されている発光態様制御処理プログラム500は、マーカー装置90のコンピュータ92にインストールされる。マーカー装置90のプロセッサ110は、発光態様制御処理プログラム500に従って発光態様制御処理を実行する。
 また、上記実施形態では、撮像測距装置130のストレージ152に撮像測距処理プログラム600が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像測距処理プログラム600がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的記憶媒体である。記憶媒体に記憶されている撮像測距処理プログラム600は、撮像測距装置130のコンピュータ132にインストールされる。撮像測距装置130のプロセッサ150は、撮像測距処理プログラム600に従って撮像測距処理を実行する。
 また、上記実施形態では、飛行体180のストレージ202に飛行撮像処理プログラム700が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、飛行撮像処理プログラム700がSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的記憶媒体である。記憶媒体に記憶されている飛行撮像処理プログラム700は、飛行体180のコンピュータ182にインストールされる。飛行体180のプロセッサ200は、飛行撮像処理プログラム700に従って飛行撮像処理を実行する。
 また、上記実施形態では、ネットワークを介して撮像支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置に撮像支援処理プログラム300を記憶させておき、撮像支援装置10の要求に応じて撮像支援処理プログラム300がダウンロードされ、撮像支援装置10のコンピュータ12にインストールされるようにしてもよい。
 また、撮像支援装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置、又は撮像支援装置10のストレージ32に撮像支援処理プログラム300の全てを記憶させておく必要はなく、撮像支援処理プログラム300の一部を記憶させておいてもよい。
 また、上記実施形態では、ネットワークを介して昇降装置50に接続される他のコンピュータ又はサーバ装置等の記憶装置に昇降処理プログラム400を記憶させておき、昇降装置50の要求に応じて昇降処理プログラム400がダウンロードされ、昇降装置50のコンピュータ52にインストールされるようにしてもよい。
 また、昇降装置50に接続される他のコンピュータ又はサーバ装置等の記憶装置、又は昇降装置50のストレージ72に昇降処理プログラム400の全てを記憶させておく必要はなく、昇降処理プログラム400の一部を記憶させておいてもよい。
 また、上記実施形態では、ネットワークを介してマーカー装置90に接続される他のコンピュータ又はサーバ装置等の記憶装置に発光態様制御処理プログラム500を記憶させておき、マーカー装置90の要求に応じて発光態様制御処理プログラム500がダウンロードされ、マーカー装置90のコンピュータ92にインストールされるようにしてもよい。
 また、マーカー装置90に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はマーカー装置90のストレージ112に発光態様制御処理プログラム500の全てを記憶させておく必要はなく、発光態様制御処理プログラム500の一部を記憶させておいてもよい。
 また、上記実施形態では、ネットワークを介して撮像測距装置130に接続される他のコンピュータ又はサーバ装置等の記憶装置に撮像測距処理プログラム600を記憶させておき、撮像測距装置130の要求に応じて撮像測距処理プログラム600がダウンロードされ、撮像測距装置130のコンピュータ132にインストールされるようにしてもよい。
 また、撮像測距装置130に接続される他のコンピュータ又はサーバ装置等の記憶装置、又は撮像測距装置130のストレージ152に撮像測距処理プログラム600の全てを記憶させておく必要はなく、撮像測距処理プログラム600の一部を記憶させておいてもよい。
 また、上記実施形態では、ネットワークを介して飛行体180に接続される他のコンピュータ又はサーバ装置等の記憶装置に飛行撮像処理プログラム700を記憶させておき、飛行体180の要求に応じて飛行撮像処理プログラム700がダウンロードされ、飛行体180のコンピュータ182にインストールされるようにしてもよい。
 また、飛行体180に接続される他のコンピュータ又はサーバ装置等の記憶装置、又は飛行体180のストレージ202に飛行撮像処理プログラム700の全てを記憶させておく必要はなく、飛行撮像処理プログラム700の一部を記憶させておいてもよい。
 また、上記実施形態では、撮像支援装置10にコンピュータ12が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ12が撮像支援装置10の外部に設けられてもよい。
 また、上記実施形態では、昇降装置50にコンピュータ52が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ52が昇降装置50の外部に設けられてもよい。
 また、上記実施形態では、マーカー装置90にコンピュータ92が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ92がマーカー装置90の外部に設けられてもよい。
 また、上記実施形態では、撮像測距装置130にコンピュータ132が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ132が撮像測距装置130の外部に設けられてもよい。
 また、上記実施形態では、飛行体180にコンピュータ182が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ182が飛行体180の外部に設けられてもよい。
 また、上記実施形態では、撮像支援装置10にコンピュータ12が用いられているが、本開示の技術はこれに限定されず、コンピュータ12に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ12に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 また、上記実施形態では、昇降装置50にコンピュータ52が用いられているが、本開示の技術はこれに限定されず、コンピュータ52に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ52に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 また、上記実施形態では、マーカー装置90にコンピュータ92が用いられているが、本開示の技術はこれに限定されず、コンピュータ92に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ92に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 また、上記実施形態では、撮像測距装置130にコンピュータ132が用いられているが、本開示の技術はこれに限定されず、コンピュータ132に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ132に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 また、上記実施形態では、飛行体180にコンピュータ182が用いられているが、本開示の技術はこれに限定されず、コンピュータ182に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ182に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPU等が挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで処理を実行する。
 また、各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、処理を実行するハードウェア資源は1つのプロセッサであってもよい。
 1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (37)

  1.  プロセッサと、
     前記プロセッサに接続又は内蔵されたメモリと、を備え、
     前記プロセッサは、
     変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出された前記マーカーの鉛直方向の位置を取得し、
     前記マーカーの鉛直方向の位置に基づいて、前記飛行体に対して、前記飛行体の鉛直方向の位置を維持又は変更する制御を行う
     制御装置。
  2.  前記光学センサは、第1撮像装置を有する
     請求項1に記載の制御装置。
  3.  前記プロセッサは、前記第1撮像装置に対して、前記マーカーを一部に含む撮像シーンを撮像させる制御を行う
     請求項2に記載の制御装置。
  4.  前記撮像シーンは、前記マーカーの周囲に位置する第1点検対象物を含む
     請求項3に記載の制御装置。
  5.  前記マーカーの鉛直方向の位置は、前記第1撮像装置によって前記撮像シーンが撮像されることで得られた画像に基づいて検出された位置である
     請求項3又は請求項4に記載の制御装置。
  6.  前記プロセッサは、前記飛行体に対して、前記画像上で前記マーカーが前記画像の縦方向の中央部に配置される高さに前記飛行体の鉛直方向の位置を設定する制御を行う
     請求項5に記載の制御装置。
  7.  前記プロセッサは、前記飛行体に対して、前記飛行体の鉛直方向の位置を前記マーカーの鉛直方向の位置と同じ位置に設定する制御を行う
     請求項1から請求項6の何れか一項に記載の制御装置。
  8.  前記光学センサは、LiDARスキャナを有し、
     マーカーの鉛直方向の位置は、前記LiDARスキャナによって前記マーカーを一部に含む対象領域がスキャンされることで得られたスキャンデータに基づいて検出された位置である
     請求項1又は請求項2に記載の制御装置。
  9.  前記マーカーは、発光体を有する
     請求項1から請求項8の何れか一項に記載の制御装置。
  10.  前記プロセッサは、前記飛行体に対して、前記発光体の第1発光態様に応じた第1制御を行う
     請求項9に記載の制御装置。
  11.  前記第1制御は、前記飛行体の鉛直方向の位置を維持又は変更する制御を含む
     請求項10に記載の制御装置。
  12.  前記第1制御は、前記飛行体の移動速度を維持又は変更する制御を含む
     請求項10又は請求項11に記載の制御装置。
  13.  前記第1制御は、前記飛行体を水平方向に移動させる移動制御を含む
     請求項10から請求項12の何れか一項に記載の制御装置。
  14.  前記移動制御は、前記飛行体を水平方向に移動させることで前記マーカーと前記飛行体との間の第1距離を調節する制御を含む
     請求項13に記載の制御装置。
  15.  前記第1発光態様は、点滅を含む態様である
     請求項10から請求項14の何れか一項に記載の制御装置。
  16.  前記プロセッサは、前記飛行体に対して、前記発光体の第2発光態様に応じてホバリングさせる制御を行う
     請求項9から請求項15の何れか一項に記載の制御装置。
  17.  前記第2発光態様は、消灯を含む態様である
     請求項16に記載の制御装置。
  18.  前記プロセッサは、前記飛行体に搭載された第2撮像装置に対して、前記発光体の第3発光態様に応じて静止画像用の撮像を行わせる撮像制御を行う
     請求項9から請求項17の何れか一項に記載の制御装置。
  19.  前記プロセッサは、前記飛行体がホバリングしている場合に、前記撮像制御を行う
     請求項18に記載の制御装置。
  20.  前記発光体は、複数の光源を含み、
     前記第3発光態様は、前記複数の光源の交互の点滅を含む態様である
     請求項18又は請求項19に記載の制御装置。
  21.  前記プロセッサは、前記発光体の第4発光態様に応じて、前記飛行体に対して、前記飛行体の鉛直方向の位置を維持した状態で水平方向に移動させる制御と、前記飛行体に搭載された第3撮像装置に対して、第2点検対象物を撮像させる制御とを繰り返し行う
     請求項9から請求項20の何れか一項に記載の制御装置。
  22.  請求項1から請求項21の何れか一項に記載の制御装置と、
     前記変位機構と、
     前記マーカーと、
     前記飛行体と、
     を備える飛行体システム。
  23.  前記変位機構は、
     前記マーカーが設けられたケーブルと、
     前記ケーブルに対する巻き取り及び送り出しを行うリールと、
     を備える
     請求項22に記載の飛行体システム。
  24.  前記変位機構は、前記リールに対する前記ケーブルの送り出し量を検出するセンサを備える
     請求項23に記載の飛行体システム。
  25.  前記変位機構は、前記マーカーを昇降させる昇降機構を含む
     請求項22に記載の飛行体システム。
  26.  前記変位機構と前記飛行体とを繋ぐロープを備える
     請求項22から請求項25の何れか一項に記載の飛行体システム。
  27.  前記変位機構及び前記ロープは、前記飛行体に対して電力を送る送電ケーブルを含む
     請求項26に記載の飛行体システム。
  28.  前記変位機構に設けられ、前記飛行体を撮像する第4撮像装置を備える
     請求項22から請求項27の何れか一項に記載の飛行体システム。
  29.  前記プロセッサは、前記第4撮像装置によって前記飛行体が撮像されることで得られた画像に基づいて、前記飛行体に対する制御を行う
     請求項28に記載の飛行体システム。
  30.  前記プロセッサは、前記飛行体に対し、前記第4撮像装置の画角の中央部に前記飛行体を移動させる制御を行う
     請求項29に記載の飛行体システム。
  31.  前記第4撮像装置は、前記マーカーに隣接する位置に配置されている
     請求項28から請求項30の何れか一項に記載の飛行体システム。
  32.  前記変位機構に設けられた測距装置を備え、
     前記測距装置は、前記測距装置と前記飛行体との間の第2距離を測定する
     請求項22から請求項31の何れか一項に記載の飛行体システム。
  33.  前記プロセッサは、前記測距装置によって前記第2距離が測定されることで得られた測距情報に基づいて、前記飛行体に対する第2制御を行う
     請求項32に記載の飛行体システム。
  34.  前記第2制御は、前記第2距離を既定距離に設定する制御である
     請求項33に記載の飛行体システム。
  35.  前記測距装置は、前記マーカーに隣接する位置に配置されている
     請求項32から請求項34の何れか一項に記載の飛行体システム。
  36.  変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出されたマーカーの鉛直方向の位置を取得すること、及び、
     前記マーカーの鉛直方向の位置に基づいて、前記飛行体に対して、前記飛行体の鉛直方向の位置を維持又は変更する制御を行うこと
     を備える制御方法。
  37.  変位機構によって鉛直方向の位置が可変なマーカーについて、飛行体に搭載された光学センサによって検出されたマーカーの鉛直方向の位置を取得すること、及び、
     前記マーカーの鉛直方向の位置に基づいて、前記飛行体に対して、前記飛行体の鉛直方向の位置を維持又は変更する制御を行うこと
     を含む処理をコンピュータに実行させるためのプログラム。
PCT/JP2022/019850 2021-06-09 2022-05-10 制御装置、飛行体システム、制御方法、及びプログラム WO2022259799A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023527575A JPWO2022259799A1 (ja) 2021-06-09 2022-05-10
US18/523,880 US20240103538A1 (en) 2021-06-09 2023-11-30 Control device, flying object system, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-096907 2021-06-09
JP2021096907 2021-06-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/523,880 Continuation US20240103538A1 (en) 2021-06-09 2023-11-30 Control device, flying object system, control method, and program

Publications (1)

Publication Number Publication Date
WO2022259799A1 true WO2022259799A1 (ja) 2022-12-15

Family

ID=84424839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019850 WO2022259799A1 (ja) 2021-06-09 2022-05-10 制御装置、飛行体システム、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240103538A1 (ja)
JP (1) JPWO2022259799A1 (ja)
WO (1) WO2022259799A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2016101774A (ja) * 2014-11-27 2016-06-02 みこらった株式会社 浮揚移動台
US20170248969A1 (en) * 2016-02-29 2017-08-31 Thinkware Corporation Method and system for providing route of unmanned air vehicle
JP2017224123A (ja) * 2016-06-15 2017-12-21 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
WO2020204201A1 (ja) * 2019-04-05 2020-10-08 株式会社Liberaware 飛行体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2016101774A (ja) * 2014-11-27 2016-06-02 みこらった株式会社 浮揚移動台
US20170248969A1 (en) * 2016-02-29 2017-08-31 Thinkware Corporation Method and system for providing route of unmanned air vehicle
JP2017224123A (ja) * 2016-06-15 2017-12-21 日本電気株式会社 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
WO2020204201A1 (ja) * 2019-04-05 2020-10-08 株式会社Liberaware 飛行体

Also Published As

Publication number Publication date
US20240103538A1 (en) 2024-03-28
JPWO2022259799A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
JP7226487B2 (ja) 制御装置および制御方法
US20240184290A1 (en) Control device, control method, and computer program
CN111928782B (zh) 引导信息显示装置、引导信息显示方法及作业机
EP3868652A1 (en) Information processing system, information processing method, and program
US20230101728A1 (en) Flight imaging system and method
WO2022259799A1 (ja) 制御装置、飛行体システム、制御方法、及びプログラム
JP2024020389A (ja) 制御方法、制御装置及びプログラム
CN112265912A (zh) 随车起重机的一体化操作系统与方法
CN115826596B (zh) 基于多旋翼无人机的智能火电厂烟囱巡检方法及系统
US20240111311A1 (en) Control apparatus, base station, control method, and program
JP2020201850A (ja) 飛行体の制御方法
JP2018174002A (ja) 移動体
WO2024069669A1 (ja) 情報処理システム及びプログラム、情報処理方法、端末、サーバ
CN117529436A (zh) 使用飞行器对光伏设备的自动成像和用于执行自动成像的飞行器的自动飞行
JP2023126465A (ja) 給電情報決定装置、給電情報決定方法、及びプログラム
CN118190307A (zh) 一种应急情况下的桥梁检测系统及其检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22818179

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023527575

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22818179

Country of ref document: EP

Kind code of ref document: A1