WO2017131194A1 - ショベル及びショベルの周囲を飛行する自律式飛行体 - Google Patents

ショベル及びショベルの周囲を飛行する自律式飛行体 Download PDF

Info

Publication number
WO2017131194A1
WO2017131194A1 PCT/JP2017/003041 JP2017003041W WO2017131194A1 WO 2017131194 A1 WO2017131194 A1 WO 2017131194A1 JP 2017003041 W JP2017003041 W JP 2017003041W WO 2017131194 A1 WO2017131194 A1 WO 2017131194A1
Authority
WO
WIPO (PCT)
Prior art keywords
excavator
information
flying object
autonomous
camera
Prior art date
Application number
PCT/JP2017/003041
Other languages
English (en)
French (fr)
Inventor
貴志 西
聡 作田
崇昭 守本
泉川　岳哉
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to KR1020187022450A priority Critical patent/KR102615981B1/ko
Priority to EP17744424.7A priority patent/EP3409849B1/en
Priority to CN202210297469.0A priority patent/CN114640827A/zh
Priority to CN201780009042.3A priority patent/CN108699814B/zh
Priority to JP2017563872A priority patent/JP6938389B2/ja
Publication of WO2017131194A1 publication Critical patent/WO2017131194A1/ja
Priority to US16/047,426 priority patent/US10767347B2/en
Priority to US16/990,237 priority patent/US11492783B2/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2029—Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed

Definitions

  • the present invention relates to an excavator and an autonomous flying object that flies around the excavator.
  • This shovel includes a display device in a cabin that displays an image captured by a camera facing the side and rear of the upper swing body. Therefore, the operator of the shovel can visually recognize the rear and side conditions of the shovel by looking at the display device.
  • the space that cannot be imaged by the camera includes, for example, the internal space of the excavated hole, the space immediately behind the counterweight, and the like.
  • a shovel that can present an image captured by a camera capable of capturing a space that cannot be captured by a camera attached to the upper swing body to an operator of the shovel.
  • An excavator includes a lower traveling body, an upper swing body mounted on the lower traveling body, a receiving device attached to the upper swing body, a direction detection device, a control device, and a display device.
  • the receiving device receives a captured image captured by a camera-mounted autonomous flying vehicle
  • the orientation detecting device detects the orientation of the excavator
  • the control device includes the shovel.
  • Information on a target rotation angle of the camera-equipped autonomous aircraft based on the orientation of the camera, and the display device can capture an image that can be captured when the camera-equipped autonomous aircraft rotates by the target rotation angle; The captured image is displayed in the same direction.
  • the above-described means provides a shovel capable of presenting an image picked up by a camera capable of picking up a space that cannot be picked up by a camera attached to the upper swing body to an operator of the shovel.
  • FIG. 1 is a diagram of a work site where the work support system is used.
  • the work support system mainly includes an excavator 100, a flying object 200, and a remote controller 300. There may be one excavator 100 constituting the work support system, or a plurality of excavators 100.
  • the example of FIG. 1 includes two excavators 100A and 100B.
  • the flying object 200 is an autonomous flying object that can be operated by remote control or automatic control, and includes, for example, a multicopter, an airship, and the like. In this embodiment, it is a quadcopter equipped with a camera.
  • the remote controller 300 is a remote controller for remotely operating the flying object 200.
  • the upper revolving unit 3 is mounted on the lower traveling unit 1 of the excavator 100 through a revolving mechanism 2 so as to be capable of revolving.
  • a boom 4 is attached to the upper swing body 3.
  • An arm 5 is attached to the tip of the boom 4, and a bucket 6 is attached to the tip of the arm 5.
  • the boom 4, the arm 5, and the bucket 6 as work elements constitute a drilling attachment that is an example of an attachment.
  • the boom 4, arm 5, and bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.
  • the upper swing body 3 is provided with a cabin 10 and is mounted with a power source such as an engine 11.
  • a transmission device S1, a reception device S2, a positioning device S3, an attitude detection device S4, an orientation detection device S5, a display device 40, and the like are attached to the upper swing body 3.
  • the transmitting device S1 transmits information to the outside of the excavator 100.
  • the transmission device S1 repeatedly transmits information that can be received by at least one of the flying object 200 and the remote controller 300 at a predetermined period.
  • the transmission device S1 repeatedly transmits information that can be received by the flying object 200 at a predetermined period.
  • the transmission device S1 may transmit information toward the flying object 200 only when information transmitted by the flying object 200 is received.
  • the receiving device S2 receives information from the outside of the excavator 100.
  • the receiving device S2 receives information transmitted by at least one of the flying object 200 and the remote controller 300.
  • the receiving device S2 receives information transmitted from the flying object 200.
  • the positioning device S3 acquires information on the position of the excavator 100.
  • the positioning device S3 is a GNSS (GPS) receiver, and measures the latitude, longitude, and altitude of the location of the excavator 100.
  • GPS GNSS
  • the attitude detection device S4 detects the attitude of the excavator.
  • the position of the excavator is, for example, the position of the excavation attachment.
  • the posture detection device S4 includes a boom angle sensor, an arm angle sensor, a bucket angle sensor, and an airframe tilt sensor.
  • the boom angle sensor is a sensor that acquires the boom angle.
  • the rotation angle sensor that detects the rotation angle of the boom foot pin
  • the stroke sensor that detects the stroke amount of the boom cylinder 7, and the inclination that detects the inclination angle of the boom 4. Includes (acceleration) sensors. The same applies to the arm angle sensor and the bucket angle sensor.
  • the airframe tilt sensor is a sensor that acquires the airframe tilt angle, and detects, for example, the tilt angle of the upper swing body 3 with respect to the horizontal plane.
  • the body tilt sensor is a biaxial acceleration sensor that detects the tilt angles of the upper swing body 3 around the front and rear axes and the left and right axes.
  • the front-rear axis and the left-right axis of the upper swing body 3 pass through an excavator center point that is orthogonal to each other and one point on the swing axis of the shovel 100, for example.
  • the body tilt sensor may be a three-axis acceleration sensor.
  • the orientation detection device S5 detects the orientation of the excavator 100.
  • the direction detection device S5 includes a geomagnetic sensor, a resolver or encoder related to the turning axis of the turning mechanism 2, a gyro sensor, and the like.
  • the orientation detection device S5 may be configured with a GNSS compass including two GNSS receivers.
  • the orientation detection device S5 is composed of a combination of a triaxial geomagnetic sensor and a gyro sensor.
  • the display device 40 is a device that displays various types of information, and is disposed in the vicinity of the driver's seat in the cabin 10. In the present embodiment, the display device 40 can display an image captured by the flying object 200.
  • FIG. 2 is a system configuration diagram of the work support system.
  • the excavator 100 includes an engine 11, a main pump 14, a pilot pump 15, a control valve 17, an operating device 26, a controller 30, an engine control device 74, and the like.
  • the engine 11 is a drive source of the excavator 100, and is, for example, a diesel engine that operates to maintain a predetermined rotational speed.
  • the output shaft of the engine 11 is connected to the input shafts of the main pump 14 and the pilot pump 15.
  • the main pump 14 is a swash plate type variable displacement hydraulic pump that supplies hydraulic oil to the control valve 17 via the high-pressure hydraulic line 16.
  • the main pump 14 changes the discharge flow rate per rotation according to the change in the swash plate tilt angle.
  • the swash plate tilt angle is controlled by the regulator 14a.
  • the regulator 14 a changes the swash plate tilt angle according to the change in the control current from the controller 30.
  • the pilot pump 15 is a fixed displacement hydraulic pump that supplies hydraulic oil to various hydraulic control devices such as the operation device 26 via the pilot line 25.
  • the control valve 17 is a set of flow control valves that control the flow of hydraulic oil related to the hydraulic actuator.
  • the control valve 17 selectively supplies hydraulic oil received from the main pump 14 through the high-pressure hydraulic line 16 to one or a plurality of hydraulic actuators in accordance with changes in pilot pressure corresponding to the operation direction and operation amount of the operation device 26.
  • the hydraulic actuator includes, for example, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, a left traveling hydraulic motor 1A, a right traveling hydraulic motor 1B, and a turning hydraulic motor 2A.
  • the operating device 26 is a device used by the operator of the excavator 100 for operating the hydraulic actuator.
  • the operating device 26 receives the supply of hydraulic oil from the pilot pump 15 via the pilot line 25 and generates a pilot pressure. Then, the pilot pressure is applied to the pilot port of the corresponding flow control valve through the pilot line 25a. The pilot pressure changes according to the operation direction and the operation amount of the operation device 26.
  • the pilot pressure sensor 15 a detects the pilot pressure and outputs the detected value to the controller 30.
  • the controller 30 is a control device for controlling the excavator 100.
  • the controller 30 is composed of a computer having a CPU, RAM, ROM and the like.
  • the CPU of the controller 30 reads out programs corresponding to various functions from the ROM, loads them into the RAM, and executes them, thereby realizing the functions corresponding to the programs.
  • the engine control device 74 is a device that controls the engine 11.
  • the engine control device 74 controls the fuel injection amount and the like so that the engine speed set via the input device is realized.
  • Each of the transmission device S1, the reception device S2, the positioning device S3, the attitude detection device S4, and the orientation detection device S5 is connected to the controller 30.
  • the controller 30 performs various calculations based on information output from each of the receiving device S2, the positioning device S3, the posture detecting device S4, and the orientation detecting device S5, and transmits information generated based on the calculation result from the transmitting device S1. Call outside.
  • the flying object 200 includes a control device 201, a transmission device 202, a reception device 203, an autonomous navigation device 204, a camera 205, and the like.
  • the control device 201 is a device for controlling the flying object 200.
  • the control device 201 is configured by a computer including a RAM, a ROM, and the like.
  • the CPU of the control device 201 implements functions corresponding to each of the programs by reading out programs corresponding to various functions from the ROM, loading them into the RAM, and executing them.
  • the transmitting device 202 transmits information to the outside of the flying object 200.
  • the transmission device 202 repeatedly transmits information that can be received by at least one of the excavator 100 and the remote controller 300 at a predetermined cycle.
  • the transmission device 202 repeatedly transmits information that can be received by the excavator 100 and the remote controller 300 at a predetermined period.
  • Information that can be received by the excavator 100 and the remote controller 300 includes, for example, a captured image captured by the camera 205.
  • the receiving device 203 receives information from the outside of the flying object 200. For example, the receiving device 203 receives information transmitted by each of the excavator 100 and the remote controller 300.
  • the autonomous navigation device 204 is a device for realizing autonomous navigation of the flying object 200.
  • the autonomous navigation device 204 includes a flight control device, an electric motor, and a battery.
  • the flying object 200 may be equipped with a GNSS receiver in order to uniquely determine the position of the flying object 200.
  • the air vehicle 200 may be equipped with a plurality of GNSS receivers to uniquely determine the position and orientation of the air vehicle 200.
  • a ground external power source is used via a wired connection instead of a battery, a converter that performs voltage conversion may be mounted.
  • the flying object 200 may be equipped with a solar panel.
  • the flight control device includes various sensors such as a gyro sensor, an acceleration sensor, a geomagnetic sensor (orientation sensor), an atmospheric pressure sensor, a positioning sensor, and an ultrasonic sensor, and realizes an attitude maintenance function, an altitude maintenance function, and the like.
  • the electric motor receives power supplied from the battery and rotates the propeller.
  • the autonomous navigation device 204 when the autonomous navigation device 204 receives information on the target flight position from the control device 201, the autonomous navigation device 204 separately controls the rotational speeds of the four propellers, and maintains the attitude and altitude of the aircraft 200 while controlling the aircraft 200. Move to.
  • the information regarding the target flight position is, for example, the latitude, longitude, and altitude of the target flight position.
  • the control device 201 acquires information on the target flight position from the outside through the reception device 203.
  • the autonomous navigation device 204 may change the orientation of the flying object 200 in response to information on the target orientation from the control device 201.
  • the camera 205 is an object detection device for acquiring an image as object detection information.
  • the camera 205 is attached to the flying object 200 so as to capture an image of the vertically lower part of the flying object 200.
  • the captured image captured by the camera 205 includes, for example, information related to an imaging position that is a flight position of the flying object 200 and is used to generate three-dimensional terrain data.
  • a laser range finder, an ultrasonic sensor, a millimeter wave sensor, or the like may be used as the object detection device.
  • the remote controller 300 includes a control device 301, a transmission device 302, a reception device 303, a display device 304, an operation input device 305, and the like.
  • the control device 301 is a device for controlling the remote controller 300.
  • the control device 301 is configured by a computer including a RAM, a ROM, and the like.
  • the CPU of the control device 301 implements the functions corresponding to each of the programs by reading the programs corresponding to the various functions from the ROM, loading them into the RAM, and executing them.
  • the transmitting device 302 transmits information to the outside of the remote controller 300. For example, the transmission device 302 repeatedly transmits information that can be received by the flying object 200 at a predetermined period. Information that can be received by the excavator 100 may be transmitted. In the present embodiment, the transmission device 302 repeatedly transmits information that can be received by the flying object 200 at a predetermined period. The information that can be received by the flying object 200 includes, for example, information related to the target flight position of the flying object 200.
  • the receiving device 303 receives information from outside the remote controller 300.
  • the receiving device 303 receives information transmitted from at least one of the excavator 100 and the flying object 200, for example.
  • the receiving device 303 receives information transmitted from the flying object 200.
  • the information transmitted by the flying object 200 includes a captured image captured by the camera 205 of the flying object 200, for example.
  • the display device 304 is a device for displaying various information.
  • the display device 304 is a liquid crystal display, and displays information related to the operation of the flying object 200.
  • a captured image captured by the camera 205 of the flying object 200 may be displayed.
  • the operation input device 305 is a device for receiving an operation input from the operator of the flying object 200.
  • the operation input device 305 is a touch panel disposed on a liquid crystal display.
  • FIG. 3 is a flowchart of a process in which the work support system starts the tracking function (hereinafter referred to as “tracking start process”).
  • the follow-up function is a function in which the flying object 200 images the periphery of the excavator 100 while automatically following the excavator 100 and transmits the image to the excavator 100.
  • the operator of the flying object 200 determines a shovel to be followed (step ST1). For example, the operator uses the operation input device 305 of the remote controller 300 to determine the excavator 100 on which the flying object 200 is desired to follow.
  • follow-up process a process of causing the flying object 200 to follow the excavator (hereinafter referred to as “follow-up process”) starts (step ST2). And the flying body 200 starts transmission of a captured image (step ST3).
  • the flying object 200 repeatedly transmits information including a captured image captured by the camera 205 from the transmission device 202 at a predetermined period.
  • FIGS. 4A and 4B are front views of the remote controller 300.
  • the remote controller 300 is a smartphone having a liquid crystal display as the display device 304 and a touch panel as the operation input device 305.
  • FIG. 4A shows a case where three excavators exist within the receivable range of the flying object 200.
  • the flying object 200 authenticates the excavator by receiving the excavator ID number via wireless communication, for example.
  • the selection buttons G1 to G3 are software buttons corresponding to each of the authenticated excavators.
  • the remote controller 300 displays a number of selection buttons corresponding to the number of recognized excavators. Each selection button is assigned an excavator ID number.
  • the operation button G5 is a software button for raising, lowering, turning left, or turning right the flying object 200. The operator can raise the flying object 200 by transmitting an ascending command from the remote control 300 to the flying object 200 by touching the upper part of the operation button G5 (the part displayed as “rising”).
  • the operation button G6 is a software button for moving the flying object 200 back and forth and left and right.
  • the operator can advance the flying object 200 by transmitting a forward command from the remote controller 300 to the flying object 200 by touching the upper part of the operation button G6 (the part displayed as “Previous”). The same applies to movement in other directions.
  • the pilot touches the operation buttons G5 and G6 to fly the flying object 200 to the sky above the work site.
  • the remote controller 300 displays selection buttons G1 to G3 corresponding to each of the three authenticated shovels based on the information received from the flying object 200.
  • the driver determines the shovel to be followed by touching one of the selection buttons G1 to G3.
  • the flying object 200 approaches the shovel to be tracked using information received from the shovel to be tracked. Then, follow-up flight is performed so as to maintain the relative positional relationship with the shovel to be followed.
  • FIG. 4B shows a case where four excavators exist within the imaging range of the camera 205 of the flying object 200.
  • the flying object 200 recognizes an excavator existing in the imaging range of the camera 205 by performing image processing on a captured image captured by the camera 205.
  • the camera image G10 is a captured image captured by the camera 205, and includes four excavator images G11 to G14 corresponding to each of the four excavators existing within the imaging range of the camera 205.
  • the remote controller 300 displays the camera image G10 in real time using information received from the flying object 200.
  • the operator determines the shovel to be followed by touching one of the four shovel images G11 to G14. Thereafter, the flying object 200 follows and flies so that the excavator image of the excavator to be followed occupies a predetermined size at a predetermined position in the captured image. In other words, the follow-up flight is performed so that the relative positional relationship between the shovel to be tracked and the flying object 200 maintains a predetermined relative positional relationship.
  • FIG. 5A is a flowchart showing the flow of processing in the excavator 100
  • FIG. 5B is a flowchart showing the flow of processing in the flying object 200.
  • the controller 30 of the excavator 100 acquires the position information of the excavator 100 (step ST11). For example, the controller 30 acquires the latitude, longitude, and altitude of the excavator 100 based on the output of the positioning device S3. Further, the controller 30 may additionally acquire the attitude information of the excavation attachment, the orientation information of the excavator 100, the operation information of the excavator 100, and the like. For example, the controller 30 may acquire a boom angle, an arm angle, a bucket angle, and a body tilt angle based on the output of the attitude detection device S4. Moreover, the controller 30 may acquire the absolute azimuth angle of the excavator 100 based on the output of the direction detection device S5. Moreover, the controller 30 may acquire the operation content of the shovel 100 based on the output of the pilot pressure sensor 15a.
  • the controller 30 transmits the position information to the outside (step ST12).
  • the controller 30 transmits position information to the flying object 200 through the transmission device S1.
  • the controller 30 may transmit the orientation information of the excavator 100, the operation information of the excavator 100, the attitude information of the excavation attachment, and the like to the flying object 200.
  • the controller 30 can continuously transmit the position information of the excavator 100 to the flying object 200 by repeatedly executing step ST11 and step ST12 at a predetermined control cycle.
  • the control device 201 of the flying object 200 receives the position information of the excavator 100 (step ST21). For example, the control device 201 receives position information of the excavator 100 transmitted from the controller 30 of the excavator 100 through the receiving device 203. The control device 201 may additionally receive excavator 100 orientation information, excavator 100 operation information, excavation attachment attitude information, and the like.
  • the control device 201 determines a target flight position (step ST22). For example, the control device 201 determines the target flight position of the flying object 200 based on the position information of the excavator 100.
  • the target flight position is, for example, a position that is higher than a predetermined point on the excavator 100 by a predetermined height and is separated from the predetermined point by a predetermined distance.
  • the predetermined point is, for example, one point on the swing axis of the excavator 100, and the position coordinates thereof are derived from the current position of the excavator 100, that is, the current position of the positioning device S3.
  • the control device 201 may derive one target flight position from the position coordinates of a predetermined point, or may derive a plurality of target flight positions. For example, the control device 201 may derive all positions satisfying the condition of a position that is a predetermined height higher than a predetermined point on the excavator 100 and that is a predetermined distance away from the turning axis as target flight positions. In addition, when the attitude information of the excavation attachment is acquired, the control device 201 may set the current turning radius of the excavation attachment as the above-described predetermined distance.
  • the control device 201 may derive one position ahead of the excavator 100 as a target flight position from the top view among the positions that satisfy the above-described conditions. Good. Further, when the operation information of the excavator 100 is acquired, the control device 201 may switch the target flight position according to the operation content of the excavator 100. For example, the target flight position may be switched between the excavator 100 traveling and excavating.
  • the control device 201 may determine one target flight position by additionally considering the current position information of the flying object 200 output from the autonomous navigation device 204. For example, the closest target flight position to the current position of the aircraft 200 may be determined as the final target flight position.
  • the control device 201 moves the flying object 200 to the target flight position (step ST23).
  • the control device 201 outputs information regarding the target flight position to the autonomous navigation device 204.
  • the autonomous navigation device 204 moves the flying object 200 to the target flight position using GNSS (GPS) navigation, inertial navigation, or hybrid navigation in which GPS navigation and inertial navigation are combined.
  • GPS GPS
  • the autonomous navigation device 204 may acquire the absolute position (latitude, longitude, altitude) of the excavator 100 as information related to the target flight position.
  • the autonomous navigation device 204 may acquire information regarding a change between the position of the shovel 100 received last time and the position of the shovel 100 received this time as information regarding the target flight position.
  • the receiving device 203 of the flying object 200 only needs to continuously receive the position information of the excavator 100.
  • control device 201 can cause the aircraft 200 to follow the excavator 100 continuously by repeatedly executing step ST22 and step ST23.
  • the control device 201 can grasp the position and orientation (turning angle with respect to the reference azimuth) of the flying object 200. In this case, the control device 201 can compare the positions and orientations of the excavator 100 and the flying object 200 when the position information and orientation information of the excavator 100 are acquired. And the position and direction of the flying body 200 can be changed according to the change of the position and direction of the shovel 100, and the flying body 200 can be made to follow the shovel 100.
  • FIG. 6A1 and 6A2 show a state where a position away from the turning axis L1 is set as the target flight position.
  • 6B1 and 6B2 show a state where the position on the turning axis L1 is set as the target flight position.
  • 6A1 and 6B1 are side views of the shovel 100 and the flying object 200
  • FIGS. 6A2 and 6B2 are top views of the shovel 100 and the flying object 200.
  • the target flight position is set to a position at a height H from the predetermined point P1 of the excavator 100 and a distance T away from the turning axis L1 on the front and rear axis L2 of the upper turning body 3.
  • the predetermined point P1 is an intersection of the ground contact surface of the excavator 100 (lower traveling body 1) and the turning axis L1.
  • the longitudinal axis L ⁇ b> 2 of the upper swing body 3 rotates according to the swing of the excavator 100. Therefore, the target flight position also moves according to the turning of the excavator 100.
  • the flying object 200 is separated from the turning axis L1 by a distance T on the front-rear axis L2 after rotation while maintaining the height H. Move to the new target flight position, which is the position.
  • the target flight position may be set to a position at a predetermined height from the predetermined point P1 of the excavator 100 and on the front-rear axis L2 of the upper swing body 3 and a predetermined distance away from the swing axis L1.
  • the predetermined distance is, for example, a position that is directly above the arm tip position.
  • Such a target flight position is suitable, for example, when the excavator 100 is performing excavation work or rolling work.
  • the target flight position is set on the turning axis L1 and at a height H from the predetermined point P1.
  • the target flight position does not move even when the excavator 100 turns. This is because the position of the turning axis L1 does not change. Therefore, the flying object 200 continues to fly while still, even when the excavator 100 turns.
  • Such a target flight position is suitable, for example, when the excavator 100 is traveling.
  • FIG. 7A and 7B are top views of the excavator 100 that performs excavation and loading operations, the flying object 200 that flies following the excavator 100, and the dump truck 400 that receives the earth and sand discharged by the excavator 100.
  • FIG. FIG. 7A shows a state in which the excavator 100 performs excavation work with the excavation attachment directed in the + Y direction
  • FIG. 7B shows a state in which the excavation attachment is directed in the + X direction by performing a left turn after the excavation work.
  • the target flight position is set to a position that is directly above the arm tip position.
  • the arm tip position changes according to the change in the posture of the excavation attachment and the turning of the excavator 100. Therefore, the target flight position also moves in accordance with the change in the attitude of the excavation attachment and the excavator 100 turning.
  • the flying body 200 moves to a new target flight position corresponding to the new arm tip position while maintaining the height H. To do.
  • the excavator 100 is a camera that can capture a space that cannot be captured by the camera attached to the upper-part turning body 3, and displays a captured image captured by the camera 205 mounted on the flying object 200 in the cabin 10. It can be displayed on the device 40 and presented to the operator of the excavator 100.
  • the excavator 100 can cause the excavator 100 to follow the flying object 200 by transmitting information on the target flight position of the flying object 200 from the transmission device S1.
  • the excavator 100 can follow the flying object 200 so that the horizontal distance between a predetermined part such as a boom tip position and an arm tip position of the excavation attachment and the flying object 200 maintains a predetermined distance.
  • the excavator 100 can cause the excavator 100 to follow the flying object 200 without receiving information transmitted by the flying object 200. This is because the flying object 200 can determine the target flight position of the flying object 200 based on the position information of the shovel 100, and the shovel 100 only needs to transmit the position information of the shovel 100.
  • the flying object 200 can fly following the shovel 100 while maintaining a predetermined relative positional relationship between the shovel 100 and the flying object 200. Therefore, using various sensors including the camera 205, it is possible to detect a change in terrain due to work performed by the excavator 100. As a result, the construction status by the excavator 100 can be grasped more accurately based on the data acquired by the flying object 200.
  • FIG. 8A is a flowchart showing a process flow in the excavator 100
  • FIG. 8B is a flowchart showing a process flow in the flying object 200.
  • the example of FIG. 8 is different from the example of FIG. 5 in that the controller 30 of the excavator 100 calculates and transmits the target flight position.
  • the controller 30 transmits the position information of the shovel 100
  • the control device 201 of the flying object 200 calculates the target flight position based on the position information of the shovel 100.
  • the controller 30 acquires the position information of the excavator 100 (step ST31). For example, the controller 30 acquires the latitude, longitude, and altitude of the excavator 100 based on the output of the positioning device S3. Further, the controller 30 may additionally acquire the posture information of the excavation attachment, the orientation information of the excavator 100, and the like.
  • the controller 30 acquires position information of the flying object 200 (step ST32). For example, the controller 30 receives the position information of the flying object 200 via the receiving device S2.
  • the controller 30 determines the target flight position of the aircraft 200 (step ST33). For example, the controller 30 determines the target flight position of the flying object 200 based on the position information of the excavator 100 and the position information of the flying object 200. Specifically, the controller 30 derives, as target flight positions, all positions that satisfy a condition that the position is a predetermined height higher than a predetermined point on the excavator 100 and a predetermined distance away from the turning axis. Then, a target flight position that satisfies the above-described conditions and that is closest to the current position of the flying object 200 is derived as a final target flight position.
  • the controller 30 may derive one position in front of the excavator 100 from the top view among the positions that satisfy the above-described conditions as the target flight position. In this case, step ST32 for acquiring position information of the flying object 200 may be omitted.
  • the controller 30 transmits the target flight position to the outside (step ST34).
  • the controller 30 transmits the target flight position to the flying object 200 through the transmission device S1.
  • the controller 30 can continuously transmit information on the target flight position to the flying object 200 by repeatedly executing Step ST31 to Step ST34 at a predetermined control cycle.
  • the control device 201 of the flying object 200 repeatedly transmits the position information of the flying object 200 at a predetermined control cycle (step ST41). For example, the control device 201 transmits the position information of the flying object 200 toward the excavator 100.
  • control apparatus 201 receives a target flight position (step ST42).
  • the control device 201 receives the target flight position transmitted from the controller 30 of the excavator 100 through the reception device 203.
  • control device 201 moves the flying object 200 to the target flight position (step ST43).
  • control device 201 outputs information regarding the target flight position to the autonomous navigation device 204.
  • the autonomous navigation device 204 moves the flying object 200 to the target flight position using radio wave navigation, GNSS (GPS) navigation, inertial navigation, hybrid navigation combining GPS navigation and inertial navigation, or the like.
  • control apparatus 201 can make the aircraft 200 follow the excavator 100 continuously by repeatedly executing step ST43 every time the target flight position is received.
  • the excavator 100 can display the captured image captured by the camera 205 mounted on the flying object 200 on the display device 40 in the cabin 10 and present it to the operator of the excavator 100.
  • the excavator 100 can cause the excavator 100 to follow the flying object 200 by transmitting information related to the target flight position of the flying object 200 from the transmission device S1.
  • the excavator 100 can cause the excavator 100 to follow the flying object 200 without causing the flying object 200 to execute a calculation for deriving the target flight position of the flying object 200. This is because the flying object 200 only needs to follow and fly according to the information regarding the target flight position generated by the excavator 100.
  • FIG. 9 is a flowchart showing the flow of processing in the flying object 200.
  • the example in FIG. 9 is different from the examples in FIGS. 5 and 8 in that the control device 201 of the flying object 200 determines the target flight position without receiving information from the excavator 100.
  • the control device 201 of the flying object 200 acquires a captured image including an excavator image (step ST51).
  • the control device 201 acquires a captured image captured by the camera 205 of the flying object 200 flying over the excavator 100.
  • the captured image includes an excavator image that is an image of the excavator 100.
  • the control device 201 derives the relative position of the excavator 100 (step ST52). For example, the control device 201 performs image processing such as pattern matching on the captured image to find an excavator image in the captured image.
  • the relative position of the excavator 100 with respect to the position of the flying object 200 in the real space can be derived based on the positional relationship between the image position of the found shovel image and the center of the captured image. This is because the image position and direction of the shovel image with respect to the center of the captured image correspond to the position and direction of the shovel 100 with respect to the position of the flying object 200 in real space.
  • the relative position of the excavator 100 includes a vertical distance and a horizontal distance between the excavator 100 and the flying object 200. The vertical distance is derived from the size of the shovel image in the captured image. The horizontal distance is derived from the position of the excavator image in the captured image.
  • the control device 201 may derive a relative orientation of the shovel 100 with respect to the orientation of the flying object 200 based on the found shovel image.
  • the relative orientation of the excavator 100 with respect to the orientation of the flying object 200 is derived, for example, from the angle between the extending direction of the image of the excavation attachment in the captured image and the vertical axis of the captured image.
  • the vertical axis of the captured image corresponds to the orientation of the flying object 200.
  • the control device 201 determines a target flight position (step ST53). For example, the control device 201 determines the target flight position based on the relative position of the excavator 100 derived in step ST52. Specifically, the control device 201 derives the movement (required operation) of the flying object 200 necessary for displaying the shovel image at a predetermined position in a predetermined size in the captured image. For example, if the excavator image can be displayed at a predetermined position in the captured image at a given position by moving up 1 meter and moving 2 meters north, the required operation of the flying object 200 is “1 meter up” and “ Move 2 meters to the north ”. This means that the target flight position is set at a position 1 meter higher than the current position of the aircraft 200 and 2 meters away from the north. That is, the control device 201 can determine the target flight position by deriving the required operation of the flying object 200.
  • the predetermined position in the captured image is, for example, the center of the captured image or one or a plurality of regions that are separated from the center by a predetermined number of pixels.
  • the fact that the excavator image is located at the center of the captured image means that, for example, the excavator 100 exists directly under the flying object 200.
  • the control device 201 selects a region in the captured image that is a predetermined number of pixels away from the center of the captured image in a predetermined direction. It can be specified as a predetermined position.
  • control device 201 moves the flying object 200 to the target flight position (step ST54).
  • control device 201 outputs information regarding the target flight position to the autonomous navigation device 204.
  • the autonomous navigation device 204 moves the flying object 200 to the target flight position using GNSS (GPS) navigation, inertial navigation, or hybrid navigation in which GPS navigation and inertial navigation are combined.
  • GPS GPS
  • the control device 201 can continuously cause the flying object 200 to follow the excavator 100 by repeatedly executing step ST52 to step ST54 each time a captured image is acquired.
  • the excavator 100 can display the captured image captured by the camera 205 mounted on the flying object 200 on the display device 40 in the cabin 10 and present it to the operator of the excavator 100.
  • the flying object 200 can derive the position of the excavator 100 based on the image captured by the camera 205, the flying object 200 can fly following the excavator 100 without receiving information generated by the excavator 100.
  • the case where the camera 205 is used as the object detection device is shown, but a laser range finder, an ultrasonic sensor, a millimeter wave sensor, or the like may be used as the object detection device.
  • information based on a laser, an ultrasonic wave, a millimeter wave, or the like instead of a camera image is adopted as object detection information.
  • FIG. 10 is a flowchart of a process in which the work support system avoids contact between the excavator 100 and the flying object 200 (hereinafter referred to as “contact avoidance process”).
  • FIG. 10A is a flowchart showing a process flow in the excavator 100
  • FIG. 10B is a flowchart showing a process flow in the flying object 200.
  • the flying object 200 is remotely operated by the operator via the remote controller 300.
  • the following description is similarly applied to the case where the aircraft is flying autonomously without being remotely operated by the pilot.
  • the controller 30 of the excavator 100 acquires the position information of the excavator 100 (step ST61). For example, the controller 30 acquires the latitude, longitude, and altitude of the excavator 100 based on the output of the positioning device S3. Further, the controller 30 may additionally acquire the attitude information of the excavation attachment, the orientation information of the excavator 100, the operation information of the excavator 100, and the like. For example, the controller 30 may acquire a boom angle, an arm angle, a bucket angle, and a body tilt angle based on the output of the attitude detection device S4. Moreover, the controller 30 may acquire the absolute azimuth angle of the excavator 100 based on the output of the direction detection device S5. Moreover, the controller 30 may acquire the operation content of the shovel 100 based on the output of the pilot pressure sensor 15a.
  • the controller 30 transmits the position information to the outside (step ST62).
  • the controller 30 transmits position information to the flying object 200 through the transmission device S1.
  • the controller 30 may transmit the orientation information of the excavator 100, the operation information of the excavator 100, the attitude information of the excavation attachment, and the like to the flying object 200.
  • the controller 30 can continuously transmit the position information of the excavator 100 to the flying object 200 by repeatedly executing step ST61 and step ST62 with a predetermined control period.
  • the control device 201 of the flying object 200 receives the position information of the excavator 100 (step ST71). For example, the control device 201 receives position information of the excavator 100 transmitted from the controller 30 of the excavator 100 through the receiving device 203. The control device 201 may additionally receive excavator 100 orientation information, excavator 100 operation information, excavation attachment attitude information, and the like.
  • the control device 201 determines a flight prohibition space (step ST72). For example, the control device 201 determines the flight prohibition space of the flying object 200 based on the position information of the excavator 100.
  • the flight prohibition space is, for example, a space within a predetermined distance range from a predetermined point on the excavator 100.
  • the predetermined point is, for example, one point on the swing axis of the excavator 100, and the position coordinates thereof are derived from the current position of the excavator 100, that is, the current position of the positioning device S3.
  • the flight prohibition space may be a reachable range of the excavation attachment, for example.
  • the control device 201 may determine the above-described predetermined distance based on the current turning radius of the excavation attachment.
  • the flight prohibition space may be, for example, a reachable range of the excavation attachment when the excavation attachment is turned with the current posture maintained.
  • the control device 201 may determine the shape of the flight prohibition space based on the orientation of the excavator 100. For example, a top-view fan-shaped prohibited flight space centering on the pivot axis of the excavator 100 may be set. In this case, the flight prohibition space may be determined to be bisected by a plane including the central axis of the excavation attachment, for example.
  • the control device 201 may change the shape of the flight prohibition space according to the operation content of the excavator 100. For example, when a left turn operation is performed, the top-view fan-shaped flight prohibition space may be determined such that a plane including the central axis of the excavation attachment is the right end surface. Further, it may be determined so that the central angle of the sector increases as the operation amount of the turning operation lever increases.
  • the control device 201 determines whether or not the flying object 200 exists in the flight prohibited space (step ST73). For example, the control device 201 derives the current position of the flying object 200 based on the output of the autonomous navigation device 204 and derives the distance between a predetermined point on the excavator 100 and the current position of the flying object 200. And when the distance is below a predetermined distance, it determines with the flying body 200 existing in the flight prohibition space.
  • the control device 201 determines, for example, a predetermined point on the excavator 100 based on the output of the autonomous navigation device 204.
  • the direction in which the flying object 200 exists may be additionally derived.
  • the control device 201 executes an avoidance flight (step ST74). For example, the control device 201 moves the flying object 200 to the target avoidance position. Specifically, the control device 201 outputs information regarding the target avoidance position to the autonomous navigation device 204. The autonomous navigation device 204 moves the flying object 200 to the target avoidance position using GNSS (GPS) navigation, inertial navigation, or hybrid navigation combining GPS navigation and inertial navigation.
  • GPS GNSS
  • the target avoidance position is a target flight position set outside the prohibited flight space, for example, a position closest to the current position of the flying object 200 among positions outside the prohibited flight space. Further, when the flying object 200 is located in an overlapping portion of a plurality of prohibited flying spaces derived from a plurality of excavators, the target avoidance position is closest to the current position of the flying object 200 among the positions outside all the prohibited flying spaces. Set as position. However, the information regarding the target avoidance position may be only the target flight direction and the target flight distance. For example, a command for raising the flying object 200 by a predetermined height vertically upward may be used.
  • the control device 201 When executing the avoidance flight, the control device 201 forcibly moves the flying object 200 to the target avoidance position regardless of the content of the remote operation of the operator via the remote controller 300. For example, even when the pilot makes the flying object 200 fly stationary, the flying object 200 is forcibly moved to the target avoidance position.
  • the control device 201 may transmit an operation restriction command to the excavator 100.
  • the excavator 100 that has received the operation restriction command forcibly slows or stops the movement of the hydraulic actuator. This is to more reliably prevent contact between the excavator 100 and the flying object 200.
  • the control device 201 may control the flying object 200 so that the flying object 200 does not enter the prohibited flight space as part of the avoidance flight. For example, even when the operator of the flying object 200 performs a remote operation to cause the flying object 200 to enter the prohibited flight space, the control device 201 causes the flying object 200 to fly stationary and enter the prohibited flight space. Prevent the entry of.
  • the remote controller 300 may notify the pilot that the avoidance flight has been executed. For example, the remote controller 300 causes the display device 304 to display a text message indicating that the avoidance flight has been executed.
  • the controller 30 of the excavator 100 informs the operator of the excavator 100 that the avoidance flight has been executed when the avoidance flight is executed, particularly when the operation of the hydraulic actuator is restricted along with the execution of the avoidance flight. You may be notified.
  • the controller 30 causes the display device 40 to display a text message indicating that the avoidance flight has been executed.
  • control device 201 can make the flying object 200 fly continuously outside the flight prohibition space by repeatedly executing Step ST72 to Step ST74.
  • the receiving device S2 of the excavator 100 may be omitted.
  • FIG. 11 is a diagram showing a relationship between the excavator 100 and the flying object 200 when the avoidance flight is executed.
  • the figure shows a state in which the operator of the shovel 100 facing the + X direction performs a turning operation to turn the shovel 100 about the turning axis L1 and to turn to the -X direction.
  • the flying object 200 is located in the no-fly space, and when the excavator 100 is directed in the ⁇ X direction, the flying object 200 may come into contact with the excavation attachment.
  • the control device 201 When it is determined that the flying object 200 exists in the prohibited flight space, the control device 201 forcibly moves the flying object 200 to the target avoidance position outside the prohibited flight space.
  • An arrow AR1 in FIG. 11 shows how the flying object 200 is forcibly moved to the target avoidance position.
  • control device 201 ends the current process without executing the avoidance flight.
  • the excavator 100 and the flying object 200 can be prevented from contacting each other.
  • the excavator 100 can cause the flying object 200 to perform avoidance flight as necessary by transmitting the information related to the prohibited flight space set around the excavator 100 to the flying object 200.
  • the excavator 100 may limit the movement of the hydraulic actuator when the flying object 200 is located in the flight prohibited space. Therefore, the operator of the shovel 100 can concentrate on the operation of the shovel 100 without worrying about contact between the shovel 100 and the flying object 200.
  • the flying object 200 flies autonomously so as not to enter the prohibited flight space belonging to the excavator 100. In addition, when it is located in the flight prohibition space, it autonomously flies so as to quickly leave the flight prohibition space. Therefore, the operator of the flying object 200 can concentrate on the operation of the flying object 200 without worrying about the contact between the excavator 100 and the flying object 200.
  • FIG. 12 is a flowchart illustrating another example of the flow of the contact avoidance process.
  • FIG. 12A is a flowchart showing a process flow in the excavator 100
  • FIG. 12B is a flowchart showing a process flow in the flying object 200.
  • the example of FIG. 12 is different from the example of FIG. 10 in that the controller 30 of the excavator 100 determines the flight prohibition space.
  • the controller 30 transmits the position information of the excavator 100, and the control device 201 of the flying object 200 determines the flight prohibition space based on the position information of the excavator 100.
  • the controller 30 of the excavator 100 acquires the position information of the excavator 100 (step ST81). For example, the controller 30 acquires the latitude, longitude, and altitude of the excavator 100 based on the output of the positioning device S3. Further, the controller 30 may additionally acquire the attitude information of the excavation attachment, the orientation information of the excavator 100, the operation information of the excavator 100, and the like. For example, the controller 30 may acquire a boom angle, an arm angle, a bucket angle, and a body tilt angle based on the output of the attitude detection device S4. Moreover, the controller 30 may acquire the absolute azimuth angle of the excavator 100 based on the output of the direction detection device S5. Moreover, the controller 30 may acquire the operation content of the shovel 100 based on the output of the pilot pressure sensor 15a.
  • the controller 30 acquires position information of the flying object 200 (step ST82). For example, the controller 30 receives the position information of the flying object 200 via the receiving device S2.
  • the controller 30 determines a flight prohibition space related to the excavator 100 (step ST83). For example, the controller 30 determines the flight prohibition space based on the position information of the excavator 100. Similarly to the above, the controller 30 may determine the flight prohibition space by additionally taking into consideration the orientation information of the excavator 100, the operation information of the excavator 100, the attitude information of the excavation attachment, and the like.
  • the controller 30 determines whether or not the flying object 200 exists in the flight prohibited space (step ST84). For example, the controller 30 determines that the flying object 200 exists in the flight prohibited space when the distance between the predetermined point on the excavator 100 and the current position of the flying object 200 is equal to or less than the predetermined distance.
  • the controller 30 transmits information on the avoidance flight (step ST85). For example, the controller 30 transmits information related to the avoidance flight to the flying object 200 through the transmission device S1.
  • the information regarding the avoidance flight includes, for example, information regarding the target avoidance position.
  • the controller 30 may forcibly limit the movement of the hydraulic actuator. For example, if the excavator 100 is turning, the controller 30 may slow down or stop the turning. This is to more reliably prevent contact between the excavator 100 and the flying object 200.
  • the controller 30 may notify the operator of the excavator 100 that the flying object 200 exists in the prohibited flight space when the operation of the hydraulic actuator is restricted because the flying object 200 exists in the prohibited flight space. For example, the controller 30 may cause the display device 40 to display a text message indicating that the flying object 200 exists in the prohibited flight space.
  • step ST84 the controller 30 ends the current process without transmitting information related to the avoidance flight.
  • the controller 30 continuously performs steps ST81 to ST85 at a predetermined control period, so that information related to avoidance flight can be continuously transmitted to the flying object 200 when the flying object 200 is located in the prohibited flight space. it can.
  • the control device 201 of the flying object 200 repeatedly transmits the position information of the flying object 200 at a predetermined control cycle (step ST91). For example, the control device 201 transmits the position information of the flying object 200 toward the excavator 100.
  • control apparatus 201 determines whether the information regarding avoidance flight was received (step ST92).
  • the control device 201 executes the avoidance flight (step ST93). For example, the control device 201 moves the flying object 200 to the target avoidance position. Specifically, the control device 201 outputs information regarding the target avoidance position to the autonomous navigation device 204. The autonomous navigation device 204 moves the flying object 200 to the target avoidance position using GNSS (GPS) navigation, inertial navigation, or hybrid navigation combining GPS navigation and inertial navigation.
  • GPS GPS
  • the control device 201 When executing the avoidance flight, the control device 201 forcibly moves the flying object 200 to the target avoidance position regardless of the content of the remote operation of the operator via the remote controller 300. For example, even when the pilot makes the flying object 200 fly stationary, the flying object 200 is forcibly moved to the target avoidance position.
  • the control device 201 may control the flying object 200 so that the flying object 200 does not enter the prohibited flight space as part of the avoidance flight. For example, even when the operator of the flying object 200 performs a remote operation to cause the flying object 200 to enter the prohibited flight space, the control device 201 causes the flying object 200 to fly stationary and enter the prohibited flight space. Prevent the entry of.
  • the control device 201 When executing the avoidance flight, the control device 201 forcibly moves the flying object 200 to the target avoidance position regardless of the content of the remote operation of the operator via the remote controller 300. For example, even when the pilot makes the flying object 200 fly stationary, the flying object 200 is forcibly moved to the target avoidance position.
  • the remote controller 300 may notify the pilot that the avoidance flight has been executed. For example, the remote controller 300 causes the display device 304 to display a text message indicating that the avoidance flight has been executed.
  • control device 201 ends the current process without executing the avoidance flight.
  • control apparatus 201 does not enter the flight prohibition space by repeatedly executing step ST93, or promptly moves the flight vehicle 200 from the flight prohibition space. Try to leave.
  • the excavator 100 and the flying object 200 can be prevented from contacting each other.
  • the excavator 100 transmits not the position information of the excavator 100 but information related to the avoidance flight generated based on the position information. Therefore, the control device 201 of the flying object 200 can execute an avoidance flight of the flying object 200 without executing a process for generating information related to the avoidance flight.
  • the control device 201 can grasp the position and orientation (turning angle with respect to the reference azimuth) of the flying object 200.
  • the control device 201 acquires the position information and the orientation information of the excavator 100 and the attitude information of the excavation attachment
  • the control device 201 compares the predetermined position of the excavation attachment and the position of the flying object 200, and the excavation attachment and the flying object The 200 orientations can be compared. Then, the flying object 200 can be caused to avoid flying according to changes in the posture and orientation of the excavation attachment.
  • FIG. 13 is a flowchart illustrating still another example of the flow of the contact avoidance process.
  • the example in FIG. 13 is different from the examples in FIGS. 10 and 12 in that the control device 201 of the flying object 200 determines the flight prohibition space without receiving information from the excavator 100.
  • the control device 201 of the flying object 200 acquires a captured image including an excavator image (step ST101).
  • the control device 201 acquires a captured image captured by the camera 205 of the flying object 200 flying over the excavator 100.
  • the captured image includes an excavator image that is an image of the excavator 100.
  • the control device 201 derives the relative position of the excavator 100 (step ST102). For example, the control device 201 performs image processing such as pattern matching on the captured image to find an excavator image in the captured image.
  • the relative position of the excavator 100 with respect to the position of the flying object 200 in the real space can be derived based on the positional relationship between the image position of the found shovel image and the center of the captured image. This is because the image position and direction of the excavator image with respect to the center of the captured image correspond to the position and direction of the excavator 100 with respect to the position of the aircraft 200 in a top view.
  • the relative position of the excavator 100 includes a vertical distance and a horizontal distance between the excavator 100 and the flying object 200.
  • the vertical distance is derived from the size of the shovel image in the captured image.
  • the horizontal distance is derived from the position of the excavator image in the captured image.
  • the control device 201 may derive a relative orientation of the shovel 100 with respect to the orientation of the flying object 200 based on the found shovel image.
  • the relative orientation of the excavator 100 with respect to the orientation of the flying object 200 is derived, for example, from the angle between the extending direction of the image of the excavation attachment in the captured image and the vertical axis of the captured image.
  • the vertical axis of the captured image corresponds to the orientation of the flying object 200.
  • the control device 201 determines a flight prohibition space (step ST103). For example, the control device 201 determines the flight prohibition space based on the relative position of the excavator 100 derived in step ST102. Specifically, the control device 201 derives an intersection between the ground plane of the excavator 100 and the turning shaft as a relative position of the excavator 100, and derives a space within a predetermined distance range from the intersection as a flight prohibited space.
  • the control device 201 determines whether or not the flying object 200 exists in the flight prohibited space (step ST104). For example, the control device 201 determines whether the flying object 200 exists in the flight prohibited space based on the position and size of the shovel image in the captured image. Specifically, when the shovel image of the shovel 100 exists within a predetermined number of pixels from the center of the captured image and the size of the shovel image is equal to or larger than the predetermined size, the flight belonging to the shovel 100 It is determined that the flying object 200 exists in the prohibited space. This is because, when the flying object 200 exists in the flight prohibition space belonging to the shovel 100, the shovel image of the shovel 100 is reflected in the captured image in a predetermined range with a predetermined size or more.
  • the control device 201 may derive the current position of the flying object 200 based on the output of the autonomous navigation device 204, and may derive the distance between the above-described intersection and the current position of the flying object 200. And when the distance is below a predetermined distance, you may determine with the flying body 200 existing in the flight prohibition space.
  • the control device 201 for example, based on the output of the autonomous navigation device 204, the flying object 200 related to the intersection. The direction of existence of may be additionally derived.
  • the control device 201 When it is determined that the flying object 200 is present in the flight prohibited space (YES in step ST104), the control device 201 performs an avoidance flight (step ST105). For example, the control device 201 moves the flying object 200 to the target avoidance position.
  • the control device 201 When executing the avoidance flight, the control device 201 forcibly moves the flying object 200 to the target avoidance position regardless of the content of the remote operation of the operator via the remote controller 300. Further, the control device 201 may transmit an operation restriction command to the excavator 100. Further, the control device 201 may control the flying object 200 so that the flying object 200 does not enter the prohibited flight space as part of the avoidance flight.
  • the remote controller 300 may notify the pilot that the avoidance flight has been executed.
  • the controller 30 of the excavator 100 informs the operator of the excavator 100 that the avoidance flight has been executed when the avoidance flight is executed, particularly when the operation of the hydraulic actuator is restricted along with the execution of the avoidance flight. You may be notified.
  • control device 201 ends the current process without executing the avoidance flight.
  • control device 201 every time the captured image is acquired, the control device 201 repeatedly executes step ST102 to step ST105 to prevent the flying object 200 from entering the prohibited flight space, or to remove the flying object 200 from the prohibited flight space. Try to leave immediately.
  • the receiving device S2 of the excavator 100 may be omitted.
  • the excavator 100 and the flying object 200 can be prevented from contacting each other.
  • the flying object 200 can specify the flight prohibited space belonging to the shovel 100 without receiving the information generated by the shovel 100.
  • the flying object 200 can autonomously fly so as not to enter the prohibited flight space belonging to the excavator 100, and can autonomously fly so as to quickly exit the prohibited flight space when located in the prohibited flight space.
  • the image rotation function is a function of rotating the captured image so that the captured image of the camera 205 of the flying object 200 is displayed in a predetermined direction on the display device 40 of the excavator 100.
  • FIG. 14 is a side view of an excavator 100 that performs excavation / loading work, a flying body 200 that flies following the excavator 100, and a dump truck 400 that receives earth and sand discharged by the excavator 100.
  • FIG. 15 shows three combinations of the relative positional relationship between the excavator 100, the flying body 200, and the dump truck 400 and the captured image displayed on the display device 40.
  • FIG. 15A1, 15B1, and 15C1 show the relative positional relationship
  • FIGS. 15A2, 15B2, and 15C2 show the captured images displayed on the display device 40.
  • FIG. 15A1 corresponds to FIG. 15A2
  • FIG. 15B1 corresponds to FIG. 15B2
  • FIG. 15C1 corresponds to FIG. 15C2.
  • the excavator 100 performs excavation work with the excavation attachment directed in the + Y direction. Further, as shown by an arrow AR2 in FIG. 14, the excavation attachment is directed in the + X direction by turning left, and the loading work is performed by discharging the earth and sand on the loading platform of the dump truck 400.
  • the flying object 200 follows the flight while maintaining a predetermined flight altitude so as to fly right above the position of the arm tip of the excavation attachment.
  • the flying object 200 when the excavator 100 is performing excavation work with the excavation attachment directed in the + Y direction, the flying object 200 is directed in the + Y direction that is the same as the direction of the excavation attachment.
  • the black triangle at the flying object 200 in FIG. 15A1 indicates that the flying object 200 is facing the + Y direction.
  • the display device 40 displays the captured image so that the image of the arm tip position is located in the center of the screen and the image of the excavation attachment extends in parallel to the vertical axis of the display device 40. To do.
  • the arm tip position moves directly above the loading platform of the dump truck 400 as shown in FIG. 15B1.
  • the display device 40 causes the image of the excavation attachment to extend parallel to the horizontal axis of the display device 40 as shown in FIG. In this way, the captured image is displayed.
  • the flying body 200 that follows the movement of the arm tip position changes its direction according to the change in the turning angle of the upper turning body 3. Therefore, when the excavation attachment is oriented in the + X direction, the flying object 200 is also oriented in the + X direction.
  • the display device 40 displays the captured image so that the image of the excavation attachment extends in parallel with the vertical axis of the display device 40 as illustrated in FIG. 15C2. That is, the display device 40 can display a captured image so that the image of the excavation attachment extends in parallel with the vertical axis of the display device 40 regardless of the change in the turning angle of the upper turning body 3.
  • FIG. 16A is a flowchart showing a process flow in the excavator 100
  • FIG. 16B is a flowchart showing a process flow in the flying object 200.
  • the flying object 200 autonomously follows and flies right above the arm tip position using the position information of the excavator 100 and the attitude information of the excavation attachment.
  • the following description is similarly applied to the case where the flying object 200 is remotely operated by the operator via the remote controller 300.
  • the controller 30 of the excavator 100 acquires the orientation information of the excavator 100 (step ST111). For example, the controller 30 acquires the absolute azimuth angle of the excavator 100 based on the output of the orientation detection device S5.
  • the controller 30 transmits the direction information to the outside (step ST112).
  • the controller 30 transmits the orientation information to the flying object 200 through the transmission device S1.
  • the controller 30 can continuously transmit the orientation information of the excavator 100 to the flying object 200 by repeatedly executing step ST111 and step ST112 at a predetermined control cycle.
  • the control device 201 of the flying object 200 receives the orientation information of the excavator 100 (step ST121). For example, the control device 201 receives the orientation information of the excavator 100 transmitted from the controller 30 of the excavator 100 through the receiving device 203.
  • the control device 201 determines a target rotation angle (step ST122). For example, the control device 201 determines the target rotation angle of the flying object 200 based on the orientation information of the excavator 100 and the orientation information of the flying object 200.
  • the target rotation angle is a rotation angle of the target aircraft 200 when changing the direction of the aircraft 200. For example, when the orientation of the flying object 200 is matched with the orientation of the shovel 100 (excavation attachment), the angle between the orientation of the shovel 100 and the orientation of the flying object 200 is set as the target rotation angle.
  • the control device 201 derives the orientation information of the flying object 200 based on the output of the autonomous navigation device 204.
  • control device 201 may determine the target rotation angle of the flying object 200 based on the change in the orientation of the excavator 100. For example, an angle between the direction of the excavator 100 received in the previous process and the direction of the excavator 100 received in the current process may be set as the target rotation angle.
  • the control device 201 rotates the flying body 200 by the target rotation angle (step ST123).
  • the control device 201 outputs information related to the target rotation angle to the autonomous navigation device 204.
  • the autonomous navigation device 204 rotates the flying body 200 by a target rotation angle by adjusting the rotation speeds of two propellers having the same rotation direction among the four propellers.
  • the control device 201 forcibly rotates the flying object 200 by the target rotation angle even when the flying object 200 is remotely operated.
  • control device 201 can continuously change the orientation of the flying object 200 according to the orientation of the shovel 100 by repeatedly executing step ST122 and step ST123. .
  • the excavator 100 can display the captured image captured by the camera 205 mounted on the flying object 200 on the display device 40 in the cabin 10 in a predetermined orientation and present it to the operator of the excavator 100.
  • the predetermined orientation is, for example, an orientation in which the image of the excavation attachment is displayed so as to extend parallel to the vertical axis of the display device 40, and changes according to the turning angle of the upper turning body 3.
  • the excavator 100 can rotate the flying object 200 by transmitting information on the direction of the flying object 200 from the transmission device S1.
  • the excavator 100 can rotate the aircraft 200 so that the orientation of the excavator 100 and the orientation of the aircraft 200 coincide.
  • the flying object 200 can fly following the shovel 100 while maintaining a relative angle between the direction of the shovel 100 and the direction of the flying object 200. Therefore, for example, the display device 40 can display the captured image so that the image of the excavation attachment always extends parallel to or perpendicular to the vertical axis of the display device 40.
  • the excavator 100 can rotate the flying object 200 without receiving information transmitted by the flying object 200. This is because the flying object 200 can determine the target rotation angle of the flying object 200 based on the orientation information of the shovel 100, and the shovel 100 only needs to transmit the orientation information of the shovel 100.
  • the flying object 200 autonomously follows and flies right above the arm tip position, and the arm tip position (XY coordinates or XYZ coordinates) and the position of the flying object 200 (XY coordinates or XYZ coordinates) There is no misalignment between the two. Therefore, an image of the arm tip position is always displayed at the center of the screen of the display device 40.
  • the work support system can also cope with a positional shift.
  • step ST121 when the position information of the shovel 100 and the attitude information of the excavation attachment are received in addition to the direction information of the shovel 100, the control device 201 can derive the direction and size of the position shift. . Specifically, the direction and size of the position shift can be derived based on the position information of the excavator 100, the attitude information of the excavation attachment, and the position information of the flying object 200 output from the autonomous navigation device 204. Then, the position of the pixel to be the center of the captured image is derived based on the direction and size of the positional deviation, and the captured image can be generated so that the pixel is the center of the captured image.
  • the pixel to be the center of the captured image is, for example, a pixel that forms an image of the arm tip position. As a result, it is possible to display an image of the arm tip position at the center of the screen of the display device 40 even when there is a positional shift.
  • FIG. 17A is a flowchart showing the flow of processing in the excavator 100
  • FIG. 17B is a flowchart showing the flow of processing in the flying object 200.
  • the example of FIG. 17 differs from the example of FIG. 16 in that the controller 30 of the excavator 100 calculates and transmits a target rotation angle.
  • the controller 30 transmits the orientation information of the excavator 100
  • the control device 201 of the flying object 200 calculates the target rotation angle based on the orientation information of the excavator 100.
  • the flying object 200 follows and flies right above the arm tip position using the position information of the excavator 100 and the attitude information of the excavation attachment.
  • the controller 30 acquires the orientation information of the excavator 100 (step ST131). For example, the controller 30 acquires the absolute azimuth angle of the excavator 100 based on the output of the orientation detection device S5.
  • the controller 30 acquires the orientation information of the flying object 200 (step ST132). For example, the controller 30 receives the orientation information of the flying object 200 via the receiving device S2. The flying object 200 transmits the orientation information of the flying object 200 derived based on the output of the autonomous navigation device 204 toward the shovel 100.
  • the controller 30 determines the target rotation angle of the flying object 200 (step ST133). For example, the controller 30 determines the target rotation angle of the flying object 200 based on the orientation information of the excavator 100 and the orientation information of the flying object 200. Alternatively, the controller 30 may determine a target rotation angle of the flying object 200 based on a change in the orientation of the excavator 100.
  • the controller 30 transmits the target rotation angle to the outside (step ST134). For example, the controller 30 transmits the target rotation angle to the flying object 200 through the transmission device S1.
  • the controller 30 can continuously transmit information on the target rotation angle to the flying object 200 by repeatedly executing Step ST131 to Step ST134 in a predetermined control cycle.
  • the control device 201 of the flying object 200 repeatedly transmits the orientation information of the flying object 200 at a predetermined control cycle (step ST141). For example, the control device 201 transmits the orientation information of the flying object 200 toward the excavator 100.
  • control apparatus 201 receives a target rotation angle (step ST142).
  • the control device 201 receives the target rotation angle transmitted from the controller 30 of the excavator 100 through the reception device 203.
  • control device 201 rotates the flying object 200 by the target rotation angle (step ST143).
  • control apparatus 201 can change the direction of the flying body 200 continuously according to the direction of the shovel 100 by repeatedly performing step ST143 each time the target rotation angle is received.
  • the excavator 100 displays the captured image captured by the camera 205 mounted on the flying object 200 on the display device 40 in the cabin 10 in a predetermined orientation, as in the example of FIG. Can be presented to the operator.
  • the excavator 100 can rotate the flying object 200 by transmitting information on the target rotation angle of the flying object 200 from the transmission device S1. Therefore, the excavator 100 can rotate the flying object 200 without causing the flying object 200 to execute a calculation for deriving the target rotation angle of the flying object 200. This is because the flying object 200 only needs to rotate according to the information regarding the target rotation angle generated by the excavator 100.
  • the work support system can cope with the case where the positional deviation occurs in the example of FIG. 17 as well as the case of the example of FIG.
  • the controller 30 receives the position information of the excavator 100, the attitude information of the excavation attachment, and the position information of the flying object 200. Based on the above, the direction and size of the positional deviation can be derived. Then, the position of the pixel to be the center of the captured image can be derived based on the direction and size of the position shift, and information regarding the position of the pixel can be transmitted to the flying object 200.
  • the control device 201 of the flying object 200 that has received the information regarding the position of the pixel can generate a captured image such that the pixel is the center of the captured image. As a result, it is possible to display a desired image in the center of the screen of the display device 40 even when a positional deviation occurs.
  • FIG. 18A is a flowchart showing a process flow in the excavator 100
  • FIG. 18B is a flowchart showing a process flow in the flying object 200.
  • the example of FIG. 18 includes the step ST163 in which the control device 201 of the flying object 200 rotates the captured image by the target rotation angle instead of the step ST143 of rotating the flying object 200 by the target rotation angle. Is different. Steps ST151 to ST154 are the same as steps ST131 to ST134, and steps ST161 to ST162 are the same as steps ST141 to ST142. Accordingly, in the example of FIG. 18, the flying object 200 follows and flies right above the arm tip position using the position information of the excavator 100 and the attitude information of the excavation attachment without changing the direction.
  • the excavator 100 displays the captured image captured by the camera 205 mounted on the flying object 200 on the display device 40 in the cabin 10 in a predetermined orientation, as in FIGS. 16 and 17. It can be presented to 100 operators. Further, the image rotation function can be realized only by image processing in the flying object 200 without actually rotating the flying object 200.
  • FIG. 19 is a flowchart showing still another example of the flow of the image rotation process.
  • the example of FIG. 19 is different from the examples of FIGS. 16 to 18 in that the excavator 100 executes all the processes related to the image rotation function without causing the aircraft 200 to execute the processes related to the image rotation function.
  • the example of FIG. 19 differs from the example of FIG. 18 in that the controller 30 includes a step ST174 in which the controller 30 rotates the captured image by the target rotation angle instead of the step ST154 in which the controller 30 transmits the target rotation angle. Is different. Steps ST151 to ST153 are the same as steps ST171 to ST173. Accordingly, in the example of FIG. 19, it is not necessary to transmit information from the excavator 100 toward the flying object 200, and thus the transmission device S ⁇ b> 1 may be omitted.
  • the excavator 100 displays the captured image captured by the camera 205 mounted on the flying object 200 on the display device 40 in the cabin 10 in a predetermined orientation, as in the case of FIGS. 16 to 18. It can be presented to 100 operators. Further, the image rotation function can be realized only by image processing in the excavator 100 without actually rotating the flying object 200.
  • the controller 30 may recognize the excavation attachment by analyzing the object detection information from the flying object 200 during the follow-up flight. For example, the controller 30 may recognize an image of the excavation attachment by analyzing a captured image of the camera 205. Further, the captured image may be rotated and displayed such that the recognized extension direction of the image of the excavation attachment and the vertical axis of the captured image are parallel to each other and the tip of the image of the excavation attachment faces the screen upper side of the display device 40. Good. This is because the excavator driver's seat faces the excavation attachment. With this configuration, the controller 30 can realize an image rotation function without comparing the orientation information of the excavator 100 and the orientation information of the flying object 200.
  • the work support system may cause the aircraft 200 to execute all the processes related to the image rotation function without causing the excavator 100 to execute the processes related to the image rotation function.
  • FIG. 20A is a top view of the excavator 100 that performs excavation and loading work, the flying object 200 that flies following the excavator 100, and the dump truck 400 that receives the earth and sand discharged by the excavator 100.
  • 20B1 and 20B2 show captured images captured by the camera 205 of the flying object 200 in FIG. 20A.
  • the flying object 200 in order to grasp the loading state of the dump truck 400, the flying object 200 flies statically while maintaining a predetermined flight altitude so as to remain at a predetermined position between the excavator 100 and the dump truck 400.
  • the predetermined position is, for example, an intermediate position between the rear end position of the dump truck 400 and the pivot shaft of the excavator 100.
  • the rear end position of the dump truck 400 is derived, for example, by performing image processing on a captured image of the camera 205.
  • the flying object 200 flies statically while maintaining a predetermined direction regardless of whether the excavator 100 is turning.
  • the aircraft flies statically while facing the + Y direction.
  • a black triangle at the position of the flying object 200 in FIG. 20A indicates that the flying object 200 faces the + Y direction.
  • the display device 40 displays the captured image so that the image of the excavation attachment during the dumping operation extends in parallel with the horizontal axis of the display device 40 as illustrated in FIG. 20B1.
  • the controller 30 of the excavator 100 or the control device 201 of the flying object 200 rotates the captured image so that the orientation of the image of the excavation attachment during the dumping operation is the same as the orientation of the actual excavation attachment.
  • the display device 40 can display the captured image so that the image of the excavation attachment during the dumping operation extends in parallel with the vertical axis of the display device 40 as shown in FIG. 20B2.
  • the machine guidance function is a function for guiding the operation of the excavator 100 based on the image captured by the camera 205 of the flying object 200.
  • FIG. 21 is a diagram for explaining a method for deriving the position and orientation of the excavator 100 based on the captured image captured by the flying object 200.
  • FIG. 21A is a side view of the excavator 100 and the flying object 200 flying over the excavator 100.
  • FIG. 21B shows a captured image displayed on the display device 40. The broken line portion shown in FIG. 21B is not actually displayed on the display device 40.
  • the excavator 100 is located on the reference plane BP.
  • the reference plane BP is a plane defined by the reference points RP1 and RP2.
  • the reference points RP1 and RP2 are points at which absolute positions (latitude, longitude, and altitude) are accurately measured, for example, electronic reference points (GNSS continuous observation points). In this example, the distance between the reference point RP1 and the reference point RP2 is D1 meters.
  • the reference points RP1 and RP2 provide marker images MK1 and MK2 in the captured image. That is, the reference point RP1 is indicated as the marker MK1 on the display device 40. Similarly, the reference point RP2 is indicated as a marker MK2 on the display device 40.
  • the marker images MK1 and MK2 are used to derive the distance (number of pixels) between two points in the captured image.
  • the upper revolving unit 3 of the excavator 100 is provided with three marks RP3 to RP5 (the mark RP5 is invisible).
  • the marks RP3 to RP5 provide marker images MK3 to MK5 in the captured image. That is, the mark RP3 is indicated as the marker MK3 on the display device 40.
  • the mark RP4 is shown as a marker MK4 on the display device 40.
  • the mark RP5 is shown as a marker MK5 on the display device 40.
  • the marker images MK3 to MK5 are used to specify the orientation of the excavator image (excavator 100).
  • the number of marks attached to the upper swing body 3 may be two or less, or may be four or more.
  • the mark that provides the marker image may be an existing excavator component such as the cabin 10 or the engine hood, or may be the upper swing body 3 itself.
  • the combination of marker images provided by the landmarks may constitute a symbol notation such as a QR code (registered trademark).
  • the marker images MK1 to MK5 are extracted using a known image processing technique, and the coordinates in the captured image are specified.
  • the controller 30 is based on the known distance D1 between the reference point RP1 and the reference point RP2, and the distance (number of pixels) GD1 between the marker image MK1 and the marker image MK2 in the captured image shown in FIG. 21B.
  • the actual distance corresponding to the unit distance (number of pixels) on the captured image can be derived.
  • a distance of 100 pixels on the captured image can be associated with 1 m in real space.
  • the controller 30 derives the distance between the center point SC of the excavator 100 and the reference point RP2 in the real space from the distance (number of pixels) GD2 between the center point SC of the excavator 100 and the marker image MK2 on the captured image.
  • the center point SC is, for example, the intersection of the pivot axis of the excavator 100 and the reference plane BP, and the coordinates of the center point SC are derived from the coordinates of the three marker images MK3 to MK5.
  • the controller 30 sets the excavator 100 relative to the reference point RP2 based on the known orientation of the reference point RP1 with respect to the reference point RP2 and the angle ⁇ 1 between the line segment L1 and the line segment L2 in the captured image shown in FIG. 21B.
  • the direction of the center point SC can be derived.
  • the line segment L1 is a line segment connecting the marker image MK1 and the marker image MK2
  • the line segment L2 is a line segment connecting the marker image MK2 and the center point SC.
  • the controller 30 can derive the distance between the center point SC of the excavator 100 and the reference point RP2 in the real space and the orientation of the center point SC of the shovel 100 with respect to the reference point RP2. Then, the absolute position of the center point SC of the excavator 100 can be derived based on the absolute position of the reference point RP2.
  • the controller 30 can derive a line segment L3 on the reference plane BP that represents the longitudinal direction of the excavation attachment based on the coordinates of the three marker images MK3 to MK5. Then, an angle ⁇ 2 between the line segment L1 ′ parallel to the line segment L1 and passing through the center point SC and the line segment L3 can be derived.
  • the controller 30 can derive the orientation indicated by the longitudinal direction of the excavation attachment based on the known orientation of the reference point RP1 with respect to the reference point RP2. Further, the turning angle can be derived based on the transition of the direction indicated by the longitudinal direction of the excavation attachment. For example, the turning angle can be derived based on the orientation indicated by the longitudinal direction of the excavation attachment at the turning start time and the orientation indicated by the longitudinal direction of the excavation attachment at the turning stop time.
  • the controller 30 can derive the attitude of the excavation attachment based on the output of the attitude detection device S4, and can derive the relative position of the toe of the bucket 6 with respect to the center point SC of the excavator 100. Then, the controller 30 can derive the absolute position of the toe of the bucket 6 based on the relative position and the absolute position of the center point SC.
  • the controller 30 can derive the distance between the target construction surface and the toe of the bucket 6 with reference to the design data stored in the nonvolatile storage medium.
  • the target construction surface is a construction surface after construction expressed using latitude, longitude, and altitude.
  • FIG. 22 is a diagram for explaining a method of deriving the height or depth of the ground contact surface of the excavator 100 with respect to the reference plane BP based on the captured image captured by the flying object 200.
  • FIG. 22A is a side view of the excavator 100 located on the reference plane BP and the flying object 200 flying over the excavator 100.
  • FIG. 22B shows a captured image displayed on the display device 40. The broken line portion shown in FIG. 22B is not actually displayed on the display device 40.
  • FIG. 22C is a side view of the excavator 100 located on the ground contact surface deeper than the reference plane BP by the depth DP1 and the flying object 200 flying over the excavator 100.
  • FIG. 22A is a side view of the excavator 100 located on the reference plane BP and the flying object 200 flying over the excavator 100.
  • FIG. 22B shows a captured image displayed on the display device 40. The broken line portion shown in FIG. 22B is not actually displayed on the
  • the controller 30 determines the ground plane of the excavator 100 based on the distance (number of pixels) GD10 between the marker image MK1 and the marker image MK2 in the captured image shown in FIG. 22B and the distance (number of pixels) GD11 between the marker image MK3 and the marker image MK4. Deriving the height or depth of The distance (number of pixels) GD10 corresponds to the actual distance D1 between the reference point RP1 and the reference point RP2. The distance (number of pixels) GD11 corresponds to the actual distance D2 between the mark RP3 and the mark RP4.
  • the controller 30 positions the excavator 100 on the reference plane BP as shown in FIG. 22A. To find out. Further, the controller 30 derives that the excavator 100 is located on the ground plane lower than the reference plane BP as shown in FIG. 22C as the distance ratio is larger than the predetermined value. This is because in the captured image, the shovel image is apparently smaller as the ground contact surface of the shovel 100 is lower than the reference plane BP, and the distance (number of pixels) GD11 is relatively smaller than the distance (number of pixels) GD10.
  • the controller 30 derives that the excavator 100 is positioned on the ground contact surface higher than the reference surface BP as the distance ratio is smaller than the predetermined value. This is because in the captured image, the excavator image is apparently larger as the ground contact surface of the excavator 100 is higher than the reference plane BP, and the distance (number of pixels) GD11 is relatively larger than the distance (number of pixels) GD10.
  • the controller 30 derives the depth or height of the ground plane from the distance ratio value.
  • the correspondence relationship between the distance ratio and the depth or height of the ground plane is stored in advance in a nonvolatile storage medium as a correspondence table, for example.
  • the controller 30 refers to the correspondence table and derives the depth or height of the ground plane from the distance ratio value.
  • a monocular camera is employed as the camera 205 of the flying object 200, but a stereo camera may be employed.
  • the controller 30 may derive the height or depth of the ground contact surface of the excavator 100 with respect to the reference surface BP based on the pair of captured images output from the stereo camera.
  • FIG. 23 is a flowchart illustrating an example of machine guidance processing.
  • FIG. 23A shows a process flow in the flying object 200
  • FIG. 23B shows a process flow in the excavator 100.
  • the control device 201 of the flying object 200 repeatedly executes the process shown in FIG. 23A at a predetermined control cycle.
  • the controller 30 of the excavator 100 repeatedly executes the process shown in FIG. 23B at a predetermined control cycle.
  • the flying object 200 autonomously follows and flies right above the excavator 100 using image processing technology.
  • the following description is similarly applied to the case where the flying object 200 is remotely operated by the operator via the remote controller 300.
  • the control device 201 of the flying object 200 images the excavator 100 (step ST181).
  • the control device 201 acquires a captured image captured by the camera 205 of the flying object 200 flying over the excavator 100.
  • the captured image includes an excavator image that is an image of the excavator 100, marker images MK1 and MK2 that are images of the reference points RP1 and RP2, and marks RP3 to RP5 that are attached to the upper swing body 3. It includes marker images MK3 to MK5 which are images.
  • control device 201 transmits the captured image including the marker images MK1 to MK5 and the shovel image to the shovel 100 (step ST182).
  • the controller 30 of the excavator 100 acquires captured images including the marker images MK1 to MK5 and the excavator image (step ST191). For example, the controller 30 receives a captured image transmitted from the control device 201 of the flying object 200 to the excavator 100 through the receiving device S2.
  • the controller 30 calculates position information and orientation information of the excavator 100 based on the captured image (step ST192). For example, the controller 30 derives the absolute position of the center point SC of the excavator 100 and the direction indicated by the longitudinal direction of the excavation attachment by the method described with reference to FIGS. 21 and 22.
  • the controller 30 calculates the position of the toe of the bucket 6 based on the attitude of the excavation attachment (step ST193). For example, the controller 30 derives the attitude of the excavation attachment based on the output of the attitude detection device S4, and derives the relative position of the toe of the bucket 6 with respect to the center point SC of the excavator 100. Then, the absolute position of the toe of the bucket 6 is derived based on the relative position, the absolute position of the center point SC, and the direction indicated by the longitudinal direction of the excavation attachment.
  • the controller 30 calculates the distance between the tip of the bucket 6 and the target construction surface (step ST194).
  • the controller 30 refers to design data stored in a nonvolatile storage medium, and derives the distance between the target construction surface and the toe of the bucket 6.
  • the controller 30 can guide the operation of the shovel by graphically displaying the transition of the distance between the target construction surface and the tip of the bucket 6 on the display device 40 in the cabin 10 and presenting it to the operator of the shovel 100. .
  • FIG. 24 is a flowchart illustrating another example of the machine guidance process.
  • FIG. 24A shows the flow of processing in the aircraft 200
  • FIG. 24B shows the flow of processing in the excavator 100.
  • the control device 201 of the flying object 200 repeatedly executes the process shown in FIG. 24A at a predetermined control cycle.
  • the controller 30 of the excavator 100 repeatedly executes the process shown in FIG. 24B at a predetermined control cycle.
  • the example of FIG. 24 is different from the example of FIG. 23 in that the control device 201 of the flying object 200 calculates the position information and orientation information of the excavator 100.
  • the controller 30 of the excavator 100 calculates position information and orientation information of the excavator 100.
  • the control device 201 of the flying object 200 images the excavator 100 (step ST201).
  • the control device 201 acquires a captured image captured by the camera 205 of the flying object 200 flying over the excavator 100.
  • the captured image includes an excavator image that is an image of the excavator 100, marker images MK1 and MK2 that are images of the reference points RP1 and RP2, and marks RP3 to RP5 that are attached to the upper swing body 3. It includes marker images MK3 to MK5 which are images.
  • control device 201 calculates position information and orientation information of the excavator 100 based on the captured image (step ST202).
  • the control device 201 derives the absolute position of the center point SC of the excavator 100 and the orientation indicated by the longitudinal direction of the excavation attachment, for example, by the method described with reference to FIGS.
  • control device 201 transmits the position information and orientation information of the excavator 100 toward the excavator 100 (step ST203).
  • the controller 30 of the excavator 100 acquires position information and orientation information of the excavator 100 (step ST211). For example, the controller 30 receives position information and orientation information of the excavator 100 transmitted from the control device 201 of the flying object 200 to the excavator 100 through the receiving device S2.
  • the controller 30 calculates the position of the toe of the bucket 6 based on the attitude of the excavation attachment (step ST212). For example, the controller 30 derives the attitude of the excavation attachment based on the output of the attitude detection device S4, and derives the relative position of the toe of the bucket 6 with respect to the center point SC of the excavator 100. Then, the absolute position of the toe of the bucket 6 is derived based on the relative position, the absolute position of the center point SC, and the direction indicated by the longitudinal direction of the excavation attachment.
  • the controller 30 calculates the distance between the tip of the bucket 6 and the target construction surface (step ST213).
  • the controller 30 refers to design data stored in a nonvolatile storage medium, and derives the distance between the target construction surface and the toe of the bucket 6.
  • the controller 30 can guide the operation of the shovel by graphically displaying the transition of the distance between the target construction surface and the tip of the bucket 6 on the display device 40 in the cabin 10 and presenting it to the operator of the shovel 100. .
  • the controller 30 uses the captured image including the marker image captured by the flying object 200 to grasp the position and orientation of the excavator 100 without using a positioning device such as a GNSS (GPS) receiver.
  • a positioning device such as a GNSS (GPS) receiver.
  • Machine guidance function
  • FIG. 25 is a flowchart illustrating still another example of the machine guidance process.
  • FIG. 25A shows a process flow in the flying object 200
  • FIG. 25B shows a process flow in the excavator 100.
  • the control device 201 of the flying object 200 repeatedly executes the process shown in FIG. 25A at a predetermined control cycle.
  • the controller 30 of the excavator 100 repeatedly executes the process shown in FIG. 25B at a predetermined control cycle.
  • FIG. 25A shows a process flow in the flying object 200
  • FIG. 25B shows a process flow in the excavator 100.
  • the control device 201 of the flying object 200 repeatedly executes the process shown in FIG. 25A at a predetermined control cycle.
  • the controller 30 of the excavator 100 repeatedly executes the process shown in FIG. 25B at a predetermined control cycle.
  • the controller 30 of the excavator 100 calculates position information and orientation information of the excavator 100 using captured images including marker images MK1 and MK2 that are images of the reference points RP1 and RP2.
  • the control device 201 of the flying object 200 acquires position information and orientation information of the flying object 200 (step ST221).
  • the control device 201 flies based on outputs of various sensors such as a gyro sensor, an acceleration sensor, a geomagnetic sensor (direction sensor), an atmospheric pressure sensor, a positioning sensor, and an ultrasonic sensor included in the flight control device of the autonomous navigation device 204, for example.
  • the position information and orientation information of the body 200 are acquired.
  • the control device 201 images the excavator 100 (step ST222).
  • the control device 201 acquires a captured image captured by the camera 205 of the flying object 200 flying over the excavator 100.
  • the captured image includes an excavator image that is an image of the excavator 100 and marker images MK3 to MK5 that are images of the marks RP3 to RP5 attached to the upper swing body 3, as shown in FIG. 21B.
  • the captured image does not need to include the marker images MK1 and MK2 that are images of the reference points RP1 and RP2.
  • control device 201 transmits the captured image and the position information and orientation information of the flying object 200 toward the excavator 100 (step ST223).
  • the controller 30 of the excavator 100 acquires a captured image and position information and orientation information of the flying object 200 (step ST231). For example, the controller 30 receives a captured image transmitted from the control device 201 of the flying object 200 toward the excavator 100 through the receiving device S2, and position information and orientation information of the flying object 200.
  • the controller 30 calculates position information and orientation information of the excavator 100 (step ST232). For example, the controller 30 calculates the position information and direction information of the excavator 100 based on the captured image and the position information and direction information of the flying object 200.
  • the controller 30 derives the absolute position of the real space feature (center point) corresponding to the center pixel of the captured image based on the position information of the flying object 200. After that, the controller 30 calculates the coordinates of the center point SC of the excavator 100 based on the coordinates of the marker images MK3 to MK5 in the captured image. Then, the controller 30 derives the relative position of the center point SC with respect to the center point based on the coordinates of the center pixel of the captured image and the coordinates of the center point SC. Then, the absolute position of the center point SC is derived based on the relative position and the absolute position of the center point.
  • the controller 30 derives the direction indicated by the vertical axis of the captured image based on the orientation information of the flying object 200. Then, as shown in FIG. 21B, the controller 30 derives a line segment L3 on the reference plane BP that represents the longitudinal direction of the excavation attachment based on the coordinates of the marker images MK3 to MK5. Then, an angle between the vertical axis of the captured image and the line segment L3 is derived.
  • the controller 30 can derive the orientation indicated by the longitudinal direction of the excavation attachment based on the orientation of the vertical axis of the captured image. Further, the turning angle can be derived based on the transition of the direction indicated by the longitudinal direction of the excavation attachment.
  • the controller 30 calculates the position of the toe of the bucket 6 based on the attitude of the excavation attachment (step ST233). For example, the controller 30 derives the attitude of the excavation attachment based on the output of the attitude detection device S4, and derives the relative position of the toe of the bucket 6 with respect to the center point SC of the excavator 100. Then, the absolute position of the toe of the bucket 6 is derived based on the relative position, the absolute position of the center point SC, and the direction indicated by the longitudinal direction of the excavation attachment.
  • the controller 30 calculates the distance between the tip of the bucket 6 and the target construction surface (step ST234).
  • the controller 30 refers to design data stored in a nonvolatile storage medium, and derives the distance between the target construction surface and the toe of the bucket 6.
  • the controller 30 can guide the operation of the shovel by graphically displaying the transition of the distance between the target construction surface and the tip of the bucket 6 on the display device 40 in the cabin 10 and presenting it to the operator of the shovel 100. .
  • the controller 30 determines the position and orientation of the excavator 100 using the position information and orientation information of the flying object 200 output from the flying object 200 using GPS navigation and the captured image that does not include the marker image related to the reference point. By grasping it, the machine guidance function can be executed.
  • the operator uses the remote controller 300 to fly the flying object 200 to the sky above the work site.
  • the flying body 200 may autonomously fly over the work site.
  • the flying object 200 waiting at a predetermined position may start autonomous flight and fly to the sky above the work site. .
  • the operator of the flying object 200 or the operator of the excavator 100 may cancel the follow-up flight by the flying object 200 by performing a predetermined operation.
  • the flying object 200 may perform a stationary flight that maintains a predetermined height regardless of the movement of the excavator 100, or may autonomously return to a predetermined standby location. .
  • FIG. 26 is a diagram of a work site where the fluid supply system is used.
  • FIG. 27 is a system configuration diagram of the fluid supply system.
  • the fluid replenishment system is a system that makes it possible to efficiently replenish the fluid consumed by the excavator by using the flying object, and mainly includes the excavator 100 and the flying object 200.
  • Each of the excavator 100 and the flying body 200 constituting the fluid supply system may be one or plural.
  • the example of FIGS. 26 and 27 includes one excavator 100 and one aircraft 200.
  • the flying object 200 is an autonomous flying object that can be operated by remote control or automatic control, and includes, for example, a multicopter, an airship, and the like. In this embodiment, it is a quadcopter equipped with a camera.
  • the flying body 200 is configured to carry the container 250.
  • the container 250 is a container for storing a fluid consumed by the excavator 100.
  • the container 250 has a substantially cylindrical shape.
  • the fluid consumed by the excavator 100 includes fuel such as light oil, liquid reducing agent such as urea water, grease, lubricating oil, coolant, engine oil, and the like.
  • the upper revolving unit 3 is mounted on the lower traveling unit 1 of the excavator 100 through a revolving mechanism 2 so as to be capable of revolving.
  • a boom 4 is attached to the upper swing body 3.
  • An arm 5 is attached to the tip of the boom 4, and a bucket 6 is attached to the tip of the arm 5.
  • the boom 4, the arm 5, and the bucket 6 as work elements constitute a drilling attachment that is an example of an attachment.
  • the boom 4, arm 5, and bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.
  • the upper swing body 3 is provided with a cabin 10 and is mounted with a power source such as an engine 11.
  • the excavator 100 includes an engine 11, a main pump 14, a pilot pump 15, a control valve 17, a fuel tank 18, a urea water tank 19, a grease tank 20, an operating device 26, a controller 30, an engine control device 74, and the like.
  • the engine 11 is a drive source of the excavator 100, and is, for example, a diesel engine that operates to maintain a predetermined rotational speed.
  • the output shaft of the engine 11 is connected to the input shafts of the main pump 14 and the pilot pump 15.
  • the exhaust gas of the engine 11 is discharged into the atmosphere after being purified by the exhaust gas processing device 11A.
  • the exhaust gas treatment device 11A includes a diesel particulate filter (Diesel Particulate Filter: DPF) and a selective catalytic reduction (SCR) system.
  • DPF Diesel particulate filter
  • SCR selective catalytic reduction
  • the main pump 14 is a swash plate type variable displacement hydraulic pump that supplies hydraulic oil to the control valve 17 via the high-pressure hydraulic line 16.
  • the main pump 14 changes the discharge flow rate per rotation according to the change in the swash plate tilt angle.
  • the swash plate tilt angle is controlled by the regulator 14a.
  • the regulator 14 a changes the swash plate tilt angle according to the change in the control current from the controller 30.
  • the pilot pump 15 is a fixed displacement hydraulic pump that supplies hydraulic oil to various hydraulic control devices such as the operation device 26 via the pilot line 25.
  • the control valve 17 is a set of flow control valves that control the flow of hydraulic oil related to the hydraulic actuator.
  • the control valve 17 selectively supplies hydraulic oil received from the main pump 14 through the high-pressure hydraulic line 16 to one or a plurality of hydraulic actuators in accordance with changes in pilot pressure corresponding to the operation direction and operation amount of the operation device 26.
  • the hydraulic actuator includes, for example, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, a left traveling hydraulic motor 1A, a right traveling hydraulic motor 1B, and a turning hydraulic motor 2A.
  • the fuel tank 18 is a tank for storing fuel. In this embodiment, light oil used in the engine 11 is stored.
  • the urea water tank 19 is a tank that stores urea water as a liquid reducing agent. In this embodiment, urea water used in the selective catalyst reduction system is stored.
  • the grease tank 20 is a tank that stores grease.
  • grease used for lubricating movable parts such as excavation attachments is stored.
  • the operating device 26 is a device used by an excavator operator for operating the hydraulic actuator.
  • the operating device 26 receives the supply of hydraulic oil from the pilot pump 15 via the pilot line 25 and generates a pilot pressure. Then, the pilot pressure is applied to the pilot port of the corresponding flow control valve through the pilot line 25a. The pilot pressure changes according to the operation direction and the operation amount of the operation device 26.
  • the pilot pressure sensor 15 a detects the pilot pressure and outputs the detected value to the controller 30.
  • the controller 30 is a control device for controlling the excavator 100.
  • the controller 30 is composed of a computer having a CPU, RAM, ROM and the like.
  • the CPU of the controller 30 reads out programs corresponding to various functions from the ROM, loads them into the RAM, and executes them, thereby realizing the functions corresponding to the programs.
  • the engine control device 74 is a device that controls the engine 11.
  • the engine control device 74 controls the fuel injection amount and the like so that the engine speed set via the input device is realized.
  • Each of the transmission device S1, the reception device S2, the positioning device S3, the posture detection device S4, the remaining amount detection device S5A, and the docking device S6 attached to the upper swing body 3 is connected to the controller 30.
  • the controller 30 performs various calculations based on information output from each of the receiving device S2, the positioning device S3, the posture detecting device S4, and the remaining amount detecting device S5A. And the information produced
  • the transmitting device S1 transmits information to the outside of the excavator 100.
  • the transmission device S ⁇ b> 1 transmits information that can be received by the flying object 200 to the flying object 200 in response to a request from the flying object 200.
  • the receiving device S2 receives information from the outside of the excavator 100. In the present embodiment, the receiving device S2 receives information transmitted from the flying object 200.
  • the positioning device S3 acquires information on the position of the excavator 100.
  • the positioning device S3 is a GNSS (GPS) receiver, and measures the latitude, longitude, and altitude of the location of the excavator 100.
  • GPS GNSS
  • the attitude detection device S4 detects the attitude of the excavator.
  • the shovel posture is, for example, the degree of inclination of the aircraft.
  • the posture detection device S4 includes a body tilt sensor.
  • the airframe tilt sensor is a sensor that acquires the airframe tilt angle, for example, an acceleration sensor that detects the tilt angle of the upper swing body 3 with respect to the horizontal plane.
  • the remaining amount detection device S5A detects the remaining amounts of various fluids. In the present embodiment, the remaining amount detection device S5A detects the remaining amount of light oil in the fuel tank 18, the remaining amount of urea water in the urea water tank 19, and the remaining amount of grease in the grease tank 20.
  • the docking device S6 enables the excavator 100 and the flying object 200 to be docked (coupled).
  • the docking device S6 enables docking between the fuel tank 18 mounted on the excavator 100 and the container 250 carried by the flying object 200.
  • the docking device S6 performs a docking enabled state in which docking between the fuel tank 18 and the container 250 is structurally possible and a docking disabled state in which structurally impossible are possible in response to a command from the controller 30. Switch.
  • the wireless power receiving device S7 is supplied with electric power from an external power supply device in a contactless manner and supplies the electric power to an electric load mounted on the excavator 100.
  • the controller 30, the transmission device S1, the reception device S2, the attitude detection device S4, the docking device S6, and the like are operated by receiving power from a battery mounted on the flying body 200 in a non-contact manner.
  • the wireless power receiving device S7 may charge a battery mounted on the excavator 100.
  • the flying object 200 includes a control device 201, a transmission device 202, a reception device 203, an autonomous navigation device 204, a camera 205, a wireless power feeding device 206, and the like.
  • the control device 201 is a device for controlling the flying object 200.
  • the control device 201 is configured by a computer including a RAM, a ROM, and the like.
  • the CPU of the control device 201 implements functions corresponding to each of the programs by reading out programs corresponding to various functions from the ROM, loading them into the RAM, and executing them.
  • the transmitting device 202 transmits information to the outside of the flying object 200.
  • the transmission device 202 transmits information that can be received by the excavator 100 to the excavator 100.
  • the receiving device 203 receives information from the outside of the flying object 200.
  • the receiving device 203 receives information transmitted by the excavator 100, for example.
  • the autonomous navigation device 204 realizes autonomous navigation of the flying object 200.
  • the autonomous navigation device 204 includes a flight control device, an electric motor, a battery, and the like.
  • the flight control device includes various sensors such as a gyro sensor, an acceleration sensor, a geomagnetic sensor (orientation sensor), an atmospheric pressure sensor, a positioning sensor, and an ultrasonic sensor, and realizes an attitude maintenance function, an altitude maintenance function, and the like.
  • the electric motor receives power supplied from the battery and rotates the propeller.
  • the propeller may be rotated by another drive source such as an internal combustion engine.
  • the autonomous navigation device 204 when the autonomous navigation device 204 receives information on the target flight position from the control device 201, the autonomous navigation device 204 separately controls the rotational speeds of the four propellers, and maintains the attitude and altitude of the aircraft 200 while controlling the aircraft 200. Move to.
  • the information regarding the target flight position is, for example, the latitude, longitude, and altitude of the target flight position.
  • the control device 201 acquires information on the target flight position from the outside through the reception device 203.
  • the autonomous navigation device 204 may change the direction of the flying object 200 in response to information on the target from the control device 201.
  • the camera 205 is a device for acquiring images.
  • the camera 205 is attached to the flying object 200 so as to capture an image of the vertically lower part of the flying object 200.
  • the captured image captured by the camera 205 includes, for example, information related to an imaging position that is a flight position of the flying object 200 and is used to generate three-dimensional terrain data.
  • the wireless power feeder 206 supplies power from a battery mounted on the flying body 200 to an external power receiving device in a contactless manner.
  • the wireless power feeding device 206 wirelessly supplies power to the wireless power receiving device S7 installed on the upper surface of the shovel 100, and operates various electric loads of the shovel 100 with the power.
  • FIG. 28 is a flowchart of processing until the fluid replenishment system starts refueling (hereinafter referred to as “fuel refueling pretreatment”).
  • FIG. 28A is a flowchart showing a process flow in the flying object 200
  • FIG. 28B is a flowchart showing a process flow in the excavator 100.
  • the flying object 200 parked at the parking lot determines whether or not replenishment is necessary based on information transmitted from the excavator 100 (step ST241).
  • the parking lot is, for example, a place where a charging facility for the flying body 200 is installed, and fuel is injected into the container 250 at the parking lot.
  • the fuel injection may be performed automatically or manually.
  • a parking space may be allocated to the flying object 200, and charging may be automatically started when the flying object 200 is parked in the parking space.
  • the information transmitted by the excavator 100 includes position information of the excavator and remaining amount information regarding the remaining amount of fuel. For example, when the engine 11 is stopped by the operator, the excavator 100 automatically transmits information including position information and remaining amount information. Airframe tilt information related to the airframe tilt angle may be included.
  • the control device 201 of the flying object 200 determines whether or not the excavator 100 needs to be refueled based on the remaining amount information transmitted by the excavator 100. Specifically, the control device 201 receives information transmitted from the excavator 100 using the reception device 203. The control device 201 may receive the information directly from the excavator 100 or indirectly through a communication center or the like.
  • control device 201 determines that replenishment is necessary when the remaining amount of fuel in the fuel tank 18 indicated by the remaining amount information is less than a predetermined amount, and needs replenishment when the remaining amount of fuel is greater than or equal to the predetermined amount. Judge that there is no.
  • control device 201 waits until the next information is received from the excavator 100.
  • control device 201 causes the flying object 200 to fly from the parking area to the sky of the excavator 100 (step ST242).
  • the control device 201 transmits identification information of the flying object 200 (step ST243).
  • the identification information of the flying object 200 is transmitted from the transmitting device 202 to the receiving device S ⁇ b> 2, and the flying object 200 is authenticated by the controller 30.
  • control device 201 causes the flying object 200 to land on the excavator 100 (step ST244).
  • control device 201 recognizes an image of the docking device S6 corresponding to the fuel tank 18 installed on the upper surface of the excavator 100 from the captured image captured by the camera 205.
  • control device 201 controls the flight position of the flying object 200 so that the recognized image of the docking device S6 is displayed at a predetermined image position of the captured image and gradually displayed larger. As a result, the flying object 200 gradually approaches the docking device S6 and lands on the docking device S6.
  • the control device 201 may determine whether or not landing is possible before landing on the docking device S6. For example, when the engine 11 of the excavator 100 is operating, it may be determined that landing is impossible. Whether or not the engine 11 is in operation may be determined based on the information received by the receiving device 203, which is periodically transmitted by the transmitting device S1 of the excavator 100, for example. For example, when it is determined that the excavator 100 is in an operating state, the controller 30 may cause the transmission device S1 to issue a command for prohibiting docking. Further, the control device 201 may determine that landing is impossible when it is determined that the excavator 100 is tilted based on the body tilt information transmitted by the excavator 100.
  • the controller 30 determines that the excavator 100 is located on a plane based on the output of the attitude detection device S4, the controller 30 transmits a command for permitting docking from the transmission device S1, and the excavator 100 is located on the plane. If it is determined that there is not, a command for prohibiting docking may be transmitted from the transmission device S1.
  • the control device 201 may determine that the excavator 100 is positioned on a plane if the airframe tilt angle is less than a predetermined angle. Alternatively, the control device 201 may determine that landing is impossible when it is determined that the shovel 100 is tilted based on the tilt angle of the shovel 100 derived from the captured image.
  • the control device 201 may fly the flying body 200 so as to return to the parking area, or may wait until it is determined that landing can be performed by flying statically over the excavator 100.
  • the control device 201 When the flying object 200 has landed on the docking device S6, the control device 201 operates the wireless power feeding device 206 after stopping the rotation of the propeller (step ST245). Whether or not the vehicle has landed is determined based on the output of an acceleration sensor or the like attached to the flying object 200, for example.
  • the wireless power supply device 206 supplies power to the wireless power receiving device S7 of the excavator 100 from the battery mounted on the flying body 200 in a non-contact manner, and activates the controller 30 and the receiving device S2 of the excavator 100.
  • the control device 201 may transmit the identification information of the flying object 200 to the excavator 100 after landing on the docking device S6.
  • the control device 201 does not need to operate the wireless power feeding device 206.
  • the controller 30 of the excavator 100 authenticates the aircraft 200 when activated by the power of the battery mounted on the aircraft 200 (step ST251).
  • the controller 30 stands by without performing the subsequent steps.
  • a regular flying body is a flying body having identification information registered in advance in the memory of the controller 30, for example. If it is not possible to authenticate the vehicle as a legitimate aircraft after trying a predetermined number of authentication processes, the controller 30 may stop its operation. This is to prevent fuel from being replenished by an irregular (unregistered) flying object. With this configuration, the controller 30 can prevent docking between the non-regular (unregistered) air vehicle and the excavator 100.
  • the controller 30 switches the docking device S6 from the undocked state to the dockable state (step ST252).
  • the controller 30 may transmit the identification information of the excavator 100 from the transmission device S1 to the reception device 203 of the flying object 200, and the control device 201 may authenticate the excavator 100.
  • the control device 201 can authenticate the excavator 100 as a regular (registered) excavator, it returns an authenticated signal to the controller 30.
  • the controller 30 stands by without executing the subsequent steps.
  • the controller 30 switches the docking device S6 from the undocking state to the dockable state.
  • the controller 30 may transmit a replenishment start command for starting refueling from the transmission device S1 to the flying body 200.
  • the controller 30 may transmit a replenishment start command from the transmission device S1 to the flying object 200 when the docking device S6 is switched to the dockable state.
  • FIG. 29 is a view showing the arrangement of the docking device S6 in the upper swing body 3.
  • FIG. 29A is a side view of the upper swing body 3
  • FIG. 29B is a top view of the upper swing body 3.
  • the docking device S6 includes a fuel docking device S6A corresponding to the fuel tank 18, a urea water docking device S6B corresponding to the urea water tank 19, and a grease docking device S6C corresponding to the grease tank 20. including.
  • the fuel tank 18, the urea water tank 19, and the grease tank 20 are all arranged on the + X side (front side) of the upper swing body 3 and on the ⁇ Y side (right side) of the cabin 10 with the boom attachment position interposed therebetween.
  • the urea water tank 19 is disposed on the + X side (front side) of the fuel tank 18, and the grease tank 20 is disposed on the + X side (front side) of the urea water tank 19.
  • the docking device S6 is arranged on the upper part of the corresponding tank. This is because when the container 250 and each tank carried by the flying body 200 are docked, the fluid in the container 250 flows into each tank by gravity. However, the fluid in the container 250 may be injected into each tank using a pump mounted on the excavator 100 or the flying object 200.
  • the docking device S6 is configured to be recessed from the upper surface of the upper swing body 3.
  • the docking device S6 may be configured to protrude from the upper surface of the upper swing body 3.
  • FIG. 30 shows the operation of the docking device S6.
  • 30A1 and 30A2 show the docking device S6 in the undocking state
  • FIGS. 30B1 and 30B2 show the docking device S6 in the dockable state.
  • 30A1 and 30B1 are top views of the docking device S6, and
  • FIGS. 30A2 and 30B2 are cross-sectional views of the docking device S6.
  • 30A2 is a cross-sectional view on the vertical plane including the alternate long and short dash line L1 in FIG. 30A1
  • FIG. 30B2 is a cross-sectional view on the vertical plane including the alternate long and short dash line L2 in FIG. 30B1.
  • the docking device S6 includes a container receiving unit 60, a pedestal 61, a connecting unit 62, and the like.
  • the container receiving unit 60 is a member that forms an inverted frustoconical recessed space that receives the container 250 carried by the flying object 200.
  • the inverted frustoconical inclination is substantially the same as the inclination of the chamfered portion 250 t formed at the bottom edge of the substantially cylindrical container 250.
  • the pedestal 61 supports the bottom surface of the container 250 in the container receiving portion 60.
  • the base 61 has four movable base members 61A to 61D.
  • the movable base members 61A to 61D are configured to be extendable and contractible in the Z-axis direction (vertical direction).
  • the movable base members 61A to 61D are driven by an electric actuator.
  • the movable pedestal members 61A to 61D are in the extended state as shown in FIG. 30A2, and when the docking device S6 is in the dockable state, the movable pedestal members 61A to 61D are shown in FIG. 30B2.
  • the movable base members 61A to 61D in the extended state are painted in white.
  • the movable base members 61A and 61B that are in the extended state are indicated by dotted lines.
  • the connecting part 62 is a member that is connected to the connecting part 251 of the container 250.
  • the connecting portion 62 is a cylindrical member extending in the + Z direction (vertically upward) from the upper surface (see FIG. 29) of the fuel tank 18.
  • the connecting portion 251 is a cylindrical member that protrudes in the ⁇ Z direction (vertically downward) from the bottom surface of the container 250 as shown in FIG. 30A2.
  • the connecting portion 62 and the connecting portion 251 constitute a passage of fuel that flows from the container 250 to the fuel tank 18 when connected to each other.
  • the connecting portion 62 includes an inflow blocking portion 62A, a center pin 62B, an annular portion 62C, and a cylindrical portion 62D.
  • the inflow blocking portion 62A is a disk member that blocks the ingress of fluid into the fuel tank 18 from the outside.
  • the inflow blocking portion 62A is fluid that flows into the fuel tank 18 from the outside by being pushed up in the + Z direction (upward) along the center pin 62B in the + Z direction (upward) by the force of a spring or the like and coming into contact with the annular portion 62C. Block the flow of
  • the central pin 62B is a fixed pin that extends along the central axis of the cylindrical portion 62D, and extends through the central portion of the inflow blocking portion 62A.
  • the annular portion 62C is a member formed inside the cylindrical portion 62D, and defines the upper limit position of the inflow blocking portion 62A.
  • the inflow blocking portion 62A may be fixed at the upper limit position by an electric stopper.
  • the electric stopper can fix the inflow blocking unit 62A at the upper limit position when power is not supplied, and can move (lower) the inflow blocking unit 62A from the upper position when power is supplied. Configured to be able to.
  • the cylindrical part 62D is a tubular member that forms a fuel flow path, extends to the upper surface of the fuel tank 18, and communicates the flow path formed by the cylindrical part 62D with the inside of the fuel tank 18.
  • the connecting portion 251 includes an outflow prevention portion 251A, an annular portion 251B, and a cylindrical portion 251C.
  • the outflow prevention unit 251A is a disk member that prevents the fuel from flowing out from the container 250 to the outside.
  • the outflow prevention part 251A is pushed down in the ⁇ Z direction (downward) in the cylindrical part 251C by the force of a spring or the like and comes into contact with the annular part 251B, thereby preventing the fuel flow from the container 250 to the outside.
  • the outflow prevention part 251A comes into contact with the annular part 251B and prevents the outflow of fuel unless it comes into contact with the central pin 62B of the connecting part 62 and is pushed up by the central pin 62B. When pushed up by the center pin 62B, the fuel flows out away from the annular portion 251B.
  • the annular portion 251B is a member formed inside the cylindrical portion 251C and defines the lower limit position of the outflow prevention portion 251A.
  • the outflow prevention unit 251A may be fixed at the lower limit position by an electric stopper.
  • the electric stopper for example, fixes the outflow prevention unit 251A at the lower limit position when power is not supplied, and moves (rises) the outflow prevention unit 251A from the lower position when power is supplied.
  • the control device 201 may start the fuel supply by operating the electric stopper only when a supply start command is received from the excavator 100. That is, the control device 201 can prevent the fuel from being replenished before receiving the replenishment start command by keeping the outflow prevention unit 251A at the lower limit position until the replenishment start command is received from the excavator 100.
  • the cylindrical portion 251C is a tubular member that forms a fuel flow path, extends to the bottom surface of the container 250, and communicates the flow path formed by the cylindrical section 251C and the inside of the container 250.
  • the flying object 200 landed on the docking device S6 in step ST244 of FIG. 28A is in the state shown in FIG. 30A2. That is, the flying object 200 is in a state of being supported by the extended movable base members 61A to 61D.
  • the controller 30 switches the docking device S6 from the docking disabled state to the dockable state.
  • the controller 30 contracts the movable pedestal members 61A to 61D by driving the electric actuator with the electric power supplied from the battery mounted on the flying body 200 through the wireless power feeding device 206 and the wireless power receiving device S7.
  • the controller 30 may contract the movable pedestal members 61A to 61D before the flying object 200 lands.
  • the electric stopper When the inflow blocking part 62A is fixed at the upper limit position by the electric stopper, the electric stopper is driven so that the inflow blocking part 62A can be lowered from the upper limit position. The same applies to the outflow prevention unit 251A.
  • the container 250 slides down inside the container receiving portion 60 due to its own weight, and connects the connecting portion 251 and the connecting portion 62 as shown in FIG. To communicate. Specifically, the outflow prevention part 251A is pushed up by the center pin 62B and leaves the annular part 251B. Further, the inflow blocking portion 62A is pushed down by the cylindrical portion 251C and is separated from the annular portion 62C. As a result, as shown by the arrow AR1 in FIG. 30B2, the fuel in the container 250 flows into the cylindrical portion 62D through the hole 251D formed near the lower end of the cylindrical portion 251C, and further into the fuel tank 18. Flow into.
  • FIG. 31 is a flowchart of processing after the fluid replenishment system completes fuel replenishment (hereinafter referred to as “processing after fuel replenishment”).
  • FIG. 31A is a flowchart showing a process flow in the flying object 200
  • FIG. 31B is a flowchart showing a process flow in the excavator 100.
  • the control device 201 of the flying object 200 that has landed on the docking device S6 determines whether or not replenishment has been completed (step ST261). For example, the control device 201 determines whether or not the replenishment is completed based on the output of the remaining amount detection device that detects the remaining amount of the container 250. Alternatively, the control device 201 may determine whether or not replenishment has been completed based on information transmitted by the excavator 100.
  • control device 201 stands by without executing the subsequent steps.
  • the control device 201 If it is determined that replenishment has been completed (YES in step ST261), the control device 201 notifies the excavator 100 that replenishment has been completed (step ST262). For example, the control device 201 transmits information indicating that the replenishment is completed from the transmission device 202 to the excavator 100. When it is determined that the replenishment is completed based on the information transmitted from the excavator 100, the control device 201 proceeds to the next step without notifying the excavator 100 that the replenishment is completed. This is because the shovel 100 has already detected that the replenishment has been completed.
  • control device 201 causes the flying object 200 to fly to the parking area (step ST263).
  • the controller 30 of the excavator 100 that has switched the docking device S6 to the dockable state determines whether or not replenishment has been completed (step ST271). For example, the controller 30 determines whether or not the replenishment is completed based on information transmitted from the flying object 200. Alternatively, the controller 30 may determine whether or not the replenishment is completed based on the output of the remaining amount detection device S5A.
  • step ST271 If it is determined that replenishment has not been completed (NO in step ST271), the controller 30 stands by without executing the subsequent steps.
  • the controller 30 switches the docking device S6 to a docking disabled state (step ST272). For example, the controller 30 extends the movable base members 61A to 61D by driving the electric actuator with the electric power supplied from the battery mounted on the flying body 200 through the wireless power feeding device 206 and the wireless power receiving device S7.
  • the container 250 is lifted by the movable pedestal members 61A to 61D, and the connecting portion 251 and the connecting portion 62 are disconnected as shown in FIG. Is disconnected.
  • the outflow prevention part 251A descends and contacts the annular part 251B.
  • the inflow blocking portion 62A rises and contacts the annular portion 62C.
  • the inflow blocking portion 62A may be fixed at the upper limit position by an electric stopper. The same applies to the outflow prevention unit 251A.
  • the controller 30 When it is determined that the replenishment is completed based on the output of the remaining amount detection device S5A, the controller 30 notifies the flying body 200 that the replenishment is completed. For example, the controller 30 transmits information indicating that the replenishment is completed from the transmission device S1 to the flying object 200.
  • the excavator 100 can receive fuel more efficiently by using the flying object 200.
  • the excavator 100 does not need to move from the work site to the refueling location in order to refuel. Therefore, when the excavator 100 is operated at a work site where the excavator 100 is difficult to enter or leave, such as at a disaster recovery site, when the excavator 100 is moved into a site where an operator cannot enter and the excavator 100 is operated remotely. It is particularly effective.
  • the excavator 100 allows the flying body 200 to replenish the fuel only when the flying body 200 can be authenticated. Specifically, only when the flying object 200 can be authenticated, the docking device S6, the electric stopper, and the like are operated to replenish the fuel. In other words, fuel replenishment by means other than the certified aircraft 200 is restricted, including manual fuel replenishment. Therefore, it is possible to prevent replenishment of illegal fuel, poor fuel, or the like. Note that fuel supply by the flying object 200 is performed not when the one-way authentication of the flying object 200 is performed by the shovel 100 but when the two-way authentication including the authentication of the shovel 100 by the flying object 200 is performed. You may do it.
  • the excavator 100 may be completely stopped while the engine is stopped.
  • the complete stop means that the power supply to the electric load such as the controller 30 is completely cut off. Therefore, overdischarge of the battery of the excavator 100 can be prevented while realizing the function of the fluid supply system.
  • FIG. 32 is a view showing another example of the docking device S6 and corresponds to FIG. 32A1 and FIG. 32A2 show the docking device S6 in the undocking state, and FIGS. 32B1 and 32B2 show the docking device S6 in the dockable state.
  • 32A1 and 32B1 are top views of the docking device S6, and FIGS. 32A2 and 32B2 are cross-sectional views of the docking device S6.
  • 32A2 is a cross-sectional view on the vertical plane including the alternate long and short dash line L3 in FIG. 32A1
  • FIG. 32B2 is a cross-sectional view on the vertical plane including the alternate long and short dash line L4 in FIG. 32B1.
  • the docking device S6 is different from the example of FIG. 30 in that it does not have the pedestal 61 but has the cover 63.
  • other points are common to the example of FIG. Therefore, description of common parts is omitted, and different parts are described in detail.
  • the cover 63 is an automatic opening / closing cover that covers the container receiving portion 60.
  • the cover 63 includes a left cover 63L and a right cover 63R.
  • the left cover 63L and the right cover 63R are configured to be opened and closed by an electric actuator.
  • an arrow AR2 indicates the opening direction of the left cover 63L
  • an arrow AR3 indicates the opening direction of the right cover 63R.
  • the controller 30 opens and closes the left cover 63L and the right cover 63R by driving the electric actuator with electric power supplied from the battery mounted on the flying object 200 through the wireless power feeding device 206 and the wireless power receiving device S7.
  • the container receiving portion 60 can receive the container 250, and the container 250 and the fuel tank 18 are connected by connecting the connecting portion 251 and the connecting portion 62 as shown in FIG. 32B2. Can communicate.
  • the excavator 100 that uses the docking device S6 of FIG. 32 can achieve the same effects as when the docking device S6 of FIG. 30 is used.
  • the flying object 200 automatically determines whether or not fuel or the like needs to be replenished, automatically takes off, and automatically flies from the parking area to the sky of the excavator 100.
  • the air vehicle 200 may be remotely operated by a remote controller.
  • the operator of the flying object 200 may remotely perform the flight before the replenishment from the parking lot to the sky of the excavator 100 and the flight after the replenishment from the sky of the excavator 100 to the parking lot.
  • the docking device S6 operates with the power of the battery mounted on the flying object 200. Specifically, it operates with electric power supplied from a battery mounted on the flying object 200 through the wireless power feeding device 206 and the wireless power receiving device S7.
  • the present invention is not limited to this configuration.
  • the docking device S6 may operate with the power of a battery mounted on the excavator 100.
  • the controller 30 may be configured to operate continuously or intermittently in the power saving mode so that communication with the flying object 200 can be performed even when the engine 11 of the excavator 100 is stopped.
  • the wireless power feeding device 206 and the wireless power receiving device S7 may be omitted.
  • the battery of the flying object 200 may be charged with the battery mounted on the shovel 100 using the wireless power feeding apparatus mounted on the shovel 100 and the wireless power receiving apparatus mounted on the flying object 200.
  • transmission / reception of electric power between the excavator 100 and the flying object 200 may be performed by wire.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明の実施例に係るショベル（１００）は、下部走行体（１）と、下部走行体（１）に搭載される上部旋回体（３）と、上部旋回体（３）に取り付けられた受信装置（Ｓ２）、向き検出装置（Ｓ５）、コントローラ（３０）、及び表示装置（４０）と、を有する。受信装置（Ｓ２）は、飛行体（２００）が撮像した撮像画像を受信し、向き検出装置（Ｓ５）は、ショベル（１００）の向きを検出し、コントローラ（３０）は、ショベル（１００）の向きに基づいて飛行体（２００）の目標回転角度に関する情報を生成し、表示装置（４０）は、飛行体（２００）が目標回転角度だけ回転したときに撮像できる画像と同じ向きで撮像画像を表示する。

Description

ショベル及びショベルの周囲を飛行する自律式飛行体
　本発明は、ショベル及びショベルの周囲を飛行する自律式飛行体に関する。
　上部旋回体に取り付けられたカメラを利用するショベルが知られている（特許文献１参照。）。このショベルは、上部旋回体の側方及び後方を向くカメラが撮像した画像を表示する表示装置をキャビン内に備えている。そのため、ショベルの操作者はその表示装置を見ることでショベルの後方及び側方の状況を視認できる。
特開２０１３－１２４４６７号公報
　しかしながら、特許文献１のショベルは、上部旋回体に取り付けられたカメラが撮像した画像を表示装置に表示するのみであるため、カメラで撮像できない空間の状況をショベルの操作者に視認させることができない。カメラで撮像できない空間は、例えば、掘削している穴の内部空間、カウンタウェイトのすぐ後ろの空間等を含む。
　上述に鑑み、上部旋回体に取り付けられたカメラでは撮像できない空間を撮像可能なカメラが撮像した画像をショベルの操作者に提示できるショベルを提供することが望まれる。
　本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた受信装置、向き検出装置、制御装置、及び表示装置と、を有するショベルであって、前記受信装置は、カメラ搭載型自律式飛行体が撮像した撮像画像を受信し、前記向き検出装置は、前記ショベルの向きを検出し、前記制御装置は、前記ショベルの向きに基づいて前記カメラ搭載型自律式飛行体の目標回転角度に関する情報を生成し、前記表示装置は、前記カメラ搭載型自律式飛行体が前記目標回転角度だけ回転したときに撮像できる画像と同じ向きで前記撮像画像を表示する。
　上述の手段により、上部旋回体に取り付けられたカメラでは撮像できない空間を撮像可能なカメラが撮像した画像をショベルの操作者に提示できるショベルが提供される。
作業支援システムが利用される作業現場の図である。 作業支援システムのシステム構成図である。 追従開始処理のフローチャートである。 リモコンの正面図である。 リモコンの正面図である。 追従処理の流れの一例を示すフローチャートである。 追従処理の流れの一例を示すフローチャートである。 飛行体の目標飛行位置の例を示す図である。 飛行体の目標飛行位置の例を示す図である。 飛行体の目標飛行位置の例を示す図である。 飛行体の目標飛行位置の例を示す図である。 飛行体の目標飛行位置の別の例を示す図である。 飛行体の目標飛行位置の別の例を示す図である。 追従処理の流れの別の一例を示すフローチャートである。 追従処理の流れの別の一例を示すフローチャートである。 追従処理の流れの更に別の一例を示すフローチャートである。 接触回避処理の流れの一例を示すフローチャートである。 接触回避処理の流れの一例を示すフローチャートである。 回避飛行が実行されるときのショベルと飛行体との関係を示す図である。 接触回避処理の流れの別の一例を示すフローチャートである。 接触回避処理の流れの別の一例を示すフローチャートである。 接触回避処理の流れの更に別の一例を示すフローチャートである。 ショベル、飛行体、及びダンプトラックの側面図である。 ショベル、飛行体、及びダンプトラックの相対位置関係を示す図である。 図１５Ａ１における飛行体のカメラが撮像した撮像画像を示す図である。 ショベル、飛行体、及びダンプトラックの相対位置関係の別の一例を示す図である。 図１５Ｂ１における飛行体のカメラが撮像した撮像画像を示す図である。 ショベル、飛行体、及びダンプトラックの相対位置関係の更に別の一例を示す図である。 図１５Ｃ１における飛行体のカメラが撮像した撮像画像を示す図である。 画像回転処理の流れの一例を示すフローチャートである。 画像回転処理の流れの一例を示すフローチャートである。 画像回転処理の流れの別の一例を示すフローチャートである。 画像回転処理の流れの別の一例を示すフローチャートである。 画像回転処理の流れの更に別の一例を示すフローチャートである。 画像回転処理の流れの更に別の一例を示すフローチャートである。 画像回転処理の流れの更に別の一例を示すフローチャートである。 ショベル、飛行体、及びダンプトラックの相対位置関係を示す図である。 図２０Ａにおける飛行体のカメラが撮像した撮像画像を示す図である。 図２０Ａにおける飛行体のカメラが撮像した撮像画像を示す図である。 飛行体が撮像した撮像画像に基づいてショベルの位置及び向きを導き出す方法を説明する図である。 飛行体が撮像した撮像画像に基づいてショベルの位置及び向きを導き出す方法を説明する図である。 飛行体が撮像した撮像画像に基づいて基準面に対するショベルの接地面の高さ又は深さを導き出す方法を説明する図である。 飛行体が撮像した撮像画像に基づいて基準面に対するショベルの接地面の高さ又は深さを導き出す方法を説明する図である。 飛行体が撮像した撮像画像に基づいて基準面に対するショベルの接地面の高さ又は深さを導き出す方法を説明する図である。 マシンガイダンス処理の一例を示すフローチャートである。 マシンガイダンス処理の一例を示すフローチャートである。 マシンガイダンス処理の別の一例を示すフローチャートである。 マシンガイダンス処理の別の一例を示すフローチャートである。 マシンガイダンス処理の更に一例を示すフローチャートである。 マシンガイダンス処理の更に一例を示すフローチャートである。 流体補給システムが利用される作業現場の図である。 流体補給システムのシステム構成図である。 燃料補給前処理のフローチャートである。 燃料補給前処理のフローチャートである。 ドッキング装置の配置を示す上部旋回体の図である。 ドッキング装置の配置を示す上部旋回体の図である。 ドッキング装置の動作を説明する図である。 ドッキング装置の動作を説明する図である。 ドッキング装置の動作を説明する図である。 ドッキング装置の動作を説明する図である。 燃料補給後処理のフローチャートである。 燃料補給後処理のフローチャートである。 ドッキング装置の別の一例を説明する図である。 ドッキング装置の別の一例を説明する図である。 ドッキング装置の別の一例を説明する図である。 ドッキング装置の別の一例を説明する図である。
　最初に、図１を参照し、本発明の実施例に係るショベル（掘削機）１００及び飛行体２００を含む作業支援システムについて説明する。図１は、作業支援システムが利用される作業現場の図である。
　作業支援システムは、主に、ショベル１００、飛行体２００、及びリモコン３００で構成される。作業支援システムを構成するショベル１００は、１台であってもよく、複数台であってもよい。図１の例は、２台のショベル１００Ａ、１００Ｂを含む。
　飛行体２００は、遠隔操作又は自動操縦により飛行させることができる自律式飛行体であり、例えば、マルチコプタ、飛行船等を含む。本実施例では、カメラを搭載したクワッドコプタである。リモコン３００は、飛行体２００を遠隔操作するためのリモートコントローラである。
　ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。作業要素としてのブーム４、アーム５、及びバケット６はアタッチメントの一例である掘削アタッチメントを構成する。ブーム４、アーム５、バケット６は、ブームシリンダ７、アームシリンダ８、バケットシリンダ９によりそれぞれ油圧駆動される。上部旋回体３にはキャビン１０が設けられ、エンジン１１等の動力源が搭載される。
　上部旋回体３には送信装置Ｓ１、受信装置Ｓ２、測位装置Ｓ３、姿勢検出装置Ｓ４、向き検出装置Ｓ５、表示装置４０等が取り付けられる。
　送信装置Ｓ１はショベル１００の外部に向けて情報を発信する。送信装置Ｓ１は、例えば、飛行体２００及びリモコン３００の少なくとも一方が受信可能な情報を所定周期で繰り返し発信する。本実施例では、送信装置Ｓ１は飛行体２００が受信可能な情報を所定周期で繰り返し発信する。送信装置Ｓ１は、飛行体２００が発信した情報を受信した場合に限り飛行体２００に向けて情報を発信してもよい。
　受信装置Ｓ２はショベル１００の外部からの情報を受信する。受信装置Ｓ２は、例えば、飛行体２００及びリモコン３００の少なくとも一方が発信する情報を受信する。本実施例では、受信装置Ｓ２は飛行体２００が発信した情報を受信する。
　測位装置Ｓ３はショベル１００の位置に関する情報を取得する。本実施例では、測位装置Ｓ３はＧＮＳＳ（ＧＰＳ）受信機であり、ショベル１００の存在位置の緯度、経度、高度を測定する。
　姿勢検出装置Ｓ４はショベルの姿勢を検出する。ショベルの姿勢は、例えば、掘削アタッチメントの姿勢である。本実施例では、姿勢検出装置Ｓ４は、ブーム角度センサ、アーム角度センサ、バケット角度センサ、及び機体傾斜センサを含む。ブーム角度センサは、ブーム角度を取得するセンサであり、例えば、ブームフートピンの回転角度を検出する回転角度センサ、ブームシリンダ７のストローク量を検出するストロークセンサ、ブーム４の傾斜角度を検出する傾斜（加速度）センサ等を含む。アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体３の傾斜角度を検出する。本実施例では、機体傾斜センサは上部旋回体３の前後軸及び左右軸回りの傾斜角を検出する２軸加速度センサである。なお、上部旋回体３の前後軸及び左右軸は、例えば、互いに直交してショベル１００の旋回軸上の一点であるショベル中心点を通る。機体傾斜センサは３軸加速度センサであってもよい。
　向き検出装置Ｓ５は、ショベル１００の向きを検出する。向き検出装置Ｓ５は、地磁気センサ、旋回機構２の旋回軸に関するレゾルバ又はエンコーダ、ジャイロセンサ等で構成される。向き検出装置Ｓ５は、２つのＧＮＳＳ受信機を含むＧＮＳＳコンパスで構成されてもよい。本実施例では、向き検出装置Ｓ５は、３軸地磁気センサとジャイロセンサの組み合わせで構成される。
　表示装置４０は、各種情報を表示する装置であり、キャビン１０内の運転席の近傍に配置されている。本実施例では、表示装置４０は飛行体２００が撮像した画像を表示可能である。
　次に図２を参照し、作業支援システムの構成について説明する。図２は作業支援システムのシステム構成図である。
　ショベル１００は、エンジン１１、メインポンプ１４、パイロットポンプ１５、コントロールバルブ１７、操作装置２６、コントローラ３０、エンジン制御装置７４等で構成される。
　エンジン１１はショベル１００の駆動源であり、例えば、所定の回転数を維持するように動作するディーゼルエンジンである。エンジン１１の出力軸はメインポンプ１４及びパイロットポンプ１５の入力軸に接続される。
　メインポンプ１４は、高圧油圧ライン１６を介して作動油をコントロールバルブ１７に供給する斜板式可変容量型油圧ポンプである。メインポンプ１４は、斜板傾転角の変化に応じて１回転当たりの吐出流量が変化する。斜板傾転角はレギュレータ１４ａにより制御される。レギュレータ１４ａはコントローラ３０からの制御電流の変化に応じて斜板傾転角を変化させる。
　パイロットポンプ１５は、パイロットライン２５を介して操作装置２６等の各種油圧制御機器に作動油を供給する固定容量型油圧ポンプである。
　コントロールバルブ１７は油圧アクチュエータに関する作動油の流れを制御する流量制御弁のセットである。コントロールバルブ１７は、操作装置２６の操作方向及び操作量に対応するパイロット圧の変化に応じ、メインポンプ１４から高圧油圧ライン１６を通じて受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給する。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左走行用油圧モータ１Ａ、右走行用油圧モータ１Ｂ、旋回用油圧モータ２Ａ等を含む。
　操作装置２６は、ショベル１００の操作者が油圧アクチュエータの操作のために用いる装置である。操作装置２６はパイロットライン２５を介してパイロットポンプ１５から作動油の供給を受けてパイロット圧を生成する。そして、パイロットライン２５ａを通じ、対応する流量制御弁のパイロットポートにそのパイロット圧を作用させる。パイロット圧は操作装置２６の操作方向及び操作量に応じて変化する。パイロット圧センサ１５ａはパイロット圧を検出し、その検出値をコントローラ３０に対して出力する。
　コントローラ３０は、ショベル１００を制御するための制御装置である。本実施例では、コントローラ３０はＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータで構成される。コントローラ３０のＣＰＵは、各種機能に対応するプログラムをＲＯＭから読み出してＲＡＭにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現させる。
　エンジン制御装置７４はエンジン１１を制御する装置である。エンジン制御装置７４は、例えば、入力装置を介して設定されたエンジン回転数が実現されるように燃料噴射量等を制御する。
　送信装置Ｓ１、受信装置Ｓ２、測位装置Ｓ３、姿勢検出装置Ｓ４、及び向き検出装置Ｓ５のそれぞれはコントローラ３０に接続される。コントローラ３０は、受信装置Ｓ２、測位装置Ｓ３、姿勢検出装置Ｓ４、及び向き検出装置Ｓ５のそれぞれが出力する情報に基づいて各種演算を実行し、演算結果に基づいて生成した情報を送信装置Ｓ１から外部に発信する。
　飛行体２００は、制御装置２０１、送信装置２０２、受信装置２０３、自律航行装置２０４、カメラ２０５等で構成される。
　制御装置２０１は、飛行体２００を制御するための装置である。本実施例では、制御装置２０１は、ＲＡＭ、ＲＯＭ等を備えたコンピュータで構成される。制御装置２０１のＣＰＵは、各種機能に対応するプログラムをＲＯＭから読み出してＲＡＭにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現させる。
　送信装置２０２は、飛行体２００の外部に向けて情報を発信する。送信装置２０２は、例えば、ショベル１００及びリモコン３００の少なくとも一方が受信可能な情報を所定周期で繰り返し発信する。本実施例では、送信装置２０２は、ショベル１００及びリモコン３００が受信可能な情報を所定周期で繰り返し発信する。ショベル１００及びリモコン３００が受信可能な情報は、例えば、カメラ２０５が撮像した撮像画像を含む。
　受信装置２０３は、飛行体２００の外部からの情報を受信する。受信装置２０３は、例えば、ショベル１００及びリモコン３００のそれぞれが発信する情報を受信する。
　自律航行装置２０４は、飛行体２００の自律航行を実現するための装置である。本実施例では、自律航行装置２０４は、飛行制御装置、電動モータ、及びバッテリを含む。また、飛行体２００は、飛行体２００の位置を独自に判断するためにＧＮＳＳ受信機を搭載していてもよい。また、飛行体２００は、飛行体２００の位置及び向きを独自に判断するために複数のＧＮＳＳ受信機を搭載していてもよい。また、バッテリではなく、有線接続を介して地上の外部電源を用いる場合には、電圧変換を行うコンバータを搭載していてもよい。また、飛行体２００はソーラーパネルを搭載していてもよい。飛行制御装置は、ジャイロセンサ、加速度センサ、地磁気センサ（方位センサ）、気圧センサ、測位センサ、超音波センサ等の各種センサを含み、姿勢維持機能、高度維持機能等を実現する。電動モータは、バッテリから電力の供給を受けてプロペラを回転させる。自律航行装置２０４は、例えば、制御装置２０１から目標飛行位置に関する情報を受けると４つのプロペラの回転速度を別々に制御し、飛行体２００の姿勢及び高度を維持しながら飛行体２００を目標飛行位置に移動させる。目標飛行位置に関する情報は、例えば、目標飛行位置の緯度、経度、及び高度である。制御装置２０１は、例えば、受信装置２０３を通じて目標飛行位置に関する情報を外部から取得する。自律航行装置２０４は、制御装置２０１から目標向きに関する情報を受けて飛行体２００の向きを変化させてもよい。
　カメラ２０５は物体検知情報としての画像を取得するための物体検知装置である。本実施例では、カメラ２０５は飛行体２００の鉛直下方を撮像できるように飛行体２００に取り付けられている。カメラ２０５が撮像した撮像画像は、例えば、飛行体２００の飛行位置である撮像位置に関する情報を含み、３次元地形データを生成するために利用される。また、物体検知装置として、レーザーレンジファインダ、超音波センサ、ミリ波センサ等が用いられてもよい。
　リモコン３００は、制御装置３０１、送信装置３０２、受信装置３０３、表示装置３０４、操作入力装置３０５等で構成される。
　制御装置３０１は、リモコン３００を制御するための装置である。本実施例では、制御装置３０１は、ＲＡＭ、ＲＯＭ等を備えたコンピュータで構成される。制御装置３０１のＣＰＵは、各種機能に対応するプログラムをＲＯＭから読み出してＲＡＭにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現させる。
　送信装置３０２は、リモコン３００の外部に向けて情報を発信する。送信装置３０２は、例えば、飛行体２００が受信可能な情報を所定周期で繰り返し発信する。ショベル１００が受信可能な情報を発信してもよい。本実施例では、送信装置３０２は、飛行体２００が受信可能な情報を所定周期で繰り返し発信する。飛行体２００が受信可能な情報は、例えば、飛行体２００の目標飛行位置に関する情報を含む。
　受信装置３０３は、リモコン３００の外部からの情報を受信する。受信装置３０３は、例えば、ショベル１００及び飛行体２００の少なくとも一方が発信する情報を受信する。本実施例では、受信装置３０３は飛行体２００が発信した情報を受信する。飛行体２００が発信した情報は、例えば、飛行体２００のカメラ２０５が撮像した撮像画像を含む。
　表示装置３０４は、各種情報を表示するための装置である。本実施例では、表示装置３０４は液晶ディスプレイであり、飛行体２００の操縦に関する情報を表示する。飛行体２００のカメラ２０５が撮像した撮像画像を表示してもよい。
　操作入力装置３０５は、飛行体２００の操縦者の操作入力を受けるための装置である。本実施例では、操作入力装置３０５は、液晶ディスプレイの上に配置されるタッチパネルである。
　次に図３を参照し、作業支援システムの機能について説明する。図３は、作業支援システムが追従機能を開始させる処理（以下、「追従開始処理」とする。）のフローチャートである。追従機能は、飛行体２００がショベル１００に自動的に追従しながらショベル１００の周囲を撮像してショベル１００に送信する機能である。
　最初に、飛行体２００の操縦者は追従対象のショベルを決定する（ステップＳＴ１）。操縦者は、例えば、リモコン３００の操作入力装置３０５を用い、飛行体２００を追従させたいショベル１００を決定する。
　追従対象のショベルが決定されると、飛行体２００をショベルに追従させる処理（以下、「追従処理」とする。）が開始する（ステップＳＴ２）。そして、飛行体２００は、撮像画像の送信を開始する（ステップＳＴ３）。飛行体２００は、例えば、カメラ２０５が撮像した撮像画像を含む情報を送信装置２０２から所定周期で繰り返し発信する。
　ここで図４を参照し、操縦者がリモコン３００を用いて追従対象のショベルを決定する方法について説明する。図４Ａ及び図４Ｂはリモコン３００の正面図である。図４Ａ及び図４Ｂの各例では、リモコン３００は、表示装置３０４としての液晶ディスプレイと、操作入力装置３０５としてのタッチパネルとを有するスマートフォンである。
　図４Ａは、飛行体２００の受信可能範囲内に３台のショベルが存在する場合を示す。飛行体２００は、例えば、無線通信を介してショベルＩＤ番号を受信することでショベルを認証する。選択ボタンＧ１～Ｇ３は認証されたショベルのそれぞれに対応するソフトウェアボタンである。リモコン３００は、認識されたショベルの台数に応じた数の選択ボタンを表示する。各選択ボタンにはショベルＩＤ番号が付されている。操作ボタンＧ５は、飛行体２００を上昇させ、下降させ、左旋回させ、或いは右旋回させるためのソフトウェアボタンである。操縦者は、操作ボタンＧ５の上部（「上昇」と表示された部分）をタッチ操作することで上昇指令をリモコン３００から飛行体２００に送信して飛行体２００を上昇させることができる。下降、左旋回、及び右旋回についても同様である。操作ボタンＧ６は、飛行体２００を前後左右に移動させるためのソフトウェアボタンである。操縦者は、操作ボタンＧ６の上部（「前」と表示された部分）をタッチ操作することで前進指令をリモコン３００から飛行体２００に送信して飛行体２００を前進させることができる。他の方向への移動についても同様である。
　操縦者は、操作ボタンＧ５、Ｇ６をタッチ操作して飛行体２００を作業現場の上空まで飛行させる。飛行体２００がショベルを認証すると、リモコン３００は、飛行体２００から受信した情報に基づき、認証された３台のショベルのそれぞれに対応する選択ボタンＧ１～Ｇ３を表示する。操縦者は、選択ボタンＧ１～Ｇ３のうちの１つをタッチ操作することで追従対象のショベルを決定する。飛行体２００は、例えば、追従対象のショベルから受信する情報を利用してその追従対象のショベルまで接近する。そして、その追従対象のショベルとの相対位置関係を維持するように追従飛行する。
　図４Ｂは、飛行体２００のカメラ２０５の撮像範囲内に４台のショベルが存在する場合を示す。飛行体２００は、例えば、カメラ２０５が撮像した撮像画像に画像処理を施すことでカメラ２０５の撮像範囲内に存在するショベルを認識する。カメラ画像Ｇ１０は、カメラ２０５が撮像した撮像画像であり、カメラ２０５の撮像範囲内に存在する４台のショベルのそれぞれに対応する４つのショベル画像Ｇ１１～Ｇ１４を含む。リモコン３００は、飛行体２００から受信した情報を用いてカメラ画像Ｇ１０をリアルタイムで表示している。
　操縦者は、４つのショベル画像Ｇ１１～Ｇ１４のうちの１つをタッチ操作することで追従対象のショベルを決定する。その後、飛行体２００は、例えば、追従対象のショベルのショベル画像が撮像画像内の所定位置で所定の大きさを占めるように追従飛行する。すなわち、その追従対象のショベルと飛行体２００との相対位置関係が所定の相対位置関係を維持するように追従飛行する。
　次に図５を参照し、追従処理の一例について説明する。図５Ａはショベル１００における処理の流れを示すフローチャートであり、図５Ｂは飛行体２００における処理の流れを示すフローチャートである。
　最初に、ショベル１００のコントローラ３０は、ショベル１００の位置情報を取得する（ステップＳＴ１１）。コントローラ３０は、例えば、測位装置Ｓ３の出力に基づいてショベル１００の緯度、経度、高度を取得する。また、コントローラ３０は、掘削アタッチメントの姿勢情報、ショベル１００の向き情報、ショベル１００の操作情報等を追加的に取得してもよい。例えば、コントローラ３０は、姿勢検出装置Ｓ４の出力に基づいてブーム角度、アーム角度、バケット角度、機体傾斜角度を取得してもよい。また、コントローラ３０は、向き検出装置Ｓ５の出力に基づいてショベル１００の絶対方位角を取得してもよい。また、コントローラ３０はパイロット圧センサ１５ａの出力に基づいてショベル１００の操作内容を取得してもよい。
　その後、コントローラ３０は位置情報を外部に向けて発信する（ステップＳＴ１２）。例えば、コントローラ３０は、送信装置Ｓ１を通じて位置情報を飛行体２００に対して送信する。また、コントローラ３０は、ショベル１００の向き情報、ショベル１００の操作情報、掘削アタッチメントの姿勢情報等を飛行体２００に送信してもよい。
　そして、コントローラ３０は、ステップＳＴ１１及びステップＳＴ１２を所定の制御周期で繰り返し実行することでショベル１００の位置情報を飛行体２００に継続的に伝えることができる。
　飛行体２００の制御装置２０１は、ショベル１００の位置情報を受信する（ステップＳＴ２１）。例えば、制御装置２０１は、受信装置２０３を通じてショベル１００のコントローラ３０が発信したショベル１００の位置情報を受信する。制御装置２０１は、ショベル１００の向き情報、ショベル１００の操作情報、掘削アタッチメントの姿勢情報等を追加的に受信してもよい。
　その後、制御装置２０１は、目標飛行位置を決定する（ステップＳＴ２２）。例えば、制御装置２０１は、ショベル１００の位置情報に基づいて飛行体２００の目標飛行位置を決定する。目標飛行位置は、例えば、ショベル１００上の所定点から所定の高さだけ高く、且つ、その所定点から所定の距離だけ離れた位置である。所定点は、例えば、ショベル１００の旋回軸上の一点であり、その位置座標はショベル１００の現在位置、すなわち測位装置Ｓ３の現在位置から導き出される。
　制御装置２０１は、所定点の位置座標から１つの目標飛行位置を導き出してもよく、複数の目標飛行位置を導き出してもよい。例えば、制御装置２０１は、ショベル１００上の所定点から所定の高さだけ高く、且つ、旋回軸から所定の距離だけ離れた位置という条件を満たす全ての位置を目標飛行位置として導き出してもよい。また、掘削アタッチメントの姿勢情報を取得している場合には、制御装置２０１は、掘削アタッチメントの現在の旋回半径を上述の所定の距離としてもよい。また、ショベル１００の向き情報を取得している場合には、制御装置２０１は、上述の条件を満たす位置のうち、上面視でショベル１００の前方にある１つの位置を目標飛行位置として導き出してもよい。また、ショベル１００の操作情報を取得している場合には、制御装置２０１は、ショベル１００の操作内容に応じて目標飛行位置を切り替えてもよい。例えば、ショベル１００の走行中と掘削中とで目標飛行位置を切り替えてもよい。
　複数の目標飛行位置を導き出した場合、制御装置２０１は、自律航行装置２０４が出力する飛行体２００の現在の位置情報を追加的に考慮して１つの目標飛行位置を決定してもよい。例えば、複数の目標飛行位置のうち、飛行体２００の現在位置に最も近いものを最終的な目標飛行位置として決定してもよい。
　その後、制御装置２０１は、飛行体２００を目標飛行位置まで移動させる（ステップＳＴ２３）。例えば、制御装置２０１は、自律航行装置２０４に対して目標飛行位置に関する情報を出力する。自律航行装置２０４は、ＧＮＳＳ（ＧＰＳ）航法、慣性航法、又はＧＰＳ航法と慣性航法とを組み合わせたハイブリッド航法を用いて飛行体２００を目標飛行位置まで移動させる。ＧＰＳ航法を用いる場合、自律航行装置２０４は、ショベル１００の絶対位置（緯度、経度、高度）を目標飛行位置に関する情報として取得すればよい。慣性航法を用いる場合、自律航行装置２０４は、前回受信したショベル１００の位置と今回受信したショベル１００の位置との間の変化に関する情報を目標飛行位置に関する情報として取得すればよい。この場合、飛行体２００の受信装置２０３は、ショベル１００の位置情報を継続的に受信すればよい。
　そして、制御装置２０１は、ショベル１００の位置情報を受信する度に、ステップＳＴ２２及びステップＳＴ２３を繰り返し実行することで継続的に飛行体２００をショベル１００に追従させることができる。
　また、飛行体２００が複数のＧＮＳＳ受信機を搭載している場合、制御装置２０１は、飛行体２００の位置及び向き（基準方位に対する旋回角度）を把握できる。この場合、制御装置２０１は、ショベル１００の位置情報及び向き情報を取得すると、ショベル１００及び飛行体２００のそれぞれの位置及び向きを比較できる。そして、ショベル１００の位置及び向きの変化に応じて飛行体２００の位置及び向きを変化させて飛行体２００をショベル１００に追従させることができる。
　次に図６を参照し、飛行体２００の目標飛行位置の具体例について説明する。図６Ａ１及び図６Ａ２は旋回軸Ｌ１から離れた位置が目標飛行位置として設定された場合の状態を示す。図６Ｂ１及び図６Ｂ２は旋回軸Ｌ１上の位置が目標飛行位置として設定された場合の状態を示す。図６Ａ１及び図６Ｂ１はショベル１００及び飛行体２００の側面図であり、図６Ａ２及び図６Ｂ２はショベル１００及び飛行体２００の上面図である。
　図６Ａ１及び図６Ａ２の例では、目標飛行位置は、ショベル１００の所定点Ｐ１から高さＨで且つ上部旋回体３の前後軸Ｌ２上で旋回軸Ｌ１から後方に距離Ｔだけ離れた位置に設定されている。所定点Ｐ１はショベル１００（下部走行体１）の接地面と旋回軸Ｌ１との交点である。この場合、上部旋回体３の前後軸Ｌ２はショベル１００の旋回に応じて回転する。そのため、目標飛行位置もショベル１００の旋回に応じて移動する。飛行体２００は、前後軸Ｌ２が旋回軸Ｌ１回りに回転して目標飛行位置が変化すると、高さＨを維持しながら回転後の前後軸Ｌ２上で旋回軸Ｌ１から後方に距離Ｔだけ離れた位置である新たな目標飛行位置に移動する。
　目標飛行位置は、ショベル１００の所定点Ｐ１から所定の高さで且つ上部旋回体３の前後軸Ｌ２上で旋回軸Ｌ１から前方に所定距離だけ離れた位置に設定されてもよい。所定距離は、例えば、アーム先端位置の真上となるような位置である。このような目標飛行位置は、例えば、ショベル１００が掘削作業又は転圧作業を行っている場合に好適である。
　図６Ｂ１及び図６Ｂ２の例では、目標飛行位置は、旋回軸Ｌ１上で且つ所定点Ｐ１から高さＨの位置に設定されている。この場合、目標飛行位置は、ショベル１００が旋回した場合であっても移動しない。旋回軸Ｌ１の位置は変化しないためである。そのため、飛行体２００は、ショベル１００が旋回した場合であっても静止したまま飛行を継続する。このような目標飛行位置は、例えば、ショベル１００が走行している場合に好適である。
　次に図７を参照し、飛行体２００の目標飛行位置の別の具体例について説明する。図７Ａ及び図７Ｂは、掘削・積み込み作業を行うショベル１００、ショベル１００に追従飛行する飛行体２００、及びショベル１００が排土する土砂を受けるダンプトラック４００の上面図である。図７Ａはショベル１００が掘削アタッチメントを＋Ｙ方向に向けて掘削作業を行っている状態を示し、図７Ｂは掘削作業の後に左旋回が行われて掘削アタッチメントが＋Ｘ方向に向けられた状態を示す。
　図７Ａ及び図７Ｂの例では、目標飛行位置はアーム先端位置の真上となるような位置に設定されている。この場合、アーム先端位置は掘削アタッチメントの姿勢の変化及びショベル１００の旋回に応じて変化する。そのため、目標飛行位置も掘削アタッチメントの姿勢の変化及びショベル１００の旋回に応じて移動する。飛行体２００は、掘削アタッチメントの姿勢及びショベル１００の向きの少なくとも一方が変化して目標飛行位置が変化すると、高さＨを維持しながら新たなアーム先端位置に対応する新たな目標飛行位置に移動する。
　以上の構成により、ショベル１００は、上部旋回体３に取り付けられたカメラでは撮像できない空間を撮像可能なカメラである、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像をキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。
　また、ショベル１００は、送信装置Ｓ１から飛行体２００の目標飛行位置に関する情報を発信することにより、ショベル１００に対して飛行体２００を追従飛行させることができる。例えば、ショベル１００は、掘削アタッチメントのブーム先端位置、アーム先端位置等の所定の部位と飛行体２００との間の水平距離が所定距離を維持するように飛行体２００を追従飛行させることができる。
　また、ショベル１００は、飛行体２００が発信する情報を受信することなく、ショベル１００に飛行体２００を追従させることができる。飛行体２００はショベル１００の位置情報に基づいて飛行体２００の目標飛行位置を決定できるためであり、ショベル１００はショベル１００の位置情報のみを発信すればよいためである。
　また、飛行体２００は、ショベル１００と飛行体２００との間の所定の相対位置関係を維持しながらショベル１００に追従して飛行できる。そのため、カメラ２０５を含む各種センサを用い、ショベル１００が行った作業による地形の変化を検出できる。その結果、飛行体２００が取得したデータに基づいてショベル１００による施工状況がより正確に把握され得る。
　次に図８を参照し、追従処理の別の一例について説明する。図８Ａはショベル１００における処理の流れを示すフローチャートであり、図８Ｂは飛行体２００における処理の流れを示すフローチャートである。図８の例は、ショベル１００のコントローラ３０が目標飛行位置を算出して発信する点で図５の例と相違する。図５の例では、コントローラ３０はショベル１００の位置情報を発信し、飛行体２００の制御装置２０１がショベル１００の位置情報に基づいて目標飛行位置を算出する。
　最初に、コントローラ３０は、ショベル１００の位置情報を取得する（ステップＳＴ３１）。コントローラ３０は、例えば、測位装置Ｓ３の出力に基づいてショベル１００の緯度、経度、高度を取得する。また、コントローラ３０は、掘削アタッチメントの姿勢情報、ショベル１００の向き情報等を追加的に取得してもよい。
　その後、コントローラ３０は、飛行体２００の位置情報を取得する（ステップＳＴ３２）。例えば、コントローラ３０は、受信装置Ｓ２を介して飛行体２００の位置情報を受信する。
　その後、コントローラ３０は飛行体２００の目標飛行位置を決定する（ステップＳＴ３３）。例えば、コントローラ３０は、ショベル１００の位置情報と飛行体２００の位置情報とに基づいて飛行体２００の目標飛行位置を決定する。具体的には、コントローラ３０は、ショベル１００上の所定点から所定の高さだけ高く、且つ、旋回軸から所定の距離だけ離れた位置という条件を満たす全ての位置を目標飛行位置として導き出す。そして、上述の条件を満たす目標飛行位置のうち飛行体２００の現在の位置に最も近いものを最終的な目標飛行位置として導き出す。ショベル１００の向き情報を取得している場合には、コントローラ３０は、上述の条件を満たす位置のうち、上面視でショベル１００の前方にある１つの位置を目標飛行位置として導き出してもよい。この場合、飛行体２００の位置情報を取得するステップＳＴ３２を省略してもよい。
　その後、コントローラ３０は目標飛行位置を外部に向けて発信する（ステップＳＴ３４）。例えば、コントローラ３０は、送信装置Ｓ１を通じて目標飛行位置を飛行体２００に対して送信する。
　そして、コントローラ３０は、ステップＳＴ３１～ステップＳＴ３４を所定の制御周期で繰り返し実行することで目標飛行位置に関する情報を飛行体２００に継続的に伝えることができる。
　飛行体２００の制御装置２０１は所定の制御周期で繰り返し飛行体２００の位置情報を発信する（ステップＳＴ４１）。例えば、制御装置２０１は、飛行体２００の位置情報をショベル１００に向けて送信する。
　そして、制御装置２０１は目標飛行位置を受信する（ステップＳＴ４２）。例えば、制御装置２０１は、受信装置２０３を通じてショベル１００のコントローラ３０が発信した目標飛行位置を受信する。
　その後、制御装置２０１は、飛行体２００を目標飛行位置まで移動させる（ステップＳＴ４３）。例えば、制御装置２０１は、自律航行装置２０４に対して目標飛行位置に関する情報を出力する。自律航行装置２０４は、電波航法、ＧＮＳＳ（ＧＰＳ）航法、慣性航法、ＧＰＳ航法と慣性航法とを組み合わせたハイブリッド航法等を用いて飛行体２００を目標飛行位置まで移動させる。
　そして、制御装置２０１は、目標飛行位置を受信する度に、ステップＳＴ４３を繰り返し実行することで継続的に飛行体２００をショベル１００に追従させることができる。
　以上の構成により、ショベル１００は、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像をキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。
　また、ショベル１００は、送信装置Ｓ１から飛行体２００の目標飛行位置に関する情報を発信することにより、ショベル１００に飛行体２００を追従させることができる。
　また、ショベル１００は、飛行体２００の目標飛行位置を導き出すための演算を飛行体２００で実行させることなく、ショベル１００に飛行体２００を追従させることができる。飛行体２００は、ショベル１００が生成した目標飛行位置に関する情報に応じて追従飛行するだけでよいためである。
　次に図９を参照し、追従処理の更に別の一例について説明する。図９は飛行体２００における処理の流れを示すフローチャートである。図９の例は、ショベル１００から情報を受信することなく、飛行体２００の制御装置２０１が目標飛行位置を決定する点で、図５及び図８のそれぞれにおける例と相違する。
　最初に、飛行体２００の制御装置２０１はショベル画像を含む撮像画像を取得する（ステップＳＴ５１）。例えば、制御装置２０１は、ショベル１００の上空を飛行する飛行体２００のカメラ２０５が撮像した撮像画像を取得する。撮像画像は、ショベル１００の画像であるショベル画像を含む。
　その後、制御装置２０１は、ショベル１００の相対位置を導き出す（ステップＳＴ５２）。例えば、制御装置２０１は、撮像画像にパターンマッチング等の画像処理を施して撮像画像中のショベル画像を見つけ出す。そして、見つけ出したショベル画像の画像位置と撮像画像の中心との位置関係に基づいて実空間における飛行体２００の位置に対するショベル１００の相対的な位置を導き出すことができる。撮像画像の中心に対するショベル画像の画像位置及び方向は、実空間での飛行体２００の位置に対するショベル１００の位置及び方向に対応するためである。ショベル１００の相対的な位置は、ショベル１００と飛行体２００との間の鉛直距離及び水平距離を含む。鉛直距離は撮像画像中のショベル画像の大きさから導き出される。水平距離は撮像画像中のショベル画像の位置から導き出される。
　制御装置２０１は、見つけ出したショベル画像に基づいて飛行体２００の向きに対するショベル１００の相対的な向きを導き出してもよい。飛行体２００の向きに対するショベル１００の相対的な向きは、例えば、撮像画像中における掘削アタッチメントの画像の延在方向と撮像画像の縦軸との間の角度から導き出される。撮像画像の縦軸は、飛行体２００の向きに対応する。
　その後、制御装置２０１は目標飛行位置を決定する（ステップＳＴ５３）。例えば、制御装置２０１は、ステップＳＴ５２で導き出したショベル１００の相対位置に基づいて目標飛行位置を決定する。具体的には、制御装置２０１は、撮像画像中でショベル画像を所定の大きさで所定位置に表示するために必要な飛行体２００の動き（所要動作）を導き出す。例えば、１メートル上昇し且つ北に２メートル移動すればそのときの撮像画像中の所定位置に所定の大きさでショベル画像を表示できる場合、飛行体２００の所要動作は「１メートル上昇」及び「北方へ２メートル移動」である。これは、飛行体２００の現在位置に対して１メートル高く且つ北方に２メートル離れた位置に目標飛行位置が設定されることを意味する。すなわち、制御装置２０１は、飛行体２００の所要動作を導き出すことで目標飛行位置を決定できる。
　撮像画像中の所定位置は、例えば、撮像画像の中心、又は、その中心から所定の画素数だけ離れた１又は複数の領域である。撮像画像の中心にショベル画像が位置することは、例えば、飛行体２００の真下にショベル１００が存在することを意味する。
　ショベル１００の相対的な位置に加えて相対的な向きを導き出している場合、制御装置２０１は、例えば、撮像画像の中心から所定の方向に所定の画素数だけ離れた一領域を撮像画像中の所定位置として特定できる。
　その後、制御装置２０１は、飛行体２００を目標飛行位置まで移動させる（ステップＳＴ５４）。例えば、制御装置２０１は、自律航行装置２０４に対して目標飛行位置に関する情報を出力する。自律航行装置２０４は、ＧＮＳＳ（ＧＰＳ）航法、慣性航法、又はＧＰＳ航法と慣性航法とを組み合わせたハイブリッド航法を用いて飛行体２００を目標飛行位置まで移動させる。
　そして、制御装置２０１は、撮像画像を取得する度に、ステップＳＴ５２～ステップＳＴ５４を繰り返し実行することで継続的に飛行体２００をショベル１００に追従させることができる。
　以上の構成により、ショベル１００は、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像をキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。
　飛行体２００は、カメラ２０５の撮像画像に基づいてショベル１００の位置を導き出すことができるため、ショベル１００が生成した情報を受信することなく、ショベル１００に追従して飛行できる。
　また、図９の例では、物体検知装置としてカメラ２０５を用いる場合を示したが、物体検知装置としてレーザーレンジファインダ、超音波センサ、ミリ波センサ等が用いられてもよい。この場合、カメラ画像ではなく、レーザ、超音波、ミリ波等に基づく情報が物体検知情報として採用される。
　次に図１０を参照し、作業支援システムの別の機能について説明する。図１０は、作業支援システムがショベル１００と飛行体２００との接触を回避させる処理（以下、「接触回避処理」とする。）のフローチャートである。図１０Ａはショベル１００における処理の流れを示すフローチャートであり、図１０Ｂは飛行体２００における処理の流れを示すフローチャートである。図１０の例では、飛行体２００はリモコン３００を介して操縦者によって遠隔操作されている。但し、以下の説明は、操縦者の遠隔操作によらずに自律飛行している場合にも同様に適用される。
　最初に、ショベル１００のコントローラ３０は、ショベル１００の位置情報を取得する（ステップＳＴ６１）。コントローラ３０は、例えば、測位装置Ｓ３の出力に基づいてショベル１００の緯度、経度、高度を取得する。また、コントローラ３０は、掘削アタッチメントの姿勢情報、ショベル１００の向き情報、ショベル１００の操作情報等を追加的に取得してもよい。例えば、コントローラ３０は、姿勢検出装置Ｓ４の出力に基づいてブーム角度、アーム角度、バケット角度、機体傾斜角度を取得してもよい。また、コントローラ３０は、向き検出装置Ｓ５の出力に基づいてショベル１００の絶対方位角を取得してもよい。また、コントローラ３０はパイロット圧センサ１５ａの出力に基づいてショベル１００の操作内容を取得してもよい。
　その後、コントローラ３０は位置情報を外部に向けて発信する（ステップＳＴ６２）。例えば、コントローラ３０は、送信装置Ｓ１を通じて位置情報を飛行体２００に対して送信する。また、コントローラ３０は、ショベル１００の向き情報、ショベル１００の操作情報、掘削アタッチメントの姿勢情報等を飛行体２００に送信してもよい。
　そして、コントローラ３０は、ステップＳＴ６１及びステップＳＴ６２を所定の制御周期で繰り返し実行することでショベル１００の位置情報を飛行体２００に継続的に伝えることができる。
　飛行体２００の制御装置２０１は、ショベル１００の位置情報を受信する（ステップＳＴ７１）。例えば、制御装置２０１は、受信装置２０３を通じてショベル１００のコントローラ３０が発信したショベル１００の位置情報を受信する。制御装置２０１は、ショベル１００の向き情報、ショベル１００の操作情報、掘削アタッチメントの姿勢情報等を追加的に受信してもよい。
　その後、制御装置２０１は、飛行禁止空間を決定する（ステップＳＴ７２）。例えば、制御装置２０１は、ショベル１００の位置情報に基づいて飛行体２００の飛行禁止空間を決定する。飛行禁止空間は、例えば、ショベル１００上の所定点から所定距離範囲内の空間である。所定点は、例えば、ショベル１００の旋回軸上の一点であり、その位置座標はショベル１００の現在位置、すなわち測位装置Ｓ３の現在位置から導き出される。この場合、飛行禁止空間は、例えば、掘削アタッチメントの到達可能範囲であってもよい。
　掘削アタッチメントの姿勢情報を取得している場合には、制御装置２０１は、掘削アタッチメントの現在の旋回半径に基づいて上述の所定距離を決定してもよい。この場合、飛行禁止空間は、例えば、掘削アタッチメントを現在の姿勢で維持したまま旋回したときの掘削アタッチメントの到達可能範囲であってもよい。
　また、ショベル１００の向き情報を取得している場合には、制御装置２０１は、ショベル１００の向きに基づいて飛行禁止空間の形状を決定してもよい。例えば、ショベル１００の旋回軸を中心とする上面視扇形の飛行禁止空間を設定してもよい。この場合、飛行禁止空間は、例えば、掘削アタッチメントの中心軸を含む平面によって二等分されるように定められてもよい。
　また、ショベル１００の操作情報を取得している場合には、制御装置２０１は、ショベル１００の操作内容に応じて飛行禁止空間の形状を変更してもよい。例えば、左旋回操作が行われた場合、上面視扇形の飛行禁止空間は、掘削アタッチメントの中心軸を含む平面がその右端面となるように定められてもよい。また、旋回操作レバーの操作量が大きいほど扇形の中心角が大きくなるように定められてもよい。
　その後、制御装置２０１は、飛行禁止空間内に飛行体２００が存在するかを判定する（ステップＳＴ７３）。例えば、制御装置２０１は、自律航行装置２０４の出力に基づいて飛行体２００の現在位置を導き出し、ショベル１００上の所定点と飛行体２００の現在位置との距離を導き出す。そして、その距離が所定距離以下の場合に飛行禁止空間内に飛行体２００が存在すると判定する。ショベル１００の向き情報、操作情報、姿勢情報等を考慮して飛行禁止空間が決定されている場合には、制御装置２０１は、例えば、自律航行装置２０４の出力に基づいてショベル１００上の所定点に関する飛行体２００の存在方向を追加的に導き出してもよい。
　飛行禁止空間内に飛行体２００が存在すると判定した場合（ステップＳＴ７３のＹＥＳ）、制御装置２０１は回避飛行を実行する（ステップＳＴ７４）。例えば、制御装置２０１は、飛行体２００を目標回避位置まで移動させる。具体的には、制御装置２０１は、自律航行装置２０４に対して目標回避位置に関する情報を出力する。自律航行装置２０４は、ＧＮＳＳ（ＧＰＳ）航法、慣性航法、又はＧＰＳ航法と慣性航法とを組み合わせたハイブリッド航法を用いて飛行体２００を目標回避位置まで移動させる。
　目標回避位置は、飛行禁止空間の外側に設定される目標飛行位置であり、例えば、飛行禁止空間の外側の位置のうち飛行体２００の現在位置に最も近い位置である。また、複数のショベルに由来する複数の飛行禁止空間の重複部分に飛行体２００が位置する場合、目標回避位置は、全ての飛行禁止空間の外側の位置のうち飛行体２００の現在位置に最も近い位置として設定される。但し、目標回避位置に関する情報は、目標飛行方向と目標飛行距離のみであってもよい。例えば、鉛直上方に所定高さだけ飛行体２００を上昇させる命令であってもよい。
　回避飛行を実行する場合、制御装置２０１は、リモコン３００を介した操縦者の遠隔操作の内容にかかわらず、飛行体２００を強制的に目標回避位置に移動させる。例えば、操縦者が飛行体２００を静止飛行させている場合であっても飛行体２００を強制的に目標回避位置に移動させる。
　制御装置２０１は、ショベル１００に向けて動作制限指令を送信してもよい。動作制限指令を受信したショベル１００は、例えば、油圧アクチュエータの動きを強制的に鈍化させ或いは停止させる。ショベル１００と飛行体２００との接触をより確実に防止するためである。
　制御装置２０１は、回避飛行の一環として飛行体２００を飛行禁止空間に進入させないように飛行体２００を制御してもよい。例えば、制御装置２０１は、飛行体２００の操縦者が飛行体２００を飛行禁止空間に進入させようとする遠隔操作を行った場合であっても、飛行体２００を静止飛行させて飛行禁止空間への進入を防止する。
　リモコン３００は、回避飛行が実行された場合、回避飛行が実行されたことを操縦者に通知してもよい。例えば、リモコン３００は、回避飛行が実行されたことを表すテキストメッセージを表示装置３０４に表示させる。
　同様に、ショベル１００のコントローラ３０は、回避飛行が実行された場合、特に回避飛行の実行に伴って油圧アクチュエータの動作が制限された場合、回避飛行が実行されたことをショベル１００の操作者に通知してもよい。例えば、コントローラ３０は、回避飛行が実行されたことを表すテキストメッセージを表示装置４０に表示させる。
　そして、制御装置２０１は、ショベルの位置情報を受信する度に、ステップＳＴ７２～ステップＳＴ７４を繰り返し実行することで飛行禁止空間の外で継続的に飛行体２００を飛行させることができる。
　図１０の接触回避処理を採用する場合、ショベル１００の受信装置Ｓ２は省略されてもよい。
　図１１は、回避飛行が実行されるときのショベル１００と飛行体２００との関係を示す図である。図は、＋Ｘ方向を向くショベル１００の操作者が旋回操作を行ってショベル１００を旋回軸Ｌ１回りに旋回させて－Ｘ方向に向けようとしている様子を示す。飛行体２００は飛行禁止空間内に位置しており、ショベル１００が－Ｘ方向に向けられると掘削アタッチメントと接触するおそれがある。
　制御装置２０１は、飛行禁止空間内に飛行体２００が存在すると判定した場合、飛行禁止空間の外側にある目標回避位置まで飛行体２００を強制的に移動させる。図１１の矢印ＡＲ１は、飛行体２００が目標回避位置まで強制的に移動させられる様子を示す。
　飛行禁止空間内に飛行体２００が存在しないと判定した場合（ステップＳＴ７３のＮＯ）、制御装置２０１は回避飛行を実行することなく今回の処理を終了させる。
　以上の構成により、ショベル１００及び飛行体２００は互いに接触するのを防止できる。具体的には、ショベル１００は、ショベル１００の周囲に設定される飛行禁止空間に関する情報を飛行体２００に伝えることで、必要に応じて飛行体２００に回避飛行を実行させることができる。また、ショベル１００は、飛行体２００が飛行禁止空間内に位置する場合に油圧アクチュエータの動きを制限してもよい。そのため、ショベル１００の操作者は、ショベル１００と飛行体２００との接触を心配することなくショベル１００の操作に集中できる。飛行体２００はショベル１００に属する飛行禁止空間に進入しないように自律飛行する。また、飛行禁止空間内に位置する場合には速やかに飛行禁止空間から退出するように自律飛行する。そのため、飛行体２００の操縦者は、ショベル１００と飛行体２００との接触を心配することなく飛行体２００の操縦に集中できる。
　次に図１２を参照し、接触回避処理の別の一例について説明する。図１２は、接触回避処理の流れの別の一例を示すフローチャートである。図１２Ａはショベル１００における処理の流れを示すフローチャートであり、図１２Ｂは飛行体２００における処理の流れを示すフローチャートである。図１２の例は、ショベル１００のコントローラ３０が飛行禁止空間を決定する点で図１０の例と相違する。図１０の例では、コントローラ３０はショベル１００の位置情報を発信し、飛行体２００の制御装置２０１がショベル１００の位置情報に基づいて飛行禁止空間を決定する。
　最初に、ショベル１００のコントローラ３０は、ショベル１００の位置情報を取得する（ステップＳＴ８１）。コントローラ３０は、例えば、測位装置Ｓ３の出力に基づいてショベル１００の緯度、経度、高度を取得する。また、コントローラ３０は、掘削アタッチメントの姿勢情報、ショベル１００の向き情報、ショベル１００の操作情報等を追加的に取得してもよい。例えば、コントローラ３０は、姿勢検出装置Ｓ４の出力に基づいてブーム角度、アーム角度、バケット角度、機体傾斜角度を取得してもよい。また、コントローラ３０は、向き検出装置Ｓ５の出力に基づいてショベル１００の絶対方位角を取得してもよい。また、コントローラ３０はパイロット圧センサ１５ａの出力に基づいてショベル１００の操作内容を取得してもよい。
　その後、コントローラ３０は、飛行体２００の位置情報を取得する（ステップＳＴ８２）。例えば、コントローラ３０は、受信装置Ｓ２を介して飛行体２００の位置情報を受信する。
　その後、コントローラ３０はショベル１００に関する飛行禁止空間を決定する（ステップＳＴ８３）。例えば、コントローラ３０は、ショベル１００の位置情報に基づいて飛行禁止空間を決定する。コントローラ３０は、上述と同様に、ショベル１００の向き情報、ショベル１００の操作情報、掘削アタッチメントの姿勢情報等を追加的に考慮して飛行禁止空間を決定してもよい。
　その後、コントローラ３０は、飛行禁止空間内に飛行体２００が存在するかを判定する（ステップＳＴ８４）。例えば、コントローラ３０は、ショベル１００上の所定点と飛行体２００の現在位置との距離が所定距離以下の場合に飛行禁止空間内に飛行体２００が存在すると判定する。
　飛行禁止空間内に飛行体２００が存在すると判定した場合（ステップＳＴ８４のＹＥＳ）、コントローラ３０は回避飛行に関する情報を発信する（ステップＳＴ８５）。例えば、コントローラ３０は、送信装置Ｓ１を通じて回避飛行に関する情報を飛行体２００に対して送信する。回避飛行に関する情報は、例えば、目標回避位置に関する情報を含む。
　この場合、コントローラ３０は、油圧アクチュエータの動きを強制的に制限してもよい。例えば、ショベル１００が旋回中であれば、コントローラ３０は、その旋回を鈍化させ或いは停止させてもよい。ショベル１００と飛行体２００との接触をより確実に防止するためである。
　コントローラ３０は、飛行禁止空間内に飛行体２００が存在するとして油圧アクチュエータの動作を制限した場合、飛行禁止空間内に飛行体２００が存在することをショベル１００の操作者に通知してもよい。例えば、コントローラ３０は、飛行禁止空間内に飛行体２００が存在することを表すテキストメッセージを表示装置４０に表示させてもよい。
　飛行禁止空間内に飛行体２００が存在しないと判定した場合（ステップＳＴ８４のＹＥＳ）、コントローラ３０は回避飛行に関する情報を発信することなく今回の処理を終了させる。
　そして、コントローラ３０は、ステップＳＴ８１～ステップＳＴ８５を所定の制御周期で繰り返し実行することで飛行禁止空間内に飛行体２００が位置する場合に回避飛行に関する情報を飛行体２００に継続的に伝えることができる。
　飛行体２００の制御装置２０１は所定の制御周期で繰り返し飛行体２００の位置情報を発信する（ステップＳＴ９１）。例えば、制御装置２０１は、飛行体２００の位置情報をショベル１００に向けて送信する。
　そして、制御装置２０１は回避飛行に関する情報を受信したかを判定する（ステップＳＴ９２）。
　回避飛行に関する情報を受信したと判定した場合（ステップＳＴ９２のＹＥＳ）、制御装置２０１は回避飛行を実行する（ステップＳＴ９３）。例えば、制御装置２０１は、飛行体２００を目標回避位置まで移動させる。具体的には、制御装置２０１は、自律航行装置２０４に対して目標回避位置に関する情報を出力する。自律航行装置２０４は、ＧＮＳＳ（ＧＰＳ）航法、慣性航法、又はＧＰＳ航法と慣性航法とを組み合わせたハイブリッド航法を用いて飛行体２００を目標回避位置まで移動させる。
　回避飛行を実行する場合、制御装置２０１は、リモコン３００を介した操縦者の遠隔操作の内容にかかわらず、飛行体２００を強制的に目標回避位置に移動させる。例えば、操縦者が飛行体２００を静止飛行させている場合であっても飛行体２００を強制的に目標回避位置に移動させる。
　制御装置２０１は、回避飛行の一環として飛行体２００を飛行禁止空間に進入させないように飛行体２００を制御してもよい。例えば、制御装置２０１は、飛行体２００の操縦者が飛行体２００を飛行禁止空間に進入させようとする遠隔操作を行った場合であっても、飛行体２００を静止飛行させて飛行禁止空間への進入を防止する。
　回避飛行を実行する場合、制御装置２０１は、リモコン３００を介した操縦者の遠隔操作の内容にかかわらず、飛行体２００を強制的に目標回避位置に移動させる。例えば、操縦者が飛行体２００を静止飛行させている場合であっても飛行体２００を強制的に目標回避位置に移動させる。
　リモコン３００は、回避飛行が実行された場合、回避飛行が実行されたことを操縦者に通知してもよい。例えば、リモコン３００は、回避飛行が実行されたことを表すテキストメッセージを表示装置３０４に表示させる。
　回避飛行に関する情報を受信していないと判定した場合（ステップＳＴ９２のＮＯ）、制御装置２０１は回避飛行を実行することなく今回の処理を終了させる。
　そして、制御装置２０１は、回避飛行に関する情報を受信する度に、ステップＳＴ９３を繰り返し実行することで飛行体２００を飛行禁止空間に進入させないようにし、或いは、飛行体２００を飛行禁止空間から速やかに退出させるようにする。
　以上の構成により、ショベル１００及び飛行体２００は互いに接触するのを防止できる。具体的には、ショベル１００は、図１０の例とは異なり、ショベル１００の位置情報ではなく、その位置情報に基づいて生成される回避飛行に関する情報を発信する。そのため、飛行体２００の制御装置２０１は、回避飛行に関する情報を生成するための処理を実行することなく、飛行体２００の回避飛行を実行できる。
　また、飛行体２００が複数のＧＮＳＳ受信機を搭載している場合、制御装置２０１は、飛行体２００の位置及び向き（基準方位に対する旋回角度）を把握できる。この場合、制御装置２０１は、ショベル１００の位置情報及び向き情報並びに掘削アタッチメントの姿勢情報を取得すると、掘削アタッチメントの所定部位及び飛行体２００のそれぞれの位置を比較し、且つ、掘削アタッチメント及び飛行体２００のそれぞれの向きを比較できる。そして、掘削アタッチメントの姿勢及び向きの変化に応じて飛行体２００を回避飛行させることができる。
　次に図１３を参照し、接触回避処理の更に別の一例について説明する。図１３は、接触回避処理の流れの更に別の一例を示すフローチャートである。図１３の例は、ショベル１００から情報を受信することなく、飛行体２００の制御装置２０１が飛行禁止空間を決定する点で、図１０及び図１２のそれぞれにおける例と相違する。
　最初に、飛行体２００の制御装置２０１はショベル画像を含む撮像画像を取得する（ステップＳＴ１０１）。例えば、制御装置２０１は、ショベル１００の上空を飛行する飛行体２００のカメラ２０５が撮像した撮像画像を取得する。撮像画像は、ショベル１００の画像であるショベル画像を含む。
　その後、制御装置２０１は、ショベル１００の相対位置を導き出す（ステップＳＴ１０２）。例えば、制御装置２０１は、撮像画像にパターンマッチング等の画像処理を施して撮像画像中のショベル画像を見つけ出す。そして、見つけ出したショベル画像の画像位置と撮像画像の中心との位置関係に基づいて実空間における飛行体２００の位置に対するショベル１００の相対的な位置を導き出すことができる。撮像画像の中心に対するショベル画像の画像位置及び方向は、上面視での飛行体２００の位置に対するショベル１００の位置及び方向に対応するためである。ショベル１００の相対的な位置は、ショベル１００と飛行体２００との間の鉛直距離及び水平距離を含む。鉛直距離は撮像画像中のショベル画像の大きさから導き出される。水平距離は撮像画像中のショベル画像の位置から導き出される。
　制御装置２０１は、見つけ出したショベル画像に基づいて飛行体２００の向きに対するショベル１００の相対的な向きを導き出してもよい。飛行体２００の向きに対するショベル１００の相対的な向きは、例えば、撮像画像中における掘削アタッチメントの画像の延在方向と撮像画像の縦軸との間の角度から導き出される。撮像画像の縦軸は、飛行体２００の向きに対応する。
　その後、制御装置２０１は飛行禁止空間を決定する（ステップＳＴ１０３）。例えば、制御装置２０１は、ステップＳＴ１０２で導き出したショベル１００の相対位置に基づいて飛行禁止空間を決定する。具体的には、制御装置２０１は、ショベル１００の相対位置としてショベル１００の接地面と旋回軸との交点を導き出し、その交点から所定距離範囲内の空間を飛行禁止空間として導き出す。
　その後、制御装置２０１は、飛行禁止空間内に飛行体２００が存在するかを判定する（ステップＳＴ１０４）。例えば、制御装置２０１は、撮像画像におけるショベル画像の位置及び大きさに基づいて飛行禁止空間内に飛行体２００が存在するかを判定する。具体的には、撮像画像の中心から所定の画素数の範囲内にショベル１００のショベル画像が存在し、且つ、そのショベル画像の大きさが所定の大きさ以上の場合に、ショベル１００に属する飛行禁止空間内に飛行体２００が存在すると判定する。飛行体２００がショベル１００に属する飛行禁止空間内に存在する場合、撮像画像には所定の大きさ以上で所定の範囲内にショベル１００のショベル画像が映り込むためである。
　或いは、制御装置２０１は、自律航行装置２０４の出力に基づいて飛行体２００の現在位置を導き出し、上述の交点と飛行体２００の現在位置との距離を導き出してもよい。そして、その距離が所定距離以下の場合に飛行禁止空間内に飛行体２００が存在すると判定してもよい。ショベル１００の向き情報、操作情報、姿勢情報等を考慮して飛行禁止空間が決定されている場合には、制御装置２０１は、例えば、自律航行装置２０４の出力に基づいてその交点に関する飛行体２００の存在方向を追加的に導き出してもよい。
　飛行禁止空間内に飛行体２００が存在すると判定した場合（ステップＳＴ１０４のＹＥＳ）、制御装置２０１は回避飛行を実行する（ステップＳＴ１０５）。例えば、制御装置２０１は、飛行体２００を目標回避位置まで移動させる。
　回避飛行を実行する場合、制御装置２０１は、リモコン３００を介した操縦者の遠隔操作の内容にかかわらず、飛行体２００を強制的に目標回避位置に移動させる。また、制御装置２０１は、ショベル１００に向けて動作制限指令を送信してもよい。また、制御装置２０１は、回避飛行の一環として飛行体２００を飛行禁止空間に進入させないように飛行体２００を制御してもよい。
　リモコン３００は、回避飛行が実行された場合、回避飛行が実行されたことを操縦者に通知してもよい。同様に、ショベル１００のコントローラ３０は、回避飛行が実行された場合、特に回避飛行の実行に伴って油圧アクチュエータの動作が制限された場合、回避飛行が実行されたことをショベル１００の操作者に通知してもよい。
　飛行禁止空間内に飛行体２００が存在しないと判定した場合（ステップＳＴ１０４のＮＯ）、制御装置２０１は回避飛行を実行することなく今回の処理を終了させる。
　このように、制御装置２０１は、撮像画像を取得する度に、ステップＳＴ１０２～ステップＳＴ１０５を繰り返し実行して飛行体２００を飛行禁止空間に進入させないようにし、或いは、飛行体２００を飛行禁止空間から速やかに退出させるようにする。
　図１３の接触回避処理を採用する場合、ショベル１００の受信装置Ｓ２は省略されてもよい。
　以上の構成により、ショベル１００及び飛行体２００は互いに接触するのを防止できる。具体的には、飛行体２００は、図８及び図１０の例とは異なり、ショベル１００が生成した情報を受信することなく、ショベル１００に属する飛行禁止空間を特定できる。そして、飛行体２００はショベル１００に属する飛行禁止空間に進入しないように自律飛行でき、飛行禁止空間内に位置する場合には速やかに飛行禁止空間から退出するように自律飛行できる。
　次に図１４及び図１５を参照し、作業支援システムの更に別の機能である画像回転機能について説明する。画像回転機能は、飛行体２００のカメラ２０５の撮像画像がショベル１００の表示装置４０において所定の向きで表示されるように撮像画像を回転させる機能である。図１４は、掘削・積み込み作業を行うショベル１００、ショベル１００に追従飛行する飛行体２００、及びショベル１００が排土する土砂を受けるダンプトラック４００の側面図である。図１５はショベル１００、飛行体２００、及びダンプトラック４００の相対位置関係と表示装置４０に表示された撮像画像の３つの組み合わせを示す。図１５Ａ１、図１５Ｂ１、図１５Ｃ１が相対位置関係を示し、図１５Ａ２、図１５Ｂ２、図１５Ｃ２が表示装置４０に表示された撮像画像を示す。また、図１５Ａ１と図１５Ａ２とが対応し、図１５Ｂ１と図１５Ｂ２とが対応し、図１５Ｃ１と図１５Ｃ２とが対応する。
　図１４及び図１５Ａ１に示す例では、ショベル１００は、掘削アタッチメントを＋Ｙ方向に向けて掘削作業を行っている。また、図１４の矢印ＡＲ２で示すように左旋回により掘削アタッチメントを＋Ｘ方向に向けてダンプトラック４００の荷台に土砂を排土して積み込み作業を行っている。飛行体２００は、掘削アタッチメントのアーム先端位置の真上あたりを飛行するように所定の飛行高度を維持しながら追従飛行している。
　また、図１５Ａ１に示すように、ショベル１００が掘削アタッチメントを＋Ｙ方向に向けて掘削作業を行っている場合、飛行体２００は掘削アタッチメントの向きと同じ＋Ｙ方向を向いている。図１５Ａ１中の飛行体２００のところにある黒色三角形は飛行体２００が＋Ｙ方向を向いていることを示す。この場合、表示装置４０は、図１５Ａ２に示すように、アーム先端位置の画像が画面中央に位置し、且つ、掘削アタッチメントの画像が表示装置４０の縦軸に平行に延びるように撮像画像を表示する。
　掘削作業の後に左旋回が行われて掘削アタッチメントが＋Ｘ方向に向けられると、図１５Ｂ１に示すようにアーム先端位置はダンプトラック４００の荷台の真上に移動する。このとき、アーム先端位置の移動に追従する飛行体２００の向きが固定されていると、表示装置４０は、図１５Ｂ２に示すように、掘削アタッチメントの画像が表示装置４０の横軸に平行に延びるように撮像画像を表示する。
　しかしながら、表示装置４０に表示されている掘削アタッチメントの画像の向きがこのように上部旋回体３の旋回に応じて変化すると、その画像を見ている操作者を混乱させてしまうおそれがある。
　そこで、図１５Ｃ１に示す例では、アーム先端位置の移動に追従する飛行体２００は、上部旋回体３の旋回角度の変化に応じてその向きを変化させている。そのため、掘削アタッチメントを＋Ｘ方向に向けた状態では、飛行体２００も＋Ｘ方向を向いている。その結果、表示装置４０は、図１５Ｃ２に示すように、掘削アタッチメントの画像が表示装置４０の縦軸に平行に延びるように撮像画像を表示する。すなわち、表示装置４０は、上部旋回体３の旋回角度の変化にかかわらず、掘削アタッチメントの画像が表示装置４０の縦軸に平行に延びるように撮像画像を表示できる。
　次に図１６を参照し、画像回転機能を実現させる処理（以下、「画像回転処理」とする。）の一例について説明する。図１６Ａはショベル１００における処理の流れを示すフローチャートであり、図１６Ｂは飛行体２００における処理の流れを示すフローチャートである。図１６の例では、飛行体２００は、ショベル１００の位置情報及び掘削アタッチメントの姿勢情報を利用してアーム先端位置の真上を自律的に追従飛行する。但し、以下の説明は、飛行体２００がリモコン３００を介して操縦者に遠隔操作される場合にも同様に適用される。
　最初に、ショベル１００のコントローラ３０は、ショベル１００の向き情報を取得する（ステップＳＴ１１１）。コントローラ３０は、例えば、向き検出装置Ｓ５の出力に基づいてショベル１００の絶対方位角を取得する。
　その後、コントローラ３０は向き情報を外部に向けて発信する（ステップＳＴ１１２）。例えば、コントローラ３０は、送信装置Ｓ１を通じて向き情報を飛行体２００に対して送信する。
　そして、コントローラ３０は、ステップＳＴ１１１及びステップＳＴ１１２を所定の制御周期で繰り返し実行することでショベル１００の向き情報を飛行体２００に継続的に伝えることができる。
　飛行体２００の制御装置２０１は、ショベル１００の向き情報を受信する（ステップＳＴ１２１）。例えば、制御装置２０１は、受信装置２０３を通じてショベル１００のコントローラ３０が発信したショベル１００の向き情報を受信する。
　その後、制御装置２０１は、目標回転角度を決定する（ステップＳＴ１２２）。例えば、制御装置２０１は、ショベル１００の向き情報と飛行体２００の向き情報とに基づいて飛行体２００の目標回転角度を決定する。目標回転角度は、飛行体２００の向きを変える際の目標となる飛行体２００の回転角度である。例えば、飛行体２００の向きをショベル１００（掘削アタッチメント）の向きに合わせる場合、ショベル１００の向きと飛行体２００の向きとの間の角度が目標回転角度として設定される。制御装置２０１は、自律航行装置２０４の出力に基づいて飛行体２００の向き情報を導き出す。
　或いは、制御装置２０１は、ショベル１００の向きの変化に基づいて飛行体２００の目標回転角度を決定してもよい。例えば、前回の処理で受信したショベル１００の向きと今回の処理で受信したショベル１００の向きとの間の角度を目標回転角度としてもよい。
　その後、制御装置２０１は、飛行体２００を目標回転角度だけ回転させる（ステップＳＴ１２３）。例えば、制御装置２０１は、自律航行装置２０４に対して目標回転角度に関する情報を出力する。自律航行装置２０４は、例えば、４つのプロペラのうち回転方向が同じ２つのプロペラの回転速度を調整することで飛行体２００を目標回転角度だけ回転させる。制御装置２０１は、飛行体２００が遠隔操作されている場合であっても、飛行体２００を目標回転角度だけ強制的に回転させる。
　そして、制御装置２０１は、ショベル１００の向き情報を受信する度に、ステップＳＴ１２２及びステップＳＴ１２３を繰り返し実行することで継続的に飛行体２００の向きをショベル１００の向きに応じて変化させることができる。
　以上の構成により、ショベル１００は、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像を所定の向きでキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。所定の向きは、例えば、掘削アタッチメントの画像が表示装置４０の縦軸に平行に延びるように表示される向きであり、上部旋回体３の旋回角度に応じて変化する。
　また、ショベル１００は、送信装置Ｓ１から飛行体２００の向きに関する情報を発信することにより、飛行体２００を回転させることができる。例えば、ショベル１００は、ショベル１００の向きと飛行体２００の向きとが一致するように飛行体２００を回転させることができる。その結果、飛行体２００は、ショベル１００の向きと飛行体２００の向きとの間の相対角度を維持しながらショベル１００に追従して飛行できる。そのため、表示装置４０は、例えば、掘削アタッチメントの画像が常に表示装置４０の縦軸に平行に或いは垂直に延びるように撮像画像を表示できる。
　また、ショベル１００は、飛行体２００が発信する情報を受信することなく、飛行体２００を回転させることができる。飛行体２００はショベル１００の向き情報に基づいて飛行体２００の目標回転角度を決定できるためであり、ショベル１００はショベル１００の向き情報のみを発信すればよいためである。
　また、図１６の例では、飛行体２００はアーム先端位置の真上を自律的に追従飛行し、アーム先端位置（ＸＹ座標又はＸＹＺ座標）と飛行体２００の位置（ＸＹ座標又はＸＹＺ座標）との間で位置ズレを生じさせていない。したがって、表示装置４０の画面中央には常にアーム先端位置の画像が表示されている。しかしながら、作業支援システムは、位置ズレが生じている場合にも対応可能である。
　例えば、ステップＳＴ１２１において、ショベル１００の向き情報に加え、ショベル１００の位置情報と掘削アタッチメントの姿勢情報を受信している場合、制御装置２０１は、その位置ズレの方向及び大きさを導き出すことができる。具体的には、ショベル１００の位置情報と掘削アタッチメントの姿勢情報と自律航行装置２０４が出力する飛行体２００の位置情報とに基づいてその位置ズレの方向及び大きさを導き出すことができる。そして、その位置ズレの方向及び大きさに基づいて撮像画像の中心となるべき画素の位置を導き出し、その画素が撮像画像の中心となるように撮像画像を生成できる。撮像画像の中心となるべき画素は、例えば、アーム先端位置の画像を構成する画素である。その結果、位置ズレが生じている場合であっても表示装置４０の画面中央にアーム先端位置の画像を表示させることができる。
　次に図１７を参照し、画像回転処理の別の一例について説明する。図１７Ａはショベル１００における処理の流れを示すフローチャートであり、図１７Ｂは飛行体２００における処理の流れを示すフローチャートである。図１７の例は、ショベル１００のコントローラ３０が目標回転角度を算出して発信する点で図１６の例と相違する。図１６の例では、コントローラ３０はショベル１００の向き情報を発信し、飛行体２００の制御装置２０１がショベル１００の向き情報に基づいて目標回転角度を算出する。また、図１７の例でも、飛行体２００は、ショベル１００の位置情報及び掘削アタッチメントの姿勢情報を利用してアーム先端位置の真上を追従飛行する。
　最初に、コントローラ３０は、ショベル１００の向き情報を取得する（ステップＳＴ１３１）。コントローラ３０は、例えば、向き検出装置Ｓ５の出力に基づいてショベル１００の絶対方位角を取得する。
　その後、コントローラ３０は、飛行体２００の向き情報を取得する（ステップＳＴ１３２）。例えば、コントローラ３０は、受信装置Ｓ２を介して飛行体２００の向き情報を受信する。飛行体２００は、自律航行装置２０４の出力に基づいて導き出した飛行体２００の向き情報をショベル１００に向けて送信する。
　その後、コントローラ３０は飛行体２００の目標回転角度を決定する（ステップＳＴ１３３）。例えば、コントローラ３０は、ショベル１００の向き情報と飛行体２００の向き情報とに基づいて飛行体２００の目標回転角度を決定する。或いは、コントローラ３０は、ショベル１００の向きの変化に基づいて飛行体２００の目標回転角度を決定してもよい。
　その後、コントローラ３０は目標回転角度を外部に向けて発信する（ステップＳＴ１３４）。例えば、コントローラ３０は、送信装置Ｓ１を通じて目標回転角度を飛行体２００に対して送信する。
　そして、コントローラ３０は、ステップＳＴ１３１～ステップＳＴ１３４を所定の制御周期で繰り返し実行することで目標回転角度に関する情報を飛行体２００に継続的に伝えることができる。
　飛行体２００の制御装置２０１は所定の制御周期で繰り返し飛行体２００の向き情報を発信する（ステップＳＴ１４１）。例えば、制御装置２０１は、飛行体２００の向き情報をショベル１００に向けて送信する。
　そして、制御装置２０１は目標回転角度を受信する（ステップＳＴ１４２）。例えば、制御装置２０１は、受信装置２０３を通じてショベル１００のコントローラ３０が発信した目標回転角度を受信する。
　その後、制御装置２０１は、飛行体２００を目標回転角度だけ回転させる（ステップＳＴ１４３）。
　そして、制御装置２０１は、目標回転角度を受信する度に、ステップＳＴ１４３を繰り返し実行することで継続的に飛行体２００の向きをショベル１００の向きに応じて変化させることができる。
　以上の構成により、ショベル１００は、図１６の例の場合と同様、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像を所定の向きでキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。
　また、ショベル１００は、送信装置Ｓ１から飛行体２００の目標回転角度に関する情報を発信することにより、飛行体２００を回転させることができる。そのため、ショベル１００は、飛行体２００の目標回転角度を導き出すための演算を飛行体２００で実行させることなく、飛行体２００を回転させることができる。飛行体２００は、ショベル１００が生成した目標回転角度に関する情報に応じて回転するだけでよいためである。
　また、作業支援システムは、図１７の例においても、図１６の例の場合と同様、位置ズレが生じている場合にも対応可能である。
　例えば、ステップＳＴ１３２において、飛行体２００の向き情報に加え、飛行体２００の位置情報を受信している場合、コントローラ３０は、ショベル１００の位置情報と掘削アタッチメントの姿勢情報と飛行体２００の位置情報とに基づいて位置ズレの方向及び大きさを導き出すことができる。そして、その位置ズレの方向及び大きさに基づいて撮像画像の中心となるべき画素の位置を導き出し、その画素の位置に関する情報を飛行体２００に向けて送信できる。その画素の位置に関する情報を受信した飛行体２００の制御装置２０１は、その画素が撮像画像の中心となるように撮像画像を生成できる。その結果、位置ズレが生じている場合であっても表示装置４０の画面中央に所望の画像を表示させることができる。
　次に図１８を参照し、画像回転処理の更に別の一例について説明する。図１８Ａはショベル１００における処理の流れを示すフローチャートであり、図１８Ｂは飛行体２００における処理の流れを示すフローチャートである。図１８の例は、飛行体２００の制御装置２０１が目標回転角度だけ飛行体２００を回転させるステップＳＴ１４３の代わりに、目標回転角度分だけ撮像画像を回転させるステップＳＴ１６３を有する点で図１７の例と相違する。ステップＳＴ１５１～ステップＳＴ１５４はステップＳＴ１３１～ステップＳＴ１３４と同じであり、ステップＳＴ１６１～ステップＳＴ１６２はステップＳＴ１４１～ステップＳＴ１４２はと同じである。したがって、図１８の例では、飛行体２００は、向きを変えずに、ショベル１００の位置情報及び掘削アタッチメントの姿勢情報を利用してアーム先端位置の真上を追従飛行する。
　以上の構成により、ショベル１００は、図１６及び図１７の場合と同様、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像を所定の向きでキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。また、飛行体２００を実際に回転させることなく飛行体２００での画像処理のみによって画像回転機能を実現できる。
　次に図１９を参照し、画像回転処理の更に別の一例について説明する。図１９は画像回転処理の流れの更に別の一例を示すフローチャートである。図１９の例は、飛行体２００で画像回転機能に関する処理を実行させることなく、ショベル１００で画像回転機能に関する全ての処理を実行させる点で、図１６～図１８のそれぞれにおける例と相違する。具体的には、図１９の例は、コントローラ３０が目標回転角度を発信するステップＳＴ１５４の代わりに、コントローラ３０が目標回転角度分だけ撮像画像を回転させるステップＳＴ１７４を有する点で図１８の例と相違する。ステップＳＴ１５１～ステップＳＴ１５３はステップＳＴ１７１～ステップＳＴ１７３と同じである。したがって、図１９の例では、ショベル１００から飛行体２００に向けて情報を送信する必要がないため、送信装置Ｓ１は省略されてもよい。
　以上の構成により、ショベル１００は、図１６～図１８の場合と同様、飛行体２００に搭載されたカメラ２０５が撮像した撮像画像を所定の向きでキャビン１０内の表示装置４０に表示してショベル１００の操作者に提示できる。また、飛行体２００を実際に回転させることなくショベル１００での画像処理のみによって画像回転機能を実現できる。
　また、コントローラ３０は、追従飛行中の飛行体２００からの物体検知情報を分析することで掘削アタッチメントを認識してもよい。例えば、コントローラ３０は、カメラ２０５の撮像画像を分析することで掘削アタッチメントの画像を認識してもよい。そして、認識した掘削アタッチメントの画像の延在方向と撮像画像の縦軸とが平行となり且つ掘削アタッチメントの画像の先端が表示装置４０の画面上方を向くように撮像画像を回転して表示させてもよい。ショベルの運転席は掘削アタッチメントの側を向いているためである。この構成により、コントローラ３０は、ショベル１００の向き情報と飛行体２００の向き情報とを比較することなく、画像回転機能を実現できる。
　また、作業支援システムは、ショベル１００で画像回転機能に関する処理を実行させることなく、飛行体２００で画像回転機能に関する全ての処理を実行させてもよい。
　次に図２０を参照し、画像回転機能の別の一例について説明する。図２０Ａは掘削・積み込み作業を行うショベル１００、ショベル１００に追従飛行する飛行体２００、及びショベル１００が排土する土砂を受けるダンプトラック４００の上面図である。図２０Ｂ１及び図２０Ｂ２は図２０Ａにおける飛行体２００のカメラ２０５が撮像した撮像画像を示す。
　図２０Ａの例では、飛行体２００は、ダンプトラック４００の積み荷状態を把握するため、ショベル１００とダンプトラック４００との間の所定位置に留まるように所定の飛行高度を維持しながら静止飛行している。所定位置は、例えば、ダンプトラック４００の後端位置とショベル１００の旋回軸との間の中間位置である。ダンプトラック４００の後端位置は、例えば、カメラ２０５の撮像画像に画像処理を施すことで導き出される。また、飛行体２００は、ショベル１００の旋回の有無にかかわらず、所定の向きを維持したまま静止飛行している。図２０Ａの例では、＋Ｙ方向を向いた状態で静止飛行している。図２０Ａ中の飛行体２００のところにある黒色三角形は飛行体２００が＋Ｙ方向を向いていることを示す。この場合、表示装置４０は、図２０Ｂ１に示すように、ダンプ動作中の掘削アタッチメントの画像が表示装置４０の横軸に平行に延びるように撮像画像を表示する。
　しかしながら、ダンプ動作中の掘削アタッチメントの画像が表示装置４０の横軸に平行に延びるように表示されると、その画像を見る操作者を混乱させてしまうおそれがある。実際の掘削アタッチメントの向きと表示装置４０に表示された掘削アタッチメントの画像の向きとが大きく異なっているためである。
　そこで、ショベル１００のコントローラ３０、又は、飛行体２００の制御装置２０１は、ダンプ動作中の掘削アタッチメントの画像の向きが実際の掘削アタッチメントの向きと同じになるように撮像画像を回転させる。その結果、表示装置４０は、図２０Ｂ２に示すように、ダンプ動作中の掘削アタッチメントの画像が表示装置４０の縦軸に平行に延びるように撮像画像を表示できる。
　次に図２１～図２３を参照し、作業支援システムの更に別の機能であるマシンガイダンス機能について説明する。マシンガイダンス機能は、飛行体２００のカメラ２０５の撮像画像に基づいてショベル１００の操作をガイドする機能である。
　図２１は、飛行体２００が撮像した撮像画像に基づいてショベル１００の位置及び向きを導き出す方法を説明する図である。図２１Ａは、ショベル１００とショベル１００の上空を飛行する飛行体２００の側面図である。図２１Ｂは、表示装置４０に表示された撮像画像を示す。図２１Ｂに示す破線部分は実際には表示装置４０に表示されない。
　図２１Ａに示すようにショベル１００は基準面ＢＰに位置する。基準面ＢＰは、基準点ＲＰ１、ＲＰ２によって定められる平面である。基準点ＲＰ１、ＲＰ２は、絶対位置（緯度、経度、及び高度）が正確に測定された点であり、例えば、電子基準点（ＧＮＳＳ連続観測点）である。この例では、基準点ＲＰ１と基準点ＲＰ２との距離はＤ１メートルである。基準点ＲＰ１、ＲＰ２は、図２１Ｂに示すように、撮像画像においてマーカ画像ＭＫ１、ＭＫ２をもたらす。つまり、基準点ＲＰ１は、表示装置４０においてはマーカＭＫ１として示される。同様に、基準点ＲＰ２は、表示装置４０においてはマーカＭＫ２として示される。そして、マーカ画像ＭＫ１、ＭＫ２は、撮像画像における２点間の距離（画素数）を導き出すために利用される。
　ショベル１００の上部旋回体３には３つの目印ＲＰ３～ＲＰ５（目印ＲＰ５は不可視。）が取り付けられている。目印ＲＰ３～ＲＰ５は、図２１Ｂに示すように、撮像画像においてマーカ画像ＭＫ３～ＭＫ５をもたらす。つまり、目印ＲＰ３は、表示装置４０においてはマーカＭＫ３として示される。同様に、目印ＲＰ４は、表示装置４０においてはマーカＭＫ４として示される。同様に、目印ＲＰ５は、表示装置４０においてはマーカＭＫ５として示される。そして、マーカ画像ＭＫ３～ＭＫ５は、ショベル画像（ショベル１００）の向きを特定するために利用される。撮像画像においてショベル画像（ショベル１００）の向きを特定できるのであれば、上部旋回体３に取り付けられる目印の数は２つ以下であってもよく、４つ以上であってもよい。また、マーカ画像をもたらす目印は、キャビン１０、エンジンフード等の既存のショベル構成部品であってもよく、上部旋回体３そのものであってもよい。また、目印によってもたらされるマーカ画像の組み合わせは、ＱＲコード（登録商標）等の記号表記を構成してもよい。
　マーカ画像ＭＫ１～ＭＫ５は、公知の画像処理技術を用いて抽出され、且つ、撮像画像における座標が特定される。
　具体的には、コントローラ３０は、基準点ＲＰ１と基準点ＲＰ２の間の既知の距離Ｄ１と、図２１Ｂに示す撮像画像におけるマーカ画像ＭＫ１とマーカ画像ＭＫ２の距離（画素数）ＧＤ１とに基づいて撮像画像上の単位距離（画素数）に対応する実際の距離を導き出すことができる。例えば、撮像画像上の１００画素分の距離を実空間の１ｍに対応付けることができる。その結果、コントローラ３０は、撮像画像上のショベル１００の中心点ＳＣとマーカ画像ＭＫ２との距離（画素数）ＧＤ２から、実空間におけるショベル１００の中心点ＳＣと基準点ＲＰ２との距離を導き出すことができる。中心点ＳＣは、例えば、ショベル１００の旋回軸と基準面ＢＰとの交点であり、中心点ＳＣの座標は３つのマーカ画像ＭＫ３～ＭＫ５の座標から導き出される。
　また、コントローラ３０は、基準点ＲＰ２に対する基準点ＲＰ１の既知の方位と、図２１Ｂに示す撮像画像における線分Ｌ１と線分Ｌ２との間の角度θ１とに基づいて基準点ＲＰ２に対するショベル１００の中心点ＳＣの方位を導き出すことができる。線分Ｌ１は、マーカ画像ＭＫ１とマーカ画像ＭＫ２とを結ぶ線分であり、線分Ｌ２は、マーカ画像ＭＫ２と中心点ＳＣとを結ぶ線分である。
　このようにして、コントローラ３０は、実空間におけるショベル１００の中心点ＳＣと基準点ＲＰ２との距離、及び、基準点ＲＰ２に対するショベル１００の中心点ＳＣの方位を導き出すことができる。そして、基準点ＲＰ２の絶対位置に基づいてショベル１００の中心点ＳＣの絶対位置を導き出すことができる。
　また、コントローラ３０は、３つのマーカ画像ＭＫ３～ＭＫ５の座標に基づいて掘削アタッチメントの長手方向を表す基準面ＢＰ上の線分Ｌ３を導き出すことができる。そして、線分Ｌ１に平行で且つ中心点ＳＣを通る線分Ｌ１'と線分Ｌ３との間の角度θ２を導き出すことができる。
　その結果、コントローラ３０は、基準点ＲＰ２に対する基準点ＲＰ１の既知の方位に基づき、掘削アタッチメントの長手方向が指し示す方位を導き出すことができる。また、掘削アタッチメントの長手方向が指し示す方位の推移に基づいて旋回角度を導き出すことができる。例えば、旋回開始時刻における掘削アタッチメントの長手方向が指し示す方位と、旋回停止時刻における掘削アタッチメントの長手方向が指し示す方位とに基づいて旋回角度を導き出すことができる。
　また、コントローラ３０は、姿勢検出装置Ｓ４の出力に基づいて掘削アタッチメントの姿勢を導き出し、ショベル１００の中心点ＳＣに対するバケット６の爪先の相対位置を導き出すことができる。そして、コントローラ３０は、その相対位置と中心点ＳＣの絶対位置に基づいてバケット６の爪先の絶対位置を導き出すことができる。
　更に、コントローラ３０は、不揮発性記憶媒体に記憶された設計データを参照し、目標施工面とバケット６の爪先との距離を導き出すことができる。目標施工面は、緯度、経度、及び高度を用いて表現された施工後の施工面である。
　図２２は、飛行体２００が撮像した撮像画像に基づいて基準面ＢＰに対するショベル１００の接地面の高さ又は深さを導き出す方法を説明する図である。図２２Ａは、基準面ＢＰに位置するショベル１００とショベル１００の上空を飛行する飛行体２００の側面図である。図２２Ｂは、表示装置４０に表示された撮像画像を示す。図２２Ｂに示す破線部分は実際には表示装置４０に表示されない。図２２Ｃは、基準面ＢＰより深さＤＰ１だけ深い接地面に位置するショベル１００とショベル１００の上空を飛行する飛行体２００の側面図である。
　コントローラ３０は、図２２Ｂに示す撮像画像におけるマーカ画像ＭＫ１とマーカ画像ＭＫ２の距離（画素数）ＧＤ１０と、マーカ画像ＭＫ３とマーカ画像ＭＫ４の距離（画素数）ＧＤ１１とに基づいてショベル１００の接地面の高さ又は深さを導き出す。距離（画素数）ＧＤ１０は、基準点ＲＰ１と基準点ＲＰ２の間の実際の距離Ｄ１に対応する。距離（画素数）ＧＤ１１は、目印ＲＰ３と目印ＲＰ４の間の実際の距離Ｄ２に対応する。
　例えば、コントローラ３０は、距離（画素数）ＧＤ１１に対する距離（画素数）ＧＤ１０の距離比が予め記憶されている所定値であれば、図２２Ａに示すようにショベル１００が基準面ＢＰに位置していることを導き出す。また、コントローラ３０は、その距離比が所定値より大きいほど、図２２Ｃに示すようにショベル１００が基準面ＢＰより低い接地面に位置していることを導き出す。撮像画像においては、ショベル１００の接地面が基準面ＢＰより低いほどショベル画像が見かけ上小さくなり、距離（画素数）ＧＤ１０に対して距離（画素数）ＧＤ１１が相対的に小さくなるためである。
　同様に、コントローラ３０は、その距離比が所定値より小さいほど、ショベル１００が基準面ＢＰより高い接地面に位置していることを導き出す。撮像画像においては、ショベル１００の接地面が基準面ＢＰより高いほどショベル画像が見かけ上大きくなり、距離（画素数）ＧＤ１０に対して距離（画素数）ＧＤ１１が相対的に大きくなるためである。
　コントローラ３０は、その距離比の値から接地面の深さ又は高さを導き出す。距離比と接地面の深さ又は高さとの対応関係は、例えば、対応テーブルとして不揮発性記憶媒体に予め記憶されている。コントローラ３０は、この対応テーブルを参照し、その距離比の値から接地面の深さ又は高さを導き出す。
　なお、上述の例では、飛行体２００のカメラ２０５として単眼カメラが採用されているが、ステレオカメラが採用されてもよい。この場合、コントローラ３０は、ステレオカメラが出力する一対の撮像画像に基づいて基準面ＢＰに対するショベル１００の接地面の高さ又は深さを導き出してもよい。
　次に図２３を参照し、作業支援システムがマシンガイダンス機能を実行する処理（以下、「マシンガイダンス処理」とする。）について説明する。図２３は、マシンガイダンス処理の一例を示すフローチャートである。具体的には、図２３Ａは飛行体２００における処理の流れを示し、図２３Ｂはショベル１００における処理の流れを示す。飛行体２００の制御装置２０１は、所定の制御周期で繰り返し図２３Ａに示す処理を実行する。同様に、ショベル１００のコントローラ３０は、所定の制御周期で繰り返し図２３Ｂに示す処理を実行する。図２３の例では、飛行体２００は、画像処理技術を利用してショベル１００の真上を自律的に追従飛行する。但し、以下の説明は、飛行体２００がリモコン３００を介して操縦者に遠隔操作される場合にも同様に適用される。
　最初に、飛行体２００の制御装置２０１は、ショベル１００を撮像する（ステップＳＴ１８１）。例えば、制御装置２０１は、ショベル１００の上空を飛行する飛行体２００のカメラ２０５が撮像した撮像画像を取得する。撮像画像は、図２１Ｂに示すように、ショベル１００の画像であるショベル画像と、基準点ＲＰ１、ＲＰ２の画像であるマーカ画像ＭＫ１、ＭＫ２と、上部旋回体３に取り付けられた目印ＲＰ３～ＲＰ５の画像であるマーカ画像ＭＫ３～ＭＫ５とを含む。
　その後、制御装置２０１は、マーカ画像ＭＫ１～ＭＫ５及びショベル画像を含む撮像画像をショベル１００に向けて送信する（ステップＳＴ１８２）。
　ショベル１００のコントローラ３０は、マーカ画像ＭＫ１～ＭＫ５及びショベル画像を含む撮像画像を取得する（ステップＳＴ１９１）。コントローラ３０は、例えば、受信装置Ｓ２を通じて飛行体２００の制御装置２０１がショベル１００に向けて送信した撮像画像を受信する。
　その後、コントローラ３０は、撮像画像に基づいてショベル１００の位置情報及び向き情報を算出する（ステップＳＴ１９２）。コントローラ３０は、例えば、図２１及び図２２を用いて説明した方法で、ショベル１００の中心点ＳＣの絶対位置及び掘削アタッチメントの長手方向が指し示す方位を導き出す。
　その後、コントローラ３０は、掘削アタッチメントの姿勢に基づいてバケット６の爪先の位置を算出する（ステップＳＴ１９３）。コントローラ３０は、例えば、姿勢検出装置Ｓ４の出力に基づいて掘削アタッチメントの姿勢を導き出し、ショベル１００の中心点ＳＣに対するバケット６の爪先の相対位置を導き出す。そして、その相対位置と中心点ＳＣの絶対位置と掘削アタッチメントの長手方向が指し示す方位とに基づいてバケット６の爪先の絶対位置を導き出す。
　その後、コントローラ３０は、バケット６の爪先と目標施工面との距離を算出する（ステップＳＴ１９４）。コントローラ３０は、例えば、不揮発性記憶媒体に記憶された設計データを参照し、目標施工面とバケット６の爪先との距離を導き出す。コントローラ３０は、目標施工面とバケット６の爪先との距離の大きさの推移をキャビン１０内の表示装置４０にグラフィカルに表示してショベル１００の操作者に提示することでショベルの操作をガイドできる。
　次に図２４を参照し、マシンガイダンス処理の別の一例について説明する。図２４は、マシンガイダンス処理の別の一例を示すフローチャートである。具体的には、図２４Ａは飛行体２００における処理の流れを示し、図２４Ｂはショベル１００における処理の流れを示す。飛行体２００の制御装置２０１は、所定の制御周期で繰り返し図２４Ａに示す処理を実行する。同様に、ショベル１００のコントローラ３０は、所定の制御周期で繰り返し図２４Ｂに示す処理を実行する。図２４の例は、飛行体２００の制御装置２０１がショベル１００の位置情報及び向き情報を算出する点で図２３の例と相違する。図２３の例では、ショベル１００のコントローラ３０がショベル１００の位置情報及び向き情報を算出する。
　最初に、飛行体２００の制御装置２０１は、ショベル１００を撮像する（ステップＳＴ２０１）。例えば、制御装置２０１は、ショベル１００の上空を飛行する飛行体２００のカメラ２０５が撮像した撮像画像を取得する。撮像画像は、図２１Ｂに示すように、ショベル１００の画像であるショベル画像と、基準点ＲＰ１、ＲＰ２の画像であるマーカ画像ＭＫ１、ＭＫ２と、上部旋回体３に取り付けられた目印ＲＰ３～ＲＰ５の画像であるマーカ画像ＭＫ３～ＭＫ５とを含む。
　その後、制御装置２０１は、撮像画像に基づいてショベル１００の位置情報及び向き情報を算出する（ステップＳＴ２０２）。制御装置２０１は、例えば、図２１及び図２２を用いて説明した方法で、ショベル１００の中心点ＳＣの絶対位置及び掘削アタッチメントの長手方向が指し示す方位を導き出す。
　その後、制御装置２０１は、ショベル１００の位置情報及び向き情報をショベル１００に向けて送信する（ステップＳＴ２０３）。
　ショベル１００のコントローラ３０は、ショベル１００の位置情報及び向き情報を取得する（ステップＳＴ２１１）。コントローラ３０は、例えば、受信装置Ｓ２を通じて飛行体２００の制御装置２０１がショベル１００に向けて送信したショベル１００の位置情報及び向き情報を受信する。
　その後、コントローラ３０は、掘削アタッチメントの姿勢に基づいてバケット６の爪先の位置を算出する（ステップＳＴ２１２）。コントローラ３０は、例えば、姿勢検出装置Ｓ４の出力に基づいて掘削アタッチメントの姿勢を導き出し、ショベル１００の中心点ＳＣに対するバケット６の爪先の相対位置を導き出す。そして、その相対位置と中心点ＳＣの絶対位置と掘削アタッチメントの長手方向が指し示す方位とに基づいてバケット６の爪先の絶対位置を導き出す。
　その後、コントローラ３０は、バケット６の爪先と目標施工面との距離を算出する（ステップＳＴ２１３）。コントローラ３０は、例えば、不揮発性記憶媒体に記憶された設計データを参照し、目標施工面とバケット６の爪先との距離を導き出す。コントローラ３０は、目標施工面とバケット６の爪先との距離の大きさの推移をキャビン１０内の表示装置４０にグラフィカルに表示してショベル１００の操作者に提示することでショベルの操作をガイドできる。
　以上の構成により、コントローラ３０は、飛行体２００が撮像したマーカ画像を含む撮像画像を用いることで、ＧＮＳＳ（ＧＰＳ）受信機等の測位装置を用いることなく、ショベル１００の位置及び向きを把握してマシンガイダンス機能を実行できる。
　次に図２５を参照し、マシンガイダンス処理の更に別の一例について説明する。図２５は、マシンガイダンス処理の更に別の一例を示すフローチャートである。具体的には、図２５Ａは飛行体２００における処理の流れを示し、図２５Ｂはショベル１００における処理の流れを示す。飛行体２００の制御装置２０１は、所定の制御周期で繰り返し図２５Ａに示す処理を実行する。同様に、ショベル１００のコントローラ３０は、所定の制御周期で繰り返し図２５Ｂに示す処理を実行する。図２５の例は、ＧＰＳ航法を用いる飛行体２００の自律航行装置２０４が出力する飛行体２００の位置情報及び向き情報と撮像画像とに基づいてショベル１００の位置情報及び向き情報を算出する点で図２３の例と相違する。図２３の例では、ショベル１００のコントローラ３０は、基準点ＲＰ１、ＲＰ２の画像であるマーカ画像ＭＫ１、ＭＫ２を含む撮像画像を利用してショベル１００の位置情報及び向き情報を算出する。
　最初に、飛行体２００の制御装置２０１は、飛行体２００の位置情報及び向き情報を取得する（ステップＳＴ２２１）。制御装置２０１は、例えば、自律航行装置２０４の飛行制御装置に含まれるジャイロセンサ、加速度センサ、地磁気センサ（方位センサ）、気圧センサ、測位センサ、超音波センサ等の各種センサの出力に基づいて飛行体２００の位置情報及び向き情報を取得する。
　その後、制御装置２０１は、ショベル１００を撮像する（ステップＳＴ２２２）。例えば、制御装置２０１は、ショベル１００の上空を飛行する飛行体２００のカメラ２０５が撮像した撮像画像を取得する。撮像画像は、図２１Ｂに示すように、ショベル１００の画像であるショベル画像と、上部旋回体３に取り付けられた目印ＲＰ３～ＲＰ５の画像であるマーカ画像ＭＫ３～ＭＫ５とを含む。但し、撮像画像は、基準点ＲＰ１、ＲＰ２の画像であるマーカ画像ＭＫ１、ＭＫ２を含んでいる必要はない。
　その後、制御装置２０１は、撮像画像と、飛行体２００の位置情報及び向き情報とをショベル１００に向けて送信する（ステップＳＴ２２３）。
　ショベル１００のコントローラ３０は、撮像画像と、飛行体２００の位置情報及び向き情報とを取得する（ステップＳＴ２３１）。コントローラ３０は、例えば、受信装置Ｓ２を通じて飛行体２００の制御装置２０１がショベル１００に向けて送信した撮像画像と、飛行体２００の位置情報及び向き情報とを受信する。
　その後、コントローラ３０は、ショベル１００の位置情報及び向き情報を算出する（ステップＳＴ２３２）。コントローラ３０は、例えば、撮像画像と、飛行体２００の位置情報及び向き情報とに基づいてショベル１００の位置情報及び向き情報を算出する。
　具体的には、コントローラ３０は、飛行体２００の位置情報に基づいて撮像画像の中心画素に対応する実空間の地物（中心地点）の絶対位置を導き出す。その上で、コントローラ３０は、撮像画像におけるマーカ画像ＭＫ３～ＭＫ５の座標に基づいてショベル１００の中心点ＳＣの座標を算出する。そして、コントローラ３０は、撮像画像の中心画素の座標と中心点ＳＣの座標に基づき、中心地点に対する中心点ＳＣの相対位置を導き出す。そして、その相対位置と中心地点の絶対位置に基づいて中心点ＳＣの絶対位置を導き出す。
　また、コントローラ３０は、飛行体２００の向き情報に基づいて撮像画像の縦軸が指し示す方位を導き出す。その上で、コントローラ３０は、図２１Ｂに示すように、マーカ画像ＭＫ３～ＭＫ５の座標に基づいて掘削アタッチメントの長手方向を表す基準面ＢＰ上の線分Ｌ３を導き出す。そして、撮像画像の縦軸と線分Ｌ３との間の角度を導き出す。
　その結果、コントローラ３０は、撮像画像の縦軸の方位に基づき、掘削アタッチメントの長手方向が指し示す方位を導き出すことができる。また、掘削アタッチメントの長手方向が指し示す方位の推移に基づいて旋回角度を導き出すことができる。
　その後、コントローラ３０は、掘削アタッチメントの姿勢に基づいてバケット６の爪先の位置を算出する（ステップＳＴ２３３）。コントローラ３０は、例えば、姿勢検出装置Ｓ４の出力に基づいて掘削アタッチメントの姿勢を導き出し、ショベル１００の中心点ＳＣに対するバケット６の爪先の相対位置を導き出す。そして、その相対位置と中心点ＳＣの絶対位置と掘削アタッチメントの長手方向が指し示す方位とに基づいてバケット６の爪先の絶対位置を導き出す。
　その後、コントローラ３０は、バケット６の爪先と目標施工面との距離を算出する（ステップＳＴ２３４）。コントローラ３０は、例えば、不揮発性記憶媒体に記憶された設計データを参照し、目標施工面とバケット６の爪先との距離を導き出す。コントローラ３０は、目標施工面とバケット６の爪先との距離の大きさの推移をキャビン１０内の表示装置４０にグラフィカルに表示してショベル１００の操作者に提示することでショベルの操作をガイドできる。
　以上の構成により、コントローラ３０は、ＧＰＳ航法を用いる飛行体２００が出力する飛行体２００の位置情報及び向き情報と基準点に関するマーカ画像を含まない撮像画像とを用いてショベル１００の位置及び向きを把握することでマシンガイダンス機能を実行できる。
　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
　例えば、上述の実施例では、操縦者はリモコン３００を用いて飛行体２００を作業現場の上空まで飛行させている。しかしながら、本発明はこの構成に限定されるものではない。例えば、飛行体２００は自律的に作業現場の上空まで飛行して行ってもよい。例えば、ショベル１００の操作者がキャビン１０内で所定のボタンを押下した場合に、所定位置で待機している飛行体２００は自律飛行を開始して作業現場の上空まで飛行して行ってもよい。
　また、飛行体２００の操縦者、又は、ショベル１００の操作者は、所定の操作を行うことによって飛行体２００による追従飛行を解除してもよい。追従飛行が解除されると、飛行体２００は、ショベル１００の動きとは無関係に、所定の高さを維持する静止飛行を行ってもよく、所定の待機場所に自律的に帰還してもよい。
　次に、図２６及び図２７を参照し、本発明の別の実施例に係るショベル（掘削機）１００及び飛行体２００を含む流体補給システムについて説明する。図２６は、流体補給システムが利用される作業現場の図である。図２７は、流体補給システムのシステム構成図である。
　流体補給システムは、飛行体を利用することでショベルが消費する流体を効率的に補給できるようにするシステムであり、主に、ショベル１００及び飛行体２００で構成される。流体補給システムを構成するショベル１００及び飛行体２００はそれぞれ１台であってもよく、複数台であってもよい。図２６及び図２７の例は、１台のショベル１００と１機の飛行体２００を含む。
　飛行体２００は、遠隔操作又は自動操縦により飛行させることができる自律式飛行体であり、例えば、マルチコプタ、飛行船等を含む。本実施例では、カメラを搭載したクワッドコプタである。
　飛行体２００は容器２５０を運搬できるように構成されている。容器２５０は、ショベル１００が消費する流体を入れる容器である。本実施例では、容器２５０は、略円筒形状を有する。ショベル１００が消費する流体は、軽油等の燃料、尿素水等の液体還元剤、グリス、潤滑油、クーラント、エンジンオイル等を含む。
　ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。作業要素としてのブーム４、アーム５、及びバケット６はアタッチメントの一例である掘削アタッチメントを構成する。ブーム４、アーム５、バケット６は、ブームシリンダ７、アームシリンダ８、バケットシリンダ９によりそれぞれ油圧駆動される。上部旋回体３にはキャビン１０が設けられ、エンジン１１等の動力源が搭載される。
　ショベル１００は、エンジン１１、メインポンプ１４、パイロットポンプ１５、コントロールバルブ１７、燃料タンク１８、尿素水タンク１９、グリスタンク２０、操作装置２６、コントローラ３０、エンジン制御装置７４等で構成される。
　エンジン１１はショベル１００の駆動源であり、例えば、所定の回転数を維持するように動作するディーゼルエンジンである。エンジン１１の出力軸はメインポンプ１４及びパイロットポンプ１５の入力軸に接続される。
　エンジン１１の排気ガスは、排気ガス処理装置１１Ａで浄化させた後で大気中に放出される。本実施例では、排気ガス処理装置１１Ａは、ディーゼルパティキュレートフィルタ（Diesel Particulate Filter: DPF）及び選択触媒還元（Selective Catalytic Reduction: SCR）システムを含む。
　メインポンプ１４は、高圧油圧ライン１６を介して作動油をコントロールバルブ１７に供給する斜板式可変容量型油圧ポンプである。メインポンプ１４は、斜板傾転角の変化に応じて１回転当たりの吐出流量が変化する。斜板傾転角はレギュレータ１４ａにより制御される。レギュレータ１４ａはコントローラ３０からの制御電流の変化に応じて斜板傾転角を変化させる。
　パイロットポンプ１５は、パイロットライン２５を介して操作装置２６等の各種油圧制御機器に作動油を供給する固定容量型油圧ポンプである。
　コントロールバルブ１７は油圧アクチュエータに関する作動油の流れを制御する流量制御弁のセットである。コントロールバルブ１７は、操作装置２６の操作方向及び操作量に対応するパイロット圧の変化に応じ、メインポンプ１４から高圧油圧ライン１６を通じて受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給する。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左走行用油圧モータ１Ａ、右走行用油圧モータ１Ｂ、旋回用油圧モータ２Ａ等を含む。
　燃料タンク１８は、燃料を貯留するタンクである。本実施例では、エンジン１１で使用される軽油を貯留する。
　尿素水タンク１９は、液体還元剤としての尿素水を貯留するタンクである。本実施例では、選択触媒還元システムで使用される尿素水を貯留する。
　グリスタンク２０は、グリスを貯留するタンクである。本実施例では、掘削アタッチメント等の可動部の潤滑のために使用されるグリスを貯留する。
　操作装置２６は、ショベルの操作者が油圧アクチュエータの操作のために用いる装置である。操作装置２６はパイロットライン２５を介してパイロットポンプ１５から作動油の供給を受けてパイロット圧を生成する。そして、パイロットライン２５ａを通じ、対応する流量制御弁のパイロットポートにそのパイロット圧を作用させる。パイロット圧は操作装置２６の操作方向及び操作量に応じて変化する。パイロット圧センサ１５ａはパイロット圧を検出し、その検出値をコントローラ３０に対して出力する。
　コントローラ３０は、ショベル１００を制御するための制御装置である。本実施例では、コントローラ３０はＣＰＵ、ＲＡＭ、ＲＯＭ等を備えたコンピュータで構成される。コントローラ３０のＣＰＵは、各種機能に対応するプログラムをＲＯＭから読み出してＲＡＭにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現させる。
　エンジン制御装置７４はエンジン１１を制御する装置である。エンジン制御装置７４は、例えば、入力装置を介して設定されたエンジン回転数が実現されるように燃料噴射量等を制御する。
　上部旋回体３に取り付けられた送信装置Ｓ１、受信装置Ｓ２、測位装置Ｓ３、姿勢検出装置Ｓ４、残量検出装置Ｓ５Ａ、ドッキング装置Ｓ６のそれぞれはコントローラ３０に接続される。コントローラ３０は、受信装置Ｓ２、測位装置Ｓ３、姿勢検出装置Ｓ４、残量検出装置Ｓ５Ａのそれぞれが出力する情報に基づいて各種演算を実行する。そして、演算結果に基づいて生成した情報を送信装置Ｓ１から外部に発信し、或いは、生成した情報に応じてドッキング装置Ｓ６を作動させる。
　送信装置Ｓ１はショベル１００の外部に向けて情報を発信する。本実施例では、送信装置Ｓ１は、飛行体２００の要求に応じて飛行体２００が受信可能な情報を飛行体２００に向けて発信する。
　受信装置Ｓ２はショベル１００の外部からの情報を受信する。本実施例では、受信装置Ｓ２は飛行体２００が発信する情報を受信する。
　測位装置Ｓ３はショベル１００の位置に関する情報を取得する。本実施例では、測位装置Ｓ３はＧＮＳＳ（ＧＰＳ）受信機であり、ショベル１００の存在位置の緯度、経度、高度を測定する。
　姿勢検出装置Ｓ４はショベルの姿勢を検出する。ショベルの姿勢は、例えば、機体の傾斜度合いである。本実施例では、姿勢検出装置Ｓ４は機体傾斜センサを含む。機体傾斜センサは機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体３の傾斜角度を検出する加速度センサである。
　残量検出装置Ｓ５Ａは各種流体の残量を検出する。本実施例では、残量検出装置Ｓ５Ａは、燃料タンク１８内の軽油の残量、尿素水タンク１９内の尿素水の残量、及びグリスタンク２０内のグリスの残量を検出する。
　ドッキング装置Ｓ６は、ショベル１００と飛行体２００とのドッキング（結合）を可能にする。本実施例では、ドッキング装置Ｓ６は、ショベル１００に搭載された燃料タンク１８と飛行体２００が運搬する容器２５０とのドッキングを可能にする。具体的には、ドッキング装置Ｓ６は、コントローラ３０からの指令に応じて燃料タンク１８と容器２５０とのドッキングを構造的に可能にするドッキング可能状態と構造的に不可能にするドッキング不可状態とを切り替える。
　無線受電装置Ｓ７は外部の給電装置から非接触で電力の供給を受けてショベル１００に搭載された電気負荷にその電力を供給する。本実施例では、飛行体２００に搭載されたバッテリから非接触で電力を受けてコントローラ３０、送信装置Ｓ１、受信装置Ｓ２、姿勢検出装置Ｓ４、ドッキング装置Ｓ６等を作動させる。無線受電装置Ｓ７は、ショベル１００に搭載されたバッテリを充電してもよい。
　飛行体２００は、制御装置２０１、送信装置２０２、受信装置２０３、自律航行装置２０４、カメラ２０５、無線給電装置２０６等で構成される。
　制御装置２０１は、飛行体２００を制御するための装置である。本実施例では、制御装置２０１は、ＲＡＭ、ＲＯＭ等を備えたコンピュータで構成される。制御装置２０１のＣＰＵは、各種機能に対応するプログラムをＲＯＭから読み出してＲＡＭにロードして実行することで、それらプログラムのそれぞれに対応する機能を実現させる。
　送信装置２０２は、飛行体２００の外部に向けて情報を発信する。本実施例では、送信装置２０２は、ショベル１００が受信可能な情報をショベル１００に向けて発信する。
　受信装置２０３は、飛行体２００の外部からの情報を受信する。受信装置２０３は、例えば、ショベル１００が発信する情報を受信する。
　自律航行装置２０４は、飛行体２００の自律航行を実現する。本実施例では、自律航行装置２０４は、飛行制御装置、電動モータ、バッテリ等を含む。飛行制御装置は、ジャイロセンサ、加速度センサ、地磁気センサ（方位センサ）、気圧センサ、測位センサ、超音波センサ等の各種センサを含み、姿勢維持機能、高度維持機能等を実現する。電動モータは、バッテリから電力の供給を受けてプロペラを回転させる。但し、プロペラは内燃機関等の他の駆動源によって回転させられてもよい。
　自律航行装置２０４は、例えば、制御装置２０１から目標飛行位置に関する情報を受けると４つのプロペラの回転速度を別々に制御し、飛行体２００の姿勢及び高度を維持しながら飛行体２００を目標飛行位置に移動させる。目標飛行位置に関する情報は、例えば、目標飛行位置の緯度、経度、及び高度である。制御装置２０１は、例えば、受信装置２０３を通じて目標飛行位置に関する情報を外部から取得する。自律航行装置２０４は、制御装置２０１から目標に関する情報を受けて飛行体２００の向きを変化させてもよい。
　カメラ２０５は画像を取得するための装置である。本実施例では、カメラ２０５は飛行体２００の鉛直下方を撮像できるように飛行体２００に取り付けられている。カメラ２０５が撮像した撮像画像は、例えば、飛行体２００の飛行位置である撮像位置に関する情報を含み、３次元地形データを生成するために利用される。
　無線給電装置２０６は飛行体２００に搭載されたバッテリから外部の受電装置に非接触で電力を供給する。本実施例では、無線給電装置２０６は、ショベル１００の上面に設置された無線受電装置Ｓ７に向けてワイヤレスで電力を供給し、その電力によってショベル１００の各種電気負荷を動作させる。
　次に図２８を参照し、流体補給システムの機能について説明する。図２８は、流体補給システムが燃料の補給を開始するまでの処理（以下、「燃料補給前処理」とする。）のフローチャートである。図２８Ａは飛行体２００における処理の流れを示すフローチャートであり、図２８Ｂはショベル１００における処理の流れを示すフローチャートである。
　図２８の燃料補給前処理は、燃料タンク１８に燃料を補給する場合に適用されるが、尿素水タンク１９に尿素水を補給する場合、及び、グリスタンク２０にグリスを補給する場合についても同様に適用される。
　最初に、図２８Ａを参照し、飛行体２００における処理について説明する。駐機場で駐機している飛行体２００は、ショベル１００が発信する情報に基づいて補給が必要か否かを判定する（ステップＳＴ２４１）。駐機場は、例えば、飛行体２００の充電設備が設置されている場所であり、容器２５０への燃料の注入は駐機場で行われる。燃料の注入は自動で行われてもよく手作業で行われてもよい。駐機場では、駐機スペースが飛行体２００に割り当てられていてもよく、その駐機スペースに飛行体２００が駐機された時点で充電が自動的に開始されてもよい。
　ショベル１００が発信する情報は、ショベルの位置情報、燃料の残量に関する残量情報を含む。ショベル１００は、例えば、操作者によってエンジン１１が停止させられた場合に位置情報及び残量情報を含む情報を自動的に発信する。機体傾斜角度に関する機体傾斜情報を含んでいてもよい。本実施例では、飛行体２００の制御装置２０１は、ショベル１００が発信する残量情報に基づいてショベル１００の燃料を補給する必要があるか否かを判定する。具体的には、制御装置２０１は、受信装置２０３を用いてショベル１００が発信する情報を受信する。制御装置２０１は、その情報をショベル１００から直接的に受信してもよく、通信センタ等を介して間接的に受信してもよい。そして、制御装置２０１は、残量情報が示す燃料タンク１８における燃料の残量が所定量未満の場合に補給の必要があると判定し、燃料の残量が所定量以上の場合に補給の必要がないと判定する。
　補給が不要と判定した場合（ステップＳＴ２４１のＮＯ）、制御装置２０１は、ショベル１００から次の情報を受信するまで待機する。
　補給が必要と判定した場合（ステップＳＴ２４１のＹＥＳ）、制御装置２０１は、飛行体２００を駐機場からショベル１００の上空まで飛行させる（ステップＳＴ２４２）。
　飛行体２００がショベル１００の上空まで飛行すると、制御装置２０１は、飛行体２００の識別情報を発信する（ステップＳＴ２４３）。例えば、送信装置２０２から受信装置Ｓ２に向けて飛行体２００の識別情報を送信し、コントローラ３０で飛行体２００を認証させる。
　その後、制御装置２０１は、ショベル１００の上に飛行体２００を着陸させる（ステップＳＴ２４４）。本実施例では、制御装置２０１は、カメラ２０５が撮像した撮像画像からショベル１００の上面に設置された燃料タンク１８に対応するドッキング装置Ｓ６の画像を認識する。
　そして、制御装置２０１は、認識したドッキング装置Ｓ６の画像が撮像画像の所定画像位置に表示され且つ徐々に大きく表示されるように飛行体２００の飛行位置を制御する。その結果、飛行体２００は、ドッキング装置Ｓ６に徐々に接近し、ドッキング装置Ｓ６の上に着陸する。
　制御装置２０１はドッキング装置Ｓ６の上に着陸する前に着陸可能か否かを判定してもよい。例えば、ショベル１００のエンジン１１が作動中の場合に着陸不能と判定してもよい。エンジン１１が作動中であるか否かは、例えば、ショベル１００の送信装置Ｓ１が周期的に発信する情報を受信装置２０３で受信し、その情報に基づいて判定してもよい。例えば、コントローラ３０は、ショベル１００が作動状態にあると判定した場合に、ドッキングを禁止する指令を送信装置Ｓ１から発信させてもよい。また、制御装置２０１は、ショベル１００が発信する機体傾斜情報に基づいてショベル１００が傾斜していると判定した場合に着陸不能と判定してもよい。例えば、コントローラ３０は、姿勢検出装置Ｓ４の出力に基づいてショベル１００が平面に位置していると判定した場合にドッキングを許可する指令を送信装置Ｓ１から発信させ、ショベル１００が平面に位置していないと判定した場合にドッキングを禁止する指令を送信装置Ｓ１から発信させてもよい。この場合、制御装置２０１は、機体傾斜角度が所定角度未満であればショベル１００が平面に位置していると判定してもよい。或いは、制御装置２０１は、撮像画像から導き出したショベル１００の傾斜角度に基づいてショベル１００が傾斜していると判定した場合に着陸不能と判定してもよい。この場合、機体傾斜角度が所定角度以上であればショベル１００が傾斜していると判定してもよい。着陸不能と判定した場合、制御装置２０１は、飛行体２００を駐機場に戻すように飛行させてもよく、ショベル１００の上空で静止飛行させて着陸可能と判定するまで待機してもよい。
　飛行体２００がドッキング装置Ｓ６の上に着陸すると、制御装置２０１は、プロペラの回転を停止させた上で無線給電装置２０６を作動させる（ステップＳＴ２４５）。着陸したか否かは、例えば、飛行体２００に取り付けられた加速度センサ等の出力に基づいて判定される。
　無線給電装置２０６は、飛行体２００に搭載されたバッテリからショベル１００の無線受電装置Ｓ７に非接触で電力を供給し、ショベル１００のコントローラ３０及び受信装置Ｓ２を起動させる。
　制御装置２０１は、ドッキング装置Ｓ６の上に着陸した後で、飛行体２００の識別情報をショベル１００に向けて送信してもよい。また、ショベル１００のコントローラ３０及び受信装置Ｓ２がショベル１００に搭載されているバッテリの電力で既に動作している場合、制御装置２０１は無線給電装置２０６を作動させる必要はない。
　次に図２８Ｂを参照し、ショベル１００における処理について説明する。ショベル１００のコントローラ３０は、飛行体２００に搭載されているバッテリの電力によって起動されると飛行体２００を認証する（ステップＳＴ２５１）。
　飛行体２００が正規の飛行体であると認証できない場合（ステップＳＴ２５１のＮＯ）、コントローラ３０は、以後のステップを実行することなくそのまま待機する。正規の飛行体は、例えば、コントローラ３０のメモリ等に予め登録されている識別情報を有する飛行体である。所定回数の認証処理を試みた上でなお正規の飛行体であると認証できない場合、コントローラ３０はその動作を停止させてもよい。非正規（未登録）の飛行体による燃料の補給が行われてしまうのを防止するためである。この構成により、コントローラ３０は、非正規（未登録）の飛行体とショベル１００とのドッキングを防止できる。
　飛行体２００が正規の飛行体であると認証できた場合（ステップＳＴ２５１のＹＥＳ）、コントローラ３０は、ドッキング装置Ｓ６をドッキング不可状態からドッキング可能状態に切り替える（ステップＳＴ２５２）。
　或いは、コントローラ３０は、送信装置Ｓ１から飛行体２００の受信装置２０３に向けてショベル１００の識別情報を送信し、制御装置２０１でショベル１００を認証させてもよい。この場合、制御装置２０１は、ショベル１００を正規（既登録）のショベルであると認証できた場合、コントローラ３０に認証済み信号を返信する。認証済み信号を受信するまで、コントローラ３０は、以後のステップを実行することなくそのまま待機する。認証済み信号を受信すると、コントローラ３０は、ドッキング装置Ｓ６をドッキング不可状態からドッキング可能状態に切り替える。
　また、コントローラ３０は、燃料タンク１８と容器２５０とのドッキング後に、燃料の補給を開始させる補給開始指令を送信装置Ｓ１から飛行体２００に向けて送信してもよい。例えば、コントローラ３０は、ドッキング装置Ｓ６をドッキング可能状態に切り替えたときに送信装置Ｓ１から補給開始指令を飛行体２００に向けて送信してもよい。
　次に図２９を参照し、ドッキング装置Ｓ６の配置について説明する。図２９は上部旋回体３におけるドッキング装置Ｓ６の配置を示す図である。図２９Ａは上部旋回体３の側面図であり、図２９Ｂは上部旋回体３の上面図である。
　図２９の例では、ドッキング装置Ｓ６は、燃料タンク１８に対応する燃料用ドッキング装置Ｓ６Ａ、尿素水タンク１９に対応する尿素水用ドッキング装置Ｓ６Ｂ、及び、グリスタンク２０に対応するグリス用ドッキング装置Ｓ６Ｃを含む。
　燃料タンク１８、尿素水タンク１９、及びグリスタンク２０は何れも上部旋回体３の＋Ｘ側（前側）で、且つ、ブーム取り付け位置を挟んでキャビン１０の－Ｙ側（右側）に配置される。また、尿素水タンク１９は燃料タンク１８の＋Ｘ側（前側）に配置され、グリスタンク２０は尿素水タンク１９の＋Ｘ側（前側）に配置される。
　ドッキング装置Ｓ６はそれぞれに対応するタンクの上部に配置される。飛行体２００が運搬する容器２５０と各タンクとがドッキングしたときに容器２５０内の流体が重力で各タンクに流れ込むようにするためである。但し、容器２５０内の流体は、ショベル１００又は飛行体２００に搭載されたポンプを用いて各タンクに注入されてもよい。
　本実施例ではドッキング装置Ｓ６は上部旋回体３の上面から凹むように構成される。但し、ドッキング装置Ｓ６は上部旋回体３の上面から突出するように構成されてもよい。
　次に図３０を参照し、ドッキング装置Ｓ６の動作について説明する。図３０はドッキング装置Ｓ６の動作を示す図である。図３０Ａ１及び図３０Ａ２はドッキング不可状態のドッキング装置Ｓ６を示し、図３０Ｂ１及び図３０Ｂ２はドッキング可能状態のドッキング装置Ｓ６を示す。図３０Ａ１及び図３０Ｂ１はドッキング装置Ｓ６の上面図であり、図３０Ａ２及び図３０Ｂ２はドッキング装置Ｓ６の断面図である。図３０Ａ２は図３０Ａ１の一点鎖線Ｌ１を含む鉛直面での断面図であり、図３０Ｂ２は図３０Ｂ１の一点鎖線Ｌ２を含む鉛直面での断面図である。
　図３０の例では、ドッキング装置Ｓ６は、容器受け入れ部６０、台座６１、連結部６２等で構成される。
　容器受け入れ部６０は、飛行体２００が運搬する容器２５０を受け入れる逆円錐台形の凹部空間を形成する部材である。逆円錐台形の傾斜は、略円筒形状の容器２５０の底面縁部に形成された面取り部２５０ｔの傾斜と略同じである。
　台座６１は、容器受け入れ部６０内で容器２５０の底面を支持する。本実施例では、台座６１は４つの可動台座部材６１Ａ～６１Ｄを有する。可動台座部材６１Ａ～６１Ｄは、Ｚ軸方向（鉛直方向）に伸縮可能に構成される。可動台座部材６１Ａ～６１Ｄは電動アクチュエータによって駆動される。ドッキング装置Ｓ６がドッキング不可状態の場合、可動台座部材６１Ａ～６１Ｄは、図３０Ａ２に示すように伸張状態となり、ドッキング装置Ｓ６がドッキング可能状態の場合、可動台座部材６１Ａ～６１Ｄは、図３０Ｂ２に示すように収縮状態となる。図３０Ａ１及び図３０Ａ２では、伸張状態にある可動台座部材６１Ａ～６１Ｄが白色で塗りつぶされている。また、図３０Ｂ２では、伸張状態にあった可動台座部材６１Ａ、６１Ｂが点線で示されている。
　連結部６２は、容器２５０の連結部２５１と連結する部材である。本実施例では、連結部６２は燃料タンク１８の上面（図２９参照。）から＋Ｚ方向（鉛直上方）に延びる円筒部材である。また、連結部２５１は、図３０Ａ２に示すように、容器２５０の底面から－Ｚ方向（鉛直下方）に突出する円筒部材である。連結部６２及び連結部２５１は互いに連結されたときに容器２５０から燃料タンク１８に流れる燃料の通路を構成する。
　具体的には、連結部６２は、流入阻止部６２Ａ、中央ピン６２Ｂ、円環部６２Ｃ、及び円筒部６２Ｄで構成される。流入阻止部６２Ａは、外部から燃料タンク１８内への流体の進入を阻止する円板部材である。流入阻止部６２Ａは、バネ等の力によって中央ピン６２Ｂに沿って円筒部６２Ｄ内を＋Ｚ方向（上方）に押し上げられて円環部６２Ｃと接触することで外部から燃料タンク１８内に流入する流体の流れを阻止する。
　中央ピン６２Ｂは、円筒部６２Ｄの中心軸に沿って延びる固定ピンであり、流入阻止部６２Ａの中央部分を貫通して延びる。
　円環部６２Ｃは、円筒部６２Ｄの内部に形成される部材であり、流入阻止部６２Ａの上限位置を定める。流入阻止部６２Ａは電動ストッパによって上限位置で固定されてもよい。電動ストッパは、例えば、電力の供給を受けていないときに流入阻止部６２Ａを上限位置で固定し、電力の供給を受けているときに流入阻止部６２Ａを上限位置から移動（下降）させることができるように構成される。
　円筒部６２Ｄは燃料の流路を形成する管状部材であり、燃料タンク１８の上面まで延び、円筒部６２Ｄが形成する流路と燃料タンク１８の内部とを連通させる。
　連結部２５１は、流出阻止部２５１Ａ、円環部２５１Ｂ、及び円筒部２５１Ｃで構成される。流出阻止部２５１Ａは、容器２５０から外部への燃料の流出を阻止する円板部材である。流出阻止部２５１Ａは、バネ等の力によって円筒部２５１Ｃ内を－Ｚ方向（下方）に押し下げられて円環部２５１Ｂと接触することで容器２５０から外部への燃料の流れを阻止する。
　流出阻止部２５１Ａは、連結部６２の中央ピン６２Ｂと接触して中央ピン６２Ｂによって押し上げられない限り、円環部２５１Ｂに接触して燃料の流出を阻止する。中央ピン６２Ｂによって押し上げられると円環部２５１Ｂから離れて燃料を流出させる。
　円環部２５１Ｂは、円筒部２５１Ｃの内部に形成される部材であり、流出阻止部２５１Ａの下限位置を定める。流出阻止部２５１Ａは電動ストッパによって下限位置で固定されてもよい。電動ストッパは、例えば、電力の供給を受けていないときに流出阻止部２５１Ａを下限位置で固定し、電力の供給を受けているときに流出阻止部２５１Ａを下限位置から移動（上昇）させることができるように構成される。例えば、制御装置２０１は、ショベル１００から補給開始指令を受信した場合に限り電動ストッパを作動させて燃料の補給を開始させてもよい。すなわち、制御装置２０１は、ショベル１００から補給開始指令を受信するまで流出阻止部２５１Ａを下限位置に留め置くことで補給開始指令を受信する前に燃料の補給が行われてしまうのを防止できる。
　円筒部２５１Ｃは燃料の流路を形成する管状部材であり、容器２５０の底面まで延び、円筒部２５１Ｃが形成する流路と容器２５０の内部とを連通させる。
　飛行体２００がコントローラ３０によって認証された後、図２８ＡのステップＳＴ２４４においてドッキング装置Ｓ６の上に着陸した飛行体２００は、図３０Ａ２に示す状態にある。すなわち、飛行体２００は、伸張状態の可動台座部材６１Ａ～６１Ｄによって支持された状態にある。
　その後、図２８ＢのステップＳＴ２５２に示すように、コントローラ３０は、ドッキング装置Ｓ６をドッキング不可状態からドッキング可能状態に切り替える。本実施例では、コントローラ３０は、飛行体２００に搭載されているバッテリから無線給電装置２０６及び無線受電装置Ｓ７を通じて供給される電力によって電動アクチュエータを駆動して可動台座部材６１Ａ～６１Ｄを収縮させる。コントローラ３０は、飛行体２００が着陸する前に可動台座部材６１Ａ～６１Ｄを収縮させてもよい。
　流入阻止部６２Ａが電動ストッパによって上限位置で固定されている場合には、電動ストッパを駆動して流入阻止部６２Ａを上限位置から下降させることができるようにする。流出阻止部２５１Ａについても同様である。
　可動台座部材６１Ａ～６１Ｄが収縮すると、容器２５０は、自重により容器受け入れ部６０内を滑り降り、図３０Ｂ２に示すように、連結部２５１と連結部６２とを連結させて容器２５０と燃料タンク１８とを連通させる。具体的には、流出阻止部２５１Ａが中央ピン６２Ｂによって押し上げられて円環部２５１Ｂから離れる。また、流入阻止部６２Ａが円筒部２５１Ｃによって押し下げられて円環部６２Ｃから離れる。その結果、容器２５０内の燃料は、図３０Ｂ２の矢印ＡＲ１で示すように、円筒部２５１Ｃの下端部付近に形成された孔２５１Ｄを通って円筒部６２Ｄ内に流入し、さらには燃料タンク１８内に流入する。
　次に図３１を参照し、流体補給システムの別の機能について説明する。図３１は、流体補給システムが燃料の補給を完了した後の処理（以下、「燃料補給後処理」とする。）のフローチャートである。図３１Ａは飛行体２００における処理の流れを示すフローチャートであり、図３１Ｂはショベル１００における処理の流れを示すフローチャートである。
　図３１の燃料補給後処理は、燃料タンク１８に燃料を補給した場合に適用されるが、尿素水タンク１９に尿素水を補給した場合、及び、グリスタンク２０にグリスを補給した場合についても同様に適用される。
　最初に、図３１Ａを参照し、飛行体２００における処理について説明する。ドッキング装置Ｓ６上に着陸した飛行体２００の制御装置２０１は補給が完了したか否かを判定する（ステップＳＴ２６１）。例えば、制御装置２０１は、容器２５０の残量を検出する残量検出装置の出力に基づいて補給が完了したか否かを判定する。或いは、制御装置２０１は、ショベル１００が発信する情報に基づいて補給が完了したか否かを判定してもよい。
　補給が完了していないと判定した場合（ステップＳＴ２６１のＮＯ）、制御装置２０１は、以後のステップを実行することなくそのまま待機する。
　補給が完了したと判定した場合（ステップＳＴ２６１のＹＥＳ）、制御装置２０１は、補給が完了したことをショベル１００に知らせる（ステップＳＴ２６２）。例えば、制御装置２０１は、補給が完了したことを表す情報を送信装置２０２からショベル１００に向けて送信する。ショベル１００が発信した情報に基づいて補給が完了したと判定した場合、制御装置２０１は、補給が完了したことをショベル１００に知らせることなく、次のステップに移行する。ショベル１００は補給が完了したことを既に検知しているためである。
　その後、制御装置２０１は、飛行体２００を駐機場まで飛行させる（ステップＳＴ２６３）。
　次に図３１Ｂを参照し、ショベル１００における処理について説明する。ドッキング装置Ｓ６をドッキング可能状態に切り替えたショベル１００のコントローラ３０は、補給が完了したか否かを判定する（ステップＳＴ２７１）。例えば、コントローラ３０は、飛行体２００が発信する情報に基づいて補給が完了したか否かを判定する。或いは、コントローラ３０は、残量検出装置Ｓ５Ａの出力に基づいて補給が完了したか否かを判定してもよい。
　補給が完了していないと判定した場合（ステップＳＴ２７１のＮＯ）、コントローラ３０は、以後のステップを実行することなくそのまま待機する。
　補給が完了したと判定した場合（ステップＳＴ２７１のＹＥＳ）、コントローラ３０は、ドッキング装置Ｓ６をドッキング不可状態に切り替える（ステップＳＴ２７２）。例えば、コントローラ３０は、飛行体２００に搭載されているバッテリから無線給電装置２０６及び無線受電装置Ｓ７を通じて供給される電力によって電動アクチュエータを駆動して可動台座部材６１Ａ～６１Ｄを伸張させる。
　可動台座部材６１Ａ～６１Ｄが伸張すると、容器２５０は、可動台座部材６１Ａ～６１Ｄによって持ち上げられ、図３０Ａ２に示すように、連結部２５１と連結部６２とが切り離されて容器２５０と燃料タンク１８との連通が遮断される。具体的には、流出阻止部２５１Ａが下降して円環部２５１Ｂに接触する。また、流入阻止部６２Ａが上昇して円環部６２Ｃに接触する。その結果、容器２５０から外部への流体の流出が阻止され、且つ、外部から燃料タンク１８への流体の流入が阻止される。流入阻止部６２Ａは電動ストッパによって上限位置で固定されてもよい。流出阻止部２５１Ａについても同様である。
　残量検出装置Ｓ５Ａの出力に基づいて補給が完了したと判定した場合、コントローラ３０は、補給が完了したことを飛行体２００に知らせる。例えば、コントローラ３０は、補給が完了したことを表す情報を送信装置Ｓ１から飛行体２００に向けて送信する。
　以上の構成により、ショベル１００は、飛行体２００を利用することで、燃料の補給をより効率的に受けることができる。飛行体２００から燃料の補給を受ける場合、ショベル１００は、燃料を補給するために作業現場から補給場所に移動する必要がない。そのため、災害復旧現場等のショベル１００の進入・退出が困難な作業現場でショベル１００を稼働させる場合、作業員が立ち入ることのできない現場にショベル１００を進入させてショベル１００を遠隔操作する場合等に特に有効である。
　また、ショベル１００は、飛行体２００を認証できた場合に限り、飛行体２００による燃料の補給が行われるようにする。具体的には、飛行体２００を認証できた場合に限り、ドッキング装置Ｓ６、電動ストッパ等を作動させて燃料の補給が行われるようにする。すなわち、手作業による燃料の補給を含め、認証できた飛行体２００以外による燃料の補給を制限する。そのため、不正燃料、粗悪燃料等が補給されてしまうのを防止できる。なお、ショベル１００による飛行体２００の片方向認証が行われた場合ではなく、飛行体２００によるショベル１００の認証を加えた双方向認証が行われた場合に飛行体２００による燃料の補給が行われるようにしてもよい。
　無線給電装置２０６及び無線受電装置Ｓ７の組み合わせを利用する場合、ショベル１００は、エンジン停止中に完全停止されてもよい。完全停止は、コントローラ３０等の電気負荷に対する電力供給を完全に遮断することを意味する。そのため、流体補給システムの機能の実現を可能にしながらもショベル１００のバッテリの過放電を防止できる。
　次に図３２を参照し、ドッキング装置Ｓ６の別の一例について説明する。図３２はドッキング装置Ｓ６の別の一例を示す図であり、図３０に対応する。図３２Ａ１及び図３２Ａ２はドッキング不可状態のドッキング装置Ｓ６を示し、図３２Ｂ１及び図３２Ｂ２はドッキング可能状態のドッキング装置Ｓ６を示す。図３２Ａ１及び図３２Ｂ１はドッキング装置Ｓ６の上面図であり、図３２Ａ２及び図３２Ｂ２はドッキング装置Ｓ６の断面図である。図３２Ａ２は図３２Ａ１の一点鎖線Ｌ３を含む鉛直面での断面図であり、図３２Ｂ２は図３２Ｂ１の一点鎖線Ｌ４を含む鉛直面での断面図である。
　図３２の例では、ドッキング装置Ｓ６は、台座６１を有しておらず、カバー６３を有する点で図３０の例と相違する。しかし、その他の点では図３０の例と共通である。そのため、共通部分の説明を省略し、相違部分を詳細に説明する。
　カバー６３は、容器受け入れ部６０を覆う自動開閉式カバーである。本実施例では、カバー６３は左カバー６３Ｌ及び右カバー６３Ｒを有する。左カバー６３Ｌ及び右カバー６３Ｒは電動アクチュエータによって開閉可能に構成される。図３２Ａ１及びＡ２のそれぞれにおける矢印ＡＲ２は左カバー６３Ｌの開き方向を示し、矢印ＡＲ３は右カバー６３Ｒの開き方向を示す。ドッキング装置Ｓ６がドッキング不可状態の場合、左カバー６３Ｌ及び右カバー６３Ｒは図３２Ａ２に示すように閉じ状態となり、ドッキング装置Ｓ６がドッキング可能状態の場合、左カバー６３Ｌ及び右カバー６３Ｒは図３２Ｂ２に示すように開き状態となる。閉じ状態の場合、左カバー６３Ｌ及び右カバー６３Ｒは連結部６２を外部から見えないように覆うことができる。
　コントローラ３０は、飛行体２００に搭載されているバッテリから無線給電装置２０６及び無線受電装置Ｓ７を通じて供給される電力によって電動アクチュエータを駆動して左カバー６３Ｌ及び右カバー６３Ｒを開閉させる。
　左カバー６３Ｌ及び右カバー６３Ｒが開くと、容器受け入れ部６０は容器２５０を受け入れ可能となり、図３２Ｂ２に示すように、連結部２５１と連結部６２とを連結させて容器２５０と燃料タンク１８とを連通させることができる。
　この構成により、図３２のドッキング装置Ｓ６を利用するショベル１００は、図３０のドッキング装置Ｓ６を利用する場合と同様の効果を実現できる。
　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
　例えば、上述の実施例では、飛行体２００は、燃料等の補給の要否を自動的に判定して自動的に離陸し、駐機場からショベル１００の上空まで自動的に飛行する。しかしながら、本発明はこの構成に限定されるものではない。例えば、飛行体２００は、リモートコントローラによって遠隔操作されてもよい。この場合、飛行体２００の操縦者は、駐機場からショベル１００の上空までの補給前の飛行、及び、ショベル１００の上空から駐機場までの補給後の飛行を遠隔操作で行ってもよい。
　また、上述の実施例では、ドッキング装置Ｓ６は、飛行体２００に搭載されているバッテリの電力で動作する。具体的には、飛行体２００に搭載されているバッテリから無線給電装置２０６及び無線受電装置Ｓ７を通じて供給される電力で動作する。しかしながら、本発明はこの構成に限定されるものではない。例えば、ドッキング装置Ｓ６は、ショベル１００に搭載されたバッテリの電力で動作してもよい。この場合、コントローラ３０は、例えば、ショベル１００のエンジン１１が停止中であっても飛行体２００との通信ができるように省電力モードで継続的或いは断続的に動作する構成であってもよい。また、この場合、無線給電装置２０６及び無線受電装置Ｓ７は省略されてもよい。或いは、ショベル１００に搭載された無線給電装置と飛行体２００に搭載された無線受電装置とを用い、ショベル１００に搭載されたバッテリで飛行体２００のバッテリが充電されるようにしてもよい。また、ショベル１００と飛行体２００との間の電力の授受は有線で行われてもよい。
　また、本願は、２０１６年１月２９日に出願した日本国特許出願２０１６－０１６６６４号に基づく優先権、２０１６年１月２９日に出願した日本国特許出願２０１６－０１６６６５号に基づく優先権、２０１６年２月５日に出願した日本国特許出願２０１６－０２１３２２号に基づく優先権、２０１６年３月１５日に出願した日本国特許出願２０１６－０５１５６６号に基づく優先権、及び、２０１６年３月３１日に出願した日本国特許出願２０１６－０７１６０９号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。
　１・・・下部走行体　１Ａ・・・左走行用油圧モータ　１Ｂ・・・右走行用油圧モータ　２・・・旋回機構　２Ａ・・・旋回用油圧モータ　３・・・上部旋回体　４・・・ブーム　５・・・アーム　６・・・バケット　７・・・ブームシリンダ　８・・・アームシリンダ　９・・・バケットシリンダ　１０・・・キャビン　１１・・・エンジン　１１Ａ・・・排気ガス処理装置　１４・・・メインポンプ　１４ａ・・・レギュレータ　１５・・・パイロットポンプ　１５ａ・・・パイロット圧センサ　１６・・・高圧油圧ライン　１７・・・コントロールバルブ　１８・・・燃料タンク　１９・・・尿素水タンク　２０・・・グリスタンク　２５、２５ａ・・・パイロットライン　２６・・・操作装置　３０・・・コントローラ　４０・・・表示装置　６０・・・容器受け入れ部　６１・・・台座　６１Ａ～６１Ｄ・・・可動台座部材　６２・・・連結部　６２Ａ・・・流入阻止部　６２Ｂ・・・中央ピン　６２Ｃ・・・円環部　６２Ｄ・・・円筒部　６３・・・カバー　７４・・・エンジン制御装置　１００、１００Ａ、１００Ｂ・・・ショベル　２００・・・飛行体　２０１・・・制御装置　２０２・・・送信装置　２０３・・・受信装置　２０４・・・自律航行装置　２０５・・・カメラ　２０６・・・無線給電装置　２５０・・・容器　２５０ｔ・・・面取り部　２５１・・・連結部　２５１Ａ・・・流出阻止部　２５１Ｂ・・・円環部　２５１Ｃ・・・円筒部　２５１Ｄ・・・孔　３００・・・リモコン　３０１・・・制御装置　３０２・・・送信装置　３０３・・・受信装置　３０４・・・表示装置　３０５・・・操作入力装置　４００・・・ダンプトラック　Ｓ１・・・送信装置　Ｓ２・・・受信装置　Ｓ３・・・測位装置　Ｓ４・・・姿勢検出装置　Ｓ５・・・向き検出装置　Ｓ５Ａ・・・残量検出装置　Ｓ６、Ｓ６Ａ～Ｓ６Ｃ・・・ドッキング装置　Ｓ７・・・無線受電装置

Claims (34)

  1. 　下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた送信装置及び受信装置と、カメラ搭載型自律式飛行体が撮像した画像を表示する表示装置と、前記カメラ搭載型自律式飛行体の目標飛行位置に関する情報を生成する制御装置と、を有するショベルであって、
    　前記送信装置は、前記カメラ搭載型自律式飛行体に対して前記目標飛行位置に関する情報を送信し、
    　前記目標飛行位置は、前記ショベル上の所定点から所定の高さだけ高く、且つ、前記所定点から所定の距離だけ離れた位置である、
    　ショベル。
  2. 　前記受信装置は、前記カメラ搭載型自律式飛行体の位置情報を受信し、
    　前記制御装置は、前記カメラ搭載型自律式飛行体の位置情報に基づいて前記目標飛行位置に関する情報を生成する、
    　請求項１に記載のショベル。
  3. 　前記目標飛行位置に関する情報は、前記ショベルの位置に関する情報、又は、前記ショベルの位置に関する情報と前記ショベルの姿勢に関する情報との組み合わせである、
    　請求項１に記載のショベル。
  4. 　ショベルに追従して飛行可能な自律式飛行体であって、
    　前記ショベルを撮像するカメラと、前記カメラが撮像した画像を送信する送信装置と、前記画像に基づいて前記ショベルの位置を取得し、前記ショベルの位置に基づいて目標飛行位置を決定する制御装置と、を有し、
    　前記目標飛行位置は、前記ショベル上の所定点から所定の高さだけ高く、且つ、前記所定点から所定の距離だけ離れた位置である、
    　カメラ搭載型自律式飛行体。
  5. 　ショベルに追従して飛行可能な自律式飛行体であって、
    　前記ショベルを撮像するカメラと、前記カメラが撮像した画像を送信する送信装置と、前記ショベルが生成した情報を受信する受信装置と、前記ショベルが生成した情報に基づいて目標飛行位置を決定する制御装置と、を有し、
    　前記ショベルが生成した情報は、前記ショベルの位置に関する情報、又は、前記ショベルの位置に関する情報と前記ショベルの姿勢に関する情報との組み合わせであり、
    　前記目標飛行位置は、前記ショベル上の所定点から所定の高さだけ高く、且つ、前記所定点から所定の距離だけ離れた位置である、
    　カメラ搭載型自律式飛行体。
  6. 　下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた送信装置、受信装置、及び測位装置と、を有するショベルであって、
    　少なくとも前記測位装置が取得する前記ショベルの位置に基づいて自律式飛行体の飛行禁止空間を設定し、
    　前記受信装置が受信する前記自律式飛行体の位置に基づいて前記自律式飛行体が前記飛行禁止空間内に存在するか否かを判定し、
    　前記自律式飛行体が前記飛行禁止空間内に存在すると判定した場合に前記飛行禁止空間の外に設定される目標飛行位置に関する情報を前記自律式飛行体に向けて送信する、
    　ショベル。
  7. 　下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた送信装置及び測位装置と、を有するショベルであって、
    　前記送信装置は、少なくとも前記測位装置が取得する前記ショベルの位置に基づいて設定される自律式飛行体の飛行禁止空間に関する情報を発信する、
    　ショベル。
  8. 　前記飛行禁止空間は、前記ショベルの位置と前記ショベルの姿勢とに基づいて設定される、
    　請求項７に記載のショベル。
  9. 　ショベルが生成した情報を受信する受信装置を搭載した自律式飛行体であって、
    　前記ショベルが生成した情報に基づいて設定される前記ショベルに関する飛行禁止空間の外を飛行するように自律的に動作する、
    　自律式飛行体。
  10. 　ショベルを撮像するカメラを搭載した自律式飛行体であって、
    　前記カメラが撮像した画像に基づいて前記自律式飛行体に対する前記ショベルの位置に関する情報を取得し、該情報に基づいて決まる前記ショベルに関する飛行禁止空間の外を飛行するように自律的に動作する、
    　自律式飛行体。
  11. 　ショベルを撮像するカメラを搭載した自律式飛行体であって、
    　前記カメラが撮像した画像に基づいて前記自律式飛行体に対する前記ショベルの位置及び姿勢に関する情報を取得し、該情報に基づいて決まる前記ショベルに関する飛行禁止空間の外を飛行するように自律的に動作する、
    　自律式飛行体。
  12. 　下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた受信装置、向き検出装置、制御装置、及び表示装置と、を有するショベルであって、
    　前記受信装置は、カメラ搭載型自律式飛行体が撮像した撮像画像を受信し、
    　前記向き検出装置は、前記ショベルの向きを検出し、
    　前記制御装置は、前記ショベルの向きに基づいて前記カメラ搭載型自律式飛行体の目標回転角度に関する情報を生成し、
    　前記表示装置は、前記カメラ搭載型自律式飛行体が前記目標回転角度だけ回転したときに撮像できる画像と同じ向きで前記撮像画像を表示する、
    　ショベル。
  13. 　前記受信装置は、前記カメラ搭載型自律式飛行体の向きに関する情報を受信し、
    　前記制御装置は、前記ショベルの向きと前記カメラ搭載型自律式飛行体の向きとに基づいて前記目標回転角度に関する情報を生成する、
    　請求項１２に記載のショベル。
  14. 　前記制御装置は、前記撮像画像を前記目標回転角度だけ回転させて前記表示装置に表示させる、
    　請求項１２に記載のショベル。
  15. 　前記カメラ搭載型自律式飛行体が前記目標回転角度だけ回転したときの前記カメラ搭載型自律式飛行体の向きは前記ショベルの向きと同じである、
    　請求項１２に記載のショベル。
  16. 　前記上部旋回体に取り付けられた送信装置を有し、
    　前記送信装置は、前記目標回転角度に関する情報、又は、前記目標回転角度に関する情報と前記カメラ搭載型自律式飛行体の目標飛行位置に関する情報との組み合わせを前記カメラ搭載型自律式飛行体に向けて送信し、
    　前記目標飛行位置は、前記ショベル上の所定点から所定の高さだけ高く、且つ、前記所定点から所定の距離だけ離れた位置である、
    　請求項１２に記載のショベル。
  17. 　前記上部旋回体に取り付けられた送信装置を有し、
    　前記送信装置は、前記目標回転角度に関する情報として前記ショベルの向きに関する情報を前記カメラ搭載型自律式飛行体に向けて送信する、
    　請求項１２に記載のショベル。
  18. 　ショベルを撮像するカメラと、前記カメラが撮像した撮像画像を送信する送信装置と、前記撮像画像に基づいて前記ショベルの向きを取得し、前記ショベルの向きに基づいて目標回転角度を決定する制御装置と、を有する自律式飛行体であって、
    　前記自律式飛行体が前記目標回転角度だけ回転したときの前記自律式飛行体の向きと前記ショベルの向きとの間の角度は、予め設定された角度である、
    　自律式飛行体。
  19. 　ショベルを撮像するカメラと、前記カメラが撮像した撮像画像を送信する送信装置と、前記ショベルが生成した情報を受信する受信装置と、前記ショベルが生成した情報に基づいて目標回転角度を決定する制御装置と、を有する自律式飛行体であって、
    　前記自律式飛行体が前記目標回転角度だけ回転したときの前記自律式飛行体の向きと前記ショベルの向きとの間の角度は、予め設定された角度である、
    　自律式飛行体。
  20. 　前記送信装置は、前記目標回転角度だけ前記撮像画像を回転させて得られる画像を送信する、
    　請求項１８に記載の自律式飛行体。
  21. 　前記目標回転角度だけ回転する、
    　請求項１８に記載の自律式飛行体。
  22. 　下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた送信装置、受信装置及び表示装置と、自律式飛行体の目標飛行位置に関する情報を生成する制御装置と、を有するショベルであって、
    　前記送信装置は、前記自律式飛行体に対して前記目標飛行位置に関する情報を送信し、
    　前記目標飛行位置は、前記ショベル上の所定点から所定の高さだけ高く、且つ、前記所定点から所定の距離だけ離れた位置である、
    　ショベル。
  23. 　前記受信装置は、前記自律式飛行体の位置情報を受信し、
    　前記制御装置は、前記自律式飛行体の位置情報に基づいて前記目標飛行位置に関する情報を生成する、
    　請求項２２に記載のショベル。
  24. 　前記目標飛行位置に関する情報は、前記ショベルの位置に関する情報、又は、前記ショベルの位置に関する情報と前記ショベルの姿勢に関する情報との組み合わせである、
    　請求項２２に記載のショベル。
  25. 　ショベルに追従して飛行可能な自律式飛行体であって、
    　前記ショベルが生成した情報を受信する受信装置と、前記ショベルが生成した情報に基づいて目標飛行位置を決定する制御装置と、を有し、
    　前記ショベルが生成した情報は、前記ショベルの位置に関する情報、又は、前記ショベルの位置に関する情報と前記ショベルの姿勢に関する情報との組み合わせであり、
    　前記目標飛行位置は、前記ショベル上の所定点から所定の高さだけ高く、且つ、前記所定点から所定の距離だけ離れた位置である、
    　自律式飛行体。
  26. 　下部走行体と、前記下部走行体に搭載される上部旋回体と、前記上部旋回体に取り付けられた受信装置及び制御装置と、を有するショベルであって、
    　前記受信装置は、カメラ搭載型自律式飛行体が撮像した撮像画像を受信し、
    　前記撮像画像は、前記ショベルに取り付けられた目印の画像であるマーカ画像を含み、
    　前記制御装置は、前記撮像画像に含まれる前記マーカ画像に基づいて前記ショベルの動きをガイドする、
    ショベル。
  27. 　ショベルを撮像するカメラと、前記カメラが撮像した撮像画像を送信する送信装置と、前記撮像画像に基づいて前記ショベルの位置及び向きを取得する制御装置と、を有する自律式飛行体であって、
    　前記撮像画像は、前記ショベルに取り付けられた目印の画像であるマーカ画像を含む、
    　自律式飛行体。
  28. 　ショベルが消費する流体を容れた容器を運搬する自律式飛行体から該流体の補給を受けるショベルであって、
    　下部走行体と、
    　前記下部走行体に搭載される上部旋回体と、
    　前記上部旋回体に搭載される、前記流体を貯留するタンクと、
    　前記自律式飛行体が前記ショベル上に着陸したときに前記タンクと前記容器とをドッキングさせるドッキング装置と、を有する、
    　ショベル。
  29. 　前記ドッキング装置は、前記タンクと前記容器とのドッキングを構造的に可能にするドッキング可能状態と構造的に不可能にするドッキング不可状態とを切り替え可能であり、
    　前記自律式飛行体を認証した場合に前記ドッキング装置の状態をドッキング可能状態に切り替える、
    　請求項２８に記載のショベル。
  30. 　前記ドッキング装置は、前記タンクと前記容器との連結部を覆う自動開閉式カバーを有し、
    　前記自律式飛行体を認証した場合に前記自動開閉式カバーを開く、
    　請求項２８に記載のショベル。
  31. 　前記タンクと前記容器とのドッキング後に、前記流体の補給を開始させる指令を前記自律式飛行体に向けて送信する、
    　請求項２８に記載のショベル。
  32. 　前記ショベルの姿勢を検出する姿勢検出装置を有し、
    　前記姿勢検出装置の出力に基づいて前記ショベルが平面に位置していると判定した場合に、前記タンクと前記容器とのドッキングを許可する指令を前記自律式飛行体に向けて送信する、
    　請求項２８に記載のショベル。
  33. 　前記上部旋回体に取り付けられた送信装置を有し、
    　前記ショベルが作動状態にあると判定した場合に、前記タンクと前記容器とのドッキングを禁止する指令を前記送信装置から前記自律式飛行体に向けて送信させる、
    　請求項２８に記載のショベル。
  34. 　ショベルが消費する流体を容れた容器を運搬する自律式飛行体から該流体の補給を受けるショベルであって、
    　下部走行体と、
    　前記下部走行体に搭載される上部旋回体と、
    　前記上部旋回体に搭載される、前記流体を貯留するタンクと、
    　前記自律式飛行体を認証する制御装置と、を有する、
    　ショベル。
PCT/JP2017/003041 2016-01-29 2017-01-27 ショベル及びショベルの周囲を飛行する自律式飛行体 WO2017131194A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020187022450A KR102615981B1 (ko) 2016-01-29 2017-01-27 쇼벨 및 쇼벨의 주위를 비행하는 자율식 비행체
EP17744424.7A EP3409849B1 (en) 2016-01-29 2017-01-27 Excavator and autonomous flying body to fly around excavator
CN202210297469.0A CN114640827A (zh) 2016-01-29 2017-01-27 挖土机以及在挖土机的周围飞行的自主式飞行体
CN201780009042.3A CN108699814B (zh) 2016-01-29 2017-01-27 挖土机以及在挖土机的周围飞行的自主式飞行体
JP2017563872A JP6938389B2 (ja) 2016-01-29 2017-01-27 ショベル及びショベルの周囲を飛行する自律式飛行体
US16/047,426 US10767347B2 (en) 2016-01-29 2018-07-27 Shovel and autonomous aerial vehicle flying around shovel
US16/990,237 US11492783B2 (en) 2016-01-29 2020-08-11 Shovel and autonomous aerial vehicle flying around shovel

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2016-016665 2016-01-29
JP2016-016664 2016-01-29
JP2016016664 2016-01-29
JP2016016665 2016-01-29
JP2016021322 2016-02-05
JP2016-021322 2016-02-05
JP2016-051566 2016-03-15
JP2016051566 2016-03-15
JP2016071609 2016-03-31
JP2016-071609 2016-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/047,426 Continuation US10767347B2 (en) 2016-01-29 2018-07-27 Shovel and autonomous aerial vehicle flying around shovel

Publications (1)

Publication Number Publication Date
WO2017131194A1 true WO2017131194A1 (ja) 2017-08-03

Family

ID=59398300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003041 WO2017131194A1 (ja) 2016-01-29 2017-01-27 ショベル及びショベルの周囲を飛行する自律式飛行体

Country Status (6)

Country Link
US (2) US10767347B2 (ja)
EP (1) EP3409849B1 (ja)
JP (2) JP6938389B2 (ja)
KR (1) KR102615981B1 (ja)
CN (2) CN114640827A (ja)
WO (1) WO2017131194A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3348477A1 (de) * 2017-01-13 2018-07-18 MAN Truck & Bus AG Kraftfahrzeug mit einer start- und landevorrichtung für ein unbemanntes fluggerät
JP2018159565A (ja) * 2017-03-22 2018-10-11 株式会社トプコン 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム
WO2019069947A1 (ja) * 2017-10-04 2019-04-11 株式会社小松製作所 積込機械制御装置および制御方法
WO2019069975A1 (ja) * 2017-10-04 2019-04-11 株式会社小松製作所 作業機械制御装置および制御方法
WO2019102789A1 (ja) * 2017-11-22 2019-05-31 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
JP2019214836A (ja) * 2018-06-11 2019-12-19 株式会社フジタ 作業機械の遠隔制御システム
WO2020116492A1 (ja) * 2018-12-05 2020-06-11 株式会社ナイルワークス ドローンシステム、ドローン、移動体、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
WO2020116494A1 (ja) * 2018-12-05 2020-06-11 株式会社ナイルワークス ドローンシステム
WO2020153372A1 (ja) * 2019-01-22 2020-07-30 株式会社ナイルワークス ドローンシステム、ドローンシステムの制御方法
EP3767040A1 (en) 2019-07-17 2021-01-20 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
EP3767423A1 (en) 2019-07-17 2021-01-20 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
EP3767418A1 (en) 2019-07-17 2021-01-20 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
JP2021008776A (ja) * 2019-07-02 2021-01-28 住友建機株式会社 ショベル
JP2021017761A (ja) * 2019-07-22 2021-02-15 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021021253A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JPWO2020153372A1 (ja) * 2019-01-22 2021-02-18 株式会社ナイルワークス ドローンシステム、ドローンシステムの制御方法
JP2021025240A (ja) * 2019-07-31 2021-02-22 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021055374A (ja) * 2019-09-30 2021-04-08 日立建機株式会社 作業機械
JP2021097367A (ja) * 2019-12-18 2021-06-24 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
WO2021181916A1 (ja) * 2020-03-13 2021-09-16 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JPWO2021256464A1 (ja) * 2020-06-19 2021-12-23
JP2022028520A (ja) * 2020-08-03 2022-02-16 コベルコ建機株式会社 作業支援装置
JP2022029844A (ja) * 2020-08-05 2022-02-18 コベルコ建機株式会社 作業支援装置
JP2022030463A (ja) * 2020-08-07 2022-02-18 コベルコ建機株式会社 作業支援装置
JP2022032206A (ja) * 2020-08-11 2022-02-25 コベルコ建機株式会社 作業支援装置
EP3978692A1 (en) 2020-09-30 2022-04-06 Kobelco Construction Machinery Co., Ltd. Work support apparatus for work machine
WO2022070567A1 (ja) * 2020-09-29 2022-04-07 コベルコ建機株式会社 遠隔操作支援装置及び遠隔操作支援システム
WO2022085259A1 (ja) * 2020-10-19 2022-04-28 コベルコ建機株式会社 画像提供システム
JP2022079773A (ja) * 2017-10-04 2022-05-26 株式会社小松製作所 作業システムおよび制御方法
US20220366334A1 (en) * 2021-05-17 2022-11-17 Caterpillar Inc. Methods and systems for effective utilization of autonomous machines
JPWO2022249529A1 (ja) * 2021-05-28 2022-12-01
WO2023187964A1 (ja) * 2022-03-29 2023-10-05 株式会社クボタ 作業支援システム
WO2023187953A1 (ja) * 2022-03-29 2023-10-05 株式会社クボタ 作業支援システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3256650B1 (en) * 2015-02-13 2023-06-28 ESCO Group LLC Monitoring ground-engaging products for earth working equipment
JP6480830B2 (ja) * 2015-08-24 2019-03-13 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
US10895459B2 (en) 2017-12-13 2021-01-19 Aptiv Technologies Limited Vehicle navigation system and method
US10536630B2 (en) 2018-01-05 2020-01-14 Gopro, Inc. Method and system for user feedback in a motion constrained image stabilization system
JP7197310B2 (ja) * 2018-08-31 2022-12-27 株式会社小松製作所 積込機械の制御装置および制御方法
WO2020190660A1 (en) * 2019-03-15 2020-09-24 Built Robotics Inc. Sensor retrofit to autonomously actuate an excavation vehicle
JP7025366B2 (ja) * 2019-03-26 2022-02-24 日立建機株式会社 作業機械
BE1027171B1 (de) * 2019-04-03 2020-11-05 Thyssenkrupp Ind Solutions Ag Verfahren und Einrichtung zum automatisierten Betrieb einer vorwiegend im Tagebau einsetzbaren Materialgewinnungsanlage
US11731688B2 (en) * 2019-06-04 2023-08-22 Cnh Industrial America Llc Differential steering control vehicle, system and method
JP7245119B2 (ja) * 2019-06-06 2023-03-23 日立建機株式会社 建設機械
WO2021010489A1 (ja) * 2019-07-17 2021-01-21 住友建機株式会社 作業機械及び作業機械による作業を支援する支援装置
JP7490948B2 (ja) * 2019-11-25 2024-05-28 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
CN111733920B (zh) * 2020-06-30 2021-03-09 北京建工环境修复股份有限公司 一种智能上料控制系统及其控制方法
US11860641B2 (en) * 2021-01-28 2024-01-02 Caterpillar Inc. Visual overlays for providing perception of depth
KR20230023510A (ko) * 2021-08-10 2023-02-17 현대두산인프라코어(주) 라이파이 기술을 이용한 건설기계 시스템
WO2023189216A1 (ja) * 2022-03-31 2023-10-05 日立建機株式会社 作業支援システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542116A (ja) * 1999-04-22 2002-12-10 シコルスキー エアクラフト コーポレイション 反転ダクトロータとシュラウド付き推進プロペラを有する無人航空機
JP2008545324A (ja) * 2005-06-30 2008-12-11 プラナム・ビジョン・リミテッド 所定経路に沿った禁止動作を検知するための監視システムおよび方法
WO2009073052A2 (en) * 2007-08-13 2009-06-11 Raytheon Company Method and system for inflight refueling of unmanned aerial vehicles
JP2010200398A (ja) * 2009-02-23 2010-09-09 Chugoku Electric Power Co Inc:The 電力使用量加算システム
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
JP2012178912A (ja) * 2011-02-25 2012-09-13 Takao Hayashi 盗電防止機能付給電システム
WO2015066531A1 (en) * 2013-10-31 2015-05-07 Aerovironment, Inc. Interactive weapon targeting system displaying remote sensed image of target area
WO2015180180A1 (en) * 2014-05-30 2015-12-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
WO2015194601A1 (ja) * 2014-06-20 2015-12-23 住友重機械工業株式会社 ショベル及びその制御方法

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225434B2 (ja) * 1996-04-23 2001-11-05 重之 山口 映像提示システム
US6744372B1 (en) * 1997-02-27 2004-06-01 Jack B. Shaw Crane safety devices and methods
JP2001309233A (ja) * 2000-04-19 2001-11-02 Japan Aviation Electronics Industry Ltd 撮影装置の遠隔操作システム
JP2002369189A (ja) * 2001-06-06 2002-12-20 Ffc:Kk カメラ映像表示装置およびカメラ映像表示方法
AU2002331786A1 (en) * 2001-08-31 2003-03-18 The Board Of Regents Of The University And Community College System, On Behalf Of The University Of Coordinated joint motion control system
JP2003241833A (ja) 2002-02-18 2003-08-29 Hitachi Ltd 移動型ロボットによる情報配信サービス及び情報収集システム
US7532967B2 (en) * 2002-09-17 2009-05-12 Hitachi Construction Machinery Co., Ltd. Excavation teaching apparatus for construction machine
JP2006051893A (ja) * 2004-08-12 2006-02-23 Seiko Epson Corp 位置・姿勢検出システム
JP2006180326A (ja) * 2004-12-24 2006-07-06 Equos Research Co Ltd 車両用状況監視システム
JP2007147588A (ja) 2005-11-01 2007-06-14 Hitachi Constr Mach Co Ltd 作業機械の位置計測システム
JP2008011193A (ja) 2006-06-29 2008-01-17 Wintel Kk １．２ＧＨｚ映像無線システム
CA2659545C (en) * 2006-08-04 2014-12-23 Cmte Development Limited Collision avoidance for electric mining shovels
DE202007006501U1 (de) * 2007-01-25 2008-06-05 Liebherr-Werk Bischofshofen Ges.M.B.H. Arbeitsmaschine, vorzugsweise Radlader
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US9043052B2 (en) * 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target
JP4937291B2 (ja) 2009-03-30 2012-05-23 住友建機株式会社 建設機械
USD630268S1 (en) * 2009-11-25 2011-01-04 John Cunningham Remote controlled vehicle
JP2010248777A (ja) 2009-04-15 2010-11-04 Caterpillar Sarl 作業機械の管理システム
JP2011058269A (ja) 2009-09-10 2011-03-24 Caterpillar Sarl 作業機の位置管理装置
DE102010038661B4 (de) * 2010-07-29 2020-07-02 Deere & Company Erntemaschine mit einem an einem Fluggerät befestigten Sensor
JP5690539B2 (ja) * 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
JP5690113B2 (ja) 2010-10-22 2015-03-25 日本信号株式会社 自律移動サービス提供システム
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
FR2969321B1 (fr) * 2010-12-15 2013-08-16 Essilor Int Verre de lunettes comprenant un verre de base et une structure mince
KR20120082728A (ko) * 2011-01-14 2012-07-24 동국대학교 산학협력단 공중추적영상촬영을 위한 무인헬리콥터 탑재 카메라 짐벌의 시선각 연동 장치
JP5328830B2 (ja) 2011-03-24 2013-10-30 株式会社小松製作所 油圧ショベルの較正装置及び油圧ショベルの較正方法
US8761933B2 (en) 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
EP2570769A1 (de) * 2011-09-13 2013-03-20 Hexagon Technology Center GmbH Geodätisches Vermessungssystem und Verfahren mit multipler Zielverfolgungsfunktionalität
JP5888956B2 (ja) 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP6014484B2 (ja) 2012-12-21 2016-10-25 セコム株式会社 自律移動ロボット
JP6195450B2 (ja) 2013-01-31 2017-09-13 セコム株式会社 自律飛行ロボット
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
JP6505356B2 (ja) * 2013-07-17 2019-04-24 住友建機株式会社 ショベル
JP6187967B2 (ja) 2013-09-04 2017-08-30 みこらった株式会社 防御装置及び防御システム
WO2015105886A1 (en) * 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
JP5940579B2 (ja) 2014-03-20 2016-06-29 ヤフー株式会社 移動制御装置、移動制御方法及び移動制御システム
JP6358826B2 (ja) 2014-03-27 2018-07-18 株式会社沖データ 半導体装置、露光ヘッド及び画像形成装置
US9429867B2 (en) 2014-03-27 2016-08-30 Oki Data Corporation Semiconductor apparatus, exposing head, and image forming apparatus
JP6648971B2 (ja) 2014-03-27 2020-02-19 株式会社フジタ 構造物の点検装置
US10228232B2 (en) * 2014-04-14 2019-03-12 Caterpillar Inc. Operator assistance system
JP6232494B2 (ja) * 2014-04-23 2017-11-15 株式会社日立製作所 掘削装置
US9865172B2 (en) * 2014-04-25 2018-01-09 Sony Corporation Information processing device, information processing method, program, and imaging system
EP3135827B1 (en) * 2014-04-25 2020-12-02 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Construction machine
JP5775632B2 (ja) 2014-09-16 2015-09-09 株式会社トプコン 飛行体の飛行制御システム
DE102014218749A1 (de) * 2014-09-18 2016-03-24 Bayerische Motoren Werke Aktiengesellschaft Unterstützung eines Bedieners einer Arbeitsmaschine mittels eines unbemannten Flugobjektes
GB2533140A (en) * 2014-12-11 2016-06-15 Caterpillar Inc Drone
KR101550780B1 (ko) * 2015-02-13 2015-09-08 (주)하이레벤 무인 항공기를 이용한 영상 데이터 수집 시스템 및 방법
KR101587479B1 (ko) * 2015-08-25 2016-01-21 한국항공대학교 산학협력단 영상 정보를 이용한 무인비행체의 위치 유도 제어방법
US9454147B1 (en) * 2015-09-11 2016-09-27 Caterpillar Inc. Control system for a rotating machine
CN105222807B (zh) * 2015-10-14 2017-10-13 中国民航大学 一种旋翼无人机精密进近航道指示器校验系统及校验方法
US20170247107A1 (en) * 2016-02-29 2017-08-31 GeoScout, Inc. Rotary-wing vehicle and system
DE202016002296U1 (de) * 2016-04-08 2017-07-12 Liebherr-Components Biberach Gmbh Baumaschine
US10721859B2 (en) * 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
JP6898816B2 (ja) * 2017-09-15 2021-07-07 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP6878226B2 (ja) * 2017-09-19 2021-05-26 日立建機株式会社 作業機械
EP3730700B1 (en) * 2017-12-21 2024-05-22 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel and shovel management system
EP3733977B1 (en) * 2017-12-27 2023-11-22 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP7522553B2 (ja) * 2017-12-27 2024-07-25 住友建機株式会社 ショベル
EP3739129A4 (en) * 2018-01-10 2021-03-03 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. SHOVEL AND SHOVEL MANAGEMENT SYSTEM
CN111670286A (zh) * 2018-01-30 2020-09-15 住友建机株式会社 挖土机及挖土机的管理系统
EP3767038B1 (en) * 2018-03-12 2024-08-14 Hitachi Construction Machinery Co., Ltd. Work machine
WO2019181872A1 (ja) * 2018-03-20 2019-09-26 住友重機械工業株式会社 ショベル
JP7474192B2 (ja) * 2018-03-23 2024-04-24 住友重機械工業株式会社 ショベル
US10592934B2 (en) * 2018-03-30 2020-03-17 The Travelers Indemnity Company Systems and methods for automated multi-object damage analysis
CN112368449A (zh) * 2018-03-31 2021-02-12 住友建机株式会社 挖土机
JP2019200123A (ja) * 2018-05-16 2019-11-21 セイコーエプソン株式会社 センサーユニット、建設機械、および構造物監視装置
EP3812517A4 (en) * 2018-06-19 2021-09-15 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. EXCAVATOR AND INFORMATION PROCESSING DEVICE
JP7454505B2 (ja) * 2018-11-06 2024-03-22 住友重機械工業株式会社 ショベル
JPWO2020095945A1 (ja) * 2018-11-08 2021-09-24 住友建機株式会社 ショベル、情報処理装置、情報処理方法、情報処理プログラム、端末装置、表示方法、表示プログラム
CN113039327B (zh) * 2018-11-14 2022-10-25 住友重机械工业株式会社 挖土机、挖土机的控制装置
EP3882403A4 (en) * 2018-11-14 2022-01-12 Sumitomo Construction Machinery Co., Ltd. BLADE, BLADE CONTROL DEVICE AND BLADE SUPPORT DEVICE
WO2020101006A1 (ja) * 2018-11-14 2020-05-22 住友重機械工業株式会社 ショベル、ショベルの制御装置
CN113167051A (zh) * 2018-11-14 2021-07-23 住友重机械工业株式会社 挖土机、挖土机的控制装置
CN113508205A (zh) * 2019-02-28 2021-10-15 住友重机械工业株式会社 施工机械、信息处理装置
KR20210129086A (ko) * 2019-02-28 2021-10-27 스미도모쥬기가이고교 가부시키가이샤 표시장치, 쇼벨, 정보처리장치
WO2020196838A1 (ja) * 2019-03-27 2020-10-01 住友重機械工業株式会社 ショベル及びショベルの管理装置
WO2021241526A1 (ja) * 2020-05-25 2021-12-02 住友建機株式会社 ショベル及びショベル用のシステム
KR20230015308A (ko) * 2020-05-27 2023-01-31 스미도모쥬기가이고교 가부시키가이샤 쇼벨용의 시공지원시스템
CN112627261B (zh) * 2020-11-19 2022-06-14 徐州徐工筑路机械有限公司 一种基于机器视觉的铲刀姿态控制系统、方法及平地机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542116A (ja) * 1999-04-22 2002-12-10 シコルスキー エアクラフト コーポレイション 反転ダクトロータとシュラウド付き推進プロペラを有する無人航空機
JP2008545324A (ja) * 2005-06-30 2008-12-11 プラナム・ビジョン・リミテッド 所定経路に沿った禁止動作を検知するための監視システムおよび方法
WO2009073052A2 (en) * 2007-08-13 2009-06-11 Raytheon Company Method and system for inflight refueling of unmanned aerial vehicles
JP2010200398A (ja) * 2009-02-23 2010-09-09 Chugoku Electric Power Co Inc:The 電力使用量加算システム
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
JP2012178912A (ja) * 2011-02-25 2012-09-13 Takao Hayashi 盗電防止機能付給電システム
WO2015066531A1 (en) * 2013-10-31 2015-05-07 Aerovironment, Inc. Interactive weapon targeting system displaying remote sensed image of target area
WO2015180180A1 (en) * 2014-05-30 2015-12-03 SZ DJI Technology Co., Ltd. Systems and methods for uav docking
WO2015194601A1 (ja) * 2014-06-20 2015-12-23 住友重機械工業株式会社 ショベル及びその制御方法

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3348477A1 (de) * 2017-01-13 2018-07-18 MAN Truck & Bus AG Kraftfahrzeug mit einer start- und landevorrichtung für ein unbemanntes fluggerät
JP2018159565A (ja) * 2017-03-22 2018-10-11 株式会社トプコン 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム
US11661725B2 (en) 2017-10-04 2023-05-30 Komatsu Ltd. Loading machine control device and control method
JP2022079773A (ja) * 2017-10-04 2022-05-26 株式会社小松製作所 作業システムおよび制御方法
JP2019065661A (ja) * 2017-10-04 2019-04-25 株式会社小松製作所 積込機械制御装置および制御方法
JP2019065660A (ja) * 2017-10-04 2019-04-25 株式会社小松製作所 作業機械制御装置および制御方法
JP7404414B2 (ja) 2017-10-04 2023-12-25 株式会社小松製作所 作業機械制御装置および制御方法
WO2019069975A1 (ja) * 2017-10-04 2019-04-11 株式会社小松製作所 作業機械制御装置および制御方法
JP2022051849A (ja) * 2017-10-04 2022-04-01 株式会社小松製作所 作業機械制御装置および制御方法
WO2019069947A1 (ja) * 2017-10-04 2019-04-11 株式会社小松製作所 積込機械制御装置および制御方法
JP7311667B2 (ja) 2017-10-04 2023-07-19 株式会社小松製作所 作業システムおよび制御方法
US11591772B2 (en) 2017-10-04 2023-02-28 Komatsu Ltd. Work machine control device and control method
JP2019093471A (ja) * 2017-11-22 2019-06-20 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
WO2019102789A1 (ja) * 2017-11-22 2019-05-31 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
JP2019214836A (ja) * 2018-06-11 2019-12-19 株式会社フジタ 作業機械の遠隔制御システム
JP7008997B2 (ja) 2018-12-05 2022-01-25 株式会社ナイルワークス ドローンシステム、ドローン、移動体、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
JP7075679B2 (ja) 2018-12-05 2022-05-26 株式会社ナイルワークス ドローンシステム
WO2020116494A1 (ja) * 2018-12-05 2020-06-11 株式会社ナイルワークス ドローンシステム
WO2020116492A1 (ja) * 2018-12-05 2020-06-11 株式会社ナイルワークス ドローンシステム、ドローン、移動体、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
JPWO2020116492A1 (ja) * 2018-12-05 2021-02-15 株式会社ナイルワークス ドローンシステム、ドローン、移動体、ドローンシステムの制御方法、および、ドローンシステム制御プログラム
US11873100B2 (en) 2018-12-05 2024-01-16 Nileworks Inc. Drone system, drone, movable body, drone system control method, and drone system control program
JPWO2020116494A1 (ja) * 2018-12-05 2021-05-20 株式会社ナイルワークス ドローンシステム
CN113271772A (zh) * 2019-01-22 2021-08-17 株式会社尼罗沃克 无人机系统和无人机系统的控制方法
JPWO2020153372A1 (ja) * 2019-01-22 2021-02-18 株式会社ナイルワークス ドローンシステム、ドローンシステムの制御方法
WO2020153372A1 (ja) * 2019-01-22 2020-07-30 株式会社ナイルワークス ドローンシステム、ドローンシステムの制御方法
JP7330458B2 (ja) 2019-07-02 2023-08-22 住友建機株式会社 ショベル及びショベル用の制御装置
JP2021008776A (ja) * 2019-07-02 2021-01-28 住友建機株式会社 ショベル
JP7293933B2 (ja) 2019-07-17 2023-06-20 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021017694A (ja) * 2019-07-17 2021-02-15 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021017696A (ja) * 2019-07-17 2021-02-15 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP7293934B2 (ja) 2019-07-17 2023-06-20 コベルコ建機株式会社 作業機械および作業機械支援サーバ
EP3767418A1 (en) 2019-07-17 2021-01-20 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
EP3767423A1 (en) 2019-07-17 2021-01-20 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
US11560694B2 (en) 2019-07-17 2023-01-24 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
EP3767040A1 (en) 2019-07-17 2021-01-20 Kobelco Construction Machinery Co., Ltd. Work machine and work machine support server
JP2021017695A (ja) * 2019-07-17 2021-02-15 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP7293939B2 (ja) 2019-07-22 2023-06-20 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021017761A (ja) * 2019-07-22 2021-02-15 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021021253A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP2021025240A (ja) * 2019-07-31 2021-02-22 コベルコ建機株式会社 作業機械および作業機械支援サーバ
JP7043471B2 (ja) 2019-09-30 2022-03-29 日立建機株式会社 作業機械
JP2021055374A (ja) * 2019-09-30 2021-04-08 日立建機株式会社 作業機械
JP7287262B2 (ja) 2019-12-18 2023-06-06 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
JP2021097367A (ja) * 2019-12-18 2021-06-24 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ
WO2021181916A1 (ja) * 2020-03-13 2021-09-16 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP7508815B2 (ja) 2020-03-13 2024-07-02 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP7459253B2 (ja) 2020-06-19 2024-04-01 川崎重工業株式会社 撮像システム、ロボットシステム及び撮像システムの制御方法
WO2021256464A1 (ja) * 2020-06-19 2021-12-23 川崎重工業株式会社 撮像システム及びロボットシステム
JPWO2021256464A1 (ja) * 2020-06-19 2021-12-23
JP7472708B2 (ja) 2020-08-03 2024-04-23 コベルコ建機株式会社 作業支援装置
JP2022028520A (ja) * 2020-08-03 2022-02-16 コベルコ建機株式会社 作業支援装置
JP7443978B2 (ja) 2020-08-05 2024-03-06 コベルコ建機株式会社 作業支援装置
JP2022029844A (ja) * 2020-08-05 2022-02-18 コベルコ建機株式会社 作業支援装置
JP2022030463A (ja) * 2020-08-07 2022-02-18 コベルコ建機株式会社 作業支援装置
JP7487605B2 (ja) 2020-08-07 2024-05-21 コベルコ建機株式会社 作業支援装置
EP3964910A1 (en) 2020-08-11 2022-03-09 Kobelco Construction Machinery Co., Ltd. Work support apparatus for work machine
JP2022032206A (ja) * 2020-08-11 2022-02-25 コベルコ建機株式会社 作業支援装置
JP7521359B2 (ja) 2020-09-29 2024-07-24 コベルコ建機株式会社 遠隔操作支援装置及び遠隔操作支援システム
JP2022055922A (ja) * 2020-09-29 2022-04-08 コベルコ建機株式会社 遠隔操作支援装置及び遠隔操作支援システム
WO2022070567A1 (ja) * 2020-09-29 2022-04-07 コベルコ建機株式会社 遠隔操作支援装置及び遠隔操作支援システム
EP3978692A1 (en) 2020-09-30 2022-04-06 Kobelco Construction Machinery Co., Ltd. Work support apparatus for work machine
US11835970B2 (en) 2020-09-30 2023-12-05 Kobelco Construction Machinery Co., Ltd. Unmanned aerial vehicle with work implement view and overview mode for industrial vehicles
JP7472746B2 (ja) 2020-09-30 2024-04-23 コベルコ建機株式会社 作業支援装置
JP2022057248A (ja) * 2020-09-30 2022-04-11 コベルコ建機株式会社 作業支援装置
JP7537222B2 (ja) 2020-10-19 2024-08-21 コベルコ建機株式会社 画像提供システム
WO2022085259A1 (ja) * 2020-10-19 2022-04-28 コベルコ建機株式会社 画像提供システム
US20220366334A1 (en) * 2021-05-17 2022-11-17 Caterpillar Inc. Methods and systems for effective utilization of autonomous machines
WO2022249529A1 (ja) * 2021-05-28 2022-12-01 日本国土開発株式会社 建設機械システム
JPWO2022249529A1 (ja) * 2021-05-28 2022-12-01
JP7351021B2 (ja) 2021-05-28 2023-09-26 日本国土開発株式会社 建設機械システム
WO2023187953A1 (ja) * 2022-03-29 2023-10-05 株式会社クボタ 作業支援システム
WO2023187964A1 (ja) * 2022-03-29 2023-10-05 株式会社クボタ 作業支援システム

Also Published As

Publication number Publication date
US11492783B2 (en) 2022-11-08
JP6938389B2 (ja) 2021-09-22
US20180371723A1 (en) 2018-12-27
CN108699814A (zh) 2018-10-23
JP7387684B2 (ja) 2023-11-28
CN114640827A (zh) 2022-06-17
JPWO2017131194A1 (ja) 2018-11-15
EP3409849A4 (en) 2019-07-10
KR20180107131A (ko) 2018-10-01
KR102615981B1 (ko) 2023-12-19
US20200370282A1 (en) 2020-11-26
EP3409849A1 (en) 2018-12-05
JP2022000570A (ja) 2022-01-04
EP3409849B1 (en) 2023-10-18
CN108699814B (zh) 2022-04-12
US10767347B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
JP7387684B2 (ja) ショベル及び自律式飛行体
US11926994B2 (en) Excavator, display device for excavator, and terminal apparatus
KR20200132892A (ko) 쇼벨
JP7439053B2 (ja) ショベル及びショベルの管理装置
CN113661296A (zh) 施工机械、支援系统
US20220341124A1 (en) Shovel and remote operation support apparatus
US20240011252A1 (en) Shovel and shovel control device
CN116745489A (zh) 挖掘机、信息处理装置
US20240318402A1 (en) Excavator
JP2023174887A (ja) 作業機械、情報処理装置
US12098516B2 (en) Shovel and system
US11835970B2 (en) Unmanned aerial vehicle with work implement view and overview mode for industrial vehicles
JP7537222B2 (ja) 画像提供システム
CN118257317A (zh) 施工机械、远程操作支援装置
CN117062956A (zh) 挖土机及挖土机的控制装置
JP2023151634A (ja) 建設機械の作業支援システム
JP2024094059A (ja) ショベル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17744424

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017563872

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187022450

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017744424

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017744424

Country of ref document: EP

Effective date: 20180829