WO2021010489A1 - 作業機械及び作業機械による作業を支援する支援装置 - Google Patents

作業機械及び作業機械による作業を支援する支援装置 Download PDF

Info

Publication number
WO2021010489A1
WO2021010489A1 PCT/JP2020/027974 JP2020027974W WO2021010489A1 WO 2021010489 A1 WO2021010489 A1 WO 2021010489A1 JP 2020027974 W JP2020027974 W JP 2020027974W WO 2021010489 A1 WO2021010489 A1 WO 2021010489A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bucket
excavator
work machine
attachment
Prior art date
Application number
PCT/JP2020/027974
Other languages
English (en)
French (fr)
Inventor
竜二 白谷
大輔 北島
一 新垣
Original Assignee
住友建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友建機株式会社 filed Critical 住友建機株式会社
Priority to CN202080048505.9A priority Critical patent/CN114080481B/zh
Priority to JP2021533122A priority patent/JPWO2021010489A1/ja
Priority to KR1020227000135A priority patent/KR20220035091A/ko
Priority to EP20840892.2A priority patent/EP4001513A4/en
Publication of WO2021010489A1 publication Critical patent/WO2021010489A1/ja
Priority to US17/647,892 priority patent/US20220136215A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/18Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes
    • B66C23/36Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes specially adapted for use in particular purposes mounted on road or rail vehicles; Manually-movable jib-cranes for use in workshops; Floating cranes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/425Drive systems for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/96Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements
    • E02F3/962Mounting of implements directly on tools already attached to the machine
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool

Definitions

  • This disclosure relates to a work machine and a support device that supports work by the work machine.
  • This excavator is configured to superimpose a guideline as a distance display line on the image captured by the camera.
  • the excavator is not configured to present information to the operator about the area in front of the upper swing body.
  • the work machine includes a lower traveling body, an upper rotating body rotatably mounted on the lower traveling body, an attachment attached to the upper rotating body, a surrounding monitoring device, and a display device.
  • the display device is configured to display guidance for an object detected by the surrounding monitoring device.
  • FIG. 1A It is a side view of the excavator which concerns on embodiment of this invention. It is a top view of the excavator shown in FIG. 1A. It is the schematic which shows the structural example of the hydraulic system mounted on the excavator shown in FIG. 1A. It is a functional block diagram of a controller. It is a figure which shows the positional relationship of an excavator and a dump truck. It is a figure which shows the positional relationship of an excavator and a dump truck. It is a figure which shows an example of the image which is displayed at the time of loading operation. It is a figure which shows another example of the image displayed at the time of a loading operation. It is a figure which shows still another example of the image displayed at the time of a loading operation.
  • FIG. 1A is a side view of the excavator 100
  • FIG. 1B is a top view of the excavator 100.
  • the lower traveling body 1 of the excavator 100 which is an example of the work machine, includes the crawler 1C.
  • the crawler 1C is driven by a traveling hydraulic motor 2M mounted on the lower traveling body 1.
  • the crawler 1C includes a left crawler 1CL and a right crawler 1CR.
  • the left crawler 1CL is driven by the left traveling hydraulic motor 2ML
  • the right crawler 1CR is driven by the right traveling hydraulic motor 2MR.
  • the lower traveling body 1 is mounted with the upper rotating body 3 so as to be able to turn via the turning mechanism 2.
  • the swivel mechanism 2 is driven by a swivel hydraulic motor 2A mounted on the upper swivel body 3.
  • the swivel mechanism 2 may be driven by a swivel motor generator.
  • a boom 4 is attached to the upper swing body 3.
  • An arm 5 is attached to the tip of the boom 4, and a bucket 6 as an end attachment is attached to the tip of the arm 5.
  • the boom 4, arm 5, and bucket 6 form an excavation attachment AT, which is an example of an attachment.
  • the boom 4 is driven by the boom cylinder 7, the arm 5 is driven by the arm cylinder 8, and the bucket 6 is driven by the bucket cylinder 9.
  • the boom 4 is rotatably supported by the upper swing body 3.
  • a boom angle sensor S1 is attached to the boom 4.
  • the boom angle sensor S1 can detect the boom angle ⁇ 1 which is the rotation angle of the boom 4.
  • the boom angle ⁇ 1 is, for example, an ascending angle from the state in which the boom 4 is most lowered. Therefore, the boom angle ⁇ 1 becomes maximum when the boom 4 is raised most.
  • the arm 5 is rotatably supported by the boom 4.
  • An arm angle sensor S2 is attached to the arm 5.
  • the arm angle sensor S2 can detect the arm angle ⁇ 2, which is the rotation angle of the arm 5.
  • the arm angle ⁇ 2 is, for example, an opening angle from the most closed state of the arm 5. Therefore, the arm angle ⁇ 2 becomes maximum when the arm 5 is opened most.
  • the bucket 6 is rotatably supported by the arm 5.
  • a bucket angle sensor S3 is attached to the bucket 6.
  • the bucket angle sensor S3 can detect the bucket angle ⁇ 3, which is the rotation angle of the bucket 6.
  • the bucket angle ⁇ 3 is, for example, an opening angle from the most closed state of the bucket 6. Therefore, the bucket angle ⁇ 3 becomes maximum when the bucket 6 is opened most.
  • each of the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3 is composed of a combination of an acceleration sensor and a gyro sensor.
  • at least one of the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3 may be composed of only an acceleration sensor.
  • the boom angle sensor S1 may be a stroke sensor attached to the boom cylinder 7, a rotary encoder, a potentiometer, an inertial measurement unit, or the like. The same applies to the arm angle sensor S2 and the bucket angle sensor S3.
  • the upper swing body 3 is provided with a cabin 10 as a driver's cab, and is equipped with a power source such as an engine 11. Further, an object detection device 70, an image pickup device 80, an airframe tilt sensor S4, a swivel angular velocity sensor S5, and the like are attached to the upper swivel body 3. Inside the cabin 10, an operating device 26, a controller 30, a display device 40, a sound output device 43, and the like are provided.
  • the side of the upper swivel body 3 to which the excavation attachment AT is attached is referred to as the front, and the side to which the counterweight is attached is referred to as the rear.
  • the object detection device 70 is an example of a surrounding monitoring device (space recognition device), and is configured to detect an object existing around the excavator 100.
  • the object is, for example, a person, an animal, a vehicle including a dump truck, a construction machine, a building, a wall, a fence, a clay pipe, a U-shaped groove, a tree such as a planting, or a hole.
  • the object detection device 70 may detect the presence / absence of an object, the shape of the object, the type of the object, the position of the object, and the like.
  • the object detection device 70 is, for example, a camera, an ultrasonic sensor, a millimeter wave radar, a stereo camera, a LIDAR, a range image sensor, an infrared sensor, or the like.
  • the object detection device 70 includes a front sensor 70F which is a lidar attached to the front end of the upper surface of the cabin 10, a rear sensor 70B which is a lidar attached to the rear end of the upper surface of the upper swing body 3, and an upper swing body 3. It includes a left sensor 70L which is a lidar attached to the left end of the upper surface of the upper surface and a right sensor 70R which is a lidar attached to the right end of the upper surface of the upper swing body 3.
  • the front sensor 70F may be mounted on the ceiling surface of the cabin 10, that is, inside the cabin 10.
  • the object detection device 70 may be configured to detect a predetermined object in a predetermined area set around the excavator 100.
  • the object detection device 70 may be configured to distinguish between a person and a non-human object.
  • the object detection device 70 may be configured to calculate the distance from the object detection device 70 or the excavator 100 to the recognized object.
  • the image pickup device 80 is another example of a surrounding monitoring device (space recognition device), and images the surroundings of the excavator 100.
  • the imaging device 80 is attached to the rear camera 80B attached to the upper rear end of the upper rotating body 3, the left camera 80L attached to the upper left end of the upper rotating body 3, and the upper right end of the upper rotating body 3.
  • the right camera 80R and the front camera 80F attached to the front end of the upper surface of the cabin 10 are included.
  • the object detection device 70 is a camera
  • the object detection device 70 may be configured to also function as an image pickup device 80.
  • the image pickup device 80 may be integrated with the object detection device 70. That is, the image pickup apparatus 80 may be omitted.
  • the rear camera 80B is arranged adjacent to the rear sensor 70B, the left camera 80L is arranged adjacent to the left sensor 70L, the right camera 80R is arranged adjacent to the right sensor 70R, and the front camera 80F is arranged adjacent to the front sensor. It is arranged adjacent to the 70F.
  • the image captured by the image pickup device 80 is displayed on the display device 40.
  • the image pickup device 80 may be configured so that a viewpoint conversion image such as a bird's-eye view image can be displayed on the display device 40.
  • the bird's-eye view image is generated by synthesizing the images output by each of the rear camera 80B, the left camera 80L, and the right camera 80R, for example.
  • the airframe tilt sensor S4 is configured to detect the tilt of the upper swivel body 3 with respect to a predetermined plane.
  • the body tilt sensor S4 is an acceleration sensor that detects the tilt angle (roll angle) around the front-rear axis and the tilt angle (pitch angle) around the left-right axis of the upper swing body 3 with respect to the virtual horizontal plane.
  • the front-rear axis and the left-right axis of the upper swivel body 3 pass through the center point of the excavator 100, which is one point on the swivel axis of the excavator 100, for example, orthogonal to each other.
  • the airframe tilt sensor S4 may be composed of a combination of an acceleration sensor and a gyro sensor.
  • the airframe tilt sensor S4 may be an inertial measurement unit.
  • the turning angular velocity sensor S5 is configured to detect the turning angular velocity of the upper swing body 3.
  • the turning angular velocity sensor S5 is a gyro sensor.
  • the turning angular velocity sensor S5 may be a resolver, a rotary encoder, or the like.
  • the turning angular velocity sensor S5 may detect the turning velocity.
  • the turning speed may be calculated from the turning angular velocity.
  • each of the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the body tilt sensor S4, and the turning angular velocity sensor S5 is also referred to as an attitude detection device.
  • the display device 40 is configured to display various information.
  • the display device 40 is a display installed in the cabin 10.
  • the display device 40 may be a projection device such as a projector or a head-up display that projects an image on the windshield of the cabin 10, and is a display attached or embedded in the windshield of the cabin 10. You may.
  • the display device 40 has a control unit 40a, an image display unit 41 (see FIG. 5A), and an operation unit 42 (see FIG. 5A).
  • the control unit 40a controls the image displayed on the image display unit 41.
  • the control unit 40a is composed of a computer including a CPU, a volatile storage device, a non-volatile storage device, and the like.
  • the control unit 40a reads the program corresponding to each function from the non-volatile storage device, reads it into the volatile storage device, and causes the CPU to execute the corresponding processing.
  • the sound output device 43 is configured to output sound.
  • the sound output device 43 is a speaker installed at the rear of the cabin 10.
  • the operating device 26 is a device used by the operator to operate the actuator.
  • Actuators include hydraulic actuators and electric actuators.
  • the hydraulic actuators are, for example, a turning hydraulic motor 2A, a traveling hydraulic motor 2M, a boom cylinder 7, an arm cylinder 8, a bucket cylinder 9, and the like.
  • the electric actuator is, for example, a turning electric motor or the like.
  • the controller 30 is a control device for controlling the excavator 100.
  • the controller 30 is composed of a computer including a CPU, a volatile storage device, a non-volatile storage device, and the like. Then, the controller 30 reads the program corresponding to each function from the non-volatile storage device and executes it.
  • Each function is, for example, a machine guidance function for guiding the manual operation of the excavator 100 by the operator, a machine control function for autonomously supporting the manual operation of the excavator 100 by the operator, and the like.
  • FIG. 2 is a diagram showing a configuration example of a hydraulic system mounted on the excavator 100, in which a mechanical power transmission system, a hydraulic oil line, a pilot line, and an electric control system are shown as double lines, solid lines, broken lines, and electric control systems, respectively. Shown by the dotted line.
  • the hydraulic system circulates hydraulic oil from the main pump 14 as a hydraulic pump driven by the engine 11 to the hydraulic oil tank via the center bypass pipeline 45.
  • the main pump 14 includes a left main pump 14L and a right main pump 14R.
  • the center bypass line 45 includes a left center bypass line 45L and a right center bypass line 45R.
  • the left center bypass line 45L is a hydraulic oil line passing through the control valves 151, 153, 155, and 157 arranged in the control valve unit, and the right center bypass line 45R is arranged in the control valve unit.
  • the control valve 150 is a traveling straight valve.
  • the control valve 151 supplies the hydraulic oil discharged by the left main pump 14L to the left traveling hydraulic motor 2ML, and discharges the hydraulic oil in the left traveling hydraulic motor 2ML to the hydraulic oil tank. It is a spool valve that switches between.
  • the control valve 152 supplies the hydraulic oil discharged by the left main pump 14L or the right main pump 14R to the right traveling hydraulic motor 2MR, and discharges the hydraulic oil in the right traveling hydraulic motor 2MR to the hydraulic oil tank. It is a spool valve that switches the flow of hydraulic oil.
  • the control valve 153 is a spool valve that switches the flow of hydraulic oil in order to supply the hydraulic oil discharged by the left main pump 14L to the boom cylinder 7.
  • the control valve 154 is a spool valve that supplies the hydraulic oil discharged by the right main pump 14R to the boom cylinder 7 and switches the flow of the hydraulic oil in order to discharge the hydraulic oil in the boom cylinder 7 to the hydraulic oil tank. ..
  • the control valve 155 is a spool valve that supplies the hydraulic oil discharged by the left main pump 14L to the arm cylinder 8 and switches the flow of the hydraulic oil in order to discharge the hydraulic oil in the arm cylinder 8 to the hydraulic oil tank. ..
  • the control valve 156 is a spool valve that switches the flow of the hydraulic oil in order to supply the hydraulic oil discharged by the right main pump 14R to the arm cylinder 8.
  • the control valve 157 is a spool valve that switches the flow of hydraulic oil in order to circulate the hydraulic oil discharged by the left main pump 14L by the swivel hydraulic motor 2A.
  • the control valve 158 is a spool valve that supplies the hydraulic oil discharged by the right main pump 14R to the bucket cylinder 9 and switches the flow of the hydraulic oil in order to discharge the hydraulic oil in the bucket cylinder 9 to the hydraulic oil tank. ..
  • the regulator 13 controls the discharge amount of the main pump 14 by adjusting the swash plate tilt angle of the main pump 14 according to the discharge pressure of the main pump 14.
  • the regulator 13 includes a left regulator 13L corresponding to the left main pump 14L and a right regulator 13R corresponding to the right main pump 14R.
  • the boom operating lever 26A is an operating device for expanding and contracting the boom cylinder 7 to raise and lower the boom 4.
  • the boom operating lever 26A utilizes the hydraulic oil discharged by the pilot pump 15 to introduce a control pressure according to the lever operating amount into the pilot port of the control valve 154.
  • the amount of movement of the spool in the control valve 154 is controlled, and the flow rate of the hydraulic oil supplied to the boom cylinder 7 is controlled.
  • the control valve 153 In FIG. 2, for the sake of clarity, the illustration of the pilot line connecting the boom operating lever 26A, the left and right pilot ports of the control valve 153, and the left and right pilot ports of the control valve 154 is omitted.
  • the operating pressure sensor 29A detects the operation content of the operator with respect to the boom operating lever 26A in the form of pressure, and outputs the detected value to the controller 30.
  • the operation contents are, for example, a lever operation direction and a lever operation amount (lever operation angle).
  • the bucket operating lever 26B is an operating device for expanding and contracting the bucket cylinder 9 to open and close the bucket 6.
  • the bucket operating lever 26B uses, for example, the hydraulic oil discharged from the pilot pump 15 to introduce a control pressure according to the lever operating amount into the pilot port of the control valve 158. As a result, the amount of movement of the spool in the control valve 158 is controlled, and the flow rate of the hydraulic oil supplied to the bucket cylinder 9 is controlled.
  • the operating pressure sensor 29B detects the operation content of the operator with respect to the bucket operating lever 26B in the form of pressure, and outputs the detected value to the controller 30.
  • the excavator 100 has a traveling lever, a traveling pedal, an arm operating lever, and a turning operating lever (none of which are shown) in addition to the boom operating lever 26A and the bucket operating lever 26B. Similar to the boom operating lever 26A and the bucket operating lever 26B, these operating devices utilize the hydraulic oil discharged by the pilot pump 15 to control the lever operating amount or the control pressure according to the pedal operating amount of the corresponding control valve. Act on the pilot port. Further, the operation content of the operator with respect to each of these operating devices is detected in the form of pressure by the corresponding operating pressure sensor similar to the operating pressure sensor 29A. Then, each operating pressure sensor outputs the detected value to the controller 30. In FIG. 2, for the sake of clarity, the illustration of the pilot line connecting these operating devices and the pilot port of the corresponding control valve is omitted.
  • the controller 30 receives the outputs of the boom angle sensor S1, the arm angle sensor S2, the bucket angle sensor S3, the operating pressure sensor 29A, the operating pressure sensor 29B, the discharge pressure sensor 28, and the like, and appropriately supplies the engines 11 and the regulator 13 and the like.
  • a control command is output.
  • the controller 30 may output a control command to the pressure reducing valve 50 and adjust the control pressure acting on the corresponding control valve to control the corresponding actuator.
  • the pressure reducing valve 50 includes a pressure reducing valve 50L and a pressure reducing valve 50R.
  • the controller 30 may output a control command to the pressure reducing valve 50L and adjust the control pressure acting on the left pilot port of the control valve 158 to control the bucket opening operation.
  • the controller 30 may output a control command to the pressure reducing valve 50R and adjust the control pressure acting on the right pilot port of the control valve 158 to control the bucket closing operation.
  • the controller 30 can adjust the control pressure acting on the pilot port of the control valve by the pressure reducing valve. Therefore, the controller 30 can operate the actuator regardless of the manual operation of the operating device 26 by the operator.
  • the pressure reducing valve 50L and the pressure reducing valve 50R may be electromagnetic proportional valves.
  • FIG. 3 is a functional block diagram of the controller 30.
  • the controller 30 receives signals output from the posture detection device, the operation device 26, the object detection device 70, the image pickup device 80, and the like, executes various calculations, and executes various calculations to display the display device 40 and the sound output device. It is configured so that a control command can be output to 43, a pressure reducing valve 50, and the like.
  • the attitude detection device includes a boom angle sensor S1, an arm angle sensor S2, a bucket angle sensor S3, a body tilt sensor S4, and a turning angular velocity sensor S5.
  • the controller 30 has a position acquisition unit 30A, an image presentation unit 30B, and an operation support unit 30C as functional elements. Each functional element may be composed of hardware or software.
  • the position acquisition unit 30A is configured to acquire information regarding the position of the object.
  • the position acquisition unit 30A is configured to acquire information regarding the position of the loading platform of the dump truck located in front of the excavator 100 and information regarding the position of the bucket 6.
  • Information about the position of an object is represented by, for example, coordinates in a reference coordinate system.
  • the reference coordinate system is, for example, a three-dimensional Cartesian coordinate system whose origin is the center point of the excavator 100.
  • the center point of the excavator 100 is, for example, the intersection of the virtual ground plane of the excavator 100 and the swivel axis.
  • the reference coordinate system may be a world geodetic coordinate system.
  • the controller 30 may determine the coordinates of the center point of the excavator 100 based on the output of the GNSS receiver or the like attached to the excavator 100.
  • the position acquisition unit 30A acquires information on the position of the loading platform of the dump truck based on the coordinates of the known mounting position of the front sensor 70F in the reference coordinate system and the output of the front sensor 70F.
  • Information about the position of the dump truck bed includes information about at least one position of the front panel, the bottom of the bed, the side gates, and the rear gate.
  • the position acquisition unit 30A is based on the coordinates of the known mounting position of the front camera 80F in the reference coordinate system and the image captured by the front camera 80F (hereinafter, referred to as “front image”) of the dump truck carrier. Information about the position may be obtained.
  • the position acquisition unit 30A acquires information on the position of the front panel by, for example, performing various image processing on the front image including the image of the front panel to derive the distance between the front camera 80F and the front panel. To do.
  • the position acquisition unit 30A acquires information on the position of the bucket 6 based on the coordinates of the known attachment position of the attachment in the reference coordinate system and the output of the attitude detection device.
  • the position acquisition unit 30A may acquire information on the position of the bucket 6 by, for example, performing various image processing on the front image including the image of the bucket 6 to derive the distance between the front camera 80F and the bucket 6. Good.
  • the image presentation unit 30B is configured to present a front image which is an image relating to the region in front of the upper swivel body 3.
  • the image presenting unit 30B is configured to present an image showing the positional relationship between the loading platform of the dump truck located in front of the excavator 100 and the bucket 6 to the display device 40 as a front image.
  • the image presentation unit 30B presents an illustration image showing the positional relationship between the loading platform of the dump truck and the toes of the bucket 6 as a front image.
  • the illustration image may be an animation image configured so that the figure representing the bucket 6 moves according to the actual movement of the bucket 6.
  • the image presentation unit 30B uses AR (augmented reality) technology to present an augmented reality image (hereinafter referred to as “AR image”) as a front image on the image of the dump truck bed included in the front image. It may be configured to do so.
  • AR image augmented reality image
  • the AR image is, for example, a marker indicating the position directly below the toe of the bucket 6.
  • the AR image may include at least one of a marker representing a position directly below the tip of the bucket 6 by a predetermined distance and a marker representing a position directly below the tip of the bucket 6 by a predetermined distance.
  • the plurality of markers function as a scale indicating the distance from the position directly below the toe of the bucket 6.
  • the plurality of markers functioning as the scale may be configured to represent the distance from the excavator 100.
  • the AR image may include a marker indicating the position directly below the toe when the bucket 6 is fully opened.
  • the marker may be any graphic such as a solid line, a broken line, a long and short dash line, a circle, a quadrangle, or a triangle. Further, the brightness, color, thickness, etc. of the marker may be arbitrarily set.
  • the image presentation unit 30B may be configured to blink the marker.
  • the image presenter 30B uses AR (Augmented Reality) technology to place an AR image (eg, the main mentioned above) on the bed of an actual dump truck visible through the windshield.
  • the marker may be configured to present an AR image as if it were real. That is, the image presentation unit 30B may display the main marker on the loading platform of the dump truck by using the projection mapping technique.
  • the image presentation unit 30B may be realized as a functional element included in the control unit 40a of the display device 40.
  • the operation support unit 30C is configured to support the operation of the excavator 100 by the operator.
  • the operation support unit 30C is configured to output an alarm when a predetermined condition regarding the positional relationship between the loading platform of the dump truck and the bucket 6 is satisfied.
  • the predetermined condition is, for example, that the distance between the front panel of the loading platform of the dump truck and the bucket 6 is less than the predetermined value.
  • the operation support unit 30C determines that the distance between the front panel and the bucket 6 is less than a predetermined value
  • the operation support unit 30C outputs a control command to the sound output device 43 and emits an alarm sound from the sound output device 43. Output.
  • the distance is, for example, a horizontal distance.
  • the operation support unit 30C changes the interval and frequency (high / low) of the sound output by the sound output device 43 according to the size of the distance between the front panel and the bucket 6, so that the front panel and the bucket 6 The operator may be informed of the magnitude of the distance between the two.
  • the operation support unit 30C may output a control command to the display device 40 and display a warning message.
  • the operation support unit 30C may set an upper limit of the operating speed of the attachment when, for example, determines that the distance between the front panel and the bucket 6 is less than a predetermined value. Specifically, the operation support unit 30C may set an upper limit of the opening speed of the bucket 6. In this case, the operation support unit 30C monitors the opening speed of the bucket 6 based on the transition of the position of the toe of the bucket 6, and when the opening speed reaches a predetermined upper limit value, the left pilot port of the control valve 158. A control command is output to the pressure reducing valve 50L corresponding to the above. The pressure reducing valve 50L that has received the control command reduces the control pressure acting on the left pilot port of the control valve 158 and suppresses the opening operation of the bucket 6. The operation support unit 30C may monitor the opening speed of the bucket 6 based on the output of the bucket angle sensor S3.
  • the operation support unit 30C may stop the movement of the attachment, for example, when it is determined that the front panel and the bucket 6 may come into contact with each other. Specifically, the operation support unit 30C may stop the movement of the attachment when, for example, determines that the distance between the front panel and the bucket 6 is less than a predetermined value.
  • FIGS. 4A and 4B show an example of the positional relationship between the excavation attachment AT and the dump truck 60 when the image presenting unit 30B presents an image.
  • the excavator 100 is located behind the dump truck 60 and lifts the bucket 6 onto the loading platform of the dump truck 60.
  • FIGS. 4A and 4B show the excavation attachment AT in a simplified model for clarity. Specifically, FIG. 4A is a right side view of the excavation attachment AT and the dump truck 60, and FIG. 4B is a rear view of the excavation attachment AT and the dump truck 60.
  • the boom 4 is configured to be rotatable about a rotation axis J parallel to the Y axis (left and right axes of the upper swing body 3).
  • the arm 5 is rotatably attached to the tip of the boom 4, and the bucket 6 is rotatably attached to the tip of the arm 5.
  • the boom angle sensor S1 is attached to a connecting portion between the upper swing body 3 and the boom 4 at the position indicated by the point P1.
  • the arm angle sensor S2 is attached to a connecting portion between the boom 4 and the arm 5 at the position indicated by the point P2.
  • the bucket angle sensor S3 is attached to a connecting portion between the arm 5 and the bucket 6 at the position indicated by the point P3.
  • Point P4 indicates the position of the tip (toe) of the bucket 6.
  • Point P5 indicates the mounting position of the front sensor 70F and the front camera 80F.
  • the boom angle sensor S1 measures the angle between the longitudinal direction of the boom 4 and the reference horizontal plane (XY plane) as the boom angle ⁇ 1.
  • the arm angle sensor S2 measures the angle between the longitudinal direction of the boom 4 and the longitudinal direction of the arm 5 as the arm angle ⁇ 2.
  • the bucket angle sensor S3 measures the angle between the longitudinal direction of the arm 5 and the longitudinal direction of the bucket 6 as the bucket angle ⁇ 3.
  • the longitudinal direction of the boom 4 means the direction of a straight line passing through the points P1 and P2 in the plane perpendicular to the rotation axis J (in the XZ plane).
  • the longitudinal direction of the arm 5 means the direction of a straight line passing through the points P2 and P3 in the XZ plane.
  • the longitudinal direction of the bucket 6 means the direction of a straight line passing through the points P3 and P4 in the XZ plane.
  • the controller 30 can derive the relative position of the point P1 with respect to the center point of the excavator 100 based on the outputs of the body tilt sensor S4 and the turning angular velocity sensor S5, for example. Then, the controller 30 can derive the relative positions of the points P2 to P4 with respect to the point P1 based on the outputs of the boom angle sensor S1, the arm angle sensor S2, and the bucket angle sensor S3. Similarly, the controller 30 can derive the relative position of any portion of the excavation attachment AT, such as the back end of the bucket 6, with respect to point P1.
  • controller 30 can derive the relative position of the point P5 with respect to the point P1 based on the known mounting positions of the front sensor 70F and the front camera 80F, respectively.
  • the dump truck 60 has a gate 62 attached to the loading platform 61.
  • the gate 62 is an openable / closable member that constitutes a side wall of the loading platform 61, and includes a rear gate 62B, a left side gate 62L, and a right side gate 62R.
  • the dump truck 60 has a support column 61P formed at the rear end of the loading platform 61.
  • the support column 61P is a member that supports the rear gate 62B so as to be openable and closable, and includes a left support column 61PL and a right support column 61PR.
  • the dump truck 60 has a front panel 63 that separates the loading platform and the driver's cab.
  • the controller 30 can derive the relative position of each part of the dump truck 60 with respect to the point P1 based on the output of the front sensor 70F.
  • Each part of the dump truck 60 is, for example, the upper left end and the right end of the rear gate 62B, the upper end of the left side gate 62L, the upper end of the right side gate 62R, the upper left end and the upper right end of the front panel 63, and the like.
  • controller 30 can derive the coordinates of each part on the excavation attachment AT in the reference coordinate system and the coordinates of each part of the dump truck 60.
  • the loading operation is an operation in which the excavator 100 loads earth and sand on the loading platform of the dump truck 60.
  • FIG. 5A shows an example of an image displayed on the display device 40 during the loading operation.
  • the image display unit 41 includes a date / time display area 41a, a traveling mode display area 41b, an attachment display area 41c, a fuel consumption display area 41d, an engine control status display area 41e, an engine operating time display area 41f, a cooling water temperature display area 41g, and a remaining fuel amount. It includes a display area 41h, a rotation speed mode display area 41i, a urea water remaining amount display area 41j, a hydraulic oil temperature display area 41k, an air conditioner operation state display area 41m, an image display area 41n, and a menu display area 41p.
  • Each of the driving mode display area 41b, the attachment display area 41c, the engine control state display area 41e, the rotation speed mode display area 41i, and the air conditioner operation state display area 41m displays the setting state information which is the information related to the setting state of the excavator 100. Area to do.
  • the fuel consumption display area 41d, the engine operating time display area 41f, the cooling water temperature display area 41g, the fuel remaining amount display area 41h, the urea water remaining amount display area 41j, and the hydraulic oil temperature display area 41k each relate to the operating state of the excavator 100. This is an area for displaying operating status information, which is information.
  • the date and time display area 41a is an area for displaying the current date and time.
  • the travel mode display area 41b is an area for displaying the current travel mode.
  • the attachment display area 41c is an area for displaying an image representing the currently attached attachment.
  • the fuel consumption display area 41d is an area for displaying fuel consumption information calculated by the controller 30.
  • the fuel consumption display area 41d includes an average fuel consumption display area 41d1 that displays the average fuel consumption for the entire period or an average fuel consumption for a part of the period, and an instantaneous fuel consumption display area 41d2 that displays the instantaneous fuel consumption.
  • the whole period means, for example, the whole period after the excavator 100 is shipped.
  • the partial period means, for example, a period arbitrarily set by the operator.
  • the engine control status display area 41e is an area for displaying the control status of the engine 11.
  • the engine operating time display area 41f is an area for displaying information regarding the operating time of the engine 11.
  • the cooling water temperature display area 41g is an area for displaying the current temperature state of the engine cooling water.
  • the fuel remaining amount display area 41h is an area for displaying the remaining amount state of the fuel stored in the fuel tank.
  • the rotation speed mode display area 41i is an area for displaying an image of the current rotation speed mode set by the engine rotation speed adjustment dial 75.
  • the urea water remaining amount display area 41j is an area for displaying the remaining amount state of the urea water stored in the urea water tank as an image.
  • the hydraulic oil temperature display area 41k is an area for displaying the temperature state of the hydraulic oil in the hydraulic oil tank.
  • the air conditioner operation status display area 41m includes an outlet display area 41m1 for displaying the current outlet position, an operation mode display area 41m2 for displaying the current operation mode, a temperature display area 41m3 for displaying the current set temperature, and the like. Includes an air volume display area 41m4 that displays the current set air volume.
  • the image display area 41n is an area in which various images are displayed.
  • the various images are, for example, an image presented by the image presenting unit 30B of the controller 30, an image captured by the imaging device 80, and the like.
  • the image display area 41n has a first image display area 41n1 located above and a second image display area 41n2 located below.
  • the illustration image AM generated by the image presentation unit 30B is displayed in the first image display area 41n1, and the image CBT after the image is captured by the rear camera 80B is displayed in the second image display area 41n2.
  • the rear image CBT may be displayed in the first image display area 41n1
  • the illustration image AM may be displayed in the second image display area 41n2.
  • the first image display area 41n1 and the second image display area 41n2 are arranged vertically adjacent to each other, but they may be arranged at intervals.
  • the rear image CBT is an image that reflects the space behind the excavator 100, and includes an image GC that represents a part of the upper surface of the counterweight.
  • the rear image CBT is a real viewpoint image generated by the control unit 40a, and is generated based on the image acquired by the rear camera 80B.
  • a bird's-eye view image may be displayed in the second image display area 41n2 instead of the rear image CBT.
  • the bird's-eye view image is a virtual viewpoint image generated by the control unit 40a, and is generated based on the images acquired by each of the rear camera 80B, the left camera 80L, and the right camera 80R. Further, an excavator figure corresponding to the excavator 100 is arranged in the central portion of the bird's-eye view image. This is for the operator to intuitively grasp the positional relationship between the excavator 100 and the objects existing around the excavator 100.
  • the image display area 41n is a vertically long area, but may be a horizontally long area.
  • the image display area 41n displays the illustration image AM in the first image display area 41n1 on the left side and the rear image CBT in the second image display area 41n2 on the right side. You may.
  • the first image display area 41n1 and the second image display area 41n2 may be arranged at intervals on the left and right. Further, the first image display area 41n1 may be arranged on the right side, and the second image display area 41n2 may be arranged on the left side.
  • the menu display area 41p has tab areas 41p1 to 41p7.
  • tab areas 41p1 to 41p7 are arranged on the left and right sides at the bottom of the image display unit 41 at intervals.
  • An icon representing the content of related information is displayed in each of the tab areas 41p1 to 41p7.
  • a menu detail item icon for displaying the menu detail item is displayed.
  • the icons displayed in the tab areas 41p2 to 41p7 are switched to the icons associated with the menu detail items.
  • An icon for displaying information about the digital level is displayed in the tab area 41p4.
  • the rear image CBT switches to a first image showing information about the digital level.
  • an icon for displaying information related to computerized construction is displayed.
  • the rear image CBT is switched to the second image showing the information regarding the computerized construction.
  • an icon for displaying information regarding the crane mode is displayed.
  • the rear image CBT switches to a third image showing information about the crane mode.
  • any menu image such as the first image, the second image, or the third image may be superimposed and displayed on the rear image CBT.
  • the post-image CBT may be reduced to make room for displaying the menu image.
  • the image display area 41n may be configured so that the illustration image AM is switched to the menu image.
  • the menu image may be superimposed and displayed on the illustration image AM.
  • the illustration image AM may be reduced to make room for displaying the menu image.
  • icons displayed in the tab areas 41p1 to 41p7 are not limited to the above examples, and icons for displaying other information may be displayed.
  • the operation unit 42 is composed of a plurality of button-type switches for the operator to select the tab areas 41p1 to 41p7 and input settings.
  • the operation unit 42 includes seven switches 42a1 to 42a7 arranged in the upper stage and seven switches 42b1 to 42b7 arranged in the lower stage.
  • the switches 42b1 to 42b7 are arranged below the switches 42a1 to 42a7, respectively.
  • the number, form and arrangement of the switches of the operation unit 42 are not limited to the above examples.
  • the operation unit 42 may have a form in which the functions of a plurality of button-type switches are integrated into one, such as a jog wheel or a jog switch.
  • the operation unit 42 may be configured as a member independent of the display device 40.
  • the tab areas 41p1 to 41p7 may be configured as software buttons. In this case, the operator can select any tab area by touching the tab areas 41p1 to 41p7.
  • the switch 42a1 is arranged below the tab area 41p1 corresponding to the tab area 41p1 and functions as a switch for selecting the tab area 41p1. The same applies to each of the switches 42a2 to 42a7.
  • the switch 42b1 is a switch for switching the captured image displayed in the image display area 41n.
  • the captured image means an image captured by the imaging device 80.
  • the captured image displayed in the first image display area 41n1 of the image display area 41n is, for example, the rear image CBT, the left image captured by the left camera 80L, and the right camera 80R. It is configured to switch between the right image captured by the camera and the illustration image AM.
  • the captured image displayed in the second image display area 41n2 of the image display area 41n is, for example, the rear image CBT, the left image, the right image, and the illustration image AM. It may be configured to switch between.
  • the display device 40 switches the captured image displayed in the first image display area 41n1 of the image display area 41n with the captured image displayed in the second image display area 41n2 each time the switch 42b1 is operated. It may be configured in.
  • the operator may switch the image displayed in the first image display area 41n1 or the second image display area 41n2 by operating the switch 42b1 as the operation unit 42.
  • the operator may switch the image displayed in the first image display area 41n1 and the second image display area 41n2 by operating the switch 42b1.
  • the display device 40 may separately include a switch for switching the image displayed in the second image display area 41n2.
  • the switches 42b2 and 42b3 are switches that adjust the air volume of the air conditioner.
  • the operation unit 42 is configured so that the air volume of the air conditioner decreases when the switch 42b2 is operated and increases when the switch 42b3 is operated.
  • the switch 42b4 is a switch for switching ON / OFF of the cooling / heating function.
  • the operation unit 42 is configured to switch ON / OFF of the cooling / heating function each time the switch 42b4 is operated.
  • Switches 42b5 and 42b6 are switches that adjust the set temperature of the air conditioner.
  • the operation unit 42 is configured so that the set temperature becomes low when the switch 42b5 is operated and the set temperature becomes high when the switch 42b6 is operated.
  • the switch 42b7 is a switch that switches the content of the information regarding the operating time of the engine 11 displayed in the engine operating time display area 41f.
  • the information regarding the operating time of the engine 11 includes, for example, the cumulative operating time for the entire period, the cumulative operating time for a part of the period, and the like.
  • switches 42a2 to 42a6 and 42b2 to 42b6 are configured so that the numbers displayed on the respective switches or in the vicinity of the switches can be input. Further, the switches 42a3, 42a4, 42a5, and 42b4 are configured so that when the cursor is displayed on the image display unit 41, the cursor can be moved to the left, up, right, and down, respectively.
  • switches 42a1 to 42a7 and 42b1 to 42b7 are examples, and may be configured so that other functions can be executed.
  • the illustration image AM is an example of a front image presented by the image presentation unit 30B, which shows the positional relationship between the loading platform of the dump truck and the toes of the bucket 6.
  • the illustration image AM includes the figures G1 to G4.
  • the figure G1 is a figure representing the upper part of the boom 4 when viewed from the left side.
  • the figure G1 is a figure representing an upper portion of the boom 4 including a portion to which an arm foot pin is attached, and includes a figure representing an arm cylinder 8. That is, the figure G1 does not include a figure representing a lower portion of the boom 4 including a portion to which the boom foot pin is attached and a portion to which the tip of the boom cylinder 7 is attached. Further, the figure G1 does not include a figure representing the boom cylinder 7.
  • the figure G1 When supporting the loading work, the figure G1 is simplified by omitting the display of the figure representing the lower part of the boom 4, which is a part that is less necessary to be presented to the operator when supporting the loading work. This is to improve the visibility of the figure representing the upper portion of the boom 4, which is a portion that is highly necessary to be presented to the operator.
  • the figure G1 does not have to include a figure representing the arm cylinder 8.
  • the figure G1 is displayed so as to move according to the actual movement of the boom 4. Specifically, the controller 30 changes the position and orientation of the figure G1 according to the change of the boom angle ⁇ 1 detected by the boom angle sensor S1, for example.
  • the figure G2 is a figure representing the arm 5 seen from the left side.
  • the figure G2 is a figure representing the entire arm 5, and includes a figure representing the bucket cylinder 9.
  • the figure G2 does not have to include a figure representing the bucket cylinder 9.
  • the figure G2 is displayed so as to move according to the actual movement of the arm 5. Specifically, the controller 30 changes the position and orientation of the figure G2 according to, for example, a change in the boom angle ⁇ 1 detected by the boom angle sensor S1 and a change in the arm angle ⁇ 2 detected by the arm angle sensor S2. ..
  • the figure G3 is a figure representing the bucket 6 seen from the left side.
  • the figure G3 is a figure representing the entire bucket 6 and includes a figure representing a bucket link.
  • the figure G3 does not have to include the figure representing the bucket link.
  • the figure G3 is displayed so as to move according to the actual movement of the bucket 6.
  • the controller 30 has, for example, a change in the boom angle ⁇ 1 detected by the boom angle sensor S1, a change in the arm angle ⁇ 2 detected by the arm angle sensor S2, and a change in the bucket angle ⁇ 3 detected by the bucket angle sensor S3.
  • the position and orientation of the figure G3 are changed according to the above.
  • the illustration image AM is generated so as to include the figure of the distal part of the attachment, which is the part excluding the base part (proximal part) of the attachment.
  • the proximal portion of the attachment means a portion of the attachment that is closer to the upper swing body 3, including, for example, the lower portion of the boom 4.
  • the distal portion of the attachment means the portion of the attachment far from the upper swing body 3, including, for example, the upper portion of the boom 4, the arm 5, and the bucket 6.
  • the figure G4 is a figure representing the dump truck 60 seen from the left side.
  • the figure G4 is a figure representing the entire dump truck 60, and includes a figure G40 representing the rear gate 62B, a figure G41 representing the left side gate 62L, and a figure G42 representing the front panel 63.
  • the figure G4 does not have to include a figure representing a part other than the rear gate 62B, the left side gate 62L, and the front panel 63.
  • the figure G4 may not include a figure representing a part other than the left side gate 62L and the front panel 63.
  • the figure G4 may include a figure (for example, a broken line) representing the bottom surface of the loading platform 61 of the dump truck 60, which is actually invisible.
  • the figure G4 is displayed so as to move according to the actual movement of the dump truck 60.
  • the controller 30 changes the position and orientation of the figure G4 in response to a change in at least one output of the object detection device 70 and the image pickup device 80, for example.
  • the controller 30 may be configured so that the stop position of the dump truck 60 can be notified to the driver of the dump truck 60.
  • the controller 30 uses a sound output device installed outside the cabin 10 and changes the interval and frequency (high / low) of the sound output by the sound output device to load the dump truck 60 with the current position. The size of the distance from the position suitable for work may be notified to the driver of the dump truck 60.
  • the controller 30 may change at least one of the positions, postures, and shapes of the figures G1 to G4 according to the changes in the detected values of the body tilt sensor S4, the turning angular velocity sensor S5, and the like. Further, the controller 30 changes at least one of the positions, postures, and shapes of the figures G1 to G4 according to the difference between the height of the ground on which the dump truck 60 is located and the height of the ground on which the excavator 100 is located. May be good.
  • a plurality of types of each of the figures G1 to G4 may be prepared in advance.
  • the type of the figure G3 may be switched according to at least one such as the type and size of the bucket 6.
  • the type of the figure G4 may be switched according to at least one such as the type and size of the dump truck 60. The same applies to the figure G1 and the figure G2.
  • the operator of the excavator 100 who saw the illustration image AM as shown in FIG. 5A has a large distance between the toe of the bucket 6 represented by the figure G3 and the upper end of the left side gate 62L represented by the figure G41. You can intuitively grasp the situation. Further, the operator of the excavator 100 can intuitively grasp the magnitude of the distance between the toe or the back surface of the bucket 6 and the front panel 63 represented by the figure G42. Further, when the illustration image AM includes a figure representing the bottom surface of the loading platform 61, the operator of the excavator 100 can intuitively grasp the magnitude of the distance between the toe of the bucket 6 and the bottom surface of the loading platform 61.
  • the figures G1 to G4 represent the state when the excavation attachment AT and the dump truck 60 are viewed from the left side, but the excavation attachment AT and the dump truck 60 are viewed from the right side. It may represent the state at the time of the excavation, and may represent the state when the excavation attachment AT and the dump truck 60 are viewed from directly above. Further, at least two states, that is, the state when viewed from the left side, the state when viewed from the right side, and the state when viewed from directly above may be displayed at the same time.
  • FIG. 5B shows another example of the illustration image AM displayed in the image display area 41n of the display device 40 during the loading operation.
  • the illustration image AM shown in FIG. 5B mainly includes figures G1 to G4 that are dynamically (variably) displayed in that it includes figures G5 and G6 that are statically (fixed) displayed. It is different from the illustration image AM shown in FIG. 5A.
  • Figure G5 is a figure representing the tip of the excavation attachment AT seen from the left side.
  • the figure G5 is a figure representing a portion of the excavation attachment AT on the tip side of the tip of the boom 4 with respect to the arm connecting portion, that is, a simplified figure representing the arm 5 and the bucket 6. Yes, it does not include figures representing the bucket link and the bucket cylinder 9.
  • the figure of the bucket 6 included in the figure G5 represents the bucket 6 in the most practically opened state.
  • the bucket angle ⁇ 3 in the “practically most open state” is the practical maximum bucket opening angle when the bucket 6 is opened in normal work such as soil removal work, and is the bucket angle in the most open state in terms of specifications. It is smaller than the maximum bucket opening angle of the specification, which is ⁇ 3.
  • the bucket angle ⁇ 3 rarely exceeds the practical maximum bucket opening angle.
  • a plurality of types of the figure G5 may be prepared in advance.
  • the type of the figure G5 may be switched according to at least one such as the type and size of the bucket 6.
  • the figure G5 includes the figures G51 to G54.
  • the figures G51 to G54 have the same size, posture, and shape. However, the postures of the figures G51 to G54 may be different from each other so as to match the actual postures of the arm 5 and the bucket 6.
  • the figures G51 to G54 are statically (fixed) and simultaneously displayed in the first image display area 41n1 regardless of the actual movement of the excavation attachment AT.
  • the figures G51 to G54 correspond to the movement of the actual excavation attachment AT so that the operator of the excavator 100 can recognize the positional relationship between the actual excavation attachment AT and the dump truck 60.
  • At least one of color, brightness, shade, etc. is displayed to change.
  • the figure representing the positional relationship closest to the positional relationship between the actual excavation attachment AT and the dump truck 60 is filled with the first color (for example, dark blue).
  • the figure representing the positional relationship closest to the positional relationship between the excavation attachment AT and the dump truck 60 after the lapse of a predetermined time is filled with a second color (for example, light blue).
  • the figure G53 is filled with the first color as a figure showing the positional relationship closest to the positional relationship between the current excavation attachment AT and the dump truck 60.
  • the figure G54 is filled with a second color as a figure showing the positional relationship closest to the positional relationship between the excavation attachment AT and the dump truck 60 after the lapse of a predetermined time.
  • the operator of the excavator 100 can grasp the positional relationship between the current excavation attachment AT and the dump truck 60 by looking at the figure G53 filled with the first color, and the figure filled with the second color. By looking at G54, it can be grasped that the excavation attachment AT is moving toward the front panel 63 of the dump truck 60.
  • the figure G6 is a figure representing the dump truck 60 seen from the left side.
  • the figure G6 is a figure representing the entire dump truck 60, and includes a figure G60 representing the rear gate 62B, a figure G61 representing the left side gate 62L, and a figure G62 representing the front panel 63.
  • the figure G6 does not have to include a figure representing a part other than the rear gate 62B, the left side gate 62L, and the front panel 63.
  • the figure G6 may include a figure (for example, a broken line) representing the bottom surface of the loading platform 61 of the dump truck 60, which is actually invisible.
  • the figure G6 is statically (fixed) displayed in the first image display area 41n1 regardless of the actual movement of the dump truck 60. However, the figure G6 may be displayed so as to move according to the actual movement of the dump truck 60. Alternatively, the figure G6 may be hidden until the dump truck 60 reaches a predetermined position, and may be displayed when the dump truck 60 reaches a predetermined position.
  • the predetermined position is, for example, a position where the distance between the turning shaft of the excavator 100 and the rear gate 62B of the dump truck 60 becomes a predetermined value.
  • a plurality of types of the figure G6 may be prepared in advance.
  • the type of the figure G6 may be switched according to at least one such as the type and size of the dump truck 60.
  • the operator of the excavator 100 who sees the illustration image AM as shown in FIG. 5B can roughly and intuitively grasp the positional relationship between the current bucket 6 and the dump truck 60. Further, the operator can intuitively grasp that the bucket 6 is close to the front panel 63, and can roughly grasp the size of the distance between the bucket 6 and the front panel 63.
  • the figures G5 and G6 represent the state when the excavation attachment AT and the dump truck 60 are viewed from the left side, but the excavation attachment AT and the dump truck 60 are viewed from the right side. It may represent the state at the time of the excavation, and may represent the state when the excavation attachment AT and the dump truck 60 are viewed from directly above. Further, at least two states, that is, the state when viewed from the left side, the state when viewed from the right side, and the state when viewed from directly above may be displayed at the same time.
  • FIG. 5C shows still another example of the illustration image AM displayed in the image display area 41n of the display device 40 during the loading operation. Specifically, FIG. 5C is an enlarged view of a part of the illustration image AM shown in FIG. 5A.
  • the illustration image AM shown in FIG. 5C is different from the illustration image AM shown in FIG. 5A in that it mainly includes the graphic G3A and the graphic G3B.
  • the figure G3A and the figure G3B are figures relating to the position of the bucket 6 when the bucket 6 is opened and closed from the current position of the bucket 6. Specifically, the figure G3A represents the bucket 6 in the most open state according to the specifications. The figure G3B represents a locus drawn by the toes of the bucket 6 when the bucket 6 is opened from the most closed state in the specifications to the most open state in the specifications. In the example shown in FIG.
  • the figure G3A shown by the broken line and the figure G3B shown by the dotted line are displayed so as to move according to the change in the actual position of the bucket 6 together with the figure G3 showing the current state of the bucket 6. Will be done.
  • the figure G3 is displayed so that the posture changes according to the actual opening degree of the bucket 6, but the figure G3A is irrelevant to the actual opening degree of the bucket 6. Is displayed so that the posture is maintained.
  • the figure G3A and the figure G3B may be displayed only when a predetermined condition is satisfied.
  • the predetermined condition is, for example, that the distance between the bucket 6 and the front panel 63 is less than the predetermined value. This is to simplify the illustration figure when there is no possibility that the bucket 6 and the front panel 63 come into contact with each other.
  • the operation support unit 30C may output a control command to the sound output device 43 and output an alarm sound from the sound output device 43.
  • a control command may be output to the display device 40 to display a warning message.
  • the operator of the excavator 100 who saw the illustration image AM as shown in FIG. 5C determined the size of the distance between the current bucket 6 and the front panel 63, and the bucket 6 and the front panel when the bucket 6 was opened to the maximum.
  • the magnitude of the distance to 63 can be grasped simultaneously and intuitively.
  • the operator can easily grasp the positional relationship between the toes and the dump truck 60 when the bucket 6 is opened and closed by looking at the figure G3B.
  • the operator can easily determine whether or not the bucket 6 comes into contact with the front panel 63 when the bucket 6 is opened to the maximum at the current position of the bucket 6.
  • At least one of the figure G3A and the figure G3B may be added to the illustration image AM shown in FIG. 5B.
  • FIGS. 5A to 5C are not the display device 40 installed in the cabin 10 of the excavator 100, but a support device such as a mobile terminal outside the excavator 100, which is used by an operator who performs remote control. It may be displayed on the display device attached to.
  • FIG. 6A shows an example of an image displayed in the image display area 41n of the display device 40 during the loading operation.
  • the image shown in FIG. 6A mainly includes the front image VM captured by the front camera 80F and the graphic GP10 to the graphic GP14 as AR images superimposed and displayed on the front image VM. It is different from the image shown in FIG. 5A which is not included.
  • the front image VM shown in FIG. 6A includes an image of the dump truck 60 located in front of the excavator 100.
  • the pre-image VM includes images V1 to V5.
  • Image V1 is an image of the bucket 6.
  • Image V2 is an image of the front panel 63.
  • Image V3 is an image of the left side gate 62L.
  • Image V4 is an image of the right side gate 62R.
  • Image V5 is an image of the rear gate 62B.
  • the graphic GP10 to the graphic GP14 are semi-transparent dotted line markers indicating the distance from the reference point.
  • the reference point is, for example, the center point of the excavator 100.
  • the reference point may be the front end point or the rear end point of the loading platform 61 of the dump truck 60, or may be a survey point installed at the construction site.
  • the figure GP10 represents a position separated by 3.0 meters from the center point of the excavator 100
  • the figure GP11 represents a position separated by 3.5 meters from the center point of the excavator 100.
  • GP12 represents a position separated by 4.0 meters from the center point of the excavator 100
  • graphic GP13 represents a position separated by 4.5 meters from the center point of the excavator 100
  • graphic GP14 represents a position separated by the center point of the excavator 100. It represents a position 5.0 meters away from. That is, the graphic GP10 to the graphic GP14 are dotted markers arranged at equal intervals in the direction away from the reference point. In the example shown in FIG. 6A, the figures GP10 to GP14 are dotted markers arranged at intervals of 0.5 meters in the direction away from the center point of the excavator 100.
  • the reference point may be calculated in consideration of the height of the dump truck 60 as an object.
  • the controller 30 may detect the position, shape (dimensions), or type of the dump truck 60 as an object by the surrounding monitoring device. From this detection result, the controller 30 may detect the height of the dump truck 60 and calculate using the center point of the excavator 100 on the plane located at the height of the dump truck 60 as a reference point.
  • the figure GP10 to the figure GP14 may be displayed at regular intervals from this reference point.
  • the rear end point of the loading platform 61 of the dump truck 60 may be used as a reference point for calculation.
  • the figures GP10 to the figure GP14 may be displayed at regular intervals from the rear end point as the reference point on the same plane on the loading platform 61 of the dump truck 60.
  • the figure GP 10 represents a position separated from the rear end point of the loading platform 61 of the dump truck 60 by 1.0 meter, and the figure GP 11 is separated from the rear end point of the loading platform 61 of the dump truck 60 by 2.0 meters.
  • the figure GP12 represents a position separated from the rear end point of the loading platform 61 of the dump truck 60 by 3.0 meters, and the figure GP 13 represents a position separated by 4.0 meters from the rear end point of the loading platform 61 of the dump truck 60.
  • the position may be represented, and the figure GP 14 may represent a position separated by 5.0 meters from the rear end point of the loading platform 61 of the dump truck 60. That is, the graphic GP10 to the graphic GP14 are dotted markers arranged at equal intervals in the direction away from the rear end point of the loading platform 61 of the dump truck 60 as a reference point.
  • the controller 30 may detect the width of the loading platform 61 of the dump truck 60 and the depth of the loading platform 61 of the dump truck 60 based on the detection result of the surrounding monitoring device.
  • the figures GP10 to the figure GP14 are displayed based on the width of the detected loading platform 61 and the depth of the detected loading platform 61.
  • the width of the detected loading platform 61 and the widths of the figures GP10 to GP14 are displayed so as to match.
  • the controller 30 can associate information such as the height, width, and depth of the dump truck 60 as an object with the dotted line marker as guidance. Therefore, the controller 30 can display the graphic GP10 to the graphic GP14 at an appropriate position on the loading platform 61 of the dump truck 60.
  • the controller 30 may calculate the reference point based only on the height and width of the dump truck 60, or may calculate the reference point based on the height and width of the dump truck 60.
  • the GP12 is switched from a semi-transparent dotted line marker to a semi-transparent solid line marker.
  • the operator of the excavator 100 who saw the front image VM as shown in FIG. 6A is only at a predetermined distance (4.0 meters in the example shown in FIG. 6A) from the excavator 100 at a position vertically below the toe of the bucket 6. You can intuitively understand that you are near a distant position. Further, when the reference point is set to the rear end point of the dump truck 60, the operator must make sure that the position vertically below the toe of the bucket 6 is near the position separated from the rear end point of the dump truck 60 by a predetermined distance. Can be grasped intuitively.
  • the image shown in FIG. 6A is not a display device 40 installed in the cabin 10, but a display attached to a support device such as a mobile terminal outside the excavator 100, which is used by an operator who performs remote control. It may be displayed on the device.
  • FIG. 6B shows another example of the image displayed in the image display area 41n of the display device 40 during the loading operation, and corresponds to FIG. 6A.
  • the image shown in FIG. 6B is different from the image shown in FIG. 6A in that the figures GP20 to GP22 are displayed instead of the figures GP10 to GP14, but is shown in FIG. 6A in other respects.
  • the explanation of the common part is omitted, and the difference part is explained in detail.
  • the graphic GP20 is a semi-transparent solid line marker indicating the position directly below the toe of the bucket 6.
  • the graphic GP21 is a broken line marker representing a position separated from the center point of the excavator 100 by a predetermined first distance.
  • the figure GP 22 is a semi-transparent broken line marker indicating a position separated from the center point of the excavator 100 by a predetermined second distance larger than the first distance.
  • the figure GP21 and the figure GP22 may be a figure relating to the position of the bucket 6 when the bucket 6 is opened and closed from the current position of the bucket 6.
  • the graphic GP21 may be a marker representing a position directly below the toe of the bucket 6 when the bucket 6 is closed to the maximum from the current position of the bucket 6.
  • the figure GP 22 may be a marker representing a position directly below the toe of the bucket 6 when the bucket 6 is opened to the maximum from the current position of the bucket 6.
  • the figures GP20 to the figure GP22 are all displayed so as to extend over the entire width of the loading platform 61 of the dump truck 60.
  • the area between the graphic GP20 and the graphic GP21 may be filled with a predetermined translucent color. The same applies to the area between the graphic GP20 and the graphic GP22.
  • the area between the figure GP20 and the figure GP21 may be filled with a translucent color different from the area between the figure GP20 and the figure GP22.
  • the reference point may be calculated in consideration of the height of the dump truck 60 as an object.
  • the controller 30 may detect the position, shape (dimension), or type of the dump truck 60 as an object by the surrounding monitoring device. From this detection result, the controller 30 may detect the height of the dump truck 60 and calculate using the center point of the excavator 100 on the plane located at the height of the dump truck 60 as a reference point.
  • the graphic GP20 to the graphic GP22 may be displayed at regular intervals from this reference point.
  • the operator of the excavator 100 who saw the front image VM as shown in FIG. 6B found that the positions vertically below the toes of the bucket 6 were a position separated by a first distance from the excavator 100 and a position separated by a second distance. You can intuitively understand that it is located between.
  • the image shown in FIG. 6B is not a display device 40 installed in the cabin 10 of the excavator 100, but is attached to a support device such as a mobile terminal outside the excavator 100 used by an operator who performs remote control. It may be displayed on the display device.
  • FIG. 6C is a diagram showing the inside of the cabin 10 during the loading operation. Specifically, FIG. 6C shows how the AR image is displayed on the windshield FG of the cabin 10.
  • the operator in the cabin 10 is visually recognizing the boom 4, the arm 5, the bucket 6, and the dump truck 60 through the windshield FG. Specifically, the operator seated in the driver's seat in the cabin 10 passes through the windshield FG and is separated by the rear gate 62B, the left side gate 62L, the right side gate 62R, and the front panel 63. The state where the toe of the bucket 6 is located directly above the loading platform 61 of the truck 6 is visually recognized. Further, the operator visually recognizes a marker (AR image) displayed on the loading platform 61 of the dump truck 60 as if it actually exists.
  • AR image a marker
  • the AR image shown in FIG. 6C is projected on the windshield FG using a projector.
  • the AR image shown in FIG. 6C may be displayed by using a display device such as a transmissive organic EL display or a transmissive liquid crystal display attached to the windshield FG.
  • the AR image shown in FIG. 6C mainly includes the graphic GP30 to the graphic GP34.
  • the graphic GP30 to the graphic GP34 correspond to the graphic GP10 to the graphic GP14 shown in FIG. 6A.
  • the graphic GP30 represents a position separated by 3.0 meters from the center point of the excavator 100
  • the graphic GP31 represents a position separated by 3.5 meters from the center point of the excavator 100
  • the graphic GP32 represents a position separated by 3.5 meters.
  • the figure GP33 represents a position separated by 4.0 meters from the center point of the excavator 100
  • the figure GP33 represents a position separated by 4.5 meters from the center point of the excavator 100
  • the figure GP34 represents a position 5 from the center point of the shovel 100. It represents a position separated by 0.0 meters. That is, the graphic GP30 to the graphic GP34 are dotted markers arranged at equal intervals in the direction away from the reference point. In the example shown in FIG. 6C, the figures GP30 to GP34 are dotted markers arranged at intervals of 0.5 meters in the direction away from the center point of the excavator 100.
  • the reference point is calculated in consideration of the height of the dump truck 60 as an object.
  • the controller 30 may detect the position, shape (dimension), or type of the dump truck 60 as an object by the surrounding monitoring device. From this detection result, the controller 30 may detect the height of the dump truck 60 and calculate using the center point of the excavator 100 on the plane located at the height of the dump truck 60 as a reference point.
  • the figures GP30 to GP14 may be displayed at regular intervals from this reference point.
  • the controller 30 may calculate the rear end point of the loading platform 61 of the dump truck 60 as a reference point based on the detected height of the dump truck 60.
  • the figures GP30 to GP34 may be displayed at regular intervals from the rear end point as the reference point on the same plane on the loading platform 61 of the dump truck 60.
  • the figure GP 30 represents a position separated by 1.0 meter from the rear end point of the loading platform 61 of the dump truck 60, and the figure GP 31 is separated from the rear end point of the loading platform 61 of the dump truck 60 by 2.0 meters.
  • the figure GP32 represents a position separated from the rear end point of the loading platform 61 of the dump truck 60 by 3.0 meters
  • the figure GP 33 represents a position separated by 4.0 meters from the rear end point of the loading platform 61 of the dump truck 60.
  • the figure GP34 may represent a position, and the figure GP 34 may represent a position separated by 5.0 meters from the rear end point of the loading platform 61 of the dump truck 60. That is, the figures GP30 to GP34 are dotted markers arranged at equal intervals in the direction away from the rear end point of the loading platform 61 of the dump truck 60 as a reference point.
  • the controller 30 may detect the width of the loading platform 61 of the dump truck 60 and the depth of the loading platform 61 of the dump truck 60 based on the detection result of the surrounding monitoring device.
  • the figures GP30 to the figure GP34 are displayed based on the width of the detected loading platform 61 and the depth of the detected loading platform 61.
  • the width of the detected loading platform 61 and the widths of the figures GP30 to GP34 are displayed so as to match.
  • the controller 30 can associate information such as the height, width, and depth of the dump truck 60 as an object with the dotted line marker as guidance. Therefore, the controller 30 can display the graphic GP30 to the graphic GP34 at an appropriate position on the loading platform 61 of the dump truck 60.
  • the controller 30 may calculate the reference point based only on the height and width of the dump truck 60, or may calculate the reference point based on the height and width of the dump truck 60.
  • the figure GP32 which is the figure closest to the position vertically below the toe of the bucket 6, is switched from the semitransparent dotted line marker to the semitransparent solid line marker. Has been done.
  • An operator of the excavator 100 who sees the AR image as shown in FIG. 6C can move the position vertically below the toe of the bucket 6 from the excavator 100 as in the case of seeing the front image VM as shown in FIG. 6A. It is possible to intuitively grasp that the vehicle is near a predetermined distance (4.0 meters in the example shown in FIG. 6C). Further, when the reference point is set to the rear end point of the dump truck 60, the operator must make sure that the position vertically below the toe of the bucket 6 is near the position separated from the rear end point of the dump truck 60 by a predetermined distance. Can be grasped intuitively.
  • FIG. 6D is a diagram showing the inside of the cabin 10 during the loading operation, and corresponds to FIG. 6C.
  • the AR image shown in FIG. 6D mainly includes the graphic GP40 to the graphic GP42.
  • the graphic GP40 to the graphic GP42 correspond to the graphic GP20 to the graphic GP22 shown in FIG. 6B.
  • the graphic GP40 is a semi-transparent solid line marker indicating a position directly below the toe of the bucket 6.
  • the graphic GP41 is a semi-transparent broken line marker indicating a position separated from the center point of the excavator 100 by a predetermined first distance.
  • the graphic GP42 is a semi-transparent broken line marker indicating a position separated from the center point of the excavator 100 by a predetermined second distance larger than the first distance.
  • the figure GP41 and the figure GP42 may be a figure relating to the position of the bucket 6 when the bucket 6 is opened and closed from the current position of the bucket 6.
  • the graphic GP41 may be a marker representing a position directly below the toe of the bucket 6 when the bucket 6 is closed to the maximum from the current position of the bucket 6.
  • the graphic GP42 may be a marker representing a position directly below the toe of the bucket 6 when the bucket 6 is opened to the maximum from the current position of the bucket 6.
  • the area between the graphic GP40 and the graphic GP41 may be filled with a predetermined translucent color. The same applies to the area between the graphic GP40 and the graphic GP42.
  • the area between the figure GP40 and the figure GP41 may be filled with a translucent color different from the area between the figure GP40 and the figure GP42.
  • the reference point may be calculated in consideration of the height of the dump truck 60 as an object.
  • the controller 30 may detect the position, shape (dimension), or type of the dump truck 60 as an object by the surrounding monitoring device. From this detection result, the controller 30 may detect the height of the dump truck 60 and calculate using the center point of the excavator 100 on the plane located at the height of the dump truck 60 as a reference point. Graphical GP40 to graphic GP42 may be displayed at regular intervals from this reference point.
  • the operator of the excavator 100 who sees the AR image as shown in FIG. 6D projects the position of the toe of the bucket 6 onto the loading platform 61 of the dump truck 60 in the same manner as when he sees the front image VM as shown in FIG. 6B. It is possible to intuitively grasp that the position is located between the position separated by the first distance from the excavator 100 and the position separated by the second distance. Further, when the reference point is the rear end point of the dump truck 60, the operator projects the position of the tip of the bucket 6 onto the loading platform 61 of the dump truck 60 by the first distance from the rear end point of the dump truck 60. It is possible to intuitively grasp that the position is between the position and the position separated by the second distance.
  • FIG. 6E shows another example of the AR image shown in FIGS. 6A, 6B, 6C, or 6D.
  • the AR image shown in FIG. 6E is different from the AR images shown in FIGS. 6A to 6D in that it includes the graphic GP51 representing the position directly below the toe when the bucket 6 is opened to the maximum.
  • the AR image shown in FIG. 6E includes the graphic GP50 and the graphic GP51.
  • the figure GP50 is a semi-transparent solid line marker indicating a position directly below the toe of the bucket 6.
  • the figure GP51 is a figure relating to the position of the bucket 6 when the bucket 6 is opened from the current position of the bucket 6.
  • the graphic GP51 is a semi-transparent broken line marker indicating a position directly below the toe when the bucket 6 is opened to the maximum.
  • the AR image shown in FIG. 6E may include a figure such as a marker showing a position directly below the toe when the bucket 6 is closed to the maximum extent.
  • the operator of the excavator 100 who saw the AR image as shown in FIG. 6E projected the position of the toe of the bucket 6 onto the loading platform 61 of the dump truck 60 vertically below, and the bucket when the bucket 6 was opened to the maximum.
  • the position of the toe of No. 6 can be grasped simultaneously and intuitively with the position projected onto the loading platform 61 of the dump truck 60 vertically below. Therefore, for example, even if the operator opens the bucket 6 to remove the excavated object such as earth and sand taken into the bucket 6, the bucket 6 may come into contact with the front panel 63 of the dump truck 60. You can easily check if there is no such thing.
  • FIG. 7 shows an example of an illustration image AM as guidance regarding the crane work displayed in the image display area 41n of the display device 40 during the crane work.
  • the crane work is a work in which the excavator 100 lifts and moves the suspended load.
  • the suspended load is, for example, a water pipe such as a clay pipe or a Hume pipe.
  • the illustrated image AM is a water pipe suspended by the excavator 100 presented by the image presentation unit 30B and a water pipe already installed in an excavation groove formed on the ground (hereinafter referred to as “1”).
  • This is an example of a front image showing the positional relationship with the “existing water pipe”).
  • the illustration image AM includes figures G1 to G3, figures G70 to G74, and figures G80 to G82.
  • the figure G1 is a figure representing the upper part of the boom 4 when viewed from the left side.
  • the figure G1 is a figure representing an upper portion of the boom 4 including a portion to which an arm foot pin is attached, and includes a figure representing an arm cylinder 8. That is, the figure G1 does not include a figure representing a lower portion of the boom 4 including a portion to which the boom foot pin is attached and a portion to which the tip of the boom cylinder 7 is attached. Further, the figure G1 does not include a figure representing the boom cylinder 7.
  • the figure G1 is simplified by omitting the display of the figure representing the lower part of the boom 4, which is a part that is less necessary to be presented to the operator when supporting the crane work.
  • the figure G1 does not have to include a figure representing the arm cylinder 8. That is, the figure representing the arm cylinder 8 may be omitted.
  • the figure G1 is displayed so as to move according to the actual movement of the boom 4. Specifically, the controller 30 changes the position and orientation of the figure G1 according to the change of the boom angle ⁇ 1 detected by the boom angle sensor S1, for example.
  • the figure G2 is a figure representing the arm 5 seen from the left side.
  • the figure G2 is a figure representing the entire arm 5, and includes a figure representing the bucket cylinder 9.
  • the figure G2 does not have to include a figure representing the bucket cylinder 9. That is, the figure representing the bucket cylinder 9 may be omitted.
  • the figure G2 is displayed so as to move according to the actual movement of the arm 5. Specifically, the controller 30 changes the position and orientation of the figure G2 according to, for example, a change in the boom angle ⁇ 1 detected by the boom angle sensor S1 and a change in the arm angle ⁇ 2 detected by the arm angle sensor S2. ..
  • the figure G3 is a figure representing the bucket 6 seen from the left side.
  • the figure G3 is a figure representing the entire bucket 6 and includes a figure representing a bucket link.
  • the figure G3 does not have to include the figure representing the bucket link. That is, the figure representing the bucket link may be omitted.
  • the figure G3 is displayed so as to move according to the actual movement of the bucket 6.
  • the controller 30 has, for example, a change in the boom angle ⁇ 1 detected by the boom angle sensor S1, a change in the arm angle ⁇ 2 detected by the arm angle sensor S2, and a change in the bucket angle ⁇ 3 detected by the bucket angle sensor S3.
  • the position and orientation of the figure G3 are changed according to the above.
  • the illustration image AM is generated so as to include the figure of the distal part of the attachment, which is the part excluding the base part (proximal part) of the attachment.
  • the proximal portion of the attachment means a portion of the attachment that is closer to the upper swing body 3, including, for example, the lower portion of the boom 4.
  • the distal portion of the attachment means the portion of the attachment far from the upper swing body 3, including, for example, the upper portion of the boom 4, the arm 5, and the bucket 6.
  • the illustration image AM is simplified by omitting the display of the figure representing the proximal part of the attachment, which is a part that is less necessary to be presented to the operator when supporting the crane work. This is to improve the visibility of the figure representing the distal part of the attachment, which is a part that is highly necessary to be presented to the operator.
  • figure G70 represents a hook viewed from the left side.
  • figure G70 represents a hook storably attached to the bucket link.
  • the figure G71 represents a hanging string attached to a suspended load.
  • the figure G71 represents a hanging string wound around a water pipe as a hanging load.
  • the hanging string may be a wire.
  • Figure G72 represents a suspended load.
  • the figure G72 represents a water pipe as a suspended load suspended by the excavator 100.
  • the position, size, shape, etc. of the figure G72 change according to changes in the position, posture, etc. of the water pipe.
  • the position and orientation of the water pipe are calculated based on the output of at least one of the object detection device 70 and the image pickup device 80.
  • Figure G73 represents an excavation ditch.
  • the figure G73 represents a cross section of an excavation groove formed by excavation by the excavator 100.
  • the position, size, shape, etc. of the figure G73 change according to changes in the position, depth, etc. of the excavation groove.
  • the position and depth of the excavation groove are calculated based on the output of at least one of the object detection device 70 and the image pickup device 80.
  • the figure G74 represents an object installed in the excavation ditch.
  • the figure G74 represents an existing water pipe already installed in the excavation ditch.
  • the position, size, shape, etc. of the figure G74 change according to changes in the position, posture, etc. of the existing water pipe.
  • the position and orientation of the existing water pipe are calculated based on the output of at least one of the object detection device 70 and the image pickup device 80.
  • the figure G80 represents the position of the distal end of the suspended load suspended by the excavator 100.
  • the figure G80 is a broken line extending in the vertical direction and represents the position of the distal end of the water pipe suspended by the excavator 100.
  • the figure G81 represents the position of the proximal end of the suspended load suspended by the excavator 100.
  • the figure G81 is a broken line extending in the vertical direction and represents the position of the proximal end of the water pipe suspended by the excavator 100.
  • Figure G82 represents the target position of the suspended load, which is the position of the distal end of the suspended load when the suspended load is lowered to the ground.
  • the figure G82 is a alternate long and short dash line extending in the vertical direction, and represents the target position of the distal end of the water pipe suspended by the excavator 100.
  • the target position of the distal end of the water pipe is set to a position a predetermined distance before the position of the proximal end of the adjacent existing water pipe already installed in the excavation ditch (a position closer to the excavator 100 by a predetermined distance). Has been done. This is because the water pipe lowered to the bottom surface of the excavation ditch is then dragged on the bottom surface, and its distal end is inserted into the proximal end of the existing water pipe and connected to the installed water pipe.
  • Figure G83 represents the distance between the target position at the distal end of the suspended load and the current position.
  • the figure G83 is a double-headed arrow and represents the distance between the target position at the distal end of the water pipe and the current position.
  • the figures G80 to G83 may be omitted for the purpose of clarifying the illustration image AM.
  • the operator of the excavator 100 who saw the illustrated image AM as shown in FIG. 7 has a distal end of the aerial water pipe represented by the figure G72 and a proximal end of the existing water pipe represented by the figure G74. You can intuitively grasp the size of the horizontal distance between them. Therefore, the excavator 100 can prevent the operator from accidentally contacting the water pipe in the air with the existing water pipe. Further, the operator of the excavator 100 intuitively determines the magnitude of the horizontal distance between the proximal end of the water pipe in the air represented by the figure G72 and the proximal end of the excavation groove represented by the figure G73. I can grasp it. Further, the operator of the excavator 100 can intuitively grasp the magnitude of the vertical distance between the lower end of the water pipe in the air represented by the figure G72 and the bottom surface of the excavation groove represented by the figure G73.
  • the illustration image AM shows the state when the excavation attachment AT and the water pipe are viewed from the left side, but the state when the excavation attachment AT and the water pipe are viewed from the right side. It may represent the state when the excavation attachment AT and the water pipe are viewed from above. Further, at least two states, that is, the state when viewed from the left side, the state when viewed from the right side, and the state when viewed from above may be displayed at the same time or may be displayed in a switchable manner.
  • the controller 30 displays the figure G82 as the target position at the distal end of the suspended load, but may display the figure showing the target position at the proximal end of the suspended load. ..
  • the controller 30 is based on a preset length of the suspended load, or the length of the suspended load measured by at least one of the object detection device 70 and the imaging device 80, and a target position at the distal end of the suspended load. The target position at the proximal end of the suspended load may be displayed.
  • FIG. 8 shows an example of an image displayed in the first image display area 41n1 of the image display area 41n of the display device 40 during the crane operation.
  • the image shown in FIG. 8 mainly includes a front image VM captured by the front camera 80F, and a graphic GP60 and a graphic GP61 as AR images superimposed and displayed on the front image VM.
  • the front image VM shown in FIG. 8 includes an image of an excavation ditch located in front of the excavator 100.
  • the pre-image VM includes images V11-V14.
  • Image V11 is an image of an excavation ditch.
  • Image V12 and image V13 are images of existing water pipes already installed in the excavation ditch.
  • Image V14 is an image of a water pipe suspended by the excavator 100.
  • the graphic GP60 is a marker representing the target position of the distal end of the suspended load suspended by the excavator 100.
  • the graphic GP61 is a marker representing the projected shape when the outer shape of the suspended load suspended by the excavator 100 is projected onto the ground.
  • the graphic GP60 is a translucent alternate long and short dash marker, represents a target position at the distal end of the water pipe suspended by the excavator 100, and is displayed so as to extend over the entire width of the excavation groove.
  • the figure GP61 is a semi-transparent broken line marker, and represents a projected shape when the outer shape of the water pipe suspended by the excavator 100 is projected onto the bottom surface of the excavation groove. At least one of the graphic GP60 and the graphic GP61 may be a semi-transparent solid line marker.
  • the controller 30 may generate an image obtained by removing the image of the suspended load from the front image by image processing, and superimpose and display markers such as the graphic GP60 and the graphic GP61 on the generated image.
  • the controller 30 displays the graphic GP60 as a marker indicating the target position of the distal end of the suspended load lifted by the excavator 100, but the target of the proximal end of the suspended load is displayed.
  • a figure as a marker indicating the position may be displayed.
  • the controller 30 is based on a preset length of the suspended load, or the length of the suspended load measured by at least one of the object detection device 70 and the imaging device 80, and a target position at the distal end of the suspended load.
  • a marker indicating the target position at the proximal end of the suspended load may be displayed.
  • the operator of the excavator 100 looking at the front image VM as shown in FIG. 8 can intuitively grasp the positional relationship between the water pipe suspended by the excavator 100 and the existing water pipe. Therefore, the excavator 100 can prevent the operator from accidentally contacting the water pipe in the air with the existing water pipe.
  • the image shown in FIG. 8 is not a display device 40 installed in the cabin 10 of the excavator 100, but is attached to a support device such as a mobile terminal outside the excavator 100, which is used by an operator who performs remote control. It may be displayed on the display device.
  • the image presenting unit 30B may display each of the graphic GP60 and the graphic GP61 on the bottom surface of the excavation groove by using the projection mapping technique.
  • the image shown in FIG. 7 and the image shown in FIG. 8 may be displayed in a switchable manner.
  • the controller 30 may switch images when a predetermined button operation is performed, or may switch images each time a predetermined time elapses.
  • FIG. 9 shows another example of the image displayed in the first image display area 41n1 of the image display area 41n of the display device 40 during the crane operation.
  • the image of the excavation attachment AT and the image of the suspended load (U-shaped groove) lifted by the excavation attachment AT are not shown.
  • the image shown in FIG. 9 mainly includes a front image VM captured by the front camera 80F, and a graphic GP70 and a graphic GP71 as AR images superimposed and displayed on the front image VM.
  • the front image VM may be three-dimensional computer graphics generated based on the design data input in advance to the controller 30.
  • the front image VM shown in FIG. 9 includes an image of an excavation ditch located in front of the excavator 100.
  • the pre-image VM includes images V21 to V24.
  • Image V21 is an image of an excavation ditch in which a concrete U-shaped ditch is installed.
  • Image V22 is an image of a U-shaped groove (hereinafter, referred to as “existing U-shaped groove”) already installed in the excavation groove.
  • Image V23 is an image of a utility pole.
  • Image V24 is an image of a guardrail.
  • the graphic GP70 is a semi-transparent broken line marker representing the shape of the existing U-shaped groove.
  • the graphic GP71 is a semi-transparent broken line marker showing the projected shape when the outer shape of the U-shaped groove suspended by the excavator 100 is projected onto the ground.
  • FIG. 9 uses the image captured by the front camera 80F, a bird's-eye view image generated based on the image captured by the imaging device 80 may be used.
  • controller 30 may superimpose and display the figure as the target position of the distal end of the suspended load or the figure as the target position of the proximal end of the suspended load on the front image VM.
  • the operator of the excavator 100 who sees the front image VM as shown in FIG. 9 can intuitively grasp the positional relationship between the U-shaped groove lifted by the excavator 100 and the existing U-shaped groove. Therefore, the operator can move the currently suspended U-shaped groove to a position close to the existing U-shaped groove and appropriately lower it into the excavation groove. That is, the excavator 100 can prevent the operator from accidentally bringing the U-shaped groove in the air into contact with the existing U-shaped groove.
  • the controller 30 detects the position, shape (dimension), or type of the installation object installed by the crane operation by the surrounding monitoring device, and provides guidance based on the detection result. It may be displayed. Specifically, the controller 30 acquires the shape of the installation object and the shape of the groove around the installation object by the surrounding monitoring device, and distinguishes between the installation object and the groove. Then, the position of the installation object on the plane on which the installation object is installed is calculated as a reference point. At this time, the figures G82, GP60, and GP70 may be displayed at a constant distance from the reference point on the plane on which the suspended load is to be installed.
  • the controller 30 may detect the position, shape (dimensions), or type of the object lifted by the attachment, and display guidance based on the detection result.
  • the surrounding monitoring device detects the clay pipe (suspended load) lifted by the attachment and the clay pipe as an installation object installed by the crane operation.
  • the position, shape, and type of the suspended load and the installed object are detected, and guidance display such as GP60 and GP61 is performed based on the detection result.
  • GP60 is displayed based on the width of the installation.
  • GP61 is displayed based on the width and length of the suspended load. It may be detected based on the shape or type (dimension, position).
  • the controller 30 is an arbitrary distance on the ground surface by a predetermined distance from an object (for example, a wall surface, a tree, a pylon, a chopstick, a ditch, or a change in the ground) by a surrounding monitoring device.
  • the position may be acquired as an excavation start position as a reference point, and a line for each predetermined distance from this reference point may be displayed.
  • the controller 30 determines from the output information of the surrounding monitoring device or the attitude information of the attachment from the object (for example, a wall surface, a tree, a pylon, a chopstick, or a change in the ground).
  • the object for example, a wall surface, a tree, a pylon, a chopstick, or a change in the ground.
  • An arbitrary position on the ground surface separated by a distance may be acquired as a target rolling region as a reference point, and a line for each predetermined distance may be displayed from this reference point.
  • guidance is given so that the distance from the reference point in the turning radius direction can be known. Then, how far the current attachment position is from the displayed line is displayed.
  • the controller 30 detects an object existing at the work site or a portion where the ground shape changes as an object, and displays guidance based on the detected object. Therefore, the operator of the excavator 100 can intuitively grasp the distance to the excavation start position or the target compaction region even in the excavation work or the compaction operation.
  • the excavator 100 which is an example of the work machine according to the embodiment of the present invention, is mounted on the lower traveling body 1, the upper rotating body 3 rotatably mounted on the lower traveling body 1, and the upper rotating body 3. It has an excavation attachment AT as an attachment to be attached, a surrounding monitoring device, and a display device 40. Then, the display device 40 is configured to display guidance for the object detected by the surrounding monitoring device.
  • the object detected by the surrounding monitoring device is, for example, a dump truck 60 as shown in FIG. 4A, an existing water pipe installed in an excavation ditch as shown in FIG. 7, or excavation as shown in FIG. A U-shaped groove or the like installed in the groove.
  • the object detected by the surrounding monitoring device may be a water pipe such as a clay pipe or a hume pipe as a suspended load, a U-shaped groove, or earth and sand taken into the bucket by excavation.
  • the display device 40 may be configured to display guidance corresponding to the height of the object. Further, the display device 40 may be configured to display guidance in the turning radius direction with respect to the object.
  • the excavator 100 allows the operator to easily monitor the relative positional relationship between the bucket 6 and the loading platform 61 of the dump truck 60 during the loading operation, so that the careful operation can be continued for a long time. The operator's fatigue caused by this can be reduced. Further, for the same reason, the excavator 100 is used when the excavated object is excavated near the front panel 63 as compared with the case where the excavated object is excavated at the center of the loading platform 61 of the dump truck 60.
  • the excavator 100 can reduce, for example, the risk that the operator brings the suspended load into contact with the existing object. This is because it is possible to alleviate the difficulty of grasping the distance between the suspended load and the existing object that can be seen from inside the cabin 10 through the windshield FG. Further, the excavator 100 is caused by continuing careful operation for a long period of time by allowing the operator to easily monitor the relative positional relationship between the suspended load and the existing object during the crane operation. The operator's fatigue can be reduced.
  • the suspended load is, for example, a water pipe such as a clay pipe or a Hume pipe, or a U-shaped groove or the like.
  • the existing object is, for example, an existing water pipe or an existing U-shaped groove already installed in the excavation ditch.
  • the front image may be, for example, an image including a marker whose display position changes according to the movement of the attachment, or an image including a marker whose display position does not change even if the attachment moves.
  • the markers whose display position changes according to the movement of the attachment are, for example, the graphic GP20 to the graphic GP22 in FIG. 6B.
  • the markers whose display position does not change even if the attachment moves are, for example, the figures GP10 to the figure GP14 in FIG. 6A.
  • the front image may include, for example, a marker whose display position changes according to a change in the horizontal position of a predetermined portion in the attachment, but the display position does not change according to a change in the vertical position of the predetermined portion.
  • the marker whose display position changes according to the change in the horizontal position of the predetermined portion in the attachment but does not change in response to the change in the vertical position of the predetermined portion is, for example, the figure in FIG. 6B.
  • GP20 to graphic GP22 is, for example, the figure in FIG. 6B.
  • the front image is configured so that the operator can recognize, for example, a stepwise change in the relative positional relationship between the object located in front of the upper swivel body 3 and the object lifted by the attachment or the attachment. It may be an image. Specifically, as shown in FIG. 5B, the front image is displayed so that at least one of color, brightness, shading, etc. changes according to the movement of the actual excavation attachment AT. The tip of the excavation attachment AT.
  • the figures G51 to G54 representing the side portion may be included.
  • the figures G51 to G54 are typically arranged at predetermined intervals.
  • the front image may be configured so that the operator can recognize the number of stages of change.
  • FIG. 5B shows that the number of stages is four.
  • the contours of the figures G51 to G54 are always displayed on the illustration image AM, but the display / non-display may be switched according to the movement of the excavation attachment AT.
  • the front image may include a figure G1 representing an upper portion of the boom 4 including a portion to which an arm foot pin is attached.
  • the figure G1 may include a figure representing the arm cylinder 8 and may not include a figure representing the arm cylinder 8.
  • the figure G1 does not include a figure representing a lower portion of the boom 4 including a portion to which the boom foot pin is attached and a portion to which the tip of the boom cylinder 7 is attached. Further, the figure G1 does not include a figure representing the boom cylinder 7.
  • the front image may be configured to include the image of the upper portion of the attachment while not including the image of the lower portion of the attachment.
  • the display device 40 typically displays a graphic representing the relative positional relationship between the object located around the work machine and the object lifted by the excavation attachment AT or the excavation attachment AT in the turning radial direction. It is configured in.
  • the object located around the work machine is, for example, an installation object installed by the excavator 100 as a work machine.
  • the installation object is, for example, a water pipe such as a clay pipe or a Hume pipe, or a U-shaped groove or the like.
  • the installation object may be an embankment formed by excavation.
  • the figure may be configured to represent the relative positional relationship between the position with respect to the installation object and the object lifted by the excavation attachment AT in the turning radius direction.
  • the figures showing the relative positional relationship between the dump truck 60 and the excavation attachment AT are, for example, the figures G1 to G4 shown in FIG. 5A, the figures G5 and G6 shown in FIG. 5B, and the figures G3A and 6A shown in FIG.
  • the figures GP10 to GP14, the figures GP20 to GP22 shown in FIG. 6B, the figures GP30 to GP34 shown in FIG. 6C, the figures GP40 to GP42 shown in FIG. 6D, the figures GP50 and the figure GP51 shown in FIG. is there.
  • the figures representing the relative positional relationship between the existing object and the object lifted by the excavation attachment AT are, for example, figures G1 to G3, figures G70 to G74, and figures G80 to G83 shown in FIG. These are the graphic GP60 and the graphic GP61 shown in FIG. 8, the graphic GP70 and the graphic GP71 shown in FIG. 9, and the like.
  • the operator of the excavator 100 who sees the figure displayed on the display device 40 is relative to the object located in front of the upper swivel body 3 and the object lifted by the excavation attachment AT or the excavation attachment AT. You can intuitively grasp the positional relationship.
  • the figure showing the relative positional relationship between the dump truck 60 and the excavation attachment AT is displayed so as to correspond to the current state of the bucket 6 and the state of the bucket 6 when the bucket 6 is opened.
  • the figure G3 shown in FIG. 5C is displayed so as to correspond to the current state of the bucket 6, and the figure G3A is displayed to correspond to the state of the bucket 6 when the bucket 6 is opened.
  • the excavator 100 may have a controller 30 as a control device that limits the movement of the excavation attachment AT. Then, when the controller 30 determines that, for example, an object located in front of the upper swing body 3 and an object lifted by the excavation attachment AT or the excavation attachment AT may come into contact with each other, the controller 30 moves the excavation attachment AT. It may be configured to stop. With this configuration, the controller 30 can effectively prevent contact between the dump truck 60 and the excavation attachment AT.
  • the excavator 100 may simultaneously display the illustration image AM shown in FIG. 5A, FIG. 5B, or FIG. 5C and the AR image shown in FIGS. 6A, 6B, 6C, 6D, or 6E.
  • the excavator 100 may selectively switch and display at least two of the illustration images AM shown in FIGS. 5A, 5B, and 5C, respectively, and each of FIGS. 6A, 6B, and 6E.
  • the AR image shown in FIG. 6C may be selectively switched and displayed, or the AR image shown in FIGS. 6C, 6D, and 6E may be selectively switched and displayed.
  • the excavator 100 may simultaneously display the illustration image AM shown in FIG. 7 and the AR image shown in FIG.
  • the excavator 100 may selectively switch between the illustration image AM shown in FIG. 7 and the AR image shown in FIG. 8 for display.
  • FIG. 10 is a schematic view showing a configuration example of the management system SYS of the excavator 100.
  • the management system SYS is a system that manages one or a plurality of excavators 100.
  • the management system SYS mainly comprises an excavator 100, a support device 200, and a management device 300.
  • Each of the excavator 100, the support device 200, and the management device 300 constituting the management system SYS may be one unit or a plurality of units.
  • the management system SYS includes one excavator 100, one support device 200, and one management device 300.
  • the support device 200 is communicably connected to the management device 300 through a predetermined communication line. Further, the support device 200 may be communicably connected to the excavator 100 through a predetermined communication line.
  • the predetermined communication line includes, for example, a mobile communication network ending at a base station, a satellite communication network using a communication satellite, a short-range wireless communication network based on communication standards such as Bluetooth (registered trademark) and Wi-Fi. May be included.
  • the support device 200 is, for example, an operator or owner of the excavator 100, a worker or supervisor at a work site, or a user such as a manager or worker of the management device 300 (hereinafter, referred to as a “support device user”. ) Is a user terminal used.
  • the support device 200 is, for example, a laptop-type computer terminal, a tablet terminal, or a mobile terminal such as a smartphone. Further, the support device 200 may be, for example, a stationary terminal device such as a desktop computer terminal.
  • the management device 300 is communicably connected to the excavator 100 or the support device 200 through a predetermined communication line.
  • the management device 300 is, for example, a cloud server installed in a management center or the like outside the work site. Further, the management device 300 may be, for example, an edge server installed in a temporary office or the like in the work site or a communication facility (for example, a base station or a station building) relatively close to the work site. Further, the management device 300 may be, for example, a terminal device used in the work site.
  • the terminal device may be, for example, a laptop-type computer terminal, a tablet terminal, or a mobile terminal such as a smartphone, or may be, for example, a stationary terminal device such as a desktop computer terminal.
  • At least one of the support device 200 and the management device 300 may be provided with a monitor and an operation device for remote control.
  • the operator may operate the excavator 100 by using an operating device for remote control.
  • the operation device for remote control is connected to the controller 30 through a wireless communication network such as a wireless LAN.
  • a wireless communication network such as a wireless LAN.
  • the contents that can be displayed on the display device 40 of the cabin 10 for example, image information showing the surrounding state of the excavator 100, various setting screens, the previous image VM, the illustration image AM, the screen corresponding to the AR image, etc.
  • a similar information image may be displayed on the display device of the support device 200 or the management device 300.
  • the image information representing the surrounding state of the excavator 100 may be generated based on the captured image or the like of the imaging device 80.
  • the support device user or the management device user can remotely control the excavator 100 and make various settings related to the excavator 100 while checking the surroundings of the excavator 100.
  • the controller 30 of the excavator 100 may transmit the illustration image AM or AR image as the front image generated by the image presenting unit 30B to the support device 200.
  • the controller 30 may transmit, for example, an image or the like captured by the image pickup device 80 as the surrounding monitoring device (space recognition device) to the support device 200.
  • the controller 30 may transmit information regarding at least one such as data regarding the work contents of the excavator 100, data regarding the posture of the excavator 100, and data regarding the posture of the excavator attachment to the support device 200. This is to enable the persons concerned who use the support device 200 to obtain information about the work site.
  • the data on the work contents of the excavator 100 include, for example, the number of times of loading, which is the number of times the soil is discharged, information on the excavated object such as earth and sand loaded on the loading platform 61 of the dump truck 60, and the type of dump truck 60 related to the loading work. , Information on the position of the excavator 100 when the loading work is performed, information on the working environment, information on the operation of the excavator 100 when the loading work is performed, and the like. Information on the excavated object can be obtained from, for example, the weight and type of the excavated object excavated in each excavation operation, the weight and type of the excavated object loaded on the dump truck 60, and the daily loading work.
  • At least one such as the weight and type of the loaded object to be excavated is, for example, information on the inclination of the ground around the excavator 100, information on the weather around the work site, and the like.
  • the information regarding the operation of the excavator 100 is, for example, at least one such as the output of the operating pressure sensor 29 and the output of the cylinder pressure sensor.
  • At least one of the position acquisition unit 30A, the image presentation unit 30B, and the operation support unit 30C, which are the functional elements of the controller 30, may be realized as the functional elements of the control device in the support device 200.
  • the support device 200 includes the lower traveling body 1, the upper rotating body 3 rotatably mounted on the lower traveling body 1, and the excavation attachment AT attached to the upper rotating body 3. It is configured to support work with the excavator 100 having.
  • the support device 200 has a display device that displays a front image showing the relative positional relationship between the dump truck 60 located in front of the upper swivel body 3 and the excavation attachment AT. With this configuration, the support device 200 can present information regarding the area in front of the upper swivel body 3 to the concerned parties.
  • the distance between the bucket 6 and the front panel 63 in the front-rear direction of the loading platform 61 which can be visually recognized by the operator through the image displayed on the display device of the support device 200, is the distance of the cabin 10.
  • the support device 200 displays the front image as described above, so that the excavator 100 can be operated by the operator as in the case of the operation in the cabin 10. The operation can be effectively supported.
  • a hydraulic operation system including a hydraulic pilot circuit is disclosed.
  • the hydraulic oil supplied from the pilot pump 15 to the boom operating lever 26A depends on the opening degree of the remote control valve that is moved by tilting the boom operating lever 26A in the opening direction.
  • the pressure is supplied to the pilot port of the control valve 154.
  • the hydraulic oil supplied from the pilot pump 15 to the bucket operating lever 26B depends on the opening degree of the remote control valve that is moved by tilting the bucket operating lever 26B in the opening direction.
  • the pressure is supplied to the pilot port of the control valve 158.
  • an electric operation system provided with an electric pilot circuit may be adopted instead of the hydraulic operation system provided with such a hydraulic pilot circuit.
  • the lever operation amount of the electric operation lever in the electric operation system is input to the controller 30 as an electric signal, for example.
  • an electromagnetic valve is arranged between the pilot pump 15 and the pilot port of each control valve.
  • the solenoid valve is configured to operate in response to an electrical signal from the controller 30.
  • the controller 30 moves each control valve by controlling the solenoid valve by an electric signal corresponding to the lever operation amount to increase or decrease the pilot pressure.
  • Each control valve may be composed of an electromagnetic spool valve. In this case, the electromagnetic spool valve operates electromagnetically in response to an electric signal from the controller 30 corresponding to the lever operation amount of the electric operation lever.
  • FIG. 11 shows a configuration example of an electric operation system.
  • the electric operation system of FIG. 11 is an example of a boom operation system for moving the boom 4 up and down, and mainly includes a pilot pressure actuated control valve unit 17 and a boom as an electric operation lever. It is composed of an operation lever 26A, a controller 30, a solenoid valve 65 for boom raising operation, and a solenoid valve 66 for boom lowering operation.
  • the electric operation system of FIG. 11 includes a traveling operation system for traveling the lower traveling body 1, a turning operation system for rotating the upper rotating body 3, an arm operating system for opening and closing the arm 5, and a bucket 6. It can also be applied to a bucket operation system for opening and closing.
  • the pilot pressure actuated control valve unit 17 includes a control valve 150 as a traveling straight valve, a control valve 151 for a left traveling hydraulic motor 2ML, a control valve 152 for a right traveling hydraulic motor 2MR, and a boom. It includes a control valve 153 and a control valve 154 for a cylinder 7, a control valve 155 and a control valve 156 for an arm cylinder 8, a control valve 157 for a swivel hydraulic motor 2A, a control valve 158 for a bucket cylinder 9, and the like.
  • the solenoid valve 65 is configured to be able to adjust the pressure of hydraulic oil in the pipeline connecting the pilot pump 15, the control valve 153, and the boom raising side pilot port in each of the control valves 154.
  • the solenoid valve 66 is configured to be able to adjust the pressure of hydraulic oil in the pipeline connecting the pilot pump 15, the control valve 153, and the boom lowering side pilot port in each of the control valve 154.
  • the controller 30 When a manual operation is performed, the controller 30 outputs a boom raising operation signal (electric signal) or a boom lowering operation signal (electric signal) according to the operation signal (electric signal) output by the operation signal generation unit of the boom operation lever 26A. Generate.
  • the operation signal output by the operation signal generation unit of the boom operation lever 26A is an electric signal that changes according to the operation amount and the operation direction of the boom operation lever 26A.
  • the controller 30 when the boom operating lever 26A is operated in the boom raising direction, the controller 30 outputs a boom raising operation signal (electric signal) corresponding to the lever operation amount to the solenoid valve 65.
  • the solenoid valve 65 operates in response to the boom raising operation signal (electric signal), and acts on the boom raising side pilot port in each of the control valve 153 and the control valve 154, and the pilot pressure as the boom raising operation signal (pressure signal).
  • the controller 30 outputs a boom lowering operation signal (electric signal) corresponding to the lever operation amount to the solenoid valve 66.
  • the solenoid valve 66 operates in response to a boom lowering operation signal (electric signal), and acts on the boom lowering side pilot ports of the control valve 153 and the control valve 154, respectively, as a pilot pressure as a boom lowering operation signal (pressure signal). To control.
  • the controller 30 When executing autonomous control, for example, the controller 30 responds to a correction operation signal (electric signal) instead of responding to an operation signal (electric signal) output by the operation signal generation unit of the boom operation lever 26A. (Electrical signal) or boom lowering operation signal (electrical signal) is generated.
  • the correction operation signal may be an electric signal generated by the controller 30, or may be an electric signal generated by a control device or the like other than the controller 30.
  • the excavator 100 is configured so that the operator can board in the cabin 10, but it may be a remote-controlled excavator.
  • the operator can remotely control the excavator 100 by using, for example, an operating device and a communication device installed in a remote control room outside the work site.
  • the controller 30 may be installed in the remote control room. That is, the controller 30 installed in the remote control room and the excavator 100 may constitute a system for the excavator.
  • Bucket operation lever 28 Discharge pressure sensor 29, 29A, 29B ... Operation pressure sensor 30 ... Controller 30A ... Position acquisition unit 30B ... Image presentation unit 30C ... Operation Support unit 40 ... Display device 40a ... Control unit 41 ... Image display unit 42 ... Operation unit 43 ... Sound output device 45 ... Center bypass pipeline 50, 50L, 50R ... Pressure reducing valve 60 ... Dump truck 61 ... Loading platform 61P ... Prop 62 ... Gate 62B ... Rear gate 62L ... Left side gate 62R ... Right side gate 63 ... Front panel 65, 66 ... Electromagnetic valve 70 ... Object detection device 70B ... Rear sensor 70F ... Front sensor 70L ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本発明の実施形態に係るショベル(100)は、下部走行体(1)と、下部走行体(1)に旋回可能に搭載される上部旋回体(3)と、上部旋回体(3)に取り付けられる掘削アタッチメント(AT)と、周囲監視装置と、表示装置(40)と、を有する。表示装置(40)は、周囲監視装置によって検出された対象物に対するガイダンスを表示するように構成されている。

Description

作業機械及び作業機械による作業を支援する支援装置
 本開示は、作業機械及び作業機械による作業を支援する支援装置に関する。
 従来、上部旋回体に取り付けられたカメラで操作者の死角になる領域を撮像し、キャビンに設置された表示装置にその撮像した画像を表示させるショベルが知られている(特許文献1参照。)。
 このショベルは、カメラが撮像した画像上に距離表示ラインとしてのガイドラインを重ねて表示するように構成されている。
特開2016-065449号
 しかしながら、上記ショベルは、上部旋回体の前方の領域に関する情報を操作者に提示するようには構成されていない。
 そこで、上部旋回体の前方の領域に関する情報を操作者に提示して操作者によるショベル等の作業機械の操作をより効果的に支援できるようにすることが望ましい。
 本発明の実施形態に係る作業機械は、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、周囲監視装置と、表示装置と、を有し、前記表示装置は、前記周囲監視装置によって検出された対象物に対するガイダンスを表示するように構成されている。
 上述の手段により、操作者による作業機械の操作をより効果的に支援できる作業機械が提供される。
本発明の実施形態に係るショベルの側面図である。 図1Aに示すショベルの上面図である。 図1Aに示すショベルに搭載される油圧システムの構成例を示す概略図である。 コントローラの機能ブロック図である。 ショベルとダンプトラックの位置関係を示す図である。 ショベルとダンプトラックの位置関係を示す図である。 積み込み作業の際に表示される画像の一例を示す図である。 積み込み作業の際に表示される画像の別の一例を示す図である。 積み込み作業の際に表示される画像の更に別の一例を示す図である。 積み込み作業の際に表示される画像の更に別の一例を示す図である。 積み込み作業の際に表示される画像の更に別の一例を示す図である。 積み込み作業の際に表示される画像の更に別の一例を示す図である。 積み込み作業の際に表示される画像の更に別の一例を示す図である。 積み込み作業の際に表示される画像の更に別の一例を示す図である。 クレーン作業の際に表示される画像の一例を示す図である。 クレーン作業の際に表示される画像の一例を示す図である。 クレーン作業の際に表示される画像の一例を示す図である。 ショベルの管理システムの構成例を示す概略図である。 電気式操作システムの構成例を示す図である。
 最初に、図1A及び図1Bを参照して、本発明の実施形態に係る掘削機としてのショベル100について説明する。図1Aはショベル100の側面図であり、図1Bはショベル100の上面図である。
 本実施形態では、作業機械の一例であるショベル100の下部走行体1はクローラ1Cを含む。クローラ1Cは、下部走行体1に搭載されている走行用油圧モータ2Mによって駆動される。具体的には、クローラ1Cは左クローラ1CL及び右クローラ1CRを含む。左クローラ1CLは左走行用油圧モータ2MLによって駆動され、右クローラ1CRは右走行用油圧モータ2MRによって駆動される。
 下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載されている。旋回機構2は、上部旋回体3に搭載されている旋回用油圧モータ2Aによって駆動される。但し、旋回機構2は、旋回用電動発電機によって駆動されてもよい。
 上部旋回体3にはブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられている。ブーム4、アーム5、及びバケット6は、アタッチメントの一例である掘削アタッチメントATを構成する。ブーム4はブームシリンダ7で駆動され、アーム5はアームシリンダ8で駆動され、バケット6はバケットシリンダ9で駆動される。
 ブーム4は、上部旋回体3によって回動可能に支持されている。そして、ブーム4にはブーム角度センサS1が取り付けられている。ブーム角度センサS1は、ブーム4の回動角度であるブーム角度θ1を検出できる。ブーム角度θ1は、例えば、ブーム4を最も下降させた状態からの上昇角度である。そのため、ブーム角度θ1は、ブーム4を最も上昇させたときに最大となる。
 アーム5は、ブーム4によって回動可能に支持されている。そして、アーム5にはアーム角度センサS2が取り付けられている。アーム角度センサS2は、アーム5の回動角度であるアーム角度θ2を検出できる。アーム角度θ2は、例えば、アーム5を最も閉じた状態からの開き角度である。そのため、アーム角度θ2は、アーム5を最も開いたときに最大となる。
 バケット6は、アーム5によって回動可能に支持されている。そして、バケット6にはバケット角度センサS3が取り付けられている。バケット角度センサS3は、バケット6の回動角度であるバケット角度θ3を検出できる。バケット角度θ3は、例えば、バケット6を最も閉じた状態からの開き角度である。そのため、バケット角度θ3は、バケット6を最も開いたときに最大となる。
 図1A及び図1Bに示す例では、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3のそれぞれは、加速度センサとジャイロセンサの組み合わせで構成されている。但し、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3の少なくとも1つは、加速度センサのみで構成されていてもよい。また、ブーム角度センサS1は、ブームシリンダ7に取り付けられたストロークセンサであってもよく、ロータリエンコーダ、ポテンショメータ、又は慣性計測装置等であってもよい。アーム角度センサS2及びバケット角度センサS3についても同様である。
 上部旋回体3には、運転室としてのキャビン10が設けられ、且つ、エンジン11等の動力源が搭載されている。また、上部旋回体3には、物体検知装置70、撮像装置80、機体傾斜センサS4、及び旋回角速度センサS5等が取り付けられている。キャビン10の内部には、操作装置26、コントローラ30、表示装置40、及び音出力装置43等が設けられている。なお、本書では、便宜上、上部旋回体3における、掘削アタッチメントATが取り付けられている側を前方とし、カウンタウェイトが取り付けられている側を後方とする。
 物体検知装置70は、周囲監視装置(空間認識装置)の一例であり、ショベル100の周囲に存在する物体を検知するように構成されている。物体は、例えば、人、動物、ダンプトラックを含む車両、建設機械、建造物、壁、柵、土管、U字溝、植え込み等の樹木、又は穴等である。物体検知装置70は、物体の存在の有無、物体の形状、物体の種類、又は、物体の位置等を検出してもよい。物体検知装置70は、例えば、カメラ、超音波センサ、ミリ波レーダ、ステレオカメラ、LIDAR、距離画像センサ、又は赤外線センサ等である。本実施形態では、物体検知装置70は、キャビン10の上面前端に取り付けられたLIDARである前センサ70F、上部旋回体3の上面後端に取り付けられたLIDARである後センサ70B、上部旋回体3の上面左端に取り付けられたLIDARである左センサ70L、及び、上部旋回体3の上面右端に取り付けられたLIDARである右センサ70Rを含む。前センサ70Fは、キャビン10の天井面に、すなわち、キャビン10の内部に取り付けられていてもよい。
 物体検知装置70は、ショベル100の周囲に設定された所定領域内の所定物体を検知するように構成されていてもよい。物体検知装置70は、人と人以外の物体とを区別できるように構成されていてもよい。物体検知装置70は、物体検知装置70又はショベル100から認識された物体までの距離を算出するように構成されていてもよい。
 撮像装置80は、周囲監視装置(空間認識装置)の別の一例であり、ショベル100の周囲を撮像する。本実施形態では、撮像装置80は、上部旋回体3の上面後端に取り付けられた後カメラ80B、上部旋回体3の上面左端に取り付けられた左カメラ80L、上部旋回体3の上面右端に取り付けられた右カメラ80R、及び、キャビン10の上面前端に取り付けられた前カメラ80Fを含む。物体検知装置70がカメラである場合、物体検知装置70は、撮像装置80としても機能するように構成されていてもよい。この場合、撮像装置80は、物体検知装置70に統合されてもよい。すなわち、撮像装置80は、省略されてもよい。
 後カメラ80Bは後センサ70Bに隣接して配置され、左カメラ80Lは左センサ70Lに隣接して配置され、右カメラ80Rは右センサ70Rに隣接して配置され、且つ、前カメラ80Fは前センサ70Fに隣接して配置されている。
 撮像装置80が撮像した画像は表示装置40で表示される。撮像装置80は、俯瞰画像等の視点変換画像を表示装置40に表示できるように構成されていてもよい。俯瞰画像は、例えば、後カメラ80B、左カメラ80L、及び右カメラ80Rのそれぞれが出力する画像を合成して生成される。
 機体傾斜センサS4は、所定の平面に対する上部旋回体3の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサS4は、仮想水平面に関する上部旋回体3の前後軸回りの傾斜角(ロール角)及び左右軸回りの傾斜角(ピッチ角)を検出する加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、互いに直交してショベル100の旋回軸上の一点であるショベル100の中心点を通る。機体傾斜センサS4は、加速度センサとジャイロセンサの組み合わせで構成されていてもよい。機体傾斜センサS4は、慣性計測装置であってもよい。
 旋回角速度センサS5は、上部旋回体3の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサS5は、ジャイロセンサである。旋回角速度センサS5は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサS5は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
 以下では、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、及び旋回角速度センサS5のそれぞれは、姿勢検出装置とも称される。
 表示装置40は、様々な情報を表示するように構成されている。本実施形態では、表示装置40は、キャビン10内に設置されたディスプレイである。但し、表示装置40は、キャビン10のフロントガラスに画像を投影する、プロジェクタ又はヘッドアップディスプレイ等の投影装置であってもよく、キャビン10のフロントガラスに貼り付けられた或いは埋め込まれたディスプレイであってもよい。
 具体的には、表示装置40は、制御部40a、画像表示部41(図5A参照。)、及び操作部42(図5A参照。)を有する。制御部40aは、画像表示部41に表示される画像を制御する。本実施形態では、制御部40aは、CPU、揮発性記憶装置、及び不揮発性記憶装置等を備えたコンピュータで構成されている。制御部40aは、各機能に対応するプログラムを不揮発性記憶装置から読み出して揮発性記憶装置に読み込み、対応する処理をCPUに実行させる。
 音出力装置43は、音を出力するように構成されている。本実施形態では、音出力装置43は、キャビン10の後部に設置されたスピーカである。
 操作装置26は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータを含む。油圧アクチュエータは、例えば、旋回用油圧モータ2A、走行用油圧モータ2M、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等である。電動アクチュエータは、例えば、旋回用電動モータ等である。
 コントローラ30は、ショベル100を制御するための制御装置である。本実施形態では、コントローラ30は、CPU、揮発性記憶装置、及び不揮発性記憶装置等を備えたコンピュータで構成されている。そして、コントローラ30は、各機能に対応するプログラムを不揮発性記憶装置から読み出して実行する。各機能は、例えば、操作者によるショベル100の手動操作をガイド(案内)するマシンガイダンス機能、及び、操作者によるショベル100の手動操作を自律的に支援するマシンコントロール機能等である。
 図2は、ショベル100に搭載される油圧システムの構成例を示す図であり、機械的動力伝達系、作動油ライン、パイロットライン、及び電気制御系を、それぞれ二重線、実線、破線、及び点線で示す。
 油圧システムは、エンジン11によって駆動される油圧ポンプとしてのメインポンプ14からセンターバイパス管路45を経て作動油タンクまで作動油を循環させる。メインポンプ14は、左メインポンプ14L及び右メインポンプ14Rを含む。センターバイパス管路45は、左センターバイパス管路45L及び右センターバイパス管路45Rを含む。
 左センターバイパス管路45Lは、コントロールバルブユニット内に配置された制御弁151、153、155、及び157を通る作動油ラインであり、右センターバイパス管路45Rは、コントロールバルブユニット内に配置された制御弁150、152、154、156、及び158を通る作動油ラインである。
 制御弁150は、走行直進弁である。制御弁151は、左メインポンプ14Lが吐出する作動油を左走行用油圧モータ2MLへ供給し、且つ、左走行用油圧モータ2ML内の作動油を作動油タンクへ排出するために作動油の流れを切り換えるスプール弁である。制御弁152は、左メインポンプ14L又は右メインポンプ14Rが吐出する作動油を右走行用油圧モータ2MRへ供給し、且つ、右走行用油圧モータ2MR内の作動油を作動油タンクへ排出するために作動油の流れを切り換えるスプール弁である。
 制御弁153は、左メインポンプ14Lが吐出する作動油をブームシリンダ7へ供給するために作動油の流れを切り換えるスプール弁である。制御弁154は、右メインポンプ14Rが吐出する作動油をブームシリンダ7へ供給し、且つ、ブームシリンダ7内の作動油を作動油タンクへ排出するために作動油の流れを切り換えるスプール弁である。
 制御弁155は、左メインポンプ14Lが吐出する作動油をアームシリンダ8へ供給し、且つ、アームシリンダ8内の作動油を作動油タンクへ排出するために作動油の流れを切り換えるスプール弁である。制御弁156は、右メインポンプ14Rが吐出する作動油をアームシリンダ8へ供給するために作動油の流れを切り換えるスプール弁である。
 制御弁157は、左メインポンプ14Lが吐出する作動油を旋回用油圧モータ2Aで循環させるために作動油の流れを切り換えるスプール弁である。
 制御弁158は、右メインポンプ14Rが吐出する作動油をバケットシリンダ9へ供給し、且つ、バケットシリンダ9内の作動油を作動油タンクへ排出するために作動油の流れを切り換えるスプール弁である。
 レギュレータ13は、メインポンプ14の吐出圧に応じてメインポンプ14の斜板傾転角を調整することによって、メインポンプ14の吐出量を制御する。図2に示す例では、レギュレータ13は、左メインポンプ14Lに対応する左レギュレータ13L、及び、右メインポンプ14Rに対応する右レギュレータ13Rを含む。
 ブーム操作レバー26Aは、ブームシリンダ7を伸縮させてブーム4を上げ下げさせるための操作装置である。ブーム操作レバー26Aは、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁154のパイロットポートに導入させる。これにより、制御弁154内のスプールの移動量が制御され、ブームシリンダ7へ供給される作動油の流量が制御される。制御弁153についても同様である。なお、図2では、明瞭化のため、ブーム操作レバー26Aと、制御弁153の左右のパイロットポート及び制御弁154の左右のパイロットポートのそれぞれとを繋ぐパイロットラインの図示が省略されている。
 操作圧センサ29Aは、ブーム操作レバー26Aに対する操作者の操作内容を圧力の形で検出し、検出した値をコントローラ30に対して出力する。操作内容は、例えば、レバー操作方向及びレバー操作量(レバー操作角度)である。
 バケット操作レバー26Bは、バケットシリンダ9を伸縮させてバケット6を開閉させるための操作装置である。バケット操作レバー26Bは、例えば、パイロットポンプ15が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁158のパイロットポートに導入させる。これにより、制御弁158内のスプールの移動量が制御され、バケットシリンダ9へ供給される作動油の流量が制御される。
 操作圧センサ29Bは、バケット操作レバー26Bに対する操作者の操作内容を圧力の形で検出し、検出した値をコントローラ30に対して出力する。
 ショベル100は、ブーム操作レバー26A及びバケット操作レバー26B以外にも、走行レバー、走行ペダル、アーム操作レバー、及び旋回操作レバー(何れも図示せず。)を有する。これらの操作装置は、ブーム操作レバー26A及びバケット操作レバー26Bと同様に、パイロットポンプ15が吐出する作動油を利用し、レバー操作量又はペダル操作量に応じた制御圧を、対応する制御弁のパイロットポートに作用させる。また、これらの操作装置のそれぞれに対する操作者の操作内容は、操作圧センサ29Aと同様の、対応する操作圧センサによって圧力の形で検出される。そして、各操作圧センサは、検出した値をコントローラ30に対して出力する。なお、図2では、明瞭化のため、これらの操作装置と、対応する制御弁のパイロットポートとを繋ぐパイロットラインの図示が省略されている。
 コントローラ30は、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、操作圧センサ29A、操作圧センサ29B、及び吐出圧センサ28等の出力を受信し、適宜にエンジン11及びレギュレータ13等に対して制御指令を出力する。
 コントローラ30は、減圧弁50に対して制御指令を出力し、対応する制御弁に作用する制御圧を調整して対応するアクチュエータを制御してもよい。図2では、減圧弁50は、減圧弁50L及び減圧弁50Rを含む。具体的には、コントローラ30は、減圧弁50Lに対して制御指令を出力し、制御弁158の左側パイロットポートに作用する制御圧を調整してバケット開き動作を制御してもよい。また、コントローラ30は、減圧弁50Rに対して制御指令を出力し、制御弁158の右側パイロットポートに作用する制御圧を調整してバケット閉じ動作を制御してもよい。ブーム上げ動作、ブーム下げ動作、アーム閉じ動作、アーム開き動作、左旋回動作、右旋回動作、前進動作、及び後進動作についても同様である。
 このように、コントローラ30は、減圧弁により、制御弁のパイロットポートに作用する制御圧を調整できる。そのため、コントローラ30は、操作者による操作装置26に対する手動操作とは無関係に、アクチュエータを動作させることができる。なお、減圧弁50L及び減圧弁50Rは、電磁比例弁であってよい。
 次に、図3を参照し、コントローラ30の機能について説明する。図3は、コントローラ30の機能ブロック図である。図3に示す例では、コントローラ30は、姿勢検出装置、操作装置26、物体検知装置70、及び撮像装置80等が出力する信号を受け、様々な演算を実行し、表示装置40、音出力装置43、及び減圧弁50等に制御指令を出力できるように構成されている。姿勢検出装置は、ブーム角度センサS1、アーム角度センサS2、バケット角度センサS3、機体傾斜センサS4、及び旋回角速度センサS5を含む。コントローラ30は、位置取得部30A、画像提示部30B、及び操作支援部30Cを機能要素として有する。各機能要素は、ハードウェアで構成されていてもよく、ソフトウェアで構成されていてもよい。
 位置取得部30Aは、物体の位置に関する情報を取得するように構成されている。本実施形態では、位置取得部30Aは、ショベル100の前方に位置しているダンプトラックの荷台の位置に関する情報、及び、バケット6の位置に関する情報を取得するように構成されている。
 物体の位置に関する情報は、例えば、基準座標系における座標で表される。基準座標系は、例えば、ショベル100の中心点を原点とする三次元直行座標系である。ショベル100の中心点は、例えば、ショベル100の仮想接地面と旋回軸との交点である。基準座標系は、世界測地座標系であってもよい。コントローラ30は、ショベル100に取り付けられたGNSS受信機等の出力に基づいてショベル100の中心点の座標を決定してもよい。
 具体的には、位置取得部30Aは、基準座標系における前センサ70Fの既知の取付位置の座標と前センサ70Fの出力とに基づき、ダンプトラックの荷台の位置に関する情報を取得する。ダンプトラックの荷台の位置に関する情報は、フロントパネル、荷台底面、サイドゲート、及びリヤゲートの少なくとも1つの位置に関する情報を含む。
 或いは、位置取得部30Aは、基準座標系における前カメラ80Fの既知の取付位置の座標と前カメラ80Fが撮像した画像(以下、「前画像」とする。)とに基づき、ダンプトラックの荷台の位置に関する情報を取得してもよい。この場合、位置取得部30Aは、例えば、フロントパネルの画像を含む前画像に各種画像処理を施して前カメラ80Fとフロントパネルとの間の距離を導き出すことで、フロントパネルの位置に関する情報を取得する。
 また、位置取得部30Aは、基準座標系におけるアタッチメントの既知の取付位置の座標と姿勢検出装置の出力とに基づき、バケット6の位置に関する情報を取得する。位置取得部30Aは、例えば、バケット6の画像を含む前画像に各種画像処理を施して前カメラ80Fとバケット6との間の距離を導き出すことで、バケット6の位置に関する情報を取得してもよい。
 画像提示部30Bは、上部旋回体3の前方の領域に関する画像である前方画像を提示するように構成されている。本実施形態では、画像提示部30Bは、ショベル100の前方に位置するダンプトラックの荷台とバケット6との位置関係を表す画像を前方画像として表示装置40に提示するように構成されている。
 具体的には、画像提示部30Bは、ダンプトラックの荷台とバケット6の爪先との位置関係を表すイラスト画像を前方画像として提示する。イラスト画像は、バケット6の実際の動きに応じてバケット6を表す図形が動くように構成されたアニメーション画像であってもよい。
 画像提示部30Bは、AR(拡張現実)技術を利用し、前画像に含まれるダンプトラックの荷台の画像上に、前方画像としての拡張現実画像(以下、「AR画像」とする。)を提示するように構成されていてもよい。
 AR画像は、例えば、バケット6の爪先の真下の位置を表すマーカである。AR画像は、バケット6の爪先の真下の位置から所定距離だけ遠い位置を表すマーカ、及び、その真下の位置から所定距離だけ近い位置を表すマーカの少なくとも一方を含んでいてもよい。この場合、複数のマーカは、バケット6の爪先の真下の位置からの距離を表す目盛りとして機能する。目盛りとして機能する複数のマーカは、ショベル100からの距離を表すように構成されていてもよい。AR画像は、バケット6を最大限開いたときの爪先の真下の位置を表すマーカを含んでいてもよい。マーカは、実線、破線、一点鎖線、円、四角形、又は三角形等の任意の図形であってもよい。また、マーカの輝度、色、及び太さ等は、任意に設定されてもよい。画像提示部30Bは、マーカを点滅表示させるように構成されていてもよい。
 表示装置40としてプロジェクタが利用される場合、画像提示部30Bは、AR(拡張現実)技術を利用し、フロントガラスを通して視認される実際のダンプトラックの荷台の上に、AR画像(例えば上述の主要マーカ)があたかも実在するかのように、AR画像を提示するように構成されていてもよい。すなわち、画像提示部30Bは、プロジェクションマッピング技術を利用して主要マーカをダンプトラックの荷台に表示させてもよい。
 画像提示部30Bは、表示装置40の制御部40aが備える機能要素として実現されていてもよい。
 操作支援部30Cは、操作者によるショベル100の操作を支援するように構成されている。本実施形態では、操作支援部30Cは、ダンプトラックの荷台とバケット6との位置関係に関する所定条件が満たされた場合に、警報を出力するように構成されている。所定条件は、例えば、ダンプトラックの荷台のフロントパネルとバケット6との間の距離が所定値未満になったこと等である。
 操作支援部30Cは、例えば、フロントパネルとバケット6との間の距離が所定値未満になったと判定した場合、音出力装置43に対して制御指令を出力し、音出力装置43から警報音を出力させる。距離は、例えば、水平距離である。操作支援部30Cは、フロントパネルとバケット6との間の距離の大きさに応じて、音出力装置43が出力する音の間隔及び周波数(高低)等を変化させることで、フロントパネルとバケット6との間の距離の大きさを操作者に伝えるようにしてもよい。操作支援部30Cは、例えば、フロントパネルとバケット6との間の距離が所定値未満になったと判定した場合、表示装置40に対して制御指令を出力し、警告メッセージを表示させてもよい。
 操作支援部30Cは、例えば、フロントパネルとバケット6との間の距離が所定値未満になったと判定した場合、アタッチメントの動作速度の上限を設定してもよい。具体的には、操作支援部30Cは、バケット6の開き速度の上限を設定してもよい。この場合、操作支援部30Cは、バケット6の爪先の位置の推移に基づいてバケット6の開き速度を監視し、その開き速度が所定の上限値に達した場合に、制御弁158の左側パイロットポートに対応する減圧弁50Lに対して制御指令を出力する。制御指令を受けた減圧弁50Lは、制御弁158の左側パイロットポートに作用する制御圧を低減させ、バケット6の開き動作を抑制する。操作支援部30Cは、バケット角度センサS3の出力に基づいてバケット6の開き速度を監視してもよい。
 操作支援部30Cは、例えば、フロントパネルとバケット6とが接触するおそれがあると判定した場合、アタッチメントの動きを停止させてもよい。具体的には、操作支援部30Cは、例えば、フロントパネルとバケット6との間の距離が所定値未満になったと判定した場合、アタッチメントの動きを停止させてもよい。
 ここで、図4A及び図4Bを参照して、画像提示部30Bが画像を提示する際の掘削アタッチメントATとダンプトラック60との位置関係について説明する。図4A及び図4Bは、画像提示部30Bが画像を提示する際の掘削アタッチメントATとダンプトラック60との位置関係の一例を示す。図4A及び図4Bに示す例では、ショベル100は、ダンプトラック60の後方に位置し、バケット6をダンプトラック60の荷台の上に持ち上げている。なお、図4A及び図4Bは、明瞭化のため、掘削アタッチメントATを簡略化されたモデルで示している。具体的には、図4Aは掘削アタッチメントAT及びダンプトラック60の右側面図であり、図4Bは掘削アタッチメントAT及びダンプトラック60の背面図である。
 図4Aに示すように、ブーム4は、Y軸(上部旋回体3の左右軸)に平行な回動軸Jを中心として回動できるように構成されている。同様に、アーム5は、ブーム4の先端に回動可能に取り付けられ、バケット6は、アーム5の先端に回動可能に取り付けられている。ブーム角度センサS1は、点P1で示す位置にある、上部旋回体3とブーム4との連結部に取り付けられている。アーム角度センサS2は、点P2で示す位置にある、ブーム4とアーム5との連結部に取り付けられている。バケット角度センサS3は、点P3で示す位置にある、アーム5とバケット6との連結部に取り付けられている。点P4は、バケット6の先端(爪先)の位置を示す。点P5は、前センサ70F及び前カメラ80Fの取付位置を示す。
 図4Aに示す例では、ブーム角度センサS1は、ブーム4の長手方向と、基準水平面(XY面)との間の角度をブーム角度θ1として測定する。アーム角度センサS2は、ブーム4の長手方向とアーム5の長手方向との間の角度をアーム角度θ2として測定する。バケット角度センサS3は、アーム5の長手方向とバケット6の長手方向との間の角度をバケット角度θ3として測定する。ブーム4の長手方向は、回動軸Jに垂直な面内(XZ面内)で点P1と点P2とを通過する直線の方向を意味する。アーム5の長手方向は、XZ面内で点P2と点P3とを通過する直線の方向を意味する。バケット6の長手方向は、XZ面内で点P3と点P4とを通過する直線の方向を意味する。
 コントローラ30は、例えば、機体傾斜センサS4及び旋回角速度センサS5のそれぞれの出力に基づいてショベル100の中心点に関する点P1の相対位置を導き出すことができる。そして、コントローラ30は、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3のそれぞれの出力に基づき、点P1に関する点P2~P4のそれぞれの相対位置を導き出すことができる。同様に、コントローラ30は、点P1に関する、バケット6の背面の端部等の掘削アタッチメントATの任意の部位の相対位置を導き出すことができる。
 更に、コントローラ30は、前センサ70F及び前カメラ80Fのそれぞれの既知の取付位置に基づき、点P1に関する点P5の相対位置を導き出すことができる。
 図4A及び図4Bに示す例では、ダンプトラック60は、荷台61に取り付けられたゲート62を有する。ゲート62は、荷台61の側壁を構成する開閉可能な部材であり、リヤゲート62B、左サイドゲート62L、及び右サイドゲート62Rを含む。また、ダンプトラック60は、荷台61の後端部に形成された支柱61Pを有する。支柱61Pは、リヤゲート62Bを開閉可能に支持する部材であり、左支柱61PL及び右支柱61PRを含む。更に、ダンプトラック60は、荷台と運転室とを隔てるフロントパネル63を有する。
 コントローラ30は、前センサ70Fの出力に基づき、点P1に関する、ダンプトラック60の各部の相対位置を導き出すことができる。ダンプトラック60の各部は、例えば、リヤゲート62Bの左端及び右端のそれぞれの上端、左サイドゲート62Lの上端、右サイドゲート62Rの上端、並びに、フロントパネル63の左上端及び右上端等である。
 このようにして、コントローラ30は、基準座標系における掘削アタッチメントAT上の各部の座標とダンプトラック60の各部の座標とを導き出すことができる。
 次に、図5Aを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスを行う例について説明する。積み込み作業は、ショベル100がダンプトラック60の荷台に土砂を積み込む作業である。図5Aは、積み込み作業の際に表示装置40に表示される画像の一例を示す。
 画像表示部41は、日時表示領域41a、走行モード表示領域41b、アタッチメント表示領域41c、燃費表示領域41d、エンジン制御状態表示領域41e、エンジン稼動時間表示領域41f、冷却水温表示領域41g、燃料残量表示領域41h、回転数モード表示領域41i、尿素水残量表示領域41j、作動油温表示領域41k、エアコン運転状態表示領域41m、画像表示領域41n、及びメニュー表示領域41pを含む。
 走行モード表示領域41b、アタッチメント表示領域41c、エンジン制御状態表示領域41e、回転数モード表示領域41i、及びエアコン運転状態表示領域41mのそれぞれは、ショベル100の設定状態に関する情報である設定状態情報を表示する領域である。燃費表示領域41d、エンジン稼動時間表示領域41f、冷却水温表示領域41g、燃料残量表示領域41h、尿素水残量表示領域41j、及び作動油温表示領域41kのそれぞれは、ショベル100の稼動状態に関する情報である稼動状態情報を表示する領域である。
 日時表示領域41aは、現在の日時を表示する領域である。走行モード表示領域41bは、現在の走行モードを表示する領域である。アタッチメント表示領域41cは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域41dは、コントローラ30によって算出された燃費情報を表示する領域である。燃費表示領域41dは、全期間に関する平均燃費又は一部期間に関する平均燃費を表示する平均燃費表示領域41d1、及び、瞬間燃費を表示する瞬間燃費表示領域41d2を含む。全期間は、例えば、ショベル100が出荷された後の全期間を意味する。一部期間は、例えば、操作者が任意に設定した期間を意味する。
 エンジン制御状態表示領域41eは、エンジン11の制御状態を表示する領域である。エンジン稼動時間表示領域41fは、エンジン11の稼動時間に関する情報を表示する領域である。冷却水温表示領域41gは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域41hは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。回転数モード表示領域41iは、エンジン回転数調整ダイヤル75によって設定された現在の回転数モードを画像で表示する領域である。尿素水残量表示領域41jは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域41kは、作動油タンク内の作動油の温度状態を表示する領域である。
 エアコン運転状態表示領域41mは、現在の吹出口の位置を表示する吹出口表示領域41m1、現在の運転モードを表示する運転モード表示領域41m2、現在の設定温度を表示する温度表示領域41m3、及び、現在の設定風量を表示する風量表示領域41m4を含む。
 画像表示領域41nは、各種画像が表示される領域である。各種画像は、例えば、コントローラ30の画像提示部30Bが提示する画像、及び、撮像装置80が撮像した画像等である。画像表示領域41nは、上方に位置する第1画像表示領域41n1と下方に位置する第2画像表示領域41n2を有する。図5Aに示す例では、第1画像表示領域41n1には、画像提示部30Bが生成したイラスト画像AMが表示され、第2画像表示領域41n2には、後カメラ80Bが撮像した後画像CBTが表示されている。但し、第1画像表示領域41n1に後画像CBTが表示され、第2画像表示領域41n2にイラスト画像AMが表示されてもよい。また、図5Aに示す例では、第1画像表示領域41n1と第2画像表示領域41n2とは上下に隣接して配置されているが、間隔を空けて配置されていてもよい。
 後画像CBTは、ショベル100の後方の空間を映し出す画像であり、カウンタウェイトの上面の一部を表す画像GCを含む。本実施形態では、後画像CBTは、制御部40aによって生成される実視点画像であり、後カメラ80Bが取得した画像に基づいて生成される。
 第2画像表示領域41n2には、後画像CBTでなく、俯瞰画像が表示されていてもよい。俯瞰画像は、制御部40aによって生成される仮想視点画像であり、後カメラ80B、左カメラ80L、及び右カメラ80Rのそれぞれが取得した画像に基づいて生成される。また、俯瞰画像の中央部分には、ショベル100に対応するショベル図形が配置されている。ショベル100とショベル100の周囲に存在する物体との位置関係を操作者に直感的に把握させるためである。
 図5Aに示す例では、画像表示領域41nは、縦長の領域であるが、横長の領域であってもよい。画像表示領域41nが横長の領域である場合、画像表示領域41nは、例えば、左側の第1画像表示領域41n1でイラスト画像AMを表示し、右側の第2画像表示領域41n2で後画像CBTを表示してもよい。この場合、第1画像表示領域41n1と第2画像表示領域41n2とは左右に間隔を空けて配置されてもよい。また、第1画像表示領域41n1が右側に配置され、第2画像表示領域41n2が左側に配置されてもよい。
 メニュー表示領域41pは、タブ領域41p1~41p7を有する。図5Aに示す例では、画像表示部41の最下部に、タブ領域41p1~41p7が左右に互いに間隔を空けて配置されている。タブ領域41p1~41p7のそれぞれには、関連する情報の内容を表すアイコンが表示されている。
 タブ領域41p1には、メニュー詳細項目を表示するためのメニュー詳細項目アイコンが表示されている。操作者によりタブ領域41p1が選択されると、タブ領域41p2~41p7に表示されているアイコンがメニュー詳細項目に関連付けられたアイコンに切り換わる。
 タブ領域41p4には、デジタル水準器に関する情報を表示するためのアイコンが表示されている。操作者によりタブ領域41p4が選択されると、後画像CBTがデジタル水準器に関する情報を示す第1画像に切り換わる。
 タブ領域41p6には、情報化施工に関する情報を表示するためのアイコンが表示されている。操作者によりタブ領域41p6が選択されると、後画像CBTが情報化施工に関する情報を示す第2画像に切り換わる。
 タブ領域41p7には、クレーンモードに関する情報を表示するためのアイコンが表示されている。操作者によりタブ領域41p7が選択されると、後画像CBTがクレーンモードに関する情報を示す第3画像に切り換わる。
 但し、第1画像、第2画像、又は第3画像等のメニュー画像は何れも、後画像CBT上に重畳表示されてもよい。或いは、後画像CBTは、メニュー画像を表示するための場所を空けるように縮小されてもよい。或いは、画像表示領域41nは、イラスト画像AMがメニュー画像に切り換わるように構成されていてもよい。或いは、メニュー画像は、イラスト画像AM上に重畳表示されてもよい。或いは、イラスト画像AMは、メニュー画像を表示するための場所を空けるように縮小されてもよい。
 タブ領域41p2、41p3及び41p5には、アイコンが表示されていない。このため、操作者によりタブ領域41p2、41p3又は41p5が操作されても、画像表示部41に表示される画像に変化は生じない。
 なお、タブ領域41p1~41p7に表示されるアイコンは上記した例に限定されるものではなく、他の情報を表示するためのアイコンが表示されていてもよい。
 図5Aに示す例では、操作部42は、操作者がタブ領域41p1~41p7の選択、及び、設定入力等を行うための複数のボタン式のスイッチにより構成されている。具体的には、操作部42は、上段に配置された7つのスイッチ42a1~42a7と、下段に配置された7つのスイッチ42b1~42b7と、を含む。スイッチ42b1~42b7は、スイッチ42a1~42a7のそれぞれの下方に配置されている。但し、操作部42のスイッチの数、形態及び配置は、上記した例に限定されるものではない。例えば、操作部42は、ジョグホイール又はジョグスイッチ等のように、複数のボタン式のスイッチの機能を1つにまとめた形態であってもよい。また、操作部42は、表示装置40から独立した部材として構成されていてもよい。また、タブ領域41p1~41p7は、ソフトウェアボタンとして構成されていてもよい。この場合、操作者は、タブ領域41p1~41p7をタッチ操作することで任意のタブ領域を選択できる。
 図5Aに示す例では、スイッチ42a1は、タブ領域41p1の下方に、タブ領域41p1に対応して配置されており、タブ領域41p1を選択するスイッチとして機能する。スイッチ42a2~42a7のそれぞれについても同様である。
 この構成により、操作者は、タブ領域41p1~41p7のうちの所望の1つを選択する際にスイッチ42a1~42a7の何れを操作すればよいのかを直感的に認識できる。
 スイッチ42b1は、画像表示領域41nに表示される撮像画像を切り換えるスイッチである。撮像画像は、撮像装置80が撮像した画像を意味する。表示装置40は、スイッチ42b1が操作される毎に画像表示領域41nの第1画像表示領域41n1に表示される撮像画像が、例えば、後画像CBT、左カメラ80Lが撮像した左画像、右カメラ80Rが撮像した右画像、及びイラスト画像AMの間で切り換わるように構成されている。或いは、表示装置40は、スイッチ42b1が操作されるごとに画像表示領域41nの第2画像表示領域41n2に表示される撮像画像が、例えば、後画像CBT、左画像、右画像、及びイラスト画像AMの間で切り換わるように構成されていてもよい。或いは、表示装置40は、スイッチ42b1が操作されるごとに画像表示領域41nの第1画像表示領域41n1に表示される撮像画像と第2画像表示領域41n2に表示される撮像画像とが入れ換わるように構成されていてもよい。
 このように、操作者は、操作部42としてのスイッチ42b1を操作することで、第1画像表示領域41n1又は第2画像表示領域41n2に表示される画像を切り換えてもよい。或いは、操作者は、スイッチ42b1を操作することで、第1画像表示領域41n1と第2画像表示領域41n2に表示される画像を切り換えてもよい。表示装置40は、第2画像表示領域41n2に表示される画像を切り換えるためのスイッチを別に備えていてもよい。
 スイッチ42b2、42b3は、エアコンの風量を調節するスイッチである。図5Aに示す例では、操作部42は、スイッチ42b2が操作されるとエアコンの風量が小さくなり、スイッチ42b3が操作されるとエアコンの風量が大きくなるように構成されている。
 スイッチ42b4は、冷房・暖房機能のON・OFFを切り換えるスイッチである。図5Aに示す例では、操作部42は、スイッチ42b4が操作されるごとに冷房・暖房機能のON・OFFが切り換わるように構成されている。
 スイッチ42b5、42b6は、エアコンの設定温度を調節するスイッチである。図5Aに示す例では、操作部42は、スイッチ42b5が操作されると設定温度が低くなり、スイッチ42b6が操作されると設定温度が高くなるように構成されている。
 スイッチ42b7は、エンジン稼動時間表示領域41fに表示される、エンジン11の稼動時間に関する情報の内容を切り換えるスイッチである。エンジン11の稼動時間に関する情報は、例えば、全期間に関する累積稼動時間及び一部期間に関する累積稼動時間等を含む。
 また、スイッチ42a2~42a6、42b2~42b6は、それぞれのスイッチ又はスイッチ近傍に表示された数字を入力できるように構成されている。また、スイッチ42a3、42a4、42a5、42b4は、画像表示部41にカーソルが表示された際、カーソルをそれぞれ左、上、右、下に移動させることができるように構成されている。
 なお、スイッチ42a1~42a7、42b1~42b7に与えられる機能は一例であり、他の機能が実行できるように構成されていてもよい。
 次に、イラスト画像AMの詳細について説明する。イラスト画像AMは、画像提示部30Bが提示する、ダンプトラックの荷台とバケット6の爪先との位置関係を表す前方画像の一例である。図5Aに示す例では、イラスト画像AMは、図形G1~図形G4を含む。
 図形G1は、左側方から見たブーム4の上側部分を表す図形である。図5Aに示す例では、図形G1は、アームフートピンが取り付けられる部分等を含むブーム4の上側部分を表す図形であり、アームシリンダ8を表す図形を含む。すなわち、図形G1は、ブームフートピンが取り付けられる部分、及び、ブームシリンダ7の先端が取り付けられる部分等を含むブーム4の下側部分を表す図形を含んでいない。また、図形G1は、ブームシリンダ7を表す図形を含んでいない。積み込み作業を支援する際に操作者に提示する必要性が低い部分であるブーム4の下側部分を表す図形の表示を省略して図形G1を簡略化することで、積み込み作業を支援する際に操作者に提示する必要性が高い部分であるブーム4の上側部分を表す図形の視認性を高めるためである。図形G1は、アームシリンダ8を表す図形を含んでいなくてもよい。
 図形G1は、実際のブーム4の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、ブーム角度センサS1が検出するブーム角度θ1の変化に応じて図形G1の位置及び姿勢を変化させる。
 図形G2は、左側方から見たアーム5を表す図形である。図5Aに示す例では、図形G2は、アーム5の全体を表す図形であり、バケットシリンダ9を表す図形を含む。但し、図形G2は、バケットシリンダ9を表す図形を含んでいなくてもよい。
 図形G2は、実際のアーム5の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、ブーム角度センサS1が検出するブーム角度θ1の変化、及び、アーム角度センサS2が検出するアーム角度θ2の変化に応じて図形G2の位置及び姿勢を変化させる。
 図形G3は、左側方から見たバケット6を表す図形である。図5Aに示す例では、図形G3は、バケット6の全体を表す図形であり、バケットリンクを表す図形を含む。但し、図形G3は、バケットリンクを表す図形を含んでいなくてもよい。
 図形G3は、実際のバケット6の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、ブーム角度センサS1が検出するブーム角度θ1の変化、アーム角度センサS2が検出するアーム角度θ2の変化、及びバケット角度センサS3が検出するバケット角度θ3の変化に応じて図形G3の位置及び姿勢を変化させる。
 このように、イラスト画像AMは、アタッチメントの付け根部分(近位部分)を除いた部分である、アタッチメントの遠位部分の図形を含むように生成される。アタッチメントの近位部分は、アタッチメントのうち上部旋回体3に近い部分を意味し、例えばブーム4の下側部分を含む。アタッチメントの遠位部分は、アタッチメントのうち上部旋回体3から遠い部分を意味し、例えばブーム4の上側部分、アーム5、及びバケット6を含む。積み込み作業を支援する際に操作者に提示する必要性が低い部分であるアタッチメントの近位部分を表す図形の表示を省略してイラスト画像AMを簡略化することで、積み込み作業を支援する際に操作者に提示する必要性が高い部分であるアタッチメントの遠位部分を表す図形の視認性を高めるためである。
 図形G4は、左側方から見たダンプトラック60を表す図形である。図5Aに示す例では、図形G4は、ダンプトラック60の全体を表す図形であり、リヤゲート62Bを表す図形G40、左サイドゲート62Lを表す図形G41、及びフロントパネル63を表す図形G42を含む。図形G4は、リヤゲート62B、左サイドゲート62L、及びフロントパネル63以外の部分を表す図形を含んでいなくてもよい。或いは、図形G4は、左サイドゲート62L及びフロントパネル63以外の部分を表す図形を含んでいなくてもよい。一方で、図形G4は、実際には不可視であるダンプトラック60の荷台61の底面を表す図形(例えば破線)を含んでいてもよい。
 図形G4は、実際のダンプトラック60の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、物体検知装置70及び撮像装置80の少なくとも1つの出力の変化に応じて図形G4の位置及び姿勢を変化させる。コントローラ30は、ダンプトラック60の停止位置をダンプトラック60の運転者に伝えることができるように構成されていてもよい。例えば、コントローラ30は、キャビン10の外部に設置された音出力装置を利用し、音出力装置が出力する音の間隔及び周波数(高低)等を変化させることで、ダンプトラック60の現在位置と積み込み作業に適した位置との間の距離の大きさをダンプトラック60の運転者に伝えるようにしてもよい。
 コントローラ30は、機体傾斜センサS4及び旋回角速度センサS5等の検出値の変化に応じて図形G1~図形G4の位置、姿勢、及び形状の少なくとも1つを変化させてもよい。また、コントローラ30は、ダンプトラック60が位置する地面の高さとショベル100が位置する地面の高さとの差に応じて図形G1~図形G4の位置、姿勢、及び形状の少なくとも1つを変化させてもよい。
 図形G1~図形G4のそれぞれは、複数の種類が予め用意されていてもよい。この場合、図形G3の種類は、例えば、バケット6の種類及びサイズ等の少なくとも1つに応じて切り換えられてもよい。また、図形G4の種類は、例えば、ダンプトラック60の種類及びサイズ等の少なくとも1つに応じて切り換えられてもよい。図形G1及び図形G2についても同様である。
 図5Aに示すようなイラスト画像AMを見たショベル100の操作者は、図形G3で表されるバケット6の爪先と、図形G41で表される左サイドゲート62Lの上端との間の距離の大きさを直感的に把握できる。また、ショベル100の操作者は、バケット6の爪先又は背面と、図形G42で表されるフロントパネル63との間の距離の大きさを直感的に把握できる。また、イラスト画像AMが荷台61の底面を表す図形を含む場合、ショベル100の操作者は、バケット6の爪先と荷台61の底面との間の距離の大きさを直感的に把握できる。
 なお、図5Aに示す例では、図形G1~図形G4は、掘削アタッチメントAT及びダンプトラック60を左側方から見たときの状態を表しているが、掘削アタッチメントAT及びダンプトラック60を右側方から見たときの状態を表していてもよく、掘削アタッチメントAT及びダンプトラック60を真上から見たときの状態を表していてもよい。また、左側方から見たときの状態、右側方から見たときの状態、及び真上から見たときの状態の少なくとも2つは、同時に表示されてもよい。
 次に、図5Bを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスの別の一例について説明する。図5Bは、積み込み作業の際に表示装置40の画像表示領域41nに表示されるイラスト画像AMの別の一例を示す。
 図5Bに示すイラスト画像AMは、主に、静的(固定的)に表示される図形G5及び図形G6を含む点で、動的(可変的)に表示される図形G1~図形G4を含む、図5Aに示すイラスト画像AMと異なる。
 図形G5は、左側方から見た掘削アタッチメントATの先端部を表す図形である。図5Bに示す例では、図形G5は、掘削アタッチメントATの、ブーム4の先端にあるアーム連結部よりも先端側の部分を表す図形、すなわち、アーム5及びバケット6を表す簡略化された図形であり、バケットリンク及びバケットシリンダ9を表す図形を含んでいない。なお図形G5に含まれるバケット6の図形は、実用上最も開かれた状態のバケット6を表している。「実用上最も開かれた状態」におけるバケット角度θ3は、排土作業等の通常の作業でバケット6を開く際の実用上の最大バケット開き角度であり、仕様上最も開かれた状態におけるバケット角度θ3である仕様上のバケット最大開き角度より小さい。通常の作業では、バケット角度θ3は、実用上の最大バケット開き角度を上回ることはほとんどない。図形G5は、複数の種類が予め用意されていてもよい。この場合、図形G5の種類は、例えば、バケット6の種類及びサイズ等の少なくとも1つに応じて切り換えられてもよい。
 具体的には、図形G5は、図形G51~図形G54を含む。図形G51~図形G54は、同じサイズ、姿勢、及び形状を有する。但し、図形G51~図形G54のそれぞれの姿勢は、アーム5及びバケット6のそれぞれの実際の姿勢に合うように、互いに異なっていてもよい。
 図形G51~図形G54は、実際の掘削アタッチメントATの動きとは無関係に第1画像表示領域41n1に静的(固定的)に且つ同時に表示される。一方で、図形G51~図形G54は、実際の掘削アタッチメントATとダンプトラック60との間の位置関係をショベル100の操作者に認識させることができるように、実際の掘削アタッチメントATの動きに応じて色、輝度、及び濃淡等の少なくとも1つが変化するように表示される。具体的には、図形G51~図形G54のうち、実際の掘削アタッチメントATとダンプトラック60との間の位置関係に最も近い位置関係を表す図形は、第1色(例えば濃い青色)で塗り潰される。また、図形G51~図形G54のうち、所定時間経過後の掘削アタッチメントATとダンプトラック60との間の位置関係に最も近い位置関係を表す図形は、第2色(例えば薄い青色)で塗り潰される。
 図5Bに示す例では、図形G53は、現在の掘削アタッチメントATとダンプトラック60との間の位置関係に最も近い位置関係を表す図形として、第1色で塗り潰されている。また、図形G54は、所定時間経過後の掘削アタッチメントATとダンプトラック60との間の位置関係に最も近い位置関係を表す図形として、第2色で塗り潰されている。ショベル100の操作者は、第1色で塗り潰された図形G53を見ることで、現在の掘削アタッチメントATとダンプトラック60との間の位置関係を把握でき、且つ、第2色で塗り潰された図形G54を見ることで、掘削アタッチメントATがダンプトラック60のフロントパネル63に向かって移動していることを把握できる。
 図形G6は、左側方から見たダンプトラック60を表す図形である。図5Bに示す例では、図形G6は、ダンプトラック60の全体を表す図形であり、リヤゲート62Bを表す図形G60、左サイドゲート62Lを表す図形G61、及びフロントパネル63を表す図形G62を含む。図形G6は、リヤゲート62B、左サイドゲート62L、及びフロントパネル63以外の部分を表す図形を含んでいなくてもよい。一方で、図形G6は、実際には不可視であるダンプトラック60の荷台61の底面を表す図形(例えば破線)を含んでいてもよい。
 図形G6は、実際のダンプトラック60の動きとは無関係に第1画像表示領域41n1に静的(固定的)に表示されている。但し、図形G6は、実際のダンプトラック60の動きに合わせて動くように表示されてもよい。或いは、図形G6は、ダンプトラック60が所定位置に達するまでは非表示とされ、ダンプトラック60が所定位置に達したときに表示されてもよい。所定位置は、例えば、ショベル100の旋回軸とダンプトラック60のリヤゲート62Bとの間の距離が所定値になる位置である。
 図形G6は、複数の種類が予め用意されていてもよい。この場合、図形G6の種類は、例えば、ダンプトラック60の種類及びサイズ等の少なくとも1つに応じて切り換えられてもよい。
 図5Bに示すようなイラスト画像AMを見たショベル100の操作者は、現在のバケット6とダンプトラック60との間の位置関係を大まかに且つ直感的に把握できる。また、操作者は、バケット6がフロントパネル63に接近していることを直感的に把握でき、且つ、バケット6とフロントパネル63との間の距離の大きさを大まかに把握できる。
 なお、図5Bに示す例では、図形G5及び図形G6は、掘削アタッチメントAT及びダンプトラック60を左側方から見たときの状態を表しているが、掘削アタッチメントAT及びダンプトラック60を右側方から見たときの状態を表していてもよく、掘削アタッチメントAT及びダンプトラック60を真上から見たときの状態を表していてもよい。また、左側方から見たときの状態、右側方から見たときの状態、及び真上から見たときの状態の少なくとも2つは、同時に表示されてもよい。
 次に、図5Cを参照し、イラスト画像AMの更に別の一例について説明する。図5Cは、積み込み作業の際に表示装置40の画像表示領域41nに表示されるイラスト画像AMの更に別の一例を示す。具体的には、図5Cは、図5Aに示すイラスト画像AMの一部の拡大図である。
 図5Cに示すイラスト画像AMは、主に、図形G3A及び図形G3Bを含む点で、図5Aに示すイラスト画像AMと異なる。図形G3A及び図形G3Bは、現在のバケット6の位置からバケット6を開閉させたときのバケット6の位置に関する図形である。具体的には、図形G3Aは、仕様上最も開かれた状態のバケット6を表している。図形G3Bは、仕様上最も閉じられた状態から仕様上最も開かれた状態までバケット6を開いたときにバケット6の爪先が描く軌跡を表している。図5Cに示す例では、破線で示す図形G3A、及び、点線で示す図形G3Bは、バケット6の現在の状態を表す図形G3とともに、実際のバケット6の位置の変化に応じて移動するように表示される。また、バケット6の開閉の際には、図形G3は、バケット6の実際の開き度合いに応じて姿勢が変化するように表示されるが、図形G3Aは、バケット6の実際の開き度合いとは無関係に、姿勢が維持されるように表示される。なお、図形G3A及び図形G3Bは、所定の条件が満たされた場合に限り表示されてもよい。所定の条件は、例えば、バケット6とフロントパネル63との間の距離が所定値を下回ることである。バケット6とフロントパネル63とが接触するおそれがない場合のイラスト図形を簡素化するためである。
 操作支援部30Cは、例えば、上述の軌跡がダンプトラック60の荷台と干渉したと判定した場合、音出力装置43に対して制御指令を出力し、音出力装置43から警報音を出力させてもよく、表示装置40に対して制御指令を出力し、警告メッセージを表示させてもよい。
 図5Cに示すようなイラスト画像AMを見たショベル100の操作者は、現在のバケット6とフロントパネル63との間の距離の大きさと、バケット6を最大限開いたときのバケット6とフロントパネル63との間の距離の大きさとを同時に且つ直感的に把握できる。また、操作者は、図形G3Bを見ることで、バケット6を開閉したときの爪先とダンプトラック60との位置関係を容易に把握することができる。例えば、操作者は、現在のバケット6の位置でバケット6を最大限開いたときにバケット6がフロントパネル63と接触するか否かを容易に判断できる。なお、図形G3A及び図形G3Bの少なくとも一方は、図5Bに示すイラスト画像AMに追加されてもよい。
 なお、図5A~図5Cに示す画像は、ショベル100のキャビン10内に設置された表示装置40ではなく、遠隔操作を行う操作者が利用する、ショベル100の外部にある携帯端末等の支援装置に付属している表示装置に表示されてもよい。
 次に、図6Aを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスの更に別の一例について説明する。図6Aは、積み込み作業の際に表示装置40の画像表示領域41nに表示される画像の一例を示す。
 図6Aに示す画像は、主に、前カメラ80Fが撮像した前画像VMと、前画像VMの上に重畳表示されるAR画像としての図形GP10~図形GP14とを含む点で、前画像VMを含まない図5Aに示す画像と異なる。
 図6Aに示す前画像VMは、ショベル100の前方に位置するダンプトラック60の画像を含む。具体的には、前画像VMは、画像V1~V5を含む。画像V1は、バケット6の画像である。画像V2は、フロントパネル63の画像である。画像V3は、左サイドゲート62Lの画像である。画像V4は、右サイドゲート62Rの画像である。画像V5は、リヤゲート62Bの画像である。
 図形GP10~図形GP14は、基準点からの距離を表す半透明の点線マーカである。基準点は、例えば、ショベル100の中心点である。基準点は、ダンプトラック60の荷台61の前端点若しくは後端点であってもよく、工事現場に設置された測量点であってもよい。図6Aに示す例では、図形GP10は、ショベル100の中心点から3.0メートルだけ離れた位置を表し、図形GP11は、ショベル100の中心点から3.5メートルだけ離れた位置を表し、図形GP12は、ショベル100の中心点から4.0メートルだけ離れた位置を表し、図形GP13は、ショベル100の中心点から4.5メートルだけ離れた位置を表し、図形GP14は、ショベル100の中心点から5.0メートルだけ離れた位置を表している。すわなち、図形GP10~図形GP14は、基準点から離れる方向において等間隔に配置される点線マーカである。図6Aに示す例では、図形GP10~図形GP14は、ショベル100の中心点から離れる方向において0.5メートル間隔に配置される点線マーカである。
 なお、基準点は、対象物としてのダンプトラック60の高さを考慮して算出されてもよい。具体的には、コントローラ30は、周囲監視装置によって、対象物としてのダンプトラック60の位置、形状(寸法)、又は、種類を検出してもよい。この検出結果から、コントローラ30は、ダンプトラック60の高さを検出し、ダンプトラック60の高さに位置する平面におけるショベル100の中心点を基準点として算出してもよい。この基準点から一定間隔毎に図形GP10~図形GP14が表示されてもよい。
 また、検出されたダンプトラック60の高さに基づいて、ダンプトラック60の荷台61の後端点を基準点として算出してもよい。このとき、ダンプトラック60の荷台61上の同一平面上において、基準点としての後端点から一定の距離毎に図形GP10~図形GP14が表示されてもよい。
 具体的には、図形GP10はダンプトラック60の荷台61の後端点から1.0メートルだけ離れた位置を表し、図形GP11は、ダンプトラック60の荷台61の後端点から2.0メートルだけ離れた位置を表し、図形GP12は、ダンプトラック60の荷台61の後端点から3.0メートルだけ離れた位置を表し、図形GP13は、ダンプトラック60の荷台61の後端点から4.0メートルだけ離れた位置を表し、図形GP14は、ダンプトラック60の荷台61の後端点から5.0メートルだけ離れた位置を表してもよい。すわなち、図形GP10~図形GP14は、基準点としてのダンプトラック60の荷台61の後端点から離れる方向において等間隔に配置される点線マーカとなる。
 また、コントローラ30は、周囲監視装置の検出結果に基づいて、ダンプトラック60の荷台61の幅及びダンプトラック60の荷台61の奥行きを検出してもよい。検出された荷台61の幅と検出された荷台61の奥行きに基づいて、図形GP10~図形GP14が表示される。このとき、検出された荷台61の幅と図形GP10~図形GP14の幅が一致するように表示される。このように、コントローラ30は、対象物としてのダンプトラック60の高さ、幅、及び奥行き等の情報と、ガイダンスとしての点線マーカとを対応付けることができる。このため、コントローラ30は、図形GP10~図形GP14をダンプトラック60の荷台61上の適切な位置に表示させることができる。なお、上述の例では、コントローラ30は、ダンプトラック60の高さのみに基づいて基準点を算出してもよく、ダンプトラック60の高さと幅に基づいて基準点を算出してもよい。
 また、図6Aに示す例では、図形GP10~図形GP14のうち、バケット6の爪先の位置をダンプトラック60の荷台61に投影した位置(爪先の鉛直下方にある位置)に最も近い図形である図形GP12は、半透明の点線マーカから半透明の実線マーカに切り換えられている。
 図6Aに示すような前画像VMを見たショベル100の操作者は、バケット6の爪先の鉛直下方にある位置が、ショベル100から所定の距離(図6Aに示す例では4.0メートル)だけ離れた位置の近くにあることを直感的に把握できる。また、操作者は、基準点をダンプトラック60の後端点とした場合、バケット6の爪先の鉛直下方にある位置が、ダンプトラック60の後端点から所定の距離だけ離れた位置の近くにあることを直感的に把握できる。
 なお、図6Aに示す画像は、キャビン10内に設置された表示装置40ではなく、遠隔操作を行う操作者が利用する、ショベル100の外部にある携帯端末等の支援装置に付属している表示装置に表示されてもよい。
 次に、図6Bを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスの更に別の一例について説明する。図6Bは、積み込み作業の際に表示装置40の画像表示領域41nに表示される画像の別の一例を示し、図6Aに対応している。具体的には、図6Bに示す画像は、図形GP10~図形GP14の代わりに、図形GP20~図形GP22が表示される点で、図6Aに示す画像と異なるが、その他の点で図6Aに示す画像と共通する。そのため、共通部分の説明を省略し、相違部分を詳説する。
 図形GP20は、バケット6の爪先の真下の位置を表す半透明の実線マーカである。図形GP21は、ショベル100の中心点から所定の第1距離だけ離れた位置を表す破線マーカである。図形GP22は、ショベル100の中心点から第1距離より大きい所定の第2距離だけ離れた位置を表す半透明の破線マーカである。図形GP21及び図形GP22は、現在のバケット6の位置からバケット6を開閉させたときのバケット6の位置に関する図形であってもよい。例えば、図形GP21は、現在のバケット6の位置からバケット6を最大限閉じたときのバケット6の爪先の真下の位置を表すマーカであってもよい。また、図形GP22は、現在のバケット6の位置からバケット6を最大限開いたときのバケット6の爪先の真下の位置を表すマーカであってもよい。図6Bに示す例では、図形GP20~図形GP22は何れも、ダンプトラック60の荷台61の全幅にわたって伸びるように表示されている。図形GP20と図形GP21との間の領域は、所定の半透明の色で塗り潰されてもよい。図形GP20と図形GP22との間の領域についても同様である。図形GP20と図形GP21との間の領域は、図形GP20と図形GP22との間の領域とは別の半透明の色で塗り潰されてもよい。
 なお、基準点は、対象物としてのダンプトラック60の高さを考慮して算出されてもよい。具体的には、コントローラ30は、周囲監視装置によって、対象物としてのダンプトラック60の位置、形状(寸法)、又は種類を検出してもよい。この検出結果から、コントローラ30は、ダンプトラック60の高さを検出し、ダンプトラック60の高さに位置する平面におけるショベル100の中心点を基準点として算出してもよい。この基準点から一定間隔毎に図形GP20~図形GP22が表示されてもよい。
 図6Bに示すような前画像VMを見たショベル100の操作者は、バケット6の爪先の鉛直下方にある位置が、ショベル100から第1距離だけ離れた位置と第2距離だけ離れた位置との間に位置することを直感的に把握できる。
 なお、図6Bに示す画像は、ショベル100のキャビン10内に設置された表示装置40ではなく、遠隔操作を行う操作者が利用する、ショベル100の外部にある携帯端末等の支援装置に付属している表示装置に表示されてもよい。
 次に、図6Cを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスの更に別の一例について説明する。図6Cは、積み込み作業の際のキャビン10内の様子を示す図である。具体的には、図6Cは、キャビン10のフロントガラスFGにAR画像が表示されている様子を示している。
 キャビン10内の操作者は、フロントガラスFGを通して、ブーム4、アーム5、バケット6、及びダンプトラック60を視認している。具体的には、キャビン10内の運転席に着座する操作者は、フロントガラスFGを通して、リヤゲート62Bと、左サイドゲート62Lと、右サイドゲート62Rと、フロントパネル63とで区切られたダンプトラック60の荷台61の真上にバケット6の爪先が位置している様子を視認している。また、操作者は、ダンプトラック60の荷台61の上にあたかも実在するかのように表示されるマーカ(AR画像)を視認している。
 図6Cに示すAR画像は、プロジェクタを利用してフロントガラスFGに投影されている。但し、図6Cに示すAR画像は、フロントガラスFGに貼り付けられた透過型の有機ELディスプレイ又は透過型の液晶ディスプレイ等の表示装置を利用して表示されてもよい。
 図6Cに示すAR画像は、主に、図形GP30~図形GP34を含む。図形GP30~図形GP34は、図6Aに示す図形GP10~図形GP14に対応している。具体的には、図形GP30は、ショベル100の中心点から3.0メートルだけ離れた位置を表し、図形GP31は、ショベル100の中心点から3.5メートルだけ離れた位置を表し、図形GP32は、ショベル100の中心点から4.0メートルだけ離れた位置を表し、図形GP33は、ショベル100の中心点から4.5メートルだけ離れた位置を表し、図形GP34は、ショベル100の中心点から5.0メートルだけ離れた位置を表している。すわなち、図形GP30~図形GP34は、基準点から離れる方向において等間隔に配置される点線マーカである。図6Cに示す例では、図形GP30~図形GP34は、ショベル100の中心点から離れる方向において0.5メートル間隔に配置される点線マーカである。
 なお、基準点は、対象物としてのダンプトラック60の高さを考慮して算出される。具体的には、コントローラ30は、周囲監視装置によって、対象物としてのダンプトラック60の位置、形状(寸法)、又は種類を検出してもよい。この検出結果から、コントローラ30は、ダンプトラック60の高さを検出し、ダンプトラック60の高さに位置する平面におけるショベル100の中心点を基準点として算出してもよい。この基準点から一定間隔毎に図形GP30~図形GP14が表示されてもよい。
 また、コントローラ30は、検出されたダンプトラック60の高さに基づいて、ダンプトラック60の荷台61の後端点を基準点として算出してもよい。このとき、ダンプトラック60の荷台61上の同一平面上において、基準点としての後端点から一定の距離毎に図形GP30~図形GP34が表示されてもよい。
 具体的には、図形GP30はダンプトラック60の荷台61の後端点から1.0メートルだけ離れた位置を表し、図形GP31は、ダンプトラック60の荷台61の後端点から2.0メートルだけ離れた位置を表し、図形GP32は、ダンプトラック60の荷台61の後端点から3.0メートルだけ離れた位置を表し、図形GP33は、ダンプトラック60の荷台61の後端点から4.0メートルだけ離れた位置を表し、図形GP34は、ダンプトラック60の荷台61の後端点から5.0メートルだけ離れた位置を表してもよい。すわなち、図形GP30~図形GP34は、基準点としてのダンプトラック60の荷台61の後端点から離れる方向において等間隔に配置される点線マーカとなる。
 また、コントローラ30は、周囲監視装置の検出結果に基づいて、ダンプトラック60の荷台61の幅及びダンプトラック60の荷台61の奥行きを検出してもよい。検出された荷台61の幅と検出された荷台61の奥行きに基づいて、図形GP30~図形GP34が表示される。このとき、検出された荷台61の幅と図形GP30~図形GP34の幅が一致するように表示される。このように、コントローラ30は、対象物としてのダンプトラック60の高さ、幅、及び奥行き等の情報と、ガイダンスとしての点線マーカとを対応付けることができる。このため、コントローラ30は、図形GP30~図形GP34をダンプトラック60の荷台61上の適切な位置に表示させることができる。なお、上述の例では、コントローラ30は、ダンプトラック60の高さのみに基づいて基準点を算出してもよく、ダンプトラック60の高さと幅に基づいて基準点を算出してもよい。
 また、図6Cに示す例では、図形GP30~図形GP34のうち、バケット6の爪先の鉛直下方にある位置に最も近い図形である図形GP32は、半透明の点線マーカから半透明の実線マーカに切り換えられている。
 図6Cに示すようなAR画像を見たショベル100の操作者は、図6Aに示すような前画像VMを見た場合と同様に、バケット6の爪先の鉛直下方にある位置が、ショベル100から所定の距離(図6Cに示す例では4.0メートル)だけ離れた位置の近くにあることを直感的に把握できる。また、操作者は、基準点をダンプトラック60の後端点とした場合、バケット6の爪先の鉛直下方にある位置が、ダンプトラック60の後端点から所定の距離だけ離れた位置の近くにあることを直感的に把握できる。
 次に、図6Dを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスの更に別の一例について説明する。図6Dは、積み込み作業の際のキャビン10内の様子を示す図であり、図6Cに対応している。
 図6Dに示すAR画像は、主に、図形GP40~図形GP42を含む。図形GP40~図形GP42は、図6Bに示す図形GP20~図形GP22に対応している。具体的には、図形GP40は、バケット6の爪先の真下の位置を表す半透明の実線マーカである。図形GP41は、ショベル100の中心点から所定の第1距離だけ離れた位置を表す半透明の破線マーカである。図形GP42は、ショベル100の中心点から第1距離より大きい所定の第2距離だけ離れた位置を表す半透明の破線マーカである。図形GP41及び図形GP42は、現在のバケット6の位置からバケット6を開閉させたときのバケット6の位置に関する図形であってもよい。例えば、図形GP41は、現在のバケット6の位置からバケット6を最大限閉じたときのバケット6の爪先の真下の位置を表すマーカであってもよい。また、図形GP42は、現在のバケット6の位置からバケット6を最大限開いたときのバケット6の爪先の真下の位置を表すマーカであってもよい。図形GP40と図形GP41との間の領域は、所定の半透明の色で塗り潰されてもよい。図形GP40と図形GP42との間の領域についても同様である。図形GP40と図形GP41との間の領域は、図形GP40と図形GP42との間の領域とは別の半透明の色で塗り潰されてもよい。
 なお、基準点は、対象物としてのダンプトラック60の高さを考慮して算出されてもよい。具体的には、コントローラ30は、周囲監視装置によって、対象物としてのダンプトラック60の位置、形状(寸法)、又は種類を検出してもよい。この検出結果から、コントローラ30は、ダンプトラック60の高さを検出し、ダンプトラック60の高さに位置する平面におけるショベル100の中心点を基準点として算出してもよい。この基準点から一定間隔毎に図形GP40~図形GP42が表示されてもよい。
 図6Dに示すようなAR画像を見たショベル100の操作者は、図6Bに示すような前画像VMを見た場合と同様に、バケット6の爪先の位置をダンプトラック60の荷台61に投影した位置が、ショベル100から第1距離だけ離れた位置と第2距離だけ離れた位置との間に位置することを直感的に把握できる。また、操作者は、基準点をダンプトラック60の後端点とした場合、バケット6の爪先の位置をダンプトラック60の荷台61に投影した位置が、ダンプトラック60の後端点から第1距離だけ離れた位置と第2距離だけ離れた位置との間に位置することを直感的に把握できる。
 次に、図6Eを参照し、積み込み作業の際に周囲監視装置によって対象物として検出されたダンプトラックに対するガイダンスの更に別の一例について説明する。図6Eは、図6A、図6B、図6C、又は図6Dに示すAR画像の別の一例を示す。
 図6Eに示すAR画像は、バケット6を最大限開いたときの爪先の真下の位置を表す図形GP51を含む点で、図6A~図6Dのそれぞれに示すAR画像と異なる。
 具体的には、図6Eに示すAR画像は、図形GP50及び図形GP51を含む。図形GP50は、バケット6の爪先の真下の位置を表す半透明の実線マーカである。図形GP51は、現在のバケット6の位置からバケット6を開いたときのバケット6の位置に関する図形である。具体的には、図形GP51は、バケット6を最大限開いたときの爪先の真下の位置を表す半透明の破線マーカである。図6Eに示すAR画像は、バケット6を最大限閉じたときの爪先の真下の位置を表すマーカ等の図形を含んでいてもよい。
 図6Eに示すようなAR画像を見たショベル100の操作者は、バケット6の爪先の位置を鉛直下方のダンプトラック60の荷台61に投影した位置と、バケット6を最大限開いたときのバケット6の爪先の位置を鉛直下方のダンプトラック60の荷台61に投影した位置とを同時に且つ直感的に把握できる。そのため、操作者は、例えば、バケット6内に取り込まれている土砂等の被掘削物を排土するためにバケット6を開いても、バケット6をダンプトラック60のフロントパネル63に接触させるおそれがないか否かを容易に確認できる。
 次に、図7を参照し、イラスト画像AMの更に別の一例について説明する。図7は、クレーン作業の際に表示装置40の画像表示領域41nに表示されるクレーン作業に関するガイダンスとしてのイラスト画像AMの一例を示す。クレーン作業は、ショベル100が吊り荷を吊り上げて移動させる作業である。吊り荷は、例えば、土管又はヒューム管等の導水管である。
 図7に示す例では、イラスト画像AMは、画像提示部30Bが提示する、ショベル100によって吊り上げられた導水管と、地面に形成された掘削溝の中に既に設置されている導水管(以下、「既設導水管」とする。)との位置関係を表す前方画像の一例である。図7に示す例では、イラスト画像AMは、図形G1~G3、図形G70~図形G74、及び図形G80~図形G82を含む。
 図形G1は、左側方から見たブーム4の上側部分を表す図形である。図7に示す例では、図形G1は、アームフートピンが取り付けられる部分等を含むブーム4の上側部分を表す図形であり、アームシリンダ8を表す図形を含む。すなわち、図形G1は、ブームフートピンが取り付けられる部分、及び、ブームシリンダ7の先端が取り付けられる部分等を含むブーム4の下側部分を表す図形を含んでいない。また、図形G1は、ブームシリンダ7を表す図形を含んでいない。クレーン作業を支援する際に操作者に提示する必要性が低い部分であるブーム4の下側部分を表す図形の表示を省略して図形G1を簡略化することで、クレーン作業を支援する際に操作者に提示する必要性が高い部分であるブーム4の上側部分を表す図形の視認性を高めるためである。図形G1は、アームシリンダ8を表す図形を含んでいなくてもよい。すなわち、アームシリンダ8を表す図形は省略されてもよい。
 図形G1は、実際のブーム4の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、ブーム角度センサS1が検出するブーム角度θ1の変化に応じて図形G1の位置及び姿勢を変化させる。
 図形G2は、左側方から見たアーム5を表す図形である。図7に示す例では、図形G2は、アーム5の全体を表す図形であり、バケットシリンダ9を表す図形を含む。但し、図形G2は、バケットシリンダ9を表す図形を含んでいなくてもよい。すなわち、バケットシリンダ9を表す図形は省略されてもよい。
 図形G2は、実際のアーム5の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、ブーム角度センサS1が検出するブーム角度θ1の変化、及び、アーム角度センサS2が検出するアーム角度θ2の変化に応じて図形G2の位置及び姿勢を変化させる。
 図形G3は、左側方から見たバケット6を表す図形である。図7に示す例では、図形G3は、バケット6の全体を表す図形であり、バケットリンクを表す図形を含む。但し、図形G3は、バケットリンクを表す図形を含んでいなくてもよい。すなわち、バケットリンクを表す図形は省略されてもよい。
 図形G3は、実際のバケット6の動きに合わせて動くように表示される。具体的には、コントローラ30は、例えば、ブーム角度センサS1が検出するブーム角度θ1の変化、アーム角度センサS2が検出するアーム角度θ2の変化、及びバケット角度センサS3が検出するバケット角度θ3の変化に応じて図形G3の位置及び姿勢を変化させる。
 このように、イラスト画像AMは、アタッチメントの付け根部分(近位部分)を除いた部分である、アタッチメントの遠位部分の図形を含むように生成される。アタッチメントの近位部分は、アタッチメントのうち上部旋回体3に近い部分を意味し、例えばブーム4の下側部分を含む。アタッチメントの遠位部分は、アタッチメントのうち上部旋回体3から遠い部分を意味し、例えばブーム4の上側部分、アーム5、及びバケット6を含む。クレーン作業を支援する際に操作者に提示する必要性が低い部分であるアタッチメントの近位部分を表す図形の表示を省略してイラスト画像AMを簡略化することで、クレーン作業を支援する際に操作者に提示する必要性が高い部分であるアタッチメントの遠位部分を表す図形の視認性を高めるためである。
 図形G70は、左側方から見たフックを表す。図7に示す例では、図形G70は、バケットリンクのところに収納可能に取り付けられたフックを表す。
 図形G71は、吊り荷に取り付けられる吊り紐を表す。図7に示す例では、図形G71は、吊り荷としての導水管に巻き付けられた吊り紐を表す。なお、吊り紐は、ワイヤであってもよい。
 図形G72は、吊り荷を表す。図7に示す例では、図形G72は、ショベル100によって吊り上げられている吊り荷としての導水管を表す。図形G72の位置、大きさ、及び形状等は、導水管の位置及び姿勢等の変化に応じて変化する。導水管の位置及び姿勢等は、物体検知装置70及び撮像装置80の少なくとも一方の出力に基づいて算出される。
 図形G73は、掘削溝を表す。図7に示す例では、図形G73は、ショベル100による掘削によって形成された掘削溝の断面を表す。図形G73の位置、大きさ、及び形状等は、掘削溝の位置及び深さ等の変化に応じて変化する。掘削溝の位置及び深さ等は、物体検知装置70及び撮像装置80の少なくとも一方の出力に基づいて算出される。
 図形G74は、掘削溝内に設置された物を表す。図7に示す例では、図形G74は、掘削溝内に既に設置された既設導水管を表す。図形G74の位置、大きさ、及び形状等は、既設導水管の位置及び姿勢等の変化に応じて変化する。既設導水管の位置及び姿勢等は、物体検知装置70及び撮像装置80の少なくとも一方の出力に基づいて算出される。
 図形G80は、ショベル100によって吊り上げられている吊り荷の遠位端の位置を表す。図7に示す例では、図形G80は、鉛直方向に延びる破線であり、ショベル100によって吊り上げられている導水管の遠位端の位置を表す。
 図形G81は、ショベル100によって吊り上げられている吊り荷の近位端の位置を表す。図7に示す例では、図形G81は、鉛直方向に延びる破線であり、ショベル100によって吊り上げられている導水管の近位端の位置を表す。
 図形G82は、吊り荷を地面に降ろしたときの吊り荷の遠位端の位置である吊り荷の目標位置を表す。図7に示す例では、図形G82は、鉛直方向に延びる一点鎖線であり、ショベル100によって吊り上げられている導水管の遠位端の目標位置を表す。導水管の遠位端の目標位置は、掘削溝内に既に設置されている隣接する既設導水管の近位端の位置より所定距離だけ手前の位置(所定距離だけショベル100に近い位置)に設定されている。掘削溝の底面に降ろされた導水管は、その後に底面上を引き摺られ、その遠位端が既設導水管の近位端に差し込まれて設導水管に接続されるためである。
 図形G83は、吊り荷の遠位端の目標位置と現在位置との間の距離を表す。図7に示す例では、図形G83は、両矢印であり、導水管の遠位端の目標位置と現在位置との間の距離を表す。図形G80~図形G83は、イラスト画像AMの明瞭化のために省略されてもよい。
 図7に示すようなイラスト画像AMを見たショベル100の操作者は、図形G72で表される空中の導水管の遠位端と、図形G74で表される既設導水管の近位端との間の水平距離の大きさを直感的に把握できる。そのため、ショベル100は、操作者が操作を誤って空中の導水管と既設導水管とを接触させてしまうのを防止できる。また、ショベル100の操作者は、図形G72で表される空中の導水管の近位端と、図形G73で表される掘削溝の近位端との間の水平距離の大きさを直感的に把握できる。また、ショベル100の操作者は、図形G72で表される空中の導水管の下端と、図形G73で表される掘削溝の底面との間の垂直距離の大きさを直感的に把握できる。
 なお、図7に示す例では、イラスト画像AMは、掘削アタッチメントAT及び導水管を左側方から見たときの状態を表しているが、掘削アタッチメントAT及び導水管を右側方から見たときの状態を表していてもよく、掘削アタッチメントAT及び導水管を上方から見たときの状態を表していてもよい。また、左側方から見たときの状態、右側方から見たときの状態、及び上方から見たときの状態の少なくとも2つは、同時に表示されてもよく、切り換え可能に表示されてもよい。
 また、図7に示す例では、コントローラ30は、吊り荷の遠位端の目標位置として図形G82を表示しているが、吊り荷の近位端の目標位置を示す図形を表示してもよい。例えば、コントローラ30は、予め設定された吊り荷の長さ、又は物体検知装置70及び撮像装置80の少なくとも一方によって測定された吊り荷の長さと、吊り荷の遠位端の目標位置とに基づいて吊り荷の近位端の目標位置を表示してもよい。
 次に、図8を参照し、クレーン作業の際に表示されるガイダンスの一例について説明する。図8は、クレーン作業の際に表示装置40の画像表示領域41nの第1画像表示領域41n1に表示される画像の一例を示す。
 図8に示す画像は、主に、前カメラ80Fが撮像した前画像VMと、前画像VMの上に重畳表示されるAR画像としての図形GP60及び図形GP61とを含む。
 図8に示す前画像VMは、ショベル100の前方に位置する掘削溝の画像を含む。具体的には、前画像VMは、画像V11~V14を含む。画像V11は、掘削溝の画像である。画像V12及び画像V13は、掘削溝に既に設置されている既設導水管の画像である。画像V14は、ショベル100によって吊り上げられている導水管の画像である。
 図形GP60は、ショベル100によって吊り上げられている吊り荷の遠位端の目標位置を表すマーカである。図形GP61は、ショベル100によって吊り上げられている吊り荷の外形を地面に投影したときの投影形状を表すマーカである。
 図8に示す例では、図形GP60は、半透明の一点鎖線マーカであり、ショベル100によって吊り上げられている導水管の遠位端の目標位置を表し、掘削溝の全幅にわたって伸びるように表示されている。図形GP61は、半透明の破線マーカであり、ショベル100によって吊り上げられている導水管の外形を掘削溝の底面に投影したときの投影形状を表している。なお、図形GP60及び図形GP61の少なくとも一方は、半透明の実線マーカであってもよい。
 また、吊り荷が下降して掘削溝の底面に近づくと、掘削溝の底面又は既設導水管等の地物の画像は、吊り荷の画像の陰に隠れて見えなくなってしまう。そのため、コントローラ30は、画像処理により前方画像から吊り荷の画像を除去した画像を生成し、生成した画像に図形GP60及び図形GP61等のマーカを重畳表示させてもよい。
 また、図8に示す例では、コントローラ30は、ショベル100によって吊り上げられている吊り荷の遠位端の目標位置を表すマーカとして図形GP60を表示しているが、吊り荷の近位端の目標位置を表すマーカとしての図形を表示してもよい。例えば、コントローラ30は、予め設定された吊り荷の長さ、又は物体検知装置70及び撮像装置80の少なくとも一方によって測定された吊り荷の長さと、吊り荷の遠位端の目標位置とに基づいて吊り荷の近位端の目標位置を表すマーカを表示してもよい。
 図8に示すような前画像VMを見たショベル100の操作者は、ショベル100によって吊り上げられている導水管と既設導水管との間の位置関係を直感的に把握できる。そのため、ショベル100は、操作者が操作を誤って空中の導水管と既設導水管とを接触させてしまうのを防止できる。また、操作者は、ショベル100によって吊り上げられている導水管が掘削溝の真上にあり、その遠位端の現在位置と目標位置との間の水平距離がゼロではないことを直感的に把握できる。すなわち、操作者は、空中にある導水管の遠位端を更に遠方に移動させる必要があること(既に掘削溝内に設置されている既設導水管に更に近づける必要があること)を直感的に把握できる。
 なお、図8に示す画像は、ショベル100のキャビン10内に設置された表示装置40ではなく、遠隔操作を行う操作者が利用する、ショベル100の外部にある携帯端末等の支援装置に付属している表示装置に表示されてもよい。或いは、画像提示部30Bは、プロジェクションマッピング技術を利用して図形GP60及び図形GP61のそれぞれを掘削溝の底面に表示させてもよい。
 また、図7に示す画像と図8に示す画像とは切り換え可能に表示されてもよい。例えば、コントローラ30は、所定のボタン操作が行われた場合に画像を切り換えてもよく、所定時間が経過する度に画像を切り換えてもよい。
 次に、図9を参照し、クレーン作業の際に表示されるガイダンスの別の一例について説明する。図9は、クレーン作業の際に表示装置40の画像表示領域41nの第1画像表示領域41n1に表示される画像の別の一例を示す。図9は、明瞭化のため、掘削アタッチメントATの画像、及び、掘削アタッチメントATによって吊り上げられている吊り荷(U字溝)の画像の図示を省略している。
 図9に示す画像は、主に、前カメラ80Fが撮像した前画像VMと、前画像VMの上に重畳表示されるAR画像としての図形GP70及び図形GP71とを含む。なお、前画像VMは、コントローラ30に予め入力された設計データに基づいて生成される三次元コンピュータグラフィクスであってもよい。
 図9に示す前画像VMは、ショベル100の前方に位置する掘削溝の画像を含む。具体的には、前画像VMは、画像V21~V24を含む。画像V21は、コンクリート製のU字溝が設置される掘削溝の画像である。画像V22は、掘削溝に既に設置されているU字溝(以下、「既設U字溝」とする。)の画像である。画像V23は、電柱の画像である。画像V24は、ガードレールの画像である。
 図形GP70は、既設U字溝の形状を表す半透明の破線マーカである。図形GP71は、ショベル100によって吊り上げられているU字溝の外形を地面に投影したときの投影形状を表す半透明の破線マーカである。
 なお、図9に示す画像は、前カメラ80Fが撮像した画像を用いているが、撮像装置80が撮像した画像に基づいて生成された俯瞰画像を用いてもよい。
 また、コントローラ30は、吊り荷の遠位端の目標位置としての図形、又は吊り荷の近位端の目標位置としての図形を前画像VMの上に重畳表示してもよい。
 図9に示すような前画像VMを見たショベル100の操作者は、ショベル100によって吊り上げられているU字溝と既設U字溝との位置関係を直感的に把握できる。そのため、操作者は、現在吊り上げられているU字溝を、既設U字溝に近接する位置まで移動させて適切に掘削溝内に降ろすことができる。すなわち、ショベル100は、操作者が操作を誤って空中のU字溝と既設U字溝とを接触させてしまうのを防止できる。
 なお、図7-図9の例においては、コントローラ30は、周囲監視装置によって、クレーン作業によって設置された設置物の位置、形状(寸法)、又は種類を検出し、この検出結果に基づいてガイダンス表示をしてもよい。具体的には、コントローラ30は、周囲監視装置によって、設置物の形状及び設置物の周辺の溝の形状を取得し、設置物と溝とを識別する。そして、設置物が設置される平面上における設置物の位置を基準点として算出する。このとき、吊り荷を設置したい平面上において、基準点から一定の距離に図形G82、GP60、及びGP70が表示されてもよい。
 また、コントローラ30は、アタッチメントによって持ち上げられた物の位置、形状(寸法)、又は種類を検出し、その検出結果に基づいてガイダンス表示をしてもよい。例えば、図8の例を基に説明すると、周囲監視装置によって、アタッチメントによって持ち上げられた土管(吊り荷)とクレーン作業によって設置された設置物としての土管が検出される。このとき、吊り荷及び設置物の位置、形状、及び種類が検出され、この検出結果に基づいて、GP60及びGP61等のガイダンス表示が行われる。例えば、GP60は、設置物の幅に基づいて表示される。また、GP61は、吊り荷の幅と長さに基づいて表示される。形状又は種類(寸法、位置)に基づいて検出されてもよい。
 また、上述の例においては、積み込み作業又はクレーン作業におけるガイダンスの例を説明したが、ガイダンスは、掘削作業又は転圧作業に適用されてもよい。例えば、掘削作業の場合、コントローラ30は、周囲監視装置によって対象物(例えば、壁面、樹木、パイロン、丁張り、溝、又は地面の変化等)から所定の距離だけ離間した地表面上の任意の位置を基準点としての掘削開始位置として取得し、この基準点から所定の距離毎のラインを表示してもよい。また、例えば、転圧作業の場合、コントローラ30は、周囲監視装置の出力情報又はアタッチメントの姿勢情報から、対象物(例えば、壁面、樹木、パイロン、丁張り、又は地面の変化等)から所定の距離だけ離間した地表面上の任意の位置を基準点としての目標転圧領域として取得し、この基準点から所定の距離毎のラインを表示してもよい。このとき、基準点から旋回半径方向への距離が分かる態様でガイダンスが行われる。そして、現在のアタッチメントの位置が、表示されたラインに対してどの程度離れた位置に位置しているのかが表示される。このように、コントローラ30は、作業現場に存在する物体又は地面形状が変化する部分を対象物として検知し、検知した対象物に基づいてガイダンスを表示する。このため、ショベル100の操作者は、掘削作業又は転圧作業においても、掘削開始位置又は目標転圧領域までの距離を直感的に把握することができる。
 上述のように、本発明の実施形態に係る作業機械の一例であるショベル100は、下部走行体1と、下部走行体1に旋回可能に搭載される上部旋回体3と、上部旋回体3に取り付けられるアタッチメントとしての掘削アタッチメントATと、周囲監視装置と、表示装置40と、を有する。そして、表示装置40は、前記周囲監視装置によって検出された対象物に対するガイダンスを表示するように構成されている。前記周囲監視装置によって検出される対象物は、例えば、図4Aに示すようなダンプトラック60、図7に示すように掘削溝内に設置された既設導水管、又は、図9に示すように掘削溝内に設置されたU字溝等である。また、前記周囲監視装置によって検出される対象物は、吊り荷としての土管若しくはヒューム管等の導水管、U字溝、又は掘削によってバケット内部に取り込まれた土砂等であってもよい。更に、表示装置40は、その対象物の高さに対応したガイダンスを表示するように構成されていてもよい。また、表示装置40は、その対象物に対する旋回半径方向のガイダンスを表示するように構成されていてもよい。この構成により、ショベル100は、操作者によるショベル100の操作をより効果的に支援できる。ショベル100は、例えば、操作者がバケット6をダンプトラック60の荷台61に接触させてしまうリスクを低減させることができる。キャビン10内からフロントガラスFGを通して見える、荷台61の前後方向におけるバケット6とフロントパネル63との間の距離の把握し難さを緩和できるためである。また、ショベル100は、積み込み作業の際のバケット6とダンプトラック60の荷台61との相対的な位置関係を操作者が容易に監視できるようにすることで、慎重な操作を長時間にわたって継続することに起因する操作者の疲労を軽減できる。また、同様の理由により、ショベル100は、ダンプトラック60の荷台61の中央で被掘削物の排土が行われる場合に比べ、フロントパネル63の近くで被掘削物の排土が行われる場合に作業効率が低下してしまうのを抑制できる。或いは、ショベル100は、例えば、操作者が吊り荷を既設物に接触させてしまうリスクを低減させることができる。キャビン10内からフロントガラスFGを通して見える吊り荷と既設物との間の距離の把握し難さを緩和できるためである。また、ショベル100は、クレーン作業の際の吊り荷と既設物との相対的な位置関係を操作者が容易に監視できるようにすることで、慎重な操作を長時間にわたって継続することに起因する操作者の疲労を軽減できる。なお、吊り荷は、例えば、土管若しくはヒューム管等の導水管、又は、U字溝等である。また、既設物は、例えば、掘削溝内に既に設置されている既設導水管又は既設U字溝等である。
 前方画像は、例えば、アタッチメントの動きに応じて表示位置が変化するマーカを含む画像であってもよく、アタッチメントが動いたとしても表示位置が変化しないマーカを含む画像であってもよい。具体的には、アタッチメントの動きに応じて表示位置が変化するマーカは、例えば、図6Bにおける図形GP20~図形GP22である。また、アタッチメントが動いたとしても表示位置が変化しないマーカは、例えば、図6Aにおける図形GP10~図形GP14である。
 また、前方画像は、例えば、アタッチメントにおける所定部位の水平位置の変化に応じて表示位置が変化するが、その所定部位の垂直位置の変化に応じては表示位置が変化しないマーカを含んでいてもよい。具体的には、アタッチメントにおける所定部位の水平位置の変化に応じて表示位置が変化するが、その所定部位の垂直位置の変化に応じては表示位置が変化しないマーカは、例えば、図6Bにおける図形GP20~図形GP22である。
 また、前方画像は、例えば、上部旋回体3の前方に位置する物とアタッチメント又はアタッチメントによって持ち上げられている物との相対的な位置関係の段階的な変化を操作者が認識できるように構成された画像であってもよい。具体的には、前方画像は、図5Bに示すように、実際の掘削アタッチメントATの動きに応じて色、輝度、及び濃淡等の少なくとも1つが変化するように表示される、掘削アタッチメントATの先端側部分を表す図形G51~G54を含んでいてもよい。図形G51~図形G54は、典型的には、所定の間隔を空けて配置される。この場合、前方画像は、操作者が変化の段階数を認識できるように構成されていてもよい。図5Bは、段階数が4段階であることを表している。また、図5Bに示す例では、図形G51~G54のそれぞれの輪郭は、イラスト画像AM上に常に表示されているが、掘削アタッチメントATの動きに応じて表示・非表示が切り換えられてもよい。
 また、前方画像は、図5Aに示すように、アームフートピンが取り付けられる部分等を含むブーム4の上側部分を表す図形G1を含んでいてもよい。そして、図形G1は、アームシリンダ8を表す図形を含んでいてもよく、アームシリンダ8を表す図形を含んでいなくてもよい。一方で、図形G1は、ブームフートピンが取り付けられる部分、及び、ブームシリンダ7の先端が取り付けられる部分等を含むブーム4の下側部分を表す図形を含んでいない。また、図形G1は、ブームシリンダ7を表す図形を含んでいない。積み込み作業又はクレーン作業等を支援する際に操作者に提示する必要性が低い部分であるブーム4の下側部分を表す図形の表示を省略して図形G1を簡略化することで、積み込み作業又はクレーン作業等を支援する際に操作者に提示する必要性が高い部分であるブーム4の上側部分を表す図形の視認性を高めるためである。このように、前方画像は、アタッチメントの上側部分の画像を含む一方で、アタッチメントの下側部分の画像を含まないように構成されていてもよい。
 表示装置40は、典型的には、作業機械の周辺に位置する物と掘削アタッチメントAT又は掘削アタッチメントATによって持ち上げられている物との旋回半径方向に関する相対的な位置関係を表す図形を表示するように構成されている。
 作業機械の周辺に位置する物は、例えば、作業機械としてのショベル100によって設置された設置物である。設置物は、例えば、土管若しくはヒューム管等の導水管、又は、U字溝等である。また、設置物は、掘削によって形成された盛り土であってもよい。この場合、図形は、設置物に関する位置と掘削アタッチメントATによって持ち上げられている物との旋回半径方向に関する相対的な位置関係を表すように構成されていてもよい。
 ダンプトラック60と掘削アタッチメントATとの相対的な位置関係を表す図形は、例えば、図5Aに示す図形G1~図形G4、図5Bに示す図形G5及びG6、図5Cに示す図形G3A、図6Aに示す図形GP10~図形GP14、図6Bに示す図形GP20~図形GP22、図6Cに示す図形GP30~図形GP34、図6Dに示す図形GP40~図形GP42、又は、図6Eに示す図形GP50及び図形GP51等である。或いは、既設物と掘削アタッチメントATによって持ち上げられている物との相対的な位置関係を表す図形は、例えば、図7に示す図形G1~G3、図形G70~図形G74、及び図形G80~図形G83、図8に示す図形GP60及び図形GP61、又は、図9に示す図形GP70及び図形GP71等である。この構成により、表示装置40に表示された図形を見たショベル100の操作者は、上部旋回体3の前方に位置する物と掘削アタッチメントAT又は掘削アタッチメントATによって持ち上げられている物との相対的な位置関係を直感的に把握できる。
 ダンプトラック60と掘削アタッチメントATとの相対的な位置関係を表す図形は、バケット6の現在の状態、及び、バケット6を開いたときのバケット6の状態のそれぞれに対応するように表示されてもよい。例えば、図5Cに示す図形G3は、バケット6の現在の状態に対応し、図形G3Aは、バケット6を開いたときのバケット6の状態に対応するように表示されている。この構成により、表示装置40に表示された図形を見たショベル100の操作者は、例えば、バケット6を開く前に、バケット6を開いたときのバケット6とダンプトラック60との相対的な位置関係を直感的に把握できる。
 ショベル100は、掘削アタッチメントATの動きを制限する制御装置としてのコントローラ30を有していてもよい。そして、コントローラ30は、例えば、上部旋回体3の前方に位置する物と掘削アタッチメントAT又は掘削アタッチメントATによって持ち上げられている物とが接触するおそれがあると判定した場合、掘削アタッチメントATの動きを停止させるように構成されていてもよい。この構成により、コントローラ30は、ダンプトラック60と掘削アタッチメントATとの接触を効果的に防止できる。
 以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。
 例えば、ショベル100は、図5A、図5B、又は図5Cに示すイラスト画像AMと、図6A、図6B、図6C、図6D、又は図6Eに示すAR画像とを同時に表示させてもよい。或いは、ショベル100は、図5A、図5B、及び図5Cのそれぞれに示すイラスト画像AMの少なくとも2つを択一的に切り換えて表示させてもよく、図6A、図6B、及び図6Eのそれぞれに示すAR画像を択一的に切り換えて表示させてもよく、図6C、図6D、及び図6Eのそれぞれに示すAR画像を択一的に切り換えて表示させてもよい。同様に、ショベル100は、図7に示すイラスト画像AMと、図8に示すAR画像とを同時に表示させてもよい。或いは、ショベル100は、図7に示すイラスト画像AMと、図8に示すAR画像とを択一的に切り換えて表示させてもよい。
 また、ショベル100が取得する情報は、図10に示すようなショベルの管理システムSYSを通じ、関係者と共有されてもよい。関係者は、例えば、ショベル100の操作者、施工現場にいる作業者、他のショベルの操作者、又はショベル100の管理者等である。図10は、ショベル100の管理システムSYSの構成例を示す概略図である。管理システムSYSは、1台又は複数台のショベル100を管理するシステムである。本実施形態では、管理システムSYSは、主に、ショベル100、支援装置200、及び管理装置300で構成されている。管理システムSYSを構成するショベル100、支援装置200、及び管理装置300のそれぞれは、1台であってもよく、複数台であってもよい。図10に示す例では、管理システムSYSは、1台のショベル100と、1台の支援装置200と、1台の管理装置300とを含む。
 支援装置200は、所定の通信回線を通じて、管理装置300と通信可能に接続される。また、支援装置200は、所定の通信回線を通じて、ショベル100と通信可能に接続されてもよい。所定の通信回線には、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、Bluetooth(登録商標)やWi-Fi等の通信規格による近距離無線通信網等が含まれてよい。支援装置200は、例えば、ショベル100のオペレータ若しくはオーナ等、作業現場の作業者若しくは監督者等、又は、管理装置300の管理者若しくは作業者等のユーザ(以下、「支援装置ユーザ」とする。)が利用するユーザ端末である。支援装置200は、例えば、ラップトップ型のコンピュータ端末、タブレット端末、又はスマートフォン等の携帯端末である。また、支援装置200は、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
 管理装置300は、所定の通信回線を通じて、ショベル100又は支援装置200と通信可能に接続される。管理装置300は、例えば、作業現場の外部の管理センタ等に設置されるクラウドサーバである。また、管理装置300は、例えば、作業現場内の仮設事務所等又は作業現場に相対的に近い通信施設(例えば、基地局又は局舎等)に設置されるエッジサーバであってもよい。また、管理装置300は、例えば、作業現場内で使用される端末装置であってもよい。端末装置は、例えば、ラップトップ型のコンピュータ端末、タブレット端末、又はスマートフォン等の携帯端末であってもよいし、例えば、デスクトップ型のコンピュータ端末等の定置型の端末装置であってもよい。
 支援装置200及び管理装置300の少なくとも一方は、モニタと遠隔操作用の操作装置とを備えていてもよい。この場合、操作者は、遠隔操作用の操作装置を用いてショベル100を操作してもよい。遠隔操作用の操作装置は、例えば、無線LAN等の無線通信ネットワークを通じ、コントローラ30に接続される。以下では、ショベル100と支援装置200との間での情報のやり取りについて説明するが、以下の説明は、ショベル100と管理装置300との間での情報のやり取りについても同様に適用される。
 また、キャビン10の表示装置40に表示されうる内容(例えば、ショベル100の周囲の様子を表す画像情報、各種の設定画面、前画像VM、イラスト画像AM、又はAR画像に相当する画面等)と同様の情報画像が、支援装置200又は管理装置300の表示装置で表示されてもよい。ショベル100の周囲の様子を表す画像情報は、撮像装置80の撮像画像等に基づき生成されてよい。これにより、支援装置ユーザ又は管理装置ユーザは、ショベル100の周囲の様子を確認しながら、ショベル100の遠隔操作を行ったり、ショベル100に関する各種の設定を行ったりすることができる。
 上述のようなショベル100の管理システムSYSでは、ショベル100のコントローラ30は、画像提示部30Bが生成した前方画像としてのイラスト画像AM又はAR画像等を支援装置200に送信してもよい。その際、コントローラ30は、例えば、周囲監視装置(空間認識装置)としての撮像装置80が撮像した画像等を支援装置200に送信してもよい。更に、コントローラ30は、ショベル100の作業内容に関するデータ、ショベル100の姿勢に関するデータ、及び掘削アタッチメントの姿勢に関するデータ等の少なくとも1つに関する情報を支援装置200に送信してもよい。支援装置200を利用する関係者が、作業現場に関する情報を入手できるようにするためである。ショベル100の作業内容に関するデータは、例えば、排土動作が行われた回数である積み込み回数、ダンプトラック60の荷台61に積み込んだ土砂等の被掘削物に関する情報、積み込み作業に関するダンプトラック60の種類、積み込み作業が行われたときのショベル100の位置に関する情報、作業環境に関する情報、及び、積み込み作業が行われているときのショベル100の動作に関する情報等の少なくとも1つである。被掘削物に関する情報は、例えば、各回の掘削動作で掘削された被掘削物の重量及び種類等、ダンプトラック60に積み込まれた被掘削物の重量及び種類等、及び、1日の積み込み作業で積み込まれた被掘削物の重量及び種類等の少なくとも1つである。作業環境に関する情報は、例えば、ショベル100の周囲にある地面の傾斜に関する情報、又は、作業現場の周辺の天気に関する情報等である。ショベル100の動作に関する情報は、例えば、操作圧センサ29の出力、及び、シリンダ圧センサの出力等の少なくとも1つである。
 なお、コントローラ30が有する機能要素である位置取得部30A、画像提示部30B、及び操作支援部30Cの少なくとも1つは、支援装置200における制御装置が有する機能要素として実現されてもよい。
 このように、本発明の実施形態に係る支援装置200は、下部走行体1と、下部走行体1に旋回可能に搭載される上部旋回体3と、上部旋回体3に取り付けられる掘削アタッチメントATと、を有するショベル100による作業を支援するように構成されている。そして、支援装置200は、上部旋回体3の前方に位置するダンプトラック60と掘削アタッチメントATとの相対的な位置関係を表す前方画像を表示する表示装置を有している。この構成により、支援装置200は、上部旋回体3の前方の領域に関する情報を関係者に提示できる。
 ショベル100の遠隔操作が行われる場合、支援装置200の表示装置に表示された画像を通じて操作者が視認できる、荷台61の前後方向におけるバケット6とフロントパネル63との間の距離は、キャビン10のフロントガラスFGを通して視認する場合に比べ更に把握し難くなるが、支援装置200は、上述のような前方画像を表示することで、キャビン10での操作の場合と同様に、操作者によるショベル100の操作を効果的に支援できる。
 また、上述の実施形態では、油圧式パイロット回路を備えた油圧式操作システムが開示されている。例えば、ブーム操作レバー26Aに関する油圧式パイロット回路では、パイロットポンプ15からブーム操作レバー26Aへ供給される作動油が、ブーム操作レバー26Aの開き方向への傾倒によって動かされる遠隔制御弁の開度に応じた圧力で、制御弁154のパイロットポートへ供給される。或いは、バケット操作レバー26Bに関する油圧式パイロット回路では、パイロットポンプ15からバケット操作レバー26Bへ供給される作動油が、バケット操作レバー26Bの開き方向への傾倒によって動かされる遠隔制御弁の開度に応じた圧力で、制御弁158のパイロットポートへ供給される。
 但し、このような油圧式パイロット回路を備えた油圧式操作システムではなく、電気式パイロット回路を備えた電気式操作システムが採用されてもよい。この場合、電気式操作システムにおける電気式操作レバーのレバー操作量は、例えば、電気信号としてコントローラ30へ入力される。また、パイロットポンプ15と各制御弁のパイロットポートとの間には電磁弁が配置される。電磁弁は、コントローラ30からの電気信号に応じて動作するように構成される。この構成により、電気式操作レバーを用いた手動操作が行われると、コントローラ30は、レバー操作量に対応する電気信号によって電磁弁を制御してパイロット圧を増減させることで各制御弁を移動させることができる。なお、各制御弁は電磁スプール弁で構成されていてもよい。この場合、電磁スプール弁は、電気式操作レバーのレバー操作量に対応するコントローラ30からの電気信号に応じて電磁的に動作する。
 電気式操作レバーを備えた電気式操作システムが採用された場合、コントローラ30は、油圧式操作レバーを備えた油圧式操作システムが採用される場合に比べ、マシンガイダンス機能及びマシンコントロール機能等を容易に実行できる。図11は、電気式操作システムの構成例を示す。具体的には、図11の電気式操作システムは、ブーム4を上下させるためのブーム操作システムの一例であり、主に、パイロット圧作動型のコントロールバルブユニット17と、電気式操作レバーとしてのブーム操作レバー26Aと、コントローラ30と、ブーム上げ操作用の電磁弁65と、ブーム下げ操作用の電磁弁66とで構成されている。図11の電気式操作システムは、下部走行体1を走行させるための走行操作システム、上部旋回体3を旋回させるための旋回操作システム、アーム5を開閉させるためのアーム操作システム、及び、バケット6を開閉させるためのバケット操作システム等にも同様に適用され得る。
 パイロット圧作動型のコントロールバルブユニット17は、図2に示すように、走行直進弁としての制御弁150、左走行用油圧モータ2MLに関する制御弁151、右走行用油圧モータ2MRに関する制御弁152、ブームシリンダ7に関する制御弁153及び制御弁154、アームシリンダ8に関する制御弁155及び制御弁156、旋回用油圧モータ2Aに関する制御弁157、並びに、バケットシリンダ9に関する制御弁158等を含む。電磁弁65は、パイロットポンプ15と制御弁153及び制御弁154のそれぞれにおけるブーム上げ側パイロットポートとを繋ぐ管路内の作動油の圧力を調節できるように構成されている。電磁弁66は、パイロットポンプ15と制御弁153及び制御弁154のそれぞれにおけるブーム下げ側パイロットポートとを繋ぐ管路内の作動油の圧力を調節できるように構成されている。
 手動操作が行われる場合、コントローラ30は、ブーム操作レバー26Aの操作信号生成部が出力する操作信号(電気信号)に応じてブーム上げ操作信号(電気信号)又はブーム下げ操作信号(電気信号)を生成する。ブーム操作レバー26Aの操作信号生成部が出力する操作信号は、ブーム操作レバー26Aの操作量及び操作方向に応じて変化する電気信号である。
 具体的には、コントローラ30は、ブーム操作レバー26Aがブーム上げ方向に操作された場合、レバー操作量に応じたブーム上げ操作信号(電気信号)を電磁弁65に対して出力する。電磁弁65は、ブーム上げ操作信号(電気信号)に応じて動作し、制御弁153及び制御弁154のそれぞれにおけるブーム上げ側パイロットポートに作用する、ブーム上げ操作信号(圧力信号)としてのパイロット圧を制御する。同様に、コントローラ30は、ブーム操作レバー26Aがブーム下げ方向に操作された場合、レバー操作量に応じたブーム下げ操作信号(電気信号)を電磁弁66に対して出力する。電磁弁66は、ブーム下げ操作信号(電気信号)に応じて動作し、制御弁153及び制御弁154のそれぞれにおけるブーム下げ側パイロットポートに作用する、ブーム下げ操作信号(圧力信号)としてのパイロット圧を制御する。
 自律制御を実行する場合、コントローラ30は、例えば、ブーム操作レバー26Aの操作信号生成部が出力する操作信号(電気信号)に応じる代わりに、補正操作信号(電気信号)に応じてブーム上げ操作信号(電気信号)又はブーム下げ操作信号(電気信号)を生成する。補正操作信号は、コントローラ30が生成する電気信号であってもよく、コントローラ30以外の制御装置等が生成する電気信号であってもよい。
 また、上述の実施形態では、ショベル100は、キャビン10内に操作者が搭乗できるように構成されているが、遠隔操作式のショベルであってもよい。この場合、操作者は、例えば、作業現場の外にある遠隔操作室に設置された操作装置と通信装置とを用いてショベル100を遠隔的に操作できる。この場合、コントローラ30は、遠隔操作室に設置されていてもよい。すなわち、遠隔操作室に設置されたコントローラ30と、ショベル100とは、ショベル用のシステムを構成していてもよい。
 本願は、2019年7月17日に出願した日本国特許出願2019-132194号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。
 1・・・下部走行体 1C・・・クローラ 1CL・・・左クローラ 1CR・・・右クローラ 2・・・旋回機構 2A・・・旋回用油圧モータ 2M・・・走行用油圧モータ 2ML・・・左走行用油圧モータ 2MR・・・右走行用油圧モータ 3・・・上部旋回体 4・・・ブーム 5・・・アーム 6・・・バケット 7・・・ブームシリンダ 8・・・アームシリンダ 9・・・バケットシリンダ 10・・・キャビン 11・・・エンジン 13・・・レギュレータ 14・・・メインポンプ 15・・・パイロットポンプ 17・・・コントロールバルブユニット 26・・・操作装置 26A・・・ブーム操作レバー 26B・・・バケット操作レバー 28・・・吐出圧センサ 29、29A、29B・・・操作圧センサ 30・・・コントローラ 30A・・・位置取得部 30B・・・画像提示部 30C・・・操作支援部 40・・・表示装置 40a・・・制御部 41・・・画像表示部 42・・・操作部 43・・・音出力装置 45・・・センターバイパス管路 50、50L、50R・・・減圧弁 60・・・ダンプトラック 61・・・荷台 61P・・・支柱 62・・・ゲート 62B・・・リヤゲート 62L・・・左サイドゲート 62R・・・右サイドゲート 63・・・フロントパネル 65、66・・・電磁弁 70・・・物体検知装置 70B・・・後センサ 70F・・・前センサ 70L・・・左センサ 70R・・・右センサ 80・・・撮像装置 80B・・・後カメラ 80F・・・前カメラ 80L・・・左カメラ 80R・・・右カメラ 100・・・ショベル 150~158・・・制御弁 200・・・支援装置 300・・・管理装置 AM・・・イラスト画像 AT・・・掘削アタッチメント CBT・・・後画像 FG・・・フロントガラス G1~G6、G3A、G3B、G10~G12、G20~G22、G40~G42、G51~G54、G60~G62、G70~G74、G80~G83、GP10~GP14、GP20~GP22、GP30~GP34、GP40~GP42、GP50、GP51、GP60、GP61、GP70、GP71・・・図形 S1・・・ブーム角度センサ S2・・・アーム角度センサ S3・・・バケット角度センサ S4・・・機体傾斜センサ S5・・・旋回角速度センサ SYS・・・管理システム V1~V5、V11~V14、V21~V24・・・画像 VM・・・前画像

Claims (16)

  1.  下部走行体と、
     前記下部走行体に旋回可能に搭載される上部旋回体と、
     前記上部旋回体に取り付けられるアタッチメントと、
     周囲監視装置と、
     表示装置と、を有し、
     前記表示装置は、前記周囲監視装置によって検出された対象物に対するガイダンスを表示するように構成されている、
     作業機械。
  2.  前記表示装置は、前記対象物の高さに対応したガイダンスを表示するように構成されている、
     請求項1に記載の作業機械。
  3.  前記表示装置は、前記対象物に対する旋回半径方向のガイダンスを表示するように構成されている、
     請求項1に記載の作業機械。
  4.  前記周囲監視装置は、ダンプトラック、土管、U字溝、穴、壁、及び樹木のうちのいずれか1つを前記対象物として検出する、
     請求項1に記載の作業機械。
  5.  前記対象物に基づいて基準点を設定し、
     前記表示装置は、前記基準点から旋回半径方向への距離に関するガイダンスを表示するように構成されている、
     請求項1に記載の作業機械。
  6.  前記表示装置は、前記作業機械の周辺に位置する前記対象物に対して、前記アタッチメント又は前記アタッチメントによって持ち上げられている物の旋回半径方向に関する位置を表す前記ガイダンスとしての図形を表示するように構成されている、
    請求項1に記載の作業機械。
  7.  前記アタッチメントによって持ち上げられている物は、バケット内に取り込まれた土砂、及び、吊り荷のうちのいずれか一つを含む、
    請求項6に記載の作業機械。
  8.  前記作業機械の周辺に位置する前記対象物は、ダンプトラックであり、
     前記図形は、前記バケットの現在の状態、及び、前記バケットを開いたときの前記バケットの状態のそれぞれに対応するように表示される、
     請求項7に記載の作業機械。
  9.  前記作業機械の周辺に位置する前記対象物は、前記作業機械によって設置された設置物であり、
     前記図形は、前記設置物に関する位置と前記アタッチメントによって持ち上げられている物との旋回半径方向に関する位置関係を表すように構成されている、
    請求項6に記載の作業機械。
  10.  前記アタッチメントの動きを制限する制御装置を有する、
    請求項1に記載の作業機械。
  11.  前記制御装置は、前記作業機械の周辺に位置する前記対象物と前記アタッチメント又は前記アタッチメントによって持ち上げられている物とが接触するおそれがあると判定した場合、前記アタッチメントの動きを停止させる、
    請求項10に記載の作業機械。
  12.  前記表示装置は、前記アタッチメントの一部分のみを表示する、
     請求項1に記載の作業機械。
  13.  前記周囲監視装置によって、前記対象物又は前記アタッチメントによって持ち上げられている物の幅が検出され、該幅に基づいたガイダンスを行う、
     請求項1に記載の作業機械。
  14.  前記周囲監視装置によって、前記対象物の位置が検知され、前記対象物の基準点から所定の距離における位置がガイダンス表示される、
     請求項1に記載の作業機械。
  15.  前記周囲監視装置によって、前記対象物の上面が検出され、検出された上面に対してガイダンスを行う、
     請求項1に記載の作業機械。
  16.  下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、周囲監視装置と、を有する作業機械による作業を支援する支援装置であって、
     前記周囲監視装置によって検出された対象物に対するガイダンスを表示する表示装置を有する、
     支援装置。
PCT/JP2020/027974 2019-07-17 2020-07-17 作業機械及び作業機械による作業を支援する支援装置 WO2021010489A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202080048505.9A CN114080481B (zh) 2019-07-17 2020-07-17 施工机械及支援基于施工机械的作业的支援装置
JP2021533122A JPWO2021010489A1 (ja) 2019-07-17 2020-07-17
KR1020227000135A KR20220035091A (ko) 2019-07-17 2020-07-17 작업기계 및 작업기계에 의한 작업을 지원하는 지원장치
EP20840892.2A EP4001513A4 (en) 2019-07-17 2020-07-17 CONSTRUCTION MACHINE AND ASSISTANCE DEVICE THAT ASSISTS WORK WITH THE AID OF CONSTRUCTION MACHINE
US17/647,892 US20220136215A1 (en) 2019-07-17 2022-01-13 Work machine and assist device to assist in work with work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019132194 2019-07-17
JP2019-132194 2019-07-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/647,892 Continuation US20220136215A1 (en) 2019-07-17 2022-01-13 Work machine and assist device to assist in work with work machine

Publications (1)

Publication Number Publication Date
WO2021010489A1 true WO2021010489A1 (ja) 2021-01-21

Family

ID=74211002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027974 WO2021010489A1 (ja) 2019-07-17 2020-07-17 作業機械及び作業機械による作業を支援する支援装置

Country Status (6)

Country Link
US (1) US20220136215A1 (ja)
EP (1) EP4001513A4 (ja)
JP (1) JPWO2021010489A1 (ja)
KR (1) KR20220035091A (ja)
CN (1) CN114080481B (ja)
WO (1) WO2021010489A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT525671A4 (de) * 2022-02-07 2023-06-15 Wacker Neuson Linz Gmbh System zur Kollisionsvermeidung zwischen einer Ladeeinrichtung und einem Lastfahrzeug
WO2023157707A1 (ja) * 2022-02-18 2023-08-24 日立建機株式会社 表示制御装置、及び遠隔操作装置
WO2024058017A1 (ja) * 2022-09-16 2024-03-21 日立建機株式会社 画像生成装置、操作支援システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998032A (zh) * 2017-07-31 2020-04-10 住友重机械工业株式会社 挖土机
US20240018746A1 (en) * 2022-07-12 2024-01-18 Caterpillar Inc. Industrial machine remote operation systems, and associated devices and methods

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013151830A (ja) * 2012-01-25 2013-08-08 Sumitomo Heavy Ind Ltd 運転補助装置
JP2014098270A (ja) * 2012-11-14 2014-05-29 Komatsu Ltd 掘削機械の表示システム及び掘削機械
JP2016065449A (ja) 2015-12-01 2016-04-28 住友建機株式会社 ショベル
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
JP2017186901A (ja) * 2017-07-18 2017-10-12 株式会社小松製作所 建設機械の表示システムおよびその制御方法
WO2019124549A1 (ja) * 2017-12-21 2019-06-27 住友建機株式会社 ショベル及びショベルの管理システム
JP2019132194A (ja) 2018-01-31 2019-08-08 日本ピストンリング株式会社 バルブシート

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002250055A (ja) * 2001-02-23 2002-09-06 Komatsu Ltd 建設機械車両とその表示装置
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
US20120290178A1 (en) * 2010-01-22 2012-11-15 Hideaki Suzuki Loading guide system
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
JP6258582B2 (ja) * 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
WO2015097905A1 (ja) * 2013-12-27 2015-07-02 株式会社小松製作所 鉱山機械の管理システム及び管理方法
JP6287488B2 (ja) * 2014-03-31 2018-03-07 株式会社Jvcケンウッド 対象物表示装置
JP6322612B2 (ja) * 2015-10-05 2018-05-09 株式会社小松製作所 施工管理システム及び形状計測方法
CN105849587B (zh) * 2015-10-30 2018-12-21 株式会社小松制作所 作业机械的控制系统、作业机械、其管理系统和控制方法
US10935660B2 (en) * 2015-10-30 2021-03-02 Komatsu Ltd. Control system of work machine, work machine, management system of work machine, and method of managing work machine
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
JP6620011B2 (ja) * 2015-12-25 2019-12-11 株式会社小松製作所 作業車両および表示制御方法
WO2017109999A1 (ja) * 2015-12-25 2017-06-29 株式会社小松製作所 作業機械の管理システム、作業機械及び作業機械の管理装置
JP6590691B2 (ja) * 2015-12-25 2019-10-16 株式会社小松製作所 作業車両および表示制御方法
WO2017130419A1 (ja) * 2016-01-29 2017-08-03 株式会社小松製作所 作業機械の管理システム、作業機械、作業機械の管理方法
WO2017130418A1 (ja) * 2016-01-29 2017-08-03 株式会社小松製作所 作業機械の管理システム及び作業機械
JP6909641B2 (ja) * 2017-05-31 2021-07-28 株式会社小松製作所 表示システム
JPWO2019139102A1 (ja) * 2018-01-10 2021-01-14 住友建機株式会社 ショベル及びショベルの管理システム
KR20210140722A (ko) * 2019-03-29 2021-11-23 스미토모 겐키 가부시키가이샤 쇼벨
KR20210140737A (ko) * 2019-03-30 2021-11-23 스미토모 겐키 가부시키가이샤 쇼벨 및 시공시스템
CN114144555B (zh) * 2019-09-26 2024-04-16 住友建机株式会社 挖土机及挖土机的显示装置
WO2022124319A1 (ja) * 2020-12-07 2022-06-16 住友重機械工業株式会社 作業機械及び作業機械用の制御装置
EP4317602A1 (en) * 2021-03-29 2024-02-07 Sumitomo Construction Machinery Co., Ltd. Excavator display device and excavator
WO2022210143A1 (ja) * 2021-03-29 2022-10-06 住友建機株式会社 ショベルの表示装置、ショベル、ショベルの支援装置
CN117043412A (zh) * 2021-03-31 2023-11-10 住友重机械工业株式会社 施工机械、施工机械的支援系统
US11965308B2 (en) * 2021-05-12 2024-04-23 Deere & Company System and method of truck loading assistance for work machines
US20220364335A1 (en) * 2021-05-12 2022-11-17 Deere & Company System and method for assisted positioning of transport vehicles relative to a work machine during material loading

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013151830A (ja) * 2012-01-25 2013-08-08 Sumitomo Heavy Ind Ltd 運転補助装置
JP2014098270A (ja) * 2012-11-14 2014-05-29 Komatsu Ltd 掘削機械の表示システム及び掘削機械
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
JP2016065449A (ja) 2015-12-01 2016-04-28 住友建機株式会社 ショベル
JP2017186901A (ja) * 2017-07-18 2017-10-12 株式会社小松製作所 建設機械の表示システムおよびその制御方法
WO2019124549A1 (ja) * 2017-12-21 2019-06-27 住友建機株式会社 ショベル及びショベルの管理システム
JP2019132194A (ja) 2018-01-31 2019-08-08 日本ピストンリング株式会社 バルブシート

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4001513A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT525671A4 (de) * 2022-02-07 2023-06-15 Wacker Neuson Linz Gmbh System zur Kollisionsvermeidung zwischen einer Ladeeinrichtung und einem Lastfahrzeug
AT525671B1 (de) * 2022-02-07 2023-06-15 Wacker Neuson Linz Gmbh System zur Kollisionsvermeidung zwischen einer Ladeeinrichtung und einem Lastfahrzeug
EP4223944A1 (de) * 2022-02-07 2023-08-09 Wacker Neuson Linz GmbH System zur kollisionsvermeidung zwischen einer ladeeinrichtung und einem lastfahrzeug
WO2023157707A1 (ja) * 2022-02-18 2023-08-24 日立建機株式会社 表示制御装置、及び遠隔操作装置
WO2024058017A1 (ja) * 2022-09-16 2024-03-21 日立建機株式会社 画像生成装置、操作支援システム

Also Published As

Publication number Publication date
EP4001513A4 (en) 2022-09-21
JPWO2021010489A1 (ja) 2021-01-21
US20220136215A1 (en) 2022-05-05
KR20220035091A (ko) 2022-03-21
CN114080481B (zh) 2024-01-16
EP4001513A1 (en) 2022-05-25
CN114080481A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
WO2021010489A1 (ja) 作業機械及び作業機械による作業を支援する支援装置
US20200340208A1 (en) Shovel and shovel management system
JP6901605B2 (ja) 油圧ショベル
US10508417B2 (en) Construction information display device and method for displaying construction information
JP7358349B2 (ja) 掘削機、情報処理装置
KR102638315B1 (ko) 쇼벨
CN113631779A (zh) 挖土机及施工系统
KR20220037440A (ko) 쇼벨
US20220010522A1 (en) Shovel
US20220010523A1 (en) Excavator and work system
US20220205225A1 (en) Shovel, display device for shovel, and control device for shovel
KR20200130833A (ko) 쇼벨
US20220010521A1 (en) Shovel and construction system
US20240026651A1 (en) Display device for shovel, and shovel
JPWO2018181534A1 (ja) ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
JP2023174887A (ja) 作業機械、情報処理装置
US20240018750A1 (en) Display device for shovel, shovel, and assist device for shovel
CN115279974A (zh) 挖土机用施工支援系统
JP2022179081A (ja) 遠隔操作支援システム、遠隔操作支援装置
JP7346061B2 (ja) ショベル
KR20220154080A (ko) 건설기계, 건설기계의 관리시스템, 기계학습장치 및 건설기계의 작업현장의 관리시스템
WO2023190031A1 (ja) ショベル、ショベルの制御システム、及び、ショベルの遠隔操作システム
JP7420618B2 (ja) ショベル
US20240011252A1 (en) Shovel and shovel control device
JP2022137769A (ja) ショベル、情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840892

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021533122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020840892

Country of ref document: EP

Effective date: 20220217