WO2021241141A1 - 作業機械の遠隔操作システム - Google Patents

作業機械の遠隔操作システム Download PDF

Info

Publication number
WO2021241141A1
WO2021241141A1 PCT/JP2021/017252 JP2021017252W WO2021241141A1 WO 2021241141 A1 WO2021241141 A1 WO 2021241141A1 JP 2021017252 W JP2021017252 W JP 2021017252W WO 2021241141 A1 WO2021241141 A1 WO 2021241141A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
alarm
image
work
control unit
Prior art date
Application number
PCT/JP2021/017252
Other languages
English (en)
French (fr)
Inventor
康博 大山
淳 森永
真範 皆川
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CA3182563A priority Critical patent/CA3182563A1/en
Priority to US17/922,639 priority patent/US20230167627A1/en
Priority to AU2021278492A priority patent/AU2021278492A1/en
Publication of WO2021241141A1 publication Critical patent/WO2021241141A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/34Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with bucket-arms, i.e. a pair of arms, e.g. manufacturing processes, form, geometry, material of bucket-arms directly pivoted on the frames of tractors or self-propelled machines
    • E02F3/345Buckets emptying side-ways

Definitions

  • This disclosure relates to a remote control system for work machines.
  • Patent Document 1 discloses a technique in which an image pickup device is arranged in a driver's cab of a swivel body and an image in front of the driver's cab is captured.
  • the work machine carries out the work using the work machine.
  • an impact may act on the work machine. It is difficult for a remote operator to recognize the impact on the work equipment. Therefore, the operator at a remote place may perform remote control in which an excessive impact acts on the working machine. Excessive impact on the work equipment may accelerate the deterioration of the work equipment.
  • the purpose of this disclosure is to make the operator at a remote location aware that an impact acts on the working machine.
  • the sensor data receiving unit that receives the detection data of the posture of the working machine possessed by the working machine operated by the operation signal from a remote place, and the working machine is at the end of the movable range based on the detected data.
  • an alarm control unit that outputs an alarm control signal and an alarm that is provided at the remote location and outputs an alarm based on the alarm control signal from the alarm control unit are output.
  • a remote control system for the work machine is provided, comprising an alarm device.
  • FIG. 1 is a schematic diagram showing a remote control system for a work machine according to an embodiment.
  • FIG. 2 is a perspective view showing a work machine according to an embodiment.
  • FIG. 3 is a side view showing the work machine according to the embodiment.
  • FIG. 4 is a diagram showing a remote control room according to an embodiment.
  • FIG. 5 is a schematic view showing a hydraulic system of a work machine according to an embodiment.
  • FIG. 6 is a functional block diagram showing a remote control system for a work machine according to an embodiment.
  • FIG. 7 is a schematic diagram for explaining the movable range of the working machine element according to the embodiment.
  • FIG. 8 is a diagram for explaining the processing of the first image processing unit according to the embodiment.
  • FIG. 9 is a diagram for explaining the processing of the display control unit according to the embodiment.
  • FIG. 10 is a diagram for explaining the processing of the alarm control unit according to the embodiment.
  • FIG. 11 is a flowchart showing a remote control method of the work machine according to the embodiment.
  • FIG. 12 is a block diagram showing a computer system according to an embodiment.
  • FIG. 13 is a diagram for explaining the operation of the work machine according to the embodiment.
  • FIG. 14 is a flowchart showing a remote control method of the work machine according to the embodiment.
  • FIG. 1 is a schematic view showing a remote control system 100 of the work machine 1 according to the embodiment.
  • the remote control system 100 remotely controls the work machine 1 operating at the work site. Examples of work sites are mines or quarries.
  • the remote control system 100 includes a remote control device 40, a display device 50, and a control device 60.
  • the remote control device 40 is arranged in the remote control room 200.
  • the remote control device 40 is operated by an operator in the remote control room 200.
  • the operator can operate the remote control device 40 while sitting on the control seat 45.
  • the display device 50 is arranged in the remote control room 200.
  • the display device 50 displays an image of the work site.
  • the operator of the remote control room 200 cannot directly visually recognize the situation at the work site.
  • the operator of the remote control room 200 can visually recognize the situation at the work site via the display device 50.
  • the operator operates the remote control device 40 while viewing the image of the work site displayed on the display device 50.
  • the work machine 1 is remotely controlled by the remote control device 40.
  • the control device 60 is arranged in the remote control room 200.
  • the control device 60 includes a computer system.
  • the work machine 1 includes a control device 300.
  • the control device 300 includes a computer system.
  • the control device 60 and the control device 300 communicate with each other via the communication system 400.
  • Examples of the communication system 400 include the Internet (internet), a local area network (LAN), a mobile phone communication network, and a satellite communication network.
  • the communication system 400 may include a relay station that relays the data to be communicated.
  • FIG. 2 is a perspective view showing the work machine 1 according to the embodiment.
  • FIG. 3 is a side view showing the work machine 1 according to the embodiment.
  • the work machine 1 is a hydraulic excavator which is a kind of loading machine.
  • the work machine 1 operates at the work site.
  • the work machine 1 operates, for example, at a loading site at a work site.
  • the work machine 1 carries out excavation work for the work target. Examples of work targets are earth and sand or ore.
  • a dump truck which is a type of transport vehicle, operates at the work site.
  • the work machine 1 carries out a loading operation of loading a load onto a dump truck.
  • An example of the cargo is an excavated material excavated by excavation work.
  • the work machine 1 is a traveling body 2, a swivel body 3 supported by the traveling body 2, a working machine 4 attached to the swivel body 3, and a hydraulic pressure for driving the working machine 4.
  • the cylinder 5 the position sensor 71 that detects the position of the work machine 1, the vehicle body posture sensor 72 that detects the posture of the swivel body 3, the work machine posture sensor 73 that detects the posture of the work machine 4, and the image pickup device 30. To prepare for.
  • the traveling body 2 travels in a state of supporting the turning body 3.
  • the swivel body 3 is a vehicle body of the work machine 1.
  • the traveling body 2 is arranged below the swivel body 3.
  • the traveling body 2 supports the turning body 3 so as to be able to turn.
  • the traveling body 2 has a drive wheel 2A, a driven wheel 2B, and a track 2C supported by the drive wheel 2A and the driven wheel 2B.
  • Each of the drive wheel 2A and the driven wheel 2B rotates about the rotation axis DX.
  • a pair of drive wheels 2A, driven wheels 2B, and tracks 2C are provided.
  • the track 2C rotates due to the rotation of the drive wheel 2A. By rotating the track 2C, the traveling body 2 travels.
  • the swivel body 3 can swivel around the swivel shaft RX while being supported by the traveling body 2.
  • the swivel shaft RX extends in the vertical direction.
  • the swivel body 3 has a driver's cab 3A, a lower deck 3B, a step 3C, and an upper deck 3D.
  • the driver's cab 3A is an internal space of the swivel body 3 on which an operator can board.
  • the driver's cab 3A is arranged at the front and the upper part of the swivel body 3.
  • the lower deck 3B is arranged at the rear and the lower part of the swivel body 3.
  • the upper deck 3D is arranged at the front and the upper part of the swivel body 3.
  • Step 3C connects the lower deck 3B and the upper deck 3D.
  • the upper deck 3D is arranged so as to surround the driver's cab 3A. At least a portion of the upper deck 3D is located in front of the driver's cab 3A.
  • a fence-shaped handrail 3E is arranged on each of the lower deck 3B, the step 3C, and the upper deck 3D.
  • Each of the lower deck 3B, step 3C, and upper deck 3D includes a passage through which a worker can pass. Workers can board the driver's cab 3A through the lower deck 3B, step 3C, and upper deck 3D.
  • the swivel body 3 has a ladder 3F.
  • the ladder 3F is connected to the upper deck 3D.
  • the work machine 4 is attached to the front part of the swivel body 3.
  • the working machine 4 is arranged in front of the turning shaft RX.
  • the working machine 4 can operate so as to extend forward.
  • the working machine 4 includes a boom 4A connected to the swivel body 3, an arm 4B connected to the boom 4A, and a bucket 4C connected to the arm 4B.
  • the base end portion of the boom 4A is connected to the front portion of the swivel body 3 via a pin.
  • the base end portion of the arm 4B is connected to the tip end portion of the boom 4A via a pin.
  • the base end portion of the bucket 4C is connected to the tip end portion of the arm 4B via a pin.
  • the bucket 4C has a tip blade 4D.
  • the work target is excavated by the bucket 4C.
  • the boom 4A is rotatably connected to the front portion of the swivel body 3 about the boom rotation shaft AX.
  • the arm 4B is rotatably connected to the boom 4A about the arm rotation axis BX.
  • the bucket 4C is rotatably connected to the arm 4B about the bucket rotation axis CX.
  • the boom rotation axis AX, the arm rotation axis BX, and the bucket rotation axis CX are parallel.
  • Each of the boom rotation shaft AX, the arm rotation shaft BX, and the bucket rotation shaft CX extends in the vehicle width direction of the swivel body 3.
  • the work machine 1 is a loading shovel.
  • the loading excavator is a hydraulic excavator in which the bucket 4C is attached to the arm 4B so that the tip blade 4D of the bucket 4C faces forward.
  • the hydraulic cylinder 5 includes a boom cylinder 5A for driving the boom 4A, an arm cylinder 5B for driving the arm 4B, and a bucket cylinder 5C for driving the bucket 4C.
  • the base end portion of the boom cylinder 5A is connected to the swivel body 3.
  • the tip of the boom cylinder 5A is connected to the boom 4A.
  • the base end portion of the arm cylinder 5B is connected to the boom 4A.
  • the tip of the arm cylinder 5B is connected to the arm 4B.
  • the base end portion of the bucket cylinder 5C is connected to the boom 4A.
  • the tip of the bucket cylinder 5C is connected to the bucket 4C.
  • the position sensor 71 detects the position of the work machine 1.
  • the position sensor 71 detects the absolute position of the work machine 1 by using the Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the position sensor 71 includes a GNSS receiver provided on the swivel body 3.
  • the vehicle body posture sensor 72 detects the posture of the swivel body 3.
  • the posture of the swivel body 3 includes an inclination angle (roll, pitch) of the swivel body 3 with respect to the horizontal plane.
  • the vehicle body posture sensor 72 includes an inertial measurement unit (IMU: Inertial Measurement Unit) provided on the swivel body 3.
  • IMU Inertial Measurement Unit
  • the work machine posture sensor 73 detects the posture of the work machine 4.
  • the posture of the working machine 4 includes the angle of the working machine 4.
  • the work equipment posture sensor 73 detects the boom posture sensor 73A that detects the angle of the boom 4A with respect to the swivel body 3, the arm posture sensor 73B that detects the angle of the arm 4B with respect to the boom 4A, and the angle of the bucket 4C with respect to the arm 4B. Includes bucket attitude sensor 73C.
  • the work machine attitude sensor 73 is a stroke sensor arranged on the hydraulic cylinder 5.
  • the hydraulic cylinder 5 has a cylinder tube, a piston moving inside the cylinder tube, and a rod connected to the piston.
  • the stroke sensor detects the stroke length of the hydraulic cylinder 5, which indicates the moving distance of the rod.
  • the stroke length refers to the moving distance of the rod from the stroke end of the hydraulic cylinder 5.
  • the stroke end is the position of the end of the movable range of the rod. That is, the stroke end means the position of the rod in the state where the hydraulic cylinder 5 is most contracted or the position of the rod in the state where the hydraulic cylinder 5 is in the most extended state.
  • the boom posture sensor 73A is a stroke sensor arranged on the boom cylinder 5A.
  • the boom posture sensor 73A detects the stroke length of the boom cylinder 5A.
  • the arm posture sensor 73B is a stroke sensor arranged on the arm cylinder 5B.
  • the arm posture sensor 73B detects the stroke length of the arm cylinder 5B.
  • the bucket attitude sensor 73C is a stroke sensor arranged on the bucket cylinder 5C.
  • the bucket attitude sensor 73C detects the stroke length of the bucket cylinder 5C.
  • the image pickup device 30 takes an image of the work site and acquires an image of the work site.
  • the image pickup device 30 is arranged on the swivel body 3.
  • the image pickup device 30 is fixed to the swivel body 3.
  • the image of the work target of the work machine 1 As the image of the work site acquired by the image pickup apparatus 30, the image of the work target of the work machine 1, the image of at least a part of the work machine 1, the image of the structure existing in the work site, and the work different from the work machine 1.
  • An image of a machine and an image of a worker working at a work site are exemplified.
  • the image of the work target of the work machine 1 includes the image of the excavation target of the work machine 4.
  • the image pickup apparatus 30 has an optical system and an image sensor that receives light that has passed through the optical system.
  • the image sensor includes a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image pickup apparatus 30 images the image pickup range M.
  • the imaging range M is set to include the work target of the work machine 1.
  • the vertical direction is a direction parallel to the turning axis RX.
  • the left-right direction is a direction parallel to the boom rotation axis AX.
  • the front-rear direction is a direction orthogonal to both the boom rotation axis AX and the rotation axis RX.
  • the direction in which the swivel body 3 exists is upward with respect to the ground contact surface of the traveling body 2, and the opposite direction upward is downward.
  • One of the left-right directions is to the right and the opposite direction to the right is the left with respect to the swivel axis RX.
  • the direction in which the working machine 4 is present is the front, and the opposite direction to the front is the rear.
  • the image pickup device 30 is arranged in the driver's cab 3A.
  • the optical axis OA of the optical system of the image pickup apparatus 30 extends in the front-rear direction.
  • the image of the imaging range M captured by the imaging device 30 is appropriately referred to as an image P.
  • FIG. 4 is a diagram showing a remote control room 200 according to an embodiment. As shown in FIG. 4, the remote control device 40 and the display device 50 are arranged in the remote control room 200.
  • the remote control device 40 is operated by an operator seated on the control seat 45.
  • the operator sits on the control seat 45 so as to face the display screen of the display device 50.
  • the operator operates the remote control device 40 while looking at the display screen of the display device 50.
  • the operation signal generated by operating the remote control device 40 is transmitted to the control device 300 of the work machine 1 via the control device 60 and the communication system 400.
  • the control device 300 operates the work machine 1 based on the operation signal acquired via the communication system 400.
  • the work machine 1 operates by an operation signal from a remote place of the work machine 1.
  • the operation of the work machine 1 includes at least one of the operation of the traveling body 2, the operation of the swivel body 3, and the operation of the working machine 4.
  • the movement of the traveling body 2 includes a forward movement and a reverse movement of the traveling body 2.
  • the operation of the swivel body 3 includes a left swivel motion and a right swivel motion of the swivel body 3.
  • the operation of the working machine 4 includes an operation of raising the boom 4A, an operation of lowering the boom 4A, an operation of dumping the arm 4B, an operation of excavating the arm 4B, an operation of excavating the bucket 4C, and an operation of dumping the bucket 4C.
  • the remote control device 40 includes a left work lever 41 and a right work lever 42 operated for the operation of the swivel body 3 and the work machine 4, and a left travel pedal 43 and a right travel operation operated for the operation of the traveling body 2. Includes pedal 44.
  • the left work lever 41 is arranged on the left side of the control seat 45.
  • the right work lever 42 is arranged on the right side of the control seat 45.
  • the arm 4B is dumped or excavated.
  • the swivel body 3 makes a left turn operation or a right turn operation.
  • the bucket 4C operates in an excavation operation or a dump operation.
  • the boom 4A is lowered or raised.
  • the swivel body 3 makes a right turn or a left turn operation
  • the arm 4B makes a dump operation or an excavation operation. You may.
  • the relationship between the operating direction of the left working lever 41 and the operating direction of the right working lever 42 and the operation of the working machine 4 is arbitrary.
  • the left travel pedal 43 and the right travel pedal 44 are arranged below the front side of the control seat 45.
  • the left traveling pedal 43 is arranged to the left of the right traveling pedal 44.
  • the track 2C on the left side of the traveling body 2 moves forward or backward.
  • the right traveling pedal 44 By operating the right traveling pedal 44, the track 2C on the right side of the traveling body 2 moves forward or backward.
  • the first monitor device 501 that displays the work machine operation data indicating the operation status of the work machine 1 and the operation operated to operate the electric equipment mounted on the work machine 1 are operated.
  • the switch 502 and the switch 502 are arranged.
  • the first monitor device 501 uses, for example, the remaining amount of fuel of the engine mounted on the work machine 1, the temperature of the coolant of the engine, the temperature of the hydraulic oil for driving the hydraulic cylinder 5, and the temperature of the hydraulic oil for driving the hydraulic cylinder 5, as the work machine operation data.
  • the traveling speed of the traveling body 2 is displayed.
  • the operation switch 502 operates, for example, a headlight provided in the work machine 1 as an electric device mounted on the work machine 1.
  • the display device 50 displays the image P transmitted from the work machine 1.
  • the image P is transmitted to the control device 60 of the remote control system 100 via the control device 300 and the communication system 400.
  • the control device 60 causes the display device 50 to display the image P acquired via the communication system 400.
  • the display device 50 includes a flat panel display such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL display (OELD: Organic Electroluminescence Display).
  • the display device 50 includes a plurality of flat panel displays arranged adjacent to each other.
  • the display device 50 is arranged above the central display 51, the left display 52 arranged on the left side of the central display 51, the right display 53 arranged on the right side of the central display 51, and the central display 51.
  • the upper display 54 and the lower display 55 arranged below the central display 51 are included.
  • the image P displayed on the display device 50 is an image corresponding to the view of the front space of the operator when it is assumed that the operator is seated on the driver's seat provided in the driver's cab 3A of the work machine 1.
  • the operator of the remote control room 200 can get the feeling that he / she is actually seated on the operation seat of the work machine 1.
  • the operator of the remote control room 200 operates the remote control device 40 to operate the work machine 4, and excavates the work target.
  • the excavated material excavated by the bucket 4C of the working machine 4 is loaded on the dump truck as a load.
  • the dump truck is an unmanned dump truck that travels based on a control command transmitted from a control facility at a work site.
  • a second monitor device 503 that displays dump truck operation data indicating the operation status of the unmanned dump truck at the work site is arranged.
  • a position sensor for detecting the position data of the unmanned dump truck is arranged on the unmanned dump truck.
  • the position sensor detects the absolute position of the unmanned dump truck using the Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the second monitor device 503 displays the position of each of the plurality of unmanned dump trucks operating at the work site as the dump truck operation data. Further, the operator can operate the input device provided in the second monitor device 503 to stop or start the unmanned dump truck.
  • a third monitor device 504 that displays the guidance data of the working machine 4 is arranged.
  • the guidance data the relative distance between the target design surface of the work target and the work machine 4, the shape of the work target, and the ore distribution of the work target are exemplified.
  • FIG. 5 is a schematic view showing the hydraulic system 20 of the work machine 1 according to the embodiment.
  • the hydraulic system 20 includes a hydraulic pump 21, a hydraulic cylinder 5 that drives a working machine 4 based on hydraulic oil supplied from the hydraulic pump 21, and a pump flow path connected to the hydraulic pump 21.
  • 22 is provided with a flow control valve 23 for adjusting the flow rate of hydraulic oil supplied to the hydraulic cylinder 5 via the pump flow path 22, and a pressure sensor 74 for detecting the pressure of the hydraulic oil in the hydraulic cylinder 5.
  • the hydraulic pump 21 is driven by the power transmitted from the power source of the work machine 1.
  • a diesel engine or an electric motor is exemplified as the power source of the work machine 1.
  • the hydraulic pump 21 discharges hydraulic oil.
  • the hydraulic pump 21 is a variable displacement hydraulic pump.
  • the hydraulic cylinder 5 operates the working machine 4 based on the hydraulic oil supplied from the hydraulic pump 21.
  • the working machine 4 operates within a predetermined movable range.
  • the hydraulic cylinder 5 includes a boom cylinder 5A for operating the boom 4A, an arm cylinder 5B for operating the arm 4B, and a bucket cylinder 5C for operating the bucket 4C.
  • the hydraulic cylinder 5 has a bottom chamber BR and a rod chamber RR.
  • the hydraulic cylinder 5 is extended by supplying hydraulic oil to the bottom chamber BR.
  • the flow rate control valve 23 adjusts the flow rate of the hydraulic oil supplied to the hydraulic cylinder 5.
  • the flow rate control valve 23 includes a boom flow rate control valve 23A that adjusts the flow rate of hydraulic oil supplied to the boom cylinder 5A, an arm flow rate control valve 23B that adjusts the flow rate of hydraulic oil supplied to the arm cylinder 5B, and a bucket cylinder. It includes a bucket flow rate control valve 23C that adjusts the flow rate of hydraulic oil supplied to 5C.
  • the flow rate control valve 23 has a pump port Pa, a bottom port Pb, a rod port Pc, and a tank port Pd.
  • the pump port Pa is connected to the hydraulic pump 21 via the supply flow path 24 and the pump flow path 22.
  • the bottom port Pb is connected to the bottom chamber BR of the hydraulic cylinder 5 via the bottom flow path 25.
  • the rod port Pc is connected to the rod chamber RR of the hydraulic cylinder 5 via the rod flow path 26.
  • the tank port Pd is connected to the tank 28 via the discharge flow path 27.
  • the hydraulic oil discharged from the hydraulic pump 21 can flow into the flow control valve 23 from the pump port Pa after flowing through the pump flow path 22 and the supply flow path 24.
  • the hydraulic oil flowing out from the bottom port Pb can flow into the bottom chamber BR of the hydraulic cylinder 5 after flowing through the bottom flow path 25. Further, the hydraulic oil flowing out from the bottom chamber BR of the hydraulic cylinder 5 can flow into the flow control valve 23 from the bottom port Pb after flowing through the bottom flow path 25.
  • the hydraulic oil flowing out from the rod port Pc can flow into the rod chamber RR of the hydraulic cylinder 5 after flowing through the rod flow path 26. Further, the hydraulic oil flowing out from the rod chamber RR of the hydraulic cylinder 5 can flow into the flow rate control valve 23 from the rod port Pc after flowing through the rod flow path 26.
  • the hydraulic oil flowing out from the tank port Pd flows through the discharge flow path 27 and then is discharged to the tank 28.
  • the flow rate control valve 23 is a slide spool type flow rate control valve that moves a rod-shaped spool to switch the flow rate and direction of the hydraulic oil supplied to the hydraulic cylinder 5. As the spool moves in the axial direction, the supply of the hydraulic oil to the bottom chamber BR and the supply of the hydraulic oil to the rod chamber RR are switched. Further, the flow rate of the hydraulic oil supplied to the hydraulic cylinder 5 is adjusted based on the movement amount of the spool.
  • the spool of the flow control valve 23 has a first operating position Q1 for supplying hydraulic oil to the bottom chamber BR of the hydraulic cylinder 5, a second operating position Q2 for supplying hydraulic oil to the rod chamber RR of the hydraulic cylinder 5, and a first. It moves to the stop position Q3, which is arranged between the operating position Q1 and the second operating position Q2 and does not allow the hydraulic oil to flow.
  • the hydraulic oil discharged from the hydraulic pump 21 flows through the pump flow path 22 and the supply flow path 24, and then flows from the pump port Pa to the flow rate control valve. It flows into 23 and flows out from the bottom port Pb.
  • the hydraulic oil flowing out from the bottom port Pb flows into the bottom chamber BR of the hydraulic cylinder 5 after flowing through the bottom flow path 25.
  • the hydraulic cylinder 5 is extended.
  • hydraulic oil flowing out of the rod chamber BR of the hydraulic cylinder 5 flows through the rod flow path 26, then flows into the flow control valve 23 from the rod port Pc, and flows out from the tank port Pd.
  • the hydraulic oil flowing out from the tank port Pd is discharged to the tank 28 via the discharge flow path 27.
  • the hydraulic oil discharged from the hydraulic pump 21 flows through the pump flow path 22 and the supply flow path 24, and then flows from the pump port Pa to the flow rate control valve. It flows into 23 and flows out from the rod port Pc.
  • the hydraulic oil flowing out from the rod port Pc flows into the rod chamber RR of the hydraulic cylinder 5 after flowing through the rod flow path 26.
  • the hydraulic cylinder 5 shrinks.
  • hydraulic oil flowing out of the bottom chamber BR of the hydraulic cylinder 5 flows through the bottom flow path 25, then flows into the flow control valve 23 from the bottom port Pb, and flows out from the tank port Pd.
  • the hydraulic oil flowing out from the tank port Pd is discharged to the tank 28 via the discharge flow path 27.
  • the pressure sensor 74 detects the pressure of the hydraulic oil of the hydraulic cylinder 5.
  • the pressure sensor 74 detects the boom pressure sensor 74A that detects the pressure of the hydraulic oil of the boom cylinder 5A, the arm pressure sensor 74B that detects the pressure of the hydraulic oil of the arm cylinder 5B, and the pressure of the hydraulic oil of the bucket cylinder 5C. Includes a bucket pressure sensor 74C.
  • the pressure sensor 74 detects the pressure of the hydraulic oil supplied to the hydraulic cylinder 5.
  • the pressure sensor 74 is provided in each of the bottom flow path 25 and the rod flow path 26.
  • the pressure sensor 74 provided in the rod flow path 26 detects the pressure of the hydraulic oil supplied to the hydraulic cylinder 5.
  • the pressure sensor 74 provided in the bottom flow path 25 detects the pressure of the hydraulic oil supplied to the hydraulic cylinder 5.
  • the pressure sensor 74 may be provided in each of the bottom chamber BR and the rod chamber RR.
  • FIG. 6 is a functional block diagram showing a remote control system 100 of the work machine 1 according to the embodiment.
  • the remote control system 100 controls a communication device 6 arranged in a remote location, a control device 60 connected to the communication device 6, and a remote control device 40 connected to the control device 60. It includes a display device 50 connected to the device 60.
  • the remote operation system 100 is connected to the communication device 7 arranged in the work machine 1, the control device 300 connected to the communication device 7, the image pickup device 30 connected to the control device 300, and the control device 300.
  • the sensor 70 includes a traveling body 2 controlled by the control device 300, a swivel body 3 controlled by the control device 300, and a hydraulic cylinder 5 controlled by the control device 300.
  • the sensor 70 includes a position sensor 71, a vehicle body posture sensor 72, a work equipment posture sensor 73, and a pressure sensor 74.
  • the control device 300 includes a traveling body control unit 301, a swivel body control unit 302, a work machine control unit 303, a stroke end determination unit 304, an image data transmission unit 305, and a sensor data transmission unit 306.
  • the traveling body control unit 301 receives the operation signal of the remote control device 40 transmitted from the control device 60.
  • the traveling body control unit 301 outputs a control signal for controlling the operation of the traveling body 2 based on the operation signal of the remote control device 40.
  • the swivel body control unit 302 receives the operation signal of the remote control device 40 transmitted from the control device 60.
  • the swivel body control unit 302 outputs a control signal for controlling the operation of the swivel body 3 based on the operation signal of the remote control device 40.
  • the work machine control unit 303 receives the operation signal of the remote control device 40 transmitted from the control device 60.
  • the work machine control unit 303 outputs a control signal for controlling the operation of the work machine 4 based on the operation signal of the remote control device 40.
  • the control signal for controlling the operation of the work machine 4 includes a control signal for controlling the operation of the hydraulic cylinder 5.
  • the control signal for controlling the operation of the hydraulic cylinder 5 includes a control signal for controlling the flow rate control valve 23.
  • the stroke end determination unit 304 calculates the angle of the work machine 4 based on the detection data of the work machine attitude sensor 73.
  • the angle of the working machine 4 and the stroke length of the hydraulic cylinder 5 correlate with each other.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the work machine attitude sensor 73 to calculate the angle of the work machine 4.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the boom posture sensor 73A to calculate the angle of the boom 4A with respect to the swivel body 3.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the arm posture sensor 73B to calculate the angle of the arm 4B with respect to the boom 4A.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the bucket posture sensor 73C to calculate the angle of the bucket 4C with respect to the arm 4B.
  • the stroke end determination unit 304 can calculate the cylinder position of the hydraulic cylinder 5 based on the detection data of the work machine attitude sensor 73.
  • the cylinder position means the position of the rod relative to the stroke end of the hydraulic cylinder 5.
  • the stroke end refers to the end position of the movable range of the rod.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the boom posture sensor 73A to calculate the cylinder position of the boom cylinder 5A.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the arm posture sensor 73B to calculate the cylinder position of the arm cylinder 5B.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the bucket posture sensor 73C to calculate the cylinder position of the bucket cylinder 5C.
  • the stroke end determination unit 304 can calculate the stroke length of the hydraulic cylinder 5 based on the detection data of the work machine attitude sensor 73. As described above, the stroke length refers to the moving distance of the rod from the stroke end of the hydraulic cylinder 5.
  • the stroke end determination unit 304 can calculate the cylinder speed of the hydraulic cylinder 5 based on the detection data of the work machine attitude sensor 73.
  • the cylinder speed means the speed of the rod with respect to the cylinder tube of the hydraulic cylinder 5.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the boom posture sensor 73A to calculate the cylinder speed of the boom cylinder 5A.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the arm posture sensor 73B to calculate the cylinder speed of the arm cylinder 5B.
  • the stroke end determination unit 304 can perform arithmetic processing based on the detection data of the bucket attitude sensor 73C to calculate the cylinder speed of the bucket cylinder 5C.
  • the work machine attitude sensor 73 functions as at least one of the angle sensor of the work machine 4, the cylinder position sensor of the hydraulic cylinder 5, the stroke length sensor of the hydraulic cylinder 5, and the cylinder speed sensor of the hydraulic cylinder 5. can do.
  • the work machine attitude sensor 73 may include an angle sensor such as a potentiometer that can detect the angle of the work machine 4. Further, the work machine attitude sensor 73 may be an inertial measurement unit (IMU: Inertial Measurement Unit) provided in the work machine 4.
  • IMU Inertial Measurement Unit
  • the stroke end determination unit 304 determines whether or not the work machine 4 is close to the end position of the movable range based on the detection data of the work machine attitude sensor 73.
  • FIG. 7 is a schematic diagram for explaining the movable range of the working machine 4 according to the embodiment.
  • the work machine 4 includes a plurality of work machine elements that can be moved relative to each other.
  • the working machine element of the working machine 4 includes a boom 4A, an arm 4B, and a bucket 4C.
  • the movable range of the working machine 4 is assumed to be the movable range of the working machine element.
  • the work machine 4 can move within the movable range determined by the stroke of the hydraulic cylinder 5.
  • the movable range of the working machine 4 is determined based on the movable range of the rod of the hydraulic cylinder 5.
  • the end position of the movable range of the working machine 4 is defined based on the stroke end of the hydraulic cylinder 5. When the hydraulic cylinder 5 reaches the stroke end, the working machine 4 reaches the end position of the movable range.
  • the movable range of the working machine 4 is defined as an end section, an alarm section, and an intermediate section.
  • the end section means a part of the movable range including the end position.
  • the intermediate section means a part of the movable section including the central position of the movable range.
  • the alarm section is a part of the movable range between the end section and the center position.
  • the alarm section means a section between the end section and the intermediate section.
  • the warning section is defined to be adjacent to each of the end section and the intermediate section. As will be described later, when the working machine 4 is approaching the end position in the alarm section, an alarm is output at a remote location.
  • the warning section may be included in the end section.
  • the alarm section may be omitted.
  • the ratio of the length of the end section to the movable range can be set arbitrarily.
  • the end section may have an arbitrary ratio of 1 [%] or more and 20 [%] or less of the movable range.
  • the ratio of the length of the alarm section to the movable range can be arbitrarily set.
  • the alarm section may be any ratio of 1 [%] or more and 20 [%] or less of the movable range.
  • the length of the end section is shorter than the length of the middle section.
  • the stroke end determination unit 304 determines whether or not the work machine 4 exists in the end section including the end position of the movable range based on the detection data of the work machine posture sensor 73.
  • the end position of the movable range of the working machine 4 is defined based on the stroke end of the hydraulic cylinder 5.
  • the end section of the movable range of the working machine 4 is defined based on the stroke length of the hydraulic cylinder 5.
  • the stroke end determination unit 304 can determine whether or not the work machine 4 exists in the end section of the movable range based on the detection data of the work machine posture sensor 73.
  • the stroke end determination unit 304 determines whether or not the work machine 4 exists in the alarm section between the end section and the center position of the movable range based on the detection data of the work machine attitude sensor 73. be able to.
  • the stroke end determination unit 304 can determine whether or not the work machine 4 exists in the intermediate section including the central position of the movable range based on the detection data of the work machine attitude sensor 73.
  • the work machine control unit 303 implements cushion control.
  • Cushion control refers to control for decelerating the rod of the hydraulic cylinder 5 when it approaches the stroke end.
  • the work equipment control unit 303 decelerates the rod more than the cylinder speed based on the operation signal generated by the remote control device 40.
  • cushion control the shorter the distance between the rod of the hydraulic cylinder 5 and the stroke end, the lower the speed of the rod.
  • Cushion control alleviates the impact when the rod of the hydraulic cylinder 5 reaches the stroke end.
  • the work machine control unit 303 is a control command for reducing the flow rate of the hydraulic oil supplied to the hydraulic cylinder 5 when the stroke end determination unit 304 determines that the work machine 4 is close to the end position of the movable range. Is output to the flow control valve 23.
  • cushion control is performed to reduce the speed of the working machine 4 approaching the end position.
  • the speed of the working machine 4 may be gradually decreased as the distance between the working machine 4 and the end position becomes shorter, or may be gradually decreased. In the cushion control, when the working machine 4 reaches the end position, the speed of the working machine 4 may or may not be zero.
  • the cushion control is performed when the working machine 4 is arranged in the end section and the working machine 4 operates so as to approach the end position. That is, when the stroke end determination unit 304 determines that the work machine 4 is approaching the end position in the end section, the work machine control unit 303 determines the flow rate of the hydraulic oil supplied to the hydraulic cylinder 5. A control command to be reduced is output to the flow control valve 23. As a result, when the working machine 4 is close to the end position in the end section, cushion control for reducing the speed of the working machine 4 is performed.
  • the work machine control unit 303 when the stroke end determination unit 304 determines that the boom 4A is operating so as to approach the end position in the end section of the movable range, the work machine control unit 303 is supplied to the boom cylinder 5A. A control command for reducing the flow rate of the hydraulic oil is output to the boom flow rate control valve 23A.
  • the stroke end determination unit 304 determines that the arm 4B is operating so as to approach the end position in the end section of the movable range
  • the work machine control unit 303 supplies hydraulic oil to the arm cylinder 5B.
  • a control command for reducing the flow rate of the arm flow rate control valve 23B is output.
  • the work machine control unit 303 supplies hydraulic oil to the bucket cylinder 5C.
  • a control command for reducing the flow rate of the bucket flow rate control valve 23C is output.
  • the image data transmission unit 305 transmits the image around the work machine 1 acquired by the image pickup device 30 to the control device 60.
  • the image data transmission unit 305 acquires the image P in the image pickup range M from the image pickup device 30.
  • the image data transmission unit 305 transmits the image P to the control device 60.
  • the sensor data transmission unit 306 transmits the detection data of the sensor 70 mounted on the work machine 1 to the control device 60.
  • the sensor 70 includes a position sensor 71 that detects the position of the work machine 1, a vehicle body posture sensor 72 that detects the posture of the swivel body 3, a work machine attitude sensor 73 that detects the posture of the work machine 4, and a hydraulic pressure. Includes a pressure sensor 74 that detects the pressure of the hydraulic fluid in the cylinder 5.
  • the communication device 7 communicates with the communication device 6 via the communication system 400.
  • the communication device 7 receives the operation signal of the remote control device 40 transmitted from the control device 60 via the communication device 6 and outputs the operation signal to the control device 300.
  • the communication device 7 transmits the image P of the imaging range M received from the image data transmission unit 305 to the communication device 6 at a remote location.
  • the communication device 7 includes an encoder that compresses the image data of the image P.
  • the image P is transmitted from the communication device 7 to the communication device 6 in a compressed state.
  • the communication device 7 uses the detection data of the position sensor 71, the detection data of the vehicle body attitude sensor 72, the detection data of the work equipment attitude sensor 73, and the detection data of the pressure sensor 74 received from the sensor data transmission unit 306 as a communication device at a remote location. Send to 6.
  • the communication device 6 communicates with the communication device 7 via the communication system 400.
  • the communication device 6 transmits an operation signal generated by operating the remote control device 40 to the communication device 7.
  • the communication device 6 receives the image P transmitted from the control device 300 via the communication device 7 and outputs the image P to the control device 60.
  • the communication device 6 includes a decoder that restores the image data of the compressed image P.
  • the image P is output from the communication device 6 to the control device 60 in the restored state.
  • the communication device 6 transmits the detection data of the position sensor 71, the detection data of the vehicle body attitude sensor 72, the detection data of the work equipment attitude sensor 73, and the detection data of the pressure sensor 74 transmitted from the control device 300 via the communication device 7. Receive and output to the control device 60.
  • the control device 60 includes an operation signal transmission unit 61, an image data reception unit 62, a sensor data reception unit 63, an image processing unit 64, a display control unit 65, and an alarm control unit 66.
  • the operation signal transmission unit 61 transmits an operation signal for remotely controlling the work machine 1.
  • an operation signal for remotely controlling the work machine 1 is generated.
  • the operation signal transmission unit 61 transmits the operation signal of the remote control device 40 to the control device 300.
  • the image data receiving unit 62 receives an image of the periphery of the work machine 1.
  • the image data receiving unit 62 receives the image P as an image around the work machine 1.
  • the image data receiving unit 62 acquires the image P restored by the decoder of the communication device 6.
  • the sensor data receiving unit 63 receives the detection data of the sensor 70.
  • the detection data of the sensor 70 includes the detection data related to the swivel body 3 and the detection data related to the working machine 4.
  • the sensor data receiving unit 63 includes the position detection data of the work machine 1 detected by the position sensor 71, the posture detection data of the swivel body 3 detected by the vehicle body posture sensor 72, and the work detected by the work machine posture sensor 73.
  • the attitude detection data of the machine 4 and the pressure detection data of the hydraulic oil of the hydraulic cylinder 5 detected by the pressure sensor 74 are received.
  • the image processing unit 64 divides the image P received by the image data receiving unit 62.
  • FIG. 8 is a diagram for explaining the processing of the image processing unit 64 according to the embodiment.
  • the image P is acquired by the image data receiving unit 62.
  • the image P is an image of the front space SP of the swivel body 3.
  • Image P shows a part of the working machine 4 including the bucket 4C. Further, the image P shows a work target in front of the swivel body 3. Further, the image P shows the handrail 3E of the upper deck 3D.
  • the image processing unit 64 divides the image P into a plurality of images.
  • the image processing unit 64 displays the image P on the image P11 for displaying on the central display 51, the image P12 for displaying on the left display 52, the image P13 for displaying on the right display 53, and the upper display 54. It is divided into an image P14 for display and an image P15 for display on the lower display 55.
  • the display control unit 65 causes the display device 50 to display an image around the work machine 1.
  • the display control unit 65 causes the display device 50 to display the image P as an image of the periphery of the work machine 1.
  • FIG. 9 is a diagram for explaining the processing of the display control unit 65 according to the embodiment.
  • the display control unit 65 causes the central display 51 to display the image P11 which is a part of the image P.
  • the display control unit 65 causes the left display 52 to display the image P12, which is a part of the image P.
  • the display control unit 65 causes the right display 53 to display the image P13 which is a part of the image P.
  • the display control unit 65 causes the image P14, which is a part of the image P, to be displayed on the upper display 54.
  • the display control unit 65 causes the lower display 55 to display the image P15 which is a part of the image P.
  • the display control unit 65 has a vehicle body data image P3 showing the posture of the swivel body 3, a work machine data image P4 showing the posture of the work machine 4, and a load data image P5 showing the weight of the load loaded on the dump truck. And the bucket data image P6 showing the position of the tip blade 4D of the bucket 4C is displayed on the display device 50.
  • the display control unit 65 calculates the tilt angle of the swivel body 3 with respect to the horizontal plane based on the detection data of the vehicle body posture sensor 72.
  • the display control unit 65 causes the display device 50 to display a symbol image showing the tilt angle of the swivel body 3 as the vehicle body data image P3.
  • the vehicle body data image P3 is displayed on the upper display 54.
  • the display control unit 65 calculates the posture of the work machine 4 based on the detection data of the work machine posture sensor 73.
  • the display control unit 65 causes the display device 50 to display an animation image showing the posture of the work machine 4 as the work machine data image P4.
  • the working machine data image P4 is displayed on the right display 53.
  • the display control unit 65 calculates the weight of the load loaded on the dump truck based on the detection data of the weight sensor (not shown) that detects the weight of the load held in the bucket 4C.
  • the display control unit 65 causes the display device 50 to display an indicator image showing the weight of the load as the load data image P5.
  • the cargo data image P5 is displayed on the right display 53.
  • a weight sensor for detecting the weight of the load loaded on the dump truck may be provided on the dump truck, and the detection data of the weight sensor may be transmitted to the control device 60.
  • the display control unit 65 calculates the vertical position of the tip blade 4D of the bucket 4C based on the detection data of the work equipment attitude sensor 73.
  • the display control unit 65 causes the display device 50 to display an indicator image indicating the vertical position of the tip blade 4D of the bucket 4C as the bucket data image P6.
  • the vertical position of the tip blade 4D means the height position from the ground GR.
  • the bucket data image P6 is displayed on the right display 53.
  • the alarm control unit 66 determines that the work machine 4 is approaching the end position of the movable range of the work machine 4 based on the posture detection data of the work machine 4 detected by the work machine attitude sensor 73. , Outputs an alarm control signal. That is, when the alarm control unit 66 determines that the piston of the hydraulic cylinder 5 is approaching the stroke end and the working machine 4 is approaching the end position of the movable range, the alarm control unit 66 outputs an alarm control signal.
  • the alarm control unit 66 determines that the work machine 4 is operating so as to approach the end position in the warning section based on the posture detection data of the work machine 4 detected by the work machine attitude sensor 73. , Outputs an alarm control signal. In the embodiment, when the alarm control unit 66 determines that the working machine 4 has moved from the intermediate section to the alarm section, the alarm control unit 66 starts outputting the alarm control signal.
  • the cushion control is started when the working machine 4 moves from the alarm section to the end section.
  • the alarm control unit 66 determines that the work machine 4 has moved from the intermediate section to the alarm section, the alarm control unit 66 starts outputting the alarm control signal before the cushion control is started.
  • the alarm control unit 66 operates so that the work machine 4 approaches the end position in the end section based on the posture detection data of the work machine 4 detected by the work machine attitude sensor 73. If it is determined, an alarm control signal is output. In the embodiment, when the alarm control unit 66 determines that the working machine 4 is moving toward the end position in each of the alarm section and the end section, the alarm control unit 66 continues to output the alarm control signal.
  • the work machine control unit 303 starts cushion control when it is determined by the stroke end determination unit 304 that the work machine 4 has moved from the alarm section to the end section.
  • the alarm control unit 66 outputs an alarm control signal when it is determined that the work machine 4 has reached the end position based on the posture detection data of the work machine 4 detected by the work machine attitude sensor 73. .. That is, in the embodiment, the alarm control unit 66 is used when the working machine 4 is moving toward the end position in each of the warning section and the end section, and when the working machine 4 reaches the end position. In each case, an alarm control signal is output.
  • FIG. 10 is a diagram for explaining the processing of the alarm control unit 66 according to the embodiment.
  • the alarm control unit 66 outputs an alarm control signal to the display device 50.
  • the display device 50 is provided at a remote location of the work machine 1 and outputs an alarm based on an alarm control signal from the alarm control unit 66.
  • the display device 50 functions as an alarm device.
  • the alarm control unit 66 blinks the work machine data image P4 as an alarm. ..
  • the alarm control unit 66 may blink the entire working machine data image P4, or may blink the background image of the working machine data image P4.
  • the alarm control unit 66 may change the color of the work machine 4 displayed on the display device 50 or blink the image of the work machine 4 as an alarm.
  • the color of the working machine 4 may be changed by changing the color of the entire working machine 4 or changing the color of a part of the working machine 4.
  • the alarm control unit 66 may change the color of the arm 4B.
  • the blinking of the image of the working machine 4 may be the blinking of the entire image of the working machine 4, or may be the blinking of a part of the image of the working machine 4.
  • the alarm control unit 66 may blink the image of the arm 4B.
  • the alarm control unit 66 may display computer graphics (CG: Computer Graphics) on the display device 50 as an alarm. For example, when the bucket 4C is close to the end position, the alarm control unit 66 may display the computer graphics showing the position and orientation of the bucket 4C on the display device 50 so as to be superimposed on the image P.
  • CG Computer Graphics
  • FIG. 11 is a flowchart showing a remote control method of the work machine 1 according to the embodiment.
  • step SB1 When the remote control device 40 is operated, an operation signal for remotely controlling the work machine 1 is transmitted from the operation signal transmission unit 61 of the control device 60 to the control device 300 (step SB1).
  • the image pickup device 30 takes an image of the image pickup range M.
  • the image data transmission unit 305 transmits the image P to the control device 60 via the communication device 7 and the communication system 400 (step SA1).
  • the work machine posture sensor 73 detects the posture of the work machine 4.
  • the sensor data transmission unit 306 transmits the posture detection data of the work machine 4 detected by the work machine attitude sensor 73 to the control device 60 via the communication device 7 and the communication system 400 (step SA2).
  • the sensor data transmission unit 306 performs not only the detection data of the work equipment attitude sensor 73 but also the detection data of the position sensor 71, the detection data of the vehicle body attitude sensor 72, and the detection data of the vehicle body attitude sensor 72 via the communication device 7 and the communication system 400.
  • the detection data of the pressure sensor 74 is transmitted to the control device 60.
  • step SA2 may be performed before the process of step SA1, or the process of step SA1 and the process of step SA2 may be performed in parallel.
  • the image data receiving unit 62 receives the image P transmitted from the work machine 1 via the communication device 6.
  • the image processing unit 64 divides the image P into an image P11, an image P12, an image P13, an image P14, and an image P15 (step SB2).
  • the display control unit 65 causes the display device 50 to display the image P (step SB3).
  • the stroke end determination unit 304 determines whether or not the work machine 4 is close to the end position in the end section of the movable range based on the detection data of the work machine attitude sensor 73 (step SA3).
  • step SA3 when it is determined that the working machine 4 is operating away from the end position in the end section, or when it is determined that the working machine 4 is not arranged in the end section (step SA3). : No), the control device 300 returns to the process of step SA1.
  • step SA3 When it is determined in step SA3 that the work machine 4 is operating so as to approach the end position in the end section (step SA3: Yes), the work machine control unit 303 performs cushion control (step). SA4).
  • the working machine control unit 303 outputs a control command for reducing the flow rate of the hydraulic oil supplied to the hydraulic cylinder 5 to the flow rate control valve 23. As a result, the speed of the working machine 4 operating so as to approach the end position in the end section is reduced.
  • the alarm control unit 66 determines whether or not the work machine 4 is approaching the end position in the alarm section of the movable range based on the detection data of the work machine attitude sensor 73 (step SB4).
  • step SB4 it is determined that the working machine 4 is operating away from the end position in the warning section, or that the working machine 4 is not arranged in each of the warning section and the end section. In the case (step SB4: No), the control device 60 returns to the process of step SB1.
  • step SB4 When it is determined in step SB4 that the working machine 4 is operating so as to approach the end position in the alarm section (step SB4: Yes), the alarm control unit 66 outputs an alarm control signal (step SB5). ).
  • step SA3 may be performed by the control device 60 of the remote control room 200.
  • the determination in step SB4 may be performed by the control device 300 of the work machine 1.
  • the alarm control unit 66 causes the display device 50 to output an alarm.
  • the operator at a remote location can recognize that the working machine 4 is operating so as to approach the end position by looking at the alarm output from the display device 50.
  • the movable range of the working machine 4 is determined based on the movable range of the rod of the hydraulic cylinder 5. That is, the end position of the movable range of the working machine 4 is defined based on the stroke end of the hydraulic cylinder 5, and when the hydraulic cylinder 5 reaches the stroke end, the working machine 4 reaches the end position of the movable range. And said. Based on the relative angle of the work equipment element consisting of the boom 4A, the arm 4B, and the bucket 4C, the work equipment element has a range of motion due to mechanical constraints of the work equipment 4 before the hydraulic cylinder 5 reaches the stroke end. May reach the end position.
  • the end position of the working machine element may be set based on the mechanism of the working machine 4.
  • the end section and the alarm section may be set based on the mechanism of the working machine 4.
  • the correlation (map data) between the relative angle between the first working machine element (for example, boom 4A) and the second working machine element (for example, arm 4B) and the end position of the third working machine element (for example, bucket 4C).
  • the stroke end determination unit 304 can move the third work machine element based on the detection data of the work machine attitude sensor 73 and the correlation obtained in advance. It can be determined whether or not it is close to the end position of the range.
  • FIG. 12 is a block diagram showing a computer system 1000 according to an embodiment.
  • the computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including a non-volatile memory such as a ROM (Read Only Memory) and a volatile memory such as a RAM (Random Access Memory). It has a storage 1003 and an interface 1004 including an input / output circuit.
  • the functions of the control device 60 and the functions of the control device 300 described above are stored in the storage 1003 as a computer program.
  • the processor 1001 reads a computer program from the storage 1003, expands it into the main memory 1002, and executes the above-mentioned processing according to the program.
  • the computer program may be distributed to the computer system 1000 via the network.
  • a computer program or computer system 1000 located at a remote location receives detection data of the posture of the work machine 4 according to the above-described embodiment, and based on the detection data, the work machine 4 is at the end of the movable range. When it is determined that the position is approaching or reached, the alarm control signal can be output to the alarm device.
  • the work machine 1 includes a communication device 6 for transmitting the detection data of the work machine posture sensor 73 to a remote place.
  • the operator at a remote location can recognize that an impact may act on the work machine 4 based on the detection data of the work machine attitude sensor 73.
  • the detection data of the work machine attitude sensor 73 is transmitted from the work machine 1 to a remote place.
  • an alarm is output at a remote place.
  • the operator at a remote location can recognize that the working machine 4 is approaching the end position. Therefore, the operator at a remote location can perform remote control so that an excessive impact does not act on the working machine 4.
  • An operator at a remote location can operate the remote control device 40, for example, so that the work machine 4 does not reach the end position.
  • cushion control is performed when the working machine 4 moves from the alarm section to the end section.
  • the impact acting on the working machine 4 is alleviated.
  • the working machine 4 may reach the end position against the intention of the operator at a remote place.
  • the possibility that the communication delay of the image data acquired by the image pickup apparatus 30 will occur is higher than the possibility that the communication delay of the operation signal of the remote control device 40 will occur. Even if the operator at a remote location operates the remote control device 40 so that the work machine 4 stops immediately before the end position while looking at the image displayed on the display device 50, the communication delay of the image data occurs.
  • the work machine 4 may reach the end position against the intention of the operator at a remote location.
  • cushion control is performed based on the detection data of the work equipment attitude sensor 73. As a result, even if the communication delay of the image data occurs, the impact on the working machine 4 is suppressed.
  • the output of the alarm control signal from the alarm control unit 66 is started, and the output of the alarm from the display device 50 is started. That is, the output of the alarm from the display device 50 is started before the cushion control of the working machine 4 is performed.
  • the operator at the remote location can more reliably perform the remote control without causing an excessive impact on the working machine 4.
  • the output of the alarm control signal from the alarm control unit 66 is continued, and the output of the alarm from the display device 50 is continued.
  • the operator at the remote location can recognize that the working machine 4 is approaching the end position in the end section.
  • the output of the alarm control signal from the alarm control unit 66 is continued, and the output of the alarm from the display device 50 is continued.
  • the operator at the remote location can recognize that the working machine 4 has reached the end position.
  • the stroke end determination unit 304 determines whether or not the work machine 4 exists in the end section of the movable range based on the detection data of the work machine posture sensor 73. ..
  • the stroke end determination unit 304 may determine whether or not the work machine 4 exists in the end section of the movable range based on the output of the proximity switch.
  • the proximity switch is a switch that operates when the working machine 4 moves to the end position of the movable range.
  • the alarm control unit 66 causes the display device 50 to output an alarm.
  • the alarm control unit 66 may output an alarm to, for example, at least a part of the first monitor device 501, the second monitor device 503, and the third monitor device 504.
  • the first monitor device 501, the second monitor device 503, and the third monitor device 504 "Be careful of lever operation", "Stroke end approaching", etc. Alarm message may be displayed.
  • the alarm control unit 66 may output a warning sound from the voice output device or the buzzer as an alarm.
  • the alarm control unit 66 may vibrate the control seat 45 as an alarm. That is, the alarm device does not have to be the display device 50, but may be at least one of a first monitor device 501, a second monitor device 503, a third monitor device 504, a voice output device, a buzzer, and a vibration generator.
  • the alarm control unit 66 outputs an alarm even before the work machine 4 reaches the end position.
  • the alarm control unit 66 may output an alarm when it is determined that the work machine 4 has reached the end position of the movable range based on the detection data of the work machine attitude sensor 73. That is, the alarm control unit 66 may output an alarm after the working machine 4 that operates so as to approach the end position reaches the end position.
  • the operator at the remote location can recognize that the work machine 4 has reached the end position and that the work machine 4 may have been impacted based on the alarm.
  • the computer program or computer system 1000 located at a remote location described with reference to FIG. 12 receives the detection data of the posture of the work machine 4, and the work machine 4 has a movable range based on the detection data. When it is determined that the end position has been reached, it is possible to output an alarm and execute.
  • cushion control may not be implemented in the above-described embodiment. For example, when the operator slowly operates the remote control device 40, the impact acting on the work machine 4 is small. Cushion control may not be performed when the cylinder speed of the rod is equal to or less than the speed threshold value.
  • FIG. 13 is a diagram for explaining the operation of the work machine 1 according to the embodiment.
  • an impact may act on the work machine 4.
  • the work machine 4 excavates the work target or when the work machine 1 lowers the work machine 4 to the work target, an impact may act on the work machine 4.
  • the working machine 4 may reach the end position, so that an impact may act on the working machine 4.
  • the alarm control unit 66 when the alarm control unit 66 determines that the level of the impact applied to the work machine 4 is equal to or higher than the threshold value based on the detection data related to the work machine 4 received by the sensor data receiving unit 63, the alarm control unit 66 gives an alarm. Output a control signal.
  • the threshold value related to the impact level is a predetermined value and is held in the alarm control unit 66.
  • the working machine 4 vibrates with an amplitude of a predetermined value or more. That is, when an impact acts on the working machine 4, the posture of the working machine 4 changes so as to reciprocate with an amplitude equal to or higher than the first threshold value.
  • the alarm control unit 66 can determine whether or not the impact level is equal to or higher than the threshold value based on the posture detection data of the work machine 4 detected by the work machine posture sensor 73.
  • the alarm control unit 66 can determine whether or not the impact level is equal to or higher than the threshold value based on the detection data of the hydraulic oil pressure detected by the pressure sensor 74.
  • the swivel body 3 vibrates in the pitch direction with an amplitude or acceleration of a predetermined value or more.
  • the alarm control unit 66 can determine whether or not the impact level is equal to or higher than the threshold value based on the detection data of the vehicle body posture sensor 72 including the inertial measurement unit (IMU) provided in the swivel body 3. ..
  • the working machine 4 vibrates at an acceleration of a predetermined value or more.
  • the alarm control unit 66 can determine whether or not the impact level is equal to or higher than the threshold value based on the detection data of the acceleration sensor.
  • FIG. 14 is a flowchart showing a remote control method of the work machine 1 according to the embodiment.
  • the alarm control unit 66 determines whether or not the impact level is equal to or higher than the threshold value based on the detection data of the hydraulic oil pressure detected by the pressure sensor 74.
  • the alarm control unit 66 has an impact level equal to or higher than the threshold value based on at least one of the detection data of the work equipment attitude sensor 73, the detection data of the vehicle body attitude sensor 72, and the detection data of the acceleration sensor. It is possible to determine whether or not it is.
  • an operation signal for remotely controlling the work machine 1 is transmitted from the operation signal transmission unit 61 of the control device 60 to the control device 300 (step SB11).
  • the image P is transmitted from the work machine 1 to the control device 60 (step SA11).
  • the detection data of the sensor 70 is transmitted from the work machine 1 to the control device 60.
  • the sensor data transmission unit 306 transmits at least the detection data of the hydraulic oil pressure of the hydraulic cylinder 5 detected by the pressure sensor 74 to the control device 60 via the communication device 7 and the communication system 400 (step). SA12).
  • step SA12 may be performed before the process of step SA11, or the process of step SA11 and the process of step SA12 may be performed in parallel.
  • the image data receiving unit 62 receives the image P transmitted from the work machine 1 via the communication device 6.
  • the image processing unit 64 divides the image P into an image P11, an image P12, an image P13, an image P14, and an image P15 (step SB12).
  • the display control unit 65 causes the display device 50 to display the image P (step SB13).
  • the alarm control unit 66 determines whether or not the level of the impact applied to the work machine 4 is equal to or higher than the threshold value based on the detection data of the pressure sensor 74 (step SB14).
  • step SB14 When it is determined in step SB14 that the level of the impact acting on the working machine 4 is less than the threshold value (step SB14: No), the control device 60 returns to the process of step SB12.
  • step SB14 When it is determined in step SB14 that the level of impact acting on the work equipment 4 is equal to or higher than the threshold value (step SB14: Yes), the alarm control unit 66 outputs an alarm control signal (step SB15).
  • step SB14 may be performed by the control device 300 of the work machine 1.
  • the computer program or the computer system 1000 located at the remote location described with reference to FIG. 12 receives the detection data related to the work machine 4, and based on the detection data, the work machine 4 receives the detection data.
  • the level of the applied impact is equal to or higher than the threshold value, it is possible to output an alarm control signal to the alarm device.
  • the control device 60 of the remote control room 200 functions as the alarm control unit 66.
  • the control device 300 of the work machine 1 may function as the alarm control unit 66.
  • the alarm control signal output from the alarm control unit 66 provided in the work machine 1 is transmitted to the remote control room 200 via the communication system 400, and based on the alarm control signal from the alarm control unit 66, the remote control room
  • the alarm device provided in 200 may output an alarm.
  • the work machine 1 is a loading shovel.
  • the work machine 1 may be a backhoe.
  • the work machine 1 may be any work machine having a work machine, and may be a bulldozer or a wheel loader.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業機械の遠隔操作システムは、遠隔地からの操作信号により動作する作業機械が有する作業機の姿勢の検出データを受信するセンサデータ受信部と、検出データに基づいて、作業機が可動範囲の端部位置に接近している又は到達したと判定した場合、警報制御信号を出力する警報制御部と、遠隔地に設けられ、警報制御部からの警報制御信号に基づいて、警報を出力する警報装置と、を備える。

Description

作業機械の遠隔操作システム
 本開示は、作業機械の遠隔操作システムに関する。
 作業機械に係る技術分野において、作業機械を遠隔操作する技術が知られている。作業機械の遠隔操作において、作業機械が稼働する作業現場の画像が撮像装置により撮像される。撮像装置により撮像された画像は、遠隔地に送信され、遠隔地に配置されている表示装置に表示される。遠隔地の操作者は、表示装置に表示された画像を見ながら、作業機械を遠隔操作する。特許文献1には、撮像装置が旋回体の運転室に配置され、運転室の前方の画像を撮像する技術が開示されている。
特開2019-068236号公報
 作業機械は、作業機を用いて作業を実施する。作業機を用いる作業において、作業機に衝撃が作用する可能性がある。遠隔地の操作者は、作業機に作用する衝撃を認識することが困難である。そのため、遠隔地の操作者は、作業機に過度な衝撃が作用する遠隔操作を実施してしまう可能性がある。作業機に過度な衝撃が作用すると、作業機の劣化が促進される可能性がある。
 本開示は、作業機に衝撃が作用することを遠隔地の操作者に認識させることを目的とする。
 本開示に従えば、遠隔地からの操作信号により動作する作業機械が有する作業機の姿勢の検出データを受信するセンサデータ受信部と、前記検出データに基づいて、前記作業機が可動範囲の端部位置に接近している又は到達したと判定した場合、警報制御信号を出力する警報制御部と、前記遠隔地に設けられ、前記警報制御部からの前記警報制御信号に基づいて、警報を出力する警報装置と、を備える、作業機械の遠隔操作システムが提供される。
 本開示によれば、作業機に衝撃が作用することを遠隔地の操作者に認識させることができる。
図1は、実施形態に係る作業機械の遠隔操作システムを示す模式図である。 図2は、実施形態に係る作業機械を示す斜視図である。 図3は、実施形態に係る作業機械を示す側面図である。 図4は、実施形態に係る遠隔操作室を示す図である。 図5は、実施形態に係る作業機械の油圧システムを示す模式図である。 図6は、実施形態に係る作業機械の遠隔操作システムを示す機能ブロック図である。 図7は、実施形態に係る作業機要素の可動範囲を説明するための模式図である。 図8は、実施形態に係る第1画像処理部の処理を説明するための図である。 図9は、実施形態に係る表示制御部の処理を説明するための図である。 図10は、実施形態に係る警報制御部の処理を説明するための図である。 図11は、実施形態に係る作業機械の遠隔操作方法を示すフローチャートである。 図12は、実施形態に係るコンピュータシステムを示すブロック図である。 図13は、実施形態に係る作業機械の動作を説明するための図である。 図14は、実施形態に係る作業機械の遠隔操作方法を示すフローチャートである。
 以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
 実施形態においては、「左」、「右」、「前」、「後」、「上」、及び「下」の用語を用いて各部の位置関係について説明する。これらの用語は、作業機械1の旋回体3の中心を基準とした相対位置又は方向を示す。
[第1実施形態]
<遠隔操作システム>
 図1は、実施形態に係る作業機械1の遠隔操作システム100を示す模式図である。遠隔操作システム100は、作業現場で稼動する作業機械1を遠隔操作する。作業現場として、鉱山又は採石場が例示される。
 遠隔操作システム100の少なくとも一部は、遠隔操作室200に配置される。遠隔操作室200は、作業現場から離れた遠隔地に設置される。遠隔操作システム100は、遠隔操作装置40と、表示装置50と、制御装置60とを備える。
 遠隔操作装置40は、遠隔操作室200に配置される。遠隔操作装置40は、遠隔操作室200において操作者に操作される。操作者は、操縦シート45に着座した状態で、遠隔操作装置40を操作することができる。
 表示装置50は、遠隔操作室200に配置される。表示装置50は、作業現場の画像を表示する。遠隔操作室200の操作者は、作業現場の状況を直接視認することができない。遠隔操作室200の操作者は、表示装置50を介して作業現場の状況を視認することができる。
 操作者は、表示装置50に表示される作業現場の画像を見ながら、遠隔操作装置40を操作する。作業機械1は、遠隔操作装置40によって遠隔操作される。
 制御装置60は、遠隔操作室200に配置される。制御装置60は、コンピュータシステムを含む。
 作業機械1は、制御装置300を備える。制御装置300は、コンピュータシステムを含む。
 制御装置60と制御装置300とは、通信システム400を介して通信する。通信システム400として、インターネット(internet)、ローカルエリアネットワーク(LAN:Local Area Network)、携帯電話通信網、及び衛星通信網が例示される。通信システム400は、通信されるデータを中継する中継局を含んでもよい。
<作業機械>
 図2は、実施形態に係る作業機械1を示す斜視図である。図3は、実施形態に係る作業機械1を示す側面図である。実施形態においては、作業機械1が積込機械の一種である油圧ショベルであることとする。作業機械1は、作業現場において稼働する。作業機械1は、例えば作業現場の積込場において稼働する。作業機械1は、作業対象の掘削作業を実施する。作業対象として、土砂又は鉱石が例示される。また、作業現場において、運搬車両の一種であるダンプトラックが稼働する。作業機械1は、ダンプトラックに積荷を積み込む積込作業を実施する。積荷として、掘削作業により掘削された掘削物が例示される。
 図2及び図3に示すように、作業機械1は、走行体2と、走行体2に支持される旋回体3と、旋回体3に取り付けられる作業機4と、作業機4を駆動する油圧シリンダ5と、作業機械1の位置を検出する位置センサ71と、旋回体3の姿勢を検出する車体姿勢センサ72と、作業機4の姿勢を検出する作業機姿勢センサ73と、撮像装置30とを備える。
 走行体2は、旋回体3を支持した状態で走行する。旋回体3は、作業機械1の車体である。走行体2は、旋回体3の下方に配置される。走行体2は、旋回体3を旋回可能に支持する。走行体2は、駆動輪2Aと、従動輪2Bと、駆動輪2A及び従動輪2Bに支持される履帯2Cとを有する。駆動輪2A及び従動輪2Bのそれぞれは、回転軸DXを中心に回転する。駆動輪2A、従動輪2B、及び履帯2Cのそれぞれは、一対設けられる。駆動輪2Aの回転により、履帯2Cが回転する。履帯2Cが回転することにより、走行体2が走行する。
 旋回体3は、走行体2に支持された状態で旋回軸RXを中心に旋回可能である。旋回軸RXは、上下方向に延伸する。旋回体3は、運転室3Aと、ロアデッキ3Bと、ステップ3Cと、アッパデッキ3Dとを有する。運転室3Aは、作業者が搭乗可能な旋回体3の内部空間である。運転室3Aは、旋回体3の前部且つ上部に配置される。ロアデッキ3Bは、旋回体3の後部且つ下部に配置される。アッパデッキ3Dは、旋回体3の前部且つ上部に配置される。ステップ3Cは、ロアデッキ3Bとアッパデッキ3Dとを繋ぐ。アッパデッキ3Dは、運転室3Aを囲むように配置される。アッパデッキ3Dの少なくとも一部は、運転室3Aの前方に配置される。ロアデッキ3B、ステップ3C、及びアッパデッキ3Dのそれぞれに、柵状の手すり3Eが配置される。
 ロアデッキ3B、ステップ3C、及びアッパデッキ3Dのそれぞれは、作業者が通行可能な通路を含む。作業者は、ロアデッキ3B、ステップ3C、及びアッパデッキ3Dを通行して、運転室3Aに搭乗することができる。
 また、旋回体3は、ラダー3Fを有する。ラダー3Fは、アッパデッキ3Dに繋がる。
 作業機4は、旋回体3の前部に取り付けられる。作業機4は、旋回軸RXよりも前方に配置される。作業機4は、前方に延伸するように動作することができる。作業機4は、旋回体3に連結されるブーム4Aと、ブーム4Aに連結されるアーム4Bと、アーム4Bに連結されるバケット4Cとを含む。ブーム4Aの基端部は、ピンを介して旋回体3の前部に連結される。アーム4Bの基端部は、ピンを介してブーム4Aの先端部に連結される。バケット4Cの基端部は、ピンを介してアーム4Bの先端部に連結される。バケット4Cは、先端刃4Dを有する。バケット4Cにより作業対象が掘削される。
 ブーム4Aは、ブーム回転軸AXを中心に回転可能に旋回体3の前部に連結される。アーム4Bは、アーム回転軸BXを中心に回転可能にブーム4Aに連結される。バケット4Cは、バケット回転軸CXを中心に回転可能にアーム4Bに連結される。
 ブーム回転軸AXとアーム回転軸BXとバケット回転軸CXとは、平行である。ブーム回転軸AX、アーム回転軸BX、及びバケット回転軸CXのそれぞれは、旋回体3の車幅方向に延伸する。
 実施形態において、作業機械1は、ローディングショベルである。ローディングショベルとは、バケット4Cの先端刃4Dが前方を向くようにバケット4Cがアーム4Bに取り付けられている油圧ショベルをいう。
 油圧シリンダ5は、ブーム4Aを駆動するブームシリンダ5Aと、アーム4Bを駆動するアームシリンダ5Bと、バケット4Cを駆動するバケットシリンダ5Cとを含む。ブームシリンダ5Aの基端部は、旋回体3に連結される。ブームシリンダ5Aの先端部は、ブーム4Aに連結される。アームシリンダ5Bの基端部は、ブーム4Aに連結される。アームシリンダ5Bの先端部は、アーム4Bに連結される。バケットシリンダ5Cの基端部は、ブーム4Aに連結される。バケットシリンダ5Cの先端部は、バケット4Cに連結される。
 位置センサ71は、作業機械1の位置を検出する。位置センサ71は、全地球航法衛星システム(Global Navigation Satellite System:GNSS)を利用して作業機械1の絶対位置を検出する。位置センサ71は、旋回体3に設けられたGNSS受信機を含む。
 車体姿勢センサ72は、旋回体3の姿勢を検出する。旋回体3の姿勢は、水平面に対する旋回体3の傾斜角度(ロール、ピッチ)を含む。車体姿勢センサ72は、旋回体3に設けられた慣性計測装置(IMU:Inertial Measurement Unit)を含む。
 作業機姿勢センサ73は、作業機4の姿勢を検出する。作業機4の姿勢は、作業機4の角度を含む。作業機姿勢センサ73は、旋回体3に対するブーム4Aの角度を検出するブーム姿勢センサ73Aと、ブーム4Aに対するアーム4Bの角度を検出するアーム姿勢センサ73Bと、アーム4Bに対するバケット4Cの角度を検出するバケット姿勢センサ73Cとを含む。
 実施形態において、作業機姿勢センサ73は、油圧シリンダ5に配置されたストロークセンサである。油圧シリンダ5は、シリンダチューブと、シリンダチューブの内側で移動するピストンと、ピストンに接続されるロッドとを有する。ストロークセンサは、ロッドの移動距離を示す油圧シリンダ5のストローク長を検出する。ストローク長とは、油圧シリンダ5のストロークエンドからのロッドの移動距離をいう。ストロークエンドとは、ロッドの可動範囲の端部位置をいう。すなわち、ストロークエンドとは、油圧シリンダ5が最も縮んだ状態のロッドの位置又は油圧シリンダ5が最も伸びた状態のロッドの位置をいう。
 ブーム姿勢センサ73Aは、ブームシリンダ5Aに配置されたストロークセンサである。ブーム姿勢センサ73Aは、ブームシリンダ5Aのストローク長を検出する。
 アーム姿勢センサ73Bは、アームシリンダ5Bに配置されたストロークセンサである。アーム姿勢センサ73Bは、アームシリンダ5Bのストローク長を検出する。
 バケット姿勢センサ73Cは、バケットシリンダ5Cに配置されたストロークセンサである。バケット姿勢センサ73Cは、バケットシリンダ5Cのストローク長を検出する。
 撮像装置30は、作業現場を撮像して作業現場の画像を取得する。撮像装置30は、旋回体3に配置される。撮像装置30は、旋回体3に固定される。
 撮像装置30により取得される作業現場の画像として、作業機械1の作業対象の画像、作業機械1の少なくとも一部の画像、作業現場に存在する構造物の画像、作業機械1とは別の作業機械の画像、及び作業現場で働く作業者の画像が例示される。実施形態において、作業機械1の作業対象の画像は、作業機4の掘削対象の画像を含む。
 撮像装置30は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。
 実施形態において、撮像装置30は、撮像範囲Mを撮像する。撮像範囲Mは、作業機械1の作業対象を含むように設定される。
 実施形態において、上下方向は、旋回軸RXと平行な方向である。左右方向は、ブーム回転軸AXと平行な方向である。前後方向は、ブーム回転軸AX及び旋回軸RXの両方と直交する方向である。走行体2の接地面を基準として旋回体3が存在する方向が上方であり、上方の逆方向が下方である。旋回軸RXを基準として左右方向の一方が右方であり、右方の逆方向が左方である。旋回軸RXを基準として作業機4が存在する方向が前方であり、前方の逆方向が後方である。
 実施形態において、撮像装置30は、運転室3Aに配置される。撮像装置30の光学系の光軸OAは、前後方向に延伸する。
 以下の説明において、撮像装置30により撮像された撮像範囲Mの画像を適宜、画像P、と称する。
<遠隔操作室>
 図4は、実施形態に係る遠隔操作室200を示す図である。図4に示すように、遠隔操作室200に遠隔操作装置40及び表示装置50が配置される。
 遠隔操作装置40は、操縦シート45に着座した操作者に操作される。操作者は、表示装置50の表示画面と正対するように操縦シート45に着座する。操作者は、表示装置50の表示画面を見ながら、遠隔操作装置40を操作する。
 遠隔操作装置40が操作されることにより生成された操作信号は、制御装置60及び通信システム400を介して作業機械1の制御装置300に送信される。制御装置300は、通信システム400を介して取得した操作信号に基づいて、作業機械1を動作させる。作業機械1は、作業機械1の遠隔地からの操作信号により動作する。作業機械1の動作は、走行体2の動作、旋回体3の動作、及び作業機4の動作の少なくとも一つを含む。
 走行体2の動作は、走行体2の前進動作及び後進動作を含む。旋回体3の動作は、旋回体3の左旋回動作及び右旋回動作を含む。作業機4の動作は、ブーム4Aの上げ動作、ブーム4Aの下げ動作、アーム4Bのダンプ動作、アーム4Bの掘削動作、バケット4Cの掘削動作、及びバケット4Cのダンプ動作を含む。
 遠隔操作装置40は、旋回体3及び作業機4の動作のために操作される左作業レバー41及び右作業レバー42と、走行体2の動作のために操作される左走行ペダル43及び右走行ペダル44とを含む。
 左作業レバー41は、操縦シート45の左方に配置される。右作業レバー42は、操縦シート45の右方に配置される。一例として、左作業レバー41が前後方向に操作されることにより、アーム4Bがダンプ動作又は掘削動作する。左作業レバー41が左右方向に操作されることにより、旋回体3が左旋回動作又は右旋回動作する。右作業レバー42が左右方向に操作されることにより、バケット4Cが掘削動作又はダンプ動作する。右作業レバー42が前後方向に操作されることにより、ブーム4Aが下げ動作又は上げ動作する。なお、左作業レバー41が前後方向に操作されたときに旋回体3が右旋回動作又は左旋回動作し、左作業レバー41が左右方向に操作されたときにアーム4Bがダンプ動作又は掘削動作してもよい。左作業レバー41の操作方向及び右作業レバー42の操作方向と作業機4の動作との関係は任意である。
 左走行ペダル43及び右走行ペダル44は、操縦シート45の前側下方に配置される。左走行ペダル43は、右走行ペダル44の左方に配置される。左走行ペダル43が操作されることにより、走行体2の左側の履帯2Cが前進動作又は後進動作する。右走行ペダル44が操作されることにより、走行体2の右側の履帯2Cが前進動作又は後進動作する。
 また、遠隔操作室200には、作業機械1の稼働状況を示す作業機械稼働データを表示する第1モニタ装置501と、作業機械1に搭載されている電気機器を作動させるために操作される操作スイッチ502とが配置される。第1モニタ装置501は、作業機械稼働データとして、例えば作業機械1に搭載されているエンジンの燃料の残量、エンジンの冷却液の温度、油圧シリンダ5を駆動するための作動油の温度、及び走行体2の走行速度を表示する。操作スイッチ502は、作業機械1に搭載されている電気機器として、例えば作業機械1に設けられている前照灯を作動させる。
 表示装置50は、作業機械1から送信された画像Pを表示する。画像Pは、制御装置300及び通信システム400を介して、遠隔操作システム100の制御装置60に送信される。制御装置60は、通信システム400を介して取得した画像Pを表示装置50に表示させる。
 表示装置50は、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイを含む。実施形態において、表示装置50は、隣接するように配置された複数のフラットパネルディスプレイを含む。実施形態において、表示装置50は、中央ディスプレイ51と、中央ディスプレイ51の左側に配置される左ディスプレイ52と、中央ディスプレイ51の右側に配置される右ディスプレイ53と、中央ディスプレイ51の上側に配置される上ディスプレイ54と、中央ディスプレイ51の下側に配置される下ディスプレイ55とを含む。
 表示装置50に表示される画像Pは、操作者が作業機械1の運転室3Aに設けられている運転シートに着座したと仮定したときの操作者の前方空間の視界に相当する画像である。遠隔操作室200の操作者は、作業機械1の運転シートに実際に着座している感覚を得ることができる。
 遠隔操作室200の操作者は、遠隔操作装置40を操作して作業機4を動作させて、作業対象を掘削する。作業機4のバケット4Cにより掘削された掘削物は、積荷としてダンプトラックに積み込まれる。
 実施形態において、ダンプトラックは、作業現場の管制施設から送信される制御指令に基づいて走行する無人ダンプトラックである。遠隔操作室200には、作業現場における無人ダンプトラックの稼働状況を示すダンプトラック稼働データを表示する第2モニタ装置503が配置される。無人ダンプトラックには、無人ダンプトラックの位置データを検出する位置センサが配置される。位置センサは、全地球航法衛星システム(Global Navigation Satellite System:GNSS)を利用して無人ダンプトラックの絶対位置を検出する。第2モニタ装置503は、ダンプトラック稼働データとして、作業現場で稼動する複数の無人ダンプトラックのそれぞれの位置を表示する。また、操作者は、第2モニタ装置503に設けられている入力装置を操作して、無人ダンプトラックを停車させたり発車させたりすることができる。
 また、遠隔操作室200には、作業機4のガイダンスデータを表示する第3モニタ装置504が配置される。ガイダンスデータとして、作業対象の目標設計面と作業機4との相対距離、作業対象の形状、及び作業対象の鉱石分布が例示される。
<油圧システム>
 図5は、実施形態に係る作業機械1の油圧システム20を示す模式図である。図5に示すように、油圧システム20は、油圧ポンプ21と、油圧ポンプ21から供給された作動油に基づいて作業機4を駆動する油圧シリンダ5と、油圧ポンプ21に接続されるポンプ流路22と、ポンプ流路22を介して油圧シリンダ5に供給される作動油の流量を調整する流量制御弁23と、油圧シリンダ5の作動油の圧力を検出する圧力センサ74とを備える。
 油圧ポンプ21は、作業機械1の動力源から伝達された動力により駆動する。作業機械1の動力源として、ディーゼルエンジン又は電動モータが例示される。油圧ポンプ21は、作動油を吐出する。実施形態において、油圧ポンプ21は、可変容量型油圧ポンプである。
 油圧シリンダ5は、油圧ポンプ21から供給された作動油に基づいて作業機4を動作させる。作業機4は、所定の可動範囲で動作する。油圧シリンダ5は、ブーム4Aを動作させるブームシリンダ5Aと、アーム4Bを動作させるアームシリンダ5Bと、バケット4Cを動作させるバケットシリンダ5Cとを含む。
 油圧シリンダ5は、ボトム室BRとロッド室RRとを有する。ボトム室BRに作動油が供給されることにより、油圧シリンダ5は伸びる。ロッド室RRに作動油が供給されることにより、油圧シリンダ5は縮む。
 流量制御弁23は、油圧シリンダ5に供給される作動油の流量を調整する。流量制御弁23は、ブームシリンダ5Aに供給される作動油の流量を調整するブーム流量制御弁23Aと、アームシリンダ5Bに供給される作動油の流量を調整するアーム流量制御弁23Bと、バケットシリンダ5Cに供給される作動油の流量を調整するバケット流量制御弁23Cとを含む。
 流量制御弁23は、ポンプポートPaと、ボトムポートPbと、ロッドポートPcと、タンクポートPdとを有する。
 ポンプポートPaは、供給流路24及びポンプ流路22を介して油圧ポンプ21に接続される。ボトムポートPbは、ボトム流路25を介して油圧シリンダ5のボトム室BRに接続される。ロッドポートPcは、ロッド流路26を介して油圧シリンダ5のロッド室RRに接続される。タンクポートPdは、排出流路27を介してタンク28に接続される。
 油圧ポンプ21から吐出された作動油は、ポンプ流路22及び供給流路24を流通した後、ポンプポートPaから流量制御弁23に流入することができる。ボトムポートPbから流出した作動油は、ボトム流路25を流通した後、油圧シリンダ5のボトム室BRに流入することができる。また、油圧シリンダ5のボトム室BRから流出した作動油は、ボトム流路25を流通した後、ボトムポートPbから流量制御弁23に流入することができる。ロッドポートPcから流出した作動油は、ロッド流路26を流通した後、油圧シリンダ5のロッド室RRに流入することができる。また、油圧シリンダ5のロッド室RRから流出した作動油は、ロッド流路26を流通した後、ロッドポートPcから流量制御弁23に流入することができる。タンクポートPdから流出した作動油は、排出流路27を流通した後、タンク28に排出される。
 流量制御弁23は、ロッド状のスプールを移動させて油圧シリンダ5に供給される作動油の流量及び方向を切り換えるスライドスプール方式の流量制御弁である。スプールが軸方向に移動することにより、ボトム室BRに対する作動油の供給とロッド室RRに対する作動油の供給とが切り換わる。また、スプールの移動量に基づいて、油圧シリンダ5に供給される作動油の流量が調整される。
 流量制御弁23のスプールは、油圧シリンダ5のボトム室BRに作動油を供給する第1作動位置Q1と、油圧シリンダ5のロッド室RRに作動油を供給する第2作動位置Q2と、第1作動位置Q1と第2作動位置Q2との間に配置され作動油を流通させない停止位置Q3とに移動する。
 流量制御弁23のスプールが第1作動位置Q1に配置されると、油圧ポンプ21から吐出された作動油は、ポンプ流路22及び供給流路24を流通した後、ポンプポートPaから流量制御弁23に流入し、ボトムポートPbから流出する。ボトムポートPbから流出した作動油は、ボトム流路25を流通した後、油圧シリンダ5のボトム室BRに流入する。これにより、油圧シリンダ5は、伸びる。油圧シリンダ5が伸びると、ロッド室BRから作動油が流出する。油圧シリンダ5のロッド室BRから流出した作動油は、ロッド流路26を流通した後、ロッドポートPcから流量制御弁23に流入し、タンクポートPdから流出する。タンクポートPdから流出した作動油は、排出流路27を介してタンク28に排出される。
 流量制御弁23のスプールが第2作動位置Q2に配置されると、油圧ポンプ21から吐出された作動油は、ポンプ流路22及び供給流路24を流通した後、ポンプポートPaから流量制御弁23に流入し、ロッドポートPcから流出する。ロッドポートPcから流出した作動油は、ロッド流路26を流通した後、油圧シリンダ5のロッド室RRに流入する。これにより、油圧シリンダ5は、縮む。油圧シリンダ5が縮むと、ボトム室BRから作動油が流出する。油圧シリンダ5のボトム室BRから流出した作動油は、ボトム流路25を流通した後、ボトムポートPbから流量制御弁23に流入し、タンクポートPdから流出する。タンクポートPdから流出した作動油は、排出流路27を介してタンク28に排出される。
 流量制御弁23のスプールが停止位置Q3に配置されると、作動油は、流量制御弁23を流通することができない。油圧シリンダ5は、伸縮しない。
 圧力センサ74は、油圧シリンダ5の作動油の圧力を検出する。圧力センサ74は、ブームシリンダ5Aの作動油の圧力を検出するブーム圧力センサ74Aと、アームシリンダ5Bの作動油の圧力を検出するアーム圧力センサ74Bと、バケットシリンダ5Cの作動油の圧力を検出するバケット圧力センサ74Cとを含む。
 実施形態において、圧力センサ74は、油圧シリンダ5に供給される作動油の圧力を検出する。圧力センサ74は、ボトム流路25及びロッド流路26のそれぞれに設けられる。ロッド室RRに作動油が供給され、油圧シリンダ5が縮む場合、ロッド流路26に設けられている圧力センサ74が、油圧シリンダ5に供給される作動油の圧力を検出する。ボトム室BRに作動油が供給され、油圧シリンダ5が伸びる場合、ボトム流路25に設けられている圧力センサ74が、油圧シリンダ5に供給される作動油の圧力を検出する。なお、圧力センサ74は、ボトム室BR及びロッド室RRのそれぞれに設けられてもよい。
<制御装置>
 図6は、実施形態に係る作業機械1の遠隔操作システム100を示す機能ブロック図である。図6に示すように、遠隔操作システム100は、遠隔地に配置される通信装置6と、通信装置6に接続される制御装置60と、制御装置60に接続される遠隔操作装置40と、制御装置60に接続される表示装置50とを備える。また、遠隔操作システム100は、作業機械1に配置される通信装置7と、通信装置7に接続される制御装置300と、制御装置300に接続される撮像装置30と、制御装置300に接続されるセンサ70と、制御装置300により制御される走行体2と、制御装置300により制御される旋回体3と、制御装置300により制御される油圧シリンダ5とを備える。センサ70は、位置センサ71と、車体姿勢センサ72と、作業機姿勢センサ73と、圧力センサ74とを含む。
 制御装置300は、走行体制御部301と、旋回体制御部302と、作業機制御部303と、ストロークエンド判定部304と、画像データ送信部305と、センサデータ送信部306とを有する。
 走行体制御部301は、制御装置60から送信された遠隔操作装置40の操作信号を受信する。走行体制御部301は、遠隔操作装置40の操作信号に基づいて、走行体2の動作を制御する制御信号を出力する。
 旋回体制御部302は、制御装置60から送信された遠隔操作装置40の操作信号を受信する。旋回体制御部302は、遠隔操作装置40の操作信号に基づいて、旋回体3の動作を制御する制御信号を出力する。
 作業機制御部303は、制御装置60から送信された遠隔操作装置40の操作信号を受信する。作業機制御部303は、遠隔操作装置40の操作信号に基づいて、作業機4の動作を制御する制御信号を出力する。作業機4の動作を制御する制御信号は、油圧シリンダ5の動作を制御する制御信号を含む。油圧シリンダ5の動作を制御する制御信号は、流量制御弁23を制御する制御信号を含む。
 ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4の角度を算出する。作業機4の角度と油圧シリンダ5のストローク長とは相関する。ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて演算処理を実施して、作業機4の角度を算出することができる。ストロークエンド判定部304は、ブーム姿勢センサ73Aの検出データに基づいて演算処理を実施して、旋回体3に対するブーム4Aの角度を算出することができる。ストロークエンド判定部304は、アーム姿勢センサ73Bの検出データに基づいて演算処理を実施して、ブーム4Aに対するアーム4Bの角度を算出することができる。ストロークエンド判定部304は、バケット姿勢センサ73Cの検出データに基づいて演算処理を実施して、アーム4Bに対するバケット4Cの角度を算出することができる。
 また、ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、油圧シリンダ5のシリンダ位置を算出することができる。シリンダ位置とは、油圧シリンダ5のストロークエンドに対するロッドの相対位置をいう。上述のように、ストロークエンドとは、ロッドの可動範囲の端部位置をいう。ストロークエンド判定部304は、ブーム姿勢センサ73Aの検出データに基づいて演算処理を実施して、ブームシリンダ5Aのシリンダ位置を算出することができる。ストロークエンド判定部304は、アーム姿勢センサ73Bの検出データに基づいて演算処理を実施して、アームシリンダ5Bのシリンダ位置を算出することができる。ストロークエンド判定部304は、バケット姿勢センサ73Cの検出データに基づいて演算処理を実施して、バケットシリンダ5Cのシリンダ位置を算出することができる。
 また、ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、油圧シリンダ5のストローク長を算出することができる。上述のように、ストローク長とは、油圧シリンダ5のストロークエンドからのロッドの移動距離をいう。
 また、ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、油圧シリンダ5のシリンダ速度を算出することができる。シリンダ速度とは、油圧シリンダ5のシリンダチューブに対するロッドの速度をいう。ストロークエンド判定部304は、ブーム姿勢センサ73Aの検出データに基づいて演算処理を実施して、ブームシリンダ5Aのシリンダ速度を算出することができる。ストロークエンド判定部304は、アーム姿勢センサ73Bの検出データに基づいて演算処理を実施して、アームシリンダ5Bのシリンダ速度を算出することができる。ストロークエンド判定部304は、バケット姿勢センサ73Cの検出データに基づいて演算処理を実施して、バケットシリンダ5Cのシリンダ速度を算出することができる。
 すなわち、実施形態において、作業機姿勢センサ73は、作業機4の角度センサ、油圧シリンダ5のシリンダ位置センサ、油圧シリンダ5のストローク長センサ、及び油圧シリンダ5のシリンダ速度センサの少なくとも一つとして機能することができる。
 なお、作業機姿勢センサ73は、ポテンショメータのような作業機4の角度を検出可能な角度センサを含んでもよい。また、作業機姿勢センサ73は、作業機4に設けられた慣性計測装置(IMU:Inertial Measurement Unit)でもよい。
 ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部位置に接近しているか否かを判定する。
 図7は、実施形態に係る作業機4の可動範囲を説明するための模式図である。作業機4は、相対移動可能な複数の作業機要素を含む。作業機4の作業機要素は、ブーム4A、アーム4B、及びバケット4Cを含む。以下の説明において、作業機4の可動範囲は、作業機要素の可動範囲であることとする。
 作業機4は、油圧シリンダ5のストロークにより定められる可動範囲において移動することができる。作業機4の可動範囲は、油圧シリンダ5のロッドの可動範囲に基づいて定められる。作業機4の可動範囲の端部位置は、油圧シリンダ5のストロークエンドに基づいて規定される。油圧シリンダ5がストロークエンドに到達すると、作業機4は可動範囲の端部位置に到達する。
 実施形態において、作業機4の可動範囲に、端部区間、警報区間、及び中間区間が規定される。端部区間とは、端部位置を含む可動範囲の一部の区間をいう。中間区間とは、可動範囲の中央位置を含む可動区間の一部の区間をいう。警報区間とは、端部区間と中央位置との間の可動範囲の一部の区間をいう。実施形態において、警報区間とは、端部区間と中間区間との間の区間をいう。警報区間は、端部区間及び中間区間のそれぞれに隣接するように規定される。後述するように、作業機4が警報区間において端部位置に接近している場合、遠隔地において警報が出力される。
 なお、警報区間は、端部区間に含まれてもよい。警報区間は、省略されてもよい。
 可動範囲に対する端部区間の長さの比率は、任意に設定可能である。端部区間は、可動範囲の1[%]以上20[%]以下の任意の比率でもよい。同様に、可動範囲に対する警報区間の長さの比率は、任意に設定可能である。警報区間は、可動範囲の1[%]以上20[%]以下の任意の比率でもよい。端部区間の長さは、中間区間の長さよりも短い。
 ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部位置を含む端部区間に存在するか否かを判定する。作業機4の可動範囲の端部位置は、油圧シリンダ5のストロークエンドに基づいて規定される。作業機4の可動範囲の端部区間は、油圧シリンダ5のストローク長に基づいて規定される。ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部区間に存在するか否かを判定することができる。
 同様に、ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部区間と中央位置との間の警報区間に存在するか否かを判定することができる。ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の中央位置を含む中間区間に存在するか否かを判定することができる。
 実施形態において、作業機制御部303は、クッション制御を実施する。クッション制御とは、油圧シリンダ5のロッドがストロークエンドに接近したときにロッドを減速させる制御をいう。クッション制御においては、作業機制御部303は、遠隔操作装置40により生成された操作信号に基づくシリンダ速度よりもロッドを減速させる。クッション制御においては、油圧シリンダ5のロッドとストロークエンドとの距離が短くなるほど、ロッドの速度が減少される。クッション制御により、油圧シリンダ5のロッドがストロークエンドに到達したときの衝撃が緩和される。
 作業機制御部303は、ストロークエンド判定部304により作業機4が可動範囲の端部位置に接近していると判定された場合、油圧シリンダ5に供給される作動油の流量を減少させる制御指令を流量制御弁23に出力する。これにより、端部位置に接近する作業機4の速度を減少させるクッション制御が実施される。クッション制御においては、作業機4と端部位置との距離が短くなるほど、作業機4の速度が減少される。なお、作業機4の速度は、作業機4と端部位置との距離が短くなるほど漸次減少されてもよいし、段階的に減少されてもよい。なお、クッション制御において、作業機4が端部位置に到達するときに、作業機4の速度がゼロになってもよいし、ゼロにならなくてもよい。
 実施形態において、クッション制御は、作業機4が端部区間に配置され、且つ、作業機4が端部位置に接近するように動作するときに実施される。すなわち、作業機制御部303は、ストロークエンド判定部304により、作業機4が端部区間において端部位置に接近していると判定された場合、油圧シリンダ5に供給される作動油の流量を減少させる制御指令を流量制御弁23に出力する。これにより、作業機4が端部区間において端部位置に接近している場合、作業機4の速度を減少させるクッション制御が実施される。
 例えば、作業機制御部303は、ストロークエンド判定部304によりブーム4Aが可動範囲の端部区間において端部位置に接近するように動作していると判定された場合、ブームシリンダ5Aに供給される作動油の流量を減少させる制御指令をブーム流量制御弁23Aに出力する。作業機制御部303は、ストロークエンド判定部304によりアーム4Bが可動範囲の端部区間において端部位置に接近するように動作していると判定された場合、アームシリンダ5Bに供給される作動油の流量を減少させる制御指令をアーム流量制御弁23Bに出力する。作業機制御部303は、ストロークエンド判定部304によりバケット4Cが可動範囲の端部区間において端部位置に接近するように動作していると判定された場合、バケットシリンダ5Cに供給される作動油の流量を減少させる制御指令をバケット流量制御弁23Cに出力する。
 画像データ送信部305は、撮像装置30により取得された作業機械1の周辺の画像を制御装置60に送信する。画像データ送信部305は、撮像範囲Mの画像Pを撮像装置30から取得する。画像データ送信部305は、画像Pを制御装置60に送信する。
 センサデータ送信部306は、作業機械1に搭載されているセンサ70の検出データを制御装置60に送信する。上述のように、センサ70は、作業機械1の位置を検出する位置センサ71、旋回体3の姿勢を検出する車体姿勢センサ72、作業機4の姿勢を検出する作業機姿勢センサ73、及び油圧シリンダ5の作動油の圧力を検出する圧力センサ74を含む。
 通信装置7は、通信システム400を介して通信装置6と通信する。通信装置7は、通信装置6を介して制御装置60から送信された遠隔操作装置40の操作信号を受信して、制御装置300に出力する。通信装置7は、画像データ送信部305から受信した撮像範囲Mの画像Pを遠隔地の通信装置6に送信する。通信装置7は、画像Pの画像データを圧縮するエンコーダを含む。画像Pは、圧縮された状態で、通信装置7から通信装置6に送信される。通信装置7は、センサデータ送信部306から受信した位置センサ71の検出データ、車体姿勢センサ72の検出データ、作業機姿勢センサ73の検出データ、及び圧力センサ74の検出データを遠隔地の通信装置6に送信する。
 通信装置6は、通信システム400を介して通信装置7と通信する。通信装置6は、遠隔操作装置40が操作されることにより生成された操作信号を通信装置7に送信する。通信装置6は、通信装置7を介して制御装置300から送信された画像Pを受信して、制御装置60に出力する。通信装置6は、圧縮された画像Pの画像データを復元するデコーダを含む。画像Pは、復元された状態で、通信装置6から制御装置60に出力される。通信装置6は、通信装置7を介して制御装置300から送信された位置センサ71の検出データ、車体姿勢センサ72の検出データ、作業機姿勢センサ73の検出データ、及び圧力センサ74の検出データを受信して、制御装置60に出力する。
 制御装置60は、操作信号送信部61と、画像データ受信部62と、センサデータ受信部63と、画像処理部64と、表示制御部65と、警報制御部66とを有する。
 操作信号送信部61は、作業機械1を遠隔操作する操作信号を送信する。遠隔操作装置40が操作者に操作されることにより、作業機械1を遠隔操作する操作信号が生成される。操作信号送信部61は、遠隔操作装置40の操作信号を制御装置300に送信する。
 画像データ受信部62は、作業機械1の周辺の画像を受信する。画像データ受信部62は、作業機械1の周辺の画像として画像Pを受信する。画像データ受信部62は、通信装置6のデコーダにより復元された画像Pを取得する。
 センサデータ受信部63は、センサ70の検出データを受信する。センサ70の検出データは、旋回体3に係る検出データ及び作業機4に係る検出データを含む。センサデータ受信部63は、位置センサ71により検出された作業機械1の位置の検出データ、車体姿勢センサ72により検出された旋回体3の姿勢の検出データ、作業機姿勢センサ73により検出された作業機4の姿勢の検出データ、及び圧力センサ74により検出された油圧シリンダ5の作動油の圧力の検出データを受信する。
 画像処理部64は、画像データ受信部62により受信された画像Pを分割する。
 図8は、実施形態に係る画像処理部64の処理を説明するための図である。図8に示すように、画像データ受信部62により画像Pが取得される。画像Pは、旋回体3の前方空間SPの画像である。画像Pには、バケット4Cを含む作業機4の一部が映っている。また、画像Pには、旋回体3の前方の作業対象が映っている。また、画像Pには、アッパデッキ3Dの手すり3Eが映っている。
 画像処理部64は、画像Pを複数の画像に分割する。画像処理部64は、画像Pを、中央ディスプレイ51に表示させるための画像P11と、左ディスプレイ52に表示させるための画像P12と、右ディスプレイ53に表示させるための画像P13と、上ディスプレイ54に表示させるための画像P14と、下ディスプレイ55に表示させるための画像P15とに分割する。
 表示制御部65は、作業機械1の周辺の画像を表示装置50に表示させる。表示制御部65は、作業機械1の周辺の画像として画像Pを表示装置50に表示させる。
 図9は、実施形態に係る表示制御部65の処理を説明するための図である。図9に示すように、表示制御部65は、画像Pの一部である画像P11を中央ディスプレイ51に表示させる。表示制御部65は、画像Pの一部である画像P12を左ディスプレイ52に表示させる。表示制御部65は、画像Pの一部である画像P13を右ディスプレイ53に表示させる。表示制御部65は、画像Pの一部である画像P14を上ディスプレイ54に表示させる。表示制御部65は、画像Pの一部である画像P15を下ディスプレイ55に表示させる。
 実施形態において、表示制御部65は、旋回体3の姿勢を示す車体データ画像P3、作業機4の姿勢を示す作業機データ画像P4、ダンプトラックに積み込まれる積荷の重量を示す積荷データ画像P5、及びバケット4Cの先端刃4Dの位置を示すバケットデータ画像P6を表示装置50に表示させる。
 表示制御部65は、車体姿勢センサ72の検出データに基づいて、水平面に対する旋回体3の傾斜角度を算出する。表示制御部65は、車体データ画像P3として、旋回体3の傾斜角度を示すシンボル画像を表示装置50に表示させる。実施形態において、車体データ画像P3は、上ディスプレイ54に表示される。
 また、表示制御部65は、作業機姿勢センサ73の検出データに基づいて、作業機4の姿勢を算出する。表示制御部65は、作業機データ画像P4として、作業機4の姿勢を示すアニメーション画像を表示装置50に表示させる。実施形態において、作業機データ画像P4は、右ディスプレイ53に表示される。
 また、表示制御部65は、バケット4Cに保持された積荷の重量を検出する重量センサ(不図示)の検出データに基づいて、ダンプトラックに積み込まれる積荷の重量を算出する。表示制御部65は、積荷データ画像P5として、積荷の重量を示すインジケータ画像を表示装置50に表示させる。実施形態において、積荷データ画像P5は、右ディスプレイ53に表示される。なお、ダンプトラックに積み込まれた積荷の重量を検出する重量センサがダンプトラックに設けられ、重量センサの検出データが制御装置60に送信されてもよい。
 また、表示制御部65は、作業機姿勢センサ73の検出データに基づいて、バケット4Cの先端刃4Dの上下方向の位置を算出する。表示制御部65は、バケットデータ画像P6として、バケット4Cの先端刃4Dの上下方向の位置を示すインジケータ画像を表示装置50に表示させる。先端刃4Dの上下方向の位置とは、地面GRからの高さ位置をいう。実施形態において、バケットデータ画像P6は、右ディスプレイ53に表示される。
 警報制御部66は、作業機姿勢センサ73により検出された作業機4の姿勢の検出データに基づいて、作業機4が作業機4の可動範囲の端部位置に接近していると判定した場合、警報制御信号を出力する。すなわち、警報制御部66は、油圧シリンダ5のピストンがストロークエンドに接近し、作業機4が可動範囲の端部位置に接近していると判定した場合、警報制御信号を出力する。
 警報制御部66は、作業機姿勢センサ73により検出された作業機4の姿勢の検出データに基づいて、作業機4が警報区間において端部位置に接近するように動作していると判定した場合、警報制御信号を出力する。実施形態において、警報制御部66は、作業機4が中間区間から警報区間に移動したと判定した場合、警報制御信号の出力を開始する。
 上述のように、作業機4が警報区間から端部区間に移動するとクッション制御が開始される。実施形態において、警報制御部66は、作業機4が中間区間から警報区間に移動したと判定した場合、クッション制御が開始される前に、警報制御信号の出力を開始する。
 また、警報制御部66は、作業機姿勢センサ73により検出された作業機4の姿勢の検出データに基づいて、作業機4が端部区間において端部位置に接近するように動作していると判定した場合、警報制御信号を出力する。実施形態において、警報制御部66は、作業機4が警報区間及び端部区間のそれぞれにおいて端部位置に向かって移動していると判定した場合、警報制御信号の出力を継続する。作業機制御部303は、ストロークエンド判定部304により作業機4が警報区間から端部区間に移動したと判定された場合、クッション制御を開始する。
 また、警報制御部66は、作業機姿勢センサ73により検出された作業機4の姿勢の検出データに基づいて、作業機4が端部位置に到達したと判定した場合、警報制御信号を出力する。すなわち、実施形態において、警報制御部66は、作業機4が警報区間及び端部区間のそれぞれにおいて端部位置に向かって移動している場合、及び作業機4が端部位置に到達した場合のそれぞれにおいて、警報制御信号を出力する。
 図10は、実施形態に係る警報制御部66の処理を説明するための図である。実施形態において、警報制御部66は、表示装置50に警報制御信号を出力する。表示装置50は、作業機械1の遠隔地に設けられ、警報制御部66からの警報制御信号に基づいて、警報を出力する。実施形態において、表示装置50は、警報装置として機能する。図10に示すように、油圧シリンダ5がストロークエンドに接近し、作業機4が端部位置に接近するように動作した場合、警報制御部66は、警報として、作業機データ画像P4を点滅させる。警報制御部66は、作業機データ画像P4の全体を点滅させてもよいし、作業機データ画像P4の背景画像を点滅させてもよい。なお、警報制御部66は、警報として、表示装置50に表示される作業機4の色を変更したり作業機4の画像を点滅させたりしてもよい。作業機4の色の変更は、作業機4の全体の色の変更でもよいし、作業機4の一部の色の変更でもよい。例えばアーム4Bが端部位置に接近している場合、警報制御部66は、アーム4Bの色を変更してもよい。作業機4の画像の点滅は、作業機4の全体の画像の点滅でもよいし、作業機4の一部の画像の点滅でもよい。例えばアーム4Bが端部位置に接近している場合、警報制御部66は、アーム4Bの画像を点滅させてもよい。
 なお、警報制御部66は、警報として、コンピュータグラフィックス(CG:Computer Graphics)を表示装置50に表示させてもよい。例えばバケット4Cが端部位置に接近している場合、警報制御部66は、バケット4Cの位置及び姿勢を示すコンピュータグラフィックスを画像Pに重畳するように表示装置50に表示させてもよい。
<遠隔操作方法>
 図11は、実施形態に係る作業機械1の遠隔操作方法を示すフローチャートである。
 遠隔操作装置40が操作されることにより、制御装置60の操作信号送信部61から制御装置300に作業機械1を遠隔操作する操作信号が送信される(ステップSB1)。
 撮像装置30は、撮像範囲Mを撮像する。画像データ送信部305は、通信装置7及び通信システム400を介して、画像Pを制御装置60に送信する(ステップSA1)。
 作業機姿勢センサ73は、作業機4の姿勢を検出する。センサデータ送信部306は、通信装置7及び通信システム400を介して、作業機姿勢センサ73により検出された作業機4の姿勢の検出データを制御装置60に送信する(ステップSA2)。
 実施形態において、センサデータ送信部306は、通信装置7及び通信システム400を介して、作業機姿勢センサ73の検出データのみならず、位置センサ71の検出データ、車体姿勢センサ72の検出データ、及び圧力センサ74の検出データを制御装置60に送信する。
 なお、ステップSA1の処理の前にステップSA2の処理が実施されてもよいし、ステップSA1の処理とステップSA2の処理とが並行して実施されてもよい。
 画像データ受信部62は、作業機械1から送信された画像Pを、通信装置6を介して受信する。
 画像処理部64は、画像Pを画像P11と画像P12と画像P13と画像P14と画像P15とに分割する(ステップSB2)。
 表示制御部65は、表示装置50に画像Pを表示させる(ステップSB3)。
 ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部区間において端部位置に接近しているか否かを判定する(ステップSA3)。
 ステップSA3において、作業機4が端部区間において端部位置から離れるように動作していると判定された場合、又は作業機4が端部区間に配置されていないと判定された場合(ステップSA3:No)、制御装置300は、ステップSA1の処理に戻る。
 ステップSA3において、作業機4が端部区間において端部位置に接近するように動作していると判定された場合(ステップSA3:Yes)、作業機制御部303は、クッション制御を実施する(ステップSA4)。
 すなわち、作業機制御部303は、油圧シリンダ5に供給される作動油の流量を減少させる制御指令を流量制御弁23に出力する。これにより、端部区間において端部位置に接近するように動作している作業機4の速度が減少する。
 警報制御部66は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の警報区間において端部位置に接近しているか否かを判定する(ステップSB4)。
 ステップSB4において、作業機4が警報区間において端部位置から離れるように動作していると判定された場合、又は作業機4が警報区間及び端部区間のそれぞれに配置されていないと判定された場合(ステップSB4:No)、制御装置60は、ステップSB1の処理に戻る。
 ステップSB4において、作業機4が警報区間において端部位置に接近するように動作していると判定された場合(ステップSB4:Yes)、警報制御部66は、警報制御信号を出力する(ステップSB5)。
 なお、ステップSA3の判定は、遠隔操作室200の制御装置60により実施されてもよい。ステップSB4の判定は、作業機械1の制御装置300により実施されてもよい。
 図10を参照して説明したように、警報制御部66は、表示装置50に警報を出力させる。遠隔地の操作者は、表示装置50から出力される警報を見て、作業機4が端部位置に接近するように動作していることを認識することができる。
 なお、本実施形態においては、説明を簡単にするため、作業機4の可動範囲が油圧シリンダ5のロッドの可動範囲に基づいて定められることとした。すなわち、作業機4の可動範囲の端部位置は、油圧シリンダ5のストロークエンドに基づいて規定され、油圧シリンダ5がストロークエンドに到達すると、作業機4は可動範囲の端部位置に到達することとした。ブーム4A、アーム4B、及びバケット4Cからなる作業機要素の相対角度に基づいて、油圧シリンダ5がストロークエンドに到達する前に、作業機4の機構上の制約により、作業機要素が可動範囲の端部位置に到達する場合がある。この場合、作業機4の機構に基づいて、作業機要素の端部位置が設定されてもよい。また、作業機4の機構に基づいて、端部区間及び警報区間が設定されてもよい。例えば、第1作業機要素(例えばブーム4A)と第2作業機要素(例えばアーム4B)との相対角度と、第3作業機要素(例えばバケット4C)の端部位置との相関関係(マップデータのような相関データ又は関係式)が予め求められる場合、ストロークエンド判定部304は、作業機姿勢センサ73の検出データと予め求められている相関関係とに基づいて、第3作業機要素が可動範囲の端部位置に接近しているか否かを判定することができる。
<コンピュータシステム>
 図12は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述の制御装置60及び制御装置300のそれぞれは、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置60の機能及び制御装置300の機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
 遠隔地に配置されているコンピュータプログラム又はコンピュータシステム1000は、上述の実施形態に従って、作業機4の姿勢の検出データを受信することと、検出データに基づいて、作業機4が可動範囲の端部位置に接近している又は到達したと判定した場合、警報制御信号を警報装置に出力することと、を実行することができる。
<効果>
 以上説明したように、実施形態によれば、作業機械1は、作業機姿勢センサ73の検出データを遠隔地に送信する通信装置6を備える。これにより、遠隔地の操作者は、作業機姿勢センサ73の検出データに基づいて、作業機4に衝撃が作用する可能性があることを認識することができる。
 例えばクッション制御が実施されない場合において、油圧シリンダ5のロッドがストロークエンドに到達して、作業機4が可動範囲の端部位置に到達したとき、作業機4に衝撃が作用する可能性がある。操作者が作業機械1に実際に搭乗している場合、作業機4に衝撃が作用したことを体感することができる。一方、操作者が遠隔地に存在する場合、作業機4に衝撃が作用したことを体感することができない。そのため、遠隔地の操作者は、作業機4に過度な衝撃が作用する遠隔操作を実施してしまう可能性がある。作業機4に過度な衝撃が作用すると、作業機4の劣化が促進される可能性がある。また、クッション制御が実施される場合においても、作業機4が端部位置に何度も到達すると、作業機4が劣化する可能性がある。
 実施形態においては、作業機械1から遠隔地に作業機姿勢センサ73の検出データが送信される。作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部位置に接近するように動作していると判定された場合、遠隔地において警報が出力される。これにより、遠隔地の操作者は、作業機4が端部位置に接近していることを認識することができる。したがって、遠隔地の操作者は、作業機4に過度な衝撃が作用しないように遠隔操作を実施することができる。遠隔地の操作者は、例えば作業機4が端部位置に到達しないように、遠隔操作装置40を操作することができる。
 実施形態においては、作業機4が警報区間から端部区間に移動したとき、クッション制御が実施される。これにより、作業機4に作用する衝撃が緩和される。また、撮像装置30により取得された画像データの通信遅延に起因して、遠隔地の操作者の意思に反して、作業機4が端部位置に到達してしまう可能性がある。撮像装置30により取得された画像データの通信遅延が発生する可能性は、遠隔操作装置40の操作信号の通信遅延が発生する可能性よりも高い。遠隔地の操作者が、表示装置50に表示されている画像を見ながら、作業機4が端部位置の直前で停止するように遠隔操作装置40を操作したとしても、画像データの通信遅延に起因して、遠隔地の操作者の意思に反して、作業機4が端部位置に到達してしまう可能性がある。実施形態においては、作業機姿勢センサ73の検出データに基づいてクッション制御が実施される。これにより、画像データの通信遅延が発生しても、作業機4に衝撃が作用することが抑制される。
 実施形態においては、作業機4が中間区間から警報区間に移動したときに、警報制御部66からの警報制御信号の出力が開始され、表示装置50からの警報の出力が開始される。すなわち、作業機4のクッション制御が実施される前に表示装置50からの警報の出力が開始される。これにより、遠隔地の操作者は、作業機4に過度な衝撃を作用させない遠隔操作をより確実に実施することができる。
 また、作業機4が警報区間から端部区間に移動した後においても、警報制御部66からの警報制御信号の出力が継続され、表示装置50からの警報の出力が継続される。これにより、遠隔地の操作者は、作業機4が端部区間において端部位置に接近していることを認識することができる。
 また、実施形態においては、作業機4が端部位置に到達した後においても、警報制御部66からの警報制御信号の出力が継続され、表示装置50からの警報の出力が継続される。これにより、遠隔地の操作者は、作業機4が端部位置に到達したことを認識することができる。
<その他の実施形態>
 なお、上述の実施形態においては、ストロークエンド判定部304は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部区間に存在するか否かを判定することとした。ストロークエンド判定部304は、近接スイッチの出力に基づいて、作業機4が可動範囲の端部区間に存在するか否かを判定してもよい。近接スイッチとは、作業機4が可動範囲の端部位置に移動したときに作動するスイッチをいう。
 なお、上述の実施形態においては、警報制御部66は、表示装置50に警報を出力させることとした。警報制御部66は、例えば第1モニタ装置501、第2モニタ装置503、及び第3モニタ装置504の少なくとも一部に警報を出力させてもよい。表示装置50、第1モニタ装置501、第2モニタ装置503、及び第3モニタ装置504の少なくとも一部に警報を出力させる場合、「レバー操作に注意してください」、「ストロークエンド接近中」等の警報メッセージが表示されてもよい。遠隔操作室200に音声出力装置又はブザーが配置されている場合、警報制御部66は、警報として、音声出力装置又はブザーから警告音を出力させてもよい。また、操縦シート45に振動発生装置が配置されている場合、警報制御部66は、警報として、操縦シート45を振動させてもよい。すなわち、警報装置は、表示装置50でなくてもよく、第1モニタ装置501、第2モニタ装置503、第3モニタ装置504、音声出力装置、ブザー、及び振動発生装置の少なくとも一つでもよい。
 なお、上述の実施形態においては、警報制御部66は、作業機4が端部位置に到達する前から警報を出力させることとした。警報制御部66は、作業機姿勢センサ73の検出データに基づいて、作業機4が可動範囲の端部位置に到達したと判定した場合、警報を出力させてもよい。すなわち、警報制御部66は、端部位置に接近するように動作する作業機4が端部位置に到達した後に警報を出力させてもよい。これにより、遠隔地の操作者は、警報に基づいて、作業機4が端部位置に到達したこと、及び作業機4に衝撃が作用した可能性があることを認識することができる。図12を参照して説明した遠隔地に配置されているコンピュータプログラム又はコンピュータシステム1000は、作業機4の姿勢の検出データを受信することと、検出データに基づいて、作業機4が可動範囲の端部位置に到達したと判定した場合、警報を出力させることと、を実行することができる。
 なお、上述の実施形態において、警報の出力は省略されてもよい。警報が出力されない状態で、クッション制御が実施されてもよい。
 なお、上述の実施形態において、クッション制御は実施されなくてもよい。例えば、操作者が遠隔操作装置40をゆっくりと操作している場合、作業機4に作用する衝撃は小さい。ロッドのシリンダ速度が速度閾値以下の場合にはクッション制御が実施されなくてもよい。
[第2実施形態]
 第2実施形態について説明する。以下の説明において、上述の実施形態と同一の又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
 図13は、実施形態に係る作業機械1の動作を説明するための図である。図13に示すように、作業機械1が作業機4を作業対象に衝突させたとき、作業機4に衝撃が作用する可能性がある。例えば、作業機4が作業対象を掘削したとき又は作業機械1が作業機4を作業対象に下したときに、作業機4に衝撃が作用する可能性がある。また、クッション制御が実施されないとき、作業機4が端部位置に到達することにより、作業機4に衝撃が作用する可能性がある。
 実施形態において、警報制御部66は、センサデータ受信部63により受信された作業機4に係る検出データに基づいて、作業機4に作用した衝撃のレベルが閾値以上であると判定した場合、警報制御信号を出力する。衝撃のレベルに係る閾値は、予め定められた値であり、警報制御部66に保有されている。
 作業機4に衝撃が作用した場合、作業機4が所定値以上の振幅で振動する。すなわち、作業機4に衝撃が作用した場合、作業機4の姿勢が第1閾値以上の振幅で往復するように変化する。警報制御部66は、作業機姿勢センサ73により検出された作業機4の姿勢の検出データに基づいて、衝撃のレベルが閾値以上であるか否かを判定することができる。
 また、作業機4に衝撃が作用した場合、油圧シリンダ5の作動油の圧力が急激に変化する。すなわち、作業機4に衝撃が作用した場合、油圧シリンダ5の作動油の圧力が第2閾値以上の変化量で上昇する。警報制御部66は、圧力センサ74により検出された作動油の圧力の検出データに基づいて、衝撃のレベルが閾値以上であるか否かを判定することができる。
 また、作業機4に衝撃が作用した場合、旋回体3が所定値以上の振幅又は加速度でピッチ方向に振動する。警報制御部66は、旋回体3に設けられている慣性計測装置(IMU)を含む車体姿勢センサ72の検出データに基づいて、衝撃のレベルが閾値以上であるか否かを判定することができる。
 また、作業機4に衝撃が作用した場合、作業機4が所定値以上の加速度で振動する。作業機4に加速度センサが配置されている場合、警報制御部66は、加速度センサの検出データに基づいて、衝撃のレベルが閾値以上であるか否かを判定することができる。
 図14は、実施形態に係る作業機械1の遠隔操作方法を示すフローチャートである。図14に示す例においては、警報制御部66が圧力センサ74により検出された作動油の圧力の検出データに基づいて、衝撃のレベルが閾値以上であるか否かを判定することとする。なお、上述のように、警報制御部66は、作業機姿勢センサ73の検出データ、車体姿勢センサ72の検出データ、及び加速度センサの検出データの少なくとも一つに基づいて、衝撃のレベルが閾値以上であるか否かを判定することができる。
 遠隔操作装置40が操作されることにより、制御装置60の操作信号送信部61から制御装置300に作業機械1を遠隔操作する操作信号が送信される(ステップSB11)。
 画像Pが作業機械1から制御装置60に送信される(ステップSA11)。
 センサ70の検出データが作業機械1から制御装置60に送信される。実施形態において、センサデータ送信部306は、通信装置7及び通信システム400を介して、少なくとも圧力センサ74により検出された油圧シリンダ5の作動油の圧力の検出データを制御装置60に送信する(ステップSA12)。
 なお、ステップSA11の処理の前にステップSA12の処理が実施されてもよいし、ステップSA11の処理とステップSA12の処理とが並行して実施されてもよい。
 画像データ受信部62は、作業機械1から送信された画像Pを、通信装置6を介して受信する。画像処理部64は、画像Pを画像P11と画像P12と画像P13と画像P14と画像P15とに分割する(ステップSB12)。
 表示制御部65は、表示装置50に画像Pを表示させる(ステップSB13)。
 警報制御部66は、圧力センサ74の検出データに基づいて、作業機4に作用した衝撃のレベルが閾値以上であるか否かを判定する(ステップSB14)。
 ステップSB14において、作業機4に作用した衝撃のレベルが閾値未満であると判定された場合(ステップSB14:No)、制御装置60は、ステップSB12の処理に戻る。
 ステップSB14において、作業機4に作用した衝撃のレベルが閾値以上であると判定された場合(ステップSB14:Yes)、警報制御部66は、警報制御信号を出力する(ステップSB15)。
 なお、ステップSB14の判定は、作業機械1の制御装置300により実施されてもよい。
 このように、図12を参照して説明した遠隔地に配置されているコンピュータプログラム又はコンピュータシステム1000は、作業機4に係る検出データを受信することと、検出データに基づいて、作業機4に作用した衝撃のレベルが閾値以上であると判定した場合、警報制御信号を警報装置に出力することと、を実行することができる。
[その他の実施形態]
 上述の実施形態において、遠隔操作室200の制御装置60が警報制御部66として機能することとした。作業機械1の制御装置300が警報制御部66として機能してもよい。作業機械1に設けられている警報制御部66から出力された警報制御信号が通信システム400を介して遠隔操作室200に送信され、警報制御部66からの警報制御信号に基づいて、遠隔操作室200に設けられている警報装置が警報を出力してもよい。
 なお、上述の実施形態においては、作業機械1がローディングショベルであることとした。作業機械1はバックホウでもよい。また、作業機械1は、作業機を有する作業機械であればよく、ブルドーザでもよいし、ホイールローダでもよい。
 1…作業機械、2…走行体、2A…駆動輪、2B…従動輪、2C…履帯、3…旋回体、3A…運転室、3B…ロアデッキ、3C…ステップ、3D…アッパデッキ、3E…手すり、3F…ラダー、4…作業機、4A…ブーム、4B…アーム、4C…バケット、4D…先端刃、5…油圧シリンダ、5A…ブームシリンダ、5B…アームシリンダ、5C…バケットシリンダ、6…通信装置、7…通信装置、20…油圧システム、21…油圧ポンプ、22…ポンプ流路、23…流量制御弁、23A…ブーム流量制御弁、23B…アーム流量制御弁、23C…バケット流量制御弁、24…供給流路、25…ボトム流路、26…ロッド流路、27…排出流路、28…タンク、30…撮像装置、40…遠隔操作装置、41…左作業レバー、42…右作業レバー、43…左走行ペダル、44…右走行ペダル、45…操縦シート、50…表示装置、51…中央ディスプレイ、52…左ディスプレイ、53…右ディスプレイ、54…上ディスプレイ、55…下ディスプレイ、60…制御装置、61…操作信号送信部、62…画像データ受信部、63…センサデータ受信部、64…画像処理部、65…表示制御部、66…警報制御部、70…センサ、71…位置センサ、72…車体姿勢センサ、73…作業機姿勢センサ、73A…ブーム姿勢センサ、73B…アーム姿勢センサ、73C…バケット姿勢センサ、74…圧力センサ、74A…ブーム圧力センサ、74B…アーム圧力センサ、74C…バケット圧力センサ、100…遠隔操作システム、200…遠隔操作室、300…制御装置、301…走行体制御部、302…旋回体制御部、303…作業機制御部、304…ストロークエンド判定部、305…画像データ送信部、306…センサデータ送信部、400…通信システム、501…第1モニタ装置、502…操作スイッチ、503…第2モニタ装置、504…第3モニタ装置、1000…コンピュータシステム、1001…プロセッサ、1002…メインメモリ、1003…ストレージ、1004…インターフェース、AX…ブーム回転軸、BR…ボトム室、BX…アーム回転軸、CX…バケット回転軸、GR…地面、RR…ロッド室、RX…旋回軸、M…撮像範囲、OA…光軸、P…画像、P11…画像、P12…画像、P13…画像、P14…画像、P15…画像、P3…車体データ画像、P4…作業機データ画像、P5…積荷データ画像、P6…バケットデータ画像、Pa…ポンプポート、Pb…ボトムポート、Pc…ロッドポート、Pd…タンクポート、Q1…第1作動位置、Q2…第2作動位置、Q3…停止位置。

Claims (7)

  1.  遠隔地からの操作信号により動作する作業機械が有する作業機の姿勢の検出データを受信するセンサデータ受信部と、
     前記検出データに基づいて、前記作業機が可動範囲の端部位置に接近している又は到達したと判定した場合、警報制御信号を出力する警報制御部と、
     前記遠隔地に設けられ、前記警報制御部からの前記警報制御信号に基づいて、警報を出力する警報装置と、を備える、
     作業機械の遠隔操作システム。
  2.  前記作業機が前記端部位置を含む前記可動範囲の端部区間において前記端部位置に接近している場合、前記作業機の速度が減少され、
     前記警報制御部は、前記検出データに基づいて、前記端部区間に隣接する警報区間において前記作業機が前記端部位置に接近していると判定した場合、前記警報制御信号を出力する、
     請求項1に記載の作業機械の遠隔操作システム。
  3.  前記警報制御部は、前記検出データに基づいて、前記作業機が前記端部区間において前記端部位置に接近していると判定した場合、前記警報制御信号を出力する、
     請求項2に記載の作業機械の遠隔操作システム。
  4.  前記警報制御部は、前記検出データに基づいて、前記作業機が前記端部位置に到達したと判定した場合、前記警報制御信号を出力する、
     請求項2又は請求項3に記載の作業機械の遠隔操作システム。
  5.  遠隔地からの操作信号により動作する作業機械が有する作業機に係る検出データを受信するセンサデータ受信部と、
     前記検出データに基づいて、前記作業機に作用した衝撃のレベルが閾値以上であると判定した場合、警報制御信号を出力する警報制御部と、
     前記作業機械の遠隔地に設けられ、前記警報制御部からの前記警報制御信号に基づいて、警報を出力する警報装置と、を備える、
     作業機械の遠隔操作システム。
  6.  前記作業機械は、前記作業機の姿勢を検出する作業機姿勢センサを備え、
     前記警報制御部は、前記作業機姿勢センサの検出データに基づいて、前記衝撃のレベルが閾値以上であるか否かを判定する、
     請求項5に記載の作業機械の遠隔操作システム。
  7.  前記作業機械は、油圧ポンプから供給された作動油に基づいて前記作業機を駆動する油圧シリンダと、前記油圧シリンダの作動油の圧力を検出する圧力センサと、を備え、
     前記警報制御部は、前記圧力センサの検出データに基づいて、前記衝撃のレベルが閾値以上であるか否かを判定する、
     請求項6に記載の作業機械の遠隔操作システム。
PCT/JP2021/017252 2020-05-27 2021-04-30 作業機械の遠隔操作システム WO2021241141A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CA3182563A CA3182563A1 (en) 2020-05-27 2021-04-30 Work machine remote control system
US17/922,639 US20230167627A1 (en) 2020-05-27 2021-04-30 Work machine remote control system
AU2021278492A AU2021278492A1 (en) 2020-05-27 2021-04-30 Work machine remote control system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020092563A JP2021188310A (ja) 2020-05-27 2020-05-27 作業機械の遠隔操作システム
JP2020-092563 2020-05-27

Publications (1)

Publication Number Publication Date
WO2021241141A1 true WO2021241141A1 (ja) 2021-12-02

Family

ID=78744469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017252 WO2021241141A1 (ja) 2020-05-27 2021-04-30 作業機械の遠隔操作システム

Country Status (5)

Country Link
US (1) US20230167627A1 (ja)
JP (1) JP2021188310A (ja)
AU (1) AU2021278492A1 (ja)
CA (1) CA3182563A1 (ja)
WO (1) WO2021241141A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196004A (ja) * 1992-01-20 1993-08-06 Komatsu Ltd 作業機シリンダの自動クッション制御装置
JPH11158930A (ja) * 1997-11-28 1999-06-15 Hitachi Constr Mach Co Ltd 多関節建設機械の操作装置
JP2004018220A (ja) * 2002-06-19 2004-01-22 Tadano Ltd 作業機の安全装置
JP2008144378A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の制御装置
JP2020084702A (ja) * 2018-11-30 2020-06-04 コベルコ建機株式会社 建設機械の遠隔操作装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196004A (ja) * 1992-01-20 1993-08-06 Komatsu Ltd 作業機シリンダの自動クッション制御装置
JPH11158930A (ja) * 1997-11-28 1999-06-15 Hitachi Constr Mach Co Ltd 多関節建設機械の操作装置
JP2004018220A (ja) * 2002-06-19 2004-01-22 Tadano Ltd 作業機の安全装置
JP2008144378A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の制御装置
JP2020084702A (ja) * 2018-11-30 2020-06-04 コベルコ建機株式会社 建設機械の遠隔操作装置

Also Published As

Publication number Publication date
JP2021188310A (ja) 2021-12-13
AU2021278492A1 (en) 2022-12-08
US20230167627A1 (en) 2023-06-01
CA3182563A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111315935B (zh) 挖土机
KR102602384B1 (ko) 쇼벨
KR101907938B1 (ko) 건설 기계의 제어 장치 및 건설 기계의 제어 방법
KR20210106409A (ko) 쇼벨
WO2017221904A1 (ja) 作業車両、作業管理システムおよび作業車両の制御方法
CN111771027B (zh) 作业机械
CN107306500B (zh) 作业机械的控制装置、作业机械以及作业机械的控制方法
CN112840283A (zh) 工程机械的远程操作装置
US20230078047A1 (en) Excavator and system for excavator
KR20230162605A (ko) 쇼벨의 표시장치, 쇼벨
KR102641389B1 (ko) 작업 기계, 및 작업 기계의 제어 방법
CN114207220B (zh) 动作示教系统
WO2021241141A1 (ja) 作業機械の遠隔操作システム
CN114174598A (zh) 建筑机械
AU2021222454B2 (en) Remote operation system for work machine
US20240026637A1 (en) Work vehicle control system, work vehicle control method, and work vehicle
CN114080479B (zh) 挖土机
JP7024139B2 (ja) 作業機械
WO2021166566A1 (ja) 作業機械及び作業機械の遠隔操作システム
JP7257430B2 (ja) ショベル及びショベル用システム
JP2023122359A (ja) 遠隔操作システム
CN116964281A (zh) 挖土机、挖土机的支援系统
CN115398066A (zh) 施工方法及施工系统
JP2019148166A (ja) ショベル

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21814444

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3182563

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2021278492

Country of ref document: AU

Date of ref document: 20210430

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21814444

Country of ref document: EP

Kind code of ref document: A1