WO2021166559A1 - 作業機械の遠隔操作システム - Google Patents

作業機械の遠隔操作システム Download PDF

Info

Publication number
WO2021166559A1
WO2021166559A1 PCT/JP2021/002449 JP2021002449W WO2021166559A1 WO 2021166559 A1 WO2021166559 A1 WO 2021166559A1 JP 2021002449 W JP2021002449 W JP 2021002449W WO 2021166559 A1 WO2021166559 A1 WO 2021166559A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work machine
display
imaging range
remote control
Prior art date
Application number
PCT/JP2021/002449
Other languages
English (en)
French (fr)
Inventor
真範 皆川
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to AU2021222454A priority Critical patent/AU2021222454B2/en
Priority to CA3166503A priority patent/CA3166503A1/en
Priority to US17/789,296 priority patent/US20230036534A1/en
Publication of WO2021166559A1 publication Critical patent/WO2021166559A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • This disclosure relates to a remote control system for work machines.
  • Patent Document 1 discloses a technique in which an image pickup device is arranged in a driver's cab of a swivel body and an image in front of the driver's cab is captured.
  • the purpose of this disclosure is to make an operator at a remote location recognize the presence or absence of an abnormality in an image transmission path.
  • an image data receiving unit that receives a first image in the first imaging range and a second image in the second imaging range in which at least a part thereof overlaps the first imaging range, and the first imaging range.
  • a display control unit for displaying the first image and the second image including an object whose state changes in the overlapping range with the second imaging range is provided in a remote location of the work machine.
  • a remote control system for work machines is provided.
  • FIG. 1 is a schematic view showing a remote control system for a work machine according to an embodiment.
  • FIG. 2 is a perspective view showing a work machine according to the embodiment.
  • FIG. 3 is a side view showing the work machine according to the embodiment.
  • FIG. 4 is a plan view showing the work machine according to the embodiment.
  • FIG. 5 is a diagram showing a remote control room according to the embodiment.
  • FIG. 6 is a functional block diagram showing a remote control system for a work machine according to an embodiment.
  • FIG. 7 is a diagram for explaining the processing of the first image processing unit according to the embodiment.
  • FIG. 8 is a diagram for explaining the processing of the second image processing unit according to the embodiment.
  • FIG. 9 is a diagram for explaining the processing of the display control unit according to the embodiment.
  • FIG. 10 is a flowchart showing a remote control method of the work machine according to the embodiment.
  • FIG. 11 is a diagram for explaining a method of diagnosing an image transmission path according to an embodiment.
  • FIG. 12 is a diagram for explaining a method of diagnosing an image transmission path according to an embodiment.
  • FIG. 13 is a diagram for explaining a method of diagnosing an image transmission path according to an embodiment.
  • FIG. 14 is a block diagram showing a computer system according to the embodiment.
  • FIG. 1 is a schematic view showing a remote control system 100 of the work machine 1 according to the embodiment.
  • the remote control system 100 remotely controls the work machine 1 operating at the work site. Examples of work sites are mines or quarries.
  • the remote control system 100 includes a remote control device 40, a display device 50, and a control device 60.
  • the remote control device 40 is arranged in the remote control room 200.
  • the remote control device 40 is operated by an operator in the remote control room 200.
  • the operator can operate the remote control device 40 while sitting on the control seat 45.
  • the display device 50 is arranged in the remote control room 200.
  • the display device 50 displays an image of the work site.
  • the operator of the remote control room 200 cannot directly visually recognize the situation at the work site.
  • the operator of the remote control room 200 can visually recognize the situation at the work site via the display device 50.
  • the operator operates the remote control device 40 while viewing the image of the work site displayed on the display device 50.
  • the work machine 1 is remotely controlled by the remote control device 40.
  • the control device 60 is arranged in the remote control room 200.
  • the control device 60 includes a computer system.
  • the work machine 1 includes a control device 300.
  • the control device 300 includes a computer system.
  • the control device 60 and the control device 300 communicate with each other via the communication system 400.
  • Examples of the communication system 400 include the Internet, a local area network (LAN), a mobile phone communication network, and a satellite communication network.
  • the communication system 400 may include a relay station that relays the data to be communicated.
  • FIG. 2 is a perspective view showing the work machine 1 according to the embodiment.
  • FIG. 3 is a side view showing the work machine 1 according to the embodiment.
  • FIG. 4 is a plan view showing the work machine 1 according to the embodiment.
  • the work machine 1 is a hydraulic excavator which is a kind of loading machine.
  • the work machine 1 operates at the work site.
  • the work machine 1 carries out excavation work of the work target. Sediment or ore is exemplified as a work target.
  • a dump truck which is a type of transport vehicle, operates at the work site.
  • the work machine 1 carries out a loading operation of loading a load on a dump truck.
  • As a cargo an excavated object excavated by excavation work is exemplified.
  • the work machine 1 includes a traveling body 2, a swivel body 3 supported by the traveling body 2, a working machine 4 attached to the swivel body 3, and a working machine 4.
  • a hydraulic cylinder 5 for driving the image pickup device 30 and an image pickup device 30 are provided.
  • the traveling body 2 travels while supporting the turning body 3.
  • the swivel body 3 is the vehicle body of the work machine 1.
  • the traveling body 2 is arranged below the swivel body 3.
  • the traveling body 2 supports the turning body 3 so as to be able to turn.
  • the traveling body 2 has a driving wheel 2A, a driven wheel 2B, and a track 2C supported by the driving wheel 2A and the driven wheel 2B.
  • Each of the drive wheel 2A and the driven wheel 2B rotates about the rotation shaft DX.
  • a pair of drive wheels 2A, driven wheels 2B, and tracks 2C are provided.
  • the track 2C rotates due to the rotation of the drive wheel 2A. As the track 2C rotates, the traveling body 2 travels.
  • the swivel body 3 can swivel around the swivel shaft RX while being supported by the traveling body 2.
  • the swivel shaft RX extends in the vertical direction.
  • the swivel body 3 has a driver's cab 3A, a lower deck 3B, a step 3C, and an upper deck 3D.
  • the driver's cab 3A is an internal space of the swivel body 3 on which an operator can board.
  • the driver's cab 3A is arranged at the front and the upper part of the swivel body 3.
  • the lower deck 3B is arranged at the rear and the lower part of the swivel body 3.
  • the upper deck 3D is arranged at the front and the upper part of the swivel body 3.
  • Step 3C connects the lower deck 3B and the upper deck 3D.
  • the upper deck 3D is arranged so as to surround the driver's cab 3A. At least part of the upper deck 3D is located in front of the driver's cab 3A.
  • a fence-shaped handrail 3E is arranged on each of the lower deck 3B, the step 3C, and the upper deck 3D.
  • Each of the lower deck 3B, step 3C, and upper deck 3D includes a passage through which workers can pass. Workers can board the driver's cab 3A through the lower deck 3B, step 3C, and upper deck 3D.
  • the swivel body 3 has a ladder 3F.
  • the ladder 3F is connected to the upper deck 3D.
  • the work machine 4 is attached to the front part of the swivel body 3.
  • the working machine 4 is arranged in front of the turning shaft RX.
  • the working machine 4 can operate so as to extend forward.
  • the working machine 4 includes a boom 4A connected to the swivel body 3, an arm 4B connected to the boom 4A, and a bucket 4C connected to the arm 4B.
  • the base end portion of the boom 4A is connected to the front portion of the swivel body 3 via a pin.
  • the base end portion of the arm 4B is connected to the tip end portion of the boom 4A via a pin.
  • the base end portion of the bucket 4C is connected to the tip end portion of the arm 4B via a pin.
  • the bucket 4C has a tip blade 4D.
  • the work target is excavated by the bucket 4C.
  • the boom 4A is rotatably connected to the front portion of the swivel body 3 about the boom rotation shaft AX.
  • the arm 4B is rotatably connected to the boom 4A about the arm rotation shaft BX.
  • the bucket 4C is rotatably connected to the arm 4B about the bucket rotation axis CX.
  • the boom rotation axis AX, the arm rotation axis BX, and the bucket rotation axis CX are parallel.
  • Each of the boom rotation shaft AX, the arm rotation shaft BX, and the bucket rotation shaft CX extends in the vehicle width direction of the swivel body 3.
  • the work machine 1 is a loading excavator.
  • the loading excavator is a hydraulic excavator in which the bucket 4C is attached to the arm 4B so that the tip blade 4D of the bucket 4C faces forward.
  • the hydraulic cylinder 5 includes a boom cylinder 5A for driving the boom 4A, an arm cylinder 5B for driving the arm 4B, and a bucket cylinder 5C for driving the bucket 4C.
  • the base end portion of the boom cylinder 5A is connected to the swivel body 3.
  • the tip of the boom cylinder 5A is connected to the boom 4A.
  • the base end portion of the arm cylinder 5B is connected to the boom 4A.
  • the tip of the arm cylinder 5B is connected to the arm 4B.
  • the base end portion of the bucket cylinder 5C is connected to the boom 4A.
  • the tip of the bucket cylinder 5C is connected to the bucket 4C.
  • the image pickup apparatus 30 takes an image of the work site and acquires an image of the work site.
  • the image pickup device 30 is arranged on the swivel body 3.
  • an image of the work target of the work machine 1 As the image of the work site acquired by the image pickup apparatus 30, an image of the work target of the work machine 1, an image of at least a part of the work machine 1, an image of a structure existing at the work site, and a work different from the work machine 1.
  • An image of a machine and an image of a worker working at a work site are exemplified.
  • the image of the work object of the work machine 1 includes the image of the excavation object of the work machine 4.
  • the image pickup device 30 has an optical system and an image sensor that receives light that has passed through the optical system.
  • the image sensor includes a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 30 includes a first imaging device 31 arranged on the rotating body 3 to image the first imaging range M1 and a second imaging device 32 arranged on the rotating body 3 to image the second imaging range M2. including.
  • Each of the first imaging device 31 and the second imaging device 32 is fixed to the swivel body 3.
  • the relative positions of the first imaging device 31 and the second imaging device 32 are fixed.
  • the second imaging device 32 images the second imaging range M2 in parallel with the imaging of the first imaging range M1 by the first imaging device 31.
  • the second image pickup device 32 is arranged below the first image pickup device 31 in the vertical direction of the swivel body 3. That is, in the vertical direction of the swivel body 3, the incident surface of the optical system of the second imaging device 32 is arranged below the incident surface of the optical system of the first imaging device 31.
  • the first imaging device 31 is arranged at the same position as the second imaging device 32 in the left-right direction of the rotating body 3.
  • the left-right direction of the turning body 3 corresponds to the vehicle width direction of the turning body 3. That is, in the left-right direction of the swivel body 3, the incident surface of the optical system of the first imaging device 31 is arranged at a position equal to the incident surface of the optical system of the second imaging device 32.
  • the first imaging device 31 is arranged behind the second imaging device 32 in the front-rear direction of the rotating body 3. That is, in the front-rear direction of the swivel body 3, the incident surface of the optical system of the first imaging device 31 is arranged behind the incident surface of the optical system of the second imaging device 32.
  • the vertical direction is a direction parallel to the turning axis RX.
  • the left-right direction is a direction parallel to the boom rotation axis AX.
  • the front-rear direction is a direction orthogonal to both the boom rotation axis AX and the rotation axis RX.
  • the direction in which the swivel body 3 exists is upward with respect to the ground contact surface of the traveling body 2, and the opposite direction of the upward direction is downward.
  • One of the left-right directions is to the right and the opposite direction to the right is the left with respect to the turning axis RX.
  • the direction in which the working machine 4 is present is the front, and the opposite direction to the front is the rear with respect to the turning axis RX.
  • the first imaging device 31 images the front of the swivel body 3.
  • the first imaging range M1 is set in front of the swivel body 3.
  • the second imaging device 32 images the front of the swivel body 3.
  • the second imaging range M2 is set in front of the swivel body 3. As shown in FIG. 3, at least a part of the second imaging range M2 is set below the first imaging range M1. In the embodiment, the second imaging range M2 is set on the lower front side of the swivel body 3. As shown in FIG. 4, at least a part of the second imaging range M2 is set to the right of the first imaging range M1.
  • the first imaging range M1 includes the front space SP1 of the swivel body 3.
  • the front space SP1 includes a space in front of the driver's cab 3A, a space diagonally above the front side of the driver's cab 3A, a space diagonally downward on the front side, a space diagonally left on the front side, and a space diagonally right on the front side.
  • the second imaging range M2 includes the front lower space SP2 below the front space SP1.
  • the front lower space SP2 is a space below the front side of the driver's cab 3A.
  • the front lower space SP2 includes the space in front of the traveling body 2. Further, the front lower space SP2 includes a space to the right of the front space SP1.
  • the second imaging range M2 is set so that a suitable image can be obtained in the excavation work by the work machine 1.
  • the second imaging range M2 is set to include an excavation target such as a ground or a cliff from the lower side (foot) in front of the swivel body 3, for example.
  • the second imaging range M2 is set to include, for example, a bucket 4C for performing excavation work.
  • the second imaging range M2 may be set to include a space in the vertical direction in front of the driver's cab 3A and substantially the same height as the driver's cab 3A.
  • the second imaging range M2 may be set to include a space in front of the driver's cab 3A and above the driver's cab 3A in the vertical direction.
  • the first imaging device 31 is arranged inside the driver's cab 3A. In the embodiment, the first imaging device 31 is arranged in front of and above the driver's cab 3A. The first imaging device 31 images the front space SP1 of the swivel body 3 through the windshield of the driver's cab 3A. The first imaging device 31 may be arranged at the rear part of the driver's cab 3A, or may be arranged at the lower part of the driver's cab 3A.
  • the second imaging device 32 is arranged on the upper deck 3D of the swivel body 3. At least part of the upper deck 3D is located in front of the driver's cab 3A. The second imaging device 32 is arranged on the lower surface of the upper deck 3D in front of the swivel body 3.
  • the first imaging device 31 is arranged in the driver's cab 3A so that the optical axis OA1 of the optical system of the first imaging device 31 extends in the front-rear direction.
  • the second imaging device 32 is arranged on the lower surface of the upper deck 3D so that the optical axis OA2 of the optical system of the second imaging device 32 is inclined downward toward the front. Further, as shown in FIG. 4, the second imaging device 32 is arranged on the lower surface of the upper deck 3D so that the optical axis OA2 of the optical system of the second imaging device 32 is inclined to the right toward the front.
  • At least a part of the working machine 4 is included in the first imaging range M1. That is, the first imaging range M1 is set to include at least a part of the working machine 4.
  • the bucket 4C of the work machine 4 moves in the vertical direction within a predetermined movable range.
  • the first imaging range M1 is set to include the bucket 4C that moves in the vertical direction.
  • the first imaging range M1 is set to include at least a part of the work target of the work machine 1.
  • the traveling body 2 can move to the second imaging range M2. That is, the second imaging range M2 is set so as to include at least a part of the traveling body 2. When the swivel body 3 turns so that the rotation axis DX of the traveling body 2 and the boom rotating shaft AX are parallel to each other, the second imaging range M2 is set to include the front part of the track 2C of the traveling body 2. .. Note that, for example, the traveling body 2 may not be included in the second imaging range M2 depending on the turning angle of the turning body 3.
  • the second imaging range M2 is set to include the bucket 4C of the working machine 4 that has moved downward. As described above, the bucket 4C moves in the vertical direction within a predetermined movable range.
  • the second imaging range M2 is set to include the bucket 4C moved to the lower part of the movable range.
  • the second imaging range M2 is set to include at least a part of the work target of the work machine 1.
  • the second imaging range M2 is set to include the ground GR on which the traveling body 2 travels.
  • At least a part of the first imaging range M1 and the second imaging range M2 overlaps. As shown in FIG. 3, the lower part of the first imaging range M1 and the upper part of the second imaging range M2 overlap. As shown in FIG. 4, the right portion of the first imaging range M1 and the left portion of the second imaging range M2 overlap.
  • the image of the first imaging range M1 captured by the first imaging device 31 is appropriately referred to as the first image P1
  • the image of the second imaging range M2 captured by the second imaging device 32 is appropriately referred to.
  • Second image P2 the image of the second imaging range M2 captured by the second imaging device 32
  • FIG. 5 is a diagram showing a remote control room 200 according to the embodiment. As shown in FIG. 5, the remote control device 40 and the display device 50 are arranged in the remote control room 200.
  • the remote control device 40 is operated by an operator seated on the control seat 45.
  • the operator sits on the control seat 45 so as to face the display screen of the display device 50.
  • the operator operates the remote control device 40 while looking at the display screen of the display device 50.
  • the operation signal generated by operating the remote control device 40 is transmitted to the control device 300 of the work machine 1 via the control device 60 and the communication system 400.
  • the control device 300 operates the work machine 1 based on the operation signal acquired via the communication system 400.
  • the operation of the work machine 1 includes at least one of the operation of the traveling body 2, the operation of the swivel body 3, and the operation of the work machine 4.
  • the movement of the traveling body 2 includes a forward movement and a reverse movement of the traveling body 2.
  • the operation of the swivel body 3 includes a left swivel motion and a right swivel motion of the swivel body 3.
  • the operation of the working machine 4 includes a boom 4A raising operation, a boom 4A lowering operation, an arm 4B dump operation, an arm 4B excavation operation, a bucket 4C excavation operation, and a bucket 4C dump operation.
  • the remote control device 40 includes a left work lever 41 and a right work lever 42 operated for the operation of the swivel body 3 and the work machine 4, and a left travel pedal 43 and a right travel operation operated for the operation of the traveling body 2. Includes pedal 44.
  • the left work lever 41 is operated by the left hand of the operator.
  • the right work lever 42 is operated by the operator's right hand.
  • the left traveling pedal 43 is operated by the operator's left foot.
  • the right traveling pedal 44 is operated by the operator's right foot.
  • the left work lever 41 is arranged on the left side of the control seat 45.
  • the right work lever 42 is arranged on the right side of the control seat 45.
  • the arm 4B is dumped or excavated.
  • the swivel body 3 makes a left-turning operation or a right-turning operation.
  • the bucket 4C operates in an excavation operation or a dump operation.
  • the boom 4A is lowered or raised.
  • the swivel body 3 When the left work lever 41 is operated in the front-rear direction, the swivel body 3 is swiveled to the right or left, and when the left work lever 41 is operated in the left-right direction, the arm 4B is dumped or excavated. You may.
  • the relationship between the operating direction of the left working lever 41 and the operating direction of the right working lever 42 and the operation of the working machine 4 is arbitrary.
  • the left traveling pedal 43 and the right traveling pedal 44 are arranged below the front side of the control seat 45.
  • the left traveling pedal 43 is arranged to the left of the right traveling pedal 44.
  • the track 2C on the left side of the traveling body 2 moves forward or backward.
  • the right traveling pedal 44 By operating the right traveling pedal 44, the track 2C on the right side of the traveling body 2 moves forward or backward.
  • the first monitor device 501 that displays the work machine operation data indicating the operation status of the work machine 1 and the operation operated to operate the electric equipment mounted on the work machine 1 are operated.
  • the switch 502 and the switch 502 are arranged.
  • the first monitor device 501 uses, for example, the remaining amount of fuel of the engine mounted on the work machine 1, the temperature of the coolant of the engine, the temperature of the hydraulic oil for driving the hydraulic cylinder 5, and the temperature of the hydraulic oil for driving the hydraulic cylinder 5, as the work machine operation data.
  • the traveling speed of the traveling body 2 is displayed.
  • the operation switch 502 operates, for example, a headlight provided in the work machine 1 as an electric device mounted on the work machine 1.
  • the display device 50 displays the first image P1 and the second image P2 transmitted from the work machine 1.
  • the first image P1 and the second image P2 are transmitted to the control device 60 of the remote control system 100 via the control device 300 and the communication system 400.
  • the control device 60 causes the display device 50 to display the first image P1 and the second image P2 acquired via the communication system 400.
  • the display device 50 displays the second image P2 together with the first image P1.
  • the display device 50 displays the second image P2 so as to overlap a part of the first image P1.
  • the display device 50 includes a flat panel display such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL display (OELD: Organic Electroluminescence Display).
  • the display device 50 includes a plurality of flat panel displays arranged adjacent to each other.
  • the display device 50 is arranged above the central display 51, the left display 52 arranged on the left side of the central display 51, the right display 53 arranged on the right side of the central display 51, and the central display 51.
  • the upper display 54 and the lower display 55 arranged below the central display 51 are included.
  • the first image P1 displayed on the display device 50 is an image corresponding to the view of the front space of the operator when it is assumed that the operator is seated on the driver's seat provided in the driver's cab 3A of the work machine 1. be.
  • the operator of the remote control room 200 can get the feeling that he / she is actually seated on the operation seat of the work machine 1.
  • the operator of the remote control room 200 operates the remote control device 40 to operate the work machine 4, and excavates the work target.
  • the excavated material excavated by the bucket 4C of the working machine 4 is loaded on the dump truck as a cargo.
  • the dump truck is an unmanned dump truck that travels based on a control command transmitted from a control facility at a work site.
  • a second monitoring device 503 that displays dump truck operation data indicating the operation status of the unmanned dump truck at the work site is arranged.
  • a position sensor for detecting the position data of the unmanned dump truck is arranged on the unmanned dump truck.
  • the position sensor detects the absolute position of the unmanned dump truck using the Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the second monitoring device 503 displays the position of each of the plurality of unmanned dump trucks operating at the work site as the dump truck operation data. Further, the operator can operate the input device provided in the second monitoring device 503 to stop or start the unmanned dump truck.
  • a third monitor device 504 that displays guidance data of the work machine 4 is arranged.
  • the guidance data the relative distance between the target design surface of the work target and the work machine 4, the shape of the work target, and the ore distribution of the work target are exemplified.
  • FIG. 6 is a functional block diagram showing a remote control system 100 of the work machine 1 according to the embodiment.
  • the remote control system 100 controls a communication device 6 arranged in a remote location, a control device 60 connected to the communication device 6, and a remote control device 40 connected to the control device 60. It includes a display device 50 connected to the device 60.
  • the remote operation system 100 is connected to the communication device 7 arranged in the work machine 1, the control device 300 connected to the communication device 7, the image pickup device 30 connected to the control device 300, and the control device 300.
  • the sensor 70, the traveling body 2 controlled by the control device 300, the swivel body 3 controlled by the control device 300, and the hydraulic cylinder 5 controlled by the control device 300 are provided.
  • the image pickup device 30 includes a first image pickup device 31 and a second image pickup device 32.
  • the sensor 70 includes a position sensor 71, an attitude sensor 72, and an angle sensor 73.
  • the control device 300 includes a traveling body control unit 301, a swivel body control unit 302, a work machine control unit 303, an image data transmission unit 304, and a sensor data transmission unit 305.
  • the traveling body control unit 301 receives the operation signal of the remote control device 40 transmitted from the control device 60.
  • the traveling body control unit 301 outputs a control signal for controlling the operation of the traveling body 2 based on the operation signal of the remote control device 40.
  • the swivel body control unit 302 receives the operation signal of the remote control device 40 transmitted from the control device 60.
  • the swivel body control unit 302 outputs a control signal for controlling the operation of the swivel body 3 based on the operation signal of the remote control device 40.
  • the work machine control unit 303 receives the operation signal of the remote control device 40 transmitted from the control device 60.
  • the work machine control unit 303 outputs a control signal for controlling the operation of the work machine 4 based on the operation signal of the remote control device 40.
  • the control signal for controlling the work machine 4 includes a control signal for controlling the hydraulic cylinder 5.
  • the image data transmission unit 304 transmits the image of the work site acquired by the image pickup device 30 to the control device 60.
  • the image data transmission unit 304 acquires the first image P1 of the first imaging range M1 from the first imaging device 31, and acquires the second image P2 of the second imaging range M2 from the second imaging device 32.
  • the image data transmission unit 304 transmits the first image P1 and the second image P2 to the control device 60.
  • the sensor data transmission unit 305 transmits the detection data of the sensor 70 mounted on the work machine 1 to the control device 60.
  • the sensor 70 includes a position sensor 71 that detects the position of the swivel body 3, a posture sensor 72 that detects the posture of the swivel body 3, and an angle sensor 73 that detects the angle of the work equipment 4.
  • the position sensor 71 detects the absolute position of the swivel body 3 by using the Global Navigation Satellite System (GNSS).
  • the position sensor 71 includes a GNSS receiver provided on the swivel body 3.
  • the attitude sensor 72 detects the inclination angle of the swivel body 3 with respect to the horizontal plane.
  • the attitude sensor 72 includes an inertial measurement unit (IMU: Inertial Measurement Unit) provided on the swivel body 3.
  • the angle sensor 73 detects the angle of the working machine 4.
  • the angle sensor 73 includes a boom angle sensor that detects the angle of the boom 4A with respect to the swivel body 3, an arm angle sensor that detects the angle of the arm 4B with respect to the boom 4A, and a bucket angle sensor that detects the angle of the bucket 4C with respect to the arm 4B. ..
  • the communication device 7 communicates with the communication device 6 via the communication system 400.
  • the communication device 7 receives the operation signal of the remote control device 40 transmitted from the control device 60 via the communication device 6 and outputs the operation signal to the control device 300.
  • the communication device 7 transmits the first image P1 of the first image pickup range M1 and the second image P2 of the second image pickup range M2 received from the image data transmission unit 304 to the communication device 6 at a remote location.
  • the communication device 7 includes an encoder that compresses the image data of the first image P1 and the image data of the second image P2. Each of the first image P1 and the second image P2 is transmitted from the communication device 7 to the communication device 6 in a compressed state.
  • the communication device 6 communicates with the communication device 7 via the communication system 400.
  • the communication device 6 transmits an operation signal generated by operating the remote control device 40 to the communication device 7.
  • the communication device 6 receives the first image P1 and the second image P2 transmitted from the control device 300 via the communication device 7 and outputs the first image P1 and the second image P2 to the control device 60.
  • the communication device 6 includes a decoder that restores the compressed image data of the first image P1 and the image data of the second image P2.
  • the first image P1 and the second image P2 are output from the communication device 6 to the control device 60 in a restored state.
  • the control device 60 includes an operation signal transmission unit 61, an image data reception unit 62, a first image processing unit 63, a second image processing unit 64, and a display control unit 65.
  • the operation signal transmission unit 61 transmits an operation signal for remotely controlling the work machine 1.
  • an operation signal for remotely controlling the work machine 1 is generated.
  • the operation signal transmission unit 61 transmits the operation signal of the remote control device 40 to the control device 300.
  • the image data receiving unit 62 receives the first image P1 and the second image P2.
  • the image data receiving unit 62 acquires the first image P1 and the second image P2 restored by the decoder of the communication device 6.
  • the first image processing unit 63 divides the first image P1 received by the image data receiving unit 62.
  • FIG. 7 is a diagram for explaining the processing of the first image processing unit 63 according to the embodiment.
  • the image data receiving unit 62 acquires the first image P1.
  • the first image P1 is an image of the front space SP1 of the swivel body 3.
  • the first image P1 shows a part of the working machine 4 including the bucket 4C. Further, the first image P1 shows a work target in front of the swivel body 3. Further, the first image P1 shows the handrail 3E of the upper deck 3D.
  • the first image processing unit 63 divides the first image P1 into a plurality of images.
  • the first image processing unit 63 includes an image P11 for displaying the first image P1 on the central display 51, an image P12 for displaying on the left display 52, and an image P13 for displaying on the right display 53.
  • the image P14 for display on the upper display 54 and the image P15 for display on the lower display 55 are divided.
  • the second image processing unit 64 generates an impose image P2S from the second image P2 received by the image data receiving unit 62.
  • FIG. 8 is a diagram for explaining the processing of the second image processing unit 64 according to the embodiment.
  • the second image P2 is acquired by the image data receiving unit 62.
  • the second image P2 is an image of the front lower space SP2 of the driver's cab 3A.
  • the second image P2 shows the front part of the track 2C of the traveling body 2.
  • the second image P2 shows a part of the working machine 4 including the bucket 4C.
  • the second image P2 shows a part of the ground GR on which the traveling body 2 travels.
  • the swivel body 3 is not arranged in the second imaging range M2 of the second imaging device 32.
  • the second image P2 does not show the swivel body 3 including the upper deck 3D and the handrail 3E.
  • the second image processing unit 64 reduces the second image P2 to generate the impose image P2S.
  • the display control unit 65 causes the display device 50 to display the first image P1 and the second image P2.
  • the display control unit 65 causes the display device 50 to display the second image P2 together with the first image P1.
  • the display control unit 65 causes the display device 50 to display the second image P2 together with the first image P1 so that the second image P2 overlaps a part of the first image P1.
  • FIG. 9 is a diagram for explaining the processing of the display control unit 65 according to the embodiment.
  • the display control unit 65 causes the central display 51 to display the image P11 which is a part of the first image P1.
  • the display control unit 65 causes the left display 52 to display the image P12, which is a part of the first image P1.
  • the display control unit 65 causes the right display 53 to display the image P13 which is a part of the first image P1.
  • the display control unit 65 causes the upper display 54 to display the image P14 which is a part of the first image P1.
  • the display control unit 65 causes the lower display 55 to display the image P15 which is a part of the first image P1.
  • the display control unit 65 superimposes the impose image P2S generated from the second image P2 on the lower part of the first image P1 and displays it on the display device 50. In the embodiment, the display control unit 65 superimposes the impose image P2S on the image P15 and displays it on the lower display 55.
  • the display control unit 65 includes a vehicle body data image P3 showing the posture of the swivel body 3, a work machine data image P4 showing the posture of the work machine 4, and a load data image showing the weight of the load loaded on the dump truck.
  • the display device 50 displays the bucket data image P6 showing the positions of the tip blades 4D of the bucket 4C and P5.
  • the display control unit 65 calculates the inclination angle of the swivel body 3 with respect to the horizontal plane based on the detection data of the attitude sensor 72.
  • the display control unit 65 causes the display device 50 to display a symbol image showing the inclination angle of the swivel body 3 as the vehicle body data image P3.
  • the vehicle body data image P3 is displayed on the upper display 54.
  • the display control unit 65 calculates the posture of the work machine 4 based on the detection data of the angle sensor 73.
  • the display control unit 65 causes the display device 50 to display an animation image showing the posture of the work machine 4 as the work machine data image P4.
  • the work equipment data image P4 is displayed on the right display 53.
  • the display control unit 65 calculates the weight of the cargo loaded on the dump truck based on the detection data of the weight sensor (not shown) that detects the weight of the cargo held in the bucket 4C.
  • the display control unit 65 causes the display device 50 to display an indicator image showing the weight of the cargo as the cargo data image P5.
  • the cargo data image P5 is displayed on the right display 53.
  • the display control unit 65 calculates the vertical position of the tip blade 4D of the bucket 4C based on the detection data of the angle sensor 73.
  • the display control unit 65 causes the display device 50 to display an indicator image indicating the vertical position of the tip blade 4D of the bucket 4C as the bucket data image P6.
  • the bucket data image P6 is displayed on the right display 53.
  • FIG. 10 is a flowchart showing a remote control method of the work machine 1 according to the embodiment.
  • the processing methods for the first image P1 and the second image P2 will be mainly described.
  • the operation signal transmission unit 61 of the control device 60 transmits an operation signal for remotely controlling the work machine 1 to the control device 300.
  • the first imaging device 31 images the first imaging range M1 including the front space SP1 of the swivel body 3.
  • the second imaging device 32 images the second imaging range M2 including the front lower space SP2 of the swivel body 3.
  • the image data transmission unit 304 transmits the first image P1 and the second image P2 to the control device 60 via the communication device 7 and the communication system 400. Each of the first image P1 and the second image P2 is transmitted from the work machine 1 to the control device 60 in a compressed state (step SA1).
  • the image data receiving unit 62 receives the first image P1 and the second image P2 transmitted from the work machine 1 via the communication device 6.
  • the image data receiving unit 62 receives the restored first image P1 and second image P2.
  • the first image processing unit 63 divides the first image P1 into an image P11, an image P12, an image P13, an image P14, and an image P15 (step SB1).
  • the second image processing unit 64 generates an impose image P2S from the second image P2 (step SB2).
  • step SB2 may be executed before the process of step SB1, or the process of step SB1 and the process of step SB2 may be executed in parallel.
  • the display control unit 65 causes the display device 50 to display the first image P1.
  • the display control unit 65 displays the image P11 on the central display 51, displays the image P12 on the left display 52, displays the image P13 on the right display 53, displays the image P14 on the upper display 54, and displays the image P14 on the lower display 55.
  • Image P15 is displayed.
  • the display control unit 65 imposes the second image P2 on a part of the first image P1 displayed on the display device 50. That is, the display device 50 displays the second image P2 so as to overlap a part of the first image P1. The second image P2 is imposed at the lower part of the first image P1. The impose image P2S of the second image P2 is displayed on the lower display 55 so as to be superimposed on the image P15 (step SB3).
  • An abnormality may occur in the image transmission path from the work machine to a remote location.
  • causes of abnormalities in the image transmission path include an abnormality in the image sensor of the image pickup device 30, an abnormality in the communication device 7, an abnormality in at least a part of the communication system 400, and an abnormality in the communication device 6.
  • the remote control system 100 diagnoses the presence or absence of an abnormality in the image transmission path.
  • the remote control system 100 causes an operator at a remote location to recognize an abnormality in the image transmission path.
  • FIG. 11 is a diagram for explaining a method of diagnosing an image transmission path according to an embodiment.
  • the first imaging device 31 images the first imaging range M1 around the work machine 1.
  • the second imaging device 32 images the second imaging range M2 around the work machine 1.
  • the first imaging range M1 and a part of the second imaging range M2 overlap.
  • Each of the first imaging device 31 and the second imaging device 32 is arranged on the swivel body 3.
  • the relative positions of the first imaging device 31, the second imaging device 32, and the swivel body 3 are fixed. Further, the relative positions of the first imaging range M1 and the second imaging range M2 are fixed.
  • the image transmission path is diagnosed by the first image P1 and the second image pickup range M2 of the first image pickup range M1 in which the overlapping range MD of the first image pickup range M1 and the second image pickup range M2 includes an object whose state changes. It is carried out based on the second image P2 of.
  • the state of the object is the position of the object. Objects that change position are used in the diagnosis of image transmission paths.
  • the object used for diagnosing the image transmission path moves relative to the first imaging range M1 of the first imaging device 31 and the second imaging range M2 of the second imaging device 32.
  • the diagnosis of the image transmission path is performed based on the first image P1 and the second image P2 in which the overlapping range MD includes an object whose position changes.
  • the first image P1 and the second image P2 used for diagnosing the image transmission path are images captured at the same time.
  • the object used for diagnosing the image transmission path is the working machine 4 attached to the swivel body 3.
  • the operation signal is transmitted from the remote control signal transmission unit 61 to the work machine 1.
  • the work machine 4 operates based on an operation signal transmitted from a remote location.
  • the working machine 4 moves relative to the first imaging range M1 and the second imaging range M2 based on the operation signal transmitted from the remote location.
  • At least a part of the working machine 4 may move relative to the first imaging range M1 and the second imaging range M2 and be included in the overlapping range MD.
  • the bucket 4C may be included in the overlap range MD. The position of the bucket 4C changes in the overlapping range MD due to the operation of the working machine 4.
  • the communication device 7 of the work machine 1 includes the first image P1 and the second image pickup of the first image pickup range M1 including the bucket 4C whose position changes in the overlap range MD of the first image pickup range M1 and the second image pickup range M2.
  • the second image P2 in the range M2 is transmitted to the remote control device 60.
  • the image data receiving unit 62 of the control device 60 receives the first image P1 and the second image P2.
  • the display control unit 65 causes the display device 50 to display the first image P1 and the second image P2 in which the bucket 4C whose position changes is included in the overlapping range MD of the first imaging range M1 and the second imaging range M2.
  • the display control unit 65 causes the display device 50 to display the second image P2 together with the first image P1.
  • FIGS. 12 and 13 are diagram for explaining a method of diagnosing an image transmission path according to an embodiment.
  • FIG. 12 shows a display device 50 when the image transmission path is normal.
  • FIG. 13 shows a display device 50 when at least a part of the image transmission path is abnormal.
  • the bucket 4C moves based on the operation signal transmitted from the operation signal transmission unit 61 to the work machine 1.
  • the position of the bucket 4C is in the first image P1 displayed on the display device 50. Although it changes, the position of the bucket 4C does not change in the second image P2 displayed on the display device 50. That is, when the transmission path of the first image P1 is normal and the transmission path of the second image P2 is abnormal, the bucket 4C moves based on the operation signal in the first image P1, but the bucket 4C in the second image P2. Does not move.
  • the position of the bucket 4C changes in the second image P2, but the bucket 4C in the first image P1. The position does not change.
  • the position of the bucket 4C changes in the first image P1 displayed on the display device 50, but the second image. If the position of the bucket 4C does not change in P2, it is diagnosed that the transmission path of the first image P1 is normal and the transmission path of the second image P2 is abnormal.
  • the position of the bucket 4C changes in the second image P2 displayed on the display device 50, but the first image If the position of the bucket 4C does not change in P1, it is diagnosed that the transmission path of the second image P2 is normal and the transmission path of the first image P1 is abnormal.
  • the object used for diagnosing the image transmission path does not have to be the working machine 4.
  • the object may be, for example, a ground GR.
  • the traveling body 2 operates based on the operation signal transmitted from the remote location.
  • the ground GR moves relative to the first imaging range M1 and the second imaging range M2.
  • the position of the ground GR is set in each of the first image P1 and the second image P2 displayed on the display device 50.
  • it is diagnosed that the transmission path of the first image P1 and the transmission path of the second image P2 are normal.
  • the position of the ground GR changes in the first image P1 displayed on the display device 50, but the second image. If the position of the ground GR does not change in P2, it is diagnosed that the transmission path of the first image P1 is normal and the transmission path of the second image P2 is abnormal.
  • the position of the ground GR changes in the second image P2 displayed on the display device 50, but the first image If the position of the ground GRT does not change in P1, it is diagnosed that the transmission path of the second image P2 is normal and the transmission path of the first image P1 is abnormal.
  • the swivel body 3 operates based on the operation signal transmitted from the remote location.
  • the ground GR moves relative to the first imaging range M1 and the second imaging range M2.
  • the operator of the remote control room 200 operates the remote control device 40 to operate the swivel body 3
  • the position of the ground GR in each of the first image P1 and the second image P2 displayed on the display device 50 changes. Based on the above, the presence or absence of an abnormality in the transmission path of the first image P1 and the presence or absence of an abnormality in the transmission path of the second image P2 are diagnosed.
  • the object used for diagnosing the image transmission path does not have to be an object that moves relative to the first imaging range M1 and the second imaging range M2 based on the operation signal. For example, when a work machine different from the work machine 1 exists at the work site and at least a part of the other work machine is arranged in the overlapping range MD, the first image P1 and the display device 50 are displayed. Based on the second image P2, the presence or absence of an abnormality in the image transmission path is diagnosed. Further, when there is an automobile traveling on the work site and at least a part of the automobile is arranged in the overlapping range MD, the first image P1 and the second image P2 displayed on the display device 50 are used as the basis for the first image P1 and the second image P2. The presence or absence of an abnormality in the transmission path of the first image P1 and the presence or absence of an abnormality in the transmission path of the second image P2 are diagnosed.
  • the change in the position of the object includes the change in the posture of the object.
  • An object whose posture changes may be used in diagnosing an image transmission path. For example, when the bucket 4C rotates about the bucket rotation axis CX, the posture of the bucket 4C changes. Depending on the relative positions of the first imaging device 31 and the second imaging device 32 and the bucket 4C, it becomes difficult for the first imaging device 31 and the second imaging device 32 to capture the change in the position of the bucket 4C, and the posture of the bucket 4C ( It may be possible to capture the rotating state). In such a case, an object (bucket 4C) whose posture changes may be used in diagnosing the image transmission path.
  • the state of the object may be the appearance of the object.
  • a blinking lamp is arranged in the overlapping range MD
  • the lamp blinks in the first image P1, but the lamp does not blink in the second image P2.
  • the transmission path of the second image P2 is normal and the transmission path of the first image P1 is abnormal
  • the lamp blinks in the second image P2, but the lamp does not blink in the first image P1.
  • the presence or absence of abnormalities is diagnosed.
  • FIG. 14 is a block diagram showing a computer system 1000 according to an embodiment.
  • the computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including a non-volatile memory such as a ROM (Read Only Memory) and a volatile memory such as a RAM (Random Access Memory). It has a storage 1003 and an interface 1004 including an input / output circuit.
  • the functions of the control device 60 and the functions of the control device 300 described above are stored in the storage 1003 as a computer program.
  • the processor 1001 reads a computer program from the storage 1003, expands it into the main memory 1002, and executes the above-described processing according to the program.
  • the computer program may be distributed to the computer system 1000 via the network.
  • the computer program or the computer system 1000 has a first image P1 of the first imaging range M1 around the work machine 1, and a second imaging range M2 in which at least a part thereof overlaps the first imaging range M1.
  • the first image P1 and the second image P2 in which the object whose state changes is included in the overlapping range MD of the first imaging range M1 and the second imaging range M2 are display devices. It is displayed at 50.
  • the operator of the remote control room 200 can recognize the presence or absence of an abnormality in the image transmission path based on the state of each object of the first image P1 and the second image P2 displayed on the display device 50.
  • the operator of the remote control room 200 changes the state of the object by operating the remote control device 40. Can be made to.
  • the operator of the remote control room 200 can perform the diagnosis of the image transmission path at an arbitrary timing.
  • the operator of the remote control room 200 can diagnose the image transmission path, for example, at the timing of the start-up inspection.
  • the operator of the remote control room 200 can perform the diagnosis of the image transmission path with high frequency.
  • the work machine 4 is operated with high frequency. Therefore, since the object used for diagnosing the image transmission path is the work machine 4, the operator of the remote control room 200 can perform the diagnosis of the image transmission path with high frequency.
  • the first image P1 and the second image P2 including the object are displayed on the display device 50, and the operator of the remote control room 200 displays the first image P1 and the second image P2 on the display device 50.
  • the control device 60 may perform a diagnosis of the presence or absence of an abnormality in the image transmission path.
  • the control device 60 performs image processing on each of the first image P1 and the second image P2 transmitted from the work machine 1 and extracts an object from each of the first image P1 and the second image P2.
  • the control device 60 may compare the state of the object of the first image P1 with the state of the object of the second image P2 to diagnose the presence or absence of an abnormality in the image transmission path.
  • the second imaging device 32 is arranged below the first imaging device 31 in the vertical direction of the swivel body 3.
  • the second image pickup device 32 may be arranged above the first image pickup device 31 or may be arranged at the same position as the first image pickup device 31.
  • the first imaging device 31 is arranged at the same position as the second imaging device 32 in the left-right direction of the swivel body 3. In the left-right direction of the swivel body 3, the first imaging device 31 may be arranged to the left or to the right of the second imaging device 32.
  • the first imaging device 31 is arranged behind the second imaging device 32 in the front-rear direction of the swivel body 3.
  • the first imaging device 31 may be arranged in front of the second imaging device 32, or may be arranged at the same position as the second imaging device 32.
  • the first imaging device 31 and the second imaging device 32 are arranged adjacent to each other in the vertical direction or the horizontal direction, and the angle of the optical axis OA1 of the first imaging device 31 and the light of the second imaging device 32. It may be arranged so that the angle of the axis OA2 is different in the vertical direction. Further, the first imaging device 31 and the second imaging device 32 are arranged adjacent to each other in the vertical direction or the horizontal direction, and the angle of the optical axis OA1 of the first imaging device 31 and the angle of the optical axis OA2 of the second imaging device 32. And may be arranged differently in the left-right direction.
  • the impose image P2S of the second image P2 is displayed so as to overlap the lower part of the first image P1.
  • the impose image P2S may be displayed so as to overlap the upper part of the first image P1, may be displayed so as to overlap the left part of the first image P1, or may be displayed so as to overlap the right part of the first image P1. It may be displayed so as to overlap with.
  • the first image P1 and the second image P2 do not have to overlap.
  • the first image P1 and the second image P2 may be displayed side by side on the display device 50.
  • the first imaging device 31 may be arranged outside the driver's cab 3A.
  • the first imaging device 31 may be arranged on the swivel body 3.
  • an unmanned dump truck may operate at the work site.
  • the unmanned dump truck runs based on the control command sent from the control facility at the work site.
  • the image captured by the imaging device 30 may be transmitted to the control facility at the work site and displayed on the display device installed in the control facility.
  • the control facility is located at a remote location of the work machine 1. The manager of the work site existing in the control facility can see the image captured by the image pickup device 30.
  • the swivel body 3 (vehicle body) has a driver's cab 3A.
  • the cab 3A may not be present in the swivel body 3.
  • the driver's cab 3A does not exist in the swivel body 3
  • the first imaging device 31 is arranged at the front portion of the swivel body 3.
  • the display device 50 has a plurality of displays (51, 52, 53, 54, 55).
  • the display device 50 may be composed of one display. Further, the display may be a flat panel display or a curved panel display.
  • the work machine 1 is a loading shovel.
  • the work machine 1 may be a backhoe.
  • the work machine 1 is provided with the swivel body 3 as the vehicle body, but the vehicle body of the work machine 1 does not have to be the swivel body.
  • the work machine 1 may be a bulldozer or a wheel loader as long as it is a work machine having a work machine.
  • second image pickup device 40 ... remote control device, 41 ... left work lever, 42 ... right work lever, 43 ... left travel Pedal, 44 ... right running pedal, 45 ... control seat, 50 ... display device, 51 ... center display, 52 ... left display, 53 ... right display, 54 ... top display, 55 ... bottom display, 60 ... control device, 61 ... Operation signal transmission unit, 62 ... image data reception unit, 63 ... first image processing unit, 64 ... second image processing unit, 65 ... display control unit, 70 ... sensor, 71 ... position sensor, 72 ... attitude sensor, 73 ... Angle sensor, 100 ... remote control system, 200 ... remote control room, 300 ... control device, 301 ... traveling body control unit, 302 ...
  • swivel body control unit 303 ... work equipment control unit, 304 ... image data transmission unit, 305 ...
  • Sensor data transmitter 400 ... communication system, 501 ... first monitor device, 502 ... operation switch, 503 ... second monitor device, 504 ... third monitor device, 1000 ... computer system, 1001 ... processor, 1002 ... main memory, 1003 ... Storage, 1004 ... Interface, AX ... Boom rotation axis, BX ... Arm rotation axis, CX ... Bucket rotation axis, GR ... Ground, RX ... Swivel axis, M1 ... First imaging range, M2 ... Second imaging range, MD ... Overlapping range, OA1 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Selective Calling Equipment (AREA)
  • Manipulator (AREA)

Abstract

作業機械の遠隔操作システムは、第１撮像範囲の第１画像、及び少なくとも一部が第１撮像範囲に重複する第２撮像範囲の第２画像を受信する画像データ受信部と、第１撮像範囲と第２撮像範囲との重複範囲に状態が変化する物体が含まれた第１画像及び第２画像を表示装置に表示させる表示制御部と、を作業機械の遠隔地に備える。

Description

作業機械の遠隔操作システム
　本開示は、作業機械の遠隔操作システムに関する。
　作業機械に係る技術分野において、作業機械を遠隔操作する技術が知られている。作業機械の遠隔操作において、作業機械が稼働する作業現場の画像が撮像装置により撮像される。撮像装置により撮像された画像は、遠隔地に送信され、遠隔地に配置されている表示装置に表示される。遠隔地の操作者は、表示装置に表示された画像を見ながら、作業機械を遠隔操作する。特許文献１には、撮像装置が旋回体の運転室に配置され、運転室の前方の画像を撮像する技術が開示されている。
特開２０１９－０６８２３６号公報
　作業機械から遠隔地への画像の伝送経路に異常が発生する可能性がある。画像の伝送経路に異常が発生したにもかかわらず、遠隔地の操作者が画像の伝送経路の異常を認識しない状態で遠隔操作を継続すると、作業現場の生産性が低下する可能性がある。
　本開示は、画像の伝送経路の異常の有無を遠隔地の操作者に認識させることを目的とする。
　本開示に従えば、第１撮像範囲の第１画像、及び少なくとも一部が前記第１撮像範囲に重複する第２撮像範囲の第２画像を受信する画像データ受信部と、前記第１撮像範囲と前記第２撮像範囲との重複範囲に状態が変化する物体が含まれた前記第１画像及び前記第２画像を表示装置に表示させる表示制御部と、を前記作業機械の遠隔地に備える、作業機械の遠隔操作システムが提供される。
　本開示によれば、画像の伝送経路の異常の有無を遠隔地の操作者に認識させることができる。
図１は、実施形態に係る作業機械の遠隔操作システムを示す模式図である。 図２は、実施形態に係る作業機械を示す斜視図である。 図３は、実施形態に係る作業機械を示す側面図である。 図４は、実施形態に係る作業機械を示す平面図である。 図５は、実施形態に係る遠隔操作室を示す図である。 図６は、実施形態に係る作業機械の遠隔操作システムを示す機能ブロック図である。 図７は、実施形態に係る第１画像処理部の処理を説明するための図である。 図８は、実施形態に係る第２画像処理部の処理を説明するための図である。 図９は、実施形態に係る表示制御部の処理を説明するための図である。 図１０は、実施形態に係る作業機械の遠隔操作方法を示すフローチャートである。 図１１は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。 図１２は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。 図１３は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。 図１４は、実施形態に係るコンピュータシステムを示すブロック図である。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
　実施形態においては、「左」、「右」、「前」、「後」、「上」、及び「下」の用語を用いて各部の位置関係について説明する。これらの用語は、作業機械１の旋回体３の中心を基準とした相対位置又は方向を示す。
［遠隔操作システム］
　図１は、実施形態に係る作業機械１の遠隔操作システム１００を示す模式図である。遠隔操作システム１００は、作業現場で稼動する作業機械１を遠隔操作する。作業現場として、鉱山又は採石場が例示される。
　遠隔操作システム１００の少なくとも一部は、遠隔操作室２００に配置される。遠隔操作室２００は、作業現場から離れた遠隔地に設置される。遠隔操作システム１００は、遠隔操作装置４０と、表示装置５０と、制御装置６０とを備える。
　遠隔操作装置４０は、遠隔操作室２００に配置される。遠隔操作装置４０は、遠隔操作室２００において操作者に操作される。操作者は、操縦シート４５に着座した状態で、遠隔操作装置４０を操作することができる。
　表示装置５０は、遠隔操作室２００に配置される。表示装置５０は、作業現場の画像を表示する。遠隔操作室２００の操作者は、作業現場の状況を直接視認することができない。遠隔操作室２００の操作者は、表示装置５０を介して作業現場の状況を視認することができる。
　操作者は、表示装置５０に表示される作業現場の画像を見ながら、遠隔操作装置４０を操作する。作業機械１は、遠隔操作装置４０によって遠隔操作される。
　制御装置６０は、遠隔操作室２００に配置される。制御装置６０は、コンピュータシステムを含む。
　作業機械１は、制御装置３００を備える。制御装置３００は、コンピュータシステムを含む。
　制御装置６０と制御装置３００とは、通信システム４００を介して通信する。通信システム４００として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local　Area　Network）、携帯電話通信網、及び衛星通信網が例示される。通信システム４００は、通信されるデータを中継する中継局を含んでもよい。
［作業機械］
　図２は、実施形態に係る作業機械１を示す斜視図である。図３は、実施形態に係る作業機械１を示す側面図である。図４は、実施形態に係る作業機械１を示す平面図である。実施形態においては、作業機械１が積込機械の一種である油圧ショベルであることとする。作業機械１は、作業現場において稼働する。作業機械１は、作業対象の掘削作業を実施する。作業対象として、土砂又は鉱石が例示される。また、作業現場において、運搬車両の一種であるダンプトラックが稼働する。作業機械１は、ダンプトラックに積荷を積み込む積込作業を実施する。積荷として、掘削作業により掘削された掘削物が例示される。
　図２、図３、及び図４に示すように、作業機械１は、走行体２と、走行体２に支持される旋回体３と、旋回体３に取り付けられる作業機４と、作業機４を駆動する油圧シリンダ５と、撮像装置３０とを備える。
　走行体２は、旋回体３を支持した状態で走行する。旋回体３は、作業機械１の車体である。走行体２は、旋回体３の下方に配置される。走行体２は、旋回体３を旋回可能に支持する。走行体２は、駆動輪２Ａと、従動輪２Ｂと、駆動輪２Ａ及び従動輪２Ｂに支持される履帯２Ｃとを有する。駆動輪２Ａ及び従動輪２Ｂのそれぞれは、回転軸ＤＸを中心に回転する。駆動輪２Ａ、従動輪２Ｂ、及び履帯２Ｃのそれぞれは、一対設けられる。駆動輪２Ａの回転により、履帯２Ｃが回転する。履帯２Ｃが回転することにより、走行体２が走行する。
　旋回体３は、走行体２に支持された状態で旋回軸ＲＸを中心に旋回可能である。旋回軸ＲＸは、上下方向に延伸する。旋回体３は、運転室３Ａと、ロアデッキ３Ｂと、ステップ３Ｃと、アッパデッキ３Ｄとを有する。運転室３Ａは、作業者が搭乗可能な旋回体３の内部空間である。運転室３Ａは、旋回体３の前部且つ上部に配置される。ロアデッキ３Ｂは、旋回体３の後部且つ下部に配置される。アッパデッキ３Ｄは、旋回体３の前部且つ上部に配置される。ステップ３Ｃは、ロアデッキ３Ｂとアッパデッキ３Ｄとを繋ぐ。アッパデッキ３Ｄは、運転室３Ａを囲むように配置される。アッパデッキ３Ｄの少なくとも一部は、運転室３Ａの前方に配置される。ロアデッキ３Ｂ、ステップ３Ｃ、及びアッパデッキ３Ｄのそれぞれに、柵状の手すり３Ｅが配置される。
　ロアデッキ３Ｂ、ステップ３Ｃ、及びアッパデッキ３Ｄのそれぞれは、作業者が通行可能な通路を含む。作業者は、ロアデッキ３Ｂ、ステップ３Ｃ、及びアッパデッキ３Ｄを通行して、運転室３Ａに搭乗することができる。
　また、旋回体３は、ラダー３Ｆを有する。ラダー３Ｆは、アッパデッキ３Ｄに繋がる。
　作業機４は、旋回体３の前部に取り付けられる。作業機４は、旋回軸ＲＸよりも前方に配置される。作業機４は、前方に延伸するように動作することができる。作業機４は、旋回体３に連結されるブーム４Ａと、ブーム４Ａに連結されるアーム４Ｂと、アーム４Ｂに連結されるバケット４Ｃとを含む。ブーム４Ａの基端部は、ピンを介して旋回体３の前部に連結される。アーム４Ｂの基端部は、ピンを介してブーム４Ａの先端部に連結される。バケット４Ｃの基端部は、ピンを介してアーム４Ｂの先端部に連結される。バケット４Ｃは、先端刃４Ｄを有する。バケット４Ｃにより作業対象が掘削される。
　ブーム４Ａは、ブーム回転軸ＡＸを中心に回転可能に旋回体３の前部に連結される。アーム４Ｂは、アーム回転軸ＢＸを中心に回転可能にブーム４Ａに連結される。バケット４Ｃは、バケット回転軸ＣＸを中心に回転可能にアーム４Ｂに連結される。
　ブーム回転軸ＡＸとアーム回転軸ＢＸとバケット回転軸ＣＸとは、平行である。ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸのそれぞれは、旋回体３の車幅方向に延伸する。
　実施形態において、作業機械１は、ローディングショベルである。ローディングショベルとは、バケット４Ｃの先端刃４Ｄが前方を向くようにバケット４Ｃがアーム４Ｂに取り付けられている油圧ショベルをいう。
　油圧シリンダ５は、ブーム４Ａを駆動するブームシリンダ５Ａと、アーム４Ｂを駆動するアームシリンダ５Ｂと、バケット４Ｃを駆動するバケットシリンダ５Ｃとを含む。ブームシリンダ５Ａの基端部は、旋回体３に連結される。ブームシリンダ５Ａの先端部は、ブーム４Ａに連結される。アームシリンダ５Ｂの基端部は、ブーム４Ａに連結される。アームシリンダ５Ｂの先端部は、アーム４Ｂに連結される。バケットシリンダ５Ｃの基端部は、ブーム４Ａに連結される。バケットシリンダ５Ｃの先端部は、バケット４Ｃに連結される。
［撮像装置］
　撮像装置３０は、作業現場を撮像して作業現場の画像を取得する。撮像装置３０は、旋回体３に配置される。
　撮像装置３０により取得される作業現場の画像として、作業機械１の作業対象の画像、作業機械１の少なくとも一部の画像、作業現場に存在する構造物の画像、作業機械１とは別の作業機械の画像、及び作業現場で働く作業者の画像が例示される。実施形態において、作業機械１の作業対象の画像は、作業機４の掘削対象の画像を含む。
　撮像装置３０は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple　Charged　Device）イメージセンサ又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを含む。
　実施形態において、撮像装置３０は、旋回体３に配置され第１撮像範囲Ｍ１を撮像する第１撮像装置３１と、旋回体３に配置され第２撮像範囲Ｍ２を撮像する第２撮像装置３２とを含む。第１撮像装置３１及び第２撮像装置３２のそれぞれは、旋回体３に固定される。第１撮像装置３１と第２撮像装置３２との相対位置は固定される。第２撮像装置３２は、第１撮像装置３１による第１撮像範囲Ｍ１の撮像と並行して、第２撮像範囲Ｍ２を撮像する。
　旋回体３の上下方向において、第２撮像装置３２は第１撮像装置３１よりも下方に配置される。すなわち、旋回体３の上下方向において、第２撮像装置３２の光学系の入射面は、第１撮像装置３１の光学系の入射面よりも下方に配置される。
　旋回体３の左右方向において、第１撮像装置３１は第２撮像装置３２と等しい位置に配置される。旋回体３の左右方向は、旋回体３の車幅方向に相当する。すなわち、旋回体３の左右方向において、第１撮像装置３１の光学系の入射面は、第２撮像装置３２の光学系の入射面と等しい位置に配置される。
　旋回体３の前後方向において、第１撮像装置３１は第２撮像装置３２よりも後方に配置される。すなわち、旋回体３の前後方向において、第１撮像装置３１の光学系の入射面は、第２撮像装置３２の光学系の入射面よりも後方に配置される。
　実施形態において、上下方向は、旋回軸ＲＸと平行な方向である。左右方向は、ブーム回転軸ＡＸと平行な方向である。前後方向は、ブーム回転軸ＡＸ及び旋回軸ＲＸの両方と直交する方向である。走行体２の接地面を基準として旋回体３が存在する方向が上方であり、上方の逆方向が下方である。旋回軸ＲＸを基準として左右方向の一方が右方であり、右方の逆方向が左方である。旋回軸ＲＸを基準として作業機４が存在する方向が前方であり、前方の逆方向が後方である。
　第１撮像装置３１は、旋回体３の前方を撮像する。第１撮像範囲Ｍ１は、旋回体３の前方に設定される。第２撮像装置３２は、旋回体３の前方を撮像する。第２撮像範囲Ｍ２は、旋回体３の前方に設定される。図３に示すように、第２撮像範囲Ｍ２の少なくとも一部は、第１撮像範囲Ｍ１よりも下方に設定される。実施形態において、第２撮像範囲Ｍ２は、旋回体３の前方の下側に設定される。図４に示すように、第２撮像範囲Ｍ２の少なくとも一部は、第１撮像範囲Ｍ１よりも右方に設定される。
　第１撮像範囲Ｍ１は、旋回体３の前方空間ＳＰ１を含む。前方空間ＳＰ１は、運転室３Ａの前方の空間、運転室３Ａの前側斜め上方の空間、前側斜め下方の空間、前側斜め左方の空間、及び前側斜め右方の空間を含む。
　第２撮像範囲Ｍ２は、前方空間ＳＰ１よりも下方の前側下方空間ＳＰ２を含む。前側下方空間ＳＰ２は、運転室３Ａよりも前側下方の空間である。前側下方空間ＳＰ２は、走行体２の前方の空間を含む。また、前側下方空間ＳＰ２は、前方空間ＳＰ１よりも右方の空間を含む。
　第２撮像範囲Ｍ２は、作業機械１による掘削作業において好適な画像が得られるように設定される。第２撮像範囲Ｍ２は、例えば旋回体３の前方の下側（足元）から地山又は崖のような掘削対象を含むように設定される。また、第２撮像範囲Ｍ２は、例えば掘削作業を実施するバケット４Ｃを含むように設定される。なお、第２撮像範囲Ｍ２は、上下方向において運転室３Ａよりも前方且つ運転室３Ａと実質的に同じ高さの空間を含むように設定されてもよい。なお、第２撮像範囲Ｍ２は、上下方向において運転室３Ａよりも前方且つ運転室３Ａよりも上方の空間を含むように設定されてもよい。
　第１撮像装置３１は、運転室３Ａの内側に配置される。実施形態において、第１撮像装置３１は、運転室３Ａの前部且つ上部に配置される。第１撮像装置３１は、運転室３Ａのフロントガラスを介して、旋回体３の前方空間ＳＰ１を撮像する。なお、第１撮像装置３１は、運転室３Ａの後部に配置されてもよいし、運転室３Ａの下部に配置されてもよい。
　第２撮像装置３２は、旋回体３のアッパデッキ３Ｄに配置される。アッパデッキ３Ｄの少なくとも一部は、運転室３Ａの前方に配置される。第２撮像装置３２は、旋回体３の前方のアッパデッキ３Ｄの下面に配置される。
　第１撮像装置３１は、第１撮像装置３１の光学系の光軸ＯＡ１が前後方向に延伸するように、運転室３Ａに配置される。第２撮像装置３２は、第２撮像装置３２の光学系の光軸ＯＡ２が前方に向かって下方に傾斜するように、アッパデッキ３Ｄの下面に配置される。また、図４に示すように、第２撮像装置３２は、第２撮像装置３２の光学系の光軸ＯＡ２が前方に向かって右方に傾斜するように、アッパデッキ３Ｄの下面に配置される。
　作業機４の少なくとも一部が第１撮像範囲Ｍ１に含まれる。すなわち、第１撮像範囲Ｍ１は、作業機４の少なくとも一部を含むように設定される。作業機４のバケット４Ｃは、所定の可動範囲において上下方向に移動する。第１撮像範囲Ｍ１は、上下方向に移動するバケット４Ｃを含むように設定される。
　また、作業機械１の作業対象の少なくとも一部が第１撮像範囲Ｍ１に含まれる。第１撮像範囲Ｍ１は、作業機械１の作業対象の少なくとも一部を含むように設定される。
　走行体２の少なくとも一部が第２撮像範囲Ｍ２に移動可能である。すなわち、第２撮像範囲Ｍ２は、走行体２の少なくとも一部を含むことができるように設定される。走行体２の回転軸ＤＸとブーム回転軸ＡＸとが平行になるように旋回体３が旋回した場合、第２撮像範囲Ｍ２は、走行体２の履帯２Ｃの前部を含むように設定される。なお、例えば旋回体３の旋回角度により、走行体２が第２撮像範囲Ｍ２に含まれない場合がある。
　また、第２撮像範囲Ｍ２は、下方に移動した作業機４のバケット４Ｃを含むように設定される。上述のように、バケット４Ｃは、所定の可動範囲において上下方向に移動する。第２撮像範囲Ｍ２は、可動範囲の下部に移動されたバケット４Ｃを含むように設定される。
　また、第２撮像範囲Ｍ２は、作業機械１の作業対象の少なくとも一部を含むように設定される。
　また、第２撮像範囲Ｍ２は、走行体２が走行する地面ＧＲを含むように設定される。
　実施形態において、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２の少なくとも一部とは重複する。図３に示すように、第１撮像範囲Ｍ１の下部と第２撮像範囲Ｍ２の上部とが重複する。図４に示すように、第１撮像範囲Ｍ１の右部と第２撮像範囲Ｍ２の左部とが重複する。
　以下の説明において、第１撮像装置３１により撮像された第１撮像範囲Ｍ１の画像を適宜、第１画像Ｐ１、と称し、第２撮像装置３２により撮像された第２撮像範囲Ｍ２の画像を適宜、第２画像Ｐ２、と称する。
［遠隔操作室］
　図５は、実施形態に係る遠隔操作室２００を示す図である。図５に示すように、遠隔操作室２００に遠隔操作装置４０及び表示装置５０が配置される。
　遠隔操作装置４０は、操縦シート４５に着座した操作者に操作される。操作者は、表示装置５０の表示画面と正対するように操縦シート４５に着座する。操作者は、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。
　遠隔操作装置４０が操作されることにより生成された操作信号は、制御装置６０及び通信システム４００を介して作業機械１の制御装置３００に送信される。制御装置３００は、通信システム４００を介して取得した操作信号に基づいて、作業機械１を動作させる。作業機械１の動作は、走行体２の動作、旋回体３の動作、及び作業機４の動作の少なくとも一つを含む。
　走行体２の動作は、走行体２の前進動作及び後進動作を含む。旋回体３の動作は、旋回体３の左旋回動作及び右旋回動作を含む。作業機４の動作は、ブーム４Ａの上げ動作、ブーム４Ａの下げ動作、アーム４Ｂのダンプ動作、アーム４Ｂの掘削動作、バケット４Ｃの掘削動作、及びバケット４Ｃのダンプ動作を含む。
　遠隔操作装置４０は、旋回体３及び作業機４の動作のために操作される左作業レバー４１及び右作業レバー４２と、走行体２の動作のために操作される左走行ペダル４３及び右走行ペダル４４とを含む。左作業レバー４１は、操作者の左手により操作される。右作業レバー４２は、操作者の右手により操作される。左走行ペダル４３は、操作者の左足により操作される。右走行ペダル４４は、操作者の右足により操作される。
　左作業レバー４１は、操縦シート４５の左方に配置される。右作業レバー４２は、操縦シート４５の右方に配置される。一例として、左作業レバー４１が前後方向に操作されることにより、アーム４Ｂがダンプ動作又は掘削動作する。左作業レバー４１が左右方向に操作されることにより、旋回体３が左旋回動作又は右旋回動作する。右作業レバー４２が左右方向に操作されることにより、バケット４Ｃが掘削動作又はダンプ動作する。右作業レバー４２が前後方向に操作されることにより、ブーム４Ａが下げ動作又は上げ動作する。なお、左作業レバー４１が前後方向に操作されたときに旋回体３が右旋回動作又は左旋回動作し、左作業レバー４１が左右方向に操作されたときにアーム４Ｂがダンプ動作又は掘削動作してもよい。左作業レバー４１の操作方向及び右作業レバー４２の操作方向と作業機４の動作との関係は任意である。
　左走行ペダル４３及び右走行ペダル４４は、操縦シート４５の前側下方に配置される。左走行ペダル４３は、右走行ペダル４４の左方に配置される。左走行ペダル４３が操作されることにより、走行体２の左側の履帯２Ｃが前進動作又は後進動作する。右走行ペダル４４が操作されることにより、走行体２の右側の履帯２Ｃが前進動作又は後進動作する。
　また、遠隔操作室２００には、作業機械１の稼働状況を示す作業機械稼働データを表示する第１モニタ装置５０１と、作業機械１に搭載されている電気機器を作動させるために操作される操作スイッチ５０２とが配置される。第１モニタ装置５０１は、作業機械稼働データとして、例えば作業機械１に搭載されているエンジンの燃料の残量、エンジンの冷却液の温度、油圧シリンダ５を駆動するための作動油の温度、及び走行体２の走行速度を表示する。操作スイッチ５０２は、作業機械１に搭載されている電気機器として、例えば作業機械１に設けられている前照灯を作動させる。
　表示装置５０は、作業機械１から送信された第１画像Ｐ１及び第２画像Ｐ２を表示する。第１画像Ｐ１及び第２画像Ｐ２は、制御装置３００及び通信システム４００を介して、遠隔操作システム１００の制御装置６０に送信される。制御装置６０は、通信システム４００を介して取得した第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させる。表示装置５０は、第１画像Ｐ１とともに第２画像Ｐ２を表示する。実施形態において、表示装置５０は、第２画像Ｐ２を第１画像Ｐ１の一部に重複するように表示する。
　表示装置５０は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic　Electroluminescence　Display）のようなフラットパネルディスプレイを含む。実施形態において、表示装置５０は、隣接するように配置された複数のフラットパネルディスプレイを含む。実施形態において、表示装置５０は、中央ディスプレイ５１と、中央ディスプレイ５１の左側に配置される左ディスプレイ５２と、中央ディスプレイ５１の右側に配置される右ディスプレイ５３と、中央ディスプレイ５１の上側に配置される上ディスプレイ５４と、中央ディスプレイ５１の下側に配置される下ディスプレイ５５とを含む。
　表示装置５０に表示される第１画像Ｐ１は、操作者が作業機械１の運転室３Ａに設けられている運転シートに着座したと仮定したときの操作者の前方空間の視界に相当する画像である。遠隔操作室２００の操作者は、作業機械１の運転シートに実際に着座している感覚を得ることができる。
　遠隔操作室２００の操作者は、遠隔操作装置４０を操作して作業機４を動作させて、作業対象を掘削する。作業機４のバケット４Ｃにより掘削された掘削物は、積荷としてダンプトラックに積み込まれる。
　実施形態において、ダンプトラックは、作業現場の管制施設から送信される制御指令に基づいて走行する無人ダンプトラックである。遠隔操作室２００には、作業現場における無人ダンプトラックの稼働状況を示すダンプトラック稼働データを表示する第２モニタ装置５０３が配置される。無人ダンプトラックには、無人ダンプトラックの位置データを検出する位置センサが配置される。位置センサは、全地球航法衛星システム（Global　Navigation　Satellite　System：ＧＮＳＳ）を利用して無人ダンプトラックの絶対位置を検出する。第２モニタ装置５０３は、ダンプトラック稼働データとして、作業現場で稼動する複数の無人ダンプトラックのそれぞれの位置を表示する。また、操作者は、第２モニタ装置５０３に設けられている入力装置を操作して、無人ダンプトラックを停車させたり発車させたりすることができる。
　また、遠隔操作室２００には、作業機４のガイダンスデータを表示する第３モニタ装置５０４が配置される。ガイダンスデータとして、作業対象の目標設計面と作業機４との相対距離、作業対象の形状、及び作業対象の鉱石分布が例示される。
［制御装置］
　図６は、実施形態に係る作業機械１の遠隔操作システム１００を示す機能ブロック図である。図６に示すように、遠隔操作システム１００は、遠隔地に配置される通信装置６と、通信装置６に接続される制御装置６０と、制御装置６０に接続される遠隔操作装置４０と、制御装置６０に接続される表示装置５０とを備える。また、遠隔操作システム１００は、作業機械１に配置される通信装置７と、通信装置７に接続される制御装置３００と、制御装置３００に接続される撮像装置３０と、制御装置３００に接続されるセンサ７０と、制御装置３００により制御される走行体２と、制御装置３００により制御される旋回体３と、制御装置３００により制御される油圧シリンダ５とを備える。撮像装置３０は、第１撮像装置３１と、第２撮像装置３２とを含む。センサ７０は、位置センサ７１と、姿勢センサ７２と、角度センサ７３とを含む。
　制御装置３００は、走行体制御部３０１と、旋回体制御部３０２と、作業機制御部３０３と、画像データ送信部３０４と、センサデータ送信部３０５とを有する。
　走行体制御部３０１は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。走行体制御部３０１は、遠隔操作装置４０の操作信号に基づいて、走行体２の動作を制御する制御信号を出力する。
　旋回体制御部３０２は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。旋回体制御部３０２は、遠隔操作装置４０の操作信号に基づいて、旋回体３の動作を制御する制御信号を出力する。
　作業機制御部３０３は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。作業機制御部３０３は、遠隔操作装置４０の操作信号に基づいて、作業機４の動作を制御する制御信号を出力する。作業機４を制御する制御信号は、油圧シリンダ５を制御する制御信号を含む。
　画像データ送信部３０４は、撮像装置３０により取得された作業現場の画像を制御装置６０に送信する。画像データ送信部３０４は、第１撮像範囲Ｍ１の第１画像Ｐ１を第１撮像装置３１から取得し、第２撮像範囲Ｍ２の第２画像Ｐ２を第２撮像装置３２から取得する。画像データ送信部３０４は、第１画像Ｐ１及び第２画像Ｐ２を制御装置６０に送信する。
　センサデータ送信部３０５は、作業機械１に搭載されているセンサ７０の検出データを制御装置６０に送信する。実施形態において、センサ７０は、旋回体３の位置を検出する位置センサ７１、旋回体３の姿勢を検出する姿勢センサ７２、及び作業機４の角度を検出する角度センサ７３を含む。位置センサ７１は、全地球航法衛星システム（Global　Navigation　Satellite　System：ＧＮＳＳ）を利用して旋回体３の絶対位置を検出する。位置センサ７１は、旋回体３に設けられたＧＮＳＳ受信機を含む。姿勢センサ７２は、水平面に対する旋回体３の傾斜角度を検出する。姿勢センサ７２は、旋回体３に設けられた慣性計測装置（ＩＭＵ：Inertial　Measurement　Unit）を含む。角度センサ７３は、作業機４の角度を検出する。角度センサ７３は、旋回体３に対するブーム４Ａの角度を検出するブーム角度センサ、ブーム４Ａに対するアーム４Ｂの角度を検出するアーム角度センサ、及びアーム４Ｂに対するバケット４Ｃの角度を検出するバケット角度センサを含む。
　通信装置７は、通信システム４００を介して通信装置６と通信する。通信装置７は、通信装置６を介して制御装置６０から送信された遠隔操作装置４０の操作信号を受信して、制御装置３００に出力する。通信装置７は、画像データ送信部３０４から受信した第１撮像範囲Ｍ１の第１画像Ｐ１及び第２撮像範囲Ｍ２の第２画像Ｐ２を遠隔地の通信装置６に送信する。通信装置７は、第１画像Ｐ１の画像データ及び第２画像Ｐ２の画像データを圧縮するエンコーダを含む。第１画像Ｐ１及び第２画像Ｐ２のそれぞれは、圧縮された状態で、通信装置７から通信装置６に送信される。
　通信装置６は、通信システム４００を介して通信装置７と通信する。通信装置６は、遠隔操作装置４０が操作されることにより生成された操作信号を通信装置７に送信する。通信装置６は、通信装置７を介して制御装置３００から送信された第１画像Ｐ１及び第２画像Ｐ２を受信して、制御装置６０に出力する。通信装置６は、圧縮された第１画像Ｐ１の画像データ及び第２画像Ｐ２の画像データを復元するデコーダを含む。第１画像Ｐ１及び第２画像Ｐ２は、復元された状態で、通信装置６から制御装置６０に出力される。
　制御装置６０は、操作信号送信部６１と、画像データ受信部６２と、第１画像処理部６３と、第２画像処理部６４と、表示制御部６５とを有する。
　操作信号送信部６１は、作業機械１を遠隔操作する操作信号を送信する。遠隔操作装置４０が操作者に操作されることにより、作業機械１を遠隔操作する操作信号が生成される。操作信号送信部６１は、遠隔操作装置４０の操作信号を制御装置３００に送信する。
　画像データ受信部６２は、第１画像Ｐ１及び第２画像Ｐ２を受信する。画像データ受信部６２は、通信装置６のデコーダにより復元された第１画像Ｐ１及び第２画像Ｐ２を取得する。
　第１画像処理部６３は、画像データ受信部６２により受信された第１画像Ｐ１を分割する。
　図７は、実施形態に係る第１画像処理部６３の処理を説明するための図である。図７に示すように、画像データ受信部６２により第１画像Ｐ１が取得される。第１画像Ｐ１は、旋回体３の前方空間ＳＰ１の画像である。第１画像Ｐ１には、バケット４Ｃを含む作業機４の一部が映っている。また、第１画像Ｐ１には、旋回体３の前方の作業対象が映っている。また、第１画像Ｐ１には、アッパデッキ３Ｄの手すり３Ｅが映っている。
　第１画像処理部６３は、第１画像Ｐ１を複数の画像に分割する。第１画像処理部６３は、第１画像Ｐ１を、中央ディスプレイ５１に表示させるための画像Ｐ１１と、左ディスプレイ５２に表示させるための画像Ｐ１２と、右ディスプレイ５３に表示させるための画像Ｐ１３と、上ディスプレイ５４に表示させるための画像Ｐ１４と、下ディスプレイ５５に表示させるための画像Ｐ１５とに分割する。
　第２画像処理部６４は、画像データ受信部６２により受信された第２画像Ｐ２からインポーズ画像Ｐ２Ｓを生成する。
　図８は、実施形態に係る第２画像処理部６４の処理を説明するための図である。図８に示すように、画像データ受信部６２により第２画像Ｐ２が取得される。第２画像Ｐ２は、運転室３Ａの前側下方空間ＳＰ２の画像である。第２画像Ｐ２には、走行体２の履帯２Ｃの前部が映っている。また、第２画像Ｐ２には、バケット４Ｃを含む作業機４の一部が映っている。また、第２画像Ｐ２には、走行体２が走行する地面ＧＲの一部が映っている。第２撮像装置３２の第２撮像範囲Ｍ２に旋回体３は配置されない。第２画像Ｐ２には、アッパデッキ３Ｄ及び手すり３Ｅを含む旋回体３は映らない。
　第２画像処理部６４は、第２画像Ｐ２を縮小してインポーズ画像Ｐ２Ｓを生成する。
　表示制御部６５は、第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させる。表示制御部６５は、第１画像Ｐ１とともに第２画像Ｐ２を表示装置５０に表示させる。実施形態において、表示制御部６５は、第２画像Ｐ２が第１画像Ｐ１の一部に重複するように、第１画像Ｐ１とともに第２画像Ｐ２を表示装置５０に表示させる。
　図９は、実施形態に係る表示制御部６５の処理を説明するための図である。図９に示すように、表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１１を中央ディスプレイ５１に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１２を左ディスプレイ５２に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１３を右ディスプレイ５３に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１４を上ディスプレイ５４に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１５を下ディスプレイ５５に表示させる。
　表示制御部６５は、第２画像Ｐ２から生成されたインポーズ画像Ｐ２Ｓを第１画像Ｐ１の下部に重畳させて表示装置５０に表示させる。実施形態において、表示制御部６５は、インポーズ画像Ｐ２Ｓを画像Ｐ１５に重畳させて下ディスプレイ５５に表示させる。
　なお、実施形態において、表示制御部６５は、旋回体３の姿勢を示す車体データ画像Ｐ３、作業機４の姿勢を示す作業機データ画像Ｐ４、ダンプトラックに積み込まれる積荷の重量を示す積荷データ画像Ｐ５、及びバケット４Ｃの先端刃４Ｄの位置を示すバケットデータ画像Ｐ６を表示装置５０に表示させる。
　表示制御部６５は、姿勢センサ７２の検出データに基づいて、水平面に対する旋回体３の傾斜角度を算出する。表示制御部６５は、車体データ画像Ｐ３として、旋回体３の傾斜角度を示すシンボル画像を表示装置５０に表示させる。実施形態において、車体データ画像Ｐ３は、上ディスプレイ５４に表示される。
　また、表示制御部６５は、角度センサ７３の検出データに基づいて、作業機４の姿勢を算出する。表示制御部６５は、作業機データ画像Ｐ４として、作業機４の姿勢を示すアニメーション画像を表示装置５０に表示させる。実施形態において、作業機データ画像Ｐ４は、右ディスプレイ５３に表示される。
　また、表示制御部６５は、バケット４Ｃに保持された積荷の重量を検出する重量センサ（不図示）の検出データに基づいて、ダンプトラックに積み込まれる積荷の重量を算出する。表示制御部６５は、積荷データ画像Ｐ５として、積荷の重量を示すインジケータ画像を表示装置５０に表示させる。実施形態において、積荷データ画像Ｐ５は、右ディスプレイ５３に表示される。
　また、表示制御部６５は、角度センサ７３の検出データに基づいて、バケット４Ｃの先端刃４Ｄの上下方向の位置を算出する。表示制御部６５は、バケットデータ画像Ｐ６として、バケット４Ｃの先端刃４Ｄの上下方向の位置を示すインジケータ画像を表示装置５０に表示させる。実施形態において、バケットデータ画像Ｐ６は、右ディスプレイ５３に表示される。
［遠隔操作方法］
　図１０は、実施形態に係る作業機械１の遠隔操作方法を示すフローチャートである。以下、第１画像Ｐ１及び第２画像Ｐ２の処理方法について主に説明する。なお、上述のように、遠隔操作装置４０が操作されることにより、制御装置６０の操作信号送信部６１から制御装置３００に作業機械１を遠隔操作する操作信号が送信される。
　第１撮像装置３１は、旋回体３の前方空間ＳＰ１を含む第１撮像範囲Ｍ１を撮像する。第２撮像装置３２は、旋回体３の前側下方空間ＳＰ２を含む第２撮像範囲Ｍ２を撮像する。画像データ送信部３０４は、通信装置７及び通信システム４００を介して、第１画像Ｐ１及び第２画像Ｐ２を制御装置６０に送信する。第１画像Ｐ１及び第２画像Ｐ２のそれぞれは、圧縮された状態で、作業機械１から制御装置６０に送信される（ステップＳＡ１）。
　画像データ受信部６２は、作業機械１から送信された第１画像Ｐ１及び第２画像Ｐ２を、通信装置６を介して受信する。画像データ受信部６２は、復元された第１画像Ｐ１及び第２画像Ｐ２を受信する。
　第１画像処理部６３は、第１画像Ｐ１を画像Ｐ１１と画像Ｐ１２と画像Ｐ１３と画像Ｐ１４と画像Ｐ１５とに分割する（ステップＳＢ１）。
　第２画像処理部６４は、第２画像Ｐ２からインポーズ画像Ｐ２Ｓを生成する（ステップＳＢ２）。
　なお、ステップＳＢ１の処理の前にステップＳＢ２の処理が実施されてもよいし、ステップＳＢ１の処理とステップＳＢ２の処理とが並行して実施されてもよい。
　表示制御部６５は、表示装置５０に第１画像Ｐ１を表示させる。表示制御部６５は、中央ディスプレイ５１に画像Ｐ１１を表示させ、左ディスプレイ５２に画像Ｐ１２を表示させ、右ディスプレイ５３に画像Ｐ１３を表示させ、上ディスプレイ５４に画像Ｐ１４を表示させ、下ディスプレイ５５に画像Ｐ１５を表示させる。
　また、表示制御部６５は、表示装置５０に表示された第１画像Ｐ１の一部に、第２画像Ｐ２をインポーズさせる。すなわち、表示装置５０は、第２画像Ｐ２を第１画像Ｐ１の一部に重複するように表示する。第２画像Ｐ２は、第１画像Ｐ１の下部にインポーズされる。第２画像Ｐ２のインポーズ画像Ｐ２Ｓが、下ディスプレイ５５において画像Ｐ１５に重畳するように表示される（ステップＳＢ３）。
［画像の伝送経路の診断方法］
　次に、画像の伝送経路の診断方法について説明する。作業機械から遠隔地への画像の伝送経路に異常が発生する可能性がある。画像の伝送経路の異常の原因として、撮像装置３０のイメージセンサの異常、通信装置７の異常、通信システム４００の少なくとも一部の異常、及び通信装置６の異常が例示される。遠隔操作システム１００は、画像の伝送経路の異常の有無を診断する。遠隔操作システム１００は、画像の伝送経路に異常が有る場合、遠隔地の操作者に認識させる。
　図１１は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。上述のように、第１撮像装置３１は、作業機械１の周辺の第１撮像範囲Ｍ１を撮像する。第２撮像装置３２は、作業機械１の周辺の第２撮像範囲Ｍ２を撮像する。第１撮像範囲Ｍ１と第２撮像範囲Ｍ２の一部とは重複する。第１撮像装置３１及び第２撮像装置３２のそれぞれは、旋回体３に配置される。第１撮像装置３１と第２撮像装置３２と旋回体３との相対位置は固定される。また、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との相対位置は固定される。
　画像の伝送経路の診断は、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに状態が変化する物体が含まれた第１撮像範囲Ｍ１の第１画像Ｐ１及び第２撮像範囲Ｍ２の第２画像Ｐ２に基づいて実施される。実施形態において、物体の状態は、物体の位置である。画像の伝送経路の診断において、位置が変化する物体が使用される。
　画像の伝送経路の診断に使用される物体は、第１撮像装置３１の第１撮像範囲Ｍ１及び第２撮像装置３２の第２撮像範囲Ｍ２と相対移動する。画像の伝送経路の診断は、重複範囲ＭＤに位置が変化する物体が含まれた第１画像Ｐ１及び第２画像Ｐ２に基づいて実施される。
　画像の伝送経路の診断に使用される第１画像Ｐ１と第２画像Ｐ２とは、同時点で撮像された画像である。
　実施形態において、画像の伝送経路の診断に使用される物体は、旋回体３に取り付けられた作業機４である。遠隔操作装置４０が操作されることにより、遠隔地の操作信号送信部６１から作業機械１に操作信号が送信される。作業機４は、遠隔地から送信された操作信号に基づいて動作する。作業機４は、遠隔地から送信された操作信号に基づいて第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する。
　作業機４の動作により、作業機４の少なくとも一部が第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動し、重複範囲ＭＤに含まれる場合がある。図１１に示すように、例えばバケット４Ｃが重複範囲ＭＤに含まれる場合がある。作業機４の動作により、重複範囲ＭＤにおいてバケット４Ｃの位置が変化する。
　作業機械１の通信装置７は、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに位置が変化するバケット４Ｃが含まれた第１撮像範囲Ｍ１の第１画像Ｐ１及び第２撮像範囲Ｍ２の第２画像Ｐ２を遠隔地の制御装置６０に送信する。
　制御装置６０の画像データ受信部６２は、第１画像Ｐ１及び第２画像Ｐ２を受信する。表示制御部６５は、位置が変化するバケット４Ｃが第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに含まれた第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させる。表示制御部６５は、第１画像Ｐ１とともに第２画像Ｐ２を表示装置５０に表示させる。
　図１２及び図１３のそれぞれは、実施形態に係る画像の伝送経路の診断方法を説明するための図である。図１２は、画像の伝送経路が正常であるときの表示装置５０を示す。図１３は、画像の伝送経路の少なくとも一部が異常であるときの表示装置５０を示す。バケット４Ｃは、操作信号送信部６１から作業機械１に送信された操作信号に基づいて移動する。
　図１２に示すように、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であるとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、バケット４Ｃの位置は変化する。すなわち、画像の伝送経路が正常であるとき、第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、バケット４Ｃは、操作信号に基づいて移動する。
　図１３に示すように、例えば第１画像Ｐ１の伝送経路が正常であり第２画像Ｐ２の伝送経路が異常であるとき、表示装置５０に表示された第１画像Ｐ１においてはバケット４Ｃの位置が変化するものの、表示装置５０に表示された第２画像Ｐ２においてはバケット４Ｃの位置が変化しない。すなわち、第１画像Ｐ１の伝送経路が正常であり第２画像Ｐ２の伝送経路が異常であるとき、第１画像Ｐ１においてバケット４Ｃは操作信号に基づいて移動するものの、第２画像Ｐ２においてバケット４Ｃは移動しない。
　また、第２画像Ｐ２の伝送経路が正常であり第１画像Ｐ１の伝送経路が異常であるとき、第２画像Ｐ２においてはバケット４Ｃの位置が変化するものの、第１画像Ｐ１においてはバケット４Ｃの位置が変化しない。
　このように、遠隔操作室２００の操作者が遠隔操作装置４０を操作して作業機４を動作させたとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、バケット４Ｃの位置が変化する場合、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であると診断される。
　遠隔操作室２００の操作者が遠隔操作装置４０を操作して作業機４を動作させたとき、表示装置５０に表示された第１画像Ｐ１においてはバケット４Ｃの位置が変化するものの、第２画像Ｐ２においてはバケット４Ｃの位置が変化しない場合、第１画像Ｐ１の伝送経路は正常であり、第２画像Ｐ２の伝送経路は異常であると診断される。
　遠隔操作室２００の操作者が遠隔操作装置４０を操作して作業機４を動作させたとき、表示装置５０に表示された第２画像Ｐ２においてはバケット４Ｃの位置が変化するものの、第１画像Ｐ１においてはバケット４Ｃの位置が変化しない場合、第２画像Ｐ２の伝送経路は正常であり、第１画像Ｐ１の伝送経路は異常であると診断される。
　なお、画像の伝送経路の診断に使用される物体は、作業機４でなくてもよい。物体は、例えば地面ＧＲでもよい。遠隔操作装置４０が操作されることにより、走行体２は、遠隔地から送信された操作信号に基づいて動作する。走行体２が走行すると、地面ＧＲが第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する。
　遠隔操作室２００の操作者が遠隔操作装置４０を操作して走行体２を動作させたとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、地面ＧＲの位置が変化する場合、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であると診断される。
　遠隔操作室２００の操作者が遠隔操作装置４０を操作して走行体２を動作させたとき、表示装置５０に表示された第１画像Ｐ１においては地面ＧＲの位置が変化するものの、第２画像Ｐ２においては地面ＧＲの位置が変化しない場合、第１画像Ｐ１の伝送経路は正常であり、第２画像Ｐ２の伝送経路は異常であると診断される。
　遠隔操作室２００の操作者が遠隔操作装置４０を操作して走行体２を動作させたとき、表示装置５０に表示された第２画像Ｐ２においては地面ＧＲの位置が変化するものの、第１画像Ｐ１においては地面ＧＲＴの位置が変化しない場合、第２画像Ｐ２の伝送経路は正常であり、第１画像Ｐ１の伝送経路は異常であると診断される。
　また、遠隔操作装置４０が操作されることにより、旋回体３は、遠隔地から送信された操作信号に基づいて動作する。旋回体３が旋回すると、地面ＧＲが第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する。遠隔操作室２００の操作者が遠隔操作装置４０を操作して旋回体３を動作させたとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおける地面ＧＲの位置の変化に基づいて、第１画像Ｐ１の伝送経路の異常の有無及び第２画像Ｐ２の伝送経路の異常の有無が診断される。
　なお、画像の伝送経路の診断に使用される物体は、操作信号に基づいて第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する物体でなくてもよい。例えば、作業機械１とは別の作業機械が作業現場に存在する場合において、別の作業機械の少なくとも一部が重複範囲ＭＤに配置された場合、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２に基づいて、画像の伝送経路の異常の有無が診断される。また、作業現場を走行する自動車が存在する場合において、自動車の少なくとも一部が重複範囲ＭＤに配置された場合、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２に基づいて、第１画像Ｐ１の伝送経路の異常の有無及び第２画像Ｐ２の伝送経路の異常の有無が診断される。
　なお、物体の位置の変化は、物体の姿勢の変化を含む。画像の伝送経路の診断において、姿勢が変化する物体が使用されてもよい。例えばバケット４Ｃがバケット回転軸ＣＸを中心に回転することにより、バケット４Ｃの姿勢が変化する。第１撮像装置３１及び第２撮像装置３２とバケット４Ｃとの相対位置によっては、第１撮像装置３１及び第２撮像装置３２がバケット４Ｃの位置の変化を捉えることが困難となりバケット４Ｃの姿勢（回転状態）を捉えることができる場合がある。そのような場合、画像の伝送経路の診断において、姿勢が変化する物体（バケット４Ｃ）が使用されてもよい。
　なお、物体の状態は、物体の外観でもよい。例えば点滅するランプが重複範囲ＭＤに配置された場合、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であれば、第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいてランプは点滅する。一方、例えば第１画像Ｐ１の伝送経路が正常であり、第２画像Ｐ２の画像の伝送経路が異常である場合、第１画像Ｐ１においてランプは点滅するものの、第２画像Ｐ２においてランプは点滅しない。第２画像Ｐ２の伝送経路が正常であり、第１画像Ｐ１の伝送経路が異常である場合、第２画像Ｐ２においてランプは点滅するものの、第１画像Ｐ１においてランプは点滅しない。表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれのランプの外観（点滅状態）に基づいて、第１画像Ｐ１の伝送経路の異常の有無及び第２画像Ｐ２の伝送経路の異常の有無が診断される。
［コンピュータシステム］
　図１４は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置６０及び制御装置３００のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central　Processing　Unit）のようなプロセッサ１００１と、ＲＯＭ（Read　Only　Memory）のような不揮発性メモリ及びＲＡＭ（Random　Access　Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置６０の機能及び制御装置３００の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
　コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１の周辺の第１撮像範囲Ｍ１の第１画像Ｐ１、及び少なくとも一部が第１撮像範囲Ｍ１に重複する第２撮像範囲Ｍ２の第２画像Ｐ２を受信することと、状態が変化する物体が第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに配置されたときの第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させることと、を実行することができる。
［効果］
　以上説明したように、実施形態によれば、状態が変化する物体が第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに含まれた第１画像Ｐ１及び第２画像Ｐ２が表示装置５０に表示される。遠隔操作室２００の操作者は、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれの物体の状態に基づいて、画像の伝送経路の異常の有無を認識することができる。
　画像の伝送経路の診断に使用される物体が、操作信号に基づいて動作する物体であることにより、遠隔操作室２００の操作者は、遠隔操作装置４０を操作することにより、物体の状態を変化させることができる。遠隔操作室２００の操作者は、任意のタイミングで、画像の伝送経路の診断を実施することができる。遠隔操作室２００の操作者は、例えば始業点検のタイミングで、画像の伝送経路の診断を実施することができる。
　画像の伝送経路の診断に使用される物体が作業機４であることにより、遠隔操作室２００の操作者は、高頻度で画像の伝送経路の診断を実施することができる。作業対象の掘削作業を実施する場合、作業機４は高頻度で動作される。したがって、画像の伝送経路の診断に使用される物体が作業機４であることにより、遠隔操作室２００の操作者は、高頻度で画像の伝送経路の診断を実施することができる。
［その他の実施形態］
　上述の実施形態においては、物体を含む第１画像Ｐ１及び第２画像Ｐ２が表示装置５０に表示され、遠隔操作室２００の操作者が、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれの物体の状態に基づいて、画像の伝送経路の異常の有無を診断することとした。制御装置６０が画像の伝送経路の異常の有無の診断を実施してもよい。制御装置６０は、作業機械１から送信された第１画像Ｐ１及び第２画像Ｐ２のそれぞれを画像処理して、第１画像Ｐ１及び第２画像Ｐ２のそれぞれから物体を抽出する。制御装置６０は、第１画像Ｐ１の物体の状態と第２画像Ｐ２の物体の状態とを比較して、画像の伝送経路の異常の有無の診断を実施してもよい。
　上述の実施形態において、旋回体３の上下方向において、第２撮像装置３２は第１撮像装置３１よりも下方に配置されることとした。旋回体３の上下方向において、第２撮像装置３２は第１撮像装置３１よりも上方に配置されてもよいし、第１撮像装置３１と等しい位置に配置されてもよい。
　上述の実施形態において、旋回体３の左右方向において、第１撮像装置３１は第２撮像装置３２と等しい位置に配置されることとした。旋回体３の左右方向において、第１撮像装置３１は第２撮像装置３２よりも左方に配置されてもよいし、右方に配置されてもよい。
　上述の実施形態において、旋回体３の前後方向において、第１撮像装置３１は第２撮像装置３２よりも後方に配置されることとした。旋回体３の前後方向において、第１撮像装置３１は第２撮像装置３２よりも前方に配置されてもよいし、第２撮像装置３２と等しい位置に配置されてもよい。
　上述の実施形態において、第１撮像装置３１と第２撮像装置３２とが上下方向又は左右方向に隣接して配置され、第１撮像装置３１の光軸ＯＡ１の角度と第２撮像装置３２の光軸ＯＡ２の角度とが上下方向において異なるように配置されてもよい。また、第１撮像装置３１と第２撮像装置３２とが上下方向又は左右方向に隣接して配置され、第１撮像装置３１の光軸ＯＡ１の角度と第２撮像装置３２の光軸ＯＡ２の角度とが左右方向において異なるように配置されてもよい。
　上述の実施形態において、第２画像Ｐ２のインポーズ画像Ｐ２Ｓは、第１画像Ｐ１の下部に重複するように表示されることとした。インポーズ画像Ｐ２Ｓは、第１画像Ｐ１の上部に重複するように表示されてもよいし、第１画像Ｐ１の左部に重複するように表示されてもよいし、第１画像Ｐ１の右部に重複するように表示されてもよい。
　上述の実施形態において、第１画像Ｐ１と第２画像Ｐ２とは重複しなくてもよい。第１画像Ｐ１と第２画像Ｐ２とが表示装置５０に並んで表示されてもよい。
　上述の実施形態において、第１撮像装置３１は、運転室３Ａの外側に配置されてもよい。第１撮像装置３１は、旋回体３に配置されていればよい。
　上述のように、作業現場において無人ダンプトラックが稼働する場合がある。無人ダンプトラックは、作業現場の管制施設から送信される制御指令に基づいて走行する。上述の実施形態において、撮像装置３０により撮像された画像が、作業現場の管制施設に送信され、管制施設に設置されている表示装置に表示されてもよい。管制施設は、作業機械１の遠隔地に配置される。管制施設に存在する作業現場の管理者は、撮像装置３０により撮像された画像を見ることができる。
　上述の実施形態において、旋回体３（車体）は運転室３Ａを有することとした。旋回体３に運転室３Ａは無くてもよい。旋回体３に運転室３Ａが存在しない場合、第１撮像装置３１は、旋回体３の前部に配置される。
　上述の実施形態において、表示装置５０は、複数のディスプレイ（５１，５２，５３，５４，５５）を有することとした。表示装置５０は、１つのディスプレイにより構成されてもよい。また、ディスプレイは、フラットパネルディスプレイでもよいし、曲面パネルディスプレイでもよい。
　なお、上述の実施形態においては、作業機械１がローディングショベルであることとした。作業機械１はバックホウでもよい。また、上述の実施形態においては、作業機械１が車体として旋回体３を備えることとしたが、作業機械１の車体は旋回体でなくてもよい。作業機械１は、作業機を有する作業機械であればよく、ブルドーザでもよいし、ホイールローダでもよい。
　１…作業機械、２…走行体、２Ａ…駆動輪、２Ｂ…従動輪、２Ｃ…履帯、３…旋回体（車体）、３Ａ…運転室、３Ｂ…ロアデッキ、３Ｃ…ステップ、３Ｄ…アッパデッキ、３Ｅ…手すり、３Ｆ…ラダー、４…作業機、４Ａ…ブーム、４Ｂ…アーム、４Ｃ…バケット、４Ｄ…先端刃、５…油圧シリンダ、５Ａ…ブームシリンダ、５Ｂ…アームシリンダ、５Ｃ…バケットシリンダ、６…通信装置、７…通信装置、３０…撮像装置、３１…第１撮像装置、３２…第２撮像装置、４０…遠隔操作装置、４１…左作業レバー、４２…右作業レバー、４３…左走行ペダル、４４…右走行ペダル、４５…操縦シート、５０…表示装置、５１…中央ディスプレイ、５２…左ディスプレイ、５３…右ディスプレイ、５４…上ディスプレイ、５５…下ディスプレイ、６０…制御装置、６１…操作信号送信部、６２…画像データ受信部、６３…第１画像処理部、６４…第２画像処理部、６５…表示制御部、７０…センサ、７１…位置センサ、７２…姿勢センサ、７３…角度センサ、１００…遠隔操作システム、２００…遠隔操作室、３００…制御装置、３０１…走行体制御部、３０２…旋回体制御部、３０３…作業機制御部、３０４…画像データ送信部、３０５…センサデータ送信部、４００…通信システム、５０１…第１モニタ装置、５０２…操作スイッチ、５０３…第２モニタ装置、５０４…第３モニタ装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＡＸ…ブーム回転軸、ＢＸ…アーム回転軸、ＣＸ…バケット回転軸、ＧＲ…地面、ＲＸ…旋回軸、Ｍ１…第１撮像範囲、Ｍ２…第２撮像範囲、ＭＤ…重複範囲、ＯＡ１…光軸、ＯＡ２…光軸、Ｐ１…第１画像、Ｐ１１…画像、Ｐ１２…画像、Ｐ１３…画像、Ｐ１４…画像、Ｐ１５…画像、Ｐ２…第２画像、Ｐ２Ｓ…インポーズ画像、Ｐ３…車体データ画像、Ｐ４…作業機データ画像、Ｐ５…積荷データ画像、Ｐ６…バケットデータ画像、ＳＰ１…前方空間、ＳＰ２…前側下方空間。

Claims (6)

  1. 　第１撮像範囲の第１画像、及び少なくとも一部が前記第１撮像範囲に重複する第２撮像範囲の第２画像を受信する画像データ受信部と、
    　前記第１撮像範囲と前記第２撮像範囲との重複範囲に作業機械の作業機が含まれた前記第１画像及び前記第２画像を表示装置に表示させる表示制御部と、を前記作業機械の遠隔地に備える、
    　作業機械の遠隔操作システム。
  2. 　前記作業機械は、
    　前記第１撮像範囲を撮像する第１撮像装置と、
    　少なくとも一部が前記第１撮像範囲に重複する第２撮像範囲を撮像する第２撮像装置と、
    　前記第１撮像範囲の第１画像及び前記第２撮像範囲の第２画像を前記遠隔地に送信する通信装置と、を備える、
    　請求項１に記載の作業機械の遠隔操作システム。
  3. 　前記作業機械を遠隔操作する操作信号を送信する操作信号送信部を備え、
    　前記作業機は、前記操作信号に基づいて前記第１撮像範囲及び前記第２撮像範囲と相対移動する、
    　請求項１又は請求項２に記載の作業機械の遠隔操作システム。
  4. 　前記作業機械を遠隔操作する操作信号を送信する操作信号送信部を備え、
    　前記作業機は、前記操作信号に基づいて動作する、
    　請求項１から請求項３のいずれか一項に記載の作業機械の遠隔操作システム。
  5. 　前記第１画像と前記第２画像とは、同時点で撮像される、
    　請求項１から請求項４のいずれか一項に記載の作業機械の遠隔操作システム。
  6. 　前記表示制御部は、前記第２画像が前記第１画像の一部に重複するように前記表示装置に表示させる、
    　請求項１から請求項５のいずれか一項に記載の作業機械の遠隔操作システム。
PCT/JP2021/002449 2020-02-21 2021-01-25 作業機械の遠隔操作システム WO2021166559A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2021222454A AU2021222454B2 (en) 2020-02-21 2021-01-25 Remote operation system for work machine
CA3166503A CA3166503A1 (en) 2020-02-21 2021-01-25 Remote operation system for work machine
US17/789,296 US20230036534A1 (en) 2020-02-21 2021-01-25 Remote operation system for work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020028617A JP2021136462A (ja) 2020-02-21 2020-02-21 作業機械の遠隔操作システム
JP2020-028617 2020-02-21

Publications (1)

Publication Number Publication Date
WO2021166559A1 true WO2021166559A1 (ja) 2021-08-26

Family

ID=77390907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002449 WO2021166559A1 (ja) 2020-02-21 2021-01-25 作業機械の遠隔操作システム

Country Status (5)

Country Link
US (1) US20230036534A1 (ja)
JP (1) JP2021136462A (ja)
AU (1) AU2021222454B2 (ja)
CA (1) CA3166503A1 (ja)
WO (1) WO2021166559A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI831010B (zh) * 2021-05-14 2024-02-01 大云永續科技股份有限公司 智慧監控廢棄物清理之系統與方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014187804A1 (en) * 2013-05-21 2014-11-27 Sandvik Mining And Construction Oy Rock drilling rig and method for video monitoring
JP2019054465A (ja) * 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014187804A1 (en) * 2013-05-21 2014-11-27 Sandvik Mining And Construction Oy Rock drilling rig and method for video monitoring
JP2019054465A (ja) * 2017-09-15 2019-04-04 株式会社小松製作所 表示システム、表示方法、及び表示装置

Also Published As

Publication number Publication date
CA3166503A1 (en) 2021-08-26
JP2021136462A (ja) 2021-09-13
AU2021222454B2 (en) 2024-04-11
AU2021222454A1 (en) 2022-07-21
US20230036534A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
CN107407074B (zh) 显示系统及工程机械
CN107406035B (zh) 工程作业机械
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
CN113152552B (zh) 工程机械的控制系统及方法
CN108028911B (zh) 作业机械的显示装置及显示系统
WO2021166559A1 (ja) 作業機械の遠隔操作システム
JP2021114757A (ja) 作業機械の遠隔操作システム及び作業機械の遠隔操作方法
WO2021166566A1 (ja) 作業機械及び作業機械の遠隔操作システム
CN117616177A (zh) 挖掘机械的运转范围设定系统及其控制方法
US20220316188A1 (en) Display system, remote operation system, and display method
CN116723963A (zh) 作业机械的周边监控系统、作业机械、以及作业机械的周边监控方法
US20230167627A1 (en) Work machine remote control system
CN114503549A (zh) 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
US20240150997A1 (en) Work machine and information processing device
CN112204198B (zh) 作业机械的显示系统及其控制方法
US20240141621A1 (en) Display control device, display control method, and work machine
JP2023122359A (ja) 遠隔操作システム
US20210395980A1 (en) System and method for work machine
WO2020054413A1 (ja) ホイールローダの表示システムおよびその制御方法
JP2023122360A (ja) 画像生成システム
CN117203957A (zh) 信息处理装置、信息处理装置的控制程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757392

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3166503

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2021222454

Country of ref document: AU

Date of ref document: 20210125

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757392

Country of ref document: EP

Kind code of ref document: A1