WO2026009683A1 - 作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法 - Google Patents

作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法

Info

Publication number
WO2026009683A1
WO2026009683A1 PCT/JP2025/021537 JP2025021537W WO2026009683A1 WO 2026009683 A1 WO2026009683 A1 WO 2026009683A1 JP 2025021537 W JP2025021537 W JP 2025021537W WO 2026009683 A1 WO2026009683 A1 WO 2026009683A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
virtual
attachment
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/021537
Other languages
English (en)
French (fr)
Inventor
卓 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of WO2026009683A1 publication Critical patent/WO2026009683A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices

Definitions

  • This disclosure relates to technology for assisting work performed by work machines.
  • Patent Document 1 discloses a display control device and a remote control device that aim to provide appropriate graphic displays to support work during a series of operations of a work machine.
  • Patent Document 2 discloses an image display system that aims to prevent a decline in work efficiency when working using a work machine equipped with a work implement.
  • the display control device in Patent Document 1 superimposes on a display a graphic that highlights the position of the bottom end of the bucket and a graphic that highlights the position of the top end of the container.
  • the graphic display provided by this display control device may be able to assist the operator in grasping the relative position of the bucket to the container in the vertical direction, but it does not assist in grasping the relative position of the bucket to the container in the front-to-back direction.
  • the image display system in Patent Document 2 does not give any consideration to assisting in grasping the relative position of the bucket to the container in the front-to-back direction.
  • the purpose of this disclosure is to provide technology that can assist operators in understanding the relative position of a tip attachment in the forward and backward directions with respect to an open area such as a container.
  • the work assistance device disclosed herein is a device for assisting in the task of releasing an object held on a tip attachment of a work machine from the tip attachment and placing the object in a release area located in front of the work machine, and is equipped with a controller that causes a display device to display an index image including a release area range image, which is a virtual image that serves as an index indicating the range of the release area in at least the fore-and-aft direction, and an attachment marker, which is a virtual image that indicates the relative position of the tip attachment with respect to the release area.
  • a release area range image which is a virtual image that serves as an index indicating the range of the release area in at least the fore-and-aft direction
  • an attachment marker which is a virtual image that indicates the relative position of the tip attachment with respect to the release area.
  • the work assistance system disclosed herein comprises the work assistance device, the work machine, and a remote control device having the display device and for remotely operating the work machine.
  • the work machine disclosed herein comprises a work machine main body, a posture detection device that acquires posture information related to the posture of the work machine main body, an imaging device that acquires site images that are images related to the work site where the release area is located, and a machine controller that outputs the posture information and the site images to the work support device.
  • the remote control device disclosed herein includes a remote control lever that receives operations for remotely operating the work machine, and the display device that displays the index image including the release area range image and the attachment marker in response to a command (index image display command) output by the work support device.
  • the program disclosed herein is a program for assisting in the task of releasing an object held on a tip attachment of a work machine from the tip attachment and placing the object in a release area located in front of the work machine, and causes a computer to implement the function of displaying on a display device an index image including a release area range image, which is a virtual image that serves as an indicator showing the range of the release area in at least the fore-and-aft direction, and an attachment marker, which is a virtual image that shows the relative position of the tip attachment with respect to the release area.
  • the work assistance method disclosed herein is a method for assisting in the task of releasing an object held on a tip attachment of a work machine from the tip attachment and placing the object in a release area located in front of the work machine, and includes displaying on a display device an index image that includes a release area range image, which is a virtual image that serves as an indicator showing the range of the release area in at least the fore-and-aft direction, and an attachment marker, which is a virtual image that shows the relative position of the tip attachment with respect to the release area.
  • a release area range image which is a virtual image that serves as an indicator showing the range of the release area in at least the fore-and-aft direction
  • an attachment marker which is a virtual image that shows the relative position of the tip attachment with respect to the release area.
  • FIG. 1 is a block diagram showing a work support system according to an embodiment; 1 is a side view showing a work machine according to an embodiment.
  • 1 is a diagram illustrating a remote control device according to an embodiment.
  • FIG. 4 is a diagram showing an example of a display screen displayed on a display device of the remote control device.
  • 10A and 10B are diagrams illustrating other examples of the display screen displayed on the display device of the remote control device.
  • 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10A and 10B are diagrams for explaining the positional relationship between the work machine and the container of the vehicle, and an example of an index image.
  • 10A and 10B are diagrams for explaining the positional relationship between the work machine and the container of the vehicle, and other examples of index images.
  • 10A and 10B are diagrams for explaining still another example of the positional relationship between the work machine and the container of the vehicle, and an index image.
  • 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10A and 10B are diagrams for explaining still another example of the positional relationship between the work machine and the container of the vehicle, and an index image.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 5 is a flowchart illustrating an example of a calculation process performed by a controller of the work assistance device according to the embodiment.
  • 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10A and 10B are diagrams for explaining still another example of the positional relationship between the work machine and the container of the vehicle, and an index image.
  • 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • 10A and 10B are diagrams for explaining still another example of the positional relationship between the work machine and the container of the vehicle, and an index image.
  • 10A and 10B are diagrams for explaining still another example of the positional relationship between the work machine and the container of the vehicle, and an index image.
  • 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a diagram showing still another example of a display screen displayed on the display device of the remote control device.
  • FIG. 10 is a block diagram showing a work support system according to a modified example of the embodiment.
  • FIG. 1 is a block diagram showing a work support system 100 according to an embodiment.
  • FIG. 2 is a side view showing a work machine 40 according to an embodiment.
  • FIG. 3 is a diagram showing a remote control device 20 according to an embodiment.
  • the work assistance system 100 comprises a work assistance device 10, a work machine 40, and a remote control device 20.
  • the work assistance device 10, the work machine 40, and the remote control device 20 can send and receive data to and from each other via communication using various networks 200, such as the Internet or a mobile phone network.
  • FIG. 4 is a diagram showing an example of a display screen displayed on the display device 23 of the remote control device 20.
  • FIG. 5 is a diagram showing another example of a display screen displayed on the display device 23 of the remote control device.
  • FIG. 6 is a diagram showing yet another example of a display screen displayed on the display device 23 of the remote control device 20.
  • FIG. 7 is a diagram for explaining the positional relationship between the work machine 40 and the container 80 of the vehicle 70, and an example of an indicator image G1.
  • FIG. 4 shows the early stages of earth removal work, which will be described later, with the container 80 containing almost no earth 90.
  • FIG. 5 shows the middle or final stages of the earth removal work, with the container 80 containing a large amount of earth 90.
  • the front-to-rear direction in the figure represents the positional relationship between the work machine 40 and the vehicle 70.
  • the container 80 (bed) of the vehicle 70 is positioned in front of the work machine 40. That is, the front is the horizontal direction from the work machine 40 toward the container 80. Specifically, for example, the front may be the horizontal direction from the upper rotating body 51 of the work machine 40 toward the container 80.
  • the left-to-right direction in the figure is a horizontal direction perpendicular to the front-to-rear direction.
  • the container 80 of the vehicle 70 is the bed of the vehicle 70 that transports soil and sand 90.
  • the vehicle 70 has a vehicle cab 71.
  • the container 80 may have, for example, a rectangular shape in a plan view.
  • the container 80 may have, for example, an approximately rectangular parallelepiped shape having a bottom 81, a right wall 83, a left wall 84, a front wall 85, and a rear wall 86.
  • the bottom 81 of the container 80 has a bottom surface 82 (the upper surface of the bottom 81).
  • the top of the container 80 is open. That is, the container 80 has an opening 87 at its top.
  • the container 80 is not limited to the loading platform of the vehicle 70, but may be equipment such as a box (a box that cannot move on its own) installed at a work site, or may be part of the equipment.
  • the part of the equipment may be, for example, the part where soil and sand are discharged from the equipment, or the part where soil and sand are loaded into the equipment.
  • the open area in this disclosure is not limited to the container 80, but may also be a designated soil discharge area at a work site.
  • the soil discharge area may be, for example, a construction target area, which is an area at a work site where soil and sand are supplied.
  • the work support device 10 is a device for supporting the work of releasing soil 90 (an example of an object) held in the bucket 55 of a work machine 40 from the bucket 55 and placing the soil 90 into a container 80 located in front of the work machine 40.
  • the work support device 10 according to this embodiment has the following first characteristic.
  • the work assistance device 10 includes a controller 11, which outputs an index image display command to cause the display device 23 to display an index image G1 including a container range image, which is a virtual image that serves as an index representing the range of the container 80 at least in the front-to-rear direction, and an attachment marker G3, which is a virtual image that represents the relative position of the bucket 55 with respect to the container 80 (step S106 in FIG. 16 , which will be described later).
  • the container range image may be, for example, the virtual plane image G2 shown in FIGS. 6 and 7, or the virtual frame image G5 in the modified examples shown in FIGS. 22 to 24, which will be described later.
  • the container range image is an example of an open area range image in the present disclosure.
  • an index image G1 including the container range image (e.g., virtual surface image G2) and an attachment marker G3 is displayed on the display device 23 of the remote control device 20.
  • the index image G1 displayed on the display device 23 makes it easier for the operator operating the remote control device 20 to grasp the relative position of the bucket 55 in the fore-and-aft direction with respect to the container 80. Therefore, during the soil removal work of releasing soil 90 from the bucket 55 and placing the soil 90 into the container 80 (an example of a releasing work), the operator can appropriately adjust the relative position of the bucket 55 in the fore-and-aft direction with respect to the container 80 while viewing the index image G1 displayed on the display device 23.
  • the work assistance device 10 further includes the following second to ninth features:
  • the controller 11 preferably generates, as the container range image, a virtual plane image G2, which is an image of a virtual plane that represents the range of the container 80 in the front-to-rear and left-to-right directions.
  • a virtual plane image G2 is an image of a virtual plane that represents the range of the container 80 in the front-to-rear and left-to-right directions.
  • the operator operating the remote control device 20 can easily grasp not only the relative position of the bucket 55 with respect to the container 80 in the front-to-rear direction but also the relative position in the left-to-right direction, from the index image G1, which includes the virtual plane image G2, displayed on the display device 23 of the remote control device 20. Therefore, during the soil removal work, the operator can appropriately adjust the relative position of the bucket 55 with respect to the container 80 in the front-to-rear direction and the left-to-right direction while looking at the index image G1 displayed on the display device 23.
  • the controller 11 preferably generates, as the container range image, a virtual opening area image G21 (an example of a virtual surface image G2), which is an image of a virtual surface that represents an area corresponding to the opening 87 of the container 80.
  • a virtual opening area image G21 an example of a virtual surface image G2
  • the operator can easily grasp the relative position in the front-to-rear direction and the relative position in the left-to-right direction of the bucket 55 with respect to the opening 87 of the container 80, by using the index image G1 that includes the virtual opening area image G21 displayed on the display device 23. Therefore, during the soil discharge work, the operator can appropriately adjust the relative position in the front-to-rear direction and the relative position in the left-to-right direction of the bucket 55 with respect to the container 80 while viewing the index image G1 displayed on the display device 23.
  • the controller 11 may generate, as the container range image, a virtual bottom image G22 (an example of a virtual surface image G2), which is an image of a virtual surface that represents an area corresponding to the bottom surface 82 of the container 80.
  • a virtual bottom image G22 an example of a virtual surface image G2
  • the operator can easily grasp the relative position of the bucket 55 in the front-to-back direction and the left-to-right direction with respect to the bottom surface 82 of the container 80 by using the index image G1, which includes the virtual bottom image G22, displayed on the display device 23. Therefore, during the soil removal work, the operator can appropriately adjust the relative position of the bucket 55 in the front-to-back direction and the left-to-right direction with respect to the container 80 while viewing the index image G1 displayed on the display device 23.
  • FIG. 12 shows the early stage of the soil removal work, with almost no soil 90 loaded in the container 80.
  • FIG. 14 shows the middle or final stage of the soil removal work, with a large amount of soil 90 loaded in the container 80.
  • the controller 11 when a predetermined portion of the bucket 55 is located at a position corresponding to the container 80, the controller 11 preferably generates, as the index image G1, an image in which the attachment marker G3 is located at a position corresponding to the virtual surface image G2.
  • the predetermined portion may be, for example, the tip 55a of the bucket 55 as shown in Figure 7.
  • the predetermined portion may be, for example, the front end 55b, which is the foremost portion of the bucket 55, as shown in Figure 8.
  • the front end 55b of the bucket 55 is a portion that changes as the bucket 55 rotates.
  • the tip 55a may be the center of the bucket 55 in the width direction.
  • the front end 55b may be the center of the bucket 55 in the width direction.
  • the controller 11 may generate as index image G1 an image in which the attachment marker G3 is positioned directly below the bucket 55 at a position on the virtual plane image G2, or may generate as index image G1 an image in which the attachment marker G3 is positioned directly below the bucket 55 at a position spaced above the virtual plane image G2.
  • this may mean when the predetermined portion is inside the container 80, or when the predetermined portion is directly above the container 80 (a position spaced above the container 80).
  • the controller 11 when the predetermined portion is shifted in the front-rear direction or the left-right direction with respect to the container 80, the controller 11 preferably generates, as the index image G1, an image in which the attachment marker G3 is positioned at a position shifted in the front-rear direction or the left-right direction with respect to the virtual surface image G2. Specifically, for example, when the predetermined portion is shifted in the front-rear direction or the left-right direction with respect to the container 80, the controller 11 may generate, as the index image G1, an image in which the attachment marker G3 is positioned at a position corresponding to the ground around the container 80, as shown in FIG.
  • the controller 11 may generate, as the index image G1, an image in which the region corresponding to the upper portion 91 of the soil 90 is omitted from the virtual surface image G2.
  • the upper portion 91 of the soil 90 is not covered by the virtual surface image G2, so that the operator can easily grasp the status of the soil 90, such as the position of the soil 90 in the container 80 and the uneven distribution of the soil 90.
  • the controller 11 may generate, as the container range image, a virtual bottom image G22 (an example of a virtual surface image G2), which is an image of a virtual surface that represents an area corresponding to the bottom surface 82 of the container 80.
  • the controller 11 may generate, as the index image G1, an image in which the attachment marker G3 is located directly below the bucket 55 and at a position on the virtual bottom surface image G22, or may generate, as the index image G1, an image in which the attachment marker G3 is located directly below the bucket 55 and at a position spaced above the virtual bottom surface image G22, as shown in FIG. 13 .
  • the attachment marker G3 is displayed on the display device 23 at a position directly below the bucket 55 and corresponding to the virtual bottom surface image G22 (a position on the virtual bottom surface image G22 or a position spaced above the virtual bottom surface image G22). Therefore, during the soil removal work, the operator can easily grasp the relative position of the bucket 55 in the front-to-rear direction and the left-to-right direction with respect to the container 80.
  • the attachment marker G3 is a first attachment marker G3 that is positioned directly below the bucket 55 and spaced above the virtual bottom image G22, and the controller 11 preferably generates, as the index image G1, an image that includes the virtual bottom image G22, the first attachment marker G3, and a second attachment marker G4 that is a virtual image that is positioned directly below the bucket 55 and on the virtual bottom image G22.
  • the first attachment marker G3 is positioned on the display device 23 at a position spaced above the virtual bottom image G22, and the second attachment marker G4 is positioned on the virtual bottom image G22, so that during the soil removal work, the operator operating the remote control device 20 can more easily grasp the relative position of the bucket 55 in the front-to-rear direction and the relative position in the left-to-right direction with respect to the bottom 82 of the container 80.
  • the controller 11 may generate, as the index image G1, an image including a virtual opening area image G21 (an example of the virtual surface image G2), an attachment marker G3, and a cab rear wall image G6, which is a virtual image representing an area corresponding to the rear wall 72 of the vehicle cab 71.
  • the operator operating the remote control device 20 can easily grasp not only the relative position of the bucket 55 with respect to the container 80, but also the relative position of the bucket 55 with respect to the rear wall 72 of the vehicle cab 71.
  • the cab rear wall image G6 be displayed on the display device 23 in a different display mode from the virtual opening area image G21.
  • the operator can easily distinguish between the container 80 (the loading platform) and the rear wall 72 of the vehicle cab 71.
  • the different display modes may be, for example, different colors or different shades.
  • the area corresponding to the rear wall 72 of the vehicle driver's cab 71 may be the area of the rear wall 72 that separates the space of the vehicle driver's cab 71 from the rear. Also, if the vehicle 70 has a so-called shrine gate portion, such as a guard frame, located directly behind the vehicle driver's cab 71, the area corresponding to the rear wall 72 of the vehicle driver's cab 71 may be the area surrounded by the outer edge of the shrine gate portion.
  • the controller 11 may also generate an image including a container rear wall image as the index image G1.
  • the container rear wall image is a virtual image representing the area of the rear wall 86 of the container 80.
  • the main features of the work assistance device 10 according to this embodiment are as described above. Below, a specific example of a work assistance system 100 including the work assistance device 10, work machine 40, and remote control device 20 is described, but the work assistance device, work machine, remote control device, and work assistance system including these in this disclosure are not limited to the specific example below.
  • the work assistance device 10 may be equipped with a communication device 13
  • the work machine 40 may be equipped with a communication device 48
  • the remote control device 20 may be equipped with a communication device 24.
  • the work assistance device 10, the work machine 40, and the remote control device 20 can send and receive data to and from each other via communication using various networks 200, such as the Internet or a mobile phone network.
  • the work support device 10 may be an information terminal such as a tablet computer (a so-called tablet), a smartphone, a laptop personal computer, or a desktop personal computer.
  • the work support device 10 may also be a management device such as a server for managing work performed by the work machine 40.
  • the work support device 10 may also be a computer in a cloud service provided as a service over a network such as the Internet.
  • the work support device 10 may include multiple information terminals.
  • the work support device 10 may be equipped with a database 12 that stores various data such as dimensional information (specification data) of the work machine 40 and information regarding the range of the container 80.
  • the work machine 40 comprises a work machine main body, an attitude detection device 44, an imaging device 43, and a machine controller 41.
  • the work machine main body comprises a lower running body 50 including a traveling device, an upper rotating body 51 supported on the lower running body 50 so as to be rotatable relative to the lower running body 50 about a vertically extending rotation axis, and a work device 52 supported on the upper rotating body 51.
  • the work machine 40 in this embodiment is a hydraulic excavator.
  • the upper rotating body 51 comprises a rotating frame and a cab 51A supported by the rotating frame.
  • the rotating frame is a frame that is rotatably supported on the lower running body 50 and forms the base portion of the upper rotating body 51.
  • the work device 52 includes a boom 53 that is attached to the upper rotating body 51 so that it can be raised and lowered, an arm 54 that is attached to the boom 53 so that it can rotate, and a bucket 55 that is attached to the arm 54 so that it can rotate.
  • the bucket 55 is an example of a tip attachment.
  • the tip attachment is not limited to the bucket 55, and may be other tip attachments such as a grapple, fork, or lifting magnet.
  • the cab 51A is located, for example, at the front left of the revolving frame. Inside the cab 51A, a driver's seat, an operating lever 42, and other components are located.
  • the operating lever 42 receives various operations from the operator, such as boom operation to raise and lower the boom 53, arm operation to rotate the arm 54, bucket operation to rotate the bucket 55, swing operation to swing the upper swing body 51 relative to the undercarriage 50, and travel operation to travel the undercarriage 50.
  • the operating lever 42 is used when the operator operates the work machine 40 from inside the cab 51A.
  • the operating lever 42 is not used when the work machine 40 is remotely operated.
  • An outer wall defining a machinery room is located behind the cab 51A.
  • Various equipment is located in the machinery room, including power equipment such as an engine, battery, and generator, hydraulic equipment such as a hydraulic pump, and electrical equipment.
  • the hydraulic pump is driven by the power equipment.
  • the work machine 40 is equipped with a plurality of actuators.
  • Each of the plurality of actuators operates upon receiving a supply of hydraulic oil discharged from the hydraulic pump.
  • the plurality of actuators includes a boom cylinder 56 for raising and lowering the boom 53, an arm cylinder 57 for rotating the arm 54, a bucket cylinder 58 for rotating the bucket 55, a swing motor 59 for rotating the upper swing structure 51 relative to the lower running structure 50, and a travel motor (not shown) for traveling the lower running structure 50.
  • the attitude detection device 44 acquires attitude information related to the attitude of the work machine body.
  • the attitude detection device 44 may include multiple work implement attitude detectors. As shown in FIG. 2, the multiple work implement attitude detectors may include a boom attitude detector 44A, an arm attitude detector 44B, and a tip attachment attitude detector 44C.
  • the attitude detection device 44 may further include an inclination detector 44D and a swing angle detector 44E.
  • the boom attitude detector 44A may be a sensor that detects the attitude of the boom 53, or may be a sensor that detects the state of the boom cylinder 56 that correlates with the attitude of the boom 53.
  • the arm attitude detector 44B may be a sensor that detects the attitude of the arm 54, or may be a sensor that detects the state of the arm cylinder 57 that correlates with the attitude of the arm 54.
  • the tip attachment attitude detector 44C may be a sensor that detects the attitude of the tip attachment 55, or may be a sensor that detects the state of the tip attachment cylinder 58 that correlates with the attitude of the tip attachment 55.
  • the tilt detector 44D may be a sensor that detects the tilt of the upper rotating body 51 with respect to the horizontal plane.
  • the rotation angle detector 44E may be a sensor that detects the relative angle of the upper rotating body 51 with respect to the undercarriage 50, or may be a sensor that detects the orientation of the upper rotating body 51 in the global coordinate system.
  • Each of the multiple attitude detectors may include, for example, an inertial measurement unit (IMU), a sensor that detects the degree of extension and contraction of the cylinder (e.g., a stroke sensor), or other sensors.
  • IMU inertial measurement unit
  • sensor that detects the degree of extension and contraction of the cylinder (e.g., a stroke sensor)
  • the tilt detector 44D may include an inertial measurement unit (IMU).
  • the tilt detector 44D may include a device that calculates the tilt of the upper rotating body 51 based on position information obtained using a satellite positioning system such as the Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • the tilt detector 44D may include multiple antennas, such as multiple GNSS antennas.
  • the tilt detector 44D may also include other sensors.
  • the rotation angle detector 44E may include a potentiometer.
  • the rotation angle detector 44E may include a device that calculates the relative angle of the upper rotating body 51 or the orientation of the upper rotating body 51 based on position information obtained using the satellite positioning system.
  • the rotation angle detector 44E may include multiple antennas, such as multiple GNSS antennas.
  • the rotation angle detector 44E may also include other sensors.
  • the machine controller 41 receives the attitude information acquired by the attitude detection device 44.
  • the machine controller 41 transmits the input attitude information to the controller 11 of the work support device 10 via the communication device 48, the network 200, and the communication device 13.
  • the controller 11 can calculate the attitude of the work machine 40 using the received attitude information.
  • the imaging device 43 acquires site images, which are images related to the work site.
  • a vehicle 70 equipped with a container 80 (cargo bed) is placed at the work site.
  • the imaging device 43 is a device that captures the site images for an operator who remotely operates the work machine 40 using the remote control device 20.
  • the imaging device 43 may be placed, for example, inside the cab 51A or outside the cab 51A.
  • the imaging device 43 is preferably placed, for example, in a position close to the eye level of a typical operator.
  • the work machine 40 may be equipped with a distance measuring device 45.
  • the distance measuring device 45 acquires three-dimensional data (e.g., point cloud data) related to the work site and inputs the acquired three-dimensional data into the machine controller 41.
  • the distance measuring device 45 is configured to acquire three-dimensional data (e.g., point cloud data) of objects present at the work site, such as the ground, obstacles, and vehicles 70. Specific examples are as follows:
  • the ranging device 45 may be a ranging sensor that acquires distance information regarding the distance to an object by irradiating light such as laser light.
  • the ranging sensor may be, for example, a LiDAR (Light Detection and Ranging).
  • the ranging device 45 may also be a stereo camera, a total station, or other sensor capable of acquiring three-dimensional data.
  • the ranging device 45 may also be a combination of two or more of these devices.
  • the ranging sensor may be attached to the work machine body of the work machine 40, installed at the work site where the work machine 40 is located, or attached to a wirelessly controlled unmanned aerial vehicle (a so-called drone).
  • a ranging sensor When a ranging sensor is installed at the work site or attached to the drone, the results of the distance measurement by the ranging sensor are input to the machine controller 41 via wired or wireless communication.
  • a total station installed at the work site may measure the distance between a predetermined location on the container 80 and a predetermined location on the work device 52 of the work machine 40, and the distance measurement results may be input from the total station to the machine controller 41.
  • a LiDAR or stereo camera installed at the work site, or a LiDAR or stereo camera attached to the drone may acquire three-dimensional data of the measurement range including the work machine 40 and the container 80, and the acquired three-dimensional data may be input from the LiDAR or stereo camera to the machine controller 41.
  • the distance measuring device 45 can be omitted from the work machine 40.
  • the remote control device 20 may also be equipped with a setting interface 29, and the range of the container 80 on the vehicle 70 may be input into the setting interface 29. In this case, the distance measuring device 45 can be omitted from the work machine 40.
  • the setting interface 29 may set the range (e.g., coordinates) of the container 80 at the work site based on input operations performed by a work-related person such as an operator. The work-related person may perform the input operations while looking at a remote output interface (e.g., a display device 23 such as a display).
  • the controller 11 may set the extent of the container 80 by identifying the positions of three or more of the four corners of the rectangle.
  • the position of a corner may be identified, for example, by the operator operating the control lever 22 to position the tip of the bucket 55 at a position corresponding to the corner, and then performing an operation (coordinate identification operation) on the setting interface 29.
  • the controller 11 can calculate the position of the tip of the bucket 55 based on the attitude information input from the attitude detection device 44.
  • the position of a corner may also be identified, for example, by a worker inputting the coordinates of the corner into the setting interface 29 of the remote control device 20.
  • the remote control device 20 is a device for remotely operating the work machine 40.
  • the remote control device 20 is equipped with a remote control lever 22 that receives operations for remotely operating the work machine 40, a display device 23, and a seat 28.
  • the remote control device 20 is placed in a location away from the work machine 40 and is a device for remotely operating the work machine 40.
  • the display device 23 may be a display that displays a site image of the work site where the container 80 (cargo bed) of the vehicle 70 is placed, as shown in FIG. 4, for example.
  • the controller 11 causes the display device 23 to display an index image G1 superimposed on the site image of the work site where the container 80 (cargo bed) of the vehicle 70 is placed, as shown in FIG. 6, for example.
  • the remote control device 20 may further include, in addition to the display device 23, a second display device 25, or a third display device 26, for example.
  • the remote control device 20 may also further include a speaker 27 for outputting sounds from the work site.
  • Each of the various positions required for remote control may be information represented by coordinates in a coordinate system based on the imaging device 43 (imaging device coordinate system), information represented by coordinates in a coordinate system based on the work machine 40 (machine coordinate system), information represented by coordinates in a coordinate system based on a specific position at the work site (site coordinate system), or information represented by coordinates in a global coordinate system.
  • the controller 11 may be configured to be able to convert position information in any of these coordinate systems into position information in another coordinate system.
  • the controller 11 is configured to convert point cloud data input from the distance measuring device 45 into point cloud data in a predefined reference coordinate system.
  • the controller 11 may also be configured to convert on-site image data input from the imaging device 43 into data in a predefined reference coordinate system.
  • the reference coordinate system may be the machine coordinate system, the on-site coordinate system, the global coordinate system, or another coordinate system.
  • the origin of the reference coordinate system may be set at a specific position relative to the work machine 40, for example.
  • the origin of the reference coordinate system may be, for example, any position on the rotation axis. More specifically, the origin of the reference coordinate system may be the intersection of the rotation axis and the ground.
  • the origin of the reference coordinate system may be, for example, a position on the rotation axis and between the lower running body 50 and the upper rotating body 51.
  • the reference coordinate system is a three-dimensional coordinate system.
  • the reference coordinate system may be, for example, a Cartesian coordinate system defined using an x-axis parallel to the left-right direction, a y-axis parallel to the front-back direction, and a z-axis parallel to the vertical direction.
  • the reference coordinate system is not limited to the above specific example, and various other aspects can be adopted.
  • the controller 11 of the work support device 10 is equipped with a computer including an arithmetic processing unit and memory.
  • the controller 11 has various functions, such as an image processing function that generates an index image G1.
  • the controller 11 realizes each of the various functions by having the arithmetic processing unit execute programs stored in the memory.
  • the controller 11 may determine the range of the container 80 of the vehicle 70 based on the point cloud data input from the distance measuring device 45.
  • the remote controller 21 of the remote operation device 20 is equipped with a computer including an arithmetic processing unit and memory.
  • the remote controller 21 controls the operation of the remote operation device 20, such as the operation of the display device 23.
  • the remote controller 21 realizes various functions by having the arithmetic processing unit execute programs stored in the memory.
  • the machine controller 41 of the work machine 40 is equipped with a computer including an arithmetic processing unit and memory.
  • the machine controller 41 controls the operation of the work machine 40.
  • the machine controller 41 outputs the posture information and the site image to the work support device 10.
  • the machine controller 41 realizes each of its various functions by having the arithmetic processing unit execute programs stored in memory.
  • Figure 16 is a flowchart showing an example of the calculation processing performed by the controller 11 of the work support device 10, the remote controller 21 of the remote operation device 20, and the machine controller 41 of the work machine 40.
  • the remote controller 21 of the remote operation device 20 determines whether the input interface of the remote operation device 20 has received a designation operation (step S201 in FIG. 16).
  • the designation operation may be, for example, a preset operation indicating the start of remote operation of the work machine 40.
  • the designation operation may also be an operation given to the input interface by the operator. If the input interface has received the designation operation (YES in step S201), the remote controller 21 sends an environment confirmation request to the work machine 40 to request a site image of the work site (step S202).
  • the machine controller 41 of the work machine 40 receives the environment confirmation request (step C40), it acquires information regarding the site image captured by the imaging device 43 and information regarding the 3D data acquired by the distance measuring device 45, and transmits the acquired site image and 3D data to the work support device 10 (step S401).
  • the machine controller 41 acquires posture information detected by the posture detection device 44, and transmits the acquired posture information to the work support device 10 (step S402).
  • the controller 11 of the work support device 10 receives the site image and the 3D data transmitted from the work machine 40 (step C11).
  • the controller 11 transmits information related to the received site image to the remote control device 20 (step S101).
  • the remote controller 21 of the remote operation device 20 receives the site image transmitted by the controller 11 of the work support device 10 (step C21).
  • the remote controller 21 controls the operation of the display device 23 so that the received site image is displayed on the display device 23 (step S203). That is, the display device 23 displays the site image, for example, as shown in FIG. 4.
  • the controller 11 of the work support device 10 receives the posture information transmitted by the work machine 40 (step C12).
  • the controller 11 of the work support device 10 recognizes the range of the container 80 based on the three-dimensional data (e.g., point cloud data) of the container 80 acquired by, for example, the distance measuring device 45 (step S102). Note that if the database 12 stores information regarding the range of the container 80, the controller 11 may read the information regarding the range of the container 80 from the database 12 and identify the range of the container 80 based on the read information (step S102).
  • the controller 11 may read the information regarding the range of the container 80 from the database 12 and identify the range of the container 80 based on the read information (step S102).
  • the controller 11 determines whether the specified portion of the bucket 55 (tip 55a or front end 55b) is in a position corresponding to the container 80 (specifically, for example, whether the specified portion is within the range of the container 80) (step S103).
  • the controller 11 If the specified portion of the bucket 55 is shifted in the front-to-back direction or the left-to-right direction relative to the container 80 (NO in step S103), the controller 11 generates an image as an index image G1 in which the attachment marker G3 is positioned at a position shifted in the front-to-back direction or the left-to-right direction relative to the virtual surface image G2, as shown in FIG. 9 (step S104).
  • the controller 11 outputs an index image display command to cause the display device 23 to display an index image G1 including the virtual surface image G2 and the attachment marker G3 (step S106).
  • the remote controller 21 of the remote operation device 20 receives the index image display command sent by the controller 11 of the work assistance device 10 (step C22).
  • the remote controller 21 of the remote operation device 20 causes the display device 23 to display an index image G1 superimposed on a site image of the work site where the container 80 (cargo bed) of the vehicle 70 is located, as shown in FIG. 6, for example (step S204).
  • the display device 23 displays an index image G1 corresponding to the index image display command superimposed on the site image.
  • the remote controller 21 of the remote operation device 20 transmits a remote operation command, which is a command corresponding to the operation (remote operation) by the operator received by the remote operation lever 22, to the work machine 40 (step S205).
  • the machine controller 41 of the work machine 40 When the machine controller 41 of the work machine 40 receives the remote operation command transmitted from the remote operation device 20 (step C41), it controls the control objects so that the work device 52 and/or the upper rotating body 51 operate in accordance with the remote operation command (step S403).
  • the control objects may include, for example, the boom cylinder 56, arm cylinder 57, bucket cylinder 58, swing motor 59, and a control valve that hydraulically controls the operation of the travel motor.
  • the machine controller 41 can cause the work machine 40 to operate in accordance with the remote operation command by inputting a command in accordance with the remote operation command to the control valve.
  • the attachment marker G3 has a conical or triangular pyramid shape with the apex located at the bottom, but it may also have a shape that projects the outline of the bucket 55 onto the virtual surface image G2 directly below the bucket 55, as shown in Figures 17 and 18.
  • the index image G1 may include the container range image, such as a virtual surface image G2, an attachment marker G3, and a movable range image, which is a virtual image that represents the relative position of the movable range of the work device 52 with respect to the container 80.
  • the attachment marker G3 shown in FIG. 19 is an image in which the outline of the bucket 55 is projected onto the container range image directly below the bucket.
  • the movable range image may include, for example, a forward movable range marker G8 and a rearward movable range marker G9, as shown in FIG. 19.
  • the forward movable range marker G8 is an image projected onto the container range image of the range of the movable range of the work device 52 that is forward of the attachment marker G3 and that the tip of the bucket 55 can reach.
  • the rearward movable range marker G9 is an image projected onto the container range image of the range of the movable range of the work device 52 that is rearward of the attachment marker G3 and that the tip of the bucket 55 can reach.
  • the controller 11 of the work support device 10 may generate, as an index image G1, an image in which the attachment marker G3 is positioned on the surface of the soil 90 directly below the bucket 55.
  • the Internet and a mobile phone network are exemplified as networks for communication between the work assistance device 10 and the remote control device 20.
  • the work assistance device 10 and the remote control device 20 may be configured to communicate via a network such as a wired LAN (Local Area Network) or a CAN (Controller Area Network).
  • the remote control device 20 and the work assistance device 10 do not necessarily have to be configured as separate devices, and may be integrated.
  • the remote operation device 20 may be equipped with the work assistance device 10.
  • the remote controller 21 of the remote operation device 20 combines the functions of the remote controller 21 of the remote operation device 20 described in the above embodiment with the functions of the controller 11 of the work assistance device 10, and constitutes the controller of the present disclosure.
  • the remote controller 21 of the remote operation device 20 may perform not only the calculation processing by the remote controller 21 in the flowchart shown in FIG. 16, but also the calculation processing by the controller 11 of the work assistance device 10 in the flowchart shown in FIG. 16.
  • the controller 11 of the work support device 10 generates, as the container range image, the virtual opening region image G21 shown in Figures 6 and 7 or the virtual bottom surface image G22 shown in Figures 11 to 13, but is not limited to these.
  • the controller 11 may generate, as the container range image, a virtual surface image G2 that represents the range of the container 80 in the front-rear and left-right directions and that passes through the top of the soil 90.
  • the controller 11 of the work support device 10 may generate a virtual frame image G5 as the container range image, which is an image of a virtual frame that represents the range of the container 80 in the front-to-back direction and the left-to-right direction.
  • the index image G1 including the virtual frame image G5 displayed on the display device 23 makes it easier for the operator to grasp not only the relative position of the bucket 55 to the container 80 in the front-to-back direction, but also its relative position in the left-to-right direction. Therefore, during the soil removal work, the operator can appropriately adjust the relative position of the bucket 55 to the container 80 in the front-to-back direction and the left-to-right direction while looking at the index image G1 displayed on the display device 23. Specifically, this is as follows.
  • FIG. 22 is a diagram showing yet another example of a display screen displayed on the display device 23 of the remote control device 20.
  • the controller 11 generates an image including a virtual frame image G5 as an open area range image and an attachment marker G3 as an index image G1, and outputs an index image display command to display the index image G1 on the display device 23, causing the display device 23 to display an image in accordance with the index image display command, as shown in FIG. 22, for example.
  • the image shown in FIG. 22 is a view of the container 80 as seen from directly above.
  • the attachment marker G3 may include a marker point image G31 and an auxiliary line G32, as shown in the left image (A) and center image (B) of Figure 22.
  • the marker point image G31 is an image that represents the relative position of the tip attachment 55 with respect to the container 80, and may be an image that represents the position directly below the specified portion of the bucket 55 (tip portion 55a or front end portion 55b).
  • the auxiliary line G32 may include a front-to-rear line that passes through a position directly below the specified portion of the bucket 55 and is parallel to the front-to-rear direction, and a left-to-right line that passes through a position directly below the specified portion of the bucket 55 and is parallel to the left-to-right direction.
  • the front-to-rear line may be a line that extends from the front end of the container 80 to the rear end of the container 80
  • the left-to-right line may be a line that extends from the left end of the container 80 to the right end of the container 80.
  • the attachment marker G3 may include the auxiliary line G32 but not the marker point image G31.
  • FIG. 23 is a diagram showing yet another example of a display screen displayed on the display device 23 of the remote control device 20.
  • the controller 11 generates an image including a virtual frame image G5 as an open area range image and an attachment marker G3 as an index image G1, and outputs an index image display command to cause the display device 23 to display the index image G1.
  • the display device 23 displays an image in accordance with the index image display command, as shown in FIG. 23, for example.
  • the attachment marker G3 includes an auxiliary line G32.
  • the auxiliary line G32 may include a longitudinal line that passes directly below the specified portion of the bucket 55 and is parallel to the longitudinal direction, and an arc that passes directly below the specified portion of the bucket 55 and has its center at the center of rotation of the upper rotating body 51.
  • the arc may be a curve that extends from the left end of the container 80 to the right end of the container 80.
  • FIG. 24 is a diagram showing yet another example of a display screen displayed on the display device 23 of the remote control device 20.
  • the controller 11 generates an image including a virtual surface image G2 or a virtual frame image G5 as an open area range image and an attachment marker G3 as an index image G1, and outputs an index image display command to cause the display device 23 to display the index image G1.
  • the display device 23 displays an image in accordance with the index image display command, as shown in the left diagram (A) of FIG. 24, for example.
  • the controller 11 changes the display mode of the index image G1 on the display device 23 based on the distance between the end of the container 80 and the work device 52 (e.g., the bucket 55). Specifically, when the distance between the end of the container 80 and the work device 52 becomes equal to or less than a predetermined threshold Th, the controller 11 may change the display mode of the index image G1 on the display device 23, for example, as shown in the upper diagram (B), center diagram (C), or lower diagram (D) in FIG. 24. In the specific example of FIG. 24, the controller 11 determines whether or not to change the display mode based on the distance between the front end of the container 80 and the work device 52 (e.g., the bucket 55). However, the controller 11 may also determine whether or not to change the display mode based on the distance between the rear end, right end, or left end of the container 80 and the work device 52.
  • the controller 11 changes the display mode of the end (e.g., front end G2A) of the virtual surface image G2 or virtual frame image G5 of the index image G1.
  • the controller 11 when the distance between the front end of the container 80 and the bucket 55 of the work device 52 becomes equal to or less than a predetermined threshold value Th, the controller 11 changes the overall display mode of the virtual surface image G2 of the index image G1, or changes the display mode inside the virtual frame image G5.
  • the controller 11 changes the display mode of the attachment marker G3 in the index image G1.
  • the change in the display mode of the image may be, for example, a change in the color of the image, or may be causing at least a portion of the image to blink.
  • the attachment marker G3 includes a marker point image G31 and an auxiliary line G32.
  • the auxiliary line G32 includes a front-to-rear straight line that passes directly below the specified portion of the bucket 55 and is parallel to the front-to-rear direction, and a left-to-right straight line that passes directly below the specified portion of the bucket 55 and is parallel to the left-to-right direction.
  • Each of the front-to-rear straight line and the left-to-right straight line may be positioned so as to pass through the bottom edge of the marker point image G31.
  • the front-to-rear straight line may be a straight line extending from the front end of the container 80 to the rear end of the container 80
  • the left-to-right straight line may be a straight line extending from the left end of the container 80 to the right end of the container 80.
  • the controller 11 may change the display mode of the cab rear wall image G6 on the display device 23 based on the distance between the rear wall 72 of the vehicle cab 71 and the work device 52 (e.g., bucket 55), and may cause the display device 23 to display an alert to notify that the distance between the rear wall 72 of the vehicle cab 71 and the work device 52 has become small. Specifically, when the distance between the rear wall 72 of the vehicle cab 71 and the work device 52 becomes equal to or less than a predetermined threshold, the controller 11 may change the display mode of the cab rear wall image G6 on the display device 23, and may cause the display device 23 to display the alert.
  • the work device 52 e.g., bucket 55
  • the change in the display mode of the cab rear wall image G6 may be, for example, a change in color of the cab rear wall image G6, or may be causing at least a portion of the cab rear wall image G6 to flash.
  • the alert display may, for example, include text or a mark in a highly visible color.
  • the controller 11 of the work support device 10 transmits the site image to the remote controller 21 of the remote operation device 20 in step S101 of FIG. 16 , but the site image may also be transmitted to the remote controller 21 of the remote operation device 20 when the index image display command is output in step S106, for example.
  • the controller 11 of the work support device 10 transmits the work site image to the remote controller 21 of the remote operation device 20 in step S101, and transmits the index image display command to the remote controller 21 of the remote operation device 20 in step S106.
  • the remote controller 21 of the remote operation device 20 controls the display device 23 based on the received index image display command to display an index image G1 superimposed on a work site image of the work site where the container 80 (cargo bed) of the vehicle 70 is located.
  • this is not necessarily limited to the above embodiment.
  • the controller 11 of the work support device 10 may generate an index image G1 in accordance with the work site image and the index image display command, and further generate a superimposed image by superimposing the index image G1 on the work site image, and transmit the generated superimposed image to the remote controller 21 of the remote operation device 20.
  • the remote controller 21 of the remote operation device 20 may then display the received superimposed image on the display device 23.
  • FIG. 26 is a block diagram showing an example of a work assistance system 300 in which the work assistance device 10 is applied to the simulator described above.
  • This work assistance system 300 includes the work assistance device 10, a remote control device 20, and an operation simulator device 60.
  • the operation simulator device 60 places a virtual work site in a virtual space created by the operation simulator device 60, and places a virtual work machine 40A at the work site.
  • the operation simulator device 60 displays images of the work site and work machine 40A in the virtual space on the display device 23 of the remote control device 20.
  • the operator can operate the work machine 40A at the work site in the virtual space by operating the remote control lever 22 of the remote control device 20.
  • the operation simulator device 60 comprises a computer and communications equipment.
  • the computer of the operation simulator device 60 performs calculations to operate the work machine 40A in a virtual space.
  • the virtual space is a virtual three-dimensional space
  • the work machine 40A which is a three-dimensional model simulating the work machine 40 in real space, is placed within the virtual space.
  • the work site constructed in the virtual space is a simulation of the work site in real space, and includes, for example, a three-dimensionally modeled ground surface that is configured to be excavable by the work machine 40A.
  • the work site in the virtual space may also include a virtual vehicle simulating the vehicle 70 in real space, i.e., a three-dimensionally modeled vehicle (e.g., a vehicle with a loading platform for loading earth and sand).
  • the work site in the virtual space may also include objects simulating devices, equipment, and other objects present at the work site in real space, i.e., three-dimensionally modeled objects.
  • the communications equipment of the operation simulator device 60 is configured to be able to communicate with external devices such as the work support device 10 and the remote control device 20 via the network 200.
  • Network 200 may be a network such as the Internet or a mobile phone network, or may be a network such as a wired LAN or CAN.
  • the communication device of the operation simulator device 60 receives information transmitted from the external device and inputs the information into the computer of the operation simulator device 60.
  • the communication device of the operation simulator device 60 may also transmit the results of calculations performed by the computer to the external device.
  • the work machine 40A which is three-dimensionally modeled in virtual space, includes components that simulate the undercarriage 50, upper rotating body 51, and work implement 52 of the work machine 40 in real space shown in FIG. 2.
  • the computer of the operation simulator device 60 may perform calculations so that the work machine 40A in virtual space simulates the operation of various components, such as the control lever 42 and imaging device 43, that are included in the work machine 40 in real space shown in FIG. 1.
  • the work machine 40A in virtual space performs operations that simulate the inputs received by the work machine 40 in real space and the outputs corresponding to these inputs.
  • the work machine 40A in virtual space may include various modeled components, namely, a machine controller 41A, control lever 42A, imaging device 43A, a group of sensors (attitude detection device 44, distance measurement device 45A), and communication equipment 48A.
  • a remote control command is sent from the remote control device 20 to the operation simulator device 60, and the computer of the operation simulator device 60 performs calculations regarding the operation of the work machine 40A in virtual space in accordance with the received remote control command.
  • the modeled imaging device 43A acquires images of the work site constructed in virtual space.
  • the modeled distance measuring device 45A acquires three-dimensional data of the work site constructed in virtual space.
  • the modeled attitude detection device 44 acquires attitude information regarding the attitude of the work machine 40A.
  • the device's operating characteristics such as detection range and response speed, as well as output information such as data output format and output voltage range, may be modeled.
  • the computer of the operation simulator device 60 may perform calculations to simulate the modeled machine controller 41A transmitting the operating characteristics and output information to an external device via the modeled communication device 48A.
  • the communication device of the operation simulator device 60 may transmit the calculation results to at least one of the work assistance device 10 and the remote operation device 20 via the network 200.
  • the work support device 10 and remote control device 20 of the work support system 300 shown in FIG. 26 are similar to the work support device 10 and remote control device 20 of the work support system 100 shown in FIG. 1.
  • the computer of the operation simulator device 60 transmits information about the work site and the operation of the work machine 40A in the virtual space constructed in the operation simulator device 60 to the work support device 10, and the controller 11 of the work support device 10 displays an index image G1 including an open area range image such as a virtual surface image G2 and an attachment marker G3 on the display device 23 of the remote control device 20, for example, as shown in FIGS. 6 to 15.
  • the operator can appropriately adjust the bucket's relative position to an open area such as a container in virtual space while viewing the index image G1 displayed on the display device 23.
  • the work support system 300 is configured so that the operation simulator device 60, work support device 10, and remote control device 20 communicate with each other via a network 200, but the work support system for a simulator is not limited to the specific example shown in FIG. 26.
  • the work support device 10 may be mounted on the operation simulator device 60 or on the remote control device 20.
  • the remote control device 20 can be omitted from the work support system.
  • the operation simulator device 60, work support device 10, and remote control device 20 are configured as separate devices, but they may also be configured as an integrated device.
  • the work machine 40 is a shovel, but the work machine in this disclosure is not limited to a shovel and may be a crane, bulldozer, or other work machine.
  • the Internet and a mobile phone network are exemplified as networks for communication between the work assistance device 10 and the work machine 40, but the work assistance device 10 and the work machine 40 may also be configured to communicate via a network such as a wired LAN (Local Area Network) or CAN (Controller Area Network).
  • the work assistance device 10 may also be mounted on the work machine 40.
  • the work machine 40 may be equipped with a work support device 10.
  • the machine controller 41 of the work machine 40 may combine the functions of the machine controller 41 of the work machine 40 described in the above embodiment and the functions of the controller 11 of the work support device 10.
  • the machine controller 41 of the work machine 40 may perform not only the calculation processing by the machine controller 41 in the flowchart shown in FIG. 16, but also the calculation processing by the controller 11 of the work support device 10 in the flowchart shown in FIG. 16.
  • the present disclosure includes a program relating to the following modified example.
  • the program relating to this modified example is a program for assisting in the work of releasing soil 90 held in the bucket 55 of a work machine 40 from the bucket 55 and placing the soil 90 into a container 80 positioned in front of the work machine 40, and causes a computer to realize the function of displaying on the display device 23 an index image G1 that includes a container range image, which is a virtual image that serves as an index showing the range of the container 80 in at least the fore-and-aft direction, and an attachment marker G3, which is a virtual image that shows the relative position of the bucket 55 with respect to the container 80.
  • This program may be provided via communications means (for example, a network such as the Internet), or may be provided stored on various recording media (for example, non-transitory tangible recording media).
  • the present disclosure includes a work assistance method according to the following modified example.
  • This work assistance method according to the modified example is a method for assisting in the work of releasing soil 90 held in the bucket 55 of a work machine 40 from the bucket 55 and pouring the soil 90 into a container 80 located in front of the work machine 40, and includes displaying on the display device 23 an index image G1 that includes a container range image, which is a virtual image that serves as an index indicating the range of the container 80 in at least the fore-and-aft direction, and an attachment marker G3, which is a virtual image that indicates the relative position of the bucket 55 with respect to the container 80.
  • the present disclosure provides technology that can assist an operator in understanding the relative position of a tip attachment in the fore-and-aft direction with respect to an open area of a container or the like.
  • the present disclosure includes the following first to fifteenth aspects.
  • the work assistance device is a device for assisting in the task of releasing an object held on a tip attachment of a work machine from the tip attachment and placing the object in a release area located in front of the work machine, and the work assistance device is equipped with a controller that causes a display device to display an index image including a release area range image, which is a virtual image that serves as an index indicating the range of the release area in at least the fore-and-aft direction, and an attachment marker, which is a virtual image that indicates the relative position of the tip attachment with respect to the release area.
  • a release area range image which is a virtual image that serves as an index indicating the range of the release area in at least the fore-and-aft direction
  • an attachment marker which is a virtual image that indicates the relative position of the tip attachment with respect to the release area.
  • the work assistance device preferably further comprises the following configuration in addition to the work assistance device according to the first aspect. That is, in the work assistance device according to the second aspect, the controller preferably generates, as the released area range image, a virtual surface image that is an image of a virtual surface representing the range of the released area in the front-rear and left-right directions, or a virtual frame image that is an image of a virtual frame representing the range of the released area in the front-rear and left-right directions.
  • the indicator image including the virtual surface image or virtual frame image displayed on the display device makes it easier for the operator to grasp not only the relative position of the tip attachment with respect to the released area in the front-rear direction, but also its relative position in the left-right direction. Therefore, during the release work, the operator can appropriately adjust the relative position of the tip attachment with respect to the released area in the front-rear and left-right directions while viewing the indicator image displayed on the display device.
  • the work assistance device preferably further comprises the following configuration in addition to the work assistance device according to the first aspect. That is, in the work assistance device according to the third aspect, the release area is a container placed in front of the work machine, and the controller preferably generates, as the release area range image, a virtual surface image (virtual opening area image) that is an image of a virtual surface representing an area corresponding to the opening of the container, or a virtual surface image (virtual bottom image) that is an image of a virtual surface representing an area corresponding to the bottom of the container.
  • a virtual surface image virtual opening area image
  • a virtual bottom image an image of a virtual surface representing an area corresponding to the bottom of the container.
  • the indicator image including the virtual opening area image or the virtual bottom image displayed on the display device makes it easier for the operator to grasp the relative positions in the front-to-back direction and the left-to-right direction of the tip attachment with respect to the opening of the container or the bottom of the container. Therefore, during the release work, the operator can appropriately adjust the relative positions in the front-to-back direction and the left-to-right direction of the tip attachment with respect to the container while viewing the indicator image displayed on the display device.
  • the work assistance device preferably further comprises the following configuration in addition to the work assistance device according to the second or third aspect. That is, in the work assistance device according to the fourth aspect, when a predetermined portion of the end attachment is in a position corresponding to the released area, the controller preferably generates, as the index image, an image in which the attachment marker is positioned at a position corresponding to the virtual surface image.
  • the controller may generate, as the index image, an image in which the attachment marker is positioned directly below the end attachment at a position on the virtual surface image, or may generate, as the index image, an image in which the attachment marker is positioned directly below the end attachment at a position above the virtual surface image.
  • the predetermined portion when the predetermined portion is in a position corresponding to the released area, the predetermined portion may be located above the released area, or may be located directly above the released area (a position above the released area).
  • the work assistance device preferably comprises the following configuration in addition to the work assistance device according to the fourth aspect. That is, in the work assistance device according to the fifth aspect, when the predetermined portion is shifted in the front-rear direction or the left-right direction with respect to the released area, the controller preferably generates, as the indicator image, an image in which the attachment marker is positioned at a position shifted in the front-rear direction or the left-right direction with respect to the virtual surface image. Specifically, for example, when the predetermined portion is shifted in the front-rear direction or the left-right direction with respect to the released area, the controller may generate, as the indicator image, an image in which the attachment marker is positioned at a position corresponding to the ground around the released area.
  • a work assistance device may be the work assistance device according to any one of the second to fifth aspects, further comprising the following configuration. That is, in the work assistance device according to the sixth aspect, the open area is a container placed in front of the work machine, and if a portion of the object contained in the container is located higher than the height of the virtual plane image, the controller may generate, as the indicator image, an image in which an area corresponding to the portion of the object in the virtual plane image is omitted. In this sixth aspect, because the portion of the object does not overlap with the virtual plane image, the operator can easily grasp the condition of the object, such as the position of the object in the container and the imbalance of the object.
  • a work assistance device may be the work assistance device according to any one of the first to sixth aspects, further including the following configuration. That is, in the work assistance device according to the seventh aspect, the release area is a container placed in front of the work machine, and the controller may generate, as the release area range image, a virtual surface image (virtual bottom surface image) that is an image of a virtual surface that represents an area corresponding to the bottom surface of the container, and may generate, as the indicator image, an image in which the attachment marker is positioned directly below the tip attachment and at a position on the virtual surface image or a position spaced above the virtual surface image.
  • a virtual surface image virtual bottom surface image
  • the attachment marker is displayed on the display device directly below the tip attachment and at a position corresponding to the virtual bottom surface image (a position on the virtual bottom surface image or a position spaced above the virtual bottom surface image), making it easier for the operator to grasp the relative positions of the tip attachment in the front-to-back direction and the left-to-right direction relative to the container during the release work.
  • the work support device preferably further comprises the following configuration in addition to the work support device according to the seventh aspect. That is, in the work support device according to the eighth aspect, the attachment marker is a first attachment marker placed directly below the tip attachment and at a distance above the virtual surface image, and the controller preferably generates, as the index image, an image including the release area range image, the first attachment marker, and a second attachment marker which is a virtual image placed directly below the tip attachment at a position on the virtual surface image.
  • the first attachment marker is placed at a distance above the virtual bottom surface image on the display device and the second attachment marker is placed at a position on the virtual bottom surface image, during the release operation, the operator can more easily grasp the relative position of the tip attachment in the front-to-back direction and the left-to-right direction relative to the bottom surface of the container.
  • a work assistance device may be the work assistance device according to any one of the first to eighth aspects, further including the following configuration. That is, in the work assistance device according to the ninth aspect, the release area is a loading platform of a vehicle transporting the object, the vehicle has a vehicle cab, and the controller may generate, as the index image, an image including the release area range image, the attachment marker, and a cab rear wall image that is a virtual image representing an area corresponding to the rear wall of the vehicle cab. In this ninth aspect, during the release operation, the operator can easily grasp not only the relative position of the end attachment with respect to the release area, but also the relative position of the end attachment with respect to the rear wall of the vehicle cab.
  • the cab rear wall image be displayed on the display device in a display mode different from that of the release area range image. In this case, during the release operation, the operator can easily distinguish between the loading platform as the release area and the rear wall of the vehicle cab.
  • the work assistance system includes a work assistance device according to any one of the first to ninth aspects, the work machine, and a remote control device having the display device and for remotely operating the work machine.
  • the work machine comprises a work machine main body, a posture detection device that acquires posture information relating to the posture of the work machine main body, an imaging device that acquires a site image that is an image of the work site where the release area is located, and a machine controller that outputs the posture information and the site image to a work support device according to any one of the first to ninth aspects.
  • the remote control device includes a remote control lever that receives operations for remotely operating the work machine, and the display device that displays the index image including the release area range image and the attachment marker in response to a command (index image display command) output by the work support device according to any one of the first to ninth aspects.
  • the remote control device preferably further comprises the following configuration in addition to the remote control device according to the twelfth aspect. That is, in the remote control device according to the thirteenth aspect, the controller preferably causes the display device to display the indicator image superimposed on a site image of the work site where the released area is located.
  • the program according to the fourteenth aspect is a program for assisting in the task of releasing an object held on a tip attachment of a work machine from the tip attachment and placing the object in a release area in front of the work machine, and causes a computer to realize the function of displaying on a display device an index image including a release area range image, which is a virtual image that serves as an index indicating the range of the release area in at least the fore-and-aft direction, and an attachment marker, which is a virtual image that indicates the relative position of the tip attachment with respect to the release area.
  • the work assistance method is a method for assisting in the task of releasing an object held on a tip attachment of a work machine from the tip attachment and placing the object in a release area in front of the work machine, and includes displaying on a display device an index image including a release area range image, which is a virtual image that serves as an indicator indicating the range of the release area in at least the fore-and-aft direction, and an attachment marker, which is a virtual image that indicates the relative position of the tip attachment with respect to the release area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

作業支援装置(10)は、作業機械(40)の先端アタッチメント(55)に保持される対象物(90)を先端アタッチメント(55)から解放して作業機械(40)の前方に存在する解放エリア(80)に対象物(90)を配置する作業を支援するための装置である。作業支援装置(10)は、少なくとも前後方向における解放エリア(80)の範囲を表す指標となる仮想の画像である解放エリア範囲画像(G2)と解放エリア(80)に対する先端アタッチメント(55)の相対位置を表す仮想の画像であるアタッチメントマーカー(G3)とを含む指標画像(G1)を表示装置(23)に表示させるコントローラ(11)を備える。

Description

作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法
 本開示は、作業機械による作業を支援するための技術に関する。
 特許文献1は、作業機械の一連の動作において、作業支援のための適切なグラフィック表示を提供することを目的とする表示制御装置および遠隔操作装置を開示している。特許文献2は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することを目的とする画像表示システムを開示している。
 特許文献1における表示制御装置は、バケットの下端の位置をハイライトして示す図形と容器の上端の位置をハイライトして示す図形とをディスプレイに重畳表示する。この表示制御装置が行うグラフィック表示は、容器に対するバケットの上下方向における相対位置をオペレータが把握することを支援できるかもしれないが、容器に対するバケットの前後方向における相対位置の把握を支援するものではない。また、特許文献2における画像表示システムでは、容器に対するバケットの前後方向における相対位置の把握を支援することについては何ら考慮されていない。
特開2023-120743号公報 特許第6777375号公報
 本開示は、容器などの解放エリアに対する先端アタッチメントの前後方向における相対位置をオペレータが把握することを支援できる技術を提供することを目的とする。
 本開示における作業支援装置は、作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するための装置であり、前記作業支援装置は、少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させるコントローラを備える。
 本開示における作業支援システムは、前記作業支援装置と、前記作業機械と、前記表示装置を有し、前記作業機械を遠隔操作するための遠隔操作装置と、を備える。
 本開示における作業機械は、作業機械本体と、前記作業機械本体の姿勢に関する姿勢情報を取得する姿勢検出装置と、前記解放エリアが存在する作業現場に関する画像である現場画像を取得する撮像装置と、前記姿勢情報および前記現場画像を前記作業支援装置に出力する機械コントローラと、を備える。
 本開示における遠隔操作装置は、前記作業機械を遠隔操作するための操作を受ける遠隔操作レバーと、前記作業支援装置が出力する指令(指標画像表示指令)に応じて前記解放エリア範囲画像と前記アタッチメントマーカーとを含む前記指標画像を表示する前記表示装置と、を備える。
 本開示におけるプログラムは、作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するためのプログラムであって、少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させる機能をコンピュータに実現させる。
 本開示における作業支援方法は、作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するための方法であって、少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させることを含む。
実施形態に係る作業支援システムを示すブロック図である。 実施形態に係る作業機械を示す側面図である。 実施形態に係る遠隔操作装置を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面の一例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面の他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記作業機械と車両の容器との位置関係および指標画像の一例について説明するための図である。 前記作業機械と車両の容器との位置関係および指標画像の他の例について説明するための図である。 前記作業機械と車両の容器との位置関係および指標画像のさらに他の例について説明するための図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記作業機械と車両の容器との位置関係および指標画像のさらに他の例について説明するための図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 実施形態に係る作業支援装置のコントローラが行う演算処理の一例を示すフローチャートである。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記作業機械と車両の容器との位置関係および指標画像のさらに他の例について説明するための図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記作業機械と車両の容器との位置関係および指標画像のさらに他の例について説明するための図である。 前記作業機械と車両の容器との位置関係および指標画像のさらに他の例について説明するための図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 前記遠隔操作装置の表示装置に表示される表示画面のさらに他の例を示す図である。 実施形態の変形例に係る作業支援システムを示すブロック図である。
 本開示の実施形態を図面を参照しながら説明する。図1は、実施形態に係る作業支援システム100を示すブロック図である。図2は、実施形態に係る作業機械40を示す側面図である。図3は、実施形態に係る遠隔操作装置20を示す図である。
 作業支援システム100は、作業支援装置10と、作業機械40と、遠隔操作装置20と、を備える。作業支援装置10、作業機械40および遠隔操作装置20は、例えばインターネット、携帯電話網などの種々のネットワーク200を利用した通信によって互いにデータの送受信を行うことが可能である。
 図4は、遠隔操作装置20の表示装置23に表示される表示画面の一例を示す図である。図5は、遠隔操作装置の表示装置23に表示される表示画面の他の例を示す図である。図6は、遠隔操作装置20の表示装置23に表示される表示画面のさらに他の例を示す図である。図7は、作業機械40と車両70の容器80との位置関係および指標画像G1の一例について説明するための図である。図4は、後述する排土作業の初期段階を示しており、容器80には土砂90がほとんど積載されていない状態を示している。図5は、前記排土作業の中期段階または最終段階を示しており、容器80には多くの土砂90が積載されている状態を示している。
 図中の前後方向は、作業機械40と車両70との位置関係を表している。車両70の容器80(荷台)は、作業機械40の前方に配置される。すなわち、前方は、作業機械40から容器80に向かう水平な方向である。具体的には例えば、前方は、作業機械40の上部旋回体51から容器80に向かう水平な方向であってもよい。図中の左右方向は、前記前後方向に直交する水平な方向である。車両70の容器80は、土砂90を運搬する車両70の荷台である。車両70は、車両運転室71を有する。容器80は、例えば平面視において矩形状を有していてもよい。容器80は、例えば底部81と、右壁83と、左壁84と、前壁85と、後壁86と、を有する略直方体形状を有していてもよい。容器80の底部81は、底面82(底部81の上面)を有する。容器80の上部は開口している。すなわち、容器80は、その上部に開口部87を有する。
 容器80は、車両70の荷台に限られず、例えば作業現場に設置された箱(自走できない箱)などの設備であってもよく、前記設備の一部であってもよい。前記設備の一部は、例えば、前記設備から土砂が排出される部分であってもよく、前記設備に土砂が投入される部分であってもよい。また、本開示における解放エリアは、容器80に限られず、作業現場において範囲が指定された排土エリアであってもよい。具体的には、排土エリアは、例えば、作業現場において土砂が供給されるエリアである施工対象エリアであってもよい。
 作業支援装置10は、例えば図4、図5および図7に示すように、作業機械40のバケット55に保持される土砂90(対象物の一例)をバケット55から解放して作業機械40の前方に配置される容器80に土砂90を入れる作業を支援するための装置である。本実施形態に係る作業支援装置10は、次の第1の特徴を備える。
 [第1の特徴]
 作業支援装置10は、コントローラ11を備え、コントローラ11は、少なくとも前後方向における容器80の範囲を表す指標となる仮想の画像である容器範囲画像と容器80に対するバケット55の相対位置を表す仮想の画像であるアタッチメントマーカーG3とを含む指標画像G1を表示装置23に表示させるための指標画像表示指令を出力する(後述する図16のステップS106)。前記容器範囲画像は、例えば、図6および図7に示す仮想面画像G2であってもよく、後述する図22~図24の変形例における仮想枠画像G5であってもよい。前記容器範囲画像は、本開示における解放エリア範囲画像の一例である。
 この作業支援装置10では、コントローラ11が前記指標画像表示指令を出力することにより、遠隔操作装置20の表示装置23には前記容器範囲画像(例えば仮想面画像G2)とアタッチメントマーカーG3とを含む指標画像G1が表示される。遠隔操作装置20を操作するオペレータは、表示装置23に表示される指標画像G1により、容器80に対するバケット55の前後方向における相対位置を把握しやすくなる。従って、バケット55から土砂90を解放して容器80に当該土砂90を入れる排土作業(解放作業の一例)において、オペレータは、表示装置23に表示される指標画像G1を見ながら、容器80に対するバケット55の前後方向における相対位置を調節する操作を適切に行うことができる。
 本実施形態に係る作業支援装置10は、以下の第2~第9の特徴をさらに含む。
 [第2の特徴]
 図6および図7に示すように、コントローラ11は、前後方向および左右方向における容器80の範囲を表す仮想面の画像である仮想面画像G2を前記容器範囲画像として生成することが好ましい。この第2の特徴を備える作業支援装置10では、遠隔操作装置20を操作するオペレータは、遠隔操作装置20の表示装置23に表示される仮想面画像G2を含む指標画像G1により、容器80に対するバケット55の前後方向における相対位置だけでなく左右方向における相対位置も把握しやすくなる。従って、前記排土作業において、オペレータは、表示装置23に表示される指標画像G1を見ながら、容器80に対するバケット55の前後方向における相対位置と左右方向の相対位置を調節する操作を適切に行うことができる。
 [第3の特徴]
 図6および図7に示すように、コントローラ11は、容器80の開口部87に対応する領域を表す仮想面の画像である仮想開口領域画像G21(仮想面画像G2の一例)を前記容器範囲画像として生成することが好ましい。この第3の特徴を備える作業支援装置10では、オペレータは、表示装置23に表示される仮想開口領域画像G21を含む指標画像G1により、容器80の開口部87に対するバケット55の前後方向における相対位置と左右方向における相対位置を把握しやすくなる。従って、前記排土作業において、オペレータは、表示装置23に表示される指標画像G1を見ながら、容器80に対するバケット55の前後方向における相対位置と左右方向の相対位置を調節する操作を適切に行うことができる。
 また、図11、図12、図13および図14に示すように、コントローラ11は、容器80の底面82に対応する領域を表す仮想面の画像である仮想底面画像G22(仮想面画像G2の一例)を前記容器範囲画像として生成してもよい。この作業支援装置10では、オペレータは、表示装置23に表示される仮想底面画像G22を含む指標画像G1により、容器80の底面82に対するバケット55の前後方向における相対位置と左右方向における相対位置を把握しやすくなる。従って、前記排土作業において、オペレータは、表示装置23に表示される指標画像G1を見ながら、容器80に対するバケット55の前後方向における相対位置と左右方向の相対位置を調節する操作を適切に行うことができる。なお、図12は、前記排土作業の初期段階を示しており、容器80には土砂90がほとんど積載されていない状態を示している。図14は、前記排土作業の中期段階または最終段階を示しており、容器80には多くの土砂90が積載されている状態を示している。
 [第4の特徴]
 図7および図8に示すように、コントローラ11は、バケット55における所定の部分が容器80に対応する位置にある場合には、アタッチメントマーカーG3が仮想面画像G2に対応する位置に配置されるような画像を指標画像G1として生成することが好ましい。前記所定の部分は、例えば図7に示すようにバケット55の先端部55aであってもよい。また、前記所定の部分は、例えば図8に示すようにバケット55の最も前側の部分である前端部55bであってもよい。バケット55において前端部55bは、バケット55の回動に伴って変わる部位である。先端部55aは、バケット55の幅方向の中央であってもよい。前端部55bは、バケット55の幅方向の中央であってもよい。
 具体的には、この第4の特徴を備える作業支援装置10では、例えば、コントローラ11は、バケット55における前記所定の部分(先端部55aまたは前端部55b)が容器80の内部または容器80の真上にある場合には、アタッチメントマーカーG3がバケット55の真下の位置であって仮想面画像G2上の位置に配置されるような画像を指標画像G1として生成してもよく、アタッチメントマーカーG3がバケット55の真下の位置であって仮想面画像G2に対して上方に離れた位置に配置されるような画像を指標画像G1として生成してもよい。すなわち、前記所定の部分が容器80に対応する位置にある場合とは、前記所定の部分が容器80の内部にある場合のことであってもよく、前記所定の部分が容器80の真上(容器80から上方に離れた位置)にある場合のことであってもよい。
 [第5の特徴]
 図9に示すように、コントローラ11は、前記所定の部分が容器80に対して前後方向または左右方向にずれた位置にある場合には、アタッチメントマーカーG3が仮想面画像G2に対して前後方向または左右方向にずれた位置に配置されるような画像を指標画像G1として生成することが好ましい。具体的には例えば、コントローラ11は、前記所定の部分が容器80に対して前後方向または左右方向にずれた位置にある場合には、図9に示すようにアタッチメントマーカーG3が容器80の周辺の地面に対応する位置に配置されるような画像を指標画像G1として生成してもよい。
 [第6の特徴]
 図10に示すように、コントローラ11は、容器80に入っている土砂90の一部分(例えば、土砂90の上部91)が仮想開口領域画像G21(仮想面画像G2の一例)の高さよりも上方に位置する場合には、仮想面画像G2において土砂90の上部91に対応する領域が省かれるような画像を指標画像G1として生成してもよい。この第6の特徴を備える作業支援装置10では、土砂90の上部91が仮想面画像G2によって覆われないので、オペレータは、容器80内における土砂90の位置、土砂90の偏りなどの土砂90の状況を把握しやすくなる。
 [第7の特徴]
 図11および図12に示すように、コントローラ11は、容器80の底面82に対応する領域を表す仮想面の画像である仮想底面画像G22(仮想面画像G2の一例)を前記容器範囲画像として生成してもよい。この場合、コントローラ11は、アタッチメントマーカーG3がバケット55の真下の位置であって仮想底面画像G22上の位置に配置されるような画像を指標画像G1として生成してもよく、図13に示すようにアタッチメントマーカーG3がバケット55の真下の位置であって仮想底面画像G22から上方に離れた位置に配置されるような画像を指標画像G1として生成してもよい。この第7の特徴を備える作業支援装置10では、表示装置23においてアタッチメントマーカーG3がバケット55の真下の位置で且つ仮想底面画像G22に対応する位置(仮想底面画像G22上の位置または仮想底面画像G22から上方に離れた位置)に表示されるので、前記排土作業において、オペレータは、容器80に対するバケット55の前後方向における相対位置と左右方向における相対位置を把握しやすくなる。
 [第8の特徴]
 図12および図13に示すように、アタッチメントマーカーG3は、バケット55の真下の位置であって仮想底面画像G22から上方に離れた位置に配置される第1のアタッチメントマーカーG3であり、コントローラ11は、仮想底面画像G22と、第1のアタッチメントマーカーG3と、バケット55の真下の位置であって仮想底面画像G22上の位置に配置される仮想の画像である第2のアタッチメントマーカーG4と、を含む画像を指標画像G1として生成することが好ましい。この第8の特徴を備える作業支援装置10では、表示装置23において第1のアタッチメントマーカーG3が仮想底面画像G22から上方に離れた位置に配置されるとともに第2のアタッチメントマーカーG4が仮想底面画像G22上の位置に配置されるので、前記排土作業において、遠隔操作装置20を操作するオペレータは、容器80の底面82に対するバケット55の前後方向における相対位置と左右方向における相対位置をさらに把握しやすくなる。
 [第9の特徴]
 図15に示すように、コントローラ11は、仮想開口領域画像G21(仮想面画像G2の一例)と、アタッチメントマーカーG3と、車両運転室71の後壁72に対応する領域を表す仮想の画像である運転室後壁画像G6と、を含む画像を指標画像G1として生成してもよい。この第9の特徴を備える作業支援装置10では、前記排土作業において、遠隔操作装置20を操作するオペレータは、容器80に対するバケット55の相対位置だけでなく、車両運転室71の後壁72に対するバケット55の相対位置も把握しやすくなる。この第9の特徴を備える作業支援装置10では、運転室後壁画像G6は、仮想開口領域画像G21とは異なる表示態様で表示装置23に表示されることがより好ましく、この場合、前記排土作業において、オペレータは、容器80(前記荷台)と車両運転室71の後壁72とを見分けやすくなる。前記異なる表示態様は、例えば異なる色であってもよく、異なる濃淡であってもよい。
 車両運転室71の後壁72に対応する領域は、車両運転室71の空間を後から仕切る後壁72の領域であってもよい。また、車両70が、車両運転室71の真後ろに配置されるガードフレームなどのいわゆる鳥居部を有する場合には、車両運転室71の後壁72に対応する領域は、前記鳥居部の外縁によって囲まれる領域であってもよい。
 また、コントローラ11は、容器後壁画像を含む画像を指標画像G1として生成してもよい。容器後壁画像は、容器80の後壁86の領域を表す仮想の画像である。
 本実施形態に係る作業支援装置10の主な特徴は以上のとおりである。以下では、作業支援装置10、作業機械40および遠隔操作装置20を備える作業支援システム100の具体例について説明するが、本開示における作業支援装置、作業機械および遠隔操作装置、並びにこれらを備える作業支援システムは、以下の具体例に限定されるものではない。
 図1に示すように、作業支援装置10は通信機器13を備え、作業機械40は、通信機器48を備え、遠隔操作装置20は、通信機器24を備えていてもよい。作業支援装置10、作業機械40および遠隔操作装置20は、例えばインターネット、携帯電話網などの種々のネットワーク200を利用した通信によって互いにデータの送受信を行うことができる。
 作業支援装置10は、タブレット型コンピュータ(いわゆるタブレット)、スマートフォン、ラップトップパーソナルコンピュータ、デスクトップパーソナルコンピュータなどの情報端末であってもよい。作業支援装置10は、作業機械40による作業を管理するためのサーバなどの管理装置であってもよい。作業支援装置10は、インターネットなどのネットワーク上でサービスとして提供されるクラウドサービスにおけるコンピュータであってもよい。作業支援装置10は、複数の情報端末を含んでいてもよい。
 作業支援装置10は、作業機械40の寸法情報(諸元データ)、容器80の範囲に関する情報などの種々のデータを記憶するデータベース12を備えていてもよい。
 図1および図2に示すように、作業機械40は、作業機械本体と、姿勢検出装置44と、撮像装置43と、機械コントローラ41と、を備える。前記作業機械本体は、走行装置を含む下部走行体50と、上下に延びる旋回軸の回りに下部走行体50に対して旋回可能となるように下部走行体50に支持される上部旋回体51と、上部旋回体51に支持される作業装置52と、を備える。本実施形態に係る作業機械40は、油圧ショベルである。
 上部旋回体51は、旋回フレームと、旋回フレームに支持される運転室51Aと、を備える。前記旋回フレームは、下部走行体50に旋回可能に支持されるフレームであり、上部旋回体51のベース部分を構成する。
 作業装置52は、上部旋回体51に対して起伏可能に取り付けられるブーム53と、ブーム53に対して回動可能に取り付けられるアーム54と、アーム54に対して回動可能に取り付けられるバケット55と、を含む。バケット55は、先端アタッチメントの一例である。前記先端アタッチメントは、バケット55に限られず、例えば、グラップル、フォーク、リフティングマグネットなどの他の先端アタッチメントであってもよい。
 運転室51Aは、前記旋回フレームの例えば左前部に配置されている。運転室51Aの内部には、運転席、操作レバー42などが配置されている。操作レバー42は、ブーム53を起伏させるためのブーム操作、アーム54を回動させるためのアーム操作、バケット55を回動させるためのバケット操作、上部旋回体51を下部走行体50に対して旋回させるための旋回操作、下部走行体50を走行させるための走行操作などのオペレータによる種々の操作を受ける。操作レバー42は、オペレータが運転室51Aに搭乗して作業機械40を操作する場合に用いられる。操作レバー42は、作業機械40が遠隔操作される場合には用いられない。運転室51Aの後部には、機械室を画定する外壁が配置されている。前記機械室には、エンジン、バッテリ、発電機などの動力機器、油圧ポンプなどの油圧機器、電気機器などの種々の機器が配置される。前記油圧ポンプは、前記動力機器により駆動される。
 作業機械40は、複数のアクチュエータを備える。前記複数のアクチュエータのそれぞれは、前記油圧ポンプから吐出される作動油の供給を受けて作動する。複数のアクチュエータは、ブーム53を起伏させるためのブームシリンダ56と、アーム54を回動させるためのアームシリンダ57と、バケット55を回動させるためのバケットシリンダ58と、上部旋回体51を下部走行体50に対して旋回させるための旋回モータ59と、下部走行体50を走行させるための図略の走行モータと、を含む。
 姿勢検出装置44は、前記作業機械本体の姿勢に関する姿勢情報を取得する。姿勢検出装置44は、複数の作業装置姿勢検出器を含んでいてもよい。図2に示すように、複数の作業装置姿勢検出器は、ブーム姿勢検出器44Aと、アーム姿勢検出器44Bと、先端アタッチメント姿勢検出器44Cと、を含んでいてもよい。姿勢検出装置44は、傾斜検出器44Dと、旋回角度検出器44Eと、をさらに含んでいてもよい。
 ブーム姿勢検出器44Aは、ブーム53の姿勢を検出するセンサであってもよく、ブーム53の姿勢に相関するブームシリンダ56の状態を検出するセンサであってもよい。アーム姿勢検出器44Bは、アーム54の姿勢を検出するセンサであってもよく、アーム54の姿勢に相関するアームシリンダ57の状態を検出するセンサであってもよい。先端アタッチメント姿勢検出器44Cは、先端アタッチメント55の姿勢を検出するセンサであってもよく、先端アタッチメント55の姿勢に相関する先端アタッチメントシリンダ58の状態を検出するセンサであってもよい。傾斜検出器44Dは、上部旋回体51の水平面に対する傾斜を検出するセンサであってもよい。旋回角度検出器44Eは、下部走行体50に対する上部旋回体51の相対角度を検出するセンサであってもよく、グローバル座標系における上部旋回体51の向きを検出するセンサであってもよい。
 複数の姿勢検出器のそれぞれは、例えば、慣性計測装置(IMU)を含んでいてもよく、シリンダの伸縮の度合いを検出するセンサ(例えばストロークセンサ)を含んでいてもよく、他のセンサを含んでいてもよい。
 傾斜検出器44Dは、慣性計測装置(IMU)を含んでいてもよい。傾斜検出器44Dは、GNSS(Global Navigation Satellite System)などの衛星測位システムを用いて取得される位置情報に基づいて上部旋回体51の傾斜を演算する装置を含んでいてもよい。この場合、傾斜検出器44Dは、複数のGNSSアンテナなどの複数のアンテナを含んでいてもよい。傾斜検出器44Dは、他のセンサを含んでいてもよい。
 旋回角度検出器44Eは、ポテンションメータを含んでいてもよい。旋回角度検出器44Eは、前記衛星測位システムを用いて取得される位置情報に基づいて上部旋回体51の相対角度はたは上部旋回体51の向きを演算する装置を含んでいてもよい。この場合、旋回角度検出器44Eは、複数のGNSSアンテナなどの複数のアンテナを含んでいてもよい。旋回角度検出器44Eは、他のセンサを含んでいてもよい。
 機械コントローラ41には、姿勢検出装置44が取得した姿勢情報が入力される。機械コントローラ41は、入力された姿勢情報を通信機器48、ネットワーク200および通信機器13を介して、作業支援装置10のコントローラ11に送信する。コントローラ11は、受信した姿勢情報を用いて作業機械40の姿勢を演算することができる。
 撮像装置43は、作業現場に関する画像である現場画像を取得する。作業現場には、容器80(荷台)を備える車両70が配置される。撮像装置43は、遠隔操作装置20を用いて作業機械40を遠隔操作するオペレータのために前記現場画像を撮像する装置である。撮像装置43は、例えば運転室51Aの内部に配置されていてもよく、運転室51Aの外部に配置されていてもよい。撮像装置43は、例えば標準的なオペレータの目線に近い位置に配置されていることが好ましい。
 作業機械40は、測距装置45を備えていてもよい。測距装置45は、作業現場に関する3次元データ(例えば点群データ)を取得し、取得した3次元データを機械コントローラ41に入力する。測距装置45は、作業現場に存在する地面、障害物、車両70などの物体の3次元データ(例えば点群データ)を取得するように構成される。具体例を挙げると次のとおりである。
 測距装置45は、レーザ光などの光の照射により物体までの距離に関する距離情報を取得する測距センサであってもよい。測距センサは、例えば、LiDAR(Light Detection and Ranging)であってもよい。また、測距装置45は、ステレオカメラであってもよく、トータルステーションであってもよく、3次元データを取得することができる他のセンサであってもよい。また、測距装置45は、これらの機器のうちの2つ以上の機器を組み合わせたものであってもよい。測距センサは、作業機械40の前記作業機械本体に取り付けられてもよく、作業機械40が配置されている作業現場に設置されてもよく、無線操縦可能な無人機(いわゆるドローン)に取り付けられてもよい。
 測距センサが作業現場に設置される場合または無人機に取り付けられる場合、測距センサにより測距された結果が、測距センサから有線通信または無線通信により機械コントローラ41に入力される。具体的には、例えば作業現場に設置されたトータルステーションが、容器80の所定の箇所と、作業機械40の作業装置52の所定の箇所を測距し、測距された結果がトータルステーションから機械コントローラ41に入力されてもよい。また、作業現場に設置されたLiDARもしくはステレオカメラ、または、無人機に取り付けられたLiDARもしくはステレオカメラが、作業機械40と容器80を含む測距範囲の3次元データを取得し、取得された3次元データがLiDARまたはステレオカメラから機械コントローラ41に入力されてもよい。
 なお、撮像装置43が現場画像を取得する機能と3次元データ(例えば点群データ)を取得する機能とを兼ね備えている場合には、作業機械40において測距装置45を省略可能である。また、遠隔操作装置20は、設定インターフェース29を備え、車両70の容器80の範囲が設定インターフェース29に入力されてもよい。この場合には、作業機械40において測距装置45を省略可能である。設定インターフェース29は、オペレータなどの作業関係者が行う入力操作に基づいて作業現場における容器80の範囲(例えば座標)を設定してもよい。作業関係者は、遠隔出力インターフェース(例えばディスプレイなどの表示装置23)を見ながら前記入力操作を行ってもよい。
 具体的には例えば、図4に示すように容器80が四角形である場合、コントローラ11は、四角形の4つのコーナーのうちの3つ以上のコーナーの位置を特定することにより、容器80の範囲を設定してもよい。コーナーの位置は、例えば、オペレータが操作レバー22を操作してバケット55の先端をコーナーに対応する位置に配置した状態で、オペレータが設定インターフェース29に対する操作(座標特定操作)を行うことで特定されてもよい。コントローラ11は、姿勢検出装置44から入力される姿勢情報に基づいてバケット55の先端の位置を演算することができる。また、コーナーの位置は、例えば作業関係者が遠隔操作装置20の設定インターフェース29に当該コーナーの座標を入力することで特定されてもよい。
 遠隔操作装置20は、作業機械40を遠隔操作するための装置である。遠隔操作装置20は、作業機械40を遠隔操作するための操作を受ける遠隔操作レバー22と、表示装置23と、座席28と、を備える。遠隔操作装置20は、作業機械40から離れた場所に配置され、作業機械40を遠隔操作するための装置である。
 表示装置23は、例えば図4に示すように、車両70の容器80(荷台)が配置される作業現場の現場画像を表示するディスプレイであってもよい。コントローラ11は、表示装置23に、例えば図6に示すように、車両70の容器80(荷台)が配置される作業現場の現場画像に指標画像G1を重ねて表示させる。図3に示すように、遠隔操作装置20は、表示装置23の他に、例えば第2表示装置25をさらに備えていてもよく、第3表示装置26をさらに備えていてもよい。また、遠隔操作装置20は、作業現場の音を出力するためのスピーカ27をさらに備えていてもよい。
 撮像装置43の位置、測距装置45の位置、容器80の範囲、作業機械40の位置(例えばバケット55の位置)などのように遠隔操作のための制御に必要な種々の位置のそれぞれは、撮像装置43を基準とする座標系(撮像装置座標系)における座標によって表される情報であってもよく、作業機械40を基準とする座標系(機械座標系)における座標によって表される情報であってもよく、作業現場の特定位置を基準とする座標系(現場座標系)における座標によって表される情報であってもよく、グローバル座標系における座標によって表される情報であってもよい。コントローラ11は、これらのうちの何れかの座標系における位置情報を他の座標系における位置情報に変換可能なように構成されていてもよい。
 以下の具体例では、コントローラ11は、測距装置45から入力される点群データを、予め規定される基準座標系における点群データに変換するように構成されている。また、コントローラ11は、撮像装置43から入力される現場画像のデータを、予め規定される基準座標系におけるデータに変換するように構成されていてもよい。前記基準座標系は、前記機械座標系であってもよく、前記現場座標系であってもよく、前記グローバル座標系であってもよく、他の座標系であってもよい。
 前記基準座標系の原点は、例えば作業機械40を基準とする特定位置に設定されていてもよい。具体的には、前記基準座標系の原点は、例えば、旋回軸上の何れかの位置であってもよい。より具体的には、前記基準座標系の原点は、旋回軸と地面の交点であってもよい。また、前記基準座標系の原点は、例えば、旋回軸上で、かつ、下部走行体50と上部旋回体51の間の位置であってもよい。
 本実施形態では、前記基準座標系は3次元の座標系である。この場合、前記基準座標系は、例えば、左右方向に平行なx軸と、前後方向に平行なy軸と、鉛直方向に平行なz軸とを用いて規定される直交座標系であってもよい。ただし、前記基準座標系は、上記の具体例に限られず、種々の態様を採用可能である。
 作業支援装置10のコントローラ11は、演算処理装置とメモリとを含むコンピュータを備える。コントローラ11は、指標画像G1を生成する画像処理機能などの種々の機能を備える。コントローラ11は、メモリに記憶されるプログラムを演算処理装置が実行することにより、前記種々の機能のそれぞれを実現する。
 コントローラ11は、測距装置45から入力される点群データに基づいて、車両70の容器80の範囲を判定してもよい。
 遠隔操作装置20の遠隔コントローラ21は、演算処理装置とメモリとを含むコンピュータを備える。遠隔コントローラ21は、表示装置23の動作などの遠隔操作装置20の動作を制御する。遠隔コントローラ21は、メモリに記憶されるプログラムを演算処理装置が実行することにより、種々の機能のそれぞれを実現する。
 作業機械40の機械コントローラ41は、演算処理装置とメモリとを含むコンピュータを備える。機械コントローラ41は、作業機械40の動作を制御する。機械コントローラ41は、前記姿勢情報および前記現場画像を作業支援装置10に出力する。機械コントローラ41は、メモリに記憶されるプログラムを演算処理装置が実行することにより、種々の機能のそれぞれを実現する。
 図16は、作業支援装置10のコントローラ11、遠隔操作装置20の遠隔コントローラ21、および作業機械40の機械コントローラ41が行う演算処理の一例を示すフローチャートである。
 遠隔操作装置20の遠隔コントローラ21は、遠隔操作装置20の入力インターフェースが指定操作を受けたか否かを判定する(図16においてステップS201)。前記指定操作は、例えば、作業機械40の遠隔操作を開始することを示す予め設定された操作であってもよい。前記指定操作は、オペレータが前記入力インターフェースに対して与える操作であってもよい。前記入力インターフェースが前記指定操作を受けた場合(ステップS201においてYES)、遠隔コントローラ21は、作業現場の現場画像を要求するための環境確認要求を作業機械40に送信する(ステップS202)。
 作業機械40の機械コントローラ41は、前記環境確認要求を受信すると(ステップC40)、撮像装置43が撮像する現場画像に関する情報、および、測距装置45が取得する3次元データに関する情報を取得し、取得した現場画像および3次元データを作業支援装置10に送信する(ステップS401)。機械コントローラ41は、姿勢検出装置44により検出される姿勢情報を取得し、取得した姿勢情報を作業支援装置10に送信する(ステップS402)。
 作業支援装置10のコントローラ11は、作業機械40から送信された前記現場画像および前記3次元データを受信する(ステップC11)。コントローラ11は、受信した前記現場画像に関する情報を遠隔操作装置20に送信する(ステップS101)。
 遠隔操作装置20の遠隔コントローラ21は、作業支援装置10のコントローラ11が送信した前記現場画像を受信する(ステップC21)。
 遠隔コントローラ21は、受信した前記現場画像が表示装置23に表示されるように表示装置23の動作を制御する(ステップS203)。すなわち、表示装置23は、例えば図4に示すように前記現場画像を表示する。
 作業支援装置10のコントローラ11は、作業機械40が送信した前記姿勢情報を受信する(ステップC12)。
 作業支援装置10のコントローラ11は、例えば測距装置45により取得された容器80の前記3次元データ(例えば点群データ)に基づいて容器80の範囲を認識する(ステップS102)。なお、データベース12が容器80の範囲に関する情報を記憶している場合には、コントローラ11は、データベース12から容器80の範囲に関する情報を読み込み、読み込んだ情報に基づいて容器80の範囲を特定してもよい(ステップS102)。
 コントローラ11は、姿勢検出装置44から入力される姿勢情報と前記容器の範囲とに基づいて、バケット55の前記所定の部分(先端部55aまたは前端部55b)が容器80に対応する位置にあるか否か(具体的には例えば、前記所定の部分が容器80の範囲内にあるか否か)を判定する(ステップS103)。
 コントローラ11は、バケット55の前記所定の部分が容器80に対応する位置にある場合には(ステップS103においてYES)、図7または図8に示すようにアタッチメントマーカーG3が仮想面画像G2に対応する位置に配置されるような画像を指標画像G1として生成する(ステップS105)。
 コントローラ11は、バケット55の前記所定の部分が容器80に対して前記前後方向または前記左右方向にずれた位置にある場合には(ステップS103においてNO)、図9に示すようにアタッチメントマーカーG3が仮想面画像G2に対して前記前後方向または前記左右方向にずれた位置に配置されるような画像を指標画像G1として生成する(ステップS104)。
 コントローラ11は、仮想面画像G2とアタッチメントマーカーG3とを含む指標画像G1を表示装置23に表示させるための指標画像表示指令を出力する(ステップS106)。
 遠隔操作装置20の遠隔コントローラ21は、作業支援装置10のコントローラ11が送信した前記指標画像表示指令を受信する(ステップC22)。
 遠隔操作装置20の遠隔コントローラ21は、受信した前記指標画像表示指令に応じて、表示装置23において、例えば図6に示すように車両70の容器80(荷台)が配置される作業現場の現場画像に指標画像G1を重ねて表示させる(ステップS204)。すなわち、表示装置23は、前記現場画像に前記指標画像表示指令に応じた指標画像G1を重ねて表示する。
 また、遠隔操作装置20の遠隔コントローラ21は、遠隔操作レバー22が受けるオペレータによる操作(遠隔操作)に対応する指令である遠隔操作指令を作業機械40に送信する(ステップS205)。
 作業機械40の機械コントローラ41は、遠隔操作装置20から送信された前記遠隔操作指令を受信すると(ステップC41)、前記遠隔操作指令に応じて作業装置52および/または上部旋回体51が動作するように制御対象を制御する(ステップS403)。前記制御対象は、例えば、ブームシリンダ56、アームシリンダ57、バケットシリンダ58、旋回モータ59、および、前記走行モータの動作を油圧制御するコントロールバルブを含んでいてもよい。この場合、機械コントローラ41は、前記遠隔操作指令に応じた指令を前記コントロールバルブに入力することにより、作業機械40に前記遠隔操作指令に応じた動作を行わせることができる。
 [変形例]
 以上、本開示の実施形態について説明したが、本開示は前記実施形態に限定されるものではなく、例えば以下のような変形例を含む。
 (A)アタッチメントマーカーについて
 前記実施形態では、アタッチメントマーカーG3は、頂点が下部に位置する円錐または三角錐の形状を有するが、例えば図17および図18に示すようにバケット55の真下において、バケット55の外形を仮想面画像G2上に投影したような形状を有していてもよい。
 また、図19に示すように、指標画像G1は、例えば仮想面画像G2などの前記容器範囲画像と、アタッチメントマーカーG3と、容器80に対する作業装置52の可動範囲の相対位置を表す仮想の画像である可動範囲画像と、を含んでいてもよい。図19に示すアタッチメントマーカーG3は、バケットの真下において、バケット55の外形を前記容器範囲画像上に投影した画像である。
 前記可動範囲画像は、例えば図19に示すように前方可動範囲マーカG8と、後方可動範囲マーカG9と、を含んでいてもよい。前方可動範囲マーカG8は、作業装置52の可動範囲のうちアタッチメントマーカーG3よりも前方においてバケット55の先端が届く範囲を前記容器範囲画像上に投影した画像である。後方可動範囲マーカG9は、作業装置52の可動範囲のうちアタッチメントマーカーG3よりも後方においてバケット55の先端が届く範囲を前記容器範囲画像上に投影した画像である。
 また、図20に示すように、作業支援装置10のコントローラ11は、バケット55における前記所定の部分が容器80に対応する位置にある場合には、アタッチメントマーカーG3がバケット55の真下において土砂90の表面に配置されるような画像を指標画像G1として生成してもよい。
 (B)遠隔操作装置について
 前記実施形態では、作業支援装置10と遠隔操作装置20が通信するためのネットワークとして、インターネットおよび携帯電話網を例示したが、作業支援装置10と遠隔操作装置20は、例えば、有線LAN(Local Area Network)、CAN(Controller Area Network)などのネットワークによって通信するよう構成されていてもよい。遠隔操作装置20と作業支援装置10とは、必ずしも互いに別の装置として構成されていなくてもよく、一体化されていてもよい。
 遠隔操作装置20は、作業支援装置10を備えていてもよい。この場合、遠隔操作装置20の遠隔コントローラ21は、前記実施形態において説明した遠隔操作装置20の遠隔コントローラ21の機能および作業支援装置10のコントローラ11の機能を兼ね備え、本開示におけるコントローラを構成する。具体的には、遠隔操作装置20の遠隔コントローラ21は、図16に示すフローチャートにおける遠隔コントローラ21による演算処理だけでなく、図16に示すフローチャートにおける作業支援装置10のコントローラ11による演算処理も行ってもよい。
 (C)解放エリア範囲画像について
 前記実施形態では、作業支援装置10のコントローラ11は、図6および図7に示す仮想開口領域画像G21または図11~図13に示す仮想底面画像G22を前記容器範囲画像として生成するが、これらに限られない。コントローラ11は、例えば図21に示すように、前記前後方向および左右方向における容器80の範囲を表す仮想面の画像であって土砂90の最上部を通る仮想面画像G2を前記容器範囲画像として生成してもよい。
 また、作業支援装置10のコントローラ11は、例えば図22に示すように、前記前後方向および前記左右方向における容器80の範囲を表す仮想枠の画像である仮想枠画像G5を前記容器範囲画像として生成してもよい。この変形例では、オペレータは、表示装置23に表示される仮想枠画像G5を含む指標画像G1により、容器80に対するバケット55の前後方向における相対位置だけでなく左右方向における相対位置も把握しやすくなる。従って、前記排土作業において、オペレータは、表示装置23に表示される指標画像G1を見ながら、容器80に対するバケット55の前後方向における相対位置と左右方向の相対位置を調節する操作を適切に行うことができる。具体的には次のとおりである。
 図22は、遠隔操作装置20の表示装置23に表示される表示画面のさらに他の例を示す図である。この変形例では、コントローラ11は、解放エリア範囲画像としての仮想枠画像G5と、アタッチメントマーカーG3と、を含む画像を指標画像G1として生成し、指標画像G1を表示装置23に表示させるための指標画像表示指令を出力し、これにより、表示装置23は、例えば図22に示すように前記指標画像表示指令に応じた画像を表示する。図22に示す画像は、容器80を真上から見たような図である。
 アタッチメントマーカーG3は、図22の左図(A)および中央図(B)のそれぞれに示すように、マーカーポイント画像G31と、補助線G32と、を含んでいてもよい。
 マーカーポイント画像G31は、容器80に対する先端アタッチメント55の相対位置を表す画像であり、バケット55における前記所定の部分(先端部55aまたは前端部55b)の真下の位置を表す画像であってもよい。補助線G32は、バケット55における前記所定の部分の真下の位置を通り且つ前後方向に平行な直線である前後直線と、バケット55における前記所定の部分の真下の位置を通り且つ左右方向に平行な直線である左右直線と、を含んでいてもよい。前後直線は、容器80の前端から容器80の後端まで延びる直線であり、左右直線は、容器80の左端から容器80の右端まで延びる直線であってもよい。また、アタッチメントマーカーG3は、図22の右図(C)に示すように、補助線G32を含む一方で、マーカーポイント画像G31を含んでいなくてもよい。
 図23は、遠隔操作装置20の表示装置23に表示される表示画面のさらに他の例を示す図である。この変形例では、コントローラ11は、解放エリア範囲画像としての仮想枠画像G5と、アタッチメントマーカーG3と、を含む画像を指標画像G1として生成し、指標画像G1を表示装置23に表示させるための指標画像表示指令を出力し、これにより、表示装置23は、例えば図23に示すように前記指標画像表示指令に応じた画像を表示する。
 アタッチメントマーカーG3は、補助線G32を含む。補助線G32は、バケット55における前記所定の部分の真下の位置を通り且つ前後方向に平行な直線である前後直線と、バケット55における前記所定の部分の真下の位置を通り且つ上部旋回体51の旋回中心を中心とする円弧と、を含んでいてもよい。前記円弧は、容器80の左端から容器80の右端まで延びる曲線であってもよい。
 図24は、遠隔操作装置20の表示装置23に表示される表示画面のさらに他の例を示す図である。この変形例では、コントローラ11は、解放エリア範囲画像としての仮想面画像G2または仮想枠画像G5と、アタッチメントマーカーG3と、を含む画像を指標画像G1として生成し、指標画像G1を表示装置23に表示させるための指標画像表示指令を出力し、これにより、表示装置23は、例えば図24における左図(A)に示すように前記指標画像表示指令に応じた画像を表示する。
 この変形例では、コントローラ11は、容器80の端部と作業装置52(例えばバケット55)との距離に基づいて表示装置23における指標画像G1の表示態様を変化させる。具体的には、コントローラ11は、容器80の端部と作業装置52との距離が所定の閾値Th以下になった場合、例えば図24における上図(B)、中央図(C)または下図(D)に示すように表示装置23における指標画像G1の表示態様を変化させてもよい。図24の具体例では、コントローラ11は、容器80の前端部と作業装置52(例えばバケット55)との距離に基づいて、表示態様の変化の要否を判定する。ただし、コントローラ11は、容器80の後端部、右側端部または左側端部と作業装置52との距離に基づいて、表示態様の変化の要否を判定してもよい。
 図24における上図(B)に示す具体例では、コントローラ11は、容器80の前端部と作業装置52のバケット55との距離が所定の閾値Th以下になった場合、指標画像G1のうち、仮想面画像G2または仮想枠画像G5の端部(例えば前端部G2A)の表示態様を変化させる。
 図24における中央図(C)に示す具体例では、コントローラ11は、容器80の前端部と作業装置52のバケット55との距離が所定の閾値Th以下になった場合、指標画像G1のうち、仮想面画像G2の全体の表示態様を変化させる、または、仮想枠画像G5の内部の表示態様を変化させる。
 図24における下図(D)に示す具体例では、コントローラ11は、容器80の前端部と作業装置52のバケット55との距離が所定の閾値Th以下になった場合、指標画像G1のうち、アタッチメントマーカーG3の表示態様を変化させる。 
 図24に示す変形例において、画像の表示態様の変化は、例えば、画像の色の変化であってもよく、画像の少なくとも一部を点滅させることであってもよい。
 ただし、表示態様の変化は、図24に示す具体例に限られない。
 図25は、遠隔操作装置20の表示装置23に表示される表示画面のさらに他の例を示す図である。図25の変形例においても、図22の左図(A)および中央図(B)と同様に、アタッチメントマーカーG3は、マーカーポイント画像G31と、補助線G32と、を含む。補助線G32は、バケット55における前記所定の部分の真下の位置を通り且つ前後方向に平行な直線である前後直線と、バケット55における前記所定の部分の真下の位置を通り且つ左右方向に平行な直線である左右直線と、を含む。前後直線および左右直線のそれぞれは、マーカーポイント画像G31の下端を通る位置に配置されてもよい。前後直線は、容器80の前端から容器80の後端まで延びる直線であり、左右直線は、容器80の左端から容器80の右端まで延びる直線であってもよい。
 この変形例では、コントローラ11は、車両運転室71の後壁72と作業装置52(例えばバケット55)との距離に基づいて表示装置23における運転室後壁画像G6の表示態様を変化させてもよく、車両運転室71の後壁72と作業装置52との距離が小さくなったことを報知するためのアラート表示を表示装置23に行わせてもよい。具体的には、コントローラ11は、車両運転室71の後壁72と作業装置52との距離が所定の閾値以下になった場合、表示装置23における運転室後壁画像G6の表示態様を変化させてもよく、前記アラート表示を表示装置23に行わせてもよい。
 運転室後壁画像G6の表示態様の変化は、例えば、運転室後壁画像G6の色の変化であってもよく、運転室後壁画像G6の少なくとも一部を点滅させることであってもよい。前記アラート表示は、例えば、文字を含んでいてもよく、目立ちやすい色のマークを含んでいてもよい。
 (D)作業支援装置について
 前記実施形態では、オペレータが遠隔操作装置20を用いて作業機械40を遠隔操作する場合を例示したが、本開示における作業支援装置10は、遠隔操作に限られず、オペレータが作業機械40に搭乗して操作レバー42を操作する場合に適用されてもよい。
 前記実施形態では、作業支援装置10のコントローラ11は、図16のステップS101において前記現場画像を遠隔操作装置20の遠隔コントローラ21に送信するが、例えばステップS106において前記指標画像表示指令を出力する際に前記現場画像を遠隔操作装置20の遠隔コントローラ21に送信してもよい。
 前記実施形態では、作業支援装置10のコントローラ11は、ステップS101において前記現場画像を遠隔操作装置20の遠隔コントローラ21に送信し、ステップS106において、遠隔操作装置20の遠隔コントローラ21に前記指標画像表示指令を送信し、遠隔操作装置20の遠隔コントローラ21は、受信した前記指標画像表示指令に基づいて車両70の容器80(荷台)が配置される作業現場の現場画像に指標画像G1が重なって表示されるように表示装置23を制御するが、必ずしも前記実施形態の態様に限られない。例えば、作業支援装置10のコントローラ11は、ステップ106において、前記現場画像と前記指標画像表示指令に応じた指標画像G1を生成し、さらに前記現場画像に前記指標画像G1を重畳した重畳画像を生成し、生成された前記重畳画像を遠隔操作装置20の遠隔コントローラ21へ送信し、遠隔操作装置20の遠隔コントローラ21は、受信した前記重畳画像を表示装置23に表示させてもよい。
 (E)シミュレータのための作業支援装置について
 前記実施形態では、オペレータが遠隔操作装置20を用いて実空間における作業現場に配置される現実の作業機械40を遠隔操作する場合を例示したが、本開示における作業支援装置は、仮想空間において構築された作業現場に配置される仮想の作業機械をオペレータが操作するように構成されるシミュレータに適用されてもよい。具体的には以下のとおりである。
 図26は、作業支援装置10が上記のようなシミュレータに適用された場合の作業支援システム300の一例を示すブロック図である。この作業支援システム300は、作業支援装置10と、遠隔操作装置20と、操作シミュレータ装置60と、を備える。
 操作シミュレータ装置60は、当該操作シミュレータ装置60が構築する仮想空間において、仮想の作業現場を配置し、当該作業現場に仮想の作業機械40Aを配置する。操作シミュレータ装置60は、仮想空間における作業現場および作業機械40Aについての画像を、遠隔操作装置20の表示装置23に表示させる。オペレータは、遠隔操作装置20の遠隔操作レバー22を操作することにより、仮想空間内の作業現場において作業機械40Aを動作させることができる。
 操作シミュレータ装置60は、コンピュータと通信機器とを備える。操作シミュレータ装置60のコンピュータは、仮想空間において作業機械40Aを動作させるための演算を行う。仮想空間は仮想の3次元空間であり、仮想空間内には、実空間における作業機械40を模擬した3次元モデルである作業機械40Aが配置される。仮想空間において構築される作業現場は、実空間における作業現場を模擬したものであり、例えば、3次元的にモデル化された地面を含み、当該地面は作業機械40Aによって掘削可能なように構成される。仮想空間における作業現場には、実空間における車両70を模擬した仮想の車両、すなわち3次元的にモデル化された車両(例えば土砂を積み込む荷台を備える車両)が配置されていてもよい。また、仮想空間における作業現場には、実空間の作業現場に存在する装置、機器などの物体を模擬した物体、すなわち3次元的にモデル化された物体が配置されていてもよい。操作シミュレータ装置60の通信機器は、ネットワーク200を介して作業支援装置10、遠隔操作装置20などの外部機器との間で相互に通信可能に構成されている。ネットワーク200は、インターネット、携帯電話網などのネットワークであってもよく、有線LAN、CANなどのネットワークであってもよい。操作シミュレータ装置60の通信機器は、前記外部機器から送信された情報を受信し、当該情報を操作シミュレータ装置60のコンピュータに入力する。操作シミュレータ装置60の通信機器は、そのコンピュータによる演算結果を前記外部機器へ送信してもよい。
 仮想空間において3次元的にモデル化された作業機械40Aは、図2に示す実空間における作業機械40の下部走行体50、上部旋回体51および作業装置52を模擬した構成要素を備える。操作シミュレータ装置60のコンピュータは、図1に示す実空間における作業機械40が備える操作レバー42、撮像装置43などの種々の構成要素の動作を仮想空間における作業機械40Aが模擬するように演算を行ってもよい。この場合、仮想空間における作業機械40Aは、実空間における作業機械40が受ける入力とこの入力に応じた出力とを模擬した動作を行う。例えば図26に示すように、仮想空間における作業機械40Aは、モデル化された種々の構成要素、すなわち、機械コントローラ41A、操作レバー42A、撮像装置43A、センサ群(姿勢検出装置44、測距装置45A)および通信機器48Aを備えていてもよい。
 具体的には、遠隔操作装置20の遠隔操作レバー22をオペレータが操作することによって、遠隔操作指令が遠隔操作装置20から操作シミュレータ装置60に送信され、操作シミュレータ装置60のコンピュータは、受信した遠隔操作指令に応じて、仮想空間における作業機械40Aの動作についての演算を行う。例えば、モデル化された撮像装置43Aは、仮想空間に構築される作業現場に関する画像を取得する。モデル化された測距装置45Aは、仮想空間に構築される作業現場に関する3次元データを取得する。モデル化された姿勢検出装置44は、作業機械40Aの姿勢に関する姿勢情報を取得する。これらのモデル化された撮像装置43Aおよびセンサ群のそれぞれにおいて、検出範囲、応答速度などの機器の動作特性、および、データの出力形式、出力電圧の範囲等の出力情報がモデル化されていてもよい。操作シミュレータ装置60のコンピュータは、モデル化された機械コントローラ41Aが前記動作特性および前記出力情報を、モデル化された通信機器48Aを介して外部機器に送信することを模擬するための演算を行ってもよい。操作シミュレータ装置60の通信機器は、演算結果をネットワーク200を通して作業支援装置10および遠隔操作装置20の少なくとも一方に送信してもよい。
 図26に示す作業支援システム300の作業支援装置10および遠隔操作装置20は、図1に示す作業支援システム100の作業支援装置10および遠隔操作装置20と同様である。図26に示す作業支援システム300では、操作シミュレータ装置60のコンピュータは、当該操作シミュレータ装置60において構築された仮想空間における作業現場および作業機械40Aの動作についての情報を作業支援装置10に送信し、作業支援装置10のコントローラ11は、受信した情報に基づいて、仮想面画像G2などの解放エリア範囲画像とアタッチメントマーカーG3とを含む指標画像G1を、例えば図6~図15に示すように遠隔操作装置20の表示装置23に表示させる。
 操作シミュレータ装置60を備える作業支援システム300では、オペレータは、表示装置23に表示される指標画像G1を見ながら、仮想空間に存在する容器などの解放エリアに対するバケットの相対位置を調節する操作を適切に行うことができる。
 図26に示す具体例では、作業支援システム300は、操作シミュレータ装置60、作業支援装置10および遠隔操作装置20がネットワーク200を介して相互に通信するように構成されているが、シミュレータのための作業支援システムは、図26に示す具体例に限られない。シミュレータのための作業支援システムでは、作業支援装置10は、操作シミュレータ装置60に搭載されていてもよく、遠隔操作装置20に搭載されていてもよい。また、操作シミュレータ装置60が操作レバーおよび表示装置を備える場合には、作業支援システムにおいて遠隔操作装置20は省略可能である。また、図26に示す具体例では、操作シミュレータ装置60、作業支援装置10および遠隔操作装置20は、別々の装置として構成されているが、一体の装置として構成されていてもよい。
 (F)作業機械について
 本実施形態に係る作業機械40はショベルであるが、本開示における作業機械は、ショベルに限られず、クレーン、ブルドーザなどの他の作業機械であってもよい。
 前記実施形態では、作業支援装置10と作業機械40が通信するためのネットワークとして、インターネットおよび携帯電話網を例示したが、作業支援装置10と作業機械40は、例えば、有線LAN(Local Area Network)、CAN(Controller Area Network)などのネットワークによって通信するよう構成されていてもよい。作業支援装置10は、作業機械40に搭載されていてもよい。
 作業機械40は、作業支援装置10を備えていてもよい。この場合、作業機械40の機械コントローラ41は、前記実施形態において説明した作業機械40の機械コントローラ41の機能および作業支援装置10のコントローラ11の機能を兼ね備えていてもよい。具体的には、作業機械40の機械コントローラ41は、図16に示すフローチャートにおける機械コントローラ41による演算処理だけでなく、図16に示すフローチャートにおける作業支援装置10のコントローラ11による演算処理も行ってもよい。
 (G)本開示は、次の変形例に係るプログラムを含む。この変形例に係るプログラムは、作業機械40のバケット55に保持される土砂90をバケット55から解放して作業機械40の前方に配置される容器80に土砂90を入れる作業を支援するためのプログラムであって、少なくとも前後方向における容器80の範囲を表す指標となる仮想の画像である容器範囲画像と容器80に対するバケット55の相対位置を表す仮想の画像であるアタッチメントマーカーG3とを含む指標画像G1を表示装置23に表示させる機能をコンピュータに実現させる。このプログラムは、通信手段(例えばインターネットなどのネットワーク)を通じて提供されてもよく、種々の記録媒体(例えば、一時的でない有形の記録媒体)に格納して提供されてもよい。
 (H)本開示は、次の変形例に係る作業支援方法を含む。この変形例に係る作業支援方法は、作業機械40のバケット55に保持される土砂90をバケット55から解放して作業機械40の前方に配置される容器80に土砂90を入れる作業を支援するための方法であって、少なくとも前後方向における容器80の範囲を表す指標となる仮想の画像である容器範囲画像と容器80に対するバケット55の相対位置を表す仮想の画像であるアタッチメントマーカーG3とを含む指標画像G1を表示装置23に表示させることを含む。
 以上説明したように、本開示によれば、容器などの解放エリアに対する先端アタッチメントの前後方向における相対位置をオペレータが把握することを支援できる技術が提供される。本開示は、以下の第1から第15の態様を含む。
 第1の態様に係る作業支援装置は、作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するための装置であり、前記作業支援装置は、少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させるコントローラを備える。
 この第1の態様に係る作業支援装置では、前記コントローラが前記解放エリア範囲画像と前記アタッチメントマーカーとを含む前記指標画像を前記表示装置に表示させるので、オペレータは、前記表示装置に表示される前記指標画像により、前記解放エリアに対する前記先端アタッチメントの前後方向における相対位置を把握しやすくなる。従って、前記先端アタッチメントから前記対象物を解放して前記解放エリアに当該対象物を配置する作業(解放作業)において、オペレータは、前記表示装置に表示される前記指標画像を見ながら、前記解放エリアに対する前記先端アタッチメントの前後方向における相対位置を調節する操作を適切に行うことができる。
 第2の態様に係る作業支援装置は、第1の態様に係る作業支援装置においてさらに次の構成を備えることが好ましい。すなわち、第2の態様に係る作業支援装置では、前記コントローラは、前記前後方向および左右方向における前記解放エリアの範囲を表す仮想面の画像である仮想面画像または前記前後方向および前記左右方向における前記解放エリアの範囲を表す仮想枠の画像である仮想枠画像を前記解放エリア範囲画像として生成することが好ましい。この第2の態様では、オペレータは、前記表示装置に表示される前記仮想面画像または前記仮想枠画像を含む前記指標画像により、前記解放エリアに対する前記先端アタッチメントの前後方向における相対位置だけでなく左右方向における相対位置も把握しやすくなる。従って、前記解放作業において、オペレータは、前記表示装置に表示される前記指標画像を見ながら、前記解放エリアに対する前記先端アタッチメントの前後方向における相対位置と左右方向の相対位置を調節する操作を適切に行うことができる。
 第3の態様に係る作業支援装置は、第1の態様に係る作業支援装置においてさらに次の構成を備えることが好ましい。すなわち、第3の態様に係る作業支援装置では、前記解放エリアは、前記作業機械の前方に配置される容器であり、前記コントローラは、前記容器の開口部に対応する領域を表す仮想面の画像である仮想面画像(仮想開口領域画像)または前記容器の底面に対応する領域を表す仮想面の画像である仮想面画像(仮想底面画像)を前記解放エリア範囲画像として生成することが好ましい。この第3の態様では、オペレータは、前記表示装置に表示される前記仮想開口領域画像または前記仮想底面画像を含む前記指標画像により、前記容器の前記開口部または前記容器の前記底面に対する前記先端アタッチメントの前後方向における相対位置と左右方向における相対位置を把握しやすくなる。従って、前記解放作業において、オペレータは、前記表示装置に表示される前記指標画像を見ながら、前記容器に対する前記先端アタッチメントの前後方向における相対位置と左右方向の相対位置を調節する操作を適切に行うことができる。
 第4の態様に係る作業支援装置は、第2または第3の態様に係る作業支援装置においてさらに次の構成を備えることが好ましい。すなわち、第4の態様に係る作業支援装置では、前記コントローラは、前記先端アタッチメントにおける所定の部分が前記解放エリアに対応する位置にある場合には、前記アタッチメントマーカーが前記仮想面画像に対応する位置に配置されるような画像を前記指標画像として生成することが好ましい。具体的には例えば、前記コントローラは、前記先端アタッチメントにおける前記所定の部分が前記解放エリアの内部または前記解放エリアの真上にある場合には、前記アタッチメントマーカーが前記先端アタッチメントの真下の位置であって前記仮想面画像上の位置に配置されるような画像を前記指標画像として生成してもよく、前記アタッチメントマーカーが前記先端アタッチメントの真下の位置であって前記仮想面画像に対して上方に離れた位置に配置されるような画像を前記指標画像として生成してもよい。なお、前記所定の部分が前記解放エリアに対応する位置にある場合とは、前記所定の部分が前記解放エリア上にある場合のことであってもよく、前記所定の部分が前記解放エリアの真上(前記解放エリアから上方に離れた位置)にある場合のことであってもよい。
 第5の態様に係る作業支援装置は、第4の態様に係る作業支援装置においてさらに次の構成を備えることが好ましい。すなわち、第5の態様に係る作業支援装置では、前記コントローラは、前記所定の部分が前記解放エリアに対して前記前後方向または前記左右方向にずれた位置にある場合には、前記アタッチメントマーカーが前記仮想面画像に対して前記前後方向または前記左右方向にずれた位置に配置されるような画像を前記指標画像として生成することが好ましい。具体的には例えば、前記コントローラは、前記所定の部分が前記解放エリアに対して前記前後方向または前記左右方向にずれた位置にある場合には前記アタッチメントマーカーが前記解放エリアの周辺の地面に対応する位置に配置されるような画像を前記指標画像として生成してもよい。
 第6の態様に係る作業支援装置は、第2から第5の態様の何れか一つに係る作業支援装置においてさらに次の構成を備えていてもよい。すなわち、第6の態様に係る作業支援装置では、前記解放エリアは、前記作業機械の前方に配置される容器であり、前記コントローラは、前記容器に入っている前記対象物の一部分が前記仮想面画像の高さよりも上方に位置する場合には、前記仮想面画像において前記対象物の前記一部分に対応する領域が省かれるような画像を前記指標画像として生成してもよい。この第6の態様では、前記対象物の前記一部分と前記仮想面画像とが重ならないので、オペレータは、前記容器内における前記対象物の位置、前記対象物の偏りなどの前記対象物の状況を把握しやすくなる。
 第7の態様に係る作業支援装置は、第1から第6の態様の何れか一つに係る作業支援装置においてさらに次の構成を備えていてもよい。すなわち、第7の態様に係る作業支援装置では、前記解放エリアは、前記作業機械の前方に配置される容器であり、前記コントローラは、前記容器の底面に対応する領域を表す仮想面の画像である仮想面画像(仮想底面画像)を前記解放エリア範囲画像として生成し、前記アタッチメントマーカーが前記先端アタッチメントの真下の位置であって前記仮想面画像上の位置または前記仮想面画像から上方に離れた位置に配置されるような画像を前記指標画像として生成してもよい。この第7の態様では、前記表示装置において前記アタッチメントマーカーが前記先端アタッチメントの真下の位置で且つ前記仮想底面画像に対応する位置(前記仮想底面画像上の位置または前記仮想底面画像から上方に離れた位置)に表示されるので、前記解放作業において、オペレータは、前記容器に対する前記先端アタッチメントの前後方向における相対位置と左右方向における相対位置を把握しやすくなる。
 第8の態様に係る作業支援装置は、第7の態様に係る作業支援装置においてさらに次の構成を備えることが好ましい。すなわち、第8の態様に係る作業支援装置では、前記アタッチメントマーカーは、前記先端アタッチメントの真下の位置であって前記仮想面画像から上方に離れた位置に配置される第1のアタッチメントマーカーであり、前記コントローラは、前記解放エリア範囲画像と、前記第1のアタッチメントマーカーと、前記先端アタッチメントの真下の位置であって前記仮想面画像上の位置に配置される仮想の画像である第2のアタッチメントマーカーと、を含む画像を前記指標画像として生成することが好ましい。この第8の態様では、前記表示装置において前記第1のアタッチメントマーカーが前記仮想底面画像から上方に離れた位置に配置されるとともに前記第2のアタッチメントマーカーが前記仮想底面画像上の位置に配置されるので、前記解放作業において、オペレータは、前記容器の前記底面に対する前記先端アタッチメントの前後方向における相対位置と左右方向における相対位置をさらに把握しやすくなる。
 第9の態様に係る作業支援装置は、第1から第8の態様の何れか一つに係る作業支援装置においてさらに次の構成を備えていてもよい。すなわち、第9の態様に係る作業支援装置では、前記解放エリアは、前記対象物を運搬する車両の荷台であり、前記車両は、車両運転室を有し、前記コントローラは、前記解放エリア範囲画像と、前記アタッチメントマーカーと、前記車両運転室の後壁に対応する領域を表す仮想の画像である運転室後壁画像と、を含む画像を前記指標画像として生成してもよい。この第9の態様では、前記解放作業において、オペレータは、前記解放エリアに対する前記先端アタッチメントの相対位置だけでなく、前記車両運転室の前記後壁に対する前記先端アタッチメントの相対位置も把握しやすくなる。この第9の態様では、前記運転室後壁画像は、前記解放エリア範囲画像とは異なる表示態様で前記表示装置に表示されることがより好ましく、この場合、前記解放作業において、オペレータは、前記解放エリアとしての前記荷台と前記車両運転室の後壁とを見分けやすくなる。
 第10の態様に係る作業支援システムは、第1から第9の態様の何れか一つに係る作業支援装置と、前記作業機械と、前記表示装置を有し、前記作業機械を遠隔操作するための遠隔操作装置と、を備える。
 第11の態様に係る作業機械は、作業機械本体と、前記作業機械本体の姿勢に関する姿勢情報を取得する姿勢検出装置と、前記解放エリアが存在する作業現場に関する画像である現場画像を取得する撮像装置と、前記姿勢情報および前記現場画像を第1から第9の態様の何れか一つに係る作業支援装置に出力する機械コントローラと、を備える。
 第12の態様に係る遠隔操作装置は、前記作業機械を遠隔操作するための操作を受ける遠隔操作レバーと、第1から第9の態様の何れか一つに係る作業支援装置が出力する指令(指標画像表示指令)に応じて前記解放エリア範囲画像と前記アタッチメントマーカーとを含む前記指標画像を表示する前記表示装置と、を備える。
 第13の態様に係る遠隔操作装置は、第12の態様に係る遠隔操作装置においてさらに次の構成を備えることが好ましい。すなわち、第13の態様に係る遠隔操作装置では、前記コントローラは、前記表示装置に、前記解放エリアが存在する作業現場の現場画像に前記指標画像を重ねて表示させることが好ましい。
 第14の態様に係るプログラムは、作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するためのプログラムであって、少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させる機能をコンピュータに実現させる。
 第15の態様に係る作業支援方法は、作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するための方法であって、少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させることを含む。

Claims (15)

  1.  作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するための作業支援装置であって、
     少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させるコントローラを備える作業支援装置。
  2.  前記コントローラは、前記前後方向および左右方向における前記解放エリアの範囲を表す仮想面の画像である仮想面画像または前記前後方向および前記左右方向における前記解放エリアの範囲を表す仮想枠の画像である仮想枠画像を前記解放エリア範囲画像として生成する、請求項1に記載の作業支援装置。
  3.  前記解放エリアは、前記作業機械の前方に配置される容器であり、
     前記コントローラは、前記容器の開口部に対応する領域を表す仮想面の画像である仮想面画像または前記容器の底面に対応する領域を表す仮想面の画像である仮想面画像を前記解放エリア範囲画像として生成する、請求項1に記載の作業支援装置。
  4.  前記コントローラは、前記先端アタッチメントにおける所定の部分が前記解放エリアに対応する位置にある場合には、前記アタッチメントマーカーが前記仮想面画像に対応する位置に配置されるような画像を前記指標画像として生成する、請求項2または3に記載の作業支援装置。
  5.  前記コントローラは、前記所定の部分が前記解放エリアに対して前記前後方向または左右方向にずれた位置にある場合には、前記アタッチメントマーカーが前記仮想面画像に対して前記前後方向または前記左右方向にずれた位置に配置されるような画像を前記指標画像として生成する、請求項4に記載の作業支援装置。
  6.  前記解放エリアは、前記作業機械の前方に配置される容器であり、
     前記コントローラは、前記容器に入っている前記対象物の一部分が前記仮想面画像の高さよりも上方に位置する場合には、前記仮想面画像において前記対象物の前記一部分に対応する領域が省かれるような画像を前記指標画像として生成する、請求項2から5の何れか1項に記載の作業支援装置。
  7.  前記解放エリアは、前記作業機械の前方に配置される容器であり、
     前記コントローラは、
     前記容器の底面に対応する領域を表す仮想面の画像である仮想面画像を前記解放エリア範囲画像として生成し、
     前記アタッチメントマーカーが前記先端アタッチメントの真下の位置であって前記仮想面画像上の位置または前記仮想面画像から上方に離れた位置に配置されるような画像を前記指標画像として生成する、請求項1から6の何れか1項に記載の作業支援装置。
  8.  前記アタッチメントマーカーは、前記先端アタッチメントの真下の位置であって前記仮想面画像から上方に離れた位置に配置される第1のアタッチメントマーカーであり、
     前記コントローラは、前記解放エリア範囲画像と、前記第1のアタッチメントマーカーと、前記先端アタッチメントの真下の位置であって前記仮想面画像上の位置に配置される仮想の画像である第2のアタッチメントマーカーと、を含む画像を前記指標画像として生成する、請求項7に記載の作業支援装置。
  9.  前記解放エリアは、前記対象物を運搬する車両の荷台であり、
     前記車両は、車両運転室を有し、
     前記コントローラは、前記解放エリア範囲画像と、前記アタッチメントマーカーと、前記車両運転室の後壁に対応する領域を表す仮想の画像である運転室後壁画像と、を含む画像を前記指標画像として生成する、請求項1から8の何れか1項に記載の作業支援装置。
  10.  請求項1から9の何れか1項に記載の作業支援装置と、
     前記作業機械と、
     前記表示装置を有し、前記作業機械を遠隔操作するための遠隔操作装置と、を備える作業支援システム。
  11.  作業機械本体と、
     前記作業機械本体の姿勢に関する姿勢情報を取得する姿勢検出装置と、
     前記解放エリアが存在する作業現場に関する画像である現場画像を取得する撮像装置と、
     前記姿勢情報および前記現場画像を請求項1から9の何れか1項に記載の作業支援装置に出力する機械コントローラと、を備える作業機械。
  12.  前記作業機械を遠隔操作するための操作を受ける遠隔操作レバーと、
     請求項1から9の何れか1項に記載の作業支援装置が出力する指令に応じて前記解放エリア範囲画像と前記アタッチメントマーカーとを含む前記指標画像を表示する前記表示装置と、を備える遠隔操作装置。
  13.  前記コントローラは、前記表示装置に、前記解放エリアが存在する作業現場の現場画像に前記指標画像を重ねて表示させる、請求項12に記載の遠隔操作装置。
  14.  作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するためのプログラムであって、
     少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させる機能をコンピュータに実現させるためのプログラム。
  15.  作業機械の先端アタッチメントに保持される対象物を前記先端アタッチメントから解放して前記作業機械の前方に存在する解放エリアに前記対象物を配置する作業を支援するための作業支援方法であって、
     少なくとも前後方向における前記解放エリアの範囲を表す指標となる仮想の画像である解放エリア範囲画像と前記解放エリアに対する前記先端アタッチメントの相対位置を表す仮想の画像であるアタッチメントマーカーとを含む指標画像を表示装置に表示させることを含む作業支援方法。
PCT/JP2025/021537 2024-07-03 2025-06-13 作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法 Pending WO2026009683A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024107461A JP2026007523A (ja) 2024-07-03 2024-07-03 作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法
JP2024-107461 2024-07-03

Publications (1)

Publication Number Publication Date
WO2026009683A1 true WO2026009683A1 (ja) 2026-01-08

Family

ID=98318459

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/021537 Pending WO2026009683A1 (ja) 2024-07-03 2025-06-13 作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法

Country Status (2)

Country Link
JP (1) JP2026007523A (ja)
WO (1) WO2026009683A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016160741A (ja) * 2015-03-05 2016-09-05 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP2021103193A (ja) * 2019-12-24 2021-07-15 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JP2021155937A (ja) * 2020-03-25 2021-10-07 住友建機株式会社 施工支援システム
JP2024057361A (ja) * 2022-10-12 2024-04-24 コベルコ建機株式会社 作業支援装置および作業支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016160741A (ja) * 2015-03-05 2016-09-05 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP2021103193A (ja) * 2019-12-24 2021-07-15 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
JP2021155937A (ja) * 2020-03-25 2021-10-07 住友建機株式会社 施工支援システム
JP2024057361A (ja) * 2022-10-12 2024-04-24 コベルコ建機株式会社 作業支援装置および作業支援方法

Also Published As

Publication number Publication date
JP2026007523A (ja) 2026-01-16

Similar Documents

Publication Publication Date Title
US11650564B2 (en) Method and device for planning and/or controlling and/or simulating the operation of a construction machine
JP7358349B2 (ja) 掘削機、情報処理装置
CA3029812C (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
JP2020117982A (ja) 作業機械
CN111386369A (zh) 工程机械
CN116745489A (zh) 挖掘机、信息处理装置
WO2023136326A1 (ja) 作業機械
JP2024018270A (ja) 作業支援システム、作業機械、投影装置、制御装置
JP7636598B2 (ja) 表示制御装置及び表示方法
JP7820082B2 (ja) 情報提示システム
JP2022154674A (ja) ショベル
JP7390991B2 (ja) 作業機械および施工支援システム
US20250215663A1 (en) Excavator, display apparatus, and remote operation assistance apparatus
WO2022209434A1 (ja) 施工管理システム、データ処理装置、及び施工管理方法
WO2026009683A1 (ja) 作業支援装置、作業支援システム、作業機械、遠隔操作装置、プログラムおよび作業支援方法
JP2025061351A (ja) クレーンの検査システム
JP2025037396A (ja) 作業機械
JP7593213B2 (ja) アウトリガ装置の設置位置表示システム及び作業車両
JP7536580B2 (ja) 表示制御装置及び表示方法
WO2022201735A1 (ja) 情報提示装置
WO2025052859A1 (ja) 作業支援システムおよび作業支援方法
US12618226B2 (en) Display device for shovel, shovel, and assist device for shovel
US20240018750A1 (en) Display device for shovel, shovel, and assist device for shovel
WO2025192005A1 (ja) 作業機械制御装置、作業機械、外部装置、作業機械システムおよび作業性改善方法
JP2025094443A (ja) 作業機械の支援装置、飛行経路の作成方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25832764

Country of ref document: EP

Kind code of ref document: A1