WO2020241640A1 - 表示システムおよび表示方法 - Google Patents

表示システムおよび表示方法 Download PDF

Info

Publication number
WO2020241640A1
WO2020241640A1 PCT/JP2020/020749 JP2020020749W WO2020241640A1 WO 2020241640 A1 WO2020241640 A1 WO 2020241640A1 JP 2020020749 W JP2020020749 W JP 2020020749W WO 2020241640 A1 WO2020241640 A1 WO 2020241640A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
display
reference image
bulldozer
Prior art date
Application number
PCT/JP2020/020749
Other languages
English (en)
French (fr)
Inventor
和久 高濱
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to AU2020283021A priority Critical patent/AU2020283021B2/en
Priority to CA3137813A priority patent/CA3137813A1/en
Priority to US17/605,272 priority patent/US11908076B2/en
Publication of WO2020241640A1 publication Critical patent/WO2020241640A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7609—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers
    • E02F3/7618—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers with the scraper blade adjustable relative to the pivoting arms about a horizontal axis
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2221—Control of flow rate; Load sensing arrangements
    • E02F9/2225—Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228—Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the present invention relates to a display system and a display method.
  • the present application claims priority with respect to Japanese Patent Application No. 2019-103166 filed in Japan on May 31, 2019, the contents of which are incorporated herein by reference.
  • Patent Document 1 describes an example of an image display system for solving such a problem.
  • the image display system described in Patent Document 1 includes an imaging device attached to a work machine provided with a work machine having a work tool, an attitude detection device for detecting the posture of the work machine, and a work target of the work machine.
  • the processing device includes a processing device that generates an image of a portion corresponding to the work tool on the work object facing the work tool, synthesizes the image of the work target captured by the image pickup device, and displays the image on the display device. According to the image display system described in Patent Document 1, it is possible to suppress a decrease in work efficiency when working with a work machine equipped with a work machine having a work tool.
  • the processing apparatus generates a line image along the surface of the work target by using the information on the position of the work target, and synthesizes the line image with the image of the work target. Display on the display device. Since the line image is displayed along the shape of the terrain (work target) to be worked on, it is easy to grasp the sense of distance on the terrain surface and the sense of perspective.
  • Patent Document 2 describes a configuration in which a color is assigned to an altitude value and a color elevation map expressed by a gradation color in which the color changes according to the altitude value is created. According to the configuration described in Patent Document 2, the line image can be colored with a gradation color according to the altitude.
  • FIG. 21 is a schematic view showing an example in which the slope 401 to be run or worked by the work machine 400 is color-coded according to the altitude.
  • a change in shading density indicates a change in color scheme.
  • the color scheme is changed according to the altitude, if the altitude difference in the target range is large, there is a problem that all the small irregularities may have the same color.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a display system and a display method capable of solving the above problems.
  • one aspect of the present invention is an acquisition unit that acquires three-dimensional data of a plurality of measurement points measured by a distance detection device mounted on a work machine, and the work machine obtains the three-dimensional data.
  • a conversion unit that converts to the vehicle body coordinate system specified in association with the vehicle body, and an image generation unit that generates a reference image representing the three-dimensional shape of the terrain based on the three-dimensional data converted to the vehicle body coordinate system.
  • a display processing unit that superimposes and displays the reference image on the image captured by the imaging device is provided, and the image generation unit is set at the distance of each measurement point in the normal direction to the ground plane of the work machine.
  • it is a display system of a working machine that determines a display form of the reference image at a position corresponding to the measurement point of the reference image.
  • the display mode of the object on which the work machine is traveling or working can be changed according to the distance in the normal direction with respect to the ground plane of the work machine. Therefore, for example, unevenness existing on a slope or the like can be changed.
  • the display mode can be different from the surrounding display mode.
  • FIG. 1 is a diagram showing an image display system of a work machine and a remote control system of the work machine according to the embodiment.
  • FIG. 2 is a side view schematically showing a bulldozer which is a work machine according to an embodiment.
  • FIG. 3 is a diagram showing a control system of a bulldozer, which is a work machine according to an embodiment.
  • FIG. 4 is a block diagram showing a functional configuration example of the processing unit 51P shown in FIG.
  • FIG. 5 is a diagram for explaining a coordinate system in the image display system and the remote control system according to the embodiment.
  • FIG. 6 is a rear view schematically showing a bulldozer.
  • FIG. 7 is a diagram illustrating a coordinate system of the image pickup device and the distance detection device.
  • FIG. 8 is a flowchart of a control example executed by the image display system and the remote control system.
  • FIG. 9 is a diagram for explaining the process shown in FIG.
  • FIG. 10 is a diagram for explaining the process shown in FIG.
  • FIG. 11 is a diagram showing an image pickup device, a distance detection device, and a work target.
  • FIG. 12 is a diagram illustrating an occupied area.
  • FIG. 13 is a diagram showing information on the shape of the work target with the occupied area removed.
  • FIG. 14 is a diagram for explaining an image showing the position of the blade on the work target.
  • FIG. 15 is a diagram for explaining an image showing the position of the blade on the work target.
  • FIG. 16 is a diagram for explaining an image showing the position of the blade on the work target.
  • FIG. 9 is a diagram for explaining the process shown in FIG.
  • FIG. 10 is a diagram for explaining the process shown in FIG.
  • FIG. 11 is a diagram showing an image pickup device, a distance detection device
  • FIG. 17 is a diagram showing a grid image which is a reference image.
  • FIG. 18 is a diagram showing a grid image which is a reference image.
  • FIG. 19 is a diagram showing a working image.
  • FIG. 20 is a diagram showing a working image.
  • FIG. 21 is a diagram for explaining the subject of the present invention.
  • FIG. 1 is a diagram showing an image display system 100 (display system) of a work machine and a remote control system 101 of a work machine according to an embodiment.
  • the image display system 100 of the work machine (hereinafter, appropriately referred to as the image display system 100) is a work target of the bulldozer 1100, more specifically, the bulldozer 1100 when the operator remotely operates the bulldozer 1100 which is a work machine.
  • the topographical surface that is the target of work by the work machine 1130, that is, the work target WA and the blade 1132 that is a work tool is imaged by the image pickup device 19, and the obtained image is displayed on the display device 52.
  • the image display system 100 includes, for example, an image 68 of the work target WA captured by the image pickup apparatus 19, a grid image 65, and an image 60 for showing the position of the blade 1132 on the work target WA.
  • the working image 69 is displayed on the display device 52.
  • the grid image 65 is an aspect of "an image representing a three-dimensional shape of a terrain surface (terrain)" (hereinafter, also referred to as a "reference image").
  • the reference image can be constructed by using, for example, a plurality of point images, a plurality of line images, a grid image composed of a plurality of line images, and the like.
  • the image display system 100 includes an image pickup device 19, a posture detection device 32, a distance detection device 20, and a processing device 51.
  • the remote control system 101 of the work machine processes the image pickup device 19, the posture detection device 32, the distance detection device 20, the work machine control device 27, and the display device 52.
  • the device 51 and the operating device 53 are included.
  • the image pickup device 19, the posture detection device 32, and the distance detection device 20 of the image display system 100 are provided in the bulldozer 1100, and the processing device 51 is provided in the facility 50.
  • the facility 50 is a facility for remotely controlling the bulldozer 1100 and managing the bulldozer 1100.
  • the image pickup device 19, the attitude detection device 32, the distance detection device 20, and the work equipment control device 27 of the remote control system 101 are provided in the bulldozer 1100, and the display device 52, the processing device 51, and the operation device 53 are in the facility 50. Provided.
  • the processing device 51 of the image display system 100 includes a processing unit 51P, a storage unit 51M, and an input / output unit 51IO.
  • the processing unit 51P is, for example, a processor such as a CPU (Central Processing Unit).
  • the storage unit 51M is, for example, a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a hard disk drive, a storage device, or a combination thereof.
  • the input / output unit 51IO is an interface circuit for connecting the processing device 51 and an external device.
  • a display device 52, an operation device 53, and a communication device 54 are connected to the input / output unit 51IO as external devices.
  • the external device connected to the input / output unit 51IO is not limited to these.
  • the processing device 51 includes information on the position of the blade 1132, which is a work tool obtained by using the posture of the work machine 1130, and information on the position of the work target WA obtained from the information on the distance obtained by the distance detection device 20.
  • the lattice image 65 which is a reference image
  • the image 60 of the portion corresponding to the blade 1132 on the work target WA facing the blade 1132 are generated with reference to the image pickup apparatus 19.
  • the processing device 51 synthesizes the generated images 65 and 60 and the image 68 of the work target WA imaged by the image pickup device 19 and displays them on the display device 52.
  • the work target WA is a surface on which the work machine 1130 of the bulldozer 1100 is to perform work such as excavation or leveling.
  • the display of the image 60 can be omitted.
  • the display device 52 examples include a liquid crystal display or a projector, but the display device 52 is not limited thereto.
  • the communication device 54 includes an antenna 54A. The communication device 54 communicates with the communication device 25 provided in the bulldozer 1100 to acquire information on the bulldozer 1100 or transmit information to the bulldozer 1100.
  • the operating device 53 includes a left operating lever 53L installed on the left side of the operator, a right operating lever 53R arranged on the right side of the operator, and a brake pedal and a decel pedal (not shown).
  • the right operating lever 53R is operated to set the movement amount of the raising operation or the lowering operation of the blade 1132.
  • the right operating lever 53R accepts a lowering operation when tilted forward, and accepts a raising operation when tilted backward.
  • the left operating lever 53L is operated to set the traveling direction of the traveling device 1120.
  • the left operating lever 53L accepts a forward operation when tilted forward, and accepts a reverse operation when tilted backward.
  • the left operation lever 53L accepts a left turn operation by being tilted to the left, and receives a right turn operation by being tilted to the right.
  • a brake pedal (not shown) is operated to brake the traveling device 1120.
  • the deceleration pedal (not shown) is operated to reduce the rotation speed of the traveling device 1120.
  • the operating amount of the left operating lever 53L and the right operating lever 53R is detected by, for example, a potentiometer, a Hall IC, or the like, and the processing device 51 generates a control signal for controlling the electromagnetic control valve based on these detected values. ..
  • This signal is sent to the work equipment control device 27 via the communication device 54 of the facility 50 and the communication device 25 of the bulldozer 1100.
  • the work equipment control device 27 controls the work equipment 1130 by controlling the electromagnetic control valve based on the control signal.
  • the electromagnetic control valve will be described later.
  • the processing device 51 acquires an input to at least one of the left operation lever 53L and the right operation lever 53R, and generates an instruction for operating the work machine 1130 and the like.
  • the processing device 51 transmits the generated command to the communication device 25 of the bulldozer 1100 via the communication device 54.
  • the work machine control device 27 included in the bulldozer 1100 acquires a command from the processing device 51 via the communication device 25, and operates the work machine 1130 and the like according to the command.
  • the bulldozer 1100 includes a communication device 25, a work equipment control device 27, a posture detection device 32, an image pickup device 19, a distance detection device 20, antennas 21 and 22, and a global position calculation device 23.
  • the work machine control device 27 controls the work machine 1130 and the like.
  • the communication device 25 is connected to the antenna 24 and communicates with the communication device 54 provided in the facility 50.
  • the posture detection device 32 detects the posture of at least one of the work machine 1130 and the bulldozer 1100.
  • the image pickup apparatus 19 is attached to the bulldozer 1100 to image the work target WA.
  • the distance detection device 20 obtains information on the distance from the predetermined position of the bulldozer 1100 to the work target WA.
  • the antennas 21 and 22 receive radio waves from the positioning satellite 200.
  • the global position arithmetic unit 23 uses the radio waves received by the antennas 21 and 22 to obtain the global position of the antennas 21 and 22, that is, the position in the global coordinates.
  • FIG. 2 is a side view schematically showing a bulldozer 1100, which is a work machine according to an embodiment.
  • the bulldozer 1100 includes a vehicle body 1110, a traveling device 1120, a working machine 1130, and a driver's cab 1140.
  • the traveling device 1120 is provided at the lower part of the vehicle body 1110.
  • the traveling device 1120 includes a crawler (track) 1121, a sprocket 1122, and the like.
  • the bulldozer 1100 travels by rotating the crawler 1121 by driving the sprocket 1122.
  • a rotation sensor 1123 is provided on the rotation shaft of the sprocket 1122. The rotation sensor 1123 measures the rotation speed of the sprocket 122. The rotation speed of the sprocket 122 can be converted into the speed of the traveling device 1120.
  • the IMU 33 is provided on the vehicle body 1110.
  • the IMU 33 measures the tilt angle of the vehicle body 1110 in the roll direction and the pitch direction, and the angular displacement in the yaw direction.
  • the work machine 1130 is used for excavation and transportation of excavation targets such as earth and sand.
  • the working machine 1130 is provided at the front portion of the vehicle body 1110.
  • the working machine 1130 includes a lift frame 1131, a blade 1132, and a lift cylinder 1133.
  • the base end portion of the lift frame 1131 is attached to the side surface of the vehicle body 1110 via a pin extending in the vehicle width direction.
  • the tip of the lift frame 1131 is attached to the back surface of the blade 1132 via a ball joint.
  • a cutting edge 1132e is provided at the lower end of the blade 1132.
  • the lift cylinder 1133 is a hydraulic cylinder.
  • the base end of the lift cylinder 1133 is attached to the side surface of the vehicle body 1110.
  • the tip of the lift cylinder 1133 is attached to the lift frame 1131. As the lift cylinder 1133 expands and contracts with the hydraulic oil, the lift frame 1131 and the blade 1132 are driven in the raising direction or the lowering direction.
  • the lift cylinder 1133 is provided with a stroke sensor 1134 that measures the stroke length of the lift cylinder 1133.
  • the stroke length measured by the stroke sensor 1134 can be converted to the position of the cutting edge 1132e with respect to the vehicle body 1110.
  • the rotation angle of the lift frame 1131 is calculated based on the stroke length of the lift cylinder 1133. Since the shapes of the lift frame 1131 and the blade 1132 are known, the position of the cutting edge 1132e of the blade 1132 can be specified from the rotation angle of the lift frame 1131.
  • the bulldozer 1100 may detect the angle of rotation with another sensor such as an encoder.
  • the driver's cab 1140 is a space for the operator to board and operate the bulldozer 1100.
  • the driver's cab 1140 is provided above the vehicle body 1110.
  • the bulldozer 1100 may be provided with a tire instead of the crawler 1121 and may be provided with a traveling device capable of transmitting the driving force of the engine to the tire via a transmission and traveling. Further, the bulldozer 1100 may be, for example, a backhoe loader provided with a traveling device having such tires and further equipped with a working machine attached to a vehicle main body (main body portion). That is, the backhoe loader is provided with a traveling device in which a working machine is attached to the vehicle body and constitutes a part of the vehicle body.
  • the vehicle body 1110 is in front of the side where the work machine 1130 is arranged.
  • the front-rear direction of the vehicle body 1110 is the y direction.
  • the left side facing the front is the left side of the vehicle body 1110
  • the right side facing the front is the right side of the vehicle body 1110.
  • the left-right direction of the vehicle body 1110 is also referred to as a width direction or an x direction.
  • the traveling device 1120 side is on the lower side with reference to the vehicle body 1110
  • the vehicle body 1110 side is on the upper side with reference to the traveling device 1120.
  • the vertical direction of the vehicle body 1110 is the z direction.
  • Antennas 21, 22 and antenna 24 are attached to the upper part of the vehicle body 1110.
  • the antennas 21 and 22 are used to detect the current position of the bulldozer 1100.
  • the antennas 21 and 22 are electrically connected to the global position arithmetic unit 23 shown in FIG.
  • the global position calculation device 23 is a position detection device that detects the position of the bulldozer 1100.
  • the global position arithmetic unit 23 detects the current position of the bulldozer 1100 by using RTK-GNSS (Real Time Kinematic-Global Navigation Satellite Systems, GNSS means a global navigation satellite system).
  • RTK-GNSS Real Time Kinematic-Global Navigation Satellite Systems
  • GNSS means a global navigation satellite system.
  • the antennas 21 and 22 are appropriately referred to as GNSS antennas 21 and 22.
  • the signal corresponding to the GNSS radio wave received by the GNSS antennas 21 and 22 is input to the global position arithmetic unit 23.
  • the global position arithmetic unit 23 obtains the installation positions of the GNSS antennas 21 and 22 in the global coordinate system.
  • An example of a global navigation satellite system is GPS (Global Positioning System), but the global navigation satellite system is not limited to this.
  • the GNSS antennas 21 and 22 are preferably installed on the vehicle body 1110 at both ends separated from each other in the left-right direction, that is, in the width direction of the bulldozer 1100.
  • the GNSS antennas 21 and 22 are attached to both sides of the vehicle body 1110 in the width direction, respectively.
  • the position where the GNSS antennas 21 and 22 are attached to the vehicle body 1110 is not limited, but the detection accuracy of the current position of the bulldozer 1100 is better when the GNSS antennas 21 and 22 are installed as far apart as possible. It is preferable because it improves. Further, it is preferable that the GNSS antennas 21 and 22 are installed at positions that do not obstruct the operator's field of view as much as possible.
  • the image pickup device 19 images the work target WA shown in FIG. 1, and the distance detection device 20 obtains the distance from itself (a predetermined position of the bulldozer 1100) to the work target WA, so that the work target WA is as wide as possible. It is preferable to acquire the information of. Therefore, in the embodiment, the antenna 24, the image pickup device 19, and the distance detection device 20 are installed above the driver's cab 1140 of the vehicle body 1110. The place where the image pickup apparatus 19 and the distance detection apparatus 20 are installed is not limited to the upper part of the driver's cab 1140. For example, the image pickup device 19 and the distance detection device 20 may be installed inside and above the driver's cab 1140.
  • the image pickup surface 19L faces the front of the vehicle body 1110.
  • the detection surface 20L faces the front of the vehicle body 1110.
  • the image pickup device 19 is a monocular camera including an image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the distance detection device 20 is a three-dimensional laser range finder, a three-dimensional laser scanner, a three-dimensional distance sensor, or the like.
  • a three-dimensional laser range finder or the like is also called LiDAR (Light Detection and Ranging) or the like, and irradiates a plurality of measurement directions over a certain range with a laser beam that emits a pulsed light while sequentially scanning the measurement directions. It is a sensor (scanning type range finder) that measures the distance and direction based on the time until the reflected scattered light returns and the irradiation direction.
  • the distance detection device 20 sequentially stores, updates, and outputs three-dimensional data indicating the measurement results of each measurement point (each reflection point) for each scanning cycle.
  • the three-dimensional data output by the distance detection device 20 is point cloud data indicating the distance and direction to each measurement point or the three-dimensional coordinate value of each measurement point.
  • the image pickup device 19 and the distance detection device 20 are not limited to these.
  • a device having both a function of acquiring an image of the work target WA and a function of obtaining the distance to the work target WA may be used instead of the image pickup device 19 and the distance detection device 20.
  • Examples of such a device include a stereo camera. LiDAR is excellent in terms of long distance and outdoor support.
  • FIG. 3 is a diagram showing a control system 1S of a bulldozer 1100, which is a work machine according to an embodiment.
  • the control system 1S includes a communication device 25, a sensor controller 26, a work equipment control device 27, an image pickup device 19, a distance detection device 20, a global position calculation device 23, an attitude detection device 32, and an IMU (Inertial Measurement). Unit: Inertial measurement unit) 33 and hydraulic system 36.
  • the communication device 25, the sensor controller 26, and the work equipment control device 27 are connected by a signal line 35. With such a structure, the communication device 25, the sensor controller 26, and the work equipment control device 27 can exchange information with each other via the signal line 35.
  • An example of a signal line for transmitting information in the control system 1S is an in-vehicle signal line such as CAN (Controller Area Network).
  • the sensor controller 26 has a processor such as a CPU (Central Processing Unit) and a storage device such as a RAM and a ROM.
  • the detection value of the global position calculation device 23, the information of the image captured by the image pickup device 19, the detection value of the distance detection device 20, the detection value of the attitude detection device 32, and the detection value of the IMU 33 are input to the sensor controller 26. ..
  • the sensor controller 26 transmits the input detection value and image information to the processing device 51 of the facility 50 shown in FIG. 1 via the signal line 35 and the communication device 25.
  • the work equipment control device 27 has a processor such as a CPU and a storage device such as a RAM (RandomAccessMemory) and a ROM (ReadOnlyMemory).
  • the work machine control device 27 acquires a command for operating at least one of the work machine 1130 and the vehicle body 1110 generated by the processing device 51 of the facility 50 via the communication device 25.
  • the work equipment control device 27 controls the electromagnetic control valve 28 of the hydraulic system 36 based on the acquired command.
  • the hydraulic system 36 includes an electromagnetic control valve 28, a hydraulic pump 29, and a hydraulic actuator such as a lift cylinder 1133 and a traveling motor 30.
  • the hydraulic pump 29 is driven by the engine 31 to discharge hydraulic oil for operating the hydraulic actuator.
  • the work equipment control device 27 controls the flow rate of the hydraulic oil supplied to the lift cylinder 1133 and the like by controlling the electromagnetic control valve 28. In this way, the work equipment control device 27 controls the operation of the lift cylinder 1133 and the like.
  • the sensor controller 26 acquires the detected value of the stroke sensor 1134 and the like.
  • the stroke sensor 1134 is provided on the lift cylinder 1133. Once the lift cylinder length is determined, the posture of the working machine 1130 is determined. Therefore, the stroke sensor 1134 or the like that detects this corresponds to the posture detecting device 32 that detects the posture of the working machine 1130.
  • the posture detection device 32 is not limited to the stroke sensor 1134 and the like, and may be an angle detector.
  • the sensor controller 26 determines the rotation angle of the lift frame 1131 with respect to the direction (z-axis direction) orthogonal to the horizontal plane in the local coordinate system (vehicle body coordinate system) which is the coordinate system of the bulldozer 1100. calculate. Since the shapes of the lift frame 1131 and the blade 1132 are known, the sensor controller 26 can specify the position of the cutting edge 1132e of the blade 1132 from the rotation angle of the lift frame 1131. Further, the sensor controller 26 calculates the rotation angle of the lift frame 1131 and the inclination angle of the blade 1132 from the lift cylinder length detected by the stroke sensor 1134.
  • the rotation angle of the lift frame 1131 is information indicating the posture of the working machine 1130. That is, the sensor controller 26 requests information indicating the posture of the working machine 1130.
  • the sensor controller 26 transmits the calculated tilt angle to the processing device 51 of the facility 50 shown in FIG. 1 via the signal line 35 and the communication device 25.
  • the GNSS antenna 21 receives the position P1 indicating its own position from the positioning satellite.
  • the GNSS antenna 22 receives a position P2 indicating its own position from the positioning satellite.
  • the GNSS antennas 21 and 22 receive positions P1 and P2, for example, in a cycle of 10 Hz.
  • the positions P1 and P2 are information on the position where the GNSS antenna is installed in the global coordinate system.
  • the signals corresponding to the GNSS radio waves received by the GNSS antennas 21 and 22, that is, the positions P1 and P2 are input to the global position arithmetic unit 23.
  • the GNSS antennas 21 and 22 output to the global position arithmetic unit 23 each time the positions P1 and P2 are received.
  • the global position arithmetic unit 23 has a processor such as a CPU and a storage device such as a RAM and a ROM.
  • the global position arithmetic unit 23 detects the positions P1 and P2 of the GNSS antennas 21 and 22 in the global coordinate system at a frequency of, for example, 10 Hz, and outputs the reference position information Pga1 and Pga2 to the sensor controller 26.
  • the global position arithmetic unit 23 obtains the azimuth angle of the bulldozer 1100, more specifically, the yaw angle which is the azimuth angle of the vehicle body 1110 from the two acquired positions P1 and P2, and outputs the yaw angle to the sensor controller 26. ..
  • the sensor controller 26 transmits the acquired reference position information Pga1, Pga2 and the yaw angle to the processing device 51 of the facility 50 shown in FIG. 1 via the signal line 35 and the communication device 25.
  • the IMU33 detects the movement and posture of the bulldozer 1100.
  • the operation of the bulldozer 1100 includes at least one of the operation of the vehicle body 1110 and the operation of the traveling device 1120.
  • the posture of the bulldozer 1100 can be represented by the roll angle, pitch angle and yaw angle of the bulldozer 1100.
  • the IMU 33 detects and outputs the angular velocity and acceleration of the bulldozer 1100.
  • FIG. 4 is a block diagram showing a functional configuration example of the processing unit 51P shown in FIG.
  • the processing unit 51P of the present embodiment includes an acquisition unit 51P1, a conversion unit 51P2, an image generation unit 51P3, and a display process as functional elements composed of a combination of hardware and software. It has a part 51P4 and a part 51P4.
  • the acquisition unit 51P1 acquires three-dimensional data of a plurality of measurement points measured by the distance detection device 20 mounted on the bulldozer 1100 (working machine).
  • the conversion unit 51P2 converts the three-dimensional data into a local coordinate system (vehicle body coordinate system) defined in association with the vehicle body 1110 of the bulldozer 1100.
  • the image generation unit 51P3 generates a reference image representing the three-dimensional shape of the terrain based on the three-dimensional data converted into the local coordinate system.
  • the display processing unit 51P4 superimposes the reference image on the image captured by the image pickup device 19 (camera) and displays it on the display device 52.
  • the image generation unit 51P4 determines the display form of the reference image at the position corresponding to the measurement point of the reference image according to the distance in the normal direction of each measurement point of the three-dimensional data to the ground plane of the bulldozer 1100. To do.
  • the ground contact surface is the surface on which the crawler (track) 1121 is in contact with the ground.
  • the display form includes, for example, the color scheme of the reference image, the line thickness and line density when the reference image includes a plurality of line images and a grid image consisting of a plurality of line images, the line type (dashed line, chain line, etc.), etc. Is.
  • the display mode of the object on which the work machine is traveling or working can be changed according to the distance in the normal direction to the ground plane of the work machine. Therefore, for example, the display mode of unevenness existing on a sloped ground or the like can be changed. Can be different from the surrounding display mode.
  • FIG. 5 is a diagram for explaining a coordinate system in the image display system 100 and the remote control system 101 according to the embodiment.
  • FIG. 6 is a rear view schematically showing the bulldozer 1100.
  • FIG. 7 is a diagram illustrating a coordinate system of the image pickup device and the distance detection device.
  • the global coordinate system is, for example, a coordinate system in GNSS.
  • the global coordinate system is a three-dimensional coordinate system represented by (X, Y, Z) based on, for example, the reference position PG of the reference pile 80, which is a reference installed in the work area GA of the bulldozer 1100. As shown in FIG. 5, the reference position PG is located, for example, at the tip 80T of the reference pile 80 installed in the work area GA.
  • the local coordinate system is a three-dimensional coordinate system represented by (x, y, z) based on the bulldozer 1100.
  • the origin position PL of the local coordinate system is a predetermined position of the vehicle body 1110.
  • the coordinate system of the image pickup device 19 is a three-dimensional coordinate system represented by (Xc, Yc, Zc) in which the center of the light receiving surface 19P of the image pickup device 19RC is the origin PC as shown in FIG. is there.
  • the coordinate system of the distance detection device 20 has three-dimensional coordinates represented by (Xd, Yd, Zd) with the center of the light receiving surface 20P of the distance detection element 20RC as the origin PD. It is a system.
  • the inclination angle ⁇ 4 with respect to the left-right direction of the vehicle body 1110 that is, the width direction is the roll angle of the bulldozer 1100
  • the inclination angle ⁇ 5 with respect to the front-rear direction of the vehicle body 1110 is the pitch angle of the bulldozer 1100.
  • the angle of the vehicle body 1110 around is the yaw angle of the bulldozer 1100.
  • the roll angle is the angular velocity around the y-axis detected by the IMU33 integrated over time
  • the pitch angle is the angular velocity around the x-axis detected by the IMU33 integrated over time
  • the yaw angle is detected by the IMU33.
  • the angular velocity around the z-axis is the turning angular velocity ⁇ of the bulldozer 1100. That is, the yaw angle of the bulldozer 1100, more specifically the vehicle body 1110, can be obtained by integrating the turning angular velocity ⁇ with time.
  • the acceleration and angular velocity detected by the IMU 33 are output to the sensor controller 26 as operation information.
  • the sensor controller 26 performs processing such as filtering and integration on the operation information acquired from the IMU 33 to obtain an inclination angle ⁇ 4 which is a roll angle, an inclination angle ⁇ 5 which is a pitch angle, and a yaw angle.
  • the sensor controller 26 displays the obtained inclination angle ⁇ 4, inclination angle ⁇ 5, and yaw angle as information related to the posture of the bulldozer 1100 via the signal line 35 and the communication device 25 shown in FIG. It is transmitted to the processing device 51 of the facility 50.
  • the sensor controller 26 requests information indicating the posture of the working machine 1130.
  • the information indicating the attitude of the working machine 1130 includes the inclination angle ⁇ 1 of the lift frame 1131 with respect to the direction orthogonal to the horizontal plane (z-axis direction) in the local coordinate system, the inclination angle of the blade 1132, the position of the cutting edge 1132e, and the like.
  • the processing device 51 of the facility 50 shown in FIG. 1 has information indicating the posture of the working machine 1130 acquired from the sensor controller 26 of the bulldozer 1100, that is, the inclination angle ⁇ 1 and the position of the cutting edge 1132e of the blade 1132 (hereinafter, appropriately referred to as the cutting edge position). (Referred to as) P4 is calculated.
  • the storage unit 51M of the processing device 51 stores data of the work machine 1130 (hereinafter, appropriately referred to as work machine data).
  • the work equipment data includes, for example, data representing the shapes of the lift frame 1131 and the blade 1132 with reference to the origin position PL of the local coordinate system.
  • the processing device 51 can obtain the cutting edge position P4 with respect to the origin position PL by using the work machine data, the lift cylinder length and the inclination angle ⁇ 1 detected by the stroke sensor 1134, and the origin position PL.
  • the processing device 51 of the facility 50 obtains the cutting edge position P4, but the sensor controller 26 of the bulldozer 1100 may obtain the cutting edge position P4 and transmit it to the processing device 51 of the facility 50.
  • FIG. 8 is a flowchart of a control example executed by the image display system 100 and the remote control system 101.
  • FIG. 11 is a diagram showing the image pickup device 19, the distance detection device 20, and the work target WA.
  • step S101 the sensor controller 26 shown in FIG. 3 acquires information on the bulldozer 1100.
  • the information of the bulldozer 1100 is the information obtained from the image pickup device 19, the distance detection device 20, the global position calculation device 23, the attitude detection device 32, and the IMU 33.
  • the image pickup apparatus 19 images the work target WA within the imaging range TA, and obtains an image of the work target WA.
  • the distance detection device 20 detects the distance Ld from the distance detection device 20 to the work target WA and other objects existing in the detection range MA.
  • the global position arithmetic unit 23 obtains reference position information Pga1 and Pga2 corresponding to the positions P1 and P2 of the GNSS antennas 21 and 22 in the global coordinate system.
  • the attitude detection device 32 detects the lift cylinder length and the like.
  • the IMU 33 detects the posture of the bulldozer 1100, more specifically, the roll angle ⁇ 4, the pitch angle ⁇ 5, and the yaw angle of the vehicle body 1110.
  • step S102 the processing device 51 of the image display system 100 and the remote operation system 101 is the sensor controller of the bulldozer 1100 via the communication device 25 of the bulldozer 1100 and the communication device 54 connected to the processing device 51 by the acquisition unit 51P1.
  • the information of the bulldozer 1100 is acquired from 26.
  • the information of the bulldozer 1100 acquired by the processing device 51 from the sensor controller 26 is the image of the work target WA captured by the image pickup device 19 and the distance from the distance detection device 20 to the work target WA detected by the distance detection device 20.
  • the information includes information, information on the posture of the work machine 1130 included in the bulldozer 1100 detected by the posture detection device 32, reference position information Pga1 and Pga2, and information on the posture of the bulldozer 1100.
  • the information on the distance from the distance detection device 20 to the work target WA includes the distance Ld to the work target WA or the object OB existing in the detection range MA and the information on the orientation of the position Pd corresponding to the distance Ld.
  • the distance Ld is shown as the distance to the work target WA.
  • the information on the orientation of the position Pd is the orientation of the position Pd with respect to the distance detection device 20, and is an angle with respect to each axis Xd, Yd, Zd of the coordinate system of the distance detection device 20.
  • the information on the posture of the working machine 1130 acquired by the processing device 51 is the inclination angle ⁇ 1 of the working machine 1130 obtained by the sensor controller 26 using the lift cylinder length or the like.
  • the posture information of the bulldozer 1100 is the roll angle ⁇ 4, the pitch angle ⁇ 5, and the yaw angle of the bulldozer 1100, more specifically, the vehicle body 1110.
  • the processing device 51 uses, for example, the tilt angle ⁇ 1 of the working machine 1130 acquired from the sensor controller 26 by the conversion unit 51P2, the lift cylinder length and the like stored in the storage unit 51M, and the cutting edge position P4 of the blade 1132. Ask for.
  • the cutting edge position P4 of the blade 1132 is a set of coordinates in the local coordinate system (x, y, z) of the bulldozer 1100.
  • the processing device 51 obtains the origin of the local coordinate system by the conversion unit 51P2.
  • the processing device 51 converts the distance Ld to the work target WA into position information by using the information of the distance to the work target WA by the conversion unit 51P2.
  • the position information is the coordinates of the position Pd in the coordinate system (Xd, Yd, Zd) of the distance detection device 20.
  • all distances Ld detected by the distance detection device 20 within the detection range MA are converted into position information.
  • the processing device 51 converts the distance Ld into position information by the conversion unit 51P2 using the distance Ld and the directional information of the position Pd corresponding to the distance Ld.
  • the distance to the object OB existing in the detection range MA is also converted into position information in the same manner as the distance Ld of the work target WA.
  • information on the position of the work target WA within the detection range MA can be obtained.
  • Information on the shape of the work target WA can be obtained from the information on the position of the work target WA.
  • the position information and shape information of the work target WA are a set of coordinates of the position Pd in the coordinate system (Xd, Yd, Zd) of the distance detection device 20.
  • the processing device 51 converts the shape information of the work target WA into the values of the coordinate system (Xc, Yc, Zc) of the image pickup device 19 by the conversion unit 51P2, and then the local coordinate system (x, y, Z) of the bulldozer 1100. Convert to the value of z).
  • step S105 the processing device 51 obtains the position information of the work target WA, the cutting edge position P4 of the blade 1132, and the reference position information Pga1 and Pga2 acquired from the sensor controller 26 of the bulldozer 1100 by the conversion unit 51P2 in the global coordinate system ( Convert to X, Y, Z).
  • the processing device 51 uses the conversion unit 51P2 to generate a rotation matrix using the roll angle ⁇ 4, pitch angle ⁇ 5, and yaw angle of the bulldozer 1100 acquired from the sensor controller 26. Generate.
  • the processing device 51 uses the rotation matrix generated by the conversion unit 51P2 to provide information on the position of the work target WA, the cutting edge position P4 of the blade 1132, and the reference position information Pga1 and Pga2 in the global coordinate system (X, Y, Z). ). Next, the process proceeds to step S106, and the processing device 51 obtains an occupied area by the image generation unit 51P3 (or the conversion unit 51P2).
  • FIG. 12 is a diagram illustrating the occupied area SA.
  • the occupied area SA is an area occupied by the working machine 1130 in the information on the shape of the work target WA.
  • a part of the blade 1132 of the work machine 1130 is within the detection range MA of the distance detection device 20 and is between the distance detection device 20 and the work target WA. Therefore, in the portion of the occupied area SA, the distance to the blade 1132 is detected by the distance detecting device 20 instead of the distance to the work target WA.
  • the processing device 51 removes the portion of the occupied area SA from the shape information of the work target WA obtained in step S104 by the image generation unit 51P3.
  • the processing device 51 stores at least one information of the position and the posture detected by the distance detection device 20 according to at least one of the position and the posture of the blade 1132 by the image generation unit 51P3 in, for example, the storage unit 51M.
  • Such information is included in the posture of the working machine 1130 of the bulldozer 1100 in this embodiment.
  • the posture of the working machine 1130 can be obtained by using the inclination angle ⁇ 1 of the working machine 1130, the lift cylinder length, and the like, and if necessary, using the posture of the bulldozer 1100.
  • the processing device 51 compares the data detected by the distance detection device 20 with the information stored in the storage unit 51M by the image generation unit 51P3, and if both are matched, the blade 1132 is detected. Can be.
  • the processing apparatus 51 does not use the information of the blade 1132 of the occupied area SA when generating the grid image 65 shown in FIG. 1, so that the grid image 65 is used. Can be generated accurately.
  • the process using the posture of the working machine 1130 may be performed by the following method in order to remove the portion of the occupied area SA.
  • Information on at least one of the position and the posture of the blade 1132 in the global coordinate system included in the posture of the work machine 1130 is obtained from the inclination angle ⁇ 1 of the work machine 1130, the lift cylinder length, and the like.
  • step S104 and step S105 information on the shape of the work target WA in the global coordinate system is obtained.
  • the processing device 51 removes from the shape of the work target WA by using the image generation unit 51P3 as an occupied area SA in which the position of the blade 1132 is projected onto the information on the shape of the work target WA.
  • FIG. 13 is a diagram showing information on the shape of the work target WA from which the occupied area has been removed.
  • the information IMWA of the shape of the work target WA is a set of coordinates Pgd (X, Y, Z) in the global coordinate system (X, Y, Z).
  • the occupied area IMBA does not have coordinate information due to the process of step S107.
  • the process proceeds to step S108, and the processing device 51 generates an image showing the position of the blade 1132 by the image generation unit 51P3.
  • the image showing the position of the blade 1132 is an image of the portion corresponding to the blade 1132 on the work target WA.
  • the cutting edge position image shows the position Pgt (X, Y, Z) of the surface WAP of the working target WA when the cutting edge 1132e is projected onto the working target WA in the vertical direction, that is, in the direction in which gravity acts. ) Is the image specified by.
  • the vertical direction is the Z direction in the global coordinate system (X, Y, Z), and is a direction orthogonal to the X direction and the Y direction.
  • the first position Pgt1 (X1, Y1, Z1) is a straight line LV1 extending in the vertical direction from the position Pgb1 outside the cutting edge 1132e on one end 8Wt1 side of the width direction Wb of the blade 1132 and the surface of the work target WA. It is the intersection with WAP.
  • the second position Pgt2 (X2, Y2, Z2) is a straight line LV2 extending in the vertical direction from the position Pgb2 outside the cutting edge 1132e on the other end 8Wt2 side of the width direction Wb of the blade 1132 and the surface of the work target WA. It is the intersection with WAP.
  • the processing device 51 obtains a straight line LV1 and a straight line LV2 extending in the vertical direction from the position Pgb1 and the position Pgb2 of the blade 1132 by the image generation unit 51P3. Next, the processing device 51 uses the straight line LV1 and the straight line LV2 obtained by the image generation unit 51P3 and the shape information of the work target WA to obtain the first position Pgt1 (X1, Y1, Z1) and the second position Pgt2. (X2, Y2, Z2) is obtained.
  • the processing device 51 projects a set of the positions Pgt of the surface WAP when the straight line connecting the first position Pgt1 and the second position Pgt2 is projected onto the surface WAP of the work target WA by the image generation unit 51P3, and the cutting edge position image 61. And.
  • the processing device 51 includes a first straight line image 62 which is an image of a straight line LV1 connecting the position Pgb1 and the first position Pgt1 (X1, Y1, Z1) by the image generation unit 51P3, and the position Pgb2 and the second.
  • a second straight line image 63 which is an image of the straight line LV2 connecting the positions Pgt2 (X2, Y2, Z2), is generated.
  • the processing device 51 converts the cutting edge position image 61, the first straight line image 62, and the second straight line image 63 into a reference image of the image pickup device 19, that is, an image of the viewpoint of the image pickup device 19 by the image generation unit 51P3.
  • the image of the viewpoint of the image pickup device 19 is a cutting edge position image 61, a first straight line image from the origin Pgc (Xc, Yc, Zc) of the image pickup device in the global coordinate system (X, Y, Z). It is an image when looking at 62 and the second straight line image 63.
  • the origin Pgc (Xc, Yc, Zc) of the image pickup device is a coordinate obtained by converting the center of the light receiving surface 19P of the image pickup device 19RC included in the image pickup device 19, that is, the origin PC into a global coordinate system (X, Y, Z). ..
  • the cutting edge position image 61, the first straight line image 62, and the second straight line image 63 are images in a three-dimensional space, but the viewpoint image of the image pickup apparatus 19 is a two-dimensional image. Therefore, the processing device 51 uses the image generation unit 51P3 to display the cutting edge position image 61, the first straight line image 62, and the second straight line image 63 defined in the three-dimensional space, that is, in the global coordinate system (X, Y, Z). 2. Perform a fluoroscopic projection transformation that projects onto a two-dimensional plane.
  • the cutting edge position image 61, the first straight line image 62, and the second straight line image 63 converted into the image of the viewpoint of the image pickup apparatus 19 are appropriately referred to as work tool guide images 60 in the following.
  • the processing device 51 converts the global coordinates into the local coordinate system by the image generation unit 51P3.
  • the processing device 51 obtains the gradation color scheme of the reference image according to the height of the local coordinate system by the image generation unit 51P3.
  • the image generation unit 51P3 determines the gradation color scheme of the reference image at the position corresponding to the measurement point of the reference image according to the distance in the normal direction of each measurement point of the three-dimensional data to the ground plane of the bulldozer 1100. decide.
  • the image generation unit 51P3 has, for example, a cold color scheme for the reference image at a position corresponding to a relatively low measurement point and a warm color scheme for the reference image at a position corresponding to a relatively high measurement point, and has an intermediate height. Set the color scheme of the reference image at the position corresponding to the measurement point to neutral color.
  • FIG. 9 is a schematic diagram showing a change in color scheme due to a change in shading density.
  • the processing device 51 uses the image generation unit 51P3 to perform the z direction of the local coordinate system (in this case, perpendicular to the slope of the slope 401).
  • the gradation color scheme of the reference image is obtained according to the height of the reference image.
  • the processing device 51 obtains the gradation color scheme of the reference image by the image generation unit 51P3, unlike the case where the image generation unit 51P3 determines the horizontal plane reference described with reference to FIG.
  • FIG. 10 is a schematic diagram showing a change in color scheme due to a change in shading density. In this case, it is possible to set a color scheme different from that of the periphery on the unevenness 402 on the slope 401, which is not color-coded in FIG.
  • FIG. 17 and 18 are diagrams showing a grid image 65 which is a reference image.
  • the process proceeds to step S111, and the processing device 51 generates the grid image 65 which is the reference image with the gradation color scheme determined in step S110 by the image generation unit 51P3.
  • the grid image 65 is a line image along the surface WAP of the work target WA using the information on the position of the work target WA.
  • the grid image 65 is a grid including a plurality of first line images 66 and a plurality of second line images 67 intersecting the plurality of first line images 66.
  • the first line image 66 is, for example, a line image extending parallel to the X direction in the global coordinate system (X, Y, Z) and arranged in the Y direction.
  • the first line image 66 may be a line image extending in parallel with the front-rear direction of the vehicle body 1110 included in the bulldozer 1100 and arranged in the width direction of the vehicle body 1110 in the global coordinate system (X, Y, Z). ..
  • the grid image 65 is generated using the information on the position of the work target WA, more specifically, the position Pgg (X, Y, Z) of the surface WAP.
  • the intersection of the first line image 66 and the second line image 67 is the position Pgg (X, Y, Z).
  • the first line image 66 and the second line image 67 include three-dimensional information because they are defined in the global coordinate system (X, Y, Z), as shown in FIG.
  • the plurality of first line images 66 are arranged at equal intervals
  • the plurality of second line images 67 are arranged at equal intervals.
  • the distance between the adjacent first line images 66 is equal to the distance between the adjacent second line images 67.
  • the grid image 65 is an image in which the first line image 66 and the second line image 67 generated by using the position Pgg (X, Y, Z) of the surface WAP are converted into an image of the viewpoint of the image pickup apparatus 19. Is.
  • the processing device 51 When the processing device 51 generates the first line image 66 and the second line image 67 by the image generation unit 51P3, the processing device 51 converts them into an image of the viewpoint of the image pickup device 19 to generate a grid image 65.
  • the grid images 65 at equal intervals in the horizontal plane are displayed. It can be deformed and displayed according to the shape of the work target WA.
  • step S112 the processing device 51 removes the above-mentioned occupied area SA from the work tool guide image 60 and the grid image 65 which is the reference image generated by the display processing unit 51P4.
  • step S112 the processing device 51 converts the occupied area SA into an image of the viewpoint of the imaging device 19 by the display processing unit 51P4, and removes the occupied area SA from the work tool guide image 60 and the grid image 65 which is the reference image.
  • the processing device 51 includes the cutting edge position image 61, the first straight line image 62, the second straight line image 63, and the image pickup device 19 before being converted into an image of the viewpoint of the image pickup device 19 by the display processing unit 51P4.
  • the occupied area SA before being converted into the viewpoint image of the image pickup apparatus 19 may be removed from the first line image 66 and the second line image 67 before being converted into the viewpoint image, respectively.
  • FIG. 19 is a diagram showing an image 69 for work.
  • the processing device 51 synthesizes the work tool guide image 60 from which the occupied area SA has been removed by the display processing unit 51P4, the grid image 65, and the image 68 of the work target WA imaged by the image pickup device 19. Then, a working image 69 is generated.
  • the processing device 51 displays the working image 68 generated by the display processing unit 51P4 on the display device 52.
  • the work image 69 is an image in which the grid image 65 and the work tool guide image 60 are displayed on the image 68 of the work target WA.
  • the operator of the bulldozer 1100 can grasp the position of the work target WA by referring to the grid image 65.
  • the operator can grasp the depth, that is, the position in the front-rear direction of the vehicle body 1110 included in the bulldozer 1100 by the second line image 67, and can grasp the position in the width direction of the blade 1132 by the first line image 66.
  • FIG. 20 is a diagram showing another example of the working image 69.
  • the working image 69 includes a grid image 65 having different line thicknesses depending on the distance in the normal direction.
  • the grid image 65 shown in FIG. 20 is set so that the wire diameter becomes thicker as the distance increases.
  • the work machine is a hydraulic excavator or the like.
  • the grid image 65 composed of the first line image 66 and the second line image 67 is colored with different colors depending on the height.
  • the display mode of the object on which the bulldozer 1100 (working machine) is traveling or working can be changed according to the distance in the normal direction to the ground plane of the bulldozer 1100, for example, existing on a slope. It is possible to make the display mode such as unevenness to be displayed different from the surrounding display mode. That is, in the present embodiment, since the height color gauge is used as the contact patch reference of the crawler 1121, for example, unevenness on a slope during climbing can be correctly recognized.
  • the cutting edge position image 61 is displayed along the surface WAP and the grid image 65 of the work target WA. Further, in the example shown in FIG. 19, the extension line image 61-1 and the extension line image 61-2 obtained by extending the cutting edge position image 61 are also displayed along the surface WAP and the grid image 65 of the work target WA. Therefore, the operator can grasp the positional relationship between the blade 1132 and the work target WA from the grid image 65 and the cutting edge position image 61, so that the work efficiency and the work accuracy are improved.
  • the first straight line image 62 and the second straight line image 63 connect both ends of the cutting edge position image 61 from both sides of the blade 1132 in the width direction Wb.
  • the operator can more easily grasp the positional relationship between the blade 1132 and the work target WA from the first straight line image 62 and the second straight line image 63. Since the grid image 65 and the cutting edge position image 61 are displayed along the shape of the terrain (work target WA) to be worked, the relative positional relationship between the two on the terrain surface (two-dimensionally) can be easily grasped. .. Further, since the first line image 66 and the second line image 67 constituting the grid image 65 are arranged at equal intervals in the global coordinate system, it is easy to grasp the sense of distance on the terrain surface, and the perspective It becomes easier to grasp the feeling.
  • the work image 69 can include information indicating the distance between the cutting edge 1132e of the blade 1132 and the work target WA.
  • the operator has an advantage that the actual distance between the cutting edge 1132e of the blade 1132 and the work target WA can be grasped.
  • the distance between the cutting edge 1132e of the blade 1132 and the work target WA can be the distance from the cutting edge 1132e at the center of the width direction Wb of the blade 1132 to the surface WAP of the work target WA.
  • the information indicating the distance to the work target WA is replaced with the distance between the cutting edge 1132e of the blade 1132 and the work target WA, or in addition to the distance, information on the posture such as the angle of the blade 1132, and the blade 1132 and the work target WA.
  • Information indicating the relative distance to for example, information indicating the relationship between the orientation of the blade edge 1132e and the orientation of the surface of the work target WA, information indicating the position of the blade 1132 in coordinates, the orientation of the surface of the work target WA.
  • Spatial position information regarding the work tool or the work target W may be used, including information indicating the information and information indicating the distance in the y direction in the local coordinate system from the image pickup device 19 to the cutting edge 1132e of the blade 1132.
  • the processing device 51 uses the display processing unit 51P4 to determine the position of the blade 1132, which is a work tool, the posture of the blade 1132, the position of the work target WA, the relative posture of the work target WA, and the blade 1132 and the work target WA.
  • the relative distance, at least one of the relative postures of the blade 1132 and the work target WA, may be obtained and displayed on the display device 52.
  • the image display system 100 and the remote control system 101 superimpose the work tool guide image 60 and the grid image 65 generated from the viewpoint of the image pickup device 19 on the image 68 of the actual work target WA captured by the image pickup device 19. At the same time, it is displayed on the display device 52.
  • the image display system 100 and the remote control system 101 inform the operator who remotely controls the bulldozer 1100 by using the image of the work target WA displayed on the display device 52, the position of the blade 1132 and the work target WA. Since it is possible to easily grasp the positional relationship between the two, the work efficiency and the accuracy of the work can be improved.
  • the image display system 100 and the remote control system 101 display the work tool guide image 60, the grid image 65, and the image 68 of the actual work target WA on the display device 52 during the work. Work efficiency can be improved by unifying the screen that the operator pays attention to.
  • the distance between the adjacent first line images 66 and the distance between the adjacent second line images 67 are equal. Therefore, by superimposing and displaying the grid image 65 and the image 68 of the actual work target WA imaged by the imaging device 19, it becomes easy to grasp the work point on the work target WA. Further, by superimposing the cutting edge position image 61 of the work tool guide image 60 and the grid image 65, the operator can easily grasp the distance moved by the blade 1132, so that the work efficiency is improved.
  • the image display system 100 and the remote control system 101 can display the work image 69 on the display device 52 in a form that is easy for the operator to see.
  • the work tool guide image 60 may include at least the cutting edge position image 61.
  • the grid image 65 may include at least a plurality of second line images 67, that is, a plurality of line images showing a direction orthogonal to the front-rear direction of the vehicle body 1110 included in the bulldozer 1100.
  • the processing device 51 may change the color of, for example, the cutting edge position image 61 of the work tool guide image 60 according to the distance between the cutting edge 1132e of the blade 1132 and the work target WA. By doing so, the operator can easily grasp the position of the blade 1132 and the distance between the work target WA.
  • the processing device 51 converts the information on the shape of the work target WA into the global coordinate system (X, Y, Z) to generate the work tool guide image 60 and the grid image 65, but the shape of the work target WA. It is not necessary to convert the information of the above into the global coordinate system (X, Y, Z). In this case, the processing device 51 handles the information on the shape of the work target WA in the local coordinate system (x, y, z) of the bulldozer 1100, and generates the work tool guide image 60 and the grid image 65. When the information on the shape of the work target WA is handled by the local coordinate system (x, y, z) of the bulldozer 1100, the GNSS antennas 21 and 22 and the global position arithmetic unit 23 are unnecessary.
  • a part of the bulldozer 1100 (for example, the blade 1132 as described above) detected by the distance detection device 20 is removed to obtain information on the shape of the work target WA (three-dimensional terrain data).
  • the three-dimensional topographical data acquired in the past (for example, a few seconds ago) is stored in the storage unit 51M of the processing device 51, and the processing unit 51P of the processing device 51 stores the current work target WA and its storage. It is determined whether the three-dimensional terrain data is at the same position, and if it is at the same position, the lattice image 65 may be displayed using the past three-dimensional terrain data. That is, the processing device 51 can display the grid image 65 if there is past three-dimensional terrain data even if there is terrain hidden by a part of the bulldozer 1100 when viewed from the image pickup device 19.
  • the grid image 65 may be displayed using the local coordinate system as the polar coordinate system. Specifically, concentric circles at equal intervals according to the distance from the center of the bulldozer 1100 (for example, the turning center of the vehicle body 1110) are drawn as a line image (second line image), and according to the turning angle of the vehicle body 1110. A radial line image (first line image) may be drawn at equal intervals from the center of rotation. In this case, the second line image, which is a concentric line image, and the first line image, which is a radial line image from the turning center, intersect. By displaying such a grid image, it is possible to easily grasp the positional relationship between the position of the blade 1132 and the work target WA during turning or excavation.
  • ⁇ Modification example of control system of bulldozer 1100> The image display system 100 and the remote control system 101 described above remotely controlled the bulldozer 1100 using the operation device 53 of the facility 50 shown in FIG. 1, but the display device 52 was provided in the driver's cab 1140 shown in FIG. Alternatively, a working image 69 may be displayed on the display device 52 in the driver's cab 1140 in order to assist the operator's work on the bulldozer 1100. In this case, the bulldozer 1100 can make it easier for the operator who operates the bulldozer 1100 to grasp the positional relationship between the position of the blade 1132 and the work target WA by using the image of the work target WA displayed on the display device 52. ..
  • the embodiments have been described above, the embodiments are not limited by the contents described above. Further, the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those having a so-called equal range. Furthermore, the components described above can be combined as appropriate. Further, at least one of the various omissions, substitutions and changes of the components may be made without departing from the gist of the embodiment.
  • the work machine is not limited to the bulldozer 1100 and may be another work machine such as a wheel loader or a hydraulic excavator. Further, although the blade (working machine) of the bulldozer is mentioned as the occupied area, the hood and the exhaust pipe of the vehicle body may be added to the occupied area in addition to the working machine.
  • the display mode of the object on which the work machine is traveling or working can be changed according to the distance in the normal direction to the ground plane of the work machine. Therefore, for example, unevenness existing on a slope or the like
  • the display mode of is different from that of the surrounding display mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Fluid Mechanics (AREA)
  • Mechanical Engineering (AREA)
  • Architecture (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)

Abstract

作業機械の表示システムは、複数の計測点の三次元データを取得する取得部と、前記三次元データを車体座標系に変換する変換部と、前記車体座標系に変換された三次元データに基づいて、地形の三次元形状を表す基準画像を生成する画像生成部と、撮影画像に前記基準画像を重畳して表示する表示処理部と、を備え、前記画像生成部は、前記各計測点の、前記作業機械の接地面に対する法線方向の距離に応じて、前記基準画像の前記計測点に対応する位置における前記基準画像の表示形態を決定する。

Description

表示システムおよび表示方法
　本発明は、表示システムおよび表示方法に関する。
　本願は、２０１９年５月３１日に日本に出願された特願２０１９－１０３１６６号について優先権を主張し、その内容をここに援用する。
　作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が２次元のため、遠近感に乏しくなる。そのため、作業対象と作業機械との距離の把握が難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。このような課題を解決するための画像表示システムの一例が特許文献１に記載されている。特許文献１に記載されている画像表示システムは、作業具を有する作業機を備えた作業機械に取り付けられる撮像装置と、作業機の姿勢を検出する姿勢検出装置と、作業機械の作業対象までの距離の情報を求める距離検出装置と、作業機の姿勢を用いて得られた作業具の位置の情報と、距離検出装置が求めた距離の情報から得られた作業対象の位置の情報とを用いて、作業具と対向する作業対象上で作業具に対応する部分の画像を生成し、撮像装置によって撮像された作業対象の画像と合成して、表示装置に表示させる処理装置とを含む。特許文献１に記載されている画像表示システムによれば、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。
　また、特許文献１に記載されている画像表示システムでは、処理装置が、作業対象の位置の情報を用いて作業対象の表面に沿った線画像を生成して、作業対象の画像と合成して表示装置に表示させる。線画像は、作業対象となる地形（作業対象）の形状に沿って表示されるため、地形面上での距離感をつかみやすく、遠近感の把握が容易になる。
　また、特許文献２には、標高値に色を割り当て、標高値に応じて色が遷移するグラデーションカラーで表現したカラー標高図を作成する構成が記載されている。特許文献２に記載されている構成によれば、標高に応じて線画像にグラデーションカラーで配色することができる。
特開２０１６－１６０７４１号公報 特開２００７－０４８１８５号公報
　特許文献１に記載されている構成と、特許文献２に記載されている構成を組み合わせれば、標高に応じて作業対象の表面に沿った線画像をグラデーションカラーで配色できるので、作業対象の表面の凹凸等がさらに分かりやすくなる。しかしながら、色の変化を水平面基準で決定した場合、例えば、図２１に示すように、作業機械４００が傾斜地４０１を登坂中に、傾斜地４０１にある凹凸４０２を色分け表示できない場合があるという課題がある。図２１は、作業機械４００が走行あるいは作業する対象の傾斜地４０１を標高に応じて色分けする例を示す模式図である。図２１では、網掛けの密度の変化が、配色の変化を示す。あるいは、標高に応じて配色を変化させる場合、対象とする範囲の標高差が大きい場合、小さな凹凸はすべて同じ色になってしまうことがあるという課題がある。
　本発明は、上記事情に鑑みてなされたものであり、上記課題を解決することができる表示システムおよび表示方法を提供することを目的とする。
　上記課題を解決するため、本発明の一態様は、作業機械に搭載された距離検出装置が計測した複数の計測点の三次元データを取得する取得部と、前記三次元データを、前記作業機械の車体に紐づいて規定された車体座標系に変換する変換部と、前記車体座標系に変換された三次元データに基づいて、地形の三次元形状を表す基準画像を生成する画像生成部と、撮像装置による撮影画像に、前記基準画像を重畳して表示する表示処理部と、を備え、前記画像生成部は、前記各計測点の、前記作業機械の接地面に対する法線方向の距離に応じて、前記基準画像の前記計測点に対応する位置における前記基準画像の表示形態を決定する作業機械の表示システムである。
　本発明の態様によれば、作業機械が走行あるいは作業する対象の表示態様を作業機械の接地面に対する法線方向の距離に応じて変化させることができるので、例えば、傾斜地に存在する凹凸等の表示態様を周囲の表示態様と異ならせることができる。
図１は、実施形態に係る作業機械の画像表示システム及び作業機械の遠隔操作システムを示す図である。 図２は、実施形態に係る作業機械であるブルドーザを示す模式的に示す側面図である。 図３は、実施形態に係る作業機械であるブルドーザの制御系を示す図である。 図４は、図１に示す処理部５１Ｐの機能的構成例を示すブロック図である。 図５は、実施形態に係る画像表示システム及び遠隔操作システムでの座標系を説明するための図である。 図６は、ブルドーザを模式的に示す背面図である。 図７は、撮像装置及び距離検出装置の座標系を説明する図である。 図８は、画像表示システム及び遠隔操作システムが実行する制御例のフローチャートである。 図９は、図８に示す処理を説明するための図である。 図１０は、図８に示す処理を説明するための図である。 図１１は、撮像装置及び距離検出装置と作業対象とを示す図である。 図１２は、占有領域を説明する図である。 図１３は、占有領域を除去した作業対象の形状の情報を示す図である。 図１４は、作業対象上でブレードの位置を示す画像を説明するための図である。 図１５は、作業対象上でブレードの位置を示す画像を説明するための図である。 図１６は、作業対象上でブレードの位置を示す画像を説明するための図である。 図１７は、基準画像である格子画像を示す図である。 図１８は、基準画像である格子画像を示す図である。 図１９は、作業用の画像を示す図である。 図２０は、作業用の画像を示す図である。 図２１は、本発明の課題を説明するための図である。
　本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。なお、各図において同一又は対応する構成には同一の符号を付けて説明を適宜省略する。
＜作業機械の画像表示システム及び作業機械の遠隔操作システムの概要＞
　図１は、実施形態に係る作業機械の画像表示システム１００（表示システム）及び作業機械の遠隔操作システム１０１を示す図である。作業機械の画像表示システム１００（以下、適宜画像表示システム１００と称する）は、オペレータが、作業機械であるブルドーザ１１００を遠隔操作する際に、ブルドーザ１１００の作業対象、より具体的には、ブルドーザ１１００が備える作業機１１３０による作業の対象である地形面、すなわち作業対象ＷＡ及び作業具であるブレード１１３２を撮像装置１９で撮像し、得られた画像を表示装置５２に表示させる。このとき、画像表示システム１００は、例えば、撮像装置１９によって撮像された作業対象ＷＡの画像６８と、格子画像６５と、作業対象ＷＡ上においてブレード１１３２の位置を示すための画像６０と、を含む作業用の画像６９を、表示装置５２に表示させる。ここで、格子画像６５は、「地形面（地形）の三次元形状を表す画像」（以下、「基準画像」ともいう）の一態様である。基準画像は、例えば、複数の点画像、複数の線画像、複数の線画像からなる格子画像等を用いて構成することができる。
　画像表示システム１００は、撮像装置１９と、姿勢検出装置３２と、距離検出装置２０と、処理装置５１とを含む。作業機械の遠隔操作システム１０１（以下、適宜遠隔操作システム１０１と称する）は、撮像装置１９と、姿勢検出装置３２と、距離検出装置２０と、作業機制御装置２７と、表示装置５２と、処理装置５１と、操作装置５３とを含む。実施形態において、画像表示システム１００の撮像装置１９、姿勢検出装置３２及び距離検出装置２０はブルドーザ１１００に設けられ、処理装置５１は施設５０に設けられる。施設５０は、ブルドーザ１１００を遠隔操作したり、ブルドーザ１１００を管理したりする施設である。実施形態において、遠隔操作システム１０１の撮像装置１９、姿勢検出装置３２、距離検出装置２０及び作業機制御装置２７はブルドーザ１１００に設けられ、表示装置５２、処理装置５１及び操作装置５３は施設５０に設けられる。
　画像表示システム１００の処理装置５１は、処理部５１Ｐと、記憶部５１Ｍと、入出力部５１ＩＯとを含む。処理部５１Ｐは、例えばＣＰＵ（Central Processing Unit）のようなプロセッサである。記憶部５１Ｍは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスクドライブ、ストレージデバイス又はこれらの組み合わせである。入出力部５１ＩＯは、処理装置５１と外部機器とを接続するためのインターフェース回路である。実施形態において、入出力部５１ＩＯには、外部機器として、表示装置５２、操作装置５３及び通信装置５４が接続されている。入出力部５１ＩＯに接続される外部機器はこれらに限定されるものではない。
　処理装置５１は、作業機１１３０の姿勢を用いて得られた作業具であるブレード１１３２の位置の情報と、距離検出装置２０が求めた距離の情報から得られた作業対象ＷＡの位置の情報とを用いて、基準画像である格子画像６５と、ブレード１１３２と対向する作業対象ＷＡ上でブレード１１３２に対応する部分の画像６０を、撮像装置１９を基準として生成する。そして、処理装置５１は、生成した画像６５及び６０と撮像装置１９によって撮像された作業対象ＷＡの画像６８とを合成して、表示装置５２に表示させる。作業対象ＷＡは、ブルドーザ１１００の作業機１１３０が掘削又は地ならし等の作業をする対象となる面である。なお、画像６０の表示は省略することができる。
　表示装置５２は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置５４は、アンテナ５４Ａを備えている。通信装置５４は、ブルドーザ１１００に備えられた通信装置２５と通信して、ブルドーザ１１００の情報を取得したり、ブルドーザ１１００に情報を送信したりする。
　操作装置５３は、オペレータの左側に設置される左操作レバー５３Ｌと、オペレータの右側に配置される右操作レバー５３Ｒと、図示していないブレーキペダルおよびデセルペダルを有する。右操作レバー５３Ｒは、ブレード１１３２の上げ操作または下げ操作の移動量を設定するために操作される。右操作レバー５３Ｒは、前方へ傾けられることにより下げ操作を受け付け、後方へ傾けられることにより上げ操作を受け付ける。左操作レバー５３Ｌは、走行装置１１２０の進行方向を設定するために操作される。左操作レバー５３Ｌは、前方へ傾けられることにより前進操作を受け付け、後方へ傾けられることにより後進操作を受け付ける。また左操作レバー５３Ｌは、左方へ傾けられることにより左旋回操作を受け付け、右方へ傾けられることにより右旋回操作を受け付ける。図示していないブレーキペダルは、走行装置１１２０を制動させるために操作される。図示していないデセルペダルは、走行装置１１２０の回転数を低減させるために操作される。
　左操作レバー５３Ｌ及び右操作レバー５３Ｒの操作量は、例えば、ポテンショメータ及びホールＩＣ等によって検出され、処理装置５１は、これらの検出値に基づいて電磁制御弁を制御するための制御信号を生成する。この信号は、施設５０の通信装置５４及びブルドーザ１１００の通信装置２５を介して作業機制御装置２７に送られる。作業機制御装置２７は、制御信号に基づいて電磁制御弁を制御することによって作業機１１３０を制御する。電磁制御弁については後述する。
　処理装置５１は、左操作レバー５３Ｌ及び右操作レバー５３Ｒの少なくとも一方に対する入力を取得し、作業機１１３０等を動作させるための命令を生成する。処理装置５１は、生成した命令を、通信装置５４を介してブルドーザ１１００の通信装置２５に送信する。ブルドーザ１１００が備える作業機制御装置２７は、通信装置２５を介して処理装置５１からの命令を取得し、命令にしたがって作業機１１３０等を動作させる。
　ブルドーザ１１００は、通信装置２５と、作業機制御装置２７と、姿勢検出装置３２と、撮像装置１９と、距離検出装置２０と、アンテナ２１、２２と、グローバル位置演算装置２３とを備える。作業機制御装置２７は、作業機１１３０等を制御する。通信装置２５は、アンテナ２４に接続されており、施設５０に備えられた通信装置５４と通信する。姿勢検出装置３２は、作業機１１３０及びブルドーザ１１００の少なくとも一方の姿勢を検出する。撮像装置１９は、ブルドーザ１１００に取り付けられて、作業対象ＷＡを撮像する。距離検出装置２０は、ブルドーザ１１００の所定の位置から作業対象ＷＡまでの距離の情報を求める。アンテナ２１、２２は、測位衛星２００からの電波を受信する。グローバル位置演算装置２３は、アンテナ２１、２２が受信した電波を用いて、アンテナ２１、２２のグローバル位置、すなわちグローバル座標における位置を求める。
＜ブルドーザ１１００の全体構成＞
　図２は、実施形態に係る作業機械であるブルドーザ１１００を模式的に示す側面図である。ブルドーザ１１００は、車体１１１０、走行装置１１２０、作業機１１３０、運転室１１４０を備える。
　走行装置１１２０は、車体１１１０の下部に設けられる。走行装置１１２０は、クローラ（履帯）１１２１、スプロケット１１２２等を備える。スプロケット１１２２の駆動によってクローラ１１２１が回転することで、ブルドーザ１１００が走行する。スプロケット１１２２の回転軸には、回転センサ１１２３が設けられる。回転センサ１１２３は、スプロケット１２２の回転数を計測する。スプロケット１２２の回転数は、走行装置１１２０の速度に換算可能である。
　車体１１１０には、ＩＭＵ３３が設けられる。ＩＭＵ３３は、車体１１１０のロール方向およびピッチ方向の傾斜角と、ヨー方向の角度変位を計測する。
　作業機１１３０は、土砂等の掘削対象の掘削および運搬に用いられる。作業機１１３０は、車体１１１０の前部に設けられる。作業機１１３０は、リフトフレーム１１３１、ブレード１１３２、およびリフトシリンダ１１３３を備える。
　リフトフレーム１１３１の基端部は、車幅方向に伸びるピンを介して、車体１１１０の側面に取り付けられる。リフトフレーム１１３１の先端部は、ブレード１１３２の裏面に球体関節を介して取り付けられる。これにより、ブレード１１３２は、車体１１１０に対して上下方向に移動可能に支持される。ブレード１１３２の下端部には、刃先１１３２ｅが設けられる。リフトシリンダ１１３３は、油圧シリンダである。リフトシリンダ１１３３の基端部は車体１１１０の側面に取り付けられる。リフトシリンダ１１３３の先端部はリフトフレーム１１３１に取り付けられる。リフトシリンダ１１３３が作動油によって伸縮することによって、リフトフレーム１１３１およびブレード１１３２が上げ方向または下げ方向に駆動する。
　リフトシリンダ１１３３には、リフトシリンダ１１３３のストローク長を計測するストロークセンサ１１３４が設けられる。ストロークセンサ１１３４が計測するストローク長は、車体１１１０を基準とした刃先１１３２ｅの位置に換算可能である。具体的には、リフトシリンダ１１３３のストローク長に基づいて、リフトフレーム１１３１の回転角を算出する。リフトフレーム１１３１およびブレード１１３２の形状は既知であるため、リフトフレーム１１３１の回転角から、ブレード１１３２の刃先１１３２ｅの位置を特定することができる。なお、他の実施形態に係るブルドーザ１１００は、エンコーダ等の他のセンサで回転角を検出してもよい。
　運転室１１４０は、オペレータが搭乗し、ブルドーザ１１００の操作を行うためのスペースである。運転室１１４０は、車体１１１０の上部に設けられる。
　ブルドーザ１１００は、クローラ１１２１の代わりにタイヤを備え、エンジンの駆動力を、トランスミッションを介してタイヤへ伝達して走行が可能な走行装置を備えたものであってもよい。また、ブルドーザ１１００は、このようなタイヤを有した走行装置を備え、さらに車両本体（本体部）に作業機が取り付けられた例えばバックホウローダであってもよい。すなわち、バックホウローダは、車両本体に作業機が取り付けられ、車両本体の一部を構成する走行装置を備えたものである。
　車体１１１０は、作業機１１３０が配置されている側が前である。車体１１１０の前後方向がｙ方向である。前に向かって左側が車体１１１０の左であり、前に向かって右側が車体１１１０の右である。車体１１１０の左右方向は、幅方向又はｘ方向ともいう。ブルドーザ１１００は、車体１１１０を基準として走行装置１１２０側が下であり、走行装置１１２０を基準として車体１１１０側が上である。車体１１１０の上下方向がｚ方向である。ブルドーザ１１００が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。
　車体１１１０の上部には、アンテナ２１、２２及びアンテナ２４が取り付けられている。アンテナ２１、２２は、ブルドーザ１１００の現在位置を検出するために用いられる。アンテナ２１、２２は、図３に示されるグローバル位置演算装置２３と電気的に接続されている。グローバル位置演算装置２３は、ブルドーザ１１００の位置を検出する位置検出装置である。グローバル位置演算装置２３は、ＲＴＫ－ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう）を利用してブルドーザ１１００の現在位置を検出する。以下の説明において、アンテナ２１、２２を、適宜ＧＮＳＳアンテナ２１、２２と称する。ＧＮＳＳアンテナ２１、２２が受信したＧＮＳＳ電波に応じた信号は、グローバル位置演算装置２３に入力される。グローバル位置演算装置２３は、グローバル座標系におけるＧＮＳＳアンテナ２１、２２の設置位置を求める。全地球航法衛星システムの一例としては、ＧＰＳ（Global Positioning System）が挙げられるが、全地球航法衛星システムは、これに限定されるものではない。
　ＧＮＳＳアンテナ２１、２２は、図２に示されるように、車体１１１０の上であって、ブルドーザ１１００の左右方向、すなわち幅方向に離れた両端位置に設置されることが好ましい。実施形態において、ＧＮＳＳアンテナ２１、２２は、車体１１１０の幅方向両側にそれぞれ取り付けられる。ＧＮＳＳアンテナ２１、２２が車体１１１０に取り付けられる位置は限定されるものではないが、ＧＮＳＳアンテナ２１、２２は、可能な限り離れた位置に設置される方が、ブルドーザ１１００の現在位置の検出精度は向上するので好ましい。また、ＧＮＳＳアンテナ２１、２２は、オペレータの視界を極力妨げない位置に設置されることが好ましい。
　撮像装置１９は、図１に示される作業対象ＷＡを撮像し、距離検出装置２０は、自身（ブルドーザ１１００の所定の位置）から作業対象ＷＡまでの距離を求めるので、できる限り広い作業対象ＷＡからの情報を取得することが好ましい。このため、実施形態において、アンテナ２４、撮像装置１９及び距離検出装置２０は、車体１１１０の運転室１１４０の上方に設置される。撮像装置１９及び距離検出装置２０が設置される場所は運転室１１４０の上方に限定されるものではない。例えば、撮像装置１９及び距離検出装置２０は、運転室１１４０の内部かつ上方に設置されてもよい。
　撮像装置１９は、撮像面１９Ｌが車体１１１０の前方を向いている。距離検出装置２０は、検出面２０Ｌが車体１１１０の前方を向いている。実施形態において、撮像装置１９は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのようなイメージセンサを備えた単眼カメラである。
　実施形態において、距離検出装置２０は、三次元レーザーレンジファインダ、三次元レーザースキャナ、三次元距離センサ等である。三次元レーザーレンジファインダ等は、ＬｉＤＡＲ（Light Detection and Ranging；ライダー）等とも呼ばれ、一定の範囲にわたる複数の測定方向に対して、測定方向を順次走査させながらパルス状に発光するレーザ光を照射し、反射した散乱光が戻ってくるまでの時間と照射方向に基づき距離と向きを計測するセンサ（走査式測距センサ）である。本実施形態において、距離検出装置２０は、一走査周期毎に各測定点（各反射点）の測定結果を示す三次元データを順次、記憶及び更新して出力する。距離検出装置２０が出力する三次元データは、各測定点までの距離と向きあるいは各測定点の三次元座標値を示す点群データである。
　撮像装置１９及び距離検出装置２０はこれらに限定されるものではない。例えば、撮像装置１９及び距離検出装置２０の代わりに、作業対象ＷＡの画像を取得する機能と、作業対象ＷＡまでの距離を求める機能との両方を有する装置が用いられてもよい。このような装置としては、例えば、ステレオカメラが例示される。なお、ＬｉＤＡＲは、長距離化、屋外対応の点で優れている。
＜ブルドーザ１１００の制御系＞
　図３は、実施形態に係る作業機械であるブルドーザ１１００の制御系１Ｓを示す図である。制御系１Ｓは、通信装置２５と、センサコントローラ２６と、作業機制御装置２７と、撮像装置１９と、距離検出装置２０と、グローバル位置演算装置２３と、姿勢検出装置３２と、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）３３と、油圧システム３６と、を備える。通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５によって接続されている。このような構造により、通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５を介して相互に情報をやり取りすることができる。制御系１Ｓ内で情報を伝達する信号線は、ＣＡＮ（Controller Area Network）のような車内信号線が例示される。
　センサコントローラ２６は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。センサコントローラ２６には、グローバル位置演算装置２３の検出値、撮像装置１９によって撮像された画像の情報、距離検出装置２０の検出値、姿勢検出装置３２の検出値及びＩＭＵ３３の検出値が入力される。センサコントローラ２６は、入力された検出値及び画像の情報を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。
　作業機制御装置２７は、ＣＰＵ等のプロセッサと、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の記憶装置とを有する。作業機制御装置２７は、施設５０の処理装置５１によって生成された、作業機１１３０及び車体１１１０の少なくとも一方を動作させるための命令を、通信装置２５を介して取得する。作業機制御装置２７は、取得した命令に基づいて、油圧システム３６の電磁制御弁２８を制御する。
　油圧システム３６は、電磁制御弁２８と、油圧ポンプ２９と、リフトシリンダ１１３３、走行モータ３０等の油圧アクチュエータとを備える。油圧ポンプ２９は、エンジン３１によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置２７は、電磁制御弁２８を制御することにより、リフトシリンダ１１３３等に供給される作動油の流量を制御する。このようにして、作業機制御装置２７は、リフトシリンダ１１３３等の動作を制御する。
　センサコントローラ２６は、ストロークセンサ１１３４等の検出値を取得する。ストロークセンサ１１３４はリフトシリンダ１１３３に設けられる。リフトシリンダ長が決定されれば、作業機１１３０の姿勢が決定される。したがって、これを検出するストロークセンサ１１３４等は、作業機１１３０の姿勢を検出する姿勢検出装置３２に相当する。姿勢検出装置３２は、ストロークセンサ１１３４等に限定されるものではなく、角度検出器であってもよい。
　センサコントローラ２６は、ストロークセンサ１１３４が検出したリフトシリンダ長から、ブルドーザ１１００の座標系であるローカル座標系（車体座標系）における水平面と直交する方向（ｚ軸方向）に対するリフトフレーム１１３１の回転角を算出する。リフトフレーム１１３１およびブレード１１３２の形状は既知であるため、センサコントローラ２６は、リフトフレーム１１３１の回転角から、ブレード１１３２の刃先１１３２ｅの位置を特定することができる。また、センサコントローラ２６は、ストロークセンサ１１３４が検出したリフトシリンダ長からリフトフレーム１１３１の回転角やブレード１１３２の傾斜角を算出する。リフトフレーム１１３１の回転角は、作業機１１３０の姿勢を示す情報である。すなわち、センサコントローラ２６は、作業機１１３０の姿勢を示す情報を求める。センサコントローラ２６は、算出した傾斜角を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。
　ＧＮＳＳアンテナ２１は、自身の位置を示す位置Ｐ１を測位衛星から受信する。ＧＮＳＳアンテナ２２は、自身の位置を示す位置Ｐ２を測位衛星から受信する。ＧＮＳＳアンテナ２１、２２は、例えば１０Ｈｚ周期で位置Ｐ１、Ｐ２を受信する。位置Ｐ１、Ｐ２は、グローバル座標系において、ＧＮＳＳアンテナが設置されている位置の情報である。ＧＮＳＳアンテナ２１、２２で受信されたＧＮＳＳ電波に応じた信号、すなわち位置Ｐ１、Ｐ２は、グローバル位置演算装置２３に入力される。ＧＮＳＳアンテナ２１、２２は、位置Ｐ１、Ｐ２を受信する毎に、グローバル位置演算装置２３に出力する。
　グローバル位置演算装置２３は、ＣＰＵ等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。グローバル位置演算装置２３は、例えば１０Ｈｚの周波数でグローバル座標系におけるＧＮＳＳアンテナ２１、２２の位置Ｐ１、Ｐ２を検出し、基準位置情報Ｐｇａ１、Ｐｇａ２としてセンサコントローラ２６に出力する。実施形態において、グローバル位置演算装置２３は、取得した２つの位置Ｐ１、Ｐ２から、ブルドーザ１１００の方位角、より具体的には車体１１１０の方位角であるヨー角を求めてセンサコントローラ２６に出力する。センサコントローラ２６は、取得した基準位置情報Ｐｇａ１、Ｐｇａ２及びヨー角を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。
　ＩＭＵ３３は、ブルドーザ１１００の動作及び姿勢を検出する。ブルドーザ１１００の動作は、車体１１１０の動作及び走行装置１１２０の動作の少なくとも一方を含む。ブルドーザ１１００の姿勢は、ブルドーザ１１００のロール角、ピッチ角及びヨー角によって表すことができる。実施形態において、ＩＭＵ３３は、ブルドーザ１１００の角速度及び加速度を検出して出力する。
＜処理部５１Ｐの機能的構成例＞
　図４は、図１に示す処理部５１Ｐの機能的構成例を示すブロック図である。図４に示すように、本実施形態の処理部５１Ｐは、ハードウェアとソフトウェアとの組み合わせから構成される機能的要素として、取得部５１Ｐ１と、変換部５１Ｐ２と、画像生成部５１Ｐ３と、表示処理部５１Ｐ４とを有する。取得部５１Ｐ１は、ブルドーザ１１００（作業機械）に搭載された距離検出装置２０が計測した複数の計測点の三次元データを取得する。変換部５１Ｐ２は、三次元データを、ブルドーザ１１００の車体１１１０に紐づいて規定されたローカル座標系（車体座標系）に変換する。画像生成部５１Ｐ３は、ローカル座標系に変換された三次元データに基づいて、地形の三次元形状を表す基準画像を生成する。そして、表示処理部５１Ｐ４は、撮像装置１９（カメラ）による撮影画像に、基準画像を重畳して表示装置５２に表示する。その際、画像生成部５１Ｐ４は、三次元データの各計測点の、ブルドーザ１１００の接地面に対する法線方向の距離に応じて、基準画像の計測点に対応する位置における基準画像の表示形態を決定する。ここで、接地面は、クローラ（履帯）１１２１が現場で接地している面である。表示形態は、例えば、基準画像の配色、基準画像が複数の線画像や複数の線画像からなる格子画像を含む場合の線の太さや線の密度、線種（破線や鎖線の別等）等である。この構成によれば、作業機械が走行あるいは作業する対象の表示態様を作業機械の接地面に対する法線方向の距離に応じて変化させることができるので、例えば、傾斜地に存在する凹凸等の表示態様を周囲の表示態様と異ならせることができる。
＜座標系について＞
　図５は、実施形態に係る画像表示システム１００及び遠隔操作システム１０１での座標系を説明するための図である。図６は、ブルドーザ１１００を模式的に示す背面図である。図７は、撮像装置及び距離検出装置の座標系を説明する図である。画像表示システム１００及び遠隔操作システム１０１においては、グローバル座標系と、ローカル座標系と、撮像装置１９の座標系と、距離検出装置２０の座標系とが存在する。実施形態において、グローバル座標系とは、例えば、ＧＮＳＳにおける座標系である。グローバル座標系は、ブルドーザ１１００の作業区画ＧＡに設置された基準となる、例えば基準杭８０の基準位置ＰＧを基準とした、（Ｘ、Ｙ、Ｚ）で示される三次元座標系である。図５に示されるように、基準位置ＰＧは、例えば、作業区画ＧＡに設置された基準杭８０の先端８０Ｔに位置する。
　ローカル座標系とは、ブルドーザ１１００を基準とした、（ｘ、ｙ、ｚ）で示される三次元座標系である。実施形態において、ローカル座標系の原点位置ＰＬは、車体１１１０の所定位置である。
　実施形態において、撮像装置１９の座標系は、図７に示されるように、撮像素子１９ＲＣの受光面１９Ｐの中心を原点ＰＣとした、（Ｘｃ、Ｙｃ、Ｚｃ）で示される三次元座標系である。実施形態において、距離検出装置２０の座標系は、図７に示されるように、距離検出素子２０ＲＣの受光面２０Ｐの中心を原点ＰＤとした、（Ｘｄ、Ｙｄ、Ｚｄ）で示される三次元座標系である。
＜ブルドーザ１１００の姿勢＞
　図６に示されるように、車体１１１０の左右方向、すなわち幅方向に対する傾斜角θ４はブルドーザ１１００のロール角であり、車体１１１０の前後方向に対する傾斜角θ５はブルドーザ１１００のピッチ角であり、ｚ軸周りにおける車体１１１０の角度はブルドーザ１１００のヨー角である。ロール角はＩＭＵ３３によって検出されたｙ軸周りの角速度を時間で積分することにより、ピッチ角はＩＭＵ３３によって検出されたｘ軸周りの角速度を時間で積分することにより、ヨー角はＩＭＵ３３によって検出されたｚ軸周りの角速度を時間で積分することにより求められる。ｚ軸周りの角速度は、ブルドーザ１１００の旋回角速度ωである。すなわち、旋回角速度ωを時間で積分することによりブルドーザ１１００、より具体的には車体１１１０のヨー角が得られる。
　ＩＭＵ３３が検出した加速度及び角速度は、動作情報としてセンサコントローラ２６に出力される。センサコントローラ２６は、ＩＭＵ３３から取得した動作情報にフィルタ処理及び積分といった処理を施して、ロール角である傾斜角θ４、ピッチ角である傾斜角θ５及びヨー角を求める。センサコントローラ２６は、求めた傾斜角θ４、傾斜角θ５及びヨー角を、ブルドーザ１１００の姿勢に関連する情報として、図３に示される信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。
　センサコントローラ２６は、前述したように、作業機１１３０の姿勢を示す情報を求める。作業機１１３０の姿勢を示す情報は、具体的には、ローカル座標系における水平面と直交する方向（ｚ軸方向）に対するリフトフレーム１１３１の傾斜角θ１や、ブレード１１３２の傾斜角、刃先１１３２ｅの位置等である。図１に示される施設５０の処理装置５１は、ブルドーザ１１００のセンサコントローラ２６から取得した作業機１１３０の姿勢を示す情報、すなわち傾斜角θ１やブレード１１３２の刃先１１３２ｅの位置（以下、適宜刃先位置と称する）Ｐ４を算出する。
　処理装置５１の記憶部５１Ｍは、作業機１１３０のデータ（以下、適宜作業機データという）を記憶している。作業機データは、例えばローカル座標系の原点位置ＰＬを基準とするリフトフレーム１１３１およびブレード１１３２の形状を表すデータを含む。処理装置５１は、作業機データと、ストロークセンサ１１３４が検出したリフトシリンダ長や傾斜角θ１及び原点位置ＰＬを用いて、原点位置ＰＬに対する刃先位置Ｐ４を求めることができる。実施形態において、施設５０の処理装置５１が刃先位置Ｐ４を求めたが、ブルドーザ１１００のセンサコントローラ２６が刃先位置Ｐ４を求めて施設５０の処理装置５１に送信してもよい。
＜画像表示システム１００及び遠隔操作システム１０１が実行する制御例＞
　図８は、画像表示システム１００及び遠隔操作システム１０１が実行する制御例のフローチャートである。図１１は、撮像装置１９及び距離検出装置２０と作業対象ＷＡとを示す図である。
　ステップＳ１０１において、図３に示されるセンサコントローラ２６は、ブルドーザ１１００の情報を取得する。ブルドーザ１１００の情報は、撮像装置１９、距離検出装置２０、グローバル位置演算装置２３、姿勢検出装置３２及びＩＭＵ３３から得られる情報である。撮像装置１９は、図１１に示されるように、撮像範囲ＴＡ内で作業対象ＷＡを撮像し、作業対象ＷＡの画像を得る。距離検出装置２０は、検出範囲ＭＡ内に存在する作業対象ＷＡ及びその他の物体までの、距離検出装置２０からの距離Ｌｄを検出する。グローバル位置演算装置２３は、グローバル座標系におけるＧＮＳＳアンテナ２１、２２の位置Ｐ１、Ｐ２に対応する基準位置情報Ｐｇａ１、Ｐｇａ２を求める。姿勢検出装置３２は、リフトシリンダ長等を検出する。ＩＭＵ３３は、ブルドーザ１１００の姿勢、より具体的には、車体１１１０のロール角θ４、ピッチ角θ５及びヨー角を検出する。
　ステップＳ１０２において、画像表示システム１００及び遠隔操作システム１０１の処理装置５１は、取得部５１Ｐ１によって、ブルドーザ１１００の通信装置２５及び処理装置５１に接続された通信装置５４を介して、ブルドーザ１１００のセンサコントローラ２６からブルドーザ１１００の情報を取得する。
　処理装置５１がセンサコントローラ２６から取得するブルドーザ１１００の情報は、撮像装置１９によって撮像された作業対象ＷＡの画像と、距離検出装置２０が検出した、距離検出装置２０から作業対象ＷＡまでの距離の情報と、姿勢検出装置３２によって検出されたブルドーザ１１００が備える作業機１１３０の姿勢の情報と、基準位置情報Ｐｇａ１、Ｐｇａ２と、ブルドーザ１１００の姿勢の情報と、を含む。
　距離検出装置２０から作業対象ＷＡまでの距離の情報は、検出範囲ＭＡ内に存在する作業対象ＷＡ又は物体ＯＢまでの距離Ｌｄと、距離Ｌｄに対応する位置Ｐｄの方位の情報とを含む。図１１では、作業対象ＷＡまでの距離として距離Ｌｄを示す。位置Ｐｄの方位の情報は、距離検出装置２０を基準としたときの位置Ｐｄの方位であり、距離検出装置２０の座標系の各軸Ｘｄ、Ｙｄ、Ｚｄに対する角度である。処理装置５１が取得する作業機１１３０の姿勢の情報は、リフトシリンダ長等を用いてセンサコントローラ２６が求めた、作業機１１３０の傾斜角θ１である。ブルドーザ１１００の姿勢の情報は、ブルドーザ１１００、より具体的には車体１１１０のロール角θ４、ピッチ角θ５及びヨー角である。
　処理装置５１は、例えば変換部５１Ｐ２によって、センサコントローラ２６から取得した作業機１１３０の傾斜角θ１等と、記憶部５１Ｍに記憶されているリフトシリンダ長等とを用いて、ブレード１１３２の刃先位置Ｐ４を求める。ブレード１１３２の刃先位置Ｐ４は、ブルドーザ１１００のローカル座標系（ｘ、ｙ、ｚ）における座標の集合である。
　ステップＳ１０３に進み、処理装置５１は、変換部５１Ｐ２によって、ローカル座標系の原点を求める。
　ステップＳ１０４に進み、処理装置５１は、変換部５１Ｐ２によって、作業対象ＷＡまでの距離の情報を用いて、作業対象ＷＡまでの距離Ｌｄを位置の情報に変換する。位置の情報は、距離検出装置２０の座標系（Ｘｄ、Ｙｄ、Ｚｄ）における位置Ｐｄの座標である。ステップＳ１０４においては、検出範囲ＭＡ内で距離検出装置２０によって検出されたすべての距離Ｌｄが、位置の情報に変換される。処理装置５１は、変換部５１Ｐ２によって、距離Ｌｄと、距離Ｌｄに対応する位置Ｐｄの方位の情報とを用いて、距離Ｌｄを位置の情報に変換する。ステップＳ１０４においては、検出範囲ＭＡ内に存在する物体ＯＢまでの距離も、作業対象ＷＡの距離Ｌｄと同様に、位置の情報に変換される。ステップＳ１０４の処理によって、検出範囲ＭＡ内における作業対象ＷＡの位置の情報が得られる。作業対象ＷＡの位置の情報から、作業対象ＷＡの形状の情報を得ることができる。
　作業対象ＷＡの位置の情報及び形状の情報は、距離検出装置２０の座標系（Ｘｄ、Ｙｄ、Ｚｄ）における位置Ｐｄの座標の集合である。処理装置５１は、変換部５１Ｐ２によって、作業対象ＷＡの形状の情報を、撮像装置１９の座標系（Ｘｃ、Ｙｃ、Ｚｃ）の値に変換した後、ブルドーザ１１００のローカル座標系（ｘ、ｙ、ｚ）の値に変換する。
　ステップＳ１０５において、処理装置５１は、変換部５１Ｐ２によって、作業対象ＷＡの位置の情報、ブレード１１３２の刃先位置Ｐ４及びブルドーザ１１００のセンサコントローラ２６から取得した基準位置情報Ｐｇａ１、Ｐｇａ２を、グローバル座標系（Ｘ、Ｙ、Ｚ）に変換する。グローバル座標系（Ｘ、Ｙ、Ｚ）への変換にあたって、処理装置５１は、変換部５１Ｐ２によって、センサコントローラ２６から取得したブルドーザ１１００のロール角θ４、ピッチ角θ５及びヨー角を用いた回転行列を生成する。処理装置５１は、変換部５１Ｐ２によって、生成した回転行列を用いて、作業対象ＷＡの位置の情報、ブレード１１３２の刃先位置Ｐ４及び基準位置情報Ｐｇａ１、Ｐｇａ２を、グローバル座標系（Ｘ、Ｙ、Ｚ）に変換する。次に、ステップＳ１０６に進み、処理装置５１は、画像生成部５１Ｐ３（又は変換部５１Ｐ２）によって、占有領域を求める。
　図１２は、占有領域ＳＡを説明する図である。占有領域ＳＡは、作業対象ＷＡの形状の情報内において、作業機１１３０が占める領域である。図１２に示される例では、作業機１１３０のブレード１１３２の一部が距離検出装置２０の検出範囲ＭＡ内、かつ距離検出装置２０と作業対象ＷＡとの間に入っている。このため、占有領域ＳＡの部分は、距離検出装置２０によって、作業対象ＷＡまでの距離ではなくブレード１１３２までの距離が検出される。実施形態において、処理装置５１は、画像生成部５１Ｐ３によって、ステップＳ１０４で得られた作業対象ＷＡの形状の情報から、占有領域ＳＡの部分を除去する。
　処理装置５１は、画像生成部５１Ｐ３によって、ブレード１１３２の位置及び姿勢の少なくとも一方に応じて距離検出装置２０が検出する位置及び姿勢の少なくとも一方の情報を、例えば記憶部５１Ｍに記憶させておく。このような情報は、本実施形態においてブルドーザ１１００の作業機１１３０の姿勢に含まれる。作業機１１３０の姿勢は、作業機１１３０の傾斜角θ１、リフトシリンダ長等を用い、必要に応じてブルドーザ１１００の姿勢を用いて求めることができる。そして、処理装置５１は、画像生成部５１Ｐ３によって、距離検出装置２０によって検出されたデータと記憶部５１Ｍに記憶されている情報とを比較し、両者がマッチングしたならば、ブレード１１３２が検出されたものとすることができる。このような作業機１１３０の姿勢を用いた処理により、処理装置５１は、図１に示される格子画像６５を生成する際に、占有領域ＳＡのブレード１１３２の情報を使わないので、格子画像６５を正確に生成できる。
　なお、占有領域ＳＡの部分を除去するために、作業機１１３０の姿勢を用いた処理は、次のような方法によって行われてもよい。作業機１１３０の姿勢に含まれる、ブレード１１３２のグローバル座標系における位置及び姿勢の少なくとも一方に関する情報は、作業機１１３０の傾斜角θ１、リフトシリンダ長等から求められる。ステップＳ１０４及びステップＳ１０５で、グローバル座標系における作業対象ＷＡの形状の情報が得られている。ステップＳ１０７において、処理装置５１は、画像生成部５１Ｐ３によって、ブレード１１３２の位置を作業対象ＷＡの形状の情報に投影した領域を占有領域ＳＡとして、作業対象ＷＡの形状から除去する。
　図１３は、占有領域を除去した作業対象ＷＡの形状の情報を示す図である。作業対象ＷＡの形状の情報ＩＭＷＡは、グローバル座標系（Ｘ、Ｙ、Ｚ）における座標Ｐｇｄ（Ｘ、Ｙ、Ｚ）の集合である。占有領域ＩＭＢＡは、ステップＳ１０７の処理により、座標の情報が存在しない。次に、ステップＳ１０８に進み、処理装置５１は、画像生成部５１Ｐ３によって、ブレード１１３２の位置を示す画像を生成する。ブレード１１３２の位置を示す画像は、作業対象ＷＡ上でブレード１１３２に対応する部分の画像である。
　図１４から図１６は、作業対象ＷＡ上でのブレード１１３２の位置を示す画像を説明するための図である。実施形態において、ブレード１１３２の位置を示す画像は、作業対象ＷＡ上でのブレード１１３２の刃先１１３２ｅの位置を示す画像である。以下において、ブレード１１３２の刃先１１３２ｅの位置を示す画像を、適宜、刃先位置画像と称する。刃先位置画像は、図１４に示されるように、刃先１１３２ｅを鉛直方向、すなわち重力が作用する方向の作業対象ＷＡに投影したときに、作業対象ＷＡの表面ＷＡＰの位置Ｐｇｔ（Ｘ、Ｙ、Ｚ）で規定される画像である。鉛直方向は、グローバル座標系（Ｘ、Ｙ、Ｚ）におけるＺ方向であり、Ｘ方向及びＹ方向とは直交する方向である。
　図１５に示されるように、作業対象ＷＡの表面ＷＡＰの第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）と第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）との間で、作業対象ＷＡの表面ＷＡＰに沿って形成される線画像が、刃先位置画像６１である。第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）は、ブレード１１３２の幅方向Ｗｂの一方の端部８Ｗｔ１側における刃先１１３２ｅの外側の位置Ｐｇｂ１から鉛直方向に向かって延ばした直線ＬＶ１と作業対象ＷＡの表面ＷＡＰとの交点である。第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）は、ブレード１１３２の幅方向Ｗｂの他方の端部８Ｗｔ２側における刃先１１３２ｅの外側の位置Ｐｇｂ２から鉛直方向に向かって延ばした直線ＬＶ２と作業対象ＷＡの表面ＷＡＰとの交点である。
　処理装置５１は、画像生成部５１Ｐ３によって、ブレード１１３２の位置Ｐｇｂ１及び位置Ｐｇｂ２から鉛直方向に延びた直線ＬＶ１及び直線ＬＶ２を求める。次に、処理装置５１は、画像生成部５１Ｐ３によって、得られた直線ＬＶ１及び直線ＬＶ２と、作業対象ＷＡの形状の情報とから、第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）及び第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）を求める。そして、処理装置５１は、画像生成部５１Ｐ３によって、第１位置Ｐｇｔ１と第２位置Ｐｇｔ２とを結ぶ直線を作業対象ＷＡの表面ＷＡＰに投影したときの表面ＷＡＰの位置Ｐｇｔの集合を刃先位置画像６１とする。
　実施形態において、処理装置５１は、画像生成部５１Ｐ３によって、位置Ｐｇｂ１と第１位置Ｐｇｔ１（Ｘ１、Ｙ１、Ｚ１）とを結ぶ直線ＬＶ１の画像である第１直線画像６２と、位置Ｐｇｂ２と第２位置Ｐｇｔ２（Ｘ２、Ｙ２、Ｚ２）とを結ぶ直線ＬＶ２の画像である第２直線画像６３とを生成する。次に、処理装置５１は、画像生成部５１Ｐ３によって、刃先位置画像６１、第１直線画像６２及び第２直線画像６３を、撮像装置１９を基準、すなわち撮像装置１９の視点の画像に変換する。
　図１６に示されるように、撮像装置１９の視点の画像は、グローバル座標系（Ｘ、Ｙ、Ｚ）における撮像装置の原点Ｐｇｃ（Ｘｃ、Ｙｃ、Ｚｃ）から刃先位置画像６１、第１直線画像６２及び第２直線画像６３を見たときの画像である。撮像装置の原点Ｐｇｃ（Ｘｃ、Ｙｃ、Ｚｃ）は、撮像装置１９が備える撮像素子１９ＲＣの受光面１９Ｐの中心、すなわち原点ＰＣを、グローバル座標系（Ｘ、Ｙ、Ｚ）に変換した座標である。
　刃先位置画像６１、第１直線画像６２及び第２直線画像６３は、三次元空間内の画像であるが、撮像装置１９の視点の画像は２次元の画像である。したがって、処理装置５１は、画像生成部５１Ｐ３によって、三次元空間、すなわちグローバル座標系（Ｘ、Ｙ、Ｚ）内に定義された刃先位置画像６１、第１直線画像６２及び第２直線画像６３を、２次元面上に投影する透視投影変換を実行する。撮像装置１９の視点の画像に変換された刃先位置画像６１、第１直線画像６２及び第２直線画像６３を、以下においては適宜、作業具案内画像６０と称する。
　ステップＳ１０９に進み、処理装置５１は、画像生成部５１Ｐ３によって、グローバル座標をローカル座標系に変換する。
　ステップＳ１１０に進み、処理装置５１は、画像生成部５１Ｐ３によって、ローカル座標系の高さに応じて基準画像のグラデーション配色を求める。ステップＳ１１０において、画像生成部５１Ｐ３は、三次元データの各計測点の、ブルドーザ１１００の接地面に対する法線方向の距離に応じて、基準画像の計測点に対応する位置における基準画像のグラデーション配色を決定する。画像生成部５１Ｐ３は、例えば、比較的低い計測点に対応する位置における基準画像の配色を寒色とし、比較的高い計測点に対応する位置における基準画像の配色を暖色とし、中間的な高さの計測点に対応する位置における基準画像の配色を中性色に設定する。
　例えば、図９に示すように、ブルドーザ１１００の接地面が平地４０３である場合、処理装置５１は、画像生成部５１Ｐ３によって、ローカル座標系のｚ方向（この場合、鉛直方向）の高さに応じて、基準画像のグラデーション配色を求める。図９に示す例では、処理装置５１は、画像生成部５１Ｐ３によって、図２１を参照して説明した水平面基準で決定した場合と同様に、基準画像のグラデーション配色を求める。図９は、網掛けの密度の変化で配色の変化を示す模式図である。
　また、例えば、図１０に示すように、ブルドーザ１１００の接地面が傾斜地４０１である場合、処理装置５１は、画像生成部５１Ｐ３によって、ローカル座標系のｚ方向（この場合、傾斜地４０１の斜面と垂直な方向）の高さに応じて、基準画像のグラデーション配色を求める。図１０に示す例では、処理装置５１は、画像生成部５１Ｐ３によって、図２１を参照して説明した水平面基準で決定した場合と異なり、基準画像のグラデーション配色を求める。図１０は、網掛けの密度の変化で配色の変化を示す模式図である。この場合、図２１では色分けされていなかった傾斜地４０１にある凹凸４０２に周辺と異なる配色を設定することができる。
　図１７及び図１８は、基準画像である格子画像６５を示す図である。ステップＳ１１０で基準画像のグラデーション配色が決定されたら、ステップＳ１１１に進み、処理装置５１は、画像生成部５１Ｐ３によって、ステップＳ１１０で決定されたグラデーション配色で基準画像である格子画像６５を生成する。格子画像６５は、作業対象ＷＡの位置の情報を用いて作業対象ＷＡの表面ＷＡＰに沿った線画像である。格子画像６５は、複数の第１の線画像６６と、複数の第１の線画像６６と交差する複数の第２の線画像６７とを備えた格子である。実施形態において、第１の線画像６６は、例えば、グローバル座標系（Ｘ、Ｙ、Ｚ）におけるＸ方向と平行に延び、Ｙ方向に配置される線画像である。第１の線画像６６は、グローバル座標系（Ｘ、Ｙ、Ｚ）において、ブルドーザ１１００が備える車体１１１０の前後方向と平行に伸び、車体１１１０の幅方向に配置される線画像であってもよい。
　格子画像６５は、作業対象ＷＡの位置の情報、より具体的には表面ＷＡＰの位置Ｐｇｇ（Ｘ、Ｙ、Ｚ）を用いて生成される。第１の線画像６６と第２の線画像６７との交点が位置Ｐｇｇ（Ｘ、Ｙ、Ｚ）となる。第１の線画像６６及び第２の線画像６７は、図１８に示されるように、グローバル座標系（Ｘ、Ｙ、Ｚ）で定義されるので、三次元の情報を含んでいる。実施形態において、複数の第１の線画像６６は等間隔で配置され、複数の第２の線画像６７は等間隔で配置される。隣接する第１の線画像６６同士の間隔と、隣接する第２の線画像６７同士の間隔とは等しい。
　格子画像６５は、表面ＷＡＰの位置Ｐｇｇ（Ｘ、Ｙ、Ｚ）を用いて生成された第１の線画像６６及び第２の線画像６７が、撮像装置１９の視点の画像に変換された画像である。処理装置５１は、画像生成部５１Ｐ３によって、第１の線画像６６及び第２の線画像６７を生成したら、これらを撮像装置１９の視点の画像に変換して、格子画像６５を生成する。第１の線画像６６及び第２の線画像６７が撮像装置１９の視点の画像に変換されることで、作業対象ＷＡの絶対距離を補助するために、水平面において等間隔の格子画像６５を、作業対象ＷＡの形状に合わせて変形させて表示させることができる。
　次に、ステップＳ１１２において、処理装置５１は、表示処理部５１Ｐ４によって、生成された作業具案内画像６０及び基準画像である格子画像６５から、前述した占有領域ＳＡを除去する。ステップＳ１１２において、処理装置５１は、表示処理部５１Ｐ４によって、占有領域ＳＡを撮像装置１９の視点の画像に変換して、作業具案内画像６０及び基準画像である格子画像６５から除去する。実施形態において、処理装置５１は、表示処理部５１Ｐ４によって、撮像装置１９の視点の画像に変換される前の刃先位置画像６１、第１直線画像６２及び第２直線画像６３と、撮像装置１９の視点の画像に変換される前の第１の線画像６６及び第２の線画像６７とから、それぞれ撮像装置１９の視点の画像に変換される前の占有領域ＳＡを除去してもよい。
　図１９は、作業用の画像６９を示す図である。ステップＳ１１３において、処理装置５１は、表示処理部５１Ｐ４によって、占有領域ＳＡが除去された作業具案内画像６０と、格子画像６５と、撮像装置１９によって撮像された作業対象ＷＡの画像６８とを合成して、作業用の画像６９を生成する。ステップＳ１１４において、処理装置５１は、表示処理部５１Ｐ４によって、生成された作業用の画像６８を、表示装置５２に表示する。作業用の画像６９は、作業対象ＷＡの画像６８に、格子画像６５及び作業具案内画像６０が表示された画像である。
　格子画像６５は、作業対象ＷＡの表面ＷＡＰに沿った格子なので、ブルドーザ１１００のオペレータは、格子画像６５を参照することにより、作業対象ＷＡの位置を把握することができる。例えば、オペレータは、第２の線画像６７により奥行き、すなわちブルドーザ１１００が備える車体１１１０の前後方向の位置を把握でき、第１の線画像６６によりブレード１１３２の幅方向の位置を把握できる。
　図２０は、作業用の画像６９の他の例を示す図である。図２０において、作業用の画像６９は、法線方向の距離に応じて線の太さが異なる格子画像６５を含んでいる。図２０に示す格子画像６５は、距離が大きいほど線径が太くなるように設定されている。なお、図２０に示す例では作業機械が油圧ショベル等である。
　本実施形態では、第１の線画像６６及び第２の線画像６７からなる格子画像６５は、高さに応じて異なる色で色づけされる。その際、本実施形態では、ブルドーザ１１００（作業機械）が走行あるいは作業する対象の表示態様を、ブルドーザ１１００の接地面に対する法線方向の距離に応じて変化させることができ、例えば、傾斜地に存在する凹凸等の表示態様を周囲の表示態様と異ならせることができる。すなわち、本実施形態では、高さの色ゲージをクローラ１１２１の接地面基準としているので、例えば登坂中の傾斜地にある凹凸が正しく認識できるようになる。
　作業具案内画像６０は、刃先位置画像６１が、作業対象ＷＡの表面ＷＡＰ及び格子画像６５に沿って表示される。また、図１９に示す例では、刃先位置画像６１を延長した延長線画像６１－１と延長線画像６１－２も作業対象ＷＡの表面ＷＡＰ及び格子画像６５に沿って表示されている。このため、オペレータは、格子画像６５及び刃先位置画像６１により、ブレード１１３２と作業対象ＷＡとの位置関係を把握できるので、作業効率及び作業の精度が向上する。実施形態においては、ブレード１１３２の幅方向Ｗｂの両側から、第１直線画像６２と第２直線画像６３とが刃先位置画像６１の両端を結んでいる。オペレータは、第１直線画像６２及び第２直線画像６３により、ブレード１１３２と作業対象ＷＡとの位置関係を、さらに容易に把握できる。格子画像６５及び刃先位置画像６１は、作業対象となる地形（作業対象ＷＡ）の形状に沿って表示されるため、地形面上（２次元上）での両者の相対位置関係が容易に把握できる。さらに、格子画像６５を構成する、第１の線画像６６及び第２の線画像６７は、グローバル座標系にて等間隔に配置されているため、地形面上での距離感をつかみやすく、遠近感の把握が容易になる。
　実施形態において、作業用の画像６９は、ブレード１１３２の刃先１１３２ｅと作業対象ＷＡとの距離を示す情報を含むことができる。このようにすることで、オペレータは、ブレード１１３２の刃先１１３２ｅと作業対象ＷＡとの実際の距離を把握できるという利点がある。ブレード１１３２の刃先１１３２ｅと作業対象ＷＡとの距離は、ブレード１１３２の幅方向Ｗｂの中央における刃先１１３２ｅから作業対象ＷＡの表面ＷＡＰまでの距離とすることができる。
　なお、作業対象ＷＡとの距離を示す情報は、ブレード１１３２の刃先１１３２ｅと作業対象ＷＡとの距離に代え、又はその距離に加えて、ブレード１１３２の角度といった姿勢に関する情報、ブレード１１３２と作業対象ＷＡとの相対距離を示す情報、ブレード１１３２の例えば刃先１１３２ｅの向きと作業対象ＷＡの面の向きとの関係を示す情報、ブレード１１３２の位置を座標で示した情報、作業対象ＷＡの面の向きを示す情報及び撮像装置１９からブレード１１３２の刃先１１３２ｅまでのローカル座標系におけるｙ方向の距離を示す情報といった情報を含む、作業具又は作業対象Ｗに関する空間位置情報であればよい。
　すなわち、処理装置５１は、表示処理部５１Ｐ４によって、作業具であるブレード１１３２の位置、ブレード１１３２の姿勢、作業対象ＷＡの位置、作業対象ＷＡの相対的な姿勢、ブレード１１３２と作業対象ＷＡとの相対的な距離、ブレード１１３２と作業対象ＷＡとの相対的な姿勢の少なくとも１つを求めて、表示装置５２に表示させてもよい。
　以上、画像表示システム１００及び遠隔操作システム１０１は、撮像装置１９の視点で生成された作業具案内画像６０及び格子画像６５を、撮像装置１９によって撮像された実際の作業対象ＷＡの画像６８と重ね合わせて、表示装置５２に表示する。このような処理により、画像表示システム１００及び遠隔操作システム１０１は、表示装置５２に表示された作業対象ＷＡの画像を用いてブルドーザ１１００を遠隔操作するオペレータに、ブレード１１３２の位置と作業対象ＷＡとの位置関係を把握させやすくすることができるので、作業効率及び作業の精度を向上させることができる。経験の浅いオペレータも、画像表示システム１００及び遠隔操作システム１０１を用いることにより、ブレード１１３２の位置と作業対象ＷＡとの位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。また、画像表示システム１００及び遠隔操作システム１０１は、作業具案内画像６０と、格子画像６５と、実際の作業対象ＷＡの画像６８とを重ね合わせて表示装置５２に表示することにより、作業中にオペレータが注目する画面を単一として、作業効率を向上させることができる。
　格子画像６５は、隣接する第１の線画像６６同士の間隔と、隣接する第２の線画像６７同士の間隔とが等しい。このため、格子画像６５と、撮像装置１９によって撮像された実際の作業対象ＷＡの画像６８とを重ね合わせて表示することにより、作業対象ＷＡでの作業地点を把握しやすくなる。また、作業具案内画像６０の刃先位置画像６１と格子画像６５とを重ね合わせることにより、オペレータは、ブレード１１３２が移動した距離を把握することが容易になるので、作業効率が向上する。
　作業具案内画像６０及び格子画像６５は、作業機１１３０の領域である占有領域ＳＡが除去されるので、作業具案内画像６０及び格子画像６５は、占有領域ＳＡによる歪み及び作業機１１３０に作業具案内画像６０及び格子画像６５が重畳して表示されることを回避できる。その結果、画像表示システム１００及び遠隔操作システム１０１は、オペレータにとって見やすい形態で作業用の画像６９を表示装置５２に表示できる。
　実施形態において、作業具案内画像６０は、少なくとも刃先位置画像６１を含んでいればよい。格子画像６５は、少なくとも複数の第２の線画像６７、すなわちブルドーザ１１００が備える車体１１１０の前後方向と直交する方向を示す複数の線画像を含んでいればよい。また、処理装置５１は、ブレード１１３２の刃先１１３２ｅと作業対象ＷＡとの距離に応じて、作業具案内画像６０のうち、例えば刃先位置画像６１の色を変更してもよい。このようにすることで、オペレータは、ブレード１１３２の位置と作業対象ＷＡとの距離を把握しやすくなる。
　実施形態において、処理装置５１は、作業対象ＷＡの形状の情報をグローバル座標系（Ｘ、Ｙ、Ｚ）に変換して作業具案内画像６０及び格子画像６５を生成したが、作業対象ＷＡの形状の情報をグローバル座標系（Ｘ、Ｙ、Ｚ）に変換しなくてもよい。この場合、処理装置５１は、作業対象ＷＡの形状の情報をブルドーザ１１００のローカル座標系（ｘ、ｙ、ｚ）で取り扱い、作業具案内画像６０及び格子画像６５を生成する。作業対象ＷＡの形状の情報をブルドーザ１１００のローカル座標系（ｘ、ｙ、ｚ）で取り扱う場合、ＧＮＳＳアンテナ２１、２２及びグローバル位置演算装置２３は不要である。
　前述の実施形態では、距離検出装置２０により検出されたブルドーザ１１００の一部（例えば、前述のようにブレード１１３２）を除去し、作業対象ＷＡの形状の情報（三次元地形データ）とした。しかし、過去（例えば数秒前）に取得した三次元地形データを処理装置５１の記憶部５１Ｍに記憶しておき、処理装置５１の処理部５１Ｐが、現在の作業対象ＷＡと、その記憶されている三次元地形データとが同じ位置であるのか判断し、同じ位置であるのであれば、過去の三次元地形データを用いて、格子画像６５を表示させてもよい。つまり、処理装置５１は、撮像装置１９から見て、ブルドーザ１１００の一部によって隠れている地形があっても、過去の三次元地形データがあれば、格子画像６５を表示させることができる。
　また、格子を用いた格子画像６５による表示ではなく、例えばローカル座標系を極座標系として格子画像６５を表示させるようにしてもよい。具体的には、ブルドーザ１１００の中心（例えば、車体１１１０の旋回中心）からの距離に応じた等間隔の同心円を線画像（第２の線画像）として描き、かつ車体１１１０の旋回角度に応じて旋回中心から等間隔に放射状の線画像（第１の線画像）を描くようにしてもよい。この場合、同心円の線画像である第２の線画像と旋回中心からの放射状の線画像である第１の線画像とは交差する。このような格子画像を表示させることによっても、旋回時や掘削時にブレード１１３２の位置と作業対象ＷＡとの位置関係を容易に把握することができる。
＜ブルドーザ１１００の制御系の変形例＞
　前述した画像表示システム１００及び遠隔操作システム１０１は、図１に示される施設５０の操作装置５３を用いてブルドーザ１１００を遠隔操作したが、図２に示される運転室１１４０内に表示装置５２を設けたり、ブルドーザ１１００にオペレータの作業を補助するために、作業用の画像６９が運転室１１４０内の表示装置５２に表示したりしてもよい。この場合、ブルドーザ１１００は、表示装置５２に表示された作業対象ＷＡの画像を用いてブルドーザ１１００を操作するオペレータに、ブレード１１３２の位置と作業対象ＷＡとの位置関係を把握させやすくすることができる。その結果、作業効率及び作業の精度を向上させることができる。また、経験の浅いオペレータも、ブレード１１３２の位置と作業対象ＷＡとの位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。さらに、夜間作業等の場合、オペレータが実際の作業対象ＷＡを目視し難い状況であっても、表示装置５２に表示された作業具案内画像６０及び格子画像６５を見ながら作業することができるので、作業効率の低下が抑制される。
　以上、実施形態を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。作業機械はブルドーザ１１００に限定されず、ホイールローダー又は油圧ショベルのような他の作業機械であってもよい。また、占有領域としてブルドーザのブレード（作業機）を挙げたが、作業機に加え、車体のフードや排気管を占有領域に加えても良い。
　本発明の上記開示によれば、作業機械が走行あるいは作業する対象の表示態様を作業機械の接地面に対する法線方向の距離に応じて変化させることができるので、例えば、傾斜地に存在する凹凸等の表示態様を周囲の表示態様と異ならせることができる。
１１００　ブルドーザ、１１１０　車体、１１２０　走行装置、１１３０　作業機、１１３２　ブレード、１１３２ｅ　刃先、１Ｓ　制御系、１９　撮像装置、２０　距離検出装置、２１、２２　アンテナ（ＧＮＳＳアンテナ）、２３　グローバル位置演算装置、２６　センサコントローラ、２７　作業機制御装置、３２　姿勢検出装置、３３　ＩＭＵ、５０　施設、５１　処理装置、５２　表示装置、５３　操作装置、６０　作業具案内画像（画像）、６１　刃先位置画像、６２　第１直線画像、６３　第２直線画像、６５　格子画像、６６　第１の線画像、６７　第２の線画像、６８　画像、６９　作業用の画像、１００　作業機械の画像表示システム（表示システム）、１０１　作業機械の遠隔操作システム（遠隔操作システム）

Claims (6)

  1. 　作業機械に搭載された距離検出装置が計測した複数の計測点の三次元データを取得する取得部と、
    　前記三次元データを、前記作業機械の車体に紐づいて規定された車体座標系に変換する変換部と、
    　前記車体座標系に変換された三次元データに基づいて、地形の三次元形状を表す基準画像を生成する画像生成部と、
    　撮像装置による撮影画像に、前記基準画像を重畳して表示する表示処理部と、
    　を備え、
    　前記画像生成部は、前記各計測点の、前記作業機械の接地面に対する法線方向の距離に応じて、前記基準画像の前記計測点に対応する位置における前記基準画像の表示形態を決定する
    　作業機械の表示システム。
  2. 　前記基準画像が複数の線画像を含む
    　請求項１に記載の表示システム。
  3. 　前記基準画像が前記複数の線画像による格子を含む
    　請求項２に記載の表示システム。
  4. 　前記表示形態が、前記基準画像の配色である
    　請求項１から３のいずれか１項に記載の表示システム。
  5. 　前記表示形態が、前記線画像の線の太さである
    　請求項２又は３に記載の表示システム。
  6. 　作業機械に搭載された距離検出装置が計測した複数の計測点の三次元データを取得するステップと、
    　前記三次元データを、前記作業機械の車体に紐づいて規定された車体座標系に変換するステップと、
    　前記車体座標系に変換された三次元データに基づいて、地形の三次元形状を表す基準画像を生成するステップと、
    　撮像装置による撮影画像に、前記基準画像を重畳して表示装置に表示するステップと、
    　を備え、
    　前記基準画像を生成するステップは、さらに、前記各計測点の、前記作業機械の接地面に対する法線方向の距離に応じて、前記基準画像の前記計測点に対応する位置における前記基準画像の表示形態を決定するステップを含む
    　表示方法。
PCT/JP2020/020749 2019-05-31 2020-05-26 表示システムおよび表示方法 WO2020241640A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2020283021A AU2020283021B2 (en) 2019-05-31 2020-05-26 Display system and display method
CA3137813A CA3137813A1 (en) 2019-05-31 2020-05-26 Display system and display method
US17/605,272 US11908076B2 (en) 2019-05-31 2020-05-26 Display system and display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019103166A JP7344675B2 (ja) 2019-05-31 2019-05-31 表示システム、遠隔操作システムおよび表示方法
JP2019-103166 2019-05-31

Publications (1)

Publication Number Publication Date
WO2020241640A1 true WO2020241640A1 (ja) 2020-12-03

Family

ID=73552802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020749 WO2020241640A1 (ja) 2019-05-31 2020-05-26 表示システムおよび表示方法

Country Status (5)

Country Link
US (1) US11908076B2 (ja)
JP (1) JP7344675B2 (ja)
AU (1) AU2020283021B2 (ja)
CA (1) CA3137813A1 (ja)
WO (1) WO2020241640A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011058A (ja) * 2003-06-19 2005-01-13 Hitachi Constr Mach Co Ltd 作業機械の作業支援・管理システム
WO2016111148A1 (ja) * 2015-12-18 2016-07-14 株式会社小松製作所 施工情報表示装置および施工情報の表示方法
JP2018035645A (ja) * 2016-09-02 2018-03-08 株式会社小松製作所 作業機械の画像表示システム
JP2018056953A (ja) * 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018059268A (ja) * 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP2018152738A (ja) * 2017-03-13 2018-09-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA952853B (en) * 1994-04-18 1995-12-21 Caterpillar Inc Method and apparatus for real time monitoring and co-ordination of multiple geography altering machines on a work site
JPH11222882A (ja) * 1998-02-05 1999-08-17 Komatsu Ltd 危険領域監視装置
US7532967B2 (en) 2002-09-17 2009-05-12 Hitachi Construction Machinery Co., Ltd. Excavation teaching apparatus for construction machine
JP4771459B2 (ja) 2005-08-12 2011-09-14 国際航業株式会社 カラー標高傾斜図作成システムおよびカラー標高傾斜図作成方法
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
JP6572156B2 (ja) * 2016-03-02 2019-09-04 株式会社神戸製鋼所 建設機械の干渉防止装置
JP7219099B2 (ja) * 2019-01-23 2023-02-07 株式会社小松製作所 作業機械のためのシステム及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011058A (ja) * 2003-06-19 2005-01-13 Hitachi Constr Mach Co Ltd 作業機械の作業支援・管理システム
WO2016111148A1 (ja) * 2015-12-18 2016-07-14 株式会社小松製作所 施工情報表示装置および施工情報の表示方法
JP2018035645A (ja) * 2016-09-02 2018-03-08 株式会社小松製作所 作業機械の画像表示システム
JP2018056953A (ja) * 2016-09-30 2018-04-05 アイシン精機株式会社 周辺監視装置
JP2018059268A (ja) * 2016-09-30 2018-04-12 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP2018152738A (ja) * 2017-03-13 2018-09-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム

Also Published As

Publication number Publication date
AU2020283021B2 (en) 2023-09-07
AU2020283021A1 (en) 2021-11-04
US20220230391A1 (en) 2022-07-21
US11908076B2 (en) 2024-02-20
JP7344675B2 (ja) 2023-09-14
CA3137813A1 (en) 2020-12-03
JP2020197045A (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
WO2020241618A1 (ja) マップ生成システム及びマップ生成方法
KR102013761B1 (ko) 작업 기계의 화상 표시 시스템, 작업 기계의 원격 조작 시스템 및 작업 기계
JP6794193B2 (ja) 作業機械の画像表示システム
JP7462710B2 (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP7128497B2 (ja) 作業機械の画像表示システム
WO2020241572A1 (ja) マップ生成システム及びマップ生成方法
WO2020241640A1 (ja) 表示システムおよび表示方法
JP7333551B2 (ja) 作業機械の画像表示システム
JP6923144B2 (ja) 作業機械の画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814601

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3137813

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2020283021

Country of ref document: AU

Date of ref document: 20200526

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20814601

Country of ref document: EP

Kind code of ref document: A1