WO2020003633A1 - 表示制御システム、表示制御装置、および表示制御方法 - Google Patents

表示制御システム、表示制御装置、および表示制御方法 Download PDF

Info

Publication number
WO2020003633A1
WO2020003633A1 PCT/JP2019/010160 JP2019010160W WO2020003633A1 WO 2020003633 A1 WO2020003633 A1 WO 2020003633A1 JP 2019010160 W JP2019010160 W JP 2019010160W WO 2020003633 A1 WO2020003633 A1 WO 2020003633A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
work machine
display control
image
detection device
Prior art date
Application number
PCT/JP2019/010160
Other languages
English (en)
French (fr)
Inventor
和久 高濱
幸紀 松村
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US17/048,695 priority Critical patent/US11459735B2/en
Priority to AU2019292458A priority patent/AU2019292458B2/en
Publication of WO2020003633A1 publication Critical patent/WO2020003633A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Definitions

  • the present invention relates to a display control system, a display control device, and a display control method.
  • Priority is claimed on Japanese Patent Application No. 2018-125424 filed on June 29, 2018, the content of which is incorporated herein by reference.
  • Patent Document 1 discloses an image pickup device and a distance detection device (depth detection device) provided at the front of a work machine in order to give an operator a sense of perspective when remotely operating the work machine. Discloses a technique of superimposing and displaying a grid representing a distance.
  • the distance detection device is provided at a front portion of the work machine to detect a distance in an imaging range of the imaging device.
  • the working range is included in the imaging range of the imaging device. For this reason, the distance detection device cannot detect the distance of the portion of the construction object that is shadowed by the work machine.
  • An object of the present invention is to provide a display control system, a display control device, and a display control method that solve the above-described problems.
  • a display control system is a display control system including a work machine and a display control device, wherein the work machine has a work machine and a depth detection device that detects depth in a detection range. And a depth detection device provided at a location where the work machine does not interfere with the detection range, and a posture detection device that detects a posture of the work machine, wherein the display control device is configured such that the depth detection device A map generation unit that generates a three-dimensional map representing a shape around the work machine based on the generated depth information and the posture information generated by the posture detection device; and a position of the work machine in the three-dimensional map.
  • the image processing apparatus includes a depth image generating unit that generates a depth image representing a depth of a range including the display unit, and a display control unit that outputs a display signal for displaying the depth image.
  • the display control system can display the depth image representing the depth of the construction target in the range including the work implement.
  • FIG. 1 is a schematic diagram illustrating a configuration of a remote operation system according to a first embodiment.
  • FIG. 2 is an external view of the working machine according to the first embodiment.
  • FIG. 2 is a top view illustrating installation positions of an imaging device and a depth detection device in the work machine according to the first embodiment.
  • FIG. 2 is a schematic block diagram illustrating a configuration of a remote cab control device according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a relationship between a three-dimensional map and a rendering camera in a virtual space.
  • FIG. 4 is a diagram illustrating an example of a display image according to the first embodiment. It is a flowchart which shows the display control processing by the control apparatus of the remote operator's cab concerning 1st Embodiment. It is a figure showing the example of the display picture concerning a comparative example.
  • FIG. 1 is a schematic diagram illustrating a configuration of a remote operation system according to the first embodiment.
  • the work system 1 includes a work machine 100 and a remote cab 500.
  • the work machine 100 operates at a work site (for example, a mine or a quarry).
  • the remote operator's cab 500 is provided at a point remote from the work site (for example, in a city or in the work site). That is, the operator remotely operates the work machine 100 from a distance where the work machine 100 cannot be visually recognized.
  • Work machine 100 is remotely operated based on an operation signal transmitted from remote cab 500.
  • Work machine 100 and remote cab 500 are connected by communication via access point 350.
  • the operation signal indicating the operation of the operator received in the remote cab 500 is transmitted to the work machine 100 via the access point 350.
  • Work machine 100 operates based on an operation signal received from remote cab 500.
  • the work system 1 includes a remote operation system including the work machine 100 and the remote operation room 500.
  • the access point 350 is used for communication of a remote operation system.
  • the work machine 100 captures an image of the construction target, and the image is displayed in the remote cab 500. That is, the work system 1 is an example of a display control system.
  • FIG. 2 is an external view of the working machine according to the first embodiment.
  • the work machine 100 according to the first embodiment is a hydraulic shovel.
  • the work machine 100 according to another embodiment may be a loading machine other than a hydraulic shovel such as a wheel loader.
  • the work machine 100 shown in FIG. 2 is a face shovel, but may be a backhoe shovel or a rope shovel.
  • the work machine 100 includes a traveling body 110, a revolving unit 120 supported by the traveling unit 110, and a work machine 130 that is operated by hydraulic pressure and supported by the revolving unit 120.
  • the revolving unit 120 is supported so as to be pivotable about a pivot center O (see FIG. 5).
  • Work implement 130 is provided at the front of revolving superstructure 120.
  • the work machine 130 includes a boom 131, an arm 132, and a bucket 133.
  • the work machine 130 is driven by the expansion and contraction of the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136.
  • a boom angle sensor 137, an arm angle sensor 138, and a bucket angle sensor 139 are mounted on the boom 131, the arm 132, and the bucket 133, respectively.
  • the base end of the boom 131 is attached to the swing body 120 via a pin.
  • the arm 132 connects the boom 131 and the bucket 133.
  • the proximal end of the arm 132 is attached to the distal end of the boom 131 via a pin.
  • the bucket 133 includes a blade for excavating earth and sand and a container for storing the excavated earth and sand.
  • the proximal end of the bucket 133 is attached to the distal end of the arm 132 via a pin.
  • the boom cylinder 134 is a hydraulic cylinder for operating the boom 131.
  • the base end of the boom cylinder 134 is attached to the swing body 120.
  • the tip of the boom cylinder 134 is attached to the boom 131.
  • the arm cylinder 135 is a hydraulic cylinder for driving the arm 132.
  • the base end of the arm cylinder 135 is attached to the boom 131.
  • the tip of the arm cylinder 135 is attached to the arm 132.
  • the bucket cylinder 136 is a hydraulic cylinder for driving the bucket 133.
  • the base end of the bucket cylinder 136 is attached to the boom 131.
  • the tip of the bucket cylinder 136 is attached to the bucket 133.
  • the boom angle sensor 137 is attached to the boom 131 and detects the inclination angle of the boom 131.
  • the arm angle sensor 138 is attached to the arm 132 and detects an inclination angle of the arm 132.
  • the bucket angle sensor 139 is attached to the bucket 133 and detects a tilt angle of the bucket 133.
  • the boom angle sensor 137, the arm angle sensor 138, and the bucket angle sensor 139 according to the first embodiment detect an inclination angle with respect to the ground plane.
  • the angle sensor according to another embodiment is not limited to this, and may detect an inclination angle with respect to another reference plane.
  • the angle sensor may detect the relative rotation angle by a potentiometer provided at the base end of the boom 131, the arm 132, and the bucket 133, or may detect the relative rotation angle, or the boom cylinder 134, the arm cylinder 135,
  • the inclination length may be detected by measuring the cylinder length of the bucket cylinder 136 and converting the cylinder length into an angle.
  • FIG. 3 is a top view illustrating installation positions of the imaging device and the depth detection device in the work machine according to the first embodiment.
  • the revolving superstructure 120 is provided with a driver's cab 121.
  • an imaging device 122 is provided in the cab 121.
  • the imaging device 122 is installed in a front part and an upper part in the cab 121.
  • the imaging device 122 captures an image of the front of the cab 121 through a windshield in front of the cab 121.
  • “forward” refers to the direction in which the work implement 130 is mounted on the revolving superstructure 120
  • “rearward” refers to the opposite direction of “forward”.
  • “Side” refers to a direction (left-right direction) crossing the front-back direction.
  • the imaging device 122 examples include, for example, an imaging device using a charge coupled device (CCD) sensor and a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the imaging device 122 does not necessarily need to be provided in the cab 121, and the imaging device 122 can capture at least the construction target and the work machine 130 as shown in FIG. What is necessary is just to be provided in a suitable position. That is, the imaging range R1 of the imaging device 122 includes at least a part of the work machine 130.
  • the work machine 100 includes an imaging device 122, a position and orientation calculator 123, a tilt measuring device 124, a hydraulic device 125, a depth detection device 126, and a control device 127.
  • the position and orientation calculator 123 calculates the position of the revolving superstructure 120 and the direction in which the revolving superstructure 120 faces.
  • the position and orientation calculator 123 includes two receivers that receive positioning signals from artificial satellites that make up the GNSS. The two receivers are installed at different positions of the revolving superstructure 120, respectively.
  • the position and orientation calculator 123 detects the position of the representative point (the origin of the shovel coordinate system) of the revolving body 120 in the on-site coordinate system based on the positioning signal received by the receiver. Using the positioning signals received by the two receivers, the position / azimuth calculator 123 calculates the azimuth of the revolving unit 120 as the relationship between the installation position of one receiver and the installation position of the other receiver.
  • the position and orientation calculator 123 may detect the orientation of the revolving superstructure 120 based on the measurement value of the rotary encoder or the IMU.
  • the tilt measuring device 124 measures the acceleration and angular velocity of the revolving unit 120, and detects the attitude (for example, roll angle, pitch angle, yaw angle) of the revolving unit 120 based on the measurement result.
  • the inclination measuring device 124 is installed, for example, on the lower surface of the swing body 120.
  • an inertial measurement device IMU: Inertial Measurement Unit
  • IMU Inertial Measurement Unit
  • the hydraulic device 125 includes a hydraulic oil tank, a hydraulic pump, and a flow control valve.
  • the hydraulic pump is driven by the power of an engine (not shown) and supplies hydraulic oil to the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136 via a flow control valve.
  • the flow control valve has a rod-shaped spool, and adjusts the flow rate of hydraulic oil supplied to the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136 according to the position of the spool.
  • the spool is driven based on a control command received from the control device 127. That is, the amount of hydraulic oil supplied to the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136 is controlled by the control device 127.
  • the depth detection device 126 detects the depth in the detection range R2.
  • the depth detection devices 126 are provided on both side surfaces of the revolving unit 120, and detect the depth of surrounding objects including the construction target in a detection range R2 centered on an axis extending in the width direction of the revolving unit 120.
  • the depth is a distance from the depth detection device 126 to the target.
  • the depth detection device 126 can detect the depth of the construction target. That is, since the direction of the depth detection device 126 is changed by the turning operation of the work machine 100 in the excavation loading operation, the depth detection device 126 can detect the periphery of the work machine 100 over a wide range. As shown in FIG. 3, the depth detection device 126 is provided at a position where the work implement 130 does not interfere with the detection range R2. Examples of the depth detection device 126 include, for example, a LiDAR device, a radar device, and a stereo camera.
  • the control device 127 includes an image captured by the imaging device 122, a turning speed, a position, an azimuth, and an inclination angle of the revolving unit 120, an inclination angle of the boom 131, the arm 132, and the bucket 133, a traveling speed of the traveling unit 110, and a depth detection device. 126 transmits the detected depth information to the remote cab 500.
  • the position, azimuth, and inclination angle of the revolving superstructure 120 are also referred to as posture information indicating the posture of the work machine 100. That is, the position / azimuth calculator 123 and the tilt measuring device 124 are examples of a posture detection device.
  • Control device 127 receives an operation signal from remote cab 500. The control device 127 drives the work implement 130, the swing body 120, or the traveling body 110 based on the received operation signal.
  • the remote cab 500 includes a driver's seat 510, a display device 520, an operation device 530, and a control device 540.
  • Display device 520 is arranged in front of driver's seat 510.
  • the display device 520 is located in front of the operator when the operator sits in the driver's seat 510.
  • the display device 520 may be configured by a plurality of displays arranged, or may be configured by one large display as illustrated in FIG. Further, the display device 520 may project an image on a curved surface or a spherical surface using a projector or the like.
  • the operation device 530 is an operation device for a remote operation system.
  • the operating device 530 is operated by the operator to operate the boom cylinder 134, the arm cylinder 135, the bucket cylinder 136, the swinging body 120 to turn left and right, and the traveling body 110 to move forward and backward. And outputs it to the control device 540.
  • the operating device 530 includes, for example, a lever, a knob switch, and a pedal (not shown).
  • the operation device 530 is arranged near the driver's seat 510.
  • the operating device 530 is located within an operable range of the operator when the operator sits in the driver's seat 510.
  • the control device 540 generates a display image based on the information received from the work machine 100, and causes the display device 520 to display the display image. Further, control device 540 transmits an operation signal indicating an operation of operation device 530 to work machine 100.
  • the control device 540 is an example of a display control device.
  • FIG. 4 is a schematic block diagram showing the configuration of the remote cab control device according to the first embodiment.
  • the control device 540 is a computer including a processor 5100, a main memory 5200, a storage 5300, and an interface 5400.
  • the storage 5300 stores a program.
  • the processor 5100 reads the program from the storage 5300, expands the program in the main memory 5200, and executes processing according to the program.
  • Control device 540 is connected to the network via interface 5400.
  • Examples of the storage 5300 include an HDD, an SSD, a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory.
  • the storage 5300 may be an internal medium directly connected to the common communication line of the control device 540, or may be an external medium connected to the control device 540 via the interface 5400.
  • the storage 5300 is a non-transitory tangible storage medium.
  • the processor 5100 secures a storage area of the map storage unit 5201 in the main memory 5200.
  • the map storage unit 5201 stores a three-dimensional map indicating a three-dimensional shape to be constructed.
  • the coordinates of the construction target are represented by a site coordinate system.
  • the processor 5100 executes the detection information acquisition unit 5101, the coordinate conversion unit 5102, the map generation unit 5103, the work implement posture identification unit 5104, the imaging range identification unit 5105, the cutting edge position graphic generation unit 5106, and the depth image generation unit 5107. , An occupation area specifying unit 5108, a display image generation unit 5109, a display control unit 5110, an operation signal input unit 5111, and an operation signal output unit 5112.
  • the detection information acquisition unit 5101 obtains an image captured by the imaging device 122 from the control device 127, the turning speed, the position, the azimuth, and the inclination angle of the revolving unit 120, the boom 131, the inclination angle of the arm 132 and the bucket 133, and the The travel speed and the depth information detected by the depth detection device 126 are received.
  • the detection information acquisition unit 5101 is an example of a depth acquisition unit and a posture acquisition unit.
  • the coordinate conversion unit 5102 converts the coordinate system of the depth information into the site coordinate system based on the position, the azimuth, and the inclination angle of the revolving unit 120.
  • the depth coordinate system representing the coordinate system of the depth information is a relative coordinate system having the position of the depth detection device 126 as the origin.
  • the depth information converted into the site coordinate system represents the three-dimensional shape of the construction target in the detection range R2 of the depth detection device 126.
  • the map generation unit 5103 is a three-dimensional map that is stored in the map storage unit 5201 and corresponds to the detection range R2 of the depth detection device 126. Update to shape. That is, the map generation unit 5103 generates a three-dimensional map representing the shape around the work machine 100 based on a combination of the depth information and the posture information obtained at different timings.
  • the different timing may be, for example, a timing for each predetermined turning angle, a timing for each predetermined cycle during the turning operation, or a timing obtained by adding the timing before or after the turning operation to this.
  • the work implement posture specifying unit 5104 specifies the posture of the work implement 130 in the vehicle body coordinate system based on the inclination angles of the boom 131, the arm 132, and the bucket 133.
  • the vehicle body coordinate system is a relative coordinate system having the position of the revolving superstructure 120 as an origin.
  • the work implement attitude specifying unit 5104 determines the tip of the boom 131 based on the inclination angle of the boom 131 and the known length of the boom 131 (the distance from the pin at the base end to the pin at the tip end). Find the coordinates and absolute angle of.
  • the absolute angle refers to the angle of the boom 131, the arm 132, and the bucket 133 with respect to the swing body 120.
  • the absolute angle is obtained by adding the pitch angle detected by the tilt measuring device 124 to the tilt angle detected by the boom angle sensor 137, the arm angle sensor 138, and the bucket angle sensor 139, respectively.
  • the work implement attitude specifying unit 5104 obtains the coordinates and the absolute angle of the tip of the arm 132 and the coordinates and the absolute angle of the tip (edge) of the bucket 133.
  • Work implement attitude specifying section 5104 converts the coordinate system of the attitude of work implement 130 into a site coordinate system based on the position, orientation, and inclination angle of revolving superstructure 120.
  • the work implement attitude specifying unit 5104 determines the relative angle of the boom 131 with respect to the revolving unit 120, the relative angle of the arm 132 with respect to the boom 131, and the relative angle with respect to the arm 132 based on the cylinder length and the known dimensions.
  • the posture of the work implement 130 may be specified by calculating the relative angle of the bucket 133.
  • the imaging range specifying unit 5105 specifies the imaging range R1 of the imaging device 122 based on the position, the azimuth, and the inclination angle of the rotating body 120. Specifically, the imaging range specifying unit 5105 specifies the position of the imaging device 122 and the direction of the optical axis of the imaging device 122 based on the position, the azimuth, and the inclination angle of the revolving unit 120. The imaging range specifying unit 5105 can specify the imaging range R1 of the imaging device 122 based on the specified position and the direction of the optical axis and the known angle of view of the imaging device 122.
  • FIG. 5 is a diagram illustrating an example of a relationship between a three-dimensional map and a rendering camera in a virtual space.
  • the imaging range specifying unit 5105 determines parameters of the rendering camera C for rendering the three-dimensional shape based on the specified imaging range.
  • the rendering camera C is a virtual camera showing a viewpoint for drawing a two-dimensional image from a three-dimensional shape arranged in a virtual space represented by a site coordinate system.
  • the cutting edge position graphic generation unit 5106 represents coordinates obtained by projecting the cutting edge on the ground surface based on the three-dimensional map M stored in the map storage unit 5201 and the coordinates of the cutting edge of the bucket 133 specified by the work implement attitude specifying unit 5104.
  • a cutting edge position figure F which is a figure, is generated.
  • the cutting edge position graphic F according to the first embodiment has a lower projection line F1 that projects the cutting edge vertically downward on the three-dimensional map M, and the lower projection line F1 extends along the ground surface in the turning direction of the revolving unit 120.
  • the forward projection line F4 preferably extends in a direction orthogonal to the direction in which the lower projection line F1 extends.
  • the blade position graphic generation unit 5106 obtains a blade position image by rendering the blade position graphic F based on the parameters of the rendering camera C determined by the imaging range specifying unit 5105.
  • the depth image generation unit 5107 generates a depth image representing the depth in the imaging range R1 based on the three-dimensional map M stored in the map storage unit 5201 and the parameters of the rendering camera C determined by the imaging range specifying unit 5105. . Specifically, the depth image generation unit 5107 planarly projects the grid texture T on the three-dimensional map M from vertically above. The depth image generation unit 5107 obtains a depth image by rendering the three-dimensional map M on which the lattice texture T is projected based on the parameters of the rendering camera C.
  • the occupied area specifying unit 5108 specifies an area (occupied area) occupied by the work machine 130 in the captured image based on the posture of the work machine 130 specified by the work machine posture specifying unit 5104. For example, based on the coordinates and the absolute angle of the tip of the boom 131, the arm 132, and the bucket 133 specified by the work implement posture specifying unit 5104, the occupied area specifying unit 5108 may use the known boom 131, arm 132, and bucket 133 in the virtual space. Is arranged.
  • the occupation region specifying unit 5108 obtains a work machine image by rendering the three-dimensional shape of the boom 131, the arm 132, and the bucket 133 based on the parameters of the rendering camera C.
  • the occupation area specifying unit 5108 specifies an area where the boom 131, the arm 132, and the bucket 133 appear in the obtained work implement image as an occupation area.
  • FIG. 6 is a diagram illustrating an example of a display image according to the first embodiment.
  • the display image generation unit 5109 generates a display image to be displayed on the display device 520 by combining the received captured image, the depth image, and the blade position image. Specifically, the display image generation unit 5109 generates a display image in the following procedure.
  • the display image generation unit 5109 deletes a portion related to the occupied area from the blade edge position image and the depth image.
  • the display image generation unit 5109 generates a display image by combining the captured image received by the detection information acquisition unit 5101 with a blade position image and a depth image in which a portion related to the occupied area has been deleted. As shown in FIG.
  • the display device 520 can display a screen that is easy for the operator to see.
  • the display control unit 5110 outputs a display signal for displaying a display image to the display device 520.
  • Operation signal input unit 5111 receives an input of an operation signal from operation device 530.
  • the operation signals include a traveling operation signal of the traveling unit 110, a turning operation signal of the revolving unit 120, a vertical operation signal of the boom 131, a push / pull operation signal of the arm 132, and a rotation operation signal of the bucket 133.
  • the operation signal output unit 5112 outputs the operation signal input to the operation signal input unit 5111 to the work machine 100.
  • FIG. 7 is a flowchart showing a display control process by the remote cab control device according to the first embodiment.
  • the control device 540 executes the display control process shown in FIG.
  • the detection information acquisition unit 5101 receives, from the control device 127 of the work machine 100, an image captured by the imaging device 122, the position, the azimuth and the inclination angle of the revolving unit 120, the boom 131, the inclination angle of the arm 132 and the bucket 133, the traveling unit 110. , And the depth information detected by the depth detection device 126 (step S1).
  • the coordinate conversion unit 5102 specifies the position, the azimuth to which the optical axis is oriented, and the inclination angle of the optical axis of the depth detection device 126 in the field coordinate system based on the received position, azimuth, and inclination angle of the revolving superstructure 120. (Step S2). Since the depth detecting device 126 is fixed to a prescribed portion of the revolving unit 120, the coordinate conversion unit 5102 specifies the posture of the depth detecting device 126 based on the posture of the revolving unit 120 by calculating a predetermined offset and rotation. can do.
  • the coordinate conversion unit 5102 converts the coordinate system of the received depth information into the site coordinate system based on the position of the depth detection device 126 in the site coordinate system, the azimuth of the optical axis, and the inclination angle of the optical axis (step S3). ).
  • the map generation unit 5103 converts the three-dimensional map stored in the map storage unit 5201 based on the position of the depth detection device 126 in the site coordinate system specified in step S2, the azimuth of the optical axis, and the inclination angle of the optical axis.
  • the part corresponding to the detection range R2 is specified (step S4). That is, in the three-dimensional map stored in the map storage unit 5201, the map generation unit 5103 specifies a range within a known angle of view around the optical axis from the position of the depth detection device 126 as the detection range R2.
  • the map generator 5103 updates the value of the three-dimensional map in the specified range to a value indicated by the depth information converted into the site coordinate system (Step S5).
  • the work machine posture specifying unit 5104 specifies the posture of the work machine 130 in the site coordinate system based on the inclination angles of the boom 131, the arm 132, and the bucket 133, and the position, azimuth, and inclination angle of the revolving unit 120 (step S6). ).
  • the imaging range specifying unit 5105 specifies the imaging range R1 of the imaging device 122 based on the posture information of the rotating body 120 (Step S7).
  • the imaging range specifying unit 5105 determines the parameters of the rendering camera C in the virtual space based on the imaging range R1 (Step S8).
  • the cutting edge position graphic generating unit 5106 generates the cutting edge position graphic F based on the three-dimensional map M stored in the map storage unit 5201 and the coordinates of the cutting edge of the bucket 133 specified by the work implement attitude specifying unit 5104 (step S9). ).
  • the blade position graphic generation unit 5106 renders the blade position graphic F based on the parameters of the rendering camera C determined in step S8, and generates a blade position image (step S10).
  • the depth image generation unit 5107 planarly projects the grid texture T onto the three-dimensional map M from vertically above (step S11).
  • the depth image generation unit 5107 generates a depth image by rendering the three-dimensional map M on which the grid texture T is projected based on the parameters of the rendering camera C determined in step S8 (step S12).
  • the occupation area specifying unit 5108 determines the tertiary order of the boom 131, the arm 132, and the bucket 133 known in the virtual space based on the coordinates and the absolute angle of the tip of the boom 131, the arm 132, and the bucket 133 specified by the work implement posture specifying unit 5104.
  • the original shape is arranged (Step S13).
  • the occupation area specifying unit 5108 renders the three-dimensional shape of the boom 131, the arm 132, and the bucket 133 based on the parameters of the rendering camera C determined in step S8, so that the occupation area in which the work implement 130 is shown in the image. It is specified (step S14).
  • a part of the traveling body 110 may appear in an image depending on a turning angle.
  • the occupation area specifying unit 5108 may further arrange the known three-dimensional shape of the traveling body 110 in the virtual space, and may specify the occupation area where the traveling body 110 and the work implement 130 appear in the image.
  • a part (a pillar, a handrail of a passage, or the like) of the revolving structure 120 may appear in an image. Since the imaging device 122 is fixed to the revolving unit 120, the position of the revolving unit 120 shown in the image does not change depending on the attitude of the work machine 100.
  • the occupied area specifying unit 5108 may further specify a known occupied area where a part of the revolving unit 120 appears in the image.
  • the display image generation unit 5109 deletes a portion related to the occupied area specified in Step S14 from the blade edge position image generated in Step S10 and the depth image generated in Step S12 (Step S15).
  • the display image generation unit 5109 generates a display image by synthesizing the captured image received by the detection information acquisition unit 5101 with the blade position image and the depth image in which the portion related to the occupied area has been deleted (step S16).
  • the display control unit 5110 outputs a display signal for displaying the display image to the display device 520 (Step S17).
  • a display image as shown in FIG. 6 is displayed on the display device 520.
  • the work machine 100 is a hydraulic shovel.
  • an excavation loading operation which is a typical operation of a hydraulic excavator, after excavating at an excavation position, the excavator turns approximately 90 degrees and loads earth and sand on a transport vehicle. Therefore, in the first embodiment, the control device 540 can detect the depth information around the excavation position among the construction targets without being blocked by the work implement 130 by the side depth detection device 126 at the time of loading.
  • control device 540 can detect the depth information on the side of the transport vehicle by the other depth detection device 126 without being blocked by the work implement 130 during excavation.
  • the depth detection device 126 is provided so that the detection of depth by the work implement 130 is not interrupted. Therefore, the work system 1 according to the first embodiment can cause the display device 520 to display a depth image indicating the depth even for a portion that becomes a shadow of the work machine 130.
  • FIG. 8 is a diagram illustrating an example of a display image according to the comparative example.
  • a description will be given of a comparative example in which the depth detection device 126 is provided in front of the revolving unit 120 along with the imaging device 122.
  • the imaging device 122 is installed such that the work implement 130 is included in the imaging range R1. Therefore, the work implement 130 is also included in the detection range R2 of the depth detection device 126 according to the comparative example.
  • the depth detecting device 126 cannot detect the depth of the shadow H of the work implement 130.
  • a depth image representing the depth can be displayed even for a portion that becomes a shadow of the work implement 130.
  • the operator can have a sense of perspective even in a range near the work implement 130, and can improve work efficiency.
  • the display device 520 displays a display image in which the depth image is superimposed on the captured image captured by the imaging device 122 provided by the work implement 130 at a location included in the imaging range. .
  • the operator can recognize the perspective of the construction site while visually recognizing the scenery of the actual construction site.
  • the depth detecting device 126 is provided on a side surface of the work machine 100. Accordingly, it is possible to measure the depth in the direction facing the front part of the work machine 100 as the revolving structure 120 turns.
  • the depth detection devices 126 according to the first embodiment are provided on both side surfaces of the work machine 100. Thereby, the depth in the direction facing the front part of the work machine 100 can be measured both at the time of the right turning and the left turning of the revolving structure 120 to the loading position.
  • the display information according to the above-described embodiment is obtained by superimposing the captured image and the depth image, but is not limited to this.
  • the display information according to another embodiment may include computer graphics generated from the three-dimensional map M and the model of the work machine 100 instead of the captured image.
  • the control device 540 separately generates the blade edge position image and the depth image, but is not limited thereto.
  • the control device 540 renders the three-dimensional map M on which the grid texture T is projected and the cutting edge position graphic F together, so that the depth at which the grid texture T and the cutting edge position graphic F appear.
  • An image may be generated.
  • the control device 540 according to another embodiment superimposes the blade position image and the depth image on the captured image, but is not limited thereto.
  • the control device 540 according to another embodiment may superimpose only one of the blade position image and the depth image on the captured image.
  • the cutting edge position image is an example of a depth image generated based on the three-dimensional map M, and is therefore an example of a depth image.
  • the cutting edge position graphic F does not necessarily include all of the downward projection line F1, the downward extension line F2, the downward auxiliary line F3, the forward projection line F4, the forward extension line F5, and the forward auxiliary line F6. You may. Further, the cutting edge position graphic F according to another embodiment may be another graphic. For example, the cutting edge position graphic F may be another graphic such as a bucket shadow graphic that projects the shape of the bucket 133 or a cutting edge center plot that projects the center point of the cutting edge of the bucket 133.
  • control device 540 removes a portion related to the occupied area from the blade edge position image and the depth image and superimposes the portion on the captured image, but is not limited thereto.
  • the control device 540 may generate a display image by superimposing a captured image without removing a portion related to the occupied area from the blade edge position image and the depth image.
  • the cutting edge position graphic F hidden by the working machine 130 and the lattice texture T representing the depth are also drawn on the portion where the working machine 130 is captured in the captured image. This allows the operator to have a sense of perspective even for a part hidden by the work machine 130.
  • the control device 540 functions as a display control device, but is not limited thereto.
  • the control device 127 may function as a display control device. That is, in the work system 1 according to another embodiment, the control device 127 may generate a depth image and display the depth image on the display device 520 of the remote cab 500.
  • the display control device may be provided separately from work machine 100 and remote cab 500.
  • some functional units of the display control device may be provided in the remote cab 500, and the remaining functional units may be provided in the work machine 100. In this case, a display control device is realized by a combination of the work machine 100 and the remote cab 500.
  • the display control system can display the depth image representing the depth of the construction target in the range including the work implement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)

Abstract

作業機械は、作業機と、検出範囲に作業機が干渉しない箇所に設けられた深度検出装置と、作業機械の姿勢を検出する姿勢検出装置とを備える。表示制御装置は、深度検出装置が生成した深度情報と姿勢検出装置が生成した姿勢情報とに基づいて作業機械の周囲の形状を表す三次元マップを生成するマップ生成部と、三次元マップのうち作業機の位置を含む範囲の深度を表す深度画像を生成する深度画像生成部と、深度画像を表示するための表示信号を出力する表示制御部とを備える。

Description

表示制御システム、表示制御装置、および表示制御方法
　本発明は、表示制御システム、表示制御装置、および表示制御方法に関する。
　本願は、２０１８年６月２９日に日本に出願された特願２０１８－１２５４２４号について優先権を主張し、その内容をここに援用する。
　特許文献１には、作業機械を遠隔操作する際に、オペレータに遠近感を持たせるため、作業機械の前部に撮像装置および距離検出装置（深度検出装置）を設け、撮像装置が撮像した画像に、距離を表す格子を重畳して表示する技術が開示されている。
特開２０１６－１６０７４１号公報
　特許文献１に開示された技術によれば、距離検出装置は、撮像装置の撮像範囲における距離を検出するために作業機械の前部に設けられる。撮像装置の撮像範囲には、作業機が含まれる。そのため、距離検出装置は、施工対象のうち作業機の影となる部分の距離を検出することができない。
　本発明の目的は、上述した課題を解決する表示制御システム、表示制御装置、および表示制御方法を提供することにある。
　本発明の一態様によれば、表示制御システムは、作業機械と、表示制御装置とを備える表示制御システムであって、前記作業機械は、作業機と、検出範囲における深度を検出する深度検出装置であって、前記検出範囲に前記作業機が干渉しない箇所に設けられた深度検出装置と、前記作業機械の姿勢を検出する姿勢検出装置とを備え、前記表示制御装置は、前記深度検出装置が生成した深度情報と前記姿勢検出装置が生成した姿勢情報とに基づいて前記作業機械の周囲の形状を表す三次元マップを生成するマップ生成部と、前記三次元マップのうち前記作業機の位置を含む範囲の深度を表す深度画像を生成する深度画像生成部と前記深度画像を表示するための表示信号を出力する表示制御部とを備える。
　上記態様によれば、表示制御システムは、作業機を含む範囲の施工対象の深度を表す深度画像を表示させることができる。
第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る作業機械の外観図である。 第１の実施形態に係る作業機械における撮像装置および深度検出装置の設置位置を示す上面図である。 第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 仮想空間における三次元マップとレンダリングカメラの関係の例を示す図である。 第１の実施形態に係る表示画像の例を示す図である。 第１の実施形態に係る遠隔運転室の制御装置による表示制御処理を示すフローチャートである。 比較例に係る表示画像の例を示す図である。
〈第１の実施形態〉
《作業システム》
　図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
　作業システム１は、作業機械１００と、遠隔運転室５００とを備える。作業機械１００は、作業現場（例えば、鉱山、採石場）で稼働する。遠隔運転室５００は、作業現場から離れた地点（例えば、市街、作業現場内）に設けられる。つまり、オペレータは、作業機械１００を視認できない距離から、当該作業機械１００を遠隔操作する。
　作業機械１００は、遠隔運転室５００から送信される操作信号に基づいて遠隔操作される。作業機械１００と遠隔運転室５００とは、アクセスポイント３５０を介した通信により接続される。遠隔運転室５００において受け付けたオペレータの操作を示す操作信号は、アクセスポイント３５０を介して作業機械１００に送信される。作業機械１００は、遠隔運転室５００から受信した操作信号に基づいて動作する。つまり、作業システム１は、作業機械１００と遠隔運転室５００とから構成される遠隔運転システムを備える。アクセスポイント３５０は、遠隔運転システムの通信に用いられる。また、作業機械１００は、施工対象の画像を撮像し、当該画像は遠隔運転室５００において表示される。つまり、作業システム１は、表示制御システムの一例である。
《作業機械》
　図２は、第１の実施形態に係る作業機械の外観図である。
　第１の実施形態に係る作業機械１００は、油圧ショベルである。なお、他の実施形態に係る作業機械１００は、ホイールローダなどの油圧ショベル以外の積込機械であってもよい。また図２に示す作業機械１００はフェイスショベルであるが、バックホウショベルやロープショベルであってもよい。
　作業機械１００は、走行体１１０と、走行体１１０に支持される旋回体１２０と、油圧により作動し旋回体１２０に支持される作業機１３０とを備える。旋回体１２０は旋回中心Ｏ（図５を参照）を中心として旋回自在に支持される。作業機１３０は、旋回体１２０の前部に設けられる。
　作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。作業機１３０は、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６が伸縮することにより駆動する。ブーム１３１、アーム１３２、およびバケット１３３には、それぞれブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９が装着されている。
　ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
　アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
　バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。
　ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
　アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
　バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、ブーム１３１に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に取り付けられる。
　ブーム角度センサ１３７は、ブーム１３１に取り付けられ、ブーム１３１の傾斜角を検出する。
　アーム角度センサ１３８は、アーム１３２に取り付けられ、アーム１３２の傾斜角を検出する。
　バケット角度センサ１３９は、バケット１３３に取り付けられ、バケット１３３の傾斜角を検出する。
　第１の実施形態に係るブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９は、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム１３１、アーム１３２およびバケット１３３の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ１３４、アームシリンダ１３５およびバケットシリンダ１３６のシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。
　図３は、第１の実施形態に係る作業機械における撮像装置および深度検出装置の設置位置を示す上面図である。
　旋回体１２０には、運転室１２１が備えられる。運転室１２１には、撮像装置１２２が設けられる。撮像装置１２２は、運転室１２１内の前部かつ上部に設置される。撮像装置１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。撮像装置１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、他の実施形態においては、撮像装置１２２は、必ずしも運転室１２１内に設けられなくてもよく、撮像装置１２２は、図３に示すように、少なくとも施工対象と作業機１３０とを撮像可能な位置に設けられていればよい。つまり、撮像装置１２２の撮像範囲Ｒ１には、少なくとも作業機１３０の一部が含まれる。
　作業機械１００は、撮像装置１２２、位置方位演算器１２３、傾斜計測器１２４、油圧装置１２５、深度検出装置１２６、制御装置１２７を備える。
　位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（ショベル座標系の原点）の位置を検出する。
　位置方位演算器１２３は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
　なお、他の実施形態においては、位置方位演算器１２３は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。
　傾斜計測器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２４は、例えば旋回体１２０の下面に設置される。傾斜計測器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。
　油圧装置１２５は、作動油タンク、油圧ポンプ、および流量制御弁を備える。油圧ポンプは、図示しないエンジンの動力で駆動し、流量制御弁を介してブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に作動油を供給する。流量制御弁はロッド状のスプールを有し、スプールの位置によってブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給する作動油の流量を調整する。スプールは、制御装置１２７から受信する制御指令に基づいて駆動される。つまり、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給される作動油の量は、制御装置１２７によって制御される。
　深度検出装置１２６は、検出範囲Ｒ２における深度を検出する。深度検出装置１２６は、旋回体１２０の両側面に設けられ、旋回体１２０の幅方向に伸びる軸を中心とする検出範囲Ｒ２において施工対象を含む周囲の物体の深度を検出する。深度とは、深度検出装置１２６から対象までの距離である。これにより、作業機械１００が作業機１３０によって土砂を掘削しているときに、深度検出装置１２６は、作業機械１００の側方に停車する土砂の積込対象の運搬車両２００の深度を検出することができる。また、作業機械１００が旋回動作により旋回体１２０の向く方位を変えて、土砂を運搬車両２００に積み込んでいるときに、深度検出装置１２６は、施工対象の深度を検出することができる。つまり、掘削積込作業において作業機械１００が旋回動作することにより、深度検出装置１２６の向きが変化するため、深度検出装置１２６は、作業機械１００の周囲を広範囲にわたって検出することができる。
　図３に示すように、深度検出装置１２６は、その検出範囲Ｒ２に作業機１３０が干渉しない位置に設けられる。深度検出装置１２６の例としては、例えば、ＬｉＤＡＲ装置、レーダ装置、ステレオカメラなどが挙げられる。
　制御装置１２７は、撮像装置１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を、遠隔運転室５００に送信する。以下、旋回体１２０の位置、方位および傾斜角を、作業機械１００の姿勢を表す姿勢情報ともいう。つまり、位置方位演算器１２３および傾斜計測器１２４は、姿勢検出装置の一例である。
　制御装置１２７は、遠隔運転室５００から操作信号を受信する。制御装置１２７は、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。
《遠隔運転室》
　遠隔運転室５００は、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
　表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、並べられた複数のディスプレイによって構成されてもよいし、図１に示すように、１つの大きなディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
　操作装置５３０は、遠隔運転システム用の操作装置である。操作装置５３０は、オペレータの操作に応じて、ブームシリンダ１３４の操作信号、アームシリンダ１３５の操作信号、バケットシリンダ１３６の操作信号、旋回体１２０の左右への旋回操作信号、走行体１１０の前後進のための走行操作信号を生成し制御装置５４０に出力する。操作装置５３０は、例えばレバー、ノブスイッチおよびペダル（図示略）により構成される。
　操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。
　制御装置５４０は、作業機械１００から受信した情報に基づいて表示画像を生成し、表示画像を表示装置５２０に表示させる。また制御装置５４０は、操作装置５３０の操作を表す操作信号を作業機械１００に送信する。制御装置５４０は、表示制御装置の一例である。
　図４は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
　制御装置５４０は、プロセッサ５１００、メインメモリ５２００、ストレージ５３００、インタフェース５４００を備えるコンピュータである。ストレージ５３００は、プログラムを記憶する。プロセッサ５１００は、プログラムをストレージ５３００から読み出してメインメモリ５２００に展開し、プログラムに従った処理を実行する。制御装置５４０は、インタフェース５４００を介してネットワークに接続される。
　ストレージ５３００の例としては、ＨＤＤ、ＳＳＤ、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。ストレージ５３００は、制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース５４００を介して制御装置５４０に接続される外部メディアであってもよい。ストレージ５３００は、一時的でない有形の記憶媒体である。
　プログラムの実行により、プロセッサ５１００は、メインメモリ５２００に、マップ記憶部５２０１の記憶領域を確保する。
　マップ記憶部５２０１は、施工対象の三次元形状を示す三次元マップを記憶する。三次元マップにおいて、施工対象の座標は、現場座標系で表される。
　プロセッサ５１００は、プログラムの実行により、検出情報取得部５１０１、座標変換部５１０２、マップ生成部５１０３、作業機姿勢特定部５１０４、撮像範囲特定部５１０５、刃先位置図形生成部５１０６、深度画像生成部５１０７、占有領域特定部５１０８、表示画像生成部５１０９、表示制御部５１１０、操作信号入力部５１１１、操作信号出力部５１１２を備える。
　検出情報取得部５１０１は、制御装置１２７から、撮像装置１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を受信する。検出情報取得部５１０１は、深度取得部および姿勢取得部の一例である。
　座標変換部５１０２は、旋回体１２０の位置、方位および傾斜角に基づいて、深度情報の座標系を現場座標系に変換する。深度情報の座標系を表す深度座標系は、深度検出装置１２６の位置を原点とする相対座標系である。現場座標系に変換された深度情報は、深度検出装置１２６の検出範囲Ｒ２における施工対象の三次元形状を表す。
　マップ生成部５１０３は、マップ記憶部５２０１が記憶する三次元マップのうち、深度検出装置１２６の検出範囲Ｒ２に相当する部分を座標変換部５１０２によって現場座標系に変換された深度情報が示す三次元形状に更新する。つまり、マップ生成部５１０３は、異なるタイミングに得られた深度情報と姿勢情報の組み合わせに基づいて、作業機械１００の周囲の形状を表す三次元マップを生成する。異なるタイミングは、例えば、所定旋回角度ごとのタイミングもしくは旋回動作中の所定周期ごとのタイミング、またはこれに旋回動作前もしくは旋回動作後のタイミングを加えたタイミングであってよい。
　作業機姿勢特定部５１０４は、ブーム１３１、アーム１３２およびバケット１３３の傾斜角に基づいて、車体座標系における作業機１３０の姿勢を特定する。車体座標系は、旋回体１２０の位置を原点とする相対座標系である。具体的には、作業機姿勢特定部５１０４は、ブーム１３１の傾斜角と既知のブーム１３１の長さ（基端部のピンから先端部のピンまでの距離）とに基づいて、ブーム１３１の先端の座標および絶対角度を求める。ここで、絶対角度とは、旋回体１２０を基準としたブーム１３１、アーム１３２およびバケット１３３の角度をいう。絶対角度は、ブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９が検出した傾斜角に傾斜計測器１２４が検出したピッチ角をそれぞれ加算することにより求められる。同様に、作業機姿勢特定部５１０４は、アーム１３２の先端の座標および絶対角度、ならびにバケット１３３の先端（刃先）の座標および絶対角度を求める。作業機姿勢特定部５１０４は、旋回体１２０の位置、方位および傾斜角に基づいて、作業機１３０の姿勢の座標系を現場座標系に変換する。
　なお、他の実施形態において、作業機姿勢特定部５１０４は、シリンダ長さと既知の寸法とに基づいて、旋回体１２０に対するブーム１３１の相対角度、ブーム１３１に対するアーム１３２の相対角度、およびアーム１３２に対するバケット１３３の相対角度を算出して作業機１３０の姿勢を特定してもよい。
　撮像範囲特定部５１０５は、旋回体１２０の位置、方位および傾斜角に基づいて、撮像装置１２２の撮像範囲Ｒ１を特定する。具体的には、撮像範囲特定部５１０５は、旋回体１２０の位置、方位および傾斜角に基づいて、撮像装置１２２の位置と、撮像装置１２２の光軸の向きとを特定する。撮像範囲特定部５１０５は、特定した位置および光軸の向きと、既知の撮像装置１２２の画角とに基づいて、撮像装置１２２の撮像範囲Ｒ１を特定することができる。
　図５は、仮想空間における三次元マップとレンダリングカメラの関係の例を示す図である。
　撮像範囲特定部５１０５は、特定した撮像範囲に基づいて、三次元形状をレンダリングするためのレンダリングカメラＣのパラメータを決定する。レンダリングカメラＣは、現場座標系で表される仮想空間に配置された三次元形状から二次元画像を描画するための視点を示す仮想的なカメラである。
　刃先位置図形生成部５１０６は、マップ記憶部５２０１が記憶する三次元マップＭと、作業機姿勢特定部５１０４が特定したバケット１３３の刃先の座標に基づいて、刃先を地表面に投影した座標を表す図形である刃先位置図形Ｆを生成する。第１の実施形態に係る刃先位置図形Ｆは、三次元マップＭに刃先を鉛直下向きに投影した下方投影線Ｆ１、下方投影線Ｆ１を旋回体１２０の旋回方向に、地表面に沿って延長した下方延長線Ｆ２、刃先と下方投影線Ｆ１とを結ぶ下方補助線Ｆ３、三次元マップＭに刃先を作業機前方に投影した前方投影線Ｆ４、前方投影線Ｆ４をその延在方向に、地表面に沿って延長した前方延長線Ｆ５、および刃先と前方投影線Ｆ４とを結ぶ前方補助線Ｆ６を含む。前方投影線Ｆ４は、下方投影線Ｆ１が伸びる方向に直交する方向へ伸びることが好ましい。刃先位置図形生成部５１０６は、撮像範囲特定部５１０５が決定したレンダリングカメラＣのパラメータに基づいて、刃先位置図形Ｆをレンダリングすることで、刃先位置画像を得る。
　深度画像生成部５１０７は、マップ記憶部５２０１が記憶する三次元マップＭと、撮像範囲特定部５１０５が決定したレンダリングカメラＣのパラメータとに基づいて、撮像範囲Ｒ１における深度を表す深度画像を生成する。具体的には、深度画像生成部５１０７は、格子テクスチャＴを三次元マップＭ上に鉛直上方から平面投影する。深度画像生成部５１０７は、レンダリングカメラＣのパラメータに基づいて、格子テクスチャＴが投影された三次元マップＭをレンダリングすることで、深度画像を得る。
　占有領域特定部５１０８は、作業機姿勢特定部５１０４が特定した作業機１３０の姿勢に基づいて、撮像画像において作業機１３０に占有される領域（占有領域）を特定する。例えば、占有領域特定部５１０８は、作業機姿勢特定部５１０４が特定したブーム１３１、アーム１３２およびバケット１３３の先端の座標および絶対角度に基づいて、仮想空間に既知のブーム１３１、アーム１３２およびバケット１３３の三次元形状を配置する。占有領域特定部５１０８は、レンダリングカメラＣのパラメータに基づいて、ブーム１３１、アーム１３２およびバケット１３３の三次元形状をレンダリングすることで作業機画像を得る。占有領域特定部５１０８は、得られた作業機画像のうち、ブーム１３１、アーム１３２およびバケット１３３が写る領域を占有領域と特定する。
　図６は、第１の実施形態に係る表示画像の例を示す図である。
　表示画像生成部５１０９は、受信した撮像画像と深度画像と刃先位置画像とを合成することで、表示装置５２０に表示するための表示画像を生成する。具体的には、表示画像生成部５１０９は、以下の手順で表示画像を生成する。表示画像生成部５１０９は、刃先位置画像および深度画像のうち占有領域に係る部分を削除する。表示画像生成部５１０９は、検出情報取得部５１０１が受信した撮像画像に、占有領域に係る部分を削除した刃先位置画像および深度画像を合成することで、表示画像を生成する。図６に示すように、表示画像には、作業機１３０および施工対象と、格子テクスチャＴおよび刃先位置図形Ｆとが写っている。
　刃先位置画像および深度画像のうち占有領域に係る部分が削除されることにより、表示画面において作業機１３０に対応する部分には格子テクスチャＴおよび刃先位置図形Ｆが表示されない。これにより、表示装置５２０は、作業者にとって見やすい画面を表示することができる。
　表示制御部５１１０は、表示画像を表示するための表示信号を表示装置５２０に出力する。
　操作信号入力部５１１１は、操作装置５３０から操作信号の入力を受け付ける。操作信号には、走行体１１０の走行操作信号、旋回体１２０の旋回操作信号、ブーム１３１の上下操作信号、アーム１３２の押し引き操作信号、バケット１３３の回動操作信号が含まれる。
　操作信号出力部５１１２は、操作信号入力部５１１１に入力された操作信号を作業機械１００に出力する。
《表示制御方法》
　図７は、第１の実施形態に係る遠隔運転室の制御装置による表示制御処理を示すフローチャートである。
　遠隔運転室５００による作業機械１００の遠隔運転を開始すると、制御装置５４０は、一定時間ごとに、図７に示す表示制御処理を実行する。
　検出情報取得部５１０１は、作業機械１００の制御装置１２７から、撮像装置１２２が撮像した画像、旋回体１２０の位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を受信する（ステップＳ１）。次に、座標変換部５１０２は、受信した旋回体１２０の位置、方位および傾斜角に基づいて、深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角を特定する（ステップＳ２）。深度検出装置１２６は、旋回体１２０の規定の箇所に固定されているため、座標変換部５１０２は所定のオフセットおよび回転の計算により、旋回体１２０の姿勢に基づいて深度検出装置１２６の姿勢を特定することができる。座標変換部５１０２は、深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角に基づいて、受信した深度情報の座標系を現場座標系に変換する（ステップＳ３）。
　マップ生成部５１０３は、ステップＳ２で特定された深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角に基づいて、マップ記憶部５２０１が記憶する三次元マップのうち、検出範囲Ｒ２に相当する部分を特定する（ステップＳ４）。すなわち、マップ生成部５１０３は、マップ記憶部５２０１が記憶する三次元マップにおいて、深度検出装置１２６の位置から光軸を中心とする既知の画角内の範囲を、検出範囲Ｒ２と特定する。マップ生成部５１０３は、特定した範囲の三次元マップの値を、現場座標系に変換された深度情報が示す値に更新する（ステップＳ５）。
　作業機姿勢特定部５１０４は、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、ならびに旋回体１２０の位置、方位および傾斜角に基づいて、現場座標系における作業機１３０の姿勢を特定する（ステップＳ６）。撮像範囲特定部５１０５は、旋回体１２０の姿勢情報に基づいて、撮像装置１２２の撮像範囲Ｒ１を特定する（ステップＳ７）。撮像範囲特定部５１０５は、撮像範囲Ｒ１に基づいて、仮想空間におけるレンダリングカメラＣのパラメータを決定する（ステップＳ８）。
　刃先位置図形生成部５１０６は、マップ記憶部５２０１が記憶する三次元マップＭと、作業機姿勢特定部５１０４が特定したバケット１３３の刃先の座標に基づいて、刃先位置図形Ｆを生成する（ステップＳ９）。刃先位置図形生成部５１０６は、ステップＳ８で決定したレンダリングカメラＣのパラメータに基づいて刃先位置図形Ｆをレンダリングし、刃先位置画像を生成する（ステップＳ１０）。
　深度画像生成部５１０７は、格子テクスチャＴを三次元マップＭ上に鉛直上方から平面投影する（ステップＳ１１）。深度画像生成部５１０７は、ステップＳ８で決定したレンダリングカメラＣのパラメータに基づいて、格子テクスチャＴが投影された三次元マップＭをレンダリングすることで、深度画像を生成する（ステップＳ１２）。
　占有領域特定部５１０８は、作業機姿勢特定部５１０４が特定したブーム１３１、アーム１３２およびバケット１３３の先端の座標および絶対角度に基づいて、仮想空間に既知のブーム１３１、アーム１３２およびバケット１３３の三次元形状を配置する（ステップＳ１３）。占有領域特定部５１０８は、ステップＳ８で決定されたレンダリングカメラＣのパラメータに基づいて、ブーム１３１、アーム１３２およびバケット１３３の三次元形状をレンダリングすることで、画像において作業機１３０が写る占有領域を特定する（ステップＳ１４）。なお、他の実施形態に係る作業機械１００は、旋回角度によって走行体１１０の一部が画像に写ることがある。この場合、占有領域特定部５１０８は、仮想空間にさらに既知の走行体１１０の三次元形状を配置し、画像において走行体１１０および作業機１３０が写る占有領域を特定してもよい。また、他の実施形態に係る作業機械１００は、旋回体１２０の一部（ピラーや通路の手すりなど）が画像に写ることがある。撮像装置１２２が旋回体１２０に固定されるため、画像に写る旋回体１２０の位置は、作業機械１００の姿勢によって変化しない。この場合、占有領域特定部５１０８は、画像において旋回体１２０の一部が写る既知の占有領域をさらに特定してもよい。
　表示画像生成部５１０９は、ステップＳ１０で生成した刃先位置画像およびステップＳ１２で生成した深度画像のうち、ステップＳ１４で特定した占有領域に係る部分を削除する（ステップＳ１５）。次に、表示画像生成部５１０９は、検出情報取得部５１０１が受信した撮像画像に、占有領域に係る部分を削除した刃先位置画像および深度画像を合成することで、表示画像を生成する（ステップＳ１６）。そして、表示制御部５１１０は、表示画像を表示するための表示信号を表示装置５２０に出力する（ステップＳ１７）。
　これにより、表示装置５２０には、図６に示すような表示画像が表示される。
《作用・効果》
　制御装置５４０は、上述の処理を繰り返し実行する。オペレータは、掘削積込作業のために旋回体１２０を掘削位置と積込位置との間で繰り返し旋回させる。これにより、マップ記憶部５２０１が記憶する三次元マップは、旋回体１２０の旋回のたびに最新の状態に更新される。
　第１の実施形態に係る作業機械１００は油圧ショベルである。油圧ショベルの代表的な作業である掘削積込作業においては、掘削位置で掘削した後、略９０度旋回して運搬車両に土砂を積み込む。そのため、第１の実施形態では、制御装置５４０は、積込時に側面の深度検出装置１２６で施工対象のうち掘削位置周辺の深度情報を作業機１３０に遮られることなく検出することができる。また、制御装置５４０は、掘削時に他方の深度検出装置１２６で運搬車両側の深度情報を作業機１３０に遮られることなく検出することができる。
　また、深度検出装置１２６は、作業機１３０によって深度の検出が遮られないように設けられている。したがって、第１の実施形態に係る作業システム１は、表示装置５２０に、作業機１３０の影となる部分についても、深度を表す深度画像を表示させることができる。
　図８は、比較例に係る表示画像の例を示す図である。ここで、深度検出装置１２６が撮像装置１２２と並んで旋回体１２０の前部に設けられる比較例について説明する。撮像装置１２２は、撮像範囲Ｒ１に作業機１３０が含まれるように設置される。そのため、比較例に係る深度検出装置１２６の検出範囲Ｒ２にも作業機１３０が含まれることとなる。このとき、深度検出装置１２６は、図８に示すように、作業機１３０の影となる部分Ｈの深度を検出することができない。これに対し、第１の実施形態によれば、図６に示すように、作業機１３０の影となる部分についても、深度を表す深度画像を表示させることができる。
　このように、第１の実施形態によれば、オペレータは、作業機１３０の近傍の範囲についても遠近感を持つことができ、作業効率を改善させることができる。
　また、第１の実施形態に係る表示装置５２０には、作業機１３０が撮像範囲に含まれる箇所に設けられた撮像装置１２２が撮像した撮像画像と深度画像とを重ねた表示画像が表示される。これにより、オペレータは、実際の施工現場の景観を視認しつつ、当該施工現場の遠近感を認識することができる。
　また、第１の実施形態に係る深度検出装置１２６は、作業機械１００の側面に設けられる。これにより、旋回体１２０の旋回に伴って、作業機械１００の前部に対向する方向の深度を計測することができる。
　また、第１の実施形態に係る深度検出装置１２６は、作業機械１００の両側面に設けられる。これにより、積込位置への旋回体１２０の右旋回時および左旋回時の両方について、作業機械１００の前部に対向する方向の深度を計測することができる。
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
　上述の実施形態に係る表示情報は、撮像画像と深度画像とを重ね合わせたものであるが、これに限られない。例えば、他の実施形態に係る表示情報は、撮像画像に代えて三次元マップＭおよび作業機械１００のモデルから生成されたコンピュータグラフィックスを含むものであってもよい。
　上述の実施形態に係る制御装置５４０は、刃先位置画像と深度画像とを別個に生成するが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、格子テクスチャＴが投影された三次元マップＭと刃先位置図形Ｆとを一緒にレンダリングすることで、格子テクスチャＴと刃先位置図形Ｆとが写る深度画像を生成してもよい。
　また、他の実施形態に係る制御装置５４０は、撮像画像に刃先位置画像と深度画像とを重ね合わせるが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、撮像画像に刃先位置画像および深度画像の一方だけを重ね合わせてもよい。なお、刃先位置画像は、三次元マップＭに基づいて生成された深度を表す画像であるため、深度画像の一例でもある。
　他の実施形態に係る刃先位置図形Ｆは、必ずしも下方投影線Ｆ１、下方延長線Ｆ２、下方補助線Ｆ３、前方投影線Ｆ４、前方延長線Ｆ５、および前方補助線Ｆ６のすべてを含むものでなくてもよい。また、他の実施形態に係る刃先位置図形Ｆは、他の図形であってもよい。例えば、刃先位置図形Ｆは、バケット１３３の形状を投影したバケット影図形、バケット１３３の刃先の中心点を投影した刃先中心プロットなどの他の図形であってよい。
　上述の実施形態に係る制御装置５４０は、刃先位置画像および深度画像から占有領域に係る部分を除去して撮像画像に重ね合わせるが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、刃先位置画像および深度画像から占有領域に係る部分を除去することなく撮像画像に重ね合わせて表示画像を生成してもよい。この場合、撮像画像のうち作業機１３０が写る部分にも、当該作業機１３０に隠れた刃先位置図形Ｆおよび深度を表す格子テクスチャＴが描画されることとなる。これにより、オペレータは、作業機１３０に隠れた部分についても遠近感を持つことができる。
　上述の実施形態においては、制御装置５４０が表示制御装置として機能するが、これに限られない。例えば、他の実施形態に係る作業システム１では、制御装置１２７が表示制御装置として機能してもよい。すなわち、他の実施形態に係る作業システム１は、制御装置１２７が深度画像を生成し、当該深度画像を遠隔運転室５００の表示装置５２０に表示させるものであってもよい。また、他の実施形態においては、表示制御装置が作業機械１００および遠隔運転室５００と別個に設けられていてもよい。また、他の実施形態においては、表示制御装置のいくつかの機能部が遠隔運転室５００に設けられ、残りの機能部が作業機械１００に設けられていてもよい。この場合、作業機械１００と遠隔運転室５００の組み合わせによって表示制御装置が実現される。
　本発明によれば、表示制御システムは、作業機を含む範囲の施工対象の深度を表す深度画像を表示させることができる。
　１…作業システム　１００…作業機械　１１０…走行体　１２０…旋回体　１２１…運転室　１２２…撮像装置　１２３…位置方位演算器　１２４…傾斜計測器　１２５…油圧装置　１２６…深度検出装置　１２７…制御装置　１３０…作業機　１３１…ブーム　１３２…アーム　１３３…バケット　１３４…ブームシリンダ　１３５…アームシリンダ　１３６…バケットシリンダ　１３７…ブーム角度センサ　１３８…アーム角度センサ　１３９…バケット角度センサ　３５０…アクセスポイント　５００…遠隔運転室　５１０…運転席　５２０…表示装置　５３０…操作装置　５４０…制御装置　５１００…プロセッサ　５２００…メインメモリ　５３００…ストレージ　５４００…インタフェース　５１０１…検出情報取得部　５１０２…座標変換部　５１０３…マップ生成部　５１０４…作業機姿勢特定部　５１０５…撮像範囲特定部　５１０６…刃先位置図形生成部　５１０７…深度画像生成部　５１０８…占有領域特定部　５１０９…表示画像生成部　５１１０…表示制御部　５１１１…操作信号入力部　５１１２…操作信号出力部　５２０１…マップ記憶部　Ｒ１…撮像範囲　Ｒ２…検出範囲　Ｍ…三次元マップ　Ｔ…格子テクスチャ　Ｃ…レンダリングカメラ　Ｆ…刃先位置図形　Ｆ１…下方投影線　Ｆ２…下方延長線　Ｆ３…下方補助線　Ｆ４…前方投影線　Ｆ５…前方延長線　Ｆ６…前方補助線

Claims (9)

  1. 　作業機械と、表示制御装置とを備える表示制御システムであって、
    　前記作業機械は、
    　作業機と、
    　検出範囲における深度を検出する深度検出装置であって、前記検出範囲に前記作業機が干渉しない箇所に設けられた深度検出装置と、
    　前記作業機械の姿勢を検出する姿勢検出装置と
    　を備え、
    　前記表示制御装置は、
    　前記深度検出装置が生成した深度情報と前記姿勢検出装置が生成した姿勢情報とに基づいて前記作業機械の周囲の形状を表す三次元マップを生成するマップ生成部と、
    　前記三次元マップのうち前記作業機の位置を含む範囲の深度を表す深度画像を生成する深度画像生成部と
    　前記深度画像を表示するための表示信号を出力する表示制御部と
    　を備える表示制御システム。
  2. 　前記作業機械は、前記作業機が撮像範囲に含まれる箇所に設けられた撮像装置を備え、
    　前記深度画像生成部は、前記撮像範囲に係る深度を表す前記深度画像を生成し、
    　前記表示制御部は、前記撮像装置が撮像した撮像画像に前記深度画像を重ねた画像を表示するための前記表示信号を出力する
    　請求項１に記載の表示制御システム。
  3. 　前記作業機械は、旋回中心を中心として旋回可能な旋回体を備え、
    　前記作業機は、前記旋回体の前部に設けられ、
    　前記深度検出装置は、前記旋回体の側面に設けられ、
    　前記姿勢検出装置は、前記旋回体の姿勢を検出する
    　請求項１または請求項２に記載の表示制御システム。
  4. 　前記深度検出装置は、前記作業機械の両側面に設けられる
    　請求項３に記載の表示制御システム。
  5. 　前記表示制御装置が出力した前記表示信号に基づいて画像を表示する表示装置を備える　請求項１から請求項４の何れか１項に記載の表示制御システム。
  6. 　作業機を備える作業機械に設けられ、検出範囲における深度を検出する深度検出装置であって、前記検出範囲に前記作業機が干渉しない箇所に設けられた深度検出装置から、複数のタイミングに係る深度情報を取得する深度取得部と、
    　複数のタイミングに係る前記作業機械の姿勢情報を取得する姿勢取得部と、
    　前記深度情報と前記姿勢情報とに基づいて前記作業機械の周囲の形状を表す三次元マップを生成するマップ生成部と、
    　前記三次元マップのうち前記作業機の位置を含む範囲の深度を表す深度画像を生成する深度画像生成部と
    　前記深度画像を表示するための表示信号を出力する表示制御部と
    　を備える表示制御装置。
  7. 　前記作業機械に設けられた撮像装置であって、前記作業機が撮像範囲に含まれる箇所に設けられた撮像装置から、撮像画像を取得する画像取得部を備え、
    　前記深度画像生成部は、前記撮像範囲に係る深度を表す前記深度画像を生成し、
    　前記表示制御部は、前記撮像画像に前記深度画像を重ねた画像を表示するための前記表示信号を出力する
    　請求項６に記載の表示制御装置。
  8. 　作業機を備える作業機械に設けられ、検出範囲における深度を検出する深度検出装置であって、前記検出範囲に前記作業機が干渉しない箇所に設けられた深度検出装置から、複数のタイミングに係る深度情報を取得するステップと、
    　複数のタイミングに係る前記作業機械の姿勢情報を取得するステップと、
    　前記深度情報と前記姿勢情報とに基づいて前記作業機械の周囲の形状を表す三次元マップを生成するステップと、
    　前記三次元マップのうち前記作業機の位置を含む範囲の深度を表す深度画像を生成するステップと
    　前記深度画像を表示するステップと
    　を備える表示制御方法。
  9. 　旋回体の前部に設けられた作業機と、
    　前記旋回体に設けられ、前記作業機の少なくとも一部を含む前記旋回体の前方を撮像する撮像装置と、
    　前記旋回体の側部に設けられ、前記旋回体の側方の深度を検出する深度検出装置と、
    　前記撮像装置が撮像した撮像画像に、前記深度検出装置が検出した深度情報に基づいて生成される深度画像を重ねて表示する表示信号を出力する表示制御部と
    　を備える表示制御システム。
PCT/JP2019/010160 2018-06-29 2019-03-13 表示制御システム、表示制御装置、および表示制御方法 WO2020003633A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/048,695 US11459735B2 (en) 2018-06-29 2019-03-13 Display control system, display control device, and display control method
AU2019292458A AU2019292458B2 (en) 2018-06-29 2019-03-13 Display control system, display control device, and display control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018125424A JP7080750B2 (ja) 2018-06-29 2018-06-29 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP2018-125424 2018-06-29

Publications (1)

Publication Number Publication Date
WO2020003633A1 true WO2020003633A1 (ja) 2020-01-02

Family

ID=68986923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010160 WO2020003633A1 (ja) 2018-06-29 2019-03-13 表示制御システム、表示制御装置、および表示制御方法

Country Status (4)

Country Link
US (1) US11459735B2 (ja)
JP (1) JP7080750B2 (ja)
AU (1) AU2019292458B2 (ja)
WO (1) WO2020003633A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021110220A (ja) * 2020-01-08 2021-08-02 株式会社ワイビーエム 地盤改良機用施工位置誘導システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4130395A4 (en) * 2020-03-27 2023-03-15 Sumitomo Heavy Industries, Ltd. IMAGE CAPTURE DEVICE FOR WORK MACHINE, INFORMATION MANAGEMENT SYSTEM, INFORMATION TERMINAL AND IMAGE CAPTURE PROGRAM FOR WORK MACHINE
JP2022128087A (ja) 2021-02-22 2022-09-01 株式会社東芝 計測システム及び計測プログラム
US20230053964A1 (en) * 2021-08-13 2023-02-23 Baidu Usa Llc Hierarchical planning for autonomous machinery on various tasks
US20230243129A1 (en) * 2022-02-01 2023-08-03 Caterpillar Inc. System and method for measuring material swell

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
US20160035149A1 (en) * 2014-07-30 2016-02-04 Caterpillar Inc. Truck spotting system using position detection and perception
JP2016160741A (ja) * 2015-03-05 2016-09-05 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
WO2017033991A1 (ja) * 2015-08-26 2017-03-02 住友建機株式会社 ショベルの計測装置
JP2018035645A (ja) * 2016-09-02 2018-03-08 株式会社小松製作所 作業機械の画像表示システム
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850341A (en) * 1994-06-30 1998-12-15 Caterpillar Inc. Method and apparatus for monitoring material removal using mobile machinery
EP2631374B1 (en) * 2010-10-22 2020-09-30 Hitachi Construction Machinery Co., Ltd. Work machine peripheral monitoring device
CN103676302B (zh) * 2013-12-31 2016-04-06 京东方科技集团股份有限公司 实现2d/3d显示切换的阵列基板、显示装置及方法
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
US20160353049A1 (en) * 2015-05-27 2016-12-01 Caterpillar Inc. Method and System for Displaying a Projected Path for a Machine
CN107921870A (zh) * 2015-09-10 2018-04-17 富士胶片株式会社 投影型显示装置及投影控制方法
WO2017047131A1 (ja) * 2015-09-17 2017-03-23 富士フイルム株式会社 投写型表示装置及び投写制御方法
US11008735B2 (en) * 2015-09-30 2021-05-18 Komatsu Ltd. Image pick-up apparatus
CN106797449B (zh) * 2015-09-30 2019-12-03 株式会社小松制作所 履带式作业机械的周边监视装置
JP6322612B2 (ja) * 2015-10-05 2018-05-09 株式会社小松製作所 施工管理システム及び形状計測方法
JP6572156B2 (ja) * 2016-03-02 2019-09-04 株式会社神戸製鋼所 建設機械の干渉防止装置
JP6468444B2 (ja) * 2016-04-28 2019-02-13 コベルコ建機株式会社 建設機械
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
JP6684682B2 (ja) * 2016-08-18 2020-04-22 株式会社神戸製鋼所 建設機械
WO2018116577A1 (ja) * 2016-12-19 2018-06-28 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
CN110115029B (zh) * 2017-01-10 2021-07-16 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、记录介质
AU2018227862B9 (en) * 2017-03-03 2022-11-24 Caterpillar Trimble Control Technologies Llc Augmented reality display for material moving machines
WO2019044316A1 (ja) * 2017-09-01 2019-03-07 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
KR102627093B1 (ko) * 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
KR20200096480A (ko) * 2017-12-21 2020-08-12 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨의 관리시스템
JP6947101B2 (ja) * 2018-03-28 2021-10-13 コベルコ建機株式会社 遠隔操作システム及び主操作装置
JP7087545B2 (ja) * 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械
US10623714B2 (en) * 2018-05-24 2020-04-14 Innolux Corporation Stereoscopic display device and method for operating using pixel offset map
WO2019244574A1 (ja) * 2018-06-19 2019-12-26 住友建機株式会社 掘削機、情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036243A (ja) * 2011-08-09 2013-02-21 Topcon Corp 建設機械制御システム
US20160035149A1 (en) * 2014-07-30 2016-02-04 Caterpillar Inc. Truck spotting system using position detection and perception
JP2016160741A (ja) * 2015-03-05 2016-09-05 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
WO2017033991A1 (ja) * 2015-08-26 2017-03-02 住友建機株式会社 ショベルの計測装置
JP2018035645A (ja) * 2016-09-02 2018-03-08 株式会社小松製作所 作業機械の画像表示システム
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021110220A (ja) * 2020-01-08 2021-08-02 株式会社ワイビーエム 地盤改良機用施工位置誘導システム
JP7040810B2 (ja) 2020-01-08 2022-03-23 株式会社ワイビーエム 地盤改良機用施工位置誘導システム

Also Published As

Publication number Publication date
US20210189697A1 (en) 2021-06-24
US11459735B2 (en) 2022-10-04
AU2019292458B2 (en) 2022-08-25
JP7080750B2 (ja) 2022-06-06
AU2019292458A1 (en) 2020-11-12
JP2020002716A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
WO2020003631A1 (ja) 表示制御装置、および表示制御方法
US20200399869A1 (en) Image display system for work machine, remote operation system for work machine, and work machine
WO2020003633A1 (ja) 表示制御システム、表示制御装置、および表示制御方法
JP7372029B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
WO2020241618A1 (ja) マップ生成システム及びマップ生成方法
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JP2023060197A (ja) バケット高さ通知装置およびバケット高さ通知方法
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP2024052764A (ja) 表示制御装置及び表示方法
US20180230678A1 (en) Construction method, work machine control system, and work machine
WO2022070707A1 (ja) 表示制御装置及び表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19824595

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019292458

Country of ref document: AU

Date of ref document: 20190313

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19824595

Country of ref document: EP

Kind code of ref document: A1