WO2020044834A1 - バケット高さ通知装置およびバケット高さ通知方法 - Google Patents

バケット高さ通知装置およびバケット高さ通知方法 Download PDF

Info

Publication number
WO2020044834A1
WO2020044834A1 PCT/JP2019/028250 JP2019028250W WO2020044834A1 WO 2020044834 A1 WO2020044834 A1 WO 2020044834A1 JP 2019028250 W JP2019028250 W JP 2019028250W WO 2020044834 A1 WO2020044834 A1 WO 2020044834A1
Authority
WO
WIPO (PCT)
Prior art keywords
bucket
height
image
display
cutting edge
Prior art date
Application number
PCT/JP2019/028250
Other languages
English (en)
French (fr)
Inventor
▲キ▼ 丁
康洋 指宿
淳 森永
真範 皆川
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US17/043,861 priority Critical patent/US11746505B2/en
Priority to AU2019328966A priority patent/AU2019328966B2/en
Priority to CN201980029089.5A priority patent/CN112041509A/zh
Publication of WO2020044834A1 publication Critical patent/WO2020044834A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/308—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working outwardly
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/12—Avionics applications

Definitions

  • the present invention relates to a bucket height notification device and a bucket height notification method for a work vehicle related to remote operation.
  • Priority is claimed on Japanese Patent Application No. 2018-163917 filed on August 31, 2018, the content of which is incorporated herein by reference.
  • a remotely operated work vehicle includes an imaging device that captures an image of a surrounding situation and a communication device that transmits the captured image to the outside. This allows the operator to perform an operation while visually recognizing the image transmitted from the work vehicle.
  • Patent Literature 1 discloses a technique for displaying an inclination and an orientation of a work machine to a display device for an operator.
  • An object of the present invention is to provide a bucket height notifying apparatus and a bucket height notifying method that can notify an operator of a height of a bucket of a work machine that is difficult to recognize due to remote operation.
  • a bucket height notifying device includes a bucket height specifying unit that specifies a bucket height that is a height from a ground surface to a bucket of a work machine provided in a work vehicle that is remotely operated. And a bucket height notifying unit for notifying the bucket height.
  • control device of the remote cab can notify the operator of the height of the bucket of the work implement that is difficult to recognize because the operation is performed by remote control.
  • FIG. 1 is a schematic diagram illustrating a configuration of a remote operation system according to a first embodiment.
  • FIG. 1 is an external view of a work vehicle according to a first embodiment.
  • 4 is an example of an image captured by the imaging device of the work vehicle according to the first embodiment.
  • FIG. 2 is a schematic block diagram illustrating a configuration of a remote cab control device according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an image cut out from an image captured by a front camera. It is a figure showing an example of a bucket height picture.
  • FIG. 4 is a diagram illustrating an example of a display image displayed on the display device according to the first embodiment. It is a flowchart which shows the display control method by the control apparatus of the remote operator's cab which concerns on 1st Embodiment.
  • FIG. 1 is a schematic diagram illustrating a configuration of a remote operation system according to the first embodiment.
  • the remote control system 1 includes a work vehicle 100 that operates by remote control, and a remote cab 500 for performing remote control.
  • the work vehicle 100 operates at a work site (for example, a mine or a quarry).
  • the remote operator's cab 500 is provided at a point away from the work vehicle 100 (for example, in a city or a work site).
  • Work vehicle 100 and remote cab 500 are connected via communication means such as the Internet.
  • the remote operation system 1 is a system for operating the work vehicle 100 using the remote driver's cab 500.
  • Work vehicle 100 operates according to an operation signal received from remote cab 500. That is, the operator does not board the work vehicle 100.
  • Remote operator's cab 500 receives an operation of work vehicle 100 by an operation of an operator, and transmits an operation signal to work vehicle 100.
  • the remote driver's cab 500 includes a driver's seat 510, a first display device 520, a second display device 530, an operation device 540, and a control device 550.
  • First display device 520 is arranged in front of driver's seat 510.
  • First display device 520 is located in front of the operator when the operator is sitting in driver's seat 510.
  • the first display device 520 includes a central display 521, a left display 522, a right display 523, an upper display 524, and a lower display 525 arranged as shown in FIG.
  • the left display 522 is provided on the left side of the center display 521.
  • the right display 523 is provided on the right side of the center display 521.
  • the upper display 524 is provided above the central display 521.
  • the lower display 525 is provided below the central display 521.
  • the number of displays constituting the first display device 520 is not limited to this.
  • the first display device 520 may be configured by one display.
  • the first display device 520 may project an image onto a curved surface or a spherical surface using a projector or the like.
  • the second display device 530 is disposed diagonally forward of the driver's seat 510.
  • the second display device 530 displays vehicle body information (fuel remaining amount, engine water temperature) transmitted from the work vehicle 100, a notification of an abnormality of the work vehicle 100, and the like.
  • vehicle body information fuel remaining amount, engine water temperature
  • the position of the second display device 530 may not be obliquely forward of the driver's seat 510 as long as the position can be visually recognized by the operator.
  • the remote cab 500 may not include the second display device.
  • the operating device 540 is arranged near the driver's seat 510.
  • the operating device 540 is located within the operable range of the operator when the operator sits in the driver's seat 510.
  • the operating device 540 includes, for example, an electric lever and an electric pedal. When the operator operates the electric lever and the electric pedal, the operating device 540 outputs an operation signal of the boom 131, the arm 132 and the bucket 133, a turning operation signal of the revolving unit 120, and a traveling operation signal of the traveling unit 110. I do.
  • Control device 550 causes first display device 520 to display the image and vehicle body information received from work vehicle 100. That is, the control device 550 is an example of a display control device. Further, control device 550 transmits an operation signal input to operation device 540 to work vehicle 100. The control device 550 is an example of a bucket height notification device.
  • FIG. 2 is an external view of the work vehicle according to the first embodiment.
  • the work vehicle 100 according to the first embodiment is a hydraulic shovel.
  • the work vehicle 100 according to another embodiment may be a work vehicle other than a hydraulic shovel, such as a wheel loader or a bulldozer.
  • the work vehicle 100 includes a working machine 130 driven by hydraulic pressure, a revolving unit 120 supporting the working unit 130, and a traveling unit 110 supporting the revolving unit 120.
  • Work machine 130 includes boom 131, arm 132, and bucket 133.
  • Work implement 130 is driven by the expansion and contraction of boom cylinder 134, arm cylinder 135, and bucket cylinder 136.
  • a boom angle sensor 137, an arm angle sensor 138, and a bucket angle sensor 139 are mounted on the boom 131, the arm 132, and the bucket 133, respectively.
  • the base end of the boom 131 is attached to the swing body 120 via a pin.
  • the arm 132 connects the boom 131 and the bucket 133.
  • the proximal end of the arm 132 is attached to the distal end of the boom 131 via a pin.
  • the bucket 133 includes a blade for excavating earth and sand and the like and a container for storing the excavated earth and sand.
  • the proximal end of the bucket 133 is attached to the distal end of the arm 132 via a pin.
  • the boom cylinder 134 is a hydraulic cylinder for driving the boom 131.
  • the base end of the boom cylinder 134 is attached to the swing body 120.
  • the tip of the boom cylinder 134 is attached to the boom 131.
  • the arm cylinder 135 is a hydraulic cylinder for driving the arm 132.
  • the base end of the arm cylinder 135 is attached to the boom 131.
  • the tip of the arm cylinder 135 is attached to the arm 132.
  • the bucket cylinder 136 is a hydraulic cylinder for driving the bucket 133.
  • the base end of the bucket cylinder 136 is attached to the boom 131.
  • the tip of the bucket cylinder 136 is attached to the bucket 133.
  • the boom angle sensor 137 is attached to the boom 131, for example, and detects the inclination angle of the boom 131.
  • the arm angle sensor 138 is attached to, for example, the arm 132, and detects an inclination angle of the arm 132.
  • the bucket angle sensor 139 is attached to, for example, the bucket 133, and detects the inclination angle of the bucket 133.
  • the boom angle sensor 137, the arm angle sensor 138, and the bucket angle sensor 139 according to the first embodiment detect an inclination angle with respect to the ground plane.
  • the angle sensor according to another embodiment is not limited to this, and may detect an inclination angle with respect to another reference plane.
  • the angle sensor may detect the relative rotation angle by a potentiometer provided at the base end of the boom 131, the arm 132, and the bucket 133, or the boom cylinder 134, the arm cylinder 135,
  • the inclination length may be detected by measuring the cylinder length of the bucket cylinder 136 and converting the cylinder length into an angle.
  • the revolving unit 120 is provided with a driver's cab 121.
  • the cab 121 is provided on the left side of the working machine 130.
  • the driver's cab 121 is provided with a front camera 122.
  • the front camera 122 is installed at the front and upper part in the cab 121.
  • the front camera 122 captures an image of the front of the cab 121 through a windshield in front of the cab 121.
  • forward refers to the direction in which the work implement 130 is mounted on the revolving superstructure 120
  • “rearward” refers to the opposite direction of “forward”.
  • “Side” refers to a direction (left-right direction) crossing the front-back direction.
  • Examples of the front camera 122 include, for example, an imaging device using a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the work vehicle 100 may not include the driver's cab 121.
  • the front camera 122 is installed at a position corresponding to the cab 121 so as to capture an image of the front.
  • the front camera 122 may be configured by two or more cameras.
  • FIG. 3 is an example of an image captured by the imaging device of the work vehicle according to the first embodiment.
  • the front camera 122 captures an image of a range in which a work target in front of the work implement 130 and the cab 121 is captured.
  • the image P1 captured by the front camera 122 shows the work object in front of the work implement 130 and the cab 121 as shown in FIG. Further, since the cab 121 is provided on the left side of the work machine 130, a part of the boom 131 is reflected on the right side of the image P1.
  • the work vehicle 100 includes a front camera 122, a position and orientation calculator 123, a tilt measuring device 124, a hydraulic device 125, and a control device 126.
  • the position and orientation calculator 123 calculates the position of the revolving superstructure 120 and the direction in which the revolving superstructure 120 faces.
  • the position and orientation calculator 123 includes two receivers that receive positioning signals from artificial satellites that make up the GNSS. The two receivers are installed at different positions on the revolving superstructure 120, respectively.
  • the position and orientation calculator 123 detects the position of the representative point (the origin of the shovel coordinate system) of the revolving body 120 in the on-site coordinate system based on the positioning signal received by the receiver. Using the positioning signals received by the two receivers, the position / azimuth calculator 123 calculates the azimuth of the revolving unit 120 as the relationship between the installation position of one receiver and the installation position of the other receiver.
  • the position and orientation calculator 123 may detect the orientation of the revolving superstructure 120 based on the measured value of the rotary encoder or the IMU.
  • the work vehicle 100 may not include the position and orientation calculator 123.
  • the tilt measuring device 124 measures the acceleration and angular velocity of the revolving unit 120, and detects the attitude (for example, roll angle, pitch angle, yaw angle) of the revolving unit 120 based on the measurement result.
  • the inclination measuring device 124 is installed, for example, on the lower surface of the swing body 120.
  • an inertial measurement device IMU: Inertial Measurement Unit
  • the work vehicle 100 may not include the position and orientation calculator 123.
  • the hydraulic device 125 includes a hydraulic oil tank, a hydraulic pump, and a flow control valve.
  • the hydraulic pump is driven by the power of an engine or an electric motor (not shown), and supplies hydraulic oil to the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136 via a flow control valve.
  • the flow control valve has a rod-shaped spool, and adjusts the flow rate of hydraulic oil supplied to the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136 according to the position of the spool.
  • the spool is driven based on a control command received from the control device 126. That is, the amount of hydraulic oil supplied to the boom cylinder 134, the arm cylinder 135, and the bucket cylinder 136 is controlled by the control device 126.
  • the control device 126 transmits the image captured by the front camera 122, the turning speed, the position, the azimuth and the tilt angle of the revolving unit 120, the boom 131, and the information on the tilt angle of the arm 132 and the bucket 133 to the remote driver's cab 500.
  • information measured by various sensors included in work vehicle 100 and transmitted by control device 126 is also referred to as vehicle body information.
  • Control device 126 receives an operation signal from remote cab 500.
  • the control device 126 drives the work implement 130, the swing body 120, or the traveling body 110 based on the received operation signal.
  • FIG. 4 is a schematic block diagram showing the configuration of the remote cab control device according to the first embodiment.
  • the control device 550 is a computer including a processor 910, a main memory 930, a storage 950, and an interface 970.
  • the storage 950 stores a program.
  • the processor 910 reads the program from the storage 950, expands the program in the main memory 930, and executes processing according to the program.
  • Examples of the storage 950 include an HDD (Hard Disk Drive), an SSD (Solid State Drive), a magnetic disk, a magneto-optical disk, a CD-ROM (Compact Disc Read Only Memory), and a DVD-ROM (Digital Versatile Disc Read Only Memory). And a semiconductor memory.
  • the storage 950 may be an internal medium directly connected to the common communication line of the control device 550, or may be an external medium connected to the control device 550 via the interface 970.
  • the storage 950 is a non-transitory tangible storage medium.
  • the control device 550 includes a custom LSI (Large Scale Integrated Circuit) such as a PLD (Programmable Logic Device) or an ASIC (Application Specific Integrated Circuit Circuit). ) May be provided.
  • a custom LSI Large Scale Integrated Circuit
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit Circuit
  • the PLD include PAL (Programmable Array Logic), GAL (Generic Array Logic), CPLD (Complex Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • some or all of the functions realized by the processor 910 may be realized by the integrated circuit.
  • the processor 910 executes the vehicle body information receiving unit 911, the image cutting unit 912, the cutting edge height specifying unit 913, the cutting edge height image generating unit 914, the display image generating unit 915, the display control unit 916, and the operation signal transmission.
  • a section 917 is provided.
  • the vehicle body information receiving unit 911 receives, from the work vehicle 100, the image captured by the front camera 122, the turning speed, the position, the azimuth, and the inclination angle of the revolving unit 120, and the information on the inclination angles of the boom 131, the arm 132, and the bucket 133. I do. That is, the vehicle body information receiving unit 911 is an example of a captured image acquiring unit.
  • FIG. 5 is a diagram illustrating an example of an image cut out from the image P1 captured by the front camera.
  • the image cutout unit 912 From the image P1 captured by the front camera 122 and received by the vehicle body information receiving unit 911, the image cutout unit 912 outputs a central image P11 to be displayed on the central display 521, a left image P12 to be displayed on the left display 522, and a right image P12.
  • a right image P13 to be displayed on the display 523, an upper image P14 to be displayed on the upper display 524, and a lower image P15 to be displayed on the lower display 525 are cut out.
  • the image clipping unit 912 does not need to clip an image.
  • the cutting edge height specifying unit 913 is a height from the ground contact surface of the work vehicle 100 to the cutting edge of the bucket 133 based on the information on the inclination angles of the boom 131, the arm 132, and the bucket 133 received by the vehicle body information receiving unit 911. Calculate the cutting edge height. Specifically, the cutting edge height specifying unit 913 calculates the cutting edge height of the bucket 133 in the following procedure.
  • the cutting edge height specifying portion 913 is configured to determine the height of the pin at the distal end of the boom 131 based on the known height of the pin at the base end of the boom 131, the inclination angle of the boom 131, and the known length of the boom 131. Is calculated.
  • the pin at the tip of the boom 131 is the pin at the base of the arm 132.
  • the cutting edge height specifying unit 913 calculates the height of the pin at the distal end of the arm 132 based on the height of the pin at the base end of the arm 132, the inclination angle of the arm 132, and the known length of the arm 132. I do.
  • the pin at the distal end of the arm 132 is a pin at the proximal end of the bucket 133.
  • the cutting edge height specifying section 913 determines the cutting edge of the bucket 133 based on the height of the pin at the base end of the bucket 133, the inclination angle of the bucket 133, and the known length from the base end of the bucket 133 to the cutting edge. Calculate the height.
  • the cutting edge height specifying unit 913 may extract a characteristic point of the cutting edge from the captured image to detect the height of the characteristic point, or attach a laser sensor to the bucket 133, The height of the cutting edge may be detected based on the detection value of the laser sensor.
  • the height of the cutting edge according to the first embodiment is the height from the ground contact surface of the work vehicle 100 to the cutting edge of the bucket 133, but is not limited to this in other embodiments.
  • the cutting edge height according to another embodiment may be a height from the ground surface immediately below the cutting edge of the bucket 133 to the cutting edge.
  • the ground surface immediately below the cutting edge of the bucket 133 may be at a different height from the contact surface of the work vehicle 100.
  • the ground surface immediately below the cutting edge of the bucket 133 may be a ground surface higher than the ground contact surface of the work vehicle 100, or may be a ground surface lower than the ground contact surface of the work vehicle 100.
  • the ground surface immediately below the cutting edge of the bucket 133 may be a slope.
  • the ground surface and the ground surface immediately below the cutting edge of the bucket 133 are both examples of the ground surface.
  • the cutting edge height specifying unit 913 is an example of a bucket height specifying unit.
  • FIG. 6 is a diagram illustrating an example of a blade edge height image.
  • the cutting edge height image generation unit 914 generates a cutting edge height image P2 indicating the cutting edge height of the working machine 130 based on the cutting edge height calculated by the cutting edge height specifying unit 913.
  • the cutting edge height image P2 includes a gauge P21 having a scale indicating the height, and an indicator P22 arranged on the gauge P21 and indicating the cutting edge height.
  • the operator can estimate the cutting edge height by recognizing the relative positional relationship of the indicator P22 on the gauge P21. Further, the operator can accurately recognize the height of the cutting edge by reading the scale of the gauge P21 where the indicator P22 is located.
  • FIG. 7 is a diagram illustrating an example of a display image displayed on the display device according to the first embodiment.
  • the display image generation unit 915 generates the display right image P13a by arranging the cutting edge height image P2 in the arrangement region R of the right image P13 cut out by the image cutting unit 912.
  • the arrangement area R is, for example, an area in which an operator's line of sight movement is small. Note that the arrangement region R according to another embodiment may be provided in another clipped image. In another embodiment, the blade edge height image P2 may be arranged at a predetermined position.
  • the display control unit 916 causes the central display 521 to display the central image P11.
  • the left image P12 is displayed on the left display 522.
  • the control device 550 causes the right display 523 to display the display right image P13a.
  • Control device 550 causes upper display 524 to display upper image P14.
  • Control device 550 causes lower display 525 to display lower image P15. That is, the display control unit 916 causes the supplementary image to be displayed in the arrangement area of the first display device 520 separately from the vehicle body information displayed by the second display device 530.
  • the display control unit 916 is an example of a cutting edge height notification unit.
  • the operation signal transmission unit 917 generates an operation signal based on the operation of the operation device 540 by the operator, and transmits the operation signal to the work vehicle 100.
  • FIG. 8 is a flowchart illustrating a display control method by the remote cab control device according to the first embodiment.
  • control device 550 executes the following display control at a predetermined cycle.
  • the vehicle body information receiving unit 911 receives the vehicle body information from the control device 126 of the work vehicle 100 (Step S11).
  • the image cutout unit 912 cuts out the center image P11, the left image P12, the right image P13, the upper image P14, and the lower image P15 from the image P1 captured by the front camera 122 among the received vehicle body information ( Step S12).
  • the cutting edge height specifying unit 913 calculates the cutting edge height of the bucket 133 based on the information of the inclination angle of the boom 131, the arm 132, and the bucket 133 in the received vehicle information (step S13).
  • the cutting edge height image generation unit 914 generates a cutting edge height image P2 based on the cutting edge height (Step S14).
  • the display image generation unit 915 generates the display right image P13a by arranging the blade edge height image P2 in the arrangement region R of the right image P13 (Step S15).
  • the display control unit 916 generates a display signal for displaying the center image P11, the left image P12, the display right image P13a, the upper image P14, and the lower image P15 on the first display device 520, and generates the first display device. 520 (step S16).
  • the control device 550 of the remote operator's cab 500 specifies the cutting edge height, which is the height from the contact surface of the work implement 130 to the cutting edge, and notifies the operator of the cutting edge height. I do.
  • the operator can easily recognize the height of the cutting edge of the working machine, which is difficult to recognize due to the remote operation.
  • control device 550 causes the first display device 520 to display a display image in which a blade edge height image is arranged on a captured image captured by the front camera 122 mounted on the work vehicle 100. .
  • the operator can recognize the height of the cutting edge by visually recognizing the same display device as the image in which the work target is captured.
  • the control device 550 may cause the first display device 520 to simply display a numerical value indicating the height instead of the blade height image.
  • the control device 550 may notify the operator of the blade height by a method other than the display.
  • control device 550 may notify the operator of the blade height by generating a sound for notifying the blade height from a speaker. Further, the control device 550 according to another embodiment may control the operation device 540 such that the lever operation of the operation device 540 becomes heavier as the cutting edge height decreases. For example, the control device 550 can increase the lever operation by compressing a self-neutral spring (not shown) built in the lever of the operation device 540 with an actuator by an amount corresponding to the blade edge height.
  • a self-neutral spring not shown
  • the control device 550 calculates the cutting edge height, but is not limited thereto.
  • the control device 126 of the work vehicle 100 or an external server device may calculate the cutting edge height, and the control device 550 may receive the information on the cutting edge height.
  • the control device 126 of the work vehicle 100 or an external server device may generate a blade height image, and the control device 550 may receive the blade height image.
  • the cutting edge height specifying unit 913 can specify the cutting edge height by receiving information on the cutting edge height or receiving the cutting edge height image.
  • the control device 550 calculates and notifies the height of the cutting edge of the bucket 133, but is not limited to this in other embodiments.
  • the control device 550 may calculate the bucket bottom height, which is the distance from the ground surface to the bucket bottom point, instead of the cutting edge height, and notify the bucket bottom height.
  • the bucket bottom point is a point of the bucket 133 closest to the ground surface.
  • the control device 550 stores the shape of the bucket 133 based on the base end of the bucket 133 in advance instead of or in addition to the length from the base end of the bucket 133 to the cutting edge, so that the lowermost point of the bucket Can be specified. Both the cutting edge height and the bucket bottom height are examples of the bucket height.
  • the bucket height notification device is mounted on the remote operation system 1, but is not limited thereto.
  • the bucket height notification device may be applied to a radio control system that operates the work vehicle 100 by wireless communication outside the work vehicle 100 and at a position where the work vehicle 100 can be visually recognized.
  • the control device may include a display device.
  • control device of the remote cab can notify the operator of the height of the bucket of the work implement which is difficult to recognize because the control is performed by remote control.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本発明に係るバケット高さ通知装置は、バケット高さ特定部とバケット高さ通知部とを備える。バケット高さ特定部は、遠隔操作に係る作業車両の接地面から作業機のバケットまでの高さであるバケット高さを特定する。バケット高さ通知部は、バケット高さを通知する。

Description

バケット高さ通知装置およびバケット高さ通知方法
　本発明は、遠隔操作に係る作業車両のバケット高さ通知装置およびバケット高さ通知方法に関する。
　本願は、２０１８年８月３１日に日本に出願された特願２０１８－１６３９１７号について優先権を主張し、その内容をここに援用する。
　作業車両を遠隔操作する技術が知られている。作業車両を遠隔操作するためには、外部から作業車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される作業車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、作業車両から送信される画像を視認しながら操作を行うことができる。
　また、特許文献１には、オペレータに作業機械の傾きおよび方位を表示装置に表示する技術が開示されている。
国際公開第２０１７／０４７８２６号
　オペレータは、画像の視認によって作業車両の状況を認識し、当該状況に基づいて作業車両を操作する。しかしながら、遠隔操作の場合、オペレータは、表示装置に表示される２次元の画像を視認しながら作業を行う必要があるため、作業機の位置を遠近感を伴って認識することができない。また、有人車両においては、オペレータは、バケットが地面に着いた際の振動や、掘削、積込等の作業時の振動を車体を通して体感し、これに基づいてバケットの高さを認識することができる。しかしながら、遠隔操作ではこのような振動がオペレータに伝わらない。そのため、オペレータはバケットの高さを推測することが困難となり、作業効率が悪くなる可能性がある。
　本発明の態様は、遠隔操作であるために認識しがたい作業機のバケットの高さをオペレータに知らせることができるバケット高さ通知装置およびバケット高さ通知方法を提供することを目的とする。
　本発明の第１の態様によれば、バケット高さ通知装置は、地表面から遠隔操作に係る作業車両が備える作業機のバケットまでの高さであるバケット高さを特定するバケット高さ特定部と、前記バケット高さを通知するバケット高さ通知部とを備える。
　上記態様のうち少なくとも１つの態様によれば、遠隔運転室の制御装置は遠隔操作であるために認識しがたい作業機のバケットの高さをオペレータに知らせることができる。
第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る作業車両の外観図である。 第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。 第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 前方カメラが撮像した画像から切り出される画像の例を示す図である。 バケット高さ画像の例を示す図である。 第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。 第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。
〈第１の実施形態〉
《遠隔操作システム》
　図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
　遠隔操作システム１は、遠隔操作により動作する作業車両１００と、遠隔操作を行うための遠隔運転室５００とを備える。作業車両１００は、作業現場（例えば、鉱山、採石場）にて稼動する。遠隔運転室５００は、作業車両１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業車両１００と遠隔運転室５００とは、インターネットなどの通信手段を介して接続される。
　遠隔操作システム１は、遠隔運転室５００を用いて作業車両１００を操作するためのシステムである。
　作業車両１００は、遠隔運転室５００から受信する操作信号に従って動作する。つまり、作業車両１００にはオペレータが搭乗しない。
　遠隔運転室５００は、オペレータの操作により、作業車両１００の操作を受け付け、操作信号を作業車両１００に送信する。
《遠隔運転室》
　遠隔運転室５００は、運転席５１０、第１表示装置５２０、第２表示装置５３０、操作装置５４０、制御装置５５０を備える。
　第１表示装置５２０は、運転席５１０の前方に配置される。第１表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。第１表示装置５２０は、図１に示すように、並べられた中央ディスプレイ５２１、左ディスプレイ５２２、右ディスプレイ５２３、上ディスプレイ５２４、下ディスプレイ５２５によって構成される。左ディスプレイ５２２は中央ディスプレイ５２１の左側に設けられる。右ディスプレイ５２３は中央ディスプレイ５２１の右側に設けられる。上ディスプレイ５２４は中央ディスプレイ５２１の上側に設けられる。下ディスプレイ５２５は中央ディスプレイ５２１の下側に設けられる。
　なお、他の実施形態においては、第１表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、第１表示装置５２０は１つのディスプレイによって構成されてもよい。また、第１表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
　第２表示装置５３０は、運転席５１０の斜め前方に配置される。第２表示装置５３０には、作業車両１００から送信された車体情報（燃料残量、エンジン水温）や、作業車両１００の異常の通知などが表示される。なお、他の実施形態においては、第２表示装置５３０の位置は、オペレータによって視認が可能な位置であれば、運転席５１０の斜め前方でなくてもよい。また他の実施形態に係る遠隔運転室５００は第２表示装置を備えなくてもよい。
　操作装置５４０は、運転席５１０の近傍に配置される。操作装置５４０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５４０は、例えば電気式レバーおよび電気式ペダルを備える。オペレータが電気式レバーおよび電気式ペダルを操作することで、操作装置５４０は、ブーム１３１、アーム１３２およびバケット１３３の操作信号、旋回体１２０の旋回操作信号、ならびに走行体１１０の走行操作信号を出力する。
　制御装置５５０は、作業車両１００から受信した画像および車体情報を、第１表示装置５２０に表示させる。つまり、制御装置５５０は、表示制御装置の一例である。また制御装置５５０は、操作装置５４０に入力された操作信号を作業車両１００に送信する。制御装置５５０は、バケット高さ通知装置の一例である。
《作業車両》
　図２は、第１の実施形態に係る作業車両の外観図である。
　第１の実施形態に係る作業車両１００は、油圧ショベルである。なお、他の実施形態に係る作業車両１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
　作業車両１００は、油圧により駆動する作業機１３０と、作業機１３０を支持する旋回体１２０と、旋回体１２０を支持する走行体１１０とを備える。
　作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。作業機１３０は、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６が伸縮することにより駆動する。ブーム１３１、アーム１３２、およびバケット１３３には、それぞれブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９が装着されている。
　ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
　アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
　バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。
　ブームシリンダ１３４は、ブーム１３１を駆動するための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
　アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
　バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、ブーム１３１に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に取り付けられる。
　ブーム角度センサ１３７は、例えばブーム１３１に取り付けられ、ブーム１３１の傾斜角を検出する。
　アーム角度センサ１３８は、例えばアーム１３２に取り付けられ、アーム１３２の傾斜角を検出する。
　バケット角度センサ１３９は、例えばバケット１３３に取り付けられ、バケット１３３の傾斜角を検出する。
　第１の実施形態に係るブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９は、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム１３１、アーム１３２およびバケット１３３の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ１３４、アームシリンダ１３５およびバケットシリンダ１３６のシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。
　旋回体１２０には、運転室１２１が備えられる。運転室１２１は、作業機１３０の左側に設けられる。運転室１２１には、前方カメラ１２２が設けられる。前方カメラ１２２は、運転室１２１内の前部かつ上部に設置される。前方カメラ１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。前方カメラ１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、他の実施形態に係る作業車両１００は、運転室１２１を備えなくてもよい。この場合においても、前方カメラ１２２は、運転室１２１に相当する位置に、前方を撮像するように設置される。また、他の実施形態においては、前方カメラ１２２は２台以上のカメラによって構成されてもよい。
　図３は、第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。前方カメラ１２２は、作業機１３０および運転室１２１の前方の作業対象が写る範囲を撮像する。つまり、前方カメラ１２２が撮像する画像Ｐ１には、図３に示すように、作業機１３０および運転室１２１の前方の作業対象が写る。また、運転室１２１が作業機１３０の左側に設けられるため、画像Ｐ１の右側部分には、ブーム１３１の一部が写りこんでいる。
　作業車両１００は、前方カメラ１２２、位置方位演算器１２３、傾斜計測器１２４、油圧装置１２５、制御装置１２６を備える。
　位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（ショベル座標系の原点）の位置を検出する。
　位置方位演算器１２３は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
　なお、他の実施形態においては、位置方位演算器１２３は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。また他の実施形態に係る作業車両１００は位置方位演算器１２３を備えなくてもよい。
　傾斜計測器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２４は、例えば旋回体１２０の下面に設置される。傾斜計測器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。なお、他の実施形態に係る作業車両１００は位置方位演算器１２３を備えなくてもよい。
　油圧装置１２５は、作動油タンク、油圧ポンプ、および流量制御弁を備える。油圧ポンプは、図示しないエンジンまたは電動モータの動力で駆動し、流量制御弁を介してブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に作動油を供給する。流量制御弁はロッド状のスプールを有し、スプールの位置によってブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給する作動油の流量を調整する。スプールは、制御装置１２６から受信する制御指令に基づいて駆動される。つまり、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給される作動油の量は、制御装置１２６によって制御される。
　制御装置１２６は、前方カメラ１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、ならびにアーム１３２およびバケット１３３の傾斜角の情報を、遠隔運転室５００に送信する。以下、作業車両１００が備える各種センサによって計測され、制御装置１２６が送信する情報を、車体情報ともいう。
　制御装置１２６は、遠隔運転室５００から操作信号を受信する。制御装置１２６は、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。
《遠隔運転室の制御装置》
　図４は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
　制御装置５５０は、プロセッサ９１０、メインメモリ９３０、ストレージ９５０、インタフェース９７０を備えるコンピュータである。ストレージ９５０は、プログラムを記憶する。プロセッサ９１０は、プログラムをストレージ９５０から読み出してメインメモリ９３０に展開し、プログラムに従った処理を実行する。
　ストレージ９５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９５０は、制御装置５５０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９７０を介して制御装置５５０に接続される外部メディアであってもよい。ストレージ９５０は、一時的でない有形の記憶媒体である。なお、他の実施形態においては、制御装置５５０は、上記構成に加えて、または上記構成に代えて、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）またはＡＳＩＣ（Application Specific Integrated Circuit）などのセミカスタムＬＳＩを備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
　プロセッサ９１０は、プログラムの実行により、車体情報受信部９１１、画像切出部９１２、刃先高さ特定部９１３、刃先高さ画像生成部９１４、表示画像生成部９１５、表示制御部９１６、操作信号送信部９１７を備える。
　車体情報受信部９１１は、前方カメラ１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ならびにブーム１３１、アーム１３２およびバケット１３３の傾斜角の情報を、作業車両１００から受信する。つまり、車体情報受信部９１１は、撮像画像取得部の一例である。
　図５は、前方カメラが撮像した画像Ｐ１から切り出される画像の例を示す図である。
　画像切出部９１２は、車体情報受信部９１１が受信した前方カメラ１２２が撮像した画像Ｐ１から、中央ディスプレイ５２１に表示させるための中央画像Ｐ１１、左ディスプレイ５２２に表示させるための左画像Ｐ１２、右ディスプレイ５２３に表示させるための右画像Ｐ１３、上ディスプレイ５２４に表示させるための上画像Ｐ１４、下ディスプレイ５２５に表示させるための下画像Ｐ１５をそれぞれ切り出す。なお、第１表示装置５２０が１つのディスプレイから構成される場合、画像切出部９１２は画像の切り出しを行わなくてもよい。
　刃先高さ特定部９１３は、車体情報受信部９１１が受信したブーム１３１、アーム１３２およびバケット１３３の傾斜角の情報に基づいて、作業車両１００の接地面からバケット１３３の刃先までの高さである刃先高さを算出する。具体的には、刃先高さ特定部９１３は、以下の手順でバケット１３３の刃先高さを算出する。
　刃先高さ特定部９１３は、ブーム１３１の基端部のピンの既知の高さと、ブーム１３１の傾斜角と、ブーム１３１の既知の長さとに基づいて、ブーム１３１の先端部のピンの高さを算出する。ブーム１３１の先端部のピンは、すなわちアーム１３２の基端部のピンである。刃先高さ特定部９１３は、アーム１３２の基端部のピンの高さと、アーム１３２の傾斜角と、アーム１３２の既知の長さとに基づいて、アーム１３２の先端部のピンの高さを算出する。アーム１３２の先端部のピンは、すなわちバケット１３３の基端部のピンである。刃先高さ特定部９１３は、バケット１３３の基端部のピンの高さと、バケット１３３の傾斜角と、バケット１３３の基端部から刃先までの既知の長さとに基づいて、バケット１３３の刃先の高さを算出する。なお、他の実施形態においては、刃先高さ特定部９１３は、撮像画像から刃先の特徴点を抽出して当該特徴点の高さを検出してもよいし、バケット１３３にレーザセンサを取り付け、当該レーザセンサの検出値に基づいて刃先の高さを検出してもよい。なお、第１の実施形態に係る刃先高さは、作業車両１００の接地面からバケット１３３の刃先までの高さであるが、他の実施形態ではこれに限られない。例えば、他の実施形態に係る刃先高さは、バケット１３３の刃先の直下の地表面から刃先までの高さであってもよい。なお、バケット１３３の刃先の直下の地表面は、作業車両１００の接地面と異なる高さであることがある。すなわちバケット１３３の刃先の直下の地表面は、作業車両１００の接地面より高い地表面であってもよいし、作業車両１００の接地面より低い地表面であってもよい。またバケット１３３の刃先の直下の地表面は、法面であってもよい。接地面およびバケット１３３の刃先の直下の地表面は、いずれも地表面の一例である。刃先高さ特定部９１３は、バケット高さ特定部の一例である。
　図６は、刃先高さ画像の例を示す図である。
　刃先高さ画像生成部９１４は、刃先高さ特定部９１３が算出した刃先高さに基づいて、作業機１３０の刃先高さを表す刃先高さ画像Ｐ２を生成する。刃先高さ画像Ｐ２は、高さを表す目盛りを有するゲージＰ２１と、ゲージＰ２１上に配置され、刃先高さを表すインジケータＰ２２とを含む。これにより、オペレータは、ゲージＰ２１におけるインジケータＰ２２の相対的な位置関係を認識することで、刃先高さを推測することができる。また、オペレータは、インジケータＰ２２が位置する箇所のゲージＰ２１の目盛りを読むことで、刃先高さを正確に認識することができる。
　図７は、第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。
　表示画像生成部９１５は、刃先高さ画像Ｐ２を画像切出部９１２が切り出した右画像Ｐ１３の配置領域Ｒに配置することで、表示用右画像Ｐ１３ａを生成する。配置領域Ｒは、例えば、オペレータの視線移動が少ない領域である。なお、他の実施形態に係る配置領域Ｒは他の切り出した画像に設けられたものであってもよい。また他の実施形態では、刃先高さ画像Ｐ２は、予め定められた位置に配置されてもよい。
　表示制御部９１６は、中央ディスプレイ５２１に中央画像Ｐ１１を表示させる。左ディスプレイ５２２に左画像Ｐ１２を表示させる。制御装置５５０は、右ディスプレイ５２３に表示用右画像Ｐ１３ａを表示させる。制御装置５５０は、上ディスプレイ５２４に上画像Ｐ１４を表示させる。制御装置５５０は、下ディスプレイ５２５に下画像Ｐ１５を表示させる。つまり、表示制御部９１６は、第２表示装置５３０が表示する車体情報とは別個に、第１表示装置５２０の配置領域に補足画像を表示させる。表示制御部９１６は、刃先高さ通知部の一例である。
　操作信号送信部９１７は、オペレータによる操作装置５４０の操作に基づいて操作信号を生成し、作業車両１００に送信する。
《遠隔運転室の表示制御方法》
　図８は、第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。作業車両１００の遠隔操作が開始されると、制御装置５５０は、以下に示す表示制御を所定の周期で実行する。
　車体情報受信部９１１は、作業車両１００の制御装置１２６から車体情報を受信する（ステップＳ１１）。次に、画像切出部９１２は、受信した車体情報のうち前方カメラ１２２が撮像した画像Ｐ１から、中央画像Ｐ１１、左画像Ｐ１２、右画像Ｐ１３、上画像Ｐ１４、および下画像Ｐ１５をそれぞれ切り出す（ステップＳ１２）。
　刃先高さ特定部９１３は、受信した車体情報のうちブーム１３１、アーム１３２およびバケット１３３の傾斜角の情報に基づいて、バケット１３３の刃先高さを算出する（ステップＳ１３）。刃先高さ画像生成部９１４は、刃先高さに基づいて、刃先高さ画像Ｐ２を生成する（ステップＳ１４）。
　表示画像生成部９１５は、刃先高さ画像Ｐ２を右画像Ｐ１３の配置領域Ｒに配置することで、表示用右画像Ｐ１３ａを生成する（ステップＳ１５）。表示制御部９１６は、中央画像Ｐ１１、左画像Ｐ１２、表示用右画像Ｐ１３ａ、上画像Ｐ１４、および下画像Ｐ１５を、第１表示装置５２０に表示させるための表示信号を生成し、第１表示装置５２０に送信する（ステップＳ１６）。
《作用・効果》
　このように、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、作業機１３０の接地面から刃先までの高さである刃先高さを特定し、当該刃先高さをオペレータに通知する。これにより、オペレータは、遠隔操作であるために認識しがたい作業機の刃先高さを容易に認識することができる。
　また、第１の実施形態に係る制御装置５５０は、作業車両１００に搭載された前方カメラ１２２が撮像した撮像画像に、刃先高さ画像を配置した表示画像を、第１表示装置５２０に表示させる。これにより、オペレータは、作業対象物が写る画像と同じ表示装置を視認することで、刃先高さを認識することができる。これにより、オペレータは、少ない視線の移動で容易に刃先高さを認識することができる。なお、他の実施形態に係る制御装置５５０は、刃先高さ画像に代えて、単に高さを表す数値を第１表示装置５２０に表示させてもよい。また他の実施形態に係る制御装置５５０は表示以外の方法で刃先高さをオペレータに通知してもよい。例えば、他の実施形態に係る制御装置５５０は、刃先高さを通知する音声をスピーカから発生させることにより、刃先高さをオペレータに通知してもよい。また他の実施形態に係る制御装置５５０は、刃先高さが低くなるにつれて操作装置５４０のレバー操作が重くなるように、操作装置５４０を制御してもよい。例えば、制御装置５５０は、操作装置５４０のレバーに内蔵されるセルフニュートラル用の図示しないばねを、刃先高さに応じた量だけアクチュエータで圧縮することで、レバー操作を重くすることができる。
〈他の実施形態〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
　例えば、上述した実施形態では、制御装置５５０が刃先高さを算出するが、これに限られない。例えば、他の実施形態においては、作業車両１００の制御装置１２６や、外部のサーバ装置が刃先高さを算出し、制御装置５５０が当該刃先高さの情報を受信してもよい。また他の実施形態においては、作業車両１００の制御装置１２６や、外部のサーバ装置が刃先高さ画像を生成し、制御装置５５０が当該刃先高さ画像を受信してもよい。この場合、刃先高さ特定部９１３は、刃先高さの情報または刃先高さ画像の受信によって刃先高さを特定することができる。
　また、上述した実施形態では、制御装置５５０はバケット１３３の刃先高さを算出し、また通知するが、他の実施形態ではこれに限られない。例えば、他の実施形態に係る制御装置５５０は、刃先高さに代えて、地表面からバケット最下点までの距離であるバケット最下高さを算出し、また通知してもよい。バケット最下点は、バケット１３３のうち最も地表面に近い点である。制御装置５５０は、バケット１３３の基端部から刃先までの長さに代えて、または加えて、バケット１３３の基端部を基準としたバケット１３３の形状を予め記憶することで、バケット最下点を特定することができる。刃先高さおよびバケット最下高さは、いずれもバケット高さの一例である。
　また、上述した実施形態では、遠隔操作システム１にバケット高さ通知装置が実装されるが、これに限られない。例えば、他の実施形態においては、作業車両１００の外部であって作業車両１００を視認できる位置において無線通信により作業車両１００を操作するラジオコントロールシステムにバケット高さ通知装置を適用してもよい。ラジオコントロールシステムにバケット高さ通知装置を適用する場合、制御装置が表示装置を備えていてもよい。
　本発明によれば、遠隔運転室の制御装置は遠隔操作であるために認識しがたい作業機のバケットの高さをオペレータに知らせることができる。
１…遠隔操作システム　１００…作業車両　１３０…作業機　１２０…旋回体　１１０…走行体　１３１…ブーム　１３２…アーム　１３３…バケット　１３４…ブームシリンダ　１３５…アームシリンダ　１３６…バケットシリンダ　１３７…ブーム角度センサ　１３８…アーム角度センサ　１３９…バケット角度センサ　１２１…運転室　１２２…前方カメラ　１２３…位置方位演算器　１２４…傾斜計測器　１２５…油圧装置　１２６…制御装置　５００…遠隔運転室　５１０…運転席　５２０…第１表示装置　５３０…第２表示装置　５４０…操作装置　５５０…制御装置　９１１…車体情報受信部　９１２…画像切出部　９１３…刃先高さ特定部　９１４…刃先高さ画像生成部　９１５…表示画像生成部　９１６…表示制御部　９１７…操作信号送信部

Claims (4)

  1. 　地表面から遠隔操作に係る作業車両が備える作業機のバケットまでの高さであるバケット高さを特定するバケット高さ特定部と、
    　前記バケット高さを通知するバケット高さ通知部と
    　を備えるバケット高さ通知装置。
  2. 　前記作業車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
    　前記撮像画像に前記バケット高さを表すバケット高さ画像を配置した表示画像を生成する表示画像生成部と、
    　をさらに備える、
    　請求項１に記載のバケット高さ通知装置。
  3. 　前記バケット高さ通知部は、前記表示画像を遠隔運転室内の表示装置に出力する
    　請求項２に記載のバケット高さ通知装置。
  4. 　遠隔操作に係る作業車両の下方の地表面から前記作業車両が備える作業機のバケットまでの高さであるバケット高さを特定するステップと、
    　前記バケット高さを通知するステップと
    　を備えるバケット高さ通知方法。
PCT/JP2019/028250 2018-08-31 2019-07-18 バケット高さ通知装置およびバケット高さ通知方法 WO2020044834A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/043,861 US11746505B2 (en) 2018-08-31 2019-07-18 Bucket height notification device and bucket height notification method
AU2019328966A AU2019328966B2 (en) 2018-08-31 2019-07-18 Bucket height notification device and bucket height notification method
CN201980029089.5A CN112041509A (zh) 2018-08-31 2019-07-18 铲斗高度通知装置以及铲斗高度通知方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018163917A JP2020037767A (ja) 2018-08-31 2018-08-31 バケット高さ通知装置およびバケット高さ通知方法
JP2018-163917 2018-08-31

Publications (1)

Publication Number Publication Date
WO2020044834A1 true WO2020044834A1 (ja) 2020-03-05

Family

ID=69643230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028250 WO2020044834A1 (ja) 2018-08-31 2019-07-18 バケット高さ通知装置およびバケット高さ通知方法

Country Status (5)

Country Link
US (1) US11746505B2 (ja)
JP (2) JP2020037767A (ja)
CN (1) CN112041509A (ja)
AU (1) AU2019328966B2 (ja)
WO (1) WO2020044834A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021230093A1 (ja) * 2020-05-15 2021-11-18 コベルコ建機株式会社 画像処理装置および画像処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883813B2 (ja) * 2014-10-27 2021-06-09 ヤンマーパワーテクノロジー株式会社 トラクタ
US11905675B2 (en) * 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
US11595618B2 (en) * 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
DE112021002665T5 (de) * 2020-05-07 2023-03-16 Hyundai Doosan Infracore Co., Ltd. Bagger und steuerungsverfahren dafür
JP2022144495A (ja) * 2021-03-19 2022-10-03 コベルコ建機株式会社 遠隔操作支援システムおよび遠隔操作支援方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186215A2 (ja) * 2014-06-04 2015-12-10 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
WO2017047826A1 (ja) * 2016-09-30 2017-03-23 株式会社小松製作所 作業機械の表示システム及び作業機械

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082646B2 (ja) * 1999-11-19 2008-04-30 株式会社小松製作所 排土板の前方監視装置付き車両
JP3987777B2 (ja) 2002-09-17 2007-10-10 日立建機株式会社 建設機械の掘削作業教示装置
JP4973919B2 (ja) * 2006-10-23 2012-07-11 ソニー株式会社 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
US9298030B2 (en) * 2009-09-23 2016-03-29 Peter Dobrich Enhanced display
US20150300830A1 (en) * 2014-04-16 2015-10-22 General Electric Company System and method for vehicle operation
US8965642B2 (en) * 2012-10-05 2015-02-24 Komatsu Ltd. Display system of excavating machine and excavating machine
KR102003562B1 (ko) * 2012-12-24 2019-07-24 두산인프라코어 주식회사 건설기계의 감지 장치 및 방법
TWI544473B (zh) * 2014-11-18 2016-08-01 緯創資通股份有限公司 顯示方法、顯示裝置與電腦系統
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
CN107532400A (zh) * 2015-03-19 2018-01-02 住友建机株式会社 挖土机
JP6144373B2 (ja) * 2016-02-17 2017-06-07 住友建機株式会社 ショベル、ショベル管理システム、及び携帯通信端末
WO2017199939A1 (ja) * 2016-05-17 2017-11-23 住友重機械工業株式会社 ショベル
CN107882103B (zh) * 2017-10-26 2019-09-10 南京工业大学 一种挖掘机三维姿态显示及远程自动控制系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015186215A2 (ja) * 2014-06-04 2015-12-10 株式会社小松製作所 作業機械の姿勢演算装置、作業機械及び作業機械の姿勢演算方法
WO2017047826A1 (ja) * 2016-09-30 2017-03-23 株式会社小松製作所 作業機械の表示システム及び作業機械

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021230093A1 (ja) * 2020-05-15 2021-11-18 コベルコ建機株式会社 画像処理装置および画像処理方法
JP7491046B2 (ja) 2020-05-15 2024-05-28 コベルコ建機株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN112041509A (zh) 2020-12-04
AU2019328966B2 (en) 2022-07-14
US11746505B2 (en) 2023-09-05
JP2023060197A (ja) 2023-04-27
US20210062473A1 (en) 2021-03-04
AU2019328966A1 (en) 2020-10-22
JP2020037767A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
WO2020044834A1 (ja) バケット高さ通知装置およびバケット高さ通知方法
CN107250466B (zh) 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械
WO2020003631A1 (ja) 表示制御装置、および表示制御方法
JP7144252B2 (ja) 積込機械の制御装置および制御方法
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JP2018035645A (ja) 作業機械の画像表示システム
JP2008144379A (ja) 遠隔操縦作業機の画像処理システム
JP7188941B2 (ja) 作業機械の制御装置および制御方法
JP7372029B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
JP7080750B2 (ja) 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP2024028438A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
WO2020054421A1 (ja) 作業機械、制御装置、および制御方法
JP2024052764A (ja) 表示制御装置及び表示方法
US20180230678A1 (en) Construction method, work machine control system, and work machine
WO2020090898A1 (ja) 表示制御システム、表示制御方法および遠隔操作システム
JP2020133236A (ja) 作業機械の制御システム
WO2022070707A1 (ja) 表示制御装置及び表示方法
JP2021050522A (ja) 作業機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854311

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019328966

Country of ref document: AU

Date of ref document: 20190718

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19854311

Country of ref document: EP

Kind code of ref document: A1