WO2017033769A1 - ホイールローダの制御システム、その制御方法およびホイールローダの制御方法 - Google Patents

ホイールローダの制御システム、その制御方法およびホイールローダの制御方法 Download PDF

Info

Publication number
WO2017033769A1
WO2017033769A1 PCT/JP2016/073733 JP2016073733W WO2017033769A1 WO 2017033769 A1 WO2017033769 A1 WO 2017033769A1 JP 2016073733 W JP2016073733 W JP 2016073733W WO 2017033769 A1 WO2017033769 A1 WO 2017033769A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bucket
unit
wheel loader
blocking area
Prior art date
Application number
PCT/JP2016/073733
Other languages
English (en)
French (fr)
Inventor
辻 英樹
馨 安田
法文 西坂
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to EP16839116.7A priority Critical patent/EP3342942B1/en
Priority to JP2017536747A priority patent/JP6913630B2/ja
Priority to CN201680024220.5A priority patent/CN107532410B/zh
Priority to EP21211616.4A priority patent/EP3985184A1/en
Priority to US15/571,111 priority patent/US10435868B2/en
Publication of WO2017033769A1 publication Critical patent/WO2017033769A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/34Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with bucket-arms, i.e. a pair of arms, e.g. manufacturing processes, form, geometry, material of bucket-arms directly pivoted on the frames of tractors or self-propelled machines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features

Definitions

  • the present invention relates to a wheel loader control system and the like.
  • wheel loaders are used to move earth, rocks, and other substances (also called loading objects) from one place to another.
  • a wheel loader can load earth, rocks, and / or other materials on another transport machine, such as a dump truck, which can then be transported to a disposal site by a dump truck.
  • the wheel loader is provided with a work machine for performing work such as excavation and loading.
  • a work machine for performing work such as excavation and loading.
  • an operator performs excavation and loading operations while observing the state of the work machine provided in front of the wheel loader, but the work machine itself may block the worker's field of view. As a result, the work efficiency of the work machine was reduced.
  • Patent Document 1 discloses a method for assisting the confirmation of the surroundings of the hydraulic excavator by arranging a camera around the hydraulic excavator to capture an image and generating an upper viewpoint image.
  • the present invention is for solving the above-described problems, and an object thereof is to provide a wheel loader control system, a control method thereof, and a wheel loader control method capable of improving work efficiency.
  • a wheel loader control system comprising: a display unit; and a control unit that displays on the display unit a transmission image that transmits at least part of a vessel of a wheel loader or a vessel to be loaded.
  • control unit displays a transparent image that transmits at least a part of the vessel of the work implement or the vehicle to be loaded on the display unit, the operator can intuitively operate the work implement. It is possible to improve the work efficiency.
  • control unit synthesizes the outline of the bucket or vessel of the work machine with the transparent image and displays the synthesized image on the display unit.
  • the control unit since the outline of the bucket or vessel of the work implement is combined with the transmission image and displayed on the display unit, the external shape can be easily grasped, and the operator can intuitively understand the work implement. Operation is possible and work efficiency can be improved.
  • control unit combines the outline of the bucket in a side view with the transmission image in the bucket and displays it on the display unit.
  • the outline of the side view of the bucket is combined with the transmission image in the bucket and displayed on the display unit, so that the operator can intuitively operate the work implement from the side view and work efficiency. It is possible to improve.
  • the control unit combines the outline of the bucket at the driver's seat viewpoint with the transparent image in the bucket and displays it on the display unit. According to the above, since the outline of the bucket of the driver's seat viewpoint is combined with the transmission image in the bucket and displayed on the display unit, the operator can intuitively operate the work machine from the driver's seat viewpoint, It is possible to improve work efficiency.
  • the control unit extracts at least a part of a blocking region in which the view of the worker from the viewpoint of the driver seat of the wheel loader on the display unit is blocked, and the blocking extracted by the blocking region extracting unit.
  • a display control unit configured to synthesize a transmission image ahead of the operator's line of sight with respect to the area within the outline of the blocking area with the outline of the area as a boundary, and display the synthesized image on the display unit. According to the above, since the display control unit synthesizes and displays on the display unit a transparent image that is ahead of the operator's line of sight than the blocking area, the operator can intuitively operate the work implement. It is possible to improve work efficiency.
  • the display unit is an optical transmission type display unit. According to the above, since the transmission image ahead of the operator's line of sight is synthesized and displayed on the optical transmission type display unit, the operator can operate the work machine more intuitively. It is possible to improve the work efficiency.
  • the blocking area extraction unit extracts at least a part of the blocking area based on an operator's operation instruction. According to the above, since the blocking area is specified based on the operator's operation instruction, it is possible to reduce the processing load of image analysis when extracting the blocking area.
  • the control system of the wheel loader includes an imaging unit that acquires image data, an image extraction unit that extracts a transmission image ahead of the operator's line of sight from the blocking area based on the image data acquired by the imaging unit, Is further provided.
  • the display control unit synthesizes the transmission image extracted by the image extraction unit for the region within the outline of the blocking region with the outline of the blocking region extracted by the blocking region extraction unit as a boundary and displays it on the display unit To do.
  • the transmitted image is extracted based on the image data, the actual transmitted image ahead of the operator's line of sight is synthesized beyond the blocking area, so that the operator can intuitively operate the work machine. It is possible to improve the work efficiency.
  • the cut-off area extraction unit extracts a cut-off area where the view of the operator from the viewpoint of the driver's seat on the display unit is cut off by the bucket of the work machine when excavating with the bucket.
  • the image extraction unit extracts a transmission image in the bucket that is ahead of the operator's line of sight from the extracted blocking area.
  • the display control unit synthesizes the transmission image in the bucket extracted by the image extraction unit for the region in the bucket outline with the bucket outline extracted by the blocking region extraction unit as a boundary. Display on the display. According to the above, since the transmission image in the bucket is synthesized during excavation, an operator can intuitively operate the work implement during excavation, and work efficiency can be improved.
  • the work implement includes a work implement link that connects the bucket and the vehicle body.
  • the blocking area extraction unit extracts a blocking area where the worker's view of the driver's seat viewpoint on the display unit is blocked by the work machine link when loading into the vessel.
  • the image extraction unit extracts a transmission image of a part of the vessel ahead of the operator's line of sight from the extracted blocking area at the time of loading.
  • the display control unit obtains the transmission image extracted by the image extraction unit for the region within the outline of the work implement link with the outline of the work implement link extracted by the blocking region extraction unit as a boundary. Combine and display on the display. Based on the above, since the transparent image of the vessel is synthesized at the time of loading, the operator can intuitively operate the work machine at the time of loading, and work efficiency can be improved.
  • the blocking area extraction unit extracts a blocking area in which the visibility of the operator from the viewpoint of the driver's seat on the display unit is blocked by the vessel when the bucket is discharged.
  • the image extraction unit extracts a transmission image in the vessel at the tip of the operator's line of sight from the extracted blocking area at the time of earth removal.
  • the display control unit synthesizes the transmission image in the vessel extracted by the image extraction unit for the region in the outline of the vessel, with the outline of the vessel extracted by the blocking region extraction unit as a boundary at the time of earth removal. Display on the display. According to the above, since the transmission image in the vessel is synthesized at the time of earth removal, the operator can intuitively operate the work machine at the time of earth removal, and the work efficiency can be improved. .
  • the blocking area extraction unit further extracts a blocking area in which the visibility of the operator from the viewpoint of the driver's seat on the display unit is blocked by the bucket at the time of earth removal by the bucket.
  • the image extraction unit further extracts a transmission image in the bucket ahead of the operator's line of sight from the extracted blocking area at the time of earth removal.
  • the display control unit further transmits the transmission image in the bucket extracted by the image extraction unit for the region in the bucket outline with the outline of the bucket extracted by the blocking region extraction unit as a boundary at the time of earth removal. Combine and display. According to the above, since the transmission image in the bucket is synthesized at the time of earth removal, an operator can intuitively operate the work machine at the time of earth removal, and work efficiency can be improved. .
  • a control method of a wheel loader control system comprising: a step of inputting captured image data; and an operator from the viewpoint of a driver seat of a wheel loader by at least a part of a work machine or a loading target vehicle among the image data Extracting at least a part of a blocking area where the field of view is blocked, synthesizing a transmission image ahead of the operator's line of sight beyond the extracted blocking area, and creating image composition data; Displaying the data on the display unit.
  • the control method of the control system of the present invention since the transmission image ahead of the operator's line of sight is synthesized and displayed on the display unit beyond the blocking area, the operator can intuitively operate the work machine. It is possible to improve the work efficiency.
  • a method for controlling a wheel loader comprising: obtaining captured image data; and at least a part of a work machine or a vehicle to be loaded among the image data, wherein a worker's view of a wheel loader driver's viewpoint is Extracting at least a part of the blocked area to be blocked, synthesizing a transmission image ahead of the operator's line of sight from the extracted blocked area, creating image synthesized data, and displaying the image synthesized data And a step of displaying on the section.
  • the wheel loader control method of the present invention since the transmission image ahead of the operator's line of sight is synthesized and displayed on the display unit beyond the blocking area, the operator can intuitively operate the work machine. Yes, it is possible to improve work efficiency.
  • the wheel loader control system, the control method thereof, and the wheel loader control method of the present invention can improve work efficiency.
  • FIG. 1 is an external view of a wheel loader 1 based on Embodiment 1.
  • FIG. It is a schematic diagram which shows the structure of the wheel loader 1 based on Embodiment 1.
  • FIG. It is an external appearance block diagram of the loading object vehicle 140 according to Embodiment 1.
  • FIG. It is a figure explaining the functional block of the control part 10 of the wheel loader 1 based on Embodiment 1.
  • FIG. It is a figure explaining the image data imaged with the camera 40 based on Embodiment 1.
  • FIG. It is a figure explaining the image data imaged with the camera 45 based on Embodiment 1.
  • FIG. 1 is an external view of a wheel loader 1 based on Embodiment 1.
  • FIG. It is a schematic diagram which shows the structure of the wheel loader 1 based on Embodiment 1.
  • FIG. It is an external appearance block diagram of the loading object vehicle 140 according to Embodiment 1.
  • FIG. It is a figure explaining the functional block of the control part 10
  • FIG. 5 is a flowchart for explaining processing related to a composite image display of a transparent image based on the first embodiment. It is a figure explaining the image data at the time of seeing the bucket 7 based on Embodiment 1 from the side. It is a figure explaining the cameras 46 and 47 based on Embodiment 1. FIG. It is a figure explaining the bucket of another angle displayed on the display part 50 based on Embodiment 1.
  • FIG. 6 is an external view of a wheel loader 1A based on a modification of the first embodiment.
  • FIG. It is a figure explaining the imaging range of the camera 40 and the camera 41 based on the modification of Embodiment 1.
  • FIG. 10 It is a figure explaining the functional block of 10 A of control parts of 1 A of wheel loaders based on the modification of Embodiment 1.
  • FIG. It is a flowchart which identifies the object which extracts a blockade area
  • FIG. It is a figure explaining the image data imaged with the camera at the time of the loading operation
  • FIG. It is a figure explaining the image data imaged with the camera 41 at the time of the loading operation
  • FIG. It is a figure explaining the image displayed on the display part 50 at the time of the loading operation
  • FIG. It is a figure explaining the image data imaged with the camera at the time of the earth removal work based on the modification of Embodiment 1.
  • FIG. It is a figure explaining the image data imaged with the camera 151 at the time of the earth removal work based on the modification of Embodiment 1.
  • FIG. It is a figure explaining the image displayed on the display part 50 at the time of the earth removal work based on the modification of Embodiment 1.
  • FIG. It is a figure explaining the functional block of the control part 10B of the wheel loader 1 based on Embodiment 2.
  • FIG. It is a figure explaining the image displayed on the display part 50 at the time of the loading operation
  • FIG. It is a figure explaining the image data imaged with the camera at the time of the earth removal work based on the modification of Embod
  • FIG. 1 It is a figure explaining the state which modeled the wheel loader 1 based on Embodiment 2.
  • FIG. It is a figure explaining the display part and camera imaging range based on Embodiment 3.
  • FIG. It is a figure explaining an example of display part 50 # based on Embodiment 3.
  • FIG. 1 is a diagram illustrating an outline of work processing based on the first embodiment.
  • FIG. 1 shows, as an example, a schematic configuration when a wheel loader and a vehicle to be loaded are arranged at a civil engineering site such as a quarry or a mine.
  • a loading object X is shown at the civil engineering site.
  • the wheel loader 1 performs excavation work for excavating the loading object X such as accumulated earth and sand and loading work for loading into the loading target vehicle 140.
  • the wheel loader 1 performs the excavation work for excavating the loading object X, and then moves backward while turning to the point V so as to face the loading object vehicle 140. And it advances with respect to the loading object vehicle 140 from the point V, and the loading operation
  • the loading target vehicle 140 is arranged at a position designated in advance so that the loading work in the wheel loader 1 can be efficiently performed.
  • a camera 40 is disposed on the roof side of the wheel loader 1. Here, the case where one camera 40 is provided is shown, but it is desirable to arrange a plurality of cameras.
  • FIG. 2 is an external view of the wheel loader 1 based on the first embodiment.
  • FIG. 3 is a schematic diagram showing a configuration of the wheel loader 1 based on the first embodiment.
  • the wheel loader 1 can be self-propelled when the wheels 4 a and 4 b are rotationally driven, and can perform a desired work using the work machine 3.
  • the wheel loader 1 includes a body frame 2, a work machine 3, wheels 4 a and 4 b, and a cab 5.
  • the body frame 2 has a front body part 2a and a rear body part 2b.
  • the front vehicle body portion 2a and the rear vehicle body portion 2b are connected to each other so as to be swingable in the left-right direction.
  • a pair of steering cylinders 11a and 11b are provided across the front body part 2a and the rear body part 2b.
  • the steering cylinders 11a and 11b are hydraulic cylinders that are driven by hydraulic oil from the steering pump 12 (see FIG. 3). As the steering cylinders 11a and 11b expand and contract, the front vehicle body portion 2a swings with respect to the rear vehicle body portion 2b. Thereby, the traveling direction of the vehicle is changed.
  • FIGS. 2 and 3 only one of the steering cylinders 11a and 11b is shown, and the other is omitted.
  • the work machine 3 and a pair of wheels 4a are attached to the front body part 2a.
  • the work machine 3 is driven by hydraulic oil from the work machine pump 13 (see FIG. 3).
  • the work machine 3 includes a boom 6, a pair of lift cylinders 14 a and 14 b, a bucket 7, a bell crank 9, and a bucket cylinder 15.
  • the boom 6 is rotatably supported by the front vehicle body 2a.
  • One ends of the lift cylinders 14a and 14b are attached to the front vehicle body 2a.
  • the other ends of the lift cylinders 14 a and 14 b are attached to the boom 6.
  • the lift cylinders 14 a and 14 b expand and contract with the hydraulic oil from the work machine pump 13, the boom 6 swings up and down.
  • the bucket 7 is rotatably supported at the tip of the boom 6.
  • One end of the bucket cylinder 15 is attached to the front vehicle body 2a.
  • the other end of the bucket cylinder 15 is attached to the bucket 7 via a bell crank 9.
  • the bucket 7 swings up and down as the bucket cylinder 15 expands and contracts with hydraulic oil from the work machine pump 13.
  • the boom 6, the lift cylinders 14a, 14b, and the like that connect the bucket 7 and the front vehicle body 2a are also referred to as work implement links.
  • the cab 5 and a pair of wheels 4b are attached to the rear vehicle body 2b.
  • the cab 5 is placed on the upper part of the vehicle body frame 2 and includes a seat on which an operator is seated, an operation unit 8 to be described later, and the like.
  • the wheel loader 1 includes an engine 21 as a drive source, a traveling device 22, a work machine pump 13, a steering pump 12, an operation unit 8, a control unit 10, and the like.
  • the engine 21 is a diesel engine, and the output of the engine 21 is controlled by adjusting the amount of fuel injected into the cylinder. This adjustment is performed by controlling the electronic governor 25 attached to the fuel injection pump 24 of the engine 21 by the control unit 10.
  • the governor 25 an all-speed control type governor is generally used, and the engine speed and the fuel injection amount according to the load so that the engine speed becomes a target speed corresponding to the accelerator operation amount described later. And adjust. That is, the governor 25 increases or decreases the fuel injection amount so that there is no deviation between the target engine speed and the actual engine speed.
  • the engine speed is detected by an engine speed sensor 91. A detection signal of the engine speed sensor 91 is input to the control unit 10.
  • the traveling device 22 is a device that causes the vehicle to travel by the driving force from the engine 21.
  • the traveling device 22 includes a torque converter device 23, a transmission 26, and the wheels 4a and 4b described above.
  • the torque converter device 23 has a lockup clutch 27 and a torque converter 28.
  • the lockup clutch 27 can be switched between a connected state and a non-connected state.
  • the torque converter 28 transmits the driving force from the engine 21 using oil as a medium.
  • the lockup clutch 27 is in the connected state, the input side and the output side of the torque converter 28 are directly connected.
  • the lock-up clutch 27 is a hydraulically operated clutch, and the supply of hydraulic oil to the lock-up clutch 27 is controlled by the control unit 10 via the clutch control valve 31 so that the connected state and the non-connected state are changed. Can be switched.
  • the transmission 26 has a forward clutch CF corresponding to the forward travel stage and a reverse clutch CR corresponding to the reverse travel stage.
  • a forward clutch CF corresponding to the forward travel stage
  • a reverse clutch CR corresponding to the reverse travel stage.
  • the transmission 26 has a plurality of speed stage clutches C1-C4 corresponding to a plurality of speed stages, and can switch the reduction ratio to a plurality of stages.
  • four speed stage clutches C1-C4 are provided, and the speed stage can be switched to four stages from the first speed to the fourth speed.
  • Each of the speed stage clutches C1-C4 is a hydraulically operated hydraulic clutch. Hydraulic oil is supplied from a hydraulic pump (not shown) to the speed stage clutch C1-C4 via the clutch control valve 31.
  • the clutch control valve 31 is controlled by the control unit 10 to control the supply of hydraulic oil to the speed stage clutch C1-C4, so that the connected state and the non-connected state of each speed stage clutch C1-C4 are switched.
  • the output shaft of the transmission 26 is provided with a T / M output rotational speed sensor 92 that detects the rotational speed of the output shaft of the transmission 26.
  • a detection signal from the T / M output rotation speed sensor 92 is input to the control unit 10.
  • the control unit 10 calculates the vehicle speed based on the detection signal of the T / M output rotation speed sensor 92. Therefore, the T / M output rotation speed sensor 92 functions as a vehicle speed detection unit that detects the vehicle speed. Note that a sensor that detects the rotational speed of other parts instead of the output shaft of the transmission 26 may be used as the vehicle speed sensor.
  • the driving force output from the transmission 26 is transmitted to the wheels 4a and 4b via the shaft 32 and the like. Thereby, the vehicle travels.
  • the rotational speed of the input shaft of the transmission 26 is detected by a T / M input rotational speed sensor 93.
  • a detection signal from the T / M input rotation speed sensor 93 is input to the control unit 10.
  • a part of the driving force of the engine 21 is transmitted to the work machine pump 13 and the steering pump 12 via the PTO shaft 33.
  • the work machine pump 13 and the steering pump 12 are hydraulic pumps that are driven by a driving force from the engine 21.
  • the hydraulic oil discharged from the work machine pump 13 is supplied to the lift cylinders 14 a and 14 b and the bucket cylinder 15 via the work machine control valve 34.
  • the hydraulic oil discharged from the steering pump 12 is supplied to the steering cylinders 11a and 11b via the steering control valve 35.
  • the work machine 3 is driven by a part of the driving force from the engine 21.
  • the pressure of the hydraulic oil discharged from the work machine pump 13 is detected by the first hydraulic sensor 94.
  • the pressure of the hydraulic oil supplied to the lift cylinders 14 a and 14 b is detected by the second hydraulic sensor 95.
  • the second hydraulic pressure sensor 95 detects the hydraulic pressure in the cylinder bottom chamber to which hydraulic oil is supplied when the lift cylinders 14a and 14b are extended.
  • the pressure of the hydraulic oil supplied to the bucket cylinder 15 is detected by a third hydraulic sensor 96.
  • the third hydraulic pressure sensor 96 detects the hydraulic pressure in the cylinder bottom chamber to which hydraulic oil is supplied when the bucket cylinder 15 is extended.
  • the pressure of the hydraulic oil discharged from the steering pump 12 is detected by the fourth hydraulic sensor 97. Detection signals from the first hydraulic sensor 94 to the fourth hydraulic sensor 97 are input to the control unit 10.
  • the operation unit 8 is operated by an operator.
  • the operation unit 8 includes an accelerator operation member 81a, an accelerator operation detection device 81b, a steering operation member 82a, a steering operation detection device 82b, a boom operation member 83a, a boom operation detection device 83b, a bucket operation member 84a, a bucket operation detection device 84b, and a gear shift.
  • An operation member 85a, a shift operation detection device 85b, an FR operation member 86a, an FR operation detection device 86b, and the like are included.
  • the accelerator operation member 81a is, for example, an accelerator pedal, and is operated to set a target rotational speed of the engine 21.
  • the accelerator operation detection device 81b detects the operation amount of the accelerator operation member 81a.
  • the accelerator operation detection device 81b outputs a detection signal to the control unit 10.
  • the steering operation member 82a is, for example, a steering handle, and is operated to operate the traveling direction of the vehicle.
  • the steering operation detection device 82 b detects the position of the steering operation member 82 a and outputs a detection signal to the control unit 10.
  • the control unit 10 controls the steering control valve 35 based on the detection signal from the steering operation detection device 82b. Thereby, the steering cylinders 11a and 11b expand and contract, and the traveling direction of the vehicle is changed.
  • the boom operation member 83a and the bucket operation member 84a are, for example, operation levers, and are operated to operate the work machine 3. Specifically, the boom operation member 83 a is operated to operate the boom 6. The bucket operation member 84 a is operated to operate the bucket 7.
  • the boom operation detection device 83b detects the position of the boom operation member 83a.
  • the bucket operation detection device 84b detects the position of the bucket operation member 84a.
  • the boom operation detection device 83b and the bucket operation detection device 84b output detection signals to the control unit 10.
  • the control unit 10 controls the work implement control valve 34 based on detection signals from the boom operation detection device 83b and the bucket operation detection device 84b.
  • the work machine 3 is provided with a boom angle detection device 98 for detecting the boom angle.
  • the boom angle is sandwiched between a line connecting the rotation support center between the front vehicle body portion 2a and the boom 6, the rotation support center between the boom 6 and the bucket 7, and a line connecting the axis centers of the front and rear wheels 4a and 4b.
  • the boom angle detection device 98 outputs a detection signal to the control unit 10.
  • the control unit 10 calculates the height position of the bucket 7 based on the boom angle detected by the boom angle detection device 98. For this reason, the boom angle detection device 98 functions as a height position detection unit that detects the height of the bucket 7.
  • the shift operation member 85a is, for example, a shift lever.
  • the shift operation member 85a is operated to set the upper limit of the speed stage when the automatic shift mode is selected. For example, when the speed change operating member 85a is set to the third speed, the transmission 26 is switched from the second speed to the third speed, and is not switched to the fourth speed.
  • the transmission 26 is switched to the speed stage set by the shift operation member 85a.
  • the shift operation detecting device 85b detects the position of the shift operation member 85a.
  • the shift operation detecting device 85 b outputs a detection signal to the control unit 10.
  • the control unit 10 controls the shift of the transmission 26 based on the detection signal from the shift operation detection device 85b.
  • the automatic transmission mode and the manual transmission mode are switched by an operator by a transmission mode switching member (not shown).
  • the FR operation member 86a is operated to switch the vehicle between forward and reverse.
  • the FR operation member 86a can be switched to forward, neutral, and reverse positions.
  • the FR operation detection device 86b detects the position of the FR operation member 86a.
  • the FR operation detection device 86 b outputs a detection signal to the control unit 10.
  • the control unit 10 controls the clutch control valve 31 based on the detection signal from the FR operation detection device 86b. As a result, the forward clutch CF and the reverse clutch CR are controlled, and the vehicle is switched between forward, reverse, and neutral states.
  • the control unit 10 is generally realized by reading various programs by a CPU (Central Processing Unit).
  • CPU Central Processing Unit
  • the control unit 10 is connected to the memory 60, and the memory 60 functions as a work memory and stores various programs for realizing the function of the wheel loader.
  • the control unit 10 sends an engine command signal to the governor 25 so that a target rotational speed corresponding to the accelerator operation amount can be obtained.
  • the control unit 10 is connected to the camera 40.
  • the control unit 10 receives input of image data captured by the camera 40.
  • the camera 40 is provided on the roof side of the cab 5 of the wheel loader 1.
  • the line-of-sight direction of the camera 40 is the same as the line-of-sight direction of the operator seated in the cab 5 of the wheel loader 1. In this example, it is the horizontal direction.
  • the control unit 10 is also connected to the camera 45.
  • the control unit 10 receives input of image data captured by the camera 45.
  • the camera 45 is provided inside the bucket 7.
  • the line-of-sight direction of the camera 45 is directed to the direction in which the inside of the bucket 7 is imaged.
  • the control unit 10 is also connected to the display unit 50.
  • the control unit 10 is also connected to a communication unit 19 provided to be communicable with the outside.
  • FIG. 4 is an external configuration diagram of the loading target vehicle 140 according to the first embodiment.
  • FIG. 4 shows an example of a dump truck as the loading target vehicle 140.
  • the loading target vehicle 140 can be self-propelled when, for example, the wheels 142 and 144 are rotationally driven.
  • the target vehicle 140 includes an engine 146 as a drive source for driving the wheels 142 and 144 and driving one or more of the other components.
  • an engine 146 as a drive source for driving the wheels 142 and 144 and driving one or more of the other components.
  • a diesel engine For example, a diesel engine.
  • the loading target vehicle 140 includes a vessel 160 on which a loading target object such as earth and sand can be loaded, a cab 152, a control device 158, a communication device 134, various detectors and / or sensors, and respective components. And various actuators for operation.
  • the vessel 160 is operated to the earth discharging position via the actuator 150, for example.
  • the cab 152 includes a closed or partially closed cab, and includes an operator seat 154, an operation unit (not shown), a display device 156, and the like.
  • the control device 158 receives the detection result of the detector and controls various actuators as necessary.
  • the control device 158 includes a central processing unit (CPU) and memory, and various input / output peripheral devices.
  • the communication device 134 is connected to the control device 158 and is provided so as to be able to exchange information by performing data communication with the communication unit 19 of the wheel loader 1.
  • the camera 160 is provided in the vessel 160.
  • An image in the vessel can be acquired by the camera 151. It is also possible to transmit the acquired image to the wheel loader 1 via the communication device 134.
  • FIG. 5 is a diagram illustrating functional blocks of the control unit 10 of the wheel loader 1 based on the first embodiment.
  • control unit 10 realizes a functional block by executing various programs stored in the memory 60.
  • the control unit 10 displays on the display unit 50 a transmission image that transmits at least a part of the work machine 3 of the wheel loader 1 or the vessel 160 of the loading target vehicle 140.
  • control unit 10 includes a blocking area extraction unit 101, an image data acquisition unit 102, an image analysis unit 103, an image extraction unit 104, a display control unit 105, and an image editing unit 106.
  • the blocking area extraction unit 101 extracts at least a part of the blocking area in which the view of the worker from the viewpoint of the driver's seat of the wheel loader 1 on the display unit is blocked by the work machine 3 or the loading target vehicle 140.
  • the driver's seat viewpoint refers to the viewpoint of the worker seated in the driver's seat.
  • the image data acquisition unit 102 acquires image data captured by the camera 40 and the camera 45.
  • the image analysis unit 103 performs an analysis process on image data captured by the camera 40 and the camera 45.
  • the image extraction unit 104 extracts a transmission image ahead of the operator's line of sight from the blocking area based on the image data acquired by the image data acquisition unit 102.
  • the image editing unit 106 edits the image in order to synthesize the transparent image extracted by the image extracting unit 104 into the blocking area.
  • the display control unit 105 uses the outline of the blocking area extracted by the blocking area extraction unit 101 as a boundary, and displays a transmission image ahead of the operator's line of sight with respect to the area within the outline of the blocking area. Combined and displayed on the display unit 50.
  • the display control unit 105 synthesizes the transparent image edited by the image editing unit 106 and displays it on the display unit 50 for the area within the outline of the blocking area.
  • FIG. 6 is a diagram for explaining image data captured by the camera 40 based on the first embodiment. As shown in FIG. 6, here, image data CDT including the bucket 7 of the work machine 3 captured by the camera 40 is shown. The work machine link connected to the bucket 7 is omitted.
  • the camera 40 is provided above the cab 5 and behind the work machine 3. Therefore, the inside of the bucket 7 of the work machine 3 cannot be imaged. This is because the field of view is blocked by the outer shell of the bucket 7 of the work machine 3.
  • the image analysis unit 103 identifies the bucket 7 based on the image data CDT, for example, by pattern matching or the like.
  • the blocking area extraction unit 101 extracts the bucket 7 specified by the image analysis unit 103 based on the image data CDT as a blocking area 700 in which the view of the worker at the driver's seat viewpoint is blocked.
  • FIG. 7 is a diagram illustrating image data captured by the camera 45 based on the first embodiment. As shown in FIG. 7, here, image data ICDT including an image inside the bucket 7 of the work machine 3 captured by the camera 45 is shown. Here, a case where the loading object X is included in the bucket 7 is shown.
  • the image extraction unit 104 extracts a transmission image 800 that is ahead of the operator's line of sight from the block region extracted by the block region extraction unit 101 based on the image data ICDT.
  • the image extraction unit 104 extracts an image of a predetermined area included in the image data ICDT as a transparent image 800.
  • a case where the transmission image 800 is extracted based on the outline L1 of the bucket 7 is shown.
  • the transmission image 800 is an image that is ahead of the operator's line of sight beyond the blocking area in which the field of view is blocked by the outer shell of the bucket 7.
  • FIG. 8 is a diagram illustrating a bucket displayed on the display unit 50 based on the first embodiment. As shown in FIG. 8, a case where the transmission image in the bucket 7 is compositely displayed is shown.
  • the control unit 10 based on the first embodiment combines the outline of the bucket 7 of the work machine 3 with the transmission image and displays the synthesized image on the display unit 50.
  • the control unit 10 combines the outline of the bucket 7 of the work machine 3 at the driver's seat viewpoint with the transmission image and displays it on the display unit 50.
  • the image editing unit 106 edits the transparent image 800 so as to match the area shape in the outline with the outline of the blocked area 700 extracted by the blocked area extraction unit 101 as a boundary.
  • the display control unit 105 transmits through the bucket 7 edited by the image editing unit 106, with the outline of a blocking area on the display unit 50 where the field of view of the operator at the driver's seat of the wheel loader 1 is blocked.
  • the image is combined with the blocking area and displayed on the display unit 50. Since the transmission image is synthesized in the area within the outline with the outline of the blocking area as a boundary, a so-called skeletonized image display in which the inner area is seen through with the outline remaining.
  • the image extraction unit 104 extracts an image of a predetermined region included in the image data ICDT as a transparent image, and the image editing unit 106 combines the transparent image with the blocking region in order to combine the transparent image with the blocking region.
  • the transmission image is edited so as to match the region shape in the outline has been described.
  • the image extraction unit 104 may extract a transmission image so as to match the region shape within the outline of the blocking region. In that case, the image editing process in the image editing unit 106 is omitted.
  • the display on the display unit 50 it is possible to display a transmission image on the display unit 50 ahead of the operator's line of sight compared to the blocking area where the field of view of the operator at the driver's seat of the wheel loader is blocked. .
  • the driver's seat is displayed by displaying an image 710 obtained by synthesizing the transmission image 800 with respect to the blocking area 700 for the inside of the bucket 7 where the view of the worker from the viewpoint of the driver's seat is blocked by the outer shell of the bucket 7. Since the area where the visual field of the worker at the viewpoint is blocked is displayed, the internal state of the bucket 7 can be easily grasped.
  • the operator can intuitively operate the bucket 7 of the work machine 3, and the work efficiency can be improved.
  • the skeletonized outline is shown as a one-dot chain line.
  • FIG. 9 is a flowchart for explaining processing related to the composite image transmission display based on the first embodiment.
  • the control unit 10 acquires image data (step S2).
  • the image data acquisition unit 102 acquires image data captured by the camera 40 and the camera 45, respectively.
  • the control unit 10 extracts a blocking area (step S4).
  • the blocking area extraction unit 101 extracts at least a part of the blocking area where the worker's view of the driver's viewpoint of the wheel loader 1 on the display unit 50 is blocked by the work machine 3 or the loading target vehicle 140.
  • the bucket 7 included in the image data CDT acquired by the camera 40 by the image analysis unit 103 is specified.
  • the blocking area extraction unit 101 extracts the identified bucket as the blocking area 700.
  • the bucket 7 is extracted as the blocking area 700 as an example.
  • the control unit 10 extracts a transmission image (step S6).
  • the image extraction unit 104 extracts an image of a predetermined area as a transmission image based on the image data ICDT acquired by the camera 45 acquired by the image data acquisition unit 102.
  • the transmitted image is an image that is transmitted through at least a part of the vessel 160 of the work machine 3 or the loading target vehicle 140, and is an image that is beyond the operator's line of sight beyond the blocking area.
  • an image inside the bucket 7 is extracted as a transparent image 800.
  • control unit 10 edits the image (step S7).
  • the image editing unit 106 edits the transparent image 800 extracted by the image extraction unit 104. Specifically, the transmission image is edited so as to match the area shape in the outline with the outline of the cutoff area extracted by the cutoff area extraction unit 101 as a boundary.
  • control unit 10 combines the transmission images (step S8).
  • the display control unit 105 synthesizes the transparent image edited by the image editing unit 106 with the outline of the blocked area as a boundary with the blocked area of the bucket 7 of the image data CDT.
  • control unit 10 displays the synthesized transmission image (step S10).
  • the display control unit 105 combines the transmission image with the image data CDT and displays it on the display unit 50.
  • the process ends (END).
  • the transmission image is synthesized in the blocking area where the view of the worker at the driver's viewpoint of the wheel loader is blocked from the view of the worker at the driver's viewpoint. It is also possible to display based on another angle.
  • the transmission image may be synthesized and displayed in a blocking area where the field of view is blocked when the bucket 7 is viewed from the side (side view or side view).
  • FIG. 10 is a diagram for explaining image data when the bucket 7 according to the first embodiment is viewed from the side.
  • the image data CDTP including the bucket 7 of the work machine 3 is shown.
  • the work machine link connected to the bucket 7 is omitted.
  • image data when the bucket 7 is viewed from the side is shown.
  • actual image data obtained by actually viewing the bucket 7 from the side may be used, or model image data obtained by virtually viewing the bucket 7 from the side may be used. It is assumed that the image data CDTP is stored in a memory (not shown) of the control unit 10.
  • FIG. 11 is a diagram illustrating the cameras 46 and 47 based on the first embodiment. As shown in FIG. 11A, the cameras 46 and 47 are attached at positions where the inside of the bucket 7 can be seen from the side.
  • FIG. 11B shows image data ICDTP including an image inside the bucket 7 of the work machine 3 imaged by the camera 46.
  • the camera 46 images the inside from the left side of the bucket 7.
  • the camera 47 images the inside from the right side.
  • the cameras 45,46,47 in order to demonstrate easily, although the structure arrange
  • the cameras 45, 46 and 47 may be inserted and fixed therein. Thereby, it is possible to suppress the protruding amount inside the bucket.
  • the cameras 46 and 47 are described in the case where the inside of the bucket is imaged from the side of the bucket 7, but holes are formed obliquely at the left and right ends of the back plate of the bucket 7, and the cameras 46 and 47 are included therein. May be inserted and fixed, and the inner side surface of the bucket may be imaged obliquely. Thereby, it is possible to suppress the amount by which the rear portions of the cameras 46 and 47 protrude from the side surface of the bucket 7.
  • the camera 40 is provided above the cab 5 and behind the work machine 3. Therefore, when excavating the loading object X, the inside of the bucket 7 of the work machine 3 cannot be imaged. This is because the field of view of the side surface of the bucket 7 of the work machine 3 is also blocked by the outer shell.
  • the image analysis unit 103 specifies the bucket 7 based on the image data CDTP, for example, by pattern matching or the like. In this example, the bucket 7 when viewed from the side is specified.
  • the blocking area extraction unit 101 extracts the bucket 7 specified by the image analysis unit 103 based on the image data CDTP as a blocking area 700P where the worker's view is blocked.
  • the image extraction unit 104 is extracted by the blocking region extraction unit 101 based on the image data ICDTP including the image inside the bucket 7 of the work machine 3 captured by the camera 45 described with reference to FIG. A transmission image ahead of the operator's line of sight is extracted from the blocked area.
  • the image extraction unit 104 extracts an image of a predetermined area included in the image data ICDTP as a transparent image 810.
  • the transmission image is an image that is ahead of the operator's line of sight compared to the blocking area in which the field of view when viewed from the side by the outer shell on the side surface of the bucket 7 is blocked.
  • FIG. 12 is a diagram illustrating a bucket displayed on the display unit 50 based on the first embodiment. As shown in FIG. 12, a case is shown in which the transmission image in the bucket 7 as viewed from the side is displayed in a synthesized manner.
  • the control unit 10 based on the first embodiment synthesizes the outline in a side view of the bucket 7 of the work machine 3 with the transmission image and displays it on the display unit 50.
  • the control unit 10 combines the outline of the bucket 7 of the work machine 3 in a side view with the transmission image and displays it on the display unit 50.
  • the image editing unit 106 edits the transparent image 810 so as to match the area shape in the outline with the outline of the blocked area 700P extracted by the blocked area extraction unit 101 as a boundary.
  • the display control unit 105 blocks the transparent image 810 in the bucket 7 edited by the image editing unit 106, with the outline of the blocking area on the display unit 50 where the field of view of the operator of the wheel loader 1 is blocked as a boundary.
  • the area is combined and displayed on the display unit 50. Since the transmission image is synthesized in the area within the outline with the outline of the blocking area as a boundary, a so-called skeletonized image display in which the inner area is seen through with the outline remaining.
  • the worker's field of view is displayed by displaying an image 710 ⁇ / b> P obtained by combining the transmission image with the blocking region 700 ⁇ / b> P. Since the area to be blocked is displayed, it is possible to easily grasp the internal state of the bucket 7 from the side surface direction.
  • the operator can intuitively operate the bucket 7 of the work machine 3 and can improve work efficiency.
  • the skeletonized outline is shown as a one-dot chain line.
  • control part 10 provided in the wheel loader 1 demonstrated the system which displays a transmission image on a display part
  • the control part 10 does not perform all the processes, but with another apparatus. It is also possible to execute as a control system in cooperation.
  • FIG. 13 is an external view of a wheel loader 1A based on a modification of the first embodiment.
  • the wheel loader 1 ⁇ / b> A is different from the wheel loader 1 in that a camera 41 provided above the camera 40 and a support unit 42 that supports the camera 41 are further added. Since other configurations are the same as those described in the first embodiment, detailed description thereof will not be repeated.
  • FIG. 14 is a diagram illustrating the imaging ranges of the camera 40 and the camera 41 based on the modification of the first embodiment.
  • the imaging range of the camera 40 includes the working state of the work implement 3. Therefore, when the image data captured by the camera 40 is displayed on the display unit 50, a blocking area is generated on the display unit 50 where the view of the operator from the viewpoint of the driver seat of the wheel loader is blocked.
  • the camera 41 is provided at a position above the camera 40, and the imaging range of the camera 41 is set so that the work machine 3 is not included regardless of the work state of the work machine 3. In this example, it is possible to acquire a transmission image ahead of the operator's line of sight beyond the blocking area based on the image data captured by the camera 41.
  • FIG. 15 is a diagram illustrating functional blocks of the control unit 10A of the wheel loader 1A based on a modification of the first embodiment.
  • control unit 10 ⁇ / b> A realizes a functional block by executing various programs stored in the memory 60.
  • the control unit 10A displays on the display unit 50 a transmission image that transmits at least a part of the work machine 3 of the wheel loader 1 or the vessel 160 of the loading target vehicle 140.
  • control unit 10A is different from the control unit 10 in that a work state determination unit 100 is further added.
  • the work state determination unit 100 determines the work state of the work machine 3 according to the operation instruction of the operation unit 8.
  • the working state of the work machine 3 can be determined by the height of the bucket 7 and an operation instruction for the bucket 7.
  • the working pressure of the work implement 3 is less than a predetermined height as the height of the bucket 7 and the cylinder pressure is equal to or higher than the predetermined pressure, it is determined that the excavation work is performed.
  • the cylinder pressure is the bottom pressure of the lift cylinder 14.
  • the detection value of the second hydraulic sensor 95 can be used.
  • the work of the work machine 3 is performed.
  • the state is determined to be loading work. Note that the condition that the cylinder pressure is equal to or higher than the predetermined pressure is to determine the state in which the bucket 7 contains earth and sand.
  • the working state of the work implement 3 is a soil removal work.
  • the blocking area extraction unit 101 blocks the view of the worker from the viewpoint of the driver's seat of the wheel loader 1 on the display unit by the work implement 3 or the loading target vehicle 140. At least a part of the blocking area is extracted.
  • FIG. 16 is a flowchart for specifying a target for extracting a blocking area based on a work state in the blocking area extraction unit 101 based on the modification of the first embodiment.
  • the blocking area extraction unit 101 determines whether the work state determined by the work state determination unit 100 is excavation work (step S10).
  • step S10 when the cut-off area extraction unit 101 determines that the work state is excavation work (YES in step S10), the cut-off area extraction target is specified as a bucket (step S12).
  • step S10 when the cut-off area extraction unit 101 determines that the work state is not excavation work (NO in step S10), it determines whether or not the work state determined by the work state determination unit 100 is loading work. Judgment is made (step S14).
  • step S14 when the cut-off area extraction unit 101 determines that the work state is a loading work (YES in step S14), the cut-off area extraction target is specified as a work implement link (step S16).
  • step S14 when the cut-off area extraction unit 101 determines that the work state is not loading work (NO in step S14), it is determined whether or not the work state determined by the work state determination unit 100 is earth removal work. Is determined (step S18).
  • step S18 when the cut-off area extraction unit 101 determines that the work state is earth removal work (YES in step S18), the cut-out area extraction target is specified as a vessel and a bucket (step S20).
  • step S18 when the cut-off area extraction unit 101 determines that the work state is not earth removal work (NO in step S18), the work state cannot be specified, and the process ends (end). Therefore, in this case, the blocking area is not extracted.
  • the blocking area extraction unit 101 extracts the bucket 7 as a blocking area during excavation work.
  • the work machine link is extracted as a blocking area during the loading operation.
  • the vessel 160 and the bucket 7 are extracted as a blocking area during the earth removal work.
  • the display during excavation work is the same as that described in the first embodiment.
  • the blocking area extraction unit 101 extracts the bucket 7 as a blocking area 700 where the view of the worker from the driver's seat viewpoint is blocked.
  • the image extraction unit 104 extracts a transmission image 800 that is ahead of the operator's line of sight from the blocking region extracted by the blocking region extraction unit 101.
  • the image editing unit 106 edits the transparent image 800 so as to match the shape of the region in the outline with the outline of the blocked region 700 extracted by the blocked region extraction unit 101 as a boundary.
  • the display control unit 105 sets the inside of the bucket 7 edited by the image editing unit 106, with the outline of the blocking area on the display unit 50 where the field of view of the operator at the driver's seat of the wheel loader 1 is blocked. Are combined with the cut-off area and displayed on the display unit 50.
  • FIG. 17 is a diagram illustrating image data captured by the camera 40 during loading work based on a modification of the first embodiment.
  • image data CDTA including the work implement link of the work implement 3 captured by the camera 40 is shown.
  • the camera 40 is provided above the cab 5 and behind the work machine 3. Therefore, it is not possible to image a part of the vessel 160 in front of the work machine 3. This is because the field of view is blocked by the work machine link of the work machine 3.
  • the image analysis unit 103 identifies the work machine link based on the image data CDTA, for example, by pattern matching or the like.
  • the blocking area extraction unit 101 extracts the work machine link specified by the image analysis unit 103 based on the image data CDTA as a blocking area 702 in which the view of the worker at the driver's seat viewpoint is blocked.
  • FIG. 18 is a diagram for explaining image data captured by the camera 41 during the loading operation based on the modification of the first embodiment.
  • image data ICDTA including the vessel 160 of the loading target vehicle 140 imaged by the camera 41 is shown.
  • the imaging range of the camera 41 is set so that the work implement 3 is not included regardless of the work state of the work implement 3.
  • the image conversion process is performed so that the viewpoint position of the camera 41 is the same as the viewpoint position of the camera 40.
  • the image extraction unit 104 extracts a transmission image 802 that is ahead of the operator's line of sight from the blocking area 702 extracted by the blocking area extraction unit 101 based on the image data ICDTA.
  • the image extraction unit 104 extracts the transparent image 802 included in the image data based on the outline L2 of the work machine link.
  • the transmitted image 802 is an image that is ahead of the operator's line of sight beyond the blocked area where the field of view is blocked by the work machine link.
  • FIG. 19 is a diagram for explaining an image displayed on the display unit 50 during the loading operation based on the modification of the first embodiment.
  • a case is shown in which a transparent image 802 extracted by the image extraction unit 104 is displayed in combination.
  • combines the outline of the working machine link of the working machine 3 with a transmission image, and displays it on the display part 50.
  • combine the outline of the working machine link of the working machine 3 of a driver's seat viewpoint with a transparent image, and display it on the display part 50.
  • the image editing unit 106 edits the transparent image 802 so as to match the area shape in the outline with the outline of the blocked area 702 extracted by the blocked area extraction unit 101 as a boundary.
  • the display control unit 105 blocks the transparent image edited by the image editing unit 106 with the outline of the blocking region on the display unit 50 where the view of the operator at the driver's viewpoint of the wheel loader 1 is blocked as a boundary.
  • the area is combined and displayed on the display unit 50.
  • the transmission image is synthesized in the area within the outline with the outline of the cut-off area as a boundary, a so-called skeletonized image display in which the inner area is seen through with the outline remaining.
  • the image extraction unit 104 extracts a transparent image 802 based on the outline L2 of the work machine link included in the image data ICDTA, and the image editing unit 106 combines the transparent image with the blocking region. For this reason, the description has been given of the case where the transmission image is edited so as to match the shape of the region within the outline of the blocking region. On the other hand, the image extraction unit 104 may extract a transmission image so as to match the region shape within the outline of the blocking region. In that case, the image editing process in the image editing unit 106 is omitted.
  • the display on the display unit 50 it is possible to display a transmission image on the display unit 50 ahead of the operator's line of sight compared to the blocking area where the field of view of the operator at the driver's seat of the wheel loader is blocked. .
  • the view of the worker is blocked by combining and displaying the transmission image on the work implement link. Therefore, the state of the vessel 160 can be easily grasped. Therefore, the worker can intuitively operate the work machine 3 with respect to the loading work on the vessel 160, and the work efficiency can be improved.
  • FIG. 20 is a view for explaining image data captured by the camera 40 during the earth removal work based on the modification of the first embodiment.
  • image data CDTB including the bucket of the work machine 3 and the vessel 160 of the loading target vehicle 140 captured by the camera 40 are illustrated.
  • the camera 40 is provided above the cab 5 and behind the work machine 3. Therefore, the inside of the vessel 160 of the loading target vehicle 140 cannot be imaged. This is because the field of view is blocked by the outer shell of the vessel 160. In addition, the inside of the bucket 7 of the work machine 3 cannot be imaged. This is because the field of view is blocked by the outer shell of the bucket 7 of the work machine 3.
  • the image analysis unit 103 specifies the vessel 160 and the bucket 7 by pattern matching or the like based on the image data CDTB.
  • the blocking area extraction unit 101 extracts the vessel specified by the image analysis unit 103 based on the image data CDTB as the blocking area 703 in which the view of the operator at the driver's seat viewpoint is blocked. Further, the blocking area extraction unit 101 extracts the bucket specified by the image analysis unit 103 based on the image data CDTB as a blocking area 704 in which the view of the worker at the driver's seat viewpoint is blocked.
  • FIG. 21 is a diagram illustrating image data captured by the camera 151 during the earth removal work based on the modification of the first embodiment.
  • image data ICDTB including an image inside the vessel 160 of the loading target vehicle 140 captured by the camera 151 is illustrated.
  • the case where the loading object X is contained inside the vessel 160 is shown.
  • the image data ICDB captured by the camera 151 is transmitted to the wheel loader 1 via the communication device 134. Then, the image data acquisition unit 102 of the wheel loader 1 acquires the image data ICDB via the communication unit 19.
  • the image extraction unit 104 extracts a transmission image 804 that is ahead of the operator's line of sight from the block region extracted by the block region extraction unit 101 based on the image data ICDTB.
  • the image extraction unit 104 extracts an image of a predetermined area included in the image data ICDTB as a transparent image 804.
  • the transmission image 804 is extracted based on the outline L3 of the vessel 160 is shown.
  • the transmission image 804 is an image that is ahead of the operator's line of sight beyond the blocking area in which the field of view is blocked by the outer shell of the vessel 160.
  • FIG. 22 is a diagram for explaining an image displayed on the display unit 50 during the earth removal work based on the modification of the first embodiment.
  • FIG. 22 shows a case where the transmission image in the vessel 160 is synthesized and displayed.
  • combines the outline of the vessel 160 of the loading object vehicle 140 with a transmission image, and displays it on the display part 50.
  • combine the outline of the vessel 160 of a driver's seat viewpoint with a transmission image, and display it on the display part 50.
  • the image editing unit 106 edits the transparent image 804 so as to match the area shape in the outline with the outline of the blocked area 703 extracted by the blocked area extraction unit 101 as a boundary.
  • the display control unit 105 blocks the transparent image edited by the image editing unit 106 with the outline of the blocking region on the display unit 50 where the view of the operator at the driver's viewpoint of the wheel loader 1 is blocked as a boundary.
  • the area is combined and displayed on the display unit 50. Since the transmission image is synthesized in the area within the outline with the outline of the blocking area as a boundary, a so-called skeletonized image display in which the inner area is seen through with the outline remaining.
  • the image extraction unit 104 extracts a transparent image 804 from an image in a predetermined region included in the image data ICDTB, and the image editing unit 106 combines the transparent image with the blocking region.
  • the transparent image is edited so as to match the shape of the region within the outline.
  • the image extraction unit 104 may extract a transmission image so as to match the region shape within the outline of the blocking region. In that case, the image editing process in the image editing unit 106 is omitted.
  • the image extraction unit 104 extracts a transmission image ahead of the operator's line of sight from the blocking area 704 extracted by the blocking area extraction unit 101 based on the image data ICDTB. As described in the first embodiment, the transmission image is extracted based on image data including an image inside the bucket 7 of the work machine 3 captured by the camera 45.
  • the image editing unit 106 edits the transparent image so as to match the region shape within the outline, with the outline of the blocked region 704 extracted by the blocked region extraction unit 101 as a boundary.
  • the display control unit 105 transmits through the bucket 7 edited by the image editing unit 106, with the outline of a blocking area on the display unit 50 where the field of view of the operator at the driver's seat of the wheel loader 1 is blocked.
  • the image is combined with the blocking area and displayed on the display unit 50. Since the transmission image is synthesized in the area within the outline with the outline of the blocking area as a boundary, a so-called skeletonized image display in which the inner area is seen through with the outline remaining.
  • the display on the display unit 50 it is possible to display a transmission image on the display unit 50 ahead of the operator's line of sight compared to the blocking area where the field of view of the operator at the driver's seat of the wheel loader is blocked. .
  • the operator at the driver's seat viewpoint displays the synthesized image on the vessel 160 and displays the inside of the vessel 160 where the view of the worker at the driver's seat is blocked by the outer shell of the vessel 160. Since the area where the field of view is blocked is displayed, it is possible to easily grasp the internal state of the vessel 160.
  • the operator at the driver's seat viewpoint displays the synthesized image on the bucket 7 and displays the inside of the bucket 7 where the field of view of the operator at the driver's seat is blocked by the outer shell of the bucket 7. Since the area where the field of view is blocked is displayed, the state inside the bucket 7 can be easily grasped.
  • the worker can intuitively operate the work machine 3 with respect to the earthing work for the vessel 160 of the work machine 3, and can improve work efficiency.
  • the work machine link may be skeletonized as the blocking area.
  • the image may be further processed and displayed in order to support the work.
  • the control unit 10 may identify a part where the work implement link and the vessel 160 may interfere and highlight the part.
  • the display control unit 105 may add a color to a portion that may interfere with the display control unit 105 and change the color to highlight the part. It is also possible to change the color depending on the degree of possibility of interference. For example, when the possibility is low, the color may be set to a light red color, and as the possibility increases, the color may be changed to a deeper red color.
  • the possibility of interference can be determined based on the distance between the two.
  • the image analyzer 103 can calculate the distance from the vessel 160 included in the image data CDTB to the wheel loader 1. Further, as an example, the state of the work implement 3 can specify the state of the work implement link based on the length of the lift cylinder of the boom 6 and the length of the bucket cylinder 15. The display control unit 105 can calculate the distance between the two based on the mutual positional relationship based on these calculation results, and can highlight the distance.
  • the blocking region extraction unit 101 blocks the view of the operator from the viewpoint of the driver seat of the wheel loader 1 on the display unit by the work implement 3 or the loading target vehicle 140.
  • the case where at least a part of the region is extracted has been described. Specifically, a method has been described in which a predetermined region included in captured image data is specified by pattern matching and extracted as a blocking region.
  • FIG. 23 is a diagram illustrating functional blocks of the control unit 10B of the wheel loader 1 based on the second embodiment.
  • control unit 10B realizes a functional block by executing various programs stored in the memory 60.
  • the control unit 10B displays on the display unit 50 a transmission image that transmits at least a part of the work machine 3 of the wheel loader 1 or the vessel 160 of the loading target vehicle 140.
  • control unit 10B is different in that a work machine posture state determination unit 107 is further added.
  • the work machine posture state determination unit 107 determines the posture state of the work machine 3 in accordance with an operation instruction from the operation unit 8.
  • FIG. 24 is a diagram for explaining a modeled state of the wheel loader 1 based on the second embodiment.
  • the state (posture state) of the bucket Q and the work machine link R changes according to the operation command of the operation unit 8.
  • the work implement link R may be in a state where the bucket Q has lifted the bucket Q and rotated the angle ⁇ in accordance with the operation command of the operation unit 8. It is shown. Moreover, the case where the angle of the bucket Q changes according to the operation command of the operation unit 8 and the angle with the work machine link R is ⁇ is shown.
  • the angles ⁇ and ⁇ can be calculated based on the operation command amount of the operation unit 8, and the work machine posture state determination unit 107 determines the posture state of the work machine 3 based on the operation instruction of the operation unit 8. It is possible. Note that the angles ⁇ and ⁇ may be detected using an angle sensor to determine the posture state of the work implement 3. It is also possible to calculate the length of the lift cylinder and the length of the bucket cylinder based on the value of the stroke sensor and determine the posture state of the work implement 3 based on the calculated length.
  • the cut-off region extraction unit 101 specifies a cut-off region in which the view of the worker from the viewpoint of the driver seat of the wheel loader 1 on the display unit is blocked. Then, the blocking area is extracted.
  • a blocking area is synthesized and displayed on a work machine or a loading target vehicle that an operator is viewing.
  • control unit 10A The configuration of the control unit is basically the same as that of the control unit 10A based on the modification of the first embodiment.
  • FIG. 25 is a diagram for explaining an imaging range of a display unit and a camera based on the third embodiment.
  • FIG. 25A here, a case where cameras 40RA and 40LA are provided on the right and left sides of display unit 50 # is shown. Further, the case where cameras 40RB and 40LB are provided on the right side and the left side of display unit 50 # is shown.
  • the camera 40RB is provided at a position farther from the display unit 50 # than the camera 40RA with respect to the display unit 50 #.
  • Camera 40LB is provided at a position further away from camera 40LA with respect to display unit 50 #. Assume that the cameras 40RA and 40LA are provided at the same distance from the display unit 50 #. Assume that the cameras 40RB and 40LB are provided at the same distance from the display unit 50 #.
  • An optical transmission (see-through) type display unit 50 # is provided in front of the operator. The operator can acquire external information via the display unit 50 #.
  • an imaging range ⁇ in the vertical direction in which the operator acquires information via the display unit 50 # is shown.
  • the vertical imaging ranges of the cameras 40RA, 40RB, 40LA, and 40LB are also set to the same range.
  • the horizontal imaging range in which the operator acquires information via the display unit 50 # and the horizontal imaging range of the cameras 40RA, 40RB, 40LA, and 40LB are the same. Set to range.
  • the display unit 50 # is fixed to the wheel loader 1, and the position of the display unit 50 # with respect to the horizontal plane and the height of the cameras 40RA, 40RB, 40LA, and 40LB are the same. Assume that the height is set.
  • the working range 3 of the wheel loader 1 is included in the imaging ranges of the cameras 40RA and 40LA.
  • the work machine 3 of the wheel loader 1 is not included in the imaging range of the cameras 40RB and LB.
  • FIG. 25 (B) is a diagram illustrating a method for extracting information acquired by the operator via the display unit 50 # from the image data in the imaging ranges of the cameras 40RA and 40LA.
  • image data RCDTA of the right camera 40RA and image data LCDTA of the left camera 40LA are shown.
  • the image data RCDTA and the image data LCDTA are arranged so that arbitrary same points overlap each other. It is assumed that a part of the work machine 3 is displayed.
  • the range in which the operator obtains information via the display unit 50 # is equal to the image data RCDTA as L / 2
  • information on a range acquired by the operator via the display unit 50 # is extracted as image data CDTA #.
  • image data CDTA # the same image data as the image data CDTA described in FIG. 17 is shown as the image data CDTA #.
  • the image data CDTA # is information including a blocking area acquired by the operator via the display unit 50 #. Based on the image data CDTA #, it is possible to specify the blocking area.
  • FIG. 25C is a diagram illustrating a method for extracting information acquired by the operator via the display unit 50 # from the image data in the imaging ranges of the cameras 40RB and 40LB.
  • image data RCDTB of the right camera 40RB and image data LCDTB of the left camera 40LB are shown.
  • the image data RCDTB and the image data LCDTB are arranged so that arbitrary same points overlap each other.
  • a part of the loading target vehicle 140 is displayed.
  • the range in which the operator obtains information via the display unit 50 # is equal to M / 2 of the image data RCDTB.
  • information on a range acquired by the operator via the display unit 50 # is extracted as image data CDTB #.
  • image data CDTB # the same image data as the image data ICDTA described in FIG. 18 is shown as the image data CDTB #.
  • the image data CDTB # is information that does not include the blocking area acquired by the operator via the display unit 50 #. Based on the image data CDTB #, it is possible to acquire a transmission image ahead of the operator's line of sight beyond the blocking area.
  • the display on the display unit 50 # during the loading operation will be described in the same manner as described in the modification of the first embodiment.
  • the work machine link is extracted as a blocking area.
  • the image analysis unit 103 identifies the work implement link based on the image data CDTA #, for example, by pattern matching.
  • the blocking area extraction unit 101 extracts the work machine link specified by the image analysis unit 103 based on the image data CDTA # as a blocking area where the view of the worker at the driver's seat viewpoint is blocked.
  • the image extraction unit 104 extracts a transmission image ahead of the operator's line of sight from the block region extracted by the block region extraction unit 101 based on the image data CDTB #.
  • the image extraction unit 104 extracts a transmission image included in the image data CDTB # based on the outline L2 of the work machine link.
  • the transmission image is an image that is ahead of the operator's line of sight beyond the blocking area in which the field of view is blocked by the work machine link.
  • the image editing unit 106 edits the transparent image 802 so as to match the region shape within the outline, with the outline of the blocked region 702 extracted by the blocked region extraction unit 101 as a boundary.
  • the display control unit 105 sets the transparent image edited by the image editing unit 106 on the boundary of the outline of the blocking area where the field of view of the operator at the driver's seat of the wheel loader 1 on the display unit 50 # is blocked. It is combined with the blocking area and displayed on the display unit 50 #.
  • FIG. 26 is a diagram illustrating an example of the display unit 50 # based on the third embodiment.
  • a transparent image is synthesized in the area within the outline with the outline of the blocking area as a boundary, and the outline remains.
  • a so-called skeletonized image display in which the inner region is made transparent is obtained.
  • a part displayed by the display control unit 105 is a transparent image 802 synthesized in the blocking area 702. It is only the part. The other parts are viewed by the operator through the see-through display unit 50 # and are not displayed on the display unit 50 #.
  • the display in the case of loading work was demonstrated, the display part is also demonstrated by the same system also at the time of excavation work and earth removal work similarly to having demonstrated with the modification of Embodiment 1.
  • the transmission image edited by the image editing unit 106 is combined with the blocking area on the outline of the blocking area where the view of the operator at the driver's viewpoint of the wheel loader 1 on 50 # is blocked, and the display unit 50 # can be displayed.
  • the operator can intuitively operate the work machine 3 and can improve work efficiency.
  • the display part 50 # demonstrated the case where it was being fixed to the wheel loader 1, you may make it adjust the height.
  • the heights of the cameras 40RA, 40RB, 40LA, and 40LB may be adjusted to the same height according to the height of the display unit 50 #.
  • the line-of-sight direction visually recognized by the operator via the display unit 50 # may be adjustable.
  • the line-of-sight directions of 40RA, 40RB, 40LA, and 40LB may be adjusted in accordance with the direction of the display unit 50 #.
  • the configuration using the four cameras 40RA, 40RB, 40LA, and 40LB has been described.
  • the configuration may be realized with a smaller number of cameras.
  • the imaging range of the camera includes a range where the operator acquires information via the display unit 50 #, and the range is extracted by image analysis processing.
  • the present invention is not particularly limited to this. good.
  • control unit of the wheel loader 1 has been described with respect to the case where the main process of extracting the blocking area and combining and displaying the transmission image is performed.
  • the wheel loader 1 does not necessarily have to have a configuration in which some functional blocks are provided in a server connected to the network, or a configuration provided on the loading target vehicle side capable of data communication. Also good.

Abstract

作業車両の制御システムであって、表示部と、ホイールローダの作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を表示部に表示する制御部とを備える。

Description

ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
 本発明は、ホイールローダの制御システム等に関する。
 従来より、ある場所から他の場所へ土類、岩石類、および他の物質(積込対象物とも称する)を移動するためにホイールローダが用いられる。例えばホイールローダによって、別の運搬機械、例えばダンプトラックに土類、岩石類、および/または他の物質を積載し、その後、ダンプトラックによって廃棄場所までその物質を運搬することができる。
 一方で、ホイールローダには、掘削、積込等の作業を実行する作業機が設けられている。一般的に、作業者はホイールローダの前方に設けられた作業機の状態を見ながら掘削、積込等の作業を実行するが、作業機自体が作業者の視界を遮る場合もあり、その領域が見えない結果、作業機の作業効率の低下を招いていた。
 この点で、特許文献1には、油圧ショベルの周囲にカメラを配置して撮像し、上方視点画像を生成することにより油圧ショベルの周囲確認を補助する方式が示されている。
特開2015-21246号公報
 しかしながら、上記特許文献1に示される方式は、油圧ショベルの周囲を監視することを目的として上方視点画像が表示されるため作業者の視界とは異なり、作業者が作業機を直観的に操作することは難しく、作業効率を改善する点で不十分であった。
 本発明は、上記の課題を解決するためのものであって、作業効率を改善することが可能なホイールローダの制御システム、その制御方法およびホイールローダの制御方法を提供することを目的とする。
 その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
 ある局面に従うホイールローダの制御システムであって、表示部と、ホイールローダの作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を表示部に表示する制御部とを備える。
 本発明によれば、制御部は、作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、制御部は、作業機のバケットあるいはベッセルの外形線を透過画像に合成して表示部に表示する。上記によれば、作業機のバケットあるいはベッセルの外形線を透過画像に合成して表示部に表示するため、外形形状を容易に把握することが可能であり、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、制御部は、バケットの側面視の外形線をバケット内の透過画像に合成して表示部に表示する。上記によれば、バケットの側面視の外形線をバケット内の透過画像に合成して表示部に表示するため、作業者による側面視からの作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、制御部は、運転席視点のバケットの外形線をバケット内の透過画像に合成して表示部に表示する。上記によれば、運転席視点のバケットの外形線をバケット内の透過画像に合成して表示部に表示するため、作業者による運転席視点からの作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、制御部は、表示部上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する遮断領域抽出部と、遮断領域抽出部により抽出された遮断領域の外形線を境界にして、遮断領域の外形線内の領域について、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示する表示制御部とを含む。上記によれば、表示制御部は、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、表示部は、光学透過型の表示部である。上記によれば、光学透過型の表示部に遮断領域よりも作業者の視線の先にある透過画像が合成されて表示されるため、作業者による作業機のより直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、遮断領域抽出部は、作業者の操作指示に基づいて遮断領域の少なくとも一部を抽出する。上記によれば、作業者の操作指示に基づいて遮断領域が特定されるため遮断領域を抽出する際の画像解析の処理負荷を軽減することが可能である。
 好ましくは、ホイールローダの制御システムは、画像データを取得する撮像部と、撮像部で取得した画像データに基づいて遮断領域よりも作業者の視線の先にある透過画像を抽出する画像抽出部とをさらに備える。表示制御部は、遮断領域抽出部により抽出された遮断領域の外形線を境界にして、遮断領域の外形線内の領域について、画像抽出部により抽出された透過画像を合成して表示部に表示する。上記によれば、画像データに基づいて透過画像を抽出するため遮断領域よりも作業者の視線の先にある実際の透過画像が合成されるため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、遮断領域抽出部は、バケットによる掘削時において、作業機のバケットにより表示部上における運転席視点の作業者の視界が遮断される遮断領域を抽出する。画像抽出部は、掘削時において、抽出された遮断領域よりも作業者の視線の先にあるバケット内の透過画像を抽出する。表示制御部は、掘削時において、遮断領域抽出部により抽出されたバケットの外形線を境界にして、バケットの外形線内の領域について、画像抽出部により抽出されたバケット内の透過画像を合成して表示部に表示する。上記によれば、掘削時において、バケット内の透過画像が合成されるため、作業者による掘削時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、作業機は、バケットと車両本体とを接続する作業機リンクを含む。遮断領域抽出部は、ベッセルに対する積込時において、作業機リンクにより表示部上における運転席視点の作業者の視界が遮断される遮断領域を抽出する。画像抽出部は、積込時において、抽出された遮断領域よりも作業者の視線の先にあるベッセルの一部の透過画像を抽出する。表示制御部は、積込時において、遮断領域抽出部により抽出された作業機リンクの外形線を境界にして、作業機リンクの外形線内の領域について、画像抽出部により抽出された透過画像を合成して表示部に表示する。上記によれば、積込時において、ベッセルの透過画像が合成されるため、作業者による積込時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、遮断領域抽出部は、バケットによる排土時において、ベッセルにより表示部上における運転席視点の作業者の視界が遮断される遮断領域を抽出する。画像抽出部は、排土時において、抽出された遮断領域よりも作業者の視線の先にあるベッセル内の透過画像を抽出する。表示制御部は、排土時において、遮断領域抽出部により抽出されたベッセルの外形線を境界にして、ベッセルの外形線内の領域について、画像抽出部により抽出されたベッセル内の透過画像を合成して表示部に表示する。上記によれば、排土時において、ベッセル内の透過画像が合成されるため、作業者による排土時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 好ましくは、遮断領域抽出部は、バケットによる排土時において、バケットにより表示部上における運転席視点の作業者の視界が遮断される遮断領域をさらに抽出する。画像抽出部は、排土時において、抽出された遮断領域よりも作業者の視線の先にあるバケット内の透過画像をさらに抽出する。表示制御部は、排土時において、遮断領域抽出部により抽出されたバケットの外形線を境界にして、バケットの外形線内の領域について、画像抽出部により抽出されたバケット内の透過画像をさらに合成して表示する。上記によれば、排土時において、バケット内の透過画像が合成されるため、作業者による排土時における作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 ある局面に従うホイールローダの制御システムの制御方法であって、撮像した画像データを入力するステップと、画像データのうち作業機あるいは積込対象車両の少なくとも一部によりホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出するステップと、抽出された遮断領域よりも作業者の視線の先にある透過画像を合成して画像合成データを作成するステップと、画像合成データを表示部に表示するステップとを備える。
 本発明の制御システムの制御方法によれば遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 ある局面に従うホイールローダの制御方法であって、撮像した画像データを取得するステップと、画像データのうち作業機あるいは積込対象車両の少なくとも一部によりホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出するステップと、抽出された遮断領域よりも作業者の視線の先にある透過画像を合成して画像合成データを作成するステップと、画像合成データを表示部に表示するステップとを備える。
 本発明のホイールローダの制御方法によれば、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部に表示するため、作業者による作業機の直観的な操作が可能であり、作業効率を改善することが可能である。
 本発明のホイールローダの制御システム、その制御方法およびホイールローダの制御方法は、作業効率を改善することが可能である。
実施形態1に基づく作業処理の概要を説明する図である。 実施形態1に基づくホイールローダ1の外観図である。 実施形態1に基づくホイールローダ1の構成を示す模式図である。 実施形態1に従う積込対象車両140の外観構成図である。 実施形態1に基づくホイールローダ1の制御部10の機能ブロックを説明する図である。 実施形態1に基づくカメラ40で撮像した画像データを説明する図である。 実施形態1に基づくカメラ45で撮像した画像データを説明する図である。 実施形態1に基づく表示部50に表示されるバケットを説明する図である。 実施形態1に基づく透過画像の合成表示に関する処理を説明するフロー図である。 実施形態1に基づくバケット7を横から見た場合の画像データを説明する図である。 実施形態1に基づくカメラ46,47について説明する図である。 実施形態1に基づく表示部50に表示される別アングルのバケットを説明する図である。 実施形態1の変形例に基づくホイールローダ1Aの外観図である。 実施形態1の変形例に基づくカメラ40およびカメラ41の撮像範囲を説明する図である。 実施形態1の変形例に基づくホイールローダ1Aの制御部10Aの機能ブロックを説明する図である。 実施形態1の変形例に基づく遮断領域抽出部101における作業状態に基づいて遮断領域を抽出する対象を特定するフロー図である。 実施形態1の変形例に基づく積込作業時におけるカメラ40で撮像した画像データを説明する図である。 実施形態1の変形例に基づく積込作業時におけるカメラ41で撮像した画像データを説明する図である。 実施形態1の変形例に基づく積込作業時における表示部50に表示される画像を説明する図である。 実施形態1の変形例に基づく排土作業時におけるカメラ40で撮像した画像データを説明する図である。 実施形態1の変形例に基づく排土作業時におけるカメラ151で撮像した画像データを説明する図である。 実施形態1の変形例に基づく排土作業時における表示部50に表示される画像を説明する図である。 実施形態2に基づくホイールローダ1の制御部10Bの機能ブロックを説明する図である。 実施形態2に基づくホイールローダ1をモデル化した状態を説明する図である。 実施形態3に基づく表示部およびカメラの撮像範囲を説明する図である。 実施形態3に基づく表示部50#の一例を説明する図である。
 以下、実施形態について図に基づいて説明する。なお、以下の説明において、「上」「下」「前」「後」「左」「右」とは、運転席に着座した作業者を基準とする用語である。また、ホイールローダについて、また、「積込対象車両」の一例であるダンプトラックについて、図面を参照しながら説明する。
 (実施形態1)
 <作業処理>
 図1は、実施形態1に基づく作業処理の概要を説明する図である。
 図1には、一例として、砕石場、鉱山などの土木現場でホイールローダおよび積込対象車両が配置されている場合の模式的構成が示されている。
 土木現場には、積込対象物Xが示されている。
 ホイールローダ1は、堆積された土砂等の積込対象物Xを掘削する掘削作業および積込対象車両140に積み込む積込作業を実行する。
 ホイールローダ1は、積込対象物Xを掘削する掘削作業をした後、積込対象車両140に正対するように地点Vまで旋回しながら後進する。そして、地点Vから積込対象車両140に対して前進して、積込対象車両140に対して積込対象物Xを積み込む積込作業を実行する。積込対象車両140は、ホイールローダ1における積込作業が効率的に行えるように予め指定された位置に配置されている。なお、ホイールローダ1のルーフ側にはカメラ40が配置されている。ここでは、カメラ40が1つ設けられている場合が示されているが複数台配置することが望ましい。
 <ホイールローダおよび積込対象車両の全体構成>
 図2は、実施形態1に基づくホイールローダ1の外観図である。
 図3は、実施形態1に基づくホイールローダ1の構成を示す模式図である。
 図2および図3に示されるように、ホイールローダ1は、車輪4a,4bが回転駆動することにより自走可能であるとともに、作業機3を用いて所望の作業を行うことができる。
 ホイールローダ1は、車体フレーム2、作業機3、車輪4a,4b、運転室5を備えている。
 車体フレーム2は、前車体部2aと後車体部2bとを有している。前車体部2aと後車体部2bとは互いに左右方向に揺動可能に連結されている。
 前車体部2aと後車体部2bとに渡って一対のステアリングシリンダ11a,11bが設けられている。ステアリングシリンダ11a,11bは、ステアリングポンプ12(図3参照)からの作動油によって駆動される油圧シリンダである。ステアリングシリンダ11a,11bが伸縮することによって、前車体部2aが後車体部2bに対して揺動する。これにより、車両の進行方向が変更される。
 なお、図2および図3では、ステアリングシリンダ11a,11bの一方のみを図示しており他方を省略している。
 前車体部2aには、作業機3および一対の車輪4aが取り付けられている。作業機3は、作業機ポンプ13(図3参照)からの作動油によって駆動される。作業機3は、ブーム6と、一対のリフトシリンダ14a,14bと、バケット7と、ベルクランク9と、バケットシリンダ15とを有する。
 ブーム6は、前車体部2aに回転可能に支持されている。リフトシリンダ14a,14bの一端は前車体部2aに取り付けられている。リフトシリンダ14a,14bの他端は、ブーム6に取り付けられている。リフトシリンダ14a,14bが作業機ポンプ13からの作動油によって伸縮することによって、ブーム6が上下に揺動する。
 なお、図2および図3では、リフトシリンダ14a,14bのうちの一方のみを図示しており、他方は省略している。
 バケット7は、ブーム6の先端に回転可能に支持されている。バケットシリンダ15の一端は前車体部2aに取り付けられている。バケットシリンダ15の他端はベルクランク9を介してバケット7に取り付けられている。バケットシリンダ15が、作業機ポンプ13からの作動油によって伸縮することによって、バケット7が上下に揺動する。
 本例においては、バケット7と、前車体部2aとの間を連結するブーム6、リフトシリンダ14a,14b等を作業機リンクとも称する。
 後車体部2bには、運転室5及び一対の車輪4bが取り付けられている。運転室5は、車体フレーム2の上部に載置されており、作業者が着座するシートや、後述する操作部8などが内装されている。
 また、図3に示すように、ホイールローダ1は、駆動源としてのエンジン21、走行装置22、作業機ポンプ13、ステアリングポンプ12、操作部8、制御部10などを備えている。
 エンジン21は、ディーゼルエンジンであり、シリンダ内に噴射する燃料量を調整することによりエンジン21の出力が制御される。この調整は、エンジン21の燃料噴射ポンプ24に付設された電子ガバナ25が制御部10によって制御されることで行われる。ガバナ25としては、一般的にオールスピード制御方式のガバナが用いられ、エンジン回転数が、後述するアクセル操作量に応じた目標回転数となるように、負荷に応じてエンジン回転数と燃料噴射量とを調整する。すなわち、ガバナ25は目標回転数と実際のエンジン回転数との偏差がなくなるように燃料噴射量を増減する。エンジン回転数は、エンジン回転数センサ91によって検出される。エンジン回転数センサ91の検出信号は、制御部10に入力される。
 走行装置22は、エンジン21からの駆動力により車両を走行させる装置である。走行装置22は、トルクコンバータ装置23、トランスミッション26、及び上述した車輪4a及び車輪4bなどを有する。
 トルクコンバータ装置23は、ロックアップクラッチ27とトルクコンバータ28を有している。ロックアップクラッチ27は、連結状態と非連結状態とに切換可能である。ロックアップクラッチ27が非連結状態である場合には、トルクコンバータ28が、オイルを媒体としてエンジン21からの駆動力を伝達する。ロックアップクラッチ27が連結状態である場合には、トルクコンバータ28の入力側と出力側とが直結される。ロックアップクラッチ27は、油圧作動式のクラッチであり、ロックアップクラッチ27への作動油の供給がクラッチ制御弁31を介して制御部10によって制御されることにより、連結状態と非連結状態とが切り換えられる。
 トランスミッション26は、前進走行段に対応する前進クラッチCFと、後進走行段に対応する後進クラッチCRとを有している。前進クラッチCFおよび後進クラッチCRの連結状態・非連結状態が切り換えられることによって、車両の前進と後進とが切り換えられる。前進クラッチCFおよび後進クラッチCRが共に非連結状態のときは、車両は中立状態となる。また、トランスミッション26は、複数の速度段に対応した複数の速度段クラッチC1-C4を有しており、減速比を複数段階に切り換えることができる。例えば、このトランスミッション26では、4つの速度段クラッチC1-C4が設けられており、速度段を第1速から第4速までの4段階に切る換えることができる。各速度段クラッチC1-C4は、油圧作動式の油圧クラッチである。図示しない油圧ポンプからクラッチ制御弁31を介して速度段クラッチC1-C4へ作動油が供給される。クラッチ制御弁31が制御部10によって制御されて、速度段クラッチC1-C4への作動油の供給が制御されることにより、各速度段クラッチC1-C4の連結状態及び非連結状態が切り換えられる。
 トランスミッション26の出力軸には、トランスミッション26の出力軸の回転数を検出するT/M出力回転数センサ92が設けられている。T/M出力回転数センサ92からの検出信号は、制御部10に入力される。制御部10は、T/M出力回転数センサ92の検出信号に基づいて車速を算出する。従って、T/M出力回転数センサ92は車速を検出する車速検出部として機能する。なお、トランスミッション26の出力軸ではなく他の部分の回転速度を検出するセンサが車速センサとして用いられてもよい。トランスミッション26から出力された駆動力は、シャフト32などを介して車輪4a,4bに伝達される。これにより、車両が走行する。トランスミッション26の入力軸の回転数は、T/M入力回転数センサ93によって検出される。T/M入力回転数センサ93からの検出信号は、制御部10に入力される。
 エンジン21の駆動力の一部は、PTO軸33を介して作業機ポンプ13及びステアリングポンプ12に伝達される。作業機ポンプ13及びステアリングポンプ12は、エンジン21からの駆動力によって駆動される油圧ポンプである。作業機ポンプ13から吐出された作動油は、作業機制御弁34を介してリフトシリンダ14a,14b及びバケットシリンダ15に供給される。また、ステアリングポンプ12から吐出された作動油は、ステアリング制御弁35を介してステアリングシリンダ11a,11bに供給される。このように、作業機3は、エンジン21からの駆動力の一部によって駆動される。
 作業機ポンプ13から吐出された作動油の圧力は、第1油圧センサ94によって検出される。リフトシリンダ14a,14bに供給される作動油の圧力は、第2油圧センサ95によって検出される。具体的には、第2油圧センサ95は、リフトシリンダ14a,14bを伸長させるときに作動油が供給されるシリンダボトム室の油圧を検出する。バケットシリンダ15に供給される作動油の圧力は、第3油圧センサ96によって検出される。具体的には、第3油圧センサ96は、バケットシリンダ15を伸長させるときに作動油が供給されるシリンダボトム室の油圧を検出する。ステアリングポンプ12から吐出された作動油の圧力は、第4油圧センサ97によって検出される。第1油圧センサ94~第4油圧センサ97からの検出信号は、制御部10に入力される。
 操作部8は、作業者によって操作される。操作部8は、アクセル操作部材81a、アクセル操作検出装置81b、ステアリング操作部材82a、ステアリング操作検出装置82b、ブーム操作部材83a、ブーム操作検出装置83b、バケット操作部材84a、バケット操作検出装置84b、変速操作部材85a、変速操作検出装置85b、FR操作部材86a、及び、FR操作検出装置86bなどを有する。
 アクセル操作部材81aは、例えばアクセルペダルであり、エンジン21の目標回転数を設定するために操作される。アクセル操作検出装置81bは、アクセル操作部材81aの操作量を検出する。アクセル操作検出装置81bは、検出信号を制御部10へ出力する。
 ステアリング操作部材82aは、例えばステアリングハンドルであり、車両の進行方向を操作するために操作される。ステアリング操作検出装置82bは、ステアリング操作部材82aの位置を検出し、検出信号を制御部10に出力する。制御部10は、ステアリング操作検出装置82bからの検出信号に基づいてステアリング制御弁35を制御する。これにより、ステアリングシリンダ11a,11bが伸縮して、車両の進行方向が変更される。
 ブーム操作部材83a及びバケット操作部材84aは、例えば操作レバーであり、作業機3を動作させるために操作される。具体的には、ブーム操作部材83aは、ブーム6を動作させるために操作される。バケット操作部材84aは、バケット7を動作させるために操作される。ブーム操作検出装置83bは、ブーム操作部材83aの位置を検出する。バケット操作検出装置84bは、バケット操作部材84aの位置を検出する。ブーム操作検出装置83b及びバケット操作検出装置84bは、検出信号を制御部10に出力する。制御部10は、ブーム操作検出装置83b及びバケット操作検出装置84bからの検出信号に基づいて作業機制御弁34を制御する。これにより、リフトシリンダ14a,14b及びバケットシリンダ15が伸縮して、ブーム6及びバケット7が動作する。また、作業機3にはブーム角を検出するブーム角検出装置98が設けられている。ブーム角は、前車体部2aとブーム6との回転支持中心と、ブーム6とバケット7との回転支持中心とを結ぶ線と、前後の車輪4a,4bの軸中心を結ぶ線とに挟まれた角度をいう。ブーム角検出装置98は、検出信号を制御部10に出力する。制御部10は、ブーム角検出装置98が検出したブーム角に基づいて、バケット7の高さ位置を算出する。このため、ブーム角検出装置98はバケット7の高さを検出する高さ位置検出部として機能する。
 変速操作部材85aは、例えばシフトレバーである。変速操作部材85aは、自動変速モードが選択されているときには、速度段の上限を設定するために操作される。例えば、変速操作部材85aが第3速に設定されている場合には、トランスミッション26は、第2速から第3速までの間で切り換えられ、第4速には切り換えられない。また、手動変速モードが選択されているときには、トランスミッション26は変速操作部材85aによって設定された速度段に切り換えられる。変速操作検出装置85bは、変速操作部材85aの位置を検出する。変速操作検出装置85bは、検出信号を制御部10に出力する。制御部10は、変速操作検出装置85bからの検出信号に基づいて、トランスミッション26の変速を制御する。なお、自動変速モードと手動変速モードとは図示しない変速モード切換部材によって作業者によって切り換えられる。
 FR操作部材86aは、車両の前進と後進とを切り換えるために操作される。FR操作部材86aは、前進、中立、及び後進の各位置に切り換えられることができる。FR操作検出装置86bは、FR操作部材86aの位置を検出する。FR操作検出装置86bは、検出信号を制御部10に出力する。制御部10は、FR操作検出装置86bからの検出信号に基づいてクラッチ制御弁31を制御する。これにより、前進クラッチCF及び後進クラッチCRが制御され、車両の前進と後進と中立状態とが切り換えられる。
 制御部10は、一般的にCPU(Central Processing Unit)により各種のプログラムを読み込むことにより実現される。
 制御部10は、メモリ60と接続され、当該メモリ60は、ワークメモリとして機能するとともに、ホイールローダの機能を実現するための各種のプログラムを格納する。
 制御部10は、アクセル操作量に応じた目標回転数が得られるように、エンジン指令信号をガバナ25に送る。
 制御部10は、カメラ40と接続される。制御部10は、カメラ40で撮像した画像データの入力を受け付ける。カメラ40は、ホイールローダ1の運転室5のルーフ側に設けられる。カメラ40の視線方向は、ホイールローダ1の運転室5に着座した作業者の視線方向と同じ方向である。本例においては、水平方向である。
 また、制御部10は、カメラ45とも接続される。制御部10は、カメラ45で撮像した画像データの入力を受け付ける。カメラ45は、バケット7の内側に設けられる。カメラ45の視線方向は、バケット7の内側を撮像する方向に向けられている。
 制御部10は、表示部50とも接続される。
 制御部10は、外部と通信可能に設けられた通信部19とも接続される。
 図4は、実施形態1に従う積込対象車両140の外観構成図である。
 図4には、積込対象車両140としてダンプトラックの例が示されている。
 積込対象車両140は、例えば車輪142および144が回転駆動することにより自走可能である。積込対象車両140は、車輪142および144を駆動および他の構成部品の1つ以上を駆動するために駆動源としてのエンジン146を含む。例えば、ディーゼルエンジンである。
 積込対象車両140は、土砂等の積込対象物を積載可能なベッセル160と、運転室152と、制御装置158と、通信装置134と、種々の検出器および/またはセンサおよび各構成部品を操作するための種々のアクチュエータとを含む。
 ベッセル160は、例えばアクチュエータ150を介して排土ポジションに操作される。
 運転室152は、閉鎖されたまたは部分的に閉鎖された運転台を含み、かつ操作者席154、操作部(図示せず)、および表示装置156等を含む。
 制御装置158は、検出器の検出結果を受け付けるとともに、必要に応じて各種のアクチュエータを制御する。制御装置158は、中央処理装置(CPU)およびメモリ、種々の入出力周辺機器を含む。
 通信装置134は、制御装置158と接続され、ホイールローダ1の通信部19との間でデータ通信することにより情報の授受が可能に設けられている。
 ベッセル160には、カメラ151が設けられている。当該カメラ151によりベッセル内の画像を取得することが可能である。また、取得した当該画像を通信装置134を介してホイールローダ1に送信することも可能である。
 <制御構成>
 図5は、実施形態1に基づくホイールローダ1の制御部10の機能ブロックを説明する図である。
 図5に示されるように、制御部10は、メモリ60に格納されている各種のプログラムを実行することにより機能ブロックを実現する。
 制御部10は、ホイールローダ1の作業機3あるいは積込対象車両140のベッセル160の少なくとも一部を透過する透過画像を表示部50に表示する。
 具体的には、制御部10は、遮断領域抽出部101と、画像データ取得部102と、画像解析部103と、画像抽出部104と、表示制御部105と、画像編集部106とを含む。
 遮断領域抽出部101は、作業機3あるいは積込対象車両140により表示部上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。運転席視点とは、運転席に着座した作業者の視点を指す。
 画像データ取得部102は、カメラ40およびカメラ45で撮像した画像データを取得する。
 画像解析部103は、カメラ40およびカメラ45で撮像した画像データの解析処理を実行する。
 画像抽出部104は、画像データ取得部102で取得した画像データに基づいて遮断領域よりも作業者の視線の先にある透過画像を抽出する。
 画像編集部106は、画像抽出部104により抽出された透過画像を遮断領域に合成するために画像を編集する。
 表示制御部105は、遮断領域抽出部101により抽出された遮断領域の外形線を境界にして、遮断領域の外形線内の領域について、遮断領域よりも作業者の視線の先にある透過画像を合成して表示部50に表示する。表示制御部105は、遮断領域の外形線内の領域について、画像編集部106により編集された透過画像を合成して表示部50に表示する。
 図6は、実施形態1に基づくカメラ40で撮像した画像データを説明する図である。
 図6に示されるように、ここでは、カメラ40により撮像した作業機3のバケット7を含む画像データCDTが示されている。バケット7に接続されている作業機リンクについては省略している。
 カメラ40は、運転室5の上方に設けられ作業機3よりも後方に設けられている。したがって、作業機3のバケット7の内部を撮像することはできない。作業機3のバケット7の外殻によりその視界が遮断されるからである。
 本例においては、表示部50上に表示されるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部103は、画像データCDTに基づき例えばパターンマッチング等によりバケット7を特定する。
 遮断領域抽出部101は、画像データCDTに基づき画像解析部103により特定されたバケット7を運転席視点の作業者の視界が遮断される遮断領域700として抽出する。
 図7は、実施形態1に基づくカメラ45で撮像した画像データを説明する図である。
 図7に示されるように、ここでは、カメラ45により撮像した作業機3のバケット7の内部の画像を含む画像データICDTが示されている。ここでは、バケット7の内部に積込対象物Xが含まれている場合が示されている。
 本例においては、画像抽出部104は、画像データICDTに基づいて遮断領域抽出部101により抽出された遮断領域よりも作業者の視線の先にある透過画像800を抽出する。画像抽出部104は、画像データICDTに含まれている所定領域の画像を透過画像800として抽出する。ここでは、バケット7の外形線L1に基づいて透過画像800を抽出する場合が示されている。当該透過画像800は、バケット7の外殻によりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。
 図8は、実施形態1に基づく表示部50に表示されるバケットを説明する図である。
 図8に示されるように、バケット7内の透過画像が合成表示されている場合が示されている。
 実施形態1に基づく制御部10は、作業機3のバケット7の外形線を透過画像に合成して表示部50に表示する。本例においては、制御部10は、運転席視点の作業機3のバケット7の外形線を透過画像に合成して表示部50に表示する。
 具体的には、画像編集部106は、遮断領域抽出部101により抽出された遮断領域700の外形線を境界にして、外形線内の領域形状に合うように透過画像800を編集する。
 表示制御部105は、表示部50上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集されたバケット7内の透過画像を遮断領域に合成して表示部50に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。
 本例においては、画像抽出部104において、画像データICDTに含まれている所定領域の画像を透過画像として抽出し、画像編集部106において、当該透過画像を遮断領域と合成させるために遮断領域の外形線内の領域形状に合うように透過画像を編集する場合について説明した。一方で、画像抽出部104において、遮断領域の外形線内の領域形状に合うように透過画像を抽出するようにしても良い。その場合には、画像編集部106における画像編集処理は省略される。
 当該表示部50における表示により、表示部50上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。
 本例においては、運転席視点の作業者の視界がバケット7の外殻により遮断されるバケット7の内部について、遮断領域700に対して透過画像800を合成した画像710を表示することにより運転席視点の作業者の視界が遮られる領域が表示されるため、バケット7の内部の状態を容易に把握することが可能である。
 したがって、作業者が作業機3のバケット7を直観的に操作することが可能であり、作業効率を改善することが可能である。ここでは、スケルトン化された外形線が一点鎖線として示されている。
 図9は、実施形態1に基づく透過画像の合成表示に関する処理を説明するフロー図である。
 図9に示されるように、まず、制御部10は、画像データを取得する(ステップS2)。画像データ取得部102は、カメラ40およびカメラ45で撮像した画像データをそれぞれ取得する。
 次に、制御部10は、遮断領域を抽出する(ステップS4)。遮断領域抽出部101は、作業機3あるいは積込対象車両140により表示部50上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。例えば、画像解析部103によりカメラ40により取得された画像データCDTに含まれているバケット7を特定する。遮断領域抽出部101は、特定されたバケットを遮断領域700として抽出する。本例においては、一例としてバケット7を遮断領域700として抽出する。
 次に、制御部10は、透過画像を抽出する(ステップS6)。画像抽出部104は、画像データ取得部102で取得したカメラ45により取得された画像データICDTに基づいて所定領域の画像を透過画像として抽出する。当該透過画像は、作業機3あるいは積込対象車両140のベッセル160の少なくとも一部を透過した画像であり、遮断領域よりも作業者の視線の先にある画像である。本例においては、バケット7の内部の画像を透過画像800として抽出する。
 次に、制御部10は、画像編集する(ステップS7)。画像編集部106は、画像抽出部104により抽出された透過画像800を編集する。具体的には、遮断領域抽出部101により抽出された遮断領域の外形線を境界にして、外形線内の領域形状に合うように透過画像を編集する。
 次に、制御部10は、透過画像を合成する(ステップS8)。表示制御部105は、画像データCDTのバケット7の遮断領域に対して、遮断領域の外形線を境界にして、画像編集部106により編集した透過画像を合成する。
 次に、制御部10は、合成した透過画像を表示する(ステップS10)。表示制御部105は、画像データCDTに対して透過画像を合成して表示部50に表示する。
 そして、処理を終了する(エンド)。
 なお、本例においては、運転席視点の作業者の視界からみた、ホイールローダの運転席視点の作業者の視界が遮断される遮断領域に透過画像を合成する場合について説明したが、作業をサポートする点で別のアングルに基づく表示をすることも可能である。たとえば、バケット7を横から見た場合(側方視あるいは側面視)に視界が遮断される遮断領域に透過画像を合成して表示するようにしても良い。
 図10は、実施形態1に基づくバケット7を横から見た場合の画像データを説明する図である。
 図10に示されるように、ここでは、作業機3のバケット7を含む画像データCDTPが示されている。バケット7に接続されている作業機リンクについては省略している。一例としてバケット7を側面視した場合の画像データが示されている。なお、画像データCDTPについて、実際にバケット7を横から見た実画像データを用いても良いし、あるいは、仮想的にバケット7を横から見たモデル画像データを用いても良い。当該画像データCDTPは、制御部10の図示しないメモリ等に格納されているものとする。
 図11は、実施形態1に基づくカメラ46,47について説明する図である。
 図11(A)に示されるように、カメラ46,47はバケット7の内部を側方視可能な位置に取り付けられている。
 図11(B)には、カメラ46により撮像した作業機3のバケット7の内部の画像を含む画像データICDTPが示されている。
 カメラ46は、バケット7の左側方から内部を撮像する。一方、カメラ47は、右側方から内部を撮像する。カメラ46,47を設けることによりバケット7の左右の内部画像を含む画像データを取得することが可能であり、合成することにより精度の高い画像データを取得することが可能である。なお、本例においては、カメラ46,47を両方設けた構成について説明しているがいずれか一方とすることも可能である。
 本例においては、バケット7の内部に積込対象物Xが含まれている場合が示されている。
 なお、カメラ45,46,47については、説明を簡易にするためにバケット7の内部から突き出しているように配置されている構成について説明しているが、バケット7の構成部材に穴を設け、その中にカメラ45,46,47を挿入固定するようにしても良い。これにより、バケット内部での突出する量を抑えることが可能である。また、カメラ46,47は、バケット7の側方からバケット内部を撮像する場合について説明しているが、バケット7の背板の左右端部に斜めに穴を設け、当該中にカメラ46,47を挿入固定し、バケット内部側面を斜めから撮像するようにしてもよい。これにより、カメラ46,47の後部がバケット7の側面から突出する量を抑えることが可能である。
 カメラ40は、運転室5の上方に設けられ作業機3よりも後方に設けられている。したがって、積込対象物Xを掘削する際に作業機3のバケット7の内部を撮像することはできない。作業機3のバケット7の側面も外殻によりその視界が遮断されるからである。
 本例においては、表示部50上に表示されるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部103は、画像データCDTPに基づき例えばパターンマッチング等によりバケット7を特定する。本例においては、側面視した場合のバケット7を特定する。
 遮断領域抽出部101は、画像データCDTPに基づき画像解析部103により特定されたバケット7を作業者の視界が遮断される遮断領域700Pとして抽出する。
 本例においては、画像抽出部104は、図11(B)で説明したカメラ45により撮像した作業機3のバケット7の内部の画像を含む画像データICDTPに基づいて遮断領域抽出部101により抽出された遮断領域よりも作業者の視線の先にある透過画像を抽出する。
 一例として、画像抽出部104は、画像データICDTPに含まれている所定領域の画像について透過画像810として抽出する。当該透過画像は、バケット7の側面の外殻により側面視した際の視界が遮断された遮断領域よりも作業者の視線の先にある画像である。
 図12は、実施形態1に基づく表示部50に表示されるバケットを説明する図である。
 図12に示されるように、側面視したバケット7内の透過画像が合成表示されている場合が示されている。
 実施形態1に基づく制御部10は、作業機3のバケット7の側面視の外形線を透過画像に合成して表示部50に表示する。本例においては、制御部10は、作業機3のバケット7の側面視の外形線を透過画像に合成して表示部50に表示する。
 具体的には、画像編集部106は、遮断領域抽出部101により抽出された遮断領域700Pの外形線を境界にして、外形線内の領域形状に合うように透過画像810を編集する。
 表示制御部105は、表示部50上におけるホイールローダ1の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集されたバケット7内の透過画像810を遮断領域に合成して表示部50に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。
 本例においては、作業者の視界がバケット7の側面の外殻により遮断されるバケット7の内部について、遮断領域700Pに対して透過画像を合成した画像710Pを表示することにより作業者の視界が遮られる領域が表示されるため、側面方向からのバケット7の内部の状態を容易に把握することが可能である。
 したがって、作業者は、作業機3のバケット7を直観的に操作することが可能であり、作業効率を改善することが可能である。ここでは、スケルトン化された外形線が一点鎖線として示されている。
 なお、本例においては、バケット7の内部の画像としてカメラ45により撮像した画像データを用いる場合について説明したが、バケット7の内部に設けられた知覚センサにより内部の状況を推定できる場合には、推定した状況に基づいて複数の予め設けられている透過画像の中から1つを選択して、当該選択した透過画像を合成することも可能である。また、推定した状況に基づいて算出した結果を合成することも可能である。
 なお、本例においては、ホイールローダ1に設けられた制御部10が透過画像を表示部に表示する方式について説明したが、制御部10が全ての処理を実行するのではなく、他の装置と連携して制御システムとして実行することも可能である。
 (変形例)
 図13は、実施形態1の変形例に基づくホイールローダ1Aの外観図である。
 図13に示されるように、ホイールローダ1Aは、ホイールローダ1と比較して、カメラ40よりも上方に設けられたカメラ41と、それを支持する支持ユニット42をさらに追加した点が異なる。その他の構成については、実施形態1で説明したのと同様であるのでその詳細な説明については繰り返さない。
 図14は、実施形態1の変形例に基づくカメラ40およびカメラ41の撮像範囲を説明する図である。
 図14に示されるように、カメラ40の撮像範囲は、作業機3の作業状態が含まれる。したがって、カメラ40で撮像した画像データを表示部50に表示する際には、表示部50上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域が生じる。
 カメラ41は、カメラ40よりも上方の位置に設けられており、カメラ41の撮像範囲は、作業機3の作業状態にかかわらず作業機3が含まれないように設定される。本例においては、カメラ41で撮像した画像データに基づいて遮断領域よりも作業者の視線の先にある透過画像を取得することが可能である。
 図15は、実施形態1の変形例に基づくホイールローダ1Aの制御部10Aの機能ブロックを説明する図である。
 図15に示されるように、制御部10Aは、メモリ60に格納されている各種のプログラムを実行することにより機能ブロックを実現する。
 制御部10Aは、ホイールローダ1の作業機3あるいは積込対象車両140のベッセル160の少なくとも一部を透過する透過画像を表示部50に表示する。
 具体的には、制御部10Aは、制御部10と比較して、作業状態判断部100をさらに追加した点が異なる。
 その他の構成については図5で説明したのと同様であるのでその詳細な説明については繰り返さない。
 作業状態判断部100は、操作部8の操作指示に従って作業機3の作業状態を判断する。例えば、作業機3の作業状態としてバケット7の高さおよびバケット7に対する操作指示で判断することが可能である。一例として、ブーム6のリフトシリンダの長さおよびバケットシリンダ15の長さに基づいて作業機リンクの状態を特定しバケット7に対する高さを算出することが可能である。
 具体的には、バケット7の高さとして所定の高さ未満における作業機3の作業状態でシリンダ圧が所定の圧力以上の場合には、掘削作業であると判断する。一例としてシリンダ圧は、リフトシリンダ14のボトム圧とする。この点で第2油圧センサ95の検出値を利用することが可能である。
 また、シリンダ圧が所定の圧力以上で、かつバケット7の高さが所定の高さ以上であり、バケット7を動かさないかあるいは、バケット7を後方側に動かす場合には、作業機3の作業状態は、積込作業であると判断する。なお、シリンダ圧が所定の圧力以上であることを条件としているのは、バケット7に土砂等が含まれている状態を判断するためである。
 また、シリンダ圧が所定の圧力以上で、かつバケット7の高さが所定の高さ以上であり、バケット7を前方側に動かす場合には、作業機3の作業状態は、排土作業であると判断する。
 遮断領域抽出部101は、作業状態判断部100で判断した作業状態に基づいて作業機3あるいは積込対象車両140により表示部上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。
 図16は、実施形態1の変形例に基づく遮断領域抽出部101における作業状態に基づいて遮断領域を抽出する対象を特定するフロー図である。
 図16に示されるように、遮断領域抽出部101は、作業状態判断部100で判断した作業状態が掘削作業であるか否かを判断する(ステップS10)。
 ステップS10において、遮断領域抽出部101は、作業状態が掘削作業であると判断した場合(ステップS10においてYES)には、遮断領域を抽出する対象をバケットとして特定する(ステップS12)。
 そして、処理を終了する(エンド)。
 ステップS10において、遮断領域抽出部101は、作業状態が掘削作業でないと判断した場合(ステップS10においてNO)には、作業状態判断部100で判断した作業状態が積込作業であるか否かを判断する(ステップS14)。
 ステップS14において、遮断領域抽出部101は、作業状態が積込作業であると判断した場合(ステップS14においてYES)には、遮断領域を抽出する対象を作業機リンクとして特定する(ステップS16)。
 そして、処理を終了する(エンド)。
 ステップS14において、遮断領域抽出部101は、作業状態が積込作業でないと判断した場合(ステップS14においてNO)には、作業状態判断部100で判断した作業状態が排土作業であるか否かを判断する(ステップS18)。
 ステップS18において、遮断領域抽出部101は、作業状態が排土作業であると判断した場合(ステップS18においてYES)には、遮断領域を抽出する対象をベッセルとバケットとして特定する(ステップS20)。
 そして、処理を終了する(エンド)。
 ステップS18において、遮断領域抽出部101は、作業状態が排土作業でないと判断した場合(ステップS18においてNO)には、作業状態を特定できないため処理を終了する(エンド)。したがって、この場合には遮断領域は抽出されない。
 上記に従う方式により、遮断領域抽出部101は、掘削作業時において、バケット7を遮断領域として抽出する。また、積込作業時において、作業機リンクを遮断領域として抽出する。また、排土作業時において、ベッセル160およびバケット7を遮断領域として抽出する。
 掘削作業時における表示については、上記の実施形態1で説明したのと同様である。
 具体的には、遮断領域抽出部101は、バケット7を運転席視点の作業者の視界が遮断される遮断領域700として抽出する。画像抽出部104は、遮断領域抽出部101により抽出された遮断領域よりも作業者の視線の先にある透過画像800を抽出する。画像編集部106は、遮断領域抽出部101により抽出された遮断領域700の外形線を境界にして、外形線内の領域形状に合うように透過画像800を編集する。そして、表示制御部105は、表示部50上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集されたバケット7内の透過画像を当該遮断領域に合成して表示部50に表示する。
 次に、積込作業時における表示について説明する。
 図17は、実施形態1の変形例に基づく積込作業時におけるカメラ40で撮像した画像データを説明する図である。
 図17に示されるように、ここでは、カメラ40により撮像した作業機3の作業機リンクを含む画像データCDTAが示されている。
 カメラ40は、運転室5の上方に設けられ作業機3よりも後方に設けられている。したがって、作業機3よりも前にあるベッセル160の一部を撮像することはできない。作業機3の作業機リンクにより、その視界が遮断されるからである。
 本例においては、表示部50上に表示されるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部103は、画像データCDTAに基づき例えばパターンマッチング等により作業機リンクを特定する。
 遮断領域抽出部101は、画像データCDTAに基づき画像解析部103により特定された作業機リンクを運転席視点の作業者の視界が遮断される遮断領域702として抽出する。
 図18は、実施形態1の変形例に基づく積込作業時におけるカメラ41で撮像した画像データを説明する図である。
 図18に示されるように、ここでは、カメラ41により撮像した積込対象車両140のベッセル160を含む画像データICDTAが示されている。
 カメラ41の撮像範囲は、作業機3の作業状態にかかわらず作業機3が含まれないように設定される。なお、本例においては、カメラ40と、カメラ41とは視点位置が異なるため、カメラ41の視点位置がカメラ40と同じ視点位置となるように画像変換処理したものが示されている。
 本例においては、画像抽出部104は、画像データICDTAに基づいて遮断領域抽出部101により抽出された遮断領域702よりも作業者の視線の先にある透過画像802を抽出する。画像抽出部104は、作業機リンクの外形線L2に基づいて画像データに含まれている透過画像802を抽出する。透過画像802は、作業機リンクによりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。
 図19は、実施形態1の変形例に基づく積込作業時における表示部50に表示される画像を説明する図である。
 図19に示されるように、画像抽出部104により抽出された透過画像802が合成表示されている場合が示されている。
 実施形態1の変形例に基づく制御部10Aは、作業機3の作業機リンクの外形線を透過画像に合成して表示部50に表示する。本例においては、制御部10Aは、運転席視点の作業機3の作業機リンクの外形線を透過画像に合成して表示部50に表示する。
 具体的には、画像編集部106は、遮断領域抽出部101により抽出された遮断領域702の外形線を境界にして、外形線内の領域形状に合うように透過画像802を編集する。
 表示制御部105は、表示部50上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集された透過画像を当該遮断領域に合成して表示部50に表示する。
 遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。
 本例においては、画像抽出部104において、画像データICDTAに含まれている作業機リンクの外形線L2に基づいて透過画像802を抽出し、画像編集部106において、当該透過画像を遮断領域と合成させるために遮断領域の外形線内の領域形状に合うように透過画像を編集する場合について説明した。一方で、画像抽出部104において、遮断領域の外形線内の領域形状に合うように透過画像を抽出するようにしても良い。その場合には、画像編集部106における画像編集処理は省略される。
 当該表示部50における表示により、表示部50上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。
 本例においては、運転席視点の作業者の視界が作業機リンクにより遮断されるベッセル160の一部について、作業機リンクに対して透過画像を合成して表示することにより作業者の視界が遮られる領域が表示されるため、ベッセル160の状態を容易に把握することが可能である。したがって、作業者は、ベッセル160に対する積込作業に関して作業機3を直観的に操作することが可能であり、作業効率を改善することが可能である。
 次に、排土作業時における表示について説明する。
 図20は、実施形態1の変形例に基づく排土作業時におけるカメラ40で撮像した画像データを説明する図である。
 図20に示されるように、ここでは、カメラ40により撮像した作業機3のバケットおよび積込対象車両140のベッセル160を含む画像データCDTBが示されている。
 カメラ40は、運転室5の上方に設けられ作業機3よりも後方に設けられている。したがって、積込対象車両140のベッセル160の内部を撮像することはできない。ベッセル160の外殻によりその視界が遮断されるからである。また、作業機3のバケット7の内部を撮像することはできない。作業機3のバケット7の外殻によりその視界が遮断されるからである。
 本例においては、表示部50上に表示されるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する。具体的には、画像解析部103は、画像データCDTBに基づき例えばパターンマッチング等によりベッセル160およびバケット7を特定する。
 遮断領域抽出部101は、画像データCDTBに基づき画像解析部103により特定されたベッセルを運転席視点の作業者の視界が遮断される遮断領域703として抽出する。また、遮断領域抽出部101は、画像データCDTBに基づき画像解析部103により特定されたバケットを運転席視点の作業者の視界が遮断される遮断領域704として抽出する。
 図21は、実施形態1の変形例に基づく排土作業時におけるカメラ151で撮像した画像データを説明する図である。
 図21に示されるように、ここでは、カメラ151により撮像した積込対象車両140のベッセル160の内部の画像を含む画像データICDTBが示されている。ここでは、ベッセル160の内部に積込対象物Xが含まれている場合が示されている。
 当該カメラ151で撮像された画像データICDBは、通信装置134を介してホイールローダ1に送信される。そして、ホイールローダ1の画像データ取得部102は、通信部19を介して当該画像データICDBを取得する。
 本例においては、画像抽出部104は、画像データICDTBに基づいて遮断領域抽出部101により抽出された遮断領域よりも作業者の視線の先にある透過画像804を抽出する。画像抽出部104は、画像データICDTBに含まれている所定領域の画像を透過画像804として抽出する。ここでは、ベッセル160の外形線L3に基づいて透過画像804を抽出する場合が示されている。当該透過画像804は、ベッセル160の外殻によりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。
 図22は、実施形態1の変形例に基づく排土作業時における表示部50に表示される画像を説明する図である。
 図22に示されるように、ベッセル160内の透過画像が合成表示されている場合が示されている。
 実施形態1の変形例に基づく制御部10Aは、積込対象車両140のベッセル160の外形線を透過画像に合成して表示部50に表示する。本例においては、制御部10Aは、運転席視点のベッセル160の外形線を透過画像に合成して表示部50に表示する。
 具体的には、画像編集部106は、遮断領域抽出部101により抽出された遮断領域703の外形線を境界にして、外形線内の領域形状に合うように透過画像804を編集する。
 表示制御部105は、表示部50上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集された透過画像を当該遮断領域に合成して表示部50に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。
 本例においては、画像抽出部104において、画像データICDTBに含まれている所定領域の画像を透過画像804を抽出し、画像編集部106において、当該透過画像を遮断領域と合成させるために遮断領域の外形線内の領域形状に合うように透過画像を編集する場合について説明した。一方で、画像抽出部104において、遮断領域の外形線内の領域形状に合うように透過画像を抽出するようにしても良い。その場合には、画像編集部106における画像編集処理は省略される。
 また、本例においては、ベッセル160がスケルトン化されるのみならず、バケット7についてもスケルトン化された場合が示されている。
 画像抽出部104は、画像データICDTBに基づいて遮断領域抽出部101により抽出された遮断領域704よりも作業者の視線の先にある透過画像を抽出する。当該透過画像は、実施形態1で説明したように、カメラ45により撮像した作業機3のバケット7の内部の画像を含む画像データに基づいて抽出する。
 画像編集部106は、遮断領域抽出部101により抽出された遮断領域704の外形線を境界にして、外形線内の領域形状に合うように当該透過画像を編集する。
 表示制御部105は、表示部50上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集されたバケット7内の透過画像を当該遮断領域に合成して表示部50に表示する。遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。
 当該表示部50における表示により、表示部50上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。
 本例においては、運転席視点の作業者の視界がベッセル160の外殻により遮断されるベッセル160の内部について、ベッセル160に対して透過画像を合成して表示することにより運転席視点の作業者の視界が遮られる領域が表示されるため、ベッセル160の内部の状態を容易に把握することが可能である。本例においては、運転席視点の作業者の視界がバケット7の外殻により遮断されるバケット7の内部について、バケット7に対して透過画像を合成して表示することにより運転席視点の作業者の視界が遮られる領域が表示されるため、バケット7の内部の状態を容易に把握することが可能である。
 作業者は、作業機3のベッセル160に対する排土作業に関して作業機3を直観的に操作することが可能であり、作業効率を改善することが可能である。
 なお、本例においては、ベッセル160の内部の画像としてカメラ151により撮像した画像データを用いる場合について説明したが、ベッセル160の内部に設けられた知覚センサにより内部の状況を推定できる場合には、推定した状況に基づいて複数の予め設けられている透過画像の中から1つを選択して、当該選択した透過画像を合成することも可能である。また、推定した状況に基づいて算出した結果を合成することも可能である。
 また、本例においては、ベッセル160およびバケット7を遮断領域とする場合について説明したが、作業機リンクも遮断領域としてスケルトン化するようにしても良い。
 なお、作業をサポートする点でさらに画像を加工表示するようにしても良い。具体的には、制御部10は、作業機リンクとベッセル160とが干渉する可能性がある部位を特定して、当該部位を強調表示するようにしても良い。たとえば、表示制御部105により干渉する可能性がある部位に色を付けるとともに色を変化させることにより強調表示するようにしても良い。干渉する可能性の度合に応じて色を変化させることも可能である。たとえば、可能性が低い場合には薄い赤色に設定して、可能性が高くなればなるほど濃い赤色に変化させるようにしても良い。干渉の可能性については両者の距離に基づいて判断することが可能である。
 ベッセル160の距離については、画像解析部103により画像データCDTBに含まれるベッセル160からホイールローダ1との距離を算出することが可能である。また、作業機3の状態は、一例として、ブーム6のリフトシリンダの長さおよびバケットシリンダ15の長さに基づいて作業機リンクの状態を特定することが可能である。表示制御部105は、これらの算出結果に基づく互いの位置関係に基づいて両者の距離を算出し、強調表示することが可能である。
 (実施形態2)
 上記の実施形態1およびその変形例においては、遮断領域抽出部101は、作業機3あるいは積込対象車両140により表示部上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する場合について説明した。具体的には、撮像した画像データに含まれる所定領域をパターンマッチングにより特定して遮断領域として抽出する方式について説明した。
 実施形態2においては、別の方式で遮断領域を抽出する方式について説明する。
 図23は、実施形態2に基づくホイールローダ1の制御部10Bの機能ブロックを説明する図である。
 図23に示されるように、制御部10Bは、メモリ60に格納されている各種のプログラムを実行することにより機能ブロックを実現する。
 制御部10Bは、ホイールローダ1の作業機3あるいは積込対象車両140のベッセル160の少なくとも一部を透過する透過画像を表示部50に表示する。
 具体的には、制御部10Bは、作業機姿勢状態判断部107をさらに追加した点が異なる。
 作業機姿勢状態判断部107は、操作部8の操作指示に従って作業機3の姿勢状態を判断する。
 図24は、実施形態2に基づくホイールローダ1をモデル化した状態を説明する図である。
 図24に示されるように、ここでは、ホイールローダの本体部分Pと、バケットQと、本体部分Pと、バケットQとを接続する作業機リンクRとをモデル化した場合が示されている。
 操作部8の操作指令に従いバケットQおよび作業機リンクRの状態(姿勢状態)は変化する。
 ここでは、一例として水平面と接していたバケットQの状態を初期状態とした場合に、操作部8の操作指令に従い作業機リンクRがバケットQをリフトアップして角度α回転した状態である場合が示されている。また、操作部8の操作指令に従いバケットQの角度が変化して作業機リンクRとの角度がβである場合が示されている。
 角度α,βは、操作部8の操作指令量に基づき算出することが可能であり、作業機姿勢状態判断部107は、操作部8の操作指示に基づいて作業機3の姿勢状態を判断することが可能である。なお、角度α,βを角度センサを用いて検出し、作業機3の姿勢状態を判断するようにしても良い。また、リフトシリンダの長さおよびバケットシリンダの長さをストロークセンサの値に基づいて算出し、それに基づいて作業機3の姿勢状態を判断することも可能である。
 遮断領域抽出部101は、作業機姿勢状態判断部107で判断した作業機3の姿勢状態に基づいて表示部上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域を特定し、当該遮断領域を抽出する。
 以降の処理については、上記の実施形態1およびその変形例で説明したのと同様であるのでその詳細な説明については繰り返さない。
 実施形態2に基づく方式により、画像解析することなく表示部上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域を特定することが可能であり、遮断領域を抽出する際の処理負荷を軽減することが可能である。
 (実施形態3)
 上記の実施形態においては、カメラ40で撮像した画像データを表示部50に表示する際に、表示部50上におけるホイールローダの運転席視点の作業者の視界が遮断される領域を合成表示する場合について説明した。
 実施形態3においては、作業者が目視している作業機あるいは積込対象車両に対して遮断領域を合成表示する場合について説明する。
 制御部の構成については、実施形態1の変形例に基づく制御部10Aと基本的に同様である。
 図25は、実施形態3に基づく表示部およびカメラの撮像範囲を説明する図である。
 図25(A)を参照して、ここでは、表示部50#の右側および左側にカメラ40RAおよび40LAが設けられている場合が示されている。また、表示部50#の右側および左側にカメラ40RBおよび40LBが設けられている場合が示されている。カメラ40RBは、表示部50#に対してカメラ40RAよりも表示部50#から離れた位置に設けられる。カメラ40LBは、表示部50#に対してカメラ40LAよりも離れた位置に設けられる。カメラ40RAおよび40LAの距離は表示部50#から同じ距離に設けられているものとする。カメラ40RBおよび40LBの距離は表示部50#から同じ距離に設けられているものとする。
 作業者の前には光学透過(シースルー)型の表示部50#が設けられている。表示部50#を介して作業者は外部の情報を取得することが可能である。
 本例においては、一例として、表示部50#を介して作業者が情報を取得する上下方向の撮像範囲αが示されている。
 カメラ40RA,40RB,40LA,40LBの上下方向の撮像範囲も同じ範囲に設定されている。
 なお、本例においては、図示していないが、表示部50#を介して作業者が情報を取得する左右方向の撮像範囲と、カメラ40RA,40RB,40LA,40LBの左右方向の撮像範囲も同じ範囲に設定されている。
 なお、本例においては、一例として、表示部50#は、ホイールローダ1に固定されて設けられており、水平面に対する表示部50#の位置とカメラ40RA,40RB,40LA,40LBの高さとは同じ高さに設定されているものとする。
 本例においては、カメラ40RA,40LAの撮像範囲には、ホイールローダ1の作業機3が含まれる。一方、カメラ40RB,LBの撮像範囲には、ホイールローダ1の作業機3は含まれないものとする。
 図25(B)は、カメラ40RA,40LAの撮像範囲の画像データから作業者が表示部50#を介して取得する情報を抽出する方式を説明する図である。
 図25(B)に示されるように、右側のカメラ40RAの画像データRCDTAと、左側のカメラ40LAの画像データLCDTAとが示されている。ここで、画像データRCDTAと、画像データLCDTAとについて、任意の同じ地点が重なるように配置する。なお、ともに作業機3の一部が表示されているものとする。この場合、画像データRCDTAと画像データLCDTAの水平方向の長さがLずれている場合には、表示部50#を介して作業者が情報を取得している範囲は画像データRCDTAをL/2左にずらし、画像データLCDTAをL/2右にずらした範囲である。本例においては、作業者が表示部50#を介して取得する範囲の情報を画像データCDTA#として抽出する。
 ここでは、画像データCDTA#として図17で説明した画像データCDTAと同じ画像データが示されている。
 当該画像データCDTA#は、表示部50#を介して作業者が取得する遮断領域を含む情報である。当該画像データCDTA#に基づいて遮断領域を特定することが可能である。
 図25(C)は、カメラ40RB,40LBの撮像範囲の画像データから作業者が表示部50#を介して取得する情報を抽出する方式を説明する図である。
 図25(C)に示されるように、右側のカメラ40RBの画像データRCDTBと、左側のカメラ40LBの画像データLCDTBとが示されている。ここで、画像データRCDTBと、画像データLCDTBとについて、任意の同じ地点が重なるように配置する。なお、ともに積込対象車両140の一部が表示されているものとする。この場合、画像データRCDTBと画像データLCDTBの水平方向の長さがMずれている場合には、表示部50#を介して作業者が情報を取得している範囲は画像データRCDTBをM/2左にずらし、画像データLCDTBをM/2右にずらした範囲である。本例においては、作業者が表示部50#を介して取得する範囲の情報を画像データCDTB#として抽出する。
 ここでは、画像データCDTB#として図18で説明した画像データICDTAと同じ画像データが示されている。
 当該画像データCDTB#は、表示部50#を介して作業者が取得する遮断領域を含まない情報である。当該画像データCDTB#に基づいて遮断領域よりも作業者の視線の先にある透過画像を取得することが可能である。
 上記の実施形態1の変形例で説明したのと同様に、積込作業時における表示部50#上における表示について説明する。
 積込作業時においては、作業機リンクを遮断領域として抽出する。
 画像解析部103は、画像データCDTA#に基づき例えばパターンマッチング等により作業機リンクを特定する。
 遮断領域抽出部101は、画像データCDTA#に基づき画像解析部103により特定された作業機リンクを運転席視点の作業者の視界が遮断される遮断領域として抽出する。
 画像抽出部104は、画像データCDTB#に基づいて遮断領域抽出部101により抽出された遮断領域よりも作業者の視線の先にある透過画像を抽出する。
 画像抽出部104は、作業機リンクの外形線L2に基づいて画像データCDTB#に含まれている透過画像を抽出する。当該透過画像は、作業機リンクによりその視界が遮断された遮断領域よりも作業者の視線の先にある画像である。
 画像編集部106は、遮断領域抽出部101により抽出された遮断領域702の外形線を境界にして、外形線内の領域形状に合うように透過画像802を編集する。
 表示制御部105は、表示部50#上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集された透過画像を当該遮断領域に合成して表示部50#に表示する。
 図26は、実施形態3に基づく表示部50#の一例を説明する図である。
 図26を参照して、本例においては、図22で説明したのと同様に、遮断領域の外形線を境界として、外形線内の領域に透過画像が合成されるため外形線が残った状態で内側の領域が透視化されたいわゆるスケルトン化された画像表示となる。
 なお、ここで、表示部50#に示されている積込対象車両140および作業機3の一部について、表示制御部105により表示されている部分は、遮断領域702に合成された透過画像802の部分のみである。それ以外の部分は、シースルー型の表示部50#を介して作業者により目視されているものであり、表示部50#に表示されたものではない。
 なお、本例においては、積込作業時の場合の表示について説明したが、実施形態1の変形例で説明したのと同様に、掘削作業時および排土作業時についても同様の方式により表示部50#上におけるホイールローダ1の運転席視点の作業者の視界が遮断される遮断領域の外形線を境界にして、画像編集部106により編集された透過画像を当該遮断領域に合成して表示部50#に表示することが可能である。
 当該表示部50#における表示により、表示部50#上におけるホイールローダの運転席視点の作業者の視界が遮断される遮断領域よりも作業者の視線の先にある透過画像を表示することが可能である。
 したがって、作業者は、作業機3を直観的に操作することが可能であり、作業効率を改善することが可能である。
 なお、本例においては、表示部50#は、ホイールローダ1に固定されている場合について説明したが、その高さを調整するようにしてもよい。例えば、表示部50#の高さに合わせてカメラ40RA,40RB,40LA,40LBの高さも同じ高さに調節すればよい。
 また、作業者が表示部50#を介して視認する視線方向も調整可能にしてもよい。表示部50#の向きに合わせて40RA,40RB,40LA,40LBの視線方向も調節すればよい。
 また、本例においては、4つのカメラ40RA,40RB,40LA,40LBを用いた構成について説明したが、それよりも少ない個数のカメラで実現するようにしてもよい。なお、その場合には、カメラの撮像範囲は、作業者が表示部50#を介して情報を取得する範囲を含んでいるものとし、画像解析処理により、当該範囲を抽出する。
 また、本例においては、表示部50#がホイールローダ1に固定されている場合について説明したが、特にこれに限られず、いわゆるヘッドマウントディスプレイの如く作業者に装着可能な形態等であっても良い。
 (その他形態)
 なお、上記の実施形態においては、ホイールローダ1の制御部について、遮断領域を抽出し、透過画像を合成して表示する主な処理を実行する場合について説明したが、制御部の各機能ブロックは、必ずしもホイールローダ1が有する必要はなく、一部の機能ブロックがネットワークと接続されたサーバに設けられた構成としても良いし、データ通信可能な積込対象車両側に設けられた構成であっても良い。
 以上、本発明の実施形態について説明したが、今回開示された実施形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
 1,1A ホイールローダ、2 車体フレーム、2a 前車体部、2b 後車体部、3 作業機、4a,4b,142,144 車輪、5,152 運転室、6 ブーム、7 バケット、8 操作部、9 ベルクランク、10,10A,10B 制御部、11a,11b ステアリングシリンダ、12 ステアリングポンプ、13 作業機ポンプ、14a,14b リフトシリンダ、15 バケットシリンダ、19 通信部、21,146 エンジン、22 走行装置、23 トルクコンバータ装置、24 燃料噴射ポンプ、26 トランスミッション、27 ロックアップクラッチ、28 トルクコンバータ、31 クラッチ制御弁、32 シャフト、33 軸、34 作業機制御弁、35 ステアリング制御弁、40,45,151,40LA,40LB,40RA,40RB カメラ、50,50#,503 表示部、60 メモリ、81a アクセル操作部材、81b アクセル操作検出装置、82a ステアリング操作部材、82b ステアリング操作検出装置、83a ブーム操作部材、83b ブーム操作検出装置、84a バケット操作部材、84b バケット操作検出装置、85a 変速操作部材、85b 変速操作検出装置、86a 操作部材、86b 操作検出装置、91 エンジン回転数センサ、92 出力回転数センサ、93 入力回転数センサ、94~97 第1~第4油圧センサ、98 ブーム角検出装置、100 作業状態判断部、101 遮断領域抽出部、102 画像データ取得部、103 画像解析部、104 画像抽出部、105 表示制御部、106 画像編集部、107 作業機姿勢状態判断部、134 通信装置、140 積込対象車両、150 アクチュエータ、154 操作者席、158 制御装置、160 ベッセル。

Claims (14)

  1.  ホイールローダの制御システムであって、
     表示部と、
     前記ホイールローダの作業機あるいは積込対象車両のベッセルの少なくとも一部を透過する透過画像を前記表示部に表示する制御部とを備える、ホイールローダの制御システム。
  2.  前記制御部は、前記作業機のバケットあるいは前記ベッセルの外形線を前記透過画像に合成して前記表示部に表示する、請求項1記載のホイールローダの制御システム。
  3.  前記制御部は、前記バケットの側面視の外形線を前記バケット内の透過画像に合成して前記表示部に表示する、請求項2記載のホイールローダの制御システム。
  4.  前記制御部は、運転席視点の前記バケットの外形線を前記バケット内の透過画像に合成して前記表示部に表示する、請求項2記載のホイールローダの制御システム。
  5.  前記制御部は、
     前記表示部上における前記ホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出する遮断領域抽出部と、
     前記遮断領域抽出部により抽出された遮断領域の外形線を境界にして、前記遮断領域の外形線内の領域について、前記遮断領域よりも前記作業者の視線の先にある前記透過画像を合成して前記表示部に表示する表示制御部とを含む、請求項2記載のホイールローダの制御システム。
  6.  前記表示部は、光学透過型の表示部である、請求項1~5のいずれか一項に記載のホイールローダの制御システム。
  7.  前記遮断領域抽出部は、前記作業者の操作指示に基づいて前記遮断領域の少なくとも一部を抽出する、請求項5記載のホイールローダの制御システム。
  8.  画像データを取得する撮像部と、
     前記撮像部で取得した画像データに基づいて前記遮断領域よりも前記作業者の視線の先にある前記透過画像を抽出する画像抽出部とをさらに備え、
     前記表示制御部は、前記遮断領域抽出部により抽出された遮断領域の外形線を境界にして、前記遮断領域の外形線内の領域について、前記画像抽出部により抽出された前記透過画像を合成して前記表示部に表示する、請求項5記載のホイールローダの制御システム。
  9.  前記遮断領域抽出部は、前記バケットによる掘削時において、前記作業機のバケットにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域を抽出し、
     前記画像抽出部は、前記掘削時において、抽出された遮断領域よりも前記作業者の視線の先にある前記バケット内の前記透過画像を抽出し、
     前記表示制御部は、前記掘削時において、前記遮断領域抽出部により抽出された前記バケットの外形線を境界にして、前記バケットの外形線内の領域について、前記画像抽出部により抽出された前記バケット内の前記透過画像を合成して前記表示部に表示する、請求項8記載のホイールローダの制御システム。
  10.  前記作業機は、前記バケットと車両本体とを接続する作業機リンクを含み、
     前記遮断領域抽出部は、前記ベッセルに対する積込時において、前記作業機リンクにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域を抽出し、
     前記画像抽出部は、前記積込時において、抽出された遮断領域よりも前記作業者の視線の先にある前記ベッセルの一部の前記透過画像を抽出し、
     前記表示制御部は、前記積込時において、前記遮断領域抽出部により抽出された前記作業機リンクの外形線を境界にして、前記作業機リンクの外形線内の領域について、前記画像抽出部により抽出された前記透過画像を合成して前記表示部に表示する、請求項8記載のホイールローダの制御システム。
  11.  前記遮断領域抽出部は、前記バケットによる排土時において、前記ベッセルにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域を抽出し、
     前記画像抽出部は、前記排土時において、抽出された遮断領域よりも前記作業者の視線の先にある前記ベッセル内の前記透過画像を抽出し、
     前記表示制御部は、前記排土時において、前記遮断領域抽出部により抽出された前記ベッセルの外形線を境界にして、前記ベッセルの外形線内の領域について、前記画像抽出部により抽出された前記ベッセル内の前記透過画像を合成して前記表示部に表示する、請求項8記載のホイールローダの制御システム。
  12.  前記遮断領域抽出部は、前記バケットによる排土時において、前記バケットにより前記表示部上における前記運転席視点の作業者の視界が遮断される遮断領域をさらに抽出し、
     前記画像抽出部は、前記排土時において、抽出された遮断領域よりも前記作業者の視線の先にある前記バケット内の前記透過画像をさらに抽出し、
     前記表示制御部は、前記排土時において、前記遮断領域抽出部により抽出された前記バケットの外形線を境界にして、前記バケットの外形線内の領域について、前記画像抽出部により抽出された前記バケット内の前記透過画像をさらに合成して表示する、請求項11記載のホイールローダの制御システム。
  13.  ホイールローダの制御システムの制御方法であって、
     撮像した画像データを入力するステップと、
     前記画像データのうち作業機あるいは積込対象車両の少なくとも一部により前記ホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出するステップと、
     抽出された前記遮断領域よりも前記作業者の視線の先にある透過画像を合成して画像合成データを作成するステップと、
     前記画像合成データを表示部に表示するステップとを備える、ホイールローダの制御システムの制御方法。
  14.  ホイールローダの制御方法であって、
     撮像した画像データを取得するステップと、
     前記画像データのうち作業機あるいは積込対象車両の少なくとも一部により前記ホイールローダの運転席視点の作業者の視界が遮断される遮断領域の少なくとも一部を抽出するステップと、
     抽出された前記遮断領域よりも前記作業者の視線の先にある透過画像を合成して画像合成データを作成するステップと、
     前記画像合成データを表示部に表示するステップとを備える、ホイールローダの制御方法。
PCT/JP2016/073733 2015-08-24 2016-08-12 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法 WO2017033769A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP16839116.7A EP3342942B1 (en) 2015-08-24 2016-08-12 Control system for wheel loader, control method for said control system, and control method for wheel loader
JP2017536747A JP6913630B2 (ja) 2015-08-24 2016-08-12 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
CN201680024220.5A CN107532410B (zh) 2015-08-24 2016-08-12 轮式装载机的控制系统、其控制方法
EP21211616.4A EP3985184A1 (en) 2015-08-24 2016-08-12 Control system for wheel loader, control method thereof, and method of controlling wheel loader
US15/571,111 US10435868B2 (en) 2015-08-24 2016-08-12 Control system for wheel loader, control method thereof, and method of controlling wheel loader

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-164481 2015-08-24
JP2015164481 2015-08-24

Publications (1)

Publication Number Publication Date
WO2017033769A1 true WO2017033769A1 (ja) 2017-03-02

Family

ID=58100184

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073733 WO2017033769A1 (ja) 2015-08-24 2016-08-12 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法

Country Status (5)

Country Link
US (1) US10435868B2 (ja)
EP (2) EP3985184A1 (ja)
JP (1) JP6913630B2 (ja)
CN (1) CN107532410B (ja)
WO (1) WO2017033769A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202017103443U1 (de) 2017-06-08 2018-09-11 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
WO2018199069A1 (ja) * 2017-04-28 2018-11-01 株式会社小松製作所 作業機械および作業機械の制御方法
WO2019031318A1 (ja) * 2017-08-08 2019-02-14 住友建機株式会社 道路機械
JP2019083370A (ja) * 2017-10-27 2019-05-30 コベルコ建機株式会社 建設機械の視覚拡張システム
CN112595334A (zh) * 2020-12-24 2021-04-02 江苏徐工工程机械研究院有限公司 露天矿山的卸载区的地图更新方法、装置和系统
EP3751058A4 (en) * 2018-04-27 2021-11-10 Komatsu Ltd. LOADING MACHINE CONTROL DEVICE AND METHOD

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492415B1 (ko) * 2017-08-09 2023-01-26 스미토모 겐키 가부시키가이샤 쇼벨, 쇼벨의 표시장치 및 쇼벨의 표시방법
JP6745254B2 (ja) * 2017-09-21 2020-08-26 日立建機株式会社 油圧ショベル
JP6891087B2 (ja) * 2017-09-29 2021-06-18 株式会社小松製作所 作業車両、表示装置、および障害判定方法
JP7121532B2 (ja) * 2018-04-27 2022-08-18 株式会社小松製作所 積込機械の制御装置及び積込機械の制御方法
US10857941B2 (en) * 2019-01-28 2020-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. E-mirror automatic position adjustment system
FR3096698B1 (fr) * 2019-06-03 2021-04-30 Manitou Bf Engin de manutention de charge
EP3756447A1 (en) * 2019-06-27 2020-12-30 Kubota Corporation Working vehicle and support system for the same
US20220329731A1 (en) * 2019-09-20 2022-10-13 Wise Automotive Corporation Front image generation device for heavy equipment
KR20210089039A (ko) 2020-01-07 2021-07-15 두산인프라코어 주식회사 건설기계의 제어 시스템 및 방법
US11946230B2 (en) 2020-10-28 2024-04-02 Deere & Company Container load assist system and method for a work vehicle
KR20220102804A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
US20230151586A1 (en) * 2021-11-18 2023-05-18 Deere & Company Work tool camera system for utility vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03208921A (ja) * 1990-01-11 1991-09-12 Shin Caterpillar Mitsubishi Ltd 土質検知装置付バケット
JPH10299032A (ja) * 1997-04-22 1998-11-10 Kensetsusho Kanto Chiho Kensetsu Kyokucho 作業用走行車の視界改善装置および方法
JP2008241300A (ja) * 2007-03-26 2008-10-09 Komatsu Ltd 油圧ショベルの作業量計測方法および作業量計測装置
JP2008303574A (ja) * 2007-06-06 2008-12-18 Hitachi Constr Mach Co Ltd 作業機械
WO2016092684A1 (ja) * 2014-12-12 2016-06-16 株式会社日立製作所 体積推定装置およびそれを用いた作業機械

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02117935U (ja) * 1989-03-10 1990-09-21
JP2937003B2 (ja) * 1994-03-10 1999-08-23 日立建機株式会社 産業機械の安全装置
JP3028921U (ja) * 1996-03-12 1996-09-17 俊一 木村 容器運搬の荷くずれ防止天蓋及び結束牽引棒
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
CN104380724B (zh) * 2012-06-08 2017-09-12 日立建机株式会社 自行式工业机械的显示装置
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
JP6071786B2 (ja) 2013-07-17 2017-02-01 日立建機株式会社 作業機械の周囲監視装置
KR102483801B1 (ko) 2015-05-12 2023-01-02 현대두산인프라코어(주) 휠 로더의 제어 방법, 제어 장치 및 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03208921A (ja) * 1990-01-11 1991-09-12 Shin Caterpillar Mitsubishi Ltd 土質検知装置付バケット
JPH10299032A (ja) * 1997-04-22 1998-11-10 Kensetsusho Kanto Chiho Kensetsu Kyokucho 作業用走行車の視界改善装置および方法
JP2008241300A (ja) * 2007-03-26 2008-10-09 Komatsu Ltd 油圧ショベルの作業量計測方法および作業量計測装置
JP2008303574A (ja) * 2007-06-06 2008-12-18 Hitachi Constr Mach Co Ltd 作業機械
WO2016092684A1 (ja) * 2014-12-12 2016-06-16 株式会社日立製作所 体積推定装置およびそれを用いた作業機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3342942A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018199069A1 (ja) * 2017-04-28 2018-11-01 株式会社小松製作所 作業機械および作業機械の制御方法
JP2018188831A (ja) * 2017-04-28 2018-11-29 株式会社小松製作所 作業機械および作業機械の制御方法
US11408146B2 (en) 2017-04-28 2022-08-09 Komatsu Ltd. Work machine and method for controlling the same
DE202017103443U1 (de) 2017-06-08 2018-09-11 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
DE102018113590A1 (de) 2017-06-08 2018-12-13 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
JPWO2019031318A1 (ja) * 2017-08-08 2020-09-24 住友建機株式会社 道路機械
WO2019031318A1 (ja) * 2017-08-08 2019-02-14 住友建機株式会社 道路機械
JP7146767B2 (ja) 2017-08-08 2022-10-04 住友建機株式会社 道路機械
JP2019083370A (ja) * 2017-10-27 2019-05-30 コベルコ建機株式会社 建設機械の視覚拡張システム
JP7021502B2 (ja) 2017-10-27 2022-02-17 コベルコ建機株式会社 建設機械の視覚拡張システム
EP3751058A4 (en) * 2018-04-27 2021-11-10 Komatsu Ltd. LOADING MACHINE CONTROL DEVICE AND METHOD
US11821168B2 (en) 2018-04-27 2023-11-21 Komatsu Ltd. Control device for loading machine and control method for loading machine
CN112595334A (zh) * 2020-12-24 2021-04-02 江苏徐工工程机械研究院有限公司 露天矿山的卸载区的地图更新方法、装置和系统

Also Published As

Publication number Publication date
EP3342942A1 (en) 2018-07-04
JP6913630B2 (ja) 2021-08-04
EP3342942B1 (en) 2021-12-22
CN107532410B (zh) 2020-10-13
EP3342942A4 (en) 2019-04-24
CN107532410A (zh) 2018-01-02
EP3985184A1 (en) 2022-04-20
US10435868B2 (en) 2019-10-08
JPWO2017033769A1 (ja) 2018-06-14
US20180171594A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
WO2017033769A1 (ja) ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP6480830B2 (ja) ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
US8918246B2 (en) Augmented reality implement control
JP5908500B2 (ja) ショベルの画像表示装置
JP7001350B2 (ja) 作業車両および作業車両の制御方法
CN113026839A (zh) 轮式装载机
US10056009B2 (en) Training apparatus
CN113152552A (zh) 工程机械的控制系统及方法
JP6915007B2 (ja) ホイールローダ
AU2020211862B2 (en) System and method for work machine
AU2020211863B2 (en) System and method for work machine
JP7286287B2 (ja) 作業機械の表示システムおよびその制御方法
AU2020211868B2 (en) System and method for work machine
JP7197314B2 (ja) 作業機械の表示システムおよびその制御方法
JP7197315B2 (ja) ホイールローダの表示システムおよびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839116

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017536747

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15571111

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE