WO2019188222A1 - 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 - Google Patents
作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 Download PDFInfo
- Publication number
- WO2019188222A1 WO2019188222A1 PCT/JP2019/009800 JP2019009800W WO2019188222A1 WO 2019188222 A1 WO2019188222 A1 WO 2019188222A1 JP 2019009800 W JP2019009800 W JP 2019009800W WO 2019188222 A1 WO2019188222 A1 WO 2019188222A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- work
- target
- ground
- measurement data
- work machine
- Prior art date
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/431—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
- E02F3/434—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like providing automatic sequences of movements, e.g. automatic dumping or loading, automatic return-to-dig
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2041—Automatic repositioning of implements, i.e. memorising determined positions of the implement
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
- E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F3/00—Dredgers; Soil-shifting machines
- E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
- E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
- E02F3/36—Component parts
- E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
- E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
- E02F3/431—Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present invention relates to a control device for a work machine, a control device for an excavation machine, and a control method for the work machine.
- Patent Document 1 discloses an example of an automatic excavator including a measuring instrument for obtaining a distance to an excavation target and a loading target.
- An aspect of the present invention aims to acquire parameters related to a work target.
- measurement data acquisition that acquires measurement data of a three-dimensional measurement device that is mounted on a work machine having a work machine and measures a three-dimensional shape including a ridgeline of a work target that is operated by the work machine.
- a target calculation unit that calculates and outputs a distance from the work machine to the work target or a repose angle of the work target based on measurement data on the ridgeline of the work target.
- FIG. 1 is a side view showing an excavating machine according to the first embodiment.
- FIG. 2 is a front view showing the excavating machine according to the first embodiment.
- FIG. 3 is a schematic diagram illustrating the operation of the excavating machine according to the first embodiment.
- FIG. 4 is a schematic diagram illustrating an excavation work mode of the excavating machine according to the first embodiment.
- FIG. 5 is a functional block diagram illustrating the excavator control device according to the first embodiment.
- FIG. 6 is a flowchart showing a method for controlling the excavating machine according to the first embodiment.
- FIG. 7 is a schematic diagram illustrating a method for controlling the excavating machine according to the first embodiment.
- FIG. 8 is a schematic diagram illustrating a method for controlling the excavating machine according to the first embodiment.
- FIG. 9 is a schematic diagram illustrating a method for controlling the excavating machine according to the second embodiment.
- FIG. 10 is a schematic diagram illustrating a control method for the excavating machine according to the second embodiment.
- FIG. 11 is a flowchart showing a method for controlling the excavating machine according to the second embodiment.
- FIG. 1 is a side view showing an example of an excavating machine 1 according to the present embodiment.
- the excavating machine 1 performs a predetermined work on a work target at a work site.
- the excavating machine 1 is a wheel loader 1 that is a kind of articulated excavating machine.
- the predetermined work includes excavation work and loading work.
- Work objects include excavation objects and loading objects.
- the wheel loader 1 performs excavation work for excavating an object to be excavated and loading work for loading the excavated material excavated by the excavation work onto the object to be loaded.
- the loading operation is a concept including a discharge operation for discharging excavated material to a discharge target.
- Examples of the excavation object include at least one of a natural ground, a rocky mountain, coal, and a wall surface.
- a natural mountain is a mountain composed of earth and sand, and a rocky mountain is a mountain composed of rocks or stones.
- the excavation target may be a mountain composed of at least one of crushed stone, ore, and coal.
- Examples of the loading target include at least one of a transport vehicle, a predetermined area at a work site, a hopper, a belt conveyor, and a crusher.
- the wheel loader 1 includes a vehicle body 2, a cab 3 provided with a driver's seat, a traveling device 4 that supports the vehicle body 2, a working machine 10 that is supported by the vehicle body 2, and a transmission device 30. And a three-dimensional measurement device 20 that measures a measurement object in front of the vehicle body 2 and a control device 80.
- the vehicle body 2 includes a vehicle body front portion 2F and a vehicle body rear portion 2R.
- the vehicle body front part 2F and the vehicle body rear part 2R are connected via a joint mechanism 9 so as to be bendable.
- the cab 3 is supported by the vehicle body 2. At least a part of the wheel loader 1 is operated by a driver who has boarded the cab 3.
- the traveling device 4 supports the vehicle body 2.
- the traveling device 4 has wheels 5.
- the wheel 5 is rotated by a driving force generated by an engine mounted on the vehicle body 2.
- a tire 6 is attached to the wheel 5.
- the wheel 5 includes two front wheels 5F mounted on the vehicle body front portion 2F and two rear wheels 5R mounted on the vehicle body rear portion 2R.
- the tire 6 includes a front tire 6F attached to the front wheel 5F and a rear tire 6R attached to the rear wheel 5R.
- the traveling device 4 can travel on the ground RS.
- a direction parallel to the rotation axis FX of the front wheel 5F is appropriately referred to as a vehicle width direction
- a direction orthogonal to the ground contact surface of the front tire 6F that contacts the ground RS is appropriately referred to as a vertical direction
- the direction orthogonal to both the vehicle width direction and the vertical direction is appropriately referred to as the front-rear direction.
- the position or direction close to the center line of the vehicle body 2 in the vehicle width direction is referred to as the inside or inward of the vehicle width direction as appropriate, and the position or direction far from the center line of the vehicle body 2 is appropriately determined. It is called the outside or the outside in the vehicle width direction.
- one of the center lines of the vehicle body 2 is appropriately referred to as the right side or the right side, and the right side or right side opposite side or the reverse direction is appropriately referred to as the left side or the left side.
- the position or direction close to the work implement 10 with respect to the driver's seat of the cab 3 is appropriately referred to as the front side or the front side, and the front side or the reverse side or the reverse direction is appropriately set to the rear side or the rear side.
- a position or direction close to the ground contact surface of the front tire 6F in the vertical direction is appropriately referred to as lower side or lower side, and a lower side or lower reverse side or reverse direction is appropriately referred to as upper side or upper side.
- the vehicle body front part 2F is arranged in front of the vehicle body rear part 2R.
- the front wheel 5F and the front tire 6F are disposed in front of the rear wheel 5R and the rear tire 6R.
- the front wheels 5F and the front tires 6F are disposed on both sides of the vehicle body 2 in the vehicle width direction.
- the rear wheel 5R and the rear tire 6R are disposed on both sides of the vehicle body 2 in the vehicle width direction.
- the vehicle body front portion 2F is bent to the left and right with respect to the vehicle body rear portion 2R.
- the traveling device 4 includes a drive device 4A, a brake device 4B, and a steering device 4C.
- the driving device 4 ⁇ / b> A generates a driving force for accelerating the wheel loader 1.
- the drive device 4A includes an internal combustion engine such as a diesel engine. The driving force generated by the driving device 4A is transmitted to the wheel 5 via the transmission device 30, and the wheel 5 rotates.
- the brake device 4B generates a braking force for decelerating or stopping the wheel loader 1.
- the steering device 4C can adjust the traveling direction of the wheel loader 1.
- the traveling direction of the wheel loader 1 includes the direction of the vehicle body front portion 2F.
- the steering device 4C adjusts the traveling direction of the wheel loader 1 by bending the vehicle body front portion 2F with a hydraulic cylinder.
- the traveling device 4 is operated by a driver who has boarded the cab 3.
- the work machine 10 is controlled by the control device 80.
- a travel operation device 40 for operating the travel device 4 is disposed on the cab 3.
- the driver operates the traveling operation device 40 to activate the traveling device 4.
- the travel operation device 40 includes an accelerator pedal, a brake pedal, a steering lever, and a shift lever for switching between forward and backward travel.
- the transmission device 30 transmits the driving force generated by the driving device 4A to the wheels 5.
- the work implement 10 includes a boom 11 that is rotatably connected to the vehicle body front portion 2F, a bucket 12 that is rotatably connected to the boom 11, a bell crank 15, and a link 16.
- the boom 11 is operated by the power generated by the boom cylinder 13. As the boom cylinder 13 expands and contracts, the boom 11 moves up or down.
- the bucket 12 is a working member having a tip 12B including a cutting edge. Bucket 12 is arranged ahead of front wheel 5F. Bucket 12 is connected to the tip of boom 11. The bucket 12 is operated by the power generated by the bucket cylinder 14. As the bucket cylinder 14 expands and contracts, the bucket 12 performs a dumping operation or a tilting operation.
- the excavated material scooped up by the bucket 12 is discharged from the bucket 12. As the bucket 12 is tilted, the bucket 12 scoops up the excavated material.
- the three-dimensional measuring device 20 is mounted on the wheel loader 1.
- the three-dimensional measuring device 20 is supported by the housing 17.
- the three-dimensional measuring apparatus 20 measures a measurement object ahead of the vehicle body front portion 2F.
- the measurement target includes an excavation target by the work machine 10.
- the measurement target includes a loading target on which the excavated material excavated by the work machine 10 is loaded.
- the three-dimensional measuring device 20 measures a relative position from the three-dimensional measuring device 20 to each of a plurality of measurement points on the work target surface. That is, the three-dimensional measuring device 20 measures a three-dimensional shape to be measured.
- the control apparatus 80 mentioned later calculates the distance of the front-end
- the measurement data of the three-dimensional measuring device 20 is three-dimensional data indicating the three-dimensional shape of the work target.
- the three-dimensional data includes point cloud data of a plurality of measurement points. Note that the measurement data of the three-dimensional measurement apparatus 20 may include image data.
- the three-dimensional measuring apparatus 20 includes a laser radar 21 which is a kind of laser measuring apparatus and a stereo camera 22 which is a kind of photo measuring apparatus.
- FIG. 2 is a schematic diagram showing the operation of the wheel loader 1 according to the present embodiment.
- the wheel loader 1 works in a plurality of work modes.
- the operation mode includes an excavation operation mode in which the excavation target is excavated by the bucket 12 and a loading operation mode in which the excavated material scooped up by the bucket 12 in the excavation operation mode is loaded on the loading target.
- a natural ground DS placed on the ground RS is exemplified as an excavation target.
- a vessel BE (dump body) of a transport vehicle LS capable of traveling on the ground is exemplified.
- a dump truck is illustrated as the transport vehicle LS.
- the wheel loader 1 moves forward toward the natural ground DS in order to excavate the natural ground DS with the bucket 12 in a state where the excavated material is not held in the bucket 12.
- the driver of the wheel loader 1 operates the traveling operation device 40 to move the wheel loader 1 forward and approach the natural ground DS as indicated by an arrow M1 in FIG.
- the three-dimensional measuring device 20 mounted on the wheel loader 1 measures the three-dimensional shape of the natural ground DS.
- the control device 80 calculates the distance from the wheel loader 1 to the natural ground DS based on the measurement data of the three-dimensional measuring device 20, and controls the work machine 10 so that the natural ground DS is excavated by the bucket 12. . That is, the control device 80 controls the work implement 10 so that the tip portion 12B and the bottom surface portion of the bucket 12 are in contact with the ground RS while the wheel loader 1 is moving forward so as to approach the natural ground DS. .
- the wheel loader 1 After the bucket 12 enters the natural ground DS and the natural ground DS is excavated by the bucket 12 and the excavated material is skimmed into the bucket 12, the wheel loader 1 is in a state where the excavated material is held in the bucket 12, Go backwards away from Jiyama DS.
- the driver of the wheel loader 1 operates the traveling operation device 40 to move the wheel loader 1 backward and away from the natural ground DS as indicated by an arrow M2 in FIG.
- the loading operation mode is performed.
- the wheel loader 1 moves forward toward the transport vehicle LS to load the excavated material excavated by the bucket 12 while the excavated material is held in the bucket 12.
- the driver of the wheel loader 1 operates the traveling operation device 40 to move the wheel loader 1 forward while turning and approach the transport vehicle LS as indicated by an arrow M3 in FIG.
- the three-dimensional measuring device 20 mounted on the wheel loader 1 measures the three-dimensional shape of the transport vehicle LS.
- the control device 80 calculates the distance from the wheel loader 1 to the transport vehicle LS based on the measurement data of the three-dimensional measurement device 20, and the excavated material held in the bucket 12 is loaded on the vessel BE of the transport vehicle LS.
- the work machine 10 is controlled.
- control device 80 controls the work implement 10 so that the boom 11 is raised while the wheel loader 1 is moving forward so as to approach the transport vehicle LS. After the boom 11 is raised and the bucket 12 is disposed above the vessel BE, the control device 80 controls the work machine 10 so that the bucket 12 tilts. As a result, the excavated material is discharged from the bucket 12 and loaded onto the vessel BE.
- the wheel loader 1 moves backward away from the transport vehicle LS in a state where the excavated material is not held in the bucket 12.
- the driver operates the traveling operation device 40 to move the wheel loader 1 backward and away from the transport vehicle LS as indicated by an arrow M4 in FIG.
- the driver and the control device 80 repeat the above operation until the vessel BE is fully loaded with excavated material.
- FIG. 3 is a schematic diagram showing an excavation work mode of the wheel loader 1 according to the present embodiment.
- the driver of the wheel loader 1 operates the traveling operation device 40 to move the wheel loader 1 forward and approach the natural ground DS.
- the three-dimensional measuring device 20 mounted on the wheel loader 1 measures the three-dimensional shape of the natural ground DS.
- the control device 80 specifies the position of the boundary DP between the ground RS and the natural ground DS based on the measurement data of the three-dimensional measurement device 20.
- the control device 80 moves the tip of the bucket 12 based on the measurement data of the three-dimensional measurement device 20 while the wheel loader 1 is moving forward so as to approach the natural mountain DS.
- the distance between the portion 12B and the boundary DP is calculated, and the boom 11 is lowered so that the tip 12B of the bucket 12 approaches the boundary DP, and the angle of the bucket 12 is controlled.
- the tip 12B of the bucket 12 is inserted from the boundary DP into the natural ground DS.
- the natural ground DS is excavated by the bucket 12, and the bucket 12 can scoop up the excavated material.
- FIG. 4 is a functional block diagram showing the control device 80 of the wheel loader 1 according to the present embodiment.
- the control device 80 includes a computer system.
- the work machine 10, the three-dimensional measuring device 20, and the angle sensor 50 are connected to the control device 80.
- the control device 80 includes a measurement data acquisition unit 81, a storage unit 82, a target calculation unit 86, and a work implement control unit 87.
- the measurement data acquisition unit 81 acquires measurement data from the three-dimensional measurement apparatus 20.
- the storage unit 82 stores an algorithm for processing the measurement data acquired by the measurement data acquisition unit 81.
- the storage unit 82 stores an algorithm for processing the measurement data of the natural ground DS measured by the stereo camera 22 and an algorithm for processing the measurement data of the natural ground DS measured by the laser radar 21.
- the algorithm refers to a procedure, flowchart, technique, or program for outputting predetermined data using the measurement data acquired by the measurement data acquisition unit 81.
- the procedure, method, or program may be different, or the number or type of data to be output may be different.
- the target calculation unit 86 calculates the distance from the wheel loader 1 to the work target based on the measurement data acquired by the measurement data acquisition unit 81. In addition to the distance data from the wheel loader 1 to the natural ground DS, the target calculating unit 86 may calculate angle data of the repose angle of the natural ground DS and other parameters related to the natural ground DS.
- the parameters related to the natural ground DS are the distance data from the wheel loader 1 to the natural ground, the angle data of the angle of repose of the natural ground DS, the quality of the rock in the natural ground DS, the granularity of the rock soil constituting the natural ground DS, the ground It includes the height of the mountain DS, the distance to the top of the natural mountain DS, the shape of the natural mountain DS, and the volume of the natural mountain DS.
- the work machine control unit 87 controls the work machine 10 excavating the natural ground DS based on the distance data between the wheel loader 1 and the boundary DP calculated by the target calculation unit 86. In addition, the work machine control unit 87 controls the work machine 10 that excavates the natural ground DS based on the angle data indicating the repose angle of the natural ground DS calculated by the target calculation unit 86.
- the control of the operation of the work machine 10 includes the control of the operation of at least one of the boom cylinder 13 and the bucket cylinder 14.
- the wheel loader 1 includes a hydraulic pump (not shown), a boom control valve (not shown) that controls the flow rate and direction of hydraulic oil supplied from the hydraulic pump to the boom cylinder 13, and hydraulic oil supplied to the bucket cylinder 14 from the hydraulic pump.
- a bucket control valve (not shown) for controlling the flow rate and direction.
- the work machine control unit 87 outputs a control signal to the boom control valve and controls the flow rate and direction of the hydraulic oil supplied to the boom cylinder 13, thereby raising and lowering the boom 11 and its operating speed. Can be controlled. Further, the work machine control unit 87 outputs a control signal to the bucket control valve, and controls the flow rate and direction of the hydraulic oil supplied to the bucket cylinder 14 to thereby perform the dump operation, tilt operation, and operation thereof. You can control the speed.
- the wheel loader 1 includes a transmission control unit 88 and a travel control unit 89.
- the transmission control unit 88 controls the operation of the transmission device 30, that is, shift change, based on the operation of the travel operation device 40 by the driver of the wheel loader 1.
- the traveling control unit 89 controls the operation of the traveling device 4 based on the operation of the traveling operation device 40 by the driver of the wheel loader 1.
- the travel control unit 89 outputs an operation command including an accelerator command for operating the drive device 4A, a brake command for operating the brake device 4B, and a steering command for operating the steering device 4C.
- FIG. 5 is a flowchart showing a method for controlling the wheel loader 1 according to the present embodiment, and shows excavation work based on the measurement data of the transport vehicle LS by the stereo camera 22.
- the stereo camera 22 measures at least a measurement target including the natural ground DS.
- the imaging range of the stereo camera 22 the visual field region of the optical system of the stereo camera 22
- the measurement data acquisition unit 81 acquires measurement data from the stereo camera 22 (step S10).
- the measurement data of the stereo camera 22 includes image data to be measured.
- the image data is composed of a plurality of pixels.
- the measurement target image data includes first image data acquired by the first camera 22A and second image data acquired by the second camera 22B.
- the stereo camera 22 performs stereo processing on the image data (first image data and second image data) to calculate three-dimensional shape data.
- the measurement data acquisition unit 81 acquires three-dimensional shape data that is measurement data of the stereo camera 22 from the stereo camera 22 (step S10).
- the three-dimensional shape data includes point cloud data that is a set of point data calculated for each pixel in the image data of the stereo camera 22.
- the point cloud data is data relating to the distance from the stereo camera, for example.
- the target calculation unit 86 specifies the ridgeline of the natural mountain DS, and based on the three-dimensional shape data on the ridgeline, the distance from the wheel loader 1 to the natural mountain DS, or the angle of repose of the natural mountain DS. Calculate and output.
- the target calculation unit 86 divides the three-dimensional shape data acquired by the stereo camera 22 into a plurality of areas DA (step S30).
- FIG. 6 is a diagram illustrating an example of image data acquired by the stereo camera 22 according to the present embodiment.
- the object calculation unit 86 divides the image data into a plurality of areas DA.
- the target calculation unit 86 divides the image data in the vertical direction to generate a plurality of areas DA.
- each point cloud data of the area DA generated by dividing the image data is appropriately referred to as divided point cloud data.
- the target calculation unit 86 generates a plurality of areas DA by dividing the image data in the vertical direction.
- the area DA is long in the left-right direction.
- Each of the plurality of areas DA includes division point group data indicating the distance from the wheel loader 1 (stereo camera 22) to the natural ground DS.
- the target calculation unit 86 specifies the ridge line RD of the natural ground DS based on the division point group data in each of the plurality of areas DA.
- the ridge line RD is a line connecting an arbitrary natural mountain and the boundary DP of the ground from the vertex DT of the natural mountain DS.
- an approximate ridge line RD is extracted by extracting several points near the intermediate point for each area DA. Can be derived.
- the target calculation unit 86 can identify an oblique ridge line RD1 when several points near the intermediate point are extracted for each area DA.
- the ridge line RD may be the front ridge line RD2 or the side ridge line RD3.
- the point group data can be extracted by using several points having the closest distance instead of the intermediate value.
- Initial value 1 is set to counter n (step S40).
- the target calculation unit 86 specifies point data corresponding to the ridge line RD for each of the first area DA1 to the Nth area DAN.
- the target calculation unit 86 calculates the distance indicated by each of the plurality of pixels existing in the area DA, and specifies the intermediate value RP of the distance in the area DA (step S50).
- the intermediate value RP may be one or plural. In the case of a plurality, several points near the intermediate value RP are specified.
- the intermediate value RP refers to data at the center of the sorted data in the area DA, and is also called a median value or a median value.
- the intermediate value RP is calculated for the area DA.
- the target calculation unit 86 performs the process of step S50 described above for each of the plurality of areas DA. That is, the target calculation unit 86 determines whether or not the processing for calculating the intermediate value RP has been completed for all the areas DA (step S60). When it is determined that the process of calculating the intermediate value RP is not completed for all the areas DA (Step S60: No), the counter n is incremented (Step S70), and the process returns to Step S50.
- the target calculation unit 86 integrates the plurality of areas DA and calculates the intermediate value calculated for each of the areas DA. A straight line fitting process is performed on the RP. The target calculation unit 86 specifies an approximate ridge line RD through straight line fitting processing.
- FIG. 7 shows an example in which a plurality of intermediate values RP according to this embodiment are subjected to linear fitting processing.
- the target calculation unit 86 performs a straight line fitting process on a plurality of intermediate values RP, and calculates an approximate ridge line RE based on the plurality of intermediate values RP (step S80).
- the ridgeline RE indicates the shape of the slope of the natural mountain DS. Further, the ridgeline RE indicates the angle of repose ⁇ of the slope of the natural mountain DS with respect to the ground RS.
- the object calculation unit 86 calculates the repose angle ⁇ of the natural mountain DS based on the ridgeline RE (step S85).
- the position of the slope of the natural mountain DS is defined in the vehicle body coordinate system of the wheel loader 1.
- the installation position of the stereo camera 22 in the vehicle body coordinate system is known data derived from the design data of the wheel loader 1.
- the object calculation unit 86 calculates the position of the ground RS based on the ground contact surface of the tire 6 (step S90).
- the position of the contact surface of the tire 6 in the vehicle body coordinate system is known data derived from the design data of the wheel loader 1.
- the position of the ground RS in the vehicle body coordinate system is specified by the contact surfaces of at least three of the four tires 6.
- the position of the ground RS may be calculated based on the image data of the stereo camera 22. Further, when the ground RS is arranged in the imaging range of the stereo camera 22, when the position of the ground RS can be specified based on the ground contact surface of the tire 6, the point cloud data of the ground RS measured by the stereo camera 22 is removed. May be.
- the object calculating unit 86 calculates the position of the boundary DP between the ridge line RD of the natural mountain DS and the ground RS (step S100).
- the object calculation unit 86 calculates and outputs the distance from the wheel loader 1 to the natural mountain DS and the repose angle ⁇ of the natural mountain DS (step S110).
- the distance from the wheel loader 1 to the natural ground DS may be the distance from the tip 12B of the bucket 12 to the boundary DP.
- the distance from the distal end portion 12B of the work machine 10 to the boundary DP the installation position of the stereo camera 22 in the vehicle body coordinate system, the installation position of the work machine 10, and the dimensions of the work machine 10 And an angle or the like.
- the work machine control unit 87 controls the work machine 10 based on the distance to the boundary DP calculated by the target calculation unit 86 or the angle of repose ⁇ of the natural ground DS (step S120).
- the work implement control unit 87 reaches the boundary DP calculated by the target calculation unit 86 in a state where the wheel loader 1 is moving forward so as to approach the natural ground DS. Based on the distance, the boom 11 is lowered and the angle of the bucket 12 is controlled so that the tip 12B of the bucket 12 approaches the boundary DP. As the wheel loader 1 further advances, the tip 12B of the bucket 12 is inserted from the boundary DP into the natural ground DS. As a result, the natural ground DS is excavated by the bucket 12, and the bucket 12 can scoop up the excavated material.
- the 3D shape data of Jiyama DS includes the angle of repose of Jiyama DS. Depending on the angle of repose ⁇ , it is possible to control the traction force after entering the natural ground DS, the ascending speed of the work implement 10, and the like.
- the image data (point cloud data) is divided and the ridge line is specified.
- the ridge line may be specified by performing the same processing without dividing.
- FIG. 8 is a schematic diagram illustrating a control method of the wheel loader 1 according to the present embodiment, and is a diagram illustrating an operation of the laser radar 21.
- the laser radar 21 irradiates each of a plurality of irradiation points PJ on the surface to be measured, and measures the distance to each of the plurality of irradiation points PJ.
- the target calculation unit 86 classifies the irradiation points PJ into a plurality of groups based on the distances from the wheel loader 1 (laser radar 21) to each of the plurality of irradiation points PJ, and sets the group to the ground RS.
- the measurement target is specified based on at least one of the inclination K (inclination angle) and the center of gravity height H of the group.
- the measurement target includes at least one of the ground RS, the natural ground DS, and an object around the natural ground DS.
- the target calculating unit 86 specifies whether the measurement target is the ground RS or the natural ground DS based on at least one of the group inclination angle K and the group center-of-gravity height H.
- the object calculation unit 86 groups a plurality of irradiation points PJ based on the distance to the irradiation point PJ.
- Grouping means, for example, grouping a plurality of irradiation points PJ whose difference in distance between adjacent irradiation points PJ is equal to or less than a predetermined threshold as one group.
- a difference in distance between an irradiation point PJa defined by irradiating the surface of the measurement target and an irradiation point PJb defined by irradiating a part of the work machine 10. Is big. Therefore, the irradiation point PJa defined on the surface to be measured is one group, and the irradiation point PJb defined on the surface of the work machine 10 is another group.
- the target calculation unit 86 removes the group of irradiation points PJb indicating the work implement 10, divides the group of irradiation points PJa indicating the measurement target, and divides the plurality of irradiation points PJ into the first group and the second group. Classify.
- FIG. 9 is a schematic diagram illustrating a control method of the wheel loader 1 according to the present embodiment, and is a schematic diagram for explaining group division.
- the group division is the irradiation point having the longest vertical distance from the straight line IM by connecting the irradiation points PJ at the end of the plurality of irradiation points PJ with a virtual straight line IM.
- PJ is defined as a dividing point PJK, and is a process of dividing the PJK into two groups based on the dividing point PJK.
- the division point PJK is an irradiation point PJ that becomes an inflection point in a virtual line connecting a plurality of irradiation points PJ constituting one group. Therefore, with reference to the division point PJK, as shown in FIG. 9B, it can be divided into two groups arranged in a straight line. As described above, the target calculation unit 86 can divide the group and classify the plurality of irradiation points PJ into the first group and the second group.
- the grouping method is not limited to the method of the present embodiment, and other algorithms may be used for grouping.
- the target calculation unit 86 performs a fitting process on each of the plurality of irradiation points PJ of the first group and the second group. After performing the fitting process, the target calculation unit 86 calculates the inclination K of each group with respect to the ground RS and the center-of-gravity height H of each group. In the example illustrated in FIG. 9, the target calculation unit 86 calculates the inclination K1 and the center of gravity height H1 related to the first group, and the inclination K2 and the center of gravity height H2 related to the second group.
- the target calculation unit 86 specifies whether the measurement target is the ground RS or the natural ground DS based on at least one of the group inclination angle K and the group center of gravity height H.
- the target calculation unit 86 determines that the measurement target is the ground RS, for example, when the group inclination angle K is equal to or smaller than the angle threshold.
- the target calculation unit 86 determines that the measurement target is the natural ground RS when the group inclination angle K is equal to or greater than the angle threshold.
- the group inclination angle K is small and equal to or smaller than the angle threshold, it can be determined that the group is the ground RS. Since the surface of the natural ground DS is inclined with respect to the ground RS, it can be determined that the group is the natural ground DS when the inclination angle K of the group is equal to or larger than the angle threshold.
- the target calculation unit 86 may determine that the group is the natural ground DS when the center of gravity height H of the group is equal to or higher than the height threshold.
- the target calculation unit 86 may determine that the group is the ground RS when the center of gravity height H of the group is less than the height threshold.
- FIG. 10 is a flowchart showing a method of controlling the wheel loader 1 according to the present embodiment, and shows a method of processing based on measurement data of the natural ground DS by the laser radar 21.
- the laser radar 21 measures the natural ground DS.
- the measurement data of the natural ground DS by the laser radar 21 includes distances from the laser radar 21 to each of a plurality of irradiation points PJ on the surface of the natural ground DS irradiated with the laser light.
- the measurement data of the natural mountain DS by the laser radar 21 is output to the control device 80.
- the measurement data acquisition unit 81 acquires measurement data of the natural ground DS from the laser radar 21 (step S221).
- the laser light emitted from the laser radar 21 is irradiated not only on the natural ground DS but also on, for example, the ground RS or an object around the natural ground DS.
- the target calculation unit 86 removes the point cloud data measured by the work implement 10 and the point cloud data of the outlier based on the distance to the irradiation point PJ (step S222). .
- the target calculation unit 86 divides the point cloud data at the irradiation point PJ indicating the measurement target into groups. Further, as described with reference to FIG. 9B, the target calculation unit 86 has at least one of the group inclination angle K with respect to the ground RS and the center of gravity height H of the group with respect to the ground RS for each divided group. Based on the above, the ground RS and the natural ground DS are specified.
- the target calculation unit 86 divides the group and classifies the point cloud data at the plurality of irradiation points PJ into the ground mountain group and the ground group (step S223).
- the target calculation unit 86 calculates the position of the ground RS based on the ground contact surface of the tire 6 (step S224).
- the target calculation unit 86 may calculate the position of the ground RS based on the point cloud data of the irradiation points PJ of the ground group classified in step S223.
- the ridgeline of the natural mountain DS can be calculated by straight-line fitting the point cloud data of the natural mountain group. After the position of the ridgeline of the natural ground DS and the position of the ground RS are calculated, the target calculation unit 86 calculates the position of the boundary DP between the ridgeline of the natural ground DS and the ground RS (step S225).
- the target calculation unit 86 calculates and outputs the distance from the wheel loader 1 to the natural mountain DS and the repose angle ⁇ (step S226).
- the distance from the wheel loader 1 to the natural ground DS may be the distance from the tip 12B of the bucket 12 to the boundary DP.
- the work implement control unit 87 controls the work implement 10 based on the distance to the boundary DP calculated by the target calculation unit 86 or the angle of repose ⁇ of the natural ground DS (step S227).
- the work implement 10 can be moved to the boundary DP that is the excavation start point by controlling the work implement 10 based on the three-dimensional data of the natural ground DS. .
- the 3D shape data of Jiyama DS includes the angle of repose of Jiyama DS. Depending on the angle of repose ⁇ , it is possible to control the traction force after the work implement 10 has entered the natural ground DS, the ascending speed of the work implement 10, and the like.
- the work implement 10 since the distance to the boundary DP of the natural ground DS is obtained using the stereo camera 22 and the laser radar 21, an accurate distance is obtained while approaching from the stage where the wheel loader 1 is away from the natural ground DS. be able to. Therefore, since the work implement 10 can be controlled to a desired position before the wheel loader 1 reaches the natural ground DS, the work implement 10 can be controlled with a margin.
- FIG. 12 is a block diagram illustrating an example of a computer system 1000.
- the control device 80 described above includes a computer system 1000.
- the computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including a nonvolatile memory such as a ROM (Read Only Memory) and a volatile memory such as a RAM (Random Access Memory), A storage 1003 and an interface 1004 including an input / output circuit are included.
- the functions of the control device 80 described above are stored in the storage 1003 as a program.
- the processor 1001 reads out the program from the storage 1003, expands it in the main memory 1002, and executes the above-described processing according to the program. Note that the program may be distributed to the computer system 1000 via a network.
- the computer system 1000 including the control device 80 is mounted on the excavating machine 1 having the work machine 10 and acquires measurement data of the three-dimensional measurement device 20 that measures the three-dimensional shape of the excavation target excavated by the work machine 10.
- the ridge line to be excavated can be specified, and the distance from the excavator to the excavation object or the angle of repose of the excavation object can be calculated and output based on the measurement data on the ridge line.
- the ridgeline of the natural mountain DS is specified by grouping in the laser radar 21 using the point cloud data in the stereo camera 22, but not limited thereto, for example, the ridgeline of the natural mountain DS is determined by image recognition technology.
- the ridgeline DS may be specified by a technique using artificial intelligence based on the arrangement of the point cloud data, or other algorithms may be used.
- the ground data may be identified and removed from the point cloud data based on some algorithm, and the remaining data may be determined as ground data.
- the target calculation unit 86 calculates the distance from the wheel loader 1 to the natural mountain DS and the angle of repose of the natural mountain DS as the parameters of the natural mountain DS.
- the parameters of the natural ground DS may be calculated and output.
- the work implement control unit 87 controls the work implement 10 based on the distance data from the wheel loader 1 to the boundary DP.
- the object calculation unit 86 can calculate angle data indicating the repose angle ⁇ of the natural ground DS based on the measurement data of the three-dimensional measurement device 20.
- the work machine control unit 87 may control the work machine 10 based on the angle data.
- the work machine control unit 87 causes the tip 12B of the bucket 12 to enter the natural ground DS from the boundary DP, and when the repose angle ⁇ of the natural ground DP is large, the bucket 12 The tip 12B may be made to enter the natural mountain DS from the slope of the natural mountain DS above the boundary DP.
- the measurement device mounted on the wheel loader 1 is the three-dimensional measurement device 20, and the measurement data acquired by the measurement data acquisition unit 81 is three-dimensional data indicating the three-dimensional shape of the work target.
- the measuring device not only the three-dimensional measuring device 20 that measures a work target, but also a camera that is a photo measuring device that photographs the work target, and a position measuring device that measures the position of the work target are mounted on the wheel loader 1. Good. Further, the measuring device may include an excavated object determination sensor.
- the measurement data acquired by the measurement data acquisition unit 81 is not only the three-dimensional data of the work target, but also the image data of the work target photographed by the camera, the position data of the work target measured by the position measurement device, and It includes at least one of detection data of the excavated matter determination sensor.
- the target calculation unit 86 specifies the position of the boundary DP between the excavation target and the ground by image recognition technology using image data obtained by capturing the excavation target, The distance from the wheel loader 1 to the boundary DP may be calculated.
- the image recognition technique the position of the boundary DP between the excavation target and the ground can be specified using a known image recognition technique.
- the distance from the tip 12B of the bucket 12 is exemplified as the distance from the wheel loader 1 to the work target.
- the distance from the other portion of the bucket 12 is not limited thereto. However, it may be a distance from any part of the wheel loader 1.
- the work machine control unit 87 may consider the traveling speed of the wheel loader 1 in addition to the distance to the natural ground DS.
- the transmission device 30 and the traveling device 4 are activated by the operation of the traveling operation device 40 by the driver.
- the transmission control unit 88 and the traveling control unit 89 are The transmission device 30 and the traveling device 4 may be automatically controlled based on the repose angle ⁇ .
- the distance to the natural ground DS and the angle of repose ⁇ may be displayed on the display device.
- the display device may be provided in the cab 3.
- Data indicating the distance to the natural ground DS and the angle of repose ⁇ may be transmitted to a server existing outside the wheel loader 1.
- both the laser radar 21 and the stereo camera 22 are provided in the wheel loader 1 as the three-dimensional measuring device 20.
- One of the laser radar 21 and the stereo camera 22 may be provided in the wheel loader 1.
- the three-dimensional measuring device 20 is not limited to the laser radar 21 and the stereo camera 22 as long as it can measure the three-dimensional shape of the work target and the relative position with the work target.
- the distance to the natural ground DS and the repose angle ⁇ are calculated. However, either the distance to the natural ground DS or the repose angle ⁇ is calculated, and the calculation result is The work machine 10 may be controlled based on this.
- the work target is not limited to the excavation target, and may include, for example, a loading target, a banking target, a leveling target, and a soil removal target.
- the work site where the wheel loader 1 performs work may be a mining site, a construction site, or a construction site.
- the wheel loader 1 may be used for snow removal work, may be used for work in the agriculture and livestock industry, and may be used for work in forestry.
- the bucket 12 may have a plurality of blades or a straight blade edge.
- the work member connected to the tip of the boom 11 may not be the bucket 12 but may be a snow plow or snow bucket used for snow removal work, or a bale grab or used for work in the agriculture and livestock industry. It may be a fork or a fork or bucket used in forestry operations.
- the work machine is not limited to a wheel loader, and includes an excavating machine having a work machine such as a hydraulic excavator or a bulldozer.
- SYMBOLS 1 Wheel loader (excavation machine), 2 ... Vehicle body, 2F ... Vehicle body front part, 2R ... Car body rear part, 3 ... Driver's cab, 4 ... Traveling device, 4A ... Drive device, 4B ... Brake device, 4C ... Steering device, 5 Wheel, 5F ... Front wheel, 5R ... Rear wheel, 6 ... Tire, 6F ... Front tire, 6R ... Rear tire, 9 ... Joint mechanism, 10 ... Work machine, 11 ... Boom, 12 ... Bucket, 12B ... Tip, 13 DESCRIPTION OF SYMBOLS ... Boom cylinder, 14 ... Bucket cylinder, 15 ... Bell crank, 16 ...
- Link 20 ... Three-dimensional measuring device, 21 ... Laser radar, 22 ... Stereo camera, 22A ... First camera, 22B ... Second camera, 30 ... Transmission Device: 40 ... Traveling operation device, 50 ... Angle sensor, 80 ... Control device, 81 ... Measurement data acquisition unit, 82 ... Storage unit, 86 ... Object calculation unit, 87 ... Work implement control unit, 88 ... Transmitter Control unit, 89 ... running control unit, BE ... vessel (loading target), DS ... natural ground (excavation target), FX ... rotary axis, LS ... transport vehicle, PJ ... irradiation point, RX ... rotating axis, RS ... Ground.
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operation Control Of Excavators (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
作業機械の制御装置は、作業機を有する作業機械に搭載され、作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、作業対象の稜線における計測データに基づいて、作業機械から作業対象までの距離、又は作業対象の安息角を算出し出力する対象算出部と、を備える。
Description
本発明は、作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法に関する。
作業現場において作業機械が使用される。掘削対象及び積込対象までの距離を求めるための計測器を備える自動掘削機の一例が特許文献1に開示されている。
作業機械による作業の自動化を実現する場合、作業対象に関するパラメータを取得することが要望される。
本発明の態様は、作業対象に関するパラメータを取得することを目的とする。
本発明の態様に従えば、作業機を有する作業機械に搭載され、前記作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力する対象算出部と、を備える作業機械の制御装置が提供される。
本発明の態様によれば、作業対象に関するパラメータを取得することができる。
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
第1実施形態.
[ホイールローダ]
図1は、本実施形態に係る掘削機械1の一例を示す側面図である。掘削機械1は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、掘削機械1がアーティキュレート掘削機械の一種であるホイールローダ1であることとする。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象及び積込対象を含む。ホイールローダ1は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。なお、掘削対象が、砕石、鉱石、及び石炭の少なくとも一つにより構成される山でもよい。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ及びクラッシャの少なくとも一つが例示される。
[ホイールローダ]
図1は、本実施形態に係る掘削機械1の一例を示す側面図である。掘削機械1は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、掘削機械1がアーティキュレート掘削機械の一種であるホイールローダ1であることとする。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象及び積込対象を含む。ホイールローダ1は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。なお、掘削対象が、砕石、鉱石、及び石炭の少なくとも一つにより構成される山でもよい。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ及びクラッシャの少なくとも一つが例示される。
図1に示すように、ホイールローダ1は、車体2と、運転席が設けられる運転台3と、車体2を支持する走行装置4と、車体2に支持される作業機10と、トランスミッション装置30と、車体2よりも前方の計測対象を計測する三次元計測装置20と、制御装置80とを備える。
車体2は、車体前部2Fと車体後部2Rとを含む。車体前部2Fと車体後部2Rとは、関節機構9を介して屈曲可能に連結される。
運転台3は、車体2に支持される。ホイールローダ1の少なくとも一部は、運転台3に搭乗した運転者によって操作される。
走行装置4は、車体2を支持する。走行装置4は、車輪5を有する。車輪5は、車体2に搭載されているエンジンが発生する駆動力により回転する。タイヤ6が車輪5に装着される。車輪5は、車体前部2Fに装着される2つの前輪5Fと、車体後部2Rに装着される2つの後輪5Rとを含む。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。走行装置4は、地面RSを走行可能である。
以下の説明においては、前輪5Fの回転軸FXと平行な方向を適宜、車幅方向、と称し、地面RSと接触する前タイヤ6Fの接地面と直交する方向を適宜、上下方向、と称し、車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。ホイールローダ1の車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
また、以下の説明においては、車幅方向において車体2の中心線に近い位置又は方向を適宜、車幅方向の内側又は内方、と称し、車体2の中心線から遠い位置又は方向を適宜、車幅方向の外側又は外方、と称する。また、車幅方向において、車体2の中心線の一方を適宜、右側又は右方、と称し、右側又は右方の逆側又は逆方向を適宜、左側又は左方、と称する。また、前後方向において、運転台3の運転席を基準として作業機10に近い位置又は方向を適宜、前側又は前方、と称し、前側又は前方の逆側又は逆方向を適宜、後側又は後方、と称する。また、上下方向において前タイヤ6Fの接地面に近い位置又は方向を適宜、下側又は下方、と称し、下側又は下方の逆側又は逆方向を適宜、上側又は上方、と称する。
車体前部2Fは、車体後部2Rよりも前方に配置される。前輪5F及び前タイヤ6Fは、後輪5R及び後タイヤ6Rよりも前方に配置される。前輪5F及び前タイヤ6Fは、車体2の車幅方向の両側に配置される。後輪5R及び後タイヤ6Rは、車体2の車幅方向の両側に配置される。車体前部2Fは、車体後部2Rに対して左右に屈曲する。
走行装置4は、駆動装置4Aと、ブレーキ装置4Bと、操舵装置4Cとを有する。駆動装置4Aは、ホイールローダ1を加速させるための駆動力を発生する。駆動装置4Aは、ディーゼルエンジンのような内燃機関を含む。駆動装置4Aで発生した駆動力がトランスミッション装置30を介して車輪5に伝達され、車輪5が回転する。
ブレーキ装置4Bは、ホイールローダ1を減速又は停止させるための制動力を発生する。
操舵装置4Cは、ホイールローダ1の走行方向を調整可能である。ホイールローダ1の走行方向は、車体前部2Fの向きを含む。操舵装置4Cは、油圧シリンダによって車体前部2Fを屈曲させることによって、ホイールローダ1の走行方向を調整する。
本実施形態においては、走行装置4は、運転台3に搭乗した運転者によって操作される。作業機10は、制御装置80に制御される。走行装置4を操作する走行操作装置40が運転台3に配置される。運転者は、走行操作装置40を操作して、走行装置4を作動させる。走行操作装置40は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバーを含む。アクセルペダルが操作されることにより、ホイールローダ1の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ1の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ1が旋回する。シフトレバーが操作されることにより、ホイールローダ1の前進又は後進が切り換えられる。
トランスミッション装置30は、駆動装置4Aで発生した駆動力を車輪5に伝達する。
作業機10は、車体前部2Fに回動可能に連結されるブーム11と、ブーム11に回動可能に連結されるバケット12と、ベルクランク15と、リンク16とを有する。
ブーム11は、ブームシリンダ13が発生する動力によって作動する。ブームシリンダ13が伸縮することにより、ブーム11は上げ動作又は下げ動作する。
バケット12は、刃先を含む先端部12Bを有する作業部材である。バケット12は、前輪5Fよりも前方に配置される。バケット12は、ブーム11の先端部に連結される。バケット12は、バケットシリンダ14が発生する動力によって作動する。バケットシリンダ14が伸縮することにより、バケット12はダンプ動作又はチルト動作する。
バケット12のダンプ動作が実施されることにより、バケット12ですくい上げられた掘削物がバケット12から排出される。バケット12のチルト動作が実施されることにより、バケット12は掘削物をすくい取る。
[三次元計測装置]
三次元計測装置20は、ホイールローダ1に搭載される。三次元計測装置20は、ハウジング17に支持される。三次元計測装置20は、車体前部2Fよりも前方の計測対象を計測する。計測対象は、作業機10による掘削対象を含む。また、計測対象は、作業機10により掘削された掘削物が積み込まれる積込対象を含む。三次元計測装置20は、三次元計測装置20から作業対象の表面の複数の各計測点までの相対位置を計測する。すなわち、三次元計測装置20は、計測対象の三次元形状を計測する。また、後述する制御装置80は、計測された作業対象の三次元形状に基づいて、ホイールローダ1の作業機の先端部12Bと作業対象との距離を算出する。
三次元計測装置20は、ホイールローダ1に搭載される。三次元計測装置20は、ハウジング17に支持される。三次元計測装置20は、車体前部2Fよりも前方の計測対象を計測する。計測対象は、作業機10による掘削対象を含む。また、計測対象は、作業機10により掘削された掘削物が積み込まれる積込対象を含む。三次元計測装置20は、三次元計測装置20から作業対象の表面の複数の各計測点までの相対位置を計測する。すなわち、三次元計測装置20は、計測対象の三次元形状を計測する。また、後述する制御装置80は、計測された作業対象の三次元形状に基づいて、ホイールローダ1の作業機の先端部12Bと作業対象との距離を算出する。
三次元計測装置20の計測データは、作業対象の三次元形状を示す三次元データである。三次元データは、複数の計測点の点群データを含む。なお、三次元計測装置20の計測データは、画像データを含んでもよい。
三次元計測装置20は、レーザ計測装置の一種であるレーザレーダ21と、写真計測装置の一種であるステレオカメラ22とを含む。
[動作]
図2は、本実施形態に係るホイールローダ1の動作を示す模式図である。ホイールローダ1は、複数の作業モードで作業する。作業モードは、バケット12で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット12ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象として、地面RSに置かれた地山DSが例示される。積込対象として、地面を走行可能な運搬車両LSのベッセルBE(ダンプボディ)が例示される。運搬車両LSとして、ダンプトラックが例示される。
図2は、本実施形態に係るホイールローダ1の動作を示す模式図である。ホイールローダ1は、複数の作業モードで作業する。作業モードは、バケット12で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット12ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象として、地面RSに置かれた地山DSが例示される。積込対象として、地面を走行可能な運搬車両LSのベッセルBE(ダンプボディ)が例示される。運搬車両LSとして、ダンプトラックが例示される。
掘削作業モードにおいて、ホイールローダ1は、バケット12に掘削物が保持されていない状態で、バケット12で地山DSを掘削するために地山DSに向かって前進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M1で示すように、ホイールローダ1を前進させて地山DSに接近させる。ホイールローダ1に搭載されている三次元計測装置20は、地山DSの三次元形状を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、ホイールローダ1から地山DSまでの距離を算出し、バケット12で地山DSが掘削されるように、作業機10を制御する。すなわち、制御装置80は、ホイールローダ1が地山DSに接近するように前進している状態で、バケット12の先端部12B及び底面部が地面RSに接触するように、作業機10を制御する。
バケット12が地山DSに突入して地山DSがバケット12により掘削され、掘削物がバケット12にすくい取られた後、ホイールローダ1は、バケット12に掘削物が保持されている状態で、地山DSから離れるように後進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M2で示すように、ホイールローダ1を後進させて地山DSから離間させる。
次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ1は、バケット12に掘削物が保持されている状態で、バケット12により掘削された掘削物を積み込むために運搬車両LSに向かって前進する。ホイールローダ1の運転者は、走行操作装置40を操作して、図2の矢印M3で示すように、ホイールローダ1を旋回させながら前進させて運搬車両LSに接近させる。ホイールローダ1に搭載されている三次元計測装置20は、運搬車両LSの三次元形状を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、ホイールローダ1から運搬車両LSまでの距離を算出し、バケット12に保持されている掘削物が運搬車両LSのベッセルBEに積み込まれるように、作業機10を制御する。すなわち、制御装置80は、ホイールローダ1が運搬車両LSに接近するように前進している状態で、ブーム11が上げ動作するように、作業機10を制御する。ブーム11が上げ動作し、バケット12がベッセルBEの上方に配置された後、制御装置80は、バケット12がチルト動作するように、作業機10を制御する。これにより、バケット12から掘削物が排出され、ベッセルBEに積み込まれる。
バケット12から掘削物が排出され、ベッセルBEに積み込まれた後、ホイールローダ1は、バケット12に掘削物が保持されていない状態で、運搬車両LSから離れるように後進する。運転者は、走行操作装置40を操作して、図2の矢印M4で示すように、ホイールローダ1を後進させて運搬車両LSから離間させる。
運転者及び制御装置80は、ベッセルBEに掘削物が満載されるまで、上述の動作を繰り返す。
図3は、本実施形態に係るホイールローダ1の掘削作業モードを示す模式図である。ホイールローダ1の運転者は、走行操作装置40を操作して、ホイールローダ1を前進させて地山DSに接近させる。
図3(A)に示すように、ホイールローダ1に搭載されている三次元計測装置20は、地山DSの三次元形状を計測する。制御装置80は、三次元計測装置20の計測データに基づいて、地面RSと地山DSとの境界DPの位置を特定する。
図3(B)に示すように、制御装置80は、ホイールローダ1が地山DSに接近するように前進している状態で、三次元計測装置20の計測データに基づいて、バケット12の先端部12Bと境界DPとの距離を算出し、バケット12の先端部12Bが境界DPに接近するように、ブーム11を下げ動作させるとともに、バケット12の角度を制御する。
図3(C)に示すように、ホイールローダ1がさらに前進することにより、バケット12の先端部12Bが境界DPから地山DSに挿入される。これにより、地山DSがバケット12により掘削され、バケット12は、掘削物をすくい取ることができる。
[制御装置]
図4は、本実施形態に係るホイールローダ1の制御装置80を示す機能ブロック図である。制御装置80は、コンピュータシステムを含む。
図4は、本実施形態に係るホイールローダ1の制御装置80を示す機能ブロック図である。制御装置80は、コンピュータシステムを含む。
制御装置80に、作業機10、三次元計測装置20、及び角度センサ50が接続される。
制御装置80は、計測データ取得部81と、記憶部82と、対象算出部86と、作業機制御部87とを有する。
計測データ取得部81は、三次元計測装置20から計測データを取得する。
記憶部82は、計測データ取得部81により取得された計測データを処理するアルゴリズムを記憶する。記憶部82には、ステレオカメラ22で計測された地山DSの計測データを処理するためのアルゴリズム、及びレーザレーダ21で計測された地山DSの計測データを処理するためのアルゴリズムが記憶されている。アルゴリズムとは、計測データ取得部81により取得された計測データを用いて、所定のデータを出力するための手順、フローチャート、手法、又はプログラムをいう。複数のアルゴリズムに応じて、手順、手法、又はプログラムを異ならせてもよいし、出力されるデータの数又は種類を異ならせてもよい。
対象算出部86は、計測データ取得部81により取得された計測データに基づいて、ホイールローダ1から作業対象までの距離を算出する。対象算出部86は、ホイールローダ1から地山DSまでの距離データに加え、地山DSの安息角の角度データや、その他の地山DSに関するパラメータを算出してもよい。地山DSに関するパラメータは、ホイールローダ1から地山までの距離データ、及び地山DSの安息角の角度データ、地山DSの岩土の質、地山DSを構成する岩土の粒度、地山DSの高さ、地山DSの頂点までの距離、地山DSの形状、地山DSの体積を含む。
作業機制御部87は、対象算出部86により算出されたホイールローダ1と境界DPとの距離データに基づいて、地山DSを掘削する作業機10を制御する。また、作業機制御部87は、対象算出部86により算出された地山DSの安息角を示す角度データに基づいて、地山DSを掘削する作業機10を制御する。
作業機10の動作の制御は、ブームシリンダ13及びバケットシリンダ14の少なくとも一方の動作の制御を含む。ホイールローダ1は、図示しない油圧ポンプと、油圧ポンプからブームシリンダ13に供給される作動油の流量及び方向を制御する図示しないブーム制御弁と、油圧ポンプからバケットシリンダ14に供給される作動油の流量及び方向を制御する図示しないバケット制御弁とを有する。作業機制御部87は、ブーム制御弁に制御信号を出力して、ブームシリンダ13に供給される作動油の流量及び方向を制御することで、ブーム11の上げ動作、下げ動作、及びその動作速度を制御できる。また、作業機制御部87は、バケット制御弁に制御信号を出力して、バケットシリンダ14に供給される作動油の流量及び方向を制御することでバケット12のダンプ動作、チルト動作、及びその動作速度を制御できる。
本実施形態において、ホイールローダ1は、トランスミッション制御部88と、走行制御部89とを有する。
トランスミッション制御部88は、ホイールローダ1の運転者による走行操作装置40の操作に基づいて、トランスミッション装置30の動作、すなわちシフトチェンジを制御する。
走行制御部89は、ホイールローダ1の運転者による走行操作装置40の操作に基づいて、走行装置4の動作を制御する。走行制御部89は、駆動装置4Aを作動するためのアクセル指令、ブレーキ装置4Bを作動するためのブレーキ指令、及び操舵装置4Cを作動するためのステアリング指令を含む運転指令を出力する。
[ステレオカメラの計測データに基づく掘削作業]
図5は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、ステレオカメラ22による運搬車両LSの計測データに基づく掘削作業を示す。
図5は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、ステレオカメラ22による運搬車両LSの計測データに基づく掘削作業を示す。
ホイールローダ1が作業機10で地山DSを掘削するために地山DSに向かって前進する掘削作業モードにおいて、ステレオカメラ22は、少なくとも地山DSを含む計測対象を計測する。ステレオカメラ22の撮像範囲(ステレオカメラ22の光学系の視野領域)には、計測対象として、地山DSのみならず、例えば地面RS又は地山DSの周囲の物体も配置される。計測データ取得部81は、ステレオカメラ22から計測データを取得する(ステップS10)。
ステレオカメラ22の計測データは、計測対象の画像データを含む。画像データは、複数の画素により構成される。計測対象の画像データは、第1カメラ22Aにより取得された第1画像データと、第2カメラ22Bにより取得された第2画像データとを含む。ステレオカメラ22は、画像データ(第1画像データ及び第2画像データ)をステレオ処理して、三次元形状データを算出する。
計測データ取得部81は、ステレオカメラ22から、ステレオカメラ22の計測データである三次元形状データを取得する(ステップS10)。
三次元形状データは、ステレオカメラ22の画像データにおける画素ごとに演算された点データの集合である点群データを含む。点群データは例えばステレオカメラからの距離に関するデータである。
本実施形態において、対象算出部86は、地山DSの稜線を特定するとともに、稜線における三次元形状データに基づいて、ホイールローダ1から地山DSまでの距離、又は地山DSの安息角を算出し出力する。
ステレオカメラ22では広範囲の点群データを取得できるため、地山DSの広い領域の地形を計測してしまうため、どの点群データが稜線におけるデータであるか判定できず、後述する図7のような地山の断面を判断できない。そこで、稜線を特定するために、対象算出部86は、ステレオカメラ22により取得された三次元形状データを複数の領域DAに分割する(ステップS30)。
図6は、本実施形態に係るステレオカメラ22により取得された画像データの一例を示す図である。
対象算出部86は、画像データを複数の領域DAに分割する。本実施形態において、対象算出部86は、画像データを上下方向に分割して複数の領域DAを生成する。以下の説明においては、画像データを分割することによって生成された領域DAのそれぞれの点群データを適宜、分割点群データ、と称する。
対象算出部86は、画像データを上下方向に分割して複数の領域DAを生成する。領域DAは、左右方向に長い。複数の領域DAのそれぞれは、ホイールローダ1(ステレオカメラ22)から地山DSまでの距離を示す分割点群データを含む。
次に、対象算出部86は、複数の領域DAのそれぞれにおいて、分割点群データに基づいて、地山DSの稜線RDを特定する。稜線RDとは、地山DSの頂点DTから任意の地山と地面の境界DPとを結ぶ線であり、例えば各領域DA毎に中間点付近の数点を抽出することによって近似的な稜線RDを導出することができる。
図6に示すように、本実施形態において、対象算出部86は、各領域DA毎に中間点付近の数点を抽出した場合、斜めの稜線RD1を特定できる。なお、稜線RDは、正面の稜線RD2や側面における稜線RD3でもよい。また、正面の稜線RD2を特定するためには点群データのうち、中間値ではなく最も距離の近い数点を用いることで抽出できる。
カウンタnに初期値1が設定される(ステップS40)。対象算出部86は、第1の領域DA1から第Nの領域DANのそれぞれについて、稜線RDに対応する点データを特定する。
対象算出部86は、領域DAに存在する複数の画素のそれぞれによって示される距離を算出し、その領域DAにおける距離の中間値RPを特定する(ステップS50)。中間値RPは、1つでもよいし、複数でもよい。複数の場合、中間値RP近傍の数点を特定する。中間値RPは、その領域DAにおいて、ソートしたデータの中央にあるデータをいい、メディアン値又は中央値とも呼ばれる。
以上により、領域DAについて、中間値RPが算出される。対象算出部86は、複数の領域DAのそれぞれについて、上述のステップS50の処理を実施する。すなわち、対象算出部86は、全ての領域DAについて、中間値RPを算出する処理が終了したか否かを判定する(ステップS60)。全ての領域DAについて中間値RPを算出する処理が終了していないと判定した場合(ステップS60:No)、カウンタnがインクリメントされ(ステップS70)、ステップS50の処理に戻る。
全ての領域DAについて中間値RPを算出する処理が終了したと判定した場合(ステップS60:Yes)、対象算出部86は、複数の領域DAを統合し、領域DAのそれぞれについて算出された中間値RPを直線フィッティング処理する。対象算出部86は、直線フィティング処理により、近似的な稜線RDを特定する。
図7は、本実施形態に係る複数の中間値RPを直線フィティング処理する例を示す。図8に示すように、対象算出部86は、複数の中間値RPについて直線フィッティング処理を実施して、複数の中間値RPに基づいて近似的な稜線REを算出する(ステップS80)。
稜線REは、地山DSの斜面の形状を示す。また、稜線REは、地面RSに対する地山DSの斜面の安息角θを示す。対象算出部86は、稜線REに基づいて、地山DSの安息角θを算出する(ステップS85)。
地山DSの斜面の位置は、ホイールローダ1の車体座標系において規定される。車体座標系におけるステレオカメラ22の設置位置は、ホイールローダ1の設計データから導出される既知データである。
対象算出部86は、タイヤ6の接地面に基づいて、地面RSの位置を算出する(ステップS90)。車体座標系におけるタイヤ6の接地面の位置は、ホイールローダ1の設計データから導出される既知データである。4つのタイヤ6のうち少なくとも3つのタイヤ6の接地面によって、車体座標系における地面RSの位置が特定される。
なお、ステレオカメラ22の撮像範囲に地面RSが配置される場合、ステレオカメラ22の画像データに基づいて、地面RSの位置が算出されてもよい。また、ステレオカメラ22の撮像範囲に地面RSが配置される場合において、タイヤ6の接地面に基づいて地面RSの位置を特定できる場合、ステレオカメラ22によって計測された地面RSの点群データが除去されてもよい。
地山DSの斜面の位置と地面RSの位置とが算出された後、対象算出部86は、地山DSの稜線RDと地面RSとの境界DPの位置を算出する(ステップS100)。
対象算出部86は、ホイールローダ1から地山DSまでの距離、及び地山DSの安息角θを算出し、出力する(ステップS110)。ホイールローダ1から地山DSまでの距離は、バケット12の先端部12Bから境界DPまでの距離でもよい。作業機10の先端部12Bから境界DPまでの距離は、ステレオカメラ22から境界DPまでの距離に加え、車体座標系におけるステレオカメラ22の設置位置、作業機10の設置位置、作業機10の寸法および角度等を用いて算出する。
作業機制御部87は、対象算出部86により算出された境界DPまでの距離、又は地山DSの安息角θに基づいて、作業機10を制御する(ステップS120)。
すなわち、図3を参照して説明したように、作業機制御部87は、ホイールローダ1が地山DSに接近するように前進している状態で、対象算出部86により算出された境界DPまでの距離に基づいて、バケット12の先端部12Bが境界DPに接近するように、ブーム11を下げ動作させるとともに、バケット12の角度を制御する。ホイールローダ1がさらに前進することにより、バケット12の先端部12Bが境界DPから地山DSに挿入される。これにより、地山DSがバケット12により掘削され、バケット12は、掘削物をすくい取ることができる。
[効果]
以上説明したように、地山DSの三次元形状データに基づいて作業機10が制御されることにより、ホイールローダ1の作業機10は、境界DPによって規定される地山DSの掘削開始点に移動することができる。したがって、ホイールローダ1は、地山DSを良好に掘削することができる。
以上説明したように、地山DSの三次元形状データに基づいて作業機10が制御されることにより、ホイールローダ1の作業機10は、境界DPによって規定される地山DSの掘削開始点に移動することができる。したがって、ホイールローダ1は、地山DSを良好に掘削することができる。
地山DSの三次元形状データは、地山DSの安息角を含む。安息角θに応じて、地山DSへ突入後の牽引力や作業機10の上昇速度などを制御することができる。
なお、本実施形態においては、画像データ(点群データ)を分割して稜線を特定したが、分割せずに同様の処理を実施して、稜線を特定してもよい。
第2実施形態.
第2実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
第2実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
[レーザレーダの計測データに基づく掘削作業]
上述の実施形態においては、ステレオカメラ22の計測データに基づく掘削作業について説明した。本実施形態においては、レーザレーダ21の計測データに基づく掘削作業について説明する。
上述の実施形態においては、ステレオカメラ22の計測データに基づく掘削作業について説明した。本実施形態においては、レーザレーダ21の計測データに基づく掘削作業について説明する。
図8は、本実施形態に係るホイールローダ1の制御方法を示す模式図であって、レーザレーダ21の動作を示す図である。図8に示すように、レーザレーダ21は、計測対象の表面の複数の照射点PJのそれぞれにレーザ光を照射して、複数の照射点PJのそれぞれとの距離を計測する。
本実施形態において、対象算出部86は、ホイールローダ1(レーザレーダ21)から複数の照射点PJのそれぞれまでの距離に基づいて、照射点PJを複数のグループに分類し、地面RSに対するグループの傾きK(傾斜角度)、およびグループの重心高さHの少なくとも一方に基づいて、計測対象を特定する。
例えば、掘削作業モードにおいて、計測対象は、地面RS、地山DS、及び地山DSの周囲の物体の少なくとも一つを含む。対象算出部86は、グループの傾斜角度K、およびグループの重心高さHの少なくとも一方に基づいて、計測対象が、地面RS、地山DSのいずれであるのかを特定する。
対象算出部86は、照射点PJまでの距離に基づいて、複数の照射点PJをグルーピングする。グルーピングとは、例えば隣り合う照射点PJの距離の差が予め定められている閾値以下の複数の照射点PJを1つのグループとしてグループ分けすることをいう。図8に示す例では、例えば、計測対象の表面に照射されることによって規定された照射点PJaと、作業機10の一部に照射されることによって規定された照射点PJbとの距離の差は大きい。したがって、計測対象の表面に規定された照射点PJaは、1つのグループとなり、作業機10の表面に規定された照射点PJbは、別のグループとなる。
対象算出部86は、作業機10を示す照射点PJbのグループを除去し、計測対象を示す照射点PJaのグループをグループ分割して、複数の照射点PJを第1グループと第2グループとに分類する。
図9は、本実施形態に係るホイールローダ1の制御方法を示す模式図であって、グループ分割を説明するための模式図である。グループ分割とは、例えば図9(A)に示すように、複数の照射点PJのうち、最も端の照射点PJを仮想的な直線IMで結び、直線IMからの垂直距離が最も長い照射点PJを分割点PJKとして規定し、その分割点PJKを基準として2つのグループに分ける処理をいう。
分割点PJKは、1つのグループを構成する複数の照射点PJを結ぶ仮想線において変曲点となる照射点PJである。そのため、その分割点PJKを基準として、図9(B)に示すように、それぞれ直線状に並ぶ2つのグループに分割することができる。このように、対象算出部86は、グループ分割して、複数の照射点PJを第1グループと第2グループとに分類することができる。なお、グルーピングの方法として、本形態の手法に限らず、その他のアルゴリズムを用いてグルーピングしてもよい。
対象算出部86は、第1グループ及び第2グループそれぞれの複数の照射点PJについてフィッティング処理を実施する。対象算出部86は、フィッティング処理を実施した後、地面RSに対する各グループの傾きK、及び各グループの重心高さHを算出する。図9に示す例において、対象算出部86は、第1グループに係る傾きK1及び重心高さH1と、第2グループに係る傾きK2及び重心高さH2とを算出する。
対象算出部86は、グループの傾斜角度K及びグループの重心高さHの少なくとも一方に基づいて、計測対象が地面RS、地山DSのいずれであるのかを特定する。
対象算出部86は、例えばグループの傾斜角度Kが角度閾値以下であるとき、計測対象は地面RSであると判定する。対象算出部86は、グループの傾斜角度Kが角度閾値以上であるとき、計測対象は地山RSであると判定する。
一般に、地面RSは、水平面とほぼ平行であるため、グループの傾斜角度Kが小さく角度閾値以下である場合、そのグループは地面RSであると判定することができる。地山DSの表面は、地面RSに対して傾斜しているため、グループの傾斜角度Kが角度閾値以上である場合、そのグループは地山DSであると判定することができる。
なお、対象算出部86は、グループの重心高さHが高さ閾値以上である場合、そのグループは地山DSであると判定してもよい。対象算出部86は、グループの重心高さHが高さ閾値未満である場合、そのグループは地面RSであると判定してもよい。
図10は、本実施形態に係るホイールローダ1の制御方法を示すフローチャートであって、レーザレーダ21による地山DSの計測データに基づいて処理する方法を示す。
ホイールローダ1が作業機10で地山DSを掘削するために地山DSに向かって前進する掘削作業モードにおいて、レーザレーダ21は、地山DSを計測する。レーザレーダ21による地山DSの計測データは、レーザレーダ21からレーザ光が照射される地山DSの表面の複数の照射点PJのそれぞれまでの距離を含む。レーザレーダ21による地山DSの計測データは、制御装置80に出力される。計測データ取得部81は、レーザレーダ21から地山DSの計測データを取得する(ステップS221)。
また、レーザレーダ21から射出されるレーザ光は、地山DSのみならず、例えば地面RS又は地山DSの周辺の物体にも照射される。図8を参照して説明したように、対象算出部86は、照射点PJまでの距離に基づいて、作業機10を計測した点群データやはずれ値の点群データを除去する(ステップS222)。
また、図9(A)を参照して説明したように、対象算出部86は、計測対象を示す照射点PJにおける点群データをグループ分割する。また、図9(B)を参照して説明したように、対象算出部86は、分割した各グループについて、地面RSに対するグループの傾斜角度K、及び地面RSに対するグループの重心高さHの少なくとも一方に基づいて、地面RSと地山DSとを特定する。
すなわち、対象算出部86は、グループ分割して、複数の照射点PJにおける点群データを地山グループと地面グループとに分類する(ステップS223)。
対象算出部86は、タイヤ6の接地面に基づいて、地面RSの位置を算出する(ステップS224)。
なお、対象算出部86は、ステップS223において分類した地面グループの照射点PJの点群データに基づいて、地面RSの位置を算出してもよい。
地山グループの点群データを直線フィッティングすることによって地山DSの稜線を算出することができる。地山DSの稜線の位置と地面RSの位置とが算出された後、対象算出部86は、地山DSの稜線と地面RSとの境界DPの位置を算出する(ステップS225)。
対象算出部86は、ホイールローダ1から地山DSまでの距離、及び安息角θを算出し、出力する(ステップS226)。ホイールローダ1から地山DSまでの距離は、バケット12の先端部12Bから境界DPまでの距離でもよい。
作業機制御部87は、対象算出部86により算出された境界DPまでの距離、又は地山DSの安息角θに基づいて、作業機10を制御する(ステップS227)。
[効果]
以上説明したように、本実施形態においても、地山DSの三次元データに基づいて作業機10が制御されることにより、作業機10は、掘削開始点である境界DPに移動することができる。
以上説明したように、本実施形態においても、地山DSの三次元データに基づいて作業機10が制御されることにより、作業機10は、掘削開始点である境界DPに移動することができる。
地山DSの三次元形状データは、地山DSの安息角を含む。安息角θに応じて、作業機10を地山DSへ突入させた後の牽引力や作業機10の上昇速度などを制御することができる。
上述の実施形態においては、ステレオカメラ22やレーザレーダ21を用いて地山DSの境界DPまでの距離を求めるので、ホイールローダ1が地山DSから離れている段階から近づきながら正確な距離を求めることができる。そのため、ホイールローダ1が地山DSに到達する前に作業機10を所望の位置に制御することができるため、余裕をもって作業機10を制御できる。
[コンピュータシステム]
図12は、コンピュータシステム1000の一例を示すブロック図である。上述の制御装置80は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置80の機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
図12は、コンピュータシステム1000の一例を示すブロック図である。上述の制御装置80は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の制御装置80の機能は、プログラムとしてストレージ1003に記憶されている。プロセッサ1001は、プログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
制御装置80を含むコンピュータシステム1000は、作業機10を有する掘削機械1に搭載され、作業機10により掘削される掘削対象の三次元形状を計測する三次元計測装置20の計測データを取得することと、掘削対象の稜線を特定するとともに、稜線における計測データに基づいて、掘削機械から掘削対象までの距離、又は掘削対象の安息角を算出し出力することと、を実行することができる。
[その他の実施形態]
上述の実施形態においては、ステレオカメラ22において点群データを用いて、レーザレーダ21においてはグルーピングにより地山DSの稜線を特定したが、それに限らず、例えば画像認識技術により地山DSの稜線を特定してもよいし、点群データの配置に基づいて例えば人工知能を用いた手法により稜線DSを特定してもよいし、その他アルゴリズムを用いてもよい。例えば、点群データの中から何らかのアルゴリズムに基づいて地面データを特定して除去し、残りのデータを地山データと判断してもよい。
上述の実施形態においては、ステレオカメラ22において点群データを用いて、レーザレーダ21においてはグルーピングにより地山DSの稜線を特定したが、それに限らず、例えば画像認識技術により地山DSの稜線を特定してもよいし、点群データの配置に基づいて例えば人工知能を用いた手法により稜線DSを特定してもよいし、その他アルゴリズムを用いてもよい。例えば、点群データの中から何らかのアルゴリズムに基づいて地面データを特定して除去し、残りのデータを地山データと判断してもよい。
なお、上述の各実施形態において、対象算出部86は、地山DSのパラメータとして、ホイールローダ1から地山DSまでの距離、および地山DSの安息角を算出したが、それに限らず、その他の地山DSのパラメータを算出し出力してもよい。
なお、上述の実施形態においては、作業機制御部87は、ホイールローダ1から境界DPまでの距離データに基づいて、作業機10を制御することとした。対象算出部86は、三次元計測装置20の計測データに基づいて、地山DSの安息角θを示す角度データを算出することができる。作業機制御部87は、角度データに基づいて、作業機10を制御してもよい。例えば、作業機制御部87は、地山DPの安息角θが小さい場合、バケット12の先端部12Bを境界DPから地山DSに進入させ、地山DPの安息角θが大きい場合、バケット12の先端部12Bを境界DPよりも上の地山DSの斜面から地山DSに進入させてもよい。
上述の実施形態においては、ホイールローダ1に搭載される計測装置が三次元計測装置20であり、計測データ取得部81が取得する計測データが作業対象の三次元形状を示す三次元データであることとしたが、これに限定されない。計測装置として、作業対象を計測する三次元計測装置20のみならず、作業対象を撮影する写真計測装置であるカメラ、及び作業対象の位置を計測する位置計測装置がホイールローダ1に搭載されてもよい。また、計測装置が、掘削物判定用センサを含んでもよい。この場合、計測データ取得部81が取得する計測データは、作業対象の三次元データのみならず、カメラによって撮影された作業対象の画像データ、位置計測装置によって計測された作業対象の位置データ、及び掘削物判定用センサの検出データの少なくとも一つを含む。
例えば、計測装置として作業対象を撮像するカメラを用いる場合、対象算出部86は、掘削対象が撮像された画像データを用いて画像認識技術により掘削対象と地面との境界DPの位置を特定し、ホイールローダ1と境界DPまでの距離を算出してもよい。画像認識技術として、公知の画像認識技術を用いて、掘削対象と地面との境界DPの位置を特定することができる。
上述の実施形態においては、ホイールローダ1から作業対象までの距離として、バケット12の先端部12Bからの距離を例示したが、それに限られず、バケット12のその他の部位からの距離であってもよいし、ホイールローダ1の任意の部位からの距離でもよい。
また、作業機制御部87は、作業機10を制御するとき、地山DSまでの距離に加えて、ホイールローダ1の走行速度を考慮してもよい。
上述の実施形態において、トランスミッション装置30及び走行装置4は、運転者による走行操作装置40の操作により作動することとしたが、トランスミッション制御部88及び走行制御部89が、地山DSまでの距離及び安息角θに基づいて、トランスミッション装置30及び走行装置4を自動制御してもよい。
上述の実施形態において、地山DSまでの距離及び安息角θが表示装置に表示されてもよい。表示装置は、運転台3に設けられてもよい。また、地山DSまでの距離及び安息角θを示すデータがホイールローダ1の外部に存在するサーバに送信されてもよい。
なお、上述の実施形態においては、三次元計測装置20としてレーザレーダ21及びステレオカメラ22の両方がホイールローダ1に設けられることとした。レーザレーダ21及びステレオカメラ22の一方がホイールローダ1に設けられてもよい。また、三次元計測装置20は、作業対象の三次元形状及び作業対象との相対位置を計測できればよく、レーザレーダ21及びステレオカメラ22に限定されない。
なお、上述の実施形態においては、地山DSまでの距離及び安息角θが算出されることとしたが、地山DSまでの距離及び安息角θのいずれか一方が算出され、その算出結果に基づいて作業機10が制御されてもよい。
なお、上述の各実施形態において、作業対象は掘削対象に限られず、例えば積込対象、盛土対象、整地対象、排土対象が含まれてもよい。
なお、上述の各実施形態において、ホイールローダ1が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。
なお、ホイールローダ1は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。
なお、上述の実施形態において、バケット12は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。
なお、ブーム11の先端部に連結される作業部材は、バケット12でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。
なお、作業機械は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する掘削機械も含む。
1…ホイールローダ(掘削機械)、2…車体、2F…車体前部、2R…車体後部、3…運転台、4…走行装置、4A…駆動装置、4B…ブレーキ装置、4C…操舵装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、9…関節機構、10…作業機、11…ブーム、12…バケット、12B…先端部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…リンク、20…三次元計測装置、21…レーザレーダ、22…ステレオカメラ、22A…第1カメラ、22B…第2カメラ、30…トランスミッション装置、40…走行操作装置、50…角度センサ、80…制御装置、81…計測データ取得部、82…記憶部、86…対象算出部、87…作業機制御部、88…トランスミッション制御部、89…走行制御部、BE…ベッセル(積込対象)、DS…地山(掘削対象)、FX…回転軸、LS…運搬車両、PJ…照射点、RX…回転軸、RS…地面。
Claims (7)
- 作業機を有する作業機械に搭載され、前記作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、
前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力する対象算出部と、
を備える作業機械の制御装置。 - 出力された前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角に基づいて、前記作業機を制御する作業機制御部を備える、
請求項1に記載の作業機械の制御装置。 - 前記対象算出部は、フィッティング処理された前記稜線における計測データと、地面の位置データとに基づいて、前記作業機械から前記作業対象と地面との境界までの距離、又は前記作業対象の安息角を算出する、
請求項1又は請求項2に記載の作業機械の制御装置。 - 前記対象算出部は、前記計測データをグループにし、地面に対する前記グループの傾斜角度、及び地面に対する前記グループの重心高さの少なくとも一方に基づいて、前記作業対象における稜線の計測データを特定する、
請求項1から請求項3のいずれか一項に記載の作業機械の制御装置。 - 作業機を有する掘削機械に搭載され、前記作業機により掘削される地山を計測する計測装置の計測データを取得する計測データ取得部と、
前記計測データに基づいて、前記掘削機械から前記地山と地面との境界までの距離を算出する対象算出部と、
前記距離に基づいて前記作業機を制御する作業機制御部と、
を備える掘削機械の制御装置。 - 前記計測データ取得部は、撮像装置が前記地山を撮像した画像データを取得し、
前記対象算出部は、画像認識技術に基づいて前記掘削機械から前記地山と地面との境界までの距離を算出する、
請求項5に記載の掘削機械の制御装置。 - 作業機械の作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得することと、
前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力することと、
を含む作業機械の制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/971,707 US11959255B2 (en) | 2018-03-30 | 2019-03-11 | Work machine control device, excavating machine control device, and work machine control method |
CN201980015520.0A CN111771032B (zh) | 2018-03-30 | 2019-03-11 | 作业机械的控制装置及控制方法、挖掘机械的控制装置 |
EP19777375.7A EP3744909B1 (en) | 2018-03-30 | 2019-03-11 | Control device of working machine, control device of excavating machine, and control method of working machine |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-070208 | 2018-03-30 | ||
JP2018070208A JP7154026B2 (ja) | 2018-03-30 | 2018-03-30 | 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019188222A1 true WO2019188222A1 (ja) | 2019-10-03 |
Family
ID=68058864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/009800 WO2019188222A1 (ja) | 2018-03-30 | 2019-03-11 | 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11959255B2 (ja) |
EP (1) | EP3744909B1 (ja) |
JP (1) | JP7154026B2 (ja) |
CN (1) | CN111771032B (ja) |
WO (1) | WO2019188222A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116249813A (zh) | 2020-09-28 | 2023-06-09 | 神钢建机株式会社 | 作业区域设定系统和操作目标检测系统 |
JP2022145209A (ja) * | 2021-03-19 | 2022-10-03 | 株式会社小松製作所 | 作業機械の制御システム及び作業機械の制御方法 |
CN113565163B (zh) * | 2021-08-11 | 2022-06-03 | 吉林大学 | 一种液压挖掘机圆坑作业的智能控制系统及方法 |
JP2023088646A (ja) * | 2021-12-15 | 2023-06-27 | 株式会社小松製作所 | バケットに保持された掘削物の安息角を算出するための方法、バケットに保持された掘削物の安息角を算出するためのシステム、及び積込機械 |
JP2023116909A (ja) | 2022-02-10 | 2023-08-23 | コベルコ建機株式会社 | 作業エリア設定システム |
CN115110598B (zh) * | 2022-08-10 | 2023-11-28 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
CN115506431A (zh) * | 2022-09-16 | 2022-12-23 | 福建晋工新能源科技有限公司 | 自动铲料系统和自动铲料系统自动铲料控制方法 |
CN117331093B (zh) * | 2023-11-30 | 2024-01-26 | 江苏智能无人装备产业创新中心有限公司 | 一种基于铲斗位置剔除的无人驾驶装载机障碍物感知方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1088625A (ja) | 1996-09-13 | 1998-04-07 | Komatsu Ltd | 自動掘削機、自動掘削方法および自動積み込み方法 |
JP2008133657A (ja) * | 2006-11-28 | 2008-06-12 | Hitachi Constr Mach Co Ltd | 掘削・積込機械及び自動掘削方法 |
JP2010075798A (ja) * | 2008-09-24 | 2010-04-08 | Hitachi Constr Mach Co Ltd | 自走式処理機 |
JP2012225806A (ja) * | 2011-04-20 | 2012-11-15 | Toyota Central R&D Labs Inc | 道路勾配推定装置及びプログラム |
JP2017014726A (ja) * | 2015-06-29 | 2017-01-19 | 日立建機株式会社 | 作業機械の作業支援システム |
JP2017223511A (ja) * | 2016-06-14 | 2017-12-21 | 日本電信電話株式会社 | 道路構造化装置、道路構造化方法、及び道路構造化プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4671317B2 (ja) * | 2001-05-02 | 2011-04-13 | 株式会社小松製作所 | 地形形状計測装置およびガイダンス装置 |
EP1541772B1 (en) * | 2002-09-17 | 2015-08-05 | Hitachi Construction Machinery Co., Ltd. | Excavation teaching apparatus for construction machine |
KR20060064558A (ko) * | 2003-09-02 | 2006-06-13 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 시공 목표 지시 장치 |
US7509198B2 (en) * | 2006-06-23 | 2009-03-24 | Caterpillar Inc. | System for automated excavation entry point selection |
JP5285805B1 (ja) | 2012-10-26 | 2013-09-11 | 株式会社小松製作所 | ブレード制御装置、作業機械及びブレード制御方法 |
US9014922B2 (en) * | 2012-12-20 | 2015-04-21 | Caterpillar Inc. | System and method for optimizing a cut location |
US9580883B2 (en) | 2014-08-25 | 2017-02-28 | Cnh Industrial America Llc | System and method for automatically controlling a lift assembly of a work vehicle |
JP2017043885A (ja) | 2015-08-24 | 2017-03-02 | 株式会社小松製作所 | ホイールローダ |
JP6529058B1 (ja) * | 2018-12-12 | 2019-06-12 | J Think株式会社 | 建設機械管理システム、建設機械管理プログラム、建設機械管理方法、建設機械および建設機械の外部管理装置 |
US11678599B2 (en) * | 2020-03-12 | 2023-06-20 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
US20230186191A1 (en) * | 2021-12-13 | 2023-06-15 | Caterpillar Global Mining Equipment Llc | Machine Management Based on Battery Status |
-
2018
- 2018-03-30 JP JP2018070208A patent/JP7154026B2/ja active Active
-
2019
- 2019-03-11 WO PCT/JP2019/009800 patent/WO2019188222A1/ja unknown
- 2019-03-11 CN CN201980015520.0A patent/CN111771032B/zh active Active
- 2019-03-11 EP EP19777375.7A patent/EP3744909B1/en active Active
- 2019-03-11 US US16/971,707 patent/US11959255B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1088625A (ja) | 1996-09-13 | 1998-04-07 | Komatsu Ltd | 自動掘削機、自動掘削方法および自動積み込み方法 |
JP2008133657A (ja) * | 2006-11-28 | 2008-06-12 | Hitachi Constr Mach Co Ltd | 掘削・積込機械及び自動掘削方法 |
JP2010075798A (ja) * | 2008-09-24 | 2010-04-08 | Hitachi Constr Mach Co Ltd | 自走式処理機 |
JP2012225806A (ja) * | 2011-04-20 | 2012-11-15 | Toyota Central R&D Labs Inc | 道路勾配推定装置及びプログラム |
JP2017014726A (ja) * | 2015-06-29 | 2017-01-19 | 日立建機株式会社 | 作業機械の作業支援システム |
JP2017223511A (ja) * | 2016-06-14 | 2017-12-21 | 日本電信電話株式会社 | 道路構造化装置、道路構造化方法、及び道路構造化プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3744909A4 |
Also Published As
Publication number | Publication date |
---|---|
JP2019178599A (ja) | 2019-10-17 |
CN111771032B (zh) | 2022-11-18 |
EP3744909A4 (en) | 2021-11-10 |
JP7154026B2 (ja) | 2022-10-17 |
CN111771032A (zh) | 2020-10-13 |
US11959255B2 (en) | 2024-04-16 |
EP3744909B1 (en) | 2024-06-12 |
EP3744909A1 (en) | 2020-12-02 |
US20200385958A1 (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019188222A1 (ja) | 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 | |
JP7121532B2 (ja) | 積込機械の制御装置及び積込機械の制御方法 | |
JP7141843B2 (ja) | 作業機械の制御装置及び作業機械の制御方法 | |
JP6995687B2 (ja) | 積込機械の制御装置及び積込機械の制御方法 | |
JP7368536B2 (ja) | 作業機械 | |
JP2022063624A (ja) | 作業車両の制御システム、作業車両の制御方法、および作業車両 | |
WO2022196641A1 (ja) | 作業機械の制御システム及び作業機械の制御方法 | |
WO2022196639A1 (ja) | 作業機械の異常判定システム及び作業機械の異常判定方法 | |
WO2024127948A1 (ja) | 作業機械を含むシステム、作業機械の制御方法、および作業機械のコントローラ | |
WO2024127946A1 (ja) | 作業機械を含むシステム、作業機械の制御方法、および作業機械のコントローラ | |
WO2024127947A1 (ja) | 作業機械を含むシステム、作業機械の制御方法、および作業機械のコントローラ | |
JP2024043780A (ja) | 作業機械を含むシステム、および作業機械の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19777375 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019777375 Country of ref document: EP Effective date: 20200824 |