WO2021182284A1 - 作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ - Google Patents

作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ Download PDF

Info

Publication number
WO2021182284A1
WO2021182284A1 PCT/JP2021/008391 JP2021008391W WO2021182284A1 WO 2021182284 A1 WO2021182284 A1 WO 2021182284A1 JP 2021008391 W JP2021008391 W JP 2021008391W WO 2021182284 A1 WO2021182284 A1 WO 2021182284A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
machine
target
posture
estimation model
Prior art date
Application number
PCT/JP2021/008391
Other languages
English (en)
French (fr)
Inventor
実 清水
啓敬 新田目
正樹 大門
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CN202180013321.3A priority Critical patent/CN115053038B/zh
Priority to US17/799,050 priority patent/US20230106835A1/en
Priority to EP21768722.7A priority patent/EP4079971A4/en
Publication of WO2021182284A1 publication Critical patent/WO2021182284A1/ja

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2029Controlling the position of implements in function of its load, e.g. modifying the attitude of implements in accordance to vehicle speed
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/283Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a single arm pivoted directly on the chassis
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/431Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/431Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like
    • E02F3/434Control of dipper or bucket position; Control of sequence of drive operations for bucket-arms, front-end loaders, dumpers or the like providing automatic sequences of movements, e.g. automatic dumping or loading, automatic return-to-dig
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2221Control of flow rate; Load sensing arrangements
    • E02F9/2225Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2278Hydraulic circuits
    • E02F9/2292Systems with two or more pumps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Definitions

  • This disclosure relates to a work system, a method executed by a computer, a method of manufacturing a trained posture estimation model, and training data.
  • the work machine In the excavation work of the wheel loader, the work machine is pushed into the pile of earth and sand by moving the vehicle forward, and the work machine is raised. As a result, earth and sand are scooped up on the work machine.
  • Patent Document 1 a technique for automatically controlling the operation of a working machine has been proposed (see, for example, Patent Document 1).
  • the above document discloses a technique for automatically driving and controlling a boom from an operator's accelerator operation and bucket operation during excavation work. Accelerator operation with the operator's foot and lever operation with the right hand are required, and operator skill is required for smooth operation.
  • a work system a method executed by a computer, a method of manufacturing a trained posture estimation model, and learning data for obtaining a target posture of a work machine during work are provided.
  • a work system including a main body, a work machine attached to the main body, and a computer
  • the computer has a trained posture estimation model for determining the target posture of the working machine.
  • the computer acquires the target value of the amount of work by the work machine, the elapsed time from the start of work by the work machine, and the machine data related to the operation of the main body and the work machine, and uses the learned posture estimation model to obtain the target value and progress.
  • the estimated target attitude is output by estimating the target attitude from time and machine data.
  • a method performed by a computer includes the following processing.
  • the first process is to acquire the target value of the amount of work by the work machine attached to the main body, the elapsed time from the start of work by the work machine, and the machine data regarding the operation of the main body and the work machine.
  • the second process is to obtain the estimated target posture by estimating the target posture from the target value, the elapsed time, and the machine data by using the learned posture estimation model for obtaining the target posture of the working machine.
  • a method performed by a computer includes the following processing.
  • the first process is to acquire the target value of the amount of work by the work machine attached to the main body, the elapsed time from the start of work by the work machine, and the machine data regarding the operation of the main body and the work machine.
  • the second process is to select one learned posture estimation model from a plurality of learned posture estimation models for obtaining the target posture of the working machine based on the target value.
  • the third process is to obtain the estimated target posture by estimating the target posture from the elapsed time and the machine data by using the selected learned posture estimation model.
  • a method of manufacturing a trained posture estimation model includes the following processing.
  • the first process includes the amount of work by the work machine attached to the main body, the elapsed time from the start of work by the work machine, the machine data related to the operation of the main body and the work machine, and the posture data of the work machine during work. Is to acquire training data including.
  • the second process is to train the posture estimation model from the learning data.
  • learning data for training a posture estimation model for obtaining a target posture during work of a work machine attached to the main body includes the amount of work done by the work machine, the elapsed time from the start of work by the work machine, the machine data related to the operation of the main body and the work machine at the time of measuring the elapsed time, and the time when the elapsed time is measured. It is equipped with attitude data indicating the attitude of the work machine.
  • a method of manufacturing a trained posture estimation model includes the following processing.
  • the first process is to acquire the target value of the amount of work by the work machine attached to the main body, the elapsed time from the start of work by the work machine, and the machine data regarding the operation of the main body and the work machine.
  • the second process is to obtain the estimated target posture estimated from the target value, the elapsed time, and the machine data for the target posture of the working machine by using the first learned posture estimation model.
  • the third process is to train the second posture estimation model by the learning data including the elapsed time, the machine data, the target value, and the estimated target posture.
  • FIG. 1 is a side view of a wheel loader 1 as an example of a work machine based on an embodiment.
  • the wheel loader 1 includes a vehicle body frame 2, a working machine 3, a traveling device 4, and a cab 5.
  • the vehicle body of the wheel loader 1 is composed of the vehicle body frame 2, the cab 5, and the like.
  • a work machine 3 and a traveling device 4 are attached to the vehicle body of the wheel loader 1.
  • the traveling device 4 travels the vehicle body of the wheel loader 1, and includes traveling wheels 4a and 4b.
  • the wheel loader 1 can self-propell by rotating the traveling wheels 4a and 4b, and can perform a desired work by using the working machine 3.
  • the body frame 2 includes a front frame 2a and a rear frame 2b.
  • the front frame 2a and the rear frame 2b are attached so as to be swingable in the left-right direction.
  • a pair of steering cylinders 11 are attached to the front frame 2a and the rear frame 2b.
  • the steering cylinder 11 is a hydraulic cylinder.
  • the steering cylinder 11 expands and contracts due to the hydraulic oil from the steering pump 12 (see FIG. 2), so that the traveling direction of the wheel loader 1 is changed to the left and right.
  • the direction in which the wheel loader 1 travels straight is referred to as the front-rear direction of the wheel loader 1.
  • the front-rear direction of the wheel loader 1 the side on which the work machine 3 is arranged with respect to the vehicle body frame 2 is the front direction, and the side opposite to the front direction is the rear direction.
  • the left-right direction of the wheel loader 1 is a direction orthogonal to the front-rear direction in a plan view. Looking forward, the right and left sides of the left and right directions are the right direction and the left direction, respectively.
  • the vertical direction of the wheel loader 1 is a direction orthogonal to the plane defined by the front-rear direction and the left-right direction. In the vertical direction, the side with the ground is the lower side, and the side with the sky is the upper side.
  • a work machine 3 and a pair of traveling wheels (front wheels) 4a are attached to the front frame 2a.
  • the working machine 3 is arranged in front of the vehicle body.
  • the work machine 3 is driven by hydraulic oil from the work machine pump 13 (see FIG. 2).
  • the work machine pump 13 is a hydraulic pump that is driven by the engine 21 and operates the work machine 3 by the hydraulic oil discharged.
  • the work machine 3 includes a boom 14 and a bucket 6 which is a work tool.
  • the bucket 6 is arranged at the tip of the working machine 3.
  • the bucket 6 is an example of an attachment detachably attached to the tip of the boom 14. Depending on the type of work, the attachment can be replaced with a grapple, fork, or plow.
  • the base end of the boom 14 is rotatably attached to the front frame 2a by the boom pin 9.
  • the bucket 6 is rotatably attached to the boom 14 by a bucket pin 17 located at the tip of the boom 14.
  • the front frame 2a and the boom 14 are connected by a pair of boom cylinders 16.
  • the boom cylinder 16 is a hydraulic cylinder.
  • the base end of the boom cylinder 16 is attached to the front frame 2a.
  • the tip of the boom cylinder 16 is attached to the boom 14.
  • the boom 14 moves up and down as the boom cylinder 16 expands and contracts due to the hydraulic oil from the work equipment pump 13 (see FIG. 2).
  • the boom cylinder 16 rotates and drives the boom 14 up and down around the boom pin 9.
  • the working machine 3 further includes a bell crank 18, a bucket cylinder 19, and a link 15.
  • the bell crank 18 is rotatably supported by the boom 14 by a support pin 18a located substantially in the center of the boom 14.
  • the bucket cylinder 19 connects the bell crank 18 and the front frame 2a.
  • the link 15 is connected to a connecting pin 18c provided at the tip of the bell crank 18.
  • the link 15 connects the bell crank 18 and the bucket 6.
  • the bucket cylinder 19 is a hydraulic cylinder and a work tool cylinder.
  • the base end of the bucket cylinder 19 is attached to the front frame 2a.
  • the tip of the bucket cylinder 19 is attached to a connecting pin 18b provided at the base end of the bell crank 18.
  • the bucket cylinder 19 expands and contracts due to the hydraulic oil from the work equipment pump 13 (see FIG. 2), so that the bucket 6 rotates up and down.
  • the bucket cylinder 19 rotates and drives the bucket 6 around the bucket pin 17.
  • a cab 5 and a pair of traveling wheels (rear wheels) 4b are attached to the rear frame 2b.
  • the cab 5 is located behind the boom 14.
  • the cab 5 is mounted on the vehicle body frame 2.
  • a seat on which the operator of the wheel loader 1 sits, an operating device 8 described later, and the like are arranged.
  • FIG. 2 is a schematic block diagram showing a configuration of the wheel loader 1 based on the embodiment.
  • the wheel loader 1 includes an engine 21, a traveling device 4, a working machine pump 13, a steering pump 12, an operating device 8, a control device 10, a display unit 50, and the like as drive sources.
  • the engine 21 is, for example, a diesel engine.
  • a motor driven by a power storage body may be used instead of the engine 21, or both the engine and the motor may be used.
  • the engine 21 has a fuel injection pump 24.
  • the fuel injection pump 24 is provided with an electronic governor 25.
  • the output of the engine 21 is controlled by adjusting the amount of fuel injected into the cylinder. This adjustment is performed by controlling the electronic governor 25 by the control device 10.
  • the engine speed is detected by the engine speed sensor 91.
  • the detection signal of the engine speed sensor 91 is input to the control device 10.
  • the traveling device 4 is a device for traveling the wheel loader 1 by the driving force from the engine 21.
  • the traveling device 4 includes a power transmission device 23, the front wheels 4a and the rear wheels 4b described above, and the like.
  • the power transmission device 23 is a device that transmits the driving force from the engine 21 to the front wheels 4a and the rear wheels 4b, and is, for example, a transmission.
  • both the front wheels 4a attached to the front frame 2a and the rear wheels 4b attached to the rear frame 2b form driving wheels that receive a driving force to drive the wheel loader 1. ..
  • the power transmission device 23 shifts the rotation of the input shaft 27 and outputs it to the output shaft 28.
  • the output shaft 28 is provided with an output rotation speed sensor 92.
  • the output rotation speed sensor 92 detects the rotation speed of the output shaft 28.
  • the detection signal from the output rotation speed sensor 92 is input to the control device 10.
  • the control device 10 calculates the vehicle speed based on the detection signal of the output rotation speed sensor 92.
  • the driving force output from the power transmission device 23 is transmitted to the wheels 4a and 4b via the shaft 32 and the like. As a result, the wheel loader 1 runs. A part of the driving force from the engine 21 is transmitted to the traveling device 4, and the wheel loader 1 travels.
  • the power extraction unit 33 is a device that distributes the output of the engine 21 to a power transmission device 23 and a cylinder drive unit including a work machine pump 13 and a steering pump 12.
  • the work machine pump 13 and the steering pump 12 are hydraulic pumps driven by a driving force from the engine 21.
  • the hydraulic oil discharged from the work machine pump 13 is supplied to the boom cylinder 16 and the bucket cylinder 19 via the work machine control valve 34.
  • the hydraulic oil discharged from the steering pump 12 is supplied to the steering cylinder 11 via the steering control valve 35.
  • the work machine 3 is driven by a part of the driving force from the engine 21.
  • the first oil pressure detector 95 is attached to the boom cylinder 16.
  • the first oil pressure detector 95 detects the pressure of the hydraulic oil in the oil chamber of the boom cylinder 16.
  • the detection signal of the first oil pressure detector 95 is input to the control device 10.
  • the second oil pressure detector 96 is attached to the bucket cylinder 19.
  • the second oil pressure detector 96 detects the pressure of the hydraulic oil in the oil chamber of the bucket cylinder 19.
  • the detection signal of the second oil pressure detector 96 is input to the control device 10.
  • the first angle detector 29 is, for example, a potentiometer attached to the boom pin 9.
  • the first angle detector 29 detects the boom angle representing the lifting angle of the boom 14 with respect to the vehicle body.
  • the first angle detector 29 outputs a detection signal indicating the boom angle to the control device 10.
  • the boom reference line A is a straight line passing through the center of the boom pin 9 and the center of the bucket pin 17.
  • the boom angle ⁇ 1 is an angle formed by a horizontal line H extending forward from the center of the boom pin 9 and a boom reference line A.
  • the boom angle ⁇ 1 is positive.
  • the boom angle ⁇ 1 is negative.
  • the first angle detector 29 may be a stroke sensor arranged on the boom cylinder 16.
  • the second angle detector 48 is, for example, a potentiometer attached to the support pin 18a.
  • the second angle detector 48 detects the bell crank angle, which represents the angle of the bell crank 18 with respect to the boom 14.
  • the second angle detector 48 outputs a detection signal indicating the bell crank angle to the control device 10.
  • the bell crank reference line B is a straight line passing through the center of the support pin 18a and the center of the connecting pin 18b.
  • the bell crank angle ⁇ 2 is an angle formed by the boom reference line A and the bell crank reference line B.
  • the second angle detector 48 may detect the angle (bucket angle) of the bucket 6 with respect to the boom 14.
  • the bucket angle is an angle formed by a straight line passing through the center of the bucket pin 17 and the cutting edge 6a of the bucket 6 and the boom reference line A.
  • the second angle detector 48 may be a potentiometer or proximity switch attached to the bucket pin 17.
  • the second angle detector 48 may be a stroke sensor arranged in the bucket cylinder 19.
  • the operating device 8 is operated by an operator.
  • the operating device 8 includes a plurality of types of operating members that the operator operates to operate the wheel loader 1.
  • the operation device 8 includes an accelerator operation member 81a, a steering operation member 82a, a boom operation member 83a, a bucket operation member 84a, a speed change operation member 85a, and an FR operation member 86a.
  • the accelerator operating member 81a is operated to set the target rotation speed of the engine 21.
  • the accelerator operating member 81a is, for example, an accelerator pedal.
  • the accelerator operation detection unit 81b detects the operation amount of the accelerator operation member 81a.
  • the operating amount of the accelerator operating member 81a is referred to as an accelerator operating amount.
  • the accelerator operation detection unit 81b detects the accelerator operation amount.
  • the accelerator operation detection unit 81b outputs a detection signal to the control device 10.
  • the control device 10 controls the output of the engine 21 based on the detection signal from the accelerator operation detection unit 81b.
  • the steering operating member 82a is operated to control the moving direction of the vehicle.
  • the steering operating member 82a is, for example, a steering handle.
  • the steering operation detection unit 82b detects the position of the steering operation member 82a and outputs a detection signal to the control device 10.
  • the control device 10 controls the steering control valve 35 based on the detection signal from the steering operation detection unit 82b.
  • the steering cylinder 11 expands and contracts to change the traveling direction of the vehicle.
  • the boom operating member 83a is operated to operate the boom 14.
  • the boom operating member 83a is, for example, an operating lever.
  • the boom operation detection unit 83b detects the position of the boom operation member 83a.
  • the boom operation detection unit 83b outputs a detection signal to the control device 10.
  • the control device 10 controls the work equipment control valve 34 based on the detection signal from the boom operation detection unit 83b.
  • the boom cylinder 16 expands and contracts, and the boom 14 operates.
  • the bucket operating member 84a is operated to operate the bucket 6.
  • the bucket operating member 84a is, for example, an operating lever.
  • the bucket operation detection unit 84b detects the position of the bucket operation member 84a.
  • the bucket operation detection unit 84b outputs a detection signal to the control device 10.
  • the control device 10 controls the work machine control valve 34 based on the detection signal from the bucket operation detection unit 84b.
  • the bucket cylinder 19 expands and contracts, and the bucket 6 operates.
  • the shift operation member 85a is operated to set the shift by the power transmission device 23.
  • the speed change operating member 85a is, for example, a shift lever.
  • the shift operation detection unit 85b detects the position of the shift operation member 85a.
  • the shift operation detection unit 85b outputs a detection signal to the control device 10.
  • the control device 10 controls the power transmission device 23 based on the detection signal from the shift operation detection unit 85b.
  • the FR operating member 86a is operated to switch between forward and reverse of the vehicle.
  • the FR operating member 86a is switched to forward, neutral and reverse positions.
  • the FR operation detection unit 86b detects the position of the FR operation member 86a.
  • the FR operation detection unit 86b outputs a detection signal to the control device 10.
  • the control device 10 controls the power transmission device 23 based on the detection signal from the FR operation detection unit 86b to switch between the forward movement, the reverse movement, and the neutral state of the vehicle.
  • the display unit 50 receives an input of a command signal from the control device 10 and displays various information.
  • the various information displayed on the display unit 50 is, for example, information on the work executed by the wheel loader 1, vehicle body information such as the remaining fuel amount, the cooling water temperature and the hydraulic oil temperature, and a peripheral image of the periphery of the wheel loader 1. And so on.
  • the display unit 50 may be a touch panel. In this case, a signal generated when the operator touches a part of the display unit 50 is output from the display unit 50 to the control device 10.
  • the control device 10 is generally realized by reading various programs by a CPU (Central Processing Unit).
  • the control device 10 has a memory 10M and a timer 10T.
  • the memory 10M functions as a work memory and stores various programs for realizing the function of the wheel loader.
  • the control device 10 reads the current time from the timer 10T.
  • the control device 10 calculates, for example, the elapsed time from the start of the excavation work when the wheel loader 1 is executing the excavation work.
  • the control device 10 sends an engine command signal to the electronic governor 25 so that a target rotation speed corresponding to the operation amount of the accelerator operating member 81a can be obtained.
  • the control device 10 determines the fuel consumption per unit operating time of the engine 21, the fuel consumption per unit mileage of the wheel loader 1, and the fuel consumption per unit mileage of the wheel loader 1, based on the fuel supply amount to the engine 21 that fluctuates according to the control of the electronic governor 25. , The fuel consumption per unit load weight in the bucket 6 can be calculated.
  • the control device 10 calculates the vehicle speed of the wheel loader 1 based on the detection signal of the output rotation speed sensor 92.
  • the control device 10 reads a map defining the relationship between the vehicle speed of the wheel loader 1 and the traction force from the memory 10M, and calculates the traction force based on the map.
  • the control device 10 receives an input of an engine speed detection signal from the engine speed sensor 91.
  • the control device 10 reads a map defining the relationship between the engine speed and the engine torque from the memory 10M, and calculates the engine torque based on the map.
  • the traction force and engine torque may be calculated in a form different from the map reference.
  • the traction force and the engine torque may be calculated by referring to a table or calculating by a mathematical formula.
  • the control device 10 automatically controls the operations of the boom 14 and the bucket 6. Details of this automatic control will be described later.
  • FIG. 3 is a diagram illustrating an excavation operation by the wheel loader 1 based on the embodiment.
  • the wheel loader 1 raises the bucket 6 along the bucket locus L as shown by the curved arrow in FIG. 3 after the cutting edge 6a of the bucket 6 is made to bite into the excavation object 100. .. As a result, the excavation work of scooping the excavation object 100 into the bucket 6 is executed.
  • the wheel loader 1 of the present embodiment executes an excavation operation of scooping the excavation object 100 into the bucket 6 and a loading operation of loading the load (excavation object 100) in the bucket 6 into a transport machine such as a dump truck. ..
  • the wheel loader 1 excavates the excavation object 100 by repeating the following plurality of work processes in sequence, and loads the excavation object 100 into a transport machine such as a dump truck.
  • the first process is an empty load advancing process that advances toward the excavation object 100.
  • the second step is an excavation (pushing) step of advancing the wheel loader 1 until the cutting edge 6a of the bucket 6 bites into the excavation object 100.
  • the third step is an excavation (scooping) step in which the boom cylinder 16 is operated to raise the bucket 6 and the bucket cylinder 19 is operated to tilt back the bucket 6.
  • the fourth step is a load reverse step in which the wheel loader 1 is moved backward after the excavation object 100 is scooped into the bucket 6.
  • the fifth step is a cargo advancing step in which the wheel loader 1 is advanced to approach the dump truck while maintaining the state in which the bucket 6 is raised or while raising the bucket 6.
  • the sixth step is a soil removal step of dumping the bucket 6 at a predetermined position and loading the excavation object 100 onto the dump truck bed.
  • the seventh step is a reverse / boom lowering step of lowering the boom 14 while moving the wheel loader 1 backward and returning the bucket 6 to the excavation posture.
  • the current work process of the wheel loader 1 is the excavation process and the work machine 3 is in the excavation work, or whether the current work process is not the excavation process and the work machine is in the excavation work, for example, before and after the wheel loader 1.
  • the determination can be made by using a combination of the operator's operation for advancing, the operator's operation for the work machine 3, and the judgment conditions for the current hydraulic pressure of the cylinder of the work machine 3.
  • FIG. 4 is a schematic view showing the configuration of the computer 102A included in the work system.
  • the angle of the boom 14 (boom angle ⁇ 1, This is a system for obtaining a target value between FIG. 1) and the angle of the bell crank 18 with respect to the boom 14 (bell crank angle ⁇ 2, FIG. 1).
  • the computer 102A shown in FIG. 4 constitutes a part of the control device 10 shown in FIG.
  • the computer 102A may be a computer specifically designed for the system according to the embodiment, or may be a general-purpose personal computer (PC).
  • the computer 102A has a processor 103, a storage device 104, a communication interface 105, and an I / O interface 106.
  • the processor 103 is, for example, a CPU.
  • the storage device 104 includes a medium for storing information such as stored programs and data so that the processor 103 can read the information.
  • the storage device 104 includes a system memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory), and an auxiliary storage device.
  • the auxiliary storage device may be, for example, a magnetic recording medium such as a hard disk, an optical recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc), or a semiconductor memory such as a flash memory.
  • the storage device 104 may be built in the computer 102A.
  • the storage device 104 may include an external recording medium 109 that is detachably connected to the computer 102A.
  • the external recording medium 109 may be a CD-ROM.
  • the communication interface 105 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing communication via a communication network.
  • the I / O interface 106 is, for example, a USB (Universal Serial Bus) port or the like, and is an interface for connecting to an external device.
  • the computer 102A is connected to the input device 107 and the output device 108 via the I / O interface 106.
  • the input device 107 is a device for the user to input to the computer 102A.
  • the input device 107 includes a pointing device such as a mouse or a trackball, for example.
  • the input device 107 may include a device for inputting characters such as a keyboard.
  • the output device 108 includes, for example, a display (display unit 50, FIG. 2).
  • FIG. 5 is a block diagram showing the system configuration of the wheel loader 1 before shipment.
  • the processor 103 and the storage device 104 shown in FIG. 5 form a part of the computer 102A shown in FIG.
  • the processor 103 has a calculation unit 161.
  • the calculation unit 161 receives an input of a detection signal for detecting the pressure of the hydraulic oil in the oil chamber of the boom cylinder 16 from the first oil pressure detector 95.
  • the calculation unit 161 receives an input of a detection signal for detecting the accelerator operation amount from the accelerator operation detection unit 81b.
  • the calculation unit 161 receives an input of a detection signal that detects the rotation speed of the output shaft 28 from the output rotation speed sensor 92.
  • the calculation unit 161 calculates the vehicle speed of the wheel loader 1 based on the detection signal of the output rotation speed sensor 92.
  • the calculation unit 161 receives an input of a detection signal for detecting the engine speed from the engine speed sensor 91.
  • the calculation unit 161 calculates the fuel supply amount to the engine 21 based on the accelerator operation amount.
  • the calculation unit 161 calculates the amount of the excavation object 100 such as earth and sand loaded into the bucket 6 based on the oil pressure in the oil chamber of the boom cylinder 16. Further, the calculation unit 161 calculates the loading amount (that is, the fuel consumption rate) of the excavation object 100 per the fuel supply amount.
  • the excavation work corresponds to the work by the work machine 3 in the embodiment.
  • the excavated soil amount corresponds to the work amount by the work machine 3 in the embodiment.
  • FIG. 6 is a graph showing an example of the relationship between the boom angle ⁇ 1 and the boom pressure P ⁇ for each amount of excavated soil.
  • the horizontal axis is the boom angle ⁇ 1
  • the vertical axis is the boom pressure P ⁇ .
  • the boom pressure P ⁇ refers to the pressure of the hydraulic oil in the oil chamber of the boom cylinder 16 detected by the first oil pressure detector 95.
  • curves A, B, and C show the case where the bucket 6 is empty, 1/2 loaded, and full loaded, respectively.
  • the horizontal axis is the boom pressure P ⁇
  • the vertical axis is the excavated soil volume W.
  • the excavated soil volume WN at time mk can be determined by performing linear interpolation.
  • the method of calculating the amount of excavated soil in the bucket 6 is not limited to the examples shown in FIGS. 6 and 7.
  • the differential pressure between the head pressure and the bottom pressure of the bucket cylinder 19, the bell crank angle ⁇ 2, the dimensions of the working machine 3, etc. are determined by the amount of excavated soil in the bucket 6.
  • the calculation unit 161 calculates the traction force based on the vehicle speed of the wheel loader 1 with reference to the map defining the relationship between the vehicle speed of the wheel loader 1 and the traction force.
  • the calculation unit 161 calculates the engine torque based on the engine speed with reference to the map that defines the relationship between the engine speed and the engine torque.
  • the oil pressure of the boom cylinder 16, the accelerator operation amount, the vehicle speed, the engine speed, the fuel consumption rate, the traction force, and the engine torque are included in the machine data related to the operation of the work machine main body (body) and the work machine 3.
  • the machine data includes data related to the running of the work vehicle body such as accelerator operation amount, vehicle speed, engine speed, traction force and engine torque.
  • the processor 103 has a timer 162.
  • the calculation unit 161 reads the current time from the timer 162, and calculates the elapsed time from the start of the excavation work when the wheel loader 1 is executing the excavation work.
  • the fact that the excavation work has started means that the cutting edge 6a of the bucket 6 plunges into the excavation object 100 and the excavation object enters the bucket 6.
  • the boom angle ⁇ 1 and the bell crank angle ⁇ 2 are used. It is judged by confirming.
  • the work start time may be determined based on the load received by the boom cylinder 16 in the work.
  • the start of the work may be determined based on the imaging data obtained by photographing the periphery of the wheel loader 1 with the imaging device.
  • the completion of the excavation work that is, the shift of the work process of the wheel loader 1 from the excavation (scooping) process to the load reverse process, means that the traveling direction of the wheel loader 1 changes from the forward direction to the reverse direction. Moreover, it is determined by detecting that the operation of the bucket 6 has become neutral from the tilt back for scooping the excavation object 100.
  • the processor 103 has an angle detection unit 163.
  • the angle detection unit 163 receives an input of a detection signal for detecting the boom angle ⁇ 1 from the first angle detector 29.
  • the angle detection unit 163 receives an input of a detection signal for detecting the bell crank angle ⁇ 2 from the second angle detector 48.
  • the boom angle ⁇ 1 and bell crank angle ⁇ 2 detected at a certain time during the excavation work are the elapsed time from the start of the excavation work at that time, the mechanical data acquired at that time, and the amount of excavated soil due to the excavation work. , And stored in the storage device 104 as learning data.
  • the storage device 104 stores a learning data set 188 for training the target posture estimation model 180.
  • the learning data set 188 sets the posture (boom angle ⁇ 1 and boom angle ⁇ 1 and It contains a plurality of training data labeled with the bell crank angle ⁇ 2).
  • the processor 103 has a target posture estimation unit 165.
  • the target posture estimation model 180 is stored in the storage device 104.
  • the target posture estimation model 180 is an artificial intelligence model for obtaining the target posture of the work machine 3 during excavation work.
  • the target posture estimation model 180 is configured to obtain the target posture of the work machine 3 during the excavation work from the target excavated soil amount by the excavation work, the elapsed time from the start of the excavation work, and the machine data.
  • the computer 102A estimates the target posture of the work machine 3 during the excavation work by using the target posture estimation model 180 of artificial intelligence.
  • the target posture estimation unit 165 uses the target posture estimation model 180 to obtain an estimated target posture that estimates the target posture of the work equipment 3 from the target excavated soil volume, elapsed time, and machine data.
  • the target attitude estimation unit 165 reads the target attitude estimation model 180 from the storage device 104, the target excavated soil amount by the excavation work, the elapsed time from the start of the work calculated by the calculation unit 161 and the machine. By inputting the data into the target posture estimation model 180, the output of the estimation results of the boom angle ⁇ 1 and the bell crank angle ⁇ 2 to be targeted is obtained.
  • the target posture estimation model 180 includes a neural network.
  • the target attitude estimation model 180 includes a deep neural network such as a convolutional neural network (CNN), for example.
  • CNN convolutional neural network
  • the model in the embodiment may be implemented in hardware, software that can be executed on the hardware, firmware, or a combination thereof.
  • the model may include programs, algorithms, and data executed by processor 103.
  • the functions of the model may be performed by a single module or may be distributed across multiple modules. Models may be distributed across multiple computers.
  • the processor 103 has an error calculation unit 166 and a target posture estimation model update unit 167.
  • the error calculation unit 166 selects learning data corresponding to the elapsed time and machine data calculated by the calculation unit 161.
  • the error calculation unit 166 compares the estimation results of the boom angle ⁇ 1 and the bell crank angle ⁇ 2 estimated by the target posture estimation unit 165 with the boom angle ⁇ 1 and the bell crank angle ⁇ 2 included in the selected learning data.
  • the error calculation unit 166 calculates the error of the estimation result of the boom angle ⁇ 1 and the bell crank angle ⁇ 2 estimated by the target posture estimation unit 165 with respect to the values of the boom angle ⁇ 1 and the bell crank angle ⁇ 2 included in the learning data.
  • the target posture estimation model update unit 167 updates the target posture estimation model 180 based on the errors of the boom angle ⁇ 1 and the bell crank angle ⁇ 2 calculated by the error calculation unit 166. In this way, the target posture estimation model 180 is trained. The learning of the target posture estimation model 180 is performed at the factory before the wheel loader 1 is shipped.
  • FIG. 8 is a flowchart showing a manufacturing method of the trained target posture estimation model 180.
  • FIG. 9 is a schematic view showing a process for training the target posture estimation model 180. Although there is some overlap with the contents described with reference to FIG. 5, with reference to FIGS. 8 and 9, regarding the process for learning the target posture estimation model 180 for estimating the target posture of the work machine 3 during the excavation work. This will be described below.
  • step S101 the amount of the excavation object 100 scooped up by the bucket 6 in a certain excavation work, that is, the amount of excavated soil is acquired.
  • the computer 102A more specifically, the calculation unit 161 calculates the boom pressure P ⁇ at the time when a certain excavation work is completed based on the detection result of the first oil pressure detector 95.
  • the calculation unit 161 calculates the amount of excavated soil in the bucket 6 based on the boom pressure P ⁇ at the end of excavation, for example, referring to FIGS. 6 and 7.
  • step S102 regarding the excavation work for which the amount of excavated soil was calculated in the previous step S101, the elapsed time from the start of excavation and the machine data at a certain time during the excavation work are acquired.
  • step S103 the work machine posture data at that time is acquired.
  • the calculation unit 161 calculates the elapsed time from the start of the excavation work at a certain time during the excavation work. Further, the calculation unit 161 calculates machine data at the time based on the detection results of various sensors including the first oil pressure detector 95, the accelerator operation detection unit 81b, the output rotation speed sensor 92, and the engine rotation speed sensor 91. ..
  • the angle detection unit 163 detects the boom angle ⁇ 1 and the bell crank angle ⁇ 2 at the time based on the detection results of the first angle detector 29 and the second angle detector 48.
  • the learning data may further include data manually input by the operator, soil quality and inclination angle of the excavation object 100, and imaging data obtained by imaging the periphery of the wheel loader 1 with an imaging device.
  • step S104 the target posture of the work machine 3 is output.
  • the computer 102A more specifically, the target posture estimation unit 165, reads the target posture estimation model 180 from the storage device 104.
  • the target attitude estimation model 180 includes the neural network shown in FIG.
  • the neural network includes an input layer 181, an intermediate layer (hidden layer) 182, and an output layer 183.
  • the intermediate layer 182 is multi-layered.
  • the input layer 181 and the intermediate layer 182 and the output layer 183 have one or more units (neurons). The number of units of the input layer 181 and the intermediate layer 182 and the output layer 183 can be appropriately set.
  • Units in adjacent layers are connected to each other, and weights are set for each connection.
  • a bias is set for each unit.
  • a threshold is set for each unit. The output value of each unit is determined by whether or not the value obtained by adding the bias to the sum of the products of the input values and the weights for each unit exceeds the threshold value.
  • the target posture estimation model 180 is learned to obtain the target posture of the working machine 3 during work from the excavated soil amount, the elapsed time from the start of excavation work, and the machine data.
  • the parameters of the target posture estimation model 180 obtained by learning are stored in the storage device 104.
  • the parameters of the target posture estimation model 180 are, for example, the number of layers of the neural network, the number of units in each layer, the connection relationship between units, the weight of the connection between each unit, the bias associated with each unit, and each unit. Includes the threshold of.
  • the target attitude estimation unit 165 inputs the excavated soil amount, elapsed time, and machine data calculated by the calculation unit 161 into the input layer 181. From the output layer 183, an output value indicating the target posture of the work machine 3, specifically, the boom angle ⁇ 1 and the bell crank angle ⁇ 2 is output.
  • the computer 102A uses the excavated soil volume, the elapsed time, and the machine data as inputs of the input layer 181 to perform arithmetic processing of the forward propagation of the neural network of the target attitude estimation model 180. As a result, the computer 102A obtains an estimated target posture that estimates the target posture of the working machine 3 as an output value output from the output layer 183 of the neural network.
  • step S103 and the process of step S104 do not have to be the process of step S104 after the process of step S103.
  • the process of step S103 and the process of step S104 may be performed at the same time, or the process of step S103 may be performed after the process of step S104.
  • step S105 the difference between the target posture of the work machine 3 output in step S104 and the work machine posture data acquired in step S103 is calculated.
  • the computer 102A more specifically, the error calculation unit 166, outputs the estimated target posture that estimates the target posture of the work machine 3 output from the output layer 183 of the target posture estimation model 180, and the work machine included in the corresponding learning data.
  • the error of the estimated target posture with respect to the work equipment posture data is calculated by comparing with the posture of 3.
  • the computer 102A uses the amount of excavated soil from the excavation work, the elapsed time from the start of the work at a certain time during the excavation work, and the machine data at that time as input data, and indicates the posture of the work machine 3 at that time.
  • the target posture estimation model 180 is trained using the data (boom angle ⁇ 1 and bell crank angle ⁇ 2) as training data. From the calculated output value error, the computer 102A calculates the error of the coupling weight between each unit, the bias of each unit, and the threshold value of each unit by backpropagation.
  • step S106 the target posture estimation model 180 is updated.
  • the computer 102A more specifically, the target posture estimation model update unit 167, is calculated between the units based on the error of the estimated target posture with respect to the posture of the work machine 3 obtained by the angle detection unit 163, which is calculated by the error calculation unit 166.
  • Update the parameters of the target attitude estimation model 180 such as the weight of the coupling, the bias of each unit, and the threshold of each unit. Then, when the same elapsed time and machine data are input to the input layer 181 so that an output value closer to the posture data indicating the posture of the work machine 3 can be output.
  • the updated parameters of the target attitude estimation model 180 are stored in the storage device 104.
  • the excavated soil amount, elapsed time and machine data are input to the updated target posture estimation model 180, and the output of the estimated target posture of the work machine 3 is obtained.
  • the computer 102A steps until the estimated target posture of the work machine 3 output by the target posture estimation model 180 matches the posture data indicating the posture of the work machine 3 at the time when the elapsed time and the machine data are acquired.
  • the process from S101 to step S105 is repeated. In this way, the parameters of the target posture estimation model 180 are optimized, and the target posture estimation model 180 is learned.
  • the computer 102A finishes the training of the target posture estimation model 180. In this way, the trained target posture estimation model 180 is created. Then, the process ends (“end” in FIG. 8).
  • the initial values of various parameters of the target posture estimation model 180 may be given by a template. Alternatively, the initial values of the parameters may be given manually by human input.
  • the computer 102A prepares initial values of the parameters based on the values stored in the storage device 104 as the parameters of the target posture estimation model 180 to be relearned. You may.
  • FIG. 10 is a block diagram showing a system configuration of the wheel loader 1 shipped from the factory.
  • the factory-shipped wheel loader 1 includes a computer 102B instead of the computer 102A shown in FIG.
  • the computer 102B has a processor 103 and a storage device 104.
  • the processor 103 has a calculation unit 161, a timer 162, and a target posture estimation unit 165, which are similar to those in FIG.
  • the processor 103 also has a boom control unit 168 and a bucket control unit 169.
  • the processor 103 does not have the angle detection unit 163, the error calculation unit 166, and the target attitude estimation model update unit 167 shown in FIG.
  • the storage device 104 has a trained target posture estimation model 180.
  • the storage device 104 does not have the learning data set 188 shown in FIG.
  • FIG. 11 is a flowchart showing a process executed by the computer 102B in order to estimate the target posture of the work machine 3 after shipment from the factory.
  • FIG. 12 is a schematic diagram showing a process of obtaining an estimated target posture using a target posture estimation model 180 that has been trained to obtain a target posture of the work machine 3 from the elapsed time from the start of work and machine data. The process of estimating the target posture of the work machine 3 during the excavation work after the factory shipment will be described below with reference to FIGS. 10 to 12.
  • step S201 the target excavated soil amount by excavation work is acquired.
  • the operator of the wheel loader 1 may input the target excavated soil amount to the processor 103 by operating the input device 107 (FIG. 4).
  • the weight of the excavation object 100 already loaded on the dump truck may be obtained as an integrated value of the excavated soil amount calculated with reference to FIGS. 6 and 7, or a weight sensor provided on the dump truck. May be detected by.
  • step S202 the elapsed time and machine data are acquired.
  • the computer 102B more specifically, the calculation unit 161 calculates the elapsed time from the start of the excavation work at a certain time during the excavation work. Further, the calculation unit 161 calculates machine data at the time based on the detection results of various sensors including the first oil pressure detector 95, the accelerator operation detection unit 81b, the output rotation speed sensor 92, and the engine rotation speed sensor 91. ..
  • the input data 191 shown in FIG. 12 includes a target excavated soil volume, an elapsed time, and mechanical data.
  • step S203 the target posture of the work machine 3 is estimated.
  • the computer 102B more specifically, the target posture estimation unit 165, acquires the trained target posture estimation model 180 by reading the target posture estimation model 180 and the optimum values of the learned parameters from the storage device 104.
  • the target attitude estimation unit 165 uses the target excavated soil volume, elapsed time, and mechanical data as input data 191 to the target attitude estimation model 180.
  • the target attitude estimation unit 165 inputs the target excavated soil volume, elapsed time, and machine data to each unit included in the input layer 181 of the trained target attitude estimation model 180.
  • Estimated target posture that estimates the target posture of the work equipment 3 during excavation work from the output layer 183 of the trained target posture estimation model 180, specifically, the angle output value 197 including the boom angle ⁇ 1 and the bell crank angle ⁇ 2 ( FIG. 12) is output.
  • step S204 the computer 102B operates the work machine 3 based on the estimated target posture.
  • the target boom angle ⁇ 1 is output from the target posture estimation unit 165 to the boom control unit 168.
  • the boom control unit 168 outputs a control signal to the boom cylinder 16 based on the target boom angle ⁇ 1.
  • By expanding or contracting the boom cylinder 16 that receives the control signal automatic control is performed to operate the boom 14 so that the actual value of the boom angle ⁇ 1 approaches the target value.
  • the target bell crank angle ⁇ 2 is output from the target posture estimation unit 165 to the bucket control unit 169.
  • the bucket control unit 169 outputs a control signal to the bucket cylinder 19 based on the target bell crank angle ⁇ 2. By expanding or contracting the bucket cylinder 19 that receives the control signal, automatic control is performed to operate the bucket 6 so that the actual value of the bell crank angle ⁇ 2 approaches the target value.
  • step S205 the computer 102B generates management data including the posture of the work machine 3.
  • the computer 102B records the management data in the storage device 104. Then, the process ends (“end” in FIG. 11).
  • the computer 102B has a learned target posture estimation model 180 for obtaining the target posture of the work machine 3 during the excavation work. As shown in FIGS. 10 to 12, the computer 102B acquires the target excavated soil amount by the excavation work, the elapsed time from the start of the work at a certain time during the excavation work, and the machine data, and has learned the target.
  • the attitude estimation model 180 is programmed to obtain an estimated target attitude that estimates the target attitude of the work equipment 3 from the target excavated soil volume, elapsed time, and machine data.
  • the target posture of the work machine 3 during the excavation work can be estimated by using the target posture estimation model 180 of artificial intelligence suitable for estimating the target posture of the work machine 3.
  • the target posture of the work machine 3 can be easily and accurately obtained by the computer 102B using artificial intelligence.
  • the target posture of the work machine 3 is obtained based on the target excavated soil amount, and the appropriate posture of the work machine 3 corresponding to the specific excavated soil amount is estimated.
  • the work machine 3 By controlling the work machine 3 so as to have the estimated target posture, it is possible to automatically and accurately excavate the excavated soil amount of the designated target. Since the amount of soil automatically excavated can be adjusted in this way, the weight loaded on the dump truck can be adjusted, and the excavation target 100 with the maximum load capacity of the dump truck can be efficiently excavated in each excavation and loading operation. Can be loaded onto a dump truck. Therefore, productivity can be improved.
  • the computer 102A uses the target posture estimation model 180 to estimate the target posture of the work machine 3 from the amount of excavated soil, the elapsed time from the start of the excavation work, and the machine data, and learns the estimated target posture.
  • the target posture estimation model 180 is programmed to be updated based on the error from the posture data of the work machine 3 during work included in the data. By doing so, it is possible to sufficiently learn the target posture estimation model 180 before shipping from the factory and create a highly accurate target posture estimation model 180.
  • the wheel loader 1 after shipment from the factory may include a first angle detector 29, a second angle detector 48, and an angle detection unit 163. In this case, it is also possible to additionally learn the target posture estimation model 180 after shipping from the factory.
  • the wheel loader 1 may have a boom 14 connected to the front frame 2a and a bucket 6 connected to the boom 14.
  • the target values of the boom angle ⁇ 1 and the bell crank angle ⁇ 2 can be estimated from the elapsed time from the start of work and the machine data.
  • FIG. 13 is a schematic view showing a first modification regarding learning of the target posture estimation model 180.
  • one target posture estimation model 180 is used from a plurality of learning data 188A, 188B, 188C, ... An example of generating has been described.
  • the learning data group 188Ga includes the elapsed time from the start of the excavation work and the machine data and the work machine attitude data at that time when the excavation work in which the excavated soil amount is included in the range PL1 is performed.
  • the learning data group 188 Gb includes the elapsed time from the start of the excavation work and the machine data and the work machine attitude data at that time when the excavation work in which the excavated soil amount is included in the range PL2 is performed.
  • the learning data group 188 Gc includes the elapsed time from the start of the excavation work and the machine data and the work machine attitude data at that time when the excavation work in which the excavated soil amount is included in the range PL3 is performed.
  • the same processing as steps S102 to S106 in the flowchart of FIG. 8 is performed to create a target posture estimation model 180A corresponding to the excavated soil volume PL1.
  • the target posture estimation model 180B corresponding to the excavated soil volume PL2 is created by performing the same processing as steps S102 to S106 in the flowchart of FIG. 8 using the learning data group 188Gb.
  • the target posture estimation model 180C corresponding to the excavated soil volume PL3 is created by performing the same processing as steps S102 to S106 in the flowchart of FIG. 8 using the learning data group 188 Gc.
  • FIG. 14 is a flowchart showing a modified example of the process executed by the computer 102B in order to estimate the target posture of the work machine 3 after shipment from the factory.
  • step S201A a process of selecting a target posture estimation model based on the acquired target excavated soil amount is performed.
  • the target attitude estimation model 180A is selected. If the target excavated soil volume for excavation work is included in the range PL2, the target attitude estimation model 180B is selected. If the target excavated soil volume for excavation work is included in the range PL3, the target attitude estimation model 180C is selected.
  • the target posture of the work machine 3 is estimated by inputting the elapsed time from the start of work and the machine data into the selected target posture estimation model.
  • the work machine can be processed with simpler processing.
  • the target posture of 3 can be estimated.
  • FIG. 15 is a schematic view showing a second modification regarding learning of the target posture estimation model 180.
  • the learning data for training the target posture estimation model 180 may be collected from a plurality of wheel loaders 1.
  • the first wheel loader 1 (wheel loader 1A), the second wheel loader 1 (wheel loader 1B), the third wheel loader 1 (wheel loader 1C), and the fourth wheel loader shown in FIG. 1 (wheel loader 1D) is the same model.
  • the wheel loaders 1A, 1B, and 1C are shipped from the factory and are at the work site.
  • the computer 102A acquires the elapsed time from the start of the work at a certain time during the excavation work and the machine data at that time from each of the wheel loaders 1A, 1B, 1C.
  • the computer 102A also acquires work machine posture data (boom angle ⁇ 1 and bell crank angle ⁇ 2) at the time from each wheel loader 1A, 1B, 1C in association with elapsed time and machine data.
  • the computer 102A extracts excavated soil volume, elapsed time, machine data, and work machine attitude data in a plurality of excavation operations by the wheel loaders 1A, 1B, and 1C, and collects them as learning data.
  • the computer 102A uses the target posture estimation model 180 so that the estimated target posture obtained by estimating the target posture of the work equipment 3 from the target excavated soil volume, elapsed time, and machine data can be obtained. Let them learn.
  • the computer 102A may acquire elapsed time, machine data, and work machine posture data from the wheel loaders 1A, 1B, and 1C via the communication interface 105 (FIG. 4). Alternatively, the computer 102A may acquire elapsed time, machine data, and work machine posture data from the wheel loaders 1A, 1B, and 1C via the external recording medium 109.
  • the computer 102A may be arranged at the same work site as the wheel loaders 1A, 1B, 1C. Alternatively, the computer 102A may be located in a remote location away from the work site, for example, a management center.
  • the wheel loaders 1A, 1B, and 1C may be located at the same work site or may be located at different work sites.
  • the trained target posture estimation model 180 is provided to each wheel loader 1A, 1B, 1C via a communication interface 105, an external recording medium 109, or the like. In this way, each of the wheel loaders 1A, 1B, 1C is provided with the trained target posture estimation model 180.
  • the stored target attitude estimation model 180 is rewritten.
  • the target posture estimation model 180 may be rewritten periodically.
  • the latest updated values of the parameters of the target posture estimation model 180 are stored in the storage device 104 each time.
  • the trained target attitude estimation model 180 is also provided to the wheel loader 1D.
  • the target posture estimation model 180 is provided for both the wheel loaders 1A, 1B, 1C that provide the learning data and the wheel loaders 1D that do not provide the learning data.
  • the wheel loader 1D may be in the same work site as any one of the wheel loaders 1A, 1B, 1C, or may be in a different work site from the wheel loaders 1A, 1B, 1C.
  • the wheel loader 1D may be shipped from the factory.
  • the target posture estimation model 180 described above is not limited to the model learned by machine learning using the learning data 188A, 188B, 188C, ..., And may be a model generated by using the learned model. ..
  • the target posture estimation model 180 may be another trained model (distillation model) trained based on the result obtained by repeating the input / output of data to the trained model.
  • FIG. 16 is a flowchart showing a process for generating a distillation model.
  • step S301 the excavated soil amount is acquired.
  • step S302 the elapsed time and machine data are acquired. Similar to steps S101 and S102 shown in FIG. 6, the calculation unit 161 calculates the amount of excavated soil by the excavation work, calculates the elapsed time from the start of the excavation work at a certain time during the excavation work, and at that time. Calculate machine data.
  • step S303 the computer 102A obtains an estimated target posture that estimates the target posture of the work machine 3 during the excavation work by using the learned first target posture estimation model.
  • step S304 the computer 102A outputs the estimated target posture of the working machine 3.
  • the computer 102A more specifically, the target posture estimation unit 165, reads the learned first target posture estimation model from the storage device 104.
  • the target posture estimation unit 165 inputs the excavated soil amount, elapsed time, and machine data calculated by the calculation unit 161 into the input layer 181 of the trained first target posture estimation model. From the output layer 183 of the trained first target posture estimation model, the target posture of the work machine 3 during the excavation work, specifically, the estimated target posture indicating the boom angle ⁇ 1 and the bell crank angle ⁇ 2 is output.
  • step S305 the computer 102A stores the excavated soil amount, elapsed time, and machine data acquired in steps S301 and S302 and the target posture of the working machine 3 output in step S304 as learning data in the storage device 104. do.
  • step S306 the computer 102A learns the second target posture estimation model by the learning model.
  • the computer 102A inputs the excavated soil volume, elapsed time and machine data into the input layer of the second target attitude estimation model.
  • the computer 102A outputs an output value indicating the estimation results of the target posture of the work machine 3 during the excavation work, specifically, the boom angle ⁇ 1 and the bell crank angle ⁇ 2, from the output layer of the second target posture estimation model.
  • the computer 102A updates the parameters of the second target attitude estimation model. In this way, the learning of the second target posture estimation model is performed.
  • step S307 the updated parameters of the second target posture estimation model are stored in the storage device 104 as learned parameters. Then, the process ends (“end” in FIG. 16).
  • the second target is the excavated soil volume, elapsed time, and machine data, and the estimated target posture in which the target posture of the work equipment 3 is estimated using the first target posture estimation model, as learning data.
  • the computer 102A uses the second target attitude estimation model, which is simpler than the first target attitude estimation model, to determine the target attitude of the work equipment 3 during the excavation work. Can be estimated.
  • the load on the computer 102A for estimating the target posture of the work machine 3 can be reduced.
  • the computer 102A may learn the second target posture estimation model by using the learning data generated by another computer.
  • the target posture estimation model 180 includes a neural network. Not limited to this, the target posture estimation model 180 can accurately estimate the target posture of the working machine 3 from the elapsed time from the start of work and the machine data by using machine learning such as a support vector machine and a decision tree. It may be a model.
  • the work machine to which the idea of the present disclosure can be applied is not limited to the wheel loader, and may be a work machine having a work machine such as a hydraulic excavator or a bulldozer.
  • the mechanical data input to the target attitude estimation model may include the oil pressure of the boom cylinder, the oil pressure of the arm cylinder, the engine torque, the engine speed, the hydraulic pump capacity, and the like.
  • the estimated target posture of the work machine output by the target posture estimation model may include the angle of the boom with respect to the vehicle body, the angle of the arm with respect to the boom, and the angle of the bucket with respect to the arm.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Operation Control Of Excavators (AREA)
  • Feedback Control In General (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

作業中の作業機の目標姿勢を求める。本体と、本体に取り付けられた作業機と、コンピュータとを備える、作業システムが提供される。コンピュータは、作業中の作業機の目標姿勢を求めるための、学習済みの目標姿勢推定モデル(180)を有している。コンピュータは、作業機による作業量の目標値と、作業機による作業開始からの経過時間と、本体および作業機の動作に関する機械データとを取得し、学習済み姿勢推定モデル(180)を用いて目標値、経過時間および機械データから目標姿勢を推定した推定目標姿勢を出力する。

Description

作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ
 本開示は、作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データに関する。
 ホイールローダの掘削作業においては、車両を前進させることにより作業機を土砂の山に押し込むと共に、作業機を上昇させる。これにより、土砂が作業機上に掬い取られる。
 従来、効率的な掘削作業を実行するため、作業機の動作を自動制御する技術が提案されている(たとえば、特許文献1参照)。
特開2018-135649号公報
 上記文献には、掘削作業時に、オペレータのアクセル操作およびバケット操作から、自動的にブームを駆動制御する技術が開示されている。オペレータの足によるアクセル操作と右手によるレバー操作とが必要であり、円滑な操作のためにはオペレータの熟練が要求される。
 作業中の作業機の目標姿勢を求めて、その目標姿勢に合わせて作業機を自動制御することにより、作業機械による作業のさらなる自動化が可能になる。
 そこで本開示では、作業中の作業機の目標姿勢を求めるための、作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データが提供される。
 本開示のある局面に従うと、本体と、本体に取り付けられた作業機と、コンピュータとを備える、作業システムが提供される。コンピュータは、作業中の作業機の目標姿勢を求めるための学習済み姿勢推定モデルを有している。コンピュータは、作業機による作業量の目標値と、作業機による作業開始からの経過時間と、本体および作業機の動作に関する機械データとを取得し、学習済み姿勢推定モデルを用いて目標値、経過時間および機械データから目標姿勢を推定した推定目標姿勢を出力する。
 本開示のある局面に従うと、コンピュータによって実行される方法が提供される。当該方法は、以下の処理を備えている。第1の処理は、本体に取り付けられた作業機による作業量の目標値と、作業機による作業開始からの経過時間と、本体および作業機の動作に関する機械データと、を取得することである。第2の処理は、作業中の作業機の目標姿勢を求めるための学習済み姿勢推定モデルを用いて、目標値、経過時間および機械データから目標姿勢を推定した推定目標姿勢を求めることである。
 本開示のある局面に従うと、コンピュータによって実行される方法が提供される。当該方法は、以下の処理を備えている。第1の処理は、本体に取り付けられた作業機による作業量の目標値と、作業機による作業開始からの経過時間と、本体および作業機の動作に関する機械データと、を取得することである。第2の処理は、目標値に基づいて、作業中の作業機の目標姿勢を求めるための複数の学習済み姿勢推定モデルから、一つの学習済み姿勢推定モデルを選択することである。第3の処理は、選択された学習済み姿勢推定モデルを用いて、経過時間および機械データから目標姿勢を推定した推定目標姿勢を求めることである。
 本開示のある局面に従うと、学習済みの姿勢推定モデルの製造方法が提供される。製造方法は、以下の処理を含んでいる。第1の処理は、本体に取り付けられた作業機による作業量と、作業機による作業開始からの経過時間と、本体および作業機の動作に関する機械データと、作業中の作業機の姿勢データと、を含む学習用データを取得することである。第2の処理は、学習用データにより姿勢推定モデルを学習させることである。
 本開示のある局面に従うと、本体に取り付けられた作業機の作業中の目標姿勢を求める姿勢推定モデルを学習させるための、学習用データが提供される。学習用データは、作業機による作業量と、作業機による作業開始からの経過時間と、経過時間を計測した時点での本体および作業機の動作に関する機械データと、経過時間を計測した時点での作業機の姿勢を示す姿勢データと、を備えている。
 本開示のある局面に従うと、学習済みの姿勢推定モデルの製造方法が提供される。製造方法は、以下の処理を含んでいる。第1の処理は、本体に取り付けられた作業機による作業量の目標値と、作業機による作業開始からの経過時間と、本体および作業機の動作に関する機械データとを取得することである。第2の処理は、学習済みの第1の姿勢推定モデルを用いて、作業中の作業機の目標姿勢を目標値、経過時間および機械データから推定した推定目標姿勢を求めることである。第3の処理は、経過時間、機械データおよび目標値と、推定目標姿勢と、を含む学習用データにより、第2の姿勢推定モデルを学習させることである。
 本開示に従えば、作業中の作業機の目標姿勢を精度良く取得することができる。
実施形態に基づく作業機械の一例としてのホイールローダの側面図である。 実施形態に基づくホイールローダの構成を示す概略ブロック図である。 実施形態に基づくホイールローダによる掘削作業を説明する図である。 作業機械を含むシステムに含まれる、コンピュータの構成を示す模式図である。 出荷前のホイールローダのシステム構成を示すブロック図である。 掘削土量ごとのブーム角度とブーム圧力との関係の一例を示すグラフである。 あるブーム角度における、ブーム圧力と掘削土量との関係を示すグラフである。 学習済みの目標姿勢推定モデルの製造方法を示すフローチャートである。 目標姿勢推定モデルを学習させるための処理を示す概略図である。 工場出荷されるホイールローダのシステム構成を示すブロック図である。 工場出荷後に作業機の目標姿勢を推定するためにコンピュータによって実行される処理を示すフローチャートである。 学習済みの目標姿勢推定モデルを用いた、推定目標姿勢を得る処理を示す模式図である。 目標姿勢推定モデルの学習に関する第1の変形例を示す概略図である。 工場出荷後に作業機の目標姿勢を推定するためにコンピュータによって実行される処理の変形例を示すフローチャートである。 目標姿勢推定モデルの学習に関する第2の変形例を示す概略図である。 蒸留モデルを生成するための処理を示すフローチャートである。
 以下、実施形態について図に基づいて説明する。以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
 <全体構成>
 実施形態においては、作業機械の一例としてホイールローダ1について説明する。図1は、実施形態に基づく作業機械の一例としてのホイールローダ1の側面図である。
 図1に示されるように、ホイールローダ1は、車体フレーム2と、作業機3と、走行装置4と、キャブ5とを備えている。車体フレーム2、キャブ5などからホイールローダ1の車体が構成されている。ホイールローダ1の車体には、作業機3および走行装置4が取り付けられている。
 走行装置4は、ホイールローダ1の車体を走行させるものであり、走行輪4a、4bを含んでいる。ホイールローダ1は、走行輪4a、4bが回転駆動されることにより自走可能であり、作業機3を用いて所望の作業を行うことができる。
 車体フレーム2は、前フレーム2aと後フレーム2bとを含んでいる。前フレーム2aと後フレーム2bとは、互いに左右方向に揺動可能に取り付けられている。前フレーム2aと後フレーム2bとに亘って、一対のステアリングシリンダ11が取り付けられている。ステアリングシリンダ11は、油圧シリンダである。ステアリングシリンダ11がステアリングポンプ12(図2参照)からの作動油によって伸縮することによって、ホイールローダ1の進行方向が左右に変更される。
 本明細書中において、ホイールローダ1が直進走行する方向を、ホイールローダ1の前後方向という。ホイールローダ1の前後方向において、車体フレーム2に対して作業機3が配置されている側を前方向とし、前方向と反対側を後方向とする。ホイールローダ1の左右方向とは、平面視において前後方向と直交する方向である。前方向を見て左右方向の右側、左側が、それぞれ右方向、左方向である。ホイールローダ1の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向である。上下方向において地面のある側が下側、空のある側が上側である。
 前フレーム2aには、作業機3および一対の走行輪(前輪)4aが取り付けられている。作業機3は、車体の前方に配設されている。作業機3は、作業機ポンプ13(図2参照)からの作動油によって駆動される。作業機ポンプ13は、エンジン21により駆動され、吐出する作動油によって作業機3を作動させる油圧ポンプである。作業機3は、ブーム14と、作業具であるバケット6とを含んでいる。バケット6は、作業機3の先端に配置されている。バケット6は、ブーム14の先端に着脱可能に装着されたアタッチメントの一例である。作業の種類に応じて、アタッチメントが、グラップル、フォーク、またはプラウなどに付け替えられる。
 ブーム14の基端部は、ブームピン9によって前フレーム2aに回転自在に取付けられている。バケット6は、ブーム14の先端に位置するバケットピン17によって、回転自在にブーム14に取付けられている。
 前フレーム2aとブーム14とは、一対のブームシリンダ16により連結されている。ブームシリンダ16は、油圧シリンダである。ブームシリンダ16の基端は、前フレーム2aに取り付けられている。ブームシリンダ16の先端は、ブーム14に取り付けられている。ブームシリンダ16が作業機ポンプ13(図2参照)からの作動油によって伸縮することによって、ブーム14が昇降する。ブームシリンダ16は、ブームピン9を中心としてブーム14を上下に回転駆動する。
 作業機3は、ベルクランク18と、バケットシリンダ19と、リンク15とをさらに含んでいる。ベルクランク18は、ブーム14のほぼ中央に位置する支持ピン18aによって、ブーム14に回転自在に支持されている。バケットシリンダ19は、ベルクランク18と前フレーム2aとを連結している。リンク15は、ベルクランク18の先端部に設けられた連結ピン18cに連結されている。リンク15は、ベルクランク18とバケット6とを連結している。
 バケットシリンダ19は、油圧シリンダであり作業具シリンダである。バケットシリンダ19の基端は、前フレーム2aに取り付けられている。バケットシリンダ19の先端は、ベルクランク18の基端部に設けられた連結ピン18bに取り付けられている。バケットシリンダ19が作業機ポンプ13(図2参照)からの作動油によって伸縮することによって、バケット6が上下に回動する。バケットシリンダ19は、バケットピン17を中心としてバケット6を回転駆動する。
 後フレーム2bには、キャブ5および一対の走行輪(後輪)4bが取り付けられている。キャブ5は、ブーム14の後方に配置されている。キャブ5は、車体フレーム2上に載置されている。キャブ5内には、ホイールローダ1のオペレータが着座するシート、および後述する操作装置8などが配置されている。
 <システム構成>
 図2は、実施形態に基づくホイールローダ1の構成を示す概略ブロック図である。図2に示されるように、ホイールローダ1は、駆動源としてのエンジン21、走行装置4、作業機ポンプ13、ステアリングポンプ12、操作装置8、制御装置10、表示部50などを備えている。
 エンジン21は、たとえばディーゼルエンジンである。駆動源として、エンジン21に代えて、蓄電体により駆動するモータが用いられてもよく、またエンジンとモータとの双方が用いられてもよい。エンジン21は燃料噴射ポンプ24を有している。燃料噴射ポンプ24には、電子ガバナ25が設けられている。シリンダ内に噴射する燃料量を調整することにより、エンジン21の出力が制御される。この調整は、電子ガバナ25が制御装置10によって制御されることで行われる。
 エンジン回転数は、エンジン回転数センサ91によって検出される。エンジン回転数センサ91の検出信号は、制御装置10に入力される。
 走行装置4は、エンジン21からの駆動力によりホイールローダ1を走行させる装置である。走行装置4は、動力伝達装置23、ならびに上述した前輪4aおよび後輪4bなどを有している。
 動力伝達装置23は、エンジン21からの駆動力を前輪4aおよび後輪4bに伝達する装置であり、たとえばトランスミッションである。ホイールローダ1においては、前フレーム2aに取り付けられた前輪4aと、後フレーム2bに取り付けられた後輪4bとの両方が、駆動力を受けてホイールローダ1を走行させる駆動輪を構成している。動力伝達装置23は、入力軸27の回転を変速して出力軸28に出力する。
 出力軸28には、出力回転数センサ92が設けられている。出力回転数センサ92は、出力軸28の回転数を検出する。出力回転数センサ92からの検出信号は、制御装置10に入力される。制御装置10は、出力回転数センサ92の検出信号に基づいて車速を算出する。
 動力伝達装置23から出力された駆動力は、シャフト32などを介して車輪4a,4bに伝達される。これにより、ホイールローダ1が走行する。エンジン21からの駆動力の一部が走行装置4に伝達されて、ホイールローダ1が走行する。
 エンジン21の駆動力の一部は、動力取出部33を介して、作業機ポンプ13およびステアリングポンプ12に伝達される。動力取出部33は、エンジン21の出力を、動力伝達装置23と、作業機ポンプ13およびステアリングポンプ12からなるシリンダ駆動部とに振り分ける装置である。
 作業機ポンプ13およびステアリングポンプ12は、エンジン21からの駆動力によって駆動される油圧ポンプである。作業機ポンプ13から吐出された作動油は、作業機制御弁34を介してブームシリンダ16およびバケットシリンダ19に供給される。ステアリングポンプ12から吐出された作動油は、ステアリング制御弁35を介してステアリングシリンダ11に供給される。作業機3は、エンジン21からの駆動力の一部によって駆動される。
 第1油圧検出器95は、ブームシリンダ16に取り付けられている。第1油圧検出器95は、ブームシリンダ16の油室内の作動油の圧力を検出する。第1油圧検出器95の検出信号は、制御装置10に入力される。
 第2油圧検出器96は、バケットシリンダ19に取り付けられている。第2油圧検出器96は、バケットシリンダ19の油室内の作動油の圧力を検出する。第2油圧検出器96の検出信号は、制御装置10に入力される。
 第1角度検出器29は、たとえば、ブームピン9に取り付けられたポテンショメータである。第1角度検出器29は、車体に対するブーム14の持ち上がり角度を表すブーム角度を検出する。第1角度検出器29は、ブーム角度を示す検出信号を制御装置10に出力する。
 具体的には、図1に示すように、ブーム基準線Aは、ブームピン9の中心とバケットピン17の中心とを通る直線である。ブーム角度θ1は、ブームピン9の中心から前方に延びる水平線Hと、ブーム基準線Aとの成す角度である。ブーム基準線Aが水平である場合をブーム角度θ1=0°と定義する。ブーム基準線Aが水平線Hよりも上方にある場合にブーム角度θ1を正とする。ブーム基準線Aが水平線Hよりも下方にある場合にブーム角度θ1を負とする。
 なお第1角度検出器29は、ブームシリンダ16に配置されたストロークセンサであってもよい。
 第2角度検出器48は、たとえば、支持ピン18aに取り付けられたポテンショメータである。第2角度検出器48は、ブーム14に対するベルクランク18の角度を表すベルクランク角度を検出する。第2角度検出器48は、ベルクランク角度を示す検出信号を制御装置10に出力する。
 具体的には、図1に示すように、ベルクランク基準線Bは、支持ピン18aの中心と連結ピン18bの中心とを通る直線である。ベルクランク角度θ2は、ブーム基準線Aとベルクランク基準線Bとの成す角度である。バケット6を接地した状態でバケット6の背面6bが地上において水平となる場合をベルクランク角度θ2=0°と定義する。バケット6を掘削方向(上向き)に移動した場合にベルクランク角度θ2を正とする。バケット6をダンプ方向(下向き)に移動した場合にベルクランク角度θ2を負とする。
 第2角度検出器48は、ブーム14に対するバケット6の角度(バケット角度)を検出してもよい。バケット角度は、バケットピン17の中心とバケット6の刃先6aとを通る直線と、ブーム基準線Aとの成す角度である。第2角度検出器48は、バケットピン17に取り付けられたポテンショメータまたは近接スイッチであってもよい。または第2角度検出器48は、バケットシリンダ19に配置されたストロークセンサであってもよい。
 操作装置8は、オペレータによって操作される。操作装置8は、オペレータがホイールローダ1を動作させるために操作する、複数種類の操作部材を備えている。具体的には操作装置8は、アクセル操作部材81aと、ステアリング操作部材82aと、ブーム操作部材83aと、バケット操作部材84aと、変速操作部材85aと、FR操作部材86aとを備えている。
 アクセル操作部材81aは、エンジン21の目標回転数を設定するために操作される。アクセル操作部材81aは、たとえばアクセルペダルである。アクセル操作部材81aの操作量(アクセルペダルの場合、踏み込み量)を増大すると、車体は加速する。アクセル操作部材81aの操作量を減少すると、車体は減速する。アクセル操作検出部81bは、アクセル操作部材81aの操作量を検出する。アクセル操作部材81aの操作量を、アクセル操作量と称する。アクセル操作検出部81bは、アクセル操作量を検出する。アクセル操作検出部81bは、検出信号を制御装置10へ出力する。制御装置10は、アクセル操作検出部81bからの検出信号に基づいてエンジン21の出力を制御する。
 ステアリング操作部材82aは、車両の移動方向を操作するために操作される。ステアリング操作部材82aは、たとえばステアリングハンドルである。ステアリング操作検出部82bは、ステアリング操作部材82aの位置を検出し、検出信号を制御装置10に出力する。制御装置10は、ステアリング操作検出部82bからの検出信号に基づいてステアリング制御弁35を制御する。ステアリングシリンダ11が伸縮して、車両の進行方向が変更される。
 ブーム操作部材83aは、ブーム14を動作させるために操作される。ブーム操作部材83aは、たとえば操作レバーである。ブーム操作検出部83bは、ブーム操作部材83aの位置を検出する。ブーム操作検出部83bは、検出信号を制御装置10に出力する。制御装置10は、ブーム操作検出部83bからの検出信号に基づいて、作業機制御弁34を制御する。ブームシリンダ16が伸縮して、ブーム14が動作する。
 バケット操作部材84aは、バケット6を動作させるために操作される。バケット操作部材84aは、たとえば操作レバーである。バケット操作検出部84bは、バケット操作部材84aの位置を検出する。バケット操作検出部84bは、検出信号を制御装置10に出力する。制御装置10は、バケット操作検出部84bからの検出信号に基づいて、作業機制御弁34を制御する。バケットシリンダ19が伸縮して、バケット6が動作する。
 変速操作部材85aは、動力伝達装置23による変速を設定するために操作される。変速操作部材85aは、たとえばシフトレバーである。変速操作検出部85bは、変速操作部材85aの位置を検出する。変速操作検出部85bは、検出信号を制御装置10に出力する。制御装置10は、変速操作検出部85bからの検出信号に基づいて、動力伝達装置23を制御する。
 FR操作部材86aは、車両の前進と後進とを切り換えるために操作される。FR操作部材86aは、前進、中立および後進の各位置に切り換えられる。FR操作検出部86bは、FR操作部材86aの位置を検出する。FR操作検出部86bは、検出信号を制御装置10に出力する。制御装置10は、FR操作検出部86bからの検出信号に基づいて動力伝達装置23を制御して、車両の前進と後進と中立状態とを切り換える。
 表示部50は、制御装置10から指令信号の入力を受けて、各種情報を表示する。表示部50に表示される各種情報は、たとえば、ホイールローダ1により実行される作業に関する情報、燃料残量、冷却水温度および作動油温度などの車体情報、ホイールローダ1の周辺を撮像した周辺画像などであってもよい。表示部50はタッチパネルであってもよく、この場合、オペレータが表示部50の一部に触れることにより生成される信号が、表示部50から制御装置10に出力される。
 制御装置10は、一般的にCPU(Central Processing Unit)により各種のプログラムを読み込むことにより実現される。制御装置10は、メモリ10Mと、タイマ10Tとを有している。メモリ10Mは、ワークメモリとして機能するとともに、ホイールローダの機能を実現するための各種のプログラムを格納する。制御装置10は、タイマ10Tから現在時刻を読み出す。制御装置10は、たとえば、ホイールローダ1が掘削作業を実行しているときの、掘削作業開始からの経過時間を演算する。
 制御装置10は、アクセル操作部材81aの操作量に応じた目標回転数が得られるように、エンジン指令信号を電子ガバナ25に送る。制御装置10は、電子ガバナ25の制御に従って変動するエンジン21への燃料供給量に基づいて、エンジン21の単位稼働時間あたりの燃料消費量、ホイールローダ1の単位走行距離あたりの燃料消費量、および、バケット6内の単位積載重量あたりの燃料消費量を、算出可能である。
 制御装置10は、出力回転数センサ92の検出信号に基づいて、ホイールローダ1の車速を算出する。制御装置10は、ホイールローダ1の車速と牽引力との関係を規定するマップをメモリ10Mから読み出し、当該マップに基づいて、牽引力を算出する。
 制御装置10は、エンジン回転数センサ91から、エンジン回転数の検出信号の入力を受ける。制御装置10は、エンジン回転数とエンジントルクとの関係を規定するマップをメモリ10Mから読み出し、当該マップに基づいて、エンジントルクを算出する。
 牽引力およびエンジントルクは、マップの参照とは異なる形態で算出されてもよい。たとえば、テーブルの参照または数式による演算などによって、牽引力およびエンジントルクを算出してもよい。
 制御装置10は、ブーム14およびバケット6の動作を自動制御する。この自動制御の詳細については後述する。
 <掘削作業>
 本実施形態のホイールローダ1は、土砂などの掘削対象物を掬い取る掘削作業を実行する。図3は、実施形態に基づくホイールローダ1による掘削作業を説明する図である。
 図3に示されるように、ホイールローダ1は、バケット6の刃先6aを掘削対象物100に食い込ませた後に、図3中の曲線矢印のように、バケット軌跡Lに沿ってバケット6を上昇させる。これにより、バケット6に掘削対象物100を掬い取る掘削作業が実行される。
 本実施形態のホイールローダ1は、掘削対象物100をバケット6に掬い取る掘削動作と、バケット6内の荷(掘削対象物100)をダンプトラックなどの運搬機械に積み込む積込動作とを実行する。
 より具体的には、ホイールローダ1は、次のような複数の作業工程を順次に行うことを繰り返して、掘削対象物100を掘削し、ダンプトラックなどの運搬機械に掘削対象物100を積み込む。
 第一の工程は、掘削対象物100に向かって前進する空荷前進工程である。第二の工程は、バケット6の刃先6aが掘削対象物100に食い込むまでホイールローダ1を前進させる掘削(突込み)工程である。第三の工程は、ブームシリンダ16を操作してバケット6を上昇させるとともにバケットシリンダ19を操作してバケット6をチルトバックさせる掘削(掬込み)工程である。第四の工程は、バケット6に掘削対象物100が掬い込まれた後にホイールローダ1を後進させる積荷後進工程である。
 第五の工程は、バケット6を上昇させた状態を維持しながら、またはバケット6を上昇させながら、ホイールローダ1を前進させてダンプトラックに接近させる、積荷前進工程である。第六の工程は、所定位置でバケット6をダンプして掘削対象物100をダンプトラック荷台上に積み込む排土工程である。第七の工程は、ホイールローダ1を後進させながらブーム14を下げ、バケット6を掘削姿勢に戻す、後進・ブーム下げ工程である。以上が、掘削積込作業の1サイクルをなす典型的な作業工程である。
 ホイールローダ1の現在の作業工程が掘削工程であり作業機3が掘削作業中であるか、現在の作業工程が掘削工程ではなく作業機が掘削作業中でないかは、たとえば、ホイールローダ1を前後進させるオペレータの操作、作業機3に対するオペレータの操作、および作業機3のシリンダの現在の油圧についての判定条件の組み合わせを用いることにより、判定することができる。
 <コンピュータ102Aの詳細構成>
 図4は、作業システムに含まれる、コンピュータ102Aの構成を示す模式図である。実施形態に係るシステムは、作業機械の作業中、典型的にはホイールローダ1による掘削作業中の、作業機械本体(図1を参照して説明した車体)に対するブーム14の角度(ブーム角度θ1、図1)と、ブーム14に対するベルクランク18の角度(ベルクランク角度θ2、図1)との目標値を求めるためのシステムである。図4に示されるコンピュータ102Aは、図2に示される制御装置10の一部構成を成すものである。コンピュータ102Aは、実施形態に係るシステム用に専用に設計されたものであってもよく、または汎用のPC(Personal Computer)であってもよい。
 コンピュータ102Aは、プロセッサ103と、記憶装置104と、通信インタフェース105と、I/Oインタフェース106とを有している。プロセッサ103は、たとえばCPUである。
 記憶装置104は、記憶されたプログラムおよびデータなどの情報をプロセッサ103が読み取り可能なように記憶する媒体を含んでいる。記憶装置104は、RAM(Random Access Memory)、またはROM(Read Only Memory)などのシステムメモリと、補助記憶装置とを含んでいる。補助記憶装置は、たとえばハードディスクなどの磁気的記録媒体、CD(Compact Disc)、DVD(Digital Versatile Disc)などの光学的記録媒体、またはフラッシュメモリなどの半導体メモリであってもよい。記憶装置104は、コンピュータ102Aに内蔵されてもよい。記憶装置104は、コンピュータ102Aに着脱可能に接続される外部記録媒体109を含んでもよい。外部記録媒体109は、CD-ROMであってもよい。
 通信インタフェース105は、たとえば有線LAN(Local Area Network)モジュール、または無線LANモジュールなどであり、通信ネットワークを介した通信を行うためのインタフェースである。I/Oインタフェース106は、たとえばUSB(Universal Serial Bus)ポートなどであり、外部装置と接続するためのインタフェースである。
 コンピュータ102Aは、I/Oインタフェース106を介して、入力装置107、および出力装置108と接続される。入力装置107は、ユーザがコンピュータ102Aへの入力を行うための装置である。入力装置107は、たとえば、マウス、またはトラックボールなどのポインティングデバイスを含んでいる。入力装置107は、キーボードなどの文字入力のための装置を含んでもよい。出力装置108は、たとえば、ディスプレイ(表示部50、図2)を含んでいる。
 図5は、出荷前のホイールローダ1のシステム構成を示すブロック図である。図5に示されるプロセッサ103および記憶装置104は、図4に示されるコンピュータ102Aの一部構成をなすものである。プロセッサ103は、演算部161を有している。
 演算部161は、第1油圧検出器95から、ブームシリンダ16の油室内の作動油の圧力を検出した検出信号の入力を受ける。演算部161は、アクセル操作検出部81bから、アクセル操作量を検出した検出信号の入力を受ける。演算部161は、出力回転数センサ92から、出力軸28の回転数を検出した検出信号の入力を受ける。演算部161は、出力回転数センサ92の検出信号に基づいて、ホイールローダ1の車速を演算する。演算部161は、エンジン回転数センサ91から、エンジン回転数を検出した検出信号の入力を受ける。
 演算部161は、アクセル操作量に基づいてエンジン21への燃料供給量を演算する。演算部161は、土砂などの掘削対象物100のバケット6内への積込量をブームシリンダ16の油室内の油圧に基づいて演算する。さらに演算部161は、燃料供給量当たりの掘削対象物100の積込量(すなわち、燃料消費率)を演算する。
 ここで、掘削作業によってバケット6に掬い取られた掘削対象物100の量(以下では掘削土量と称する)を算出する方法の一例について説明する。掘削作業は、実施形態における作業機3による作業に相当する。掘削土量は、実施形態における作業機3による作業量に相当する。
 図6は、掘削土量ごとのブーム角度θ1とブーム圧力Pτとの関係の一例を示すグラフである。図6のグラフにおける横軸はブーム角度θ1、縦軸はブーム圧力Pτである。ブーム圧力Pτは、第1油圧検出器95により検出されるブームシリンダ16の油室内の作動油の圧力をいう。図6において、カーブA、B、Cはそれぞれ、バケット6が空、1/2積載、満杯積載の場合を示している。予め計測された2個以上の掘削土量におけるブーム角度θ1とブーム圧力Pτとの関係のグラフに基づき、図6に示すように、ブーム角度θ1ごとの掘削土量とブーム圧力Pτとの関係のグラフを求めることができる。
 ある時刻におけるブーム角度θ1とブーム圧力Pτとが判明すると、その時刻での掘削土量を求めることができる。たとえば、図6に示されるように、ある時刻mkにおいてブーム角度θ1=θk、ブーム圧力Pτ=Pτkであったとすると、図7からその時刻mkにおける掘削土量WNを求めることが可能となる。図7は、ブーム角度θ1=θkにおける、ブーム圧力Pτと荷重Wとの関係を示すグラフである。図7のグラフにおける横軸はブーム圧力Pτ、縦軸は掘削土量Wである。
 図6に示されるように、PτAとは、ブーム角度θ1=θkにおける、バケット6が空の場合のブーム圧力である。PτCとは、ブーム角度θ1=θkにおける、バケット6が満杯積載の場合のブーム圧力である。図7に示されるWAとは、ブーム角度θ1=θkにおける、バケット6が空の場合の荷重である。またWCとは、ブーム角度θ1=θkにおける、バケット6が満杯積載の場合の荷重である。
 図6に示されるように、PτkがPτAとPτCとの間に位置する場合、線形補間を行うことにより、時刻mkにおける掘削土量WNを決定することができる。または、このような関係を予め記憶した数値テーブルに基づいて、掘削土量WNを求めることも可能である。
 バケット6内の掘削土量の算出方法は、図6,7に示される例に限られない。ブーム圧力およびブーム角度θ1に加えて、またはこれらに代えて、バケットシリンダ19のヘッド圧とボトム圧との差圧、ベルクランク角度θ2、作業機3の寸法などを、バケット6内の掘削土量を算出するためのパラメータとして考慮することができる。これらのパラメータを考慮して算出することにより、より精度の高い掘削土量の算出が可能になる。
 図5に戻って、演算部161は、ホイールローダ1の車速と牽引力との関係を規定するマップを参照して、ホイールローダ1の車速に基づいて、牽引力を演算する。演算部161は、エンジン回転数とエンジントルクとの関係を規定するマップを参照して、エンジン回転数に基づいて、エンジントルクを演算する。
 ブームシリンダ16の油圧、アクセル操作量、車速、エンジン回転数、燃料消費率、牽引力、およびエンジントルクは、作業機械本体(車体)および作業機3の動作に関する機械データに含まれる。機械データは、アクセル操作量、車速、エンジン回転数、牽引力およびエンジントルクなどの、作業車両本体の走行に関するデータを含んでいる。
 プロセッサ103は、タイマ162を有している。演算部161は、タイマ162から現在時刻を読み出し、ホイールローダ1が掘削作業を実行しているときの、掘削作業開始からの経過時間を演算する。
 掘削作業が開始したこと、すなわちホイールローダ1の作業工程が空荷前進工程から掘削(突込み)工程へと移ったことは、バケット6の刃先6aが掘削対象物100に突っ込みバケット6に掘削対象物100の負荷が作用し始めるときにブームシリンダ16の油室内の油圧が増加することを検出すること、および作業機3が掘削作業を始める姿勢にあるかをブーム角度θ1とベルクランク角度θ2とにより確認することで、判定される。作業においてブームシリンダ16が受ける負荷を基に、作業開始時点が判定されてもよい。作業開始は、ホイールローダ1の周辺を撮像装置で撮影した撮像データを基に判定してもよい。
 掘削作業が終了したこと、すなわちホイールローダ1の作業工程が掘削(掬込み)工程から積荷後進工程へと移ったことは、ホイールローダ1の走行する方向が前進方向から後進方向へと変化し、かつバケット6の動作が掘削対象物100を掬い込むためのチルトバックから中立になったことを検出することで、判定される。
 プロセッサ103は、角度検出部163を有している。角度検出部163は、第1角度検出器29からブーム角度θ1を検出した検出信号の入力を受ける。角度検出部163は、第2角度検出器48からベルクランク角度θ2を検出した検出信号の入力を受ける。
 掘削作業中のある時刻に検出されたブーム角度θ1およびベルクランク角度θ2は、当該時刻における掘削作業開始からの経過時間と、当該時刻に取得された機械データと、その掘削作業による掘削土量と、に割り当てられたものとされ、学習用データとして記憶装置104に格納される。記憶装置104には、目標姿勢推定モデル180を学習させるための学習用データセット188が保存されている。学習用データセット188は、掘削作業中のある時刻における掘削作業開始からの経過時間および機械データ、ならびにその掘削作業による掘削土量に対して、当該時刻における作業機3の姿勢(ブーム角度θ1およびベルクランク角度θ2)をラベル付けした学習用データを、複数含んでいる。
 プロセッサ103は、目標姿勢推定部165を有している。記憶装置104には、目標姿勢推定モデル180が保存されている。
 目標姿勢推定モデル180は、掘削作業中の作業機3の目標姿勢を求めるための人工知能モデルである。目標姿勢推定モデル180は、掘削作業による目標の掘削土量と、その掘削作業開始からの経過時間および機械データとから、掘削作業中の作業機3の目標姿勢を求めるように構成されている。コンピュータ102Aは、人工知能の目標姿勢推定モデル180を用いることで、掘削作業中の作業機3の目標姿勢を推定する。目標姿勢推定部165は、目標姿勢推定モデル180を用いて、目標の掘削土量、経過時間および機械データから作業機3の目標姿勢を推定した推定目標姿勢を求める。
 より具体的には、目標姿勢推定部165は、記憶装置104から目標姿勢推定モデル180を読み出し、掘削作業による目標の掘削土量と、演算部161で演算された作業開始からの経過時間および機械データとを目標姿勢推定モデル180に入力することで、目標とすべきブーム角度θ1およびベルクランク角度θ2の推定結果の出力を得る。
 目標姿勢推定モデル180は、ニューラルネットワークを含んでいる。目標姿勢推定モデル180は、たとえば、畳み込みニューラルネットワーク(CNN)などのディープニューラルネットワークを含んでいる。
 実施形態におけるモデルは、ハードウェア、ハードウェア上で実行可能なソフトウェア、ファームウェア、またそれらの組合せに実装されていてもよい。モデルは、プロセッサ103によって実行されるプログラム、アルゴリズム、およびデータを含んでもよい。モデルの機能は、単一のモジュールによって実行されてもよく、または複数のモジュールに分散して実行されてもよい。モデルは、複数のコンピュータに分散して配置されてもよい。
 プロセッサ103は、誤差算出部166と、目標姿勢推定モデル更新部167とを有している。
 誤差算出部166は、演算部161で演算された経過時間および機械データに対応する学習用データを選択する。誤差算出部166は、目標姿勢推定部165によって推定されたブーム角度θ1およびベルクランク角度θ2の推定結果と、選択された学習用データに含まれるブーム角度θ1およびベルクランク角度θ2とを比較する。誤差算出部166は、学習用データに含まれるブーム角度θ1およびベルクランク角度θ2の値に対する、目標姿勢推定部165で推定されたブーム角度θ1およびベルクランク角度θ2の推定結果の誤差を算出する。
 目標姿勢推定モデル更新部167は、誤差算出部166が算出したブーム角度θ1およびベルクランク角度θ2の誤差に基づいて、目標姿勢推定モデル180を更新する。このようにして、目標姿勢推定モデル180の学習が行なわれる。目標姿勢推定モデル180の学習は、ホイールローダ1の出荷前に、工場で行なわれる。
 <学習済みの目標姿勢推定モデル180の製造方法>
 図8は、学習済みの目標姿勢推定モデル180の製造方法を示すフローチャートである。図9は、目標姿勢推定モデル180を学習させるための処理を示す概略図である。図5について説明した内容と一部重複もあるが、図8および図9を参照して、掘削作業中の作業機3の目標姿勢を推定する目標姿勢推定モデル180を学習させるための処理について、以下に説明する。
 図8に示されるように、まずステップS101において、ある掘削作業においてバケット6に掬い取られた掘削対象物100の量、すなわち掘削土量を取得する。コンピュータ102A、より詳しくは演算部161は、第1油圧検出器95の検出結果に基づいて、ある掘削作業が終了した時点でのブーム圧力Pτを演算する。演算部161は、たとえば図6,7を参照して、掘削終了時のブーム圧力Pτに基づいて、バケット6内の掘削土量を算出する。
 ステップS102において、先のステップS101で掘削土量を算出した掘削作業に関し、その掘削作業中のある時刻における、掘削開始からの経過時間と、機械データとを取得する。ステップS103において、その時刻における作業機姿勢データを取得する。
 演算部161は、掘削作業中のある時刻における掘削作業開始からの経過時間を演算する。また演算部161は、第1油圧検出器95、アクセル操作検出部81b、出力回転数センサ92およびエンジン回転数センサ91を含む各種のセンサの検出結果に基づいて、当該時刻における機械データを演算する。角度検出部163は、第1角度検出器29および第2角度検出器48の検出結果に基づいて、当該時刻におけるブーム角度θ1およびベルクランク角度θ2を検出する。
 図9に示されるように、複数のオペレータによる複数回の実際の掘削作業、望ましくは数万回以上の掘削作業が行なわれたときの大量のデータから、特定の掘削土量のデータだけが抽出される。その特定掘削土量の掘削作業における、経過時間および機械データ(図9に示される説明変数)、ならびに作業機姿勢データ(図9に示される推定変数)が複数用意される。特定の掘削土量をバケット6に掬い込んだ作業が実際に行なわれたときの、経過時間および機械データと作業機姿勢データとを含む、学習用データ188A,188B,188C,…,が作成される。
 学習用データは、オペレータが手入力で入力するデータ、掘削対象物100の土質および傾斜の角度、ならびに、ホイールローダ1の周辺を撮像装置で撮像した撮像データなどをさらに含んでもよい。
 次にステップS104において、作業機3の目標姿勢を出力する。コンピュータ102A、より詳しくは目標姿勢推定部165は、記憶装置104から目標姿勢推定モデル180を読み出す。目標姿勢推定モデル180は、図9に示すニューラルネットワークを含んでいる。ニューラルネットワークは、入力層181と、中間層(隠れ層)182と、出力層183とを含んでいる。中間層182は多層化されている。入力層181、中間層182および出力層183は、1または複数のユニット(ニューロン)を有している。入力層181、中間層182および出力層183のユニットの数は、適宜設定することができる。
 隣り合う層のユニット同士は結合されており、各結合には重みが設定されている。各ユニットにはバイアスが設定されている。各ユニットには閾値が設定されている。各ユニットへの入力値と重みとの積の総和にバイアスを加算した値が閾値を超えているか否かによって、各ユニットの出力値が決定される。
 目標姿勢推定モデル180は、掘削土量、掘削作業開始からの経過時間および機械データから、作業中の作業機3の目標姿勢を求めるように学習される。学習によって得られた目標姿勢推定モデル180のパラメータは、記憶装置104に記憶されている。目標姿勢推定モデル180のパラメータは、たとえば、ニューラルネットワークの層数、各層におけるユニットの個数、ユニット同士の結合関係、各ユニット間の結合の重み、各ユニットに紐付けられているバイアス、および各ユニットの閾値を含んでいる。
 目標姿勢推定部165は、演算部161が演算した掘削土量、経過時間および機械データを、入力層181に入力する。出力層183から、作業機3の目標姿勢、具体的にはブーム角度θ1およびベルクランク角度θ2を示す出力値が出力される。たとえば、コンピュータ102Aは、掘削土量、経過時間および機械データを入力層181の入力として用いて、目標姿勢推定モデル180のニューラルネットワークの順方向伝播の演算処理を行う。これにより、コンピュータ102Aは、ニューラルネットワークの出力層183から出力される出力値として、作業機3の目標姿勢を推定した推定目標姿勢を得る。
 ステップS103の処理とステップS104の処理とは、ステップS103の処理の後にステップS104の処理が行われなくてもよい。ステップS103の処理とステップS104の処理とが同時に行われてもよく、ステップS104の処理の後にステップS103の処理が行われてもよい。
 次にステップS105において、ステップS104で出力された作業機3の目標姿勢と、ステップS103で取得された作業機姿勢データとの差を算出する。コンピュータ102A、より詳しくは誤差算出部166は、目標姿勢推定モデル180の出力層183から出力された、作業機3の目標姿勢を推定した推定目標姿勢と、該当の学習用データに含まれる作業機3の姿勢とを比較して、作業機姿勢データに対する推定目標姿勢の誤差を算出する。
 コンピュータ102Aは、掘削作業による掘削土量と、その掘削作業中のある時刻における作業開始からの経過時間と、当該時刻における機械データとを入力データとし、当該時刻における作業機3の姿勢を示す姿勢データ(ブーム角度θ1およびベルクランク角度θ2)を教師データとして、目標姿勢推定モデル180の学習を行う。コンピュータ102Aは、算出した出力値の誤差から、バックプロパゲーションにより、各ユニット間の結合の重み、各ユニットのバイアス、および各ユニットの閾値のそれぞれの誤差を算出する。
 次にステップS106において、目標姿勢推定モデル180を更新する。コンピュータ102A、より詳しくは目標姿勢推定モデル更新部167は、誤差算出部166で算出された、角度検出部163で得られた作業機3の姿勢に対する推定目標姿勢の誤差に基づいて、各ユニット間の結合の重み、各ユニットのバイアス、および各ユニットの閾値などの、目標姿勢推定モデル180のパラメータを更新する。そして、同じ経過時間および機械データが入力層181に入力されたならば、作業機3の姿勢を示す姿勢データにより近い出力値を出力できるようにする。更新された目標姿勢推定モデル180のパラメータは、記憶装置104に記憶される。
 次回に作業機3の目標姿勢を推定するときには、更新された目標姿勢推定モデル180に掘削土量、経過時間および機械データを入力して、作業機3の推定目標姿勢の出力を得る。コンピュータ102Aは、目標姿勢推定モデル180が出力する作業機3の推定目標姿勢が、経過時間および機械データを取得した時点での作業機3の姿勢を示す姿勢データと一致するようになるまで、ステップS101からステップS105までの処理を繰り返す。このようにして、目標姿勢推定モデル180のパラメータが最適化され、目標姿勢推定モデル180の学習が行われる。
 目標姿勢推定モデル180が十分に学習を積み重ねた結果、十分に精度の高い推定目標姿勢が得られるようになると、コンピュータ102Aは目標姿勢推定モデル180の学習を終える。このようにして、学習済みの目標姿勢推定モデル180が作成される。そして、処理を終了する(図8の「エンド」)。
 なお、目標姿勢推定モデル180の各種のパラメータの初期値は、テンプレートにより与えられてもよい。またはパラメータの初期値は、人間の入力により手動で与えられてもよい。目標姿勢推定モデル180の再学習を行うときには、コンピュータ102Aは、再学習を行う対象となる目標姿勢推定モデル180のパラメータとして記憶装置104に記憶されている値に基づいて、パラメータの初期値を用意してもよい。
 <学習済みの目標姿勢推定モデル180を用いた作業機3の目標姿勢の推定>
 図10は、工場出荷されるホイールローダ1のシステム構成を示すブロック図である。工場出荷されるホイールローダ1は、図5に示されるコンピュータ102Aに替えて、コンピュータ102Bを備えている。コンピュータ102Bは、プロセッサ103と記憶装置104とを有している。
 プロセッサ103は、図5と同様の、演算部161、タイマ162および目標姿勢推定部165を有している。プロセッサ103はまた、ブーム制御部168と、バケット制御部169とを有している。プロセッサ103は、図5に示される角度検出部163、誤差算出部166および目標姿勢推定モデル更新部167を有していない。記憶装置104は、学習済みの目標姿勢推定モデル180を有している。記憶装置104は、図5に示される学習用データセット188を有していない。
 図11は、工場出荷後に作業機3の目標姿勢を推定するためにコンピュータ102Bによって実行される処理を示すフローチャートである。図12は、作業開始からの経過時間および機械データから作業機3の目標姿勢を求めるように学習済みの目標姿勢推定モデル180を用いた、推定目標姿勢を得る処理を示す模式図である。図10~12を参照して、工場出荷後に掘削作業中の作業機3の目標姿勢を推定する処理について、以下に説明する。
 まずステップS201において、掘削作業による目標掘削土量を取得する。ホイールローダ1のオペレータが、入力装置107(図4)を操作することにより、プロセッサ103に目標掘削土量を入力してもよい。
 または、コンピュータ102Bが、これまでの掘削作業における掘削土量の履歴に基づいて、今回の掘削作業においてバケット6に掬い取られるべき掘削土量を算出してもよい。たとえば、ホイールローダ1が積載量30tonのダンプトラックへの積込作業を行なっている場合において、過去二回の積込作業で合計24tonの掘削対象物100が既にダンプトラックに積み込まれているのであれば、今回の掘削作業においてバケット6に掬い取られるべき掘削土量は(30-24)=6tonであると算出してもよい。ダンプトラックに既に積み込まれている掘削対象物100の重量は、図6,7を参照して算出される掘削土量の積算値として求められてもよく、または、ダンプトラックに設けられた重量センサによって検出されてもよい。
 次にステップS202において、経過時間および機械データを取得する。コンピュータ102B、より詳しくは演算部161は、掘削作業中のある時刻における掘削作業開始からの経過時間を演算する。また演算部161は、第1油圧検出器95、アクセル操作検出部81b、出力回転数センサ92およびエンジン回転数センサ91を含む各種のセンサの検出結果に基づいて、当該時刻における機械データを演算する。図12に示される入力データ191は、目標掘削土量と、経過時間と、機械データとを含んでいる。
 次にステップS203において、作業機3の目標姿勢を推定する。コンピュータ102B、より詳しくは目標姿勢推定部165は、目標姿勢推定モデル180および学習済みのパラメータの最適値を記憶装置104から読み出すことで、学習済みの目標姿勢推定モデル180を取得する。目標姿勢推定部165は、目標掘削土量、経過時間および機械データを、目標姿勢推定モデル180への入力データ191として用いる。目標姿勢推定部165は、目標掘削土量、経過時間および機械データを、学習済みの目標姿勢推定モデル180の入力層181に含まれる各ユニットに入力する。学習済みの目標姿勢推定モデル180の出力層183から、掘削作業中の作業機3の目標姿勢を推定した推定目標姿勢、具体的にはブーム角度θ1およびベルクランク角度θ2を含む角度出力値197(図12)が出力される。
 次にステップS204において、コンピュータ102Bは、推定目標姿勢に基づいて、作業機3を動作する。
 目標姿勢推定部165からブーム制御部168に、目標のブーム角度θ1が出力される。ブーム制御部168は、目標のブーム角度θ1に基づいて、ブームシリンダ16に制御信号を出力する。制御信号を受けたブームシリンダ16が伸びるまたは縮むことにより、ブーム角度θ1の実際の値が目標値に近づくように、ブーム14を動作させる自動制御が行われる。
 目標姿勢推定部165からバケット制御部169に、目標のベルクランク角度θ2が出力される。バケット制御部169は、目標のベルクランク角度θ2に基づいて、バケットシリンダ19に制御信号を出力する。制御信号を受けたバケットシリンダ19が伸びるまたは縮むことにより、ベルクランク角度θ2の実際の値が目標値に近づくように、バケット6を動作させる自動制御が行われる。
 最後に、ステップS205において、コンピュータ102Bは、作業機3の姿勢を含む管理データを生成する。コンピュータ102Bは、管理データを記憶装置104に記録する。そして、処理を終了する(図11の「エンド」)。
 以上説明したように、実施形態に係る作業システムでは、コンピュータ102Bは、掘削作業中の作業機3の目標姿勢を求めるための、学習済みの目標姿勢推定モデル180を有している。図10~12に示されるように、コンピュータ102Bは、掘削作業による目標の掘削土量と、その掘削作業中のある時刻における作業開始からの経過時間および機械データとを取得し、学習済みの目標姿勢推定モデル180を用いて、目標掘削土量、経過時間および機械データから作業機3の目標姿勢を推定した推定目標姿勢を求めるようにプログラムされている。
 したがって、作業機3の目標姿勢の推定に適した人工知能の目標姿勢推定モデル180を利用して、掘削作業中の作業機3の目標姿勢を推定することができる。これにより、人工知能を用いて、作業機3の目標姿勢をコンピュータ102Bによって容易かつ精度よく求めることができる。
 目標掘削土量に基づいて作業機3の目標姿勢が求められ、特定の掘削土量に対応した適切な作業機3の姿勢が推定される。推定された目標姿勢となるように作業機3を制御することで、指定した目標の掘削土量を自動で精度よく掘削できる。このように自動掘削される土量を調整できるので、ダンプトラックに積み込まれる重量を調整することが可能になり、毎回の掘削積込作業でダンプトラックの最大積載量の掘削対象物100を効率的にダンプトラックに積み込むことができる。したがって、生産性を向上できる。
 図5に示されるように、コンピュータ102Aは、目標姿勢推定モデル180を用いて掘削土量、掘削作業開始からの経過時間および機械データから作業機3の目標姿勢を推定した推定目標姿勢と、学習用データに含まれる作業中の作業機3の姿勢データとの誤差に基づいて、目標姿勢推定モデル180が更新されるようにプログラムされている。このようにすることで、工場出荷前に目標姿勢推定モデル180を十分に学習させて、精度の高い目標姿勢推定モデル180を作成することができる。
 工場出荷後のホイールローダ1は、第1角度検出器29、第2角度検出器48および角度検出部163を備えていてもよい。この場合には、工場出荷後に目標姿勢推定モデル180を追加学習することも可能である。
 図1に示されるように、ホイールローダ1は、前フレーム2aに連結されたブーム14と、ブーム14に連結されたバケット6とを有していてもよい。学習済みの目標姿勢推定モデル180を用いて、作業開始からの経過時間および機械データから、ブーム角度θ1およびベルクランク角度θ2の目標値を推定することができる。
 <目標姿勢推定モデル180の学習に関する第1の変形例>
 図13は、目標姿勢推定モデル180の学習に関する第1の変形例を示す概略図である。図5,8~9の説明においては、掘削土量と経過時間および機械データと作業機姿勢データとを含む複数の学習用データ188A,188B,188C,…,から1つの目標姿勢推定モデル180を生成する例について説明した。
 図13に示される例では、複数の学習用データは、掘削土量毎にグループ分けされる。掘削土量が範囲PL1に含まれる掘削作業を行なったときの、掘削作業開始からの経過時間と、その時刻における機械データおよび作業機姿勢データとが、学習用データ群188Gaに含まれる。掘削土量が範囲PL2に含まれる掘削作業を行なったときの、掘削作業開始からの経過時間と、その時刻における機械データおよび作業機姿勢データとが、学習用データ群188Gbに含まれる。掘削土量が範囲PL3に含まれる掘削作業を行なったときの、掘削作業開始からの経過時間と、その時刻における機械データおよび作業機姿勢データとが、学習用データ群188Gcに含まれる。
 学習用データ群188Gaを用いて、図8のフローチャート中のステップS102~S106と同じ処理をすることで、掘削土量PL1に対応する目標姿勢推定モデル180Aを作成する。学習用データ群188Gbを用いて、図8のフローチャート中のステップS102~S106と同じ処理をすることで、掘削土量PL2に対応する目標姿勢推定モデル180Bを作成する。学習用データ群188Gcを用いて、図8のフローチャート中のステップS102~S106と同じ処理をすることで、掘削土量PL3に対応する目標姿勢推定モデル180Cを作成する。
 図14は、工場出荷後に作業機3の目標姿勢を推定するためにコンピュータ102Bによって実行される処理の変形例を示すフローチャートである。図14に示される例では、目標掘削土量を取得するステップS201の後に、ステップS201Aにおいて、取得された目標掘削土量に基づいて目標姿勢推定モデルを選択する処理が行なわれる。今回実行される掘削作業の目標掘削土量が範囲PL1に含まれる場合、目標姿勢推定モデル180Aが選択される。掘削作業の目標掘削土量が範囲PL2に含まれる場合、目標姿勢推定モデル180Bが選択される。掘削作業の目標掘削土量が範囲PL3に含まれる場合、目標姿勢推定モデル180Cが選択される。
 その後のステップS203の処理では、選択された目標姿勢推定モデルに作業開始からの経過時間および機械データを入力することで、作業機3の目標姿勢を推定する。
 このように、特定の掘削土量に対応して学習した複数の目標姿勢推定モデルを生成して、目標掘削土量に対応して目標姿勢推定モデルを使い分けることで、よりシンプルな処理で作業機3の目標姿勢を推定することができる。
 <目標姿勢推定モデル180の学習に関する第2の変形例>
 図15は、目標姿勢推定モデル180の学習に関する第2の変形例を示す概略図である。これまでの説明においては、ホイールローダ1の工場出荷前に目標姿勢推定モデル180を学習させる例について説明した。目標姿勢推定モデル180を学習させるための学習用データは、複数のホイールローダ1から収集されてもよい。
 図15に示される、第1のホイールローダ1(ホイールローダ1A)と、第2のホイールローダ1(ホイールローダ1B)と、第3のホイールローダ1(ホイールローダ1C)と、第4のホイールローダ1(ホイールローダ1D)とは、同じ機種である。ホイールローダ1A,1B,1Cは、工場出荷後であり、作業現場にある。
 コンピュータ102Aは、各ホイールローダ1A,1B,1Cから、掘削作業中のある時刻における作業開始からの経過時間と、当該時刻における機械データを取得する。コンピュータ102Aはまた、各ホイールローダ1A,1B,1Cから、当該時刻における作業機姿勢データ(ブーム角度θ1およびベルクランク角度θ2)を、経過時間および機械データに対応付けて取得する。コンピュータ102Aは、各ホイールローダ1A,1B,1Cによる複数の掘削作業における掘削土量、経過時間、機械データおよび作業機姿勢データを抽出して、学習用データとして収集する。これらの学習用データを用いて、コンピュータ102Aは、目標掘削土量、経過時間および機械データから作業機3の目標姿勢を推定した推定目標姿勢を求めることができるように、目標姿勢推定モデル180を学習させる。
 コンピュータ102Aは、通信インタフェース105(図4)を介して、各ホイールローダ1A,1B,1Cから、経過時間、機械データおよび作業機姿勢データを取得してもよい。またはコンピュータ102Aは、外部記録媒体109を介して、各ホイールローダ1A,1B,1Cから、経過時間、機械データおよび作業機姿勢データを取得してもよい。
 コンピュータ102Aは、ホイールローダ1A,1B,1Cと同じ作業現場に配置されていてもよい。またはコンピュータ102Aは、作業現場から離れた遠隔地、たとえば管理センターに配置されていてもよい。ホイールローダ1A,1B,1Cは、同じ作業現場にあってもよく、別々の作業現場にあってもよい。
 学習済みの目標姿勢推定モデル180は、通信インタフェース105または外部記録媒体109などを介して、各ホイールローダ1A,1B,1Cへ提供される。このようにして、各ホイールローダ1A,1B,1Cは、学習済みの目標姿勢推定モデル180を備えるものとされる。
 各ホイールローダ1A,1B,1Cに既に目標姿勢推定モデル180が保存されている場合には、保存されている目標姿勢推定モデル180が書き換えられる。上述した学習用データの収集と目標姿勢推定モデル180の学習とを定期的に実行することで、目標姿勢推定モデル180の書き換えが定期的に行なわれるようにしてもよい。目標姿勢推定モデル180のパラメータの最新の更新値は、記憶装置104にその都度記憶されている。
 学習済みの目標姿勢推定モデル180は、ホイールローダ1Dにも提供される。学習用データを提供するホイールローダ1A,1B,1Cと、学習用データを提供しないホイールローダ1Dとの両方に、目標姿勢推定モデル180が提供される。ホイールローダ1Dは、ホイールローダ1A,1B,1Cのいずれかと同じ作業現場にあってもよく、ホイールローダ1A,1B,1Cとは異なる作業現場にあってもよい。ホイールローダ1Dは、工場出荷前であってもよい。
 <蒸留モデルの製造方法>
 上述した目標姿勢推定モデル180は、学習用データ188A,188B,188C,…,を用いて機械学習により学習したモデルに限られず、当該学習したモデルを利用して生成されたモデルであってもよい。たとえば目標姿勢推定モデル180は、学習済みモデルにデータの入出力を繰り返すことで得られる結果を基に学習させた別の学習済みモデル(蒸留モデル)であってもよい。図16は、蒸留モデルを生成するための処理を示すフローチャートである。
 図16に示されるように、まずステップS301において、掘削土量を取得する。ステップS302において、経過時間および機械データを取得する。図6に示されるステップS101,S102と同様に、演算部161は、掘削作業による掘削土量を演算し、その掘削作業中のある時刻における掘削作業開始からの経過時間を演算し、当該時刻における機械データを演算する。
 次にステップS303において、コンピュータ102Aは、学習済みの第1の目標姿勢推定モデルを用いて、掘削作業中の作業機3の目標姿勢を推定した推定目標姿勢を求める。ステップS304において、コンピュータ102Aは、推定された作業機3の目標姿勢を出力する。
 コンピュータ102A、より詳しくは目標姿勢推定部165は、記憶装置104から学習済みの第1の目標姿勢推定モデルを読み出す。目標姿勢推定部165は、演算部161が演算した掘削土量、経過時間および機械データを、学習済みの第1の目標姿勢推定モデルの入力層181に入力する。学習済みの第1の目標姿勢推定モデルの出力層183から、掘削作業中の作業機3の目標姿勢、具体的にはブーム角度θ1およびベルクランク角度θ2を示す推定目標姿勢が出力される。
 次にステップS305において、コンピュータ102Aは、ステップS301,S302で取得した掘削土量、経過時間および機械データと、ステップS304で出力した作業機3の目標姿勢とを、学習データとして記憶装置104に保存する。
 次にステップS306において、コンピュータ102Aは、学習モデルによって第2の目標姿勢推定モデルの学習を行う。コンピュータ102Aは、掘削土量、経過時間および機械データを第2の目標姿勢推定モデルの入力層に入力する。コンピュータ102Aは、第2の目標姿勢推定モデルの出力層から、掘削作業中の作業機3の目標姿勢、具体的にはブーム角度θ1およびベルクランク角度θ2の推定結果を示す出力値を出力する。第2の目標姿勢推定モデルから出力された作業機3の推定目標姿勢と、ステップS304で出力した、第1の目標姿勢推定モデルから出力された作業機3の推定目標姿勢との差を算出する。この差に基づいて、コンピュータ102Aは、第2の目標姿勢推定モデルのパラメータを更新する。このようにして、第2の目標姿勢推定モデルの学習が行なわれる。
 最後にステップS307において、更新された第2の目標姿勢推定モデルのパラメータを学習済みパラメータとして記憶装置104に保存する。そして、処理を終了する(図16の「エンド」)。
 以上のように、掘削土量、経過時間および機械データと、第1の目標姿勢推定モデルを用いて作業機3の目標姿勢を推定した推定目標姿勢と、を学習用データとして、第2の目標姿勢推定モデル(蒸留モデル)を学習させることで、コンピュータ102Aは、第1の目標姿勢推定モデルよりもシンプルな第2の目標姿勢推定モデルを用いて、掘削作業中の作業機3の目標姿勢を推定することができる。これにより、作業機3の目標姿勢を推定するためのコンピュータ102Aの負荷を軽減することができる。なおコンピュータ102Aは、他のコンピュータによって生成された学習データによって、第2の目標姿勢推定モデルの学習を行なってもよい。
 上記実施形態では、目標姿勢推定モデル180はニューラルネットワークを含んでいる。これに限られず、目標姿勢推定モデル180は、たとえばサポートベクターマシン、決定木など、機械学習を用いて作業開始からの経過時間および機械データから作業中の作業機3の目標姿勢を精度よく推定できるモデルであってもよい。
 本開示の思想を適用可能な作業機械は、ホイールローダに限られず、油圧ショベルまたはブルドーザなどの、作業機を有する作業機械であってもよい。油圧ショベルの場合、目標姿勢推定モデルに入力される機械データは、ブームシリンダの油圧、アームシリンダの油圧、エンジントルク、エンジン回転数、油圧ポンプ容量などを含んでもよい。油圧ショベルの場合、目標姿勢推定モデルが出力する作業機の推定目標姿勢は、車体に対するブームの角度、ブームに対するアームの角度、およびアームに対するバケットの角度を含んでもよい。
 今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 1,1A,1B,1C,1D ホイールローダ、2 車体フレーム、2a 前フレーム、3 作業機、4 走行装置、5 キャブ、6 バケット、6a 刃先、8 操作装置、9 ブームピン、10 制御装置、11 ステアリングシリンダ、14 ブーム、16 ブームシリンダ、17 バケットピン、18 ベルクランク、18a 支持ピン、18b,18c 連結ピン、19 バケットシリンダ、21 エンジン、29 第1角度検出器、48 第2角度検出器、81a アクセル操作部材、81b アクセル操作検出部、82a ステアリング操作部材、82b ステアリング操作検出部、83a ブーム操作部材、83b ブーム操作検出部、84a バケット操作部材、84b バケット操作検出部、85a 変速操作部材、85b 変速操作検出部、86a FR操作部材、86b FR操作検出部、91 エンジン回転数センサ、92 出力回転数センサ、95 第1油圧検出器、96 第2油圧検出器、100 掘削対象物、102A,102B コンピュータ、103 プロセッサ、104 記憶装置、105 通信インタフェース、106 I/Oインタフェース、107 入力装置、108 出力装置、109 外部記録媒体、161 演算部、162 タイマ、163 角度検出部、165 目標姿勢推定部、166 誤差算出部、167 目標姿勢推定モデル更新部、168 ブーム制御部、169 バケット制御部、180 目標姿勢推定モデル、181 入力層、182 中間層、183 出力層、188 学習用データセット、188A,188B,188C 学習用データ、191 入力データ、197 角度出力値、A ブーム基準線、B バケット基準線、H 水平線、L バケット軌跡。

Claims (10)

  1.  本体と、
     前記本体に取り付けられた作業機と、
     コンピュータとを備え、
     前記コンピュータは、作業中の前記作業機の目標姿勢を求めるための学習済み姿勢推定モデルを有し、
     前記コンピュータは、前記作業機による作業量の目標値と、前記作業機による作業開始からの経過時間と、前記本体および前記作業機の動作に関する機械データとを取得し、前記学習済み姿勢推定モデルを用いて前記目標値、前記経過時間および前記機械データから前記目標姿勢を推定した推定目標姿勢を出力する、作業システム。
  2.  前記コンピュータは、前記学習済み姿勢推定モデルを複数有し、
     前記コンピュータは、前記目標値に基づいて複数の前記学習済み姿勢推定モデルのうちの一つを選択し、選択された前記学習済み姿勢推定モデルを用いて前記経過時間および前記機械データから前記推定目標姿勢を出力する、請求項1に記載の作業システム。
  3.  前記作業機は、前記本体に連結されたブームと、前記ブームに連結されたバケットとを含み、
     前記作業機による作業は、前記バケットに掘削対象物を掬い取る掘削作業である、請求項1または2に記載の作業システム。
  4.  前記コンピュータは、前記バケットに掬い取られた前記掘削対象物の量の履歴に基づいて前記目標値を取得する、請求項3に記載の作業システム。
  5.  コンピュータによって実行される方法であって、
     本体に取り付けられた作業機による作業量の目標値と、前記作業機による作業開始からの経過時間と、前記本体および前記作業機の動作に関する機械データと、を取得する工程と、
     作業中の前記作業機の目標姿勢を求めるための学習済み姿勢推定モデルを用いて、前記目標値、前記経過時間および前記機械データから前記目標姿勢を推定した推定目標姿勢を求める工程と、
    を備える方法。
  6.  コンピュータによって実行される方法であって、
     本体に取り付けられた作業機による作業量の目標値と、前記作業機による作業開始からの経過時間と、前記本体および前記作業機の動作に関する機械データと、を取得する工程と、
     前記目標値に基づいて、作業中の前記作業機の目標姿勢を求めるための複数の学習済み姿勢推定モデルから、一つの前記学習済み姿勢推定モデルを選択する工程と、
     選択された前記学習済み姿勢推定モデルを用いて、前記経過時間および前記機械データから前記目標姿勢を推定した推定目標姿勢を求める工程と、
    を備える方法。
  7.  学習済みの姿勢推定モデルの製造方法であって、
     本体に取り付けられた作業機による作業量と、前記作業機による作業開始からの経過時間と、前記本体および前記作業機の動作に関する機械データと、作業中の前記作業機の姿勢データと、を含む学習用データを取得することと、
     前記学習用データにより前記姿勢推定モデルを学習させることと、を備える、製造方法。
  8.  前記学習用データを用いて複数の姿勢推定モデルの学習処理をする、請求項7に記載の製造方法。
  9.  本体に取り付けられた作業機の作業中の目標姿勢を求める姿勢推定モデルを学習させるための学習用データであって、
     前記作業機による作業量と、
     前記作業機による作業開始からの経過時間と、
     前記経過時間を計測した時点での前記本体および前記作業機の動作に関する機械データと、
     前記経過時間を計測した時点での前記作業機の姿勢を示す姿勢データと、を備える、学習用データ。
  10.  本体に取り付けられた作業機による作業量の目標値と、前記作業機による作業開始からの経過時間と、前記本体および前記作業機の動作に関する機械データとを取得することと、
     学習済みの第1の姿勢推定モデルを用いて、作業中の前記作業機の目標姿勢を前記目標値、前記経過時間および前記機械データから推定した推定目標姿勢を求めることと、
     前記経過時間、前記機械データおよび前記目標値と、前記推定目標姿勢と、を含む学習用データにより、第2の姿勢推定モデルを学習させることと、を備える、学習済みの姿勢推定モデルの製造方法。
PCT/JP2021/008391 2020-03-13 2021-03-04 作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ WO2021182284A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180013321.3A CN115053038B (zh) 2020-03-13 2021-03-04 作业系统、由计算机执行的方法以及学习用数据
US17/799,050 US20230106835A1 (en) 2020-03-13 2021-03-04 Working system, computer implemented method, method for producing trained posture estimation model, and training data
EP21768722.7A EP4079971A4 (en) 2020-03-13 2021-03-04 WORK SYSTEM, COMPUTER-EXECUTED METHOD, METHOD FOR PRODUCING TRAINED ORIENTATION ESTIMATION MODELS, AND TRAINING DATA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020044103A JP7451240B2 (ja) 2020-03-13 2020-03-13 作業システム、コンピュータによって実行される方法、および学習済みの姿勢推定モデルの製造方法
JP2020-044103 2020-03-13

Publications (1)

Publication Number Publication Date
WO2021182284A1 true WO2021182284A1 (ja) 2021-09-16

Family

ID=77672335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008391 WO2021182284A1 (ja) 2020-03-13 2021-03-04 作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ

Country Status (5)

Country Link
US (1) US20230106835A1 (ja)
EP (1) EP4079971A4 (ja)
JP (1) JP7451240B2 (ja)
CN (1) CN115053038B (ja)
WO (1) WO2021182284A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919687A4 (en) * 2019-04-04 2022-11-16 Komatsu Ltd. WORK MACHINE SYSTEM, COMPUTER-EXECUTED METHOD, METHOD OF PRODUCTION FOR TRAINED POSITION ESTIMATION MODELS AND LEARNING DATA
JP7541544B2 (ja) 2022-03-31 2024-08-28 株式会社小松製作所 作業機械および作業機械の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142506A (ja) * 1999-11-16 2001-05-25 Hitachi Ltd 操作支援機能付き車両
JP2016156193A (ja) * 2015-02-25 2016-09-01 株式会社日立製作所 操作支援システムおよび操作支援システムを備えた作業機械
JP2018135649A (ja) 2017-02-20 2018-08-30 株式会社小松製作所 作業車両および作業車両の制御方法
WO2020203596A1 (ja) * 2019-04-04 2020-10-08 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208925B1 (en) * 1999-04-26 2001-03-27 Caterpillar Inc. Simplified powertrain load prediction method and system using computer based models
JP2001123478A (ja) * 1999-10-28 2001-05-08 Hitachi Constr Mach Co Ltd 自動運転ショベル
CN102561445B (zh) * 2012-01-09 2014-05-21 三一重工股份有限公司 用于判断挖掘机的工作姿态的系统和方法、挖掘机
WO2015109392A1 (en) * 2014-01-24 2015-07-30 Atlas Copco Rock Drills Ab Autonomous loading vehicle controller
RU2658708C1 (ru) * 2014-10-13 2018-06-22 Сандвик Майнинг Энд Констракшн Ой Устройство для управления рабочей машиной
WO2017010212A1 (ja) * 2015-07-15 2017-01-19 株式会社日立製作所 作業機械の操作システムおよび作業機械の操作システムを備えた作業機械
US20170073935A1 (en) * 2015-09-11 2017-03-16 Caterpillar Inc. Control System for a Rotating Machine
US10163033B2 (en) * 2016-12-13 2018-12-25 Caterpillar Inc. Vehicle classification and vehicle pose estimation
GB2562122B (en) * 2017-05-05 2022-10-19 Bamford Excavators Ltd Training machine
CN110546327B (zh) * 2018-03-28 2021-12-07 日立建机株式会社 作业机械
EP3885495B1 (en) * 2018-11-19 2024-06-05 Sumitomo Construction Machinery Co., Ltd. Excavator and excavator control device
JP7010861B2 (ja) * 2019-02-07 2022-01-26 ファナック株式会社 状態判定装置及び状態判定方法
US12006664B2 (en) * 2019-05-24 2024-06-11 Kawasaki Jukogyo Kabushiki Kaisha Construction machinery with learning function
JP7221183B2 (ja) * 2019-09-20 2023-02-13 株式会社日立製作所 機械学習方法、フォークリフト制御方法、及び機械学習装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142506A (ja) * 1999-11-16 2001-05-25 Hitachi Ltd 操作支援機能付き車両
JP2016156193A (ja) * 2015-02-25 2016-09-01 株式会社日立製作所 操作支援システムおよび操作支援システムを備えた作業機械
JP2018135649A (ja) 2017-02-20 2018-08-30 株式会社小松製作所 作業車両および作業車両の制御方法
WO2020203596A1 (ja) * 2019-04-04 2020-10-08 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4079971A4

Also Published As

Publication number Publication date
EP4079971A1 (en) 2022-10-26
CN115053038A (zh) 2022-09-13
JP7451240B2 (ja) 2024-03-18
JP2021143555A (ja) 2021-09-24
US20230106835A1 (en) 2023-04-06
CN115053038B (zh) 2023-07-14
EP4079971A4 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
WO2020203596A1 (ja) 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ
WO2021002245A1 (ja) 作業機械を含むシステム、および作業機械
WO2021182284A1 (ja) 作業システム、コンピュータによって実行される方法、学習済みの姿勢推定モデルの製造方法、および学習用データ
WO2021002249A1 (ja) 学習済みの作業分類推定モデルの製造方法、学習用データ、コンピュータによって実行される方法、および作業機械を含むシステム
CN115279973B (zh) 操作引导装置
US20230243130A1 (en) Excavation plan creation device, working machine, and excavation plan creation method
CN111094663B (zh) 作业机械及包含作业机械的系统
WO2020003636A1 (ja) 作業機械、および作業機械を含むシステム
WO2020003637A1 (ja) 作業機械、および作業機械を含むシステム
WO2020003638A1 (ja) 作業機械、および作業機械を含むシステム
WO2021182286A1 (ja) 操作システム
JP7541544B2 (ja) 作業機械および作業機械の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768722

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021768722

Country of ref document: EP

Effective date: 20220719

NENP Non-entry into the national phase

Ref country code: DE