WO2024014115A1 - 作業機械の監視システム及び作業機械の監視方法 - Google Patents
作業機械の監視システム及び作業機械の監視方法 Download PDFInfo
- Publication number
- WO2024014115A1 WO2024014115A1 PCT/JP2023/018531 JP2023018531W WO2024014115A1 WO 2024014115 A1 WO2024014115 A1 WO 2024014115A1 JP 2023018531 W JP2023018531 W JP 2023018531W WO 2024014115 A1 WO2024014115 A1 WO 2024014115A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- bucket
- working machine
- algorithm
- imaging device
- unit
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 136
- 238000005259 measurement Methods 0.000 claims abstract description 128
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000007547 defect Effects 0.000 claims description 45
- 238000004148 unit process Methods 0.000 claims 2
- 238000003384 imaging method Methods 0.000 description 226
- 238000010586 diagram Methods 0.000 description 46
- 230000001012 protector Effects 0.000 description 38
- 230000003287 optical effect Effects 0.000 description 28
- 239000000463 material Substances 0.000 description 25
- 238000009412 basement excavation Methods 0.000 description 22
- 238000011109 contamination Methods 0.000 description 21
- 239000004575 stone Substances 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 18
- 238000005096 rolling process Methods 0.000 description 18
- 230000002950 deficient Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 239000000446 fuel Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000010720 hydraulic oil Substances 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
Definitions
- the present disclosure relates to a work machine monitoring system and a work machine monitoring method.
- Patent Document 1 In the technical field related to working machines, a working vehicle as disclosed in Patent Document 1 is known.
- the work machine may be able to perform the work smoothly.
- constantly monitoring both the status of the working machine and the working environment increases the burden required for monitoring. Therefore, there is a need for technology that can efficiently monitor multiple targets.
- the present disclosure aims to efficiently monitor multiple targets.
- a measurement data acquisition unit that acquires measurement data of a measuring device mounted on a working machine to measure an object
- vehicle body data acquisition unit that acquires vehicle body data indicating the state of the working machine
- state determining unit that determines the state of the working machine
- an algorithm selecting unit that selects a specific algorithm for processing measurement data based on the state of the working machine determined by the state determining unit
- a working machine monitoring system which includes a processing unit that processes measurement data based on a specified algorithm and recognizes an object.
- multiple targets can be efficiently monitored.
- FIG. 1 is a side view showing a working machine according to an embodiment.
- FIG. 2 is a top view showing the working machine according to the embodiment.
- FIG. 3 is a front view showing the working machine according to the embodiment.
- FIG. 4 is a diagram showing the driver's cab of the driver's cab according to the embodiment.
- FIG. 5 is a partially enlarged front view of the working machine according to the embodiment.
- FIG. 6 is a diagram showing a drive system for a working machine according to the embodiment.
- FIG. 7 is a diagram illustrating the operation of the working machine according to the embodiment.
- FIG. 8 is a diagram illustrating the operation of the working machine according to the embodiment.
- FIG. 9 is a side view showing a working machine that performs loading work according to the embodiment.
- FIG. 10 is a top view showing a working machine that performs loading work according to the embodiment.
- FIG. 11 is a diagram illustrating an example of image data captured by the first imaging device on the left side according to the embodiment.
- FIG. 12 is a diagram illustrating an example of image data captured by the second imaging device on the left according to the embodiment.
- FIG. 13 is a functional block diagram showing the monitoring system according to the embodiment.
- FIG. 14 is a diagram illustrating a method for determining defects in a working machine according to the embodiment.
- FIG. 15 is a diagram illustrating a method for determining defects in a working machine according to an embodiment.
- FIG. 16 is a diagram illustrating a method for determining a defect in a working machine according to an embodiment.
- FIG. 17 is a diagram illustrating a method for determining defects in a working machine according to an embodiment.
- FIG. 18 is a diagram illustrating a method for determining a defect in a working machine according to an embodiment.
- FIG. 19 is a diagram illustrating an example of a health determination frame according to the embodiment.
- FIG. 20 is a diagram illustrating an example of a loss determination frame according to the embodiment.
- FIG. 21 is a diagram illustrating an example of a symbol indicating a bucket tooth displayed on the display device according to the embodiment.
- FIG. 22 is a diagram showing the relationship between the loss determination frame and the warning format according to the embodiment.
- FIG. 23 is a diagram illustrating the determination criteria according to the embodiment.
- FIG. 24 is a diagram illustrating warning criteria according to the embodiment.
- FIG. 25 is a diagram illustrating an example of a setting screen for determination criteria and warning criteria according to the embodiment.
- FIG. 26 is a flowchart showing the monitoring method according to the embodiment.
- FIG. 27 is a diagram illustrating an example of an output device according to the embodiment.
- FIG. 28 is a diagram illustrating an example of an output device according to the embodiment.
- FIG. 29 is a block diagram showing a computer system according to an embodiment.
- FIG. 30 is a diagram illustrating the operation of a working machine according to another embodiment.
- FIG. 31 is a diagram showing a monitoring system according to another embodiment.
- FIG. 1 is a side view showing a working machine 1 according to an embodiment.
- FIG. 2 is a top view showing the working machine 1 according to the embodiment.
- FIG. 3 is a front view showing the working machine 1 according to the embodiment.
- the work machine 1 works at a work site.
- the work machine 1 is a wheel loader, which is a type of articulate work machine.
- the work machine 1 performs an excavation operation to excavate an excavation target, and a loading operation to load excavated material excavated by the excavation operation onto the loading target.
- the working machine 1 includes a vehicle body 2, a driver's cab 3, a traveling device 4, a front fender 7, a support member 8, a housing 9, and a working machine 10. and an angle sensor 90.
- the vehicle body 2 includes a front vehicle body 2F and a rear vehicle body 2R.
- the front vehicle body 2F and the rear vehicle body 2R are connected via a joint mechanism 2A.
- the driver's cab 3 is supported by the vehicle body 2.
- a driver's cab is provided in the driver's cab 3.
- a driver's seat is provided in the driver's cab.
- the work machine 1 is operated by a driver seated in a driver's cab 3.
- the traveling device 4 supports the vehicle body 2 and travels on the ground 200 of the work site.
- the traveling device 4 has wheels 5 and tires 6.
- the tire 6 is attached to the wheel 5.
- the wheels 5 include a front wheel 5F supported by the front vehicle body 2F and a rear wheel 5R supported by the rear vehicle body 2R.
- the tires 6 include a front tire 6F mounted on the front wheel 5F and a rear tire 6R mounted on the rear wheel 5R.
- the front wheels 5F and front tires 6F are rotatable around the rotation axis FX.
- the rear wheels 5R and rear tires 6R are rotatable around the rotation axis RX.
- the direction parallel to the rotation axis FX of the front wheels 5F is appropriately referred to as the vehicle width direction.
- the direction perpendicular to the ground contact surface of the front tire 6F that contacts the ground 200 is appropriately referred to as the vertical direction.
- a direction perpendicular to both the vehicle width direction and the vertical direction is appropriately referred to as the longitudinal direction.
- a position or direction near the center CL of the work machine 1 in the vehicle width direction is appropriately referred to as an inner side in the vehicle width direction, and a position or direction far from the center CL is appropriately referred to in the vehicle width direction. It is called the outside of.
- One side of the center CL of the working machine 1 in the vehicle width direction is the left, and the opposite side of the left is the right.
- the position or direction closest to the working machine 10 with respect to the driver's seat of the driver's cab 3 is the front, and the opposite side of the front is the rear.
- the position or direction close to the ground contact surface of the front tire 6F is the bottom, and the opposite side of the bottom is the top.
- the rear vehicle body 2R is arranged on the rear side of the front vehicle body 2F.
- the front vehicle body 2F is bent to the left and to the right with respect to the rear vehicle body 2R.
- the rear wheel 5R is arranged on the rear side of the front wheel 5F.
- the rear tire 6R is arranged on the rear side of the front tire 6F.
- the front wheels 5F and the front tires 6F are arranged on the left and right sides of the center CL of the working machine 1, respectively, in the vehicle width direction of the working machine 1.
- the rear wheels 5R and the rear tires 6R are arranged on the left and right sides of the center CL of the working machine 1, respectively, in the vehicle width direction of the working machine 1.
- the tire 6 is a rotating member that rotates while in contact with the ground 200.
- the rotation of the tires 6 causes the working machine 1 to run on the ground 200.
- the front tire 6F is a front rotating member that rotates while in contact with the ground 200.
- the rear tire 6R is a rear rotating member that is arranged on the rear side of the front tire 6F and rotates while in contact with the ground 200.
- the front fender 7 prevents earth and sand scattered from the ground 200 from hitting the vehicle body 2 and the driver's cab 3 while the working machine 1 is running.
- a part of the front fender 7 is arranged above the front tire 6F.
- a part of the front fender 7 is arranged on the rear side of the front tire 6F.
- the front fender 7 is arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1.
- the front fender 7 includes a front fender 7L located on the left side of the center CL, and a front fender 7R located on the right side of the center CL.
- the left front fender 7L is attached to the left part of the front vehicle body 2F.
- the right front fender 7R is attached to the right part of the front vehicle body 2F.
- the support member 8 is a rod-shaped member. A lower end portion of the support member 8 is fixed to the front vehicle body 2F. The support member 8 is inclined upward, forward, and outward in the vehicle width direction. The support members 8 are arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1, respectively.
- the support member 8 includes a support member 8L disposed on the left side of the center CL, and a support member 8R disposed on the right side of the center CL.
- the lower end portion of the left support member 8L is fixed to the left portion of the front vehicle body 2F.
- the left support member 8L is inclined upward to the front side and to the left side.
- the lower end portion of the right support member 8R is fixed to the right portion of the front vehicle body 2F.
- the right support member 8R is inclined upward to the front side and to the right side.
- the housing 9 is fixed to the upper end of the support member 8.
- the housing 9 is supported by the front vehicle body 2F via the support member 8.
- the housing 9 In the longitudinal direction, the housing 9 is arranged between the joint mechanism 2A and the front end of the front vehicle body 2F.
- the housing 9 In the vertical direction, the housing 9 is arranged between the upper end of the driver's cab 3 and the upper end of the front vehicle body 2F.
- the housing 9 is arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1, respectively.
- the housing 9 includes a housing 9L located on the left side of the center CL and a housing 9R located on the right side of the center CL.
- the left housing 9L is fixed to the upper end of the left support member 8L.
- the right housing 9R is fixed to the upper end of the right support member 8R.
- the left housing 9L is arranged above the left front fender 7L.
- the right housing 9R is arranged above the right front
- the work machine 10 operates during excavation work and loading work.
- the work machine 10 is connected to the front vehicle body 2F. At least a portion of the work machine 10 is arranged on the front side of the front wheel 5F.
- the work machine 10 includes a boom 11, a bucket 12, a bell crank 15, and a bucket link 16.
- the boom 11 is rotatably connected to the front vehicle body 2F.
- the boom 11 connects the front vehicle body 2F and the bucket 12.
- the boom 11 is operated by the driving force generated by the boom cylinder 13.
- Boom cylinder 13 is a hydraulic cylinder.
- One end of the boom cylinder 13 is connected to the front vehicle body 2F.
- the other end of the boom cylinder 13 is connected to the boom 11.
- the boom cylinders 13 are arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1, respectively.
- the bucket 12 excavates the excavation target.
- the bucket 12 is rotatably connected to the tip of the boom 11.
- the bucket 12 is arranged in front of the front wheel 5F.
- the bucket 12 is operated by the driving force generated by the bucket cylinder 14.
- Bucket cylinder 14 is a hydraulic cylinder.
- a central portion of the bell crank 15 is rotatably connected to the boom 11.
- One end of the bucket cylinder 14 is connected to the front vehicle body 2F.
- the other end of the bucket cylinder 14 is connected to one end of the bell crank 15 .
- the other end of the bell crank 15 is connected to the bucket 12 via a bucket link 16.
- One bucket cylinder 14 is arranged at the center in the vehicle width direction.
- the bucket 12 includes a bucket body 17, bucket teeth 18, and an inter-tooth protector 19.
- the bucket body 17 holds the excavated material.
- the bucket body 17 includes a bottom plate part 17A, a top plate part 17B, a left plate part 17C, and a right plate part 17D.
- the bottom plate part 17A, the top plate part 17B, the left plate part 17C, and the right plate part 17D form a holding space in which the excavated object is accommodated.
- the tip of the bottom plate portion 17A and the tip of the top plate portion 17B each extend in the vehicle width direction.
- Each of the distal end portion of the left plate portion 17C and the distal end portion of the right plate portion 17D extends in the up-down direction or the front-back direction.
- the opening 12M of the bucket 12 is defined by the tip of the bottom plate 17A, the top plate 17B, the left plate 17C, and the right plate 17D.
- the excavated material can enter the holding space of the bucket 12 through the opening 12M.
- the ends 12E of the bucket body 17 on both sides in the vehicle width direction are arranged on the outer side of the tires 6 in the vehicle width direction.
- the distance in the vehicle width direction between the left end 12E and the right end 12E is greater than the distance in the vehicle width direction between the left side surface of the left tire 6 and the right side surface of the right tire 6.
- the bucket tooth 18 constitutes the cutting edge of the bucket 12.
- Bucket tooth 18 is attached to bucket body 17.
- the bucket tooth 18 is attached to the tip of the bottom plate portion 17A.
- a plurality of bucket teeth 18 are attached to the bucket body 17.
- the plurality of bucket teeth 18 are arranged at intervals in the vehicle width direction.
- the bucket tooth 18 is a replacement member that is replaceably attached to the bucket body 17.
- the bucket tooth 18 is fixed to the bucket body 17 with, for example, a bolt. By releasing the bolt fixation, the bucket teeth 18 can be separated from the bucket body 17.
- the bucket teeth 18 are arranged at intervals in the vehicle width direction.
- the bucket teeth 18 include a bucket tooth 181 disposed on the leftmost side, a bucket tooth 182 disposed on the left after the bucket tooth 181, a bucket tooth 183 disposed on the left after the bucket tooth 182, and a bucket tooth 183 disposed on the left side after the bucket tooth 182.
- a bucket tooth 184 is placed next to the left side
- a bucket tooth 185 is placed next to the left side after the bucket tooth 184
- a bucket tooth 186 is placed next to the left side after the bucket tooth 185
- a bucket tooth 186 is placed next to the left side after the bucket tooth 186.
- the bucket tooth 187 includes a bucket tooth 187 located on the right side, and a bucket tooth 188 located on the rightmost side.
- the tooth-tooth protector 19 protects the tip of the bottom plate portion 17A.
- the tooth protector 19 is attached to the bucket body 17.
- the inter-tooth protector 19 is arranged between a pair of mutually adjacent bucket teeth 18.
- the tooth-tooth protector 19 is attached to the tip of the bottom plate portion 17A.
- a plurality of tooth-tooth protectors 19 are attached to the bucket body 17.
- the plural tooth protectors 19 are arranged at intervals in the vehicle width direction.
- the inter-tooth protector 19 is a replacement member that is replaceably attached to the bucket body 17.
- the tooth protector 19 is fixed to the bucket body 17 with, for example, a bolt. By releasing the bolt fixation, the inter-tooth protector 19 can be separated from the bucket body 17.
- the inter-tooth protector 19 includes an inter-tooth protector 191 disposed on the leftmost side, an inter-tooth protector 192 disposed on the left next to the inter-tooth protector 191, and an inter-tooth protector 193 disposed on the left after the inter-tooth protector 192. , an inter-tooth protector 194 disposed on the left next to the inter-tooth protector 193, an inter-tooth protector 195 disposed on the left after the inter-tooth protector 194, and an inter-tooth protector disposed on the left after the inter-tooth protector 195. 196, and an inter-tooth protector 197 disposed on the rightmost side.
- the angle sensor 90 is an attitude sensor that detects the attitude of the working machine 10.
- the attitude of the work machine 10 includes the angle of the work machine 10.
- Angle sensor 90 is provided on work machine 10.
- Angle sensor 90 includes a boom angle sensor 91 that detects the angle of boom 11 and a bucket angle sensor 92 that detects the angle of bucket 12.
- the boom angle sensor 91 detects, for example, the angle of the boom 11 with respect to a reference axis of a vehicle body coordinate system defined in the front vehicle body 2F.
- Bucket angle sensor 92 detects the angle of bucket 12 with respect to boom 11 .
- a potentiometer is exemplified as the angle sensor 90.
- the posture sensor that detects the posture of the working machine 10 may be a stroke sensor that detects the stroke of a hydraulic cylinder (boom cylinder 13, bucket cylinder 14).
- FIG. 4 is a diagram showing the driver's cab of the driver's cab 3 according to the embodiment.
- FIG. 4 is a diagram schematically showing the scenery seen from the driver seated in the driver's seat in the driver's cab.
- a driving operation device 20, an operation panel 21, a monitor device 22, a rear view monitor device 23, an output device 24, and an input device 25 are arranged in the driver's cab.
- the driving operation device 20 is operated by a driver.
- the driving operation device 20 includes an accelerator pedal 20A and a pair of brake pedals 20B.
- the driving operation device 20 includes a steering lever, a shift lever, a forward/reverse switching lever, and a work lever.
- the accelerator pedal 20A By operating the accelerator pedal 20A, the traveling speed of the working machine 1 increases.
- the brake pedal 20B the running speed of the working machine 1 is reduced or the running of the working machine 1 is stopped.
- the working machine 1 turns by operating the steering lever.
- By operating the shift lever the speed stage of the work machine 1 is changed.
- By operating the forward/reverse switching lever the traveling direction of the working machine 1 is switched between a forward direction and a backward direction.
- the work machine 10 is operated by operating the work lever.
- the output device 24 provides output data to the driver. Output data includes warnings.
- the output device 24 includes a display device 24A and a sounding device 24B.
- the display device 24A provides display data to the driver as output data.
- a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OELD) is exemplified.
- the sound generation device 24B provides audio data to the driver as output data.
- a buzzer or a speaker is exemplified as the sounding device 24B.
- the input device 25 generates input data when operated by the driver.
- a button or a keyboard is exemplified.
- the input device 25 may include, for example, a touch panel.
- a windshield is installed in the front of the driver's cab.
- the windshield is attached to the pillar 27 of the driver's cab.
- output device 24 is supported by pillar 27 .
- FIG. 5 is a partially enlarged front view of the working machine 1 according to the embodiment. As shown in FIGS. 3 and 5, the working machine 1 includes a headlamp 28, a turn signal lamp 29, a first measuring device 31, and a second measuring device 32.
- the headlight 28 emits illumination light forward to illuminate an illumination range ahead of the front vehicle body 2F.
- Headlamp 28 is held in housing 9.
- the headlights 28 are arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1, respectively.
- the headlight 28 includes a headlight 28L arranged on the left side of the center CL, and a headlight 28R arranged on the right side of the center CL.
- the left headlamp 28L is held in the left housing 9L.
- the right headlamp 28R is held in the right housing 9R.
- the blinker lamp 29 indicates the turning direction of the work machine 1 by lighting or blinking.
- the turn signal lamp 29 is held in the housing 9.
- the blinker lamps 29 are arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1, respectively.
- the turn signal lamp 29 includes a turn signal lamp 29L placed on the left side of the center CL, and a turn signal lamp 29R placed on the right side of the center CL.
- the left turn signal lamp 29L is held in the left housing 9L.
- the right turn signal lamp 29R is held in the right housing 9R.
- the turn signal lamp 29 is arranged outside the headlight 28.
- the first measuring device 31 measures a predetermined object.
- the object measured by the first measuring device 31 includes the work machine 10.
- the first measuring device 31 measures the working machine 10 .
- the first measuring device 31 acquires measurement data of the working machine 10.
- the first measuring device 31 is an imaging device that images the working machine 10.
- the measurement data of the working machine 10 includes image data of the working machine 10.
- the first measuring device 31 will be appropriately referred to as a first imaging device 31.
- the second measuring device 32 measures a predetermined object.
- the object measured by the second measuring device 32 includes the ground 200 on which the traveling device 4 travels.
- the second measuring device 32 measures the ground 200 on which the work machine 1 runs.
- the second measurement device 32 acquires measurement data of the ground 200.
- the second measuring device 32 is an imaging device that images the ground 200.
- the measurement data of the ground 200 includes image data of the ground 200.
- the second measuring device 32 will be appropriately referred to as a second imaging device 32.
- Each of the first imaging device 31 and the second imaging device 32 includes an optical system and an image sensor into which light that has passed through the optical system is incident.
- the image sensor include a CCD (Couple Charged Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the first imaging device 31 and the second imaging device 32 are each arranged in the housing 9. In the vehicle width direction of the working machine 1, each of the first imaging device 31 and the second imaging device 32 is arranged outside the headlight 28. In the housing 9, the second imaging device 32 is arranged above the first imaging device 31.
- the first imaging device 31 is arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1.
- the first imaging device 31 is arranged in each of the left housing 9 and the right housing 9.
- the first imaging device 31 includes a first imaging device 31L arranged on the left side of the center CL, and a first imaging device 31R arranged on the right side of the center CL.
- the second imaging device 32 is arranged on the left and right sides of the center CL of the working machine 1 in the vehicle width direction of the working machine 1.
- the second imaging device 32 is arranged in each of the left housing 9 and the right housing 9.
- the second imaging device 32 includes a second imaging device 32L located on the left side of the center CL, and a second imaging device 32R located on the right side of the center CL.
- FIG. 6 is a diagram showing the drive system 40 of the working machine 1 according to the embodiment.
- the drive system 40 includes an engine 41, a fuel injection device 42, a power take off (PTO) 43, a transmission 44, a front axle 45F, a rear axle 45R, a hydraulic pump 46, a control valve 47, It has a drive controller 48.
- PTO power take off
- the engine 41 is, for example, a diesel engine.
- the fuel injection device 42 injects fuel into the cylinders of the engine 41. By adjusting the amount of fuel injected from the fuel injection device 42 to the engine 41, the driving force of the engine 41 is adjusted.
- the power takeoff 43 distributes the driving force of the engine 41 to the transmission 44 and the hydraulic pump 46.
- the driving force of the engine 41 is transmitted to each of the transmission 44 and the hydraulic pump 46 via the power takeoff 43.
- the transmission 44 has an input shaft into which the driving force of the engine 41 is input, and an output shaft which changes speed and outputs the driving force input to the input shaft.
- An input shaft of the transmission 44 is connected to the power takeoff 43.
- the output shaft of the transmission 44 is connected to each of a front axle 45F and a rear axle 45R.
- the driving force of the engine 41 is transmitted via a power takeoff 43 and a transmission 44 to a front axle 45F and a rear axle 45R, respectively.
- the transmission 44 switches the traveling direction of the working machine 1 between a forward direction and a backward direction.
- the transmission 44 has a forward gear 44F and a reverse gear 44R. By engaging the forward gear 44F, the traveling direction of the work machine 1 is determined to be the forward direction. By engaging the reverse gear 44R, the traveling direction of the work machine 1 is determined to be the reverse direction.
- the front axle 45F transmits the driving force transmitted from the transmission 44 to the front wheels 5F.
- the front wheels 5F rotate based on the driving force transmitted from the front axle 45F.
- the rear axle 45R transmits the driving force transmitted from the transmission 44 to the rear wheel 5R.
- the rear wheels 5R rotate based on the driving force transmitted from the rear axle 45R.
- the work machine 1 By engaging the forward gear 44F, the work machine 1 becomes in a state where it can move forward. With forward gear 44F engaged, accelerator pedal 20A is operated, and the driving force of engine 41 is transmitted to each of front axle 45F and rear axle 45R via transmission 44, thereby moving work machine 1 forward. Note that even when the forward gear 44F is engaged, the work machine 1 does not move forward, for example, when the brake pedal 20B is operated.
- the working machine 1 By engaging the reverse gear 44R, the working machine 1 becomes in a state where it can move backward.
- the accelerator pedal 20A With the reverse gear 44R engaged, the accelerator pedal 20A is operated, and the driving force of the engine 41 is transmitted to each of the front axle 45F and rear axle 45R via the transmission 44, thereby causing the work machine 1 to move backward. Note that even when the reverse gear 44R is engaged, the work machine 1 does not move backward, for example, while the brake pedal 20B is being operated.
- the hydraulic pump 46 discharges hydraulic oil.
- the hydraulic pump 46 is a variable displacement hydraulic pump.
- the hydraulic pump 46 is driven based on the driving force of the engine 41. Hydraulic oil discharged from the hydraulic pump 46 is supplied to at least one of the boom cylinder 13 and the bucket cylinder 14 via the control valve 47.
- the control valve 47 controls the flow rate and direction of hydraulic oil supplied to the boom cylinder 13 and bucket cylinder 14, respectively.
- the work machine 10 operates with hydraulic oil supplied from the hydraulic pump 46 via the control valve 47.
- the drive controller 48 controls the work machine 1 based on the operation signal output from the driving operation device 20.
- Drive controller 48 includes a computer system.
- FIG. 7 is a diagram illustrating the operation of the working machine 10 according to the embodiment.
- the working machine 10 is a front-loading type working machine in which the opening 12M of the bucket 12 faces forward during excavation work.
- the raising operation of the boom 11 refers to an operation in which the boom 11 rotates so that the tip of the boom 11 is separated from the ground 200. By extending the boom cylinder 13, the boom 11 is raised.
- the lowering operation of the boom 11 refers to an operation in which the boom 11 rotates so that the tip of the boom 11 approaches the ground 200. By contracting the boom cylinder 13, the boom 11 moves down.
- the bucket 12 By expanding and contracting the bucket cylinder 14, the bucket 12 performs a tilting operation or a dumping operation.
- the tilting operation of the bucket 12 refers to an operation in which the bucket 12 rotates so that the tip of the bucket 12 is separated from the ground 200 with the opening 12M of the bucket 12 facing upward.
- the bell crank 15 rotates so that the upper end of the bell crank 15 moves forward and the lower end of the bell crank 15 moves rearward.
- the bucket link 16 When the lower end of the bell crank 15 moves rearward, the bucket 12 is pulled rearward by the bucket link 16 and tilts.
- the object to be excavated is scooped up by the bucket 12, and the excavated object is held in the bucket 12.
- the dumping operation of the bucket 12 refers to an operation in which the bucket 12 rotates so that the tip of the bucket 12 approaches the ground 200 with the opening 12M of the bucket 12 facing downward.
- the bucket cylinder 14 contracts, the bell crank 15 rotates so that the upper end of the bell crank 15 moves rearward and the lower end of the bell crank 15 moves forward.
- the bucket 12 is pushed forward by the bucket link 16 and performs a dumping operation.
- the dumping operation of the bucket 12 causes the excavated material held in the bucket 12 to be discharged from the bucket 12.
- FIG. 8 is a diagram illustrating the operation of the work machine 1 according to the embodiment.
- the work machine 1 performs excavation work and loading work at a work site.
- Excavation work is the work of excavating the excavation target.
- An example of an excavation target is a ground or a rocky mountain.
- the ground is a mountain made up of earth and sand placed on the ground 200.
- the rocky mountain is a mountain made up of rocks or stones placed on the ground 200.
- the excavation target is the ground 210.
- the excavated material is a portion of the ground 210 that has been excavated and held in the bucket 12.
- the loading work is the work of loading the excavated material excavated by the excavation work onto the loading target.
- the loading target include a transport vehicle, a hopper, or a belt conveyor.
- the object to be loaded is a dump body 230 of a dump truck 220, which is a type of transport vehicle.
- the work machine 1 is operated by a driver to perform cycle work that repeats a series of work modes.
- Cycle work is composed of multiple interrelated work modes.
- the cycle work includes traveling of the traveling device 4 and operation of the working machine 10.
- the cycle work is composed of six work modes.
- a series of working modes of the work machine 1 include an unloaded forward mode, an excavation mode, a loaded backward mode, a loaded forward mode, a loading mode, and an unloaded backward mode.
- the order of a series of work modes is determined. After the empty advance mode is implemented, the excavation mode is implemented. After the excavation mode is implemented, the load reversing mode is implemented. After the load reverse mode is implemented, the load forward mode is implemented. After the load advance mode is implemented, the loading mode is implemented. After the loading mode is implemented, the empty reversing mode is implemented.
- the unloaded advance mode is a work mode in which the work machine 1 moves forward to approach the excavation target with no excavated material held in the bucket 12.
- the working machine 1 moves forward so as to approach the ground 210, as shown by arrow M1 in FIG. 8, with no excavated material held in the bucket 12.
- the excavation mode is a work mode in which the bucket 12 of the work machine 10 excavates an excavation target. In excavation mode, excavation operations are carried out. By tilting the bucket 12 with at least a portion of the bucket 12 inserted into the ground 210, the ground 210 is excavated by the bucket 12, and the excavated material is held in the bucket 12.
- the loaded backward movement mode is a work mode in which the working machine 1 moves backward away from the excavated object while the excavated object is held in the bucket 12.
- the work machine 1 moves backward away from the earth 210, as shown by arrow M2 in FIG. 8, with the excavated material held in the bucket 12.
- the load advance mode is a work mode in which the work machine 1 moves forward to approach the loading target while the excavated material is held in the bucket 12.
- the load advance mode the work machine 1 moves forward while turning toward the dump truck 220, as shown by arrow M3 in FIG. 8, with the excavated material held in the bucket 12.
- the boom 11 is raised so that the bucket 12 is placed above the dump body 230.
- the loading mode is a work mode in which the excavated material held in the bucket 12 of the working machine 10 is loaded onto the loading target. In the loading mode, loading operations are performed. After the bucket 12 is placed above the dump body 230, the excavated material held in the bucket 12 is discharged from the bucket 12 and loaded onto the dump body 230 by a dumping operation of the bucket 12.
- the unloaded backward movement mode is a work mode in which the working machine 1 moves backward away from the object to be loaded with no excavated material held in the bucket 12.
- the work machine 1 moves backward while turning away from the dump truck 220, as shown by arrow M4 in FIG. 8, with no excavated material held in the bucket 12.
- the work machine 1 performs cycle operations including an empty load forward mode, an excavation mode, a loaded reverse mode, a loaded forward mode, a loading mode, and an empty load backward mode until the excavated material is loaded onto the dump body 230 at the target loading amount. repeat.
- FIG. 9 is a side view showing the working machine 1 that performs the loading work according to the embodiment.
- FIG. 10 is a top view showing the working machine 1 that performs loading work according to the embodiment.
- the working machine 1 when loading excavated materials onto the dump body 230 of the dump truck 220, the working machine 1 performs a lifting operation of the boom 11 so that the bucket 12 is placed above the dump body 230. do.
- the work machine 1 causes the bucket 12 to perform a dump operation.
- the bucket 12 performs a dumping operation such that the excavated material held in the bucket 12 is discharged to the dump body 230 of the dump truck 220 while the boom 11 is in a raised state.
- the first imaging device 31 images the bucket 12 performing a dumping operation to discharge at least excavated material to the dump body 230 .
- the excavated material held in the bucket 12 is discharged from the bucket 12 and loaded onto the dump body 230.
- the measurement range Ra of the first imaging device 31 includes the imaging range of the first imaging device 31.
- the measurement range Ra is determined based on a first angle of view ⁇ indicating the angle of view of the optical system of the first imaging device 31.
- the first imaging device 31 images the bucket 12 performing a dumping operation to discharge the excavated material to the dump body 230 .
- the first imaging device 31 is fixed to the housing 9 so that the bucket 12 including the bucket tooth 18 is placed in the measurement range Ra when the boom 11 is raised and the bucket 12 is dumped.
- the measurement range Rb of the second imaging device 32 includes the imaging range of the second imaging device 32.
- the measurement range Rb is determined based on the second angle of view ⁇ indicating the angle of view of the optical system of the second imaging device 32.
- the second imaging device 32 images at least the ground 200 in the traveling direction of the tire 6. In the embodiment, the second imaging device 32 images the ground 200 in front of the front tire 6F when the work machine 1 moves forward.
- the second imaging device 32 is fixed to the housing 9 so that at least the ground 200 in front of the front tires 6F is placed in the measurement range Rb when the working machine 1 moves forward.
- the second imaging device 32 is arranged such that the front end of the front tire 6F, the ground 200 in front of the front tire 6F, and the ground 200 outside the front tire 6F in the vehicle width direction are arranged in the measurement range Rb. It is fixed to the housing 9 so as to be fixed to the housing 9.
- the ground 200 in front of the front tire 6F includes the ground 200 between the front end of the front tire 6F and the rear end of the bucket 12 in the longitudinal direction.
- the second angle of view ⁇ of the second imaging device 32 is wider than the first angle of view ⁇ of the first imaging device 31.
- the first imaging device 31L on the left side of the center CL images at least the left portion of the bucket 12 of the working machine 10.
- the first imaging device 31R on the right side of the center CL images at least the right portion of the bucket 12 of the working machine 10.
- the left portion of the bucket 12 is the portion of the bucket 12 between the left end 12E of the bucket 12 and the center CL.
- the right portion of the bucket 12 is the portion of the bucket 12 between the right end 12E of the bucket 12 and the center CL.
- the first imaging device 31L on the left side of the center CL has bucket teeth 181, 182, 183, 184, and 185 when the boom 11 performs a lifting operation and the bucket 12 performs a dumping operation. It is fixed to the left housing 9 so as to be placed in the measurement range Ra.
- the bucket teeth 184, 185, 186, 187, and 188 are arranged in the measurement range Ra when the boom 11 performs a lifting operation and the bucket 12 performs a dumping operation. It is fixed to the housing 9 on the right side.
- the second imaging device 32L on the left side of the center CL images the ground 200 in front of the front tire 6F on the left side of the center CL.
- the second imaging device 32R on the right side of the center CL images the ground 200 in front of the front tire 6F on the right side of the center CL.
- the second imaging device 32L on the left side of the center CL captures the front end of the left front tire 6F, the ground 200 in front of the left front tire 6F, and the left side of the left front tire 6F. is fixed to the left housing 9 so that the ground 200 and the ground 200 are located in the measurement range Rb.
- the measurement range of the second imaging device 32R on the right side of the center CL includes the front end of the right front tire 6F, the ground 200 in front of the right front tire 6F, and the ground 200 to the right of the right front tire 6F. It is fixed to the right housing 9 so as to be located at Rb.
- FIG. 11 is a diagram showing an example of image data captured by the left first imaging device 31L according to the embodiment.
- FIG. 12 is a diagram illustrating an example of image data captured by the left second imaging device 32R according to the embodiment.
- the first imaging device 31L images the bucket 12 that is performing a dumping operation so that the excavated material is discharged into the dump body 230, looking up from below.
- the first imaging device 31L can simultaneously image a plurality of bucket teeth 18.
- bucket teeth 181, 182, 183, 184, 185, and 186 are arranged in the measurement range Ra of the first imaging device 31.
- the second imaging device 32L images the ground 200 in front of the front tire 6F and the ground 200 on the left side looking down from above. Thereby, the second imaging device 32L can image the ground 200 around the front tire 6F. For example, if there are boulders 240 on the ground 200 around the front tire 6F, the second imaging device 32L can image the boulders 240 on the ground 200.
- FIG. 13 is a functional block diagram showing the monitoring system 30 according to the embodiment.
- Work machine 1 has a monitoring system 30.
- the monitoring system 30 monitors the ground 200 on which the work machine 10 and the work machine 1 travel.
- the monitoring system 30 includes a first imaging device 31 , a second imaging device 32 , a driving operation device 20 , an angle sensor 90 , an output device 24 , an input device 25 , and a monitoring controller 33 .
- the first imaging device 31 includes a first imaging device 31L arranged on the left side of the center CL, and a first imaging device 31R arranged on the right side of the center CL.
- the second imaging device 32 includes a second imaging device 32L located on the left side of the center CL, and a second imaging device 32R located on the right side of the center CL.
- the first imaging device 31 , the second imaging device 32 , the driving operation device 20 , the angle sensor 90 , the output device 24 , and the input device 25 are each connected to the monitoring controller 33 .
- Image data captured by the first imaging device 31 is input to the monitoring controller 33.
- Image data captured by the second imaging device 32 is input to the monitoring controller 33.
- Operation data of the driving operation device 20 is input to the monitoring controller 33.
- Detection data of the angle sensor 90 is input to the monitoring controller 33.
- Input data generated by the input device 25 is input to the monitoring controller 33.
- each of the first imaging device 31 and the second imaging device 32 acquires measurement data at a predetermined sampling rate (SPS: samples per second).
- the measurement data includes image data.
- the sampling rate includes a frame rate (FPS: frames per second).
- Each of the first imaging device 31 and the second imaging device 32 captures image data at a predetermined frame rate.
- a moving image is captured by the first imaging device 31 capturing image data at a predetermined frame rate.
- a moving image is captured by the second imaging device 32 capturing image data at a predetermined frame rate.
- the monitoring controller 33 recognizes whether there is a defect in the working machine 10 based on the image data captured by the first imaging device 31. When detecting a defect in the work implement 10, the monitoring controller 33 causes the output device 24 to output a warning indicating that the work implement 10 is defective.
- the loss of the working machine 10 includes the loss of the bucket 12.
- the loss of the bucket 12 includes the loss of the bucket tooth 18, which is a replacement member. Loss of the bucket teeth 18 includes dropping of the bucket teeth 18 from the bucket body 17.
- the monitoring controller 33 Based on the image data captured by the second imaging device 32, the monitoring controller 33 recognizes the presence or absence of boulders 240 on the ground 200 on which the work machine 1 runs. When recognizing the boulders 240 on the ground 200, the monitoring controller 33 causes the output device 24 to output a warning indicating that the boulders 240 are present on the ground 200.
- the boulders 240 on the ground 200 include the boulders 240 on the ground 200 in the traveling direction of the front tire 6F.
- the boulders 240 on the ground 200 in the traveling direction of the front tires 6F include the boulders 240 on the ground 200 in front of the front tires 6F when the work machine 1 moves forward.
- the monitoring controller 33 recognizes the presence or absence of damage to the working machine 10 and the presence or absence of boulders 240. Note that the monitoring controller 33 may recognize the presence or absence of a defect in the working machine 10 or the presence or absence of a boulder 240 in a work other than the cycle work. Further, the monitoring controller 33 may recognize whether there is a defect in the working machine 10 during a start-up inspection before the working machine 1 starts work.
- the monitoring controller 33 determines whether the receiving surface of the first imaging device 31 is contaminated based on the image data captured by the first imaging device 31. If it is determined that the first imaging device 31 is contaminated, the monitoring controller 33 causes the output device 24 to output a warning indicating that the receiving surface of the first imaging device 31 is contaminated. When the monitoring controller 33 determines that there is contamination on the receiving surface of the first imaging device 31, it can display display data indicating a warning on the display device 24A or output a warning sound from the sounding device 24B. .
- the receiving surface of the first imaging device 31 includes an entrance surface of the optical system of the first imaging device 31.
- the monitoring controller 33 determines whether the first imaging device 31 is contaminated in the cycle operation described with reference to FIG. Note that the monitoring controller 33 may determine whether the entrance surface of the optical system of the first imaging device 31 is contaminated in an operation other than the cycle operation. Furthermore, the monitoring controller 33 may determine whether or not the entrance surface of the optical system of the first imaging device 31 is contaminated during a start-up inspection before the work machine 1 starts work.
- the monitoring controller 33 includes a measurement data acquisition section 331, a vehicle body data acquisition section 332, a state determination section 333, an algorithm selection section 334, a processing section 335, a contamination determination section 336, an output section 337, and an algorithm storage section. 338.
- the measurement data acquisition unit 331 acquires measurement data of the first imaging device 31 and measurement data of the second imaging device 32.
- the measurement data acquisition unit 331 acquires measurement data of the working machine 10 measured by the first imaging device 31 from the first imaging device 31 at a predetermined sampling rate.
- the measurement data of the working machine 10 includes image data of the working machine 10 captured by the first imaging device 31.
- the sampling rate includes the frame rate.
- the measurement data acquisition unit 331 acquires image data of the working machine 10 from the first imaging device 31 at a predetermined frame rate.
- the measurement data acquisition unit 331 acquires measurement data of the ground 200 measured by the second imaging device 32 from the second imaging device 32 at a predetermined sampling rate.
- the measurement data of the ground 200 includes image data of the ground 200 captured by the second imaging device 32.
- the sampling rate includes the frame rate.
- the measurement data acquisition unit 331 acquires image data of the ground 200 from the second imaging device 32 at a predetermined frame rate.
- the measurement data acquisition unit 331 acquires image data of the ground 200
- the vehicle body data acquisition unit 332 acquires vehicle body data indicating the state of the work machine 1.
- the state of the work machine 1 includes the working state of the work machine 1.
- the state of the work machine 1 includes the state of the work machine 10 and the state of the traveling device 4.
- the state of the work machine 10 includes the attitude of the work machine 10.
- the state of the traveling device 4 includes forward movement and backward movement of the traveling device 4.
- the vehicle body data includes posture data indicating the posture of the work implement 10 and forward/backward movement data indicating whether the traveling device 4 moves forward or backward.
- the posture data of the work machine 10 includes the angle of the work machine 10.
- the angle of the working machine 10 is detected by an angle sensor 90.
- the posture data of the working machine 10 includes detection data of the angle sensor 90.
- the vehicle body data acquisition unit 332 acquires detection data of the angle sensor 90 as posture data of the working machine 10 .
- the forward and backward movement of the traveling device 4 is switched by the forward/backward movement lever 20C of the driving operation device 20.
- the forward/reverse movement data of the traveling device 4 includes operation data of the forward/reverse movement lever 20C.
- the vehicle body data acquisition unit 332 acquires operation data of the forward/reverse lever 20C as the forward/reverse data of the traveling device 4.
- the rotation sensor can detect whether the traveling device 4 is moving forward or backward by detecting the rotation direction of the wheels 5.
- the vehicle body data acquisition unit 332 may acquire rotation sensor detection data as the forward and backward movement data of the traveling device 4.
- the vehicle body data acquisition unit 332 may acquire state data indicating the state of the drive system 40 as the forward and backward movement data of the traveling device 4.
- Drive controller 48 inputs status data indicating the status of drive system 40 to monitoring controller 33 .
- Vehicle body data acquisition section 332 determines the state of drive system 40 based on state data from drive controller 48 .
- the state of drive system 40 includes the operating state of transmission 44.
- the transmission 44 switches the traveling direction of the work machine 1 between a forward direction and a reverse direction. Transmission 44 includes a forward gear 44F that operates to move work machine 1 forward, and a reverse gear 44R that operates to move work machine 1 backward.
- the vehicle body data acquisition unit 332 may acquire state data indicating the state of the transmission 44 as the forward and backward movement data of the traveling device 4.
- the state determining unit 333 determines the state of the working machine 1 based on the vehicle body data acquired by the vehicle body data acquiring unit 332.
- the state determining unit 333 can determine whether the boom 11 is performing a raising operation or a lowering operation based on the posture data of the working machine 10 acquired by the vehicle body data acquisition unit 332.
- the state determining unit 333 can determine whether the bucket 12 is performing a tilting operation or a dumping operation based on the attitude data of the working machine 10 acquired by the vehicle body data acquiring unit 332.
- the state determining unit 333 can determine whether the working machine 1 is moving forward or backward based on the forward and backward movement data of the traveling device 4 acquired by the vehicle body data acquiring unit 332.
- the state determining unit 333 can determine whether the bucket 12 of the working machine 10 is placed in the measurement range Ra of the first imaging device 31 based on the attitude data of the working machine 10. As described above, the first imaging device 31 is fixed to the housing 9 so that the bucket 12 is located within the measurement range Ra when the boom 11 performs a lifting operation and the bucket 12 performs a dumping operation. The state determining unit 333 can determine whether the bucket tooth 18 is placed within the measurement range Ra of the first imaging device 31 based on the attitude data of the working machine 10. The state determining unit 333 can determine whether the tooth-to-tooth protector 19 is placed in the measurement range Ra of the first imaging device 31 based on the attitude data of the working machine 10 .
- the state of the work machine 1 may include the work mode of the work machine 1.
- the state determination unit 333 collects the attitude data of the work implement 10, the forward/backward movement data of the traveling device 4, and the weight sensor's data. Based on the detection data, it is possible to determine whether the working mode of the working machine 1 is an unloaded forward mode, an excavation mode, a loaded backward mode, a loaded forward mode, a loading mode, or an unloaded backward mode. can.
- a pressure sensor that detects the pressure in the bottom chamber of the boom cylinder 13 is exemplified as a weight sensor that detects whether excavated material is held in the bucket 12.
- the algorithm selection unit 334 selects a specific algorithm for processing the measurement data acquired by the measurement data acquisition unit 331 based on the state of the working machine 1 determined by the status determination unit 333.
- the algorithm storage unit 338 stores in advance a plurality of mutually different algorithms.
- the algorithm selection unit 334 selects a specific algorithm from the plurality of algorithms stored in the algorithm storage unit 338 based on the state of the work machine 1 determined by the state determination unit 333.
- the algorithms stored in the algorithm storage unit 338 include a first algorithm for processing image data captured by the first imaging device 31 and a second algorithm for processing image data captured by the second imaging device 32.
- the first algorithm includes an algorithm for identifying the working machine 10 from the image data captured by the first imaging device 31.
- the first algorithm includes an algorithm for identifying the bucket tooth 18 from image data captured by the first imaging device 31.
- the second algorithm includes an algorithm that identifies boulders 240 on the ground 200 from the image data captured by the second imaging device 32.
- the algorithm includes an artificial intelligence (AI) algorithm.
- the first algorithm and the second algorithm are different.
- the first algorithm includes a first AI algorithm.
- the second algorithm includes a second AI algorithm.
- the first AI algorithm recognizes the bucket tooth 18 from the image data captured by the first imaging device 31 based on the first learning model generated by learning the feature amount of the bucket tooth 18 .
- the first learning model is a learning model that takes the feature amount of the object as input and uses the bucket tooth 18 as output.
- the second AI algorithm is a learning model that identifies the boulder 240 from the image data captured by the second imaging device 32 based on a second learning model generated by learning the feature amounts of the boulder 240. .
- the second learning model is a learning model that takes the feature amount of the object as input and uses the rolling stones 240 as output.
- the algorithm selection section 334 stores the information in the algorithm storage section 338.
- the first algorithm is selected as a specific algorithm from the stored first algorithm and second algorithm.
- the algorithm selecting unit 334 selects the first algorithm. Do not select.
- the algorithm selecting section 334 selects the first algorithm and the second algorithm stored in the algorithm storage section 338.
- a second algorithm is selected as a specific algorithm from the algorithms. If the state determining unit 333 determines that the traveling device 4 is not moving forward based on the forward and backward movement data of the traveling device 4, the algorithm selection unit 334 does not select the second algorithm.
- the processing unit 335 processes the image data acquired by the measurement data acquisition unit 331 and recognizes the target.
- the processing unit 335 processes the image data based on a specific algorithm selected by the algorithm selection unit 334 to recognize the object.
- the processing unit 335 processes the image data of the first imaging device 31 based on the first algorithm and recognizes the work machine 10. In the embodiment, the processing unit 335 processes the image data of the first imaging device 31 based on the first algorithm to determine whether there is a defect in the working machine 10. In the embodiment, the processing unit 335 determines whether the bucket teeth 18 have fallen off from the bucket body 17 in the image data of the first imaging device 31 .
- the processing unit 335 processes the image data of the second measuring device 32 based on the second algorithm to recognize the ground 200. In the embodiment, the processing unit 335 processes the image data of the second imaging device 32 based on the second algorithm to determine whether there are boulders 240 on the ground 200. In the embodiment, the processing unit 335 determines the presence or absence of boulders 240 on the ground 200 in front of the front tire 6F in the image data of the second imaging device 32.
- the processing unit 335 can efficiently recognize multiple objects. In a situation where the bucket 12 is placed in the measurement range Ra of the first imaging device 31, the processing unit 335 applies the image data captured by the first imaging device 31 to the first algorithm in order to recognize the bucket tooth 18. Process based on. In a situation where the bucket 12 is not placed in the measurement range Ra of the first imaging device 31, the processing unit 335 does not perform the process for recognizing the bucket tooth 18.
- the processing unit 335 recognizes the boulder 240 on the ground 200 in front of the front tire 6F. In order to do this, the image data captured by the second imaging device 32 is processed based on the second algorithm. In a situation where the work machine 1 moves backward or stops and there is a low possibility that the front tire 6F will step on a boulder 240 on the ground 200 in front of the front tire 6F, the processing unit 335 does not perform the process to recognize the boulder 240. . In this way, the monitoring controller 33 does not need to constantly perform processing for recognizing both the bucket tooth 18 and the boulder 240. Therefore, the burden on the monitoring controller 33 required to monitor the bucket tooth 18 and the rolling stones 240 is reduced. Therefore, the monitoring controller 33 can efficiently monitor each of the bucket teeth 18 and the boulders 240.
- the contamination determining unit 336 determines whether the entrance surface of the optical system of the first imaging device 31 is contaminated based on the state of the working machine 1 determined by the state determining unit 333 and the recognition result of the working machine 10 by the processing unit 335. Determine the presence or absence. There is a high possibility that dirt or dust will be scattered at the work site of the working machine 1, and as a result, there is a possibility that foreign matter will adhere to the entrance surface of the optical system of the first imaging device 31. There is a possibility that the entrance surface of the optical system of the first imaging device 31 will be contaminated due to adhesion of foreign matter.
- the state determination unit 333 determines that the bucket 12 of the work machine 10 is placed in the measurement range Ra of the first imaging device 31 , and the processing unit 335 determines that the bucket 12 of the work machine 10 is placed in the measurement range Ra of the first imaging device 31 . If this is recognized, the contamination determination unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is not contaminated. In the embodiment, the state determining unit 333 determines that the bucket tooth 18 is placed in the measurement range Ra of the first imaging device 31 based on the attitude data of the work machine 10, and the processing unit 335 recognizes the bucket tooth 18. In this case, the contamination determination unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is not contaminated.
- the state determination unit 333 determines that the bucket 12 of the work machine 10 is placed in the measurement range Ra of the first imaging device 31 , and the processing unit 335 determines that the bucket 12 of the work machine 10 is placed in the measurement range Ra of the first imaging device 31 . If not recognized, the contamination determining unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is contaminated. In the embodiment, the state determining unit 333 determines that the bucket tooth 18 is placed in the measurement range Ra of the first imaging device 31 based on the attitude data of the work machine 10, and the processing unit 335 recognizes the bucket tooth 18. If not, the contamination determination unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is contaminated.
- the processing unit 335 can correctly identify the bucket tooth 18.
- the entrance surface of the optical system of the first imaging device 31 is contaminated, even if the bucket tooth 18 is placed within the measurement range Ra of the first imaging device 31, the first imaging device 31 will not There is a high possibility that images cannot be captured correctly. Therefore, it is highly likely that the processing unit 335 will not be able to identify the bucket tooth 18.
- the contamination determination unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is not contaminated. If the bucket tooth 18 that should be identified cannot be identified, the contamination determination unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is contaminated.
- the contamination determination unit 336 uses the second imaging based on the recognition result of the boulders 240 by the processing unit 335.
- the presence or absence of contamination on the entrance surface of the optical system of the device 32 may be determined.
- the boulders 240 are placed in the measurement range Rb of the second imaging device 32, so that the second imaging device 32 correctly images the boulders 240. be able to. Therefore, the processing unit 335 can correctly identify the rolling stones 240.
- the contamination determining unit 336 determines that the entrance surface of the optical system of the second imaging device 32 is not contaminated. If the boulder 240 that should be identified cannot be identified, the contamination determining unit 336 determines that the entrance surface of the optical system of the second imaging device 32 is contaminated.
- the output unit 337 causes the output device 24 to output the recognition result of the object recognized by the processing unit 335.
- the output unit 337 causes the output device 24 to output the determination result of the presence or absence of contamination determined by the contamination determination unit 336.
- FIG. 15, FIG. 16, FIG. 17, and FIG. 18 are diagrams each explaining a defect determination method for the work machine 10 according to the embodiment.
- a method of determining whether the bucket tooth 18 is damaged or not will be described based on image data captured by the first imaging device 31L on the left side of the center CL.
- the algorithm selection unit 334 acquires vehicle body data.
- the first algorithm is selected based on the detection data of the angle sensor 90 acquired by the section 332.
- the first imaging device 31L images the bucket 12 performing a dumping operation to discharge the excavated material to the dump body 230.
- the measurement data acquisition unit 331 acquires image data of the bucket 12 from the first imaging device 31L.
- a plurality of bucket teeth 18 (181, 182, 183, 184, 185) are arranged in the recognition range 50 of the image data.
- Each of the plurality of bucket teeth 18 is attached to the bucket body 17 so as to protrude from the bucket body 17.
- the processing unit 335 processes the image data acquired by the measurement data acquisition unit 331 based on the first algorithm, and recognizes each of the plurality of bucket teeth 18 in the recognition range 50 of the image data.
- the processing unit 335 estimates the position of the root 51 and the position of the cutting edge 52 of each of the plurality of bucket teeth 18.
- the root 51 is the proximal end of the bucket tooth 18.
- Root 51 includes the boundary between bucket tooth 18 and bucket body 17.
- the cutting edge 52 is the tip of the bucket tooth 18.
- the processing unit 335 estimates the root 51 and the cutting edge 52 using a first AI algorithm that analyzes input data and outputs output data.
- the processing unit 335 utilizes a first AI algorithm that outputs the probability of the probability of the root 51 and the cutting edge 52 based on the input data, and determines the center where the probability is greater than a predetermined threshold as the position of the root 51 and the position of the cutting edge 52. It may be assumed that Furthermore, the processing unit 335 may utilize a first AI algorithm that directly estimates the position of the root 51 and the position of the cutting edge 52 based on input data.
- a distance G1 between the root 51 of the tooth 182, a distance G2 between the root 51 of the bucket tooth 182 and the root 51 of the bucket tooth 183, and a distance G3 between the root 51 of the bucket tooth 183 and the root 51 of the bucket tooth 184 are calculated.
- the processing unit 335 calculates the reference tooth distance G based on the distances G1, G2, and G3.
- the reference tooth distance G is the median value of the distances G1, G2, and G3.
- the processing unit 335 After calculating the reference tooth-to-tooth distance G, as shown in FIG. 17, the processing unit 335 searches for the cutting edge 52 corresponding to the root 51.
- the root 51 and the cutting edge 52 corresponding to the root 51 constitute a base end and a tip end of one bucket tooth 18.
- the processing unit 335 sets a search range 53 based on the root 51 and searches for the cutting edge 52 in the search range 53.
- the search range 53 is set in a rectangular shape in the image data. As shown in FIG. 17, the dimensions of the vertical search range 53 in the image data are determined to be [ ⁇ G], and the dimensions of the horizontal direction search range 53 in the image data are determined to be [ ⁇ G].
- ⁇ and ⁇ are predetermined fixed values.
- the processing unit 335 may not be able to search for the cutting edge 52 corresponding to the root 51.
- the search range 53 is set based on the reference tooth distance G. Thereby, the processing unit 335 can search for the cutting edge 52 corresponding to the root 51 regardless of the distance between the first imaging device 31L and the bucket 12.
- the distance L1 corresponds to the amount of protrusion of the bucket teeth 181 from the bucket body 17.
- the distance L2 corresponds to the amount of protrusion of the bucket teeth 182 from the bucket body 17.
- the distance L3 corresponds to the amount of protrusion of the bucket teeth 183 from the bucket body 17.
- the distance L4 corresponds to the amount of protrusion of the bucket teeth 184 from the bucket body 17.
- the processing unit 335 calculates the reference tooth length L based on the distances L1, L2, L3, and L4.
- the reference tooth length L is the median value of the distances L1, L2, L3, and L4.
- the processing unit 335 calculates distances L5, L6, and distances corresponding to the four bucket teeth 185, 186, 187, and 188, respectively, based on the image data captured by the first imaging device 31R on the right side of the center CL.
- L7 and L8 may be calculated using a similar method, and the reference tooth length L may be calculated based on the distances L1, L2, L3, L4, L5, L6, L7, and L8.
- the processing unit 335 determines a dimensional threshold related to the amount of protrusion of the bucket tooth 18 from the bucket body 17 based on the standard tooth length L.
- the size threshold is defined as [ ⁇ L].
- ⁇ is a predetermined fixed value.
- the processing unit 335 sets the dimension threshold value based on the amount of protrusion (L1, L2, L3, L4) of the plurality of bucket teeth 18 (181, 182, 183, 184) from the bucket body 17. Establish.
- the processing unit 335 determines whether there is a defect in the bucket teeth 18 (181, 182, 183, 184) based on the dimension threshold.
- the processing unit 335 determines that the bucket tooth 18 has a defect when the amount of protrusion of the bucket tooth 18 from the bucket body 17 is less than the dimension threshold.
- the processing unit 335 determines that the bucket tooth 18 is free of defects.
- the processing unit 335 determines that the bucket tooth 18 has fallen off from the bucket body 17 when the amount of protrusion of the bucket tooth 18 is less than the dimensional threshold, and determines that the amount of protrusion of the bucket tooth 18 is equal to or greater than the dimensional threshold. If so, it is determined that the bucket teeth 18 have not fallen off from the bucket body 17.
- the processing unit 335 may not be able to correctly determine whether or not the bucket tooth 18 has a defect.
- the dimension threshold is determined based on the reference tooth length L. Thereby, the processing unit 335 can determine whether or not there is a defect in the bucket tooth 18, regardless of the distance between the first imaging device 31L and the bucket 12.
- the processing unit 335 classifies the measurement data into a plurality of samples based on the determination result of whether the bucket tooth 18 has a defect.
- the processing unit 335 classifies the measurement data determined to have no defects as soundness determination samples.
- the processing unit 335 classifies the measurement data determined to be defective as defect determination samples.
- the processing unit 335 classifies measurement data in which the bucket tooth 18 could not be recognized as undetermined samples.
- the processing unit 335 counts the number of soundness determination samples indicating measurement data determined to be free of defects.
- the processing unit 335 counts the number of defect determination samples indicating measurement data determined to be defective.
- the processing unit 335 counts the number of undetermined samples indicating measurement data in which the bucket tooth 18 could not be recognized.
- the measurement data is image data
- the samples classified by the processing unit 335 are frames.
- a healthy determination sample is appropriately referred to as a healthy determination frame
- a defective determination sample is appropriately referred to as a defective determination frame
- an undetermined sample is appropriately referred to as an undetermined frame.
- FIG. 19 is a diagram illustrating an example of a health determination frame according to the embodiment.
- a distance L1 indicates the protrusion amount of the bucket teeth 181
- a distance L2 indicates the protrusion amount of the bucket teeth 182
- a distance L3 indicates the protrusion amount of the bucket teeth 183
- a distance indicates the protrusion amount of the bucket teeth 184.
- Each of L4 is greater than or equal to the dimension threshold.
- the processing unit 335 determines that the bucket tooth 18 is not missing.
- the processing unit 335 classifies the image data determined to have no defects as a healthy determination frame.
- FIG. 20 is a diagram illustrating an example of a defect determination frame according to the embodiment.
- the distance L2 indicating the amount of protrusion of the bucket teeth 182 is less than the dimension threshold.
- the processing unit 335 determines that the bucket tooth 182 is missing.
- the processing unit 335 classifies the image data determined to have a defect into a defect determination frame.
- the method for determining whether or not the bucket tooth 18 has fallen off has been described above based on the image data captured by the first imaging device 31L on the left side of the center CL. The same applies to the method of determining whether the bucket tooth 18 has fallen off or not based on the image data captured by the first imaging device 31R on the right side of the center CL.
- the processing unit 335 determines whether or not the four bucket teeth 185, 186, 187, and 188 have fallen off based on the image data that the measurement data acquisition unit 331 acquired from the first imaging device 31R.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 on the display device 24A.
- the output unit 337 changes the display form of the symbol 60 based on whether or not the bucket tooth 18 is missing.
- FIG. 21 is a diagram illustrating an example of a symbol 60 indicating the bucket tooth 18 displayed on the display device 24A according to the embodiment.
- the output unit 337 causes the display device 24A to display a symbol 60 indicating the unrecognized bucket tooth 18 in the first display form.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 determined to be free of loss on the display device 24A in the second display form.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 determined to be missing on the display device 24A in the third display mode.
- the output unit 337 displays the symbol 60 indicating the bucket tooth 18 that the processing unit 335 cannot recognize in the first color.
- the first color is, for example, gray.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 determined to be free of defects in the second color.
- the second color is, for example, green.
- the output unit 337 displays a symbol indicating the bucket tooth 18 determined to be defective in the third color.
- the third color is, for example, red.
- the output unit 337 causes the output device 24 to output a warning indicating that a defective frame exists. Further, the output unit 337 changes the form of the warning output from the output device 24 based on the number of missing frames counted by the processing unit 335.
- the output unit 337 causes the output device 24 to output a warning in the first form when the number of missing frames is less than the sample threshold, and outputs a warning from the output device 24 in the second form when the number of missing frames is equal to or greater than the sample threshold. Output a warning in the format.
- the sample threshold is a predetermined value.
- the output device 24 includes a display device 24A that displays a symbol 60 indicating the bucket tooth 18, and a sound device 24B that generates a warning sound.
- the output unit 337 causes the display device 24A to display the display data in the first form when the number of defective determination frames is less than the sample threshold, and causes the display device 24A to display the display data in the first form when the number of defective determination frames is greater than or equal to the sample threshold.
- the display data may be displayed in two forms.
- the output unit 337 causes the sound generation device 24B to generate a warning sound in the first form when the number of missing judgment frames is less than the sample threshold, and causes the sound generation device 24B to generate a warning sound in the first form when the number of missing judgment frames is greater than or equal to the sample threshold.
- the warning sound may be generated in two forms.
- FIG. 22 is a diagram showing the relationship between the defect determination frame and the warning format according to the embodiment.
- the determination of the presence or absence of a defective frame is performed at a predetermined frame rate.
- the determination of the presence or absence of a missing determination frame is performed for 0.2 [sec. ] at intervals.
- a "normal" frame indicates a healthy frame or an undetermined frame.
- "missing" frames include missing frames.
- the sample threshold is two.
- a plurality of bucket teeth 18 are attached to the bucket body 17.
- eight bucket teeth 18 are arranged at intervals in the vehicle width direction.
- the display device 24A displays a plurality of symbols 60 based on the respective positions of the plurality of bucket teeth 18.
- Eight symbols 60 are displayed at intervals on the display device 24A in accordance with the positions of the plurality of bucket teeth 181, 182, 183, 184, 185, 186, 187, and 188.
- the video is composed of only undetermined frames
- all eight symbols 60 are displayed in the first display mode.
- all eight symbols 60 are displayed in the second display form.
- the output unit 337 causes the sound generation device 24B to output the first warning sound. If there are two defect determination frames in the video captured by the first imaging device 31, the output unit 337 causes the sound generation device 24B to output a second warning sound.
- the output unit 337 outputs the first form from the output device 24 when it is determined that each of the image data of the number less than the sample threshold value consecutively acquired by the measurement data acquisition unit 331 is a missing determination frame. If the measurement data acquisition unit 331 determines that each of the image data of a number equal to or greater than the sample threshold value that has been continuously acquired by the measurement data acquisition unit 331 is a missing determination frame, the output device 24 outputs a warning in the second form. Output.
- the output unit 337 output the first warning sound. That is, when the image data acquired before and after the defective determination frame is a healthy determined frame or an undetermined frame, the output unit 337 causes the sound generation device 24B to output the first warning sound.
- the output unit 337 causes the sound generation device 24B to output a second warning sound. That is, when the defect determination frame occurs at least twice in succession, the output unit 337 causes the sound generation device 24B to output the second warning sound.
- the output unit 337 outputs the first defect determination frame from the sounding device 24B. 2.
- a warning sound may be output.
- sample threshold is arbitrary.
- the sample threshold may be any number greater than or equal to 3, for example.
- the form of the warning includes the volume of the warning sound.
- Outputting a warning in the first form includes generating a warning sound at a first volume from the sounding device 24B.
- Outputting a warning in the second form includes generating a warning sound from the sounding device 24B at a second volume that is higher than the first volume. In the example shown in FIG. 22, the volume of the second warning sound is greater than the volume of the first warning sound.
- a symbol 60 indicating the bucket tooth 18 that is judged to be missing is displayed in the third display form on the display device 24A.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 determined to have a defect and a symbol 60 indicating the bucket tooth 18 determined to have no defect in different display formats.
- the output unit 337 outputs a message indicating that there is a defect.
- the symbol indicating the bucket tooth 184 determined to be present is displayed in the third display mode, and the symbol indicating the bucket tooth 181, 182, 183, 185, 186, 187, 188 determined to be missing is displayed in the second display mode. to display it.
- the algorithm selection unit 334 selects the second algorithm based on the operation data of the forward/reverse lever 20C acquired by the vehicle body data acquisition unit 332.
- the processing unit 335 sets criteria for determining the presence or absence of boulders 240 on the ground 200 in the image data. Furthermore, the processing unit 335 sets warning criteria when causing the output device 24 to output a warning.
- FIG. 23 is a diagram illustrating the determination criteria according to the embodiment.
- the criteria include the dimensions of the boulder 240 in the image data.
- the dimensions of the rolling stone 240 include the number of pixels of the rolling stone 240 in the image data.
- a threshold value related to the size of the boulder 240 is set in the image data.
- the threshold value related to the size of the boulder 240 includes a threshold value Px related to the size of the boulder 240 in the horizontal direction, and a threshold value Py related to the size of the boulder 240 in the vertical direction.
- the algorithm storage unit 338 stores standard values (initial values) related to determination criteria.
- the standard value is a recommended value related to the threshold value related to the size of the boulder 240.
- the processing unit 335 sets determination criteria based on the standard value. In the embodiment, the processing unit 335 sets a threshold value related to the size of the boulder 240 based on a standard value.
- the threshold value is a standard value.
- FIG. 24 is a diagram illustrating the warning criteria according to the embodiment.
- the warning standard includes a warning area 36 set on at least a portion of the ground 200.
- Setting the warning criteria includes setting the dimensions of the warning area 36.
- the dimensions of the warning area 36 include the number of pixels of the warning area in the image data. As shown in FIG. 24, a dimension Qx of the warning area 36 in the horizontal direction and a dimension Qy of the warning area 36 in the vertical direction are set in the image data.
- setting the warning area 36 includes setting the position of the warning area 36.
- Setting the position of the warning area 36 includes setting the position of the warning area 36 in the image data.
- the processing unit 335 sets a warning area 36 in a part of the ground 200 in front of the front tire 6F.
- the algorithm storage unit 338 stores standard values (initial values) related to warning criteria.
- the standard value is a recommended value regarding the size and position of the warning area 36.
- the processing unit 335 sets warning criteria based on the standard value. In the embodiment, the processing unit 335 sets the size and position of the warning area 36 in the image data based on standard values.
- the processing unit 335 obtains input data from the input device 25.
- the driver can operate the input device 25 to change the settings of the determination criteria or the settings of the warning criteria.
- the processing unit 335 sets determination criteria based on the input data.
- the processing unit 335 sets warning criteria based on the input data.
- FIG. 25 is a diagram showing an example of a setting screen for determination criteria and warning criteria according to the embodiment.
- the processing unit 335 causes the display device 24A to display a determination criteria setting screen.
- the processing unit 335 causes the display device 24A to display a warning standard setting screen.
- the driver can operate the input device 25 while viewing the setting screen to change at least one of the determination criteria settings and the warning criteria settings.
- the measurement data acquisition unit 331 acquires measurement data of the ground 200 from the second imaging device 32 at a predetermined sampling rate. As described above, the measurement data of the ground 200 includes image data of the ground 200 captured by the second imaging device 32. The sampling rate includes the frame rate. The measurement data acquisition unit 331 acquires image data of the ground 200 from the second imaging device 32 at a predetermined frame rate. The measurement data acquisition unit 331 acquires image data of the ground 200 in front of the front tire 6F.
- the processing unit 335 determines the presence or absence of boulders 240 on the ground 200 based on the image data acquired by the measurement data acquisition unit 331. The processing unit 335 determines whether there are boulders 240 on the ground 200 in the image data. In the embodiment, the processing unit 335 determines the presence or absence of boulders 240 on the ground 200 in front of the front tire 6F in the image data.
- the processing unit 335 determines the presence or absence of the boulder 240 using a second AI algorithm that analyzes input data and outputs output data.
- the processing unit 335 determines the presence or absence of boulders 240 on the ground 200 in the image data based on the determination criteria.
- the processing unit 335 determines that there is a boulder 240 when the size of the boulder 240 exceeds the threshold (Px, Py), and determines that there is no boulder 240 when the size of the boulder 240 is less than or equal to the threshold (Px, Py). do.
- the processing unit 335 may determine that the boulder 240 is present when the size of the boulder 240 exceeds one of the threshold Px and the threshold Py.
- the processing unit 335 may determine that the boulder 240 is present when the size of the boulder 240 exceeds both the threshold value Px and the threshold value Py.
- the output unit 337 causes the output device 24 to output a warning based on the presence or absence of boulders 240 on the ground 200 in front of the front tires 6F.
- the output unit 337 causes the output device 24 to output a warning based on the determination by the processing unit 335 of the presence or absence of the boulder 240 and the relationship between the boulder 240 and the warning criteria.
- the warning standard includes a warning area 36 set on at least a portion of the ground 200.
- the warning area 36 is set in a part of the ground 200 in front of the front tire 6F.
- the output unit 337 causes the output device 24 to output a warning based on the positional relationship between the boulder 240 and the warning area 36.
- the output unit 337 causes the output device 24 to output a warning indicating that the boulder 240 is present in the warning area 36.
- FIG. 26 is a flowchart showing the monitoring method according to the embodiment.
- the measurement data acquisition unit 331 acquires image data from each of the first imaging device 31 and the second imaging device 32 (step S1).
- the vehicle body data acquisition unit 332 acquires vehicle body data indicating the state of the work machine 1.
- the vehicle body data acquisition unit 332 acquires detection data of the angle sensor 90 and operation data of the forward/reverse lever 20C as vehicle body data (step S2).
- the state determining unit 333 determines whether the bucket 12 of the working machine 10 is arranged in the measurement range Ra of the first measuring device 31 based on the detection data of the angle sensor 90 acquired in step S2 (step S3).
- step S3 if it is determined that the bucket 12 of the working machine 10 is placed in the measurement range Ra of the first measuring device 31 (step S3: Yes), the state determining unit 333 Based on the operation data of the forward lever 20C, it is determined whether the work machine 1 is moving forward (step S4).
- step S4 If it is determined in step S4 that the work machine 1 is moving forward (step S4: Yes), the algorithm selection unit 334 selects the first algorithm and the second algorithm (step S5).
- step S4 If it is determined in step S4 that the work machine 1 is not moving forward (step S4: No), the algorithm selection unit 334 selects the first algorithm (step S6).
- step S3 if it is determined that the bucket 12 of the working machine 10 is not placed in the measurement range Ra of the first measuring device 31 (step S3: No), the state determination unit 333 Based on the operation data of the forward lever 20C, it is determined whether the work machine 1 is moving forward (step S7).
- step S7 If it is determined in step S7 that the work machine 1 is moving forward (step S7: Yes), the algorithm selection unit 334 selects the second algorithm (step S8).
- the processing unit 335 processes the image data captured by the first imaging device 31 based on the first algorithm to recognize the bucket 12 of the work machine 10. (Step S9).
- the contamination determination unit 336 determines whether the bucket tooth 18 is recognized by the processing unit 335 in step S9 (step S10).
- step S10 If it is determined in step S10 that the bucket tooth 18 is recognized (step S10: Yes), the processing unit 335 determines whether the bucket tooth 18 is missing (step S11).
- step S11 if it is determined that the bucket tooth 18 is missing (step S11: Yes), the output unit 337 causes the output device 24 to output a warning indicating that the bucket tooth 18 is missing (step S11: Yes). S12).
- step S11 If it is determined in step S11 that the bucket tooth 18 is not missing (step S11: No), no warning is output from the output device 24 (step S13).
- the sounding device 24B when the video captured by the first imaging device 31 is composed of one or both of undetermined frames and healthy determined frames, no warning sound is output from the sounding device 24B.
- a symbol 60 indicating an unrecognized bucket tooth 18 is displayed in the first display form on the display device 24A.
- a symbol 60 indicating the bucket tooth 18 determined to be free of defects is displayed in the second display form on the display device 24A.
- the first warning sound is output from the sound generation device 24B. If there are two missing frames in the moving image captured by the first imaging device 31, the sounding device 24B outputs a second warning sound.
- step S10 If it is determined in step S10 that the bucket tooth 18 is not recognized (step S10: No), the contamination determination unit 336 determines that the entrance surface of the optical system of the first imaging device 31 is contaminated. If it is determined that the entrance surface of the optical system of the first imaging device 31 is contaminated, the output unit 337 outputs a warning indicating that the entrance surface of the optical system of the first imaging device 31 is contaminated. 24 (step S14).
- the processing unit 335 processes the image data captured by the second imaging device 32 based on the second algorithm to recognize the ground 200 (step S15). ).
- the processing unit 335 determines whether there are boulders 240 on the ground 200 in front of the front tires 6F (step S16).
- step S16 if it is determined that there is a boulder 240 on the ground 200 in front of the front tire 6F (step S16: Yes), the output unit 337 causes the output device 24 to output a warning indicating that there is a boulder 240 ( Step S17).
- step S16 if it is determined that there is no boulder 240 (step S16: No), no warning is output from the output device 24 (step S13).
- step S18 After any one of the processes in step S12, step S13, step S14, and step S17 is performed, or if it is determined in step S7 that the work machine 1 is not moving forward, the processing unit 335 ends the monitoring process. It is determined whether or not to do so (step S18).
- step S18 If it is determined in step S18 to continue the monitoring process (step S18: No), the process returns to steps S1 and S2.
- step S18 if it is determined that the monitoring process is finished (step S18: Yes), the monitoring process is finished.
- FIG. 27 is a diagram showing an example of a display device 24A according to the embodiment.
- the output unit 337 causes the display device 24A to display a target image 37 showing the ground 200 generated based on the image data acquired by the measurement data acquisition unit 331.
- the target image 37 includes a target image 37L representing image data captured by the second imaging device 32L on the left, and a target image 37R representing image data captured by the second imaging device 32R on the right.
- the target image 37L and the target image 37R are displayed side by side on the display screen of the display device 24A.
- the target image 37L and the target image 37R are displayed simultaneously on the display screen of the display device 24A.
- the target image 37L is displayed in the left area of the display screen of the display device 24A.
- the target image 37R is displayed in the right area of the display screen of the display device 24A.
- the output unit 337 displays an area image 360 indicating the warning area 36 on the display device 24A.
- the output unit 337 causes the area image 360 to be superimposed on the target image 37 and displayed on the display device 24A.
- An area image 360 indicating the warning area 36 set to include the ground 200 in front of the left front tire 6F is displayed on the display device 24A in a state superimposed on the target image 37L.
- An area image 360 indicating the warning area 36 set to include the ground 200 in front of the right front tire 6F is displayed on the display device 24A in a state superimposed on the target image 37R.
- the output unit 337 causes the display device 24A to display a symbol 70 indicating the front tire 6F.
- the symbol 70 includes a symbol 70L indicating the left front tire 6F and a symbol 70R indicating the right front tire 6F.
- the output unit 337 causes the output device 24 to output a warning indicating that there is a boulder 240 on the ground 200 in front of the front tire 6F.
- Making the output device 24 output a warning includes causing the display device 24A to display a warning image indicating that there is a boulder 240 on the ground 200 in front of the front tire 6F.
- Making the output device 24 output a warning includes causing the sounding device 24B to generate a warning sound indicating that there is a boulder 240 on the ground 200 in front of the front tire 6F.
- the warning image includes a frame image 80 displayed surrounding the boulder 240 in the target image 37, a frame image 81 displayed at the periphery of the target image 37, and a background image 82 of the symbol 70. .
- the output unit 337 displays the frame image 80 on the display device 24A so that the rolling stones 240 are highlighted.
- the boulder 240 in the target image 37L is placed outside the warning area 36.
- the output unit 337 causes the display device 24A to display the frame image 80L of the first form.
- the processing unit 335 determines that the boulder 240 exists inside the warning area 36
- the output unit 337 causes the display device 24A to display a frame image 80R of a second form different from the first form.
- the output unit 337 displays each of the frame image 80L and the frame image 80R on the display device 24A so that the rolling stones 240 placed inside the warning area 36 are emphasized more than the rolling stones 240 placed outside the warning area 36.
- Display In the example shown in FIG. 27, the frame image 80R is displayed as a solid line, and the frame image 80L is displayed as a dotted line. Note that the frame image 80R may be displayed in the first color, and the frame image 80L may be displayed in the second color. Red is exemplified as the first color. Green is exemplified as the second color.
- the output unit 337 causes the display device 24A to display the frame image 81 so that the target image 37 in which at least a portion of the boulder 240 exists inside the warning area 36 is emphasized.
- the rolling stones 240 displayed in the target image 37R exist inside the warning area 36.
- the boulder 240 displayed in the target image 37L exists outside the warning area 36.
- the output unit 337 displays the frame image 81 on the display device 24A so that the target image 37R is emphasized more than the target image 37L.
- the output unit 337 displays the background image 82 on the display device 24A so that the front tire 6F, which is likely to pass over the boulder 240, is emphasized.
- the output unit 337 causes the display device 24A to display the background image 82 of the symbol 70R so that the right front tire 6F, which is likely to pass over the boulder 240, is emphasized.
- the output unit 337 outputs the information that the left front tire 6F is likely to pass over the boulders 240.
- the background image 82 of the symbol 70L can be displayed on the display device 24A so as to be emphasized.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 on the display device 24A.
- the output unit 337 displays a plurality of symbols 60 based on the respective positions of the plurality of bucket teeth 18.
- the symbols 60 include a symbol 61 representing a bucket tooth 181, a symbol 62 representing a bucket tooth 182, a symbol 63 representing a bucket tooth 183, a symbol 64 representing a bucket tooth 184, a symbol 65 representing a bucket tooth 185, and a symbol 65 representing a bucket tooth 185. It includes a symbol 66 indicating a tooth 186, a symbol 67 indicating a bucket tooth 187, and a symbol 68 indicating a bucket tooth 188.
- the plurality of symbols 60 are displayed in the upper area of the display screen of the display device 24A.
- the symbol 61 is displayed on the leftmost side
- the symbol 62 is placed next to the symbol 61 on the left side
- the symbol 63 is placed next to the symbol 62 on the left side
- the symbol 64 is displayed next to the symbol 63.
- symbol 65 is placed next to the left after symbol 64
- symbol 66 is placed next to the left after symbol 65
- symbol 67 is placed next to the left after symbol 66
- symbol 68 is placed next to the left after symbol 64, placed on the right side.
- FIG. 27 shows an example in which the processing unit 335 cannot recognize eight bucket teeth 18 and eight symbols 60 are displayed in the first display form. If the entrance surface of the optical system of the first imaging device 31 is contaminated and the eight bucket teeth 18 are not recognized, the output unit 337 displays the eight symbols 60 in the first display form, as shown in FIG. let
- FIG. 28 is a diagram showing an example of a display device 24A according to the embodiment. Note that FIG. 28 is a diagram in which the upper region of the display device 24A is extracted.
- FIG. 28 shows an example of the symbol 60 when the processing unit 335 determines whether or not each of the eight bucket teeth 18 is missing.
- the output unit 337 changes the display form of the symbol 60 based on whether or not the bucket tooth 18 is missing.
- the output unit 337 displays a symbol 60 indicating the bucket tooth 18 determined to have a defect and a symbol 60 indicating the bucket tooth 18 determined to have no defect in different display formats.
- the output unit 337 outputs a message indicating that there is a defect.
- the symbol 64 indicating the bucket tooth 184 determined to be present is displayed in the third display form, and the symbols 61, 62, indicating the bucket tooth 181, 182, 183, 185, 186, 187, 188, determined to be missing.
- 63, 65, 66, 67, and 68 are displayed in the second display form.
- the output unit 337 displays the symbol 64 in the third color on the display device 24A, and displays the symbols 61, 62, 63, 65, 66, 67, and 68 in the second color on the display device 24A.
- the third color is, for example, red.
- the second color is, for example, green.
- FIG. 29 is a block diagram showing a computer system 1000 according to an embodiment.
- the computer system 1000 includes a processor 1001 such as a CPU (Central Processing Unit), a main memory 1002 including a non-volatile memory such as a ROM (Read Only Memory) and a volatile memory such as a RAM (Random Access Memory), It has a storage 1003 and an interface 1004 including an input/output circuit.
- the respective functions of the above-mentioned monitoring controller 33 and drive controller 48 are stored in the storage 1003 as a computer program.
- Processor 1001 reads a computer program from storage 1003, expands it into main memory 1002, and executes the above-described processing according to the program. Note that the computer program may be distributed to the computer system 1000 via a network.
- the computer program or computer system 1000 acquires the measurement data of the first measuring device 31 and the second measuring device 32 that are mounted on the working machine 1 and measure a target, and the state of the working machine 1 according to the above-described embodiment. determining the state of the working machine 1 based on the vehicle body data; and selecting a specific algorithm for processing the measurement data based on the determined state of the working machine 1. Then, it is possible to process the measurement data based on the selected specific algorithm to recognize the object, and to output the recognition result of the object to the output device.
- the monitoring system 30 for the work machine 1 includes the measurement data acquisition unit 331 that acquires image data of the first imaging device 31 and the second imaging device 32 that are installed in the work machine 1 and measure objects, and A vehicle body data acquisition section 332 that acquires vehicle body data indicating the state of the machine 1; a state determining section 333 that determines the state of the working machine 1 based on the vehicle body data; and a state determining section 333 that determines the state of the working machine 1 based on the vehicle body data; An algorithm selection unit 334 that selects a specific algorithm for processing the image data based on the state; and a processing unit 335 that processes the image data based on the specific algorithm selected by the algorithm selection unit 334 and recognizes the target. and an output unit 337 that causes the output device 24 to output the recognition result of the object recognized by the processing unit 335.
- a specific algorithm for processing image data is selected based on the state of the work machine 1, so the processing unit 335 can efficiently recognize multiple objects.
- the processing unit 335 applies the image data captured by the first imaging device 31 to the first algorithm in order to recognize the bucket tooth 18. Process based on.
- the processing unit 335 does not perform the process for recognizing the bucket tooth 18.
- the processing unit 335 recognizes the boulder 240 on the ground 200 in front of the front tire 6F. In order to do this, the image data captured by the second imaging device 32 is processed based on the second algorithm. In a situation where the work machine 1 moves backward or stops and there is a low possibility that the front tire 6F will step on a boulder 240 on the ground 200 in front of the front tire 6F, the processing unit 335 does not perform the process to recognize the boulder 240. . In this way, the monitoring controller 33 does not need to constantly perform processing for recognizing both the bucket tooth 18 and the boulder 240. Therefore, the burden on the monitoring controller 33 required to monitor the bucket tooth 18 and the rolling stones 240 is reduced. Therefore, the monitoring controller 33 can efficiently monitor each of the bucket teeth 18 and the boulders 240.
- each of the first imaging device 31 and the second imaging device 32 is arranged in the housing 9 that holds the headlamp 28. At least one of the first imaging device 31 and the second imaging device 32 may be arranged in a part of the work machine 1 that is different from the housing 9.
- the second imaging device 32 is arranged above the first imaging device 31. At least a portion of the second imaging device 32 may be arranged at the same position as the first imaging device 31 in the vertical direction. The second imaging device 32 may be arranged below the first imaging device 31.
- the loss of the bucket tooth 18 is defined as the bucket tooth 18 falling off from the bucket body 17.
- the breakage of the bucket teeth 18 may be due to wear of the bucket teeth 18 or may be due to breakage of the bucket teeth 18.
- the processing unit 335 monitors the loss of the bucket teeth 18 as replacement members.
- the processing unit 335 may monitor loss of the inter-tooth protector 19 as a replacement member. Loss of the inter-tooth protector 19 includes falling off of the inter-tooth protector 19 from the bucket body 17, wear of the inter-tooth protector 19, and breakage of the inter-tooth protector 19.
- setting the warning criteria includes setting the dimensions of the warning area 36 and setting the position of the warning area 36.
- the warning criteria may be set by setting the dimensions of the warning area 36 or setting the position of the warning area 36.
- the position of the warning area 36 may be a predetermined fixed value, and only the dimensions of the warning area 36 may be set.
- the dimensions of the warning area 36 may be a predetermined fixed value, and only the position of the warning area 36 may be set.
- the processing unit 335 determines the presence or absence of the rolling stones 240 on the ground 200 based on the determination criteria, and causes the output device 24 to output a warning based on the relationship between the rolling stones 240 and the warning criteria. And so.
- the processing unit 335 may determine that there is a boulder 240 when both the determination criteria and the warning criteria are satisfied. In this case, the processing unit 335 may use the warning criteria as the determination criteria.
- the processing unit 335 may determine the presence or absence of the rolling stones 240 on the ground 200, regardless of the determination criteria, and output a warning when both the determination criteria and the warning criteria are satisfied. In this case, the processing unit 335 may use the determination criterion as a warning criterion.
- the output unit 337 displays the area image 360 indicating the warning area 36 on the display device 24A.
- the output unit 337 does not need to display the area image 360 indicating the warning area 36 on the display device 24A.
- the output unit 337 may display an area image 360 indicating the warning area 36 on the display device 24A when it is determined that the boulder 240 is present.
- the output unit 337 may display an area image 360 showing the warning area 36 on the display device 24A when it is determined that the boulder 240 is present in the warning area 36.
- the second algorithm is selected when the work machine 1 is in a state where it can move forward or is moving forward, and based on the second algorithm, it is determined whether there are boulders 240 on the ground 200 in front of the front tires 6F. It was to be determined whether or not.
- the second algorithm may be selected when the work machine 1 is capable of moving backward or is moving backward, and it may be determined whether there are boulders 240 on the ground 200 behind the rear tires 6R.
- FIG. 30 is a diagram showing the operation of the work machine 1 according to another embodiment.
- the work machine 1 includes a second imaging device 32 that images the ground 200 behind the rear tires 6R.
- the measurement data acquisition unit 331 acquires image data of the ground 200 behind the rear tire 6R from the second imaging device 32.
- the algorithm selection unit 334 selects the second algorithm when the working machine 1 moves backward, and the processing unit 335 selects a boulder on the ground 200 behind the rear tires 6R based on the second algorithm when the working machine 1 moves backward. It may be determined whether or not 240 exists.
- the output device 24 is arranged in the operator's cab of the work machine 1.
- the output device 24 may be located outside the work machine 1.
- FIG. 31 is a diagram showing a monitoring system 300 according to another embodiment.
- the work machine 1 is remotely controlled by a driving operation device 20F provided at a remote location of the work machine 1.
- the first imaging device 31 and the second imaging device 32 are each provided in the work machine 1. Further, the working machine 1 is provided with a remote control imaging device (not shown) that images the front of the working machine 1 .
- the remote control imaging device captures image data of the scenery in front of the working machine 1, which is similar to the scenery seen through the windshield by the driver seated in the driver's seat in the driver's cab, as shown in FIG.
- a part or all of the output device 24F, input device 25F, monitoring controller 33F, and operation control device 20F are arranged in a remote control facility provided at a remote location of the work machine 1.
- Each of the output device 24F, the input device 25F, the monitoring controller 33F, and the operation device 20F is provided separately from the work machine 1.
- the remote control facility is provided with a remote control display device that displays image data captured by the remote control imaging device.
- the work machine 1 and the monitoring controller 33F communicate wirelessly via a wireless communication system.
- the work machine 1 is provided with a wireless communication device 301 of a wireless communication system, and a wireless communication device 302 of the wireless communication system is connected to the monitoring controller 33F.
- the wireless communication device 301 of the work machine 1 and the wireless communication device 302 of the monitoring controller 33F may communicate with each other via another device.
- Image data captured by the remote control imaging device is transmitted to the remote control display device via the wireless communication system.
- the driver of the remote control facility can operate the operation device 20F while viewing the image data displayed on the remote control display device.
- An operation signal generated by operating the driving operation device 20F is transmitted to the work machine 1 via the wireless communication system. Thereby, the work machine 1 is remotely controlled.
- the monitoring controller 33F includes a measurement data acquisition section 331, a vehicle body data acquisition section 332, a state determination section 333, an algorithm selection section 334, a processing section 335, a contamination determination section 336, and an output section 337, as described with reference to FIG. , and an algorithm storage unit 338.
- Image data captured by the first imaging device 31 and the second imaging device 32 is transmitted from the work machine 1 to the monitoring controller 33F via the wireless communication system.
- the processing unit 335 of the monitoring controller 33F can determine whether the bucket tooth 18 is defective or not based on the image data captured by the first imaging device 31. Further, the output unit 337 of the monitoring controller 33F can cause the output device 24F to output a warning indicating that the bucket tooth 18 is missing.
- the processing unit 335 of the monitoring controller 33F can determine the presence or absence of boulders 240 on the ground 200 based on the image data captured by the second imaging device 32. Further, the output unit 337 of the monitoring controller 33F can cause the output device 24F to output a warning indicating that there is a boulder 240 on the ground 200.
- each of the first measuring device 31 and the second measuring device 32 is an imaging device. At least one of the first measuring device 31 and the second measuring device 32 may be a laser device. At least one of the first measuring device 31 and the second measuring device 32 may be a radar device.
- a laser device irradiates a measurement target with a laser beam and acquires measurement data of the measurement target.
- a radar device irradiates a measurement target with sound waves and acquires measurement data of the measurement target.
- the laser device can irradiate the working machine 10 with laser light and acquire measurement data of the working machine 10 at a predetermined sampling rate.
- the radar device can irradiate the working machine 10 with sound waves and acquire measurement data of the working machine 10 at a predetermined sampling rate.
- the output unit 337 can change the form of the warning output from the output device 24 based on the number of defect determination samples indicating measurement data for which it has been determined that the working machine 10 has a defect.
- the receiving surfaces of the first measuring device 31 and the second measuring device 32 are the incident surfaces of the optical system.
- the receiving surface of the laser device includes a light receiving surface for laser light.
- the contamination determining unit 336 can determine whether the light receiving surface of the laser device is contaminated according to the embodiment described above.
- the receiving surface of the laser device includes a radio wave receiving surface of the radar device.
- the contamination determining unit 336 can determine whether or not the radio wave receiving surface of the radar device is contaminated according to the embodiment described above.
- the working machine 1 is a wheel loader.
- the work machine 1 may be another work machine such as a bulldozer or a hydraulic excavator.
- Each of the bulldozer and the hydraulic excavator includes a working machine and a crawler track that rotates while in contact with the ground 200.
- the crawler track is a rotating member that rotates while in contact with the ground 200. The work machine travels by rotating the crawler track.
- Turn signal lamp 29L... Turn signal lamp, 29R... Turn signal lamp, 30... Monitoring System, 31... First imaging device (first measuring device), 31L... First imaging device, 31R... First imaging device, 32... Second imaging device (second measuring device), 32L... Second imaging device, 32R ...Second imaging device, 33...Monitoring controller, 33F...Monitoring controller, 36...Warning area, 37...Target image, 37L...Target image, 37R...Target image, 40...Drive system, 41...Engine, 42...Fuel injection device , 43... Power takeoff, 44... Transmission, 44F... Forward gear, 44R... Reverse gear, 45F... Front axle, 45R... Rear axle, 46... Hydraulic pump, 47... Control valve, 48...
- Bucket teeth 187... Bucket teeth, 188... Bucket teeth, 191... Protector between teeth, 192... Protector between teeth, 193... Protector between teeth, 194... Protector between teeth, 195... Protector between teeth, 196... Protector between teeth, 197... Protector between teeth, 200... Ground, 210... Earth, 220... Dump truck, 230... Dump body, 240... Rolling stone, 300... Monitoring system, 301... Radio communication device, 302... Wireless communication device, 331... Measurement data acquisition section, 332... Vehicle body data acquisition section, 333... Condition determination section, 334... Algorithm selection section, 335... Processing unit, 336... Contamination determining unit, 337... Output unit, 338...
- Algorithm storage unit 360... Area image, 1000... Computer system, 1001... Processor, 1002... Main memory, 1003... Storage, 1004... Interface, CL ...Center, FX...Rotation axis, G...Distance between standard teeth, G1...Distance, G2...Distance, G3...Distance, L...Standard tooth length, L1...Distance, L2...Distance, L3...Distance, L4...Distance, M1 ...Arrow, M2...Arrow, M3...Arrow, M4...Arrow, Px...Threshold, Py...Threshold, Qx...Dimension, Qy...Dimension, Ra...Measurement range, Rb...Measurement range, RX...Rotation axis, ⁇ ...First Angle of view, ⁇ ...Second angle of view.
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
作業機械の監視システムは、作業機械に搭載され対象を計測する計測装置の計測データを取得する計測データ取得部と、作業機械の状態を示す車体データを取得する車体データ取得部と、車体データに基づいて、作業機械の状態を判別する状態判別部と、状態判別部により判別された作業機械の状態に基づいて、計測データを処理する特定のアルゴリズムを選択するアルゴリズム選択部と、アルゴリズム選択部により選択された特定のアルゴリズムに基づいて計測データを処理して、対象を認識する処理部と、を備える。
Description
本開示は、作業機械の監視システム及び作業機械の監視方法に関する。
作業機械に係る技術分野において、特許文献1に開示されているような作業車両が知られている。
作業機械は、作業中において作業機械の状況及び作業環境を監視することにより、作業を円滑に実施できる可能性がある。一方、作業機械の状況及び作業環境の両方を常時監視すると、監視に要する負担が大きくなる。そのため、複数の対象を効率良く監視できる技術が要望される。
本開示は、複数の対象を効率良く監視することを目的とする。
本開示に従えば、作業機械に搭載され対象を計測する計測装置の計測データを取得する計測データ取得部と、作業機械の状態を示す車体データを取得する車体データ取得部と、車体データに基づいて、作業機械の状態を判別する状態判別部と、状態判別部により判別された作業機械の状態に基づいて、計測データを処理する特定のアルゴリズムを選択するアルゴリズム選択部と、アルゴリズム選択部により選択された特定のアルゴリズムに基づいて計測データを処理して、対象を認識する処理部と、を備える、作業機械の監視システムが提供される。
本開示によれば、複数の対象を効率良く監視することができる。
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
[作業機械]
図1は、実施形態に係る作業機械1を示す側面図である。図2は、実施形態に係る作業機械1を示す上面図である。図3は、実施形態に係る作業機械1を示す正面図である。
図1は、実施形態に係る作業機械1を示す側面図である。図2は、実施形態に係る作業機械1を示す上面図である。図3は、実施形態に係る作業機械1を示す正面図である。
作業機械1は、作業現場において作業する。実施形態において、作業機械1は、アーティキュレート作業機械の一種であるホイールローダである。作業機械1は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。
図1、図2、及び図3に示すように、作業機械1は、車体2と、運転台3と、走行装置4と、フロントフェンダ7と、支持部材8と、ハウジング9と、作業機10と、角度センサ90とを備える。
車体2は、前部車体2Fと、後部車体2Rとを含む。前部車体2Fと後部車体2Rとは、関節機構2Aを介して連結される。
運転台3は、車体2に支持される。運転台3に運転室が設けられる。運転室に運転席が設けられる。作業機械1は、運転台3に搭乗した運転者に操作される。
走行装置4は、車体2を支持して作業現場の地面200を走行する。走行装置4は、車輪5と、タイヤ6とを有する。タイヤ6は、車輪5に装着される。車輪5は、前部車体2Fに支持される前輪5Fと、後部車体2Rに支持される後輪5Rとを含む。タイヤ6は、前輪5Fに装着される前タイヤ6Fと、後輪5Rに装着される後タイヤ6Rとを含む。
前輪5F及び前タイヤ6Fは、回転軸FXを中心に回転可能である。後輪5R及び後タイヤ6Rは、回転軸RXを中心に回転可能である。
実施形態において、前輪5Fの回転軸FXに平行な方向を適宜、車幅方向、と称する。地面200に接触する前タイヤ6Fの接地面に直交する方向を適宜、上下方向、と称する。車幅方向及び上下方向の両方に直交する方向を適宜、前後方向、と称する。作業機械1の車体2が直進状態で走行するとき、回転軸FXと回転軸RXとは平行である。
また、実施形態において、作業機械1の車幅方向において作業機械1の中心CLに近い位置又は方向を適宜、車幅方向の内側、と称し、中心CLから遠い位置又は方向を適宜、車幅方向の外側、と称する。
車幅方向において作業機械1の中心CLよりも一方側は、左であり、左の逆側は、右である。前後方向において運転台3の運転席を基準として作業機10に近い位置又は方向は、前であり、前の逆側は、後である。上下方向において前タイヤ6Fの接地面に近い位置又は方向は、下であり、下の逆側は、上である。
後部車体2Rは、前部車体2Fよりも後側に配置される。前部車体2Fは、後部車体2Rに対して左側及び右側のそれぞれに屈曲する。後輪5Rは、前輪5Fよりも後側に配置される。後タイヤ6Rは、前タイヤ6Fよりも後側に配置される。前輪5F及び前タイヤ6Fは、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。後輪5R及び後タイヤ6Rは、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。
タイヤ6は、地面200に接触した状態で回転する回転部材である。タイヤ6の回転により、作業機械1が地面200を走行する。前タイヤ6Fは、地面200に接触した状態で回転する前側回転部材である。後タイヤ6Rは、前タイヤ6Fよりも後側に配置され、地面200に接触した状態で回転する後側回転部材である。
フロントフェンダ7は、作業機械1の走行において地面200から飛散した土砂が車体2及び運転台3に当たることを抑制する。フロントフェンダ7の一部は、前タイヤ6Fの上側に配置される。フロントフェンダ7の一部は、前タイヤ6Fの後側に配置される。フロントフェンダ7は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。フロントフェンダ7は、中心CLよりも左側に配置されるフロントフェンダ7Lと、中心CLよりも右側に配置されるフロントフェンダ7Rとを含む。左側のフロントフェンダ7Lは、前部車体2Fの左部に取り付けられる。右側のフロントフェンダ7Rは、前部車体2Fの右部に取り付けられる。
支持部材8は、棒状の部材である。支持部材8の下端部は、前部車体2Fに固定される。支持部材8は、上方に向かって前側且つ車幅方向の外側に傾斜する。支持部材8は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。支持部材8は、中心CLよりも左側に配置される支持部材8Lと、中心CLよりも右側に配置される支持部材8Rとを含む。左側の支持部材8Lの下端部は、前部車体2Fの左部に固定される。左側の支持部材8Lは、上方に向かって前側且つ左側に傾斜する。右側の支持部材8Rの下端部は、前部車体2Fの右部に固定される。右側の支持部材8Rは、上方に向かって前側且つ右側に傾斜する。
ハウジング9は、支持部材8の上端部に固定される。ハウジング9は、支持部材8を介して前部車体2Fに支持される。前後方向において、ハウジング9は、関節機構2Aと前部車体2Fの前端部との間に配置される。上下方向において、ハウジング9は、運転台3の上端部と前部車体2Fの上端部との間に配置される。ハウジング9は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。ハウジング9は、中心CLよりも左側に配置されるハウジング9Lと、中心CLよりも右側に配置されるハウジング9Rとを含む。左側のハウジング9Lは、左側の支持部材8Lの上端部に固定される。右側のハウジング9Rは、右側の支持部材8Rの上端部に固定される。左側のハウジング9Lは、左側のフロントフェンダ7Lの上側に配置される。右側のハウジング9Rは、右側のフロントフェンダ7Rの上側に配置される。
作業機10は、掘削作業及び積込作業において動作する。作業機10は、前部車体2Fに連結される。作業機10の少なくとも一部は、前輪5Fよりも前側に配置される。作業機10は、ブーム11と、バケット12と、ベルクランク15と、バケットリンク16とを有する。
ブーム11は、前部車体2Fに回動可能に連結される。ブーム11は、前部車体2Fとバケット12とを連結する。ブーム11は、ブームシリンダ13が発生する駆動力により動作する。ブームシリンダ13は、油圧シリンダである。ブームシリンダ13の一端部は、前部車体2Fに連結される。ブームシリンダ13の他端部は、ブーム11に連結される。ブームシリンダ13は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。
バケット12は、掘削対象を掘削する。バケット12は、ブーム11の先端部に回動可能に連結される。バケット12は、前輪5Fよりも前側に配置される。バケット12は、バケットシリンダ14が発生する駆動力により動作する。バケットシリンダ14は、油圧シリンダである。ベルクランク15の中央部がブーム11に回転可能に連結される。バケットシリンダ14の一端部は、前部車体2Fに連結される。バケットシリンダ14の他端部は、ベルクランク15の一端部に連結される。ベルクランク15の他端部は、バケットリンク16を介してバケット12に連結される。バケットシリンダ14は、車幅方向の中央部に1つ配置される。
バケット12は、バケット本体17と、バケットツース18と、ツース間プロテクタ19とを有する。
バケット本体17は、掘削物を保持する。バケット本体17は、底板部17Aと、上板部17Bと、左板部17Cと、右板部17Dとを含む。底板部17Aと上板部17Bと左板部17Cと右板部17Dとにより、掘削物が収容される保持空間が形成される。底板部17Aの先端部及び上板部17Bの先端部のそれぞれは、車幅方向に延伸する。左板部17Cの先端部及び右板部17Dの先端部のそれぞれは、上下方向又は前後方向に延伸する。底板部17Aの先端部と上板部17Bの先端部と左板部17Cの先端部と右板部17Dの先端部とにより、バケット12の開口部12Mが規定される。掘削物は、開口部12Mを介してバケット12の保持空間に入ることができる。
図2及び図3に示すように、バケット本体17の車幅方向の両側の端部12Eは、タイヤ6よりも車幅方向の外側に配置される。左側の端部12Eと右側の端部12Eとの車幅方向の距離は、左側のタイヤ6の左側面と右側のタイヤ6の右側面との車幅方向の距離よりも大きい。
バケットツース18は、バケット12の刃先を構成する。バケットツース18は、バケット本体17に取り付けられる。バケットツース18は、底板部17Aの先端部に取り付けられる。バケットツース18は、バケット本体17に複数取り付けられる。複数のバケットツース18は、車幅方向に間隔をあけて配置される。
バケットツース18は、バケット本体17に交換可能に取り付けられる交換部材である。バケットツース18は、例えばボルトによりバケット本体17に固定される。ボルトによる固定が解除されることにより、バケットツース18は、バケット本体17から離れることができる。
実施形態において、バケットツース18は、車幅方向に間隔をあけて8個配置される。バケットツース18は、最も左側に配置されるバケットツース181と、バケットツース181に次いで左側に配置されるバケットツース182と、バケットツース182に次いで左側に配置されるバケットツース183と、バケットツース183に次いで左側に配置されるバケットツース184と、バケットツース184に次いで左側に配置されるバケットツース185と、バケットツース185に次いで左側に配置されるバケットツース186と、バケットツース186に次いで左側に配置されるバケットツース187と、最も右側に配置されるバケットツース188と、を含む。
ツース間プロテクタ19は、底板部17Aの先端部を保護する。ツース間プロテクタ19は、バケット本体17に取り付けられる。ツース間プロテクタ19は、相互に隣り合う一対のバケットツース18の間に配置される。ツース間プロテクタ19は、底板部17Aの先端部に取り付けられる。ツース間プロテクタ19は、バケット本体17に複数取り付けられる。複数のツース間プロテクタ19は、車幅方向に間隔をあけて配置される。
ツース間プロテクタ19は、バケット本体17に交換可能に取り付けられる交換部材である。ツース間プロテクタ19は、例えばボルトによりバケット本体17に固定される。ボルトによる固定が解除されることにより、ツース間プロテクタ19は、バケット本体17から離れることができる。
実施形態において、ツース間プロテクタ19は、車幅方向に間隔をあけて7個配置される。ツース間プロテクタ19は、最も左側に配置されるツース間プロテクタ191と、ツース間プロテクタ191に次いで左側に配置されるツース間プロテクタ192と、ツース間プロテクタ192に次いで左側に配置されるツース間プロテクタ193と、ツース間プロテクタ193に次いで左側に配置されるツース間プロテクタ194と、ツース間プロテクタ194に次いで左側に配置されるツース間プロテクタ195と、ツース間プロテクタ195に次いで左側に配置されるツース間プロテクタ196と、最も右側に配置されるツース間プロテクタ197と、を含む。
角度センサ90は、作業機10の姿勢を検出する姿勢センサである。作業機10の姿勢は、作業機10の角度を含む。角度センサ90は、作業機10に設けられる。角度センサ90は、ブーム11の角度を検出するブーム角度センサ91と、バケット12の角度を検出するバケット角度センサ92とを含む。ブーム角度センサ91は、例えば前部車体2Fに規定された車体座標系の基準軸に対するブーム11の角度を検出する。バケット角度センサ92は、ブーム11に対するバケット12の角度を検出する。角度センサ90として、ポテンショメータが例示される。なお、作業機10の姿勢を検出する姿勢センサは、油圧シリンダ(ブームシリンダ13、バケットシリンダ14)のストロークを検出するストロークセンサでもよい。
[運転室]
図4は、実施形態に係る運転台3の運転室を示す図である。図4は、運転室の運転席に着座した運転者から見た景色を模式的に示す図である。
図4は、実施形態に係る運転台3の運転室を示す図である。図4は、運転室の運転席に着座した運転者から見た景色を模式的に示す図である。
運転室には、運転操作装置20、操作パネル21、モニタ装置22、リアビューモニタ装置23、出力装置24、及び入力装置25が配置される。運転操作装置20は、運転者に操作される。運転操作装置20は、アクセルペダル20A及び一対のブレーキペダル20Bを含む。また、不図示であるが、運転操作装置20は、ステアリングレバー、シフトレバー、前後進切換レバー、及び作業レバーを含む。アクセルペダル20Aが操作されることにより、作業機械1の走行速度が上昇する。ブレーキペダル20Bが操作されることにより、作業機械1の走行速度が低下したり作業機械1の走行が停止したりする。ステアリングレバーが操作されることにより、作業機械1が旋回する。シフトレバーが操作されることにより、作業機械1の速度段が変更される。前後進切換レバーが操作されることにより、作業機械1の進行方向が前進方向と後進方向とに切り換えられる。作業レバーが操作されることにより、作業機10が動作する。
出力装置24は、運転者に出力データを提供する。出力データは、警告を含む。出力装置24は、表示装置24Aと、発音装置24Bとを含む。
表示装置24Aは、出力データとして運転者に表示データを提供する。表示装置24Aとして、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイが例示される。
発音装置24Bは、出力データとして運転者に音声データを提供する。発音装置24Bとして、ブザー又はスピーカが例示される。
入力装置25は、運転者に操作されることにより入力データを生成する。入力装置25として、ボタン又はキーボードが例示される。なお、入力装置25は、例えばタッチパネルを含んでもよい。
運転室の前部にフロントガラスが設けられる。フロントガラスは、運転室のピラー27に取り付けられる。実施形態において、出力装置24は、ピラー27に支持される。
[計測装置]
図5は、実施形態に係る作業機械1の一部を拡大した正面図である。図3及び図5に示すように、作業機械1は、前照灯28と、ウインカーランプ29と、第1計測装置31と、第2計測装置32とを有する。
図5は、実施形態に係る作業機械1の一部を拡大した正面図である。図3及び図5に示すように、作業機械1は、前照灯28と、ウインカーランプ29と、第1計測装置31と、第2計測装置32とを有する。
前照灯28は、照明光を前方に射出して、前部車体2Fよりも前方の照明範囲を照明する。前照灯28は、ハウジング9に保持される。前照灯28は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。前照灯28は、中心CLよりも左側に配置される前照灯28Lと、中心CLよりも右側に配置される前照灯28Rとを含む。左側の前照灯28Lは、左側のハウジング9Lに保持される。右側の前照灯28Rは、右側のハウジング9Rに保持される。
ウインカーランプ29は、点灯又は点滅することにより、作業機械1の旋回方向を表示する。ウインカーランプ29は、ハウジング9に保持される。ウインカーランプ29は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。ウインカーランプ29は、中心CLよりも左側に配置されるウインカーランプ29Lと、中心CLよりも右側に配置されるウインカーランプ29Rとを含む。左側のウインカーランプ29Lは、左側のハウジング9Lに保持される。右側のウインカーランプ29Rは、右側のハウジング9Rに保持される。作業機械1の車幅方向において、ウインカーランプ29は、前照灯28よりも外側に配置される。
第1計測装置31は、所定の対象を計測する。第1計測装置31が計測する対象は、作業機10を含む。第1計測装置31は、作業機10を計測する。第1計測装置31は、作業機10の計測データを取得する。実施形態において、第1計測装置31は、作業機10を撮像する撮像装置である。作業機10の計測データは、作業機10の画像データを含む。以下の説明において、第1計測装置31を適宜、第1撮像装置31、と称する。
第2計測装置32は、所定の対象を計測する。第2計測装置32が計測する対象は、走行装置4が走行する地面200を含む。第2計測装置32は、作業機械1が走行する地面200を計測する。第2計測装置32は、地面200の計測データを取得する。実施形態において、第2計測装置32は、地面200を撮像する撮像装置である。地面200の計測データは、地面200の画像データを含む。以下の説明において、第2計測装置32を適宜、第2撮像装置32、と称する。
第1撮像装置31及び第2撮像装置32のそれぞれは、光学系と、光学系を通過した光が入射するイメージセンサとを有する。イメージセンサとして、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが例示される。
第1撮像装置31及び第2撮像装置32のそれぞれは、ハウジング9に配置される。作業機械1の車幅方向において、第1撮像装置31及び第2撮像装置32のそれぞれは、前照灯28よりも外側に配置される。ハウジング9において、第2撮像装置32は、第1撮像装置31よりも上方に配置される。
第1撮像装置31は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。第1撮像装置31は、左側のハウジング9及び右側のハウジング9のそれぞれに配置される。第1撮像装置31は、中心CLよりも左側に配置される第1撮像装置31Lと、中心CLよりも右側に配置される第1撮像装置31Rとを含む。
第2撮像装置32は、作業機械1の車幅方向において作業機械1の中心CLよりも左側及び右側のそれぞれに配置される。第2撮像装置32は、左側のハウジング9及び右側のハウジング9のそれぞれに配置される。第2撮像装置32は、中心CLよりも左側に配置される第2撮像装置32Lと、中心CLよりも右側に配置される第2撮像装置32Rとを含む。
[駆動システム]
図6は、実施形態に係る作業機械1の駆動システム40を示す図である。駆動システム40は、エンジン41と、燃料噴射装置42と、パワーテイクオフ43(PTO:Power Take Off)と、トランスミッション44と、フロントアクスル45Fと、リヤアクスル45Rと、油圧ポンプ46と、制御弁47と、駆動コントローラ48とを有する。
図6は、実施形態に係る作業機械1の駆動システム40を示す図である。駆動システム40は、エンジン41と、燃料噴射装置42と、パワーテイクオフ43(PTO:Power Take Off)と、トランスミッション44と、フロントアクスル45Fと、リヤアクスル45Rと、油圧ポンプ46と、制御弁47と、駆動コントローラ48とを有する。
エンジン41は、例えばディーゼルエンジンである。燃料噴射装置42は、エンジン41のシリンダに燃料を噴射する。燃料噴射装置42からエンジン41に噴射される燃料量が調整されることにより、エンジン41の駆動力が調整される。
パワーテイクオフ43は、エンジン41の駆動力をトランスミッション44と油圧ポンプ46とに分配する。エンジン41の駆動力は、パワーテイクオフ43を介してトランスミッション44及び油圧ポンプ46のそれぞれに伝達される。
トランスミッション44は、エンジン41の駆動力が入力される入力軸と、入力軸に入力された駆動力を変速して出力する出力軸とを有する。トランスミッション44の入力軸は、パワーテイクオフ43に接続される。トランスミッション44の出力軸は、フロントアクスル45F及びリヤアクスル45Rのそれぞれに接続される。エンジン41の駆動力は、パワーテイクオフ43及びトランスミッション44を介してフロントアクスル45F及びリヤアクスル45Rのそれぞれに伝達される。
トランスミッション44は、作業機械1の進行方向を前進方向と後進方向とに切り換える。トランスミッション44は、前進ギヤ44Fと、後進ギヤ44Rとを有する。前進ギヤ44Fが入ることにより、作業機械1の進行方向が前進方向に決定される。後進ギヤ44Rが入ることにより、作業機械1の進行方向が後進方向に決定される。
フロントアクスル45Fは、トランスミッション44から伝達された駆動力を前輪5Fに伝達する。前輪5Fは、フロントアクスル45Fから伝達された駆動力に基づいて回転する。
リヤアクスル45Rは、トランスミッション44から伝達された駆動力を後輪5Rに伝達する。後輪5Rは、リヤアクスル45Rから伝達された駆動力に基づいて回転する。
前進ギヤ44Fが入ることにより、作業機械1は、前進可能な状態になる。前進ギヤ44Fが入った状態で、アクセルペダル20Aが操作され、エンジン41の駆動力がトランスミッション44を介してフロントアクスル45F及びリヤアクスル45Rのそれぞれに伝達されることにより、作業機械1が前進する。なお、前進ギヤ44Fが入った状態においても、例えばブレーキペダル20Bが操作されている状態においては、作業機械1は前進しない。
後進ギヤ44Rが入ることにより、作業機械1は、後進可能な状態になる。後進ギヤ44Rが入った状態で、アクセルペダル20Aが操作され、エンジン41の駆動力がトランスミッション44を介してフロントアクスル45F及びリヤアクスル45Rのそれぞれに伝達されることにより、作業機械1が後進する。なお、後進ギヤ44Rが入った状態においても、例えばブレーキペダル20Bが操作されている状態においては、作業機械1は後進しない。
油圧ポンプ46は、作動油を吐出する。油圧ポンプ46は、可変容量型油圧ポンプである。油圧ポンプ46は、エンジン41の駆動力に基づいて駆動する。油圧ポンプ46から吐出された作動油は、制御弁47を介してブームシリンダ13及びバケットシリンダ14の少なくとも一方に供給される。
制御弁47は、ブームシリンダ13及びバケットシリンダ14それぞれに供給される作動油の流量及び方向を制御する。作業機10は、制御弁47を介して油圧ポンプ46から供給される作動油により動作する。
駆動コントローラ48は、運転操作装置20から出力された操作信号に基づいて、作業機械1を制御する。駆動コントローラ48は、コンピュータシステムを含む。
[作業機の動作]
図7は、実施形態に係る作業機10の動作を説明する図である。実施形態において、作業機10は、掘削作業においてバケット12の開口部12Mが前方を向くフロントローディング方式の作業機である。
図7は、実施形態に係る作業機10の動作を説明する図である。実施形態において、作業機10は、掘削作業においてバケット12の開口部12Mが前方を向くフロントローディング方式の作業機である。
ブームシリンダ13が伸縮することにより、ブーム11が上げ動作又は下げ動作する。
ブーム11の上げ動作とは、ブーム11の先端部が地面200から離隔するようにブーム11が回動する動作をいう。ブームシリンダ13が伸びることにより、ブーム11が上げ動作する。
ブーム11の下げ動作とは、ブーム11の先端部が地面200に接近するようにブーム11が回動する動作をいう。ブームシリンダ13が縮むことにより、ブーム11が下げ動作する。
バケットシリンダ14が伸縮することにより、バケット12がチルト動作又はダンプ動作する。
バケット12のチルト動作とは、バケット12の開口部12Mが上方を向いた状態でバケット12の先端部が地面200から離隔するようにバケット12が回動する動作をいう。バケットシリンダ14が伸びることにより、ベルクランク15の上端部が前方に移動し、ベルクランク15の下端部が後方に移動するように、ベルクランク15が回動する。ベルクランク15の下端部が後方に移動すると、バケット12は、バケットリンク16により後方に引かれ、チルト動作する。バケット12がチルト動作することにより、掘削対象がバケット12によって掬い取られ、掘削物がバケット12に保持される。
バケット12のダンプ動作とは、バケット12の開口部12Mが下方を向いた状態でバケット12の先端部が地面200に接近するようにバケット12が回動する動作をいう。バケットシリンダ14が縮むことにより、ベルクランク15の上端部が後方に移動し、ベルクランク15の下端部が前方に移動するように、ベルクランク15が回動する。ベルクランク15の下端部が前方に移動すると、バケット12は、バケットリンク16により前方に押され、ダンプ動作する。バケット12がダンプ動作することにより、バケット12に保持されている掘削物がバケット12から排出される。
[作業機械の動作]
図8は、実施形態に係る作業機械1の動作を説明する図である。作業機械1は、作業現場において掘削作業及び積込作業を実施する。
図8は、実施形態に係る作業機械1の動作を説明する図である。作業機械1は、作業現場において掘削作業及び積込作業を実施する。
掘削作業は、掘削対象を掘削する作業である。掘削対象として、地山又は岩山が例示される。地山は、地面200に置かれた土砂により構成される山である。岩山は、地面200に置かれた岩又は石により構成される山である。実施形態において、掘削対象は、地山210である。掘削物は、バケット12に掘削され保持された地山210の一部である。
積込作業は、掘削作業により掘削した掘削物を積込対象に積み込む作業である。積込対象として、運搬車両、ホッパ、又はベルトコンベヤが例示される。実施形態において、積込対象は、運搬車両の一種であるダンプトラック220のダンプボディ230である。
作業機械1は、一連の作業モードを繰り返すサイクル作業を実施するように運転者に操作される。サイクル作業は、相互に関連する複数の作業モードにより構成される。サイクル作業は、走行装置4の走行及び作業機10の動作を含む。
実施形態において、サイクル作業は、6つの作業モードにより構成される。実施形態において、作業機械1の一連の作業モードは、空荷前進モードと、掘削モードと、積荷後進モードと、積荷前進モードと、積込モードと、空荷後進モードとを含む。
一連の作業モードの順序は、決められている。空荷前進モードが実施された後に、掘削モードが実施される。掘削モードが実施された後に、積荷後進モードが実施される。積荷後進モードが実施された後に、積荷前進モードが実施される。積荷前進モードが実施された後に、積込モードが実施される。積込モードが実施された後に、空荷後進モードが実施される。
空荷前進モードは、バケット12に掘削物が保持されていない状態で作業機械1が掘削対象に接近するように前進する作業モードである。空荷前進モードにおいて、作業機械1は、バケット12に掘削物が保持されていない状態で、図8の矢印M1で示すように、地山210に接近するように前進する。
掘削モードは、作業機10のバケット12で掘削対象を掘削する作業モードである。掘削モードにおいて、掘削作業が実施される。バケット12の少なくとも一部が地山210に挿入された状態で、バケット12がチルト動作することにより、地山210がバケット12により掘削され、バケット12に掘削物が保持される。
積荷後進モードは、バケット12に掘削物が保持されている状態で作業機械1が掘削対象から離隔するように後進する作業モードである。積荷後進モードにおいて、作業機械1は、バケット12に掘削物が保持されている状態で、図8の矢印M2で示すように、地山210から離隔するように後進する。
積荷前進モードは、バケット12に掘削物が保持されている状態で作業機械1が積込対象に接近するように前進する作業モードである。積荷前進モードにおいて、作業機械1は、バケット12に掘削物が保持されている状態で、図8の矢印M3で示すように、ダンプトラック220に向かって旋回しながら前進する。作業機械1がダンプトラック220に向かって前進している状態において、バケット12がダンプボディ230の上方に配置されるようにブーム11が上げ動作する。
積込モードは、作業機10のバケット12に保持されている掘削物を積込対象に積み込む作業モードである。積込モードにおいて、積込作業が実施される。バケット12がダンプボディ230の上方に配置された後、バケット12がダンプ動作することにより、バケット12に保持されている掘削物がバケット12から排出され、ダンプボディ230に積み込まれる。
空荷後進モードは、バケット12に掘削物が保持されていない状態で作業機械1が積込対象から離隔するように後進する作業モードである。作業機械1は、バケット12に掘削物が保持されていない状態で、図8の矢印M4で示すように、ダンプトラック220から離隔するように旋回しながら後進する。
作業機械1は、掘削物がダンプボディ230に目標積載量で積み込まれるまで、空荷前進モード、掘削モード、積荷後進モード、積荷前進モード、積込モード、及び空荷後進モードを含むサイクル作業を繰り返す。
[計測範囲]
図9は、実施形態に係る積込作業を実施する作業機械1を示す側面図である。図10は、実施形態に係る積込作業を実施する作業機械1を示す上面図である。
図9は、実施形態に係る積込作業を実施する作業機械1を示す側面図である。図10は、実施形態に係る積込作業を実施する作業機械1を示す上面図である。
図9及び図10に示すように、ダンプトラック220のダンプボディ230に掘削物を積み込む場合、作業機械1は、バケット12がダンプボディ230の上方に配置されるようにブーム11の上げ動作を実施する。ブーム11が上げ動作し、バケット12がダンプボディ230の上方に配置された後、作業機械1は、バケット12をダンプ動作させる。バケット12は、ブーム11が上げ動作した状態で、バケット12に保持された掘削物がダンプトラック220のダンプボディ230に排出されるようにダンプ動作する。第1撮像装置31は、少なくとも掘削物をダンプボディ230に排出するためにダンプ動作するバケット12を撮像する。バケット12のダンプ動作により、バケット12に保持されている掘削物がバケット12から排出され、ダンプボディ230に積み込まれる。
第1撮像装置31の計測範囲Raは、第1撮像装置31の撮像範囲を含む。計測範囲Raは、第1撮像装置31の光学系の画角を示す第1画角αに基づいて定められる。第1撮像装置31は、掘削物をダンプボディ230に排出するためにダンプ動作するバケット12を撮像する。第1撮像装置31は、ブーム11が上げ動作し、且つ、バケット12がダンプ動作したときに、バケットツース18を含むバケット12が計測範囲Raに配置されるように、ハウジング9に固定される。
第2撮像装置32の計測範囲Rbは、第2撮像装置32の撮像範囲を含む。計測範囲Rbは、第2撮像装置32の光学系の画角を示す第2画角βに基づいて定められる。第2撮像装置32は、少なくともタイヤ6の進行方向の地面200を撮像する。実施形態において、第2撮像装置32は、作業機械1が前進するとき、前タイヤ6Fの前方の地面200を撮像する。第2撮像装置32は、作業機械1が前進するとき、少なくとも前タイヤ6Fの前方の地面200が計測範囲Rbに配置されるように、ハウジング9に固定される。実施形態において、第2撮像装置32は、前タイヤ6Fの前端部、前タイヤ6Fの前方の地面200、及び前タイヤ6Fよりも車幅方向の外側の地面200のそれぞれが計測範囲Rbに配置されるように、ハウジング9に固定される。前タイヤ6Fの前方の地面200は、前後方向において、前タイヤ6Fの前端部とバケット12の後端部との間の地面200を含む。
実施形態において、第2撮像装置32の第2画角βは、第1撮像装置31の第1画角αよりも広い。
図10に示すように、中心CLよりも左側の第1撮像装置31Lは、作業機10のバケット12の少なくとも左部分を撮像する。中心CLよりも右側の第1撮像装置31Rは、作業機10のバケット12の少なくとも右部分を撮像する。バケット12の左部分は、バケット12の左側の端部12Eと中心CLとの間のバケット12の一部分である。バケット12の右部分は、バケット12の右側の端部12Eと中心CLとの間のバケット12の一部分である。
図10に示す例において、中心CLよりも左側の第1撮像装置31Lは、ブーム11が上げ動作し、且つ、バケット12がダンプ動作したときに、バケットツース181,182,183,184,185が計測範囲Raに配置されるように、左側のハウジング9に固定される。中心CLよりも右側の第1撮像装置31Rは、ブーム11が上げ動作し、且つ、バケット12がダンプ動作したときに、バケットツース184,185,186,187,188が計測範囲Raに配置されるように、右側のハウジング9に固定される。
図10に示すように、中心CLよりも左側の第2撮像装置32Lは、中心CLよりも左側の前タイヤ6Fの前方の地面200を撮像する。中心CLよりも右側の第2撮像装置32Rは、中心CLよりも右側の前タイヤ6Fの前方の地面200を撮像する。
図10に示す例において、中心CLよりも左側の第2撮像装置32Lは、左側の前タイヤ6Fの前端部と、左側の前タイヤ6Fの前方の地面200と、左側の前タイヤ6Fの左方の地面200とが計測範囲Rbに配置されるように、左側のハウジング9に固定される。中心CLよりも右側の第2撮像装置32Rは、右側の前タイヤ6Fの前端部と、右側の前タイヤ6Fの前方の地面200と、右側の前タイヤ6Fの右方の地面200とが計測範囲Rbに配置されるように、右側のハウジング9に固定される。
図11は、実施形態に係る左側の第1撮像装置31Lにより撮像された画像データの一例を示す図である。図12は、実施形態に係る左側の第2撮像装置32Rにより撮像された画像データの一例を示す図である。
図11に示すように、第1撮像装置31Lは、掘削物がダンプボディ230に排出されるようにダンプ動作するバケット12を下から見上げるように撮像する。これにより、図11に示すように、第1撮像装置31Lは、複数のバケットツース18を同時に撮像することができる。図11に示す例においては、第1撮像装置31の計測範囲Raに、バケットツース181,182,183,184,185,186が配置される。
図12に示すように、第2撮像装置32Lは、前タイヤ6Fの前方の地面200及び左方の地面200を上から見下ろすように撮像する。これにより、第2撮像装置32Lは、前タイヤ6Fの周囲の地面200を撮像することができる。例えば、前タイヤ6Fの周囲の地面200に転石240が存在する場合、第2撮像装置32Lは、地面200の転石240を撮像することができる。
[監視システム]
図13は、実施形態に係る監視システム30を示す機能ブロック図である。作業機械1は、監視システム30を有する。監視システム30は、作業機10及び作業機械1が走行する地面200を監視する。
図13は、実施形態に係る監視システム30を示す機能ブロック図である。作業機械1は、監視システム30を有する。監視システム30は、作業機10及び作業機械1が走行する地面200を監視する。
監視システム30は、第1撮像装置31と、第2撮像装置32と、運転操作装置20と、角度センサ90と、出力装置24と、入力装置25と、監視コントローラ33とを有する。第1撮像装置31は、中心CLよりも左側に配置される第1撮像装置31Lと、中心CLよりも右側に配置される第1撮像装置31Rとを含む。第2撮像装置32は、中心CLよりも左側に配置される第2撮像装置32Lと、中心CLよりも右側に配置される第2撮像装置32Rとを含む。
第1撮像装置31、第2撮像装置32、運転操作装置20、角度センサ90、出力装置24、及び入力装置25のそれぞれは、監視コントローラ33に接続される。第1撮像装置31により撮像された画像データは、監視コントローラ33に入力される。第2撮像装置32により撮像された画像データは、監視コントローラ33に入力される。運転操作装置20の操作データは、監視コントローラ33に入力される。角度センサ90の検出データは、監視コントローラ33に入力される。入力装置25により生成された入力データは、監視コントローラ33に入力される。
実施形態において、第1撮像装置31及び第2撮像装置32のそれぞれは、所定のサンプリングレート(SPS:samples per second)で計測データを取得する。計測データは、画像データを含む。サンプリングレートは、フレームレート(FPS:frames per second)を含む。第1撮像装置31及び第2撮像装置32のそれぞれは、所定のフレームレートで画像データを撮像する。第1撮像装置31が所定のフレームレートで画像データを撮像することにより、動画が撮影される。第2撮像装置32が所定のフレームレートで画像データを撮像することにより、動画が撮影される。
監視コントローラ33は、第1撮像装置31により撮像された画像データに基づいて、作業機10の欠損の有無を認識する。作業機10の欠損を認識した場合、監視コントローラ33は、作業機10に欠損が有ることを示す警告を出力装置24から出力させる。作業機10の欠損は、バケット12の欠損を含む。バケット12の欠損は、交換部材であるバケットツース18の欠損を含む。バケットツース18の欠損は、バケット本体17からのバケットツース18の脱落を含む。
監視コントローラ33は、第2撮像装置32により撮像された画像データに基づいて、作業機械1が走行する地面200の転石240の有無を認識する。地面200の転石240を認識した場合、監視コントローラ33は、地面200に転石240が有ることを示す警告を出力装置24から出力させる。地面200の転石240は、前タイヤ6Fの進行方向の地面200の転石240を含む。前タイヤ6Fの進行方向の地面200の転石240は、作業機械1が前進するときの前タイヤ6Fの前方の地面200の転石240を含む。
監視コントローラ33は、図8を参照して説明したサイクル作業において、作業機10の欠損の有無を認識したり、転石240の有無を認識したりする。なお、監視コントローラ33は、サイクル作業とは別の作業において、作業機10の欠損の有無を認識したり、転石240の有無を認識したりしてもよい。また、監視コントローラ33は、作業機械1が作業を開始する前の始業点検において、作業機10の欠損の有無を認識してもよい。
また、監視コントローラ33は、第1撮像装置31により撮像された画像データに基づいて、第1撮像装置31の受信面の汚染の有無を判定する。第1撮像装置31の汚染が有ると判定した場合、監視コントローラ33は、第1撮像装置31の受信面に汚染が有ることを示す警告を出力装置24から出力させる。監視コントローラ33は、第1撮像装置31の受信面に汚染が有ると判定した場合、表示装置24Aに警告を示す表示データを表示させたり、発音装置24Bから警告音を出力させたりすることができる。第1撮像装置31の受信面は、第1撮像装置31の光学系の入射面を含む。
監視コントローラ33は、図8を参照して説明したサイクル作業において、第1撮像装置31の汚染の有無を判定する。なお、監視コントローラ33は、サイクル作業とは別の作業において、第1撮像装置31の光学系の入射面の汚染の有無を判定してもよい。また、監視コントローラ33は、作業機械1が作業を開始する前の始業点検において、第1撮像装置31の光学系の入射面の汚染の有無を判定してもよい。
監視コントローラ33は、計測データ取得部331と、車体データ取得部332と、状態判別部333と、アルゴリズム選択部334と、処理部335と、汚染判定部336と、出力部337と、アルゴリズム記憶部338とを有する。
計測データ取得部331は、第1撮像装置31の計測データ及び第2撮像装置32の計測データを取得する。計測データ取得部331は、第1撮像装置31により計測された作業機10の計測データを所定のサンプリングレートで第1撮像装置31から取得する。作業機10の計測データは、第1撮像装置31により撮像された作業機10の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部331は、作業機10の画像データを所定のフレームレートで第1撮像装置31から取得する。また、計測データ取得部331は、第2撮像装置32により計測された地面200の計測データを所定のサンプリングレートで第2撮像装置32から取得する。地面200の計測データは、第2撮像装置32により撮像された地面200の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部331は、地面200の画像データを所定のフレームレートで第2撮像装置32から取得する。計測データ取得部331は、前タイヤ6Fの前方の地面200の画像データを取得する。
車体データ取得部332は、作業機械1の状態を示す車体データを取得する。作業機械1の状態は、作業機械1の作業状態を含む。作業機械1の状態は、作業機10の状態及び走行装置4の状態を含む。作業機10の状態は、作業機10の姿勢を含む。走行装置4の状態は、走行装置4の前進及び後進を含む。車体データは、作業機10の姿勢を示す姿勢データと、走行装置4の前進又は後進を示す前後進データとを含む。
作業機10の姿勢データは、作業機10の角度を含む。作業機10の角度は、角度センサ90により検出される。作業機10の姿勢データは、角度センサ90の検出データを含む。車体データ取得部332は、作業機10の姿勢データとして、角度センサ90の検出データを取得する。
走行装置4の前進と後進とは、運転操作装置20の前後進レバー20Cにより切り換えられる。走行装置4の前後進データは、前後進レバー20Cの操作データを含む。車体データ取得部332は、走行装置4の前後進データとして、前後進レバー20Cの操作データを取得する。
なお、例えば車輪5の回転を検出する回転センサが設けられている場合、回転センサは、車輪5の回転方向を検出することにより、走行装置4の前進又は後進を検出することができる。車体データ取得部332は、走行装置4の前後進データとして、回転センサの検出データを取得してもよい。
なお、車体データ取得部332は、走行装置4の前後進データとして、駆動システム40の状態を示す状態データを取得してもよい。駆動コントローラ48は、駆動システム40の状態を示す状態データを監視コントローラ33に入力する。車体データ取得部332は、駆動コントローラ48からの状態データに基づいて、駆動システム40の状態を判定する。駆動システム40の状態は、トランスミッション44の作動状態を含む。トランスミッション44は、作業機械1の進行方向を前進方向と後進方向とに切り換える。トランスミッション44は、作業機械1を前進させるために作動する前進ギヤ44Fと、作業機械1を後進させるために作動する後進ギヤ44Rとを含む。車体データ取得部332は、走行装置4の前後進データとして、トランスミッション44の状態を示す状態データを取得してもよい。
状態判別部333は、車体データ取得部332により取得された車体データに基づいて、作業機械1の状態を判別する。状態判別部333は、車体データ取得部332により取得された作業機10の姿勢データに基づいて、ブーム11が上げ動作又は下げ動作しているか否かを判別することができる。状態判別部333は、車体データ取得部332により取得された作業機10の姿勢データに基づいて、バケット12がチルト動作又はダンプ動作しているか否かを判別することができる。状態判別部333は、車体データ取得部332により取得された走行装置4の前後進データに基づいて、作業機械1が前進又は後進しているか否かを判別することができる。
状態判別部333は、作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raに作業機10のバケット12が配置されたか否かを判定することができる。上述のように、第1撮像装置31は、ブーム11が上げ動作し、且つ、バケット12がダンプ動作したときに、バケット12が計測範囲Raに配置されるように、ハウジング9に固定される。状態判別部333は、作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raにバケットツース18が配置されたか否かを判定することができる。状態判別部333は、作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raにツース間プロテクタ19が配置されたか否かを判定することができる。
作業機械1の状態は、作業機械1の作業モードを含んでもよい。バケット12に掘削物が保持されているか否かを検出する重量センサが設けられている場合、状態判別部333は、作業機10の姿勢データと、走行装置4の前後進データと、重量センサの検出データとに基づいて、作業機械1の作業モードが、空荷前進モード、掘削モード、積荷後進モード、積荷前進モード、積込モード、及び空荷後進モードのいずれであるかを判別することができる。バケット12に掘削物が保持されているか否かを検出する重量センサとして、ブームシリンダ13のボトム室の圧力を検出する圧力センサが例示される。
アルゴリズム選択部334は、状態判別部333により判別された作業機械1の状態に基づいて、計測データ取得部331により取得された計測データを処理する特定のアルゴリズムを選択する。アルゴリズム記憶部338は、相互に異なる複数のアルゴリズムを予め記憶する。アルゴリズム選択部334は、状態判別部333により判別された作業機械1の状態に基づいて、アルゴリズム記憶部338に記憶されている複数のアルゴリズムから特定のアルゴリズムを選択する。
アルゴリズム記憶部338に記憶されているアルゴリズムは、第1撮像装置31により撮像された画像データを処理する第1アルゴリズムと、第2撮像装置32により撮像された画像データを処理する第2アルゴリズムとを含む。第1アルゴリズムは、第1撮像装置31により撮像された画像データから作業機10を識別するアルゴリズムを含む。実施形態において、第1アルゴリズムは、第1撮像装置31により撮像された画像データからバケットツース18を識別するアルゴリズムを含む。第2アルゴリズムは、第2撮像装置32により撮像された画像データから地面200の転石240を識別するアルゴリズムを含む。
アルゴリズムは、人工知能(AI:Artificial Intelligence)アルゴリズムを含む。第1アルゴリズムと第2アルゴリズムとは、異なる。第1アルゴリズムは、第1のAIアルゴリズムを含む。第2アルゴリズムは、第2のAIアルゴリズムを含む。第1のAIアルゴリズムは、バケットツース18の特徴量を学習することにより生成された第1の学習モデルに基づいて、第1撮像装置31により撮像された画像データからバケットツース18を認識する。第1の学習モデルは、物体の特徴量を入力とし、バケットツース18を出力とする学習モデルである。第2のAIアルゴリズムは、転石240の特徴量を学習することにより生成された第2の学習モデルに基づいて、第2撮像装置32により撮像された画像データから転石240を特定する学習モデルである。第2の学習モデルは、物体の特徴量を入力とし、転石240を出力とする学習モデルである。
作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raに作業機10のバケット12が配置されたと状態判別部333が判定した場合、アルゴリズム選択部334は、アルゴリズム記憶部338に記憶されている第1アルゴリズム及び第2アルゴリズムから、特定のアルゴリズムとして第1アルゴリズムを選択する。作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raに作業機10のバケット12が配置されていないと状態判別部333が判定した場合、アルゴリズム選択部334は、第1アルゴリズムを選択しない。
走行装置4の前後進データに基づいて、走行装置4が前進していると状態判別部333が判定した場合、アルゴリズム選択部334は、アルゴリズム記憶部338に記憶されている第1アルゴリズム及び第2アルゴリズムから、特定のアルゴリズムとして第2アルゴリズムを選択する。走行装置4の前後進データに基づいて、走行装置4が前進していないと状態判別部333が判定した場合、アルゴリズム選択部334は、第2アルゴリズムを選択しない。
処理部335は、計測データ取得部331により取得された画像データを処理して、対象を認識する。処理部335は、アルゴリズム選択部334により選択された特定のアルゴリズムに基づいて画像データを処理して、対象を認識する。
アルゴリズム選択部334により第1アルゴリズムが選択された場合、処理部335は、第1アルゴリズムに基づいて第1撮像装置31の画像データを処理して、作業機10を認識する。実施形態において、処理部335は、第1アルゴリズムに基づいて第1撮像装置31の画像データを処理して、作業機10の欠損の有無を判定する。実施形態において、処理部335は、第1撮像装置31の画像データにおいてバケット本体17からのバケットツース18の脱落の有無を判定する。
アルゴリズム選択部334により第2アルゴリズムが選択された場合、処理部335は、第2アルゴリズムに基づいて第2計測装置32の画像データを処理して、地面200を認識する。実施形態において、処理部335は、第2アルゴリズムに基づいて第2撮像装置32の画像データを処理して、地面200の転石240の有無を判定する。実施形態において、処理部335は、第2撮像装置32の画像データにおいて前タイヤ6Fの前方の地面200の転石240の有無を判定する。
作業機械1の状態に基づいて、画像データを処理する特定のアルゴリズムが選択されるので、処理部335は、複数の対象を効率良く認識することができる。第1撮像装置31の計測範囲Raにバケット12が配置されている状況においては、処理部335は、バケットツース18を認識するために第1撮像装置31により撮像された画像データを第1アルゴリズムに基づいて処理する。第1撮像装置31の計測範囲Raにバケット12が配置されていない状況においては、処理部335は、バケットツース18を認識するための処理を実施しない。作業機械1が前進して前タイヤ6Fの前方の地面200の転石240を前タイヤ6Fが踏む可能性が高い状況においては、処理部335は、前タイヤ6Fの前方の地面200の転石240を認識するために第2撮像装置32により撮像された画像データを第2アルゴリズムに基づいて処理する。作業機械1が後進又は停止して前タイヤ6Fの前方の地面200の転石240を前タイヤ6Fが踏む可能性が低い状況においては、処理部335は、転石240を認識するための処理を実施しない。このように、監視コントローラ33は、バケットツース18及び転石240の両方を認識するための処理を常時実施しなくても済む。そのため、バケットツース18及び転石240の監視に要する監視コントローラ33の負担が軽減される。したがって、監視コントローラ33は、バケットツース18及び転石240のそれぞれを効率良く監視することができる。
汚染判定部336は、状態判別部333により判別された作業機械1の状態と、処理部335による作業機10の認識結果とに基づいて、第1撮像装置31の光学系の入射面の汚染の有無を判定する。作業機械1の作業現場においては土砂又は粉塵が飛散する可能性が高く、その結果、第1撮像装置31の光学系の入射面に異物が付着する可能性がある。異物の付着により第1撮像装置31の光学系の入射面が汚染される可能性がある。
作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raに作業機10のバケット12が配置されたと状態判別部333が判定し、且つ、処理部335が作業機10のバケット12を認識した場合、汚染判定部336は、第1撮像装置31の光学系の入射面が汚染されていないと判定する。実施形態において、作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raにバケットツース18が配置されたと状態判別部333が判定し、且つ、処理部335がバケットツース18を認識した場合、汚染判定部336は、第1撮像装置31の光学系の入射面が汚染されていないと判定する。
作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raに作業機10のバケット12が配置されたと状態判別部333が判定し、且つ、処理部335が作業機10のバケット12を認識しない場合、汚染判定部336は、第1撮像装置31の光学系の入射面が汚染されていると判定する。実施形態において、作業機10の姿勢データに基づいて、第1撮像装置31の計測範囲Raにバケットツース18が配置されたと状態判別部333が判定し、且つ、処理部335がバケットツース18を認識しない場合、汚染判定部336は、第1撮像装置31の光学系の入射面が汚染されていると判定する。
第1撮像装置31の光学系の入射面が汚染されていない場合、第1撮像装置31の計測範囲Raにバケットツース18が配置されることにより、第1撮像装置31は、バケットツース18を正しく撮像することができる。そのため、処理部335は、バケットツース18を正しく識別することができる。一方、第1撮像装置31の光学系の入射面が汚染されている場合、第1撮像装置31の計測範囲Raにバケットツース18が配置されても、第1撮像装置31は、バケットツース18を正しく撮像することができない可能性が高い。そのため、処理部335は、バケットツース18を識別することができない可能性が高い。このように、実施形態において、汚染判定部336は、識別できるはずのバケットツース18が識別できれば、第1撮像装置31の光学系の入射面が汚染されていないと判定する。汚染判定部336は、識別できるはずのバケットツース18が識別できなければ、第1撮像装置31の光学系の入射面が汚染されていると判定する。
なお、処理部335が第2撮像装置32により撮像された画像データを処理して転石240を認識した場合、汚染判定部336は、処理部335による転石240の認識結果に基づいて、第2撮像装置32の光学系の入射面の汚染の有無を判定してもよい。第2撮像装置32の光学系の入射面が汚染されていない場合、第2撮像装置32の計測範囲Rbに転石240が配置されることにより、第2撮像装置32は、転石240を正しく撮像することができる。そのため、処理部335は、転石240を正しく識別することができる。一方、第2撮像装置32の光学系の入射面が汚染されている場合、第2撮像装置32の計測範囲Rbに転石240が配置されても、第2撮像装置32は、転石240を正しく撮像することができない可能性が高い。そのため、処理部335は、転石240を識別することができない可能性が高い。このように、実施形態において、汚染判定部336は、識別できるはずの転石240が識別できれば、第2撮像装置32の光学系の入射面が汚染されていないと判定する。汚染判定部336は、識別できるはずの転石240が識別できなければ、第2撮像装置32の光学系の入射面が汚染されていると判定する。
出力部337は、処理部335により認識された対象の認識結果を出力装置24に出力させる。出力部337は、汚染判定部336により判定された汚染の有無の判定結果を出力装置24に出力させる。
[作業機の欠損の判定]
図14、図15、図16、図17、及び図18のそれぞれは、実施形態に係る作業機10の欠損判定方法を説明する図である。以下、一例として、中心CLよりも左側の第1撮像装置31Lにより撮像された画像データに基づいて、バケットツース18の欠損の有無を判定する方法について説明する。
図14、図15、図16、図17、及び図18のそれぞれは、実施形態に係る作業機10の欠損判定方法を説明する図である。以下、一例として、中心CLよりも左側の第1撮像装置31Lにより撮像された画像データに基づいて、バケットツース18の欠損の有無を判定する方法について説明する。
図14に示すように、第1撮像装置31Lの計測範囲Raにバケットツース18が配置されるようにブーム11が上げ動作し且つバケット12がダンプ動作した場合、アルゴリズム選択部334は、車体データ取得部332により取得された角度センサ90の検出データに基づいて、第1アルゴリズムを選択する。
第1撮像装置31Lは、掘削物をダンプボディ230に排出するためにダンプ動作するバケット12を撮像する。計測データ取得部331は、第1撮像装置31Lからバケット12の画像データを取得する。画像データの認識範囲50に、複数のバケットツース18(181,182,183,184,185)が配置される。複数のバケットツース18のそれぞれは、バケット本体17から突出するようにバケット本体17に取り付けられる。
処理部335は、第1アルゴリズムに基づいて計測データ取得部331により取得された画像データを処理して、画像データの認識範囲50において複数のバケットツース18のそれぞれを認識する。
複数のバケットツース18を認識した後、図15に示すように、処理部335は、複数のバケットツース18のそれぞれの根本51の位置及び刃先52の位置を推定する。根本51は、バケットツース18の基端部である。根本51は、バケットツース18とバケット本体17との境界を含む。刃先52は、バケットツース18の先端部である。処理部335は、入力データを解析して出力データを出力する第1のAIアルゴリズムを利用して、根本51及び刃先52を推定する。処理部335は、入力データに基づいて根本51及び刃先52の確からしさの確率を出力する第1のAIアルゴリズムを利用し、確率が所定の閾値以上の中心を根本51の位置及び刃先52の位置と推定してもよい。また、処理部335は、入力データに基づいて根本51の位置及び刃先52の位置を直接推定する第1のAIアルゴリズムを利用してもよい。
少なくとも4個のバケットツース181,182,183,184のそれぞれの根本51の位置及び刃先52の位置を推定した後、図16に示すように、処理部335は、バケットツース181の根本51とバケットツース182の根本51との距離G1、バケットツース182の根本51とバケットツース183の根本51との距離G2、及びバケットツース183の根本51とバケットツース184の根本51との距離G3を算出する。距離G1,G2,G3を算出した後、処理部335は、距離G1,G2,G3に基づいて、基準ツース間距離Gを算出する。実施形態において、基準ツース間距離Gは、距離G1,G2,G3の中央値である。
基準ツース間距離Gを算出した後、図17に示すように、処理部335は、根本51に対応する刃先52を探索する。根本51と根本51に対応する刃先52とは、1個のバケットツース18の基端部と先端部とを構成する。実施形態において、処理部335は、根本51を基準として探索範囲53を設定し、探索範囲53において刃先52を探索する。探索範囲53は、画像データにおいて四角形状に設定される。図17に示すように、画像データにおける縦方向の探索範囲53の寸法が[γ×G]に定められ、画像データにおける横方向の探索範囲53の寸法が[δ×G]に定められる。γ及びδは、予め定められた固定値である。
なお、第1撮像装置31Lとバケット12との距離が短いときに第1撮像装置31Lにより撮像された画像データにおいて、バケット12は、大きく映る。第1撮像装置31Lとバケット12との距離が長いときに第1撮像装置31Lにより撮像された画像データにおいて、バケット12は、小さく映る。画像データにおいてバケット12の大きさが異なると、処理部335は、根本51に対応する刃先52を探索できない可能性がある。実施形態においては、基準ツース間距離Gに基づいて探索範囲53が設定される。これにより、処理部335は、第1撮像装置31Lとバケット12との距離によらず、根本51に対応する刃先52を探索することができる。
複数の根本51のそれぞれに対応する刃先52を探索した後、図18に示すように、処理部335は、バケットツース181の根本51と刃先52との距離L1、バケットツース182の根本51と刃先52との距離L2、バケットツース183の根本51と刃先52との距離L3、及びバケットツース184の根本51と刃先52との距離L4を算出する。距離L1は、バケット本体17からのバケットツース181の突出量に相当する。距離L2は、バケット本体17からのバケットツース182の突出量に相当する。距離L3は、バケット本体17からのバケットツース183の突出量に相当する。距離L4は、バケット本体17からのバケットツース184の突出量に相当する。距離L1,L2,L3,L4を算出した後、処理部335は、距離L1,L2,L3,L4に基づいて、基準ツース長Lを算出する。実施形態において、基準ツース長Lは、距離L1,L2,L3,L4の中央値である。なお、処理部335は、中心CLよりも右側の第1撮像装置31Rにより撮像された画像データに基づいて、4本のバケットツース185,186,187,188のそれぞれに対応する距離L5,L6,L7,L8を同様の方法により算出し、距離L1,L2,L3,L4,L5,L6,L7,L8に基づいて、基準ツース長Lを算出してもよい。
基準ツース長Lを算出した後、処理部335は、基準ツース長Lに基づいて、バケット本体17からのバケットツース18の突出量に係る寸法閾値を定める。実施形態において、寸法閾値は、[ε×L]に定められる。εは、予め定められた固定値である。このように、実施形態において、処理部335は、バケット本体17からの複数のバケットツース18(181,182,183,184)の突出量(L1,L2,L3,L4)に基づいて、寸法閾値を定める。
処理部335は、寸法閾値に基づいて、バケットツース18(181,182,183,184)に欠損が有るか否かを判定する。処理部335は、バケット本体17からのバケットツース18の突出量が寸法閾値未満である場合、バケットツース18に欠損が有ると判定する。処理部335は、バケット本体17からのバケットツース18の突出量が寸法閾値以上である場合、バケットツース18に欠損が無いと判定する。実施形態において、処理部335は、バケットツース18の突出量が寸法閾値未満である場合、バケット本体17からバケットツース18が脱落していると判定し、バケットツース18の突出量が寸法閾値以上である場合、バケット本体17からバケットツース18が脱落していないと判定する。
なお、第1撮像装置31Lとバケット12との距離が短いときに第1撮像装置31Lにより撮像された画像データにおいて、バケット12は、大きく映る。第1撮像装置31Lとバケット12との距離が長いときに第1撮像装置31Lにより撮像された画像データにおいては、バケット12は、小さく映る。画像データにおいてバケット12の大きさが異なると、処理部335は、バケットツース18に欠損が有るか否かを正しく判定できない可能性がある。実施形態においては、基準ツース長Lに基づいて寸法閾値が定められる。これにより、処理部335は、第1撮像装置31Lとバケット12との距離によらず、バケットツース18に欠損が有るか否かを判定することができる。
処理部335は、バケットツース18に欠損が有るか否かの判定結果に基づいて、計測データを複数のサンプルに分類する。処理部335は、欠損が無いと判定された計測データを健全判定サンプルに分類する。処理部335は、欠損が有ると判定された計測データを欠損判定サンプルに分類する。処理部335は、バケットツース18を認識できなかった計測データを未判定サンプルに分類する。処理部335は、欠損が無いと判定された計測データを示す健全判定サンプルの数をカウントする。処理部335は、欠損が有ると判定された計測データを示す欠損判定サンプルの数をカウントする。処理部335は、バケットツース18を認識できなかった計測データを示す未判定サンプルの数をカウントする。実施形態において、計測データは、画像データであり、処理部335に分類されるサンプルは、フレームである。以下の説明において、健全判定サンプルを適宜、健全判定フレーム、と称し、欠損判定サンプルを適宜、欠損判定フレーム、と称し、未判定サンプルを適宜、未判定フレーム、と称する。
図19は、実施形態に係る健全判定フレームの一例を示す図である。図19に示すように、バケットツース181の突出量を示す距離L1、バケットツース182の突出量を示す距離L2、バケットツース183の突出量を示す距離L3、及びバケットツース184の突出量を示す距離L4のそれぞれが、寸法閾値以上である。この場合、処理部335は、バケットツース18が欠損していないと判定する。処理部335は、欠損が無いと判定された画像データを健全判定フレームに分類する。
図20は、実施形態に係る欠損判定フレームの一例を示す図である。図20に示す例において、バケットツース182の突出量を示す距離L2が、寸法閾値未満である。この場合、処理部335は、バケットツース182が欠損していると判定する。処理部335は、欠損が有ると判定された画像データを欠損判定フレームに分類する。
以上、中心CLよりも左側の第1撮像装置31Lにより撮像された画像データに基づいて、バケットツース18の脱落の有無を判定する方法について説明した。中心CLよりも右側の第1撮像装置31Rにより撮像された画像データに基づいて、バケットツース18の脱落の有無を判定する方法も同様である。処理部335は、計測データ取得部331が第1撮像装置31Rから取得した画像データに基づいて、4本のバケットツース185,186,187,188の脱落の有無を判定する。
出力部337は、バケットツース18を示すシンボル60を表示装置24Aに表示させる。出力部337は、バケットツース18の欠損の有無に基づいて、シンボル60の表示形態を変更する。
図21は、実施形態に係る表示装置24Aに表示されるバケットツース18を示すシンボル60の一例を示す図である。図21に示すように、処理部335が画像データにおいてバケットツース18を認識できない場合、出力部337は、認識できないバケットツース18を示すシンボル60を第1表示形態で表示装置24Aに表示させる。画像データにおいてバケットツース18の欠損が無いと処理部335により判定された場合、出力部337は、欠損が無いと判定されたバケットツース18を示すシンボル60を第2表示形態で表示装置24Aに表示させる。画像データにおいてバケットツース18の欠損が有ると処理部335により判定された場合、出力部337は、欠損が有ると判定されたバケットツース18を示すシンボル60を第3表示形態で表示装置24Aに表示させる。
実施形態において、出力部337は、処理部335が認識できないバケットツース18を示すシンボル60を第1色彩で表示する。第1色彩は、例えば灰色である。出力部337は、欠損が無いと判定されたバケットツース18を示すシンボル60を第2色彩で表示する。第2色彩は、例えば緑色である。出力部337は、欠損が有ると判定されたバケットツース18を示すシンボルを第3色彩で表示する。第3色彩は、例えば赤色である。
出力部337は、欠損判定フレームが存在する場合、欠損判定フレームが存在することを示す警告を出力装置24から出力させる。また、出力部337は、処理部335によりカウントされた欠損判定フレームの数に基づいて、出力装置24から出力させる警告の形態を変更する。
出力部337は、欠損判定フレームの数がサンプル閾値未満である場合、出力装置24から第1形態で警告を出力させ、欠損判定フレームの数がサンプル閾値以上である場合、出力装置24から第2形態で警告を出力させる。サンプル閾値は、予め定められた値である。
出力装置24は、バケットツース18を示すシンボル60を表示する表示装置24Aと、警告音を発生する発音装置24Bとを含む。出力部337は、欠損判定フレームの数がサンプル閾値未満である場合、表示装置24Aに第1形態で表示データを表示させ、欠損判定フレームの数がサンプル閾値以上である場合、表示装置24Aに第2形態で表示データを表示させてもよい。出力部337は、欠損判定フレームの数がサンプル閾値未満である場合、発音装置24Bに第1形態で警告音を発生させ、欠損判定フレームの数がサンプル閾値以上である場合、発音装置24Bに第2形態で警告音を発生させてもよい。
図22は、実施形態に係る欠損判定フレームと警告の形態との関係を示す図である。欠損判定フレームの有無の判定は、所定のフレームレートで実施される。図22に示す例において、欠損判定フレームの有無の判定は、0.2[sec.]間隔で実施される。図22において、「通常」フレームは、健全判定フレーム又は未判定フレームを示す。図22において、「欠損」フレームは、欠損判定フレームを含む。図22に示す例において、サンプル閾値は、2である。
図22に示すように、第1撮像装置31により撮影された動画が未判定フレーム及び健全判定フレームの一方又は両方で構成される場合、発音装置24Bから警告音は出力されない。第1撮像装置31により撮影された動画が未判定フレームのみで構成される場合、表示装置24Aには、認識できないバケットツース18を示すシンボル60が第1表示形態で表示される。第1撮像装置31により撮影された動画が健全判定フレームのみで構成される場合、表示装置24Aには、欠損が無いと判定されたバケットツース18を示すシンボル60が第2表示形態で表示される。
バケットツース18は、バケット本体17に複数取り付けられる。実施形態において、バケットツース18は、車幅方向に間隔をあけて8個配置される。表示装置24Aは、複数のバケットツース18のそれぞれの位置に基づいて、複数のシンボル60を表示する。表示装置24Aには、複数のバケットツース181,182,183,184,185,186,187,188の位置に合わせて、8個のシンボル60が間隔をあけて表示される。動画が未判定フレームのみで構成される場合、8個のシンボル60の全部が第1表示形態で表示される。動画が健全判定フレームのみで構成される場合、8個のシンボル60の全部が第2表示形態で表示される。
図22に示すように、動画に欠損判定フレームが1つ存在する場合、出力部337は、発音装置24Bから第1警告音を出力させる。第1撮像装置31により撮影された動画に欠損判定フレームが2つ存在する場合、出力部337は、発音装置24Bから第2警告音を出力させる。
実施形態において、出力部337は、計測データ取得部331に連続して取得されたサンプル閾値未満の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力装置24から第1形態で警告を出力させ、計測データ取得部331に連続して取得されたサンプル閾値以上の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力装置24から第2形態で警告を出力させる。
例えばサンプル閾値が2である場合、計測データ取得部331に連続して取得された2未満の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力部337は、発音装置24Bから第1警告音を出力させる。つまり、欠損判定フレームの前後に取得された画像データが健全判定フレーム又は未判定フレームである場合、出力部337は、発音装置24Bから第1警告音を出力させる。計測データ取得部331に連続して取得された2以上の数の画像データのそれぞれが欠損判定フレームであると判定された場合、出力部337は、発音装置24Bから第2警告音を出力させる。つまり、欠損判定フレームが少なくとも2回連続する場合、出力部337は、発音装置24Bから第2警告音を出力させる。
なお、欠損判定フレームが2回連続しなくても、第1撮像装置31により撮影された単位時間当たりの動画に欠損判定フレームが少なくとも2つ存在する場合、出力部337は、発音装置24Bから第2警告音を出力させてもよい。
なお、サンプル閾値は、任意である。サンプル閾値は、例えば3以上の任意の数でもよい。
警告の形態は、警告音の音量を含む。第1形態で警告を出力させることは、発音装置24Bから第1音量で警告音を発生させることを含む。第2形態で警告を出力させることは、発音装置24Bから第1音量よりも大きい第2音量で警告音を発生させることを含む。図22に示す例において、第2警告音の音量は、第1警告音の音量よりも大きい。
また、第1撮像装置31により撮影された動画に欠損判定フレームが有る場合、表示装置24Aには、欠損が有ると判定されたバケットツース18を示すシンボル60が第3表示形態で表示される。出力部337は、欠損が有ると判定されたバケットツース18を示すシンボル60と、欠損が無いと判定されたバケットツース18を示すシンボル60とを、異なる表示形態で表示する。図22に示す例において、バケットツース184に欠損が有ると判定され、バケットツース181,182,183,185,186,187,188に欠損が無いと判定された場合、出力部337は、欠損が有ると判定されたバケットツース184を示すシンボルを第3表示形態で表示させ、欠損が無いと判定されたバケットツース181,182,183,185,186,187,188を示すシンボルを第2表示形態で表示させる。
[転石の判定]
次に、転石240の有無を判定する方法について説明する。作業機械1が前進するように前後進レバー20Cが操作された場合、アルゴリズム選択部334は、車体データ取得部332により取得された前後進レバー20Cの操作データに基づいて、第2アルゴリズムを選択する。実施形態において、処理部335は、画像データにおいて地面200の転石240の有無を判定するときの判定基準を設定する。また、処理部335は、出力装置24から警告を出力させるときの警告基準を設定する。
次に、転石240の有無を判定する方法について説明する。作業機械1が前進するように前後進レバー20Cが操作された場合、アルゴリズム選択部334は、車体データ取得部332により取得された前後進レバー20Cの操作データに基づいて、第2アルゴリズムを選択する。実施形態において、処理部335は、画像データにおいて地面200の転石240の有無を判定するときの判定基準を設定する。また、処理部335は、出力装置24から警告を出力させるときの警告基準を設定する。
図23は、実施形態に係る判定基準を説明する図である。実施形態において、判定基準は、画像データの転石240の寸法を含む。転石240の寸法は、画像データにおける転石240のピクセル数を含む。画像データにおいて転石240の寸法に係る閾値が設定される。転石240の寸法に係る閾値は、横方向の転石240の寸法に係る閾値Pxと、縦方向の転石240の寸法に係る閾値Pyとを含む。アルゴリズム記憶部338には、判定基準に係る標準値(初期値)が記憶されている。標準値は、転石240の寸法に係る閾値に係る推奨値である。処理部335は、標準値に基づいて、判定基準を設定する。実施形態において、処理部335は、標準値に基づいて、転石240の寸法に係る閾値を設定する。閾値は、標準値である。
図24は、実施形態に係る警告基準を説明する図である。実施形態において、警告基準は、地面200の少なくとも一部に設定される警告エリア36を含む。
警告基準の設定は、警告エリア36の寸法の設定を含む。警告エリア36の寸法は、画像データにおける警告エリアのピクセル数を含む。図24に示すように、画像データにおいて横方向の警告エリア36の寸法Qxと、縦方向の警告エリア36の寸法Qyとが設定される。
また、警告エリア36の設定は、警告エリア36の位置の設定を含む。警告エリア36の位置の設定は、画像データにおける警告エリア36の位置の設定を含む。処理部335は、前タイヤ6Fの前方の地面200の一部に警告エリア36を設定する。アルゴリズム記憶部338には、警告基準に係る標準値(初期値)が記憶されている。標準値は、警告エリア36の寸法及び位置に係る推奨値である。処理部335は、標準値に基づいて、警告基準を設定する。実施形態において、処理部335は、標準値に基づいて、画像データにおける警告エリア36の寸法及び位置を設定する。
処理部335は、入力装置25からの入力データを取得する。運転者は、入力装置25を操作して、判定基準の設定を変更したり、警告基準の設定を変更したりすることができる。処理部335は、入力データに基づいて、判定基準を設定する。処理部335は、入力データに基づいて、警告基準を設定する。
図25は、実施形態に係る判定基準及び警告基準の設定画面の一例を示す図である。図25に示すように、処理部335は、判定基準の設定画面を表示装置24Aに表示させる。処理部335は、警告基準の設定画面を表示装置24Aに表示させる。運転者は、設定画面を視認しながら、入力装置25を操作して、判定基準の設定の変更、及び警告基準の設定の変更の少なくとも一方を実施することができる。
計測データ取得部331は、地面200の計測データを所定のサンプリングレートで第2撮像装置32から取得する。上述のように、地面200の計測データは、第2撮像装置32により撮像された地面200の画像データを含む。サンプリングレートは、フレームレートを含む。計測データ取得部331は、地面200の画像データを所定のフレームレートで第2撮像装置32から取得する。計測データ取得部331は、前タイヤ6Fの前方の地面200の画像データを取得する。
処理部335は、計測データ取得部331により取得された画像データに基づいて、地面200の転石240の有無を判定する。処理部335は、画像データにおいて地面200の転石240の有無を判定する。実施形態において、処理部335は、画像データにおいて前タイヤ6Fの前方の地面200の転石240の有無を判定する。
処理部335は、入力データを解析して出力データを出力する第2のAIアルゴリズムを利用して、転石240の有無を判定する。
処理部335は、判定基準に基づいて、画像データにおいて地面200の転石240の有無を判定する。処理部335は、転石240の寸法が閾値(Px,Py)を上回る場合、転石240が有ると判定し、転石240の寸法が閾値(Px,Py)以下である場合、転石240が無いと判定する。処理部335は、転石240の寸法が閾値Px及び閾値Pyの一方を上回る場合、転石240が有ると判定してもよい。処理部335は、転石240の寸法が閾値Px及び閾値Pyの両方を上回る場合、転石240が有ると判定してもよい。
出力部337は、前タイヤ6Fの前方の地面200の転石240の有無に基づいて、出力装置24から警告を出力させる。出力部337は、処理部335による転石240の有無の判定と、転石240と警告基準との関係とに基づいて、出力装置24から警告を出力させる。警告基準は、地面200の少なくとも一部に設定される警告エリア36を含む。警告エリア36は、前タイヤ6Fの前方の地面200の一部に設定される。出力部337は、転石240が有ると判定された場合、転石240と警告エリア36との位置関係に基づいて、出力装置24から警告を出力させる。出力部337は、警告エリア36に転石240が有ると判定された場合、警告エリア36に転石240が存在することを示す警告を出力装置24から出力させる。
[監視方法]
図26は、実施形態に係る監視方法を示すフローチャートである。
図26は、実施形態に係る監視方法を示すフローチャートである。
計測データ取得部331は、第1撮像装置31及び第2撮像装置32のそれぞれから画像データを取得する(ステップS1)。
車体データ取得部332は、作業機械1の状態を示す車体データを取得する。実施形態において、車体データ取得部332は、車体データとして、角度センサ90の検出データ及び前後進レバー20Cの操作データを取得する(ステップS2)。
状態判別部333は、ステップS2において取得された角度センサ90の検出データに基づいて、第1計測装置31の計測範囲Raに作業機10のバケット12が配置されているか否かを判定する(ステップS3)。
ステップS3において、第1計測装置31の計測範囲Raに作業機10のバケット12が配置されていると判定された場合(ステップS3:Yes)、状態判別部333は、ステップS2において取得された前後進レバー20Cの操作データに基づいて、作業機械1が前進しているか否かを判定する(ステップS4)。
ステップS4において、作業機械1が前進していると判定された場合(ステップS4:Yes)、アルゴリズム選択部334は、第1アルゴリズム及び第2アルゴリズムを選択する(ステップS5)。
ステップS4において、作業機械1が前進していないと判定された場合(ステップS4:No)、アルゴリズム選択部334は、第1アルゴリズムを選択する(ステップS6)。
ステップS3において、第1計測装置31の計測範囲Raに作業機10のバケット12が配置されていないと判定された場合(ステップS3:No)、状態判別部333は、ステップS2において取得された前後進レバー20Cの操作データに基づいて、作業機械1が前進しているか否かを判定する(ステップS7)。
ステップS7において、作業機械1が前進していると判定された場合(ステップS7:Yes)、アルゴリズム選択部334は、第2アルゴリズムを選択する(ステップS8)。
ステップS5又はステップS6において第1アルゴリズムが選択された後、処理部335は、第1撮像装置31により撮像された画像データを第1アルゴリズムに基づいて処理して、作業機10のバケット12を認識する(ステップS9)。
汚染判定部336は、ステップS9において処理部335によりバケットツース18が認識されているか否かを判定する(ステップS10)。
ステップS10において、バケットツース18が認識されていると判定された場合(ステップS10:Yes)、処理部335は、バケットツース18が欠損しているか否かを判定する(ステップS11)。
ステップS11において、バケットツース18が欠損していると判定された場合(ステップS11:Yes)、出力部337は、バケットツース18が欠損していることを示す警告を出力装置24に出力させる(ステップS12)。
ステップS11において、バケットツース18が欠損していないと判定された場合(ステップS11:No)、出力装置24から警告は出力されない(ステップS13)。
図22を参照して説明したように、第1撮像装置31により撮影された動画が未判定フレーム及び健全判定フレームの一方又は両方で構成される場合、発音装置24Bから警告音は出力されない。第1撮像装置31により撮影された動画が未判定フレームのみで構成される場合、表示装置24Aには、認識できないバケットツース18を示すシンボル60が第1表示形態で表示される。第1撮像装置31により撮影された動画が健全判定フレームのみで構成される場合、表示装置24Aには、欠損が無いと判定されたバケットツース18を示すシンボル60が第2表示形態で表示される。また、動画に欠損判定フレームが1つ存在する場合、発音装置24Bから第1警告音が出力される。第1撮像装置31により撮影された動画に欠損判定フレームが2つ存在する場合、発音装置24Bから第2警告音が出力される。
ステップS10において、バケットツース18が認識されていないと判定された場合(ステップS10:No)、汚染判定部336は、第1撮像装置31の光学系の入射面が汚染されていると判定する。第1撮像装置31の光学系の入射面が汚染されていると判定された場合、出力部337は、第1撮像装置31の光学系の入射面が汚染されていることを示す警告を出力装置24に出力させる(ステップS14)。
ステップS5又はステップS8において第2アルゴリズムが選択された後、処理部335は、第2撮像装置32により撮像された画像データを第2アルゴリズムに基づいて処理して、地面200を認識する(ステップS15)。
地面200が認識された後、処理部335は、前タイヤ6Fの前方の地面200に転石240が有るか否かを判定する(ステップS16)。
ステップS16において、前タイヤ6Fの前方の地面200に転石240が有ると判定された場合(ステップS16:Yes)、出力部337は、転石240が有ることを示す警告を出力装置24に出力させる(ステップS17)。
ステップS16において、転石240が無いと判定された場合(ステップS16:No)、出力装置24から警告は出力されない(ステップS13)。
ステップS12、ステップS13、ステップS14、及びステップS17のいずれかの処理が実施された後、又はステップS7において作業機械1が前進していないと判定された場合、処理部335は、監視処理を終了するか否かを判定する(ステップS18)。
ステップS18において、監視処理を継続すると判定された場合(ステップS18:No)、ステップS1及びステップS2の処理に戻る。
ステップS18において、監視処理を終了と判定された場合(ステップS18:Yes)、監視処理が終了する。
[表示装置]
図27は、実施形態に係る表示装置24Aの一例を示す図である。図27に示すように、出力部337は、計測データ取得部331により取得された画像データに基づいて生成された地面200を示す対象画像37を表示装置24Aに表示させる。対象画像37は、左側の第2撮像装置32Lにより撮像された画像データを示す対象画像37Lと、右側の第2撮像装置32Rにより撮像された画像データを示す対象画像37Rとを含む。対象画像37Lと対象画像37Rとは、表示装置24Aの表示画面に並べて表示される。対象画像37Lと対象画像37Rとは、表示装置24Aの表示画面に同時に表示される。対象画像37Lは、表示装置24Aの表示画面の左領域に表示される。対象画像37Rは、表示装置24Aの表示画面の右領域に表示される。
図27は、実施形態に係る表示装置24Aの一例を示す図である。図27に示すように、出力部337は、計測データ取得部331により取得された画像データに基づいて生成された地面200を示す対象画像37を表示装置24Aに表示させる。対象画像37は、左側の第2撮像装置32Lにより撮像された画像データを示す対象画像37Lと、右側の第2撮像装置32Rにより撮像された画像データを示す対象画像37Rとを含む。対象画像37Lと対象画像37Rとは、表示装置24Aの表示画面に並べて表示される。対象画像37Lと対象画像37Rとは、表示装置24Aの表示画面に同時に表示される。対象画像37Lは、表示装置24Aの表示画面の左領域に表示される。対象画像37Rは、表示装置24Aの表示画面の右領域に表示される。
出力部337は、警告エリア36を示すエリア画像360を表示装置24Aに表示させる。出力部337は、対象画像37にエリア画像360を重畳させて表示装置24Aに表示させる。左側の前タイヤ6Fの前方の地面200を含むように設定された警告エリア36を示すエリア画像360は、対象画像37Lに重畳した状態で表示装置24Aに表示される。右側の前タイヤ6Fの前方の地面200を含むように設定された警告エリア36を示すエリア画像360は、対象画像37Rに重畳した状態で表示装置24Aに表示される。
出力部337は、前タイヤ6Fを示すシンボル70を表示装置24Aに表示させる。シンボル70は、左側の前タイヤ6Fを示すシンボル70Lと、右側の前タイヤ6Fを示すシンボル70Rとを含む。
出力部337は、前タイヤ6Fの前方の地面200に転石240が有ることを示す警告を出力装置24に出力させる。出力装置24に警告を出力させることは、前タイヤ6Fの前方の地面200に転石240が有ることを示す警告画像を表示装置24Aに表示させることを含む。出力装置24に警告を出力させることは、前タイヤ6Fの前方の地面200に転石240が有ることを示す警告音を発音装置24Bから発生させることを含む。
実施形態において、警告画像は、対象画像37において転石240を囲むように表示されるフレーム画像80と、対象画像37の周縁部に表示されるフレーム画像81と、シンボル70の背景画像82とを含む。
出力部337は、転石240が強調されるようにフレーム画像80を表示装置24Aに表示させる。
図27に示す例において、対象画像37Lの転石240は、警告エリア36の外側に配置される。出力部337は、転石240が警告エリア36の外側に存在すると処理部335により判定された場合、第1形態のフレーム画像80Lを表示装置24Aに表示させる。
図27に示す例において、対象画像37Rの転石240の少なくとも一部は、警告エリア36の内側に配置される。出力部337は、転石240が警告エリア36の内側に存在すると処理部335により判定された場合、第1形態とは異なる第2形態のフレーム画像80Rを表示装置24Aに表示させる。
出力部337は、警告エリア36の内側に配置される転石240が警告エリア36の外側に配置される転石240よりも強調されるように、フレーム画像80L及びフレーム画像80Rのそれぞれを表示装置24Aに表示させる。図27に示す例において、フレーム画像80Rが実線で表示され、フレーム画像80Lが点線で表示させる。なお、フレーム画像80Rが第1色彩で表示され、フレーム画像80Lが第2色彩で表示されてもよい。第1色彩として、赤色が例示される。第2色彩として、緑色が例示される。
出力部337は、転石240の少なくとも一部が警告エリア36の内側に存在する対象画像37が強調されるようにフレーム画像81を表示装置24Aに表示させる。
図27に示す例において、対象画像37Rに表示される転石240の少なくとも一部は、警告エリア36の内側に存在する。対象画像37Lに表示される転石240は、警告エリア36の外側に存在する。出力部337は、対象画像37Rが対象画像37Lよりも強調されるように、フレーム画像81を表示装置24Aに表示させる。
出力部337は、転石240の上を通過する可能性が高い前タイヤ6Fが強調されるように背景画像82を表示装置24Aに表示させる。
図27に示す例において、右側の前タイヤ6Fは、転石240の上を通過する可能性が高い。すなわち、作業機械1の前進により、右側の前タイヤ6Fは、転石240を踏む可能性が高い。出力部337は、転石240の上を通過する可能性が高い右側の前タイヤ6Fが強調されるように、シンボル70Rの背景画像82を表示装置24Aに表示させる。
なお、図27に示す例において、左側の前タイヤ6Fが転石240の上を通過する可能性が高い場合、出力部337は、転石240の上を通過する可能性が高い左側の前タイヤ6Fが強調されるように、シンボル70Lの背景画像82を表示装置24Aに表示させることができる。
出力部337は、バケットツース18を示すシンボル60を表示装置24Aに表示させる。出力部337は、複数のバケットツース18のそれぞれの位置に基づいて、複数のシンボル60を表示する。シンボル60は、バケットツース181を示すシンボル61と、バケットツース182を示すシンボル62と、バケットツース183を示すシンボル63と、バケットツース184を示すシンボル64と、バケットツース185を示すシンボル65と、バケットツース186を示すシンボル66と、バケットツース187を示すシンボル67と、バケットツース188を示すシンボル68と、を含む。
複数のシンボル60は、表示装置24Aの表示画面の上領域に表示される。複数のシンボル60のうち、シンボル61は、最も左側に表示され、シンボル62は、シンボル61に次いで左側に配置され、シンボル63は、シンボル62に次いで左側に配置され、シンボル64は、シンボル63に次いで左側に配置され、シンボル65は、シンボル64に次いで左側に配置され、シンボル66は、シンボル65に次いで左側に配置され、シンボル67は、シンボル66に次いで左側に配置され、シンボル68は、最も右側に配置される。
図27は、処理部335が8個のバケットツース18を認識できず、8個のシンボル60が第1表示形態で表示されている例を示す。第1撮像装置31の光学系の入射面が汚染され、8個のバケットツース18が認識されない場合、出力部337は、図27に示すように、8個のシンボル60を第1表示形態で表示させる。
図28は、実施形態に係る表示装置24Aの一例を示す図である。なお、図28は、表示装置24Aの上領域を抽出した図である。
図28は、処理部335が8個のバケットツース18のそれぞれの欠損の有無を判定したときのシンボル60の一例を示す。図28に示すように、出力部337は、バケットツース18の欠損の有無に基づいて、シンボル60の表示形態を変更する。出力部337は、欠損が有ると判定されたバケットツース18を示すシンボル60と、欠損が無いと判定されたバケットツース18を示すシンボル60とを、異なる表示形態で表示する。図28に示すように、バケットツース184に欠損が有ると判定され、バケットツース181,182,183,185,186,187,188に欠損が無いと判定された場合、出力部337は、欠損が有ると判定されたバケットツース184を示すシンボル64を第3表示形態で表示させ、欠損が無いと判定されたバケットツース181,182,183,185,186,187,188を示すシンボル61,62,63,65,66,67,68を第2表示形態で表示させる。出力部337は、シンボル64を第3色彩で表示装置24Aに表示させ、シンボル61,62,63,65,66,67,68を第2色彩で表示装置24Aに表示させる。第3色彩は、例えば赤色である。第2色彩は、例えば緑色である。
[コンピュータシステム]
図29は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述の監視コントローラ33及び駆動コントローラ48のそれぞれは、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の監視コントローラ33及び駆動コントローラ48のそれぞれの機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
図29は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述の監視コントローラ33及び駆動コントローラ48のそれぞれは、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の監視コントローラ33及び駆動コントローラ48のそれぞれの機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
コンピュータプログラム又はコンピュータシステム1000は、上述の実施形態に従って、作業機械1に搭載され対象を計測する第1計測装置31及び第2計測装置32の計測データを取得することと、作業機械1の状態を示す車体データを取得することと、車体データに基づいて、作業機械1の状態を判別することと、判別された作業機械1の状態に基づいて、計測データを処理する特定のアルゴリズムを選択することと、選択された特定のアルゴリズムに基づいて計測データを処理して、対象を認識することと、対象の認識結果を出力装置に出力させることと、を実行することができる。
[効果]
以上説明したように、作業機械1の監視システム30は、作業機械1に搭載され対象を計測する第1撮像装置31及び第2撮像装置32の画像データを取得する計測データ取得部331と、作業機械1の状態を示す車体データを取得する車体データ取得部332と、車体データに基づいて、作業機械1の状態を判別する状態判別部333と、状態判別部333により判別された作業機械1の状態に基づいて、画像データを処理する特定のアルゴリズムを選択するアルゴリズム選択部334と、アルゴリズム選択部334により選択された特定のアルゴリズムに基づいて画像データを処理して、対象を認識する処理部335と、処理部335により認識された対象の認識結果を出力装置24に出力させる出力部337と、を備える。
以上説明したように、作業機械1の監視システム30は、作業機械1に搭載され対象を計測する第1撮像装置31及び第2撮像装置32の画像データを取得する計測データ取得部331と、作業機械1の状態を示す車体データを取得する車体データ取得部332と、車体データに基づいて、作業機械1の状態を判別する状態判別部333と、状態判別部333により判別された作業機械1の状態に基づいて、画像データを処理する特定のアルゴリズムを選択するアルゴリズム選択部334と、アルゴリズム選択部334により選択された特定のアルゴリズムに基づいて画像データを処理して、対象を認識する処理部335と、処理部335により認識された対象の認識結果を出力装置24に出力させる出力部337と、を備える。
実施形態によれば、作業機械1の状態に基づいて、画像データを処理する特定のアルゴリズムが選択されるので、処理部335は、複数の対象を効率良く認識することができる。第1撮像装置31の計測範囲Raにバケット12が配置されている状況においては、処理部335は、バケットツース18を認識するために第1撮像装置31により撮像された画像データを第1アルゴリズムに基づいて処理する。第1撮像装置31の計測範囲Raにバケット12が配置されていない状況においては、処理部335は、バケットツース18を認識するための処理を実施しない。作業機械1が前進して前タイヤ6Fの前方の地面200の転石240を前タイヤ6Fが踏む可能性が高い状況においては、処理部335は、前タイヤ6Fの前方の地面200の転石240を認識するために第2撮像装置32により撮像された画像データを第2アルゴリズムに基づいて処理する。作業機械1が後進又は停止して前タイヤ6Fの前方の地面200の転石240を前タイヤ6Fが踏む可能性が低い状況においては、処理部335は、転石240を認識するための処理を実施しない。このように、監視コントローラ33は、バケットツース18及び転石240の両方を認識するための処理を常時実施しなくても済む。そのため、バケットツース18及び転石240の監視に要する監視コントローラ33の負担が軽減される。したがって、監視コントローラ33は、バケットツース18及び転石240のそれぞれを効率良く監視することができる。
[別の実施形態]
上述の実施形態において、第1撮像装置31及び第2撮像装置32のそれぞれが、前照灯28を保持するハウジング9に配置されることとした。第1撮像装置31及び第2撮像装置32の少なくとも一方は、ハウジング9とは異なる作業機械1の部位に配置されてもよい。
上述の実施形態において、第1撮像装置31及び第2撮像装置32のそれぞれが、前照灯28を保持するハウジング9に配置されることとした。第1撮像装置31及び第2撮像装置32の少なくとも一方は、ハウジング9とは異なる作業機械1の部位に配置されてもよい。
上述の実施形態において、第2撮像装置32は、第1撮像装置31よりも上方に配置されることとした。上下方向において、第2撮像装置32の少なくとも一部は、第1撮像装置31と同じ位置に配置されてもよい。第2撮像装置32は、第1撮像装置31よりも下方に配置されてもよい。
上述の実施形態において、バケットツース18の欠損は、バケット本体17からのバケットツース18の脱落であることとした。バケットツース18の欠損は、バケットツース18の摩耗でもよいし、バケットツース18の折損でもよい。
上述の実施形態において、処理部335は、交換部材としてバケットツース18の欠損を監視することとした。処理部335は、交換部材としてツース間プロテクタ19の欠損を監視してもよい。ツース間プロテクタ19の欠損は、バケット本体17からのツース間プロテクタ19の脱落、ツース間プロテクタ19の摩耗、及びツース間プロテクタ19の折損を含む。
上述の実施形態において、警告基準の設定は、警告エリア36の寸法の設定と警告エリア36の位置の設定とを含むこととした。警告基準の設定は、警告エリア36の寸法の設定及び警告エリア36の位置の設定のいずれか一方の設定でもよい。例えば、警告エリア36の位置が予め定められた固定値であり、警告エリア36の寸法のみが設定されてもよい。また、警告エリア36の寸法が予め定められた固定値であり、警告エリア36の位置のみが設定されてもよい。
上述の実施形態において、処理部335は、判定基準に基づいて、地面200の転石240の有無を判定し、転石240と警告基準との関係とに基づいて、出力装置24から警告を出力させることとした。処理部335は、判定基準及び警告基準の両方を満たした場合に、転石240が有ると判定してもよい。この場合、処理部335は、警告基準を判定基準として用いてもよい。また、処理部335は、判定基準によらず、地面200の転石240の有無を判定し、判定基準及び警告基準の両方を満たした場合に、警告を出力させるようにしてもよい。この場合、処理部335は、判定基準を警告基準として用いてもよい。
上述の実施形態において、出力部337は、警告エリア36を示すエリア画像360を表示装置24Aに表示することとした。出力部337は、警告エリア36を示すエリア画像360を表示装置24Aに表示しなくてもよい。出力部337は、転石240が有ると判定された場合に、警告エリア36を示すエリア画像360を表示装置24Aに表示するようにしてもよい。出力部337は、警告エリア36内に転石240が有ると判定された場合に、警告エリア36を示すエリア画像360を表示装置24Aに表示するようにしてもよい。
上述の実施形態においては、作業機械1が前進可能な状態又は前進している状態において第2アルゴリズムが選択され、第2アルゴリズムに基づいて、前タイヤ6Fの前方の地面200に転石240が有るか否かが判定されることとした。作業機械1が後進可能な状態又は後進している状態において第2アルゴリズムが選択され、後タイヤ6Rの後方の地面200に転石240が有るか否かが判定されてもよい。
図30は、別の実施形態に係る作業機械1の動作を示す図である。図30に示すように、作業機械1は、後タイヤ6Rの後方の地面200を撮像する第2撮像装置32を有する。計測データ取得部331は、後タイヤ6Rの後方の地面200の画像データを第2撮像装置32から取得する。アルゴリズム選択部334は、作業機械1が後進するときに第2アルゴリズムを選択し、処理部335は、作業機械1が後進するときに第2アルゴリズムに基づいて後タイヤ6Rの後方の地面200に転石240が有るか否かを判定してもよい。
上述の実施形態において、出力装置24は、作業機械1の運転室に配置されることとした。出力装置24は、作業機械1の外部に配置されてもよい。
図31は、別の実施形態に係る監視システム300を示す図である。図31に示す例において、作業機械1は、作業機械1の遠隔地に設けられている運転操作装置20Fによって遠隔操作される。
上述の実施形態と同様、第1撮像装置31及び第2撮像装置32のそれぞれが作業機械1に設けられる。また、作業機械1の前方を撮像する遠隔操作用撮像装置(不図示)が作業機械1に設けられる。遠隔操作用撮像装置は、図4に示したような、運転室の運転席に着座した運転者がフロントガラスを介して見る景色と同様の作業機械1の前方の景色の画像データを撮像する。
作業機械1の遠隔地に設けられている遠隔操作施設に、出力装置24F、入力装置25F、監視コントローラ33F、及び運転操作装置20Fの一部又は全部が配置される。出力装置24F、入力装置25F、監視コントローラ33F、及び運転操作装置20Fのそれぞれは、作業機械1とは別体で設けられる。また、遠隔操作施設に、遠隔操作用撮像装置が撮像した画像データを表示する遠隔操作用表示装置が設けられる。
作業機械1と監視コントローラ33Fとは、無線通信システムを介して無線通信する。作業機械1には無線通信システムの無線通信機301が設けられ、監視コントローラ33Fには無線通信システムの無線通信機302が接続される。なお、作業機械1の無線通信機301と監視コントローラ33Fの無線通信機302とは、他の機器を経由して通信してもよい。
遠隔操作用撮像装置により撮像された画像データは、無線通信システムを介して遠隔操作用表示装置に送信される。遠隔操作施設の運転者は、遠隔操作用表示装置に表示された画像データを見ながら、運転操作装置20Fを操作することができる。運転操作装置20Fが操作されることにより生成された操作信号は、無線通信システムを介して作業機械1に送信される。これにより、作業機械1が遠隔操作される。
監視コントローラ33Fは、図13を参照して説明したような、計測データ取得部331、車体データ取得部332、状態判別部333、アルゴリズム選択部334、処理部335、汚染判定部336、出力部337、及びアルゴリズム記憶部338を有する。
第1撮像装置31及び第2撮像装置32により撮像された画像データは、無線通信システムを介して作業機械1から監視コントローラ33Fに送信される。監視コントローラ33Fの処理部335は、第1撮像装置31により撮像された画像データに基づいて、バケットツース18の欠損の有無を判定することができる。また、監視コントローラ33Fの出力部337は、バケットツース18の欠損が有ることを示す警告を出力装置24Fに出力させることができる。監視コントローラ33Fの処理部335は、第2撮像装置32により撮像された画像データに基づいて、地面200の転石240の有無を判定することができる。また、監視コントローラ33Fの出力部337は、地面200の転石240が有ることを示す警告を出力装置24Fに出力させることができる。
上述の実施形態において、第1計測装置31及び第2計測装置32のそれぞれが撮像装置であることとした。第1計測装置31及び第2計測装置32の少なくとも一方は、レーザ装置でもよい。第1計測装置31及び第2計測装置32の少なくとも一方は、レーダ装置でもよい。レーザ装置は、計測対象にレーザ光を照射して、計測対象の計測データを取得する。レーダ装置は、計測対象に音波を照射して、計測対象の計測データを取得する。レーザ装置は、作業機10にレーザ光を照射して、所定のサンプリングレートで作業機10の計測データを取得することができる。レーダ装置は、作業機10に音波を照射して、所定のサンプリングレートで作業機10の計測データを取得することができる。出力部337は、作業機10に欠損が有ると判定された計測データを示す欠損判定サンプルの数に基づいて、出力装置24から出力させる警告の形態を変更することができる。
上述の実施形態において、第1計測装置31及び第2計測装置32の受信面が光学系の入射面であることとした。第1計測装置31及び第2計測装置32の少なくとも一方がレーザ装置である場合、レーザ装置の受信面は、レーザ光の受光面を含む。汚染判定部336は、上述の実施形態に従って、レーザ装置の受光面の汚染の有無を判定することができる。第1計測装置31及び第2計測装置32の少なくとも一方がレーダ装置である場合、レーザ装置の受信面は、レーダ装置の電波受信面を含む。汚染判定部336は、上述の実施形態に従って、レーダ装置の電波受信面の汚染の有無を判定することができる。
上述の実施形態において、作業機械1は、ホイールローダであることとした。作業機械1は、ブルドーザ及び油圧ショベル等の他の作業機械でもよい。ブルドーザ及び油圧ショベルのそれぞれは、作業機と、地面200に接触した状態で回転する履帯とを有する。履帯は、地面200に接触した状態で回転する回転部材である。履帯が回転することにより、作業機械が走行する。
1…作業機械、2…車体、2A…関節機構、2F…前部車体、2R…後部車体、3…運転台、4…走行装置、5…車輪、5F…前輪、5R…後輪、6…タイヤ、6F…前タイヤ、6R…後タイヤ、7…フロントフェンダ、7L…フロントフェンダ、7R…フロントフェンダ、8…支持部材、8L…支持部材、8R…支持部材、9…ハウジング、9L…ハウジング、9R…ハウジング、10…作業機、11…ブーム、12…バケット、12E…端部、12M…開口部、13…ブームシリンダ、14…バケットシリンダ、15…ベルクランク、16…バケットリンク、17…バケット本体、17A…底板部、17B…上板部、17C…左板部、17D…右板部、18…バケットツース、19…ツース間プロテクタ、20…運転操作装置、20A…アクセルペダル、20B…ブレーキペダル、20C…前後進レバー、20F…運転操作装置、21…操作パネル、22…モニタ装置、23…リアビューモニタ装置、24…出力装置、24A…表示装置、24B…発音装置、24F…出力装置、25…入力装置、25F…入力装置、27…ピラー、28…前照灯、28L…前照灯、28R…前照灯、29…ウインカーランプ、29L…ウインカーランプ、29R…ウインカーランプ、30…監視システム、31…第1撮像装置(第1計測装置)、31L…第1撮像装置、31R…第1撮像装置、32…第2撮像装置(第2計測装置)、32L…第2撮像装置、32R…第2撮像装置、33…監視コントローラ、33F…監視コントローラ、36…警告エリア、37…対象画像、37L…対象画像、37R…対象画像、40…駆動システム、41…エンジン、42…燃料噴射装置、43…パワーテイクオフ、44…トランスミッション、44F…前進ギヤ、44R…後進ギヤ、45F…フロントアクスル、45R…リヤアクスル、46…油圧ポンプ、47…制御弁、48…駆動コントローラ、50…認識範囲、51…根本、52…刃先、53…探索範囲、60…シンボル、61…シンボル、62…シンボル、63…シンボル、64…シンボル、65…シンボル、66…シンボル、67…シンボル、68…シンボル、70…シンボル、70L…シンボル、70R…シンボル、80…フレーム画像、80L…フレーム画像、80R…フレーム画像、81…フレーム画像、82…背景画像、90…角度センサ、91…ブーム角度センサ、92…バケット角度センサ、181…バケットツース、182…バケットツース、183…バケットツース、184…バケットツース、185…バケットツース、186…バケットツース、187…バケットツース、188…バケットツース、191…ツース間プロテクタ、192…ツース間プロテクタ、193…ツース間プロテクタ、194…ツース間プロテクタ、195…ツース間プロテクタ、196…ツース間プロテクタ、197…ツース間プロテクタ、200…地面、210…地山、220…ダンプトラック、230…ダンプボディ、240…転石、300…監視システム、301…無線通信機、302…無線通信機、331…計測データ取得部、332…車体データ取得部、333…状態判別部、334…アルゴリズム選択部、335…処理部、336…汚染判定部、337…出力部、338…アルゴリズム記憶部、360…エリア画像、1000…コンピュータシステム、1001…プロセッサ、1002…メインメモリ、1003…ストレージ、1004…インターフェース、CL…中心、FX…回転軸、G…基準ツース間距離、G1…距離、G2…距離、G3…距離、L…基準ツース長、L1…距離、L2…距離、L3…距離、L4…距離、M1…矢印、M2…矢印、M3…矢印、M4…矢印、Px…閾値、Py…閾値、Qx…寸法、Qy…寸法、Ra…計測範囲、Rb…計測範囲、RX…回転軸、α…第1画角、β…第2画角。
Claims (10)
- 作業機械に搭載され対象を計測する計測装置の計測データを取得する計測データ取得部と、
前記作業機械の状態を示す車体データを取得する車体データ取得部と、
前記車体データに基づいて、前記作業機械の状態を判別する状態判別部と、
前記状態判別部により判別された前記作業機械の状態に基づいて、前記計測データを処理する特定のアルゴリズムを選択するアルゴリズム選択部と、
前記アルゴリズム選択部により選択された特定のアルゴリズムに基づいて前記計測データを処理して、前記対象を認識する処理部と、を備える、
作業機械の監視システム。 - 前記作業機械は、作業機と、走行装置と、を有し、
前記車体データは、前記作業機の姿勢を示す姿勢データと、前記走行装置の前進又は後進を示す前後進データと、を含む、
請求項1に記載の作業機械の監視システム。 - 相互に異なる複数のアルゴリズムを記憶するアルゴリズム記憶部を備え、
前記アルゴリズム選択部は、前記作業機械の状態に基づいて、前記アルゴリズム記憶部に記憶されている複数のアルゴリズムから特定のアルゴリズムを選択する、
請求項1に記載の作業機械の監視システム。 - 前記計測装置は、第1計測装置と、第2計測装置と、を含み、
前記アルゴリズム記憶部に記憶されているアルゴリズムは、前記第1計測装置の計測データを処理する第1アルゴリズムと、前記第2計測装置の計測データを処理する第2アルゴリズムと、を含む、
請求項3に記載の作業機械の監視システム。 - 前記作業機械は、作業機と、走行装置と、を有し、
前記第1計測装置が計測する対象は、前記作業機を含み、
前記第2計測装置が計測する対象は、前記走行装置が走行する地面を含む、
請求項4に記載の作業機械の監視システム。 - 前記作業機械は、作業機と、走行装置と、を有し、
前記車体データは、前記作業機の姿勢を示す姿勢データと、前記走行装置の前進又は後進を示す前後進データと、を含み、
前記姿勢データに基づいて前記第1計測装置の計測範囲に前記作業機が配置されたと前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第1アルゴリズムを選択し、
前記姿勢データに基づいて前記第1計測装置の計測範囲に前記作業機が配置されていないと前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第1アルゴリズムを選択せず、
前記前後進データに基づいて前記走行装置が前進していると前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第2アルゴリズムを選択し、
前記前後進データに基づいて前記走行装置が前進していないと前記状態判別部が判定した場合、前記アルゴリズム選択部は、前記第2アルゴリズムを選択しない、
請求項4に記載の作業機械の監視システム。 - 前記処理部は、前記第1アルゴリズムに基づいて前記第1計測装置の計測データを処理して、前記作業機の欠損の有無を判定する、
請求項5に記載の作業機械の監視システム。 - 前記処理部は、前記第2アルゴリズムに基づいて前記第2計測装置の計測データを処理して、前記地面の転石の有無を判定する、
請求項5に記載の作業機械の監視システム。 - 前記処理部により認識された前記対象の認識結果を出力装置に出力させる出力部を備える、
請求項1から請求項8のいずれか一項に記載の作業機械の監視システム。 - 作業機械に搭載され対象を計測する計測装置の計測データを取得することと、
前記作業機械の状態を示す車体データを取得することと、
前記車体データに基づいて、前記作業機械の状態を判別することと、
判別された前記作業機械の状態に基づいて、前記計測データを処理する特定のアルゴリズムを選択することと、
選択された特定のアルゴリズムに基づいて前記計測データを処理して、前記対象を認識することと、を含む、
作業機械の監視方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-112728 | 2022-07-13 | ||
JP2022112728A JP2024011049A (ja) | 2022-07-13 | 2022-07-13 | 作業機械の監視システム及び作業機械の監視方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024014115A1 true WO2024014115A1 (ja) | 2024-01-18 |
Family
ID=89536471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/018531 WO2024014115A1 (ja) | 2022-07-13 | 2023-05-18 | 作業機械の監視システム及び作業機械の監視方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024011049A (ja) |
WO (1) | WO2024014115A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170103506A1 (en) * | 2015-10-09 | 2017-04-13 | Caterpillar Inc. | Component health monitoring system using computer vision |
US20200362539A1 (en) * | 2019-05-15 | 2020-11-19 | Caterpillar Inc. | Ground engaging tool monitoring system |
JP2021080790A (ja) * | 2019-11-21 | 2021-05-27 | 株式会社小松製作所 | 路面状況監視システム、作業車両、路面状況監視方法およびプログラム |
WO2022050347A1 (ja) * | 2020-09-02 | 2022-03-10 | 株式会社小松製作所 | 作業機械の障害物報知システムおよび作業機械の障害物報知方法 |
-
2022
- 2022-07-13 JP JP2022112728A patent/JP2024011049A/ja active Pending
-
2023
- 2023-05-18 WO PCT/JP2023/018531 patent/WO2024014115A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170103506A1 (en) * | 2015-10-09 | 2017-04-13 | Caterpillar Inc. | Component health monitoring system using computer vision |
US20200362539A1 (en) * | 2019-05-15 | 2020-11-19 | Caterpillar Inc. | Ground engaging tool monitoring system |
JP2021080790A (ja) * | 2019-11-21 | 2021-05-27 | 株式会社小松製作所 | 路面状況監視システム、作業車両、路面状況監視方法およびプログラム |
WO2022050347A1 (ja) * | 2020-09-02 | 2022-03-10 | 株式会社小松製作所 | 作業機械の障害物報知システムおよび作業機械の障害物報知方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024011049A (ja) | 2024-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6251453B1 (ja) | 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法 | |
JP6346375B1 (ja) | 作業車両及び表示装置 | |
JP7450083B2 (ja) | 周辺監視システム及び周辺監視方法 | |
JP7154026B2 (ja) | 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 | |
JP7103796B2 (ja) | 作業機械 | |
JP7295785B2 (ja) | 路面状況監視システム、作業車両、路面状況監視方法およびプログラム | |
JP6995687B2 (ja) | 積込機械の制御装置及び積込機械の制御方法 | |
WO2024014115A1 (ja) | 作業機械の監視システム及び作業機械の監視方法 | |
WO2024014116A1 (ja) | 作業機械の監視システム及び作業機械の監視方法 | |
WO2023149530A1 (ja) | 作業機械の監視システム及び作業機械の監視方法 | |
WO2023149544A1 (ja) | 作業機械の監視システム及び作業機械の監視方法 | |
WO2023149543A1 (ja) | 作業機械の監視システム及び作業機械の監視方法 | |
WO2023149531A1 (ja) | 作業機械の監視システム及び作業機械の監視方法 | |
WO2022196641A1 (ja) | 作業機械の制御システム及び作業機械の制御方法 | |
WO2022196639A1 (ja) | 作業機械の異常判定システム及び作業機械の異常判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23839292 Country of ref document: EP Kind code of ref document: A1 |