WO2021100469A1 - 路面状況監視システム、作業車両、路面状況監視方法およびプログラム - Google Patents

路面状況監視システム、作業車両、路面状況監視方法およびプログラム Download PDF

Info

Publication number
WO2021100469A1
WO2021100469A1 PCT/JP2020/041308 JP2020041308W WO2021100469A1 WO 2021100469 A1 WO2021100469 A1 WO 2021100469A1 JP 2020041308 W JP2020041308 W JP 2020041308W WO 2021100469 A1 WO2021100469 A1 WO 2021100469A1
Authority
WO
WIPO (PCT)
Prior art keywords
tire
road surface
monitoring target
surface condition
work vehicle
Prior art date
Application number
PCT/JP2020/041308
Other languages
English (en)
French (fr)
Inventor
友哉 村上
将範 小野
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to US17/772,243 priority Critical patent/US20220372733A1/en
Priority to CN202080080774.3A priority patent/CN114729524A/zh
Priority to EP20890154.6A priority patent/EP4043645A4/en
Publication of WO2021100469A1 publication Critical patent/WO2021100469A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a road surface condition monitoring system, a work vehicle, a road surface condition monitoring method and a program.
  • the present application claims priority with respect to Japanese Patent Application No. 2019-210857 filed in Japan on November 21, 2019, the contents of which are incorporated herein by reference.
  • Wheel loaders operating in mines and quarries perform excavation work such as blasting rocks. During such work, for example, the tire may come into contact with sharp rocks and cause tire breakage. Tire damage is, for example, scratching or puncturing a tire.
  • the operator runs the wheel loader while checking if there are any rocks on the road surface that may cause tire damage, but it may be difficult to visually recognize the condition of the road surface from the operator's seat. Therefore, in the work vehicle described in Patent Document 1, the road surface condition in front of the front tire is photographed by a camera installed in front of the front accelerator, and the operator can check the road surface condition on a monitor provided in the cab. ing.
  • the operator can visually check whether or not a rock that causes tire damage exists in the traveling direction by looking at the monitor.
  • the operator regardless of the presence or absence of rocks that should be noted for tire breakage, the operator must first see the rocks that cause tire breakage on the monitor, and the visible rocks will cause tire breakage. Tire damage can only be avoided if the operator can determine if it is likely to occur.
  • the operator's line of sight is in front, and there is a problem that it is difficult for the operator to keep looking at the monitor at all times. Further, if the frequency of viewing the monitor is increased, the operation of the work vehicle becomes slow and the productivity is lowered.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a road surface condition monitoring system, a work vehicle, a road surface condition monitoring method and a program in which an operator can easily monitor the road surface condition.
  • one aspect of the present invention is to monitor a monitoring target existing in a range including a road surface in a direction in which the work vehicle travels by driving a traveling mechanism of a work vehicle equipped with tires.
  • a road surface condition acquisition unit that acquires at least monitoring target information regarding shape or size, a storage unit that stores reference information for determining whether or not the tire is damaged, and the tire are driven by the traveling mechanism.
  • a damage determination unit that determines whether or not the tire is damaged when it comes into contact with the monitoring target based on the monitoring target information and the reference information, and an output unit that outputs the result of the determination by the damage determination unit. It is a road surface condition monitoring system equipped with.
  • the operator can easily monitor the road surface condition.
  • FIG. 1 It is a perspective view which shows an example of the work vehicle which concerns on this embodiment. It is a side view of the wheel loader 1 shown in FIG. It is a side view of the wheel loader 1 shown in FIG. It is a front view of the wheel loader 1 shown in FIG. FIG. 3 is a view of the wheel loader 1 shown in FIG. 3 viewed from diagonally below. It is a perspective view of the tire 6 shown in FIG. It is a schematic diagram for demonstrating the photographing area of the camera which concerns on this Embodiment. It is a block diagram which shows an example of the road surface condition monitoring system which concerns on this embodiment. It is a flowchart which shows the operation example of the road surface condition monitoring system 100 shown in FIG.
  • FIG. 1 is a perspective view showing a wheel loader 1 as an example of a work vehicle according to the present embodiment.
  • FIG. 2 is a side view of the wheel loader 1 shown in FIG.
  • FIG. 3 is a side view of the wheel loader 1 (when the bucket 12 is moved upward) shown in FIG.
  • FIG. 4 is a front view of the wheel loader 1 shown in FIG.
  • FIG. 5 is a view of the wheel loader 1 shown in FIG. 3 as viewed from diagonally below.
  • FIG. 6 is a perspective view of the tire 6 shown in FIG.
  • FIG. 7 is a schematic diagram for explaining a photographing area of the camera according to the present embodiment.
  • the wheel loader 1 includes a vehicle body 2 and a working machine 10 supported by the vehicle body 2.
  • FIG. 1 schematically shows a rock mountain 201, which is the work target of the wheel loader 1, and a rock 202, which is located away from the rock mountain 201 and may damage the tire 6.
  • the vehicle body 2 has a driver's cab 3, a traveling mechanism 4, and an engine (not shown) that generates power for driving the traveling mechanism 4.
  • the driver's cab 3 is provided with a driver's seat (not shown).
  • the wheel loader 1 is operated by an operator who is seated in the driver's seat in the driver's cab 3.
  • a driving operation device operated by an operator is arranged around the driver's seat.
  • the driving operation device includes, for example, a shift lever, an accelerator pedal, a brake pedal, and a working machine lever for operating the working machine 10. The operator operates the driving operation device to adjust the traveling speed of the wheel loader 1, switch between forward and reverse, and operate the work machine 10.
  • the traveling mechanism 4 has wheels 5 that can rotate around the rotating shaft DX.
  • the tire 6 is mounted on the wheel 5.
  • the wheel 5 includes two front wheels 5F and two rear wheels 5R.
  • the tire 6 includes a right front tire 6FR and a left front tire 6FL mounted on the front wheel 5F, and a right rear tire 6RR and a left rear tire 6RL mounted on the rear wheel 5R.
  • the right front tire 6FR and the left front tire 6FL may be collectively referred to as the front tire 6F
  • the right rear tire 6RR and the left rear tire 6RL may be collectively referred to as the rear tire 6R.
  • the traveling mechanism 4 can travel on the road surface RS.
  • the direction parallel to the rotation axis DX when the wheel loader 1 travels in a straight running state is appropriately referred to as the vehicle width direction of the vehicle body 2, and the direction parallel to the vertical axis orthogonal to the road surface RS is defined as appropriate.
  • the vertical direction of the vehicle body 2 is referred to, and the direction orthogonal to both the rotation axis DX and the vertical axis is appropriately referred to as the front-rear direction of the vehicle body 2.
  • the tire 6 has, for example, a block pattern (also referred to as a tread pattern) 6P as shown in FIG.
  • the block pattern 6P is a pattern formed by a groove 6G or the like carved in the tread 6S, which is a portion where the tire 6 is in contact with the road surface RS.
  • the block pattern 6P is a pattern (lug type pattern) in which a plurality of grooves 6G are alternately carved on the left and right at substantially right angles to the circumferential direction of the tire 6.
  • the direction in which the work machine 10 is present is the front, and the opposite direction to the front is the rear, with reference to the operator seated in the driver's seat of the driver's cab 3.
  • One side in the vehicle width direction is to the right, and the opposite direction to the right is the left side.
  • the front wheel 5F is arranged in front of the rear wheel 5R.
  • the front wheels 5F are arranged on both sides of the vehicle body 2 in the vehicle width direction.
  • the rear wheels 5R are arranged on both sides of the vehicle body 2 in the vehicle width direction.
  • the work machine 10 has an arm 11 movably connected to the vehicle body 2, a bucket 12 which is an excavation member movably connected to the arm 11 via a link 16, and a bell crank 15.
  • the arm 11 is operated by the power generated by the lift cylinder 13 (FIG. 3).
  • the lift cylinder 13 is a hydraulic cylinder that generates power for moving the arm 11.
  • One end of the lift cylinder 13 is connected to the vehicle body 2, and the other end of the lift cylinder 13 is connected to the arm 11.
  • Two lift cylinders 13 are provided.
  • One lift cylinder 13 is provided to the right of the center in the vehicle width direction, and the other lift cylinder 13 is provided to the left of the center in the vehicle width direction.
  • the lift cylinder 13 expands and contracts. As a result, the arm 11 moves in the vertical direction.
  • the bucket 12 is an excavation member having a cutting edge 12B.
  • the excavation member may be a blade having a cutting edge.
  • the bucket 12 is connected to the tip of the arm 11 and is connected to the vehicle body 2 via the arm 11.
  • the bucket 12 is operated by the power generated by the bucket cylinder 14.
  • the bucket cylinder 14 is a hydraulic cylinder that generates power for moving the bucket 12.
  • the central portion of the bell crank 15 is rotatably connected to the arm 11.
  • One end of the bucket cylinder 14 is connected to the vehicle body 2, and the other end of the bucket cylinder 14 is connected to one end of the bell crank 15.
  • the other end of the bell crank 15 is connected to the bucket 12 via a link 16 (FIG. 3).
  • One bucket cylinder 14 is provided.
  • the bucket cylinder 14 is arranged at the center in the vehicle width direction. When the operator operates the work equipment lever, the bucket cylinder 14 expands and contracts. As a result, the bucket 12 swings.
  • the bucket 12 swings in front of the vehicle body 2.
  • the ends 12E on both sides of the bucket 12 in the vehicle width direction are arranged outside the tire 6 in the vehicle width direction. That is, the distance in the vehicle width direction between the right end portion 12E and the left end portion 12E of the bucket 12 is larger than the distance in the vehicle width direction between the outer surface of the right tire 6 and the outer surface of the left tire 6. ..
  • FIG. 4 is a front view showing the wheel loader 1 according to the present embodiment, and shows a state in which the bucket 12 is moved upward.
  • the traveling mechanism 4 has a power transmission mechanism 7 that transmits the power generated by the engine to the front wheels 5F, and a housing 8 (also referred to as an axle case) that houses at least a part of the power transmission mechanism 7.
  • the engine is arranged at the rear of the vehicle body 2.
  • the power generated by the engine is transmitted to the left and right front wheels 5F via the differential gear of the power transmission mechanism 7.
  • the differential gear is housed in the spherical portion 8B of the housing 8.
  • the spherical portion 8B of the housing 8 accommodating the differential gear is appropriately referred to as an axle ball 8B.
  • the axle ball 8B is arranged at the center in the vehicle width direction. Further, the axle ball 8B is arranged below the bucket cylinder 14.
  • An axle housing 8C which is a cover of the axle ball 8B (housing 8), is provided above the axle ball 8B.
  • the housing 8 includes a housing 8F for the front wheels 5F and a housing 8R for the rear wheels 5R (FIG. 5).
  • the road surface condition monitoring system 100 includes a camera 20, a computer (computer) 30, a buzzer 40, and a monitor 50.
  • the camera 20 is installed in the axle housing 8C, for example, as shown in FIGS. 4 and 5.
  • the computer 30, the buzzer 40, and the monitor 50 are installed in the driver's cab 3.
  • the camera 20 acquires image data of the area 401 between the bucket 12 and the front tire 6F.
  • the photographing area of the camera 20 is the area 401 of the road surface RS between the bucket 12 in the ground contact state in contact with the road surface RS and the front tire 6F.
  • the camera 20 is not limited to being installed in the axle housing 8C, and may be installed in the boom connector 17 shown in FIG. 5, for example.
  • the boom connector 17 is a member that connects the left and right arms 11 by welding.
  • the number of cameras 20 is not limited to one, and may be a plurality. For example, as shown in FIG.
  • the cameras 20, 20a to 20f can be mounted on the wheel loader 1 via, for example, a bracket, and the bracket may be provided with an adjustment mechanism capable of adjusting the shooting direction.
  • the cameras 20, 20a to 20f shown in FIG. 7 are represented by two rectangles, and the shooting direction of each camera is from a large rectangle to a small rectangle.
  • the photographing area is not limited to the area 401, and for example, a part or all of the area 402, the area 403, and the area 404 may be used as the photographing area.
  • the area 402 is a certain area behind the front tire 6F.
  • the area 403 is a certain area in front of the rear tire 6R.
  • the area 404 is a certain area behind the rear tire 6R.
  • Each region 401 to 404 can be a region including a part of the tire 6 and a part of the road surface RS. Further, a shooting area of the camera may be provided for each of the left and right tires 6.
  • FIG. 8 is a block diagram showing an example of the road surface condition monitoring system 100 according to the present embodiment.
  • FIG. 9 is a flowchart showing an operation example of the road surface condition monitoring system 100 shown in FIG.
  • FIG. 10 is a schematic diagram showing an example of a learning image according to the present embodiment.
  • 11A and 11B are schematic views showing an example of a camera image according to the present embodiment.
  • the road surface condition monitoring system 100 includes a camera 20, a computer 30, a buzzer 40, and a monitor 50 whose installation positions are described with reference to FIG. 1 and the like.
  • the computer 30 has a processing device 31, a storage device 32, and an input / output device 33.
  • the processing device 31 is provided with hardware such as a CPU (central processing unit), a storage device, and an input / output device inside, and operates by executing, for example, a program stored in the internal storage device.
  • the processing device 31 has an image processing unit 311 and an image recognition unit 312 as functional components composed of a combination of hardware and software such as a program.
  • the storage device 32 stores the learned model 321 and the like used by the image recognition unit 312 in the image recognition process.
  • the input / output device 33 inputs an image signal captured by the camera 20, stores the input image signal in a predetermined storage device, outputs the input image signal to the image processing unit 311, and recognizes the input image signal, for example.
  • the input / output device 33 is a device that executes transmission control of the image signal, control of the display content displayed on the monitor 50 based on the image signal, and control of the audio content output to the buzzer 40 based on the image signal. is there.
  • the image processing unit 311 receives the image signal captured by the camera 20.
  • the image signal is input to the image processing unit 311 via the input / output device 33, performs predetermined image processing (for example, resolution conversion, image quality adjustment, etc.), and stores the image processed image signal in a predetermined storage device.
  • the image signal processed by the image processing unit 311 is input to the image recognition unit 312, and whether or not the image taken by the camera 20 contains rocks or the like that should be noted that may damage the tire 6. Is determined, and the information to be output from the buzzer 40 or the monitor 50 is determined based on the determined result.
  • the camera 20 has a video camera function for acquiring moving image data in the shooting area 401.
  • the image data (moving image data) acquired by the camera 20 is input to the input / output device 33.
  • the buzzer 40 as an audio output device outputs information according to the control signal output from the input / output device 33.
  • the buzzer 40 generates, for example, an alarm sound that can be heard by the operator in the driver's cab 3.
  • a speaker may be used instead of the buzzer 40, or the speaker may output a sound instead of an alarm sound as information.
  • the monitor 50 is a display device such as a liquid crystal display or an organic electroluminescence display, and in response to an image signal output from the input / output device 33, for example, an image (moving image or still image) that can be visually recognized by an operator in the driver's cab 3 is displayed. indicate.
  • the monitor 50 may use a display device such as a head-up display capable of displaying an image or information on the windshield of the driver's cab 3.
  • the monitor 50 may be a single display device or may be composed of a plurality of display devices. Further, the display device and the audio output device may be integrated. For example, a liquid crystal display and a speaker may be integrated.
  • the monitor 50 is arranged in the driver's cab 3 of the vehicle body 2.
  • the monitor 50 displays, for example, the moving image data acquired by the camera 20 in real time, or displays information according to the determination result of the image recognition unit 312.
  • the operator of the driver's cab 3 can visually recognize the bucket 12, the arm 11, the bucket cylinder 14, and the like through the windshield 53, it is difficult to visually recognize the condition of the road surface RS. In particular, it is difficult to directly visually check the condition of the road surface RS in front of the front tire 6F.
  • the operator of the driver's cab 3 when the bucket 12 is grounded, it is difficult for the operator of the driver's cab 3 to visually recognize the condition of the road surface RS on the lower surface of the bucket 12 and the condition of the road surface RS in front of the bucket 12. In any case, the situation in front of the front tire 6 becomes harder to see as it gets closer to the front tire 6.
  • the monitor 50 displays the moving image data acquired by the camera 20 in real time
  • the operator of the driver's cab 3 looks at the monitor 50 provided in the driver's cab 3, and sees, for example, the bucket 12 and the front tire 6F.
  • the condition of the road surface RS (region 401) between the two can be visually recognized.
  • step S11 the input / output device 33 acquires the image signal output by the camera 20 for one or a plurality of frames and stores it in a predetermined storage device (step S11).
  • the input / output device 33 may perform a process of outputting the image signal input from the camera 20 to the monitor 50 as it is, in response to an instruction from, for example, the image recognition unit 312.
  • the image captured by the camera 20 can be displayed on the monitor 50 in real time in response to the instruction from the image recognition unit 312.
  • the image processing unit 311 inputs the image signal stored in the predetermined storage device in step S11, performs the predetermined image processing, and then stores the image signal in the predetermined storage device again (step S12).
  • the image recognition unit 312 executes image recognition processing on the image signal of one or a plurality of frames stored in a predetermined storage device, so that the area 401 may be damaged to the tire 6. It is determined whether or not the rock 202 to be contained is contained (step S13). When the image recognition unit 312 determines in step S13 that the rock 202 to be noted is included (when “YES” in step S13), the buzzer 40 issues information (alarm sound) indicating the determination result. An instruction for displaying information (alarm image) indicating the determination result on the monitor 50 is output to the input / output device 33 (step S14), the operator is alerted, and the process shown in FIG. 9 is completed. On the other hand, if the image recognition unit 312 does not determine that the rock 202 to be noted is included in step S13 (when “NO” in step S13), the process shown in FIG. 9 ends.
  • the judgment process in the image recognition unit 312 uses the learned model 321 stored in the storage device 32, and the image signal to be judged is an image containing rocks to be noted or an image not containing rocks to be noted. It can be a process of determining which of the above is classified.
  • the trained model 321 is a trained model whose elements are a neural network such as CNN (Convolutional Neural Network), and the neural network is subjected to machine learning so that the desired solution is output for a large number of input data.
  • the weighting coefficient between the neurons in each layer is optimized.
  • the trained model 321 is composed of, for example, a combination of a program that performs an operation from input to output and a weighting coefficient (parameter) used for the operation.
  • the trained model 321 can be generated as follows, for example. That is, for example, as shown in FIG. 10, a plurality of image data 301 including the rock mountain 201 and the rock 202 to be noted, a plurality of image data 302 not including the rock 202 to be noted and including the rock mountain 201, and the rock mountain 201 are also included. A plurality of image data 303 that do not include the rock 202 to be noted are prepared. Then, the plurality of image data 301 are defined as data including rocks 202 and rocks 201 to be noted. Further, the plurality of image data 302 is defined as data that does not include the rock 202 to be noted but includes the rock mountain 201.
  • the plurality of image data 303 is defined as data that does not include the rock 202 and the rock mountain 201 that should be noted. Then, a plurality of defined image data 301, 302, and 303 are prepared as the learning data set 310. As described above, the learning data set 310 is associated with classification (labeling) such as the presence or absence of rock 202 that should be noted for each image data as incidental information.
  • the trained model 321 is generated by machine learning by supervised learning using the training data set 310.
  • the image data 311 to 313 are all images including a part of the tire 6 (block pattern 6P).
  • the size and orientation of the rock 202 can be easily grasped based on the tire 6 (block pattern 6P), and the learning accuracy is improved.
  • the initial classification (labeling) of the image data included in the learning data set 310 can be performed manually, for example, or by image recognition processing such as pattern matching, based on the conditions described later.
  • the rock 202 to be noted is, for example, a rock having a certain size or more or a rock having a sharp edge angle, and when traveling toward the rock in view of the relative position and relative direction with respect to the tire 6. It can be defined as a case where it is assumed that the tire 6 is likely to be damaged. Further, the rock 202 to be noted is a rock having a certain size or more or a rock having a sharp edge angle, and the rock 202 does not exist on the slope of the rock mountain 201 (or exists on a plane). If) can be defined as.
  • Rocks smaller than a certain size are not likely to be damaged by the flexibility of the tire 6, but rocks larger than a certain size depend on the weight of the wheel loader 1 when overcoming the rock. Damage is likely to occur. Further, when the possibility of damaging the tire 6 with respect to the round-shaped rock is considered, the round-shaped rock is unlikely to pierce the tire 6 or cut the tire 6, and is not a rock to be noted.
  • Iwayama 201 is an object in which a plurality of rocks, earth and sand, etc. are accumulated, and since the work machine 10 is the target area for work, the tire 6 usually does not step on. Therefore, the rocks located on the slope of the rocky mountain 201 can be excluded from the rocks 202 to be noted because they are not rolling on the road surface RS.
  • "Iwayama” is only one aspect of "an area where the tires of work vehicles do not enter”. For example, "rocks already loaded in a dump truck” and the like may be defined as “areas where the tires of work vehicles do not step in” in the same way as "rock mountains”. It is a condition to judge that the rock 202 should be noted that it does not exist on the slope of the rock mountain 201. By doing so, for example, in a mine, when rocks are scattered all over, it is possible to prevent the rocks from being judged to be rocks 202 to be noted, and as a result, an unnecessary warning is issued. It can be deterred.
  • the information defining whether or not the image data includes the rock 202 to be noted is the rock (monitoring target).
  • the image recognition unit 312 damage determination unit
  • the image recognition unit 312 can be used to detect the shape or size of the rock (monitoring target) included in the image taken by the camera 20. It is possible to use the information about the data as an element of judgment.
  • the information defining whether or not the image data includes the rock 202 to be noted is the information of the rock (monitored target) for the tire 6.
  • the image recognition unit 312 damage determination unit
  • Information on the relative position and orientation of the rock (monitoring target) with respect to the included tire 6 and whether or not it is on a slope can be used as a judgment factor.
  • the image recognition unit 312 (damage determination unit) can be used as the tire 6. It is possible to use the tire information regarding the shape of the block pattern 6P or the size of the block pattern 6P as an element of judgment.
  • the learning data set 310 at night is used so that the judgment process can be performed even if the image of the rock illuminated by the light source of the light mounted on the work vehicle is acquired during night work. It is desirable to have it ready. In this case, this system functions effectively even during night work.
  • the nighttime learning data set 310 may be created based on an image that reproduces the appearance at nighttime by performing image processing such as color tone correction based on the image acquired in the daytime.
  • the tire is more susceptible to damage in rainy weather than in fine weather.
  • a first trained model 321 using the learning data set 310 in rainy weather and a second trained model 321 using the learning data set 310 in non-rainy weather are prepared, and in rainy weather (for example, a raindrop sensor), The second trained model 321 may be switched to the first trained model 321.
  • a raindrop sensor is installed outside the driver's cab 3, when the raindrop sensor detects rainfall, the detection signal is output to the computer 30, and the input / output device 33 receives the input of the detection signal as the second learned model. May switch to the first trained model.
  • the image that becomes the learning data set 310 may be artificially created by using software for creating computer graphics or the like. Further, the tire does not have to be reflected in the image of the learning data set 310.
  • any image recognition technology such as pattern matching can be used in addition to the trained model such as CNN.
  • the learning data set for example, an image generated by using an image generation technique such as ACGAN (Auxiliary Classifier Generic Advanced Network) can be used.
  • ACGAN Advanced Classifier Generic Advanced Network
  • FIG. 11A and 11B are schematic views showing an example of a photographed image of the camera 20 according to the present embodiment.
  • the image 501 shown in FIG. 11A includes a rock mountain 201 surrounded by a chain line frame and one rock 202 surrounded by a broken line frame.
  • the rocky mountain 202 shown in the example of this photographed image is a rock that should be noted for damage to the tire 6 and exists on a flat surface (road surface RS).
  • the image recognition unit 312 can obtain the determination result that the image contains the rock 202 to be noted by using the trained model 321. it can.
  • 11B includes a rock mountain 201 shown by being surrounded by a chain line frame and four rocks 202 shown by being surrounded by a broken line frame.
  • the rock 202 shown in the example of this photographed image is a rock that should be noted for damage to the tire 6 and exists on a flat surface (road surface RS).
  • the image recognition unit 312 can obtain the determination result that the image contains the rock 202 to be noted by using the trained model 321. it can.
  • the road surface condition monitoring system 100 can identify whether or not the monitored object is a rock to be noted by the image recognition technology by using the image captured by the in-vehicle camera 20 as an input to the computer 30.
  • the rocks to be noted in this embodiment may be rocks having a certain size or larger, rocks with a sharp edge angle, rocks existing on a plane not on the slope of the rocky mountain, and the like.
  • the buzzer 40 issues a warning, a warning is displayed on the monitor 50, and the operator can be alerted. When the operator receives the alert, he / she can see the moving image data displayed on the monitor 50 and take measures to suppress the damage of the front tire 6F.
  • the operator sees the video data displayed on the monitor 50 according to the alert received, confirms that the rock 202 is rolling in front of the front tire 6F, and the front tire 6F is on the rock 202 that should be noted. Take measures to prevent damage to the front tire 6F, such as operating the brake to stop the wheel loader 1 or operating the steering to change the direction of travel of the wheel loader 1 so as not to ride on the tire. Can be done.
  • the operator does not have to look at the monitor 50 all the time or frequently, but only needs to look at the monitor 50 when the rock 202 to be noted is in the vicinity of the tire 6. It is possible to perform an operation for surely avoiding damage. That is, according to the present embodiment, the operator can normally perform excavation work and the like without concentrating on the image of the camera 20, and carefully executes the running operation only when the rock 202 to be noted approaches the tire 6. However, necessary measures can be taken to avoid tire damage. According to the present embodiment, the road surface condition can be monitored even if the operator does not constantly or frequently look at the monitor 50, and workability and productivity can be improved.
  • FIG. 12 is a block diagram showing a basic configuration example of the embodiment including the above-described embodiment.
  • the same reference numerals are appropriately used for the same or corresponding configurations as those shown in FIGS. 1 to 11A and 11B.
  • a basic configuration example of the embodiment including a modification of the above-described embodiment will be described.
  • the road surface condition monitoring system 600 shown in FIG. 12 includes, for example, a road surface condition acquisition unit 601 and a storage unit 602 as functional components configured by using hardware such as a computer and its peripheral devices and software such as a program. , A damage determination unit 603 and an output unit 604 are provided. Further, the storage unit 602 stores the reference information 605.
  • the road surface condition acquisition unit 601 has at least the shape of the monitoring target 200 with respect to the monitoring target 200 existing in the range including the road surface RS in the direction in which the work vehicle 1 travels by driving the traveling mechanism 4 of the work vehicle 1 on which the tire 6 is mounted. Or, acquire the monitored target information regarding the size.
  • the work vehicle 1 can be a tire-based work vehicle such as a wheel loader, a motor grader, or a dump truck.
  • the monitoring target information may further include information regarding the relative position and relative orientation of the monitoring target with respect to the tire 6.
  • the monitoring target information may further include information regarding the existence position of the monitoring target with respect to the tire 6.
  • the road surface condition acquisition unit 601 can be a camera (monocular, stereo, infrared ray), a radar scanner, or the like.
  • the monitoring target is, for example, a rock (rock).
  • rocks rocks
  • the object to be monitored may be a sharp metal object.
  • even such metal objects may damage the tire.
  • the road surface is not limited to the soil road surface, and may be a road surface paved with asphalt or concrete.
  • the storage unit 602 stores reference information 605 for determining whether or not the tire 6 may be damaged.
  • the reference information 605 is a trained model if the judgment is made by artificial intelligence (AI), pattern data if the judgment is made by image processing (pattern matching), waveform data if the radar scanner is used, and the like.
  • the damage determination unit 603 determines whether or not the tire 6 is damaged when the tire 6 comes into contact with the monitoring target 200 by driving the traveling mechanism 4.
  • the monitoring target information and the storage unit 602 acquired by the road surface condition acquisition unit 601. Judgment is made based on the standard information stored in.
  • the damage determination unit 603 may determine whether or not the tire is damaged by using the tire information regarding the shape of the block pattern of the tire or the size of the block pattern.
  • the damage determination unit 603 makes a determination based on any of a determination by artificial intelligence (AI), a determination by pattern matching by image processing, a determination by analysis of a received signal of a radar scanner, and the like.
  • AI artificial intelligence
  • the output unit 604 outputs the result determined by the damage determination unit 603.
  • the output unit 604 may include information indicating which tire 6 is damaged in the result determined by the damage determination unit 603 and output the information.
  • the road surface condition acquisition unit 601 may have a number corresponding to the number of tires 6.
  • the output unit 604 can output audio from a speaker in the driver's cab, an image output to a monitor, an output to a head-up display, an output due to vibration of an operation lever, and the like.
  • the result of the judgment by the damage determination unit 603 may be output to a place away from the work vehicle 1.
  • the result output by the output unit 604 may be a result indicating that there is no risk of tire damage due to an object. That is, the output unit 604 outputs not only that there is an object on the road surface RS but also that there is no object on the road surface RS (there is no sharp rock, hole, or metal object that may damage the tire).
  • the output unit 604 outputs the result of "road surface condition monitoring".
  • the road surface condition monitoring system 600 shown in FIG. 12 the road surface condition can be monitored even if the operator does not constantly or frequently look at the monitor.
  • the output unit 604 may output a signal for controlling the brake of the work vehicle 1.
  • the damage determination unit 603 determines that the monitoring target may damage the tire 6, the brake of the work vehicle 1 can be automatically operated based on the signal transmitted from the output unit 604 to the brake device.
  • the output unit 604 may output a signal for performing steering control of the work vehicle 1.
  • the actuator controls the steering based on the signal transmitted from the output unit 604 to the actuator.
  • the steering of the work vehicle 1 can be controlled, and the work vehicle 1 can be automatically turned in a direction to avoid damage to the tire 6.
  • the output unit 604 may output a signal for controlling the engine speed of the work vehicle 1.
  • the damage determination unit 603 determines that the monitoring target may damage the tire 6, the output unit 604 outputs a signal instructing the engine speed to be reduced.
  • the signal is transmitted to a controller that executes engine control, and the controller can reduce the output of the engine and reduce the speed of the work vehicle 1.
  • the output unit 604 may output a signal for controlling the bucket posture of the work vehicle 1.
  • the damage determination unit 603 determines that the monitoring target may damage the tire 6, the hydraulic valve operates based on the signal transmitted from the output unit 604 to the hydraulic valve that controls the operation of the work machine 12.
  • the bucket of the vehicle 1 can be automatically lowered to avoid contact between the monitored object and the tire 6.
  • the road surface condition monitoring system 600 may be provided with all the configurations in the work vehicle 1, but for example, when the work vehicle 1 is provided with a device capable of remote control and the work vehicle 1 is remotely controlled, the road surface is used.
  • some configurations for example, a display device and an audio output device connected to the output unit 604
  • an output unit 604 excluding the road surface condition acquisition unit 601 are provided at a remote location.
  • the output unit 6 includes a display device (not shown) at a remote location.
  • the information output from the output unit 6 is transmitted to a remote display device (not shown) via wireless communication or the like, and the display device displays or outputs information (alarm) related to alerting the monitoring target to be noted.
  • a vehicle speed sensor may be provided, and the output unit 604, which receives a signal indicating the vehicle speed of the work vehicle from the vehicle speed sensor, may switch the alert information according to the vehicle speed. For example, when the work vehicle is traveling at a high speed faster than a predetermined speed, the output unit 604 outputs a warning with a high alarm level, and when the work vehicle 1 is traveling at a low speed lower than the predetermined speed, the output unit 604 outputs a warning or the like. , The output unit 604 may output a low level warning or the like.
  • the correspondence between the configuration of the embodiment described with reference to FIGS. 1 and 8 and the configuration shown in FIG. 12 is as follows.
  • the road surface condition monitoring system 100 shown in FIGS. 1 and 8 corresponds to the road surface condition monitoring system 600 shown in FIG.
  • a part of the combination of the camera 20 and the input / output device 33 shown in FIG. 8 corresponds to the road surface condition acquisition unit 601 shown in FIG.
  • the image recognition unit 312 shown in FIG. 8 corresponds to the damage determination unit 603 shown in FIG.
  • the storage device 32 shown in FIG. 8 corresponds to the storage unit 602 shown in FIG.
  • the trained model 321 shown in FIG. 8 corresponds to the reference information 605 shown in FIG.
  • the combination of a part of the input / output device 33 shown in FIG. 8, the buzzer 40, and the monitor 50 corresponds to the output unit 604 shown in FIG.
  • the rock 202 to be noted shown in FIG. 1 corresponds to the monitored object 200 shown in FIG.
  • a part or all of the program executed by the computer in the above embodiment can be distributed via a computer-readable recording medium or a communication line.
  • the operator can easily monitor the road surface condition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明に係る路面状況監視システムは、タイヤが装着された作業車両の走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、前記タイヤが損傷を受けるかどうかの判断を行うための基準情報を保存する記憶部と、前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、前記損傷判断部が判断した結果を出力する出力部とを備える。

Description

路面状況監視システム、作業車両、路面状況監視方法およびプログラム
　本発明は、路面状況監視システム、作業車両、路面状況監視方法およびプログラムに関する。
　本願は、２０１９年１１月２１日に日本に出願された特願２０１９－２１０８５７号について優先権を主張し、その内容をここに援用する。
　鉱山や砕石場で稼働するホイールローダは、爆落石などの掘削作業を行う。そのような作業の際、例えば、タイヤが鋭利な岩に接触してタイヤ破損を引き起こす場合がある。タイヤ破損とは、例えば、タイヤに傷を与えたりパンクさせたりするものである。オペレータはタイヤ破損の原因となるような岩が路面にないか確認しながらホイールローダを走行させているが、オペレータ席からは路面の状況を視認しづらい場合もある。そこで、特許文献１に記載されている作業車両は、フロントタイヤ前方の路面状況をフロントアクセル前方に設置したカメラで撮影し、キャブ内に設けられたモニタで当該路面状況をオペレータが確認できるようにしている。
国際公開第２０１７／０７７７２３号
　特許文献１に記載されている作業車両によれば、オペレータはモニタを見ることで、タイヤ破損の原因となるような岩が進行方向に存在するかどうかを視認することができる。ただし、この構成では、タイヤ破損に留意すべき岩の存否に関わらず、オペレータがモニタでタイヤ破損の原因となるような岩を視認することが最初に必要であり、視認した岩がタイヤ破損を引き起こしそうか否かをオペレータが判断できた場合にだけ、タイヤ破損を回避することができる。掘削作業の際は、オペレータの視線は前方にあり、常時、オペレータがモニタを見続けることは難しいという課題がある。また、モニタを見る頻度を上げると作業車両の動作が緩慢となり生産性が低下するという課題がある。
　本発明は、上記事情に鑑みてなされたものであり、オペレータが容易に路面状況を監視することができる路面状況監視システム、作業車両、路面状況監視方法およびプログラムを提供することを目的とする。
　上記課題を解決するため、本発明の一態様は、タイヤが装着された作業車両の走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、前記タイヤが損傷を受けるかどうかの判断を行うための基準情報を保存する記憶部と、前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、前記損傷判断部が判断した結果を出力する出力部とを備える路面状況監視システムである。
　本発明の態様によれば、オペレータが容易に路面状況を監視することができる。
本実施形態に係る作業車両の一例を示す斜視図である。 図１に示すホイールローダ１の側面図である。 図１に示すホイールローダ１の側面図である。 図３に示すホイールローダ１の正面図である。 図３に示すホイールローダ１を斜め下から見た図である。 図１に示すタイヤ６の斜視図である。 本実施形態に係るカメラの撮影領域を説明するための模式図である。 本実施形態に係る路面状況監視システムの一例を示すブロック図である。 図８に示す路面状況監視システム１００の動作例を示すフローチャートである。 本実施形態に係る学習用画像の例を示す模式図である。 本実施形態に係るカメラ画像の例を示す模式図である。 本実施形態に係るカメラ画像の例を示す模式図である。 本発明の実施形態の基本的構成例を示すブロック図である。
　以下、図面を参照して本発明の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。
［ホイールローダ（作業車両）］
　図１は、本実施形態に係る作業車両の一例としてのホイールローダ１を示す斜視図である。図２は、図１に示すホイールローダ１の側面図である。図３は、図１に示すホイールローダ１（バケット１２を上方向に移動した場合）の側面図である。図４は、図３に示すホイールローダ１の正面図である。図５は、図３に示すホイールローダ１を斜め下から見た図である。図６は、図１に示すタイヤ６の斜視図である。図７は、本実施形態に係るカメラの撮影領域を説明するための模式図である。
　図１等に示すように、ホイールローダ１は、車両本体２と、車両本体２に支持される作業機１０とを備える。なお、図１は、ホイールローダ１の作業対象である岩山２０１と、岩山２０１から離れて位置し、かつタイヤ６を破損する可能性がある岩石２０２を模式的に示している。
　車両本体２は、運転室３と、走行機構４と、走行機構４を駆動するための動力を発生するエンジン（不図示）とを有する。運転室３には、運転席（不図示）が備えられている。ホイールローダ１は、運転室３に搭乗し運転席に着座したオペレータによって操作される。運転席の周囲には、オペレータによって操作される運転操作装置が配置される。運転操作装置は、例えば、シフトレバー、アクセルペダル、ブレーキペダル、および作業機１０を操作するための作業機レバーを含む。オペレータは、運転操作装置を操作して、ホイールローダ１の走行速度の調整、前進または後進の切替え、および作業機１０の操作を実施する。
　走行機構４は、回転軸ＤＸを中心に回転可能な車輪５を有する。車輪５にタイヤ６が装着される。車輪５は、２つの前輪５Ｆと、２つの後輪５Ｒとを含む。タイヤ６は、前輪５Ｆに装着される右前タイヤ６ＦＲおよび左前タイヤ６ＦＬと、後輪５Ｒに装着される右後タイヤ６ＲＲおよび左後タイヤ６ＲＬとを含む。なお、以下では、右前タイヤ６ＦＲと左前タイヤ６ＦＬを総称して前タイヤ６Ｆと言い、右後タイヤ６ＲＲと左後タイヤ６ＲＬを総称して後タイヤ６Ｒと言う場合がある。走行機構４は、路面ＲＳを走行可能である。
　以下の説明においては、ホイールローダ１が直進状態で走行するときの回転軸ＤＸと平行な方向を適宜、車両本体２の車幅方向、と称し、路面ＲＳと直交する鉛直軸と平行な方向を適宜、車両本体２の上下方向、と称し、回転軸ＤＸおよび鉛直軸の両方と直交する方向を適宜、車両本体２の前後方向、と称する。
　なお、タイヤ６は、例えば、図６に示すようなブロックパターン（トレッドパターンとも呼ばれる）６Ｐを有している。ブロックパターン６Ｐは、タイヤ６が路面ＲＳと接する部分であるトレッド６Ｓに刻まれる溝６Ｇ等で形成される模様である。図６に示す例では、ブロックパターン６Ｐは、タイヤ６の周方向に対してほぼ直角に複数の溝６Ｇを左右互い違いに刻んだパターン（ラグ型パターン）である。
　本実施形態においては、運転室３の運転席に着座したオペレータを基準として作業機１０が存在する方向が前方であり、前方の逆方向が後方である。車幅方向の一方が右方であり、右方の逆方向が左方である。前輪５Ｆは、後輪５Ｒよりも前方に配置される。前輪５Ｆは、車両本体２の車幅方向両側に配置される。後輪５Ｒは、車両本体２の車幅方向両側に配置される。
　作業機１０は、車両本体２に移動可能に連結されるアーム１１と、アーム１１に移動可能にリンク１６を介して連結される掘削部材であるバケット１２と、ベルクランク１５とを有する。
　アーム１１は、リフトシリンダ１３（図３）が発生する動力によって作動する。リフトシリンダ１３は、アーム１１を移動するための動力を発生する油圧シリンダである。リフトシリンダ１３の一端部は車両本体２に連結され、リフトシリンダ１３の他端部はアーム１１に連結される。リフトシリンダ１３は、２つ設けられる。一方のリフトシリンダ１３は、車幅方向中心よりも右方に設けられ、他方のリフトシリンダ１３は、車幅方向中心よりも左方に設けられる。オペレータが作業機レバーを操作するとリフトシリンダ１３が伸縮する。これにより、アーム１１は上下方向に移動する。
　バケット１２は、刃先１２Ｂを有する掘削部材である。なお、掘削部材は、刃先を有するブレードでもよい。バケット１２は、アーム１１の先端部と連結され、アーム１１を介して車両本体２に連結される。バケット１２は、バケットシリンダ１４が発生する動力によって作動する。バケットシリンダ１４は、バケット１２を移動するための動力を発生する油圧シリンダである。ベルクランク１５の中央部がアーム１１に回転可能に連結される。バケットシリンダ１４の一端部は車両本体２に連結され、バケットシリンダ１４の他端部はベルクランク１５の一端部に連結される。ベルクランク１５の他端部は、リンク１６（図３）を介してバケット１２に連結される。バケットシリンダ１４は、１つ設けられる。バケットシリンダ１４は、車幅方向の中央部に配置される。オペレータが作業機レバーを操作するとバケットシリンダ１４が伸縮する。これにより、バケット１２は揺動する。バケット１２は、車両本体２の前方において揺動する。
　図４および図５に示すように、車幅方向におけるバケット１２の両側の端部１２Ｅは、車幅方向においてタイヤ６よりも外側に配置される。すなわち、バケット１２の右側の端部１２Ｅと左側の端部１２Ｅとの車幅方向の距離は、右側のタイヤ６の外側面と左側のタイヤ６の外側面との車幅方向の距離よりも大きい。
　図４は、本実施形態に係るホイールローダ１を示す正面図であって、バケット１２を上方に移動させた状態を示す。本実施形態において、走行機構４は、エンジンで発生した動力を前輪５Ｆに伝達する動力伝達機構７と、動力伝達機構７の少なくとも一部を収容するハウジング８（アクスルケースとも呼ばれる）とを有する。エンジンは、車両本体２の後部に配置される。エンジンで発生した動力は、動力伝達機構７のデファレンシャルギアを介して、左右の前輪５Ｆに伝達される。デファレンシャルギアは、ハウジング８の球状部分８Ｂに収容される。以下の説明においては、デファレンシャルギアを収容するハウジング８の球状部分８Ｂを適宜、アクスルボール８Ｂ、と称する。アクスルボール８Ｂは、車幅方向の中央部に配置される。また、アクスルボール８Ｂは、バケットシリンダ１４よりも下方に配置される。アクスルボール８Ｂの上方にはアクスルボール８Ｂ（ハウジング８）のカバーであるアクスルハウジング８Ｃが設けられている。ハウジング８は、前輪５Ｆ用のハウジング８Ｆと後輪５Ｒ用のハウジング８Ｒを含む（図５）。
［路面状況監視システムの設置位置］
　図１に示すように、本実施形態に係る路面状況監視システム１００は、カメラ２０と、計算機（コンピュータ）３０と、ブザー４０と、モニタ５０を備える。カメラ２０は、例えば、図４および図５に示すように、アクスルハウジング８Ｃに設置されている。計算機３０と、ブザー４０と、モニタ５０は、運転室３に設置されている。
［カメラの撮影領域］
　カメラ２０は、図７に示すように、バケット１２と前タイヤ６Ｆとの間の領域４０１の画像データを取得する。本実施形態において、カメラ２０の撮影領域は、路面ＲＳに接触した接地状態のバケット１２と前タイヤ６Ｆとの間の路面ＲＳの領域４０１である。なお、カメラ２０の設置については、アクスルハウジング８Ｃに設置することに限定されず、例えば図５に示すブームコネクタ１７に設置してもよい。ブームコネクタ１７は、左右のアーム１１の間を溶接によって連結する部材である。また、カメラ２０の個数は、１個に限定されず、複数個としてもよい。例えば、図７に示すように、バケット１２の裏側（バケットの上面であって運転室３に対向する面）に取り付けたり（カメラ２０ａ）、フロントフェンダー１８の上（カメラ２０ｂ）や後（カメラ２０ｅ）に取り付けたり、照明１９の上、下または横に取り付けたり（カメラ２０ｃ）、運転室３の天井の上３ａに取り付けたり（カメラ２０ｄ）、ハウジング８Ｒのカバーに取り付けたり（カメラ２０ｆ）することができる。カメラ２０、２０ａ～２０ｆは、例えばブラケットを介してホイールローダ１に搭載することができ、ブラケットは撮影方向を調整することができる調整機構を備えていてもよい。なお、図７に示すカメラ２０、２０ａ～２０ｆは２個の矩形で表され、各カメラの撮影方向は大きい矩形から小さい矩形への方向である。
　また、撮影領域は、領域４０１に限定されず、例えば、領域４０２、領域４０３、および領域４０４の一部または全部を撮影領域としてもよい。領域４０２は、前タイヤ６Ｆの後方の一定の領域である。領域４０３は、後タイヤ６Ｒの前方の一定の領域である。領域４０４は、後タイヤ６Ｒの後方の一定の領域である。なお、各領域４０１～４０４は、タイヤ６の一部と路面ＲＳの一部とを含む領域とすることができる。また、左右のタイヤ６毎にカメラの撮影領域を設けてもよい。
［路面状況監視システムの構成］
　次に、図８～図１１Ａ及びＢを参照して、図１に示す路面状況監視システム１００について説明する。図８は、本実施形態に係る路面状況監視システム１００の一例を示すブロック図である。図９は、図８に示す路面状況監視システム１００の動作例を示すフローチャートである。図１０は、本実施形態に係る学習用画像の例を示す模式図である。図１１Ａ及びＢは、本実施形態に係るカメラ画像の例を示す模式図である。
　図８に示すように、路面状況監視システム１００は、図１等を参照して設置位置について説明した、カメラ２０と、計算機３０と、ブザー４０と、モニタ５０を備える。
　計算機３０は、処理装置３１と、記憶装置３２と、入出力装置３３を有する。処理装置３１は、内部にＣＰＵ（中央処理装置）、記憶装置、入出力装置等のハードウェアを備え、例えば内部の記憶装置に記憶したプログラムを実行することで動作する。処理装置３１は、ハードウェアとプログラム等のソフトウェアとの組み合わせで構成される機能的構成要素として、画像処理部３１１と画像認識部３１２を有する。記憶装置３２は、画像認識部３１２が画像認識処理で用いる学習済みモデル３２１等を記憶する。入出力装置３３は、カメラ２０が撮影した画像信号を入力するとともに、入力した画像信号を所定の記憶装置へ記憶したり、あるいは画像処理部３１１へ出力したり、入力した画像信号に例えば画像認識部３１２の所定の判断結果を示す画像信号を重畳させてモニタ５０へ出力したり、画像認識部３１２の所定の判断結果を示す信号をブザー４０へ出力したりする。つまり、入出力装置３３は、画像信号の伝送制御、画像信号に基づいてモニタ５０に表示される表示内容の制御、画像信号に基づいてブザー４０に出力される音声内容の制御を実行する装置である。
　画像処理部３１１は、カメラ２０が撮影した画像信号を受信する。画像信号は、入出力装置３３を介して画像処理部３１１に入力され、所定の画像処理（例えば、解像度変換、画質調整等）を施し、画像処理した画像信号を所定の記憶装置に記憶する。画像認識部３１２には、画像処理部３１１が画像処理した画像信号が入力され、カメラ２０が撮影した画像にタイヤ６を破損するおそれがあるような留意すべき岩石等が含まれているか否かを判断し、判断した結果に基づいて、ブザー４０やモニタ５０から出力する情報を決定する。
　カメラ２０は、撮影領域４０１の動画データを取得するビデオカメラ機能を有する。カメラ２０で取得された画像データ（動画データ）は、入出力装置３３へ入力される。
　音声出力装置としてのブザー４０は、入出力装置３３から出力された制御信号に応じて情報を出力する。ブザー４０は、例えば運転室３内のオペレータが可聴できる警報音を発生する。なお、ブザー４０に代えてスピーカーを用いてもよく、スピーカーから情報としての警報音に変えて音声を出力するようにしてもよい。
　モニタ５０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等の表示装置であり、入出力装置３３から出力された画像信号に応じて、例えば運転室３内のオペレータが視認できる画像（動画あるいは静止画）を表示する。なお、モニタ５０は、運転室３のフロントガラスに画像や情報を表示できるヘッドアップディスプレイといった表示装置を用いてもよい。モニタ５０は、単一の表示装置でもよく、複数の表示装置により構成されてもよい。また、表示装置と音声出力装置は、一体のものを用いてもよい。例えば、液晶ディスプレイとスピーカーを一体化したものを用いてもよい。
　なお、図１に示すように、モニタ５０は、車両本体２の運転室３に配置される。モニタ５０は、例えば、カメラ２０で取得された動画データをリアルタイムに表示したり、画像認識部３１２の判断結果に応じた情報を表示したりする。運転室３のオペレータは、フロントガラス５３を介して、バケット１２、アーム１１およびバケットシリンダ１４などを視認可能であるものの、路面ＲＳの状況を視認することは困難である。特に、前タイヤ６Ｆの前方の路面ＲＳの状況を直接的に目視することは困難である。また、バケット１２を接地させた状態では、バケット１２の下面にある路面ＲＳの状況やバケット１２の前方の路面ＲＳの状況も運転室３のオペレータからは視認しづらい。いずれにしても、前タイヤ６の前方の状況は、前タイヤ６に近くなるほど視認しづらくなる。一方、モニタ５０がカメラ２０で取得された動画データをリアルタイムに表示する場合、運転室３のオペレータは、運転室３に設けられているモニタ５０を見て、例えば、バケット１２と前タイヤ６Ｆとの間の路面ＲＳ（領域４０１）の状況を視認することができる。
［路面状況監視システムの動作］
　次に、図９を参照して、図８に示す路面状況監視システム１００の動作例について説明する。図９に示す処理は、計算機３０が所定の周期で繰り返し実行する。図９に示す処理が開始されると、入出力装置３３はカメラ２０が出力した画像信号を１または複数フレーム分取得し、所定の記憶装置に記憶する（ステップＳ１１）。なお、ステップＳ１１において入出力装置３３は、例えば画像認識部３１２からの指示に応じて、カメラ２０から入力した画像信号をそのままモニタ５０へ出力する処理を行ってもよい。この場合、画像認識部３１２からの指示に応じて、モニタ５０にカメラ２０が撮影した画像をリアルタイムで表示することができる。
　次に、画像処理部３１１は、ステップＳ１１で所定の記憶装置に記憶された画像信号を入力し、所定の画像処理を行った後、再び所定の記憶装置に記憶する（ステップＳ１２）。
　次に、画像認識部３１２は、所定の記憶装置に記憶されている１または複数フレームの画像信号に対し画像認識処理を実行し、領域４０１にタイヤ６に損傷を与える可能性があるような留意すべき岩石２０２を含んでいるか否かを判断する（ステップＳ１３）。ステップＳ１３において画像認識部３１２は、留意すべき岩石２０２を含んでいると判断した場合（ステップＳ１３で「ＹＥＳ」の場合）、判断結果を示す情報（警報音）をブザー４０から発報したり、判断結果を示す情報（警報画像）をモニタ５０で表示したりする指示を入出力装置３３へ出力し（ステップＳ１４）、オペレータに注意喚起を図り、図９に示す処理を終了する。一方、ステップＳ１３において画像認識部３１２は、留意すべき岩石２０２を含んでいると判断しなかった場合（ステップＳ１３で「ＮＯ」の場合）、図９に示す処理を終了する。
　ここで、ステップＳ１３における判断処理（画像認識処理）の一例について説明する。画像認識部３１２に判断処理は、記憶装置３２に記憶されている学習済みモデル３２１を用いて、判断の対象とする画像信号が、留意すべき岩石を含む画像または留意すべき岩石を含まない画像のどちらに分類されるのかを判断する処理とすることができる。学習済みモデル３２１は、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等のニューラルネットワークを要素とする学習済みモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。学習済みモデル３２１は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。
［学習済みモデルの生成］
　なお、学習済みモデル３２１は例えば次のように生成することができる。すなわち、例えば、図１０に示すように、岩山２０１と留意すべき岩石２０２を含む複数の画像データ３０１と、留意すべき岩石２０２を含まず岩山２０１を含む複数の画像データ３０２と、岩山２０１も留意すべき岩石２０２も含まない複数の画像データ３０３とを用意する。そして、複数の画像データ３０１を、留意すべき岩石２０２と岩山２０１を含むデータであると定義する。また、複数の画像データ３０２を、留意すべき岩石２０２を含まず岩山２０１を含むデータであると定義する。また、複数の画像データ３０３を、留意すべき岩石２０２も岩山２０１も含まないデータであると定義する。そして、定義された複数の画像データ３０１、３０２および３０３を学習用データセット３１０として用意する。学習用データセット３１０は、上記のように各画像データについて留意すべき岩石２０２の有無といった分類（ラベリング）を付帯情報として紐づけて持たせる。学習用データセット３１０を用い、教師あり学習による機械学習によって学習済みモデル３２１を生成する。図１０に示す例では、画像データ３１１～３１３は、いずれもタイヤ６（ブロックパターン６Ｐ）の一部を含む画像である。この場合、タイヤ６（ブロックパターン６Ｐ）の一部を含まない場合と比較すると、タイヤ６（ブロックパターン６Ｐ）を基準として岩石２０２の大きさや向きの把握が容易になると考えられ、学習精度の向上を図ることができる。なお、学習用データセット３１０に含まれる画像データの当初の分類（ラベリング）は、後述する条件に基づいて例えば手作業で行ったり、パターンマッチング等の画像認識処理で行ったりすることができる。
　なお、留意すべき岩石２０２は、例えば、一定以上の大きさの岩石やエッジ角度の鋭い岩石であって、かつ、タイヤ６に対する相対位置と相対向きからすると、その岩石に向かって走行した場合にタイヤ６が破損する可能性が高いと想定される場合と定義することができる。また、留意すべき岩石２０２は、一定以上の大きさの岩石やエッジ角度の鋭い岩石であって、かつ、岩石２０２の存在位置が、岩山２０１の斜面上に存在しない場合（あるいは平面上に存在する場合）であると定義することができる。
　一定未満の大きさの岩石ではタイヤ６の柔軟性によって損傷を回避できる可能性が高く留意すべき岩石ではないが、一定以上の大きさの岩石では岩石を乗り越えたときにホイールローダ１の重量によって損傷が発生する可能性が高い。また、丸い形状の岩石についてタイヤ６を破損する可能性をみたとき、丸い形状の岩石は、タイヤ６に突き刺さったりタイヤ６を切断したりする可能性が低く、留意すべき岩石とはならない。
　岩山２０１は、複数の岩石や土砂等が集積した物体であり、作業機１０が作業対象とするエリアなので、通常はタイヤ６が踏み入ることはない。したがって、岩山２０１の斜面に位置している岩石は、路面ＲＳに転がっているわけではないので留意すべき岩石２０２から除外することができる。ただし、「岩山」は「作業車両のタイヤが踏み入ることはないエリア」の一態様にすぎない。例えば、「ダンプに積み込み済みの岩」等も「岩山」と同等に「作業車両のタイヤが踏み入ることはないエリア」であると定義してもよい。岩山２０１の斜面上に存在しないことを、留意すべき岩石２０２と判断する条件とする。こうすることで、例えば、鉱山において、あたり一面に岩石が散在する場合、それら岩石を留意すべき岩石２０２であると判断してしまうことを回避することができ、その結果、不要な警報を発することを抑止することができる。
　以上のように、学習済みモデル３２１を機械学習によって構築する際に用いる学習用データセット３１０において、留意すべき岩石２０２を含む画像データであるか否かを定義する情報に、岩石（監視対象）の大きさや岩石の形状（エッジ角度が鋭い形状）に関する条件を含ませることで、画像認識部３１２（損傷判断部）は、カメラ２０が撮影した画像に含まれる岩石（監視対象）の形状または大きさに関する情報を判断の要素とすることが可能となる。
　また、学習済みモデル３２１を機械学習によって構築する際に用いるデータセットに対して、留意すべき岩石２０２を含む画像データであるか否かを定義する情報に、タイヤ６に対する岩石（監視対象）の監視対象情報（相対位置と相対向き、あるいは岩山２０１の斜面上にあるか否かの位置）に関する条件を含ませることで、画像認識部３１２（損傷判断部）は、カメラ２０が撮影した画像に含まれるタイヤ６に対する岩石（監視対象）の相対位置と相対向き、斜面上にあるか否かに関する情報を判断の要素とすることが可能となる。
　また、学習済みモデル３２１を機械学習によって構築する際に用いるデータセットにおいて、タイヤ６（ブロックパターン６Ｐ）の一部を含ませておくことで、画像認識部３１２（損傷判断部）は、タイヤ６のブロックパターン６Ｐの形状またはブロックパターン６Ｐの大きさに関するタイヤ情報を判断の要素とすることが可能となる。
　なお、学習用データセット３１０については、夜間作業時、作業車両に搭載したライトの光源により岩が照らされた画像が取得されても判断処理ができるように、夜間時の学習用データセット３１０を用意しておくことが望ましい。この場合、夜間作業においても本システムが有効に機能する。また、夜間時の学習用データセット３１０は、昼間に取得した画像を基に色調補正などの画像処理を行って夜間時の見え方を再現した画像を基に作成してもよい。
　また、タイヤの材料特性上、雨天時のほうが晴天時よりもタイヤの損傷を受けやすい。例えば、雨天時の学習用データセット３１０による第１の学習済みモデル３２１と、雨天時以外の学習用データセット３１０による第２の学習済みモデル３２１を用意し、雨天時（例えば雨滴センサ）に、第２の学習済みモデル３２１から第１の学習済みモデル３２１へ切り替えたりしてもよい。例えば、雨滴センサを運転室３の外部に設置し、雨滴センサが降雨を検知した場合、検知信号を計算機３０に出力し、検知信号の入力に応じて入出力装置３３が第２の学習済みモデルから第１の学習済みモデルに切り替えるようにしてもよい。
　また、学習用データセット３１０になる画像は、コンピュータグラフィック作成用のソフトウェア等を用い人工的に作成されたものでもよい。また、学習用データセット３１０になる画像にはタイヤが映り込んでいなくてもよい。
　なお、画像認識技術としては、ＣＮＮ等の学習済みモデル以外にも、パターンマッチング等の任意の画像認識技術を用いることができる。また、学習用データセットにおいては、例えば、ＡＣＧＡＮ（Ａｕｘｉｌｉａｒｙ　Ｃｌａｓｓｉｆｉｅｒ　Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）等の画像生成技術を用いて生成した画像を用いることができる。
［カメラの撮影画像］
　図１１Ａ及びＢは、本実施形態に係るカメラ２０の撮影画像の例を示す模式図である。図１１Ａに示す画像５０１は、鎖線の枠で囲んで示す岩山２０１と破線の枠で囲んで示す１個の岩石２０２を含む。この撮影画像の例に示された岩山２０２は、タイヤ６の破損に留意すべき岩石であって平面（路面ＲＳ）に存在する岩石である。画像認識部３１２は、学習済みモデル３２１に画像５０１（画像処理後）を入力することで、学習済みモデル３２１を用いて、留意すべき岩石２０２を含む画像であるとの判断結果を得ることができる。また、図１１Ｂに示す画像５０２は、鎖線の枠で囲んで示す岩山２０１と破線の枠で囲んで示す４個の岩石２０２を含む。この撮影画像の例に示された岩石２０２は、タイヤ６の破損に留意すべき岩石であって平面（路面ＲＳ）に存在する岩石である。画像認識部３１２は、学習済みモデル３２１に画像５０２（画像処理後）を入力することで、学習済みモデル３２１を用いて、留意すべき岩石２０２を含む画像であるとの判断結果を得ることができる。
［路面状況監視システムの作用効果］
　以上のように、路面状況監視システム１００は、車載カメラ２０に映った画像を計算機３０への入力として、画像認識技術によって監視対象が留意すべき岩石かどうかを識別することができる。本実施形態において留意すべき岩石とは一定以上の大きさの岩石、エッジ角度の鋭い岩石、岩山斜面上にない平面上に存在する岩石等とすることができる。本実施形態によれば、留意すべき岩石であれば、ブザー４０が発報し、モニタ５０に警告が表示され、オペレータに注意喚起を図ることができる。オペレータは、注意喚起を受けた場合、モニタ５０に表示される動画データを見て、前タイヤ６Ｆの破損を抑制するための措置を講じることができる。オペレータは、受けた注意喚起にしたがって、モニタ５０に表示される動画データを見て、前タイヤ６Ｆの前方に岩石２０２が転がっていることを確認し、その留意すべき岩石２０２に前タイヤ６Ｆが乗り上げないように、ブレーキを操作してホイールローダ１を停止させたり、ステアリングを操作してホイールローダ１の進行方向を変更させたりするなど、前タイヤ６Ｆの破損を抑制するための措置を講じることができる。
　本実施形態によれば、オペレータは、常時あるいは頻繁にモニタ５０を見ていなくても、留意すべき岩石２０２がタイヤ６の近傍に存在する時にのみ、モニタ５０を見るだけでよく、タイヤ６の破損を確実に回避する操作を行うことができる。すなわち、本実施形態によれば、オペレータは、通常はカメラ２０の映像に集中することなく掘削作業等を実行でき、留意すべき岩石２０２がタイヤ６に近づいたときのみ、走行操作を慎重に実行し、タイヤ破損を回避するための必要な措置を講じることができる。本実施形態によれば、オペレータが常時あるいは頻繁にモニタ５０を見ていなくても路面状況を監視することができ、作業性や生産性の向上を図ることができる。
［路面状況監視システムの基本的構成例］
　次に、図１２を参照して、前述の実施形態を含めた実施形態の基本的構成例について説明する。図１２は、前述の実施形態を含めた実施形態の基本的構成例を示すブロック図である。なお、図１～図１１Ａ及びＢに示す構成と同一または対応する構成には適宜同一の符号を用いている。以下、前述の実施形態の変形例を含めた実施形態の基本的構成例を説明する。
　図１２に示す路面状況監視システム６００は、例えばコンピュータとその周辺装置等のハードウェアとプログラム等のソフトウェアとを用いて構成される機能的構成要素として、路面状況取得部６０１と、記憶部６０２と、損傷判断部６０３と、出力部６０４を備える。また、記憶部６０２は、基準情報６０５を記憶する。
　路面状況取得部６０１は、タイヤ６が装着された作業車両１の走行機構４の駆動により作業車両１が進行する方向の路面ＲＳが含まれる範囲に存在する監視対象２００について監視対象２００の少なくとも形状または大きさに関する監視対象情報を取得する。作業車両１は、ホイールローダ、モータグレーダ、ダンプトラック等、タイヤ系作業車両とすることができる。なお、監視対象情報は、タイヤ６に対する監視対象の相対位置と相対向きに関する情報をさらに含んでいてもよい。監視対象情報は、タイヤ６に対する監視対象の存在位置に関する情報をさらに含んでいてもよい。路面状況取得部６０１は、カメラ（単眼、ステレオ、赤外線）、レーダスキャナ等とすることができる。監視対象は、例えば、岩（岩石）である。ただし、タイヤ破損の原因になる路面の穴も監視対象とすることができる。また、産業廃棄物処理場でホイールローダが稼働する場合、監視対象たるものは鋭利な金属物となる場合がある。当然ながらそのような金属物でもタイヤ破損のおそれがある。さらに、路面は、土の路面に限らずアスファルトやコンクリートで舗装された路面であってもよい。
　記憶部６０２は、タイヤ６が損傷を受ける可能性があるか否かの判断を行うための基準情報６０５を保存する。基準情報６０５は、人工知能（ＡＩ）による判断を行うのであれば学習済みモデル、画像処理（パターンマッチング）による判断を行うのであればパターンデータ、レーダスキャナであれば波形データ等々である。
　損傷判断部６０３は、走行機構４の駆動によりタイヤ６が監視対象２００に接触した場合、タイヤ６が損傷を受けるかどうかについての判断を路面状況取得部６０１が取得した監視対象情報と記憶部６０２が記憶する基準情報に基づき判断する。なお、損傷判断部６０３は、タイヤのブロックパターンの形状またはブロックパターンの大きさに関するタイヤ情報も用いてタイヤが損傷を受けるかどうかについての判断を行ってもよい。損傷判断部６０３は、人工知能（ＡＩ）による判断、画像処理によるパターンマッチングによる判断、レーダスキャナの受信信号の解析による判断等々のいずれかよって判断を行う。
　そして、出力部６０４は、損傷判断部６０３が判断した結果を出力する。なお、出力部６０４は、タイヤ６が複数ある場合、いずれのタイヤ６が損傷を受けるかどうかについて示す情報も損傷判断部６０３が判断した結果に含ませて出力してもよい。その場合、路面状況取得部６０１は、タイヤ６の数に応じた個数を備えていてもよい。出力部６０４は、運転室（キャブ）内のスピーカーによる音声出力、モニタへの画像出力、ヘッドアップディスプレイへの出力、操作レバーの振動による出力等々とすることができる。
　作業車両１の遠隔操作においては、作業車両１から離れた場所に、損傷判断部６０３が判断した結果を出力するようにしてもよい。出力部６０４が出力する結果は、物体によってタイヤ損傷の恐れがないことを示す結果であってもよい。すなわち、出力部６０４は、路面ＲＳに物体があることだけでなく路面ＲＳに物体がない（タイヤを破損する恐れがあるような鋭利な岩あるいは、穴、もしくは金属物が無い）ことを出力するものであってもよく、出力部６０４は「路面状況監視」の結果を出力するものである。
　図１２に示す路面状況監視システム６００によれば、オペレータが常時あるいは頻繁にモニタを見ていなくても路面状況を監視することができる。
　なお、出力部６０４は、作業車両１のブレーキ制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４からブレーキ装置に送信された信号に基づいて作業車両１のブレーキを自動で動作させることができる。
　また、出力部６０４は、作業車両１のステアリング制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４からアクチュエータに送信された信号に基づいて、アクチュエータがステアリングを制御させる。作業車両１のステアリングを制御させ、タイヤ６の破損を回避する方向に自動で作業車両１を旋回動作させることができる。
　また、出力部６０４は、作業車両１のエンジン回転数の制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４からエンジン回転数を低下させることを指示する信号を出力する。その信号は、エンジン制御を実行するコントローラに送信され、コントローラはエンジンの出力を低下させ作業車両１の速度を低下させることができる。
　また、出力部６０４は、作業車両１のバケット姿勢の制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４から、作業機１２の動作を制御する油圧バルブに送信された信号に基づいて、油圧バルブが作業車両１のバケットを自動で降下させる等させて監視対象とタイヤ６との接触を回避させることができる。
　なお、路面状況監視システム６００は、全ての構成が作業車両１に設けられていてもよいが、例えば作業車両１が遠隔操作可能な機器を備え、作業車両１を遠隔操作する場合には、路面状況監視システム６００を構成するもののうち、路面状況取得部６０１を除く出力部６０４等の一部の構成（例えば、出力部６０４に接続される表示装置や音声出力装置）が遠隔地に設けられていてもよい。例えば、出力部６が遠隔地にある表示装置（不図示）を含むとする。出力部６から出力される情報を、無線通信などを介して遠隔地の表示装置（不図示）に送信させ、表示装置に留意すべき監視対象についての注意喚起に関する情報（警報）を表示あるいは出力させる。遠隔操作を実行するオペレータが表示装置の表示あるいは出力を認識し、監視対象を確認した場合、作業車両１のタイヤ６が監視対象に接触しないように、遠隔操作で作業車両１のステアリング操作やブレーキ操作を実行することができる。
　なお、車速センサを設け、車速センサから作業車両の車両速度を示す信号を受けた出力部６０４は、車両速度に応じて注意喚起の情報を切り替えるようにしてもよい。例えば、作業車両が所定の速度より速い高速で走行している時は、出力部６０４は高い警報レベルの警告等を出力し、作業車両１が所定の速度より低い低速で走行している時は、出力部６０４は低いレベルの警告等を出力するようにしてもよい。
　なお、図１および図８等を参照して説明した実施形態の構成と、図１２に示す構成との対応関係は以下のとおりである。図１および図８に示す路面状況監視システム１００と、図１２に示す路面状況監視システム６００が対応する。図８に示すカメラ２０と入出力装置３３の一部の組み合わせが、図１２に示す路面状況取得部６０１に対応する。図８に示す画像認識部３１２が、図１２に示す損傷判断部６０３に対応する。図８に示す記憶装置３２が、図１２に示す記憶部６０２に対応する。図８に示す学習済みモデル３２１が、図１２に示す基準情報６０５に対応する。図８に示す入出力装置３３の一部とブザー４０とモニタ５０の組み合わせが、図１２に示す出力部６０４に対応する。図１に示す留意すべき岩石２０２が、図１２に示す監視対象２００に対応する。
　以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。
　本発明の上記開示によれば、オペレータが容易に路面状況を監視することができる。
１　ホイールローダ（作業車両）、２　車両本体、３　運転室、４　走行機構、５　車輪、６　タイヤ、７　動力伝達機構、１０　作業機、１１　アーム、１２　バケット（掘削部材）、１２Ｂ　刃先、１３　リフトシリンダ（油圧シリンダ）、１４　バケットシリンダ（油圧シリンダ）、１５　ベルクランク、１６　リンク、２０　カメラ、３０　計算機、３１　処理装置、３１１　画像処理部、３１２　画像認識部、３２　記憶装置。３２１　学習済みモデル、３３　入出力装置、４０　ブザー、５０　モニタ、ＲＳ　路面、２００　監視対象、１００、６００　路面状況監視システム、６０１　路面状況取得部、６０２　記憶部、６０３　損傷判断部、６０４　出力部、６０５　基準情報

Claims (7)

  1. 　タイヤが装着された作業車両の走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、
    　前記タイヤが損傷を受けるかどうかの判断を行うための基準情報を保存する記憶部と、
    　前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、
    　前記損傷判断部が判断した結果を出力する出力部と
    　を備える路面状況監視システム。
  2. 　前記監視対象情報は、前記タイヤに対する前記監視対象の相対位置と相対向きに関する情報をさらに含む
    　請求項１に記載の路面状況監視システム。
  3. 　前記損傷判断部は、前記タイヤのブロックパターンの形状または前記ブロックパターンの大きさに関するタイヤ情報も用いて前記タイヤが損傷を受けるかどうかについての判断を行う
    　請求項１または２に記載の路面状況監視システム。
  4. 　前記タイヤが複数であり、
    　前記出力部が出力する前記結果は、いずれの前記タイヤが損傷を受けるかどうかについて示す情報も含む
    　請求項１から３のいずれか１項に記載の路面状況監視システム。
  5. 　走行機構と、
    　前記走行機構に装着されるタイヤと、
    　前記走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、
    　前記タイヤが損傷を受けるかどうかの判断を行うための基準情報とを保存する記憶部と、
    　前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、
    　前記損傷判断部が判断した結果を出力する出力部と
    　を備える作業車両。
  6. 　作業車両の走行機構に装着されるタイヤが接する路面の状況を監視する方法であって、
    　前記走行機構の駆動により前記作業車両が進行する方向の前記路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得するステップと、
    　前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記タイヤが損傷を受けるかどうかの判断を行うための基準情報とに基づき判断するステップと、
    　前記判断した結果を出力するステップと
    　を含む路面状況監視方法。
  7. 　作業車両の走行機構に装着されるタイヤが接する路面の状況を監視するためのコンピュータに、
    　前記走行機構の駆動により前記作業車両が進行する方向の前記路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得するステップと、
    　前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記タイヤが損傷を受けるかどうかの判断を行うための基準情報とに基づき判断するステップと、
    　前記判断した結果を出力するステップと
    　を実行させるプログラム。
PCT/JP2020/041308 2019-11-21 2020-11-05 路面状況監視システム、作業車両、路面状況監視方法およびプログラム WO2021100469A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/772,243 US20220372733A1 (en) 2019-11-21 2020-11-05 Road surface condition monitoring system, work vehicle, road surface condition monitoring method, and program
CN202080080774.3A CN114729524A (zh) 2019-11-21 2020-11-05 路面状况监视系统、作业车辆、路面状况监视方法以及程序
EP20890154.6A EP4043645A4 (en) 2019-11-21 2020-11-05 SYSTEM FOR MONITORING THE CONDITION OF ROAD SURFACES, WORK VEHICLE, METHOD FOR MONITORING THE CONDITION OF ROAD SURFACES AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-210857 2019-11-21
JP2019210857A JP7295785B2 (ja) 2019-11-21 2019-11-21 路面状況監視システム、作業車両、路面状況監視方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021100469A1 true WO2021100469A1 (ja) 2021-05-27

Family

ID=75966202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041308 WO2021100469A1 (ja) 2019-11-21 2020-11-05 路面状況監視システム、作業車両、路面状況監視方法およびプログラム

Country Status (5)

Country Link
US (1) US20220372733A1 (ja)
EP (1) EP4043645A4 (ja)
JP (1) JP7295785B2 (ja)
CN (1) CN114729524A (ja)
WO (1) WO2021100469A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149544A1 (ja) * 2022-02-04 2023-08-10 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法
WO2023149543A1 (ja) * 2022-02-04 2023-08-10 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法
WO2024014116A1 (ja) * 2022-07-13 2024-01-18 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023114314A (ja) * 2022-02-04 2023-08-17 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法
JP2024011049A (ja) * 2022-07-13 2024-01-25 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法
CN115798081A (zh) * 2023-02-07 2023-03-14 中国第一汽车股份有限公司 车辆的信息处理方法、装置、存储介质、处理器和车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170598A (ja) * 2015-03-12 2016-09-23 三菱重工メカトロシステムズ株式会社 タイヤパターン判定装置、車種判別装置、タイヤパターン判定方法及びプログラム
JP2016203836A (ja) * 2015-04-24 2016-12-08 日立建機株式会社 車両及び鉱山用運搬車両の運用システム
WO2017077723A1 (ja) 2016-03-29 2017-05-11 株式会社小松製作所 作業車両
JP2019192157A (ja) * 2018-04-27 2019-10-31 株式会社ブリヂストン 車両の運行管理装置
JP2019210857A (ja) 2018-06-04 2019-12-12 株式会社オティックス ロッカアーム及びその製造方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197588A (ja) 2000-12-26 2002-07-12 Fujitsu Ltd 走行車両のタイヤ種別判別方法，車種判別方法及び車種判別装置
JP5805692B2 (ja) * 2013-03-21 2015-11-04 日立建機株式会社 ホイール式作業機械

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170598A (ja) * 2015-03-12 2016-09-23 三菱重工メカトロシステムズ株式会社 タイヤパターン判定装置、車種判別装置、タイヤパターン判定方法及びプログラム
JP2016203836A (ja) * 2015-04-24 2016-12-08 日立建機株式会社 車両及び鉱山用運搬車両の運用システム
WO2017077723A1 (ja) 2016-03-29 2017-05-11 株式会社小松製作所 作業車両
JP2019192157A (ja) * 2018-04-27 2019-10-31 株式会社ブリヂストン 車両の運行管理装置
JP2019210857A (ja) 2018-06-04 2019-12-12 株式会社オティックス ロッカアーム及びその製造方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149544A1 (ja) * 2022-02-04 2023-08-10 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法
WO2023149543A1 (ja) * 2022-02-04 2023-08-10 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法
WO2024014116A1 (ja) * 2022-07-13 2024-01-18 株式会社小松製作所 作業機械の監視システム及び作業機械の監視方法

Also Published As

Publication number Publication date
EP4043645A1 (en) 2022-08-17
CN114729524A (zh) 2022-07-08
JP2021080790A (ja) 2021-05-27
US20220372733A1 (en) 2022-11-24
JP7295785B2 (ja) 2023-06-21
EP4043645A4 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
WO2021100469A1 (ja) 路面状況監視システム、作業車両、路面状況監視方法およびプログラム
EP3385458B1 (en) Work vehicle and display device
US10421400B2 (en) Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle
JP7450083B2 (ja) 周辺監視システム及び周辺監視方法
CN103080990A (zh) 作业车辆的周边监视装置
CN103826918A (zh) 作业车辆用周边监视系统及作业车辆
CN114556253A (zh) 自驾驶车辆中的传感器视场
JP6259116B2 (ja) 作業車両
CN114127809A (zh) 基于运动信息从视频帧中排除作业机械的部件
CN115249416B (zh) 一种矿用梭车防碰撞预警方法及系统
CN113424521A (zh) 作业机械用周边监视装置
WO2024014116A1 (ja) 作業機械の監視システム及び作業機械の監視方法
US20240026644A1 (en) System and method for identifying obstacles encountered by a work vehicle within a work site
WO2024014115A1 (ja) 作業機械の監視システム及び作業機械の監視方法
US20230150358A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
US20230151583A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
US20230133175A1 (en) Object detection system and method for a work machine using work implement masking
JP2023056118A (ja) 作業車両の状態判断システム
KR20240077341A (ko) 건설장비의 후방안전시스템
JP2024094637A (ja) 遠隔装置および遠隔操縦システム
JP2022157015A (ja) 建設機械
KR20210123098A (ko) 건설장비 작업 램프 제어 시스템 및 그 방법
JP2022158412A (ja) 作業車両
JP2022156497A (ja) 転圧機械

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890154

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020890154

Country of ref document: EP

Effective date: 20220513

NENP Non-entry into the national phase

Ref country code: DE