WO2021039731A1 - 摩耗量測定システム - Google Patents

摩耗量測定システム Download PDF

Info

Publication number
WO2021039731A1
WO2021039731A1 PCT/JP2020/031866 JP2020031866W WO2021039731A1 WO 2021039731 A1 WO2021039731 A1 WO 2021039731A1 JP 2020031866 W JP2020031866 W JP 2020031866W WO 2021039731 A1 WO2021039731 A1 WO 2021039731A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
wear amount
feature point
wear
Prior art date
Application number
PCT/JP2020/031866
Other languages
English (en)
French (fr)
Inventor
崇 奥村
弘樹 高見
史十 岩崎
聡志 猪瀬
金野　浩之
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Publication of WO2021039731A1 publication Critical patent/WO2021039731A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/02—Gearings; Transmission mechanisms
    • G01M13/021—Gearings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Definitions

  • the present invention relates to a wear amount measuring system that calculates the amount of wear of a part of a part from an image including a part of a work machine.
  • Patent Document 1 obtains an image of a worn part of a work machine, measures the worn edge of the worn part from the acquired image, and wears from the result of the measured wear edge.
  • a wear determination system that identifies the wear state of a part has been proposed.
  • the present invention has been made in view of these points, and an object of the present invention is to measure the amount of wear that can more accurately measure the amount of wear of a part of a part from an image including a part of a work machine. Provide a system.
  • the wear amount measuring system is a wear amount measuring system including a calculation device for calculating the wear amount of the parts from an image captured including the parts of the work machine.
  • the learning image including a specific type of part of the work machine and a plurality of feature points for specifying the shape of the part where the part is worn in the learning image are used as training data to extract the feature point. It is provided with a feature point extraction unit that is machine-learned and extracts feature points of the portion in the captured image from the captured image, and a wear amount calculation unit that calculates the wear amount of the portion from the feature points.
  • the feature point extraction unit includes a learning image including a specific type of component of a work machine, and a plurality of feature points that specify the shape of a portion where the component wears in the learning image.
  • the teacher data the extraction of feature points is machine-learned. Therefore, for example, when the captured image captures the shape of the part of the component at an imaging angle at which the amount of wear can be calculated, feature points are extracted, but the captured image is captured at such an imaging angle. If not, the feature points are not extracted.
  • the feature points are extracted from the captured image in which the amount of wear can be calculated accurately, the amount of wear of the part of the part can be measured more accurately from the image including the part of the work machine.
  • FIG. 1 It is a schematic side view of the work machine which is the object of measurement of the wear amount measuring system which concerns on 1st to 3rd Embodiment of this invention. It is a schematic conceptual diagram of the wear amount measurement system which concerns on 1st Embodiment of this invention. It is a block diagram of the arithmetic unit of the wear amount measurement system shown in FIG. It is a block diagram for demonstrating the machine learning of the part detection part and the feature point extraction part shown in FIG. It is a schematic diagram which showed the image for learning by the part detection part shown in FIG. It is a schematic diagram which showed the learning image by the feature point extraction part shown in FIG. It is a schematic diagram which displayed the result by the part detection part and the feature point extraction part shown in FIG.
  • FIG. 11 in an image. It is a schematic diagram for demonstrating the correction by the feature point correction part shown in FIG. It is a work flow figure by the wear amount measuring system shown in FIG. It is a block diagram which concerns on the modification shown in FIG. It is a block diagram of the arithmetic unit of the wear amount measurement system which concerns on 3rd Embodiment of this invention. It is a schematic diagram which set the shooting guide in the captured image of the tooth of the bucket of the work machine shown in FIG. It is a schematic diagram which set the region and the feature point in the learning image of the tooth shown in FIG. 17A. It is a schematic diagram which displayed the region and the feature point in the captured image of the tooth.
  • FIG. 20A It is a schematic diagram in which a shooting guide is set in the captured image of the roller of the work machine shown in FIG. It is a schematic diagram which set the region and the feature point in the learning image of the roller shown in FIG. 18A. It is a schematic diagram which displayed the region and the feature point in the image taken by the roller. It is a schematic diagram in which a shooting guide is set in the captured image of the shoe plate of the work machine shown in FIG. It is a schematic diagram which set the region and the feature point in the learning image of the shoe plate shown in FIG. 19A. It is a schematic diagram which displayed the region and the feature point in the image taken by the shoe plate. It is a schematic diagram in which a shooting guide is set in the captured image of the link of the work machine shown in FIG. It is a schematic diagram which set the region and the feature point in the learning image of the link shown in FIG. 20A. It is a schematic diagram which displayed the area and the feature point in the captured image of a link.
  • the work machine 5 to be measured for wear is not particularly limited, but is, for example, a hydraulic excavator or the like.
  • the wear amount measurement system 1 of the present embodiment an example of the configuration of the work machine 5 to be measured by the wear amount measurement system 1 of the present embodiment will be described first, and then the wear amount measurement system 1 of the present embodiment will be described in detail.
  • the work machine 5 has a crawler type traveling body 51, a swivel body 52 rotatably provided on the traveling body 51, and an articulated type mounted on the swivel body 52 as a hydraulic load. It is equipped with a front working machine 53.
  • a cabin 54 is provided on one side of the front left and right sides of the swivel body 52, and a front working machine 53 that rotates in the vertical direction to perform work such as excavation is provided in the center of the front portion of the swivel body 52.
  • a counterweight 56 for maintaining the balance of the weight of the machine body is provided at the rear part of the turning body 52.
  • the traveling body 51 is provided with an idler 51A1 at the front end and a sprocket 51A2 driven by a traveling motor (not shown) at the rear end.
  • a link (link assembly) 51B is bridged between the idler 51A1 and the sprocket 51A2, and a roller 51C for supporting the link 51B is provided between the idler 51A1 and the sprocket 51A2.
  • a shoe plate 51D to be installed on the ground is attached to the link 51B.
  • the front work machine 53 is, for example, a machine provided on the front side of the swivel body 52 and driven by a hydraulic drive device to perform work such as excavation work.
  • a boom 53A, an arm 53B, and a bucket 53C are connected to each other, and these are operated by hydraulic cylinders 53a, 53b, and 53c.
  • a plurality of teeth (claw portions) 53D are fixed to the tip of the bucket 53C at intervals in the width direction.
  • the wear amount measuring system 1 measures the wear amount of the teeth 51a of the sprocket 51A2, and in the third embodiment, the wear amount of the parts of these parts is measured. Measure. In the first and second embodiments, the amount of wear of each of these parts shown in the third embodiment may be measured individually, and the portion of the part to be worn is not particularly limited.
  • the wear amount measurement system 1 is a part of a component constituting a work machine 5 imaged by a plurality of communication terminals 3, 3, ... It is a device that calculates the amount of wear of the portion by the arithmetic device 3A of each communication terminal 3 and the arithmetic device 2A of the server 2 via the network.
  • the wear amount measuring system 1 includes the server 2.
  • a series of applications for calculating the wear amount of the part from the image of the part described above can be installed in the storage unit 3b of the arithmetic unit 3A.
  • it may be composed of only each communication terminal 3.
  • the server 2 includes at least an arithmetic unit 2A, and the arithmetic unit 2A includes an arithmetic unit 2a composed of a CPU and the like, and a storage unit 2b composed of a ROM, a RAM, and the like.
  • the storage unit 2b stores teacher data such as a learning image described later, a program for executing the site detection unit 21 and the feature point extraction unit 22, and the calculation unit 2a stores these.
  • a device that executes a program In this specification, the site detection unit 21 and the feature point extraction unit 22 shown in FIGS. 3 and 3 are shown as parts for executing the program stored in the storage unit 2b in the calculation unit 2a.
  • the server 2 is accessible by, for example, each pre-registered communication terminal 3, and receives calculation results such as an image captured by each communication terminal 3 and the amount of wear of a portion, and these results are stored in a storage unit. It may be stored in 2b.
  • the communication terminal 3 is a general mobile terminal or tablet terminal, and includes an arithmetic unit 3A, a touch panel display 3D, and an image pickup device 3E.
  • the arithmetic unit 3A includes an arithmetic unit 3a composed of a CPU and the like, and a storage unit 3b composed of a ROM, RAM and the like.
  • the storage unit 3b stores a program for executing the image acquisition unit 33, the extraction determination unit 34, the wear amount calculation unit 37A, and the like, which will be described later, and the calculation unit 3a is a device that executes this program.
  • the image acquisition unit 33, the extraction determination unit 34, the wear amount calculation unit 37A, and the like shown in FIGS. 3 and 3 are shown as parts in which the program stored in the storage unit 3b is executed by the calculation unit 3a. ..
  • the touch panel display 3D is composed of a display device 3B and an input device 3C.
  • the display device 3B is a display screen, and displays images and images captured by the image pickup device 3E, calculation results calculated by the calculation device 3A, and the like.
  • the input device 3C is a device in which an operator inputs predetermined data or the like to the arithmetic unit 2A.
  • the input device 3C is a feature of a part of a component described later, which is displayed on an input button (icon) and a display device (display screen) 3B in which an operator inputs a command signal for acquiring an image to the image pickup device 3E. It has a marker (icon) that corrects the position of the point.
  • the image pickup device 3E is a device for capturing a digital image and a digital image of a digital camera or the like, and in the present embodiment, the image pickup device 3E is a device for displaying an image (moving image) at a predetermined timing according to the activation of an application for executing wear measurement. Display on 3B. However, this moving image is not recorded in the storage unit 3b.
  • the image acquisition unit 33 uses the image (moving image) displayed on the display device 3B, and the image pickup device 3E acquires the captured image (still image). This captured image is recorded in the storage unit 3b.
  • the arithmetic unit 2A of the server 2 includes an identification device 20 including a site detection unit 21 and a feature point extraction unit 22 as software.
  • the identification device 20 identifies the teeth 51a of the sprocket 51A2 from the above-mentioned image of the sprocket, is generated by the learning unit 40 (see FIG. 4) installed in the storage unit 2b of the server 2, and is generated by the calculation unit 2a. Is executed by.
  • the identification device 20 may be provided in the arithmetic unit 3A of the communication terminal 3. Since FIG. 3 is a block diagram for explaining the utilization by the part detection unit 21 and the feature point extraction unit 22, which are trained models, the learning unit 40 used in the learning phase is omitted in FIG. ing.
  • the site detection unit 21 detects the position of the tooth, which is the site of the component, from the image of the sprocket 51A2 as a component of the work machine 5.
  • the site detection unit 21 includes a learning image including the sprocket 51A2 as a specific type of component of the work machine 5, and a region of teeth 51a (specifically, a rectangular region) which is a wearable portion of the sprocket 51A2 in the learning image. ) Is used as teacher data, and the detection of the region of the tooth 51a is machine-learned from this teacher data. Therefore, the site detection unit 21 detects the region of the teeth 51a of the sprocket 51A2 in the captured image from the captured image (specifically, the image acquired by the image acquisition unit 33) captured by the imaging device 3E.
  • the site detection unit 21 includes a local feature amount extraction unit 21a, an object classifier 21b, and a region identification unit 21c.
  • the local feature amount extraction unit 21a extracts the local feature amount of the image while selecting a region to be a rectangular plurality of pixels included in the captured image by shifting by a predetermined number of pixels.
  • HOG Heistograms of Oriented Gradients
  • features feature vectors
  • the HOG feature amount is a histogram of the gradient of the brightness of the image.
  • the object classifier 21b is machine-learned from the features of the image G1 of the teeth (parts) 51a of the sprocket (parts) 51A2 of the work machine 5. Specifically, the object discriminator 21b is a discriminant function machine-learned by an SVM (Support Vector Machine), and is learned by the learning unit 40.
  • SVM Small Vector Machine
  • the learning unit 40 is provided in the arithmetic unit 2A of the server 2.
  • the learning unit 40 may be provided in another system, for example, and the site detection unit 21 and the feature point extraction unit 22 generated by the other system may be installed in the arithmetic unit 2A of the server 2.
  • the learning unit 40 includes a learning image storage unit 41 in which a large number of learning images g1 showing the teeth (parts) 51a of the sprocket (part) 51A2 are stored, and each of the learning images g1. It is provided with a site region storage unit 42 that is associated with and stores regions r1, r2, ... Of the teeth 51a.
  • the site area storage unit 42 stores two rectangular areas r1 and r2 in the learning image g1, and specifically, stores the coordinates of the four corners of the areas r1 and r2.
  • the learning unit 40 further includes a feature point storage unit 43, a first learning unit 44, and a second learning unit 45.
  • the first learning unit 44 is a learning device having an SVM, and generates an object classifier 21b.
  • the SVM is basically a two-class discriminator.
  • the images extracted by the local feature amount extraction unit 21a are sequentially input to the first learning unit 44 with respect to the learning image g1 stored in the learning image storage unit 41.
  • the images of the areas r1 and r2 stored in the site area storage unit 42 are used as positive examples, and the images of the other areas are used as negative examples.
  • the object classifier 21b is used. Will be generated.
  • the HOG feature amount extracted for each pixel group is input to the captured image G1 by the local feature amount extraction unit 21a into the object classifier 21b which is a learned model.
  • the teeth 51a of the sprocket 51A2 can be identified in the captured image G1 by the rectangular regions R1 and R2.
  • the region identification unit 21c identifies the coordinates of the four corners of each region R1 and R2 in the captured image G1 based on the identification result of the object classifier 21b (see, for example, FIG. 6A). This result is sent to the extraction determination unit 34, which will be described later.
  • the feature point extraction unit 22 has a shape of the above-mentioned learning image g1 including the sprocket (part) 51A2 of the working machine 5 and a tooth (part) 51a in which the sprocket 51A2 is worn in the learning image g1.
  • the extraction of the feature points is machine-learned using a plurality of feature points a1 to a10 and b1 to b10 for specifying the above as teacher data.
  • the feature point extraction unit 22 extracts feature points A1 to A10 and B1 to B10 of the teeth (sites) 51a of the sprocket 51A2 in the captured image G1 from the captured image G1 (see, for example, FIG. 6A).
  • the feature point extraction unit 22 includes a feature point classifier 22a and a feature point identification unit 22b.
  • the feature point classifier 22a is a cascade type classifier and is generated by the second learning unit 45 of the learning unit 40.
  • the second learning unit 45 has a random forest (Random Forest) algorithm.
  • a large number of learning images g1 stored in the learning image storage unit 41 are associated with an image whose feature amount is extracted by the local feature amount extraction unit 21a and each learning image g1.
  • the coordinates of the feature points a1 to a10 and b1 to b10 stored in the point storage unit 43 and the data of the areas r1 and r2 stored in the site area storage unit 42 are input.
  • the feature points a1 to a7 and the feature points b1 to b7 which are the features of the shape from the tooth ridge to the tooth ridge, Feature points a8 to a10 and feature points b8 to b10 near the tooth base on the circumference 51b of the sprocket 51A2 are stored for each learning image g1.
  • the circumference 51b is a circumference formed at a constant distance from the center of rotation of the sprocket 51A2.
  • the feature points a8 and a10 (b8 and b10) are the intersections of the perpendicular line drawn from a1 and a7 (b1 and b7) located at the apex of the mountain of the tooth 51a to the circumference 51b and the circumference 51b.
  • the feature point a9 (b9) is an intersection of the perpendicular line drawn from a4 (b4) located at the valley point of the tooth 51a to the circumference 51b and the circumference 51b.
  • the second learning unit 45 machine-learns the extraction of the feature points A1 to A10 and the feature points B1 to B10 by the random forest, and generates the feature point classifier 22a. To do.
  • the HOG feature amount extracted for each pixel group is input to the captured image G1 by the local feature amount extraction unit 21a into the feature point classifier 22a which is a trained model.
  • the feature point classifier 22a which is a trained model.
  • FIG. 6A feature points A1 to A10 and B1 to B10 of the shape of the teeth 51a of the sprocket 51A2 are extracted in or near the rectangular regions R1 and R2 in the captured image G1.
  • the feature point specifying unit 22b specifies the coordinates of the feature points extracted in the captured image G1. This result is sent to the area / feature point output unit 35.
  • SVM was used for the first learning unit 44 and a random forest was used for the second learning unit 45 as the machine learning algorithm.
  • machine learning algorithm generally known algorithms such as Decision Tree, Booting, Real AdaBoost, and neural network may be used.
  • HOG feature amount is illustrated for machine learning, but other feature amounts such as LBP (Local Binary Pattern) feature amount and Haar-like feature amount may be used, or a plurality of feature amounts may be used. It may be used in combination.
  • the arithmetic unit 3A of the communication terminal 3 includes an image acquisition unit 33, an extraction determination unit 34, an area / feature point output unit 35, and a wear amount calculation as software.
  • a unit 37A, a replacement time calculation unit 37B, and a reference gauge setting unit 37C are provided (see FIG. 3). These are installed in the storage unit 3b of the arithmetic unit 3A of the communication terminal 3 as one application for measuring the amount of wear, and are executed by the arithmetic unit 3a.
  • the image acquisition unit 33 acquires the captured image G1 from the image pickup device 3E.
  • the image acquisition unit 33 acquires the captured image G1 by the image pickup device 3E at the timing when the operator presses the input button arranged on the input device 3C.
  • a real-time image (moving image) captured by the image pickup device 3E is displayed on the display device 3B, and the operator presses an input button (not shown) while checking the image.
  • the image pickup device 3E captures an object, and the image acquisition unit 33 acquires an image that is a still image.
  • the extraction determination unit 34 determines the execution of the feature point extraction by the feature point extraction unit 22 based on the detection result of the site detection unit 21. Specifically, the extraction determination unit 34 permits the feature point extraction unit 22 to extract the feature points from the captured image G1 when the site detection unit 21 can detect the teeth of the sprocket 51A2.
  • the extraction determination unit 34 does not allow the feature point extraction unit 22 to execute the extraction of the feature points for the captured image G1, and causes the display device 3B to display the image captured by the image pickup device 3E. This prompts the operator to image the teeth 51a of the sprocket 51A2 again using the image pickup device 3E.
  • the feature point extraction unit 22 extracts the feature points A1 to A10 and B1 to B10 of the tooth valley regions R1 and R2 of two adjacent sprockets, but for example, only one region R1 is extracted. If the site detection unit 21 cannot be detected, the position of the region R2 may be estimated from the circumference 51b or the like of the sprocket 51A2. In this case, the feature points B1 to B10 are extracted by the feature point extraction unit 22 using the image of the estimated region R2.
  • the area / feature point output unit 35 displays the results of the site detection unit 21 and the feature point extraction unit 22 on the display device 3B.
  • the region / feature point output unit 35 includes the captured image G1 and the regions R1 and R2 of the teeth 51a detected by the site detection unit 21 on the captured image G1 and the feature points.
  • the feature points A1 to A10 and B1 to B10 extracted by the extraction unit 22 are displayed.
  • the wear amount calculation unit 37A calculates the wear amount of the teeth 51a of the sprocket 51A2 from the feature points A1, A2, A8, and B6. Specifically, in the present embodiment, as shown in FIG. 6B, the distance between the feature point A1 and the feature point A8 is the length X1 close to the tooth height, and the distance between the feature point A2 and the feature point B6 is the tooth width. Corresponds to X2. Since the length X1 is almost unchanged even if the teeth 51a are worn, the wear state of the teeth 51a can be grasped by the amount of decrease in the tooth width X2. In the present embodiment, the value of X2 / X1 can be calculated as the wear rate, and the wear rate of the tooth 51a can be calculated as the wear amount of the tooth 51a.
  • the replacement time calculation unit 37B calculates the replacement time of the sprocket (part) 51A2 from the amount of wear (wear rate) of the teeth 51a of the sprocket (part) 51A2.
  • the wear amount (wear rate), the usage time, and the data of the sprocket 51A2 are measured in advance, and the used time of the sprocket 51A2 and the plotted points are plotted.
  • the simple regression lines these linear functions.
  • the remaining usage time that is, the replacement time of the sprocket 51A2 is calculated by subtracting the current usage time of the sprocket 51A2 from the required replacement time of the sprocket 51A2 (life time of the sprocket 51A2). Can be done.
  • the calculation result of the replacement time calculation unit 37B is displayed on the display device 3B as a result as shown in FIG. 8, for example.
  • the reference gauge setting unit 37C sets an image of the reference gauge (virtual gauge) 51p according to the surface shape of the teeth 51a before wear on the teeth 51a of the sprocket 51A2 of the captured image G1 displayed on the display device 3B. ..
  • the reference gauge 51p aligns the position of the reference gauge 51p from the line segment between the feature point A1 and the feature point A8 and the line segment between the feature point A2 and the feature point B6 specified by the wear amount calculation unit 37A. In this way, how much the sprocket 51A2 is worn can be easily confirmed via the display device 3B.
  • step S91 the above-mentioned application for measuring the amount of wear installed in the communication terminal 3 is started.
  • step S92 the process proceeds to step S92, and after the application is started, the teeth 51a and the imaging range of the imaging device 3E are aligned so that the teeth 51a of the sprocket 51A2 are imaged.
  • step S93 the image pickup device 3E images the sprocket 51A2, which is a part of the work machine 5, by the operation from the input device 3C by the operator.
  • step S94 the process proceeds to step S94, and the site detection unit 21 detects the region including the teeth 51a of the sprocket 51A2 from the captured image G1.
  • step S95 if the extraction determination unit 34 determines that the tooth 51a of the sprocket 51A2 has not been detected by the site detection unit 21, the process proceeds to step S92 in order to perform imaging again.
  • step S95 the extraction determination unit 34 determines in step S95 that the tooth 51a of the sprocket 51A2 has been detected by the site detection unit 21, the process proceeds to step S96, and the process proceeds to step S96 to proceed to the feature points A1 to A10 and B1 to B10 of the teeth 51a. Is extracted (see FIG. 6A).
  • step S97 the wear amount calculation unit 37A calculates the wear amount (wear rate) of the tooth 51a from the feature points A1, A2, A8, and B6 (see FIG. 6B).
  • the replacement time calculation unit 37B calculates the replacement time of the sprocket (part) 51A2 from the wear amount (wear rate) of the teeth 51a of the sprocket (part) 51A2 (see FIG. 7).
  • the reference gauge setting unit 37C is a reference gauge (virtual gauge) corresponding to the surface shape of the teeth 51a before wear with respect to the teeth 51a of the sprocket 51A2 of the captured image G1 displayed by the display device 3B. An image of 51p is set, and an image showing the difference between the reference gauge 51p and the actual wear and a graph as a guideline for the recommended replacement time are displayed (see FIG. 8).
  • the site detection unit 21 is provided.
  • the site detection unit 21 is omitted, and the feature point extraction unit 22 with respect to the captured image G1 features the teeth 51a of the sprocket 51A2.
  • a point may be extracted and the amount of wear of the tooth 51a may be measured from this feature point.
  • the second learning unit 45 displays the learning image g1 of the learning image storage unit 41 and the learning feature points a1 to a10 and b1 to b10 of the feature point storage unit 43.
  • the feature point classifier 22a is generated as the teacher data.
  • the captured image G1 is input from the image acquisition unit 33, and the HOG feature amount of the captured image G1 is calculated.
  • the feature point storage unit 43 extracts the feature points A1 to A10 and B1 to B10 of the teeth 51a from the HOG feature amount of the captured image G1, and the feature point specifying unit 22b specifies these coordinates. Therefore, in such a case, in addition to the site detection unit 21 shown in FIG. 3, the extraction determination unit 34 shown in FIG. 3 can be omitted, and the region / feature point output unit 35 can use the regions R1 and R2. Do not output. Further, the site area storage unit 42 and the first learning unit 44 shown in FIG. 3 can also be omitted.
  • the feature point extraction unit 22 includes the learning image g1 including the sprocket 51A2 as a specific type of part of the work machine 5, and the tooth 51a which is a portion where the sprocket 51A2 is worn in the learning image g1.
  • the extraction of the feature points is machine-learned using a plurality of feature points a1 to a10 and b1 to b10 for specifying the shape of the feature points as teacher data. Therefore, for example, when the captured image G1 captures the shape of the part of the component at an imaging angle at which the amount of wear can be calculated, the feature points are extracted due to the learning by the teacher data. However, if the image is not taken at such an imaging angle, the feature points are not extracted.
  • the wear amount of the part part should be measured more accurately from the image G1 including the sprocket 51A2 of the work machine 5. Can be done. Furthermore, the state of wear can be grasped more accurately by the feature points as compared with the case where edge detection of simple image processing is used.
  • the display device 3B displays an image diagram in which a virtual gauge is fitted to the image captured by the image pickup device 3E and an image diagram of a graph showing the correlation between the amount of wear and the recommended replacement time.
  • a safety inspector at the site can show the customer a suggestion such as "Why don't you replace it soon?"
  • FIG. 11 is a wear amount measuring system 1 according to the second embodiment.
  • the wear amount measuring system 1 according to the present embodiment differs from that of the first embodiment in that it includes a guide setting unit 32 and a feature point correction unit 36. 2
  • the learning unit 45 executes re-learning. Therefore, the same configuration as that of the first embodiment omits a detailed description thereof.
  • the guide setting unit 32, the feature point correction unit 36, and the re-learning function are provided, but in the wear amount measurement system 1 of the second embodiment, at least one of these is provided. May be provided.
  • the arithmetic unit 2A selects a photographing guide (reference line) T1 according to the shape of the component to be photographed for the image (moving image) ga1 of the imaging device 3E displayed on the display device 3B.
  • a guide setting unit 32 for setting is further provided. Specifically, as shown in FIG. 12, the photographing guide T1 is displayed on the image ga1 in order to specify the position where the feature points of the sprocket 51A2 are extracted, and in the present embodiment, the teeth of the sprocket 51A2 are displayed. It is set at a position along the circumference 51b and 51a (specifically, the tip of the tooth).
  • the operator only has to image the teeth 51a of the sprocket 51A2 along the photographing guide T1, so that the feature point extraction unit 22 more accurately extracts the feature points. It can be carried out.
  • the inclination of the communication terminal 3 with respect to the ground (horizontal plane) is directly reflected in the image displayed on the display device 3B.
  • the communication terminal 3 may be provided with a gyro sensor, and the display device 3B may display the photographing guide T1 in a fixed posture on the image ga1 regardless of the inclination of the communication terminal 3 with respect to the ground.
  • the photographing guide T1 does not change regardless of the posture of the communication terminal 3 with respect to the ground, so that the teeth 51a of the sprocket 51A2 can be imaged more stably.
  • the image is taken by the operator, but for example, the image pickup device 3E may automatically take an image after a predetermined time has elapsed from the start of the application.
  • the arithmetic unit 3A further includes a feature point correction unit 36 that corrects the position of the feature point in accordance with the change in the position of the feature point extracted by the feature point extraction unit 22.
  • the display device 3B displays the feature points extracted by the feature point extraction unit 22 on the captured image G1 together with the captured image G1.
  • FIG. 13 shows feature points A1, A2, A8, and B6 that contribute to the calculation of the amount of wear.
  • the operator inputs a change in the positions of the feature points A1, A2, A8, and B6 on the captured image G1 with respect to the feature points A1, A2, A8, and B6 displayed on the display device 3B. Can be done.
  • the feature point correction unit 36 enables the operator to tap (select) a feature point whose position should be changed among the positions of the feature points displayed by the display device 3B. There is.
  • the feature point correction unit 36 enlarges and displays the portion including the feature point tapped by the operator via the input device 3C by tapping.
  • the feature point correction unit 36 further moves the feature point from the current position to the position to be corrected while the operator touches the tapped feature point (enlarged display feature point), and the operator moves the feature point from the moved feature point. When you release your finger, the feature point will change there.
  • the wear amount calculation unit 37A more accurately reduces the wear amount of the teeth 51a of the sprocket 51A2 based on the feature points A1 and B6 corrected by the feature point correction unit 36. Can be calculated.
  • the feature point correction unit 36 makes corrections by the feature points A1, A2, A8, and B6 that contribute to the calculation of the amount of wear.
  • the feature point correction unit 36 makes corrections in the feature point extraction unit 22. The positions of all the extracted feature points may be corrected.
  • the arithmetic unit 2A features the captured image G1 and the feature points A1 to A10 and B1 to B10 including the modified feature points A1 and B6 as further teacher data in the second learning unit 45.
  • the point extraction unit 22 may be relearned. As a result, the accuracy of extracting feature points by the feature point extraction unit 22 can be further improved.
  • step S92' is different from that of the first embodiment, and further, steps S141 to S143 are performed between steps S96 and S97.
  • the added point is different from that of the first embodiment.
  • the operator images the teeth 51a of the sprocket 51A2 in step S93 with the photographing guide T2 aligned with the portions of the sprocket 51A2 (teeth 51a and circumference 51b).
  • the teeth 51a of the sprocket 51A2 to be measured for the amount of wear are arranged at a specific position of the captured image G1, so that the region detection unit 21 detects the region of the teeth 51a and the feature point extraction unit 22 detects the teeth. It is possible to more accurately extract feature points including 51a.
  • step S141 it is determined whether the position of the feature point is correct, and if it is correct, the process proceeds to step S97, and the wear amount calculation unit 37A continues from the feature points A1, A2, A8, and B6 to the teeth.
  • the amount of wear (wear rate) of 51a is calculated (see FIG. 6B).
  • step S97 see FIG. 13
  • the operator taps the feature point whose position is to be changed among (candidates for) the feature point, and the vicinity of the tapped feature point is enlarged and displayed on the display device 3B.
  • the wear amount calculation unit 37A calculates the wear amount (wear rate) of the tooth 51a based on the feature points corrected by the feature point correction unit 36. In line with this, in step S143, the second learning unit 45 relearns the feature point extraction unit 22. Through such a series of operations, the amount of wear can be calculated more accurately as the position of the feature point is corrected by the operator, and the replacement time of the sprocket 51A2 can be accurately determined.
  • the captured image G1 was acquired by the input operation (pressing the input button) of the operator.
  • the captured image G1 may be acquired by the wear amount measuring system 1 according to the modified example shown in FIG. This modification is mainly different from the second embodiment shown above in that the image pickup permission unit 33A is further provided.
  • the display device 3B is configured to display an image (moving image) from the image pickup device 3E before acquiring the captured image G1.
  • the video (moving image) is also input to the site detection unit 21.
  • the site detection unit 21 is configured to acquire an image from the image and detect the regions R1 and R2 of the teeth 51a of the sprocket 51A2.
  • the arithmetic unit 3A includes an image pickup permission unit 33A that allows the image pickup device 3E to take an image at the timing when the site detection unit 21 detects the regions R1 and R2 of the teeth 51a of the sprocket 51A2 in the image from the video.
  • the image acquisition unit 33 transmits the image G1 to the image pickup device 3E at the timing when the site detection unit 21 detects the regions R1 and R2 of the teeth 51a of the sprocket 51A2, that is, at the timing when the image pickup permission unit 33A permits the image pickup. Outputs a command signal for acquisition. As a result, the image pickup device 3E automatically acquires the captured image G1 regardless of the operation of the operator. Since the acquired image G1 is an image in which the site detection unit 21 detects the regions R1 and R2 of the teeth 51a of the sprocket 51A2, the feature point extraction unit 22 can extract the feature points at accurate positions. ..
  • FIG. 16 is a wear amount measuring system 1 according to the third embodiment.
  • the wear amount measuring system 1 according to the present embodiment differs from that of the second embodiment in that the wear amount is measured for a plurality of types of parts.
  • a setting unit 31A, an identification device selection unit 31B, and a plurality of types (5 types) of identification devices 20A to 20E corresponding to a plurality of types of parts are provided. Therefore, the same configuration as that of the second embodiment omits a detailed description thereof.
  • the arithmetic unit 2A of the server 2 includes identification devices 20A to 20E according to a plurality of types (five types) of parts of the work machine 5.
  • the arithmetic unit 2A includes a plurality of types (5 types) of feature point extraction units 22A to 22E.
  • the site detection unit 21A of the identification device 20A detects the region of the tooth (site) 51a of the sprocket 51A2 as a component, and the feature point extraction unit 22A extracts the feature points of the sprocket 51A2 (FIG. See 6A). This is the same as that described in the first and second embodiments.
  • the site detection unit 21B of the identification device 20B detects the region of the tip (site) 53d of the tooth 53D as a component, and the feature point extraction unit 22B extracts the feature points of the tooth 53D (see FIG. 17C).
  • the site detection unit 21C of the identification device 20C detects the region of the support portion (site) 51 g of the roller 51C as a component, and the feature point extraction unit 22C extracts the feature points of the roller 51C (see FIG. 18C).
  • the site detection unit 21D of the identification device 20D detects the region of the convex portion (site) 51h of the shoe plate (part) 51D as a component, and the feature point extraction unit 22D extracts the feature points of the shoe plate 51D ( See FIG. 19C).
  • the site detection unit 21D of the identification device 20E detects the region of the convex portion (site) 51h of the link (component) 51B as a component, and the feature point extraction unit 22E extracts the feature points of the link 51B (FIG. 20C). reference).
  • the arithmetic unit 3A of the communication terminal 3 includes a component setting unit 31A and an identification device selection unit 31B.
  • the component setting unit 31A sets one component from a plurality of types (five types) of components, and one component (specifically, a component) is set by input information input by an operator via an input device 3C. Code number) is set.
  • the identification device selection unit (extraction unit selection unit) 31B selects one identification device from a plurality of types (5 types) of identification devices 20A to 20E according to the parts set by the component setting unit 31A.
  • the component setting unit 31A sets the sprocket 51A2 as a component
  • the identification device selection unit 31B selects the identification device 20A.
  • the identification devices 20A to 20E are composed of the feature point extraction units 22A to 22E, so that the identification device selection unit 31B is the feature point extraction units 22A to 22E. select.
  • the guide setting unit 32 selects and sets one of the shooting guides T1 to T5 according to the selected component. Specifically, when the selected component is the sprocket 51A2, the photographing guide T1 described in the second embodiment is set.
  • the guide setting unit 32 displays the photographing guide T2 including the contour lines on both sides of the central tooth 53D and the lines perpendicular to the contour lines as shown in FIG. 17A. Set to.
  • the guide setting unit 32 displays an image of the rotation axis of the roller 51C and the photographing guide T3 corresponding to the contour line up and down along the support portion as shown in FIG. 18A. Set to ga3.
  • the guide setting unit 32 is orthogonal to a line along the surface of the shoe plate 51D adjacent to the link 51B as shown in FIG. 19A.
  • the center line of the convex portion 51h of the shoe plate 51D is set as the photographing guide T4 in the image ga4.
  • the guide setting unit 32 includes a circle along the connecting hole in which the links 51B are connected to each other, and a member of the link 51B.
  • the contour line is set in the image ga5 as a shooting guide T5.
  • the generation of the trained model will be described below.
  • the learning image g2 and the regions r31 to r35 of each tooth 53D are used as teacher data in the same manner as described above, as shown in FIG. 17C.
  • the first learning unit 44 generates a site detection unit 21B in which the detection of the regions R31 to R35 in the captured image G2 is learned.
  • the point extraction unit 22B is generated by the second learning unit 45.
  • the feature points to be learned are the intersections of the tooth 53D and the bucket 53C as the feature points c1 and c5, the mounting position of the tooth 53D (the boundary point with the adapter) as the feature points c2 and c4, and the tip of the tooth 53D as the feature point c3. To do.
  • the region detection unit 21B and the feature point extraction unit 22B which are trained models, detect regions R31 to R35 of each tooth 53D for the captured image G2 and extract feature points C1 to C5. can do.
  • the wear amount calculation unit 37A sets the length of the line segment of the feature point C2 and the feature point C4 to X3, and sets the length from the feature point C3 to the intersection of the line orthogonal to this line segment to X4, and sets X4.
  • the amount of wear (wear rate) of the tooth 53D is calculated. Since X4 decreases due to wear and X3 hardly changes, the wear state of the tooth 53D can be grasped by calculating X4 / X3.
  • the image g3 for learning and the region r4 of the roller 51C are used as teacher data in the same manner as described above, and the captured image is as shown in FIG. 18C.
  • the first learning unit 44 generates the site detection unit 21C in which the detection of the region R4 in G3 has been learned.
  • the point extraction unit 22C is generated by the second learning unit 45.
  • the feature points to be learned are the intersections of the rotation axis of the roller 51C and the contour lines at both ends of the support portion 51g as feature points d1 and d2, and the points along the contour line of the support portion 51g of the roller 51C as feature points d3 to d8. And.
  • the lines connecting the feature points d3 to d8 are substantially straight lines, and as the wear progresses, these lines become concave curves as shown in FIG. 18B.
  • the part detection unit 21C and the feature point extraction unit 22C which are trained models, detect the region R4 of the support portion 51g of each roller 51C with respect to the captured image G3, and feature points D1 to D8. Can be extracted.
  • the wear amount calculation unit 37A sets the distance between the feature point D4 and the feature point D8 in the rotation axis direction as X5, and sets the distance between the feature point D4 and the feature point D8 in the direction orthogonal to the rotation axis as X6.
  • the amount of wear (wear rate) of the roller 51C is calculated. Since X6 decreases due to wear and X5 hardly changes, the state of wear of the roller 51C can be grasped by calculating X6 / X5.
  • the learning image g4 and the region r5 of each shoe plate 51D are used as teacher data in the same manner as described above, as shown in FIG. 19C.
  • the site detection unit 21D in which the detection of the region R5 in the captured image G4 is learned is generated by the first learning unit 44.
  • the extraction of the feature points E1 to E19 in the captured image G4 was learned by using the learning image g4 and the feature points e1 to e19 of each shoe plate 51D as teacher data in the same manner as the above-described method.
  • the feature point extraction unit 22D is generated by the second learning unit 45.
  • the feature points to be learned are the points on the straight line along the back surface of the shoe plate 51D adjacent to the link 51B as feature points e1 to e4, and the points along the convex portion 51h of the shoe plate 51D and the valley portion between them.
  • the feature points are e5 to e19.
  • the region detection unit 21D and the feature point extraction unit 22D which are trained models, detect the region R5 of the convex portion 51h of the shoe plate 51D with respect to the captured image G4, and feature points E1 to E19. Can be extracted.
  • the wear amount calculation unit 37A sets the distance between the feature points E6 and E18 located at the vertices of the convex portions 51h on both sides to X7, and sets the distance from the feature points E12 to the line segment connecting the feature points E6 and E18 and the feature point E2.
  • the wear amount (wear rate) of the shoe plate 51D is calculated by calculating X8 / X7 with the distance from and X8 as X8. Since X8 decreases due to wear and X7 hardly changes, the state of wear of the shoe plate 51D can be grasped by calculating X8 / X7.
  • the learning image g5 and the region r6 of each link 51B are used as teacher data and imaged as shown in FIG. 20C by the same method as described above.
  • the first learning unit 44 generates a site detection unit 21E in which the detection of the region R6 in the image G5 is learned.
  • the extraction unit 22E is generated by the second learning unit 45.
  • each link 51B the points on the contour line along the longitudinal direction of each link 51B are designated as feature points f1 to f8, and the points for specifying the positions of the connecting portion and the hole of the link 51B are designated as feature points f9 to f18.
  • the region detection unit 21E and the feature point extraction unit 22E which are trained models, can detect the region R6 of the link 51B with respect to the captured image G5 and extract the feature points F1 to F18. it can.
  • the wear amount calculation unit 37A sets the distance between the feature points F9 and F18 located on both sides of the link 51B as X9, and from the feature points F12 (or feature points F15) located between them, the feature points
  • the wear amount (wear rate) of the link 51B is calculated by calculating X10 / X9, where the distance to the straight line connecting F9 and F18 is X10.
  • the state of wear of the link 51B can be grasped by calculating X10 / X9.
  • the amount of wear for one link 51B is calculated. For example, if the total length of the plurality of links 51B is set to X9 and the value of X10 / X9 is calculated, a more accurate link can be calculated. The wear of 51B can be grasped.
  • the reference gauge setting unit 37C may set the reference gauge according to these shapes as in the case of the sprocket. ..
  • the imaging determination unit determines the result detected by the site detection unit to determine the timing of imaging by the imaging apparatus.
  • Such a configuration can be used, for example, in the third embodiment.
  • it may be applied to the wear amount measuring system of. Further, if such a determination is made, an image suitable for specifying the amount of wear can be acquired. Therefore, the wear of the part of the component may be specified from the acquired image without using the feature point extraction unit.
  • the second learning unit is provided as the learning unit, but the same learning unit as in the first embodiment may be provided in the arithmetic unit 2A of the second and third embodiments. Good.
  • the replacement time is predicted by calculating the degree of wear as the amount of wear. For example, the size of the gap between the reference gauge and the part where the wear is measured as shown in FIG. 8 is calculated.
  • the device may calculate, output the image of the reference gauge and the part, and the calculation result of the size of the gap to the display device, and the operator or the like may determine the replacement of the target part.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

作業機械の部品を含む画像から部品の部位の摩耗量をより正確に測定することができる摩耗量測定システムを提供する。作業機械５の部品を含む撮像画像から部品の摩耗量を演算する演算装置２Ａ、３Ａを備えた摩耗量測定システム１であって、演算装置２Ａ、３Ａは、作業機械５の特定の種類の部品を含む学習用画像ｇ１と、学習用画像ｇ１において部品が摩耗する部位の形状を特定する複数の特徴点ａ１～ａ１０、ｂ１～ｂ１０と、を教師データとして、特徴点の抽出が機械学習され、撮像画像Ｇ１から撮像画像Ｇ１における部位の特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０を抽出する特徴点抽出部２２と、特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０から、部位の摩耗量を算出する摩耗量算出部３７Ａと、を備える。

Description

摩耗量測定システム
　本発明は、作業機械の部品を含む画像から部品の部位の摩耗量を演算する摩耗量測定システムに関する。
　従来から、作業機械の継続的な使用により、作業機械を構成する部品が摩耗することがあり、この部品の摩耗状態を管理することは、作業機械を安定して使用するためには重要である。
　このような観点から、たとえば、特許文献１には、作業機械の摩耗部品の画像を取得し、取得した画像から摩耗部品の摩耗縁部の測定を行い、測定した摩耗縁部の結果から、摩耗部品の摩耗状態を特定する摩耗判定システムが提案されている。
特表２０１６－５０４６４３号公報
　しかしながら、特許文献１に示す摩耗判定システムでは、取得した画像から、摩耗する部品の部位の摩耗状態を特定するが、その摩耗部品の撮像角度により、同じ摩耗状態でも、その摩耗状態の結果の差異が大きくなり、正確な摩耗の状態を特定することができないことがある。
　本発明は、このような点を鑑みてなされたものであり、その目的とするところは、作業機械の部品を含む画像から部品の部位の摩耗量をより正確に測定することができる摩耗量測定システムを提供する。
　前記課題を鑑みて、本発明に係る摩耗量測定システムは、作業機械の部品を含む撮像画像から前記部品の摩耗量を演算する演算装置を備えた摩耗量測定システムであって、前記演算装置は、前記作業機械の特定の種類の部品を含む学習用画像と、前記学習用画像において前記部品が摩耗する部位の形状を特定する複数の特徴点と、を教師データとして、前記特徴点の抽出が機械学習され、前記撮像画像から前記撮像画像における前記部位の特徴点を抽出する特徴点抽出部と、前記特徴点から、前記部位の摩耗量を算出する摩耗量算出部と、を備える。
　本発明によれば、特徴点抽出部は、作業機械の特定の種類の部品を含む学習用画像と、前記学習用画像において前記部品が摩耗する部位の形状を特定する複数の特徴点と、を教師データとして、特徴点の抽出が機械学習されたものである。したがって、たとえば、撮像画像が、摩耗量を算出することができる撮像角度で、その部品の部位の形状を撮像している場合には、特徴点が抽出されるが、そのような撮像角度で撮像されていない場合には、特徴点が抽出されない。このような結果、摩耗量が精度良く算出できる撮像画像に対して特徴点が抽出されるので、作業機械の部品を含む画像から部品の部位の摩耗量をより正確に測定することができる。
本発明の第１～第３実施形態に係る摩耗量測定システムの測定対象となる作業機械の模式的側面図である。 本発明の第１実施形態に係る摩耗量測定システムの模式的概念図である。 図１に示す摩耗量測定システムの演算装置のブロック図である。 図３に示す部位検出部および特徴点抽出部の機械学習を説明するためのブロック図である。 図３に示す部位検出部による学習用画像を示した模式図である。 図３に示す特徴点抽出部による学習用画像を示した模式図である。 図３に示す部位検出部と特徴点抽出部による結果をスプロケットの画像に表示した模式図である。 図５Ａに示す結果から、摩耗量算出部による摩耗量を算出する方法を説明するための図である。 図３に示す交換時期算出部による部品交換の算出を説明するためのグラフである。 図３に示す基準ゲージ設定部での設定後の通信端末の表示画面を示した図である。 図３に示す摩耗量測定システムによる作業フロー図である。 図４に示す部位検出部および特徴点抽出部の変形例に係るブロック図である。 本発明の第２実施形態に係る摩耗量測定システムの演算装置のブロック図である。 図１１に示すガイド設定部による撮影用ガイドを映像に設定した模式図である。 図１１に示す特徴点修正部による修正を説明するための模式図である。 図１１に示す摩耗量測定システムによる作業フロー図である。 図１１に示す変形例に係るブロック図である。 本発明の第３実施形態に係る摩耗量測定システムの演算装置のブロック図である。 図２に示す作業機械のバケットのツースの撮像画像に撮影用ガイドを設定した模式図である。 図１７Ａに示すツースの学習用画像にその領域と特徴点を設定した模式図である。 ツースの撮像画像にその領域と特徴点を表示した模式図である。 図２に示す作業機械のローラの撮像画像に撮影用ガイドを設定した模式図である。 図１８Ａに示すローラの学習用画像にその領域と特徴点を設定した模式図である。 ローラの撮像画像にその領域と特徴点を表示した模式図である。 図２に示す作業機械のシュープレートの撮像画像に撮影用ガイドを設定した模式図である。 図１９Ａに示すシュープレートの学習用画像にその領域と特徴点を設定した模式図である。 シュープレートの撮像画像にその領域と特徴点を表示した模式図である。 図２に示す作業機械のリンクの撮像画像に撮影用ガイドを設定した模式図である。 図２０Ａに示すリンクの学習用画像にその領域と特徴点を設定した模式図である。 リンクの撮像画像にその領域と特徴点を表示した模式図である。
　以下、図面を参照して本発明に係る摩耗量測定システムのいくつかの実施形態を説明する。
１．作業機械５について
　本実施形態では、摩耗の測定の対象である作業機械５は、特に限定はされないが、たとえば、油圧ショベルなどである。以下では、まず本実施形態の摩耗量測定システム１の測定対象である作業機械５の構成の一例を説明し、次に本実施形態の摩耗量測定システム１の詳細に説明する。
　図１に示すように、作業機械５は、油圧負荷として、クローラ式の走行体５１と、走行体５１上に旋回可能に設けられた旋回体５２と、旋回体５２に取り付けられた多関節式のフロント作業機５３とを備えている。旋回体５２の前部左右の一方側にはキャビン５４が設けられ、旋回体５２の前部中央には上下方向に回動して掘削等の作業を行うフロント作業機５３が設けられている。旋回体５２の後部には機体の重量のバランスを保つカウンタウェイト５６が設けられている。
　走行体５１には前端部にアイドラ５１Ａ１が設けられ、後端部に不図示の走行モータにより駆動されるスプロケット５１Ａ２が設けられる。このアイドラ５１Ａ１とスプロケット５１Ａ２とには、リンク（リンクアッセンブリ）５１Ｂが架け渡されており、アイドラ５１Ａ１とスプロケット５１Ａ２の間には、リンク５１Ｂを支持するローラ５１Ｃが設けられている。リンク５１Ｂには、地面に設置するシュープレート５１Ｄが取り付けられている。走行体５１をこのように構成することで、作業機械５が不整地で移動可能となる。
　フロント作業機５３は、たとえば、旋回体５２の前側に設けられ、油圧駆動装置によって駆動されて掘削作業などの作業を行う機械である。フロント作業機５３は、たとえば、ブーム５３Ａ、アーム５３Ｂ、およびバケット５３Ｃが連接されており、これらは油圧シリンダ５３ａ、５３ｂ、５３ｃにより動作する。バケット５３Ｃの先端には、複数のツース（爪部）５３Ｄが幅方向に間隔を空けて固定されている。
　ここで、走行体５１による作業機械５の走行の際には、スプロケット（部品）５１Ａ２の歯（部位）、ローラ（部品）５１Ｃのリンク５１Ｂを支持する支持部（部位）、リンク（部品）５１Ｂの連接部分（部位）、シュープレート（部品）５１Ｄが接地する凸部（部位）が摩耗する。さらに、複数のツース（部品）５３Ｄは、掘削作業などの作業に伴い、その先端が摩耗する。したがって、その一例として、以下の第１および２実施形態では、摩耗量測定システム１で、スプロケット５１Ａ２の歯５１ａの摩耗量を測定し、第３実施形態では、これらの部品の部位の摩耗量を測定する。なお、第１および第２実施形態で、第３実施形態で示すこれらの各部位の摩耗量を個別に測定してもよく、摩耗する部品の部位であれば得に限定されるものではない。
〔第１実施形態〕
２．摩耗量測定システム１の構成について
　図２に示すように、第１実施形態に係る摩耗量測定システム１は、複数の通信端末３、３、…で撮像された作業機械５を構成する部品の部位の画像から、各通信端末３の演算装置３Ａ、およびネットワークを介したサーバ２の演算装置２Ａにより、その部位の摩耗量を演算する装置である。本実施形態では、摩耗量測定システム１は、サーバ２を備えるが、たとえば、上述した部位の画像からその部位の摩耗量を演算する一連のアプリケーションを演算装置３Ａの記憶部３ｂにインストールできるであれば、各通信端末３のみで構成されていてもよい。
　サーバ２は、演算装置２Ａを少なくとも備えており、演算装置２ＡはＣＰＵ等で構成される演算部２ａと、ＲＯＭ、ＲＡＭなどで構成される記憶部２ｂとを備えている。本実施形態では、記憶部２ｂには、後述する学習用画像などの教師データ、部位検出部２１および特徴点抽出部２２を実行するためのプログラムが記憶されており、演算部２ａは、これらのプログラムを実行する装置である。なお、本明細書において図３以降に示す、部位検出部２１および特徴点抽出部２２を、記憶部２ｂで記憶されたプログラムを演算部２ａで実行する部分として示している。サーバ２は、たとえば事前登録された各通信端末３により、アクセス可能になっており、各通信端末３で撮像された画像、部位の摩耗量等の演算結果が受信され、これらの結果が記憶部２ｂに記憶されていてもよい。
　通信端末３は、一般的な携帯端末またはタブレット端末であり、演算装置３Ａと、タッチパネルディスプレイ３Ｄと、撮像装置３Ｅとを備えている。演算装置３Ａは、ＣＰＵ等で構成される演算部３ａと、ＲＯＭ、ＲＡＭなどで構成される記憶部３ｂとを備えている。記憶部３ｂには、後述する画像取得部３３、抽出判定部３４、摩耗量算出部３７Ａ等を実行するためのプログラムが記憶されており、演算部３ａは、このプログラムを実行する装置である。なお、本明細書において図３以降に示す、画像取得部３３、抽出判定部３４、摩耗量算出部３７Ａ等は、記憶部３ｂで記憶されたプログラムを演算部３ａで実行する部分として示している。
　タッチパネルディスプレイ３Ｄは、表示装置３Ｂと入力装置３Ｃで構成される。表示装置３Ｂは、表示画面であり、撮像装置３Ｅで撮像された映像および画像、演算装置３Ａで演算された演算結果等が表示される。入力装置３Ｃは、演算装置２Ａに操作者が所定のデータ等を入力する装置である。入力装置３Ｃは、操作者が、撮像画像を取得するための指令信号を撮像装置３Ｅに入力する入力ボタン（アイコン）、表示装置（表示画面）３Ｂに表示された、後述する部品の部位の特徴点の位置を修正するマーカ（アイコン）など有している。
　撮像装置３Ｅは、デジタルカメラなどのデジタル映像およびデジタル画像を撮像する装置であり、本実施形態では、摩耗測定を実行するアプリケーションの起動に合わせた所定のタイミングで、映像（動画像）を表示装置３Ｂに表示する。ただし、この動画像は、記憶部３ｂには記録されない。入力装置３Ｃから操作者が入力した入力信号により、画像取得部３３は、表示装置３Ｂに表示した映像（動画像）を利用して、撮像装置３Ｅは、撮像画像（静止画像）を取得し、この撮像画像は、記憶部３ｂに記録される。
３．サーバ２の演算装置２Ａについて
　本実施形態では、サーバ２の演算装置２Ａは、ソフトウエアとして、部位検出部２１と特徴点抽出部２２とで構成される識別装置２０を備えている。この識別装置２０は、上述したスプロケットの画像から、スプロケット５１Ａ２の歯５１ａを識別するものであり、サーバ２の記憶部２ｂにインストールされた学習部４０（図４参照）により生成され、演算部２ａで実行される。しかしながら、識別装置２０を通信端末３の演算装置３Ａが備えていてもよい。なお、図３は、学習済みモデルである部位検出部２１と特徴点抽出部２２による利活用を説明するためのブロック図であるため、図３では、学習フェーズで用いられる学習部４０を省略している。
　本実施形態では、部位検出部２１は、作業機械５の部品としてスプロケット５１Ａ２の画像から、その部品の部位である歯の位置を検出するものである。部位検出部２１は、作業機械５の特定の種類の部品としてスプロケット５１Ａ２を含む学習用画像と、学習用画像においてスプロケット５１Ａ２の摩耗する部位である歯５１ａの領域（具体的には矩形状の領域）とを、教師データとし、この教師データから歯５１ａの領域の検出が機械学習されたものである。したがって、部位検出部２１は、撮像装置３Ｅで撮像した撮像画像（具体的には画像取得部３３で取得した画像）から撮像画像におけるスプロケット５１Ａ２の歯５１ａの領域を検出する。
　図４に示すように、部位検出部２１は、局所特徴量抽出部２１ａと、物体識別器２１ｂと、領域特定部２１ｃと、を備えている。局所特徴量抽出部２１ａは、撮像画像に含まれる矩形状の複数ピクセル群となる領域を所定数のピクセルずつずらして選択しながら、その画像の局所の特徴量を抽出するものである。本実施形態では、領域ごとのＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）特徴量（特徴ベクトル）を抽出する。ＨＯＧ特徴量は、画像の輝度の勾配をヒストグラム化したものである。
　物体識別器２１ｂは、作業機械５のスプロケット（部品）５１Ａ２のうち、歯（部位）５１ａの画像Ｇ１の特徴を機械学習したものである。具体的には、物体識別器２１ｂは、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）により機械学習した識別関数であり、学習部４０により学習される。
　本実施形態では、学習部４０は、サーバ２の演算装置２Ａに備えられている。しかしながら、学習部４０をたとえば他のシステムに備え、サーバ２の演算装置２Ａに、他のシステムで生成した部位検出部２１と特徴点抽出部２２とをインストールしてもよい。図５Ａに示すように、学習部４０は、スプロケット（部品）５１Ａ２の歯（部位）５１ａが写った多数の学習用画像ｇ１が記憶された学習用画像記憶部４１と、この学習用画像ｇ１ごとに紐付けられて歯５１ａの領域ｒ１、ｒ２、…を記憶した部位領域記憶部４２と、を備えている。部位領域記憶部４２は、学習用画像ｇ１において矩形状の領域ｒ１、ｒ２を２つ記憶しており、具体的には、領域ｒ１、ｒ２の４隅の座標を記憶している。
　学習部４０は、特徴点記憶部４３、第１学習部４４、および第２学習部４５、をさらに備えている。第１学習部４４は、ＳＶＭを有した学習器であり、物体識別器２１ｂを生成する。ここで、ＳＶＭは、基本的に２クラス判別器である。学習フェーズにおいて、スプロケット（部品）５１Ａ２の歯（部位）５１ａが写っている領域を特定した多数の学習用画像（正例）のそれぞれから抽出したＨＯＧ特徴量と、スプロケット５１Ａ２の歯が写っていない（または、スプロケットの歯と認識し難い）領域の多数の学習用画像（負例）から、それぞれから抽出したＨＯＧ特徴量との識別境界をＳＶＭにより機械学習する。なお、本実施形態では、学習用画像記憶部４１に記憶された学習用画像ｇ１に対して、局所特徴量抽出部２１ａで特徴量を抽出した画像を、第１学習部４４に順次入力する。機械学習にあたっては、部位領域記憶部４２で記憶された領域ｒ１、ｒ２の画像を正例とし、それ以外の領域の画像を負例として用いられ、このような機械学習により、物体識別器２１ｂが生成される。
　利活用時には、学習済みモデルである物体識別器２１ｂに、局所特徴量抽出部２１ａで撮像画像Ｇ１にピクセル群ごとに抽出したＨＯＧ特徴量を入力する。この結果、図６Ａに示すように、撮像画像Ｇ１にスプロケット５１Ａ２の歯５１ａを、矩形の領域Ｒ１、Ｒ２で識別することができる。領域特定部２１ｃは、物体識別器２１ｂの識別結果に基づいて、撮像画像Ｇ１における各領域Ｒ１、Ｒ２の四隅の座標を特定する（たとえば図６Ａ参照）。この結果は、後述する抽出判定部３４に送られる。
　特徴点抽出部２２は、図５Ｂに示すように、作業機械５のスプロケット（部品）５１Ａ２を含む上述の学習用画像ｇ１と、学習用画像ｇ１においてスプロケット５１Ａ２が摩耗する歯（部位）５１ａの形状を特定する複数の特徴点ａ１～ａ１０、ｂ１～ｂ１０と、を教師データとして、特徴点の抽出が機械学習されものである。特徴点抽出部２２は、撮像画像Ｇ１から撮像画像Ｇ１におけるスプロケット５１Ａ２の歯（部位）５１ａの特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０を抽出する（たとえば図６Ａ参照）。
　具体的には、特徴点抽出部２２は、特徴点識別器２２ａと特徴点特定部２２ｂとを備えている。本実施形態では、特徴点識別器２２ａは、カスケード型分類器であり、学習部４０の第２学習部４５により生成される。本実施形態では、第２学習部４５では、ランダムフォレスト（Ｒａｎｄｏｍ　Ｆｏｒｅｓｔ）のアルゴリズムを有している。機械学習にあたっては、学習用画像記憶部４１に記憶された多数の学習用画像ｇ１に対して、局所特徴量抽出部２１ａで特徴量を抽出した画像と、学習用画像ｇ１ごとに紐づけられ特徴点記憶部４３で記憶した特徴点ａ１～ａ１０、ｂ１～ｂ１０の座標と、部位領域記憶部４２で記憶された領域ｒ１、ｒ２のデータと、が入力される。
　具体的には、学習フェーズの教師データとして、スプロケット５１Ａ２の歯５１ａの形状を特定すべく、歯山から歯山までの形状の特徴となる、特徴点ａ１～ａ７、特徴点ｂ１～ｂ７と、スプロケット５１Ａ２の円周５１ｂ上の歯底近傍の特徴点ａ８～ａ１０、特徴点ｂ８～ｂ１０とが、学習用画像ｇ１ごとに記憶される。
　なお、この円周５１ｂは、スプロケット５１Ａ２の回転中心から一定の距離で形成された円周である。特徴点ａ８、ａ１０（ｂ８、ｂ１０）は、歯５１ａの山の頂点に位置するａ１、ａ７（ｂ１、ｂ７）から円周５１ｂに下した垂線と円周５１ｂとの交点である。一方、特徴点ａ９（ｂ９）は、歯５１ａの谷点に位置するａ４（ｂ４）から、円周５１ｂに下した垂線と円周５１ｂとの交点である。
　このような教師データの入力により、本実施形態では、第２学習部４５は、ランダムフォレストにより、特徴点Ａ１～Ａ１０、特徴点Ｂ１～Ｂ１０の抽出を機械学習し、特徴点識別器２２ａを生成する。
　利活用時には、学習済みモデルである特徴点識別器２２ａに、局所特徴量抽出部２１ａで撮像画像Ｇ１にピクセル群ごとに抽出したＨＯＧ特徴量を入力する。この結果、図６Ａに示すように、撮像画像Ｇ１にスプロケット５１Ａ２の歯５１ａの形状の特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０が矩形の領域Ｒ１、Ｒ２内及びその近傍に抽出される。特徴点特定部２２ｂは、撮像画像Ｇ１において抽出された特徴点の座標を特定する。この結果は、領域・特徴点出力部３５に送られる。
　本実施形態では、機械学習アルゴリズムとして、第１学習部４４に、ＳＶＭが用いられ、第２学習部４５に、ランダムフォレストが用いられた。しかしながら、機械学習アルゴリズムとして、決定木（Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ）、ブーティング（Ｂｏｏｔｉｎｇ）、またはリアルアダブースト（Ｒｅａｌ　ＡｄａＢｏｏｓｔ）、ニューラルネットワークなどの一般的に知られたアルゴリズムが用いられてもよい。さらに、本実施形態では、機械学習にＨＯＧ特徴量を例示したが、ＬＢＰ（Ｌｏｃａｌ　Ｂｉｎａｒｙ　Ｐａｔｔｅｒｎ）特徴量、ハールライク（Ｈａａｒ－ｌｉｋｅ）特徴量などの他の特徴量を用いたり、複数の特徴量を組み合わせて用いたりしてもよい。
４．通信端末３の演算装置３Ａについて
　本実施形態では、通信端末３の演算装置３Ａは、ソフトウエアとして、画像取得部３３と、抽出判定部３４と、領域・特徴点出力部３５と、摩耗量算出部３７Ａと、交換時期算出部３７Ｂと、基準ゲージ設定部３７Ｃとを備えている（図３参照）。これらは、摩耗量測定用の１つのアプリケーションとして通信端末３の演算装置３Ａの記憶部３ｂにインストールされ、演算部３ａで実行される。
　画像取得部３３は、撮像装置３Ｅから撮像画像Ｇ１を取得するものである。本実施形態では、画像取得部３３は、操作者が、入力装置３Ｃに配置された入力ボタンを押したタイミングで、撮像装置３Ｅで、撮像画像Ｇ１が取得される。具体的には、表示装置３Ｂに、撮像装置３Ｅで撮像したリアルタイムの映像（動画像）が表示されており、操作者は、その映像を確認しながら、入力ボタン（図示せず）を押すことにより、撮像装置３Ｅで対象物を撮像し、画像取得部３３は静止画像である画像を取得する。
　抽出判定部３４は、部位検出部２１の検出結果に基づいて、特徴点抽出部２２による特徴点の抽出の実行を判定するものである。具体的には、抽出判定部３４は、部位検出部２１が、スプロケット５１Ａ２の歯を検出できたときには、特徴点抽出部２２に撮像画像Ｇ１に対する特徴点の抽出の実行を許可する。
　一方、部位検出部２１が、スプロケット５１Ａ２の歯を特定できないときには、撮像画像Ｇ１から、摩耗量が評価可能な歯５１ａの形状が検出できていないことになる。この場合には、抽出判定部３４が、特徴点抽出部２２に撮像画像Ｇ１に対する特徴点の抽出の実行を許可せず、表示装置３Ｂに、撮像装置３Ｅで撮像した映像を表示させる。これにより、操作者に、再度、撮像装置３Ｅを用いたスプロケット５１Ａ２の歯５１ａの撮像を促す。
　なお、本実施形態では、特徴点抽出部２２により、隣り合う２つのスプロケットの歯谷の領域Ｒ１、Ｒ２の特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０を抽出するが、たとえば、１つの領域Ｒ１のみしか、部位検出部２１を検出できていないときは、スプロケット５１Ａ２の円周５１ｂ等から領域Ｒ２の位置を推定してもよい。この場合には、推定した領域Ｒ２の画像を用いて、特徴点抽出部２２で特徴点Ｂ１～Ｂ１０が抽出される。
　領域・特徴点出力部３５は、部位検出部２１と特徴点抽出部２２との結果を、表示装置３Ｂに表示する。本実施形態では、領域・特徴点出力部３５は、図６Ａに示すように、撮像画像Ｇ１とともに、撮像画像Ｇ１上に、部位検出部２１で検出した歯５１ａの領域Ｒ１、Ｒ２と、特徴点抽出部２２で抽出した特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０と、を表示する。
　摩耗量算出部３７Ａは、特徴点Ａ１、Ａ２、Ａ８、Ｂ６から、スプロケット５１Ａ２の歯５１ａの摩耗量を算出する。具体的には、本実施形態では、図６Ｂに示すように、特徴点Ａ１と特徴点Ａ８の距離が歯高さに近い長さＸ１になり、特徴点Ａ２と特徴点Ｂ６の距離が歯幅Ｘ２に相当する。長さＸ１は、歯５１ａが摩耗してもほとんど変わらないので、歯幅Ｘ２の減少量で歯５１ａの摩耗状態を把握することができる。本実施形では、Ｘ２／Ｘ１の値を摩耗率として算出し、歯５１ａの摩耗率を、歯５１ａの摩耗量として算出することができる。
　交換時期算出部３７Ｂは、スプロケット（部品）５１Ａ２の歯５１ａの摩耗量（摩耗率）とから、スプロケット（部品）５１Ａ２の交換時期を算出する。本実施形態では、図７に示すように、予め、スプロケット５１Ａ２の摩耗量（摩耗率）と使用時間とデータを測定しておき、スプロケット５１Ａ２の使用時間とその摩耗率とのプロットした点に対して、単回帰線（これらの一次関数）を求める。この得られた一次関数に、算出した摩耗率を代入すると、評価対象となるスプロケット５１Ａ２のこれまでの使用時間を算出することができる。そして、スプロケット５１Ａ２の交換必須時間（スプロケット５１Ａ２の寿命時間）から、現時点におけるスプロケット５１Ａ２の使用時間を減算することにより、残存使用時間（推奨交換時期）、すなわち、スプロケット５１Ａ２の交換時期を算出することができる。交換時期算出部３７Ｂの算出結果は、たとえば図８に示すような結果として、表示装置３Ｂに表示される。
　基準ゲージ設定部３７Ｃは、表示装置３Ｂで表示された撮像画像Ｇ１のスプロケット５１Ａ２の歯５１ａに対して、歯５１ａの摩耗前の表面形状に応じた基準ゲージ（仮想ゲージ）５１ｐの画像を設定する。ここで、基準ゲージ５１ｐは、摩耗量算出部３７Ａで特定した、特徴点Ａ１と特徴点Ａ８との線分、特徴点Ａ２と特徴点Ｂ６の線分から、基準ゲージ５１ｐの位置を合わせ込む。このようにして、スプロケット５１Ａ２がどの程度摩耗したかを、表示装置３Ｂを介して簡単に確認することができる。
５．摩耗量測定方法について
　以下に、上述した摩耗量測定システム１を用いた摩耗量測定方法について図９を参照しながら説明する。まず、ステップＳ９１では、通信端末３にインストールした、上述した摩耗量測定用のアプリケーションを起動する。次にステップＳ９２に進み、このアプリケーションの起動後、スプロケット５１Ａ２の歯５１ａが撮像されるように、歯５１ａと、撮像装置３Ｅの撮像範囲のとの合わせ込みを行う。次に、ステップＳ９３により、操作者が入力装置３Ｃからの操作により、撮像装置３Ｅが作業機械５の部位であるスプロケット５１Ａ２を撮像する。
　スプロケット５１Ａ２が撮像されると、ステップＳ９４に進み、部位検出部２１が撮像画像Ｇ１から、スプロケット５１Ａ２の歯５１ａを含む領域の検出を行う。ステップＳ９５では、抽出判定部３４が、部位検出部２１によりスプロケット５１Ａ２の歯５１ａの検出がされていないと判定した場合には、再度、撮像を行うため、ステップＳ９２に進む。
　一方、ステップＳ９５で、抽出判定部３４が、部位検出部２１によりスプロケット５１Ａ２の歯５１ａの検出がされたと判定した場合には、ステップＳ９６に進み、歯５１ａの特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０を抽出する（図６Ａ参照）。ステップＳ９７では、摩耗量算出部３７Ａが、特徴点Ａ１、Ａ２、Ａ８、Ｂ６から、歯５１ａの摩耗量（摩耗率）を算出する（図６Ｂ参照）。
　次に、ステップＳ９８では、交換時期算出部３７Ｂは、スプロケット（部品）５１Ａ２の歯５１ａの摩耗量（摩耗率）とから、スプロケット（部品）５１Ａ２の交換時期を算出する（図７参照）。さらに、ステップＳ９９では、基準ゲージ設定部３７Ｃは、表示装置３Ｂで表示された撮像画像Ｇ１のスプロケット５１Ａ２の歯５１ａに対して、歯５１ａの摩耗前の表面形状に応じた基準ゲージ（仮想ゲージ）５１ｐの画像を設定し、基準ゲージ５１ｐと実際の摩耗の差分がわかる画像と、推奨交換時期の目安となるグラフを表示する（図８参照）。
　上に示す第１実施形態では、部位検出部２１を設けたが、例えば、部位検出部２１を省略して、撮像画像Ｇ１に対して、特徴点抽出部２２で、スプロケット５１Ａ２の歯５１ａの特徴点を抽出し、この特徴点から歯５１ａの摩耗量を測定してもよい。この場合には、図１０に示すように、第２学習部４５は、学習用画像記憶部４１の学習用画像ｇ１と特徴点記憶部４３の学習用の特徴点ａ１～ａ１０、ｂ１～ｂ１０を教師データとして、特徴点識別器２２ａを生成する。上述した局所特徴量抽出部２１ａでは、画像取得部３３から撮像画像Ｇ１が入力され、撮像画像Ｇ１のＨＯＧ特徴量が算出される。特徴点記憶部４３では、撮像画像Ｇ１のＨＯＧ特徴量から、歯５１ａの特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０を抽出し、特徴点特定部２２ｂがこれらの座標を特定する。したがって、このような場合には、図３に示す部位検出部２１の他に、図３に示す抽出判定部３４も省略することができ、領域・特徴点出力部３５は、領域Ｒ１、Ｒ２を出力しない。さらに、図３に示す部位領域記憶部４２および第１学習部４４も省略することができる。
　以上、本実施形態では、特徴点抽出部２２は、作業機械５の特定の種類の部品として、スプロケット５１Ａ２を含む学習用画像ｇ１と、学習用画像ｇ１においてスプロケット５１Ａ２が摩耗する部位である歯５１ａの形状を特定する複数の特徴点ａ１～ａ１０、ｂ１～ｂ１０と、を教師データとして、特徴点の抽出が機械学習されたものである。したがって、たとえば、撮像画像Ｇ１が、摩耗量を算出することができる撮像角度で、その部品の部位の形状を撮像している場合には、教師データによる学習に起因して、特徴点が抽出されるが、そのような撮像角度で撮像されていない場合には、特徴点が抽出されない。このような結果、摩耗量が精度良く算出できる撮像画像に対してのみ特徴点が抽出されるので、作業機械５のスプロケット５１Ａ２を含む画像Ｇ１から部品の部位の摩耗量をより正確に測定することができる。さらに、単なる画像処理のエッジ検出を利用したものに比べて、より正確に摩耗の状態を特徴点で捉えることができる。
　さらに、図８に示すように、表示装置３Ｂにおいて、撮像装置３Ｅによって撮像された画像に仮想ゲージを合わせ込んだイメージ図と、摩耗量と推奨交換時期の相関を示すグラフのイメージ図を表示する。この表示を目安に現場の安全点検員が「そろそろ交換してはいかがですか」といった提案を顧客に示すことができる。
〔第２実施形態〕
　図１１は、第２実施形態に係る摩耗量測定システム１である。図１１に示すように、本実施形態に係る摩耗量測定システム１が、第１実施形態のものと相違する点は、ガイド設定部３２と、特徴点修正部３６とを備えた点と、第２学習部４５により再学習を実行する点である。したがって、第１実施形態と同じ構成は、その詳細な説明を省略する。なお、第２実施形態では、ガイド設定部３２と、特徴点修正部３６と、再学習機能とを、備えているが、第２実施形態の摩耗量測定システム１では、これらのうち少なくとも１つを備えていてもよい。
　本実施形態では、演算装置２Ａは、表示装置３Ｂで表示された撮像装置３Ｅの映像（動画像）ｇａ１に、撮影する部品の形状に応じた撮影用ガイド（基準線）Ｔ１を選択して、設定するためのガイド設定部３２をさらに備えている。具体的には、図１２に示すように、撮影用ガイドＴ１は、スプロケット５１Ａ２の特徴点を抽出する位置を特定するために映像ｇａ１に表示されるものであり、本実施形態ではスプロケット５１Ａ２の歯５１ａ（具体的には歯先）と、円周５１ｂに沿った位置に設定されている。
　このように、撮影用ガイドＴ１を設けることにより、操作者は、撮影用ガイドＴ１に沿ってスプロケット５１Ａ２の歯５１ａを撮像すればよいので、特徴点抽出部２２により特徴点の抽出をより正確に行うことができる。なお、本実施形態では、通信端末３の地面（水平面）に対する傾きが、表示装置３Ｂで表示される映像にそのまま反映されている。しかしながら、通信端末３にジャイロセンサを設け、通信端末３の地面に対する傾きにかかわらず、表示装置３Ｂに撮影用ガイドＴ１を一定の姿勢で映像ｇａ１に表示させてもよい。これにより、地面に対する通信端末３の姿勢にかかわらず、撮影用ガイドＴ１は変化しないので、より安定してスプロケット５１Ａ２の歯５１ａを撮像することができる。さらに、本実施形態では、操作者により撮像を行うが、たとえば、アプリケーションの起動から所定の時間経過後に、撮像装置３Ｅに自動的に撮像させてもよい。
　本実施形態では、演算装置３Ａは、特徴点抽出部２２で抽出された特徴点の位置の変更に合わせて、特徴点の位置を修正する特徴点修正部３６をさらに備えている。本実施形態では、表示装置３Ｂは、図１３に示すように、撮像画像Ｇ１とともに、撮像画像Ｇ１上に、特徴点抽出部２２で抽出した特徴点を表示している。図１３では、摩耗量の算出に寄与する特徴点Ａ１、Ａ２、Ａ８、Ｂ６を示している。入力装置３Ｃは、表示装置３Ｂに表示された特徴点Ａ１、Ａ２、Ａ８、Ｂ６に対して、撮像画像Ｇ１上で特徴点Ａ１、Ａ２、Ａ８、Ｂ６の位置の変更を操作者が入力することができるようになっている。具体的には、特徴点修正部３６は、表示装置３Ｂにより表示された特徴点の位置のうち、位置を変更すべき特徴点を、操作者がタップする（選択する）ことが可能になっている。特徴点修正部３６は、タップによって、入力装置３Ｃを介して、操作者がタップした特徴点を含む部分を拡大表示させる。特徴点修正部３６は、さらに、タップした特徴点（拡大表示された特徴点）を操作者が触れながら、現在の位置から修正したい位置に特徴点を移動し、移動した特徴点から操作者が指を離すと、そこに特徴点が変更されるようになっている。
　ここでは、特徴点Ａ１、Ｂ６の位置が適切な位置ではないので、入力装置３Ｃを介して、図１３に示すように、操作者が特徴点Ａ１、Ｂ６の位置を変更し、この結果、特徴点修正部３６は、特徴点Ａ１、Ｂ６の座標を修正する。このようにして、特徴点Ａ１、Ｂ６の修正に伴い、摩耗量算出部３７Ａは、特徴点修正部３６で修正した特徴点Ａ１、Ｂ６に基づいてスプロケット５１Ａ２の歯５１ａの摩耗量をより正確に算出することができる。
　本実施形態では、特徴点修正部３６により、摩耗量の算出に寄与する特徴点Ａ１、Ａ２、Ａ８、Ｂ６による修正を行ったが、たとえば、特徴点修正部３６により、特徴点抽出部２２で抽出したすべての特徴点の位置を修正するようにしてもよい。
　さらに、本実施形態では、演算装置２Ａは、撮像画像Ｇ１と、修正した特徴点Ａ１、Ｂ６を含む特徴点Ａ１～Ａ１０、Ｂ１～Ｂ１０とをさらなる教師データとして、第２学習部４５で、特徴点抽出部２２を再学習させてもよい。これにより、特徴点抽出部２２による特徴点の抽出の精度をさらに高めることができる。
　図１４に示すように、第２実施形態に係る摩耗量測定システム１では、ステップＳ９２’が第１実施形態のものと相違し、さらに、ステップＳ９６とステップＳ９７の間に、ステップＳ１４１～Ｓ１４３が追加された点が、第１実施形態のものと相違する。具体的には、ステップＳ９２’では、操作者は、撮影用ガイドＴ２をスプロケット５１Ａ２の部位（歯５１ａおよび円周５１ｂ）に合わせた状態で、ステップＳ９３において、スプロケット５１Ａ２の歯５１ａを撮像する。これにより、撮像画像Ｇ１の特定の位置に、摩耗量の測定対象となるスプロケット５１Ａ２の歯５１ａが配置されるため、部位検出部２１による歯５１ａの領域の検出と、特徴点抽出部２２による歯５１ａを含む特徴点の抽出をより的確に行うことができる。
　さらに、ステップＳ１４１により、特徴点の位置が正しいかを判断し、正しい場合には、ステップＳ９７に進み、これまで通り、摩耗量算出部３７Ａが、特徴点Ａ１、Ａ２、Ａ８、Ｂ６から、歯５１ａの摩耗量（摩耗率）を算出する（図６Ｂ参照）。一方、特徴点の位置が正しくない場合には、操作者により、特徴点の位置を修正し、ステップＳ９７に進む（図１３参照）。具体的には、操作者が特徴点の位置（の候補）のうち、位置を変更したい特徴点をタップし、タップした特徴点の近辺が、表示装置３Ｂに拡大表示される。操作者が拡大表示された現在の位置から修正したい位置に特徴点を移動し、操作者が特徴点から指を離すと、そこに特徴点が変更される。特徴点修正部３６で修正された特徴点に基づいて、摩耗量算出部３７Ａが、歯５１ａの摩耗量（摩耗率）を算出する。これに合わせて、ステップＳ１４３では、第２学習部４５で特徴点抽出部２２の再学習を行う。このような一連の作業により、操作者による特徴点の位置に修正に伴い、より正確に摩耗量を算出することができ、スプロケット５１Ａ２の交換時期を正確に求めることができる。
　ここで、上に示す第２実施形態では、操作者の入力操作（入力ボタンを押すこと）により、撮像画像Ｇ１を取得した。しかしながら、図１５に示す変形例に係る摩耗量測定システム１により、撮像画像Ｇ１を取得してもよい。この変形例では、撮像許可部３３Ａをさらに備えた点が、上に示す第２実施形態と主に相違する。
　具体的には、図１５に示すように、摩耗量測定システム１は、撮像画像Ｇ１を取得する前に、表示装置３Ｂが、撮像装置３Ｅからの映像（動画像）を表示するように構成されており、その映像（動画像）は、部位検出部２１にも入力される。部位検出部２１では、その映像から画像を取得して、スプロケット５１Ａ２の歯５１ａの領域Ｒ１、Ｒ２を検出するように構成されている。
　演算装置３Ａには、映像からの画像において、部位検出部２１がスプロケット５１Ａ２の歯５１ａの領域Ｒ１、Ｒ２を検出したタイミングで、撮像装置３Ｅにより撮像を許可する撮像許可部３３Ａを備えている。
　画像取得部３３は、部位検出部２１がスプロケット５１Ａ２の歯５１ａの領域Ｒ１、Ｒ２を検出したタイミングで、すなわち、撮像許可部３３Ａが撮像の許可をしたタイミングで、撮像装置３Ｅに撮像画像Ｇ１の取得をさせる指令信号を出力する。これにより、撮像装置３Ｅにより、撮像画像Ｇ１が操作者の操作に拘わらず、自動的に取得される。取得された撮像画像Ｇ１は、部位検出部２１がスプロケット５１Ａ２の歯５１ａの領域Ｒ１、Ｒ２を検出した画像であるため、特徴点抽出部２２により、正確な位置の特徴点を抽出することができる。
〔第３実施形態〕
　図１６は、第３実施形態に係る摩耗量測定システム１である。図１６に示すように、本実施形態に係る摩耗量測定システム１が、第２実施形態のものと相違する点は、複数種の部品に対して、摩耗量の測定を行う点であり、部品設定部３１Ａ、識別装置選択部３１Ｂ、および複数種の部品に応じた複数種（５種類）の識別装置２０Ａ～２０Ｅが設けられている。したがって、第２実施形態と同じ構成は、その詳細な説明を省略する。
　本実施形態では、サーバ２の演算装置２Ａは、作業機械５の複数種（５種類）の部品に応じて、識別装置２０Ａ～２０Ｅを備えている。なお、第１実施形態の変形例の如く、部位検出部２１を省略する場合には、演算装置２Ａは、複数種（５種類）の特徴点抽出部２２Ａ～２２Ｅを備えている。
　本実施形態では、識別装置２０Ａの部位検出部２１Ａでは、部品としてスプロケット５１Ａ２の歯（部位）５１ａの領域の検出を行い、特徴点抽出部２２Ａは、スプロケット５１Ａ２の特徴点の抽出を行う（図６Ａ参照）。これは、第１および第２実施形態で説明したものと同じである。
　識別装置２０Ｂの部位検出部２１Ｂでは、部品としてツース５３Ｄの先端（部位）５３ｄの領域の検出を行い、特徴点抽出部２２Ｂは、ツース５３Ｄの特徴点の抽出を行う（図１７Ｃ参照）。識別装置２０Ｃの部位検出部２１Ｃでは、部品としてローラ５１Ｃの支持部（部位）５１ｇの領域の検出を行い、特徴点抽出部２２Ｃは、ローラ５１Ｃの特徴点の抽出を行う（図１８Ｃ参照）。
　識別装置２０Ｄの部位検出部２１Ｄでは、部品としてシュープレート（部品）５１Ｄの凸部（部位）５１ｈの領域の検出を行い、特徴点抽出部２２Ｄは、シュープレート５１Ｄの特徴点の抽出を行う（図１９Ｃ参照）。識別装置２０Ｅの部位検出部２１Ｄでは、部品としてリンク（部品）５１Ｂの凸部（部位）５１ｈの領域の検出を行い、特徴点抽出部２２Ｅは、リンク５１Ｂの特徴点の抽出を行う（図２０Ｃ参照）。
　本実施形態では、通信端末３の演算装置３Ａは、部品設定部３１Ａと、識別装置選択部３１Ｂと、を備えている。部品設定部３１Ａは、複数種（５種）の部品から、１つの部品を設定するものであり、入力装置３Ｃを介した操作者が入力する入力情報により、１つの部品(具体的には部品のコード番号）が設定される。
　識別装置選択部（抽出部選択部）３１Ｂは、部品設定部３１Ａで設定された部品に応じて、複数種（５種類）の識別装置２０Ａ～２０Ｅから、１つの識別装置を選択する。本実施形態では、操作者が、部品としてスプロケット５１Ａ２を選択した場合、部品設定部３１Ａでは、スプロケット５１Ａ２を部品として設定し、識別装置選択部３１Ｂは、識別装置２０Ａを選択している。このように選択した識別装置２０Ａを用いて、第２実施形態で説明した構成により、一連のステップを経てスプロケット５１Ａ２の摩耗量を測定する。なお、第１実施形態の変形例を適用した場合は、識別装置２０Ａ～２０Ｅは、特徴点抽出部２２Ａ～２２Ｅで構成されるため、識別装置選択部３１Ｂは、特徴点抽出部２２Ａ～２２Ｅと選択する。
　ここで、ガイド設定部３２は、選択された部品に応じた撮影用ガイドＴ１～Ｔ５の１つを選択して、これを設定する。具体的には、選択された部品がスプロケット５１Ａ２である場合には、第２実施形態で説明した撮影用ガイドＴ１を設定する。
　選択された部品がツース５３Ｄである場合には、ガイド設定部３２は、図１７Ａに示すように中央のツース５３Ｄの両側の輪郭線とこれに垂直な線とからなる撮影用ガイドＴ２を映像ｇａ２に設定する。選択された部品がローラ５１Ｃである場合には、ガイド設定部３２は、図１８Ａに示すようにローラ５１Ｃの回転軸線と、支持部に沿った上下に輪郭線に相当する撮影用ガイドＴ３を映像ｇａ３に設定する。
　さらに、選択された部品がシュープレート５１Ｄである場合には、ガイド設定部３２は、図１９Ａに示すようにシュープレート５１Ｄのうちリンク５１Ｂに隣接する表面に沿った線と、この線に直交するシュープレート５１Ｄの凸部５１ｈの中央線とを撮影用ガイドＴ４として、映像ｇａ４に設定する。さらに、選択された部品が、リンク５１Ｂである場合には、ガイド設定部３２は、図２０Ａに示すように、リンク５１Ｂ同士の連接された連接孔に沿った円と、とリンク５１Ｂの部材の輪郭線とを撮影用ガイドＴ５として映像ｇａ５に設定する。
　ここで、以下に、学習済みモデルの生成について説明する。ツース５３Ｄの場合には、図１７Ｂに示すように、上述した方法と同様の方法で、学習用画像ｇ２と、各ツース５３Ｄの領域ｒ３１～ｒ３５とを教師データとして用いて、図１７Ｃに示すように撮像画像Ｇ２における領域Ｒ３１～Ｒ３５の検出が学習された部位検出部２１Ｂを、第１学習部４４で生成する。
　さらに、上述した方法と同様の方法で、学習用画像ｇ２と、各ツース５３Ｄの特徴点ｃ１～ｃ５とを教師データとして用いて、撮像画像Ｇ２における特徴点Ｃ１～Ｃ５の抽出が学習された特徴点抽出部２２Ｂを、第２学習部４５で生成する。
　学習させる特徴点は、ツース５３Ｄとバケット５３Ｃとの交点を特徴点ｃ１、ｃ５とし、ツース５３Ｄの取付け位置（アダプタとの境界点）を特徴点ｃ２、ｃ４、ツース５３Ｄの先端を特徴点ｃ３とする。
　学習済みモデルである部位検出部２１Ｂと特徴点抽出部２２Ｂにより、図１７Ｃに示すように、撮像画像Ｇ２に対して、各ツース５３Ｄの領域Ｒ３１～Ｒ３５を検出し、特徴点Ｃ１～Ｃ５を抽出することができる。ここで、摩耗量算出部３７Ａは、特徴点Ｃ２と特徴点Ｃ４の線分の長さをＸ３とし、特徴点Ｃ３からこの線分に直交する線との交点までの長さをＸ４とし、Ｘ４／Ｘ３を算出することで、ツース５３Ｄの摩耗量（摩耗率）を算出する。Ｘ４が摩耗により減少し、Ｘ３は殆ど変化しないので、Ｘ４／Ｘ３を算出することで、ツース５３Ｄの摩耗の状態を把握することができる。
　ローラ５１Ｃの場合には、図１８Ｂに示すように、上述した方法と同様の方法で、学習用画像ｇ３と、ローラ５１Ｃの領域ｒ４とを教師データとして用いて、図１８Ｃに示すように撮像画像Ｇ３における領域Ｒ４の検出が学習された部位検出部２１Ｃを、第１学習部４４で生成する。
　さらに、上述した方法と同様の方法で、学習用画像ｇ３と、各ローラ５１Ｃの特徴点ｄ１～ｄ８とを教師データとして用いて、撮像画像Ｇ３における特徴点Ｄ１～Ｄ８の抽出が学習された特徴点抽出部２２Ｃを、第２学習部４５で生成する。
　学習させる特徴点は、ローラ５１Ｃの回転軸線と支持部５１ｇの両端の輪郭線との交点を特徴点ｄ１、ｄ２とし、ローラ５１Ｃの支持部５１ｇの輪郭線に沿った点を特徴点ｄ３～ｄ８とする。ローラ５１Ｃが新品の場合には、特徴点ｄ３～ｄ８を結ぶ線は、略直線であり、摩耗が進行するに従って、図１８Ｂに示すように、これらの線が凹んだ曲線になる。
　学習済みモデルである部位検出部２１Ｃと特徴点抽出部２２Ｃにより、図１８Ｃに示すように、撮像画像Ｇ３に対して、各ローラ５１Ｃの支持部５１ｇの領域Ｒ４を検出し、特徴点Ｄ１～Ｄ８を抽出することができる。ここで、摩耗量算出部３７Ａは、特徴点Ｄ４と特徴点Ｄ８との回転軸線方向の距離をＸ５とし、特徴点Ｄ４と特徴点Ｄ８との回転軸線と直交方向の距離をＸ６とし、Ｘ６／Ｘ５を算出することで、ローラ５１Ｃの摩耗量（摩耗率）を算出する。Ｘ６が摩耗により減少し、Ｘ５は殆ど変化しないので、Ｘ６／Ｘ５を算出することで、ローラ５１Ｃの摩耗の状態を把握することができる。
　シュープレート５１Ｄの場合には、図１９Ｂに示すように、上述した方法と同様の方法で、学習用画像ｇ４と、各シュープレート５１Ｄの領域ｒ５とを教師データとして用いて、図１９Ｃに示すように撮像画像Ｇ４における領域Ｒ５の検出が学習された部位検出部２１Ｄを、第１学習部４４で生成する。
　さらに、上述した方法と同様の方法で、学習用画像ｇ４と、各シュープレート５１Ｄの特徴点ｅ１～ｅ１９とを教師データとして用いて、撮像画像Ｇ４における特徴点Ｅ１～Ｅ１９の抽出が学習された特徴点抽出部２２Ｄを、第２学習部４５で生成する。
　学習させる特徴点は、シュープレート５１Ｄがリンク５１Ｂと隣接する背面に沿った直線上の点を特徴点ｅ１～ｅ４とし、シュープレート５１Ｄの凸部５１ｈとこれらの間の谷部に沿った点を特徴点ｅ５～ｅ１９とする。
　学習済みモデルである部位検出部２１Ｄと特徴点抽出部２２Ｄにより、図１９Ｃに示すように、撮像画像Ｇ４に対して、シュープレート５１Ｄの凸部５１ｈの領域Ｒ５を検出し、特徴点Ｅ１～Ｅ１９を抽出することができる。ここで、摩耗量算出部３７Ａは、両側の凸部５１ｈの頂点に位置する特徴点Ｅ６とＥ１８との距離をＸ７とし、特徴点Ｅ１２から、特徴点Ｅ６、Ｅ１８を結ぶ線分と特徴点Ｅ２との距離をＸ８とし、Ｘ８／Ｘ７を算出することでシュープレート５１Ｄの摩耗量（摩耗率）を算出する。Ｘ８が摩耗により減少し、Ｘ７は殆ど変化しないので、Ｘ８／Ｘ７を算出することで、シュープレート５１Ｄの摩耗の状態を把握することができる。
　リンク５１Ｂの場合には、図２０Ｂに示すように、上述した方法と同様の方法で、学習用画像ｇ５と、各リンク５１Ｂの領域ｒ６とを教師データとして用いて、図２０Ｃに示すように撮像画像Ｇ５における領域Ｒ６の検出が学習された部位検出部２１Ｅを、第１学習部４４で生成する。
　さらに、上述した方法と同様の方法で、学習用画像ｇ５と、リンク５１Ｂの特徴点ｆ１～ｆ１８とを教師データとして用いて、撮像画像Ｇ５における特徴点Ｆ１～Ｆ１８の抽出が学習された特徴点抽出部２２Ｅを、第２学習部４５で生成する。
　学習させる特徴点は、各リンク５１Ｂの長手方向に沿った輪郭線上の点を特徴点ｆ１～ｆ８とし、リンク５１Ｂの連結部および孔の位置を特定する点を特徴点ｆ９～ｆ１８とする。
　学習済みモデルである部位検出部２１Ｅと特徴点抽出部２２Ｅにより、図２０Ｃに示すように、撮像画像Ｇ５に対して、リンク５１Ｂの領域Ｒ６を検出し、特徴点Ｆ１～Ｆ１８を抽出することができる。ここで、摩耗量算出部３７Ａは、リンク５１Ｂの両側の側に位置する特徴点Ｆ９とＦ１８との距離をＸ９とし、これらの間に位置する特徴点Ｆ１２（または特徴点Ｆ１５）から、特徴点Ｆ９とＦ１８とを結ぶ直線までの距離をＸ１０とし、Ｘ１０／Ｘ９を算出することでリンク５１Ｂの摩耗量（摩耗率）を算出する。Ｘ１０が摩耗により減少し、Ｘ９は殆ど変化しないので、Ｘ１０／Ｘ９を算出することで、リンク５１Ｂの摩耗の状態を把握することができる。なお、本実施形態では、１つのリンク５１Ｂに対しての摩耗量を算出したが、たとえば、複数のリンク５１Ｂの全体長さをＸ９とし、Ｘ１０／Ｘ９の値を算出すれば、より正確なリンク５１Ｂの摩耗を把握することができる。
　このように、本実施形態では、作業機械５の複数種（５種類）の部品の部位に対して、これらの部品を選択することで、それぞれの摩耗量を測定することができ、作業機械５の摩耗し易い部品の交換時期を１つの摩耗量測定システム１を用いて、顧客に提案することができる。なお、選択した部品が、ローラ５１Ｃ、シュープレート５１Ｄ、ツース５３Ｄである場合には、基準ゲージ設定部３７Ｃにより、スプロケットの場合と同様に、これらの形状に応じた基準ゲージを設定してもよい。
　以上、本発明の実施の形態を用いて詳述してきたが、具体的な構成はこの実施形態及び実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更があっても、それらは本発明に含まれるものである。
　第２実施形態の変形例では、撮像判定部が、部位検出部により検出された結果を判定して、撮像装置による撮像のタイミングを判定したが、このような構成を、例えば、第３実施形態の摩耗量測定システムに適用してもよいことは勿論である。さらに、このような判定を行えば、摩耗量を特定するに好適な画像が取得できるので、特徴点抽出部を用いずに、取得した画像から部品の部位の摩耗を特定してもよい。
　さらに、第２および第３実施形態では、学習部として、第２学習部のみを設けたが、第１実施形態と同様の学習部を第２および第３実施形態の演算装置２Ａに設けてもよい。
　本実施形態では、摩耗量として摩耗度を算出することにより、交換時期を予測しているが、たとえば、図８に示すような基準ゲージと摩耗を測定する部位との隙間の大きさを、演算装置が演算し、基準ゲージと部位の画像と、隙間の大きさの演算結果を表示装置に出力し、対象部位の交換の判定を操作者等が行ってもよい。
１：摩耗量測定システム、２Ａ：演算装置、３Ａ：演算装置、３Ｂ：表示装置、３Ｃ：入力装置、３Ｅ：撮像装置、２１：部位検出部、２２：特徴点抽出部、５：作業機械、３４：抽出判定部、３６：特徴点修正部、３７Ａ：摩耗量算出部、３７Ｂ：交換時期算出部、３７Ｃ：基準ゲージ設定部、５１Ａ：スプロケット（部品）、５１ａ：歯（部位）、５１Ｂ：リンク（部品）、５１Ｃ：ローラ（部品）、５１ｈ：凸部、５１Ｄ：シュープレート（部品）、５１ｇ：支持部（部位）、５３Ｄ：ツース、５３ｄ：先端（部位）

Claims (10)

  1. 　作業機械の部品を含む撮像画像から前記部品の摩耗量を演算する演算装置を備えた摩耗量測定システムであって、
    　前記演算装置は、
    　前記作業機械の特定の種類の部品を含む学習用画像と、前記学習用画像において前記部品が摩耗する部位の形状を特定する複数の特徴点と、を教師データとして、前記特徴点の抽出が機械学習され、前記撮像画像から前記撮像画像における前記部位の特徴点を抽出する特徴点抽出部と、
    　前記特徴点から、前記部位の摩耗量を算出する摩耗量算出部と、を備える、摩耗量測定システム。
  2. 　前記摩耗量測定システムは、撮像装置と、前記撮像装置からの前記撮像画像を表示する表示装置と、を備えており、
    　前記演算装置は、前記学習用画像と、前記学習用画像において前記部品の摩耗する部位の領域と、を教師データして、前記領域の検出が機械学習され、前記撮像画像から前記撮像画像における前記部品の前記部位の領域を検出する部位検出部をさらに備えており、
    　前記表示装置は、前記撮像画像上に、前記部位検出部で検出した前記部品の領域を表示する、請求項１に記載の摩耗量測定システム。
  3. 　前記演算装置は、前記部位検出部の検出結果に基づいて、前記特徴点抽出部による前記特徴点の抽出の実行を判定する抽出判定部をさらに備える、請求項２に記載の摩耗量測定システム。
  4. 　前記摩耗量測定システムは、撮像装置と、前記撮像装置からの映像を表示する表示装置とを備え、
    　前記演算装置は、前記表示装置で表示された映像に、前記部品の形状に応じた撮影用ガイドを設定するガイド設定部と、前記撮像装置から前記撮像画像を取得する画像取得部と、をさらに備える、請求項１に記載の摩耗量測定システム。
  5. 　前記摩耗量測定システムにおいて、前記表示装置は、前記撮像装置からの映像を表示し、
    　前記演算装置は、前記表示装置で表示された映像に、前記部品の形状に応じた撮影用ガイドを設定するガイド設定部と、前記撮像装置から前記撮像画像を取得する画像取得部と、をさらに備え、
    　前記画像取得部は、前記映像からの画像において、前記部位検出部が前記部位の領域を検出したタイミングで、前記撮像装置に前記撮像画像を取得させる、請求項２に記載の摩耗量測定システム。
  6. 　前記摩耗量測定システムは、前記撮像画像とともに、前記撮像画像上に、前記特徴点抽出部で抽出した特徴点を表示する表示装置と、
    　前記表示装置に表示された特徴点に対して、前記撮像画像上で前記特徴点の位置の変更を入力する入力装置と、をさらに備え、
    　前記演算装置は、前記特徴点の位置の変更に合わせて、前記特徴点の位置を修正する特徴点修正部を備えており、
    　前記摩耗量算出部は、前記特徴点修正部で修正した特徴点に基づいて前記部位の摩耗量を算出する、請求項１に記載の摩耗量測定システム。
  7. 　前記演算装置は、前記撮像画像と、前記修正した特徴点を含む特徴点とを教師データとして、前記特徴点抽出部を再学習させる、請求項６に記載の摩耗量測定システム。
  8. 　前記演算装置は、前記部品の前記摩耗量とから、前記部品の交換時期を算出する交換時期算出部をさらに備える、請求項１に記載の摩耗量測定システム。
  9. 　前記摩耗量測定システムは、前記撮像画像と前記交換時期を表示する表示装置を備えており、
    　前記演算装置は、前記表示装置で表示された前記撮像画像の前記部位に対して、前記部位の摩耗前の表面形状に応じた基準ゲージの画像を設定する基準ゲージ設定部をさらに備える、請求項８に記載の摩耗量測定システム。
  10. 　前記演算装置は、作業機械の複数種の部品に応じて、複数の前記特徴点抽出部を備えており、
    　前記摩耗量測定システムは、前記複数種の部品から、１つの部品を設定する部品設定部と、
    　前記部品設定部で設定された部品に応じて、前記複数の特徴点抽出部から、１つの特徴点抽出部を選択する抽出部選択部と、をさらに備え、
    　前記抽出部選択部で選択された特徴点抽出部が、設定された前記部品の特徴点を抽出する、請求項１に記載の摩耗量測定システム。
PCT/JP2020/031866 2019-08-26 2020-08-24 摩耗量測定システム WO2021039731A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019153951A JP2021032736A (ja) 2019-08-26 2019-08-26 摩耗量測定システム
JP2019-153951 2019-08-26

Publications (1)

Publication Number Publication Date
WO2021039731A1 true WO2021039731A1 (ja) 2021-03-04

Family

ID=74678541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031866 WO2021039731A1 (ja) 2019-08-26 2020-08-24 摩耗量測定システム

Country Status (2)

Country Link
JP (1) JP2021032736A (ja)
WO (1) WO2021039731A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016504643A (ja) * 2012-10-17 2016-02-12 キャタピラー インコーポレイテッドＣａｔｅｒｐｉｌｌａｒ Ｉｎｃｏｒｐｏｒａｔｅｄ 部品のデジタル画像に基づく部品の磨耗判定方法及びシステム
JP2018195107A (ja) * 2017-05-18 2018-12-06 ファナック株式会社 画像処理システム
WO2019130945A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
JP2019125057A (ja) * 2018-01-12 2019-07-25 キヤノン株式会社 画像処理装置及びその方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016504643A (ja) * 2012-10-17 2016-02-12 キャタピラー インコーポレイテッドＣａｔｅｒｐｉｌｌａｒ Ｉｎｃｏｒｐｏｒａｔｅｄ 部品のデジタル画像に基づく部品の磨耗判定方法及びシステム
JP2018195107A (ja) * 2017-05-18 2018-12-06 ファナック株式会社 画像処理システム
WO2019130945A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
JP2019125057A (ja) * 2018-01-12 2019-07-25 キヤノン株式会社 画像処理装置及びその方法、プログラム

Also Published As

Publication number Publication date
JP2021032736A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
CN104217350B (zh) 实现虚拟试戴的方法和装置
US9996909B2 (en) Clothing image processing device, clothing image display method and program
JP3608920B2 (ja) 非接触画像計測システム
EP2553383B1 (en) Method and apparatus for generating texture in a three-dimensional scene
JP2017117341A (ja) 物体検出方法、装置、及びプログラム
EP3306529A1 (en) Machine control measurements device
CN108027667A (zh) 信息处理设备、信息处理方法和程序
WO2021039731A1 (ja) 摩耗量測定システム
JP2008516319A (ja) 画像センサを有する携帯型装置を用いる表示制御方法
JPWO2005096129A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
WO2005096130A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
JP2017189181A (ja) 靴のフィッティング度合提示方法および靴のフィッティング度合提示装置
EP3723039A1 (en) Tip attachment discrimination device
CN110873551A (zh) 检查装置
JP2020010166A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6597702B2 (ja) 設営アシストシステム
JP2018106358A (ja) 設営アシストシステム
US20220259815A1 (en) System for determining content of work performed by construction machine and method for determining work
US20220366248A1 (en) Learning apparatus, a learning method, object detecting apparatus, object detecting method, and recording medium
WO2021084690A1 (ja) 情報処理システム、情報処理装置、インソール、情報処理方法および記録媒体
US9844316B2 (en) Corneal endothelial cell analysis method and corneal endothelial cell analysis apparatus
JPH04323503A (ja) 画像処理装置
US11978138B2 (en) Information processing apparatus, information processing method, and storage medium for estimating the size of a detection target
WO2022102533A1 (ja) マスク設定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20856837

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20856837

Country of ref document: EP

Kind code of ref document: A1