WO2022107412A1 - 締結部材の状態解析システム及び状態解析方法 - Google Patents

締結部材の状態解析システム及び状態解析方法 Download PDF

Info

Publication number
WO2022107412A1
WO2022107412A1 PCT/JP2021/031478 JP2021031478W WO2022107412A1 WO 2022107412 A1 WO2022107412 A1 WO 2022107412A1 JP 2021031478 W JP2021031478 W JP 2021031478W WO 2022107412 A1 WO2022107412 A1 WO 2022107412A1
Authority
WO
WIPO (PCT)
Prior art keywords
fastening
state
fastening member
image
deformation distribution
Prior art date
Application number
PCT/JP2021/031478
Other languages
English (en)
French (fr)
Inventor
洋平 磯崎
剛志 井上
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2022107412A1 publication Critical patent/WO2022107412A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a state analysis system and a state analysis method for fastening members.
  • Fastening members such as bolts and nuts are used for fastening between machine parts.
  • the fastening member fixes the mechanical parts by the axial force acting on the fastening member when the fastening torque is applied. If an abnormality (looseness, breakage, etc.) occurs in the fastening member, the mechanical parts will be released from fixing, which may lead to a serious accident. Therefore, it is extremely important to confirm the fastening state of the fastening member and maintain the soundness of the fastening state in order to ensure the reliability of the mechanical parts.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a state analysis system and a state analysis method for a fastening member, which enables easier analysis of the fastening state of the fastening member. ..
  • one of the representative state analysis systems for fastening members of the present invention is An image generator that generates a deformation distribution image of the fastening member from images taken before and after fastening the fastening member, respectively. It is provided with a state determination device that analyzes the deformation distribution image generated by the image generator and determines the fastening state of the fastening member.
  • the image generator generates a deformation distribution image from the images captured before and after fastening the fastening member, and the state determination device analyzes the deformation distribution image and fastens the fastening member. Since the fastening state of the member is determined, the fastening state of the fastening member can be easily analyzed.
  • FIG. 1 is a top view and a side view showing an example of the fastening member 100 and the fastening member 130 according to the first embodiment.
  • FIG. 2 is a schematic configuration diagram showing an example of the state analysis system 200 of the fastening member 100.
  • FIG. 3 is a schematic explanatory diagram showing an example of an image correlation method when the deformation distribution image generator 220 generates a deformation distribution image (displacement distribution data 310 or strain distribution data 320).
  • FIG. 4 is a schematic explanatory view showing the relationship between the fastening state of the fastening member 100 and the strain distribution data 320.
  • FIG. 5 is a schematic explanatory view showing the relationship between the crack generation state in the fastening member 100 and the crack generation cause.
  • FIG. 1 is a top view and a side view showing an example of the fastening member 100 and the fastening member 130 according to the first embodiment.
  • FIG. 2 is a schematic configuration diagram showing an example of the state analysis system 200 of the fastening member 100.
  • FIG. 6 is a data structure diagram showing an example of the fastening member database 600 according to the first embodiment.
  • FIG. 7 is a schematic configuration diagram showing an example of the convolutional neural network 700 according to the first embodiment.
  • FIG. 8 is a flowchart showing an example of a state analysis method of the fastening member 100 carried out by the state analysis system 200 according to the first embodiment.
  • FIG. 9 is a schematic configuration diagram showing an example of the convolutional neural network 700 according to the second embodiment.
  • FIG. 1 is a top view and a side view showing an example of the fastening member 100 and the fastening member 130 according to the first embodiment.
  • the fastening member 100 is composed of a bolt 110 and a nut 120.
  • the bolt 110 includes a bolt shaft portion 111 and a hexagonal columnar bolt head 112 formed in a flange shape on the base end side of the bolt shaft portion 111. On the tip end side of the bolt shaft portion 111, a male thread is cut on the outer peripheral surface thereof.
  • a pattern pattern 113 having a predetermined pattern is formed on the upper surface 112a of the bolt head 112.
  • the pattern pattern 113 is, for example, a black-and-white pattern, and is formed by applying a white paint to the entire surface, drying the pattern, and then applying the black paint in a spotted manner by spraying. Further, the pattern pattern 113 may be formed by attaching a sticker on which a predetermined pattern is printed to the upper surface 112a of the bolt head 112.
  • the pattern pattern 113 may be any pattern as long as it is a visually manifested pattern capable of generating a deformation distribution image by the image correlation method described later, and may be an irregular pattern, for example, a striped pattern. It may be a regular pattern. Further, the pattern pattern 113 is not limited to the application of paint or the sticking of a sticker, and may be formed by any method.
  • the nut 120 has a hexagonal columnar shape, and has a hole through which the central portion of the hexagonal columnar is penetrated. A female thread is cut on the inner peripheral surface of the hole.
  • the bolt 110 and the nut 120 are manufactured by using a metal material such as iron, steel, stainless steel, a nickel-based alloy, or a resin material.
  • the specifications such as the dimensions, materials, and shapes of the bolt 110 and the nut 120 may be appropriately selected according to the fastening force, durability, and the like required by the member to be fastened 130.
  • the member to be fastened 130 is a member to be fastened by the fastening member 100, and is composed of a first part 131 and a second part 132.
  • the first component 131 and the second component 132 are arbitrary mechanical components and have a hole having an inner diameter larger than the outer diameter of the bolt shaft portion 111.
  • a washer may be inserted between the bolt 110 and the first component 131, or between the nut 120 and the second component 132.
  • the bolt shaft portion 111 is inserted into the holes of the first component 131 and the second component 132, and the bolt head is inserted.
  • the seat surface 112b of 112 comes into contact with the surface 131a of the first component 131.
  • the male screw of the bolt 110 is screwed into the female screw of the nut 120, and the seat surface 120a of the nut 120 comes into contact with the surface 132a of the second component 132.
  • an axial force F1 acts between the bolt 110 and the nut 120 via the bolt shaft portion 111, and the fastening work is completed.
  • the axial force F1 acts along the axial direction of the bolt shaft portion 111, but the seat surface 112b of the bolt head 112 receives the reaction force F2 due to the reaction of the axial force F1, so that the bolt head 112
  • the outer peripheral portion receives a bending deformation force F3 toward the center of the bolt head 112, and bending deformation occurs.
  • the fastening member 100 is fastened by observing the amount of deformation (strain) when the bolt head 112 is bent and deformed by the fastening torque.
  • strain the amount of deformation
  • FIG. 2 is a schematic configuration diagram showing an example of the state analysis system 200 of the fastening member 100.
  • the state analysis system 200 is composed of, for example, a general-purpose or dedicated computer system.
  • the state analysis system 200 analyzes the image captured by the image pickup device 210 on the fastening member 100, and determines the fastening state of the fastening member 100.
  • the state analysis system 200 has an image pickup device 210 for imaging the fastening member 100 and a deformation distribution image of the fastening member 100 from images captured by the imaging device 210 before and after fastening the fastening member 100, respectively.
  • the deformation distribution image generator 220 that generates the above
  • the state determination device 230 that determines the fastening state of the fastening member 100 by analyzing the deformation distribution image generated by the deformation distribution image generator 220, and the fastening state of the fastening member 100 are determined.
  • It is provided with a storage unit 240 for storing various data necessary for the operation, and a display device 250 for displaying the determination result of the fastening state by the state determination device 230.
  • the state analysis system 200 may be configured as a system including at least a deformation distribution image generator 220 and a state determination device 230. Further, the state analysis system 200 may further include a communication unit (not shown) for transmitting and receiving various data to and from an external device via a wired or wireless communication network.
  • the image pickup device 210 has, for example, a CMOS sensor, a CCD sensor, or the like, and is composed of a general optical image pickup device such as a digital camera.
  • the image pickup device 210 may use a stereo system configured by combining a plurality of optical image pickup devices.
  • the image pickup device 210 takes an image of the fastening member 100 in a state of being arranged at a predetermined imaging position with respect to the fastening member 100, and stores the captured image as digital data in the storage unit 240.
  • the image pickup apparatus 210 is arranged above the bolt head 112 (for example, on an extension of the central axis of the bolt shaft portion 111) as an image pickup position, and the pattern pattern 113 of the bolt head 112 is formed. Image the area.
  • the image pickup process in which the image pickup device 210 images the fastening member 100 is performed before and after the fastening of the fastening member 100. That is, the image pickup apparatus 210 takes an image of the fastening member 100 before applying the fastening torque (before fastening), and stores the image as the pre-fastening image 211 in the storage unit 240. Then, the image pickup device 210 takes an image of the same fastening member 100 after applying the fastening torque (after fastening), and stores the image as the fastening image 212 in the storage unit 240.
  • the image pickup device 210 used in the image pickup step before and after the fastening may use the same image pickup device 210 or a different image pickup device 210.
  • different image pickup devices 210 it is preferable that the number of pixels and the angle of view are the same, but devices having different numbers of pixels and an angle of view may be used.
  • the image pickup apparatus 210 captures the pre-fastening image 211 using, for example, a representative fastening member 100, and the pre-fastening image 211 of the representative fastening member 100 is a pre-fastening image for a plurality of fastening members 100. It may be substituted as 211.
  • the deformation distribution image generator 220 is composed of, for example, one or a plurality of arithmetic processing units (CPU, MPU, GPU, etc.).
  • the deformation distribution image generator 220 generates a deformation distribution image 300 by an image correlation method from the pre-fastening image 211 and the post-fastening image 212, which are captured by the image pickup device 210 before and after fastening and stored in the storage unit 240, respectively.
  • FIG. 3 is a schematic explanatory view showing an example of an image correlation method when the deformation distribution image generator 220 generates a deformation distribution image 300 (displacement distribution data 310 or strain distribution data 320).
  • the deformation distribution image generator 220 divides the pre-fastened image 211 and the post-fastened image 212 into small regions, and then for each small region, the pattern pattern 113 of the bolt head 112 included in the pre-fastened image 211 and the post-fastened image 212. The amount of movement (displacement) between the bolt head 112 and the pattern 113 included in the bolt head 112 is obtained. As a result, the deformation distribution image generator 220 obtains the displacement distribution data 310 due to the load of the axial force acting on the bolt head 112.
  • the deformation distribution image generator 220 obtains the strain distribution data 320 by obtaining the gradient of the displacement distribution based on the displacement distribution data 310, and stores the strain distribution data 320 in the storage unit 240.
  • the state analysis system 200 determines the fastening state of the fastening member 100 using the strain distribution data 320 as the deformation distribution image 300, but fastens using the displacement distribution data 310 instead of the strain distribution data 320.
  • the fastened state of the member 100 may be determined.
  • FIG. 4 is a schematic explanatory view showing the relationship between the fastened state of the fastening member 100 and the strain distribution data 320.
  • FIG. 4 shows strain distribution data for five typical fastening states of the bolt 110, in order from the left side: sound, loose, crack generation on one side, crack generation on both sides, and crack generation on the entire axis.
  • 320 is shown as the first to fifth strain distribution data 320A to 320E.
  • the looseness is mainly assumed to be non-rotational loosening, but may include rotational loosening.
  • the first strain distribution data 320A shows the minimum principal strain in a state where the axial force acting on the bolt 110 is sound. In the first strain distribution data 320A, the closer to the center of the bolt head 112, the larger the compression strain is introduced.
  • the second strain distribution data 320B shows the minimum principal strain in a state where the axial force acting on the bolt 110 is reduced due to loosening.
  • the magnitude of the compression strain is smaller as a whole as compared with the first strain distribution data 320 in a sound state.
  • degree of decrease in axial force degree of looseness
  • the magnitude of the compression strain becomes smaller as a whole.
  • the center of the bolt shaft portion 111 starts from one point on one side of the boundary (lower part of the neck) between the bolt shaft portion 111 and the bolt head 112. It shows the minimum principal strain in the state where the crack 400 is growing toward.
  • the axial force cannot be taken around the crack growth portion where the crack 400 is growing, and the compressive strain around the crack growth portion becomes small, so that the bolt head 112 The distribution is biased in one direction from the center.
  • the fourth strain distribution data 320D when the bolt 110 is repeatedly subjected to the double swing bending load, the first crack 401 and the second crack 401 toward the center of the bolt shaft portion 111 starting from two points on both sides of the lower part of the neck. It shows the minimum principal strain in the state where each crack 402 is growing.
  • the axial force cannot be taken over around the crack growth portions on both sides where the first crack 401 and the second crack 402 are growing, respectively, and the crack growth on both sides. Since the compressive strain around the portion is small, the distribution is biased from the center of the bolt head 112 to both sides.
  • the minimum principal strain in a state where the crack 403 extends toward the center of the bolt shaft portion 111 from the entire shaft circumference of the lower part of the neck as the bolt 110 is repeatedly subjected to a torsional load. Is shown.
  • the axial force cannot be taken over by the entire axis around which the crack 403 is growing, and the compressive strain around the crack growing portion existing around the entire axis becomes small, so that it is sound.
  • the magnitude of the compression strain is smaller overall near the outer circumference of the bolt head 112, and the second strain distribution in the state where the axial force is reduced due to loosening.
  • the magnitude of the compressive strain is generally larger in the vicinity of the center of the bolt head 112.
  • FIG. 5 is a schematic explanatory view showing the relationship between the crack generation state in the fastening member 100 and the crack generation cause.
  • FIG. 5 cracks are generated for three crack generation situations (cracks on one side, cracks on both sides, and cracks around the entire axis) when cracks 500 to 503 occur in the bolt 110.
  • the three causes of cracking are shown.
  • FIG. 4 shows the case where the cracks 400 to 403 occur in the lower part of the neck of the bolt 110
  • FIG. 5 shows the case where the cracks 500 to 503 occur in the portion where the male screw of the bolt shaft portion 111 is cut.
  • the site where cracks occur is not limited to these.
  • the state of crack generation in the fastening member 100 differs depending on the load form when the fastening member 100 receives a load as the cause of crack generation. The difference is also reflected in the characteristics of the third to fifth strain distribution data 320C to 320E shown in FIG.
  • the first strain distribution data 320A when the axial force acting on the fastening member 100 is sound, the second strain distribution data 320B when the axial force is reduced due to loosening, and The third to fifth strain distribution data 320C to 320E when cracks are generated have different characteristics of the strain distribution. Further, as shown in FIG. 5, the crack generation state in the fastening member 100 differs depending on the load form when the fastening member 100 is loaded, but the third to fifth strain distribution data 320C to 320E are , The characteristics of the strain distribution are different so as to reflect the difference in the load form.
  • the state determination device 230 shown in FIG. 2 is composed of, for example, one or a plurality of arithmetic processing units (CPU, MPU, GPU, etc.). As described above, the state determining device 230 determines the fastening state of the fastening member 100 by analyzing the characteristics of the strain distribution data 320 by utilizing the fact that the characteristics of the strain distribution are different.
  • the state determining device 230 determines the presence or absence of a decrease in the axial force or the degree of decrease in the axial force when the axial force is decreased as the fastening state of the fastening member 100, and further, when the axial force is decreased. Determine the cause of the decrease in axial force. Further, the state determining device 230 determines whether or not a crack has occurred or the state of crack generation when a crack has occurred as the fastening state of the fastening member 100, and further, the crack generation when a crack has occurred. Determine the cause.
  • the determination item that the state determination device 230 determines as the fastening state of the fastening member 100 may include at least one of the items listed above.
  • the state determining device 230 determines the fastening state of the fastening member 100 by inputting the strain distribution data 320 generated by the deformation distribution image generator 220 into the convolutional neural network 700 stored in the storage unit 240. do.
  • the state determining device 230 determines the treatment content to be treated for the fastening member 100 by the operator based on the determination result when the fastening state of the fastening member 100 is determined.
  • the treatment contents are, for example, replacement of the fastening member 100, re-application of the fastening torque, follow-up observation, and the like. For example, if the determination result indicates that a crack has occurred, the treatment content is replacement of the bolt 110, and if the determination result indicates that the degree of decrease in axial force is large, the treatment content is the fastening torque. If the determination result indicates that the degree of decrease in axial force is small, the treatment content is follow-up.
  • the deformation distribution image generator 220 and the state determination device 230 may be realized, for example, by causing an arithmetic processing unit (CPU, MPU, GPU, etc.) to execute a program stored in the storage unit 240.
  • an arithmetic processing unit CPU, MPU, GPU, etc.
  • it may be realized by hardware such as FPGA and ASIC.
  • the storage unit 240 is composed of one or a plurality of memories or storage devices.
  • the storage unit 240 stores the fastening member database 600 (see FIG. 6 for details) and the convolutional neural network 700 (see FIG. 7 for details) as various data.
  • the storage unit 240 may be provided in an external device, and in that case, it may be accessible via the communication unit.
  • FIG. 6 is a data structure diagram showing an example of the fastening member database 600 according to the first embodiment.
  • the fastening member database 600 uses identification information (ID) for identifying a plurality of fastening members 100 as a key, and features information of the pre-fastening image 211, the post-fastening image 212, the deformation distribution image 300, and the fastening member 100. And the determination result of the fastening state are stored in association with each other.
  • ID identification information
  • the pre-fastening image 211 and the post-fastening image 212 are images taken by the image pickup device 210 before and after fastening the same fastening member 100, respectively.
  • the deformation distribution image 300 is an image generated by the deformation distribution image generator 220 from the pre-fastening image 211 and the post-fastening image 212, and may be either the displacement distribution data 310 or the strain distribution data 320, or both.
  • the feature information of the fastening member 100 is, for example, the dimensions (nominal diameter, shaft diameter, nominal length, total length, width across flats, screw pitch, etc.), material (type, physical characteristics, etc.) of each part as information that determines the specifications of the fastening member 100. Value etc.), shape etc. are included.
  • the characteristic information of the fastening member 100 includes, for example, temperature, humidity, whether or not the outdoor environment is exposed to wind and rain or direct sunlight, an installation position, and the like, as information that determines the usage environment of the fastening member 100.
  • the feature information may be input by, for example, the administrator of the state analysis system 200, or may be automatically input based on the product number or the like of the fastening member 100. Further, the feature information may be a part or all of the information exemplified above, or may further include other information.
  • the fastening state determination result is the fastening state determination result obtained by the state determining device 230 analyzing the deformation distribution image generator 220.
  • FIG. 7 is a schematic configuration diagram showing an example of the convolutional neural network 700 according to the first embodiment.
  • the convolutional neural network 700 is used when the state determining device 230 determines the fastening state of the fastening member 100.
  • the convolutional neural network 700 uses the strain distribution data 320 as input data, and the input data and the correct answer data are based on a plurality of learning data in which the fastening state of the fastening member 100, which is the generation source of the strain distribution data 320, is the correct answer data. It is a machine-learned convolutional neural network model of correlations.
  • the convolutional neural network 700 includes an input layer 710, a plurality of convolutional layers 720, a plurality of pooling layers 730, a fully connected layer 740, and an output layer 750.
  • the input layer 710 has a plurality of nodes corresponding to the two-dimensional array, and each element value of the strain distribution data 320 composed of the two-dimensional element values is input to each node as input data.
  • the convolutional layer 720 and the pooling layer 730 are layered into, for example, about 5 layers, and each layer has about several hundred channels.
  • the convolution layer 720 and the pooling layer 730 extract features by repeating the convolution process and the pooling process, respectively, and output the extracted features to the fully connected layer 740 as a two-dimensional array.
  • the number of layers of the convolution layer 720 and the pooling layer 730 and the number of channels of each layer may be changed as appropriate.
  • the fully connected layer 740 has a plurality of nodes configured as a one-dimensional array, and the features extracted as the two-dimensional array by the folding layer 720 and the pooling layer 730 are converted into the one-dimensional array.
  • the number of nodes in the fully connected layer 740 is, for example, about several hundred, but it may be changed as appropriate.
  • the output layer 750 has a plurality of nodes connected to the fully connected layer 740, and each node outputs an accuracy value for a plurality of preset classification classes.
  • the classification class corresponding to each node of the output layer 750 indicates the fastening state of the fastening member 100.
  • the classification class for example, as shown in FIG. 7, "healthy” indicating that the fastening state of the fastening member 100 is sound, "with a decrease in axial force” indicating a decrease in axial force, and occurrence of cracks are shown. "With cracks” is set.
  • the classification class includes "axial force decrease (large)”, “axial force decrease (medium)” and “axial force decrease (small)” indicating the degree of axial force decrease in multiple stages. May be set, or “looseness” and “crack” indicating the cause of the decrease in axial force may be set.
  • “crack generation on one side”, “crack generation on both sides”, and “crack generation around the axis” indicating the crack generation status are set in the classification class.
  • “repeated single swing bending load”, “repeated double swing bending load” and “repeated torsion load” indicating the cause of crack occurrence may be set.
  • the accuracy value output by each node of the output layer 750 is normalized so that the sum of the accuracy values of all the classification classes is 1, for example, by applying the softmax function to the output value for each classification class.
  • the classification class having the maximum accuracy value is the determination result of the fastening state by the convolutional neural network 700, and the magnitude of the accuracy value indicates the reliability of the determination result.
  • the accuracy value may be normalized so as to be 0 to 1 for each classification class. Further, the fracture surface diagnosis may be separately performed on the fastening member 100 to confirm the consistency with the determination result of the convolutional neural network 700.
  • the convolutional neural network 700 needs to adjust the calculation parameters in advance when extracting the features based on a plurality of learning data. Therefore, a large number of cases in which the fastening state of the fastening member 100 is known are collected, the strain distribution data 320 is used as input data, and the fastening state of the fastening member 100, which is the generation source of the strain distribution data 320, is used as correct answer data. A plurality of training data are prepared, and the learning process of the convolutional neural network 700 is carried out. When preparing the training data, the strain distribution artificially created by utilizing the simulation result of the finite element analysis that can parametrically change the magnitude of the axial force, the position of the crack, the number, the degree of progress, etc. The data 320 may be used as training data.
  • the strain distribution data 320 constituting the training data is input to the input layer 710 of the convolutional neural network 700 as input data, and the accuracy value for each classification class is output from the output layer 750.
  • the classification class indicated by the correct answer data is the difference between the accuracy value output from the output layer 750 and 1, and the other classes are the sum of the accuracy values output from the output layer 750 and the difference (loss) of 0. It is evaluated by the mean square error, and the calculation parameters for extracting the feature quantities of the convolution layer 720 and the fully connected layer 740 are updated so that this value is minimized.
  • the convolutional neural network 700 In order to prevent the convolutional neural network 700 from becoming a neural network with low generalization that is excessively adapted to the training data, by using a part of the training data as the verification data, the loss to the verification data is lost in the training process. If it rises continuously with respect to repetition, the learning process may be terminated. Further, in the convolutional neural network 700, an activation function, batch normalization, dropout, etc. are applied to the convolutional layer 720 and the pooling layer 730 to enhance the generalization of the convolutional neural network 700. These methods are applied. It may not be necessary, or other methods may be applied.
  • the display device 250 is composed of, for example, a liquid crystal display, an organic EL display, or the like.
  • the display device 250 displays a determination result of the fastening state when the state determining device 230 determines the fastening state of the fastening member 100, and a determination result of the treatment content when the treatment content is determined based on the determination result of the fastening state. do.
  • the display device 250 may output the accuracy value for each classification class output from the convolutional neural network 700 as the determination result of the fastening state, or only the classification class having the maximum accuracy value and the accuracy value having the maximum accuracy value. May be output.
  • FIG. 8 is a flowchart showing an example of a state analysis method of the fastening member 100 carried out by the state analysis system 200 according to the first embodiment.
  • the machine-learned convolutional neural network 700 will be described as being stored in the storage unit 240, but it goes without saying that the machine-learned convolutional neural network 700 does not necessarily have to be stored in the storage unit 240. ..
  • step S800 imaging step
  • the image pickup device 210 images the fastening member 100 before applying the fastening torque to the fastening member 100 on which the pattern pattern 113 is formed, and stores the image as the pre-fastening image 211. It is stored in the fastening member database 600 of 240.
  • step S810 the operator performs the fastening work of applying the fastening torque to the fastening member 100.
  • step S820 imaging step
  • the imaging device 210 images the fastening member 100 after a predetermined determination execution period has elapsed after the fastening torque is applied to the fastening member 100, and the image is used as the image 212 after fastening. It is stored in the fastening member database 600 of the storage unit 240.
  • the determination execution period is determined, for example, according to the specifications of the fastening member 100, the usage environment in which the fastening member 100 is used, and the like.
  • the post-fastening image 212 When the post-fastening image 212 is stored in the fastening member database 600, it is saved in association with the pre-fastening image 211 when the same fastening member 100 is imaged before fastening.
  • the association between the pre-conclusion image 211 and the post-conclusion image 212 may be specified by the operator, and when the pre-conclusion image 211 and the post-conclusion image 212 include an identification code such as a two-dimensional code, the association may be specified. It may be carried out based on the identification code.
  • the image pickup device 210 is provided with a position detection unit such as GPS, the correspondence between the two is the image pickup position (installation position of the fastening member 100) when the pre-fastening image 211 and the post-fastening image 212 are respectively imaged. It may be carried out by comparing the positional relationship.
  • step S830 image generation step
  • the deformation distribution image generator 220 reads out the pre-fastening image 211 and the post-fastening image 212 stored in the fastening member database 600 of the storage unit 240, and reads out the pre-fastening image 211 and the post-fastening image 212, and the pre-fastening image 211 and the post-fastening image 212.
  • the strain distribution data 320 is generated as the deformation distribution image 300 from.
  • step S840 state determination step
  • the state determination device 230 inputs the strain distribution data 320 generated by the deformation distribution image generator 220 to the input layer 710 of the convolutional neural network 700 stored in the storage unit 240. Then, the state determination device 230 determines the fastening state of the fastening member 100 based on the accuracy value of each classification class output from the output layer 750 of the convolutional neural network 700.
  • step S850 output process
  • the display device 250 displays the determination result of the fastening state in step S840 (for example, the accuracy value for each classification class).
  • step S860 state determination step
  • the state determination device 230 determines the treatment content for the fastening member 100 based on the determination result of the fastening state in step S840.
  • step S870 the display device 250 displays the determination result of the treatment content in step S860 (for example, replacement of the fastening member 100, re-applying of the fastening torque, follow-up observation, etc.).
  • steps S860 and S870 may be omitted.
  • steps S850 and S870 the determination result and the determination result are displayed on the display device 250, but may be stored as history data in the fastening member database 600 of the storage unit 240.
  • the fastened member 130 fastened by the fastening member 100 is, for example, one of the equipment constituent members constituting infrastructure equipment (railway track, road, bridge), plant equipment (power plant, chemical treatment equipment), mechanical equipment, and the like.
  • a plurality of fastening members 100 are used as the equipment constituent members.
  • the series of processes shown in FIG. 8 may be repeated for each fastening member 100.
  • the deformation distribution image generator 220 generates strain distribution data 320 from the pre-fastening image 211 and the post-fastening image 212, which are images of the fastening member 100 before and after fastening, respectively, and determines the state.
  • the vessel 230 analyzes the strain distribution data 320 and determines the fastening state of the fastening member 100. Thereby, the fastening state of the fastening member 100 can be easily analyzed.
  • the state determining device 230 determines whether or not there is a decrease in the axial force or the degree of decrease in the axial force as the fastening state, it is possible to diagnose the soundness of the axial force acting on the fastening member 100. Further, when the state determining device 230 determines the cause of the decrease in axial force as the fastening state, when determining the treatment content for the fastening member 100, changing the specifications of the fastening member 100, or considering other measures. It can also present useful information to.
  • the state determining device 230 determines whether or not a crack has occurred or the state of crack occurrence as the fastening state, it is possible to appropriately diagnose whether or not the fastening member 100 needs to be replaced. Further, when the state determining device 230 determines the cause of crack occurrence as the fastening state, when determining the treatment content for the fastening member 100, changing the specifications of the fastening member 100, or considering other measures. It can also present useful information to.
  • the state determining device 230 determines the fastening state of the fastening member 100 by inputting the strain distribution data 320 into the convolutional neural network 700.
  • the convolutional neural network 700 uses, for example, learning data based on the fastening member 100 when the axial force drops or cracks occur in the past, learning data based on simulation results assuming various fastening states, and the like. It is possible to make machine learning. Therefore, the fastening state of the fastening member 100 can be analyzed with higher accuracy.
  • FIG. 9 is a schematic configuration diagram showing an example of the convolutional neural network 900 according to the second embodiment.
  • the strain distribution data 320 is input as input data, and the determination result of the fastening state is output from the output layer 750.
  • the characteristic information of the fastening member 100 is input as input data together with the strain distribution data 320, and the determination result of the fastening state is obtained from the output layer 750. It is output. Since the configuration of each part of the state analysis system 200 according to the second embodiment is the same as that of the state analysis system 200 according to the first embodiment, the differences between the two will be mainly described below.
  • the fully connected layer 940 included in the convolutional neural network 900 has a plurality of nodes for converting the feature quantities extracted as a two-dimensional array by the convolutional layer 720 and the pooling layer 730 into a one-dimensional array, and features the fastening member 100. It has one or more nodes into which information is entered.
  • the characteristic information of the fastening member 100 may be, for example, the dimensions, materials, shapes, etc. of each part that determines the specifications of the fastening member 100, or the temperature, humidity, wind, rain, or outdoor environment that determines the usage environment of the fastening member 100. Whether or not it is installed, the installation position, etc. may be used.
  • the feature information may be a part or all of the information exemplified above, or may further include other information, and the number of nodes of the fully connected layer 940 is set according to the number of feature information.
  • the feature information is acquired from, for example, the fastening member database 600 of the storage unit 240 shown in FIG. 6 and input to the fully connected layer 940.
  • the value as it is may be input, or the representative value may be defined and the normalized value may be input.
  • the characteristic information of the strain distribution data 320 and the fastening member 100 that is the generation source of the strain distribution data 320 is used as input data, and the fastening member 100 that is the generation source of the strain distribution data 320 is fastened.
  • the correlation between the input data and the correct answer data is convoluted and machine-learned by the neural network 900.
  • the strain distribution data 320 is input to the input layer 710, and the feature information of the fastening member 100 is input to the fully connected layer 940.
  • the state determination device 230 inputs the characteristic information of the strain distribution data 320 generated by the deformation distribution image generator 220 and the fastening member 100 that is the generation source of the strain distribution data 320 into the convolutional neural network 900, so that the fastening member 100 Judge the fastening state of.
  • the strain distribution data 320 is input to the input layer 710, and the feature information of the fastening member 100 is read out from the fastening member database 600 of the storage unit 240 and input to the fully connected layer 940.
  • the state determining device 230 determines the fastening state of the fastening member 100 by inputting the feature information of the fastening member 100 into the convolutional neural network 900 in addition to the strain distribution data 320. ..
  • the influence of the characteristic information of the fastening member 100 on the fastening state is taken into consideration, so that the fastening state of the fastening member 100 can be analyzed with higher accuracy.
  • Example 3 Next, Example 3 will be described.
  • the deformation distribution image generator 220 deforms the fastening member 100 from the pre-fastening image 211 and the post-fastening image 212, which are images of the fastening member 100 on which the pattern pattern 113 is formed before and after fastening, respectively. The description has been made assuming that the image 300 is generated.
  • a pattern is also formed on the fastened member 130 (in the example of FIG. 1, the surface 131a of the first component 131), and the deformation distribution image generator 220 uses the fastened member 130.
  • a deformation distribution image 300 of the fastening member 100 and the fastening member 130 is generated from the pre-fastening image 211 and the post-fastening image 212, which are images of the fastening member 100 before and after fastening, respectively, as a background.
  • the deformation distribution image generator 220 may generate a deformation distribution image 300 including both the fastening member 100 and the fastened member 130, or the deformation distribution image 300 including the fastening member 100 and the fastened member 130.
  • the deformation distribution image 300 including the above may be generated separately.
  • the pattern pattern formed on the fastened member 130 may be the same pattern as the pattern pattern 113 formed on the fastened member 100, or may be a different pattern. Further, it is not necessary to form a pattern on the entire surface 131a of the fastened member 130, and the surface 131a located at least around the fastening member 100 is within the range affected by the axial force acting on the fastening member 100. It suffices if a pattern is formed in.
  • the state determining device 230 analyzes the deformation distribution image 300 of the fastening member 100 and the fastened member 130 generated by the deformation distribution image generator 220, and determines the fastening state. Since the other configurations of the state analysis system 200 according to the third embodiment are the same as those of the state analysis system 200 according to the first or second embodiment, detailed description thereof will be omitted.
  • the state determining device 230 determines the fastening state of the fastening member 100 by analyzing not only the deformation amount of the fastening member 100 but also the deformation amount of the fastened member 130. .. As a result, the influence of the axial force acting on the fastening member 100 on the fastening member 130 is also taken into consideration, so that the fastening state of the fastening member 100 can be analyzed with higher accuracy.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention.
  • the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted. Further, it is possible to add or replace a part of the configuration according to a specific embodiment with the configuration according to another embodiment.
  • the state determination device 230 has been described as inputting the strain distribution data 320 generated by the deformation distribution image generator 220 into the convolutional neural networks 700 and 900 to determine the fastening state of the fastening member 100.
  • the state determination device 230 may perform predetermined image processing on the strain distribution data 320 without using the convolutional neural networks 700 and 900 to determine the fastening state of the fastening member 100. good.
  • image processing for example, any method can be used as long as it extracts the characteristics of the axial force and cracks appearing in the strain distribution data 320.
  • pattern matching processing, noise removal processing, edge enhancement processing, and filter can be used. The processing and the like may be combined and executed as appropriate.
  • the deformation distribution image generator 220 has been described as generating the deformation distribution image 300 from the pre-fastening image 211 and the post-fastening image 212, which are images of the bolt 110 on which the pattern pattern 113 is formed before and after fastening, respectively. ..
  • the pattern pattern 113 is formed on the nut 120
  • the deformation distribution image generator 220 takes images of the nut 120 on which the pattern pattern 113 is formed before and after fastening, respectively, from the pre-fastening image 211 and the post-fastening image 212.
  • the image 300 may be generated.
  • the state determining device 230 may analyze the deformation distribution image 300 whose generation source is the nut 120 to determine the fastening state.
  • the state determining device 230 may analyze the deformation distribution image 300 whose generation source is the bolt 110 and the deformation distribution image 300 whose generation source is the nut 120 to determine the fastening state. In particular, when it is expected that a crack will occur in the portion where the male thread of the bolt shaft portion 111 is cut, it is desirable to determine the tightened state by targeting the nut 120 as well.
  • Fastening member database 700 ... Convolutional neural network, 710 ... Input Layer, 720 ... convolutional layer, 730 ... pooling layer, 740 ... fully connected layer, 750 ... output layer, 900 ... convolutional neural network, 940 ... fully connected layer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、締結部材の締結状態をより簡便に解析することを可能とする締結部材の状態解析システムを提供する。このため、締結部材１００の状態解析システム２００は、締結部材１００を締結前後にそれぞれ撮像した画像から締結部材の変形分布画像を生成する画像生成器２２０と、画像生成器２２０が生成した変形分布画像を解析し、締結部材１００の締結状態を判定する状態判定器２３０とを備える。状態判定器２３０は、画像生成器２２０が生成した変形分布画像を畳み込みニューラルネットワーク７００に入力することにより当該締結部材１００の締結状態を判定する。

Description

締結部材の状態解析システム及び状態解析方法
　本発明は、締結部材の状態解析システム及び状態解析方法に関する。
　機械部品間の締結には、ボルト、ナット等の締結部材が用いられる。締結部材は、締結トルクが付加されることで締結部材に作用する軸力によって機械部品を固定する。締結部材に異常（緩みや破損等）が生じれば、機械部品の固定が解除され、重大な事故に繋がり得る。そのため、締結部材の締結状態を確認し、締結状態の健全性を保持することは、機械部品の信頼性を担保する上で極めて重要である。
　締結状態の健全性が損なわれる原因の１つとして、締結部材の軸力の低下が挙げられる。特許文献１には、ボルト頭部の縞模様を締結前後にそれぞれ撮像した画像を重ね合わせてモアレ縞を発生させて、そのモアレ縞から締結部材の変位分布を求め、その変位分布に対する軸力の関係から軸力を算出する方法が開示されている。
特開２０１９－１９７０２５号公報
　しかしながら、特許文献１に開示された技術においては、ボルト頭部の縞模様について、モアレ縞を発生させて変位分布を求めるための精度が要求される。また、縞模様の幅やピッチを細かくすることでモアレ縞の感度を向上することも可能であるが、ボルト頭部という限られた部位では感度の向上を図るにも限界がある。
　本発明は、上記の課題に鑑みてなされたものであり、締結部材の締結状態をより簡便に解析することを可能とする締結部材の状態解析システム及び状態解析方法を提供することを目的とする。
　上記の課題を解決するために、代表的な本発明の締結部材の状態解析システムの一つは、
　締結部材を締結前後にそれぞれ撮像した画像から前記締結部材の変形分布画像を生成する画像生成器と、
　前記画像生成器が生成した前記変形分布画像を解析し、前記締結部材の締結状態を判定する状態判定器とを備える。
　本発明の締結部材の状態解析システムによれば、画像生成器が、締結部材を締結前後にそれぞれ撮像した画像から変形分布画像を生成し、状態判定器が、その変形分布画像を解析し、締結部材の締結状態を判定するので、締結部材の締結状態を簡便に解析することができる。
　上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
図１は、実施例１に係る締結部材１００及び被締結部材１３０の一例を示す上面図及び側面図である。 図２は、締結部材１００の状態解析システム２００の一例を示す概略構成図である。 図３は、変形分布画像生成器２２０が変形分布画像（変位分布データ３１０又はひずみ分布データ３２０）を生成する際の画像相関法の一例を示す概略説明図である。 図４は、締結部材１００の締結状態と、ひずみ分布データ３２０との関係を示す概略説明図である。 図５は、締結部材１００におけるき裂発生状況と、き裂発生原因との関係を示す概略説明図である。 図６は、実施例１に係る締結部材データベース６００の一例を示すデータ構成図である。 図７は、実施例１に係る畳み込みニューラルネットワーク７００の一例を示す概略構成図である。 図８は、実施例１に係る状態解析システム２００が実施する締結部材１００の状態解析方法の一例を示すフローチャートである。 図９は、実施例２に係る畳み込みニューラルネットワーク７００の一例を示す概略構成図である。
　以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
（実施例１）
　図１は、実施例１に係る締結部材１００及び被締結部材１３０の一例を示す上面図及び側面図である。
　締結部材１００は、ボルト１１０と、ナット１２０とから構成される。
　ボルト１１０は、ボルト軸部１１１と、ボルト軸部１１１の基端側にフランジ状に形成された六角柱状のボルト頭部１１２とを備える。ボルト軸部１１１の先端側には、その外周面に雄ねじが切られている。
　ボルト頭部１１２は、その上面１１２ａに、所定の模様を有するパターン模様１１３が形成される。パターン模様１１３は、例えば、白黒模様であり、白色塗料を全面に塗布し乾燥させた後、黒色塗料をスプレーにより斑点状に塗布することで形成される。また、パターン模様１１３は、所定の模様が印刷されたシールをボルト頭部１１２の上面１１２ａに貼付することで形成してもよい。
　なお、パターン模様１１３は、後述する画像相関法による変形分布画像を生成可能な視覚的に顕在化したパターンであれば任意の模様でよく、不規則な模様でもよいし、例えば、縞模様のような規則的な模様でもよい。また、パターン模様１１３は、塗料の塗布やシールの貼付に限られず、任意の方法で形成されたものでよい。
　ナット１２０は、六角柱状の形状をなしており、六角柱状の中央部分が貫通された孔部を備える。孔部の内周面には、雌ねじが切られている。
　ボルト１１０及びナット１２０は、例えば、鉄、鋼、ステンレス、ニッケル基合金等の金属材料や樹脂材料を用いて製作される。なお、ボルト１１０及びナット１２０の寸法、材質、形状等の仕様は、被締結部材１３０が要求する締結力や耐久性等を基準に応じて適宜選定されればよい。
　被締結部材１３０は、締結部材１００により締結される部材であって、第１の部品１３１と、第２の部品１３２とから構成される。第１の部品１３１及び第２の部品１３２は、任意の機械部品であり、ボルト軸部１１１の外径よりも大きな内径の孔部を有する。なお、ボルト１１０と第１の部品１３１の間、又は、ナット１２０と第２の部品１３２の間には、ワッシャが挿入されてもよい。
　上記の構成を有する締結部材１００を用いて被締結部材１３０を締結する締結作業では、ボルト軸部１１１が、第１の部品１３１及び第２の部品１３２の孔部に挿通されて、ボルト頭部１１２の座面１１２ｂが、第１の部品１３１の表面１３１ａに接触する。そして、ボルト１１０の雄ねじは、ナット１２０の雌ねじに螺合され、ナット１２０の座面１２０ａが、第２の部品１３２の表面１３２ａと接触する。
　その状態で締結部材１００に所定の締結トルクが付与されると、ボルト１１０とナット１２０との間には、ボルト軸部１１１を介して軸力Ｆ１が作用し、締結作業が終了する。このとき、軸力Ｆ１は、ボルト軸部１１１の軸方向に沿って作用するが、軸力Ｆ１の反作用によりボルト頭部１１２の座面１１２ｂが反力Ｆ２を受けることで、ボルト頭部１１２の外周部分は、ボルト頭部１１２の中心方向に向かうような曲げ変形力Ｆ３を受け、曲げ変形が生じる。
　本実施例では、締結作業を実施してから所定の期間が経過した後に、締結トルクによりボルト頭部１１２に曲げ変形が生じたときの変形量（ひずみ）を観察することで締結部材１００の締結状態を判定することを可能とする締結部材１００の状態解析システム及び状態解析方法を説明する。
　図２は、締結部材１００の状態解析システム２００の一例を示す概略構成図である。
　状態解析システム２００は、例えば、汎用又は専用のコンピュータシステムで構成される。状態解析システム２００は、撮像装置２１０が締結部材１００を撮像した画像を解析し、締結部材１００の締結状態を判定する。
　状態解析システム２００は、図２に示すように、締結部材１００を撮像するための撮像装置２１０と、撮像装置２１０が、締結部材１００を締結前後にそれぞれ撮像した画像から締結部材１００の変形分布画像を生成する変形分布画像生成器２２０と、変形分布画像生成器２２０が生成した変形分布画像を解析し、締結部材１００の締結状態を判定する状態判定器２３０と、締結部材１００の締結状態を判定する際に必要となる各種のデータを記憶する記憶部２４０と、状態判定器２３０による締結状態の判定結果を表示する表示装置２５０とを備える。
　なお、状態解析システム２００は、変形分布画像生成器２２０と、状態判定器２３０とを少なくとも備えるシステムとして構成されればよい。また、状態解析システム２００は、外部機器との間で各種のデータを有線又は無線の通信網を介して送受信する通信部（不図示）をさらに備えていてもよい。
　撮像装置２１０は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサ等を有し、デジタルカメラ等の一般的な光学式撮像装置で構成される。なお、撮像装置２１０は、複数の光学式撮像装置を組み合わせて構成されるステレオ方式を用いてもよい。
　撮像装置２１０は、締結部材１００を基準とした所定の撮像位置に配置された状態で締結部材１００を撮像し、その撮像した画像をデジタルデータとして記憶部２４０に保存する。本実施例では、撮像装置２１０は、撮像位置として、ボルト頭部１１２の上方（例えば、ボルト軸部１１１の中心軸の延長線上）に配置されて、ボルト頭部１１２のパターン模様１１３が形成された部位を撮像する。
　撮像装置２１０が締結部材１００を撮像する撮像工程は、締結部材１００の締結前後に実施される。すなわち、撮像装置２１０は、締結トルクを付与する前（締結前）に締結部材１００を撮像し、その画像を締結前画像２１１として記憶部２４０に保存する。そして、撮像装置２１０は、締結トルクを付与した後（締結後）に同一の締結部材１００を撮像し、その画像を締結後画像２１２として記憶部２４０に保存する。
　なお、締結前後の撮像工程で使用される撮像装置２１０は、同一の撮像装置２１０を用いてもよいし、異なる撮像装置２１０を用いてもよい。異なる撮像装置２１０を用いる場合には、画素数や画角が同程度であることが好ましいが、画素数や画角が異なる装置でもよい。
　また、複数の締結部材１００に対して同一のパターン模様１１３を形成する場合には、個々の締結部材１００毎に締結前画像２１１を撮像することを省略してもよい。この場合、撮像装置２１０は、例えば、代表となる締結部材１００を用いて締結前画像２１１を撮像し、当該代表となる締結部材１００の締結前画像２１１を、複数の締結部材１００に対する締結前画像２１１として代用すればよい。
　変形分布画像生成器２２０は、例えば、１つ又は複数の演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ等）で構成される。変形分布画像生成器２２０は、撮像装置２１０により締結前後にそれぞれ撮像されて記憶部２４０に保存された締結前画像２１１及び締結後画像２１２から画像相関法により変形分布画像３００を生成する。
　図３は、変形分布画像生成器２２０が変形分布画像３００（変位分布データ３１０又はひずみ分布データ３２０）を生成する際の画像相関法の一例を示す概略説明図である。
　変形分布画像生成器２２０は、締結前画像２１１及び締結後画像２１２を小領域に区分けした上で、各小領域について締結前画像２１１に含まれるボルト頭部１１２のパターン模様１１３と締結後画像２１２に含まれるボルト頭部１１２のパターン模様１１３との間の移動量（変位）を求める。これにより、変形分布画像生成器２２０は、ボルト頭部１１２に作用する軸力の負荷による変位分布データ３１０を求める。
　さらに、変形分布画像生成器２２０は、変位分布データ３１０に基づいて変位分布の勾配を求めることによりひずみ分布データ３２０を求め、ひずみ分布データ３２０を記憶部２４０に保存する。
　本実施例では、状態解析システム２００は、変形分布画像３００として、ひずみ分布データ３２０を用いて締結部材１００の締結状態を判定するが、ひずみ分布データ３２０に代えて変位分布データ３１０を用いて締結部材１００の締結状態を判定してもよい。
　図４は、締結部材１００の締結状態と、ひずみ分布データ３２０との関係を示す概略説明図である。
　図４には、ボルト１１０の代表的な締結状態として、左側から順に、健全、緩み、片側にき裂発生、両側にき裂発生、軸回り全体にき裂発生の５つの場合のひずみ分布データ３２０が、第１乃至第５のひずみ分布データ３２０Ａ～３２０Ｅとして示されている。なお、緩みは、主に非回転緩みを想定しているが、回転緩みを含むものでもよい。
　第１のひずみ分布データ３２０Ａは、ボルト１１０に作用する軸力が健全な状態の最小主ひずみを示す。第１のひずみ分布データ３２０Ａでは、ボルト頭部１１２の中心に近いほど大きな圧縮ひずみが導入された分布となる。
　第２のひずみ分布データ３２０Ｂは、ボルト１１０に作用する軸力が緩みにより低下した状態の最小主ひずみを示す。第２のひずみ分布データ３２０Ｂでは、健全な状態の第１のひずみ分布データ３２０と比べて全体的に圧縮ひずみの大きさが小さい分布となる。軸力が低下したときの軸力低下度合い（緩みの程度）が大きくなるほど、全体的に圧縮ひずみの大きさが小さい分布となる。
　第３のひずみ分布データ３２０Ｃは、ボルト１１０が繰返し片振り曲げ負荷を受けることで、ボルト軸部１１１とボルト頭部１１２の境目(首下部)の片側１点を起点にボルト軸部１１１の中心に向かってき裂４００が進展している状態の最小主ひずみを示す。第３のひずみ分布データ３２０Ｃでは、き裂４００が進展しているき裂進展部周辺では軸力を受け持つことができず、き裂進展部周辺の圧縮ひずみが小さくなるため、ボルト頭部１１２の中心から片方向に偏りの生じた分布となる。
　第４のひずみ分布データ３２０Ｄは、ボルト１１０が繰返し両振り曲げ負荷を受けることで、首下部の両側２点を起点にボルト軸部１１１の中心に向かって第１のき裂４０１及び第２のき裂４０２がそれぞれ進展している状態の最小主ひずみを示す。第４のひずみ分布データ３２０Ｄでは、第１のき裂４０１及び第２のき裂４０２がそれぞれ進展している両側のき裂進展部周辺では軸力を受け持つことができず、両側のき裂進展部周辺の圧縮ひずみが小さくなるため、ボルト頭部１１２の中心から両側に偏りの生じた分布となる。
　第５のひずみ分布データ３２０Ｅは、ボルト１１０が繰返しねじり負荷を受けることで、首下部の軸回り全体を起点にボルト軸部１１１の中心に向かってき裂４０３が進展している状態の最小主ひずみを示す。第５のひずみ分布データ３２０Ｅでは、き裂４０３が進展している軸回り全体で軸力を受け持つことができず、軸回り全体に存在するき裂進展部周辺の圧縮ひずみが小さくなるため、健全な状態の第１のひずみ分布データ３２０Ａと比べてボルト頭部１１２の外周付近では全体的に圧縮ひずみの大きさが小さい分布となり、軸力が緩みにより低下している状態の第２のひずみ分布データ３２０Ｂと比べてボルト頭部１１２の中心付近では全体的に圧縮ひずみの大きさが大きい分布となる。
　図５は、締結部材１００におけるき裂発生状況と、き裂発生原因との関係を示す概略説明図である。
　図５には、ボルト１１０にき裂５００～５０３が発生したときの３つのき裂発生状況（片側にき裂、両側にき裂、軸回り全体にき裂）に対して、き裂が発生したときの３つのき裂発原因（繰返し片振り負荷、繰返し両振り負荷、繰返しねじり負荷）がそれぞれ示されている。なお、図４は、き裂４００～４０３がボルト１１０の首下部に発生した場合を示し、図５は、き裂５００～５０３がボルト軸部１１１の雄ねじが切られている部位に発生した場合を示しているが、き裂が発生する部位はこれらに限られない。
　締結部材１００におけるき裂発生状況は、図５に示すように、き裂発生原因として、締結部材１００が負荷を受けたときの荷重形態に応じて異なるものである。そして、その違いは、図４に示す第３乃至第５のひずみ分布データ３２０Ｃ～３２０Ｅの特徴にも反映される。
　以上のように、締結部材１００に作用する軸力が健全である場合の第１のひずみ分布データ３２０Ａに対して、軸力が緩みにより低下している場合の第２のひずみ分布データ３２０Ｂ、及び、き裂が発生している場合の第３乃至第５のひずみ分布データ３２０Ｃ～３２０Ｅは、ひずみ分布の特徴が異なる。また、締結部材１００におけるき裂発生状況は、図５に示すように、締結部材１００が負荷を受けたときの荷重形態に応じて異なるが、第３乃至第５のひずみ分布データ３２０Ｃ～３２０Ｅは、その荷重形態の違いを反映するように、ひずみ分布の特徴が異なる。
　図２に示した状態判定器２３０は、例えば、１つ又は複数の演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ等）で構成される。状態判定器２３０は、上記のように、ひずみ分布の特徴が異なることを利用して、ひずみ分布データ３２０の特徴を解析することにより締結部材１００の締結状態を判定する。
　具体的には、状態判定器２３０は、締結部材１００の締結状態として、軸力の低下の有無又は軸力が低下したときの軸力低下度合いを判定し、さらに、軸力が低下したときの軸力低下原因を判定する。また、状態判定器２３０は、締結部材１００の締結状態として、き裂の発生の有無又はき裂が発生したときのき裂発生状況を判定し、さらに、き裂が発生したときのき裂発生原因を判定する。なお、状態判定器２３０が締結部材１００の締結状態として判定する判定項目は、上記のように列挙したうちの少なくとも１つを含むものでよい。
　本実施例では、状態判定器２３０は、変形分布画像生成器２２０が生成したひずみ分布データ３２０を、記憶部２４０に記憶された畳み込みニューラルネットワーク７００に入力することにより締結部材１００の締結状態を判定する。
　また、状態判定器２３０は、締結部材１００の締結状態を判定したときの判定結果に基づいて、作業者が締結部材１００に対して処置すべき処置内容を決定する。処置内容は、例えば、締結部材１００の交換、締結トルクの再付与、経過観察等である。例えば、判定結果が、き裂の発生を示す場合には、処置内容は、ボルト１１０の交換であり、判定結果が、軸力低下度合いが大きいことを示す場合には、処置内容は、締結トルクの再付与であり、判定結果が、軸力低下度合いが小さいことを示す場合には、処置内容は、経過観察である。
　なお、変形分布画像生成器２２０及び状態判定器２３０は、例えば、記憶部２４０に記憶されたプログラムを演算処理装置（ＣＰＵ、ＭＰＵ、ＧＰＵ等）に実行させることで実現されるものでもよいし、例えば、ＦＰＧＡ、ＡＳＩＣ等のハードウェアで実現されるものでもよい。
　記憶部２４０は、１つ又は複数のメモリ又はストレージ装置で構成される。記憶部２４０は、各種のデータとして、締結部材データベース６００（詳細は図６参照）と、畳み込みニューラルネットワーク７００（詳細は図７参照）とを記憶する。なお、記憶部２４０は、外部機器に備えられていてもよく、その場合には、通信部を介してアクセス可能であればよい。
　図６は、実施例１に係る締結部材データベース６００の一例を示すデータ構成図である。
　締結部材データベース６００は、複数の締結部材１００を識別するための識別情報（ＩＤ）をキーにして、締結前画像２１１と、締結後画像２１２と、変形分布画像３００と、締結部材１００の特徴情報と、締結状態の判定結果とを対応付けて記憶する。
　締結前画像２１１及び締結後画像２１２は、撮像装置２１０が同一の締結部材１００を締結前後にそれぞれ撮像した画像である。変形分布画像３００は、変形分布画像生成器２２０が締結前画像２１１及び締結後画像２１２から生成した画像であり、変位分布データ３１０及びひずみ分布データ３２０のいずれかでもよいし、両方でもよい。
　締結部材１００の特徴情報は、締結部材１００の仕様を定める情報として、例えば、各部の寸法（呼び径、軸径、呼び長さ、全長、二面幅、ねじピッチ等）、材質（種類、物性値等）、形状等を含む。また、締結部材１００の特徴情報は、締結部材１００の使用環境を定める情報として、例えば、温度、湿度、風雨や直射日光に晒される屋外環境か否か、設置位置等を含む。なお、特徴情報は、例えば、状態解析システム２００の管理者により入力されてもよいし、締結部材１００の品番等に基づいて自動入力されてもよい。また、特徴情報は、上記のように例示した情報の一部又は全部でもよいし、他の情報をさらに含むものでもよい。
　締結状態の判定結果は、状態判定器２３０が変形分布画像生成器２２０を解析して得られた締結状態の判定結果である。
　図７は、実施例１に係る畳み込みニューラルネットワーク７００の一例を示す概略構成図である。
　畳み込みニューラルネットワーク７００は、状態判定器２３０が締結部材１００の締結状態を判定する際に用いられる。畳み込みニューラルネットワーク７００は、ひずみ分布データ３２０を入力データとし、当該ひずみ分布データ３２０の生成元である締結部材１００の締結状態を正解データとする複数の学習データに基づいて、入力データ及び正解データの相関関係を機械学習させたものであり、機械学習済みの畳み込みニューラルネットワークモデルである。
　畳み込みニューラルネットワーク７００は、入力層７１０と、複数の畳み込み層７２０と、複数のプーリング層７３０と、全結合層７４０と、出力層７５０とを備える。
　入力層７１０は、二次元配列に対応する複数のノードを有し、各ノードには、入力データとして、二次元の要素値からなるひずみ分布データ３２０の各要素値を入力する。
　畳み込み層７２０及びプーリング層７３０は、例えば、５層程度に階層化され、各層で数百程度のチェンネル数を有する。畳み込み層７２０及びプーリング層７３０は、畳み込み処理及びプーリング処理をそれぞれ繰り返すことで特徴量を抽出し、その抽出した特徴量を二次元配列として全結合層７４０に出力する。なお、畳み込み層７２０及びプーリング層７３０の層数や各層のチェンネル数は適宜変更されてもよい。
　全結合層７４０は、一次元配列として構成された複数のノードを有し、畳み込み層７２０及びプーリング層７３０により二次元配列として抽出された特徴量を一次元配列に変換する。なお、全結合層７４０のノード数は、例えば、数百程度であるが、適宜変更されてもよい。
　出力層７５０は、全結合層７４０に接続された複数のノードを有し、各ノードは、予め設定された複数の分類クラスに対する確度値を出力する。
　出力層７５０の各ノードに対応する分類クラスは、締結部材１００の締結状態を示すものである。分類クラスには、例えば、図７に示すように、締結部材１００の締結状態が健全であることを示す「健全」、軸力の低下を示す「軸力低下有り」、き裂の発生を示す「き裂発生有り」が設定される。
　なお、分類クラスには、上記に代えて又は加えて、軸力低下度合いを複数段階で示す「軸力低下(大)」、「軸力低下(中)」及び「軸力低下(小)」が設定されてもよいし、軸力低下原因を示す「緩み」及び「き裂」が設定されてもよい。また、分類クラスには、上記に代えて又は加えて、き裂発生状況を示す「片側にき裂発生」、「両側にき裂発生」及び「軸回りにき裂発生」が設定されてもよいし、き裂発生原因を示す「繰返し片振り曲げ負荷」、「繰返し両振り曲げ負荷」及び「繰返しねじり負荷」が設定されてもよい。
　出力層７５０の各ノードにより出力される確度値は、例えば、各分類クラスに対する出力値にソフトマックス関数を適用し、全分類クラスの確度値の総和が１となるように正規化される。この場合、確度値が最大となる分類クラスが畳み込みニューラルネットワーク７００による締結状態の判定結果となり、確度値の大きさが、その判定結果の信頼度を示す。なお、確度値は、分類クラス毎に０～１となるように正規化されてもよい。また、締結部材１００に対して破面診断を別途行い、畳み込みニューラルネットワーク７００の判定結果との整合性を確認するようにしてもよい。
　畳み込みニューラルネットワーク７００は、複数の学習データに基づいて特徴量を抽出する際の計算パラメータの調整が事前に必要である。そのため、締結部材１００の締結状態が判明している多数の事例を収集し、ひずみ分布データ３２０を入力データとし、当該ひずみ分布データ３２０の生成元である締結部材１００の締結状態を正解データとする学習データを複数用意し、畳み込みニューラルネットワーク７００の学習工程を実施する。なお、学習データを用意する際、軸力の大きさ、き裂の位置、数、進展度合い等をパラメトリックに変更可能な有限要素解析のシミュレーション結果を活用することで、人工的に作成したひずみ分布データ３２０を学習データとして用いてもよい。
　畳み込みニューラルネットワーク７００に対する学習工程では、学習データを構成するひずみ分布データ３２０を、畳み込みニューラルネットワーク７００の入力層７１０に入力データとして入力し、出力層７５０から各分類クラスに対する確度値を出力する。正解データが示す分類クラスは、出力層７５０から出力された確度値と１の差分を、その他のクラスは、出力層７５０から出力された確度値と０の差分(損失)の総和をクロスエントロピー又は平均二乗誤差により評価し、この値が最小となるように、畳み込み層７２０及び全結合層７４０の特徴量を抽出する際の計算パラメータを更新する。上記のような学習処理を複数の学習データを用いて繰り返すことにより、入力データ及び正解データの相関関係を畳み込みニューラルネットワーク９００に機械学習させる。
　なお、畳み込みニューラルネットワーク７００が学習データに対し過度に適合した汎化性の低いニューラルネットワークとなることを防ぐために、学習データの一部を検証データとして用いることで、検証データに対する損失が学習処理の繰返しに対し継続的に上昇した場合には、学習工程を打ち切るようにしてもよい。また、畳み込みニューラルネットワーク７００では、畳み込み層７２０及びプーリング層７３０に活性化関数、バッチノーマライゼーション、ドロップアウト等を適用し、畳み込みニューラルネットワーク７００の汎化性を高めているが、これらの手法を適用しなくてもよいし、他の手法を適用してもよい。
　表示装置２５０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。表示装置２５０は、状態判定器２３０が締結部材１００の締結状態を判定したときの締結状態の判定結果や、締結状態の判定結果に基づいて処置内容を決定したときの処置内容の決定結果を表示する。表示装置２５０は、締結状態の判定結果として、畳み込みニューラルネットワーク７００から出力された各分類クラスに対する確度値を出力してもよいし、確度値が最大となる分類クラスとその最大となる確度値だけを出力してもよい。
　図８は、実施例１に係る状態解析システム２００が実施する締結部材１００の状態解析方法の一例を示すフローチャートである。以下では、機械学習済みの畳み込みニューラルネットワーク７００が記憶部２４０に記憶されているものとして説明するが、機械学習済みの畳み込みニューラルネットワーク７００が必ずしも記憶部２４０に記憶される必要がないことは言うまでもない。
　ステップＳ８００（撮像工程）では、撮像装置２１０が、パターン模様１１３が形成された締結部材１００に締結トルクを付与する前に、当該締結部材１００を撮像し、その画像を締結前画像２１１として記憶部２４０の締結部材データベース６００に保存する。
　ステップＳ８１０では、作業者が、締結部材１００に締結トルクを付与する締結作業を行う。
　ステップＳ８２０（撮像工程）では、撮像装置２１０が、締結部材１００に締結トルクが付与されて、所定の判定実施期間が経過した後、当該締結部材１００を撮像し、その画像を締結後画像２１２として記憶部２４０の締結部材データベース６００に保存する。判定実施期間は、例えば、締結部材１００の仕様や締結部材１００が使用される使用環境等に応じて決定される。
　締結後画像２１２が、締結部材データベース６００に保存される際、同一の締結部材１００が締結前に撮像されたときの締結前画像２１１に対応付けて保存される。締結前画像２１１及び締結後画像２１２の対応付けは、作業者により指定されてもよいし、締結前画像２１１及び締結後画像２１２に二次元コード等の識別コードが含まれている場合には、当該識別コードに基づいて実施されてもよい。また、両者の対応付けは、撮像装置２１０がＧＰＳ等の位置検出部を備える場合には、締結前画像２１１及び締結後画像２１２をそれぞれ撮像したときの撮像位置（締結部材１００の設置位置）の位置関係を比較することにより実施されてもよい。
　ステップＳ８３０（画像生成工程）では、変形分布画像生成器２２０が、記憶部２４０の締結部材データベース６００に保存された締結前画像２１１及び締結後画像２１２を読み出し、締結前画像２１１及び締結後画像２１２から変形分布画像３００としてひずみ分布データ３２０を生成する。
　ステップＳ８４０（状態判定工程）では、状態判定器２３０が、変形分布画像生成器２２０が生成したひずみ分布データ３２０を、記憶部２４０に記憶された畳み込みニューラルネットワーク７００の入力層７１０に入力する。そして、状態判定器２３０は、畳み込みニューラルネットワーク７００の出力層７５０から出力された各分類クラスの確度値に基づいて、締結部材１００の締結状態を判定する。
　ステップＳ８５０（出力工程）では、表示装置２５０が、ステップＳ８４０での締結状態の判定結果（例えば、各分類クラスに対する確度値）を表示する。
　ステップＳ８６０（状態判定工程）では、状態判定器２３０が、ステップＳ８４０での締結状態の判定結果に基づいて締結部材１００に対する処置内容を決定する。
　ステップＳ８７０（出力工程）では、表示装置２５０は、ステップＳ８６０での処置内容の決定結果（例えば、締結部材１００の交換、締結トルクの再付与、経過観察等）を表示する。
　そして、図８に示す一連の処理（締結部材１００の状態解析方法）が終了する。上記各ステップのうち、ステップＳ８６０、Ｓ８７０は省略されてもよい。また、ステップＳ８５０、Ｓ８７０では、判定結果や決定結果が、表示装置２５０に表示されるものとしたが、記憶部２４０の締結部材データベース６００に履歴データとして保存されてもよい。
　なお、締結部材１００により締結される被締結部材１３０が、例えば、インフラ設備（鉄道軌道、道路、橋）、プラント設備（発電所、化学処理設備）、機械設備等を構成する設備構成部材の一部である場合には、設備構成部材には、複数の締結部材１００が用いられる。この場合、図８に示す一連の処理は、各締結部材１００に対して繰返し実施されるようにすればよい。
　以上のように、本実施例によれば、変形分布画像生成器２２０が、締結部材１００を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２からひずみ分布データ３２０を生成し、状態判定器２３０が、そのひずみ分布データ３２０を解析し、締結部材１００の締結状態を判定する。これにより、締結部材１００の締結状態を簡便に解析することができる。
　その際、状態判定器２３０が、締結状態として、軸力の低下の有無又は軸力低下度合いを判定するので、締結部材１００に作用する軸力の健全性を診断することができる。さらに、状態判定器２３０が、締結状態として、軸力低下原因を判定する場合には、締結部材１００に対する処置内容を決定したり、締結部材１００の仕様変更やその他の対策を検討したりする際に有益な情報も提示することができる。
　また、状態判定器２３０が、締結状態として、き裂の発生の有無又はき裂発生状況を判定するので、締結部材１００の交換が必要か否かを適切に診断することもできる。さらに、状態判定器２３０が、締結状態として、き裂発生原因を判定する場合には、締結部材１００に対する処置内容を決定したり、締結部材１００の仕様変更やその他の対策を検討したりする際に有益な情報も提示することができる。
　さらに、状態判定器２３０が、ひずみ分布データ３２０を畳み込みニューラルネットワーク７００に入力することにより締結部材１００の締結状態を判定する。畳み込みニューラルネットワーク７００は、例えば、過去に軸力が低下したりき裂が発生したりしたときの締結部材１００に基づく学習データや、様々な締結状態を想定したシミュレーション結果に基づく学習データ等を用いて機械学習させることが可能である。そのため、締結部材１００の締結状態をより高精度に解析することができる。
（実施例２）
　次に実施例２について説明する。図９は、実施例２に係る畳み込みニューラルネットワーク９００の一例を示す概略構成図である。
　上述の実施例１に係る状態解析システム２００で用いられる畳み込みニューラルネットワーク７００では、ひずみ分布データ３２０が入力データとして入力され、出力層７５０から締結状態の判定結果が出力されるものとして説明した。これに対し、実施例２に係る状態解析システム２００で用いられる畳み込みニューラルネットワーク９００では、ひずみ分布データ３２０とともに締結部材１００の特徴情報が入力データとして入力され、出力層７５０から締結状態の判定結果が出力される。なお、実施例２に係る状態解析システム２００の各部の構成は、実施例１に係る状態解析システム２００と同様であるため、以下では両者の相違点を中心に説明する。
　畳み込みニューラルネットワーク９００が備える全結合層９４０は、畳み込み層７２０及びプーリング層７３０により二次元配列として抽出された特徴量を一次元配列に変換するための複数のノードを有するとともに、締結部材１００の特徴情報が入力される１又は複数のノードを有する。
　締結部材１００の特徴情報は、例えば、締結部材１００の仕様を定める各部の寸法、材質、形状等でもよいし、締結部材１００の使用環境を定める温度、湿度、風雨や直射日光に晒される屋外環境か否か、設置位置等でもよい。特徴情報は、上記のように例示した情報の一部又は全部でもよいし、他の情報をさらに含むものでもよく、特徴情報の数に応じて全結合層９４０のノード数が設定される。
　特徴情報は、例えば、図６に示す記憶部２４０の締結部材データベース６００から取得されて、全結合層９４０に入力される。特徴情報が全結合層９４０に入力される際、そのままの値を入力してもよいし、代表値を定めて正規化した値を入力してもよいし、例えば、材質等のように、材質の種類に応じたカテゴリ変数を導入し、ワンホットエンコーディングによる値を入力してもよい。
　畳み込みニューラルネットワーク９００に対する学習工程では、ひずみ分布データ３２０及び当該ひずみ分布データ３２０の生成元である締結部材１００の特徴情報を入力データとし、当該ひずみ分布データ３２０の生成元である締結部材１００の締結状態を正解データとする複数の学習データに基づいて、入力データ及び正解データの相関関係を畳み込みニューラルネットワーク９００に機械学習させる。その際、ひずみ分布データ３２０は、入力層７１０に入力され、締結部材１００の特徴情報は、全結合層９４０に入力される。
　状態判定器２３０は、変形分布画像生成器２２０が生成したひずみ分布データ３２０及び当該ひずみ分布データ３２０の生成元である締結部材１００の特徴情報を畳み込みニューラルネットワーク９００に入力することにより当該締結部材１００の締結状態を判定する。その際、ひずみ分布データ３２０は、入力層７１０に入力され、締結部材１００の特徴情報は、記憶部２４０の締結部材データベース６００から読み出されて全結合層９４０に入力される。
　以上のように、本実施例によれば、状態判定器２３０が、ひずみ分布データ３２０に加えて締結部材１００の特徴情報を畳み込みニューラルネットワーク９００に入力することにより締結部材１００の締結状態を判定する。これにより、締結部材１００の特徴情報が締結状態に与える影響が考慮されるので、締結部材１００の締結状態をより高精度に解析することができる。
（実施例３）
　次に実施例３について説明する。上述の実施例１及び２では、変形分布画像生成器２２０が、パターン模様１１３が形成された締結部材１００を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から締結部材１００の変形分布画像３００を生成するものとして説明した。
　これに対し、実施例３では、被締結部材１３０（図１の例では、第１の部品１３１の表面１３１ａ）にもパターン模様を形成し、変形分布画像生成器２２０が、被締結部材１３０を背景にして締結部材１００を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から締結部材１００及び被締結部材１３０の変形分布画像３００を生成する。その際、変形分布画像生成器２２０は、締結部材１００及び被締結部材１３０の両方を含む変形分布画像３００を生成してもよいし、締結部材１００を含む変形分布画像３００と、被締結部材１３０を含む変形分布画像３００とを別々に生成してもよい。なお、被締結部材１３０に形成されるパターン模様は、締結部材１００に形成されるパターン模様１１３と同一の模様でもよいし、異なる模様でもよい。また、被締結部材１３０には、その表面１３１ａ全体にパターン模様が形成される必要はなく、締結部材１００に作用する軸力が影響を与える範囲として、少なくとも締結部材１００の周囲に位置する表面１３１ａにパターン模様が形成されていればよい。
　状態判定器２３０は、変形分布画像生成器２２０が生成した締結部材１００及び被締結部材１３０の変形分布画像３００を解析し、締結状態を判定する。なお、実施例３に係る状態解析システム２００のその他の構成は、実施例１又は実施例２に係る状態解析システム２００と同様であるため、詳細な説明については省略する。
　以上のように、本実施例によれば、状態判定器２３０が、締結部材１００の変形量だけでなく、被締結部材１３０の変形量についても解析することで締結部材１００の締結状態を判定する。これにより、締結部材１００に作用する軸力が被締結部材１３０に与える影響も考慮されるので、締結部材１００の締結状態をより高精度に解析することができる。
（補足事項）
　以上、本発明の実施の形態について説明したが、本発明は、上記の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形が可能である。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、特定の実施例に係る構成の一部を、他の実施例に係る構成に追加又は置換することが可能である。
　上記実施例では、状態判定器２３０は、変形分布画像生成器２２０が生成したひずみ分布データ３２０を畳み込みニューラルネットワーク７００、９００に入力して締結部材１００の締結状態を判定するものとして説明した。これに対し、状態判定器２３０は、畳み込みニューラルネットワーク７００、９００を用いることなく、例えば、ひずみ分布データ３２０に対して所定の画像処理を行い、締結部材１００の締結状態を判定するようにしてもよい。画像処理としては、例えば、ひずみ分布データ３２０に表れる軸力やき裂の特徴を抽出するものであれば任意の手法を用いることができ、例えば、パターンマッチング処理、ノイズ除去処理、エッジ強調処理、フィルタ処理等を適宜組み合わせて実行すればよい。
　上記実施例では、変形分布画像生成器２２０が、パターン模様１１３が形成されたボルト１１０を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から変形分布画像３００を生成するものとして説明した。これに対し、ナット１２０にパターン模様１１３を形成し、変形分布画像生成器２２０が、パターン模様１１３が形成されたナット１２０を締結前後にそれぞれ撮像した締結前画像２１１及び締結後画像２１２から変形分布画像３００を生成するようにしてもよい。この場合、状態判定器２３０は、ナット１２０を生成元とする変形分布画像３００を解析し、締結状態を判定するようにすればよい。また、状態判定器２３０は、ボルト１１０を生成元とする変形分布画像３００と、ナット１２０を生成元とする変形分布画像３００とを解析し、締結状態を判定するようにしてもよい。特に、ボルト軸部１１１の雄ねじが切られている部位にき裂が発生することが予想される場合には、ナット１２０も対象にして締結状態を判定するのが望ましい。
１００…締結部材、１１０…ボルト、１１１…ボルト軸部、１１２…ボルト頭部、１１３…パターン模様、１２０…ナット、１３０…被締結部材、１３１…第１の部品、１３２…第２の部品、２００…状態解析システム、２１０…撮像装置、２１１…締結前画像、２１２…締結後画像、２２０…変形分布画像生成器、２３０…状態判定器、２４０…記憶部、２５０…表示装置、３００…変形分布画像、３１０…変位分布データ、３２０、３２０Ａ～３２０Ｅ……ひずみ変形分布データ、４００～４０３…き裂、５００～５０３…き裂、６００…締結部材データベース、７００…畳み込みニューラルネットワーク、７１０…入力層、７２０…畳み込み層、７３０…プーリング層、７４０…全結合層、７５０…出力層、９００…畳み込みニューラルネットワーク、９４０…全結合層

Claims (14)

  1. 　締結部材を締結前後にそれぞれ撮像した画像から前記締結部材の変形分布画像を生成する画像生成器と、
    　前記画像生成器が生成した前記変形分布画像を解析し、前記締結部材の締結状態を判定する状態判定器とを備える、
    　締結部材の状態解析システム。
  2. 　前記状態判定器は、
    　　前記締結状態として、前記締結部材に作用する軸力の低下の有無又は前記軸力が低下したときの軸力低下度合いを判定する、
    　請求項１に記載の締結部材の状態解析システム。
  3. 　前記状態判定器は、
    　　前記締結状態として、前記軸力が低下したときの軸力低下原因を判定する、
    　請求項２に記載の締結部材の状態解析システム。
  4. 　前記状態判定器は、
    　　前記締結状態として、前記締結部材におけるき裂の発生の有無又は前記き裂が発生したときのき裂発生状況を判定する、
    　請求項１乃至請求項３のいずれか一項に記載の締結部材の状態解析システム。
  5. 　前記状態判定器は、
    　　前記締結状態として、前記き裂が発生したときのき裂発生原因を判定する、
    　請求項４に記載の締結部材の状態解析システム。
  6. 　前記画像生成器は、
    　　前記締結部材により締結される被締結部材を背景にして前記締結部材を締結前後にそれぞれ撮像した前記画像から前記締結部材及び前記被締結部材の前記変形分布画像を生成し、
    　前記状態判定器は、
    　　前記画像生成器が生成した前記締結部材及び前記被締結部材の前記変形分布画像を解析し、前記締結状態を判定する、
    　請求項１乃至請求項５のいずれか一項に記載の締結部材の状態解析システム。
  7. 　前記変形分布画像を入力データとし、当該変形分布画像の生成元である前記締結部材の前記締結状態を正解データとする複数の学習データに基づいて、前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークを記憶する記憶部をさらに備え、
    　前記状態判定器は、
    　　前記画像生成器が生成した前記変形分布画像を前記畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
    　請求項１乃至請求項６のいずれか一項に記載の締結部材の状態解析システム。
  8. 　前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を入力データとし、当該締結部材の前記締結状態を正解データとする複数の学習データに基づいて、前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークを記憶する記憶部をさらに備え、
    　前記状態判定器は、
    　　前記画像生成器が生成した前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を前記畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
    　請求項１乃至請求項６のいずれか一項に記載の締結部材の状態解析システム。
  9. 　締結部材を締結前後に撮像する撮像工程と、
    　前記撮像工程にて前記締結部材を締結前後にそれぞれ撮像した画像から変形分布画像を生成する画像生成工程と、
    　前記画像生成工程にて生成した前記変形分布画像を解析し、前記締結部材の締結状態を判定する状態判定工程とを備える、
    　締結部材の状態解析方法。
  10. 　前記状態判定工程は、
    　　前記締結状態として、前記締結部材に作用する軸力の低下の有無又は前記軸力が低下したときの軸力低下度合い、及び、前記締結部材におけるき裂の発生の有無又は前記き裂が発生したときのき裂発生状況の少なくとも一方を判定する、
    　請求項９に記載の締結部材の状態解析方法。
  11. 　前記状態判定工程は、
    　　前記締結状態として、前記軸力が低下したときの軸力低下原因、及び、前記き裂が発生したときのき裂発生原因の少なくとも一方を判定する、
    　請求項１０に記載の締結部材の状態解析方法。
  12. 　前記撮像工程は、
    　　前記締結部材により締結される被締結部材を背景にして前記締結部材を締結前後に撮像し、
    　前記画像生成工程は、
    　　前記撮像工程にて前記被締結部材を背景にして前記締結部材を締結前後にそれぞれ撮像した前記画像から前記締結部材及び前記被締結部材の前記変形分布画像を生成し、
    　前記状態判定工程は、
    　　前記画像生成工程にて生成した前記締結部材及び前記被締結部材の前記変形分布画像を解析し、前記締結状態を判定する、
    　請求項９乃至請求項１１のいずれか一項に記載の締結部材の状態解析方法。
  13. 　前記状態判定工程は、
    　　前記画像生成工程にて生成した前記変形分布画像を、前記変形分布画像を入力データとし、当該変形分布画像の生成元である前記締結部材の前記締結状態を正解データとする複数の学習データに基づいて前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
    　請求項９乃至請求項１２のいずれか一項に記載の締結部材の状態解析方法。
  14. 　前記状態判定工程は、
    　　前記画像生成工程が生成した前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を、前記変形分布画像及び当該変形分布画像の生成元である前記締結部材の特徴情報を入力データとし、当該締結部材の前記締結状態を正解データとする複数の学習データに基づいて前記入力データ及び前記正解データの相関関係を機械学習させた畳み込みニューラルネットワークに入力することにより当該締結部材の前記締結状態を判定する、
    　請求項９乃至請求項１２のいずれか一項に記載の締結部材の状態解析方法。
PCT/JP2021/031478 2020-11-19 2021-08-27 締結部材の状態解析システム及び状態解析方法 WO2022107412A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020192380A JP7419216B2 (ja) 2020-11-19 2020-11-19 締結部材の状態解析システム及び状態解析方法
JP2020-192380 2020-11-19

Publications (1)

Publication Number Publication Date
WO2022107412A1 true WO2022107412A1 (ja) 2022-05-27

Family

ID=81708779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031478 WO2022107412A1 (ja) 2020-11-19 2021-08-27 締結部材の状態解析システム及び状態解析方法

Country Status (2)

Country Link
JP (1) JP7419216B2 (ja)
WO (1) WO2022107412A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003658A (ja) * 2003-06-10 2005-01-06 Nippon Denro Kk ボルトの緩み点検方法
US20100208940A1 (en) * 2007-07-03 2010-08-19 Gcoder Systems Ab Pre tension monitoring solution
JP2015081798A (ja) * 2013-10-21 2015-04-27 トヨタ自動車株式会社 軸力測定方法
JP2019074192A (ja) * 2017-10-19 2019-05-16 Thk株式会社 予圧検知可能なねじ装置
JP2019197025A (ja) * 2018-05-11 2019-11-14 ポップリベット・ファスナー株式会社 締結要素の変位測定方法
WO2020183830A1 (ja) * 2019-03-08 2020-09-17 パナソニックＩｐマネジメント株式会社 応力特性測定方法、応力特性測定装置および応力特性測定システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003658A (ja) * 2003-06-10 2005-01-06 Nippon Denro Kk ボルトの緩み点検方法
US20100208940A1 (en) * 2007-07-03 2010-08-19 Gcoder Systems Ab Pre tension monitoring solution
JP2015081798A (ja) * 2013-10-21 2015-04-27 トヨタ自動車株式会社 軸力測定方法
JP2019074192A (ja) * 2017-10-19 2019-05-16 Thk株式会社 予圧検知可能なねじ装置
JP2019197025A (ja) * 2018-05-11 2019-11-14 ポップリベット・ファスナー株式会社 締結要素の変位測定方法
WO2020183830A1 (ja) * 2019-03-08 2020-09-17 パナソニックＩｐマネジメント株式会社 応力特性測定方法、応力特性測定装置および応力特性測定システム

Also Published As

Publication number Publication date
JP2022081073A (ja) 2022-05-31
JP7419216B2 (ja) 2024-01-22

Similar Documents

Publication Publication Date Title
JP6972269B2 (ja) サプライヤー評価装置及びサプライヤー評価方法
US7496798B2 (en) Data-centric monitoring method
EP2376989B1 (fr) Identification de defaillances dans un moteur d'aeronef
CN108195535A (zh) 基于非线性激振特征的螺栓结合部松动检测方法及系统
JPH10267800A (ja) ホイールのドラム耐久評価方法
Krampikowska et al. The use of the acoustic emission method to identify crack growth in 40CrMo steel
WO2022107412A1 (ja) 締結部材の状態解析システム及び状態解析方法
Rajan et al. Development of computer vision for inspection of bolt using convolutional neural network
CN115937126A (zh) 汽车底盘的疲劳测试方法、装置、电子设备及存储介质
Yanez-Borjas et al. Convolutional neural network-based methodology for detecting, locating and quantifying corrosion damage in a truss-type bridge through the autocorrelation of vibration signals
KR101946631B1 (ko) 압축센싱 기반 구조물 상태진단 시스템 및 그 방법
Grzeszkowski et al. Classification of gear pitting damage using vibration measurements
Wu et al. A physics-informed machine learning model for surface roughness prediction in milling operations
Liao et al. Gearbox condition monitoring using self-organizing feature maps
WO2021002122A1 (ja) 応力分布画像処理装置
Parra dos Anjos Lima et al. Analysis of structural integrity of a building using an artificial neural network ARTMAP-Fuzzy-Wavelet
Yanez-Borjas et al. Statistical time features-based methodology for fatigue cracks detection in a four-story building
Li et al. Multichannel intelligent fault diagnosis of hoisting system using differential search algorithm‐variational mode decomposition and improved deep convolutional neural network
JP2017183624A (ja) 半導体装置の製造過程における異常解析装置および異常解析方法
Farioli et al. A Data-Based Tool Failure Prevention Approach in Progressive Die Stamping
Ziaja et al. Detection of anomaly in a pretensioned bolted beam-to-column connection node using digital image correlation and neural networks
Xue et al. Deep reference autoencoder convolutional neural network for damage identification in parallel steel wire cables
Heo et al. Stress intensity factor analysis of elliptical corner cracks in mechanical joints by weight function method
CN116681698B (zh) 一种弹簧自动装配质量检测方法及系统
Sadeghi Structural health monitoring of composite bridges by integrating model-based and data-driven methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894287

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894287

Country of ref document: EP

Kind code of ref document: A1