WO2020075756A1 - 予測装置及び予測方法 - Google Patents

予測装置及び予測方法 Download PDF

Info

Publication number
WO2020075756A1
WO2020075756A1 PCT/JP2019/039825 JP2019039825W WO2020075756A1 WO 2020075756 A1 WO2020075756 A1 WO 2020075756A1 JP 2019039825 W JP2019039825 W JP 2019039825W WO 2020075756 A1 WO2020075756 A1 WO 2020075756A1
Authority
WO
WIPO (PCT)
Prior art keywords
displacement
regions
image
region
prediction device
Prior art date
Application number
PCT/JP2019/039825
Other languages
English (en)
French (fr)
Inventor
悠樹 丸山
日下　博也
今川　太郎
晃浩 野田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP19871893.4A priority Critical patent/EP3865814A4/en
Priority to CN201980042599.6A priority patent/CN112334732B/zh
Priority to JP2020551197A priority patent/JP7336750B2/ja
Publication of WO2020075756A1 publication Critical patent/WO2020075756A1/ja
Priority to US17/136,681 priority patent/US11913889B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0041—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress
    • G01M5/005—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0058—Kind of property studied
    • G01N2203/006—Crack, flaws, fracture or rupture
    • G01N2203/0062—Crack or flaws
    • G01N2203/0066—Propagation of crack
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present disclosure relates to a prediction device and a prediction method for predicting a propagation direction of a crack generated in an object.
  • the direction of crack propagation can be predicted by differentiating the displacements calculated at multiple measurement points to obtain the strain and stress of the structure, and the direction of the main stress from the stress.
  • the present disclosure provides a prediction device and a prediction method that can accurately predict the propagation direction of a crack that occurs in an object.
  • a prediction device is a prediction device for predicting a propagation direction of a crack that occurs in an object, and an acquisition unit that acquires an image of the object, and a plurality of regions in the acquired image.
  • a derivation unit that derives the respective displacements, and a selection unit that selects, from the plurality of regions, two or more regions having a displacement similar to the displacement of the reference region of the plurality of regions,
  • An identifying unit that identifies the longitudinal direction of the aggregated region composed of two or more regions as the developing direction.
  • the reference region may be a region including the vicinity of the tip of the crack.
  • the prediction device can predict the direction in which the crack can propagate.
  • the displacement similar to the displacement of the reference region may be a displacement whose difference from the displacement of the reference region is within a threshold value.
  • the region with high similarity to the displacement of the reference region is selected.
  • the derivation unit determines a partial range in the video, and derives displacements of the plurality of regions included in the determined partial range. You may.
  • the derivation unit may derive the displacement of each of the plurality of regions from two or more images included in the video.
  • the prediction device may be configured such that the displacement of each of the plurality of regions is actually measured in each of the plurality of regions according to the distance from the image capturing unit that captures the image.
  • a scale correction unit that performs scale correction so that the ratio of the displaced distances is reflected is provided, and the selection unit selects the two or more regions by using displacements of the plurality of scale-corrected regions. May be.
  • the prediction device can more accurately identify the crack propagation direction.
  • a prediction method is a prediction method that predicts a propagation direction of a crack that occurs in an object, including an acquisition step of acquiring an image of the object, and a plurality of regions in the acquired image.
  • the above comprehensive or specific aspect may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program or a computer-readable recording disk, and the system, the apparatus, the method, the integrated circuit. It may be realized by any combination of a computer program and a recording medium.
  • the computer-readable recording medium includes a non-volatile recording medium such as a CD-ROM.
  • each drawing is a schematic diagram, and is not necessarily strictly illustrated. Further, in each drawing, substantially the same constituent elements are denoted by the same reference numerals, and redundant description may be omitted or simplified.
  • FIG. 1 is a schematic diagram showing an example of the configuration of the prediction system 300 according to the first embodiment.
  • the prediction system 300 is a system for predicting the propagation direction of the crack 4 that occurs in the object 2, and includes a prediction device 100 and an imaging device 200.
  • the image pickup device 200 is, for example, a digital video camera or a digital still camera including an image sensor.
  • the imaging device 200 captures an image of the object 2. More specifically, the imaging device 200 captures an image including a region where the crack 4 has occurred or a region where the crack 4 may occur.
  • the region where the crack 4 is generated or the region where the crack 4 is expected to occur in the future (hereinafter, also referred to as the region where the crack 4 may occur) uses a sensor such as a visual inspection, a tapping sound inspection, or a strain sensor. It may be specified by performing inspection, or may be specified by performing image analysis such as edge detection.
  • the object 2 is, for example, a structure such as a building, a bridge, a tunnel, a road, a dam, an embankment, or a soundproof wall.
  • the object 2 is made of, for example, metal such as steel, concrete, resin such as plastic, glass, or wood.
  • the object 2 is not limited to the above example, and may be any object that can cause a crack, and may be, for example, a part such as an airplane, a car, and a train, a part of a device, or furniture. .
  • the prediction device 100 is a device for predicting the propagation direction of a crack occurring in the object 2.
  • the prediction device 100 is, for example, a computer, and includes a processor (not shown) and a memory (not shown) in which a software program or instructions is stored.
  • the prediction device 100 realizes a plurality of functions described later by the processor executing the software program.
  • the prediction device 100 may be configured by a dedicated electronic circuit (not shown). In this case, a plurality of functions described below may be realized by separate electronic circuits or may be realized by one integrated electronic circuit.
  • the prediction device 100 is communicatively connected to the imaging device 200, for example.
  • the prediction device 100 acquires an image of the object 2 imaged by the imaging device 200, derives respective displacements of a plurality of regions in the acquired image, and selects a plurality of regions from among the plurality of regions. Two or more regions having a displacement similar to the displacement of the reference region are selected, and the longitudinal direction of the aggregate region composed of the selected two or more regions is specified as the crack propagation direction. A specific method of identifying the crack propagation direction will be described later.
  • each of the plurality of regions in the video may be a region corresponding to one pixel or a region corresponding to a plurality of pixels.
  • the displacement is a spatial variation amount indicating the moving direction and the moving distance, and is, for example, a motion vector indicating the motion.
  • the moving distance here is not a distance actually moved but a value corresponding to the distance actually moved.
  • the movement distance is the number of pixels in each area, which corresponds to the distance actually moved.
  • the prediction device 100 may derive the motion vector of each region as the displacement of each region, for example. In this case, the prediction device 100 derives the motion vector of each region by performing motion estimation of each region using, for example, the block matching method.
  • the prediction device 100 determines a reference region from the plurality of regions in the image, and selects two or more regions having a displacement similar to the displacement of the reference region, for example. To do. For example, the prediction device 100 takes a difference between the displacement of the reference region and the displacement of each of the plurality of regions, and selects a region in which the difference is within a threshold to determine a displacement similar to the displacement of the reference region. Select two or more regions that you have. The two or more selected areas form a collective area.
  • the difference in displacement between two adjacent regions is a differential value, it represents strain, and strain is proportional to stress.
  • the strain generated between these two regions is calculated.
  • the difference between the areas is a value within a threshold value from zero and is very small.
  • the collective region represents a region in which the strain generated between the regions is very small, that is, a region in which the strain is minimum. Since the stress and the strain are in a proportional relationship, the smaller the strain, the smaller the stress. Therefore, the collective region represents a region in which stress acting between the regions is very small, that is, a region in which the stress is minimum, and represents a region in which the distribution of the minimum principal stress is exhibited.
  • the crack 4 propagates in a direction perpendicular to the direction in which the largest stress acts, that is, in the direction in which the stress is smallest. That is, the direction in which the crack 4 propagates is the direction in which the strain is the smallest and the direction in which the difference in displacement between two adjacent regions is the smallest.
  • the smallest value may be a minimum value or a value within a predetermined range including the minimum value.
  • This direction corresponds to the longitudinal direction of the collective area having a displacement similar to that of the reference area. Therefore, the prediction device 100 predicts the direction in which the crack 4 can propagate (hereinafter, also referred to as the propagation direction of the crack 4) by identifying the longitudinal direction of the aggregated region as the propagation direction of the crack 4.
  • the reference area is an area including the vicinity of the tip of the crack 4 or an area where a crack may occur in the future.
  • the region including the vicinity of the tip of the crack 4 is, for example, a region adjacent to the tip of the crack 4.
  • the crack 4 may be a crack generated on the surface of the target object 2 or a crack generated inside the target object 2. That is, the crack 4 is not limited to the one that can be visually confirmed.
  • the region where the crack 4 may occur is estimated, for example, from the region in which the difference in displacement between two adjacent regions changes among the plurality of regions in the object 2. A method for detecting the region where the crack 4 has occurred or the region where the crack 4 may occur will be described later.
  • -A displacement similar to the displacement of the reference region is a displacement whose difference from the displacement of the reference region is within a threshold value.
  • the threshold will be described later.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the prediction device 100 according to the first embodiment.
  • the prediction device 100 includes an acquisition unit 10, a derivation unit 20, a selection unit 40, and a specification unit 50.
  • the acquisition unit 10 acquires an image of the object 2.
  • the video includes a period in which the external load is applied to the target object 2 and a period in which the external load is not applied to the target objects before and after it.
  • the image may include at least one.
  • the image acquired by the acquisition unit 10 may be an image captured while the external load applied to the object 2 is changing.
  • the object 2 is a steel plate
  • it is an image captured when the steel plate is slightly vibrating by applying vibration to the steel plate.
  • the target object 2 is a bridge
  • the image acquired by the acquisition unit 10 is an image captured while a vehicle such as a train or a car is passing through the bridge.
  • the image acquired by the acquisition unit 10 applies an external force to the target object 2 such as the wall surface, the pillar, or the floor surface of the building. Is a video image taken while the target object 2 is vibrated by adding.
  • the acquisition unit 10 acquires the image of the object 2 from the imaging device 200 by wireless communication, for example. Further, for example, the acquisition unit 10 may acquire an image from the imaging device 200 via a removable memory, for example, a USB (Universal Serial Bus) memory.
  • a removable memory for example, a USB (Universal Serial Bus) memory.
  • the deriving unit 20 derives the displacement of each of the plurality of regions in the acquired video. For example, the deriving unit 20 determines a part of the range in the image and derives the displacement of each of the plurality of regions included in the determined part of the range. Part of the range in the image includes at least the reference area.
  • the method of deriving the displacement is, for example, a block matching method, a normalized correlation method (Normalized Cross Correlation), a correlation method such as a phase correlation method (Phase Correlation), a sampling moire method, a feature point extraction method (for example, edge extraction). Alternatively, a laser speckle correlation method or the like may be used.
  • the displacement derivation accuracy may be in pixel units or subpixel units.
  • the displacement here may be a displacement on the image.
  • the selecting unit 40 selects, from the plurality of regions, two or more regions having a displacement similar to the displacement of the reference region in the plurality of regions.
  • the selecting unit 40 determines the reference region from the plurality of regions in the image, and has two or more displacements that are similar to the displacement of the reference region. Select the area of.
  • the reference region is a region including the vicinity of the tip of the crack 4 or a region in which the crack 4 may occur in the future, for example, a region adjacent to the tip of the crack 4.
  • the displacement similar to the displacement of the reference region is a displacement whose difference from the displacement of the reference region is within a threshold value.
  • the aggregate area formed by the two or more areas selected by the selection unit 40 may be formed by two or more areas that are most similar to the displacement of the reference area, and may be formed according to the similarity with the displacement of the reference area. Then, it may be composed of two or more regions selected according to the degree of similarity.
  • the threshold value is very close to the displacement of the reference region. Further, as the threshold value, a value obtained by multiplying a different coefficient depending on the material forming the object 2 may be used. Further, the threshold value may be set to have a width of the same value on the plus side and the minus side, with a value obtained by multiplying the displacement of the reference region by a predetermined coefficient as a reference value.
  • the threshold can be set for each component of the coordinates (x, y) of the motion vector.
  • the identifying unit 50 identifies the longitudinal direction of the aggregated region composed of two or more regions selected by the selecting unit 40 as the propagation direction of the crack 4.
  • FIG. 3 is a flowchart showing an example of the operation of the prediction device 100 according to the first embodiment.
  • the operation of the prediction system 300 includes an image capturing step in which the image capturing apparatus 200 captures an image of the target object 2 before the acquisition step S10 shown in FIG.
  • the imaging device 200 captures an image of the target object 2 when the external load applied to the target object 2 is changing, for example.
  • the deriving unit 20 based on the image acquired by the acquisition unit 10, the displacement before the external load is applied to the target object 2, and the displacement during the period in which the external load is applied to the target object 2, Can be derived. Therefore, it is possible to reduce the influence of the error when the object 2 is slightly moving, the error due to the blurring of the imaging device 200, and the like on the derivation of the displacement.
  • the image of the object 2 may be an image in which each of a plurality of positions of the object 2 is synchronously imaged by the imaging device 200.
  • the prediction device 100 selects an image including a region including the vicinity of the tip of the crack 4 from the plurality of acquired images, and predicts the propagation direction of the crack 4 based on the selected image.
  • the image of the target object 2 may be a video image of a predetermined portion of the target object 2 including a region including the vicinity of the tip of the crack 4.
  • the prediction device 100 can predict the propagation direction of the crack 4 based on the acquired video.
  • the region including the vicinity of the tip of the crack 4, for example, the region adjacent to the tip of the crack 4, is to be visually inspected, tapped, or inspected using a sensor such as a strain sensor by the user.
  • the image may be identified by performing image analysis such as a feature point extraction method (for example, edge extraction) and detecting the crack 4.
  • the acquisition unit 10 acquires an image of the object 2 (acquisition step S10).
  • the prediction device 100 may sequentially acquire images from the image capturing device 200, or may acquire images captured during a predetermined period. Note that the prediction device 100 may acquire a plurality of videos of the target object 2 from the imaging device 200 after the imaging device 200 has finished imaging the target object 2.
  • the method of acquiring the image by the acquisition unit 10 is not particularly limited. As described above, the acquisition unit 10 may acquire an image from the imaging device 200 by wireless communication, or may acquire an image via a removable memory such as a USB memory.
  • the deriving unit 20 derives the displacements of the plurality of regions in the video image acquired by the acquiring unit 10 in the acquiring step S10 (deriving step S20). Since the method of deriving the displacement has been described above, the description thereof is omitted here.
  • the deriving unit 20 may derive the displacements of each of the plurality of regions with respect to all the regions of the plurality of regions in the image, determine a part of the region in the image, and include the displacement in the part of the determined region.
  • the displacement of each of the plurality of regions to be generated may be derived. For example, when the displacement is a motion vector indicating motion, the motion vector in each area is calculated by comparing the image in each area with, for example, the image one frame before. More specifically, the deriving unit 20 compares the image cut out for each region with the image one frame before, and sets the position where the similarity between images is high as the motion vector of the region. In this way, the deriving unit 20 derives the displacement of each of the plurality of regions, and stores the data in which the derived displacement and the region are associated with each other in the storage unit (not shown).
  • the derivation unit 20 identifies the region where the crack 4 has occurred by detecting the crack 4 from the image acquired by the acquisition unit 10 using image analysis such as a feature point extraction method (for example, edge extraction), A partial range in the video may be determined so as to include the region.
  • image analysis such as a feature point extraction method (for example, edge extraction)
  • a partial range in the video may be determined so as to include the region.
  • a region where the crack 4 may occur may be estimated by visual inspection, tapping inspection, or the like, and a partial range in the image may be determined so as to include the region.
  • the partial range in the video may be determined by the user of the prediction device 100 selecting the partial range in the video.
  • the selection unit 40 selects, from the plurality of regions, two or more regions having a displacement similar to the displacement of the reference region among the plurality of regions (selection step S40).
  • the reference area is an area including the vicinity of the tip of the crack 4.
  • the selection unit 40 reads, for example, the data stored in the storage unit (not illustrated) by the derivation unit 20 and in which the derived displacement and the region are associated with each other, and the reference region of the reference region is read from the read data. Data of a region having a displacement similar to the displacement is selected, and the selected data is stored in the storage unit.
  • a region having a displacement whose difference from the displacement of the reference region is within the threshold value is selected.
  • the difference in displacement is a differential value, it represents strain, and strain is proportional to stress. Therefore, the selected area represents the area with the smallest stress and strain.
  • the identifying unit 50 identifies the longitudinal direction of the aggregated region composed of two or more regions selected by the selecting unit 40 in the selecting step S40 as the propagation direction of the crack 4 (identifying step S50).
  • the specifying unit 50 reads, for example, data of a region having a displacement similar to the displacement of the reference region from a storage unit (not shown), and derives the longitudinal direction of the collective region based on the read data.
  • the aggregated region is a region in which the strain is minimum and which shows the distribution of the minimum principal stress.
  • the crack 4 propagates in a direction perpendicular to the direction in which the largest stress acts, that is, in the direction in which the stress is smallest.
  • the direction in which the crack 4 propagates is the direction in which the strain is the smallest and the direction in which the difference in displacement between two adjacent regions is the smallest. This direction corresponds to the longitudinal direction of the collecting area. Therefore, the identifying unit 50 identifies the longitudinal direction of the gathering region as the propagation direction of the crack 4.
  • the selection unit 40 determines a reference region from the plurality of regions (step S42), and for each region of the plurality of regions, the difference between the displacement of each region and the displacement of the reference region is within a threshold value. It is determined whether there is any (step S44). Since the threshold value has been described above, description thereof will be omitted here.
  • the region has a displacement similar to the displacement of the reference region. Is determined (step S46).
  • the selection unit 40 adds a flag to the area and stores it in a storage unit (not shown).
  • the storage unit may be included in the prediction device 100 as a configuration different from the selection unit 40.
  • the selection unit 40 does not perform the process of step S46.
  • the selection unit 40 performs the processing of steps S44 and S46 on all the areas of the plurality of areas, that is, after the loop processing for each area is completed, the area having a displacement similar to the displacement of the reference region is detected. Two or more areas determined to be present are selected (step S48). At this time, the selection unit 40 reads the data of the region stored in the storage unit in step S46 from the storage unit (not shown), and determines from the read data that the region has a displacement similar to the displacement of the reference region. Alternatively, two or more areas may be selected and a collective area composed of the two or more areas may be reflected on the image.
  • FIG. 4 shows an example in which the processing loop for each area ends once, but for example, a plurality of thresholds are set according to the similarity with the displacement of the reference area, and the similarity with the displacement of the reference area is set.
  • a plurality of areas may be classified according to the degree. For example, if the difference from the displacement of the reference region is not within the first threshold after the processing loop is executed for each region with a threshold value having a high similarity to the displacement of the reference region (for example, the first threshold value). For the determined area (NO in step S44), the processing loop is executed with a threshold value having the second highest similarity to the displacement of the reference area (for example, the second threshold value).
  • the plurality of regions can be divided into a plurality of collective regions according to the degree of similarity with the displacement of the reference region, and the propagation direction of the crack 4 in the object 2 can be predicted more accurately.
  • the prediction device 100 acquires the imaged image of the target object 2, derives the displacements of the plurality of regions in the acquired image, and selects the plurality of regions from the plurality of regions. By selecting two or more regions having displacements similar to the displacement of the reference region, and specifying the longitudinal direction of the aggregate region composed of the selected two or more regions as the propagation direction of the crack 4 generated in the object 2. , Predict the propagation direction of the crack 4.
  • process of the selection step S40 does not necessarily have to be performed after the process of the derivation step S20.
  • the process of the selection step S40 may be performed in parallel with the process of the derivation step S20, for example.
  • processing of the specific step S50 does not necessarily have to be performed after the processing of the selection step S40.
  • the process of the specific step S50 may be performed in parallel with the process of the selecting step S40, for example.
  • the prediction device 100 detects the crack 4 (see FIG. 1) that has occurred in the target object 2 from the image captured by the image capturing device 200 (see FIG. 1) using an image analysis technique such as edge detection.
  • the detected crack 4 is identified as an area including a part of the crack 4 among the plurality of areas in the image.
  • the crack 4 generated in the target object 2 may be detected before the prediction device 100 acquires the image of the target object 2, or may be detected after the prediction device 100 acquires the image of the target object 2. . Since the details of each case have been described above, the description thereof is omitted here.
  • FIG. 5 is a diagram showing an example of determining a reference area from a plurality of areas in a captured video.
  • the prediction device 100 determines a reference region from a plurality of regions in the image, and determines a partial range in the image so that the reference region is included.
  • the reference area is the area of the white frame shown in FIG.
  • the reference region is a region including the vicinity of the tip of the crack 4 or a region in which a crack may occur in the future.
  • the reference area is an area adjacent to the tip of the crack 4.
  • the prediction device 100 derives the displacement of each of a plurality of regions in a part of the image, and stores data in which the derived displacement and the region are associated with each other in a storage unit (not shown).
  • FIG. 6 is a diagram showing an example of selecting two or more regions having a displacement similar to the displacement of the reference region shown in FIG.
  • a plurality of thresholds are provided according to the degree of similarity with the displacement of the reference area and the plurality of areas are classified according to the degree of similarity with the displacement of the reference area.
  • the prediction device 100 executes the processing loop shown in steps S44 to S46 for each region with the first threshold value having a high similarity to the displacement of the reference region, and For a region determined to be not within the first threshold (NO in step S44), the processing loop shown in steps S44 to S46 is executed with the second threshold having the second highest similarity to the displacement of the reference region.
  • the plurality of areas in the image are classified into a plurality of aggregate areas according to the degree of similarity with the displacement of the reference area, as shown in FIG.
  • a region having a high similarity with the displacement of the reference region is represented by white, and approaches a black color as the similarity with the displacement of the reference region decreases. Therefore, the white area shown in FIG. 6 is a collective area composed of areas having a displacement similar to the displacement of the reference region.
  • FIG. 7 is a diagram showing the longitudinal direction a of the gathering region shown in FIG.
  • FIG. 8 is a diagram showing a crack propagation direction b.
  • the collective area is an area having the minimum principal stress. Therefore, the longitudinal direction a of the gathering area shown in FIG. 7 represents the direction of the minimum principal stress. The direction of this minimum principal stress coincides with the arrow b shown in FIG.
  • ⁇ shown in FIG. 8 is the maximum principal strain angle when the tip of the crack 4 is used as a reference.
  • the maximum principal stress acts on the tip of the crack 4 in the direction of the maximum principal strain angle ⁇ .
  • the minimum principal stress acts in the direction perpendicular to this maximum principal strain angle ⁇ , that is, in the direction of arrow b.
  • the crack 4 propagates in the direction in which the minimum principal stress acts. Therefore, the arrow b shown in FIG. 8 coincides with the longitudinal direction a of the gathering area shown in FIG.
  • the prediction device 100 can predict the propagation direction of the crack 4 by specifying the longitudinal direction of the aggregated region as the propagation direction of the crack 4 without using the equation for calculating the strain value. If the prediction device 100 is used, the direction of the minimum principal stress can be specified without using a strain value calculation formula, and thus an increase in error can be suppressed. Therefore, according to the first embodiment, the propagation direction of the crack 4 generated in the object 2 can be accurately predicted.
  • the prediction device 100 is a prediction device for predicting the propagation direction of the crack 4 that occurs in the object 2, and the acquisition unit 10 that acquires an image of the object 2.
  • Derivation unit 20 that derives the displacement of each of a plurality of regions in the acquired image, and selection that selects, from the plurality of regions, two or more regions having a displacement similar to the displacement of the reference region of the plurality of regions.
  • the unit 40 and the identifying unit 50 that identifies the longitudinal direction of the aggregated region composed of two or more selected regions as the developing direction.
  • the prediction method according to the first embodiment is a prediction method that predicts a propagation direction of a crack that occurs in an object, and includes an acquisition step S10 that acquires an image of the object and a plurality of regions in the acquired image. Derivation step S20 for deriving the displacement of S, and selection step S40 for selecting, from the plurality of regions, two or more regions having a displacement similar to the displacement of the reference region among the plurality of regions, and the selected two or more regions. And a specifying step S50 for specifying the longitudinal direction of the collective area formed by the areas as the progress direction.
  • the prediction device 100 can accurately predict the propagation direction of the crack 4 that occurs in the object 2.
  • the reference region is a region including the vicinity of the tip of the crack 4.
  • the prediction device 100 can predict the direction in which the crack 4 can propagate.
  • a displacement similar to the displacement of the reference region is a displacement whose difference from the displacement of the reference region is within a threshold value.
  • the region with high similarity to the displacement of the reference region is selected.
  • the derivation unit 20 may determine a part of the range in the image and derive the displacement of each of the plurality of regions included in the determined part of the range. Good.
  • the derivation unit 20 derives displacements of a plurality of regions from two or more images included in the video.
  • FIG. 9 is a block diagram showing an example of the functional configuration of the prediction device 100 according to the second embodiment.
  • the prediction device 100 according to the second embodiment further includes the scale correction unit 30, and the specifying unit 50 uses the displacements of the plurality of regions corrected by the scale correction unit 30. It is different from the prediction device 100.
  • the prediction apparatus 100 according to the second embodiment will be described, focusing on the points different from the first embodiment.
  • the prediction device 100 includes a scale correction unit 30 in addition to the acquisition unit 10, the derivation unit 20, the selection unit 40, and the identification unit 50.
  • the scale correction unit 30 corrects the displacement of each of the plurality of regions according to the distance from an image capturing unit that captures an image, here, the image capturing apparatus 200 (see FIG. 1).
  • the scale correction unit 30 may: If necessary, scale correction is performed so that this ratio becomes equal. This scale correction may be performed on the derived displacement or on the captured image.
  • the selection unit 40 utilizes the respective displacements of the plurality of regions corrected by the scale correction unit 30 and has two or more displacements similar to the displacement of the reference region of the plurality of regions from the plurality of regions. Select the area of.
  • FIG. 10 is a flowchart showing an example of the operation of the prediction device 100 according to the second embodiment.
  • the operation of the prediction system 300 includes an image capturing step in which the image capturing apparatus 200 captures an image of the target object 2 before the acquisition step S10 shown in FIG. In the imaging step, an image of the object 2 moving slightly is captured.
  • the operation of the prediction device 100 according to the second embodiment will be described, focusing on the points different from the first embodiment.
  • the acquisition unit 10 acquires an image of the target 2 (acquisition step S10).
  • the deriving unit 20 derives the displacement of each of the plurality of regions in the image acquired by the acquiring unit 10 in the acquiring step S10 (deriving step S20).
  • the scale correction unit 30 reflects the ratio of the distance actually displaced in each of the plurality of regions according to the distance from the imaging device 200 that captures the image, with respect to each displacement of the plurality of regions.
  • Scale correction is performed as described above (scale correction step S30). More specifically, the scale correction unit 30 reads displacement information for each of the plurality of regions derived by the derivation unit 20, for example, coordinates in the real space from a storage unit (not shown), and reads the information. By using the coordinates in the real space, scale correction is performed so that the ratio of distances actually displaced in a plurality of regions is reflected.
  • the scale correction unit 30 causes the ratio between the displacement on the captured image and the displacement on the real space to occur due to the difference in the real space distance from the image capturing position of the image capturing apparatus 200 to a certain region among the plurality of regions.
  • scale correction may be performed so that this ratio becomes equal, if necessary.
  • the selection unit 40 uses the respective displacements of the plurality of regions corrected by the scale correction unit 30 to have a displacement similar to the displacement of the reference region of the plurality of regions from the plurality of regions. Two or more areas are selected (selection step S41). Note that the second embodiment differs from the first embodiment in that the scale-corrected displacement is used, but in other respects, the processing flow in the selection unit 40 is the same as in the first embodiment. Details of the selection step S41 will be described later with reference to FIG.
  • the identifying unit 50 identifies the longitudinal direction of the aggregated region composed of two or more regions selected by the selecting unit 40 in the selecting step S41 as the propagation direction of the crack 4 (identifying step S50).
  • step S44 When the difference between the displacement of a certain region and the displacement of the reference region is within the threshold value (YES in step S44), the region is determined to be a region having a displacement similar to the displacement of the reference region. Yes (step S46). On the other hand, when the difference between the displacement of a certain region and the displacement of the reference region is not within the threshold value (NO in step S44), the selection unit 40 does not perform the process of step S46.
  • the selection unit 40 performs the processing of steps S44 and S46 on all the areas of the plurality of areas, that is, after the loop processing for each area is completed, the area having a displacement similar to the displacement of the reference region is detected. Two or more areas determined to be present are selected (step S48). At this time, the selection unit 40 reads out the data of the area stored in the storage unit in step S46 from the storage unit and determines from the read data that the area has a displacement similar to the displacement of the reference region. A region may be selected and a collective region composed of the two or more regions may be reflected on the image.
  • FIG. 11 shows an example in which the processing loop for each area ends once, but for example, a plurality of thresholds are set according to the similarity with the displacement of the reference area, and the similarity with the displacement of the reference area is set.
  • a plurality of areas may be classified according to the degree. Specifically, the content is the same as that described in the first embodiment, and thus the description is omitted here.
  • process of the scale correction step S30 does not necessarily have to be performed after the process of the derivation step S20.
  • the process of the scale correction step S30 may be performed in parallel with the process of the derivation step S20, for example.
  • the processing of the specific step S50 does not necessarily have to be performed after the processing of the selection step S41.
  • the process of the specific step S50 may be performed in parallel with the process of the selecting step S41, for example.
  • the prediction device 100 further sets the distance from the image capturing unit (for example, the image capturing device 200 shown in FIG. 1) that captures an image for each displacement of the plurality of regions. Accordingly, the scale correction unit 30 that performs the scale correction is performed so that the ratio of the distances actually displaced in each of the plurality of regions is reflected, and the selection unit 40 determines the displacement of each of the plurality of scale-corrected regions. Use to select two or more regions.
  • the image capturing unit for example, the image capturing device 200 shown in FIG. 1
  • the scale correction unit 30 that performs the scale correction is performed so that the ratio of the distances actually displaced in each of the plurality of regions is reflected
  • the selection unit 40 determines the displacement of each of the plurality of scale-corrected regions. Use to select two or more regions.
  • the constituent elements included in the prediction device in the above-described embodiment may be configured by one system LSI (Large Scale Integration).
  • the prediction device may be composed of a system LSI including an acquisition unit, a derivation unit, and a specification unit.
  • the system LSI is used here, but it may also be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • a programmable programmable gate array (FPGA) after the LSI is manufactured, or a reconfigurable processor capable of reconfiguring the connection and setting of circuit cells inside the LSI may be used.
  • one aspect of the present disclosure may be not only such a prediction device but also a prediction method having a step of a characteristic configuration unit included in the prediction device. Further, one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the prediction method. Further, one aspect of the present disclosure may be a computer-readable non-transitory recording medium in which such a computer program is recorded.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the prediction device and the like of the above-described embodiment is the following program.
  • this program is a predicting method for predicting, in a computer, the progress direction of a crack that occurs in an object, an acquiring step of acquiring an image of the object, and displacement of each of a plurality of regions in the acquired image.
  • a derivation step of deriving a plurality of areas a selection step of selecting, from the plurality of areas, two or more areas having a displacement similar to the displacement of the reference area of the plurality of areas, and the selected two or more areas.
  • a specifying step of specifying the longitudinal direction of the aggregated region as the developing direction.
  • the present disclosure can be widely used for a prediction device that predicts a propagation direction of a crack that has occurred in an object or a crack that can occur in the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

予測装置（１００）は、対象物（２）に生じる亀裂（４）の進展方向を予測するための予測装置（１００）であって、対象物（２）の映像を取得する取得部（１０）と、取得した映像における複数の領域のそれぞれの変位を導出する導出部（２０）と、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択部（４０）と、選択した２以上の領域で構成される集合領域の長手方向を、進展方向として特定する特定部（５０）と、を備える。

Description

予測装置及び予測方法
　本開示は、対象物に生じる亀裂の進展方向を予測する予測装置及び予測方法に関する。
　従来、対象物の外観を調査する技術として、例えば、特許文献１には、構造物の時系列画像から画像相関演算を用いて変位を遠隔から非接触で算出する技術が開示されている。
　また、複数の計測点について算出した変位を微分することにより、構造物のひずみ及び応力を求め、応力から主応力の方向を求めることにより、亀裂の進展方向を予測できることが知られている。
特開２０１６－１７６８０６号公報
　しかしながら、特許文献１に記載の技術では、構造物の時系列画像から画像相関演算を用いて変位を算出するため、カメラノイズなどに起因する誤差の影響を受けやすい。このため、画像相関演算を用いて算出した変位を微分し、求めた応力を用いて主応力を算出するという、従来技術の組み合わせによる方法では、亀裂の進展方向を精度良く求めることができないという課題があった。
　そこで、本開示では、対象物に生じる亀裂の進展方向を精度良く予測できる予測装置及び予測方法を提供する。
　本開示の一態様に係る予測装置は、対象物に生じる亀裂の進展方向を予測するための予測装置であって、前記対象物の映像を取得する取得部と、取得した前記映像における複数の領域のそれぞれの変位を導出する導出部と、前記複数の領域の中から、前記複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択部と、選択した前記２以上の領域で構成される集合領域の長手方向を、前記進展方向として特定する特定部と、を備える。
　なお、上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録ディスクなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータで読み取り可能な記録媒体は、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。本開示の一態様の付加的な恩恵及び有利な点は、本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その一以上を得るために全てが必要ではない。
　本開示に係る予測装置及び予測方法によれば、対象物に生じる亀裂の進展方向を精度良く予測できる。
図１は、実施の形態１における予測システムの構成の一例を示す概略図である。 図２は、実施の形態１に係る予測装置の機能構成の一例を示すブロック図である。 図３は、実施の形態１に係る予測装置の動作の一例を示すフローチャートである。 図４は、図３に示すステップＳ４０に含まれる処理の詳細なフローを示すフローチャートである。 図５は、撮像された映像における複数の領域から基準領域を決定する一例を示す図である。 図６は、図５に示す基準領域の変位と類似する変位を有する２以上の領域を選択する一例を示す図である。 図７は、図６に示す集合領域の長手方向を示す図である。 図８は、亀裂の進展方向を示す図である。 図９は、実施の形態２に係る予測装置の機能構成の一例を示すブロック図である。 図１０は、実施の形態２に係る予測装置の動作の一例を示すフローチャートである。 図１１は、図１０に示すステップＳ４１に含まれる処理の詳細なフローを示すフローチャートである。
　（本開示の概要）
　本開示の一態様に係る予測装置は、対象物に生じる亀裂の進展方向を予測するための予測装置であって、前記対象物の映像を取得する取得部と、取得した前記映像における複数の領域のそれぞれの変位を導出する導出部と、前記複数の領域の中から、前記複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択部と、選択した前記２以上の領域で構成される集合領域の長手方向を、前記進展方向として特定する特定部と、を備える。
　これにより、対象物における亀裂の進展し得る方向を求める場合に、例えば、ひずみ値の算出式などを用いる必要がない。そのため、映像に起因するノイズなどの影響があっても、誤差の影響を低減することができる。したがって、本開示の一態様に係る予測装置によれば、対象物に生じる亀裂の進展方向を精度良く予測できる。
　例えば、本開示の一態様に係る予測装置では、前記基準領域は、前記亀裂の先端周辺を含む領域であってもよい。
　これにより、対象物に既に亀裂が生じている場合について、本開示の一態様に係る予測装置は、亀裂が進展し得る方向を予測することができる。
　例えば、本開示の一態様に係る予測装置では、前記基準領域の変位と類似する変位は、前記基準領域の変位との差分が閾値以内の変位であってもよい。
　これにより、基準領域の変位と類似度の高い領域が選択される。
　例えば、本開示の一態様に係る予測装置では、前記導出部は、前記映像における一部の範囲を決定し、決定された前記一部の範囲に含まれる前記複数の領域のそれぞれの変位を導出してもよい。
　これにより、処理量が減少するため、予測装置に掛かる負担が低減され、予測装置の処理速度が向上される。
　例えば、本開示の一態様に係る予測装置では、前記導出部は、前記映像に含まれる２以上の画像から前記複数の領域のそれぞれの変位を導出してもよい。
　これにより、時間的に異なる２以上の画像を用いて、複数の領域のそれぞれの変位を適切に導出することができる。
　例えば、本開示の一態様に係る予測装置は、さらに、前記複数の領域のそれぞれの変位に対して、前記映像を撮像する撮像部からの距離に応じて、前記複数の領域のそれぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行うスケール補正部を備え、前記選択部は、スケール補正された前記複数の領域のそれぞれの変位を用いて、前記２以上の領域を選択してもよい。
　これにより、複数の領域のそれぞれの変位を、より精度良く導出することができる。また、補正された変位を利用するため、本開示の一態様に係る予測装置は、亀裂の進展方向をより精度良く特定することができる。
　また、本開示の一態様に係る予測方法は、対象物に生じる亀裂の進展方向を予測する予測方法であって、前記対象物の映像を取得する取得ステップと、取得した前記映像における複数の領域のそれぞれの変位を導出する導出ステップと、前記複数の領域の中から、前記複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択ステップと、選択した前記２以上の領域で構成される集合領域の長手方向を、前記進展方向として特定する特定ステップと、を有する。
　これにより、対象物における亀裂の進展し得る方向を求める場合に、例えば、ひずみ値の算出式などを用いる必要がない。そのため、映像に起因するノイズなどの影響があっても、誤差の影響を低減することができる。したがって、本開示の一態様に係る予測方法によれば、対象物に生じる亀裂の進展方向を精度よく予測できる。
　なお、上記の包括的又は具体的な態様はシステム、装置、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータで読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。
　以下、本開示の実施の形態に係る予測装置及び予測方法について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、以下の実施の形態の説明は、主要な部分が同じであること、あるいは、２つの要素が共通の性質を有することなどを意味する。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては、同一の符号を付しており、重複する説明は、省略又は簡略化される場合がある。
　（実施の形態１）
　［１－１．予測システムの概要］
　まず、実施の形態１における予測システムの概要について、図１を参照しながら具体的に説明する。図１は、実施の形態１における予測システム３００の構成の一例を示す概略図である。
　予測システム３００は、対象物２に生じる亀裂４の進展方向を予測するためのシステムであり、予測装置１００と、撮像装置２００と、を備える。
　撮像装置２００は、例えば、イメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。撮像装置２００は、対象物２の映像を撮像する。より具体的には、撮像装置２００は、亀裂４が生じた領域又は亀裂４が生じ得る領域を含む映像を撮像する。亀裂４が生じた領域又は今後亀裂４が生じ得ると想定される領域（以下、亀裂４が生じ得る領域ともいう。）は、目視検査、打音検査、又は、ひずみセンサなどのセンサを用いた検査を行うことにより特定されてもよく、エッジ検出などの画像解析を行うことにより特定されてもよい。
　対象物２は、例えば、建物、橋梁、トンネル、道路、ダム、堤防、又は、防音壁などの構造物である。対象物２は、例えば、鉄鋼などの金属、コンクリート、プラスチックなどの樹脂、ガラス、又は、木材などで構成される。なお、対象物２は、上記の例に限られず、亀裂が生じ得るものであればよく、例えば、飛行機、自動車、及び、列車などの部品、装置の部品、又は、家具などであってもよい。
　予測装置１００は、対象物２に生じる亀裂の進展方向を予測するための装置である。予測装置１００は、例えばコンピュータであり、プロセッサ（不図示）と、ソフトウェアプログラム又はインストラクションが格納されたメモリ（不図示）と、を備える。プロセッサがソフトウェアプログラムを実行することによって、予測装置１００は、後述する複数の機能を実現する。また、予測装置１００は、専用の電子回路（不図示）で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された１つの電子回路で実現されてもよい。
　予測装置１００は、撮像装置２００と、例えば、通信可能に接続される。予測装置１００は、撮像装置２００によって撮像された対象物２の映像を取得して、取得した映像における複数の領域のそれぞれの変位を導出し、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択し、選択した２以上の領域で構成される集合領域の長手方向を、亀裂の進展方向として特定する。具体的な亀裂の進展方向の特定方法については、後述する。
　なお、映像における複数の領域のそれぞれは、１画素に対応する領域であってもよく、複数画素に対応する領域であってもよい。また、変位は、移動方向及び移動距離を表す空間的な変化量であり、例えば、動きを示す動きベクトルである。ここでの移動距離は、実際に移動した距離ではなく、実際に移動した距離に対応する値である。例えば、移動距離は、実際に移動した距離に対応する、各領域における画素数である。予測装置１００は、各領域の変位として、例えば、各領域の動きベクトルを導出してもよい。この場合、予測装置１００は、例えば、ブロックマッチング法を利用して、各領域の動き推定を行うことで、各領域の動きベクトルを導出する。
　複数の領域のそれぞれの変位が導出されると、予測装置１００は、例えば、映像における複数の領域の中から基準領域を決定し、基準領域の変位と類似する変位を有する２以上の領域を選択する。例えば、予測装置１００は、基準領域の変位と複数の領域のそれぞれの領域の変位との差分を取り、当該差分が閾値以内である領域を選択することにより、基準領域の変位と類似する変位を有する２以上の領域を選択する。選択された当該２以上の領域は、集合領域を構成する。ここで、隣接する２つの領域間の変位の差分は、微分値となるため、ひずみを表し、また、ひずみは応力に比例する。そのため、隣接する２つの領域の変位の差分を取ることにより、それらの２つの領域の間に生じるひずみが算出される。集合領域では、各領域間の差分は、ゼロから閾値以内の値であり、非常に小さい。言い換えると、集合領域は、各領域間に生じるひずみが非常に小さい領域、つまり、ひずみが最小の領域を表している。また、応力とひずみとは比例関係にあるため、ひずみが小さければ、応力も小さい。そのため、集合領域は、各領域間に作用する応力が非常に小さい領域、つまり、応力が最小の領域を表しており、最小主応力の分布を示す領域を表す。なお、亀裂４は、最も大きな応力が働く方向に対して垂直な方向、つまり、応力が最も小さい方向に進展する。つまり、亀裂４が進展する方向は、ひずみが最も小さい方向であり、隣接する２つの領域間の変位の差分が最も小さい方向である。なお、最も小さいとは、最小値であってもよく、最小値を含む所定の範囲内の値であってもよい。この方向は、基準領域の変位に類似する変位を有する集合領域の長手方向に対応する。そのため、予測装置１００は、集合領域の長手方向を、亀裂４の進展方向として特定することにより、亀裂４が進展し得る方向（以下、亀裂４の進展方向ともいう。）を予測する。
　なお、基準領域は、亀裂４の先端周辺を含む領域、もしくは今後亀裂が発生し得ると想定される領域である。亀裂４の先端周辺を含む領域は、例えば、亀裂４の先端に隣接する領域である。また、亀裂４は、対象物２の表面に生じた亀裂であってもよく、対象物２の内部に生じた亀裂であってもよい。つまり、亀裂４は、目視で確認できるものに限られない。
　なお、亀裂４が発生し得る領域は、例えば、対象物２における複数の領域のうち、隣接する２つの領域間の変位の差分が変化する領域から推定される。亀裂４が生じた領域又は亀裂４が生じ得る領域を検出する方法については、後述する。
　また、基準領域の変位と類似する変位は、基準領域の変位との差分が閾値以内の変位である。閾値については、後述する。
　［１－２．予測装置の構成］
　続いて、実施の形態１に係る予測装置１００の機能構成について説明する。図２は、実施の形態１に係る予測装置１００の機能構成の一例を示すブロック図である。
　図２に示すように、予測装置１００は、取得部１０と、導出部２０と、選択部４０と、特定部５０と、を備える。
　取得部１０は、対象物２の映像を取得する。なお、亀裂４の進展方向を特定する精度を向上させる観点から、当該映像は、対象物２に外部負荷が付加されている期間と、その前後の対象物に外部負荷が付加されていない期間の少なくとも一方と、を含む映像であってもよい。言い換えると、取得部１０により取得される映像は、対象物２に付加される外部負荷が変化しているときに撮像された映像であってもよい。例えば、対象物２が鋼板である場合、鋼板に振動を与えることにより、鋼板が微小に振動しているときに撮像された映像である。例えば、対象物２が橋梁である場合、取得部１０により取得される映像は、列車又は車などの車両が橋梁を通過しているときに撮像された映像である。また、例えば、対象物２が建物の壁面、柱、又は、床面などである場合、取得部１０により取得される映像は、建物の壁面、柱、又は、床面などの対象物２に外力を付加することにより当該対象物２を振動させているときに撮像された映像である。
　なお、取得部１０は、例えば、撮像装置２００から無線通信によって対象物２の映像を取得する。また、例えば、取得部１０は、脱着可能なメモリ、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリを介して撮像装置２００から映像を取得してもよい。
　導出部２０は、取得した映像における複数の領域のそれぞれの変位を導出する。例えば、導出部２０は、映像における一部の範囲を決定し、決定された一部の範囲に含まれる複数の領域のそれぞれの変位を導出する。映像における一部の範囲は、少なくとも基準領域を含む。変位の導出方法は、例えば、ブロックマッチング法、正規化相関法（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）、及び、位相相関法（Ｐｈａｓｅ　Ｃｏｒｒｅｌａｔｉｏｎ）などの相関法、サンプリングモアレ法、特徴点抽出法（例えば、エッジ抽出）、又は、レーザスペックル相関法などを用いてもよい。変位導出の精度は、ピクセル単位でもサブピクセル単位でもよい。ここでの変位は、映像上の変位であってもよい。
　選択部４０は、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する。導出部２０によって複数の領域のそれぞれの変位が導出されると、選択部４０は、例えば、映像における複数の領域の中から基準領域を決定し、基準領域の変位と類似する変位を有する２以上の領域を選択する。上述したように、基準領域は、亀裂４の先端周辺を含む領域、もしくは今後亀裂４が発生し得ると想定される領域であり、例えば、亀裂４の先端に隣接する領域である。また、基準領域の変位と類似する変位は、基準領域の変位との差分が閾値以内の変位である。ここで、選択部４０が選択した２以上の領域で構成される集合領域は、基準領域の変位に最も類似する２以上の領域で構成されてもよく、基準領域の変位との類似度に応じて、類似度別に選択された２以上の領域で構成されてもよい。基準領域の変位に最も類似する２以上の領域を選択する場合、閾値は、基準領域の変位に非常に近い値である。また、閾値は、対象物２を構成する材料によって異なる係数を乗じた値を用いてもよい。また、閾値は、基準領域の変位に所定の係数を乗じた値を基準値として、プラス側及びマイナス側に同じ値の幅を持つように設定されてもよい。変位が動きを示す動きベクトルで表される場合、閾値は、動きベクトルの座標（ｘ，ｙ）の構成要素毎に設定され得る。
　特定部５０は、選択部４０が選択した２以上の領域で構成される集合領域の長手方向を、亀裂４の進展方向として特定する。
　［１－３．予測装置の動作］
　次いで、実施の形態１に係る予測装置１００の動作の一例について、図３及び図４を参照しながら説明する。図３は、実施の形態１に係る予測装置１００の動作の一例を示すフローチャートである。なお、予測システム３００の動作としては、図３に示す取得ステップＳ１０の前に、撮像装置２００が対象物２の映像を撮像する撮像ステップが含まれる。撮像ステップでは、撮像装置２００は、例えば、対象物２に付加される外部負荷が変化しているときに対象物２の映像を撮像する。これにより、導出部２０は、取得部１０が取得した映像に基づいて、対象物２に外部負荷が付加される前の変位と、対象物２に外部負荷が付加されている期間の変位と、を導出することができる。そのため、対象物２が微小に動いている場合の誤差、及び、撮像装置２００のぶれによる誤差などが変位の導出に与える影響を低減することができる。
　なお、対象物２の映像は、撮像装置２００によって対象物２の複数の箇所のそれぞれが同期撮像された映像であってもよい。この場合、予測装置１００は、取得した複数の映像のうち、亀裂４の先端周辺を含む領域を含む映像を選択し、選択した映像に基づいて、亀裂４の進展方向を予測する。
　なお、対象物２の映像は、亀裂４の先端周辺を含む領域を含む、対象物２の所定の箇所が撮像された映像であってもよい。この場合、予測装置１００は、取得した映像に基づいて、亀裂４の進展方向を予測することができる。
　なお、亀裂４の先端周辺を含む領域、例えば、亀裂４の先端に隣接する領域は、上述したとおり、ユーザが目視検査、打音検査、又は、ひずみセンサなどのセンサを用いた検査を行うことにより特定されてもよく、特徴点抽出法（例えば、エッジ抽出）などの画像解析を行い亀裂４を検出することによって特定されてもよい。
　図３に示すように、取得部１０は、対象物２の映像を取得する（取得ステップＳ１０）。予測装置１００は、撮像装置２００から逐次映像を取得してもよいし、所定の期間撮像した映像を取得してもよい。なお、予測装置１００は、撮像装置２００による対象物２の撮像が終了した後に、対象物２の複数の映像を撮像装置２００から取得してもよい。取得部１０による映像の取得方法については、特に限定されない。上述したように、取得部１０は、撮像装置２００から、無線通信によって映像を取得してもよく、ＵＳＢメモリなどの脱着可能なメモリを介して映像を取得してもよい。
　次いで、導出部２０は、取得ステップＳ１０で取得部１０が取得した映像における複数の領域のそれぞれの変位を導出する（導出ステップＳ２０）。なお、変位の導出方法については、上述したため、ここでの説明を省略する。
　導出部２０は、当該映像における複数の領域の全ての領域について、複数の領域のそれぞれの変位を導出してもよく、映像における一部の範囲を決定し、決定された一部の範囲に含まれる複数の領域のそれぞれの変位を導出してもよい。例えば、変位が動きを示す動きベクトルである場合、各領域における動きベクトルは、各領域の画像と、例えば、１フレーム前の画像とを比較することで算出される。より具体的には、導出部２０は、領域毎に切り出した画像を移動させつつ、１フレーム前の画像と比較し、画像同士の類似度が高い位置を、その領域の動きベクトルとする。このようにして、導出部２０は、複数の領域のそれぞれの変位を導出し、導出された変位と領域とを対応付けたデータを、記憶部（不図示）に格納する。
　導出部２０は、取得部１０が取得した映像から、例えば、特徴点抽出法（例えば、エッジ抽出）などの画像解析を用いて亀裂４を検出することにより亀裂４が生じた領域を特定し、当該領域を含むように、映像における一部の範囲を決定してもよい。また、目視検査や打音検査などにより亀裂４が生じ得る領域を推定し、当該領域を含むように、映像における一部の範囲を決定してもよい。
　なお、映像における一部の範囲は、予測装置１００のユーザが映像における一部の範囲を選択することにより決定されてもよい。
　次いで、選択部４０は、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する（選択ステップＳ４０）。基準領域は、亀裂４の先端周辺を含む領域である。ここでは、選択部４０の動作の例について説明する。選択部４０は、例えば、導出部２０が記憶部（不図示）に格納した、導出された変位と領域とを対応付けたデータを記憶部から読み出し、読み出された当該データから、基準領域の変位と類似する変位を有する領域のデータを選択し、選択したデータを記憶部に格納する。これにより、基準領域の変位との差分が閾値以内である変位を有する領域が選択される。上述したとおり、変位の差分は、微分値となるため、ひずみを表し、また、ひずみは応力に比例する。そのため、選択された領域は、応力及びひずみが最も小さい領域を表している。なお、選択ステップＳ４０の詳細については、図４を参照して後述する。
　次いで、特定部５０は、選択ステップＳ４０で選択部４０が選択した２以上の領域で構成される集合領域の長手方向を、亀裂４の進展方向として特定する（特定ステップＳ５０）。特定部５０は、例えば、基準領域の変位と類似する変位を有する領域のデータを記憶部（不図示）から読み出し、読み出したデータに基づいて、集合領域の長手方向を導出する。上述したように、集合領域は、ひずみが最小の領域であり、かつ、最小主応力の分布を示す領域である。亀裂４は、最も大きな応力が働く方向と垂直な方向、つまり、応力が最も小さい方向に進展する。つまり、亀裂４が進展する方向は、ひずみが最も小さい方向であり、隣接する２つの領域間の変位の差分が最も小さい方向である。この方向は、集合領域の長手方向に対応する。そのため、特定部５０は、集合領域の長手方向を、亀裂４の進展方向と特定する。
　ここで、選択ステップＳ４０について、図４を参照して、より具体的に説明する。
　選択ステップＳ４０では、選択部４０は、複数の領域の中から基準領域を決定し（ステップＳ４２）、複数の領域の各領域について、各領域の変位と基準領域の変位との差分が閾値以内であるか否かを判定する（ステップＳ４４）。閾値については、上述したため、ここでの説明を省略する。
　複数の領域のうち、ある領域について、当該領域の変位と基準領域の変位との差分が閾値以内である場合（ステップＳ４４でＹＥＳ）、当該領域を、基準領域の変位と類似する変位を有する領域であると判定する（ステップＳ４６）。この場合、選択部４０は、例えば、当該領域にフラグを付して、記憶部（不図示）に格納する。なお、記憶部（不図示）は、選択部４０とは別の構成として予測装置１００に備えられてもよい。一方、複数の領域のうち、ある領域について、当該領域の変位と基準領域の変位との差分が閾値以内でない場合（ステップＳ４４でＮＯ）、選択部４０は、ステップＳ４６の処理を実施しない。
　選択部４０は、複数の領域の全ての領域について、ステップＳ４４及びステップＳ４６の処理を実施した後、つまり、領域毎のループ処理が終了した後、基準領域の変位と類似する変位を有する領域であると判定された２以上の領域を選択する（ステップＳ４８）。このとき、選択部４０は、ステップＳ４６で記憶部に格納された領域のデータを記憶部（不図示）から読み出し、読み出したデータから基準領域の変位と類似する変位を有する領域であると判定された２以上の領域を選択し、当該２以上の領域から構成される集合領域を映像上に反映させてもよい。
　なお、図４では、領域毎の処理ループは、１回で終了する例を示したが、例えば、基準領域の変位との類似度に応じて複数の閾値を設け、基準領域の変位との類似度に応じて複数の領域を分類してもよい。例えば、基準領域の変位との類似度が高い閾値（例えば、第１閾値とする。）で各領域について当該処理ループを実行した後に、基準領域の変位との差分が第１の閾値以内でないと判定された（ステップＳ４４でＮＯ）領域について、基準領域の変位との類似度が次に高い閾値（例えば、第２閾値とする。）で当該処理ループを実行する。このように、基準領域の変位との類似度に応じて複数の領域を複数の集合領域に分けることができ、対象物２における亀裂４の進展方向をより的確に予測することができる。
　以上のように、予測装置１００は、撮像された対象物２の映像を取得し、取得した映像における複数の領域のそれぞれの変位を導出し、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択し、選択した２以上の領域で構成される集合領域の長手方向を、対象物２に生じる亀裂４の進展方向として特定することにより、亀裂４の進展方向を予測する。
　なお、選択ステップＳ４０の処理は、必ずしも導出ステップＳ２０の処理の後に行われる必要はない。選択ステップＳ４０の処理は、例えば、導出ステップＳ２０の処理と並行に行われてもよい。
　また、特定ステップＳ５０の処理は、必ずしも選択ステップＳ４０の処理の後に行われる必要はない。特定ステップＳ５０の処理は、例えば、選択ステップＳ４０の処理と並行に行われてもよい。
　［１－４．実施例］
　続いて、実施の形態１に係る予測装置１００を用いた亀裂４の進展方向の予測方法について、実施例を挙げて、より具体的に説明する。
　予測装置１００は、例えば、エッジ検出などの画像解析技術を用いて、撮像装置２００（図１参照）により撮像された映像から、対象物２に生じた亀裂４（図１参照）を検出する。検出された亀裂４は、映像における複数の領域のうち、亀裂４の一部を含む領域として識別される。
　なお、対象物２に生じた亀裂４は、予測装置１００が対象物２の映像を取得する前に検出されてもよく、予測装置１００が対象物２の映像を取得した後に検出されてもよい。それぞれの場合の詳細については、上述したため、ここでの説明を省略する。
　図５は、撮影された映像における複数の領域から基準領域を決定する一例を示す図である。予測装置１００は、映像における複数の領域から基準領域を決定し、基準領域が含まれるように、映像における一部の範囲を決定する。基準領域は、図５に示す白枠の領域である。基準領域は、亀裂４の先端周辺を含む領域、もしくは今後亀裂が発生し得ると想定される領域である。ここでは、基準領域は、亀裂４の先端に隣接する領域である。
　予測装置１００は、映像における一部の範囲における複数の領域のそれぞれの変位を導出し、導出された変位と領域とを対応付けたデータを、記憶部（不図示）に格納する。
　次いで、図６は、図５に示す基準領域の変位と類似する変位を有する２以上の領域を選択する一例を示す図である。ここでは、基準領域の変位との類似度に応じて複数の閾値を設け、基準領域の変位との類似度に応じて複数の領域を分類する例について説明する。
　図４で説明したとおり、予測装置１００は、各領域について、基準領域の変位との類似度が高い第１閾値で、ステップＳ４４～Ｓ４６に示す処理ループを実行した後に、基準領域との差分が第１の閾値以内でないと判定された（ステップＳ４４でＮＯ）領域について、基準領域の変位との類似度が次に高い第２閾値でステップＳ４４～Ｓ４６に示す処理ループを実行する。これにより、映像における複数の領域は、図６に示すように、基準領域の変位との類似度に応じて、複数の集合領域に分類される。基準領域の変位との類似度が高い領域は白で表され、基準領域の変位との類似度が低くなるにつれて黒に近付く。したがって、図６に示す白色の領域が、基準領域の変位と類似する変位を有する領域で構成される集合領域である。
　図７は、図６に示す集合領域の長手方向ａを示す図である。図８は、亀裂の進展方向ｂを示す図である。上述したように、集合領域は、最小主応力を有する領域である。そのため、図７に示す集合領域の長手方向ａは、最小主応力の方向を表している。この最小主応力の方向は、図８に示す矢印ｂと一致する。
　図８に示すφは、亀裂４の先端を基準とした場合の最大主ひずみ角である。亀裂４の先端には、最大主ひずみ角φの方向に最大主応力が働く。この最大主ひずみ角φと垂直な方向、つまり、矢印ｂの方向に、最小主応力が働く。上述したように、亀裂４は、最小主応力が働く方向に進展する。そのため、図８に示す矢印ｂは、図７に示す集合領域の長手方向ａと一致する。
　以上のように、予測装置１００は、ひずみ値の算出式を用いることなく、集合領域の長手方向を、亀裂４の進展方向と特定することにより、亀裂４の進展方向を予測することができる。予測装置１００を用いれば、ひずみ値の算出式を用いることなく、最小主応力の方向を特定することができるため、誤差の増大を抑制することができる。そのため、実施の形態１によれば、対象物２に生じる亀裂４の進展方向を精度良く予測することができる。
　［１－５．効果等］
　以上のように、実施の形態１に係る予測装置１００は、対象物２に生じる亀裂４の進展方向を予測するための予測装置であって、対象物２の映像を取得する取得部１０と、取得した映像における複数の領域のそれぞれの変位を導出する導出部２０と、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択部４０と、選択した２以上の領域で構成される集合領域の長手方向を、進展方向として特定する特定部５０と、を備える。
　また、実施の形態１に係る予測方法は、対象物に生じる亀裂の進展方向を予測する予測方法であって、対象物の映像を取得する取得ステップＳ１０と、取得した映像における複数の領域のそれぞれの変位を導出する導出ステップＳ２０と、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択ステップＳ４０と、選択した２以上の領域で構成される集合領域の長手方向を、進展方向として特定する特定ステップＳ５０と、を有する。
　これにより、対象物２における亀裂４の進展し得る方向を求める場合に、例えば、ひずみ値の算出式などを用いる必要がない。そのため、映像に起因するノイズなどの影響があっても、誤差の影響を低減することができる。したがって、予測装置１００によれば、対象物２に生じる亀裂４の進展方向を精度よく予測できる。
　例えば、実施の形態１に係る予測装置１００では、基準領域は、亀裂４の先端周辺を含む領域である。
　これにより、対象物２に既に亀裂４が生じている場合、予測装置１００は、亀裂４が進展し得る方向を予測することができる。
　例えば、実施の形態１に係る予測装置１００では、基準領域の変位と類似する変位は、基準領域の変位との差分が閾値以内の変位である。
　これにより、基準領域の変位と類似度の高い領域が選択される。
　例えば、実施の形態１に係る予測装置１００では、導出部２０は、映像における一部の範囲を決定し、決定された一部の範囲に含まれる複数の領域のそれぞれの変位を導出してもよい。
　これにより、処理量が減少するため、予測装置１００に掛かる負担が低減され、予測装置の処理速度が向上される。
　実施の形態１に係る予測装置１００では、導出部２０は、映像に含まれる２以上の画像から複数の領域のそれぞれの変位を導出する。
　これにより、時間的に異なる２以上の画像を用いて、複数の領域のそれぞれの変位を適切に導出することができる。
　（実施の形態２）
　［２－１．予測装置の構成］
　続いて、実施の形態２に係る予測装置について、図９を参照しながら説明する。図９は、実施の形態２に係る予測装置１００の機能構成の一例を示すブロック図である。実施の形態２に係る予測装置１００は、さらに、スケール補正部３０を備え、特定部５０がスケール補正部３０によって補正された複数の領域のそれぞれの変位を利用する点で、実施の形態１に係る予測装置１００と異なる。以下、実施の形態１と異なる点を中心に、実施の形態２に係る予測装置１００について説明する。
　図９に示すように、実施の形態２に係る予測装置１００は、取得部１０と、導出部２０と、選択部４０と、特定部５０と、に加え、スケール補正部３０を備える。スケール補正部３０は、複数の領域のそれぞれの変位を、映像を撮像する撮像部、ここでは、撮像装置２００（図１参照）からの距離に応じて補正する。
　例えば、スケール補正部３０は、撮像映像上の変位と実空間上の変位との比率が、撮像装置２００の撮像位置から複数の領域のそれぞれの領域までの実空間距離の違いによって生じる場合は、必要に応じて、この比率が等しくなるようにスケール補正を行う。このスケール補正は、導出された変位に対して行ってもよく、撮像映像に対して行ってもよい。
　選択部４０は、スケール補正部３０によって補正された複数の領域のそれぞれの変位を利用して、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する。
　［２－２．予測装置の動作］
　次いで、予測装置１００の動作の一例について、図１０を参照しながら説明する。図１０は、実施の形態２に係る予測装置１００の動作の一例を示すフローチャートである。なお、実施の形態１と同様に、予測システム３００の動作としては、図１０に示す取得ステップＳ１０の前に、撮像装置２００が対象物２の映像を撮像する撮像ステップが含まれる。撮像ステップでは、対象物２が微小に動いているときの映像が撮像される。以下、実施の形態１と異なる点を中心に、実施の形態２に係る予測装置１００の動作について説明する。
　図１０に示すように、取得部１０は、対象物２の映像を取得する（取得ステップＳ１０）。次いで、導出部２０は、取得ステップＳ１０で取得部１０が取得した映像における複数の領域のそれぞれの変位を導出する（導出ステップＳ２０）。
　次いで、スケール補正部３０は、複数の領域のそれぞれの変位に対して、映像を撮像する撮像装置２００からの距離に応じて、複数の領域のそれぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行う（スケール補正ステップＳ３０）。より具体的には、スケール補正部３０は、導出部２０によって導出された複数の領域それぞれについての変位の情報、例えば、実空間上の座標を、記憶部（不図示）から読み出し、読み出された実空間上の座標を用いて、複数の領域において実際に変位した距離の比率が反映されるように、スケール補正を行う。なお、スケール補正部３０は、撮像映像上の変位と実空間上の変位との比率が、撮像装置２００の撮像位置から複数の領域のうちのある領域までの実空間における距離の違いによって生じる場合に、必要に応じて、この比率が等しくなるようにスケール補正を行ってもよい。
　次いで、選択部４０は、スケール補正部３０によって補正された複数の領域のそれぞれの変位を利用して、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する（選択ステップＳ４１）。なお、実施の形態２では、スケール補正された変位を利用する点で、実施の形態１と異なるが、その他の点において、選択部４０における処理フローは、実施の形態１と同様である。選択ステップＳ４１の詳細については、図１１を参照して後述する。
　次いで、特定部５０は、選択ステップＳ４１で選択部４０が選択した２以上の領域で構成される集合領域の長手方向を、亀裂４の進展方向として特定する（特定ステップＳ５０）。
　ここで、選択ステップＳ４１について、図１１を参照して、より具体的に説明する。
　選択ステップＳ４１では、選択部４０は、スケール補正された複数の領域の中から基準領域を決定し（ステップＳ４３）、複数の領域の各領域について、各領域の変位が基準領域の変位との差分が閾値以内であるか否かを判定する（ステップＳ４４）。より具体的には、選択部４０は、基準領域の変位と複数の領域のそれぞれの領域の変位との差分を取り、当該差分が閾値以内であるか否かを判定する。
　複数の領域のうち、ある領域の変位が基準領域の変位との差分が閾値以内である場合（ステップＳ４４でＹＥＳ）、当該領域を、基準領域の変位と類似する変位を有する領域であると判定する（ステップＳ４６）。一方、複数の領域のうち、ある領域の変位が基準領域の変位との差分が閾値以内でない場合（ステップＳ４４でＮＯ）、選択部４０は、ステップＳ４６の処理を実施しない。
　選択部４０は、複数の領域の全ての領域について、ステップＳ４４及びステップＳ４６の処理を実施した後、つまり、領域毎のループ処理が終了した後、基準領域の変位と類似する変位を有する領域であると判定された２以上の領域を選択する（ステップＳ４８）。このとき、選択部４０は、ステップＳ４６で記憶部に格納された領域のデータを記憶部から読み出し、読み出したデータから基準領域の変位と類似する変位を有する領域であると判定された２以上の領域を選択し、当該２以上の領域から構成される集合領域を映像上に反映させてもよい。
　なお、図１１では、領域毎の処理ループは、１回で終了する例を示したが、例えば、基準領域の変位との類似度に応じて複数の閾値を設け、基準領域の変位との類似度に応じて複数の領域を分類してもよい。具体的には、実施の形態１にて説明した内容と同様であるため、ここでの説明を省略する。
　以上のように、実施の形態２に係る予測装置１００は、撮像された対象物２の映像を取得し、取得した映像における複数の領域のそれぞれの変位を導出し、複数の領域のそれぞれの変位に対して、映像を撮像する撮像部からの距離に応じて、複数の領域のそれぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行い、複数の領域の中から、複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択し、選択した２以上の領域で構成される集合領域の長手方向を、対象物２に生じる亀裂４の進展方向として特定することにより、亀裂４の進展方向を予測する。
　なお、スケール補正ステップＳ３０の処理は、必ずしも導出ステップＳ２０の処理の後に行われる必要はない。スケール補正ステップＳ３０の処理は、例えば、導出ステップＳ２０の処理と並行に行われてもよい。
　また、選択ステップＳ４１の処理は、必ずしも導出ステップＳ２０の処理の後に行われる必要はない。選択ステップＳ４１の処理は、例えば、導出ステップＳ２０の処理と並行に行われてもよい。
　また、特定ステップＳ５０の処理は、必ずしも選択ステップＳ４１の処理の後に行われる必要はない。特定ステップＳ５０の処理は、例えば、選択ステップＳ４１の処理と並行に行われてもよい。
　［２－３．効果等］
　以上のように、実施の形態２に係る予測装置１００は、さらに、複数の領域のそれぞれの変位に対して、映像を撮像する撮像部（例えば、図１に示す撮像装置２００）からの距離に応じて、複数の領域のそれぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行うスケール補正部３０を備え、選択部４０は、スケール補正された複数の領域のそれぞれの変位を用いて、２以上の領域を選択する。
　これにより、複数の領域のそれぞれの変位を、より精度良く導出することができる。また、補正された変位を利用するため、亀裂４の進展方向をより精度良く特定することができる。
　（他の実施の形態）
　以上、本開示の１つ又は複数の態様に係る予測装置及び予測方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構成される形態も、本開示の１つ又は複数の態様の範囲内に含まれてもよい。
　例えば、上記実施の形態における予測システムでは１台の撮像装置で構成する場合を説明したが、２台以上の複数の撮像装置を用いて構成してもよい。これにより、複数の撮像された映像を取得できるため、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）などの３次元再構成技術を用いて、対象物の３次元形状を精度良く計測することができる。このため、亀裂の進展方向をより精度良く特定することができる。
　また、例えば、上記実施の形態における予測装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、予測装置は、取得部と、導出部と、特定部と、を有するシステムＬＳＩから構成されてもよい。
　システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいは、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、本開示の一態様は、このような予測装置だけではなく、予測装置に含まれる特徴的な構成部をステップとする予測方法であってもよい。また、本開示の一態様は、予測方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータで読み取り可能な非一時的な記録媒体であってもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の予測装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、対象物に生じる亀裂の進展方向を予測する予測方法であって、前記対象物の映像を取得する取得ステップと、取得した前記映像における複数の領域のそれぞれの変位を導出する導出ステップと、前記複数の領域の中から、前記複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択ステップと、選択した前記２以上の領域で構成される集合領域の長手方向を、前記進展方向として特定する特定ステップと、を有する予測方法を実行させる。
　本開示は、対象物に生じた亀裂又は対象物に生じ得る亀裂の進展方向を予測する予測装置に広く利用可能である。
　２　対象物
　４　亀裂
　１０　取得部
　２０　導出部
　３０　スケール補正部
　４０　選択部
　５０　特定部
　１００　予測装置
　２００　撮像装置
　３００　予測システム

Claims (7)

  1. 　対象物に生じる亀裂の進展方向を予測するための予測装置であって、
    　前記対象物の映像を取得する取得部と、
    　取得した前記映像における複数の領域のそれぞれの変位を導出する導出部と、
    　前記複数の領域の中から、前記複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択部と、
    　選択した前記２以上の領域で構成される集合領域の長手方向を、前記進展方向として特定する特定部と、
    　を備える、
    　予測装置。
  2. 　前記基準領域は、前記亀裂の先端周辺を含む領域である、
    　請求項１に記載の予測装置。
  3. 　前記基準領域の変位と類似する変位は、前記基準領域の変位との差分が閾値以内の変位である、
    　請求項１又は２に記載の予測装置。
  4. 　前記導出部は、前記映像における一部の範囲を決定し、決定された前記一部の範囲に含まれる前記複数の領域のそれぞれの変位を導出する、
    　請求項１～３のいずれか一項に記載の予測装置。
  5. 　前記導出部は、前記映像に含まれる２以上の画像から前記複数の領域のそれぞれの変位を導出する、
    　請求項１～４のいずれか一項に記載の予測装置。
  6. 　さらに、前記複数の領域のそれぞれの変位に対して、前記映像を撮像する撮像部からの距離に応じて、前記複数の領域のそれぞれにおいて実際に変位した距離の比率が反映されるようにスケール補正を行うスケール補正部を備え、
    　前記選択部は、スケール補正された前記複数の領域のそれぞれの変位を用いて、前記２以上の領域を選択する、
    　請求項１～５のいずれか一項に記載の予測装置。
  7. 　対象物に生じる亀裂の進展方向を予測する予測方法であって、
    　前記対象物の映像を取得する取得ステップと、
    　取得した前記映像における複数の領域のそれぞれの変位を導出する導出ステップと、
    　前記複数の領域の中から、前記複数の領域のうちの基準領域の変位と類似する変位を有する２以上の領域を選択する選択ステップと、
    　選択した前記２以上の領域で構成される集合領域の長手方向を、前記進展方向として特定する特定ステップと、
    　を有する、
    　予測方法。
PCT/JP2019/039825 2018-10-12 2019-10-09 予測装置及び予測方法 WO2020075756A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19871893.4A EP3865814A4 (en) 2018-10-12 2019-10-09 PREDICTION DEVICE AND PREDICTION METHOD
CN201980042599.6A CN112334732B (zh) 2018-10-12 2019-10-09 预测装置及预测方法
JP2020551197A JP7336750B2 (ja) 2018-10-12 2019-10-09 予測装置及び予測方法
US17/136,681 US11913889B2 (en) 2018-10-12 2020-12-29 Prediction device for predicting a growth direction of a crack in a subject and prediction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018193786 2018-10-12
JP2018-193786 2018-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/136,681 Continuation US11913889B2 (en) 2018-10-12 2020-12-29 Prediction device for predicting a growth direction of a crack in a subject and prediction method

Publications (1)

Publication Number Publication Date
WO2020075756A1 true WO2020075756A1 (ja) 2020-04-16

Family

ID=70164112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039825 WO2020075756A1 (ja) 2018-10-12 2019-10-09 予測装置及び予測方法

Country Status (5)

Country Link
US (1) US11913889B2 (ja)
EP (1) EP3865814A4 (ja)
JP (1) JP7336750B2 (ja)
CN (1) CN112334732B (ja)
WO (1) WO2020075756A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01291385A (ja) * 1988-05-19 1989-11-22 Tokyo Electric Power Co Inc:The ひびわれ画像の解析方法
JP2007333521A (ja) * 2006-06-14 2007-12-27 Fuji Heavy Ind Ltd 要素分割法、要素分割演算装置及び損傷進展解析装置
WO2016047093A1 (ja) * 2014-09-25 2016-03-31 日本電気株式会社 状態判定装置および状態判定方法
JP2016176806A (ja) 2015-03-20 2016-10-06 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2017051554A1 (ja) * 2015-09-25 2017-03-30 富士フイルム株式会社 メンテナンス計画立案支援システム、方法およびプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
WO2019130391A1 (ja) * 2017-12-25 2019-07-04 富士通株式会社 画像処理プログラム、画像処理方法、および画像処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5819214B2 (ja) * 1977-10-26 1983-04-16 株式会社小松製作所 疲労試験片の亀裂長さ検出装置
JPH0695065B2 (ja) * 1987-03-02 1994-11-24 志朗 萩下 亀裂試験装置の亀裂進展追跡装置
JPH09311109A (ja) * 1996-05-22 1997-12-02 Matsushita Electric Ind Co Ltd 光を使用した欠陥検査方法、およびその装置
CN102119328B (zh) * 2008-08-07 2013-01-23 凯德易株式会社 检查系统
JP5790515B2 (ja) 2012-01-23 2015-10-07 株式会社豊田中央研究所 き裂進展予測装置、強度特性予測装置、及びプログラム
EP2911116A4 (en) * 2012-10-18 2016-09-07 Konica Minolta Inc PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
US9528945B2 (en) * 2014-08-28 2016-12-27 The Boeing Company Systems and methods for detecting crack growth
JP2016090547A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
JP6614954B2 (ja) * 2015-12-14 2019-12-04 東日本旅客鉄道株式会社 ひび割れ幅計測装置
CN108463717B (zh) * 2016-01-26 2021-05-25 富士胶片株式会社 龟裂信息检测装置、龟裂信息检测方法及存储介质
CN107466356A (zh) * 2016-04-06 2017-12-12 4维传感器有限公司 测量方法、测量装置、测量程序以及记录了测量程序的计算机可读取记录介质
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
EP3605456B1 (en) * 2017-03-30 2022-03-30 FUJIFILM Corporation Image processing device and image processing method
WO2019108905A1 (en) * 2017-11-30 2019-06-06 University Of Kansas Fatigue crack detection using feature tracking
US11650112B1 (en) * 2022-10-20 2023-05-16 Hebei University Of Technology Crack propagation and deformation measurement method coupling infrared and visible light images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01291385A (ja) * 1988-05-19 1989-11-22 Tokyo Electric Power Co Inc:The ひびわれ画像の解析方法
JP2007333521A (ja) * 2006-06-14 2007-12-27 Fuji Heavy Ind Ltd 要素分割法、要素分割演算装置及び損傷進展解析装置
WO2016047093A1 (ja) * 2014-09-25 2016-03-31 日本電気株式会社 状態判定装置および状態判定方法
JP2016176806A (ja) 2015-03-20 2016-10-06 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2017051554A1 (ja) * 2015-09-25 2017-03-30 富士フイルム株式会社 メンテナンス計画立案支援システム、方法およびプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法
WO2019130391A1 (ja) * 2017-12-25 2019-07-04 富士通株式会社 画像処理プログラム、画像処理方法、および画像処理装置

Also Published As

Publication number Publication date
EP3865814A4 (en) 2021-12-08
US20210116388A1 (en) 2021-04-22
CN112334732B (zh) 2023-06-09
JP7336750B2 (ja) 2023-09-01
US11913889B2 (en) 2024-02-27
CN112334732A (zh) 2021-02-05
JPWO2020075756A1 (ja) 2021-09-02
EP3865814A1 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
JP6485454B2 (ja) 情報処理装置
US9621793B2 (en) Information processing apparatus, method therefor, and measurement apparatus
KR102015706B1 (ko) 콘크리트 표면 균열 측정 장치 및 방법
JP2005128619A (ja) 物体計測装置、物体計測方法、およびプログラム
JP6138861B2 (ja) 距離算出装置
US11210773B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
US9940691B2 (en) Information processing apparatus, control method of the same, and video camera
US10643338B2 (en) Object detection device and object detection method
JP5740844B2 (ja) 撮像装置、画像処理方法、及び、コンピュータプログラム
WO2020075756A1 (ja) 予測装置及び予測方法
US11796481B2 (en) Inspection device and inspection method
JP7156529B2 (ja) 変位測定装置、変位測定方法、およびプログラム
JP6897448B2 (ja) 線幅推定プログラム、装置、及び方法
WO2019176464A1 (ja) 検査装置及び検査方法
JP4710562B2 (ja) 画像処理装置、および画像処理方法
US11509827B2 (en) Vibration reliability calculation apparatus, vibration reliability calculation method, and computer readable recording medium
JP2001209804A (ja) 動画像処理装置及びその方法
US11972554B2 (en) Bearing displacement detection device and method
CN112513572B (zh) 图像处理装置
JP2024032396A (ja) 情報処理装置、情報処理方法およびプログラム
WO2020090393A1 (ja) 点検装置及び点検方法
KR20240131600A (ko) 센서를 이용한 객체 크기 추정 시스템 및 방법
JP2021140383A (ja) 推定プログラム、推定方法、および情報処理装置
Park et al. A cost-effective and robust edge-based blur metric based on careful computation of edge slope

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19871893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551197

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019871893

Country of ref document: EP

Effective date: 20210512