WO2021199264A1 - 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体 - Google Patents

検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021199264A1
WO2021199264A1 PCT/JP2020/014786 JP2020014786W WO2021199264A1 WO 2021199264 A1 WO2021199264 A1 WO 2021199264A1 JP 2020014786 W JP2020014786 W JP 2020014786W WO 2021199264 A1 WO2021199264 A1 WO 2021199264A1
Authority
WO
WIPO (PCT)
Prior art keywords
crack
points
group
unit
candidates
Prior art date
Application number
PCT/JP2020/014786
Other languages
English (en)
French (fr)
Inventor
聡 辻
安部　淳一
泰祐 田邉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022512984A priority Critical patent/JP7400950B2/ja
Priority to PCT/JP2020/014786 priority patent/WO2021199264A1/ja
Priority to US17/912,950 priority patent/US20230136554A1/en
Publication of WO2021199264A1 publication Critical patent/WO2021199264A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models

Definitions

  • This disclosure relates to a detection device, a labeling method, and a program.
  • Patent Document 1 discloses a configuration of a surface defect evaluation device that calculates a defect feature amount from image data and specifies a set region of the defect feature amount on the image data. Defects on the image data correspond to cracks in the concrete.
  • An object of the present disclosure is a detection device, a labeling method, and a labeling method capable of detecting cracks even when sufficient brightness cannot be secured to acquire image data of an image in which image processing operates effectively. To provide a program.
  • the detection device includes an acquisition unit that acquires point group data indicating a distance to an object and luminance information obtained from reflected light of a beam emitted when measuring the point group data. Based on the edge detection unit that performs edge detection based on the brightness information and the distribution of points included in the crack candidates that are a set of points detected as edges, a plurality of the crack candidates are grouped into any group. It includes a classification unit for classifying and a labeling unit that accepts input of a label related to the group from a user who visually recognizes the shape of the crack candidate belonging to the group.
  • the labeling method acquires point cloud data indicating a distance to an object and brightness information obtained from reflected light of a beam to be irradiated when measuring the point cloud data, and obtains the brightness.
  • Edge detection is performed based on information, and a plurality of the crack candidates are classified into one of the groups based on the distribution of points included in the crack candidates, which is a set of points detected as edges, and the group is classified into the group.
  • the user who visually recognizes the shape of the crack candidate to which the crack belongs receives input of a label related to the group.
  • the program according to the third aspect acquires the point group data indicating the distance to the object and the brightness information obtained from the reflected light of the beam irradiated when measuring the point group data, and uses the brightness information as the brightness information.
  • Edge detection is performed based on the above, and a plurality of the crack candidates are classified into any group based on the distribution of points included in the crack candidates, which is a set of points detected as edges, and the crack candidates belong to the group.
  • the computer is made to accept the input of the label related to the group from the user who visually recognizes the shape of the crack candidate.
  • a detection device, a labeling method, and a program capable of detecting cracks even when sufficient brightness cannot be secured to acquire image data of an image in which image processing effectively operates are provided. Can be provided.
  • FIG. 1 It is a block diagram of the detection apparatus which concerns on Embodiment 1.
  • FIG. 2 The analysis process of the set of points according to the second embodiment will be described.
  • the analysis process of the set of points according to the second embodiment will be described. It is a figure which shows the flow of the crack determination process in the detection apparatus which concerns on Embodiment 2.
  • FIG. 2 It is a figure which shows the flow of the crack determination process in the detection apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows the shape of the crack which concerns on Embodiment 3.
  • FIG. It is a block diagram of the detection apparatus which concerns on Embodiment 5. It is a figure explaining the incident angle of the beam and the reflected light which concerns on Embodiment 5. It is a figure which shows the flow of the process which concerns on the label assignment which concerns on Embodiment 5. It is a figure which shows the block diagram of the detection apparatus which concerns on each embodiment.
  • the detection device 10 may be a computer device operated by the processor executing a program stored in the memory.
  • the detection device 10 may be, for example, a server device.
  • the processing executed by the detection device 10 may be distributed processing in a plurality of computer devices.
  • the detection device 10 has an acquisition unit 11, an edge detection unit 12, and a crack determination unit 13.
  • the acquisition unit 11, the edge detection unit 12, and the crack determination unit 13 may be software or modules whose processing is executed by the processor executing a program stored in the memory.
  • the acquisition unit 11, the edge detection unit 12, and the crack determination unit 13 may be hardware such as a circuit or a chip.
  • the acquisition unit 11 acquires point cloud data indicating the distance from the measuring device to the object and luminance information obtained from the reflected light of the beam emitted when measuring the point cloud data.
  • the measuring device is a device that measures point cloud data indicating the distance to an object.
  • the measuring device may be, for example, a three-dimensional sensor.
  • the three-dimensional sensor may be a 3D-LiDAR device.
  • the 3D-LiDAR device uses, for example, a ToF (Time of Flight) method to measure the distance to an object and identify the shape of the object.
  • the 3D-LiDAR device may be referred to as a laser scanner.
  • the object is an object that may crack, and may be, for example, a wall surface such as a tunnel or a building.
  • the acquisition unit 11 may be a measuring device. That is, the acquisition unit 11 that operates as a measuring device directly acquires the point cloud data and the luminance information as the measurement result.
  • the case where the detection device 10 includes the measuring device also includes the case where the detection device 10 and the measuring device operate as one.
  • the acquisition unit 11 may be connected to the measuring device via a network. In this case, the acquisition unit 11 may receive the point cloud data and the luminance information transmitted from the measuring device via the network. The acquisition unit 11 may acquire the point cloud data and the luminance information measured by the measuring device via a portable recording medium or the like.
  • the edge detection unit 12 detects the edge based on the brightness information.
  • the edge detection for example, for each point included in the point cloud data, a point whose difference from the brightness of the adjacent points exceeds a predetermined threshold value is detected as an edge.
  • the edge detection unit 12 may detect a point having a brightness lower than the brightness of the adjacent points by a predetermined threshold value or more as an edge.
  • the edge detection unit 12 may also detect as an edge a point having substantially the same brightness as the point detected as the edge.
  • the substantially same brightness may be a brightness in which the difference from the brightness of the edge points detected as the difference from the brightness of the adjacent points exceeds a predetermined threshold value is within a predetermined range.
  • a value in a predetermined range of brightness that is considered to be substantially the same brightness is set to a value sufficiently smaller than the threshold value used when detecting an edge based on the difference from the brightness of adjacent points. That is, the edge detection unit 12 detects a set of points whose brightness is lower than a predetermined threshold value as an edge.
  • a set of points whose brightness is lower than a predetermined threshold is a candidate for cracking.
  • the crack determination unit 13 detects the edge and the edge by using the shape of the region in which the points indicating the brightness within a predetermined range are distributed among the plurality of points indicated by the point cloud data. Determine if the area is cracked. In other words, the crack determination unit 13 uses the shape of a set of points detected as an edge to determine whether or not the shape indicates a crack.
  • the crack determination unit 13 determines, for example, at least one criterion of the length and width of the edge regarded as a crack, and determines that the edge is a crack when the set of detected points satisfies the predetermined criterion. However, if it does not meet the predetermined criteria, it may be determined that it is not a crack.
  • the predetermined standard may be, for example, that the length of the edge is equal to or greater than a predetermined value and the width of the edge is equal to or less than a predetermined width.
  • the crack determination unit 13 may determine whether or not the shape of the edge and the set of detected points indicates a crack by using a learning model in which the shape of the crack is learned in advance by machine learning or the like.
  • the detection device 10 detects a region that is a candidate for a crack by using the luminance information associated with the point cloud data.
  • Luminance information is information obtained from reflected light when a beam is applied to an object. Therefore, the measuring device does not need to keep the brightness of the surrounding environment above a certain level in order to obtain the brightness information. As a result, the detection device 10 does not need to use large-scale lighting equipment even when inspecting concrete or the like in a place such as a tunnel that is not provided with sufficiently bright lighting.
  • the edge detection unit 12 detects a point to be an edge based on the luminance information among a plurality of points included in the point cloud data. Further, the edge detection unit 12 also detects as an edge a point indicating the brightness of the point detected as the edge and the brightness within a predetermined range.
  • FIG. 2 shows the distribution of the points detected as edges by the edge detection unit 12 on the XY plane. Since each point is three-dimensional data, it has values indicating positions on the X-axis, Y-axis, and Z-axis.
  • the X-axis, Y-axis, and Z-axis may be, for example, coordinate axes defined by a 3D-LiDAR device.
  • the points shown in FIG. 2 have the same brightness as the brightness of the other points.
  • the brightness of a point indicates the brightness of the reflected light when the beam is reflected at that point.
  • FIG. 2 shows the distribution of points detected as edges on the XY plane for ease of understanding, but in reality, the edges are also shown in the Z-axis direction perpendicular to the XY plane. The detected points are distributed.
  • the edge detection unit 12 performs principal component analysis (PCA: Principal Component Analysis) on the distribution of points detected as edges shown in FIG.
  • Principal component analysis is an analysis performed primarily to identify the variance of a point. Variance may be paraphrased as variance.
  • the size or length of the variance in the direction in which the variance of the points is maximized is calculated.
  • the solid line shown in the distribution of points in FIG. 2 indicates the magnitude or length of the dispersion of points.
  • the magnitude or length of the variance may be paraphrased as an eigenvalue.
  • D_1 shown in FIG. 2 indicates the length of the variance in the direction in which the variance of the points is the largest in the distribution of the points detected as edges.
  • D_1 is the first principal component.
  • the edge detection unit 12 may calculate D_1, which is the first principal component, by calculating the center of gravity in the distribution of points detected as edges and calculating the direction in which the variance is maximized from the center of gravity.
  • the solid line shown in the distribution of points in FIG. 3 indicates the magnitude or length of the dispersion of points.
  • D_2 shown in FIG. 3 indicates the length of the dispersion in the direction in which the dispersion of points is maximized in the direction orthogonal to D_1.
  • D_2 is the second main component.
  • the length of the dispersion in the direction in which the dispersion of points is maximized in the direction orthogonal to the first principal component and the second principal component is calculated.
  • the length of dispersion in the direction in which the point dispersion is maximized in the Z-axis direction perpendicular to the XY plane in FIG. 2 is defined as D_3.
  • D_3 is the third principal component.
  • the third principal component can be obtained from the first principal component.
  • the crack determination unit 13 uses the first to third principal components calculated by the edge detection unit 12 to determine whether or not the shape indicated by the set of points detected as edges corresponds to a crack. ..
  • the first principal component is in the direction in which the crack runs
  • the second or third principal component is in the width direction of the crack.
  • the direction in which the crack runs may be rephrased as the direction in which the crack grows, the direction in which the crack runs, the direction in which the crack grows, and the like.
  • the shape of the crack the length in the direction in which the crack runs is the longest, so that the first principal component is the direction in which the crack runs.
  • One of the second principal component and the third principal component is in the width direction of the crack, and the other is in the depth direction of the crack.
  • the crack determination unit 13 may determine, for example, the second principal component in the width direction of the crack and the third principal component in the depth direction of the crack. Alternatively, the crack determination unit 13 may determine which of the second principal component and the third principal component corresponds to the width direction of the crack by using a learning model in which the shape of the crack is machine-learned.
  • the crack depth direction is the main component including the measurement error of the 3D-LiDAR device, which is the measuring device.
  • the measurement error is an error that occurs when the distance from the measuring device to the object is measured.
  • the crack determination unit 13 determines which of the second principal component and the third principal component corresponds to the width direction of the crack based on the specifications of the measurement error or the catalog value predetermined in the 3D-LiDAR apparatus. You may. For example, the crack determination unit 13 determines that the principal component whose dispersion length is within the range of the measurement error specifications predetermined in the 3D-LiDAR device is the crack depth direction, and the dispersion length is determined. The principal component that exceeds the range of the specifications of the measurement error may be determined as the width direction of the crack.
  • the crack determination unit 13 may determine whether or not the set of points detected as edges indicates a crack, for example, based on the length of the principal component corresponding to the width direction of the crack. For example, it is assumed that the crack determination unit 13 determines that the second main component corresponds to the width direction of the crack. In this case, the crack determination unit 13 indicates whether the distribution of points detected as edges depending on whether the length of the second principal component exceeds a predetermined length threshold value indicates cracks. It may be determined whether or not. For example, when the length of the second principal component exceeds a predetermined length threshold value, the crack determination unit 13 may determine that the set of points detected as edges is not a crack. ..
  • the crack determination unit 13 may determine that the set of points detected as edges is a crack when the length of the second principal component does not exceed a predetermined length threshold value. ..
  • the threshold value of the length to be compared with the length of the second principal component may be, for example, a value input by the administrator of the detection device 10 or the like, and is calculated using a learning model in which the shape of the crack is machine-learned. It may be a value.
  • the acquisition unit 11 acquires the point cloud data and the luminance information associated with each point included in the point cloud data (S11).
  • the luminance information associated with the point indicates that it is the luminance information of the reflected light reflected at that point.
  • the edge detection unit 12 performs edge detection using the luminance information (S12).
  • the edge detection unit 12 detects as an edge a point whose difference from the brightness of adjacent points exceeds a predetermined threshold value.
  • the edge detection unit 12 extracts a point having a brightness equivalent to the brightness of the point where the edge is detected (S13). In other words, the edge detection unit 12 extracts a plurality of points having a brightness whose difference from the brightness of the edge-detected points is within a predetermined range. The plurality of points extracted by the edge detection unit 12 are distributed in the three-dimensional space.
  • the edge detection unit 12 performs principal component analysis on the distribution of the extracted points (S14).
  • the edge detection unit 12 calculates the first principal component to the third principal component indicating the dispersion or variation of the distribution of the points detected as edges by performing the principal component analysis.
  • the crack determination unit 13 determines whether or not the set of points detected as edges is a crack using the result of the principal component analysis (S15).
  • the crack determination unit 13 first acquires the lengths of the first principal component to the third principal component in the distribution of points detected as edges from the edge detection unit 12 in the crack determination process (S21).
  • the lengths of the first to third principal components indicate the length of dispersion.
  • the length of the first principal component is the longest, and the length of the third principal component is the shortest.
  • the crack determination unit 13 determines the principal component that can be in the width direction of the crack from the first principal component to the third principal component (S22). For example, the crack determination unit 13 may determine the second principal component having the second length among the first principal component to the third principal component as the principal component in the width direction of the crack. Alternatively, the crack determination unit 13 may determine which of the second principal component and the third principal component corresponds to the width direction of the crack by using a learning model in which the shape of the crack is machine-learned. Alternatively, the crack determination unit 13 determines which of the second principal component and the third principal component corresponds to the width direction of the crack based on the specifications of the measurement error or the catalog value predetermined in the 3D-LiDAR device. You may decide.
  • the crack determination unit 13 determines whether or not the length of the principal component corresponding to the width direction of the crack is equal to or less than a predetermined length threshold value (S23). When the crack determination unit 13 determines that the length of the principal component corresponding to the width direction of the crack is equal to or less than a predetermined length threshold value, the set of points detected as edges is determined to be a crack. (S24). When the crack determination unit 13 determines that the length of the principal component corresponding to the width direction of the crack is not equal to or less than a predetermined length threshold value, the set of points detected as edges is not a crack. Judgment (S25).
  • the detection device 10 performs edge detection and identifies a shape or region that is a candidate for a crack. Further, the detection device 10 performs principal component analysis on the points that form the shape that is the candidate for the crack or the points that are included in the region that is the candidate for the crack. The detection device 10 determines whether or not the shape or region that is a candidate for a crack is a crack, based on the lengths of the first to third principal components obtained as a result of the principal component analysis. In this way, the detection device 10 extracts a shape or region that is a candidate for a crack by using the brightness information even when sufficient brightness cannot be secured when taking a picture using a camera or the like. can do.
  • the detection device 10 performs principal component analysis on the points constituting the shape that is the candidate for the crack or the points included in the region that is the candidate for the crack, and the candidate for the crack is a crack by using the analysis result. It can be determined whether or not. As a result, the detection device 10 can identify the location of the crack even in a location where sufficient brightness cannot be secured.
  • a crack may show not only a straight line shape but also a zigzag shape as shown in FIG.
  • the solid line in FIG. 6 is a set of points detected as edges and shows the shape of a crack.
  • the long dotted line indicates the first principal component having a length D_1.
  • the thick dotted lines in FIG. 6 indicates the second principal component having a length D_2.
  • the vertical principal component of FIG. 6 is used as the third principal component.
  • the zigzag-shaped crack may have D_2 as the second main component.
  • the length of the second principal component is longer than that in the case where the crack has a straight shape.
  • the crack determination unit 13 determines whether or not the length of the second principal component exceeds a predetermined length threshold value, the crack determination unit 13 is actually a crack.
  • the length of the second principal component may exceed the threshold value, and it may be determined that the second principal component is not a crack.
  • the edge detection unit 12 when the zigzag shape indicates a set of points detected as edges, the edge detection unit 12 provides a space in which the points detected as edges exist. Divide into multiple spaces. Further, the edge detection unit 12 performs principal component analysis on a set of points included in the divided space. The space surrounded by the dotted line in FIG. 7 indicates one of the divided spaces.
  • the crack determination unit 13 determines whether or not the length of the second principal component of the first to third principal components calculated for each space is equal to or less than a predetermined length threshold value. It may be determined whether or not it is a crack for each space.
  • the crack determination unit 13 when the set of points shows a shape close to a straight line as in Area_1 and Area_2 in FIG. 7, the crack determination unit 13 often determines that the crack is a crack based on the length of the second principal component. .. On the other hand, when the set of points shows a zigzag shape as in Area_3, the crack determination unit 13 may determine that the length of the second principal component is long and is not a crack. Therefore, the crack determination unit 13 uses, for example, the result of performing a principal component analysis on a set of points to determine whether or not the space is a crack, and the space determined to be a crack. Based on the number of points, it may be determined whether or not the entire set of points is cracked.
  • the crack determination unit 13 may determine that the entire set of points is a crack when the number of spaces determined to be cracks is larger than the number of spaces determined to be non-cracks. Alternatively, the crack determination unit 13 may determine that the space is a crack when the number of spaces determined to be a crack exceeds a predetermined threshold value.
  • the accuracy of the crack determination process in the crack determination unit 13 improves as the number of divisions in the space where the points detected as edges exist increases.
  • the crack determination unit 13 divides the space including the set of points detected as edges, and performs principal component analysis on the set of points in the divided space.
  • the crack determination unit 13 performs principal component analysis for each space after division, and determines whether or not there is a crack in each space after division. Further, the crack determination unit 13 determines whether or not the entire set of points detected as edges is a crack by using the determination result for each space after division. In this way, the crack determination unit 13 uses the determination result for each divided space to form a zigzag shape in which the set of points has a longer length of the second principal component, as shown in FIGS. 6 and 7. Even so, it is possible to determine whether or not the entire set of points is cracked.
  • the crack determination process using the point density is executed.
  • the point density is determined based on the number of points detected as edges in a region. Specifically, the point density will be described with reference to FIG.
  • the solid line in FIG. 8 shows a set of points detected as edges.
  • the area surrounded by the dotted line is the area containing the set of points detected as edges.
  • the region including the set of points detected as edges is shown by a rectangle, but it may have another shape such as a circle.
  • the point density is the number of points per unit area, and indicates, for example, the degree of density of points in the area surrounded by the dotted line in FIG.
  • the points are in the area along the cracks.
  • the set of points detected as edges does not show cracks, it is assumed that the points are uniformly distributed within a region. Therefore, in the crack determination process according to the fourth embodiment, it is premised that the point density when the set of points detected as edges shows cracks is sufficiently smaller than the point density when no cracks are shown. do.
  • the area including the set of points detected as the edge indicated by the dotted line in FIG. 8 may be determined by, for example, executing the object recognition process performed when analyzing the image showing the set of points. good.
  • the object recognition process is a process of identifying an object included in an image, surrounding the object with a shape such as a rectangle, and emphasizing the specified object.
  • Object recognition may be paraphrased as object recognition, image recognition, and the like.
  • the area including the set of points detected as the edge shown by the dotted line in FIG. 8 may be input by the user who visually recognizes the set of points detected as the edge in the image.
  • the area containing the set of points detected as edges may be the area specified by the user.
  • the crack determination unit 13 calculates the point density of points detected as edges in a predetermined region (S31). Next, the crack determination unit 13 determines whether or not the point density is equal to or less than a predetermined threshold value (S32). When the point density is equal to or less than a predetermined threshold value, the crack determination unit 13 determines that a set of points detected as an edge in a predetermined region is a crack (S33). When the point density is not equal to or less than a predetermined threshold value, the crack determination unit 13 determines that the set of points detected as edges in the predetermined region is not a crack (S34).
  • the crack determination process using the point density is performed. Thereby, it is possible to determine whether or not the set of points extracted based on the brightness is a crack.
  • the detection device 20 has a configuration in which a classification unit 21, a display unit 22, a labeling unit 23, an input reception unit 24, and a data holding unit 25 are added to the detection device 10 of FIG.
  • the component constituting the detection device 20 such as the classification unit 21 may be software or a module whose processing is executed by the processor executing a program stored in the memory.
  • the component constituting the detection device 20 may be hardware such as a circuit or a chip.
  • the classification unit 21 classifies a set of a plurality of points determined to be cracks by the crack determination unit 13 into one of a plurality of groups according to a predetermined criterion. Alternatively, the classification unit 21 classifies a set of points whose brightness detected by the edge detection unit 12 is lower than a predetermined threshold value into one of a plurality of groups according to a predetermined criterion. May be good.
  • the set of points determined to be cracks by the crack determination unit 13 is treated as a crack candidate in the fifth embodiment.
  • the classification unit 21 may classify the crack candidates into any group according to the distribution of the luminance information associated with each point included in the crack candidates.
  • a set of points included in one crack candidate is shown as a distribution map on a plane with the horizontal axis as the brightness and the vertical axis as the number of points, and a plurality of values having an average value of brightness within a predetermined range are shown. Candidates for cracks may be classified in the same category.
  • the classification unit 21 sets several ranges, for example, classification _1 in which the average brightness is in the range of A1 to A2 and classification _2 in which the average brightness is in the range of A3 to A4. You may define and define multiple groups.
  • the classification unit 21 may classify crack candidates into any group based on the variance, standard deviation, median value, mode value, etc., instead of the average value of brightness.
  • the classification unit 21 may classify the crack candidates into any group based on the shape of the crack candidates. For example, the classification unit 21 classifies crack candidates into any group based on the first to third principal components obtained from the principal component analysis performed on the distribution of points included in the crack candidates. You may. Specifically, the classification unit 21 may classify a plurality of crack candidates having a length of the first principal component within a predetermined range into the same classification. The classification unit 21 may use a second principal component or a third principal component instead of the first principal component.
  • the classification unit 21 causes the display unit 22 to display at least one crack candidate among the plurality of crack candidates included in one group.
  • the display unit 22 may be, for example, a display.
  • the classification unit 21 may display an arbitrarily selected crack candidate among a plurality of crack candidates included in one group on the display unit 22.
  • the classification unit 21 may display the crack candidates existing near the boundary of the group among the plurality of crack candidates included in one group on the display unit 22.
  • the classification unit 21 may display a highly reliable crack candidate or a low reliability crack candidate on the display unit 22.
  • the crack candidate may be given a reliability according to the angle of incidence of the beam emitted from the 3D-LiDAR device used as the measuring device with respect to the object.
  • FIG. 11 shows how the 3D-LiDAR device 11_A irradiates the wall surface with a beam.
  • the white arrows in FIG. 11 indicate the beams emitted by the 3D-LiDAR device 11_A.
  • the dotted arrow in FIG. 11 indicates the reflected light when the beam is reflected on the wall surface.
  • the angle of incidence indicates the angle of incidence of the beam with respect to the wall surface.
  • the intensity of the reflected light becomes too strong, and when the incident angle is shallow, the intensity of the reflected light is not stable. If the intensity of the reflected light is too strong or unstable, accurate brightness cannot be obtained. Therefore, the range of the incident angle where the intensity of the reflected light is too strong and the range of the incident angle where the intensity of the reflected light is not stable are defined, and it is generated based on the brightness information obtained from the reflected light of the beam at the incident angle in that range.
  • the reliability of the crack candidate may be set low.
  • the intensity of the reflected light is too strong.
  • the intensity of the reflected light is not stable.
  • the reliability of the crack candidate generated based on the brightness information obtained from the reflected light of the beam of the incident angle in the range other than the range of the incident angle.
  • the degree may be set high.
  • the input receiving unit 24 receives the determination result input from the user. For example, when the user determines that the crack candidate displayed on the display unit 22 is a crack, the user inputs information indicating that the crack is present in the input reception unit 24. Further, when the user determines that the crack candidate displayed on the display unit 22 is not a crack, the user inputs information indicating that the crack is not a crack in the input reception unit 24.
  • the information indicating that the information is cracked and the information indicating that the information is not cracked may be referred to as, for example, a label. That is, the user inputs a label indicating whether or not the crack is a crack candidate displayed on the display unit 22.
  • the label giving unit 23 associates the group including the crack candidates displayed on the display unit 22 by the classification unit 21 with the label input to the input receiving unit 24, and stores it in the data holding unit 25.
  • the classification unit 21 classifies the set of points determined to be cracks into one of a plurality of groups according to a predetermined standard (S41). For example, the classification unit 21 may classify the set of points into any group according to the average value of the brightness of each point included in the set of points. When there are a plurality of sets of points determined to be cracked, the classification unit 21 classifies each set of points into one of a plurality of groups.
  • the classification unit 21 selects a set of representative points from the set of points included in each group (S42).
  • the classification unit 21 may arbitrarily select a set of representative points, or may select according to other criteria.
  • the classification unit 21 displays the set of selected points on the display unit 22 (S43). In other words, the classification unit 21 displays the shape indicated by the set of selected points on the display unit 22 as crack candidates.
  • the label giving unit 23 stores the label for the set of points input by the user in the data holding unit 25 in association with the group including the set of points (S44).
  • the detection device 20 classifies a plurality of crack candidates determined to be cracks by the crack determination unit 13 into any group. Further, the detection device 20 associates a label input from a user who has visually recognized at least one crack candidate included in the group with the group. That is, the user does not need to visually recognize all the crack candidates determined to be cracks by the crack determination unit 13 and assign a label to each crack candidate. The user visually recognizes at least one candidate for a crack included in the group and assigns a label to the group including the candidate for the crack. That is, the user can collectively label other crack candidates in the same group that include the visible crack candidates. As a result, it is possible to reduce the number of crack candidates that the user sees for labeling.
  • the accuracy of crack determination can be improved by allowing the user to visually recognize the crack candidates extracted by the crack determination unit 13 and assigning a label indicating whether or not the crack is present.
  • FIG. 13 is a block diagram showing a configuration example of the detection device 10 and the detection device 20 (hereinafter, referred to as the detection device 10 and the like).
  • the detection device 10 and the like include a network interface 1201, a processor 1202, and a memory 1203.
  • Network interface 1201 is used to communicate with network nodes (e.g., eNB, MME, P-GW,).
  • the network interface 1201 may include, for example, a network interface card (NIC) compliant with the IEEE 802.3 series.
  • eNB represents evolved Node B
  • MME Mobility Management Entity
  • P-GW represents Packet Data Network Gateway. IEEE stands for Institute of Electrical and Electronics Engineers.
  • the processor 1202 reads the software (computer program) from the memory 1203 and executes it to perform the processing of the detection device 10 and the like described by using the flowchart in the above-described embodiment.
  • Processor 1202 may be, for example, a microprocessor, MPU, or CPU.
  • Processor 1202 may include a plurality of processors.
  • Memory 1203 is composed of a combination of volatile memory and non-volatile memory. Memory 1203 may include storage located away from processor 1202. In this case, processor 1202 may access memory 1203 via an I / O (Input / Output) interface (not shown).
  • I / O Input / Output
  • the memory 1203 is used to store the software module group. By reading these software modules from the memory 1203 and executing the processor 1202, the processor 1202 can perform the processing of the detection device 10 and the like described in the above-described embodiment.
  • each of the processors included in the detection device 10 and the like in the above-described embodiment is one or a plurality of programs including a group of instructions for causing the computer to perform the algorithm described with reference to the drawings. To execute.
  • Non-temporary computer-readable media include various types of tangible storage mediums.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (RandomAccessMemory)).
  • a semiconductor memory for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (RandomAccessMemory)
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • (Appendix 1) An acquisition unit that acquires point cloud data indicating the distance to the object and luminance information obtained from the reflected light of the beam emitted when measuring the point cloud data, and an acquisition unit.
  • An edge detection unit that performs edge detection based on the brightness information
  • a classification unit that classifies a plurality of the crack candidates into any group based on the distribution of points included in the crack candidates that are a set of points detected as edges.
  • a detection device including a labeling unit that receives input of a label related to the group from a user who has visually recognized the shape of the crack candidate belonging to the group.
  • the labeling section is The detection device according to Appendix 1, wherein the label indicated by the crack candidate input from the user is associated with the group including the set of points.
  • the labeling section is The detection device according to Appendix 1 or 2, which accepts input from the user of a label indicating whether or not the shape of the crack candidate is a crack.
  • the classification unit Any one of Appendix 1 to 3, which classifies the crack candidates into any group based on the first to third principal components obtained from the principal component analysis performed on the set of points. The detection device described in the section.
  • (Appendix 5) The classification unit The detection device according to any one of Supplementary note 1 to 4, wherein at least one crack candidate is selected from a plurality of crack candidates belonging to the group and displayed on the display unit.
  • (Appendix 6) The classification unit The detection device according to Appendix 5, wherein at least one crack candidate is selected from a plurality of crack candidates belonging to the group based on the reliability given to the crack candidate.
  • (Appendix 7) The point cloud data indicating the distance to the object and the luminance information obtained from the reflected light of the beam to be irradiated when measuring the point cloud data are acquired.
  • Edge detection is performed based on the brightness information, and Based on the distribution of points included in the crack candidates, which is a set of points detected as edges, the plurality of crack candidates are classified into one of the groups.
  • a labeling method that accepts input of a label related to the group from a user who visually recognizes the shape of the crack candidate belonging to the group. (Appendix 8)
  • the point cloud data indicating the distance to the object and the luminance information obtained from the reflected light of the beam to be irradiated when measuring the point cloud data are acquired.
  • Edge detection is performed based on the brightness information, and Based on the distribution of points included in the crack candidates, which is a set of points detected as edges, the plurality of crack candidates are classified into one of the groups.
  • Detection device 11 Acquisition unit 12 Edge detection unit 13 Crack judgment unit 20
  • Detection device 21 Classification unit 22
  • Display unit 23 Labeling unit 24
  • Input reception unit 25 Data retention unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本開示にかかる検出装置（２０）は、対象物までの距離を示す点群データと、点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部（１１）と、輝度情報に基づいてエッジ検出を行うエッジ検出部（１２）と、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数のひびの候補をいずれかのグループに分類する分類部（２１）と、グループに属するひびの候補の形状を視認したユーザからグループに関するラベルの入力を受け付けるラベル付与部（２３）と、を備える。

Description

検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体
　本開示は、検出装置、ラベル付与方法、及びプログラムに関する。
　カメラを用いて撮影された画像に対して画像処理を行うことによって、コンクリートにできたひびを検知する技術が検討されている。例えば、特許文献１には、画像データから欠陥の特徴量を演算し、画像データ上の欠陥の特徴量の集合領域を特定する表面欠陥評価装置の構成が開示されている。画像データ上の欠陥は、コンクリートにできたひびに相当する。
特開２０１６－２１７９４０号公報
　カメラを用いて撮影される画像の品質は、カメラの周辺環境の明るさに影響を受ける。そのため、特許文献１に開示されている表面欠陥評価装置を用いる場合、画像処理が有効に動作する画像の画像データを取得するために、撮影時の明るさを一定レベルに保つ必要がある。しかし、鉄道のトンネル、道路上のトンネル等は、トンネル内の全領域にわたって十分な明るさの照明を備えていないことが多い。そのため、トンネル内のコンクリートの点検を行う場合には、大規模な照明機材を用いる必要があるという問題がある。
　本開示の目的は、画像処理が有効に動作する画像の画像データを取得するために十分な明るさを確保できない場合であっても、ひびを検知することができる検出装置、ラベル付与方法、及びプログラムを提供することにある。
　第１の態様にかかる検出装置は、対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部と、前記輝度情報に基づいてエッジ検出を行うエッジ検出部と、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類する分類部と、前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与部と、を備える。
　第２の態様にかかるラベル付与方法は、対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、前記輝度情報に基づいてエッジ検出を行い、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付ける。
　第３の態様にかかるプログラムは、対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、前記輝度情報に基づいてエッジ検出を行い、エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けることをコンピュータに実行させる。
　本開示により、画像処理が有効に動作する画像の画像データを取得するために十分な明るさを確保できない場合であっても、ひびを検知することができる検出装置、ラベル付与方法、及びプログラムを提供することができる。
実施の形態１にかかる検出装置の構成図である。 実施の形態２にかかる点の集合の解析処理を説明するである。 実施の形態２にかかる点の集合の解析処理を説明するである。 実施の形態２にかかる検出装置におけるひび判定処理の流れを示す図である。 実施の形態２にかかる検出装置におけるひび判定処理の流れを示す図である。 実施の形態３にかかるひびの形状を示す図である。 実施の形態３にかかる空間の分割を示す図である。 実施の形態４にかかる点密度を説明する図である。 実施の形態４にかかる検出装置におけるひび判定処理の流れを示す図である。 実施の形態５にかかる検出装置の構成図である。 実施の形態５にかかるビームの入射角度及び反射光を説明する図である。 実施の形態５にかかるラベル付与に関する処理の流れを示す図である。 それぞれの実施の形態にかかる検出装置の構成図を示す図である。
　（実施の形態１）
　以下、図面を参照して本開示の実施の形態について説明する。図１を用いて実施の形態１にかかる検出装置１０の構成例について説明する。検出装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。検出装置１０は、例えば、サーバ装置であってもよい。検出装置１０において実行される処理は、複数のコンピュータ装置において分散処理されてもよい。
　検出装置１０は、取得部１１、エッジ検出部１２、及びひび判定部１３を有している。取得部１１、エッジ検出部１２、及びひび判定部１３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、取得部１１、エッジ検出部１２、及びひび判定部１３は、回路もしくはチップ等のハードウェアであってもよい。
　取得部１１は、測定装置から対象物までの距離を示す点群データと、点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する。測定装置は、対象物までの距離を示す点群データを測定する装置である。測定装置は、例えば、３次元センサであってもよい。３次元センサは、具体的には、3D-LiDAR装置であってもよい。3D-LiDAR装置は、例えば、ToF（Time of Flight）方式を用いて、物体までの距離を測定し、物体の形状を特定する。3D-LiDAR装置は、レーザースキャナーと称されてもよい。対象物は、ひびが発生する可能性のある物体であり、例えば、トンネルもしくはビル等の壁面であってもよい。
　検出装置１０が測定装置を含む場合、取得部１１が、測定装置であってもよい。つまり、測定装置として動作する取得部１１は、測定結果として直接点群データ及び輝度情報を取得する。検出装置１０が測定装置を含む場合とは、検出装置１０と測定装置とが一体として動作する場合も含む。または、取得部１１は、ネットワークを介して測定装置と接続してもよい。この場合、取得部１１は、測定装置から送信された点群データ及び輝度情報を、ネットワークを介して受信してもよい。取得部１１は、測定装置において測定された点群データ及び輝度情報を、持ち運び可能な記録媒体等を介して取得してもよい。
　エッジ検出部１２は、輝度情報に基づいてエッジ検出を行う。エッジ検出は、例えば、点群データに含まれるそれぞれの点について、隣接する点の輝度との差が、予め定められた閾値を超える点をエッジとして検出する。具体的には、エッジ検出部１２は、隣接する点の輝度よりも予め定められた閾値以上低下した輝度の点をエッジとして検出してもよい。さらに、エッジ検出部１２は、エッジとして検出された点と、実質的に同一の輝度を有する点もエッジとして検出してもよい。実質的に同一の輝度とは、隣接する点の輝度との差が予め定められた閾値を超えるとして検出されたエッジの点の輝度との差が所定の範囲内の輝度であってもよい。実質的に同一の輝度とみなされる輝度の所定の範囲の値は、隣接する点の輝度との差に基づいてエッジを検出する際に用いられる閾値の値よりも十分に小さい値とする。つまり、エッジ検出部１２は、輝度が予め定められた閾値以上低下している点の集合をエッジとして検出する。輝度が予め定められた閾値以上低下している点の集合は、ひびの候補となる。
　ひび判定部１３は、点群データが示す複数の点のうち、エッジとして検出された点の輝度との差が所定範囲内の輝度を示す点が分布する領域の形状を用いて、エッジと検出された領域がひびを示すか否かを判定する。言い換えると、ひび判定部１３は、エッジとして検出された点の集合の形状を用いて、その形状がひびを示すか否かを判定する。ひび判定部１３は、例えば、ひびとみなされるエッジの長さ及び幅の少なくとも一方の基準を定めて置き、エッジと検出された点の集合が、予め定められた基準を満たす場合、ひびと判定し、予め定められた基準を満たさない場合、ひびではないと判定してもよい。予め定められた基準は、例えば、エッジの長さが所定の値以上であり、エッジの幅が所定の幅以下である、等であってもよい。
　もしくは、ひび判定部１３は、機械学習等によりひびの形状を予め学習した学習モデルを用いて、エッジと検出された点の集合の形状が、ひびを示すか否かを判定してもよい。
　以上説明したように、検出装置１０は、点群データと関連付けられた輝度情報を用いて、ひびの候補となる領域を検出する。輝度情報は、ビームを対象物へ照射した際の反射光から得られる情報である。そのため、測定装置は、輝度情報を得るために、周辺環境の明るさを一定のレベル以上に保つ必要はない。その結果、検出装置１０は、トンネル内等の十分な明るさの照明を備えていない場所において、コンクリート等の点検を行う場合であっても、大規模な照明機材を用いる必要がない。
　（実施の形態２）
　続いて、図２を用いてエッジ検出部１２において実行される、エッジと検出された点の集合の解析処理について説明する。エッジ検出部１２は、点群データに含まれる複数の点のうち、輝度情報に基づいてエッジとなる点を検出する。さらに、エッジ検出部１２は、エッジとして検出された点の輝度と所定範囲内の輝度を示す点についても、エッジとして検出する。
　図２は、エッジ検出部１２において、エッジとして検出された点のX-Y平面上における分布を示している。それぞれの点は、3次元データであるため、X軸、Y軸、及びZ軸上の位置を示す値を有している。X軸、Y軸、及びZ軸は、例えば、3D-LiDAR装置が定める座標軸であってもよい。図２に示される点は、それぞれ他の点の輝度と同等の輝度を有する。ここで、点の輝度とは、その点においてビームが反射された際の反射光の輝度を示す。
　また、図２は、理解を容易とするために、X-Y平面上における、エッジとして検出された点の分布を示しているが、実際には、X-Y平面と垂直なZ軸方向にも、エッジとして検出された点は分布している。
　エッジ検出部１２は、図２に示される、エッジとして検出された点の分布に対して、主成分分析（PCA: Principle Component Analysis）を行う。主成分分析は、主に、点の分散を特定するために行われる分析である。分散は、ばらつきと言い換えられてもよい。
　具体的には、主成分分析は、図２に示されるように、点の分散が最大となる方向の分散の大きさもしくは長さを算出する。図２の点の分布の中に示される実線は、点の分散の大きさもしくは長さを示している。分散の大きさもしくは長さは、固有値と言い換えられてもよい。図２に示されるD_1は、エッジとして検出された点の分布において、点の分散が最も大きい方向の分散の長さを示している。D_1を第１主成分とする。例えば、エッジ検出部１２は、エッジとして検出された点の分布における重心を算出し、重心から分散が最大となる方向を算出することによって、第１主成分となるD_1を算出してもよい。
　次に、第１主成分と直交する方向において、点の分散が最大となる方向の分散の長さを算出する。図３の点の分布の中に示される実線は、点の分散の大きさもしくは長さを示している。図３に示されるD_2は、D_1と直交する方向において、点の分散が最大となる方向の分散の長さを示している。D_2を第２主成分とする。次に、第１主成分及び第２主成分と直交する方向において、点の分散が最大となる方向の分散の長さを算出する。図２には図示されていないが、図２においてX-Y平面と垂直なZ軸方向において、点の分散が最大となる方向の分散の長さをD_3とする。D_3を第３主成分とする。
　３次元データである点群データの分布に対して主成分分析を行うことによって、第１主成分から第３主成分を得ることができる。
　ひび判定部１３は、エッジ検出部１２において算出された第１主成分乃至第３主成分を用いて、エッジとして検出された点の集合が示す形状が、ひびに該当するか否かを判定する。ひびを示す点の集合は、第１主成分が、ひびが走る方向となり、第２主成分もしくは第３主成分が、ひびの幅方向となることが想定される。ひびが走る方向とは、ひびが伸びる方向、ひびの亀裂が走る方向、もしくはひびの亀裂が伸びる方向等と言い換えられてもよい。ひびの形状として、ひびが走る方向の長さが最も長くなることから、第１主成分がひびが走る方向となる。第２主成分及び第３主成分は、一方が、ひびの幅方向となり、もう一方が、ひびの深さ方向となる。
　ひび判定部１３は、例えば、第２主成分をひびの幅方向とし、第３主成分をひびの深さ方向と定めてもよい。もしくは、ひび判定部１３は、ひびの形状を機械学習した学習モデルを用いて、第２主成分及び第３主成分のいずれがひびの幅方向に該当するかを定めてもよい。
　ここで、ひびの深さ方向は、測定装置である3D-LiDAR装置の測定誤差を含む主成分である。測定誤差は、測定装置から対象物までの距離を測定した際に生じる誤差である。ひび判定部１３は、3D-LiDAR装置において予め定められている測定誤差の諸元もしくはカタログ値に基づいて、第２主成分及び第３主成分のどちらがひびの幅方向に該当するかを決定してもよい。例えば、ひび判定部１３は、分散の長さが3D-LiDAR装置において予め定められている測定誤差の諸元の範囲内である主成分をひびの深さ方向と決定し、分散の長さが測定誤差の諸元の範囲を超えている主成分をひびの幅方向と決定してもよい。
　ひび判定部１３は、例えば、ひびの幅方向に該当する主成分の長さに基づいて、エッジとして検出された点の集合が、ひびを示しているか否かを判定してもよい。例えば、ひび判定部１３は、第２主成分がひびの幅方向に該当すると決定したとする。この場合、ひび判定部１３は、第２主成分の長さが、予め定められた長さの閾値を超えているか否かに応じてエッジとして検出された点の分布が、ひびを示しているか否かを判定してもよい。例えば、ひび判定部１３は、第２主成分の長さが、予め定められた長さの閾値を超えている場合、エッジとして検出された点の集合は、ひびではないと判定してもよい。さらに、ひび判定部１３は、第２主成分の長さが、予め定められた長さの閾値を超えていない場合、エッジとして検出された点の集合は、ひびであると判定してもよい。第２主成分の長さと比較される長さの閾値は、例えば、検出装置１０の管理者等において入力された値であってもよく、ひびの形状を機械学習した学習モデルを用いて算出される値であってもよい。
　続いて、図４を用いて実施の形態２にかかる検出装置１０におけるひび判定処理の流れについて説明する。はじめに、取得部１１は、点群データ及び点群データに含まれるそれぞれの点に関連付けられた輝度情報を取得する（Ｓ１１）。点に関連付けられた輝度情報とは、その点において反射された反射光の輝度情報であることを示す。
　次に、エッジ検出部１２は、輝度情報を用いてエッジ検出を行う（Ｓ１２）。エッジ検出部１２は、隣接する点の輝度との差が、予め定められた閾値を超える点をエッジとして検出する。
　次に、エッジ検出部１２は、エッジ検出された点の輝度と同等の輝度を有する点を抽出する（Ｓ１３）。言い換えると、エッジ検出部１２は、エッジ検出された点の輝度との差が予め定められた範囲内である輝度を有する複数の点を抽出する。エッジ検出部１２において抽出された複数の点は、３次元空間上に分布する。
　次に、エッジ検出部１２は、抽出された点の分布に対して主成分分析を行う（Ｓ１４）。エッジ検出部１２は、主成分分析を行うことによって、エッジとして検出された点の分布の分散もしくはばらつきを示す第１主成分乃至第３主成分を算出する。
　次に、ひび判定部１３は、主成分分析の結果を用いてエッジとして検出された点の集合が、ひびか否かを判定する（Ｓ１５）。
　ここで、図５を用いて図４のステップＳ１５におけるひびの判定処理の詳細な流れについて説明する。
　ひび判定部１３は、ひびの判定処理においてはじめに、エッジ検出部１２からエッジとして検出された点の分布における第１主成分乃至第３主成分の長さを取得する（Ｓ２１）。第１主成分乃至第３主成分の長さは、分散の長さを示している。第１主成分の長さが最も長く、第３主成分の長さが最も短い。
　次に、ひび判定部１３は、第１主成分乃至第３主成分のうち、ひびの幅方向となりえる主成分を決定する（Ｓ２２）。例えば、ひび判定部１３は、第１主成分乃至第３主成分のうち、２番目の長さを有する第２主成分をひびの幅方向の主成分と決定してもよい。もしくは、ひび判定部１３は、ひびの形状を機械学習した学習モデルを用いて、第２主成分及び第３主成分のいずれがひびの幅方向に該当するかを定めてもよい。もしくは、ひび判定部１３は、3D-LiDAR装置において予め定められている測定誤差の諸元もしくはカタログ値に基づいて、第２主成分及び第３主成分のどちらがひびの幅方向に該当するかを決定してもよい。
　次に、ひび判定部１３は、ひびの幅方向に該当する主成分の長さが、予め定められた長さの閾値以下であるか否かを判定する（Ｓ２３）。ひび判定部１３は、ひびの幅方向に該当する主成分の長さが、予め定められた長さの閾値以下であると判定した場合、エッジとして検出された点の集合は、ひびと判定する（Ｓ２４）。ひび判定部１３は、ひびの幅方向に該当する主成分の長さが、予め定められた長さの閾値以下ではないと判定した場合、エッジとして検出された点の集合は、ひびではないと判定する（Ｓ２５）。
　以上説明したように、実施の形態２においては、検出装置１０は、エッジ検出を行い、ひびの候補となる形状もしくは領域を特定する。さらに、検出装置１０は、ひびの候補となる形状を形成する点もしくはひびの候補となる領域に含まれる点に対して、主成分分析を行う。検出装置１０は、主成分分析を行った結果得られる第１主成分乃至第３主成分の長さに基づいて、ひびの候補となる形状もしくは領域が、ひびであるか否かを判定する。このようにして、検出装置１０は、カメラ等を用いて撮影する際に十分な明るさを確保することができない場合であっても、輝度情報を用いてひびの候補となる形状もしくは領域を抽出することができる。また、検出装置１０は、ひびの候補となる形状を構成する点もしくはひびの候補となる領域に含まれる点に対して主成分分析を行い、分析結果を用いることによってひびの候補がひびであるか否かを判定することができる。その結果、検出装置１０は、明るさを十分に確保することができない場所においても、ひびの場所を特定することができる。
　（実施の形態３）
　続いて、実施の形態３にかかるひびの判定処理の概要について説明する。例えば、ひびは、直線の形状だけではなく、図６に示すように、ジグザグの形状を示す場合もある。図６の実線は、エッジとして検出された点の集合であり、ひびの形状を示している。図６の太線の点線のうち、長い点線は、長さD_1を有する第１主成分を示している。図６の太線の点線のうち、短い点線は、長さD_2を有する第２主成分を示している。また、説明を容易にするために図６には示されていないが、図６の垂直方向の主成分を第３主成分とする。
　ジグザグの形状のひびは、図６に示されるように、D_2が、第２主成分となることがある。この場合、第２主成分の長さは、ひびが直線の形状である場合と比較して、長くなる。その結果、実施の形態２と同様に、ひび判定部１３は、第２主成分の長さが予め定められた長さの閾値を超えているか否かを判定した場合、実際にはひびであっても、第２主成分の長さが閾値を超えてしまい、ひびではないと判定することがある。
　そのため、実施の形態３においては、図７に示すように、ジグザグの形状が、エッジとして検出された点の集合を示す場合、エッジ検出部１２は、エッジとして検出された点が存在する空間を複数の空間に分割する。さらに、エッジ検出部１２は、分割された空間に含まれる点の集合に対して主成分分析を行う。図７の点線で囲まれた空間は、分割された空間の一つを示している。
　例えば、ひび判定部１３は、それぞれの空間毎に算出された第１主成分乃至第３主成分のうち、第２主成分の長さが、予め定められた長さの閾値以下であるか否かを判定し、それぞれの空間毎に、ひびであるか否かを判定してもよい。
　例えば、ひび判定部１３は、図７のArea_1及びArea_2のように、点の集合が直線に近い形状を示す場合、第２主成分の長さに基づいて、ひびであると判定することが多い。一方、ひび判定部１３は、Area_3のように、点の集合がジグザグの形状を示す場合、第２主成分の長さが長くなり、ひびではないと判定する可能性がある。そのため、ひび判定部１３は、例えば、点の集合に対して主成分分析を行った結果を用いて、ひびであるか否かを判定した複数の空間のうち、ひびであると判定された空間の数に基づいて、点の集合の全体がひびであるか否かを判定してもよい。例えば、ひび判定部１３は、ひびであると判定された空間の数が、ひびではないと判定された空間よりも多い場合、点の集合の全体は、ひびであると判定してもよい。もしくは、ひび判定部１３は、ひびであると判定された空間の数が、予め定められた閾値を超えている場合、ひびであると判定してもよい。
　エッジとして検出された点が存在する空間を分割する数が多くなるほどひび判定部１３におけるひび判定処理の精度は向上する。
　以上説明したように、実施の形態３にかかるひび判定部１３は、エッジとして検出された点の集合を含む空間を分割し、分割後の空間の点の集合に対して主成分分析を行う。ひび判定部１３は、分割後の空間毎に主成分分析を行い、分割後の空間毎にひびであるか否かを判定する。さらに、ひび判定部１３は、分割後の空間毎の判定結果を用いて、エッジとして検出された点の集合全体がひびであるか否かを判定する。このように、ひび判定部１３は、分割された空間毎の判定結果を用いることによって、図６及び図７に示すように、点の集合が第２主成分の長さが長くなるジグザグの形状であっても、点の集合全体がひびか否かを判定することができる。
　（実施の形態４）
　続いて、実施の形態４にかかるひびの判定処理について説明する。実施の形態４においては、点密度を用いたひびの判定処理を実行する。点密度は、ある領域内に存在する、エッジとして検出された点の数に基づいて定められる。具体的に、点密度について図８を用いて説明する。図８の実線は、エッジとして検出された点の集合を示している。点線で囲まれた領域は、エッジとして検出された点の集合を含む領域である。図８においては、エッジとして検出された点の集合を含む領域が矩形にて示されているが、円形等、他の形であってもよい。
　点密度は、単位面積当たりの点の数であり、例えば、図８における点線で囲まれた領域における点の密集の程度を示す。
　エッジとして検出される点の集合がひびを示す場合、点はひびに沿った領域に存在することになる。一方、エッジとして検出される点の集合がひびを示さない場合、点は、ある領域内に一様に分布していることが想定される。そのため、実施の形態４にかかるひびの判定処理においては、エッジとして検出された点の集合がひびを示す場合の点密度は、ひびを示さない場合の点密度よりも十分に小さいことを前提とする。
　また、図８の点線にて示されるエッジとして検出された点の集合を含む領域は、例えば、点の集合を示す画像を解析する際に行われるオブジェクト認識処理を実行することによって定められてもよい。オブジェクト認識処理は、画像内に含まれる対象物を特定し、その対象物を矩形等の形状にて囲み、特定された対象物を強調して示す処理である。オブジェクト認識は、物体認識、画像認識等と言い換えられてもよい。
　もしくは、図８の点線にて示されるエッジとして検出された点の集合を含む領域は、エッジとして検出された点の集合を画像にて視認したユーザから入力されてもよい。エッジとして検出された点の集合を含む領域は、ユーザによって指定された領域であってもよい。
　続いて、図９を用いて実施の形態４にかかるひびの判定処理の流れについて説明する。はじめに、ひび判定部１３は、所定領域内におけるエッジとして検出された点の点密度を算出する（Ｓ３１）。次に、ひび判定部１３は、点密度が予め定められた閾値以下であるか否かを判定する（Ｓ３２）。ひび判定部１３は、点密度が予め定められた閾値以下である場合、所定領域内におけるエッジとして検出された点の集合は、ひびと判定する（Ｓ３３）。ひび判定部１３は、点密度が予め定められた閾値以下ではない場合、所定領域内におけるエッジとして検出された点の集合は、ひびではないと判定する（Ｓ３４）。
　以上説明したように、実施の形態４にかかるひびの判定処理においては、点密度を用いたひびの判定処理を行う。これにより、輝度に基づいて抽出された点の集合が、ひびであるか否かを判定することができる。
　（実施の形態５）
　続いて、図１０を用いて実施の形態５にかかる検出装置２０の構成例について説明する。検出装置２０は、図１の検出装置１０に、分類部２１、表示部２２、ラベル付与部２３、入力受付部２４、及びデータ保持部２５が追加された構成である。分類部２１等の、検出装置２０を構成する構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、検出装置２０を構成する構成要素は、回路もしくはチップ等のハードウェアであってもよい。
　分類部２１は、ひび判定部１３においてひびであると判定された複数の点の集合を、所定の基準に従って複数のグループのうちのいずれかのグループに分類する。もしくは、分類部２１は、エッジ検出部１２において検出された輝度が予め定められた閾値以上低下している点の集合を、所定の基準に従って複数のグループのうちのいずれかのグループに分類してもよい。ここで、実施の形態４までにおいては、ひび判定部１３においてひびであると判定された点の集合を、実施の形態５においては、ひびの候補として扱う。例えば、分類部２１は、ひびの候補に含まれるそれぞれの点に関連付けられた輝度情報の分布に従って、ひびの候補をいずれかのグループに分類してもよい。例えば、一つのひびの候補に含まれる点の集合を、横軸を輝度とし、縦軸を点の数とした平面における分布図として示し、輝度の平均値の値が所定の範囲内にある複数のひびの候補を、同じ分類としてもよい。分類部２１は、例えば、輝度の平均値がＡ１からＡ２の範囲のグループである分類＿１と、輝度の平均値がＡ３からＡ４の範囲のグループである分類＿２のように、いくつかの範囲を定義して、複数のグループを定義してもよい。
　分類部２１は、輝度の平均値の代わりに、分散、標準偏差、中央値、最頻値等に基づいてひびの候補をいずれかのグループに分類してもよい。
　もしくは、分類部２１は、ひびの候補の形状に基づいてひびの候補をいずれかのグループに分類してもよい。例えば、分類部２１は、ひびの候補に含まれる点の分布に対して行われた主成分分析から得られる第１主成分乃至第３主成分に基づいてひびの候補をいずれかのグループに分類してもよい。具体的には、分類部２１は、第１主成分の長さが所定の範囲内にある複数のひびの候補を同じ分類としてもよい。分類部２１は、第１主成分の代わりに第２主成分もしくは第３主成分を用いてもよい。
　分類部２１は、一つのグループに含まれる複数のひびの候補のうち、少なくとも一つのひびの候補を表示部２２に表示させる。表示部２２は、例えば、ディスプレイであってもよい。分類部２１は、一つのグループに含まれる複数のひびの候補のうち、任意に選択したひびの候補を表示部２２に表示させてもよい。もしくは、分類部２１は、一つのグループに含まれる複数のひびの候補のうち、グループの境界付近に存在するひびの候補を表示部２２に表示させてもよい。もしくは、分類部２１は、信頼度の高いひびの候補もしくは信頼度の低いひびの候補を表示部２２に表示させてもよい。
　ここで、ひびの候補に付与される信頼度について説明する。例えば、測定装置として用いられる3D-LiDAR装置から照射されるビームの対象物に対する入射角度に応じた信頼度が、ひびの候補に付与されてもよい。
　図１１は、3D-LiDAR装置１１＿Ａが壁面に対してビームを照射している様子を示している。図１１の白抜きの矢印は、3D-LiDAR装置１１＿Ａが照射するビームを示している。図１１の点線の矢印は、ビームが壁面に反射した際の反射光を示している。入射角度は、壁面に対するビームの入射角度を示している。
　3D-LiDAR装置１１＿Ａから照射されるビームが、対象物に垂直に入射すると反射光の強度が強すぎることとなり、入射角度が浅い場合には、反射光の強度が安定しない、という特徴がある。反射光の強度が強すぎる、もしくは、安定しない等の場合、正確な輝度を得ることができない。そのため、反射光の強度が強すぎる入射角度の範囲及び反射光の強度が安定しない入射角度の範囲を定義し、その範囲の入射角度のビームの反射光から得られる輝度情報に基づいて生成されたひびの候補の信頼度を低く設定してもよい。反射光の強度が強すぎる入射角度の範囲及び反射光の強度が安定しない入射角度の範囲以外の範囲の入射角度のビームの反射光から得られる輝度情報に基づいて生成されたひびの候補の信頼度を高く設定してもよい。
　ユーザは、表示部２２に表示されたひびの候補を視認した後に、そのひびの候補がひびであるか否かを判断する。入力受付部２４は、ユーザから入力される判断結果を受け付ける。例えば、ユーザは、表示部２２に表示されたひびの候補がひびであると判断した場合、入力受付部２４に、ひびであることを示す情報を入力する。また、ユーザは、表示部２２に表示されたひびの候補がひびではないと判断した場合、入力受付部２４に、ひびではないことを示す情報を入力する。ひびであることを示す情報及びひびではないことを示す情報は、例えば、ラベルと称されてもよい。つまり、ユーザは、表示部２２に表示されたひびの候補に対して、ひびであるか否かを示すラベルを入力する。
　ラベル付与部２３は、分類部２１が表示部２２に表示させたひびの候補を含むグループと、入力受付部２４に入力されたラベルとを関連付けて、データ保持部２５へ格納する。
　続いて、図１２を用いて実施の形態５にかかるラベル付与処理の流れについて説明する。図１２の処理においては、図４のステップＳ１１乃至Ｓ１５の処理が実施され、ひび判定部１３が、エッジとして検出された点の集合に対するひびの判定処理が完了していることを前提とする。
　はじめに、分類部２１は、ひびと判定された点の集合を予め定められた基準に従って複数のグループのうちいずれかのグループに分類する（Ｓ４１）。例えば、分類部２１は、点の集合に含まれるそれぞれの点の輝度の平均値等に応じて、点の集合をいずれかのグループに分類してもよい。ひびと判定された点の集合が、複数存在する場合、分類部２１は、それぞれの点の集合を、複数のグループのうちいずれかのグループに分類する。
　次に、分類部２１は、それぞれのグループに含まれる点の集合の中から、代表となる点の集合を選択する（Ｓ４２）。分類部２１は、代表となる点の集合を、任意に選択してもよく、他の基準に従って選択してもよい。
　次に、分類部２１は、選択した点の集合を表示部２２へ表示する（Ｓ４３）。言い換えると、分類部２１は、選択した点の集合が示す形状を、ひびの候補として表示部２２へ表示する。
　次に、ラベル付与部２３は、ユーザから入力された点の集合に対するラベルを、その点の集合が含まれるグループと関連付けてデータ保持部２５へ格納する（Ｓ４４）。
　以上説明したように、検出装置２０は、ひび判定部１３においてひびと判定された複数のひびの候補をいずれかのグループに分類する。さらに、検出装置２０は、グループに含まれる少なくとも１つのひびの候補を視認したユーザから入力されるラベルを、そのグループに関連付ける。つまり、ユーザは、ひび判定部１３においてひびと判定されたすべてのひびの候補を視認して、それぞれのひびの候補にラベルを付与する必要はない。ユーザは、グループに含まれる少なくとも１つのひびの候補を視認し、そのひびの候補が含まれるグループに対してラベルを付与する。つまり、ユーザは、視認したひびの候補が含まれる同じグループの他のひびの候補にもまとめてラベルを付与することができる。その結果、ユーザがラベルを付与するために視認するひびの候補を減少させることができる。
　ひび判定部１３において抽出されたひびの候補をユーザが視認して、ひびか否かを示すラベルを付与することによって、ひびの判定に関する精度を向上させることができる。
　図１３は、検出装置１０及び検出装置２０（以下、検出装置１０等と称する）の構成例を示すブロック図である。図１３を参照すると、検出装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノード（e.g., eNB、MME、P-GW、）と通信するために使用される。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。ここで、eNBはevolved Node B、MMEはMobility Management Entity、P-GWはPacket Data Network Gatewayを表す。IEEEは、Institute of Electrical and Electronics Engineersを表す。
　プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された検出装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
　メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。
　図１３の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された検出装置１０等の処理を行うことができる。
　図１３を用いて説明したように、上述の実施形態における検出装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部と、
　前記輝度情報に基づいてエッジ検出を行うエッジ検出部と、
　エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類する分類部と、
　前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与部と、を備える検出装置。
　（付記２）
　前記ラベル付与部は、
　前記ユーザから入力された前記ひびの候補が示すラベルを、前記点の集合を含む前記グループと関連付ける、付記１に記載の検出装置。
　（付記３）
　前記ラベル付与部は、
　前記ユーザから、前記ひびの候補の形状が、ひびであるか否かを示すラベルの入力を受け付ける、付記１または２に記載の検出装置。
　（付記４）
　前記分類部は、
　前記点の集合に対して行われた主成分分析から得られた第１主成分乃至第３主成分に基づいて前記ひびの候補をいずれかのグループに分類する、付記１乃至３のいずれか１項に記載の検出装置。
　（付記５）
　前記分類部は、
　前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択し、表示部へ表示させる、付記１乃至４のいずれか１項に記載の検出装置。
　（付記６）
　前記分類部は、
　前記ひびの候補に付与された信頼度に基づいて、前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択する、付記５に記載の検出装置。
　（付記７）
　対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
　前記輝度情報に基づいてエッジ検出を行い、
　エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
　前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与方法。
　（付記８）
　対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
　前記輝度情報に基づいてエッジ検出を行い、
　エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
　前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けることをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
　１０　検出装置
　１１　取得部
　１２　エッジ検出部
　１３　ひび判定部
　２０　検出装置
　２１　分類部
　２２　表示部
　２３　ラベル付与部
　２４　入力受付部
　２５　データ保持部

Claims (8)

  1. 　対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得する取得部と、
    　前記輝度情報に基づいてエッジ検出を行うエッジ検出部と、
    　エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類する分類部と、
    　前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与部と、を備える検出装置。
  2. 　前記ラベル付与部は、
    　前記ユーザから入力された前記ひびの候補が示すラベルを、前記点の集合を含む前記グループと関連付ける、請求項１に記載の検出装置。
  3. 　前記ラベル付与部は、
    　前記ユーザから、前記ひびの候補の形状が、ひびであるか否かを示すラベルの入力を受け付ける、請求項１または２に記載の検出装置。
  4. 　前記分類部は、
    　前記点の集合に対して行われた主成分分析から得られた第１主成分乃至第３主成分に基づいて前記ひびの候補をいずれかのグループに分類する、請求項１乃至３のいずれか１項に記載の検出装置。
  5. 　前記分類部は、
    　前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択し、表示部へ表示させる、請求項１乃至４のいずれか１項に記載の検出装置。
  6. 　前記分類部は、
    　前記ひびの候補に付与された信頼度に基づいて、前記グループに属する複数のひびの候補のなかから少なくとも一つのひびの候補を選択する、請求項５に記載の検出装置。
  7. 　対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
    　前記輝度情報に基づいてエッジ検出を行い、
    　エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
    　前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けるラベル付与方法。
  8. 　対象物までの距離を示す点群データと、前記点群データを測定する際に照射するビームの反射光から得られる輝度情報とを取得し、
    　前記輝度情報に基づいてエッジ検出を行い、
    　エッジとして検出された点の集合であるひびの候補に含まれる点の分布に基づいて、複数の前記ひびの候補をいずれかのグループに分類し、
    　前記グループに属する前記ひびの候補の形状を視認したユーザから前記グループに関するラベルの入力を受け付けることをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/014786 2020-03-31 2020-03-31 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体 WO2021199264A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022512984A JP7400950B2 (ja) 2020-03-31 2020-03-31 検出装置、ラベル付与方法、及びプログラム
PCT/JP2020/014786 WO2021199264A1 (ja) 2020-03-31 2020-03-31 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体
US17/912,950 US20230136554A1 (en) 2020-03-31 2020-03-31 Detection device, label assignment method, and non-transitory computer-readablemedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014786 WO2021199264A1 (ja) 2020-03-31 2020-03-31 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021199264A1 true WO2021199264A1 (ja) 2021-10-07

Family

ID=77928173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014786 WO2021199264A1 (ja) 2020-03-31 2020-03-31 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20230136554A1 (ja)
JP (1) JP7400950B2 (ja)
WO (1) WO2021199264A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127771A (zh) * 2016-06-28 2016-11-16 上海数联空间科技有限公司 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
EP3273266A1 (en) * 2016-07-21 2018-01-24 Grupo Empresarial Copisa, S.L. A system and a method for surface aerial inspection
JP2018025919A (ja) * 2016-08-09 2018-02-15 株式会社東芝 情報処理装置、情報処理方法、および移動体
CN108537221A (zh) * 2018-03-29 2018-09-14 陕西师范大学 基于兴趣区域的桥梁或路面裂缝检测方法和评价方法
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN110390683A (zh) * 2018-04-17 2019-10-29 河海大学 一种基于密集点云的古城墙三维裂缝检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204448B2 (en) * 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
WO2018216629A1 (ja) * 2017-05-22 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6626057B2 (ja) * 2017-09-27 2019-12-25 ファナック株式会社 検査装置及び検査システム
US10724965B2 (en) * 2018-02-09 2020-07-28 Massachusetts Institute Of Technology Systems and methods for crack detection
US20190318469A1 (en) * 2018-04-17 2019-10-17 Coherent AI LLC Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127771A (zh) * 2016-06-28 2016-11-16 上海数联空间科技有限公司 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
EP3273266A1 (en) * 2016-07-21 2018-01-24 Grupo Empresarial Copisa, S.L. A system and a method for surface aerial inspection
JP2018025919A (ja) * 2016-08-09 2018-02-15 株式会社東芝 情報処理装置、情報処理方法、および移動体
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN108537221A (zh) * 2018-03-29 2018-09-14 陕西师范大学 基于兴趣区域的桥梁或路面裂缝检测方法和评价方法
CN110390683A (zh) * 2018-04-17 2019-10-29 河海大学 一种基于密集点云的古城墙三维裂缝检测方法

Also Published As

Publication number Publication date
JPWO2021199264A1 (ja) 2021-10-07
US20230136554A1 (en) 2023-05-04
JP7400950B2 (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
KR102536011B1 (ko) 심층적으로 적층된 층들을 갖는 웨이퍼들에서 결함 분류기를 트레이닝하고 적용하기 위한 시스템, 방법
TWI603409B (zh) 用於半導體檢查處方創建、缺陷檢閱及計量之適應性取樣
CN110390661A (zh) 检查管理系统、检查管理装置及检查管理方法
JP2016524334A (ja) 自由形態の保護領域を使用するウエハ検査
JP6781432B2 (ja) 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム
CN109283182A (zh) 一种电池焊点缺陷的检测方法、装置及系统
KR101808470B1 (ko) 패턴 측정 장치 및 컴퓨터 프로그램
WO2021199291A1 (ja) 検出装置、判定方法、及び非一時的なコンピュータ可読媒体
JP2020009326A (ja) 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム
Vashpanov et al. Determination of geometric parameters of cracks in concrete by image processing
CN115937101A (zh) 质量检测方法、装置、设备及存储介质
WO2021199264A1 (ja) 検出装置、ラベル付与方法、及び非一時的なコンピュータ可読媒体
TWI718380B (zh) 一種利用點雲判斷岩石不連續面位態的方法
JP2006292615A (ja) 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体
JP2002230562A (ja) 画像処理方法およびその装置
CN112749746A (zh) 一种缺陷样本迭代更新方法、系统及装置
KR101255022B1 (ko) 점군자료를 활용한 구조물 균열 검출방법
CN113706508B (zh) 光束质量分析方法、设备、光束分析系统及存储介质
CN115035481A (zh) 一种图像物距融合方法、装置、设备及存储介质
CN115019099A (zh) 一种热斑类别识别方法、装置、电子设备、介质及产品
US20230332887A1 (en) Abnormality detection system, abnormality detection method, and computer readable medium
CN114140707A (zh) 一种电网故障巡检方法
JP6599031B2 (ja) 監視装置
CN118154612B (zh) 一种半导体发光器检测方法及系统
US20240054626A1 (en) Processing device, abnormality detection system, abnormality detection method, and computer-readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928813

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512984

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928813

Country of ref document: EP

Kind code of ref document: A1