WO2023238465A1 - 部品検査方法および装置 - Google Patents

部品検査方法および装置 Download PDF

Info

Publication number
WO2023238465A1
WO2023238465A1 PCT/JP2023/009217 JP2023009217W WO2023238465A1 WO 2023238465 A1 WO2023238465 A1 WO 2023238465A1 JP 2023009217 W JP2023009217 W JP 2023009217W WO 2023238465 A1 WO2023238465 A1 WO 2023238465A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
target
point cloud
parts
measurement
Prior art date
Application number
PCT/JP2023/009217
Other languages
English (en)
French (fr)
Inventor
典克 鷲見
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Publication of WO2023238465A1 publication Critical patent/WO2023238465A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Definitions

  • the present invention relates to a component inspection method and apparatus for performing an inspection related to the spatial arrangement of one or more target components in an assembly formed by assembling multiple components.
  • the target A so-called missing area may occur in a part of the part where data could not be obtained. This defective area becomes a factor that reduces the accuracy of specifying the shape and position of the component.
  • Patent Document 1 discloses estimating the three-dimensional position and orientation of a target object and identifying the object by using missing regions as features, but does not disclose anything about reducing the number of missing regions during measurement. do not have.
  • the present invention provides a component inspection method for performing an inspection related to the spatial arrangement of one or more target components in an assembly formed by assembling a plurality of components.
  • a three-dimensional sensor scans the area containing the target part from the outside to obtain measurement data including a part of the outer surface of the target part, Obtain design data including the individual external shapes of the target parts and the positional relationships of the parts within the assembly, Determine the missing area in the measurement data of the target part by comparing it with the design data of the target part, Determine the measurement parameters of the three-dimensional sensor suitable for acquiring measurement data of this defective area, Additional scanning is performed in accordance with this measurement parameter.
  • the defective area can be made smaller. Measurement accuracy, which is a prerequisite for inspecting target parts, can be improved.
  • FIG. 2 is an explanatory diagram showing various parts in an engine room that is an assembly in one embodiment, viewed from above.
  • FIG. 1 is a functional block diagram of a gap inspection device according to an embodiment. Point cloud data of the engine room and its internal parts scanned by a 3D laser scanner. Point cloud data of the engine room and its internal parts at 40% progress. An explanatory diagram regarding reliability. 1 is a flowchart showing a process flow of a gap inspection method according to an embodiment. An explanatory diagram of a movement trajectory of a three-dimensional sensor during scanning.
  • FIG. 7 is an explanatory diagram showing a discrepancy between an instruction trajectory during scanning and an actual movement trajectory. An explanatory diagram of additional scanning for a missing area.
  • the present invention is applied to a gap inspection in which the spatial positions of two parts in an engine room are specified and the minimum gap between the two parts is calculated in a completed automobile inspection process.
  • FIG. 1 is a top view of some of the various parts in the engine room 1 of an automobile, which is an assembly of one embodiment, and shows the area near the intake manifold 2 of the engine.
  • An ignition coil 3 that is part of the engine's ignition system is arranged below the intake manifold 2.
  • a fuel tube 4 which is a pipe for supplying fuel to the engine, is located on the side of the intake manifold 2.
  • the fuel tube 4 is formed from a metal tube in consideration of oil resistance and fire resistance, and has a circular cross section along the radial direction. As shown in FIG.
  • the fuel tube 4 includes a straight portion 4a that extends generally in a straight line along the side of the intake manifold 2, and an inclined portion 4b that slopes toward the ignition coil 3 from one end of the straight portion 4a.
  • the fuel tube 4 made of a metal tube undergoes some deformation during installation and is therefore considered a non-rigid component.
  • the ignition coil 3 is a component that is considered to be a rigid body whose outer shape does not change.
  • the minimum spatial distance (minimum gap) between the ignition coil 3 and the fuel tube 4 is generally prescribed by law, and therefore, it is necessary to inspect the minimum gap in the completed vehicle inspection process.
  • the design minimum distance between the ignition coil 3 and the fuel tube 4 is defined at a position on the outer surface of at least one of the ignition coil 3 or the fuel tube 4 that is not visible from the outside, It is generally difficult for inspectors to measure using a ruler.
  • such a gap between two parts is determined by external measurement using a three-dimensional sensor and arithmetic processing.
  • the gap inspection device of one embodiment used in the inspection of finished automobiles includes a three-dimensional sensor, for example, a three-dimensional laser scanner 5, a database 6, a control device 7, and one or more displays. 8. In the finished vehicle inspection process, a large number of inspections are sequentially performed in a predetermined order.
  • the gap inspection device of one embodiment is configured as a part of an inspection device in a completed vehicle inspection process.
  • the 3D laser scanner 5 can obtain the 3D coordinates of the surface shape of the measurement target by irradiating the measurement target with a laser beam and measuring the reflection time, and can scan at a high speed of approximately tens of thousands of points per second. By performing measurements with , high-density point cloud data can be obtained.
  • Various sizes and types of three-dimensional laser scanners are known, but in one embodiment, a type that can be held in the hand by an operator to scan a measurement target is used. The target area is measured by manually scanning a specific area of the engine room 1 including the ignition coil 3 and fuel tube 4 along with other parts from the outside along a designated movement trajectory. By scanning with the three-dimensional laser scanner 5, as shown in FIG. 3, point cloud data of the entire area including a part of the outer surface of the ignition coil 3 and the fuel tube 4 is obtained.
  • point cloud data is actually acquired as time series data for each frame by scanning, but point cloud data for the entire area is acquired by overlapping them. Furthermore, it is desirable to perform a noise removal process on the acquired point cloud data to remove noise caused by, for example, dust particles that have entered during scanning. Furthermore, the three-dimensional laser scanner may require a marker that serves as a guide for recognizing the shape and position of a target part during scanning.
  • scanning in the present invention refers to the area scanning function of the three-dimensional sensor (for example, the three-dimensional laser scanner 5) itself, the movement of the three-dimensional sensor along a certain trajectory by a worker, for example,
  • a three-dimensional laser scanner 5 having a surface scanning function is used, and scanning is performed by moving the three-dimensional laser scanner 5 along a predetermined trajectory.
  • multiple 3D sensors may be fixedly placed at appropriate positions in space and the scanning function of each 3D sensor may be used to measure the target area. It is also possible to obtain point cloud data of the area.
  • the database 6 stores all the design data of the vehicle to be inspected. Therefore, the shape data of the ignition coil 3 and the shape data of the fuel tube 4, which are the targets of the gap inspection, are It is stored as design data along with data indicating the positional relationship within the design. Furthermore, the database 6 also stores shape data and positional relationship data of other parts existing within the area.
  • the design data is stored in the database 6 in the form of CAD data constituting a mesh, and necessary design data is read from the database 6 to the control device 7 during a gap inspection. In addition, after reading the design data to the control device 7, well-known hidden surface processing is applied to parts other than those related to the gap between the ignition coil 3 and the fuel tube 4 to reduce the data size. You can also do this.
  • the control device 7 includes a first alignment section 7a, a progress calculation section 7b, a second alignment section 7c, a third alignment section 7d, a reliability calculation section 7e, and a first interpolation section 7f. It is configured to include a second interpolation section 7g, a distance calculation section 7h, an information output section 7i, a missing area determination section 7j, a measurement parameter calculation section 7k, and a movement trajectory determination section 7m.
  • a measurement data acquisition unit that acquires measurement data including a part of the outer surface of the target part by scanning using the three-dimensional laser scanner 5, and a measurement data acquisition unit that acquires measurement data including a part of the outer surface of the target part.
  • the control device 7 includes a design data acquisition unit that acquires design data including the external shape and the positional relationship of the parts in the engine room 1 from the database 6.
  • the first alignment unit 7a is configured to measure the entire target area (the so-called target area in alignment) including the ignition coil 3 and the fuel tube 4 in the measurement data acquired by the three-dimensional laser scanner 5, and the data stored in the database 6. Rough alignment is performed with the entire area including the ignition coil 3 and fuel tube 4 in the design data (a so-called reference area for alignment). For example, the first alignment unit 7a uses the FPFH algorithm to search for a key point from the point cloud data of the entire target area, and determines the characteristics of this key point, such as the normal vector of the key point and the relative angle of the surroundings. Describe.
  • the FPFH algorithm is similarly used to search for key points, and the characteristics of these key points, such as key Describe the normal vector of a point and the relative angles around it. Then, the first alignment unit 7a compares the normal vectors between the target-related key points and the reference-related key points and the relative angles with the surrounding point group, so that the normal vectors and relative angles almost match. Search for combinations of key points that make up pairs. Then, the reference point cloud data is roughly aligned with the target point cloud data using a combination of paired key points.
  • the non-rigid fuel tube 4 is regarded as a rigid body, and as a result, average positioning is performed within the length range of the fuel tube 4.
  • Rough positioning of the target area by the first positioning unit 7a is performed in parallel with the progress of scanning of the target area.
  • the first positioning unit 7a may perform rough positioning of the target area using a known algorithm other than the FPFH algorithm.
  • the progress calculation unit 7b calculates necessary scanning within the target area before performing detailed positioning of the ignition coil 3 and fuel tube 4, which will be described later. Calculate the degree of progress that indicates how much progress has been made. For example, the progress calculation unit 7b calculates the number of points in the point cloud data of the target area based on the design data serving as a reference, and the point cloud that matches each other between the reference and the target by rough alignment by the first alignment unit 7a. The scanning progress is calculated from the ratio of the data points. The progress calculation unit 7b further compares the progress calculated in this way with a predetermined progress threshold (for example, 40% in this embodiment), and calculates the progress that gradually increases as the scanning progresses.
  • a predetermined progress threshold for example, 40% in this embodiment
  • this progress level threshold It is determined in real time whether this progress level threshold has been exceeded. For example, the progress level at that time and information as to whether or not this progress level exceeds the progress level threshold are displayed on the display 8 via the information output unit 7i. 5 will continue scanning. In other words, scanning (generation of point cloud data) by the three-dimensional laser scanner 5, rough alignment, and progress calculation are repeated in real time until a predetermined progress threshold is exceeded. For example, the area surrounded by a broken line in FIG. 4 corresponds to a progress level of 40%.
  • the degree of progress is evaluated not only by the ratio of the number of data points as described above, but also by the number of viewpoints passed by the three-dimensional laser scanner 5, the number of key points used in rough alignment, etc. Good too.
  • the second positioning unit 7c performs detailed positioning of each component in space on the condition that the degree of progress exceeds a threshold value. That is, the second positioning unit 7c searches for a pair of points in the reference point cloud data for all points in the target point cloud data obtained by measuring the ignition coil 3 and the fuel tube 4, and compares the points with the reference point cloud data. precisely align the point cloud data to the target point cloud data.
  • the fuel tube 4, which is a non-rigid body, is considered to be a rigid body here, and as a result, average positioning is achieved within the length range of the fuel tube 4.
  • Detailed alignment in the second alignment section 7c can be performed using a known appropriate algorithm.
  • the third positioning section 7d performs so-called non-rigid positioning of a non-rigid component (in this embodiment, the fuel tube 4) in consideration of deformation after the detailed positioning performed by the second positioning section 7c.
  • a non-rigid component in this embodiment, the fuel tube 4
  • an appropriate well-known algorithm can be used, but for example, the nearest pair is searched from the reference point cloud data and the target point cloud data, which are assumed to be rigid bodies and aligned in advance, and the two points of the pair are searched for.
  • the rotation, expansion, and parallel translation parameters are determined as parameters that bring the values closer to each other.
  • the outer shape of the fuel tube 4 is down-sampled so that the outer surface is made up of a plurality of triangles having vertices and edges, and each down-sampled area, that is, a plurality of adjacent triangles, is Using the vertices that represent the point cloud (cluster) of each region that contains the cluster, we rotate, expand, and transform the cluster with the constraint that the edge length does not change (strictly speaking, the length change is minimum). Decompose into parallel translation parameters. The entire deformation of the fuel tube 4 is obtained as a set of deformations in cluster units.
  • the third alignment unit 7d deforms the reference point group data about the fuel tube 4 and aligns it with the target point group data in space using a non-rigid alignment method that takes such deformation into consideration.
  • the reliability calculation unit 7e calculates the reliability of the alignment of each target component (that is, the ignition coil 3 and the fuel tube 4). In other words, the reliability calculation unit 7e calculates the reliability indicating how close the target point cloud data is to the aligned reference point cloud data for each of the ignition coil 3 and the fuel tube 4. do.
  • FIG. 5 is an explanatory diagram schematically showing point cloud data of the fuel tube 4 after alignment, in order to explain reliability.
  • the circular outer surface in a certain cross section of the fuel tube 4 is formed by 13 point group data.
  • the 13 point cloud data Dr arranged in a circle is reference point cloud data based on design data
  • the 7 point cloud data Dt arranged in a semicircle is target point cloud data based on measurement data. be.
  • the lower half becomes a so-called missing area
  • the point group data Dt of the target are arranged in a semicircular shape.
  • the reliability is expressed, for example, as a ratio between the points of the reference point group data Dr and the points of the target point group data Dt included within a radius L from each point of this reference point group data Dr. .
  • the range of radius L from a large number of points in the reference point group data Dr is represented by an outer circle C1 and an inner circle C2, respectively indicated by broken lines.
  • the reliability is 4/13.
  • the reliability is 2/13.
  • all points of the target that is, seven point group data Dt, are included within the range R, and the reliability is 7/13. In this way, the reliability is influenced by both the alignment accuracy and the size or proportion of the missing area in the measurement data.
  • the first interpolation unit 7f interpolates the missing portions of the measurement data of the ignition coil 3, that is, the point group data of the target, which are not scanned, using the reference point group data.
  • the back (lower) outer surface portion of the ignition coil 3 that is hidden from view from the upper side of the engine room 1 is interpolated using the reference point cloud data, and the point cloud of the ignition coil 3 including the hidden portion is generated.
  • the first interpolation unit 7f converts the generated point group data into mesh data constituting a surface using a well-known conversion method.
  • the second interpolation unit 7g interpolates the missing portions of the measurement data of the fuel tube 4, that is, the point group data of the target, which are not scanned, using the reference point group data.
  • the outer surface portion of the back side (lower side) of the fuel tube 4 that is hidden from view from the upper side of the engine room 1 is interpolated using the reference point cloud data, and the point cloud of the fuel tube 4 including the hidden portion is interpolated using the reference point cloud data.
  • the second interpolation unit 7g converts the generated point group data into mesh data constituting a surface using a well-known conversion method.
  • the distance calculation unit 7h calculates each distance on the surface of the ignition coil 3 based on the mesh data of the ignition coil 3 acquired by the first interpolation unit 7f and the mesh data of the fuel tube 4 acquired by the second interpolation unit 7g. The distance from each point to each point on the surface of the fuel tube 4 is calculated. Further, the distance calculation unit 7h calculates the minimum distance by comparing the calculated distances with each other. Note that the distance calculation unit 7h calculates the distance from each point of the ignition coil 3 to the fuel without converting the point cloud data of the ignition coil 3 and the point cloud data of the fuel tube 4 into mesh data. The distance to each point on the tube 4 may be calculated separately.
  • the information output unit 7i generates various images to be displayed on the display 8 and data to be output as audio from a speaker (not shown). For example, the finally determined minimum distance, the above-mentioned degree of progress, etc. are displayed on one or more displays 8 that can be viewed by the operator.
  • the missing region determination unit 7j determines the missing portions, that is, the missing regions in the measurement data for each target component (ignition coil 3 and fuel tube 4). For example, in the design data of each part, the surface to be scanned is divided into a number of grids, and the ratio of points scanned for each grid (the ratio of the number of points actually scanned to the number of points to be scanned) is calculated. , if this ratio is less than or equal to a predetermined threshold, it is determined that the grid is a missing area. This determines which part of the design data of the target part is the missing area.
  • the measurement parameter calculation unit 7k calculates measurement parameters for measurement by the three-dimensional laser scanner 5, which are necessary for acquiring measurement data of these defective areas, for the defective areas determined by the defective area determination unit 7j.
  • the measurement parameters refer to the position of the three-dimensional laser scanner 5 and its pointing direction (in other words, the angle), and if the measurement mode such as laser intensity can be changed, the measurement mode, etc.
  • the position and direction of the 3D laser scanner 5 required to obtain measurement data of the defective area are continuously moved. Generated as a trajectory.
  • the measurement parameters generated in this way are displayed on the display 8 via the information output section 7i.
  • the position and range of the missing area may also be displayed. The operator will perform additional scanning according to the information on the display 8.
  • FIG. 9 is an explanatory diagram illustrating the measurement parameter calculation principle in the measurement parameter calculation section 7k.
  • the measurement object OJ has an area OJa where measurement data has already been acquired and a missing area OJb where measurement data is missing.
  • the measurement parameter calculation unit 7k first sets a large number of virtual viewpoints around the measurement object OJ, as shown in FIG. 9(a).
  • the square pyramid in the figure schematically represents the three-dimensional laser scanner 5, and the orientation of the square base is the pointing direction of the three-dimensional laser scanner 5.
  • a large number of virtual viewpoints having different positions and orientation directions are set, as shown by reference numerals 5a, 5b, 5c, . .
  • a virtual viewpoint is set for each mode.
  • the quality of data acquisition of the missing area OJb is evaluated. For example, it is evaluated whether the target defective region can be visually recognized linearly from a virtual viewpoint, whether the distance to the defective region is appropriate for measurement, whether a large number of defective regions can be measured at once, and so on.
  • a plurality of relatively advantageous virtual viewpoints having the same measurement mode are interpolated and connected into one continuous line, and the three-dimensional laser scanner 5 including the pointing direction is A movement trajectory TR11 is generated.
  • the condition is that the pointing direction does not change suddenly.
  • the symbol S indicates the start point of scanning, and the symbol E indicates the end point.
  • a preferred movement trajectory is generated for each mode.
  • the preferable movement trajectory TR11 generated in this way is displayed on the display 8 as an instruction trajectory for additional scanning, for example, as an image including the pointing direction as shown in the figure.
  • the movement trajectory determining unit 7m estimates the movement trajectory of the three-dimensional laser scanner 5 on which the worker is scanning based on the data acquired by the three-dimensional laser scanner 5, and determines the instruction indicating this movement trajectory. This is to determine whether there is a deviation from the trajectory. For example, as shown in FIG. 7, for a specific measurement target OJ (simplified in the figure) such as an assembly in the engine room 1, an instruction trajectory (work Trajectories (trajectories) TR1 and TR2 in which the operator should operate the three-dimensional laser scanner 5 are set, and instructions thereof are given to the operator by, for example, a display on the display 8 or a printed matter. The operator moves the three-dimensional laser scanner 5 along the indicated trajectories TR1 and TR2 to perform scanning.
  • the instruction trajectory TR1 is an instruction trajectory for scanning performed with the three-dimensional laser scanner 5 in the first measurement mode
  • the instruction trajectory TR2 is an instruction trajectory for scanning performed in the second mode. If the actual scanning operation by the operator does not follow the instruction trajectory correctly, the number of missing areas will increase, which is undesirable. Therefore, the movement trajectory determination unit 7m determines whether the actual movement trajectory deviates from the instructed trajectory, and if it deviates, it notifies the operator to that effect and prompts the operator to correct the movement trajectory. be.
  • FIG. 8 is an explanatory diagram illustrating the principle of movement trajectory determination. Since the basic shape or configuration of the area to be scanned is known as the design data obtained from the database 6, the space of the 3D laser scanner 5 is It is possible to estimate the position and the pointing direction of the three-dimensional laser scanner 5, and furthermore, it is possible to estimate the movement trajectory including the pointing direction of the three-dimensional laser scanner 5.
  • the movement trajectory TR1' estimated in this way is successively compared with the instruction trajectory TR1. For example, as shown in FIG. 8, the nearest two points from the coordinate string of points P1, P2, P3, . By determining the angle difference and the distance difference between the vector pairs connecting the points and comparing them, it is possible to determine the degree of coincidence between the local instruction trajectory TR1 and the movement trajectory TR1'. Note that other known appropriate algorithms can be used as the algorithm for determining the deviation of the movement trajectory.
  • a three-dimensional laser scanner 5 has a built-in vibrator, and warns and informs the worker by vibrating the three-dimensional laser scanner 5 held in the worker's hand.
  • the vibrator emits vibrations with a strength corresponding to the degree of deviation as information that prompts correction.
  • the three-dimensional laser scanner 5 begins to vibrate, and the further away from the instructed trajectory the stronger the vibration becomes, and then the closer it gets to the instructed trajectory, the weaker the vibration becomes. Even if the operator does not strictly grasp the instruction trajectory in space, scanning work along the instruction trajectory can be easily performed.
  • step S1 an operator operates the three-dimensional laser scanner 5 to scan a predetermined area in the engine room 1 including the ignition coil 3 and fuel tube 4, which are the target parts, from the outside to detect the outer surface of each part. Obtain point cloud data containing part of the . This scanning and generation of point cloud data progresses gradually along with the scanning operation.
  • step S2 CAD data of the target parts, such as the ignition coil 3, fuel tube 4, and other surrounding parts, is acquired from the database 6, along with CAD data indicating their spatial positional relationships.
  • step S3 the CAD data is converted to point cloud data using a known appropriate conversion method.
  • step S4 the first alignment unit 7a performs rough alignment between the entire target area and the entire reference area.
  • point cloud data of the entire area including the ignition coil 3, fuel tube 4, and other parts and point cloud data of the entire area including the ignition coil, fuel tube, and other parts in the design data stored in the database 6.
  • Rough alignment is performed by searching for key points and aligning by using combinations of paired key points.
  • step S5 the progress calculation unit 7b calculates the points of the point cloud data of the reference area and the matched points in the point cloud data of the scanned area.
  • the scanning progress is calculated from the ratio of .
  • step S6 it is determined whether this progress exceeds a predetermined progress threshold (for example, 40%). If the degree of progress is less than or equal to the threshold value, the process moves to step S7, the degree of progress is displayed on the display 8, and the worker continues scanning. In other words, the processing from step S1 onwards is repeated.
  • a predetermined progress threshold for example, 40%
  • step S8 the aforementioned movement trajectory determination unit 7m estimates the actual movement trajectory of the three-dimensional laser scanner 5 by the worker, and further in step S9, the estimated movement trajectory is a correct instruction trajectory. Determine whether it is in accordance with the If it follows the instructed trajectory, the process returns to step S1 and scanning is repeated. If the estimated movement trajectory deviates from the correct instruction trajectory, the operator is notified of this in step S10 and prompted to correct the trajectory, and then returns to step S1 to continue scanning. As described above, the notification to the operator is preferably made by using a vibrator built into the three-dimensional laser scanner 5 with a vibration having a strength corresponding to the degree of deviation.
  • steps S1 to S10 are repeated from the start of scanning until the degree of progress reaches a predetermined degree of progress threshold. If the progress level threshold is not reached even if the entire instruction trajectory is passed, it is necessary to perform scanning multiple times along the same instruction trajectory.
  • step S6 If the degree of progress exceeds the threshold in step S6, the process moves from step S6 to step S11, and the point cloud data of the ignition coil 3 and fuel tube 4, which are the target parts, are converted into point cloud data of measurement data and design data for the entire area. are extracted from the point cloud data.
  • Point cloud data extracted from measurement data becomes a so-called target
  • point cloud data extracted from design data becomes a so-called reference.
  • the point cloud data of the target part serving as a reference may be generated from CAD data of a single part.
  • step S12 the second positioning section 7c performs detailed positioning of the ignition coil 3 and fuel tube 4 using a known appropriate algorithm.
  • the fuel tube 4 is considered to be a rigid body. For example, as described above, search for paired points between the target point cloud data that has undergone rough alignment and the reference point cloud data, and perform detailed alignment so that the reference approaches the target. .
  • step S13 the data of the fuel tube 4 is down-sampled in step S13.
  • step S14 non-rigid positioning is performed in consideration of the deformation of the fuel tube 4.
  • the reference point group data is aligned to the target position while being transformed.
  • the nearest pair is searched from the reference point cloud data and the target point cloud data, which are aligned as rigid bodies as described above, and rotation, enlargement, and translation are used as parameters to bring them closer to each other. seek.
  • step S15 the reliability of alignment is calculated for each of the ignition coil 3 and the fuel tube 4.
  • the reliability is expressed, for example, as a ratio between the number of points in the reference point group data and the number of points in the target point group data included within a predetermined radius from each point in the reference point group data.
  • step S16 it is determined whether the reliability of the alignment of the ignition coil 3 and the reliability of the alignment of the fuel tube 4 each satisfy a predetermined reliability. If both reliability levels satisfy the predetermined reliability level, it is assumed that the alignment has been completed, and the process moves to step S17.
  • step S17 the first interpolation section 7f and the second interpolation section 7g interpolate the unscanned portions of the target point cloud data of the ignition coil 3 and fuel tube 4 with the reference point cloud data aligned with the targets. do.
  • point cloud data of the ignition coil 3 and the fuel tube 4 including unscanned portions that is, hidden portions
  • step S18 using a known conversion method, the point cloud data including the unscanned portions of both the ignition coil 3 and the fuel tube 4 are converted into mesh data forming a surface.
  • step S19 the distance calculation unit 7h calculates the minimum distance between the ignition coil 3 and the fuel tube 4 based on the mesh data of the ignition coil 3 and the mesh data of the fuel tube 4. That is, the distance between any two points on each surface is determined, and the minimum value therebetween is determined as the minimum distance.
  • step S20 the test results including this minimum distance and other necessary information are displayed on the display 8.
  • the calculated minimum distance may be compared with a threshold value, and some kind of warning may be displayed if it is less than the threshold value.
  • step S16 determines whether the reliability of alignment is insufficient for any component. If it is determined in step S16 that the reliability of alignment is insufficient for any component, the process proceeds from step S16 to step S21, and a missing area is determined for the component with insufficient reliability.
  • the surface to be scanned is divided into many grids, and the ratio of point clouds scanned for each grid (the ratio of the number of points actually scanned to the number of points to be scanned) is calculated. ), and if this ratio is less than or equal to a predetermined threshold, it is determined that the grid is a missing area.
  • step S21 it means that the lack of reliability is not caused by the missing area, for example, the target part is not recognized correctly, so some kind of warning etc. is displayed on the display 8. Finish the process. In this case, for example, scanning must be restarted from the beginning.
  • step S21 If it is determined in step S21 that there is a missing area (in other words, the insufficient reliability is due to the missing area), the process proceeds from step S21 to step S22, in which the target area (engine A plurality of virtual viewpoints are set around the room 1) and the advantages of each are evaluated. Then, in step S23, measurement parameters necessary for additional scanning (trajectory of movement of the three-dimensional laser scanner 5, pointing direction, measurement mode, etc.) are calculated, and in step S24, additional scanning is performed using these measurement parameters. Instruct workers what to do. This may be done by, for example, a display on the display 8, an audio instruction, or the like. It is desirable that the necessary movement trajectory calculated as a parameter is displayed on the screen as an instruction trajectory for additional scanning.
  • step S16 the alignment reliability satisfies a predetermined reliability
  • step S17 it is determined that there is no missing area (for example, below a certain percentage)
  • the missing area is determined for the part where data could be obtained if scanned properly, the measurement parameters necessary to obtain the data of this missing area are calculated, and the Since the operator is prompted to perform additional scanning in accordance with the measurement parameters, three-dimensional measurement data can be efficiently acquired. Furthermore, it is possible to suppress various kinds of deterioration in inspection accuracy due to the presence of defective areas during scanning. In particular, since the missing area is determined only for parts with low alignment reliability and additional scanning is performed to fill the missing area of the part, the additional scanning is efficient.
  • the determination of the missing area is performed after aligning the reference point cloud data with the target point cloud data, it is possible to more accurately grasp which part of the target part is the missing area.
  • the present invention is not limited to such applications, and is applicable to assemblies including a plurality of parts. It can be widely applied to inspections related to the spatial arrangement of target parts, such as their position and orientation in space. In the above embodiment, two parts are the target parts in order to inspect the distance between the two parts, but the present invention can be applied even if there is only one target part.
  • the three-dimensional sensor is not limited to the three-dimensional laser scanner 5 of the above embodiment, but may be of any type as long as it can acquire and generate three-dimensional point cloud data. It can be widely applied, such as a ToF format or a triangulation method such as a stereo camera.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

イグニッションコイル（３）と燃料チューブ（４）との間の最小距離を検査するために、３次元レーザスキャナ（５）によるスキャニングによって点群データを生成し（Ｓ１）、ＣＡＤデータに基づくリファレンスの点群データ（Ｓ２，Ｓ３）を位置合わせする（Ｓ４～Ｓ１４）。位置合わせ後、計測した点群データをリファレンスの点群データで補間（Ｓ１７）し、任意の２点間の最小距離を算出する（Ｓ１９）。信頼度が低い（Ｓ１５，Ｓ１６）場合は欠損領域を判定し（Ｓ１７）、追加のスキャニングを行う。その際に、周囲に設定した多数の仮想視点を評価し、有利な点をつなぐように軌跡等の計測パラメータを算出（Ｓ２３）した上で、これに沿った追加のスキャニングを指示する（Ｓ２４）。

Description

部品検査方法および装置
　この発明は、複数の部品を組み立ててなる組立体において対象とする１つないし複数の部品の空間的な配置状態に関連した検査を行う部品検査方法および装置に関する。
　例えば、自動車の完成車検査工程においてエンジンルーム内に組み立てられている多数の部品の位置の検査（例えば隣接する他部品との間の隙間の検査）を検査員が目視や定規を使って行うことがある。近年、このような組立体における特定の部品の取付状態ないし空間的な位置の検査を、３次元センサを用いた計測によって各部品の外形の３次元データを取得することで行う試みがなされている（例えば特許文献１）。
　複数の部品が３次元的に組み立てられている組立体においては、外側から３次元センサで計測した際に、３次元センサの向きが適当でなかったり他部品に遮蔽されるなどの原因で、対象部品の一部にデータが取得できなかった領域いわゆる欠損領域が生じ得る。この欠損領域は、部品の形状や位置の特定の精度を低下させる要因となる。
　特許文献１は、欠損領域を特徴として利用することで対象物体の３次元位置姿勢の推定および物体識別を行うことを開示しているが、計測時に欠損領域をより少なくすることについては何ら開示がない。
特開２０１１－１７４８９１号公報
　この発明は、複数の部品を組み立ててなる組立体において対象とする１つないし複数の部品の空間的な配置状態に関連した検査を行う部品検査方法において、
　対象部品を含む領域を外側から３次元センサによりスキャニングして対象部品の外表面の一部を含む計測データを取得し、
　対象部品の個々の外形状および当該部品の組立体内での位置関係を含む設計データを取得し、
　対象部品の設計データと比較して対象部品の計測データにおける欠損領域を判定し、
　この欠損領域の計測データを取得するのに適した３次元センサの計測パラメータを決定し、
　この計測パラメータに沿った追加のスキャニングを行う。
　この発明によれば、欠損領域の計測データを取得するのに適した３次元センサの計測パラメータを決定し、これに沿った追加のスキャニングを行うことで、欠損領域をより小さくすることができ、対象部品の検査の前提となる計測精度を高めることができる。
一実施例における組立体であるエンジンルーム内の種々の部品を上側から見て示した説明図。 一実施例の隙間検査装置の機能ブロック図。 ３次元レーザスキャナによりスキャニングされたエンジンルームおよびその内部の部品の点群データ。 ４０％の進捗度におけるエンジンルームおよびその内部の部品の点群データ。 信頼度についての説明図。 一実施例の隙間検査方法の処理の流れを示すフローチャート。 スキャニングの際の３次元センサの移動軌跡の説明図。 スキャニング中の指示軌跡と実際の移動軌跡との乖離を示す説明図。 欠損領域に対する追加のスキャニングの説明図。
　以下、図面を参照しながら、この発明の一実施例について説明する。一実施例は、自動車の完成車検査工程においてエンジンルーム内にある２つの部品の空間位置を特定し、両者間の最小隙間を算出する隙間検査にこの発明を適用したものである。
　図１は、一実施例の組立体である自動車のエンジンルーム１内の種々の部品の一部を上側から見た図であり、エンジンの吸気マニホールド２の付近の領域を示している。吸気マニホールド２の下側に、エンジンの点火装置の一部となるイグニッションコイル３が配置されている。また、吸気マニホールド２の側方に、エンジンに燃料を供給する配管である燃料チューブ４が位置している。燃料チューブ４は、耐油性や耐火性を考慮して金属管から形成されており、径方向に沿った断面が円形をなしている。図１に示すように、燃料チューブ４は、吸気マニホールド２の側部に沿って概ね直線状に延びる直線部４ａと、該直線部４ａの一端からイグニッションコイル３側に傾斜する傾斜部４ｂと、を有している。金属管からなる燃料チューブ４は、取付時に多少の変形が生じ、従って、非剛体とみなされる部品である。他方、イグニッションコイル３は、外形状が変化しない剛体とみなされる部品となる。
　イグニッションコイル３と燃料チューブ４との間の空間的な最小距離（最小隙間）は一般に法令によって規定されており、従って、完成車検査工程において、その最小隙間の検査が必要である。ここで、多くの場合、イグニッションコイル３と燃料チューブ４との間の設計上の最小距離は、イグニッションコイル３もしくは燃料チューブ４の少なくとも一方において外部から視認できない外表面の位置で規定されており、検査員による定規を用いた測定は一般に困難である。本実施例は、このような２部品間の隙間を、３次元センサを用いた外部からの計測および演算処理によって求めるものである。
　図２に示すように、自動車の完成車検査で用いられる一実施例の隙間検査装置は、３次元センサ例えば３次元レーザスキャナ５と、データベース６と、制御装置７と、１つあるいは複数のディスプレイ８と、を含んで構成される。なお、完成車検査工程においては多数の検査が所定の順序に従って順次行われる。一実施例の隙間検査装置は、完成車検査工程における検査装置の中の一部として構成される。
　３次元レーザスキャナ５は、計測対象にレーザを照射しかつ反射時間を測定することで、計測対象の表面形状の３次元座標を取得することができるものであり、毎秒数万点程度の高い速度で計測を行うことで、高密度の点群データが得られる。３次元レーザスキャナとしては種々の大きさおよび形式のものが知られているが、一実施例においては、作業者が手で持って計測対象のスキャニングを行うことができる形式のものが用いられており、イグニッションコイル３と燃料チューブ４とを他部品ととともに含むエンジンルーム１の特定の領域を、指示された移動軌跡に沿って手動で外側からスキャニングすることで、対象領域の計測を行う。このような３次元レーザスキャナ５によるスキャニングにより、図３に示すように、イグニッションコイル３および燃料チューブ４の外表面の一部を含む領域全体の点群データが得られる。
　なお、点群データは、スキャニングにより実際にはフレーム毎の時系列データとして取得されるが、重ね合わせることで領域全体の点群データが取得される。また、取得された点群データについては、例えばスキャニングの際に入り込んでしまったチリ等によるノイズを除去するノイズ除去処理を施すことが望ましい。また、３次元レーザスキャナとしては、スキャニングの際に、ターゲットとなる部品の形や位置を認識させるための目安となるマーカーを必要とするものであってもよい。
　ここで、本発明における「スキャニング」とは、３次元センサ（例えば３次元レーザスキャナ５）自身が有する面的な走査機能と、例えば作業者がある軌跡に沿って行う３次元センサの移動と、のいずれか一方もしくは双方を含む概念である。一実施例では、面的な走査機能を有する３次元レーザスキャナ５を用い、さらにこの３次元レーザスキャナ５を所定の軌跡に沿って移動させることでスキャニングを行う。計測を行うべき対象領域の大きさや形状あるいは３次元センサの形式等によっては、例えば複数の３次元センサを空間内の適当な位置に固定的に配置して各３次元センサの走査機能でもって対象領域の点群データを取得することも可能である。
　データベース６は、検査対象となる自動車の全ての設計データが蓄積されているものであり、従って、隙間検査の対象となるイグニッションコイル３の形状データと燃料チューブ４の形状データとが、両者の空間内での位置関係を示すデータとともに設計データとして格納されている。さらに、データベース６には、領域内に存在する他部品の形状データや位置関係のデータも蓄積されている。設計データは、メッシュを構成するＣＡＤデータの形式でデータベース６に格納されており、隙間検査の際には、必要な設計データがデータベース６から制御装置７へと読み出される。なお、設計データについては、制御装置７へと読み出した後、イグニッションコイル３と燃料チューブ４との間の隙間に関与する部分以外の箇所に周知の陰面処理を施して、データサイズを小さくするようにしてもよい。
　制御装置７は、第１位置合わせ部７ａと、進捗度算出部７ｂと、第２位置合わせ部７ｃと、第３位置合わせ部７ｄと、信頼度算出部７ｅと、第１補間部７ｆと、第２補間部７ｇと、距離算出部７ｈと、情報出力部７ｉと、欠損領域判定部７ｊと、計測パラメータ算出部７ｋと、移動軌跡判定部７ｍと、を含んで構成されている。なお、図示はしていないが、上述したように、３次元レーザスキャナ５を用いたスキャニングにより対象部品の外表面の一部を含む計測データを取得する計測データ取得部と、対象部品の個々の外形状および当該部品のエンジンルーム１内での位置関係を含む設計データをデータベース６から取得する設計データ取得部と、が制御装置７に含まれている。
　第１位置合わせ部７ａは、３次元レーザスキャナ５により取得された計測データにおけるイグニッションコイル３および燃料チューブ４を含む対象領域（位置合わせにおいていわゆるターゲットとなる領域）全体と、データベース６に蓄積された設計データにおけるイグニッションコイル３および燃料チューブ４を含む領域（位置合わせにおいていわゆるリファレンスとなる領域）全体と、の大まかな位置合わせを行う。例えば、第１位置合わせ部７ａは、ＦＰＦＨアルゴリズムを用いて、ターゲットとなる領域全体の点群データからキーポイントを探索し、このキーポイントの特徴、例えばキーポイントの法線ベクトルや周囲の相対角度を記述する。さらに、周知の変換手法を用いて、リファレンスとなる領域全体の設計データを点群データに変換した上で、同様に、ＦＰＦＨアルゴリズムを用いてキーポイントを探索し、このキーポイントの特徴、例えばキーポイントの法線ベクトルや周囲の相対角度を記述する。そして、第１位置合わせ部７ａは、ターゲットに関するキーポイントとリファレンスに関するキーポイントとの間の法線ベクトルや周囲の点群との相対角度を比較することで、法線ベクトルや相対角度がほぼ一致するペアを構成するキーポイントの組み合わせを探索する。そして、ペアとなるキーポイントの組み合わせを用いてリファレンスの点群データをターゲットの点群データに大まかに位置合わせする。なお、この大まかな位置合わせの際には、非剛体の燃料チューブ４については、剛体とみなしており、結果的に、燃料チューブ４の長さ範囲内で平均的な位置合わせがなされる。第１位置合わせ部７ａによる対象領域の大まかな位置合わせは、対象領域のスキャニングの進行と並行して実行される。第１位置合わせ部７ａは、ＦＰＦＨアルゴリズム以外の公知のアルゴリズムを用いて対象領域の大まかな位置合わせを行うものであってもよい。
　進捗度算出部７ｂは、第１位置合わせ部７ａによる大まかな位置合わせの後、イグニッションコイル３および燃料チューブ４の後述の詳細な位置合わせを行う前に、対象領域の中で必要となるスキャニングがどの程度進行しているかを示す進捗度を算出する。例えば、進捗度算出部７ｂは、リファレンスとなる設計データに基づく対象領域の点群データの点数と、第１位置合わせ部７ａによる大まかな位置合わせによってリファレンスとターゲットとの間で互いにマッチングした点群データの点数と、の比からスキャニングの進捗度を算出する。進捗度算出部７ｂは、さらに、このように算出した進捗度を所定の進捗度閾値（本実施例では例えば４０％）と比較し、スキャニングの進行に伴って徐々に増加していく進捗度がこの進捗度閾値を越えたかどうかをリアルタイムに判定する。例えば、そのときの進捗度およびこの進捗度が進捗度閾値を越えたかどうかの情報が、情報出力部７ｉを介してディスプレイ８に表示されるので、作業者は、この表示に従って、３次元レーザスキャナ５によるスキャニングを継続することとなる。換言すれば、３次元レーザスキャナ５によるスキャニング（点群データの生成）と大まかな位置合わせと進捗度算出とが、所定の進捗度閾値を越えるまでリアルタイムに繰り返される。例えば、図４において破線で囲まれた領域が４０％の進捗度に相当する。
　なお、進捗度は、上記のようなデータ点数の比のほか、３次元レーザスキャナ５が通過した視点の数、大まかな位置合わせの中で用いられるキーポイントの数、等によって評価するようにしてもよい。
　第２位置合わせ部７ｃは、進捗度が閾値を越えていることを条件として、部品個々に空間内での詳細な位置合わせを行う。すなわち、第２位置合わせ部７ｃは、イグニッションコイル３および燃料チューブ４の計測により得たターゲットの点群データの全ての点についてリファレンスの点群データの中からペアとなる点を探索し、リファレンスとなる点群データをターゲットとなる点群データに詳細に位置合わせする。非剛体の燃料チューブ４について、ここでは、剛体とみなしており、結果的に、燃料チューブ４の長さ範囲内で平均的な位置合わせがなされる。第２位置合わせ部７ｃにおける詳細な位置合わせは、公知の適当なアルゴリズムを用いて行うことができる。
　第３位置合わせ部７ｄは、第２位置合わせ部７ｃによる詳細な位置合わせの後に、非剛体の部品（本実施例では燃料チューブ４）について、変形を考慮したいわゆる非剛体位置合わせを行うものである。ここでは、公知の適当なアルゴリズムを用いることができるが、例えば、予め剛体とみなして位置合わせをしたリファレンスの点群データとターゲットの点群データとから最近傍ペアを探索し、ペアの２点を互いに近づけるパラメータとして、回転・拡大・平行移動の各パラメータを求める。例えば、燃料チューブ４の外形状をダウンサンプルして、頂点およびエッジを有した複数の三角形で外表面を構成するような形態にしておき、ダウンサンプルされた各領域、つまり隣接した複数の三角形を含む各領域の点群（クラスタ）を代表する頂点を用いて、エッジの長さが変化しない（厳密には、長さ変化が最小）という制約を付して、クラスタの変形を回転・拡大・平行移動のパラメータに分解する。このようなクラスタ単位の変形の集合として燃料チューブ４全体の変形が得られる。第３位置合わせ部７ｄは、このような変形を考慮した非剛体位置合わせの手法により、燃料チューブ４についてのリファレンスの点群データを変形させつつ空間内でターゲットの点群データに位置合わせする。
　信頼度算出部７ｅは、対象とする各部品（つまり、イグニッションコイル３および燃料チューブ４）の位置合わせに対する信頼度を算出する。換言すれば、信頼度算出部７ｅは、イグニッションコイル３および燃料チューブ４のそれぞれについて、位置合わせしたリファレンスの点群データの近傍にターゲットの点群データがどれぐらい収まっているかを示す信頼度を算出する。
　図５は、信頼度を説明するために、位置合わせ後の燃料チューブ４の点群データを模式的に示した説明図である。説明の単純化のために、ここでは、仮に、燃料チューブ４のある断面における円形の外表面が１３個の点群データで形作られるものと仮定している。円形に並んだ１３個の点群データＤｒは、設計データに基づくリファレンスの点群データであり、半円状に並んだ７個の点群データＤｔは、計測データに基づくターゲットの点群データである。例えば３次元レーザスキャナ５によるスキャニングが図の上側からのみ行われた結果、下半部がいわゆる欠損領域となり、ターゲットの点群データＤｔは半円状に並んでいる。
　信頼度は、例えば、リファレンスの点群データＤｒの点数と、このリファレンスの点群データＤｒの各点から半径Ｌの範囲内に含まれるターゲットの点群データＤｔの点数と、の比で示される。なお、図では、リファレンスの点群データＤｒの多数の点から半径Ｌの範囲内を、それぞれ破線で示す外側の円Ｃ１と内側の円Ｃ２とで表している。図５（ａ）の例では、円Ｃ１，Ｃ２の範囲Ｒ内にターゲットの４個の点群データＤｔが含まれているので、信頼度は４／１３となる。また、図５（ｂ）に示す例では、円Ｃ１，Ｃ２の範囲Ｒ内に含まれるターゲットの点群データＤｔが２個であるので、信頼度は２／１３となる。図５（ｃ）に示す例では、ターゲットの全ての点つまり７個の点群データＤｔが範囲Ｒ内に含まれており、信頼度は７／１３となる。このように、信頼度は、位置合わせの精度と、計測データにおける欠損領域の大きさないし割合と、の双方の影響を受ける。
　第１補間部７ｆは、イグニッションコイル３の計測データつまりターゲットの点群データにおいてスキャニングされずに欠けている部分を、リファレンスの点群データで補間するものである。つまり、エンジンルーム１の上側から見えずに隠れているイグニッションコイル３の裏側（下側）の外表面部分を、リファレンスの点群データで補間し、隠れている部分を含むイグニッションコイル３の点群データを生成する。そして、第１補間部７ｆは、生成された点群データを、周知の変換手法を用いて面を構成するメッシュデータに変換する。
　同様に、第２補間部７ｇは、燃料チューブ４の計測データつまりターゲットの点群データにおいてスキャニングされずに欠けている部分を、リファレンスの点群データで補間するものである。つまり、エンジンルーム１の上側から見えずに隠れている燃料チューブ４の裏側（下側）の外表面部分を、リファレンスの点群データで補間し、隠れている部分を含む燃料チューブ４の点群データを生成する。そして、第２補間部７ｇは、生成された点群データを、周知の変換手法を用いて面を構成するメッシュデータに変換する。
　距離算出部７ｈは、第１補間部７ｆによって取得されたイグニッションコイル３のメッシュデータと、第２補間部７ｇによって取得された燃料チューブ４のメッシュデータとに基づいて、イグニッションコイル３の表面の各点から燃料チューブ４の表面の各点までの距離をそれぞれ算出する。さらに、距離算出部７ｈは、算出された各距離を互いに比較することで最小距離を求める。なお、距離算出部７ｈは、イグニッションコイル３の点群データと燃料チューブ４の点群データとをメッシュデータに変換することなく、各々の点群データに基づいて、イグニッションコイル３の各点から燃料チューブ４の各点までの距離をそれぞれ算出するようにしてもよい。
　情報出力部７ｉは、ディスプレイ８に表示すべき種々の画像や図示しないスピーカから音声として出力すべきデータ等を生成する。例えば、最終的に求められた最小距離や前述した進捗度等が作業者によって視認可能な１つあるいは複数のディスプレイ８に表示される。
　欠損領域判定部７ｊは、対象とする各部品（イグニッションコイル３および燃料チューブ４）の各々について、計測データの中で欠けている部分つまり欠損領域の判定を行うものである。例えば、各部品の設計データの中でスキャニングされるべき表面を多数のグリッドに区分し、各グリッド毎にスキャニングした点群の割合（スキャニングされるべき点数に対する実際にスキャニングした点数の比）を求め、この割合が所定の閾値以下であったら当該グリッドは欠損領域である、と判定する。これによって、対象部品の設計データの中でどの部分が欠損領域であるかが求められる。
　なお、もともとスキャニングの対象とならない表面部分（例えば他部品に囲まれて直線的に視認できない部分等）は欠損領域の判定対象とはならない。つまり、スキャニング操作が適切に行われていれば計測データを取得することができ、計測データの取得が予定されている部分であるにも拘わらず、計測データの欠落している部分が欠損領域となる。
　計測パラメータ算出部７ｋは、欠損領域判定部７ｊが判定した欠損領域に対し、これら欠損領域の計測データ取得を行うために必要な３次元レーザスキャナ５による計測の計測パラメータを算出する。計測パラメータとは、３次元レーザスキャナ５の位置およびその指向方向（換言すれば角度）、さらには、レーザの強度などの計測モードを変更し得る場合にはその計測モード、等を意味する。一実施例では、作業者が３次元レーザスキャナ５を手に持って移動させながらスキャニングを行うので、欠損領域の計測データ取得に必要な３次元レーザスキャナ５の位置およびその指向方向は連続した移動軌跡として生成される。
　このように生成された計測パラメータ（例えば必要な移動軌跡や計測モード等）は、情報出力部７ｉを介してディスプレイ８に表示される。欠損領域の位置や範囲を併せて表示するようにしてもよい。作業者は、このディスプレイ８の表示に従って、追加のスキャニングを行うこととなる。
　図９は、計測パラメータ算出部７ｋにおける計測パラメータ算出原理を説明する説明図である。この簡略化した図９では、例えば上述したエンジンルーム１における計測が必要な領域全体を計測対象物ＯＪとして示している。計測対象物ＯＪは、既に計測データが取得されている領域ＯＪａと、計測データが欠落している欠損領域ＯＪｂと、を有する。計測パラメータ算出部７ｋは、まず、図９（ａ）に示すように、計測対象物ＯＪの周囲に多数の仮想視点を設定する。図中の四角錐は、３次元レーザスキャナ５を模式的に表しており、四角い底面の向きが３次元レーザスキャナ５の指向方向である。符号５ａ，５ｂ，５ｃ・・・として示すように、位置や指向方向が異なる多数の仮想視点を設定する。また、３次元レーザスキャナ５が計測深度の異なる切換可能な２つの計測モードを有する場合は、各モード毎に仮想視点を設定する。次に、各仮想視点について、欠損領域ＯＪｂのデータ取得の良否を評価する。例えば、仮想視点から対象とする欠損領域を直線的に視認できるか否か、欠損領域までの距離が計測に適当か否か、多数の欠損領域をまとめて計測できるかどうか、等を評価する。
　そして、図９（ｂ）に示すように、同じ計測モードを有する相対的に有利な複数の仮想視点を補間して１本の連続した線につなぎ、指向方向を含む３次元レーザスキャナ５の好ましい移動軌跡ＴＲ１１を生成する。ここでは、指向方向が急変しないことを条件とする。符号Ｓはスキャニングの開始点、符号Ｅは終了点、をそれぞれ示す。なお、仮想視点の評価の結果、異なる計測モードでの追加のスキャニングが必要であれば、各モード毎に好ましい移動軌跡が生成される。このように生成された好ましい移動軌跡ＴＲ１１は、追加のスキャニングのための指示軌跡として例えば図示のように指向方向を含む画像としてディスプレイ８に表示される。
　移動軌跡判定部７ｍは、作業者がスキャニングを行っている３次元レーザスキャナ５の移動軌跡を当該３次元レーザスキャナ５によって取得されるデータに基づいて推定し、この移動軌跡が指示されている指示軌跡から乖離しているかどうかを判定するものである。例えば、図７に示すように、エンジンルーム１内の組立体のような特定の計測対象物ＯＪ（図では簡略化して示す）に対し予め３次元レーザスキャナ５の指向方向を含む指示軌跡（作業者が３次元レーザスキャナ５を操作すべき軌跡）ＴＲ１，ＴＲ２が設定されており、例えばディスプレイ８上の表示あるいは印刷物等によって作業者にその指示が与えられる。作業者は、この指示軌跡ＴＲ１，ＴＲ２に沿って３次元レーザスキャナ５を動かし、スキャニングを行う。なお指示軌跡ＴＲ１は３次元レーザスキャナ５の計測モードを第１のモードとして行うスキャニングの指示軌跡、指示軌跡ＴＲ２は第２のモードとして行うスキャニングの指示軌跡である。作業者による実際のスキャニング作業が指示軌跡に正しく沿っていないと、欠損領域が増加し、好ましくない。そのため、移動軌跡判定部７ｍは、実際の移動軌跡が指示軌跡から乖離しているかどうかを判定し、乖離している場合には、その旨を作業者に報知して移動軌跡の修正を促すのである。
　図８は、移動軌跡判定の原理を説明する説明図である。スキャニングの対象となる領域の基本的な形状ないし構成はデータベース６から得られる設計データとして既知であるので、３次元レーザスキャナ５から逐次得られる点群データに基づき、３次元レーザスキャナ５の空間内での位置およびその指向方向の推定が可能であり、ひいては３次元レーザスキャナ５の指向方向を含めてその移動軌跡の推定が可能である。このように推定された移動軌跡ＴＲ１’は、逐次、指示軌跡ＴＲ１と比較される。例えば、図８に示すように、指示軌跡ＴＲ１を構成する点Ｐ１，Ｐ２，Ｐ３・・・および移動軌跡ＴＲ１’を構成する点Ｐ１１，Ｐ１２，Ｐ１３・・・の座標列から最近傍となる２点を結ぶベクトルペアの角度差および距離差を求め、これらを比較することで、局部的な指示軌跡ＴＲ１と移動軌跡ＴＲ１’との一致度合いを判定することが可能である。なお、移動軌跡の乖離を判定するためのアルゴリズムとしては、他の公知の適当なアルゴリズムを用いることができる。
　実際の移動軌跡が指示軌跡から乖離している場合の作業者への報知は、ディスプレイ８上の表示や音声での警告・指示等が可能であるが、好ましい一実施例では、３次元レーザスキャナ５がバイブレータを内蔵しており、作業者が手で持っている３次元レーザスキャナ５を振動させることで作業者へ警告・報知する。このとき、修正を促す情報として、乖離度合いに応じた強さの振動をバイブレータが発することが好ましい。つまり、スキャニング作業中に実際の移動軌跡が指示軌跡から離れようとすると３次元レーザスキャナ５が振動し始め、指示軌跡から離れるほど振動が強くなり、その後指示軌跡に近付けば振動が弱くなるので、作業者が空間内での指示軌跡を厳密に把握していなくても、指示軌跡に沿ったスキャニング作業が容易となる。
　次に、図６のフローチャートに基づいて本実施例の隙間検査装置の動作について説明する。
　まず、ステップＳ１として、作業者による３次元レーザスキャナ５の操作によって、対象部品であるイグニッションコイル３および燃料チューブ４を含むエンジンルーム１内の所定の領域を外側からスキャニングして各部品の外表面の一部を含む点群データを取得する。このスキャニングおよび点群データの生成は、スキャニング操作に伴って徐々に進行する。
　次に、ステップＳ２において、データベース６から、対象部品であるイグニッションコイル３や燃料チューブ４および周辺の他部品のＣＡＤデータをこれらの空間的位置関係を示すＣＡＤデータとともに取得する。
　そして、ステップＳ３において、公知の適当な変換手法を用いて、ＣＡＤデータを点群データに変換する。
　次に、ステップＳ４において、前述の第１位置合わせ部７ａとして、ターゲットとなる領域全体とリファレンスとなる領域全体との大まかな位置合わせを行う。前述したように、イグニッションコイル３、燃料チューブ４および他部品を含む領域全体の点群データと、データベース６に蓄積された設計データにおけるイグニッションコイル、燃料チューブおよび他部品を含む領域全体の点群データとを、キーポイントの探索やペアとなるキーポイントの組み合わせを用いて位置合わせすることで、大まかな位置合わせを行う。
　ステップＳ４の大まかな位置合わせの後に、ステップＳ５において、前述の進捗度算出部７ｂとして、リファレンスとなる領域の点群データの点数と、スキャニングされた領域の点群データの中のマッチングした点数と、の比からスキャニングの進捗度を算出する。
　そして、ステップＳ６において、この進捗度が所定の進捗度閾値（例えば４０％）を越えたか否かを判定する。進捗度が閾値以下の場合には、ステップＳ７に移行し、ディスプレイ８にその進捗度を表示して、作業者によるスキャニングを継続する。つまりステップＳ１以降の処理を繰り返す。
　ここで、ステップＳ７に続くステップＳ８において、前述した移動軌跡判定部７ｍとして、作業者による３次元レーザスキャナ５の実際の移動軌跡を推定し、さらにステップＳ９において、推定した移動軌跡が正しい指示軌跡に沿っているかどうかを判定する。指示軌跡に沿っていれば、ステップＳ１へ戻り、そのままスキャニングを繰り返す。推定した移動軌跡が正しい指示軌跡から乖離していたら、ステップＳ１０においてその旨を作業者に報知して軌跡の修正を促した上でステップＳ１へ戻り、スキャニングを継続する。作業者への報知は、好ましくは、前述したように、３次元レーザスキャナ５に内蔵したバイブレータによる乖離の程度に応じた強さの振動を用いる。
　従って、基本的に、スキャニングを開始してから進捗度が所定の進捗度閾値に達するまでの間は、ステップＳ１～Ｓ１０の処理が繰り返されることとなる。仮に指示軌跡の全てを通過しても進捗度閾値に達しない場合は、同じ指示軌跡に沿って複数回のスキャニングを行う必要がある。
　ステップＳ６において進捗度が閾値を越えたら、ステップＳ６からステップＳ１１に移行し、対象部品であるイグニッションコイル３および燃料チューブ４の点群データを、領域全体についての計測データの点群データおよび設計データの点群データからそれぞれ抽出する。計測データから抽出された点群データがいわゆるターゲットとなり、設計データから抽出された点群データがいわゆるリファレンスとなる。リファレンスとなる対象部品の点群データは、部品単体のＣＡＤデータから生成してもよい。
　次に、ステップＳ１２において、第２位置合わせ部７ｃとして、公知の適当なアルゴリズムを用いて、イグニッションコイル３および燃料チューブ４の詳細な位置合わせを行う。ここでは、燃料チューブ４は剛体とみなす。例えば、前述したように、大まかな位置合わせを経ているターゲットの点群データとリファレンスの点群データとの間でペアとなる点を探索し、リファレンスがターゲットに近付くように詳細な位置合わせを行う。
　次に、非剛体である燃料チューブ４の非剛体位置合わせのために、ステップＳ１３において、燃料チューブ４のデータをダウンサンプルする。そして、ステップＳ１４において、燃料チューブ４の変形を考慮した非剛体位置合わせを行う。つまり、リファレンスの点群データを変形させつつターゲットの位置に位置合わせする。この非剛体位置合わせでは、上述したように剛体とみなして位置合わせをしたリファレンスの点群データとターゲットの点群データとから最近傍ペアを探索し、互いに近づけるパラメータとして、回転・拡大・平行移動を求める。
　次に、ステップＳ１５へ進み、イグニッションコイル３および燃料チューブ４のそれぞれについて位置合わせの信頼度を算出する。信頼度は、例えば、リファレンスの点群データの点数と、このリファレンスの点群データの各点から所定半径の範囲内に含まれるターゲットの点群データの点数と、の比で示される。
　そして、ステップＳ１６において、イグニッションコイル３の位置合わせの信頼度および燃料チューブ４の位置合わせの信頼度がそれぞれ所定の信頼度を満たしているか否かを判定する。双方の信頼度がともに所定の信頼度を満たしている場合は、位置合わせが完了したものとしてステップＳ１７に移行する。
　ステップＳ１７では、第１補間部７ｆおよび第２補間部７ｇとして、イグニッションコイル３および燃料チューブ４のターゲットの点群データのスキャニングされていない部分を、ターゲットに位置合わせしたリファレンスの点群データで補間する。これにより、それぞれのターゲットの位置において、スキャニングされていない部分（つまり隠れている部分）を含むイグニッションコイル３および燃料チューブ４の点群データが生成される。
　そして、ステップＳ１８において、公知の変換手法を用いて、イグニッションコイル３および燃料チューブ４の双方について、スキャニングされていない部分を含む点群データを、面を構成するメッシュデータに変換する。
　次に、ステップＳ１９において、距離算出部７ｈとして、イグニッションコイル３のメッシュデータと、燃料チューブ４のメッシュデータとに基づいて、イグニッションコイル３と燃料チューブ４との間の最小距離を算出する。つまり、各表面の任意の２点間の距離を求め、その中の最小値を最小距離とする。
　そして、ステップＳ２０において、この最小距離を含む検査結果や他の必要な情報をディスプレイ８に表示する。算出した最小距離を閾値と比較して、閾値未満の場合に何らかの警告を表示するようにしてもよい。
　一方、ステップＳ１６においていずれかの部品について位置合わせの信頼度が不足していると判定した場合は、ステップＳ１６からステップＳ２１へ進み、信頼度が不足している部品について欠損領域の判定を行う。前述したように、各部品の設計データの中でスキャニングされるべき表面を多数のグリッドに区分し、各グリッド毎にスキャニングした点群の割合（スキャニングされるべき点数に対する実際にスキャニングした点数の比）を求め、この割合が所定の閾値以下であったら当該グリッドは欠損領域である、と判定する。
　なお、ステップＳ２１においてＮＯの場合は、信頼度の不足が欠損領域に起因しないことを意味し、例えば、対象部品が正しく認識されていない等であるので、何らかの警告等をディスプレイ８に表示して処理を終了する。この場合、例えば、最初のスキャニングからやり直すこととなる。
　ステップＳ２１において欠損領域がある（換言すれば不十分な信頼度が欠損領域に起因する）と判定したら、ステップＳ２１からステップＳ２２へ進み、欠損領域のデータ取得のために、対象となる領域（エンジンルーム１）の周囲に複数の仮想視点を設定して各々の有利性を評価する。そして、ステップＳ２３において、追加のスキャニングに必要な計測パラメータ（３次元レーザスキャナ５の移動軌跡、指向方向、計測モード、等）を算出し、ステップＳ２４において、これらの計測パラメータを用いて追加のスキャニングを行うべきことを作業者に指示する。これは、例えばディスプレイ８上の表示、音声指示、等による。パラメータとして算出した必要な移動軌跡は、追加のスキャニングのための指示軌跡として画面表示することが望ましい。そして、ステップＳ２４からステップＳ１へ戻り、再スキャニングを行う。なお、図示例では、追加のスキャニングの際にもステップＳ８～Ｓ１０の移動軌跡の判定・修正を行うようにしている。追加のスキャニングは、位置合わせの信頼度が所定の信頼度を満たすまで（ステップＳ１６）、あるいは、欠損領域がない（例えば、ある割合以下）と判定するまで（ステップＳ１７）継続される。
　このように、上記実施例では、適正にスキャニングされていればデータを取得できるはずの部分について欠損領域の判定を行い、この欠損領域のデータを取得するに必要な計測パラメータを算出して、この計測パラメータに沿った追加のスキャニングを作業者に促すので、効率良く３次元計測データを取得することができる。また、スキャニング時の欠損領域の存在に起因した種々の検査精度の低下を抑制できる。特に、位置合わせの信頼度が低い部品についてのみ欠損領域の判定を行い、当該部品の欠損領域を埋めるように追加のスキャニングがなされるので、追加のスキャニングが効率のよいものとなる。
　さらに、欠損領域の判定は、リファレンスの点群データをターゲットの点群データに位置合わせした後に行うので、対象部品のどの部分が欠損領域であるかをより正確に把握することができる。
　また上記実施例では、作業者が操作する３次元レーザスキャナ５の移動軌跡が所定の指示軌跡に沿っているかどうかが判定され、指示軌跡に沿うように修正が促される。従って、スキャニングがより容易にかつより適切なものとなり、作業時間の短縮が図れる。
　以上、この発明を自動車のイグニッションコイル３と燃料チューブ４との間の隙間の検査に適用した一実施例を説明したが、この発明はこのような用途に限られず、複数の部品を含む組立体において対象部品の空間内での位置や姿勢等の空間的な配置状態に関連した検査に広く適用することができる。なお、上記実施例では、２部品の間の距離の検査を行うために２つの部品が対象部品となっているが、対象部品が１つであっても本発明は適用が可能である。
　また、上記実施例では、３次元レーザスキャナ５を作業者が手に持って操作する例を説明したが、ロボットによって３次元センサによるスキャニングを行う場合にも、上述した欠損領域の処理や移動軌跡の推定等を同様に適用することができる。この場合は、欠損領域を補うために算出された計測パラメータに沿ってロボットアームを制御することで、追加のスキャニングが可能である。
　なお、３次元センサとしては上記実施例の３次元レーザスキャナ５に限らず、３次元の点群データを取得・生成し得るものであれば、どのような形式のものであってもよい。ＴｏＦ形式のものやステレオカメラ等の三角測量方式のものなど、広く適用することができる。

Claims (9)

  1. 　複数の部品を組み立ててなる組立体において対象とする１つないし複数の部品の空間的な配置状態に関連した検査を行う部品検査方法において、
    　対象部品を含む領域を外側から３次元センサによりスキャニングして対象部品の外表面の一部を含む計測データを取得し、
    　対象部品の個々の外形状および当該部品の組立体内での位置関係を含む設計データを取得し、
    　対象部品の設計データと比較して対象部品の計測データにおける欠損領域を判定し、
    　この欠損領域の計測データを取得するのに適した３次元センサの計測パラメータを決定し、
    　この計測パラメータに沿った追加のスキャニングを行う、
    　部品検査方法。
  2. 　設計データに基づく対象部品の点群データを、計測データから抽出した対象部品の点群データに位置合わせした後に、欠損領域の判定を行う、請求項１に記載の部品検査方法。
  3. 　複数の対象部品の各々について位置合わせを行うとともに点群の中の対応点数に基づいて位置合わせの信頼度を対象部品毎に求め、
    　位置合わせの信頼度が低い対象部品について欠損領域の判定を行う、
    　請求項２に記載の部品検査方法。
  4. 　複数の仮想視点の各々についてこれら仮想視点から３次元センサによりデータ取得したときの欠損領域のデータ取得の良否をそれぞれ評価し、
    　有利な複数の仮想視点を結ぶ軌跡および各仮想視点において必要な３次元センサの角度を計測パラメータとして決定する、
    　請求項１に記載の部品検査方法。
  5. 　スキャニング中の３次元センサの移動軌跡を当該３次元センサによって取得されるデータに基づいて推定し、
    　この移動軌跡が指示されている軌跡から乖離しているかどうかを判定し、
    　乖離している場合には、修正を促す情報を出力する、
    　請求項１に記載の部品検査方法。
  6. 　スキャニングにより取得した対象部品を含む領域の点群データに、設計データに基づく当該領域の点群データをキーポイントを用いて位置合わせする大まかな位置合わせを繰り返し行いつつ、３次元センサの移動軌跡の推定、乖離の判定、修正を促す情報の出力、を行う、
    　請求項５に記載の部品検査方法。
  7. 　作業者が操作する３次元センサがバイブレータを具備しており、
    　修正を促す情報として、乖離度合いに応じた強さの振動をバイブレータが発する、
    　請求項５に記載の部品検査方法。
  8. 　大まかな位置合わせを行った２つの点群データのマッチング状態からスキャニングの進捗度を求め、
    　この進捗度が所定のレベルに達したときに対象部品の位置合わせを行う、
    　請求項２に記載の部品検査方法。
  9. 　複数の部品を組み立ててなる組立体において対象とする１つないし複数の部品の空間的な配置状態に関連した検査を行う部品検査装置であって、
    　対象部品を含む領域を外側からスキャニングする３次元センサと、
    　この３次元センサを用いたスキャニングにより対象部品の外表面の一部を含む計測データを取得する計測データ取得部と、
    　対象部品の個々の外形状および当該部品の組立体内での位置関係を含む設計データをデータベースから取得する設計データ取得部と、
    　対象部品の設計データと比較して対象部品の計測データにおける欠損領域を求める欠損領域判定部と、
    　この欠損領域の計測データを取得するのに適した３次元センサの計測パラメータを求める計測パラメータ算出部と、
    　追加のスキャニングのためにこの計測パラメータを作業者に対し出力する情報出力部と、
    　を備える部品検査装置。
PCT/JP2023/009217 2022-06-09 2023-03-10 部品検査方法および装置 WO2023238465A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022093398 2022-06-09
JP2022-093398 2022-06-09

Publications (1)

Publication Number Publication Date
WO2023238465A1 true WO2023238465A1 (ja) 2023-12-14

Family

ID=89117973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009217 WO2023238465A1 (ja) 2022-06-09 2023-03-10 部品検査方法および装置

Country Status (1)

Country Link
WO (1) WO2023238465A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153149A (ja) * 2013-02-07 2014-08-25 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、及びプログラム
JP2015068654A (ja) * 2013-09-26 2015-04-13 株式会社ニコン 形状測定装置、構造物製造システム及び形状測定用コンピュータプログラム
WO2017126060A1 (ja) * 2016-01-20 2017-07-27 三菱電機株式会社 ３次元計測装置及びその計測支援処理方法
JP2018054430A (ja) * 2016-09-28 2018-04-05 株式会社東芝 検査装置及び計測軌道経路生成方法
JP2020125916A (ja) * 2019-02-01 2020-08-20 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 移載対象ワーク記憶システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153149A (ja) * 2013-02-07 2014-08-25 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、及びプログラム
JP2015068654A (ja) * 2013-09-26 2015-04-13 株式会社ニコン 形状測定装置、構造物製造システム及び形状測定用コンピュータプログラム
WO2017126060A1 (ja) * 2016-01-20 2017-07-27 三菱電機株式会社 ３次元計測装置及びその計測支援処理方法
JP2018054430A (ja) * 2016-09-28 2018-04-05 株式会社東芝 検査装置及び計測軌道経路生成方法
JP2020125916A (ja) * 2019-02-01 2020-08-20 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 移載対象ワーク記憶システム

Similar Documents

Publication Publication Date Title
US7865316B2 (en) System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part
KR101155816B1 (ko) 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
US6690841B2 (en) Method and apparatus for image registration
JP4774824B2 (ja) ３次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置
JP4442661B2 (ja) ３次元計測方法および３次元計測装置
JP5388921B2 (ja) ３次元距離計測装置及びその方法
WO2015065660A1 (en) Mapping damaged regions on objects
JPH08101032A (ja) 大型物体の表面の三次元測定方法及び装置
JP7228951B2 (ja) 損失価格評価システム
Sadaoui et al. Automatic path planning for high performance measurement by laser plane sensors
Chatterjee et al. Viewpoint planning and 3D image stitching algorithms for inspection of panels
WO2023238465A1 (ja) 部品検査方法および装置
US11630208B2 (en) Measurement system, measurement method, and measurement program
Fernandez et al. Laser scan planning based on visibility analysis and space partitioning techniques
WO2023238451A1 (ja) 部品検査方法および部品検査装置
WO2023238305A1 (ja) 隙間検査方法および隙間検査装置
JP7410387B2 (ja) 付属品の取り付け位置検査方法及び取り付け位置検査装置
US20240353347A1 (en) Visual inspection apparatus and visual inspection method
CN118408607B (zh) 汽车零部件检测方法及装置
JP2021081384A (ja) 面歪評価装置、面歪評価方法、及び、プログラム
Shu et al. Model-based scanning path generation for inspection
JP2020201107A (ja) 撮影処理装置、及び撮影処理方法
CN117255931A (zh) 图像处理装置、图像处理方法及图像处理程序
CN117881959A (zh) 外观检查装置以及外观检查方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819452

Country of ref document: EP

Kind code of ref document: A1