WO2017002831A1 - 計測システム及び計測方法 - Google Patents
計測システム及び計測方法 Download PDFInfo
- Publication number
- WO2017002831A1 WO2017002831A1 PCT/JP2016/069197 JP2016069197W WO2017002831A1 WO 2017002831 A1 WO2017002831 A1 WO 2017002831A1 JP 2016069197 W JP2016069197 W JP 2016069197W WO 2017002831 A1 WO2017002831 A1 WO 2017002831A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- slit
- bright
- bright lines
- dot
- measured
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Definitions
- the present invention relates to a measurement system and a measurement method for measuring a three-dimensional coordinate of an object to be measured.
- a light cutting method is widely known as a method for inputting a three-dimensional shape of an object using a camera as an imaging device.
- Patent Document 1 discloses a distance measuring device using a light cutting method. This distance measuring device captures the reflected light (bright line) of the slit light on the surface of the object (object to be measured) with a CCD camera, and determines the position of the object from the direction in which the slit light is emitted, the position of the light source and the position of the CCD camera. Measure the distance between.
- the present invention has been made in view of these points, and an object thereof is to provide a measurement system and a measurement method capable of measuring the three-dimensional coordinates of the object to be measured with higher accuracy.
- the first irradiating means for irradiating the object to be measured with a plurality of slit-shaped slit lights and the first irradiating means for irradiating the object to be measured with the plurality of slit lights.
- a second irradiating means for irradiating the object to be measured with a plurality of dot-shaped dot lights having a predetermined positional relationship with each of the plurality of slit lights; and Imaging means for imaging a plurality of bright lines appearing on the surface of the object to be measured and a plurality of bright spots appearing on the surface by being irradiated with the plurality of dot lights, and generating a picked-up image; and A specifying means for comparing the plurality of bright lines and the reference image indicating a predetermined positional relationship between the bright spots and specifying the correspondence between the plurality of bright lines of the captured image and the plurality of slit lights; The plurality of the captured images And two-dimensional coordinates of the line, on the basis of correspondence and in which said identifying means has identified, and a acquisition means for acquiring three-dimensional coordinates of the plurality of emission lines, to provide a measurement system.
- first irradiation means and the second irradiation means may be located on the same straight line in the slit direction which is the longitudinal direction of the slit that irradiates the slit light.
- the first irradiation unit and the second irradiation unit are positioned apart from each other by a predetermined interval in a direction other than the slit direction, and the measurement system includes an irradiation position of the slit light on the object to be measured, It is good also as providing the light reflection means for adjusting the irradiation position to the to-be-measured object of dot light.
- the irradiation direction of the plurality of slit lights to the object to be measured is a direction intersecting each other, and the specifying unit specifies the irradiation direction of the slit light corresponding to each of the plurality of bright lines. Also good.
- the second irradiation unit may irradiate the plurality of dot lights so that each of the plurality of bright lines has a different bright spot adjacent state.
- the specifying unit may extract a unit region including one point on the bright line of the captured image and the periphery of the one point, and determine a degree of correlation with the unit region of the reference image.
- the object to be measured is a tubular body
- the imaging means images the plurality of bright lines and bright spots that appear on the surface of the tubular body from a line-of-sight direction that intersects the irradiation direction of the first irradiation means. It is good as well.
- the acquisition means may acquire the three-dimensional coordinates of the cross-sectional shape of the tubular body in which the arcuate bright line is a part.
- the cross-sectional shape may be an elliptical shape
- the acquisition means may acquire the minor axis of the ellipse of the sectional shape and set the minor axis as the outer diameter of the tubular body.
- the acquisition means may acquire a center line of the tubular body based on a plurality of cross-sectional shapes of the tubular body, each of which is a part of the plurality of bright lines.
- the acquisition means may acquire a direction vector of a center line of the tubular body based on three-dimensional coordinates of points on the plurality of bright lines.
- the step of irradiating the object to be measured with a plurality of slit-shaped slit lights and each of the plurality of slit lights when irradiating the object to be measured with the plurality of slit lights Irradiating the object to be measured with a plurality of dot-shaped dot lights having a predetermined positional relationship, and a plurality of bright lines appearing on the surface of the object to be measured by irradiating the plurality of slit lights, Imaging a plurality of bright spots appearing on the surface by irradiating the plurality of dot lights to generate a captured image; the captured image; and the predetermined positions of the plurality of bright lines and bright spots
- FIG. 1 It is a block diagram showing an example of composition of measuring system S concerning one embodiment of the present invention. It is a figure which shows an example of the irradiation state of the slit light with respect to a to-be-measured object. It is a schematic diagram for demonstrating an example of a structure of the slit light irradiation apparatus 2 and the dot light irradiation apparatus 3. FIG. It is a figure for demonstrating the positional relationship of slit light and dot light. It is a figure which shows an example of a captured image. It is a figure which shows an example of a reference
- FIG. 6 is a schematic diagram for explaining a cross section of a tubular body 9 specified from each of bright lines L1 to L4. It is a figure for demonstrating the 1st modification of the outer diameter acquisition method of the tubular body. It is a figure for demonstrating the acquisition method of the direction vector of the centerline of the tubular body.
- FIG. 10 is a diagram for explaining a modification of the method for obtaining the direction vector of the center line of the tube body 9; It is a schematic diagram for demonstrating the modification of a structure of the slit light irradiation apparatus 2 and the dot light irradiation apparatus 3.
- FIG. FIG. 6 is a schematic diagram for explaining a shift between bright lines L1 to L4 and a bright spot D in the horizontal direction.
- 4 is a schematic diagram for explaining an example of a configuration of a light reflecting means 70.
- FIG. 10 is a flowchart for explaining a process of acquiring three-dimensional coordinates of bright lines L1 to L4 on the tubular body 9.
- 4 is a flowchart for explaining a calibration method of the slit light irradiation device 2 and the imaging device 4.
- 5 is a schematic diagram for explaining a calibration block 91.
- FIG. 4 is a schematic diagram showing a front surface of a calibration block 91.
- FIG. 4 is a schematic diagram showing
- FIG. 1 is a block diagram illustrating an example of a configuration of a measurement system S according to an embodiment.
- the measurement system S includes a control device 1, a slit light irradiation device 2, a dot light irradiation device 3, and an imaging device 4.
- the slit light irradiation device 2 corresponds to the first irradiation means
- the dot light irradiation device 3 corresponds to the second irradiation means.
- the control device 1 is, for example, a computer, and controls the operations of the slit light irradiation device 2, the dot light irradiation device 3, and the imaging device 4.
- the control device 1 also has a function of performing image processing on the captured image input from the imaging device 4. Although details will be described later, the control device 1 performs a process of acquiring the three-dimensional coordinates from the two-dimensional coordinates in the captured image.
- the slit light irradiation device 2 irradiates a measured object with a plurality of slit light beams. Specifically, the slit light irradiation device 2 irradiates the object to be measured with a plurality of slit laser beams at the same time.
- slit laser light is typically available, but slit-like pattern light that is irradiated or displayed using an appropriate light source (for example, a projector) can also be used.
- an appropriate light source for example, a projector
- the object to be measured is a tubular body.
- the measurement object is not limited to this, and the object to be measured may have an arbitrary shape such as a living body.
- FIG. 2 is a diagram showing an example of the irradiation state of slit light on the object to be measured.
- the dot light irradiation device 3 is not shown for convenience of explanation.
- the slit light irradiation device 2 simultaneously irradiates the tube 9 that is the object to be measured with a plurality of slit laser beams (here, four slit laser beams 23a to 23d), so that the surface of the tube 9 has an arc shape.
- a plurality of bright lines here, four bright lines L1 to L4 appear.
- the irradiation direction of the four slit laser beams 23a to 23d to the tube body 9 is not parallel but crosses each other.
- the irradiation directions (irradiation angles) of the four slit laser beams 23a to 23d are set in advance.
- FIG. 3 is a schematic diagram for explaining an example of the configuration of the slit light irradiation device 2 and the dot light irradiation device 3.
- FIG. 3 is a view of the slit light irradiation device 2 and the dot light irradiation device 3 as viewed from the tube 9 side in FIG.
- the slit light irradiation device 2 includes four slits 21 that are elongated openings, and a laser element (not shown) that is provided inside the device and emits laser light. The laser light emitted from the laser element passes through the four slits 21 and is irradiated onto the tube body 9.
- the slit light irradiation device 2 and the dot light irradiation device 3 are located on the same straight line in the slit direction, which is the longitudinal direction of the slit on which the slit light irradiation device 2 irradiates the slit laser light. That is, the slit light irradiation device 2 and the dot light irradiation device 3 have a focal point that is the origin of the divergence of the slit laser light irradiated by the slit light irradiation device 2 and a focal point of the dot laser light irradiated by the dot light irradiation device 3. These are fixed so as to be on the same straight line in the slit direction.
- the slit light irradiation device 2 is positioned directly above the dot light irradiation device 3 in the slit direction (z-axis direction).
- the present invention is not limited to this, and the slit light irradiation device 2 may be positioned directly below the dot light irradiation device 3.
- the dot light irradiation device 3 irradiates the tube body 9 with a plurality of dot-shaped dot lights. Specifically, the dot light irradiation device 3 is configured to be able to irradiate dot laser light randomly. As the light that can be used as dot light, dot laser light is typically available, but dot-shaped pattern light that is irradiated or displayed using an appropriate light source (such as a projector) can also be used. .
- the dot light irradiation device 3 has a large number of holes 31 as shown in FIG. 3 and a laser element (not shown) provided inside the device and emitting laser light.
- the laser light emitted from the laser element passes through the hole 31 and is irradiated to the tube body 9.
- a large number of holes 31 are shown to be regularly arranged at predetermined intervals, but a large number of holes 31 are arranged so that the intervals between the holes 31 are random. Thereby, it becomes possible to irradiate dot laser light at random.
- the dot light irradiation device 3 irradiates the tube body 9 with a plurality of dot laser beams when the slit light irradiation device 2 irradiates the tube body 9 with the plurality of slit laser beams 23a to 23d.
- the plurality of dot laser beams have a predetermined positional relationship with each of the slit laser beams 23a to 23d.
- FIG. 4 is a diagram for explaining the positional relationship between the slit light and the dot light.
- the slit light irradiation device 2 irradiates a predetermined area on a flat surface with a slit laser beam
- the dot light irradiation device 3 also applies dots to the predetermined area. It shall be irradiated with laser light.
- the slit laser beam is irradiated, four bright lines L1 to L4 as shown in FIG. 4A appear on the surface of the tube body 9, and when the dot laser beam is irradiated, FIG. A large number of random bright spots D as shown in b) appear on the surface of the tube body 9.
- the slit light irradiation device 2 is located immediately above the slit direction of the dot light irradiation device 3, when the slit laser light and the dot laser light are simultaneously irradiated, the bright lines L1 to L4 and the bright spot D are detected.
- the positional relationship is as shown in FIG.
- the bright lines L1 to L4 and the bright spot D are displaced in the slit direction (vertical direction) due to the parallax from the camera, but the bright lines L1 to L4 and the bright spot D are in the slit direction. There is no deviation in the direction perpendicular to the left and right direction.
- the imaging device 4 is a camera, for example, and images the tube 9 irradiated with the slit laser beams 23a to 23d and the dot laser beam to generate a captured image. That is, the imaging device 4 irradiates the surface of the tube body 9 by irradiating a plurality of bright lines L1 to L4 appearing on the surface of the tube body 9 by irradiation with a plurality of slit laser beams and a plurality of dot laser beams. A plurality of bright spots D appearing are imaged to generate a captured image.
- the imaging device 4 images the tubular body 9 in a direction in which the irradiation direction of the slit light irradiation device 2 and the line-of-sight direction intersect.
- the imaging device 4 is attached to the table 6 (FIG. 2) so that the positional relationship with the slit light irradiation device 2 is maintained. That is, during the measurement, the angle between the installation direction of the imaging device 4 and the installation direction of the slit light irradiation device 2 and the distance between the imaging device 4 and the slit light irradiation device 2 are fixed to a predetermined size.
- the slit light irradiation device 2 and the dot light irradiation device 3 are also attached to the table 6.
- FIG. 5 is a diagram illustrating an example of a captured image.
- the captured image is an image showing the tube 9 in which four bright lines L1 to L4 and a large number of bright spots D appear on the surface.
- the arrangement pattern of the bright spots D around the four bright lines L1 to L4 is different. That is, the dot light irradiation device 3 randomly irradiates a plurality of dot laser beams so that the adjacent state of the bright spot D is different from each of the plurality of bright lines L1 to L4.
- the captured image includes not only the bright lines L1 to L4 that appear on the surface of the tube 9 by the slit laser beams 23a to 23d, but also other than the tube 9 by the slit laser beams 23a to 23d.
- the bright line that appears in the portion between the slit light irradiation device 2 and the tube 9 is also included.
- These bright lines exist in the captured image as a plurality of repetitive patterns, and these repetitive patterns are usually in a shifted relationship, so it is possible to specify which slit laser light causes the bright lines L1 to L4 on the tube 9 to appear. Hard to do.
- the measurement system S In contrast, the measurement system S according to the present embodiment generates captured images (FIG. 5) in which the bright lines L1 to L4 and the bright spots D appear, and each of the bright lines L1 to L4 and the slit laser beams 23a to 23d. The correspondence of is identified. Then, the measurement system S calculates the three-dimensional coordinates of the bright lines L1 to L4 based on the two-dimensional coordinates of the bright lines L1 to L4 obtained from the captured image and the specified correspondence relationship. Thereby, even when the tube body 9 is irradiated with the plurality of slit laser beams 23a to 23d at the same time, the three-dimensional coordinates of the plurality of bright lines L1 to L4 can be acquired.
- the slit light irradiation device 2 and the dot light irradiation device 2 and the dot light irradiation device 3 irradiate the slit light irradiation device 2 and the dot light from the irradiation of the slit laser light and the dot laser light, respectively, until the imaging device 4 takes an image.
- the positions of the irradiation device 3 and the imaging device 4 are fixed. As a result, the images of the bright lines L1 to L4 can be captured at a time, so that the occurrence of errors due to the movement of the slit light irradiation device 2, the dot light irradiation device 3, and the imaging device 4 can be suppressed.
- the table 6 on which the slit light irradiation device 2, the dot light irradiation device 3, and the imaging device 4 are attached is moved by a known predetermined amount, so that a plurality of A captured image may be captured and connected.
- the shape and position of the tubular body 9 having a large axial length can be obtained with high accuracy.
- control device 1 includes a communication unit 11, a display unit 12, an operation unit 13, a storage unit 14, and a control unit 15.
- the communication unit 11 is a communication interface (hereinafter referred to as communication IF) that performs communication with an external device.
- the communication unit 11 performs wired communication with the slit light irradiation device 2, the dot light irradiation device 3, and the imaging device 4 via, for example, a cable and transmits / receives information.
- the communication unit 11 may perform wireless communication with the slit light irradiation device 2, the dot light irradiation device 3, and the imaging device 4 without being limited thereto.
- the display unit 12 includes, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display.
- the display unit 12 displays a captured image captured by the imaging device 4.
- the operation unit 13 includes, for example, a keyboard and a mouse, and the user can perform an input operation.
- the user performs various input operations related to the measurement of the object to be measured via the operation unit 13.
- the storage unit 14 includes, for example, a ROM and a RAM, and stores various programs and various data for causing the control device 1 to function.
- the storage unit 14 stores the captured image received from the imaging device 4.
- the storage unit 14 stores information related to a reference image indicating a predetermined positional relationship between a plurality of bright lines and bright spots appearing in the tubular body 9 described later.
- the reference image is used to identify the slit laser beam corresponding to the bright line in the captured image as compared with the captured image.
- the reference image is not limited to image information such as luminance and chromaticity, and may be information that can specify the positional relationship between the slit laser beam and the dot laser beam.
- FIG. 6 is a diagram illustrating an example of a reference image.
- the reference image is an image including four bright lines M1 to M4 and a large number of bright points D.
- the reference image is an image showing a predetermined area (see FIG. 4A) irradiated with, for example, slit laser light or dot laser light.
- the reference image can be set according to the combination of the slit light irradiation device 2 and the dot light irradiation device 3 used for measurement.
- the reference image shown in FIG. 6 is an image when a flat surface is irradiated with slit laser light and dot laser light, unlike when the cylindrical tube body 9 shown in FIG. 2 is irradiated with laser light. . Therefore, the bright lines M1 to M4 are straight lines unlike the arc-shaped bright lines L1 to L4 shown in FIG. Further, a large number of bright spots D are randomly scattered on the bright lines M1 to M4, and the scattered patterns of the bright spots D around the bright lines M1 to M4 are different.
- control unit 15 is constituted by a CPU, for example.
- the control unit 15 comprehensively controls functions related to the control device 1 by executing various programs stored in the storage unit 14.
- the control unit 15 functions as the irradiation control unit 151, the specifying unit 152, and the acquisition unit 153.
- the irradiation controller 151 controls the irradiation of the slit laser beams 23 a to 23 d by the slit light irradiation device 2 and the irradiation of the dot laser light by the dot light irradiation device 3. In the present embodiment, the irradiation controller 151 irradiates the object to be measured with the slit laser beams 23a to 23d at the same time.
- the irradiation controller 151 also emits dot laser light when irradiating the slit laser light 23a to 23d. Specifically, the irradiation controller 151 irradiates the slit laser beams 23a to 23d and the dot laser beam at the same time. Note that the irradiation control unit 151 may control the irradiation intensity of the slit laser beams 23a to 23d and the dot laser beam in consideration of the type and shape of the object to be measured.
- the specifying unit 152 compares the captured image shown in FIG. 5 with the reference image shown in FIG. 6 and specifies the correspondence between the plurality of bright lines L1 to L4 of the captured image and the plurality of slit laser beams 23a to 23d. That is, the specifying unit 152 compares the captured image captured by the imaging device 4 when the slit laser beams 23a to 23d and the dot laser beam are irradiated on the tube body 9 with the reference image stored in the storage unit 14. Thus, the correspondence relationship between the bright lines L1 to L4 and the slit laser beams 23a to 23d is specified.
- the specifying unit 152 can specify the irradiation direction of the slit laser light that represents each of the bright lines L1 to L4 by specifying the correspondence between the bright lines L1 to L4 and the slit laser lights 23a to 23d. .
- the specifying unit 152 extracts a unit region including one point on the bright lines L1 to L4 of the captured image as a comparison target. In this way, by comparing only the region including the points on the bright lines L1 to L4 in the captured image, the captured image and the reference image are compared with the case where all the regions of the captured image are compared. Processing time required for comparison can be shortened.
- FIG. 7A is a diagram for explaining a point to be compared in the captured image.
- a point A on the bright line L3 is a point to be compared.
- the specifying unit 152 extracts a small rectangular area including the periphery of the point A with the point A as the center, as a unit area.
- FIG. 7B is a schematic diagram for explaining the extracted unit area. Since the extracted unit region is a small region, even if the bright line L3 is arcuate, the portion of the bright line L3 in the unit region is substantially a straight line as shown in FIG. 7B. As can be seen from FIG. 7B, a plurality of bright spots D are scattered around the bright line L3 in the unit region. In the present embodiment, it is desirable that the dot light irradiation device 3 irradiates the dot laser light so that the bright spots D are scattered in the unit region.
- the identifying unit 152 extracts a unit area of the extracted captured image (hereinafter referred to as an imaging side unit area) and a unit area (hereinafter referred to as a reference side unit area) having the same size as the imaging side unit area on the reference image. Contrast). And the specific
- FIG. 8 is a diagram for explaining the reference-side unit area of the reference image.
- the identifying unit 152 sequentially searches the reference side unit region including the points on the bright lines M1 to M4 along the bright lines M1 to M4. Thereby, since the area
- FIG. 8 it is assumed that the scattered pattern of bright spots D in the reference-side unit region R centered on a point on the bright line M3 is the same as the scattered pattern of bright spots D in FIG. 7B. Then, the specifying unit 152 determines that the degree of correlation between the imaging-side unit region including the point A of the captured image and the reference-side unit region R of the reference image is large.
- the reference unit region is sequentially searched along the bright lines M1 to M4.
- the present invention is not limited to this.
- the specifying unit 152 can efficiently search for the same reference side unit area as the scattered pattern of the bright spots D of the imaging side unit area by using the epipolar straight line.
- FIG. 9 is a diagram for explaining a search method using epipolar lines.
- the straight line N is an epipolar straight line passing through the point A in FIG. 7A.
- the epipolar straight line N is a straight line obtained by projecting a line connecting the point A and the slit light irradiation device 2. For this reason, the point A is located on the epipolar straight line N.
- the specifying unit 152 allows the four reference side units centering on the imaging side unit region and the intersections (four points) of the bright lines M1 to M4 and the epipolar straight line N in the reference image. Contrast with the area. Thereby, since the area
- the acquisition unit 153 acquires the three-dimensional shape of the tubular body 9 captured by the imaging device 4. Specifically, first, the acquisition unit 153 obtains the two-dimensional coordinates of the bright lines L1 to L4 that appear on the surface of the tubular body 9 with reference to the captured image captured by the imaging device 4. Next, the acquisition unit 153 determines the two-dimensional coordinates of the bright lines L1 to L4 and the correspondence specified by the specifying unit 152 (that is, the irradiation direction of the slit laser beams 23a to 23d on which the bright lines L1 to L4 are based). Based on this, the three-dimensional coordinates of the bright lines L1 to L4 are acquired.
- the acquisition unit 153 uses the principle of triangulation to calculate the bright lines L1 to L4 from the two-dimensional coordinates of the bright lines L1 to L4 and the plane equations of the slit laser beams 23a to 23d on which the bright lines L1 to L4 are based. The distance between the bright line L4 and the imaging device 4 is obtained. Then, the acquisition unit 153 acquires the three-dimensional coordinates of the bright lines L1 to L4 based on the two-dimensional coordinates of the bright lines L1 to L4 and the distance between the bright lines L1 to L4 and the imaging device 4.
- the three-dimensional coordinates of the bright lines L1 to L4 are, for example, the expressions (4.18) (expressions (4.16) and (4.17) described in the book “Three-dimensional image measurement” (by Seiji Iguchi and Kosuke Sato)). (See also)).
- the two-dimensional coordinates (u, v) of the bright line correspond to X c and Y c in the equation (4.16), respectively.
- the acquisition unit 153 further acquires the cross-sectional shape of the tube body 9 based on the three-dimensional coordinates of the bright lines L1 to L4.
- the acquisition unit 153 acquires the three-dimensional coordinates of the cross-sectional shape of the tubular body 9 of which the arcuate bright lines L1 to L4 form a part.
- the acquisition unit 153 acquires an elliptical cross section as shown in FIG.
- FIG. 10 is a schematic diagram for explaining a cross section of the tubular body 9 specified from each of the bright lines L1 to L4.
- the acquisition unit 153 acquires the four elliptical cross sections F1 to F4 shown in FIG. 10 based on the arcuate bright lines L1 to L4.
- the cross section F1 includes the bright line L1 as a part
- the cross section F2 includes the bright line L2 as a part
- the cross section F3 includes the bright line L3 as a part
- the cross section F4 includes the bright line L4 as a part.
- the acquisition unit 153 may acquire the outer diameter of the tube body 9 based on the acquired cross sections F1 to F4. Specifically, the acquisition unit 153 acquires an elliptical minor axis (diameter in the minor axis direction) having a cross-sectional shape, and sets the acquired minor axis as the outer diameter (diameter) of the tube body 9.
- the reason why the minor axis of the ellipse is the outer diameter of the tubular body 9 is that when the tubular body 9 is cut by a plane orthogonal to the axial direction, it becomes a perfect circle having the same diameter as the minor axis of the ellipse. Because.
- the acquisition unit 153 may use the average value of the minor diameters of the ellipses of the four cross sections F1 to F4 as the outer diameter of the tubular body 9. Thereby, the outer diameter of the tubular body 9 can be acquired with high accuracy.
- the acquisition unit 153 may acquire the center line of the tubular body 9 based on the acquired four cross sections F1 to F4. Specifically, the acquisition unit 153 acquires a straight line C passing through the centers of the four cross sections F1 to F4 as the center line of the tubular body 9 as shown in FIG. By acquiring the center line and the cross-sectional shape in this way, it becomes easy to specify the three-dimensional shape of the tube body 9.
- the acquisition unit 153 sets the minor axis of the ellipse as the outer diameter of the tubular body 9 when the cross-sectional shape is an ellipse, but is not limited thereto.
- the acquisition unit 153 may set the outer diameter of the tubular body 9 based on the size of a perpendicular line dropped from the point on the ellipse having a cross-sectional shape to the center line of the tubular body 9.
- FIG. 11 is a diagram for explaining a first modification of the outer diameter acquisition method of the tube body 9.
- FIG. 11A for convenience of explanation, only two cross sections F1 and F2 of the tubular body 9 obtained from the bright lines L1 and L2 are shown.
- the acquisition unit 153 forms a plurality of perpendiculars H from the point on the ellipse that is the shape of the cross section F1 toward the center line C, and sets the average value of the sizes of the plurality of perpendiculars H as the outer diameter of the tubular body 9. .
- the acquisition unit 153 forms a plurality of vertical lines H from the point of the bright line L1 toward the center line C instead of the ellipse having the shape of the cross section F1, and obtains an average value of the sizes of the plurality of vertical lines H. You may set as an outer diameter of 9.
- FIG. 12A is a diagram for explaining a method of acquiring the direction vector of the center line of the tube body 9.
- the acquisition unit 153 identifies a straight line D passing through points G1 to G4 closest to an arbitrary plane set in the space on the four bright lines L1 to L4.
- This straight line D is defined as a direction vector of the central axis of the tube by a line parallel to the center line C of the tube body 9.
- FIG. 12B is a diagram for describing a modification of the method for obtaining the direction vector of the center line of the tubular body 9.
- three cross sections F1 to F3 are shown. Acquisition of the direction vector of the center line is performed as follows. First, a point J on the cross section F1 on the slit laser emission line is specified. Next, a straight line connecting the point J on the cross section F1 and the point on the cross section F2 is specified. For example, specifying a straight line D3 through a point J, the point K 3 on the section F2. Similarly, straight lines D1 and D2 that pass through the point J and other points on the cross section F2 (as an example, the points K 1 and K 2 ) are specified.
- the distance d between the straight lines D1 to D3 and the cross section F3 is obtained, and the straight line with the smallest distance d between the cross section F3 is obtained.
- the distance between the straight line D1 and the cross section F3 is 0, and the straight line D1 is a straight line passing through the three cross sections F1 to F3.
- the straight line D1 obtained in this way becomes the direction vector of the center line of the tube body 9.
- the slit light irradiation device 2 and the dot light irradiation device 3 are provided along the slit direction (Z direction) as shown in FIG. 3, but the present invention is not limited to this.
- the slit light irradiation device 2 and the dot light irradiation device 3 may be provided along a direction perpendicular to the slit (X direction).
- FIG. 13 is a schematic diagram for explaining a modification of the configuration of the slit light irradiation device 2 and the dot light irradiation device 3.
- the dot light irradiation device 3 is positioned perpendicularly to the slit and separated from the slit light irradiation device 2 by a predetermined distance.
- FIG. 14 is a schematic diagram for explaining the deviation between the bright lines L1 to L4 and the bright spot D in the direction perpendicular to the slit.
- FIG. 14 and FIG. 4C when the slit light irradiation device 2 and the dot light irradiation device 3 are arranged perpendicularly to the slit, the bright lines L1 to L4 and the bright spot D However, it will shift
- the specifying unit 152 may not be able to accurately compare the captured image including the bright lines L1 to L4 and the bright spot D that are in a shifted relationship with the reference image. Therefore, in order to solve such a problem, it is desirable to provide a light reflecting means 70 as shown in FIG.
- FIG. 15 is a schematic diagram for explaining an example of the configuration of the light reflecting means 70.
- the optical path of the slit laser light irradiated by the slit light irradiation device 2 and the optical path of the dot laser light irradiated by the dot light irradiation device 3 are indicated by broken lines.
- the light reflecting means 70 has a function of adjusting the irradiation position of the slit laser light on the tube 9 in the direction perpendicular to the slit and the irradiation position of the dot laser light on the tube 9.
- the light reflecting means 70 includes a mirror 71 and a beam splitter 72.
- the mirror 71 is located in front of the dot light irradiation device 3.
- the mirror 71 reflects the dot laser light irradiated by the dot light irradiation device 3 toward the beam splitter 72.
- the beam splitter 72 is located in front of the slit light irradiation device 2.
- the beam splitter 72 is a half mirror that transmits the slit laser light while reflecting the dot laser light.
- the optical axis of the slit laser light transmitted through the beam splitter 72 and the optical axis of the dot laser light reflected by the beam splitter 72 are perpendicular to the slit (X direction).
- the mirror 71 and the beam splitter 72 are arranged so that the optical axis of the slit laser light and the optical axis of the dot laser light overlap in a direction perpendicular to the slit. Accordingly, even when the slit light irradiation device 2 and the dot light irradiation device 3 are arranged as shown in FIG. 13, it is possible to eliminate the deviation between the bright line and the bright spot in the direction perpendicular to the slit.
- FIG. 16 is a flowchart for explaining the process of acquiring the three-dimensional coordinates of the bright lines L1 to L4 on the tube 9. This flowchart is started when the operator sets the slit light irradiation device 2, the dot light irradiation device 3, the imaging device 4, and the tube body 9 at the measurement positions.
- the irradiation controller 151 of the controller 15 operates the slit light irradiation device 2 and the dot light irradiation device 3 to irradiate the tube body 9 with the slit laser light 23a to 23d and the dot laser light (step S102). Specifically, the irradiation controller 151 irradiates the tube body 9 with the slit laser beams 23a to 23d and the dot laser beam at the same time. As a result, four bright lines L1 to L4 and a plurality of random bright spots D appear on the surface of the tube body 9.
- control unit 15 operates the image pickup device 4 to pick up an image of the tube 9 in which four bright lines L1 to L4 and a plurality of random bright spots D appear on the surface (step S104). Then, the imaging device 4 generates a captured image including bright lines L1 to L4 and a plurality of bright spots D as shown in FIG. 5 and transmits the captured image to the control unit 15, for example.
- the specifying unit 152 of the control unit 15 extracts the bright lines L1 to L4 from the captured image (step S106). For example, the specifying unit 152 extracts the bright lines L1 to L4 from the captured image using a known median filter or the like.
- the specifying unit 152 calculates the coordinates (u, v) of the extracted bright lines L1 to L4 (step S108). Specifically, the specifying unit 152 calculates the coordinates (u, v) of the bright lines L1 to L4 after thinning the extracted bright lines L1 to L4. By thinning the extracted bright lines L1 to L4, the amount of calculation can be reduced when the captured image and the reference image are compared. The specifying unit 152 may calculate the coordinates (u, v) of the bright lines L1 to L4 without performing the thinning process.
- the specifying unit 152 includes an image of a unit area (hereinafter, also referred to as a peripheral image) including one point A (u, v) on a bright line (here, the bright line L3 illustrated in FIG. 7A will be described as an example). Is extracted (step S110). At this time, the specifying unit 152 may delete the bright lines L1 to L4 and extract a peripheral image in which the bright points D are scattered. Erasure of the bright lines L1 to L4 is realized, for example, by deleting the bright lines L1 to L4 extracted in step S106 from the captured image generated in step S104.
- the specifying unit 152 searches for a unit area (reference side unit area) having the same pattern as the dotted pattern of the bright spots D of the peripheral image in the reference image stored in the storage unit 14 (step S112). For example, the specifying unit 152 searches for a reference-side unit region including points on the bright lines M1 to M4 by the search method described with reference to FIGS.
- the specifying unit 152 specifies that the slit laser light corresponding to the bright line L3 is the slit laser light 23c ( Step S116).
- step S114 the specifying unit 152 extracts a peripheral image around the next point on the bright line L3 (step S120), and the scattered pattern of the bright points D of the peripheral image is extracted. The same pattern is searched (step S112).
- the acquisition unit 153 When the slit laser beams corresponding to the bright lines L1 to L4 are specified, the acquisition unit 153 includes the two-dimensional coordinates of the four bright lines L1 to L4, the bright lines L1 to L4 specified by the specifying unit 152, and the slit laser beams 23a to 23d. And the three-dimensional coordinates of the bright lines L1 to L4 are obtained (step S118). Then, the acquisition unit 153 obtains the shape of the tubular body 9 by obtaining the cross-sectional shape, center line, and the like of the tubular body 9 based on the three-dimensional coordinates of the bright lines L1 to L4.
- the measurement system S performs calibration of the parameters of the slit light irradiation device 2 and the imaging device 4 in advance in order to accurately obtain the three-dimensional coordinates of the bright lines L1 to L4 on the tube body 9 described above. Yes.
- the calibration is performed before the acquisition processing of the three-dimensional coordinates of the bright lines L1 to L4, for example, when the slit light irradiation device 2 or the imaging device 4 is changed or the object to be measured is changed.
- FIG. 17 is a flowchart for explaining a calibration method of the slit light irradiation device 2 and the imaging device 4.
- the flowchart shown in FIG. 17 is started when the calibration block 91 shown in FIG. 18 is set at the position of the tubular body 9 shown in FIG.
- FIG. 18 is a schematic diagram for explaining the calibration block 91.
- FIG. 19 is a schematic diagram showing the front surface of a rectangular parallelepiped calibration block 91. As shown in FIG. 19, the calibration block 91 includes a scale portion 92 to which a graph paper is pasted, and a graphic portion and a marker portion 93 to be pasted.
- the scale portion 92 is for measuring the actual three-dimensional coordinates of the bright line appearing on the front surface of the calibration block 91 when the slit light irradiation device 2 irradiates the calibration block 91 with the slit laser beam. .
- the scale portion 92 is also attached to the upper surface and the lower surface of the calibration block 91.
- the actual three-dimensional coordinates of the bright line are measured by an operator, for example.
- the marker unit 93 is for specifying a reference position in the calibration block 91 when the imaging device 4 images the calibration block 91.
- the slit light irradiation device 2 irradiates the calibration block 91 with the slit laser light (step S202). As a result, a bright line appears in the calibration block 91.
- the imaging block 4 captures an image of the calibration block 91 where the bright line appears (step S204). Thereby, a captured image including a bright line is generated.
- the two-dimensional coordinates of the bright line in the captured image generated by the imaging device 4 are compared with the actual three-dimensional coordinates of the bright line actually measured by the operator, and the parameters of the imaging device 4 and the slit light irradiation device 2 are compared.
- the parameters of the imaging device 4 are constants for converting two-dimensional coordinates in the captured image into three-dimensional coordinates.
- the line-of-sight vector from the imaging device to the bright line is defined by the parameters of the imaging device 4.
- the parameter of the slit light irradiation device 2 is a constant that defines the plane of each slit laser.
- parameters are parameters applied to the equation (4.18) of the book “Three-dimensional image measurement” (Seiji Iguchi, Kosuke Sato), for example.
- the parameter of the imaging device 4 is obtained from the above equation (4.21) of the book
- the parameter of the slit light irradiation device 2 is obtained from the equation (4.24) of the book.
- the three-dimensional coordinates of the points on the laser emission line can be obtained by calculating the intersection of the line-of-sight vector from the camera focus to each point on the emission line and the slit laser plane.
- the obtained parameters of the imaging device 4 and the parameters of the slit light irradiation device 2 are applied to the equation (4.18) of the book (step S210).
- the equation (4.18) to which the parameter is applied in the process of acquiring the three-dimensional coordinates of the bright line the three-dimensional coordinates of the bright line in the captured image can be acquired with high accuracy.
- the slit light irradiation device 2 and the imaging device 4 are calibrated.
- the calibration is not limited to this.
- the dot light irradiation device 3 may be calibrated.
- the measurement system S described above has a predetermined positional relationship with each of the slit laser beams 23a to 23d when the slit light irradiation device 2 irradiates the tube body 9, which is the object to be measured, with the plurality of slit laser beams 23a to 23d. It has a dot light irradiation device 3 that irradiates the tube body 9 with a plurality of dot-shaped dot laser beams.
- the measurement system S preliminarily determines the picked-up image obtained by the image pickup device 4 picking up the tube 9 in which the bright lines L1 to L4 by the slit laser beams 23a to 23d and the bright spot D by the dot laser light appear, and the bright lines and bright points.
- the correspondence relationship between the bright lines L1 to L4 of the captured image and the slit laser beams 23a to 23d is specified by comparing with the reference image indicating the positional relationship.
- the measurement system S acquires the three-dimensional coordinates of the bright lines L1 to L4 based on the two-dimensional coordinates of the bright lines L1 to L4 in the captured image and the specified correspondence relationship.
- each of the bright lines L1 to L4 in the captured image is irradiated with the slit laser beams 23a to 23d by irradiating the dot laser light so that the bright points D are randomly scattered on the bright lines L1 to L4. It becomes easy to specify which one appeared. As a result, the irradiation directions (irradiation angles) of the slit laser beams 23a to 23d that are the basis of the bright lines L1 to L4 are also obtained. The original coordinates can be acquired.
- the three-dimensional coordinates of the bright lines L1 to L4 can be obtained with high accuracy even when the tube body 9 is irradiated with a plurality of slit laser beams 23a to 23d at the same time.
- the captured image includes not only the bright lines L1 to L4 but also other bright lines that appear in parts other than the tubular body 9 (which appear to deviate from the bright lines L1 to L4).
- the shape of the tube body 9 can be accurately grasped by using the three-dimensional coordinates of the bright lines L1 to L4 acquired as described above. That is, since the cross-sectional shape, outer diameter, and center line including each of the bright lines L1 to L4 of the tube body 9 can be obtained from the three-dimensional coordinates of the bright lines L1 to L4, the detailed shape of the tube body 9 can be acquired.
- the slit laser beam is applied to the tube 9 as the object to be measured.
- the slit light irradiation device 2 may irradiate a slit laser beam to an object of arbitrary shape such as a living body.
- the number of slit laser beams irradiated by the slit light irradiation device 2 is not limited to four as shown in FIG. 2, and may be three or less or five or more, for example.
- the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
- the slit light irradiation device 2 and the dot light irradiation device 3 are described as different devices. However, the present invention is not limited to this, and the slit light irradiation device 2 and the dot light irradiation device 3 are integrated. It may be an integrated device.
- a projector is used by generating a screen including vertical stripe lines and random dots in a personal computer and projecting the generated screen with a projector.
- the same function as the slit light irradiation device 2 and the dot light irradiation device 3 may be realized.
- the imaging device 4 is used as the imaging unit.
- a plurality of imaging devices may be used as the imaging unit.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
計測システムSは、管体9にスリット状の複数のスリットレーザ光23a~23dを照射するスリット光照射装置2と、スリットレーザ光23a~23dの各々と所定の位置関係を有するドット状の複数のドットレーザ光を管体9に照射するドット光照射装置3と、管体9の表面に現れる複数の輝線L1~L4と、管体9の表面に現れる複数の輝点Dとを撮像して、撮像画像を生成する撮像装置4と、撮像画像と、複数の輝線L1~L4及び輝点Dの予め定まった位置関係を示す基準画像とを対比して、撮像画像の輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する特定部152と、撮像画像における輝線L1~L4の二次元座標と、特定部152特定した対応関係とに基づいて、輝線L1~L4の三次元座標を取得する取得部153とを備える。
Description
本発明は、被測定物の三次元座標を計測する計測システム及び計測方法に関する。
近年、コンピュータビジョンに関する研究が活性化し、撮像装置を用いた物体の三次元情報入力システムが身近なものになりつつある。この種の技術の中で、撮像装置としてカメラを用いて物体の三次元形状を入力する手法として、光切断法が広く知られている。
例えば、下記の特許文献1には、光切断法を利用した距離測定装置が開示されている。この距離測定装置は、CCDカメラによって物体(被測定物)の表面におけるスリット光の反射光(輝線)を撮像し、スリット光を発した方向、光源の位置及びCCDカメラの位置から、物体との間の距離を測定する。
一方で、被測定物の形状等を効率よく計測するために、被測定物に複数のスリットレーザ光を同時に照射する方式が検討されている。しかし、複数のスリット光を被測定物に照射した場合には、どの方向から投光されたスリットレーザ光であるかを特定する必要がある。撮像画像に、被測定物に現れる輝線と被測定物以外の部分に現れるスリットレーザ光とがずれた状態で写る場合のように、被測定物の形状が複雑な場合は、被測定物と被測定物以外の部分とで不連続になっている輝線の繰り返しパターンが撮像画像内に複数存在する。このような場合、複数の輝線の各々に対応するスリットレーザ光を特定し難いため、各輝線までの距離が計測できない。この結果、被測定物の三次元座標が測定できない。
そこで、本発明はこれらの点に鑑みてなされたものであり、被測定物の三次元座標をより高精度に計測可能な計測システム及び計測方法を提供することを目的とする。
本発明の第1の態様においては、被測定物にスリット状の複数のスリット光を照射する第1照射手段と、前記第1照射手段が前記複数のスリット光を前記被測定物に照射する際に、前記複数のスリット光の各々と所定の位置関係を有するドット状の複数のドット光を、前記被測定物に照射する第2照射手段と、前記複数のスリット光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドット光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成する撮像手段と、前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリット光との対応関係を特定する特定手段と、前記撮像画像における前記複数の輝線の二次元座標と、前記特定手段が特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得する取得手段とを備える、計測システムを提供する。
また、前記第1照射手段及び前記第2照射手段は、前記スリット光を照射するスリットの長手方向であるスリット方向の同一直線上に位置することとしてもよい。
また、前記第1照射手段及び前記第2照射手段は、前記スリット方向以外の方向に所定間隔だけ離れて位置し、前記計測システムは、前記スリット光の前記被測定物への照射位置と、前記ドット光の前記被測定物への照射位置とを調整するための光反射手段を更に備えることとしてもよい。
また、前記複数のスリット光の前記被測定物への照射方向は、互いに交差する方向であり、前記特定手段は、前記複数の輝線の各々に対応する前記スリット光の照射方向を特定することとしてもよい。
また、前記第2照射手段は、前記複数の輝線の各々に対して輝点の隣接状態が異なるように、前記複数のドット光を照射することとしてもよい。
また、前記特定手段は、前記撮像画像の前記輝線上の一点及び前記一点の周囲を含む単位領域を抽出し、前記基準画像の前記単位領域との相関度合いを判定することとしてもよい。
また、前記被測定物は、管状体であり、前記撮像手段は、前記第1照射手段の照射方向と交差する視線方向から、前記管状体の表面に現れる前記複数の輝線及び輝点を撮像することとしてもよい。
また、前記取得手段は、円弧形状の前記輝線が一部を成す前記管状体の断面形状の三次元座標を取得することとしてもよい。
また、前記断面形状は、楕円形状であり、前記取得手段は、前記断面形状の楕円の短径を取得し、前記短径を前記管状体の外径と設定することとしてもよい。
また、前記取得手段は、前記複数の輝線の各々が一部を成す前記管状体の複数の断面形状に基づいて、前記管状体の中心線を取得することとしてもよい。
また、前記取得手段は、前記複数の輝線上の点の三次元座標に基づいて、前記管状体の中心線の方向ベクトルを取得してもよい。
本発明の第2の態様においては、被測定物にスリット状の複数のスリット光を照射するステップと、前記複数のスリット光を前記被測定物に照射する際に、前記複数のスリット光の各々と所定の位置関係を有するドット状の複数のドット光を、前記被測定物に照射するステップと、前記複数のスリット光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドット光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成するステップと、前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリット光との対応関係を特定するステップと、前記撮像画像における前記複数の輝線の二次元座標と、特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得するステップとを有する、計測方法を提供する。
本発明によれば、被測定物の三次元座標をより高精度に計測できるという効果を奏する。
<1.計測システムの構成>
図1を参照しながら、本発明の一実施形態に係る計測システムSの概要について説明する。図1は、一実施形態に係る計測システムSの構成の一例を示すブロック図である。
図1を参照しながら、本発明の一実施形態に係る計測システムSの概要について説明する。図1は、一実施形態に係る計測システムSの構成の一例を示すブロック図である。
計測システムSは、制御装置1と、スリット光照射装置2と、ドット光照射装置3と、撮像装置4とを有する。本実施形態では、スリット光照射装置2が第1照射手段に該当し、ドット光照射装置3が第2照射手段に該当する。
制御装置1は、例えばコンピュータであり、スリット光照射装置2、ドット光照射装置3及び撮像装置4の動作を制御する。また、制御装置1は、撮像装置4から入力される撮像画像に対して画像処理を行う機能も有する。制御装置1は、詳細は後述するが、撮像画像における二次元座標から三次元座標を取得する処理を行う。
スリット光照射装置2は、被測定物にスリット状の複数のスリット光を照射する。具体的には、スリット光照射装置2は、同時に複数のスリットレーザ光を被測定物に照射する。スリット光として利用することができる光は、スリットレーザ光が典型的に利用可能であるが、適宜の光源(例えばプロジェクタ等)を用いて照射又は表示されるスリット状のパターン光も利用可能である。
以下では、被測定物が、管状体であるものとする。ただし、これに限定されず、被測定物が、生体など任意の形状を有するものであってもよい。
以下では、被測定物が、管状体であるものとする。ただし、これに限定されず、被測定物が、生体など任意の形状を有するものであってもよい。
図2は、被測定物に対するスリット光の照射状態の一例を示す図である。図2では、説明の便宜上、ドット光照射装置3を図示していない。スリット光照射装置2が、複数のスリットレーザ光(ここでは、4つのスリットレーザ光23a~23d)を被測定物である管体9に同時に照射することで、管体9の表面に円弧状の複数の輝線(ここでは、4つの輝線L1~L4)が現れる。なお、4つのスリットレーザ光23a~23dの管体9への照射方向は、平行ではなく、互いに交差する方向となっている。また、4つのスリットレーザ光23a~23dの照射方向(照射角度)は、予め設定されている。
図3は、スリット光照射装置2及びドット光照射装置3の構成の一例を説明するための模式図である。図3は、図2における管体9側からスリット光照射装置2及びドット光照射装置3を見た際の図である。スリット光照射装置2は、細長い開口である4本のスリット21と、装置内部に設けられレーザ光を出射するレーザ素子(不図示)とを有する。レーザ素子から出射されたレーザ光は、4本のスリット21を通過して管体9に照射される。
スリット光照射装置2及びドット光照射装置3は、スリット光照射装置2がスリットレーザ光を照射するスリットの長手方向であるスリット方向の同一直線上に位置する。すなわち、スリット光照射装置2及びドット光照射装置3は、スリット光照射装置2が照射するスリットレーザ光の発散の原点である焦点と、ドット光照射装置3が照射するドットレーザ光の焦点とが、スリット方向の同一直線上になるように固定されている。本実施形態では、図3に示すように、スリット光照射装置2が、スリット方向(z軸方向)において、ドット光照射装置3の真上に位置している。ただし、これに限定されず、スリット光照射装置2は、ドット光照射装置3の真下に位置してもよい。
図1に戻り、ドット光照射装置3は、管体9にドット状の複数のドット光を照射する。具体的には、ドット光照射装置3は、ランダムにドットレーザ光を照射可能に構成されている。ドット光として利用することができる光は、ドットレーザ光が典型的に利用可能であるが、適宜の光源(例えばプロジェクタ等)を用いて照射又は表示されるドット状のパターン光も利用可能である。
ドット光照射装置3は、図3に示すような多数の孔31と、装置内部に設けられレーザ光を出射するレーザ素子(不図示)とを有する。レーザ素子から出射されたレーザ光は、孔31を通過して管体9に照射される。図3では、多数の孔31が所定間隔で規則正しく配列されているように示されているが、孔31同士の間隔がランダムとなるように多数の孔31が配置されている。これにより、ランダムにドットレーザ光を照射することが可能となる。
本実施形態において、ドット光照射装置3は、スリット光照射装置2が複数のスリットレーザ光23a~23dを管体9に照射する際に、複数のドットレーザ光を管体9に照射する。ここで、複数のドットレーザ光は、スリットレーザ光23a~23dの各々と所定の位置関係を有する。
図4は、スリット光とドット光の位置関係を説明するための図である。ここでは、図4(a)及び図4(b)に示すように、スリット光照射装置2が平らな面の所定領域にスリットレーザ光を照射し、ドット光照射装置3も前記所定領域にドットレーザ光を照射するものとする。スリットレーザ光が照射されることで、図4(a)に示すような4つの輝線L1~L4が管体9の表面に現れることになり、ドットレーザ光が照射されることで、図4(b)に示すような多数のランダムな輝点Dが管体9の表面に現れることになる。
前述したように、スリット光照射装置2がドット光照射装置3のスリット方向の真上に位置するので、スリットレーザ光及びドットレーザ光が同時に照射されると、輝線L1~L4と輝点Dの位置関係は図4(c)に示すような関係となる。図4(c)を見ると分かるように、カメラからの視差により、輝線L1~L4及び輝点Dのスリット方向(上下方向)におけるずれが生じるが、輝線L1~L4及び輝点Dのスリット方向に対して垂直な方向(左右方向)におけるずれは生じない。
図1に戻り、撮像装置4は、例えばカメラであり、スリットレーザ光23a~23d及びドットレーザ光が照射された管体9を撮像して、撮像画像を生成する。すなわち、撮像装置4は、複数のスリットレーザ光が照射されることで管体9の表面に現れる複数の輝線L1~L4と、複数のドットレーザ光が照射されることで管体9の表面に現れる複数の輝点Dとを撮像して、撮像画像を生成する。
撮像装置4は、図2に示すように、スリット光照射装置2の照射方向と視線方向とが交差する向きで、管体9を撮像する。撮像装置4は、スリット光照射装置2との位置関係が維持されるように、台6(図2)に取り付けられている。すなわち、測定中は、撮像装置4の設置方向とスリット光照射装置2の設置方向との角度、及び撮像装置4とスリット光照射装置2との距離が、所定の大きさに固定されている。なお、スリット光照射装置2及びドット光照射装置3も、台6に取り付けられている。
図5は、撮像画像の一例を示す図である。撮像画像は、表面に4つの輝線L1~L4と多数の輝点Dが現れている管体9を示す画像である。図5を見ると分かるように、4つの輝線L1~L4の周囲の輝点Dの配置パターンは、それぞれ異なる。すなわち、ドット光照射装置3は、複数の輝線L1~L4の各々に対して輝点Dの隣接状態が異なるように、複数のドットレーザ光をランダムに照射している。
なお、図5には示されていないが、撮像画像には、スリットレーザ光23a~23dによって管体9の表面に現れる輝線L1~L4だけでなく、スリットレーザ光23a~23dによって管体9以外の部分(例えば、スリット光照射装置2と管体9との間の部分)に現れる輝線も含まれる。これらの輝線は撮像画像に繰り返しパターンとして複数存在し、これらの繰り返しパターンは、通常ずれた関係となっているため、管体9上の輝線L1~L4がどのスリットレーザ光によって現れたのかを特定しにくい。
これに対して、本実施形態に係る計測システムSは、輝線L1~L4と輝点Dが現れた撮像画像(図5)を生成して、各輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定している。そして、計測システムSは、撮像画像から求まる輝線L1~L4の二次元座標と、特定した対応関係とに基づいて、輝線L1~L4の三次元座標を算出している。これにより、複数のスリットレーザ光23a~23dを同時に管体9に照射した場合でも、複数の輝線L1~L4の三次元座標が取得可能となる。
また、本実施形態では、スリット光照射装置2及びドット光照射装置3が、それぞれスリットレーザ光及びドットレーザ光を照射してから、撮像装置4が撮像するまで、スリット光照射装置2、ドット光照射装置3及び撮像装置4の位置は、固定されている。これにより、輝線L1~L4の画像を一度に撮像可能となるので、スリット光照射装置2、ドット光照射装置3及び撮像装置4の移動に起因する誤差の発生を抑制できる。
なお、管体9の軸方向の長さが大きい場合には、スリット光照射装置2、ドット光照射装置3及び撮像装置4が取り付けられた台6を既知の所定量だけ移動させて、複数の撮像画像を撮像して繋げてもよい。かかる場合には、スリット光照射装置2、ドット光照射装置3及び撮像装置4を用いて、軸方向の長さが大きい管体9の形状や位置も高精度に取得可能となる。
<2.制御装置の構成>
被測定物の表面に現れる輝線の三次元座標を取得する制御装置1の構成について、図1を参照しながら説明する。
制御装置1は、図1に示すように、通信部11と、表示部12と、操作部13と、記憶部14と、制御部15とを有する。
被測定物の表面に現れる輝線の三次元座標を取得する制御装置1の構成について、図1を参照しながら説明する。
制御装置1は、図1に示すように、通信部11と、表示部12と、操作部13と、記憶部14と、制御部15とを有する。
通信部11は、外部機器との間で通信を行う通信インターフェイス(以下、通信IF)である。通信部11は、スリット光照射装置2、ドット光照射装置3及び撮像装置4との間で、例えばケーブル等を介して有線通信を行い、情報を送受信する。ただし、これに限定されず、通信部11は、スリット光照射装置2、ドット光照射装置3及び撮像装置4との間で、無線通信を行ってもよい。
表示部12は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等により構成される。例えば、表示部12は、撮像装置4が撮像した撮像画像を表示する。
操作部13は、例えばキーボードやマウス等により構成され、ユーザが入力操作を行うことが可能である。ユーザは、操作部13を介して被測定物の測定に関する様々な入力操作を行う。
記憶部14は、例えばROM及びRAM等により構成され、制御装置1を機能させるための各種プログラムや各種データを記憶する。記憶部14は、撮像装置4から受信した撮像画像を記憶する。また、記憶部14は、後述する管体9に現れる複数の輝線及び輝点の予め定まった位置関係を示す基準画像に関する情報を記憶する。基準画像は、撮像画像と対比して撮像画像中の輝線に対応するスリットレーザ光を特定するのに用いられる。基準画像は、輝度及び色度等の画像情報に限定されず、スリットレーザ光とドットレーザ光との位置関係を特定できる情報であってもよい。
図6は、基準画像の一例を示す図である。図6に示すように、基準画像は、4つの輝線M1~M4と、多数の輝点Dとを含む画像である。基準画像は、例えばスリットレーザ光やドットレーザ光が照射される所定領域(図4(a)参照)を示す画像である。基準画像は、計測に用いられるスリット光照射装置2及びドット光照射装置3の組み合わせに応じて、設定されうる。
図6に示す基準画像は、図2に示す円柱状の管体9にレーザ光を照射する場合とは異なり、平らな面にスリットレーザ光及びドットレーザ光を照射した場合の画像となっている。このため、輝線M1~M4は、図5に示す円弧状の輝線L1~L4とは異なり、直線となっている。また、多数の輝点Dは、輝線M1~M4にランダムに点在しており、輝線M1~M4の周囲の輝点Dの点在パターンがそれぞれ異なる。
図1に戻り、制御部15は、例えばCPUにより構成される。制御部15は、記憶部14に記憶されている各種プログラムを実行することにより、制御装置1に係る機能を統括的に制御する。本実施形態では、制御部15は、照射制御部151と、特定部152と、取得部153として機能する。
(照射制御部151)
照射制御部151は、スリット光照射装置2によるスリットレーザ光23a~23dの照射と、ドット光照射装置3によるドットレーザ光の照射とを制御する。本実施形態において、照射制御部151は、スリットレーザ光23a~23dを同時に被測定物に照射させる。
照射制御部151は、スリット光照射装置2によるスリットレーザ光23a~23dの照射と、ドット光照射装置3によるドットレーザ光の照射とを制御する。本実施形態において、照射制御部151は、スリットレーザ光23a~23dを同時に被測定物に照射させる。
また、照射制御部151は、スリットレーザ光23a~23dを照射する際に、ドットレーザ光も照射させる。具体的には、照射制御部151は、スリットレーザ光23a~23d及びドットレーザ光を同時に照射させる。なお、照射制御部151は、被測定物の種類や形状等を考慮して、スリットレーザ光23a~23d及びドットレーザ光の照射強度を制御してよい。
(特定部152)
特定部152は、図5に示す撮像画像と図6に示す基準画像とを対比して、撮像画像の複数の輝線L1~L4と複数のスリットレーザ光23a~23dとの対応関係を特定する。すなわち、特定部152は、スリットレーザ光23a~23d及びドットレーザ光が管体9に照射された際に撮像装置4が撮像した撮像画像と、記憶部14に記憶されている基準画像とを対比して、輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する。
特定部152は、図5に示す撮像画像と図6に示す基準画像とを対比して、撮像画像の複数の輝線L1~L4と複数のスリットレーザ光23a~23dとの対応関係を特定する。すなわち、特定部152は、スリットレーザ光23a~23d及びドットレーザ光が管体9に照射された際に撮像装置4が撮像した撮像画像と、記憶部14に記憶されている基準画像とを対比して、輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する。
前述したように、管体9に照射されるスリットレーザ光23a~23dの照射方向は、それぞれ異なる。このため、特定部152は、輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定することで、輝線L1~L4の各々を現す基になったスリットレーザ光の照射方向を特定できる。
ここで、特定部152による撮像画像と基準画像の対比方法の一例について説明する。
まず、特定部152は、対比対象として、撮像画像の輝線L1~L4上の一点を含む単位領域を抽出する。このように、撮像画像中の輝線L1~L4上の点を含む領域のみを対比対象とすることで、撮像画像の全ての領域を対比対象とする場合に比べて、撮像画像と基準画像との対比に要する処理時間を短縮できる。
まず、特定部152は、対比対象として、撮像画像の輝線L1~L4上の一点を含む単位領域を抽出する。このように、撮像画像中の輝線L1~L4上の点を含む領域のみを対比対象とすることで、撮像画像の全ての領域を対比対象とする場合に比べて、撮像画像と基準画像との対比に要する処理時間を短縮できる。
図7Aは、撮像画像における対比対象の点を説明するための図である。図7Aにおいては、輝線L3上の点Aが、対比対象の点であるものとする。特定部152は、点Aを中心として点Aの周囲を含む小さな矩形状の領域を、単位領域として抽出する。
図7Bは、抽出した単位領域を説明するための模式図である。抽出される単位領域は、小さな領域であるため、輝線L3が円弧状であっても、単位領域における輝線L3の部分は、図7Bに示すようにほぼ直線となる。図7Bを見ると分かるように、単位領域において輝線L3の周囲には、複数の輝点Dが点在している。本実施形態では、ドット光照射装置3は、単位領域中に輝点Dが点在するように、ドットレーザ光を照射することが望ましい。
次に、特定部152は、抽出した撮像画像の単位領域(以下、撮像側単位領域と呼ぶ)と、基準画像上において撮像側単位領域と同じ大きさの単位領域(以下、基準側単位領域と呼ぶ)とを対比する。そして、特定部152は、図7Bに示す輝点Dの点在パターンと同じパターンを含む基準側単位領域を探索する。特定部152は、例えば、撮像側単位領域に含まれる画素の値と、基準側単位領域の対応する位置に含まれる画素の値とを比較し、画素の値が一致している数が所定の割合以上である場合に、基準側単位領域が撮像側単位領域との相関度合いが大きく、同じパターンを含むものと判定する。
図8は、基準画像の基準側単位領域を説明するための図である。
特定部152は、輝線M1~M4に沿って、輝線M1~M4上の点を含む基準側単位領域を順次探索する。これにより、探索に用いる領域を限定できるので、探索時間を抑制できる。図8では、輝線M3上の点を中心とする基準側単位領域R内の輝点Dの点在パターンが、図7Bの輝点Dの点在パターンと同じであるものとする。すると、特定部152は、撮像画像の点Aを含む撮像側単位領域と、基準画像の基準側単位領域Rとが相関度合いが大きいと判定する。
特定部152は、輝線M1~M4に沿って、輝線M1~M4上の点を含む基準側単位領域を順次探索する。これにより、探索に用いる領域を限定できるので、探索時間を抑制できる。図8では、輝線M3上の点を中心とする基準側単位領域R内の輝点Dの点在パターンが、図7Bの輝点Dの点在パターンと同じであるものとする。すると、特定部152は、撮像画像の点Aを含む撮像側単位領域と、基準画像の基準側単位領域Rとが相関度合いが大きいと判定する。
上記では、輝線M1~M4に沿って基準側単位領域を順次探索することとしたが、これに限定されない。例えば、特定部152は、エピポーラ直線を用いることで、効率良く撮像側単位領域の輝点Dの点在パターンと同じ基準側単位領域を探索できる。
図9は、エピポーラ直線を用いた探索方法を説明するための図である。図9では、直線Nが、図7Aの点Aを通るエピポーラ直線である。エピポーラ直線Nは、点Aとスリット光照射装置2との間を結んだ線を投影した直線である。このため、点Aは、エピポーラ直線N上に位置することになる。このようなエピポーラ直線を利用することで、特定部152は、撮像側単位領域と、基準画像において輝線M1~M4とエピポーラ直線Nの交点(4点)の各々を中心とする4つの基準側単位領域とを対比することになる。これにより、探索する領域を限定できるので、探索に要する処理時間を抑制できる。
(取得部153)
図1に戻り、取得部153は、撮像装置4が撮像した管体9の三次元形状を取得する。具体的には、まず、取得部153は、撮像装置4が撮像した撮像画像を参照して、管体9の表面に現れる輝線L1~L4の二次元座標を求める。次に、取得部153は、輝線L1~L4の二次元座標と、特定部152が特定した対応関係(すなわち、輝線L1~L4の基になったスリットレーザ光23a~23dの照射方向)とに基づいて、輝線L1~L4の三次元座標を取得する。
図1に戻り、取得部153は、撮像装置4が撮像した管体9の三次元形状を取得する。具体的には、まず、取得部153は、撮像装置4が撮像した撮像画像を参照して、管体9の表面に現れる輝線L1~L4の二次元座標を求める。次に、取得部153は、輝線L1~L4の二次元座標と、特定部152が特定した対応関係(すなわち、輝線L1~L4の基になったスリットレーザ光23a~23dの照射方向)とに基づいて、輝線L1~L4の三次元座標を取得する。
例えば、取得部153は、三角計量の原理を用いて、輝線L1~L4の二次元座標と、輝線L1~L4の基になったスリットレーザ光23a~23dの平面の方程式とから、輝線L1~輝線L4と撮像装置4との間の距離を求める。そして、取得部153は、輝線L1~L4の二次元座標と、輝線L1~輝線L4と撮像装置4との間の距離とに基づいて、輝線L1~L4の三次元座標を取得する。なお、輝線L1~L4の三次元座標は、例えば書籍「三次元画像計測」(井口征士、佐藤宏介著)に記載された式(4.18)(式(4.16)及び(4.17)も参照)から求めることができる。輝線の二次元座標(u、v)が、式(4.16)のXc、Ycにそれぞれ該当する。
取得部153は、輝線L1~L4の三次元座標に基づいて、更に管体9の断面形状を取得する。本実施形態では、取得部153は、円弧形状の輝線L1~L4が一部を成す管体9の断面形状の三次元座標を取得する。具体的には、取得部153は、形状が図10に示すような楕円形状の断面を取得する。
図10は、輝線L1~L4の各々から特定される管体9の断面を説明するための模式図である。取得部153は、円弧形状の輝線L1~L4に基づいて、図10に示す4つの楕円形状の断面F1~F4を取得する。ここで、断面F1は輝線L1を一部として含み、断面F2は輝線L2を一部として含み、断面F3は輝線L3を一部として含み、断面F4は輝線L4を一部として含む。
取得部153は、取得した断面F1~F4に基づいて、管体9の外径を取得してもよい。具体的には、取得部153は、断面形状である楕円の短径(短軸方向の直径)を取得し、取得した短径を管体9の外径(直径)として設定する。楕円の短径を管体9の外径とする理由は、本来、管体9を軸方向と直交する面で切断した場合には、楕円の短径と同じ大きさの直径の真円となるからである。なお、取得部153は、4つの断面F1~F4の各々の楕円の短径の平均値を、管体9の外径としてもよい。これにより、精度良く管体9の外径を取得できる。
取得部153は、取得した4つの断面F1~F4に基づいて、管体9の中心線を取得してもよい。具体的には、取得部153は、図10に示すように4つの断面F1~F4の中心を通る直線Cを、管体9の中心線として取得する。このように中心線及び断面形状を取得することで、管体9の三次元形状を特定しやすくなる。
(変形例)
上記では、取得部153は、断面形状が楕円である場合に、楕円の短径を管体9の外径として設定することとしたが、これに限定されない。例えば、取得部153は、断面形状である楕円上の点から、管体9の中心線に下ろした垂線の大きさに基づいて、管体9の外径を設定してもよい。
上記では、取得部153は、断面形状が楕円である場合に、楕円の短径を管体9の外径として設定することとしたが、これに限定されない。例えば、取得部153は、断面形状である楕円上の点から、管体9の中心線に下ろした垂線の大きさに基づいて、管体9の外径を設定してもよい。
図11は、管体9の外径取得方法の第1変形例を説明するための図である。図11Aでは、説明の便宜上、輝線L1、L2から取得された管体9の2つの断面F1、F2のみを示している。ここでは、断面F1を用いて管体9の外径を取得する方法を説明する。取得部153は、断面F1の形状である楕円上の点から中心線Cに向かって複数の垂線Hを形成し、複数の垂線Hの大きさの平均値を管体9の外径として設定する。
なお、取得部153は、断面F1の形状である楕円の代わりに、輝線L1の点から中心線Cに向かって複数の垂線Hを形成し、複数の垂線Hの大きさの平均値を管体9の外径として設定してもよい。
なお、取得部153は、断面F1の形状である楕円の代わりに、輝線L1の点から中心線Cに向かって複数の垂線Hを形成し、複数の垂線Hの大きさの平均値を管体9の外径として設定してもよい。
図12Aは、管体9の中心線の方向ベクトル取得方法を説明するための図である。取得部153は、4つの輝線L1~L4上で空間内に設定した任意の平面に最も近い点G1~G4を通過する直線Dを特定する。この直線Dは、管体9の中心線Cと平行な線で管の中心軸の方向ベクトルとして定義される。
図12Bは、管体9の中心線の方向ベクトルの取得方法の変形例を説明するための図である。図12Bでは、説明の便宜上、3つの断面F1~F3を示している。中心線の方向ベクトルの取得は、以下のように行われる。
まず、スリットレーザ輝線上にある断面F1上の一点Jを特定する。次に、断面F1上の点Jと、断面F2上の点とを結ぶ直線を特定する。例えば、点Jと、断面F2上の点K3とを通る直線D3を特定する。同様にして、点Jと、断面F2上の他の点(一例として、点K1、K2)とを通る直線D1、D2を特定する。そして、直線D1~D3と断面F3との間の距離dを求め、断面F3との間での距離dが最も小さい直線を求める。図12では、直線D1と断面F3との距離が0となっており、直線D1は3つの断面F1~F3を通る直線である。このように求めた直線D1が、管体9の中心線の方向ベクトルとなる。
まず、スリットレーザ輝線上にある断面F1上の一点Jを特定する。次に、断面F1上の点Jと、断面F2上の点とを結ぶ直線を特定する。例えば、点Jと、断面F2上の点K3とを通る直線D3を特定する。同様にして、点Jと、断面F2上の他の点(一例として、点K1、K2)とを通る直線D1、D2を特定する。そして、直線D1~D3と断面F3との間の距離dを求め、断面F3との間での距離dが最も小さい直線を求める。図12では、直線D1と断面F3との距離が0となっており、直線D1は3つの断面F1~F3を通る直線である。このように求めた直線D1が、管体9の中心線の方向ベクトルとなる。
また、上記では、図3に示すようにスリット光照射装置2及びドット光照射装置3をスリット方向(Z方向)に沿って設けていることとしたが、これに限定されない。例えば、図13に示すように、スリット光照射装置2及びドット光照射装置3が、スリットに対して垂直な方向(X方向)に沿って設けられていることとしてもよい。
図13は、スリット光照射装置2及びドット光照射装置3の構成の変形例を説明するための模式図である。変形例においては、ドット光照射装置3が、スリットに対して垂直にスリット光照射装置2から所定距離だけ離れて位置している。
ところで、図13に示すように、スリット光照射装置2及びドット光照射装置3をスリットに対して垂直に離れて配置した場合には、図14に示すように、管体9の表面に現れる輝線と輝点の位置がずれることになる。
図14は、スリットに対して垂直な方向における輝線L1~L4と輝点Dのずれを説明するための模式図である。図14と図4(c)を対比すると分かるように、スリット光照射装置2及びドット光照射装置3をスリットに対して垂直に離れて配置した場合には、輝線L1~L4と輝点Dとが、スリット光照射装置2とドット光照射装置3の間の距離分だけずれてしまう。この場合、特定部152は、ずれた関係にある輝線L1~L4と輝点Dとを含む撮像画像と、基準画像との対比を正確に行えない恐れがある。そこで、かかる問題を解消するために、図15に示すような光反射手段70を設けることが望ましい。
図15は、光反射手段70の構成の一例を説明するための模式図である。図15では、スリット光照射装置2が照射したスリットレーザ光の光路と、ドット光照射装置3が照射したドットレーザ光の光路とが、破線で示されている。光反射手段70は、スリットに対して垂直な方向におけるスリットレーザ光の管体9上の照射位置と、ドットレーザ光の管体9上の照射位置とを調整する機能を有する。
図15に示すように、光反射手段70は、ミラー71と、ビームスプリッター72とを有する。ミラー71は、ドット光照射装置3の前方に位置している。ミラー71は、ドット光照射装置3が照射したドットレーザ光をビームスプリッター72に向けて反射させる。ビームスプリッター72は、スリット光照射装置2の前方に位置している。ビームスプリッター72は、スリットレーザ光を透過させる一方で、ドットレーザ光を反射させるハーフミラーである。
なお、図15では、説明の便宜上、ビームスプリッター72を透過したスリットレーザ光の光軸と、ビームスプリッター72で反射したドットレーザ光の光軸とが、スリットに対して垂直な方向(X方向)において離れているように示されている。しかし、実際には、スリットレーザ光の光軸とドットレーザ光の光軸がスリットに対して垂直な方向において重なるように、ミラー71及びビームスプリッター72が配置されている。これにより、図13に示すようにスリット光照射装置2及びドット光照射装置3を配置した場合でも、スリットに対して垂直な方向における輝線と輝点のずれを解消することが可能となる。
<3.輝線の三次元座標の取得処理>
図16を参照しながら、制御装置1(図1)による被測定物である管体9上の輝線(ここでは、図5に示す輝線L1~L4)の三次元座標の取得処理について説明する。輝線の三次元座標の取得処理は、制御装置1の制御部15が記憶部14に記憶されたプログラムを実行することで実現される。
図16を参照しながら、制御装置1(図1)による被測定物である管体9上の輝線(ここでは、図5に示す輝線L1~L4)の三次元座標の取得処理について説明する。輝線の三次元座標の取得処理は、制御装置1の制御部15が記憶部14に記憶されたプログラムを実行することで実現される。
図16は、管体9上の輝線L1~L4の三次元座標の取得処理を説明するためのフローチャートである。本フローチャートは、作業者が、スリット光照射装置2、ドット光照射装置3、撮像装置4及び管体9を、測定用の位置にそれぞれセットしたところから開始される。
まず、制御部15の照射制御部151は、スリット光照射装置2及びドット光照射装置3を動作させて、管体9にスリットレーザ光23a~23d及びドットレーザ光を照射させる(ステップS102)。具体的には、照射制御部151は、スリットレーザ光23a~23d及びドットレーザ光を同時に管体9に照射させる。これにより、管体9の表面に4つの輝線L1~L4とランダムな複数の輝点Dが現れる。
次に、制御部15は、撮像装置4を動作させて、表面に4つの輝線L1~L4とランダムな複数の輝点Dが現れた管体9を撮像する(ステップS104)。そして、撮像装置4は、例えば図5に示すような輝線L1~L4及び複数の輝点Dを含む撮像画像を生成し、撮像画像を制御部15に送信する。
次に、制御部15の特定部152は、撮像画像から輝線L1~L4を抽出する(ステップS106)。例えば、特定部152は、公知のメディアンフィルタ等を利用して、撮像画像から輝線L1~L4を抽出する。
次に、特定部152は、抽出した輝線L1~L4の座標(u、v)を算出する(ステップS108)。具体的には、特定部152は、抽出した輝線L1~L4を細線化処理した後に、輝線L1~L4の座標(u、v)を算出する。抽出した輝線L1~L4を細線化処理することにより、撮像画像と基準画像とを対比する場合に、計算量を低減することができる。なお、特定部152は、細線化処理をせずに、輝線L1~L4の座標(u、v)を算出してもよい。
次に、特定部152は、輝線(ここでは、図7Aに示す輝線L3を例に挙げて説明する)上の一点A(u、v)を含む単位領域の画像(以下、周辺画像とも呼ぶ)を抽出する(ステップS110)。この際、特定部152は、輝線L1~L4を消去して、輝点Dが点在する周辺画像を抽出してもよい。輝線L1~L4の消去は、例えば、ステップS104で生成される撮像画像から、ステップS106で抽出した輝線L1~L4を削除することで、実現される。
次に、特定部152は、記憶部14に記憶された基準画像において、周辺画像の輝点Dの点在パターンと同じパターンの単位領域(基準側単位領域)を探索する(ステップS112)。例えば、特定部152は、図8や図9で説明した探索方法で、輝線M1~M4上の点を含む基準側単位領域を探索する。
そして、基準画像中で同じパターンを含む基準側単位領域が有る場合には(ステップS114:Yes)、特定部152は、輝線L3に対応するスリットレーザ光がスリットレーザ光23cであると特定する(ステップS116)。
なお、ステップS114で同じパターンが見つからない場合には、特定部152は、輝線L3上の次の点の周辺の周辺画像を抽出し(ステップS120)、当該周辺画像の輝点Dの点在パターンと同じパターンを探索する(ステップS112)。
輝線L1~L4に対応するスリットレーザ光が特定されると、取得部153は、4つの輝線L1~L4の二次元座標と、特定部152が特定した輝線L1~L4とスリットレーザ光23a~23dとの対応関係とに基づいて、輝線L1~L4の三次元座標を求める(ステップS118)。そして、取得部153は、輝線L1~L4の三次元座標に基づいて管体9の断面形状や中心線等を求めて、管体9の形状を取得する。
<4.キャリブレーション>
計測システムSは、上述した管体9上の輝線L1~L4の三次元座標の取得を精度良く行うために、予めスリット光照射装置2及び撮像装置4のパラメータのキャリブレーション(較正)を行っている。キャリブレーションは、例えばスリット光照射装置2や撮像装置4を変更したり被測定物が変わったりした場合等に、輝線L1~L4の三次元座標の取得処理前に行われる。
計測システムSは、上述した管体9上の輝線L1~L4の三次元座標の取得を精度良く行うために、予めスリット光照射装置2及び撮像装置4のパラメータのキャリブレーション(較正)を行っている。キャリブレーションは、例えばスリット光照射装置2や撮像装置4を変更したり被測定物が変わったりした場合等に、輝線L1~L4の三次元座標の取得処理前に行われる。
図17は、スリット光照射装置2及び撮像装置4のキャリブレーション方法を説明するためのフローチャートである。図17に示すフローチャートは、図18に示すキャリブレーション用ブロック91を、例えば図2に示す管体9の位置にセットしたところから開始される。
図18は、キャリブレーション用ブロック91を説明するための模式図である。図19は、直方体形状のキャリブレーション用ブロック91の前面を示す模式図である。図19に示すように、キャリブレーション用ブロック91は、方眼紙が貼り付けられた目盛り部92と、図形や貼り付けられたマーカー部93と、を含む。
目盛り部92は、スリット光照射装置2がスリットレーザ光をキャリブレーション用ブロック91に照射した際に、キャリブレーション用ブロック91の前面に現れる輝線の実際の三次元座標を測定するためのものである。目盛り部92は、キャリブレーション用ブロック91の上面や下面等にも貼り付けられている。輝線の実際の三次元座標は、例えば作業者によって計測される。マーカー部93は、撮像装置4がキャリブレーション用ブロック91を撮像した際に、キャリブレーション用ブロック91における基準位置を特定するためのものである。
図17に戻り、まず、スリット光照射装置2が、キャリブレーション用ブロック91にスリットレーザ光を照射する(ステップS202)。これにより、キャリブレーション用ブロック91に輝線が現れる。次に、撮像装置4によって、輝線が現れたキャリブレーション用ブロック91を撮像する(ステップS204)。これにより、輝線を含む撮像画像が生成される。
次に、撮像装置4が生成した撮像画像における輝線の二次元座標と、作業者が実際に計測した輝線の実際の三次元座標とを比較して、撮像装置4のパラメータ及びスリット光照射装置2のパラメータを算出する(ステップS206、S208)。撮像装置4のパラメータは、撮像画像における二次元座標を三次元座標に変換するための定数である。撮像装置4のパラメータにより、撮像装置から輝線への視線ベクトルが定義される。スリット光照射装置2のパラメータは、各スリットレーザの平面を定義する定数である。これらのパラメータは、例えば前述した書籍「三次元画像計測」(井口征士、佐藤宏介著)の式(4.18)に適用されるパラメータである。具体的には、撮像装置4のパラメータは、上記書籍の式(4.21)から求められ、スリット光照射装置2のパラメータは、書籍の式(4.24)から求められる。
また、レーザ輝線上の点の三次元座標は、カメラの焦点から輝線上の各点への視線ベクトルとスリットレーザ平面の交点を算出することで取得できる。例えば、求めた撮像装置4のパラメータ及びスリット光照射装置2のパラメータを、書籍の式(4.18)に適用する(ステップS210)。輝線の三次元座標の取得処理の際にパラメータが適用された式(4.18)を用いることで、撮像画像中の輝線の三次元座標を高精度に取得できるようになる。
なお、上記では、スリット光照射装置2及び撮像装置4についてキャリブレーションを行うこととしたが、これに限定されず、例えばドット光照射装置3についてもキャリブレーションを行ってもよい。
<5.本実施形態における効果>
上述した計測システムSは、スリット光照射装置2が複数のスリットレーザ光23a~23dを被測定物である管体9に照射する際に、スリットレーザ光23a~23dの各々と所定の位置関係を有するドット状の複数のドットレーザ光を、管体9に照射するドット光照射装置3を有する。そして、計測システムSは、スリットレーザ光23a~23dによる輝線L1~L4及びドットレーザ光による輝点Dが現れた管体9を撮像装置4が撮像した撮像画像と、輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、撮像画像の輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する。さらに、計測システムSは、撮像画像における輝線L1~L4の二次元座標と、特定した対応関係とに基づいて、輝線L1~L4の三次元座標を取得する。
上述した計測システムSは、スリット光照射装置2が複数のスリットレーザ光23a~23dを被測定物である管体9に照射する際に、スリットレーザ光23a~23dの各々と所定の位置関係を有するドット状の複数のドットレーザ光を、管体9に照射するドット光照射装置3を有する。そして、計測システムSは、スリットレーザ光23a~23dによる輝線L1~L4及びドットレーザ光による輝点Dが現れた管体9を撮像装置4が撮像した撮像画像と、輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、撮像画像の輝線L1~L4とスリットレーザ光23a~23dとの対応関係を特定する。さらに、計測システムSは、撮像画像における輝線L1~L4の二次元座標と、特定した対応関係とに基づいて、輝線L1~L4の三次元座標を取得する。
上記のように、輝線L1~L4に対して輝点Dがランダムに点在するようにドットレーザ光を照射することで、撮像画像中の輝線L1~L4の各々が、スリットレーザ光23a~23dのいずれによって現れたかを特定しやすくなる。これにより、輝線L1~L4の基になったスリットレーザ光23a~23dの照射方向(照射角度)も求まるので、求まった照射方向と輝線L1~L4の二次元座標とによって輝線L1~L4の三次元座標を取得できる。この結果、本実施形態によれば、複数のスリットレーザ光23a~23dを同時に管体9に照射した場合でも、輝線L1~L4の三次元座標を高精度に取得可能となる。特に、撮像画像中に、輝線L1~L4に加えて、管体9以外の部分に現れる他の輝線(輝線L1~L4とずれて現れる)も含まれる場合に、より効果的である。
また、上記のように取得された輝線L1~L4の三次元座標を用いることで、管体9の形状を精度良く把握できる。すなわち、輝線L1~L4の三次元座標によって、管体9の輝線L1~L4の各々を含む断面形状、外径、中心線を求めることができるので、管体9の詳細な形状を取得できる。
また、求まった管体9の中心線をアイソメトリック図に適用することで、管体9の全体形状を把握しやすくなる。さらに、求まった管体9の中心線及び外径を用いることで、CAD化することが可能となる。
また、上記では、被測定物として管体9にスリットレーザ光を照射することとしたが、これに限定されない。例えば、スリット光照射装置2は、生体など任意形状の被測定物にスリットレーザ光を照射することとしてもよい。また、スリット光照射装置2が照射するスリットレーザ光の数は、図2に示すような4つに限定されず、例えば3つ以下や5つ以上であってもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。例えば、上記の説明においては、スリット光照射装置2とドット光照射装置3とが異なる装置であるものとして説明したが、これに限らず、スリット光照射装置2とドット光照射装置3とが一体化した装置であってもよい。
また、スリット光照射装置2及びドット光照射装置3を用いる代わりに、パーソナルコンピュータにおいて縦縞のラインとランダムドットとを含む画面を生成し、生成した画面をプロジェクターで投光することで、プロジェクターを用いてスリット光照射装置2及びドット光照射装置3と同様な機能を実現してもよい。
また、上記の実施形態では、撮像手段として撮像装置4を用いる例について説明したが、撮像手段として、複数の撮像装置を用いてもよい。
1 制御装置
2 スリット光照射装置
3 ドット光照射装置
4 撮像装置
9 管体
70 光反射手段
151 照射制御部
152 特定部
153 取得部
D 輝点
L1~L4 輝線
S 計測システム
2 スリット光照射装置
3 ドット光照射装置
4 撮像装置
9 管体
70 光反射手段
151 照射制御部
152 特定部
153 取得部
D 輝点
L1~L4 輝線
S 計測システム
Claims (12)
- 被測定物にスリット状の複数のスリット光を照射する第1照射手段と、
前記第1照射手段が前記複数のスリット光を前記被測定物に照射する際に、前記複数のスリット光の各々と所定の位置関係を有するドット状の複数のドット光を、前記被測定物に照射する第2照射手段と、
前記複数のスリット光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドット光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成する撮像手段と、
前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリット光との対応関係を特定する特定手段と、
前記撮像画像における前記複数の輝線の二次元座標と、前記特定手段が特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得する取得手段と、
を備える、計測システム。 - 前記第1照射手段及び前記第2照射手段は、前記スリット光を照射するスリットの長手方向であるスリット方向の同一直線上に位置する、
請求項1に記載の計測システム。 - 前記第1照射手段及び前記第2照射手段は、前記スリット方向以外の方向に所定距離だけ離れて位置し、
前記スリット光の前記被測定物への照射位置と、前記ドット光の前記被測定物への照射位置とを調整するための光反射手段を更に備える、
請求項1に記載の計測システム。 - 前記複数のスリット光の前記被測定物への照射方向は、互いに交差する方向であり、
前記特定手段は、前記複数の輝線の各々に対応する前記スリット光の照射方向を特定する、
請求項1から3のいずれか1項に記載の計測システム。 - 前記第2照射手段は、前記複数の輝線の各々に対して輝点の隣接状態が異なるように、前記複数のドット光を照射する、
請求項1から4のいずれか1項に記載の計測システム。 - 前記特定手段は、前記撮像画像の前記輝線上の一点及び前記一点の周囲を含む単位領域を抽出し、前記基準画像の前記単位領域との相関度合いを判定する、
請求項5に記載の計測システム。 - 前記被測定物は、管状体であり、
前記撮像手段は、前記第1照射手段の照射方向と交差する視線方向から、前記管状体の表面に現れる前記複数の輝線及び輝点を撮像する、
請求項1から6のいずれか1項に記載の計測システム。 - 前記取得手段は、円弧形状の前記輝線が一部を成す前記管状体の断面形状の三次元座標を取得する、
請求項7に記載の計測システム。 - 前記断面形状は、楕円形状であり、
前記取得手段は、前記断面形状の楕円の短径を取得し、前記短径を前記管状体の外径と設定する、
請求項8に記載の計測システム。 - 前記取得手段は、前記複数の輝線の各々が一部を成す前記管状体の複数の断面形状に基づいて、前記管状体の中心線を取得する、
請求項8又は9に記載の計測システム。 - 前記取得手段は、前記複数の輝線上の点の三次元座標に基づいて、前記管状体の中心線の方向ベクトルを取得する、
請求項8から10のいずれか1項に記載の計測システム。 - 被測定物にスリット状の複数のスリット光を照射するステップと、
前記複数のスリット光を前記被測定物に照射する際に、前記複数のスリット光の各々と所定の位置関係を有するドット状の複数のドット光を、前記被測定物に照射するステップと、
前記複数のスリット光が照射されることで前記被測定物の表面に現れる複数の輝線と、前記複数のドット光が照射されることで前記表面に現れる複数の輝点とを撮像して、撮像画像を生成するステップと、
前記撮像画像と、前記複数の輝線及び輝点の予め定まった位置関係を示す基準画像とを対比して、前記撮像画像の前記複数の輝線と前記複数のスリット光との対応関係を特定するステップと、
前記撮像画像における前記複数の輝線の二次元座標と、特定した前記対応関係とに基づいて、前記複数の輝線の三次元座標を取得するステップと、
を有する、計測方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-130144 | 2015-06-29 | ||
JP2015130144A JP6554342B2 (ja) | 2015-06-29 | 2015-06-29 | 計測システム及び計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017002831A1 true WO2017002831A1 (ja) | 2017-01-05 |
Family
ID=57608114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/069197 WO2017002831A1 (ja) | 2015-06-29 | 2016-06-29 | 計測システム及び計測方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6554342B2 (ja) |
WO (1) | WO2017002831A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112729167A (zh) * | 2020-12-21 | 2021-04-30 | 福建汇川物联网技术科技股份有限公司 | 一种平面方程的计算方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020153718A (ja) | 2019-03-18 | 2020-09-24 | 株式会社リコー | 測定装置及び造形装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1038531A (ja) * | 1996-07-19 | 1998-02-13 | Mitsubishi Heavy Ind Ltd | パイプ形状自動計測装置及び計測方法 |
JP2006528770A (ja) * | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の3次元表面再構築の方法およびシステム |
JP2012093268A (ja) * | 2010-10-28 | 2012-05-17 | Aida Engineering Co Ltd | 真円度計測システムおよびこれを備えた造管装置 |
JP2013088260A (ja) * | 2011-10-17 | 2013-05-13 | Canon Inc | 三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2016057194A (ja) * | 2014-09-10 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2015
- 2015-06-29 JP JP2015130144A patent/JP6554342B2/ja active Active
-
2016
- 2016-06-29 WO PCT/JP2016/069197 patent/WO2017002831A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1038531A (ja) * | 1996-07-19 | 1998-02-13 | Mitsubishi Heavy Ind Ltd | パイプ形状自動計測装置及び計測方法 |
JP2006528770A (ja) * | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の3次元表面再構築の方法およびシステム |
JP2012093268A (ja) * | 2010-10-28 | 2012-05-17 | Aida Engineering Co Ltd | 真円度計測システムおよびこれを備えた造管装置 |
JP2013088260A (ja) * | 2011-10-17 | 2013-05-13 | Canon Inc | 三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2016057194A (ja) * | 2014-09-10 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112729167A (zh) * | 2020-12-21 | 2021-04-30 | 福建汇川物联网技术科技股份有限公司 | 一种平面方程的计算方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2017015456A (ja) | 2017-01-19 |
JP6554342B2 (ja) | 2019-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101604037B1 (ko) | 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법 | |
EP2568253B1 (en) | Structured-light measuring method and system | |
US20190079192A1 (en) | Time-of-flight augmented structured light range-sensor | |
US11426876B2 (en) | Information processing apparatus, information processing method, and program | |
JP2009053147A (ja) | 3次元計測方法および3次元計測装置 | |
JP2012058076A (ja) | 3次元計測装置及び3次元計測方法 | |
JP2013210254A (ja) | 三次元計測装置、三次元計測方法及び三次元計測プログラム | |
JPWO2006013635A1 (ja) | 3次元形状計測方法及びその装置 | |
EP3049756B1 (en) | Modeling arrangement and method and system for modeling the topography of a three-dimensional surface | |
CN106996922A (zh) | 一种目标物体红外反射率测量方法及装置 | |
JP6895382B2 (ja) | 観視対象の3次元形状を描画する画像と同時に観視対象の2次元画像を表示するための方法および機器 | |
JP2021193400A (ja) | アーチファクトを測定するための方法 | |
JP6937482B2 (ja) | 表面形状測定装置及びそのスティッチング測定方法 | |
WO2022067665A1 (zh) | 一种坐标转换的方法、装置、系统、程序及其电子设备 | |
WO2017002831A1 (ja) | 計測システム及び計測方法 | |
JP5198078B2 (ja) | 計測装置および計測方法 | |
CN112740666A (zh) | 自动手术机器人视觉系统中多模态感测深度的系统和方法 | |
JP2017198470A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
US9176229B2 (en) | Three-dimensional distance measuring method and associated system | |
WO2019230171A1 (ja) | レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置 | |
JP2010243273A (ja) | 円柱形状を有する物体の計測方法および計測装置 | |
CN207600393U (zh) | 图案投射模组、三维信息获取系统及处理装置 | |
JP2017181263A (ja) | 欠陥検出装置 | |
JP2015203597A (ja) | 情報処理装置、情報処理方法、プログラム | |
CN109917904B (zh) | 虚拟现实或增强现实环境中对象的空间位置计算系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16817939 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16817939 Country of ref document: EP Kind code of ref document: A1 |