WO2016171263A1 - 形状測定装置及び形状測定方法 - Google Patents

形状測定装置及び形状測定方法 Download PDF

Info

Publication number
WO2016171263A1
WO2016171263A1 PCT/JP2016/062801 JP2016062801W WO2016171263A1 WO 2016171263 A1 WO2016171263 A1 WO 2016171263A1 JP 2016062801 W JP2016062801 W JP 2016062801W WO 2016171263 A1 WO2016171263 A1 WO 2016171263A1
Authority
WO
WIPO (PCT)
Prior art keywords
disturbance
rigid body
cutting line
shape
measured
Prior art date
Application number
PCT/JP2016/062801
Other languages
English (en)
French (fr)
Inventor
厚裕 日比
今野 雄介
古家 順弘
朋広 黒岩
Original Assignee
新日鐵住金株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新日鐵住金株式会社 filed Critical 新日鐵住金株式会社
Priority to BR112017022305-8A priority Critical patent/BR112017022305B1/pt
Priority to US15/567,933 priority patent/US10451410B2/en
Priority to JP2017514217A priority patent/JP6380667B2/ja
Priority to KR1020177032769A priority patent/KR101950634B1/ko
Priority to ES16783284T priority patent/ES2743217T3/es
Priority to EP16783284.9A priority patent/EP3270104B8/en
Priority to PL16783284T priority patent/PL3270104T3/pl
Priority to CN201680036936.7A priority patent/CN107735646B/zh
Priority to CA2981970A priority patent/CA2981970C/en
Publication of WO2016171263A1 publication Critical patent/WO2016171263A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Definitions

  • the present invention relates to a shape measuring device and a shape measuring method.
  • the optical cutting line for measuring the original shape formed in the width direction of the rigid body to be measured
  • the optical cutting line is oblique to the optical cutting line. It has been proposed to form further light cutting lines in the direction (directions not parallel to each other).
  • measurement of the same point of a rigid body to be measured that should originally have the same surface height is performed twice for each of a plurality of points at different longitudinal direction positions and different width direction positions. Thereafter, the magnitude of the disturbance (vertical movement or rotation) that best matches the surface height of the plurality of points is derived by optimization calculation, and the influence of the disturbance is removed from the measurement result.
  • the optimization calculation may not converge correctly if the measurement error increases in the surface height measurement at each measurement point.
  • the technique disclosed in Patent Document 1 includes a case in which there are three simultaneous movements that can exist as disturbances: vertical movement (parallel movement in the height direction), rotation about the longitudinal axis, and rotation about the width axis.
  • vertical movement parallel movement in the height direction
  • rotation about the longitudinal axis rotation about the width axis.
  • an error is superimposed on the measurement result.
  • the present invention has been made in view of the above problems, and the object of the present invention is to perform parallel movement in the height direction, rotation around the longitudinal axis, or rotation around the width axis during conveyance.
  • An object of the present invention is to provide a shape measuring device and a shape measuring method capable of measuring the surface height of a rigid body to be measured more accurately even when any of the three disturbances occurs.
  • a surface of the measured rigid body from a plurality of linear laser light sources that move relative to the measured rigid body along the longitudinal direction of the measured rigid body is measured by a plurality of optical cutting lines with a plurality of linear laser beams irradiated to the surface of the rigid body to be measured that moves relative to the longitudinal direction.
  • An imaging device that irradiates the three linear laser beams and images reflected light from the surface of the rigid body to be measured at predetermined intervals in the longitudinal direction, and the imaging device.
  • An arithmetic processing unit that performs image processing on a captured image relating to the imaged optical cutting line and calculates a surface shape of the rigid body to be measured, and the imaging device has a width direction of the rigid body to be measured With the light cutting line extending to A first linear laser light source that emits an optical cutting line for shape measurement used for calculating a surface shape of the rigid body to be measured, parallel to a longitudinal direction of the rigid body to be measured, and A second linear laser light source that emits a first correction light cutting line that intersects the shape measuring light cutting line and is used to correct the influence of disturbance acting on the rigid body to be measured; It is parallel to the longitudinal direction of the measuring rigid body, intersects the shape measuring light cutting line, and exists at a position in the width direction of the measured rigid body different from the first correction light cutting line.
  • a third linear laser light source that emits a second correction light cutting line that is used to correct the influence of a disturbance acting on the rigid body to be measured, and the shape measuring light cutting line in a predetermined longitudinal direction. Take an image at each time corresponding to the interval, and A first camera that generates a captured image of the shape measuring optical cutting line, and the correction optical cutting line is imaged at each time corresponding to a predetermined longitudinal interval, and each of the correction optical cutting lines at each time is corrected.
  • a second camera that generates a captured image of the optical section line, and the arithmetic processing unit captures an image of the optical section line for shape measurement at each time generated by the first camera.
  • a shape data calculation unit that calculates a shape data on which a measurement error due to the disturbance is superimposed and represents a three-dimensional shape of the surface of the rigid body to be measured, and the same position of the rigid body to be measured is different
  • a height change value acquisition process for acquiring a height change value resulting from the disturbance at the position from a height measurement value related to the surface height of the measured rigid body obtained at two times is used for the first correction.
  • Image of optical cutting line Is used for a plurality of points at different longitudinal positions of the first correction light section line, and the height change value acquisition process is performed on the captured image of the second correction light section line.
  • a shape measurement device having a disturbance estimation unit that estimates the amount of height fluctuation caused by the noise, and a correction unit that corrects a measurement error caused by the disturbance by subtracting the height fluctuation amount from the shape data. Is done.
  • the disturbance estimation unit linearly approximates the height change value caused by the disturbance at a plurality of points on the first correction light cutting line, and the intersection estimation point between the straight line and the shape measuring light cutting line.
  • a height change value caused by a disturbance is estimated, a height approximation value caused by the disturbance at a plurality of points on the second correction light cutting line is approximated by a straight line, and the straight line and the light beam for shape measurement are cut.
  • the height change value caused by the disturbance at the intersection with the line is estimated, and the height fluctuation amount is estimated by a straight line connecting the height change values caused by the disturbance at the two intersections.
  • the first camera and the second camera capture images at each time corresponding to a predetermined longitudinal interval to generate N (N is an integer of 2 or more) captured images, respectively, It is preferable that the disturbance estimation unit calculates the height fluctuation amount on the assumption that the disturbance does not occur in the first captured image.
  • the imaging timing of the first camera and the second camera is the imaged image of the second camera captured at the imaging time adjacent to each other, and the target light beam that has been irradiated with the correction light cutting line in common. It is controlled so that a common irradiation region that is a part of the measurement rigid body exists, and the disturbance estimation unit is configured to perform the measurement in each of the first correction light cutting line and the second correction light cutting line. It is preferable to calculate a height change value caused by the disturbance for the plurality of points corresponding to the common irradiation region.
  • the first linear laser light source, the second linear laser light source, and the third linear laser light source are in relation to a plane in which the optical axis of each light source is defined by the longitudinal direction and the width direction of the rigid body to be measured. It is preferable to be arranged vertically.
  • An angle formed by the optical axis of the first camera and the optical axis of the first linear laser light source, an angle formed by the line of sight of the second camera and the optical axis of the second linear laser light source, and The angle formed by the line of sight of the second camera and the optical axis of the third linear laser light source is preferably 30 degrees or more and 60 degrees or less independently of each other.
  • the measured object from a plurality of linear laser light sources that move relative to the measured rigid body along the longitudinal direction of the measured rigid body, the measured object
  • the shape of the rigid body to be measured is measured by a plurality of optical cutting lines with a plurality of linear laser beams irradiated to the surface of the rigid body, and the optical cutting lines extending in the width direction of the measured rigid body
  • a first linear laser light source for emitting a shape-measuring optical cutting line used for calculating the surface shape of the rigid body to be measured, parallel to the longitudinal direction of the rigid body to be measured, and
  • a second linear laser light source that emits a first correction light cutting line that intersects the shape measuring light cutting line and is used to correct the influence of disturbance acting on the rigid body to be measured; Parallel to the longitudinal direction of the measuring rigid body,
  • the cross section of the shape measuring light cutting line is present at a position in the width direction of the measured rigid body different from the first correction light cutting line, and the influence of disturbance acting
  • the rigid body to be measured Based on an imaging step of imaging reflected light from the surface at predetermined longitudinal intervals, and an image of the shape measuring light cutting line generated at each time generated by the first camera, the rigid body to be measured
  • a shape data calculating step that represents a three-dimensional shape of the surface and that calculates shape data on which a measurement error caused by the disturbance is superimposed; and the measured object acquired at two different times for the same position of the measured rigid body
  • a height change value acquisition process for acquiring a height change value caused by the disturbance at the position from a height measurement value related to the surface height of the rigid body is performed using a captured image of the first correction light cutting line.
  • the first correction light cutting line is applied to a plurality of points at different longitudinal positions, and the height change value acquisition process is performed using the captured image of the second correction light cutting line.
  • the second supplement The height change value caused by the plurality of disturbances obtained from the captured images of the first correction light cutting line, performed on a plurality of points at different longitudinal positions of the main light cutting line, A height variation amount caused by the disturbance superimposed on the shape data using a plurality of height change values caused by the disturbance obtained from a captured image of the second correction light cutting line.
  • a shape measurement method including a disturbance estimation step for estimating the measurement error, and a correction step for correcting a measurement error caused by the disturbance by subtracting the height fluctuation amount from the shape data.
  • the disturbance estimation step by linearly approximating height change values caused by the disturbance at a plurality of points on the first correction light cutting line, at the intersection of the straight line and the shape measuring light cutting line.
  • a height change value caused by the disturbance is estimated, and a straight line approximation of the height change value caused by the disturbance at a plurality of points on the second correction light cutting line is performed, so that the straight line and the shape measurement value are obtained.
  • a height change value caused by the disturbance at the intersection with the light cutting line is estimated, and the height variation amount is estimated by a straight line connecting the height change values caused by the disturbance at the two intersections. preferable.
  • the first camera and the second camera capture images at each time corresponding to a predetermined longitudinal interval to generate N (N is an integer of 2 or more) captured images, respectively,
  • N is an integer of 2 or more
  • the height fluctuation amount is calculated on the assumption that the disturbance has not occurred in the first captured image.
  • the imaging timing of the first camera and the second camera is the imaged image of the second camera captured at the imaging time adjacent to each other, and the target light beam that has been irradiated with the correction light cutting line in common. It is controlled so that a common irradiation region that is a part of the measurement rigid body exists, and in the disturbance estimation step, each of the first correction light cutting line and the second correction light cutting line is used. It is preferable that height change values resulting from the disturbance are calculated for the plurality of points corresponding to the common irradiation region.
  • the height change in the i-th (i 2,..., N) captured image of the second camera with reference to the first captured image of the second camera.
  • the value is preferably calculated.
  • the first linear laser light source, the second linear laser light source, and the third linear laser light source are in relation to a plane in which the optical axis of each light source is defined by the longitudinal direction and the width direction of the rigid body to be measured. It is preferable to be arranged vertically.
  • An angle formed by the optical axis of the first camera and the optical axis of the first linear laser light source, an angle formed by the line of sight of the second camera and the optical axis of the second linear laser light source, and The angle formed by the line of sight of the second camera and the optical axis of the third linear laser light source is preferably 30 degrees or more and 60 degrees or less independently of each other.
  • any of the three disturbances of parallel movement in the height direction, rotation around the longitudinal axis, or rotation around the width axis occurs.
  • the surface height of the rigid body to be measured can be measured more accurately.
  • FIG. 10 is an explanatory diagram for explaining an experimental example 1;
  • FIG. 3 is an explanatory diagram for explaining Example 1;
  • 10 is a graph showing the results of Experimental Example 1.
  • FIG. 10 is a graph showing the results of Experimental Example 1.
  • FIG. 10 is explanatory drawing for demonstrating the experiment example 2.
  • FIG. FIG. 10 is explanatory diagram for demonstrating the experiment example 2.
  • 10 is an explanatory diagram for explaining Example 2; 10 is a graph showing the results of Experimental Example 2.
  • FIG. 10 is a graph showing the results of Experimental Example 2.
  • FIG. 10 is an explanatory diagram for explaining an experimental example 3.
  • FIG. 10 is an explanatory diagram for explaining Example 3.
  • FIG. 10 is a graph showing the results of Experimental Example 3.
  • FIG. 10 is a graph showing the results of Experimental Example 3.
  • FIG. 1 is an explanatory diagram schematically showing the configuration of the shape measuring apparatus according to the present embodiment.
  • the shape measuring apparatus 10 includes a plurality of linear laser light sources that move relative to the measured rigid body along the longitudinal direction of the measured rigid body, and are irradiated to the surface of the measured rigid body.
  • This is an apparatus for measuring the shape of a rigid body to be measured by means of a so-called optical cutting method using a plurality of optical cutting lines with a linear laser beam.
  • optical cutting method using a plurality of optical cutting lines with a linear laser beam.
  • the width direction of the measured rigid body S is the C-axis direction (in the spatial coordinate system)
  • the longitudinal direction of the measured rigid body S, that is, the transport direction is the L-axis direction
  • the height direction of the measured rigid body S is Is the Z-axis direction.
  • the measured rigid body S of interest in the present embodiment is an object that can be considered that its shape and volume do not change during the shape measurement process as described below. Therefore, for example, slabs and thick plates that are semi-finished products in the steel industry can be handled as the measured rigid body S in the present embodiment. Further, not only slabs and thick plates in the steel industry, but also various metals other than iron such as titanium, copper, and aluminum, ceramics, composite material slabs and thick plates, etc., are measured as rigid bodies S in this embodiment. It is possible to handle.
  • the shape measuring apparatus 10 irradiates the surface of the rigid body S to be measured with a plurality of linear laser beams, and linear laser beams on the surface of the rigid body S to be measured.
  • the imaging apparatus 100 that captures reflected light of light, and predetermined image processing on the image captured by the imaging apparatus 100 are performed, and the three-dimensional shape of the rigid body S to be measured (that is, the L-axis-C-axis plane) And an arithmetic processing unit 200 for calculating a surface height at each position.
  • the imaging apparatus 100 irradiates the surface of the rigid body S to be measured with three linear laser beams, and the surface of the rigid body S to be measured sequentially along the longitudinal direction at each time corresponding to a predetermined longitudinal interval. It is an apparatus that captures an image and outputs a captured image (light-cut image) obtained as a result of the imaging to an arithmetic processing apparatus 200 described later.
  • the irradiation timing of the linear laser beam to the measured rigid body S, the imaging timing of the surface of the measured rigid body S, and the like are controlled by the arithmetic processing apparatus 200 described later.
  • Such an imaging apparatus 100 is, for example, a PLG (Pulse Logic Generator: pulse) provided in a drive mechanism or the like that controls the conveyance of the measured rigid body S with a change in the longitudinal position of the measured rigid body S with respect to the imaging apparatus 100.
  • PLG Pulse Logic Generator
  • the arithmetic processing device 200 is a device that calculates the three-dimensional shape of the measured rigid body S by performing image processing as described below on the light section image generated at each time generated by the imaging device 100. It is.
  • FIGS. 2 to 7 are explanatory diagrams schematically showing the configuration of the imaging apparatus according to the present embodiment.
  • the imaging apparatus 100 includes three linear laser light sources 101 a, 101 b, and 101 c (hereinafter collectively referred to as “linear”) that each emit linear laser light.
  • Laser light source 101 " and two area cameras 111 and 113.
  • the linear laser light source 101a is an example of a first linear laser light source
  • the linear laser light source 101b is an example of a second linear laser light source
  • the linear laser light source 101c is a third linear light source. It is an example of a laser light source.
  • the area camera 111 is an example of a first camera
  • the area camera 113 is an example of a second camera.
  • the case where the imaging apparatus 100 includes two area cameras will be described as an example.
  • the number of area cameras included in the imaging apparatus 100 according to the present embodiment is such an example. It is not limited.
  • the case where the imaging apparatus 100 includes three area cameras will be described later.
  • the linear laser light source 101 is an apparatus that irradiates a surface of a measured rigid body (hereinafter, also simply referred to as “rigid body”) S, which is an object to be measured, with linear laser light (linear laser light). .
  • the linear laser light source 101 according to the present embodiment can use any light source as long as it can irradiate the surface of the rigid body S with linear laser light.
  • the laser light source for example, it is possible to use a CW (Continuous Wave) laser light source that continuously performs laser oscillation.
  • the wavelength of the laser light oscillated by the laser light source is preferably a wavelength belonging to the visible light band of about 400 nm to 800 nm, for example.
  • Such a laser light source oscillates laser light based on an oscillation timing control signal sent from an arithmetic processing unit 200 described later.
  • the CW laser can be obtained by synchronizing the pulse laser oscillation timing with the imaging timing of the area cameras 111 and 113. It can be handled in the same way as a light source.
  • the rod lens is a lens that spreads the laser light emitted from the laser light source in a fan-shaped surface toward the surface of the rigid body S.
  • the laser beam emitted from the laser light source becomes a linear laser beam and is irradiated onto the surface of the rigid body S.
  • a lens other than a rod lens such as a cylindrical lens or a Powell lens may be used as long as the laser light can be expanded in a fan shape.
  • a bright linear portion (shown as a black line in FIG. 2 and the like) is formed on the surface of the rigid body S irradiated with the linear laser beam.
  • three linear laser light sources 101a, 101b, and 101c are used, three bright portions are formed. These linear bright portions are called light cutting lines.
  • the reflected light of the light cutting line on the surface of the rigid body S propagates to the area camera, forms an image on an image sensor provided in the area camera, and is imaged by the area camera.
  • the optical cutting line obtained by the linear laser light source 101a referred to as a light section line L a
  • the optical cutting line obtained by the linear laser light source 101b referred to as a light section line L b
  • the linear laser the light section line obtained by the light source 101c referred to as a light section line L c
  • the light cutting lines L a , L b , and L c are collectively referred to as “light cutting lines L”.
  • the optical cutting line L a is an example of a configuration measuring optical cutting line.
  • the light cutting line L b and the light cutting line L c are examples of the correction light cutting line.
  • the light cutting line L b corresponds to the first correction light cutting line
  • the light cutting line L c Corresponds to the second correction light section line.
  • the linear laser light source 101 is installed on the transport line so as to satisfy all the following three conditions.
  • ⁇ Light cutting line L a and the light cutting line L b has an intersection A.
  • ⁇ Light cutting line L a and the light cutting line L c have an intersection B.
  • the optical cutting line L b and the optical cutting line L c are both parallel to the L axis, and the optical cutting line L b and the optical cutting line L c exist at different width direction positions on the surface of the rigid body S. .
  • the resulting surface height of the entire rigid body S can be obtained by connecting the lengths in the longitudinal direction according to relative movement between the rigid body S and the imaging device (for example, conveyance of the rigid body S).
  • the surface height obtained by the light cutting method using one light cutting line is an apparent surface height including the disturbance, and the true surface height Becomes a measured value with different errors.
  • the shape measuring apparatus 10 as described in detail below, the optical cutting line L b extending in the longitudinal direction of the rigid body S is added, and each point of the longitudinal position on the optical cutting line L b The relationship with the change in surface height due to disturbance is approximated by a straight line.
  • the longitudinal position where the optical cutting line L a is present i.e., the intersection A of the optical cutting line L a and the light cutting line L b
  • the value of the approximate line in as the surface height variation of the disturbance caused by the light section line L a, uniquely determined.
  • the apparent surface height due to the disturbance changes from the surface height after the disturbance is removed (that is, the apparent surface due to the disturbance).
  • the change in height from the true surface height changes linearly along the longitudinal direction.
  • the measured values at each point on the optical cutting line L b by linear approximation, the effect of absorbing variations in the values due to measurement error.
  • the addition of such an optical cutting line L b, Z direction vertical movement (the value of the approximate line, takes a constant value irrespective of the longitudinal position. That is, the slope is 0 approximate lines), the rotation about the C axis It is possible to uniquely determine the magnitude of two types of disturbances (the approximate straight line has a certain inclination with respect to the position in the longitudinal direction).
  • the shape measuring apparatus 10 by using the three optical cutting lines as described above, the translation in the height direction, the rotation about the longitudinal axis, or the rotation about the width direction axis is performed at the time of conveyance. Even when any one of the three disturbances of rotation occurs, the surface height of the rigid body to be measured can be measured more accurately.
  • the optical cutting line L a and the light cutting line L b are orthogonal, and are illustrated for the case where the optical cutting line L a and the light cutting line L c are orthogonal, the light
  • the arrangement of the cutting lines is not limited to the case shown in these drawings. That is, the optical cutting line L a, in the case where the optical cutting line L b and cutting lines L c are not orthogonal even following description is similarly valid.
  • the magnitude of the disturbance at the intersection point A and the intersection point B is calculated using the above approximate straight line, and even if the two light cutting lines are not orthogonal to each other. Because it is good.
  • the specific length of the light cutting line L is not particularly limited, and the length is appropriately determined so that the luminance distribution of the light cutting line is uniform on the surface of the rigid body S. Good.
  • the positions in the width direction of the light cutting lines L b and L c are not particularly limited, and the light cutting line L can be used regardless of the width of the rigid body S that is transported on the transport line. The positions may be set so that b and L c exist on the surface of the rigid body S.
  • the area cameras 111 and 113 are equipped with a lens having a predetermined focal length and an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Each of the area cameras 111 and 113 captures an optical cutting image by capturing an optical cutting line, which is a reflected light of the linear laser light applied to the surface of the rigid body S, every time the rigid body S moves by a predetermined distance. Generate. In addition, the area cameras 111 and 113 output the generated light section image to the arithmetic processing device 200 described later.
  • an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • Each of the area cameras 111 and 113 captures an optical cutting image by capturing an optical cutting line, which is a reflected light of the linear laser light applied to the surface of the rigid body S, every time the rigid body S moves by a predetermined distance. Generate.
  • the area cameras 111 and 113 are controlled by the arithmetic processing device 200 described later, and a trigger signal for imaging is output from the arithmetic processing device 200 every time the rigid body S moves by a predetermined distance.
  • the area cameras 111 and 113 capture the surface of the rigid body S irradiated with the linear laser light to generate a light cut image, and the generated light cut image It outputs to the arithmetic processing unit 200.
  • N N is an integer of 2 or more
  • the linear laser light source 101a is arranged so that the plane containing the linear laser light emitted from the light source is perpendicular to the L-axis-C-axis plane (in other words, The optical axis of the linear laser light source 101a is set to be substantially parallel to the Z axis).
  • the linear laser light irradiates portions with different positions in the longitudinal direction of the rigid body S due to disturbance described later, and it becomes difficult to measure the accurate surface shape.
  • the plane including the emitted linear laser light is perpendicular to the L-axis-C-axis plane. (In other words, the light sources of the linear laser light sources 101b and 101c are substantially parallel to the Z axis), and each light source is installed on the transport line.
  • the optical cutting line L a by disturbances, L b, when the rigid body S is rotated around the axis parallel to the L c e.g., with respect to the optical cutting line L a Strictly speaking, when the rigid body S rotates around the L axis with respect to the optical cutting lines L b and L c , the irradiation position of the linear laser beam is not exactly the same.
  • the true surface height of the rigid body S changes smoothly and the amount of rotation of the rigid body S is not large, the linear laser beam can be obtained even when there is such rotation. Can be considered as irradiating the same position on the surface of the rigid body S.
  • the latter assumption can be said to be appropriate.
  • the optical axis of the area camera 111 and the optical axis of the linear laser light source 101a (on the L-axis / Z-axis plane)
  • the magnitude of the angle ⁇ 1 formed with the Z axis can be set to an arbitrary value.
  • the size of the angle ⁇ 1 is preferably about 30 to 60 degrees.
  • the area camera 111 is separated from the specular reflection direction of the linear laser light source 101a, becomes dark light cutting line L a captured by the area camera 111, In order to perform photographing with the same brightness, a higher-power laser is required.
  • the optical axis of the area camera 111 projected on the L axis -C axis plane, so that the optical cutting line L a are perpendicular to each other, it is preferable to install a area camera 111. It is possible to align the: Thus, C-axis direction of the resolution (mm) length corresponding to one pixel (unit) of the optical cutting line L a as seen from the area camera 111.
  • the optical cutting line L a and the light cutting line L b may not be perpendicular to the L c. That is, the optical cutting line L a may or may not be parallel to the width direction (C-axis). This is because, as described above, in order to calculate the disturbance quantity at the intersection point A, the intersection B, the optical cutting line L a and the light cutting line L b, and a L c is because may not be orthogonal.
  • the area camera 111 the entire light section line L a is to be included in the imaging field, the imaging area AR1 of the area camera 111 is set.
  • the area with respect to the optical cutting lines L b and L c in the C-axis-Z-axis plane are arbitrary values as with the angle ⁇ 1.
  • the sizes of the angles ⁇ 2 and ⁇ 3 are preferably about 30 to 60 degrees, respectively.
  • an optical cutting line L b in the L axis -C axis plane Similar to the relationship between the light section lines L a and area camera 111, an optical cutting line L b in the L axis -C axis plane, the optical axis of the area camera 113 projected on the L axis -C axis plane are preferably orthogonal to each other. At this time, since the optical cutting line L b and the optical cutting line L c are parallel to each other, if the condition according the optical cutting line L b is satisfied, automatically condition fulfilled even for light cutting line L c It is.
  • the imaging region AR2 of the area camera 113 is set so that the intersection A and the intersection B are included in the imaging field of view.
  • FIG. 6 illustrates a case where the entire optical cutting lines L b and L c are included in the imaging field of view.
  • the disturbance described later An estimation process can be performed. In order to increase the accuracy of the disturbance estimation process described later, it is preferable to include the entire light cutting lines L b and L c in the imaging field of view.
  • the imaging timing of the area cameras 111 and 113 is the time adjacent to each other (for example, the i-th imaging time (i is an integer equal to or greater than 1), and i + 1.
  • the i-th imaging time i is an integer equal to or greater than 1
  • i + 1 the portion of the rigid body S
  • the arithmetic processing device 200 calculates the magnitude of the disturbance by paying attention to the light cutting lines L b and L c in the common irradiation portion.
  • FIG. 7 illustrates a case where the surface of the rigid body S is flat and no disturbance is generated between the two continuous images, but the surface of the rigid body S is not flat or continuous. Even when a disturbance occurs between the two images, a common irradiation portion exists.
  • the shape measuring apparatus 10 measures the surface height of the rigid body S when a rigid body such as a slab or a thick plate is continuously conveyed.
  • a rigid body such as a slab or a thick plate
  • there are various causes of measurement errors such as vibration caused by a drive mechanism provided in a conveyance line or the like.
  • the surface of the rigid body S is illustrated with attention paid to the flat surface.
  • the following description is not limited to the case illustrated in FIG. 9 to FIG. The same holds true when the surface of S is not flat. If the surface of the rigid body S is not flat, the light cutting line itself is a curve, but the change in the light cutting line due to the presence or absence of disturbance changes linearly along the longitudinal direction as in the case of flatness. is there.
  • each of the light cutting lines L a , L b , and L c is the same amount as shown in FIG. Translates vertically in the image.
  • the rotation of the L-axis as a disturbance occurs during i + 1 th imaging, as shown in FIG. 10 the inclination and length of the optical cutting line L a is changed, the optical cutting line L b , L c translate in the image by different amounts.
  • the inclinations of the light cutting lines L b and L c change as shown in FIG.
  • a change in the surface height (a change in the Z coordinate) caused by the disturbance generated in the rigid body S is compared by comparing two consecutive images obtained by the area camera 113. ) At each image capturing time. Thereafter, the surface height on which the measurement error due to the disturbance obtained from the light cut image of the area camera 111 is superimposed based on the change in the surface height caused by the obtained disturbance (in other words, the magnitude of the disturbance). Is corrected and the true surface height is output.
  • FIG. 12 is a block diagram showing an example of the configuration of the image processing unit of the arithmetic processing device provided in the shape measuring apparatus according to the present embodiment.
  • 14 and 15 and FIGS. 17 to 23 are explanatory diagrams for explaining the disturbance estimation process performed by the disturbance estimation unit according to the present embodiment.
  • FIG. 16 is a block diagram illustrating an example of a configuration of a disturbance estimation unit included in the image processing unit according to the present embodiment.
  • FIG. 24 is an explanatory diagram for describing shape data calculation processing performed by the shape data calculation unit according to the present embodiment.
  • 25 and 26 are explanatory diagrams for explaining the correction processing performed by the correction processing unit according to the present embodiment.
  • the arithmetic processing device 200 mainly includes an imaging control unit 201, an image processing unit 203, a display control unit 205, and a storage unit 207.
  • the imaging control unit 201 is realized by, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a communication device, and the like.
  • the imaging control unit 201 performs overall control of imaging processing of the rigid body S by the imaging device 100 according to the present embodiment.
  • the imaging control unit 201 sends a control signal for starting oscillation of the linear laser light source 101 to the imaging device 100 when imaging of the rigid body S is started.
  • the imaging control unit 201 moves a PLG signal (for example, the rigid body S moves 1 mm) periodically transmitted from a drive mechanism or the like that controls the conveyance of the rigid body S.
  • a PLG signal for example, the rigid body S moves 1 mm
  • a trigger signal for starting imaging is sent to the area cameras 111 and 113.
  • the image processing unit 203 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the image processing unit 203 acquires the imaging data generated by the area cameras 111 and 113 (that is, the imaging image data related to the light section image), performs the image processing described below on the imaging data, and performs the processing of the rigid body S.
  • the height of the entire surface is calculated as 3D shape data.
  • the image processing unit 203 transmits information about the obtained calculation result to the display control unit 205 and the storage unit 207, or is provided outside the shape measuring apparatus 10. Transmitted to various devices.
  • the image processing unit 203 will be described in detail later.
  • the display control unit 205 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
  • the display control unit 205 displays the measurement result of the rigid body S transmitted from the image processing unit 203 on an output device such as a display provided in the arithmetic processing device 200, an output device provided outside the arithmetic processing device 200, or the like. Display control. Thereby, the user of the shape measuring apparatus 10 can grasp the measurement result regarding the three-dimensional shape of the rigid body S on the spot.
  • the storage unit 207 is an example of a storage device included in the arithmetic processing device 200, and is realized by, for example, a ROM, a RAM, a storage device, or the like.
  • the storage unit 207 stores calibration data related to the light section line L used in image processing performed by the image processing unit 203. Further, the storage unit 207 stores information indicating the optical positional relationship between the linear laser light source 101 and the area cameras 111 and 113 included in the imaging apparatus 100, and a high-order computer (for example, provided outside the shape measuring apparatus 10). Information related to the design parameters of the shape measuring apparatus 10 such as information transmitted from a management computer or the like that generally manages the conveyance line is also stored.
  • the storage unit 207 various parameters that need to be saved when the arithmetic processing apparatus 200 according to the present embodiment performs some processing, or the progress of the processing (for example, the measurement result transmitted from the image processing unit 203). , Pre-stored calibration data, various databases, programs, etc.) are recorded as appropriate.
  • the storage unit 207 can be freely read / written by the imaging control unit 201, the image processing unit 203, the display control unit 205, the host computer, and the like.
  • the image processing unit 203 includes an imaging data acquisition unit 211, a disturbance estimation unit 213, a shape data calculation unit 215, a correction unit 217, a result output unit 219, Is provided.
  • the imaging data acquisition unit 211 is realized by, for example, a CPU, a ROM, a RAM, a communication device, and the like.
  • the imaging data acquisition unit 211 acquires optical cutting line imaging data (that is, image data related to an optical cutting image) output from the area cameras 111 and 113 of the imaging device 100.
  • the imaging data acquisition unit 211 acquires, from the area camera 113, imaging data related to the optical cutting lines L b and L c used as the correction optical cutting lines (in other words, imaging data obtained by imaging the imaging area AR2 in FIG. 6). Then, the imaging data is output to a disturbance estimation unit 213 described later.
  • the imaging data acquiring unit 211, the area camera 111, (in other words, the imaging data of the captured imaging region AR1 in FIG. 5) imaging data to an optical cutting line L a which is used as configuration measuring optical cutting line, It outputs to the shape data calculation part 215 mentioned later.
  • the imaging data acquisition unit 211 associates the imaging data related to the optical cutting line acquired from the imaging device 100 with the time information related to the date and time when the imaging data is acquired, and stores it as history information in the storage unit 207 or the like. Good.
  • the disturbance estimation unit 213 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the disturbance estimation unit 213 estimates the magnitude of the disturbance generated in the rigid body S using the image data of the correction light cutting lines (that is, the light cutting lines L b and L c ) imaged by the area camera 113. Is a processing unit.
  • the disturbance estimation unit 213 obtains a height change value caused by the disturbance at the position from the height measurement values regarding the surface height of the rigid body S acquired at two different times for the same position of the rigid body S.
  • the height change value acquisition process to be acquired is performed on the captured image obtained from the area camera 113.
  • the height change value acquisition process is performed on a plurality of positions.
  • the disturbance estimation unit 213 uses the height change value at the intersection A obtained from the light section line L b and the height change value at the intersection B obtained from the light section line L c.
  • the height fluctuation amount superimposed on the shape data calculated by the shape data calculation unit 215 described later is estimated.
  • the disturbance estimation process in the disturbance estimation unit 213 will be described in detail later.
  • the disturbance estimation unit 213 outputs the obtained disturbance estimation result to the correction unit 217, which will be described later, after completing the disturbance estimation process described in detail below. Further, the disturbance estimation unit 213 may associate the time information regarding the date and time when the data is generated with the data representing the estimation result regarding the obtained disturbance and store the data in the storage unit 207 or the like as history information.
  • the shape data calculation unit 215 is realized by a CPU, a ROM, a RAM, and the like, for example.
  • the shape data calculation process in the shape data calculation unit 215 will be described again below.
  • the shape data calculation unit 215 When the shape data calculation unit 215 finishes the shape data calculation process described below, the shape data calculation unit 215 outputs the obtained shape data to the correction unit 217 described later.
  • the shape data calculation unit 215 may associate the obtained shape data with time information related to the date and time when the shape data is generated and store it as history information in the storage unit 207 or the like.
  • the correction unit 217 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the correction unit 217 corrects the measurement error caused by the disturbance by subtracting the height fluctuation amount calculated by the disturbance estimation unit 213 from the shape data calculated by the shape data calculation unit 215.
  • true shape data relating to the rigid body S from which a measurement error due to disturbance that may occur in the rigid body S is removed is generated.
  • the correction unit 217 finishes the correction process described below, the correction unit 217 outputs the corrected shape data to the result output unit 219 described later.
  • the result output unit 219 is realized by, for example, a CPU, a ROM, a RAM, an output device, a communication device, and the like.
  • the result output unit 219 outputs information regarding the surface shape of the rigid body S output from the correction unit 217 to the display control unit 205. Thereby, the information regarding the surface shape of the rigid body S will be output to a display part (not shown).
  • the result output unit 219 may output the measurement result related to the obtained surface shape to an external device such as a manufacturing control computer, and creates various forms using the obtained measurement result. May be.
  • the result output unit 219 may store information on the surface shape of the rigid body S as history information in the storage unit 207 or the like in association with time information on the date and time when the information is calculated.
  • Disturbance Estimation Processing in Disturbance Estimation Unit 213 the disturbance estimation processing performed in disturbance estimation unit 213 will be described in detail with reference to FIGS. First, before explaining the disturbance estimation process, calibration data used in the disturbance estimation process will be described.
  • the storage unit 207 stores in advance calibration data relating to the optical cutting line L, which is used in the disturbance estimation process in the disturbance estimation unit 213 and the shape calculation process in the shape data calculation unit 215. Has been.
  • the calibration data stored in advance in the storage unit 207 includes two types of calibration data: first calibration data and second calibration data.
  • the first calibration data is the amount of change (unit: pixel) of the position of the light section line on the captured image captured by the area cameras 111, 113, and the amount in real space (unit: length such as mm or m). This is calibration data necessary for conversion to a unit of length, which will be described below using units of mm.
  • the first calibration data includes the normal imaging resolution (mm / pixel) of the area camera, and the angles ⁇ 1 , ⁇ 2 , ⁇ 3 formed by the line of sight with respect to the light cutting lines L a , L b , and L c and the Z-axis direction.
  • the data is calculated from.
  • the imaging resolution and the angles ⁇ 1 , ⁇ 2 , and ⁇ 3 are not constants, and the height of the rigid body S Depending on the value.
  • the first calibration data is referred to as a calibration curve.
  • Such calibration curve each of the light section lines L a, L b, are set respectively L c.
  • the first calibration data can be calculated by calculation or can be obtained by actual measurement.
  • the focal length f of the lens mounted on the area cameras 111 and 113, the distance a from the lens to the measurement target (that is, the rigid body S), the area camera 111, The distance b from the image sensor provided in 113 to the lens is used. More specifically, by using these parameters, the first calibration data can be calculated by obtaining the magnification m represented by Expression 103 by the imaging formula represented by Expression 101 below.
  • the imaging resolution D (mm / pixel) is a value represented by the following Expression 105. Since the imaging resolution D is an imaging resolution in a plane perpendicular to the line of sight, when the angle formed between the line of sight and the normal direction is ⁇ degrees, the amount of vertical movement H (mm) of the measurement target corresponding to one pixel. Is a value represented by the following expression 107.
  • the amount of vertical movement H of the measurement object corresponding to one pixel obtained as described above represents the change amount (unit: pixel) of the light section line on the captured images captured by the area cameras 111 and 113 in real space.
  • This is a conversion coefficient for conversion into a quantity (unit: mm, for example).
  • the value given by the above equation 107 based on the optical positional relationship between the area cameras 111 and 113 and the light cutting lines L a , L b , and L c corresponding to the area cameras 111 and 113 is set to the respective light cutting points. It can be used as calibration curves C a , C b , C c (that is, first calibration data) for the lines L a , L b , L c .
  • the second calibration data is a conveyance distance (unit: unit of length such as mm or m) of the rigid body S in the real space between two consecutive image capturing times in the real space shown in FIG. Is the data representing the amount of movement (unit: pixel) in the horizontal direction within the image corresponding to.
  • the second calibration data is set for each of the light cutting lines L b and L c .
  • the second calibration data is calibration data used to estimate the magnitude of the disturbance.
  • the second calibration data can also be calculated by calculation or can be obtained by actual measurement.
  • the second calibration data includes the transport distance ⁇ s ( ⁇ s shown in FIG. 13) in the real space of the rigid body S in the generated captured image while two consecutive captured images are generated. This is data indicating how many pixels are supported. Therefore, when calculating the second calibration data by calculation, the imaging resolution D calculated by the above formula 105 is calculated for both the optical cutting lines L b and L c , and the obtained imaging resolution D b , The set value of the transport distance ⁇ s in the real space may be divided using D c .
  • a captured image may be generated while being translated. Then, the obtained captured image is analyzed, and the horizontal movement amounts ⁇ L b and ⁇ L c in the captured image may be measured.
  • the position in the height direction where the optical cutting line Lb is imaged is expressed as the optical cutting line L.
  • b for the reference position in the Y-coordinate Y b (i.e., the position of Y b 0) and the reference position of the X-coordinate X b, and the left edge of the captured image.
  • X-coordinate X b relates to an optical cutting line L b is defined along the extending direction of the light section lines L b, X-axis direction X b and Y-axis direction Y b to an optical cutting line L b is 14 It is defined as shown in
  • the position in the height direction where the light cutting line Lc is picked up is shown as the light cutting line.
  • the reference position of the X-coordinate X c the left edge of the captured image.
  • X-coordinate X c to an optical cutting line L c is defined along the extending direction of the light section lines L c, X-axis direction X c and Y-axis direction Y c relates to an optical cutting line L c is 15 It is defined as shown in
  • FIG. 24 A specific example of the coordinate system about the optical cutting line L a, while referring to FIG. 24 below for reiterated.
  • the calibration curve C A value when the “height” in the captured image is converted into a real space (unit: mm) by a 1 , C b , and C c is expressed as “a height in the Z coordinate” or the like.
  • the disturbance estimation processing performed by the disturbance estimation unit 213 will be described in detail with reference to FIGS. 16 to 23.
  • the light cutting lines L b and L c out of the surface of the rigid body S based on the captured image captured by the area camera 113 and including the light cutting lines L b and L c.
  • a height change value (that is, a change amount of the Z coordinate in the real space) due to a disturbance in the portion existing above is calculated.
  • the disturbance estimation unit 213 approximates the distribution of the amount of change in the Yb coordinate along the Xb direction with a straight line.
  • a disturbance estimating section 213 while suppressing the variations of values due to the measurement error at each point on the optical cutting line L b, with X b coordinates corresponding to the intersection A shown in FIG. 2
  • the amount of change in the Yb coordinate value can be accurately calculated.
  • the change amount of the Z coordinate at the intersection A and the intersection B calculated as described above is expressed as the C coordinate.
  • the amount of change in the Z coordinate can be plotted on a plane with the vertical axis. Since the measurement object of interest in the shape measuring apparatus 10 according to the present embodiment is a rigid body, the change in the Z coordinate at each point in the width direction of the rigid body S located between the intersection A and the intersection B in the real space. The amount should change linearly.
  • the disturbance estimation unit 213 can obtain the change in the Z coordinate due to the disturbance at each position in the width direction connecting the two intersections by obtaining the straight line as described above on the C-axis-Z-axis plane.
  • the disturbance estimation unit 213 that performs the disturbance estimation process includes the common irradiation partial disturbance estimation unit 221, An intersection position disturbance estimation unit 223.
  • the common irradiation partial disturbance estimation part 221 is implement
  • Common irradiated portion disturbance estimating unit 221 performs the calculation processing of the variation of the values of Y b coordinate and Y c coordinates due to disturbances, such as described above with respect to the common illumination portion shown in FIG.
  • the processing performed by the common irradiation partial disturbance estimation unit 221 will be described in detail with reference to FIGS. 17 to 20.
  • the optical cutting line L c if the i-th captured image captured by the area camera 113 is translated by ⁇ L c in the negative direction of the X c axis based on the second calibration data, i and X c coordinate common irradiated portion of the sheet, and X c coordinate common irradiated portion of i + 1 th, it is possible to match the. Since the common irradiation portion is at the same position on the rigid body S, the true surface height of the common irradiation portion in the real space is the same. Therefore, after aligning the X coordinates, the Y coordinate of the i-th common irradiation portion is compared with the Y coordinate of the i + 1-th common irradiation portion. The size can be estimated.
  • the common irradiation partial disturbance estimation unit 221 includes an apparent surface height including a disturbance component obtained from the (i + 1) th captured image (hereinafter referred to as “apparent height”), and i.
  • apparent height a disturbance component obtained from the (i + 1) th captured image
  • disurbance component a disturbance component obtained from the (i + 1) th captured image
  • FIG. 17 is an explanatory diagram for explaining a method of calculating the change in value of Y b coordinates of the disturbance caused in the common irradiated portion disturbance estimating unit 221. Note that FIG. 17 illustrates a case in which translation in the Z-axis direction occurs as a disturbance between two consecutive images, but in the following description, translation in the Z-axis direction occurs as a disturbance.
  • the present invention is not limited to this case, and the same holds true for the case where rotation about the L axis occurs or the case where rotation about the C axis occurs. This is because, in any of the three disturbances, the changes in the Y b coordinate and the Y c coordinate caused by the disturbance can be linearly approximated because the object to be measured is a rigid body.
  • the common irradiated portion disturbance estimating section 221 the same processing as that performed with respect to the optical cutting line L b, also be carried out with respect to the optical cutting line L c. Therefore, in the following figures and description, the processing to be performed for the optical cutting line L b as a representative, it is assumed that the description.
  • the common irradiation part disturbance estimation unit 221 performs the following for the Xb coordinates belonging to each common irradiation part for the two i-th and i + 1-th captured images captured by the area camera 113. Execute the process.
  • the light cutting line L b in the i-th captured image in the (X b , Y b ) coordinate system is regarded as a function of X b
  • Y b F obs b (i, X b )
  • F obs b (i, X b ) is referred to as “apparent height” of the light section line L b .
  • the vertical movement of the light cutting line due to the cause is represented as a disturbance component d b (i, X b ).
  • the vertical movement of the position of the light cutting line in the (i + 1) -th captured image is specified based on the position of the light cutting line in the i-th captured image. It can be seen that this is a method of estimating the magnitude of the disturbance (that is, estimating the disturbance between captured image frames).
  • the light cutting method according to the present embodiment is a method for estimating the magnitude of the disturbance based on the position of the light cutting line in the first captured image, as just mentioned and described in detail later. Please note that.
  • the height of the apparent optical cutting line L b in i th captured image Considering with reference to FIGS. 9 to 11, etc., to the likely if surface height observed when the "disturbance is not present It can be considered that the change in the position of the light cutting line due to the disturbance component is added. That is, the height of the apparent optical cutting line L b of the i-th captured image, as schematically shown in FIG. 17, a disturbance component, the surface height of the after disturbance is removed (i.e., disturbance The height of the surface that would be observed in the absence of .., hereinafter referred to simply as “the height of the surface after disturbance removal”).
  • the disturbance component d b i, X b
  • the disturbance component d b can be regarded as a linear function with respect to X b , that is, a straight line.
  • the disturbance component in the first captured image is zero”. That is, in the first captured image and the second and subsequent captured images in which the common irradiated portion in the first captured image exists, for all the Xb coordinates belonging to the common irradiated portion, the following expression It is assumed that 121 is established.
  • the surface height finally output by the image processing according to the present embodiment is higher than the original surface height.
  • the plane determined by the magnitude of the disturbance component already added at the time of capturing the first image is a uniformly added value.
  • the reference surface is determined as the rigid body S is, for example, a steel semi-finished product slab
  • the correction is made by subtracting the flat surface so that the surface height of the full length that is finally output matches the reference surface.
  • the surface height viewed from the reference plane can be obtained. Therefore, the following description will be made assuming that the above equation 121 is satisfied.
  • the surface height after disturbance removal of the irradiated portion by the light section line L b in i-th shooting time may by pulling the disturbance component from a surface height of the apparent. That is, the surface height H b (i, X b ) after the disturbance removal of the rigid body S irradiated to the light cutting line L b in the i-th captured image can be obtained according to the following Expression 123.
  • H b (i, X b ) F obs b (i, X b ) ⁇ d b (i, X b ) (Equation 123)
  • the disturbance component in the (i + 1) -th captured image can be obtained by subtracting the surface height after disturbance removal from the apparent height in the (i + 1) -th captured image. That is, the following expression 125 is established.
  • the surface height H b (i + 1, X b ) after disturbance removal in the i + 1-th captured image cannot be measured only from the i + 1-th image.
  • the surface height after disturbance removal in the (i + 1) -th captured image is equal to the surface height after disturbance removal in the i-th captured image.
  • the common irradiation partial disturbance estimation unit 221 calculates the surface height H b (i, X b ) after disturbance removal in the i-th sheet, which has already been obtained by Expression 123, in the transport direction (that is, utilizes those aligned common irradiated portion only [Delta] L b is translated in the negative directions) of X b axis, as i + 1 th surface height H b after disturbance rejection in the captured image of the (i + 1, X b) . That is, the fact that the relationship represented by the following expression 127 is established is used.
  • i + 1 th disturbance component d b (i + 1, X b) is the apparent obtained from i + 1 th image and height, after i-th disturbance rejection Using the surface height, the following equation 129 can be used.
  • the surface height H b (i + 1, X b ) after disturbance removal in the (i + 1) th captured image can be obtained.
  • the surface height after disturbance removal on the first sheet and the disturbance component on the (i + 1) th sheet can be sequentially calculated.
  • FIG. 19 is an explanatory diagram for explaining processing based on Expression 129 in the common irradiation portion of the first captured image and the second captured image.
  • the disturbance component d b (2, X b ) in the second captured image has the apparent height F obs b (2, X b ) and the disturbance in the second captured image. It is the difference between the surface height H b (2, X b ) after removal.
  • the surface height H b (2, X b ) after disturbance removal in the second captured image is the surface height after disturbance removal in the first captured image.
  • H b (1, X b ) is translated by ⁇ L b as shown by a broken line in FIG.
  • H b (1, X b + ⁇ L b ) H b (1, X b + ⁇ L b ).
  • H b (1, X b ) is equal to F obs b (1, X b ).
  • H b (1, X b + ⁇ L b ) is equal to F obs b (1, X b + ⁇ L b ).
  • the disturbance component d b (2, X b ) in the second captured image has an apparent height of F obs b (2, X b ), which is the first apparent height. the equal to minus those moved [Delta] L b parallel. That is, the situation shown in FIG. 19 corresponds to the expression of the expression shown as expression 129 above.
  • the disturbance generated in the rigid body S is a parallel movement in the Z direction
  • the disturbance component (the size indicated by the one-dot chain line in FIG. 19) d b (2, X b ) is constant regardless of the Xb coordinate.
  • FIG. 20 is an explanatory diagram for explaining processing based on Expression 123 and Expression 129 in the common irradiation portion of the second captured image and the third captured image.
  • the disturbance component d b (2,2) already calculated based on FIG. 19 from the apparent height F obs b (2, X b ) obtained from the second image.
  • the surface height H b (2, X b ) after disturbance removal can be calculated. This relationship illustrates the relationship represented by Equation 123 above.
  • the surface height H b (2, X b ) after disturbance removal in the common irradiation part of the second captured image is the third imaged.
  • the disturbance component d b (3, X b ) can be calculated.
  • the disturbance component d b (3, X b ) of the third captured image is the apparent height F obs b (3, X b ) of the third captured image.
  • the surface height H b (2, X b ) after disturbance removal in the second captured image is subtracted from the surface height H b (2 after disturbance removal in the second captured image.
  • X b ) is obtained by subtracting the disturbance component d b (2, X b ) of the second captured image from the apparent height F obs b (2, X b ) of the second captured image. is there.
  • the disturbance component d b (3, X b ) of the third captured image can be considered to be an amount based on the disturbance component d b (2, X b ) of the second captured image.
  • the disturbance component d b (2, X b ) of the second captured image can be regarded as an amount based on the disturbance component d b (1, X b ) of the first captured image.
  • the disturbance estimation process according to the present embodiment converts the disturbance component d b (i, X b ) in the i-th captured image from i ⁇ from the disturbance in the 1st captured image. It is specified as a result of integration of all disturbances up to disturbances in the first captured image.
  • the magnitude of the disturbance component of the optical cutting line L b is a constant regardless of X b coordinate Become.
  • the disturbance component d c (i, X c ) on the light cutting line L c existing at different positions in the width direction in the real space is also constant regardless of the coordinate X c .
  • the value of the disturbance component d b and disturbance component d c are different, it is possible to grasp that the rotation of the L-axis is present.
  • the common irradiation partial disturbance estimation unit 221 When the common irradiation partial disturbance estimation unit 221 performs the above processing, the disturbance component d b (i, X b ) on the light section line L b is obtained using two consecutive captured images. The size can be calculated. By applying the above process to the light cutting line L c in the same manner, the common irradiation partial disturbance estimation unit 221 causes the disturbance component d c (i, X c ) on the light cutting line L c. Can be calculated.
  • the common irradiation partial disturbance estimation unit 221 outputs information on the magnitude of the disturbance component on each of the light cutting lines L b and L c calculated in this way to the intersection position disturbance estimation unit 223 described later.
  • intersection position disturbance estimation unit 223 is realized by, for example, a CPU, a ROM, a RAM, and the like.
  • the intersection position disturbance estimation unit 223 uses the magnitude of the disturbance in the common irradiation part calculated by the common irradiation part disturbance estimation unit 221 to linearly calculate the distribution of the disturbance magnitude along the X coordinate.
  • the magnitude of the disturbance at the intersection A and the intersection B is calculated by approximating and extrapolating the obtained approximate straight line to the intersection position (in some cases, interpolation).
  • the variation occurring at each point on the light cutting lines L b and L c is absorbed, and the intersection point A is more accurately compared with the conventional light cutting method including the invention described in Patent Document 1.
  • the value of the disturbance at the intersection B can be obtained.
  • intersection position disturbance estimation unit 223 uses the calibration curves C b and C c which are the first calibration data, and calculates the surface height expressed in units of pixels in the Z coordinate (unit: mm). By converting into a value, the magnitude of the disturbance at the Z coordinate of the intersections A and B is calculated.
  • the intersection position disturbance estimation unit 222 determines that the Z coordinate change ⁇ Z b (i) (unit: mm) due to the disturbance component at the intersection A in the i-th image.
  • the first reason is because the measurement object is a rigid body, disturbance component d a (i, X a) along the optical cutting line L a in the image captured by the area camera 111 and, according disturbance component d This is because the disturbance component in the Z coordinate obtained by converting a (i, X a ) by the calibration curve C a is a straight line as in the case of the light cutting lines L b and L c .
  • the second reason is that the value of the disturbance component at two points on a straight line to an optical cutting line L a can be identified, with respect to the optical cutting line L a, to estimate the value of the disturbance components at locations other than intersections This is because it becomes possible.
  • FIG. 21 illustrates a case where a parallel movement in the Z-axis direction occurs as a disturbance between two consecutive captured images, but the following description is limited to the case illustrated in FIG. 21.
  • the present invention is not limited to this, and can be similarly applied to the case where rotation around the L axis occurs and the case where rotation around the C axis occurs.
  • the imaging time of the i th captured image with respect to the intersection point A between the optical cutting line L a and the light cutting line L b represents the Z coordinate of the apparent containing the disturbance component with Z b (i), the light section regard intersection B of the line L a and the light cutting line L c, and be expressed as an apparent containing the disturbance component Z coordinate Z c (i).
  • the surface height in the Z coordinate that is regarded as no disturbance occurs up to the i-th image on the basis of the time when the first captured image is captured (that is, the Z coordinate after disturbance removal). Is expressed as Z b t (i) for the intersection point A and Z c t (i) for the intersection point B.
  • the difference between the apparent surface height Z b (i) at the intersection A in the Z coordinate and the surface height Z b t (i) after disturbance removal in the Z coordinate Is defined as a change in Z coordinate ⁇ Z b (i) due to a disturbance component.
  • the difference between the apparent surface height Z c (i) at the intersection B in the Z coordinate and the surface height Z c t (i) after disturbance removal in the Z coordinate Is defined as a Z coordinate change ⁇ Z c (i) due to a disturbance component.
  • the intersection position disturbance estimation unit 223, as shown in FIG. 22, outputs the disturbance component d b ( Consider how the size of i, Xb ) is distributed along the Xb direction.
  • the intersection position disturbance estimation unit 223 linearly approximates the distribution of the disturbance component d b (i, X b ) along the Xb direction by a known statistical process such as a least square method. Thereafter, the intersection position disturbance estimation unit 223 uses the Xb coordinate of the intersection A and the calculated approximate straight line, and the disturbance component d b (i, A) (unit) is the magnitude of the disturbance component at the intersection A. : Pixel).
  • the intersection position disturbance estimation unit 223 uses the calibration curve C b that is the first calibration data to calculate the disturbance component d b (i, A) (unit: pixel).
  • the magnitude of the disturbance component is converted into a disturbance component ⁇ Z b (i) (unit: mm) in the Z coordinate.
  • the calibration curve C b is a curve
  • the disturbance component d b (i, A) is mentioned above.
  • the disturbance component is based on the first captured image. Specifically, in order to obtain ⁇ Z b (i) by applying the calibration curve C b as shown in FIG. 23, conversion from pixel unit to mm unit is performed at two points on the calibration curve, and the Z coordinate is obtained. It is necessary to take a difference in.
  • the intersection position disturbance estimation unit 223 uses the apparent height F obs b (i, A) of the intersection A and the calibration curve C b as shown in FIG.
  • the apparent surface height Z b (i) at the intersection A in the coordinates is calculated.
  • the intersection position disturbance estimation unit 223 uses the surface height H b (i, A) after disturbance removal and the calibration curve C b to obtain the surface height after disturbance removal at the i-th Z coordinate.
  • Z b t (i) is calculated.
  • intersection position disturbance estimation unit 223 calculates the disturbance component ⁇ Z b (i) in the Z coordinate at the intersection A by calculating the difference between the two obtained surface heights. Further, the intersection position disturbance estimation unit 223 also calculates the disturbance component ⁇ Z c (i) in the Z coordinate at the intersection B in exactly the same manner.
  • intersection position disturbance estimation unit 223 outputs the information regarding the magnitude of the disturbance component at the intersections A and B calculated in this manner to the correction unit 217.
  • the disturbance estimation process performed by the disturbance estimation unit 213 has been described in detail above with reference to FIGS.
  • Shape Data Calculation Processing in Shape Data Calculation Unit 215 will be described in detail with reference to FIG. In FIG. 24, the case where rotation around the L-axis is generated as a disturbance is illustrated, but the following description is not limited to the case illustrated in FIG. Absent.
  • the shape data calculation unit 215 first refers to the captured image data captured by the area camera 111 and output from the captured data acquisition unit 211, and as illustrated in FIG. 24, the light in the i-th captured image. the apparent regarding the cutting line L a height F obs a (i, X a ) ( in pixels) to identify.
  • the height direction of the optical cutting line L a is captured position
  • the optical cutting line L the X-coordinate X a related a it can be defined along the extending direction of the light section line L a reference to the left edge of the captured image.
  • the shape data calculation unit 215 stores the apparent height F obs a (i, X a ) (unit: pixel) obtained from the i-th captured image in the storage unit 207. using the calibration curve C a is the calibration data, the height Z of the apparent in the Z-coordinate (i, X a): to convert into (in mm unit of length such as).
  • the apparent height Z (i, X a ) calculated in this way is a value on which a change in the Z coordinate (that is, a measurement error) caused by a disturbance is superimposed.
  • the shape data calculation unit 215 outputs information regarding the apparent height Z (i, X a ) in the Z coordinate calculated in this way to the correction unit 217 described later.
  • the correction unit 217 is calculated by the shape data including the measurement error calculated by the shape data calculation unit 215 (apparent height Z (i, X a ) in the Z coordinate) and the disturbance estimation unit 213. Then, a correction process is performed using the disturbance component (disturbance component ⁇ Z b (i) in the Z coordinate) to calculate the true surface height of the rigid body S that is the measurement object. By repeating this correction processing for all images captured by the area camera 111, the true surface height is superposed in the longitudinal direction, and as a result, the true surface height of the entire rigid body S is calculated. It becomes possible to do.
  • the correction unit 217 first uses the disturbance components ⁇ Z b (i) and ⁇ Z c (i) in the Z coordinates at the intersection A and the intersection B calculated by the disturbance estimation unit 213 to obtain a diagram.
  • a straight line as shown in FIG. As with prior mentioned, the disturbance component in the Z-coordinate along the optical cutting line L a [Delta] Z (i, X a), due measurement object is a rigid body, the primary function (i.e., linear) with respect to the coordinates X a .
  • intersection point A and the disturbance component in the Z-coordinate at the intersection B ⁇ Z b (i), by calculating the straight line connecting the [Delta] Z c (i), the disturbance component in the Z-coordinate along the optical cutting line L a [Delta] Z (i , X a ) can be specified.
  • the correcting unit 217 determines a change in the Z coordinate due to the disturbance (that is, the disturbance component) from Z (i, X a ) obtained by the shape data calculating unit 215. By subtracting ⁇ Z (i, X a )), the true surface height Z out (i, X a ) in the Z coordinate is calculated.
  • correction processing performed by the correction unit 217 according to the present embodiment has been described above with reference to FIGS. 25 and 26.
  • each component described above may be configured using a general-purpose member or circuit, or may be configured by hardware specialized for the function of each component.
  • the CPU or the like may perform all functions of each component. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at the time of carrying out the present embodiment.
  • a computer program for realizing each function of the arithmetic processing apparatus according to the present embodiment as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • FIGS. 27 and 28 are explanatory diagrams schematically showing a modification of the imaging device according to the present embodiment.
  • the imaging apparatus 100 is described with the two area cameras 111 and 113 provided, but the configuration of the imaging apparatus 100 according to the present embodiment is not limited to such an example. .
  • the optical cutting line L c captured by the area camera 117 uses three area camera along with area camera 111 It is also possible.
  • Each area camera 115 and 117 as in the case of using the area camera 111, 113 of the two as the imaging apparatus 100, as shown in FIG. 28, the projection on the light cutting line L b and L axes -C axis plane is the orthogonal to the optical axis of the area camera 115, and the optical axis of the optical cutting line L c and L axis -C axis area camera 117 projected on the plane is installed so as to be orthogonal.
  • the imaging area AR3 of the area camera 115 and the imaging area AR4 of the area camera 117 include the intersection point A and the intersection point B in the imaging field, respectively, as in the case where the two area cameras 111 and 113 are used as the imaging device 100.
  • angles ⁇ 4 and ⁇ 5 formed by the optical axis of each area camera and the Z axis are preferably set to, for example, about 30 to 60 degrees for the same reason as in the case of two area cameras.
  • the angles ⁇ 4 and ⁇ 5 may be the same value or different values. In any case, it is possible to measure the desired shape by the same calculation process as when one area camera is used.
  • 27 and 28 show a case where two area cameras 115 and 117 are arranged on one side in the width direction of the rigid body S, but even in the direction of parallel movement in the disturbance estimation unit 213. if care the area camera 115 on the side of the optical cutting line L b side of the rigid body S is disposed, it is also possible to arrange the area camera 117 on the side of the light section lines L c side of the rigid body S.
  • FIG. 29A and FIG. 29B are flowcharts showing an example of the flow of the shape measuring method according to the present embodiment.
  • first calibration data and the second calibration data are appropriately generated and stored in the storage unit 207 using various methods as described above.
  • the imaging apparatus 100 of the shape measuring apparatus 10 images the measured rigid body S being transported by the area cameras 111 and 113 under the control of the imaging control unit 201 in the arithmetic processing apparatus 200. Then, N captured images are generated (step S101). Each time the area cameras 111 and 113 of the imaging apparatus 100 generate one captured image, the imaging data of the generated captured image is output to the arithmetic processing apparatus 200.
  • the imaging data acquisition unit 211 of the arithmetic processing device 200 acquires the imaging data from the imaging device 100
  • the imaging data acquisition unit 211 outputs the imaging data generated by the area camera 111 to the shape data calculation unit 215 and is generated by the area camera 113.
  • the captured image data is output to the disturbance estimation unit 213.
  • the disturbance estimation process in the disturbance estimation unit 213 and the shape data calculation process in the shape data calculation unit 215 may be performed in parallel, or the process in one of the processing units may be performed in the other processing unit. Needless to say, the process may be performed prior to the process in FIG.
  • the shape data calculation unit 215 uses the shape-measuring light cutting line (that is, the light cutting line L a ) and the calibration curve C a while referring to the i-th captured image by the method described above. Then, shape data in the real space (surface height in the Z coordinate) is calculated (step S107). When the shape data calculation unit 215 calculates shape data in real space for the i-th captured image, the shape data calculation unit 215 outputs information about the obtained shape data to the correction unit 217.
  • the disturbance estimation unit 213 performs common irradiation based on each correction light cutting line (that is, the light cutting lines L b and L c ) with reference to the i-th captured image by the method described above.
  • the disturbance component of the part is calculated (step S109).
  • the disturbance estimation unit 213 calculates an approximate straight line using the calculated disturbance component, and then calculates the disturbance component at the intersection A and the intersection B (step S111).
  • the disturbance estimation unit 213 converts the disturbance components at the intersections A and B into quantities in real space using the calibration curves C b and C c (step S113).
  • the disturbance estimation unit 213 outputs information regarding the magnitude of the disturbance component in the obtained real space to the correction unit 217.
  • the correction unit 217 outputs the disturbance component at the position of the shape-measuring optical cutting line by the method described above based on the disturbance component in the real space of the intersection point A and the intersection point B output from the disturbance estimation unit 213. Calculate (step S115). Thereafter, the correction unit 217 calculates the true surface height by subtracting the disturbance component in the real space from the shape data in the real space output from the shape data calculation unit 215 (step S117).
  • FIG. 30 is a block diagram for explaining a hardware configuration of the arithmetic processing device 200 according to the embodiment of the present invention.
  • the arithmetic processing apparatus 200 mainly includes a CPU 901, a ROM 903, and a RAM 905.
  • the arithmetic processing device 200 further includes a bus 907, an input device 909, an output device 911, a storage device 913, a drive 915, a connection port 917, and a communication device 919.
  • the CPU 901 functions as a central processing device and control device, and performs all or part of the operation in the arithmetic processing device 200 according to various programs recorded in the ROM 903, the RAM 905, the storage device 913, or the removable recording medium 921. Control.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a bus 907 constituted by an internal bus such as a CPU bus.
  • the bus 907 is connected to an external bus such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 909 is an operation means operated by the user such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 909 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or may be an external connection device 923 such as a PDA corresponding to the operation of the arithmetic processing device 200. May be.
  • the input device 909 includes, for example, an input control circuit that generates an input signal based on information input by a user using the operation unit and outputs the input signal to the CPU 901. By operating the input device 909, the user can input various data to the shape measuring apparatus 10 and instruct processing operations.
  • the output device 911 is configured by a device that can notify the user of the acquired information visually or audibly.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, printer devices, mobile phones, and facsimiles.
  • the output device 911 outputs results obtained by various processes performed by the arithmetic processing device 200, for example. Specifically, the display device displays the results obtained by various processes performed by the arithmetic processing device 200 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 913 is a data storage device configured as an example of a storage unit of the arithmetic processing device 200.
  • the storage device 913 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 913 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 915 is a recording medium reader / writer, and is built in or externally attached to the arithmetic processing unit 200.
  • the drive 915 reads information recorded in a removable recording medium 921 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 915 can write a record in a removable recording medium 921 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 921 is, for example, a CD medium, a DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 921 may be a compact flash (registered trademark) (CompactFlash: CF), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 921 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 917 is a port for directly connecting a device to the arithmetic processing device 200.
  • Examples of the connection port 917 include a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, and an RS-232C port.
  • the communication device 919 is a communication interface configured by a communication device for connecting to the communication network 925, for example.
  • the communication device 919 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 919 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 919 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication network 925 connected to the communication device 919 is configured by a wired or wireless network, and is, for example, the Internet, a home LAN, an in-house LAN, infrared communication, radio wave communication, satellite communication, or the like. May be.
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • the shape measuring apparatus and the shape measuring method according to the present invention will be specifically described with reference to examples.
  • the Example shown below is an example of the shape measuring apparatus and shape measuring method which concern on this invention, Comprising: The shape measuring apparatus and shape measuring method which concern on this invention are limited to the Example shown below is not.
  • Examples 1 to 3 shown below an aluminum plate whose surface is known to be flat was used as the rigid body S to be measured. Moreover, the shape measuring apparatus used for shape measurement is the shape measuring apparatus 10 according to the present embodiment as shown in FIGS. 1 and 2.
  • Example 1 one aluminum sheet as described above is taken for 60 seconds at a constant speed of 5 mm / second, one image is taken with two area cameras per 0.2 second, and 60 sheets are obtained with each area camera. Obtained images were obtained. In advance, calibration curves C a , C b , C c and ⁇ L b , ⁇ L c were created, and the obtained data was stored in the storage unit.
  • Example 2 In Example 2, the rotation about the L axis as shown in FIG. 32A (the rotation axis was the center position in the width direction of the aluminum plate, and the positive direction of the rotation angle was clockwise along the positive direction of the L axis. ) was added as a disturbance during the conveyance of the aluminum plate.
  • the positional relationship between the position of the light cutting line and the rotation axis is as shown in FIG. 32B.
  • Z (i, X a ) is superimposed on the change in the Z-axis direction due to rotation around the L-axis, and the surface height of the corresponding part is not flat. I understand. This result indicates that Z (i, X a ) cannot express an accurate surface height.
  • Example 3 In Example 3, the rotation about the C axis as shown in FIG. 33A (the rotation axis is the central position in the longitudinal direction of the aluminum plate, and the positive direction of the rotation angle is clockwise along the positive direction of the C axis). ) was added as a disturbance during the conveyance of the aluminum plate. Note that the positional relationship between the position of the light cutting line and the rotation axis is as shown in FIG. 33B. As a result, as shown in FIG. 33C, Z (i, X a ) is superimposed on the change in the Z-axis direction due to rotation around the C-axis, and the surface height of the corresponding part is not flat. I understand.
  • Shape measuring apparatus 100 Imaging apparatus 101a, 101b, 101c Linear laser light source 111,113,115,117 Area camera 200 Arithmetic processing apparatus 201 Imaging control part 203 Image processing part 205 Display control part 207 Storage part 211 Imaging data acquisition part 213 Disturbance estimation unit 215 Shape data calculation unit 217 Correction unit 219 Result output unit 221 Common irradiation partial disturbance estimation unit 223 Intersection position disturbance estimation unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】搬送時に高さ方向の平行移動、長手方向軸回りの回転又は幅方向軸回りの回転の3つの外乱のうちの何れかが生じた場合であっても、被測定剛体の表面高さをより正確に測定すること。 【解決手段】本発明に係る形状測定装置は、被測定剛体の幅方向に延びる光切断線であり、被測定剛体の表面形状を算出するために用いられる形状測定用光切断線と、被測定剛体の長手方向に対して平行で、かつ、形状測定用光切断線と交差しており、被測定剛体に作用する外乱の影響を補正するために用いられる第1の補正用光切断線と、被測定剛体の長手方向に対して平行で、形状測定用光切断線と交差し、かつ、第1の補正用光切断線とは異なる被測定剛体の幅方向位置に存在している第2の補正用光切断線と、を利用する。2種類の補正用光切断線に基づき形状測定用光切断線と補正用光切断線との交点で外乱の大きさを推定し、形状測定用光切断線から得られた形状データを補正する。

Description

形状測定装置及び形状測定方法
 本発明は、形状測定装置及び形状測定方法に関する。
 鉄鋼半製品であるスラブや、かかるスラブを利用して製造される厚板等は、その製造過程において複数のロールから構成される製造ライン上を搬送される。この際に、これらスラブや厚板等の剛体の表面高さを測定するために、いわゆる光切断法を利用した形状測定が行われている。しかしながら、スラブや厚板といった剛体が製造ラインを搬送される際には、測定される表面高さに対して、剛体の上下動や回転(以下、「外乱」と称する。)に起因する表面高さの変動が重畳されてしまい、真の表面高さが測定できないという問題があった。
 上記問題に対応するために、以下の特許文献1に示した技術では、被測定剛体の幅方向に形成した本来の形状測定のための光切断線に加えて、当該光切断線に対して斜め方向(互いに平行でない方向)に更なる光切断線を形成することが提案されている。かかる技術では、本来同じ表面高さを有するはずの被測定剛体の同一点の測定を、異なる長手方向位置、異なる幅方向位置の複数点についてそれぞれ2回ずつ実施する。その後、上記複数点の表面高さが最も良く一致するような外乱(上下動や回転)の大きさを最適化計算によって導出し、測定結果から外乱の影響を除去している。
特開2013-221799号公報
 しかしながら、上記特許文献1に示した技術では、各測定点の表面高さ測定において測定誤差が大きくなると、最適化計算が正しく収束しないことがある。また、上記特許文献1に示した技術は、外乱として存在しうる、上下動(高さ方向の平行移動)、長手方向軸回りの回転、幅方向軸回りの回転、の3つが同時に存在する場合には、測定結果に誤差が重畳されてしまうという問題があった。
 そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、搬送時に、高さ方向の平行移動、長手方向軸回りの回転又は幅方向軸回りの回転の3つの外乱のうちの何れかが生じた場合であっても、被測定剛体の表面高さをより正確に測定することが可能な、形状測定装置及び形状測定方法を提供することにある。
 上記課題を解決するために、本発明のある観点によれば、被測定剛体の長手方向に沿って当該被測定剛体に対して相対移動する複数の線状レーザ光源から、前記被測定剛体の表面へと照射された、複数の線状レーザ光による複数の光切断線により、当該被測定剛体の形状を測定するものであり、長手方向に沿って相対移動する前記被測定剛体の表面に対して、3本の前記線状レーザ光を照射するとともに、前記3本の線状レーザ光の前記被測定剛体の表面からの反射光を所定の長手方向間隔で撮像する撮像装置と、前記撮像装置により撮像された前記光切断線に関する撮像画像に対して画像処理を実施して、前記被測定剛体の表面形状を算出する演算処理装置と、を備え、前記撮像装置は、前記被測定剛体の幅方向に延びる前記光切断線であり、前記被測定剛体の表面形状を算出するために用いられる形状測定用光切断線を射出する第1線状レーザ光源と、前記被測定剛体の長手方向に対して平行であり、かつ、前記形状測定用光切断線と交差しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第1の補正用光切断線を射出する第2線状レーザ光源と、前記被測定剛体の長手方向に対して平行であり、前記形状測定用光切断線と交差し、かつ、前記第1の補正用光切断線とは異なる前記被測定剛体の幅方向位置に存在しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第2の補正用光切断線を射出する第3線状レーザ光源と、前記形状測定用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記形状測定用光切断線の撮像画像を生成する第1のカメラと、前記補正用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記補正用光切断線の撮像画像を生成する第2のカメラと、を有しており、前記演算処理装置は、前記第1のカメラにより生成された各時刻での前記形状測定用光切断線の撮像画像に基づいて、前記被測定剛体の表面の3次元形状を表わし、かつ、前記外乱に起因する測定誤差の重畳された形状データを算出する形状データ算出部と、前記被測定剛体の同一位置について異なる2つの時刻に取得した前記被測定剛体の表面高さに関する高さ測定値から、当該位置における前記外乱に起因する高さ変化値を取得する高さ変化値取得処理を、前記第1の補正用光切断線の撮像画像を用いて、当該第1の補正用光切断線の異なる長手方向位置の複数の点に対して実施するとともに、前記高さ変化値取得処理を、前記第2の補正用光切断線の撮像画像を用いて、当該第2の補正用光切断線の異なる長手方向位置の複数の点に対して実施し、前記第1の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、前記第2の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、を利用して、前記形状データに重畳された前記外乱に起因する高さ変動量を推定する外乱推定部と、前記形状データから前記高さ変動量を差し引くことで、前記外乱に起因する測定誤差を補正する補正部と、を有する形状測定装置が提供される。
 前記外乱推定部は、前記第1の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似して、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値を推定し、前記第2の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似して、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値を推定し、2つの前記交点における前記外乱に起因する高さ変化値を結ぶ直線により、前記高さ変動量を推定することが好ましい。
 前記第1のカメラ及び前記第2のカメラは、所定の長手方向間隔に対応する各時刻に撮像を行って、それぞれN枚(Nは、2以上の整数。)の撮像画像を生成し、前記外乱推定部は、1枚目の撮像画像に前記外乱が生じていないとみなして、前記高さ変動量を算出することが好ましい。
 前記第1のカメラ及び前記第2のカメラの撮像タイミングは、互いに隣り合う撮像時刻に撮像した前記第2のカメラの撮像画像において、共通して前記補正用光切断線が照射されている前記被測定剛体の部分である共通照射領域が存在するように制御されており、前記外乱推定部は、前記第1の補正用光切断線、及び、前記第2の補正用光切断線のそれぞれでの前記共通照射領域に該当する前記複数の点について、前記外乱に起因する高さ変化値を算出することが好ましい。
 前記外乱推定部は、前記第2のカメラのi+1枚目(i=1,2,・・・,N-1)の撮像画像から得られる前記高さ変化値を含む見かけの表面高さと、前記第2のカメラのi枚目の撮像画像から得られる、当該撮像画像の前記共通照射領域における前記高さ変化値を除去した後の表面高さと、を用いて、前記i+1枚目の撮像画像における前記高さ変化値と、当該高さ変化値を除去した後の表面高さと、を算出することが好ましい。
 前記外乱推定部は、前記第2のカメラの1枚目の撮像画像を基準として、前記第2のカメラのi枚目(i=2,・・・,N)の撮像画像における前記高さ変化値を算出することが好ましい。
 前記第1線状レーザ光源、前記第2線状レーザ光源及び前記第3線状レーザ光源は、それぞれの光源の光軸が前記被測定剛体の長手方向及び幅方向で規定される平面に対して垂直となるように配設されることが好ましい。
 前記第1のカメラの光軸と前記第1線状レーザ光源の光軸とのなす角、前記第2のカメラの視線と前記第2線状レーザ光源の光軸とのなす角、及び、前記第2のカメラの視線と前記第3線状レーザ光源の光軸とのなす角は、互いに独立に、30度以上60度以下であることが好ましい。
 また、上記課題を解決するために、本発明の別の観点によれば、被測定剛体の長手方向に沿って当該被測定剛体に対して相対移動する複数の線状レーザ光源から、前記被測定剛体の表面へと照射された、複数の線状レーザ光による複数の光切断線により、当該被測定剛体の形状を測定するものであり、前記被測定剛体の幅方向に延びる前記光切断線であり、前記被測定剛体の表面形状を算出するために用いられる形状測定用光切断線を射出する第1線状レーザ光源と、前記被測定剛体の長手方向に対して平行であり、かつ、前記形状測定用光切断線と交差しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第1の補正用光切断線を射出する第2線状レーザ光源と、前記被測定剛体の長手方向に対して平行であり、前記形状測定用光切断線と交差し、かつ、前記第1の補正用光切断線とは異なる前記被測定剛体の幅方向位置に存在しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第2の補正用光切断線を射出する第3線状レーザ光源と、前記形状測定用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記形状測定用光切断線の撮像画像を生成する第1のカメラと、前記補正用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記補正用光切断線の撮像画像を生成する第2のカメラと、を有する撮像装置から、長手方向に沿って相対移動する前記被測定剛体の表面に対して3本の前記光切断線を照射して、当該3本の光切断線の前記被測定剛体の表面からの反射光を所定の長手方向間隔で撮像する撮像ステップと、前記第1のカメラにより生成された各時刻での前記形状測定用光切断線の撮像画像に基づいて、前記被測定剛体の表面の3次元形状を表わし、かつ、前記外乱に起因する測定誤差の重畳された形状データを算出する形状データ算出ステップと、前記被測定剛体の同一位置について異なる2つの時刻に取得した前記被測定剛体の表面高さに関する高さ測定値から、当該位置における前記外乱に起因する高さ変化値を取得する高さ変化値取得処理を、前記第1の補正用光切断線の撮像画像を用いて、当該第1の補正用光切断線の異なる長手方向位置の複数の点に対して実施するとともに、前記高さ変化値取得処理を、前記第2の補正用光切断線の撮像画像を用いて、当該第2の補正用光切断線の異なる長手方向位置の複数の点に対して実施して、前記第1の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、前記第2の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、を利用して、前記形状データに重畳された前記外乱に起因する高さ変動量を推定する外乱推定ステップと、前記形状データから前記高さ変動量を差し引くことで、前記外乱に起因する測定誤差を補正する補正ステップと、を含む形状測定方法が提供される。
 前記外乱推定ステップでは、前記第1の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似することで、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値が推定され、前記第2の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似することで、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値が推定され、2つの前記交点における前記外乱に起因する高さ変化値を結ぶ直線により、前記高さ変動量が推定されることが好ましい。
 前記第1のカメラ及び前記第2のカメラは、所定の長手方向間隔に対応する各時刻に撮像を行って、それぞれN枚(Nは、2以上の整数。)の撮像画像を生成し、前記外乱推定ステップでは、1枚目の撮像画像に前記外乱が生じていないとみなして、前記高さ変動量が算出されることが好ましい。
 前記第1のカメラ及び前記第2のカメラの撮像タイミングは、互いに隣り合う撮像時刻に撮像した前記第2のカメラの撮像画像において、共通して前記補正用光切断線が照射されている前記被測定剛体の部分である共通照射領域が存在するように制御されており、前記外乱推定ステップでは、前記第1の補正用光切断線、及び、前記第2の補正用光切断線のそれぞれでの前記共通照射領域に該当する前記複数の点について、前記外乱に起因する高さ変化値が算出されることが好ましい。
 前記外乱推定ステップでは、前記第2のカメラのi+1枚目(i=1,2,・・・,N-1)の撮像画像から得られる前記高さ変化値を含む見かけの表面高さと、前記第2のカメラのi枚目の撮像画像から得られる、当該撮像画像の前記共通照射領域における前記高さ変化値を除去した後の表面高さと、を用いて、前記i+1枚目の撮像画像における前記高さ変化値と、当該高さ変化値を除去した後の表面高さと、が算出されることが好ましい。
 前記外乱推定ステップでは、前記第2のカメラの1枚目の撮像画像を基準として、前記第2のカメラのi枚目(i=2,・・・,N)の撮像画像における前記高さ変化値が算出されることが好ましい。
 前記第1線状レーザ光源、前記第2線状レーザ光源及び前記第3線状レーザ光源は、それぞれの光源の光軸が前記被測定剛体の長手方向及び幅方向で規定される平面に対して垂直となるように配設されることが好ましい。
 前記第1のカメラの光軸と前記第1線状レーザ光源の光軸とのなす角、前記第2のカメラの視線と前記第2線状レーザ光源の光軸とのなす角、及び、前記第2のカメラの視線と前記第3線状レーザ光源の光軸とのなす角は、互いに独立に、30度以上60度以下であることが好ましい。
 以上説明したように本発明によれば、搬送時に、高さ方向の平行移動、長手方向軸回りの回転又は幅方向軸回りの回転の3つの外乱のうちの何れかが生じた場合であっても、被測定剛体の表面高さをより正確に測定することが可能となる。
本発明の実施形態に係る形状測定装置の構成を模式的に示した説明図である。 同実施形態に係る形状測定装置が備える撮像装置の構成を模式的に示した説明図である。 同実施形態に係る撮像装置の構成を模式的に示した説明図である。 同実施形態に係る撮像装置の構成を模式的に示した説明図である。 同実施形態に係る撮像装置の構成を模式的に示した説明図である。 同実施形態に係る撮像装置の構成を模式的に示した説明図である。 同実施形態に係る撮像装置の構成を模式的に示した説明図である。 被測定剛体に生じうる外乱について説明するための模式図である。 被測定剛体に生じうる外乱について説明するための模式図である。 被測定剛体に生じうる外乱について説明するための模式図である。 被測定剛体に生じうる外乱について説明するための模式図である。 同実施形態に係る形状測定装置が備える演算処理装置の画像処理部の構成の一例を示したブロック図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る画像処理部が備える外乱推定部の構成の一例を示したブロック図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。 同実施形態に係る形状データ算出部が実施する形状データ算出処理について説明するための説明図である。 同実施形態に係る補正処理部が実施する補正処理について説明するための説明図である 同実施形態に係る補正処理部が実施する補正処理について説明するための説明図である 同実施形態に係る撮像装置の変形例を模式的に示した説明図である。 同実施形態に係る撮像装置の変形例を模式的に示した説明図である。 同実施形態に係る形状測定方法の流れの一例を示した流れ図である。 同実施形態に係る形状測定方法の流れの一例を示した流れ図である。 同実施形態に係る演算処理装置のハードウェア構成の一例を示したブロック図である。 実験例1について説明するための説明図である。 実施例1について説明するための説明図である。 実験例1の結果を示したグラフ図である。 実験例1の結果を示したグラフ図である。 実験例2について説明するための説明図である。 実施例2について説明するための説明図である。 実験例2の結果を示したグラフ図である。 実験例2の結果を示したグラフ図である。 実験例3について説明するための説明図である。 実施例3について説明するための説明図である。 実験例3の結果を示したグラフ図である。 実験例3の結果を示したグラフ図である。
 以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(形状測定装置の全体構成について)
 以下では、まず、図1を参照しながら、本発明の実施形態に係る形状測定装置10の全体構成について説明する。図1は、本実施形態に係る形状測定装置の構成を模式的に示した説明図である。
 本実施形態に係る形状測定装置10は、被測定剛体の長手方向に沿って当該被測定剛体に対して相対移動する複数の線状レーザ光源から、被測定剛体の表面へと照射された、複数の線状レーザ光による複数の光切断線によって、いわゆる光切断法により、被測定剛体の形状を測定する装置である。以下では、被測定剛体が製造ライン上を搬送される場合を例に挙げて、説明を行うものとする。
 また、以下の説明では、図1に示したように、形状測定装置10が配設されている空間に設定された空間座標系を用いるものとする。なお、説明の便宜上、被測定剛体Sの幅方向を(空間座標系での)C軸方向とし、被測定剛体Sの長手方向すなわち搬送方向をL軸方向とし、被測定剛体Sの高さ方向をZ軸方向とする。
 ここで、本実施形態で着目する被測定剛体Sは、以下で説明するような形状測定処理の際に、その形状や体積が変化しないとみなすことが可能な物体とする。従って、例えば、鉄鋼業における半製品であるスラブや厚板等は、本実施形態における被測定剛体Sとして取り扱うことが可能である。また、鉄鋼業におけるスラブや厚板だけでなく、例えば、チタン、銅、アルミニウム等といった鉄以外の各種金属、セラミックス、複合材料のスラブや厚板等についても、本実施形態における被測定剛体Sとして取り扱うことが可能である。
 本実施形態に係る形状測定装置10は、図1に示したように、被測定剛体Sの表面に対して複数の線状レーザ光を照射するとともに、被測定剛体Sの表面での線状レーザ光の反射光を撮像する撮像装置100と、撮像装置100により撮像された画像に対して所定の画像処理を実施して、被測定剛体Sの3次元形状(すなわち、L軸-C軸平面の各位置における表面高さ)を算出する演算処理装置200と、を備える。
 撮像装置100は、被測定剛体Sの表面に対して3本の線状レーザ光を照射するとともに、被測定剛体Sの表面を長手方向に沿って所定の長手方向間隔に対応する各時刻で順次撮像し、撮像の結果得られる撮像画像(光切断画像)を後述する演算処理装置200に出力する装置である。撮像装置100は、後述する演算処理装置200によって、被測定剛体Sへの線状レーザ光の照射タイミングや、被測定剛体Sの表面の撮像タイミング等が制御されている。かかる撮像装置100は、例えば撮像装置100に対する被測定剛体Sの長手方向位置の変化に伴って、被測定剛体Sの搬送を制御している駆動機構等に設けられたPLG(Pulse Logic Generator:パルス型速度検出器)から出力されるPLG信号等に基づいて、被測定剛体Sが所定距離(例えば、1mm等)移動するごとに、1回の撮像処理を行う。
 また、演算処理装置200は、撮像装置100によって生成された各時刻における光切断画像に対して、以下で説明するような画像処理を行うことで、被測定剛体Sの3次元形状を算出する装置である。
 以下では、これら撮像装置100及び演算処理装置200について、図を参照しながら詳細に説明する。
<撮像装置について>
 続いて、図2~図7を参照しながら、本実施形態に係る形状測定装置10が備える撮像装置100について、詳細に説明する。図2~図7は、本実施形態に係る撮像装置の構成を模式的に示した説明図である。
 本実施形態に係る撮像装置100は、図2に模式的に示したように、それぞれが線状レーザ光を射出する3台の線状レーザ光源101a,101b,101c(以下、まとめて「線状レーザ光源101」とも称する。)と、2台のエリアカメラ111,113と、を主に備える。ここで、線状レーザ光源101aは、第1線状レーザ光源の一例であり、線状レーザ光源101bは、第2線状レーザ光源の一例であり、線状レーザ光源101cは、第3線状レーザ光源の一例である。また、エリアカメラ111は、第1のカメラの一例であり、エリアカメラ113は、第2のカメラの一例である。
 なお、図2以降の図では、撮像装置100が2台のエリアカメラを有する場合を例に挙げて説明を行うが、本実施形態に係る撮像装置100が備えるエリアカメラの台数は、かかる例に限定されるものではない。また、撮像装置100が3台のエリアカメラを備える場合ついては、後述する。
 線状レーザ光源101は、測定対象物である被測定剛体(以下、単に「剛体」とも称する。)Sの表面に対して、線状のレーザ光(線状レーザ光)を照射する装置である。本実施形態に係る線状レーザ光源101は、剛体Sの表面に対して線状レーザ光を照射可能なものであれば、任意の光源を利用することが可能であるが、線状レーザ光源101は、レーザ光源及びロッドレンズ等の各種レンズを用いて構成することが可能である。
 レーザ光源としては、例えば、連続的にレーザ発振を行うCW(Continuous Wave)レーザ光源を用いることが可能である。レーザ光源が発振するレーザ光の波長は、例えば400nm~800nm程度の可視光帯域に属する波長であることが好ましい。かかるレーザ光源は、後述する演算処理装置200から送出される発振タイミング制御信号に基づいて、レーザ光の発振を行う。
 なお、レーザ光源として、パルス状のレーザ発振を行うパルスレーザ光源を用いた場合であっても、パルスレーザの発振タイミングと、エリアカメラ111,113の撮像タイミングと、を同期させることで、CWレーザ光源と同様に扱うことが可能である。
 ロッドレンズは、レーザ光源から射出されたレーザ光を、剛体Sの表面に向かって扇状の面に広げるレンズである。これにより、レーザ光源から射出されたレーザ光は線状レーザ光となり、剛体Sの表面に照射される。また、後述する演算処理装置200における画像処理の観点から、ロッドレンズにより得られる扇状の面がZ軸と平行になるように、レーザ光源を設置することが好ましい。なお、本実施形態に係る線状レーザ光源101では、レーザ光を扇状に広げることが可能なものであれば、シリンドリカルレンズやパウエルレンズ等といったロッドレンズ以外のレンズを利用することも可能である。
 線状レーザ光が照射された剛体Sの表面には、線状の明るい部位(図2等では、黒線として示している。)が形成される。本実施形態に係る撮像装置100では、3台の線状レーザ光源101a,101b,101cを用いているため、3つの明るい部位が形成される。これら線状の明るい部位のことを、光切断線と呼ぶ。剛体Sの表面での光切断線の反射光は、エリアカメラまで伝播して、エリアカメラに設けられた撮像素子に結像し、エリアカメラによって撮像される。
 以下の説明では、線状レーザ光源101aにより得られる光切断線を、光切断線Lと呼び、線状レーザ光源101bにより得られる光切断線を、光切断線Lと呼び、線状レーザ光源101cにより得られる光切断線を、光切断線Lと呼ぶ。また、光切断線L,L,Lをまとめて、「光切断線L」とも称する。ここで、光切断線Lは、形状測定用光切断線の一例である。また、光切断線L及び光切断線Lは、補正用光切断線の一例であり、例えば、光切断線Lが第1の補正用光切断線に対応し、光切断線Lが第2の補正用光切断線に対応する。
 ここで、本実施形態に係る線状レーザ光源101は、図2に例示したように、以下の3つの条件を全て満たすように、搬送ライン上に設置される。
  ・光切断線Lと光切断線Lが交点Aを持つ。
  ・光切断線Lと光切断線Lが交点Bを持つ。
  ・光切断線Lと光切断線Lは、いずれもL軸と平行であり、光切断線Lと光切断線Lは、剛体Sの表面上の互いに異なる幅方向位置に存在する。
 いわゆる光切断法では、図2に示した光切断線Lのみを利用して、光切断線Lにより照射される剛体Sの長手方向位置の表面高さを算出し、得られた表面高さを剛体Sと撮像装置との相対移動(例えば、剛体Sの搬送)に応じて長手方向に連ねることで、剛体S全体の表面高さを求めることができる。しかしながら、剛体Sの搬送中に外乱が生じる場合、1本の光切断線を用いた光切断法により得られる表面高さは、外乱を含んだ見かけの表面高さであり、真の表面高さとは異なる誤差を含んだ計測値となる。
 そこで、本実施形態に係る形状測定装置10では、以下で詳述するように、剛体Sの長手方向に延びる光切断線Lを加え、光切断線L上の長手方向位置の各点と外乱起因の表面高さ変化との関係を直線近似する。その上で、本実施形態に係る形状測定装置10では、光切断線Lが存在する長手方向位置(すなわち、光切断線Lと光切断線Lの交点A)における近似直線の値を、光切断線Lの外乱起因の表面高さ変化として、一意に確定する。ここで、本実施形態に係る形状測定装置10では、測定対象物が剛体であることから、外乱による見かけの表面高さの外乱除去後の表面高さからの変化(すなわち、外乱による見かけの表面高さの真の表面高さからの変化)は、長手方向に沿って直線状に変化する。従って、光切断線L上の各点における測定値を直線近似することで、測定誤差による値のばらつきを吸収する効果がある。このような光切断線Lの追加によって、Z方向の上下動(近似直線の値が、長手方向位置によらず一定値をとる。すなわち、近似直線の傾きが0)、C軸回りの回転(近似直線が、長手方向位置に対して一定の傾きを持つ。)という2種類の外乱の大きさを、一意に求めることが可能となる。
 本実施形態に係る形状測定装置10では、光切断線Lとは異なる幅方向位置に対して、光切断線Lを更に追加し、光切断線Lと同様の処理を実施する。これにより、本実施形態に係る形状測定装置10では、外乱起因の表面高さの変化と幅方向位置との関係を特定することが可能となり、L軸回りの回転の大きさも導出することが可能となる。
 従って、本実施形態に係る形状測定装置10では、上記のような3本の光切断線を利用することによって、搬送時に、高さ方向の平行移動、長手方向軸回りの回転又は幅方向軸回りの回転の3つの外乱のうちの何れかが生じた場合であっても、被測定剛体の表面高さをより正確に測定することが可能となる。
 なお、図2以降の図では、光切断線Lと光切断線Lが直交する場合、及び、光切断線Lと光切断線Lが直交する場合について図示しているが、光切断線の配置(すなわち、線状レーザ光源101の配置)は、これらの図に示した場合に限定されるものではない。すなわち、光切断線Lと、光切断線L及び切断線Lとが直交しない場合においても、以下の説明は同様に成立する。これは、以下で詳述するように、本実施形態では、上記近似直線を利用して交点A及び交点Bにおける外乱の大きさを算出しており、2本の光切断線が直交しなくともよいためである。更に、図2以降の図では、剛体Sの表面が平坦な場合について図示しているが、以下の説明は、これらの図に示した場合に限定されるものではなく、剛体Sの表面が平坦でない場合にも同様に成立する。その理由については、別途説明する。
 また、光切断線Lの具体的な長さについては、特に限定されるものではなく、剛体Sの表面において、光切断線の輝度分布が一様となるように、適宜長さを決定すればよい。また、光切断線L,Lの幅方向位置についても、特に限定されるものではなく、どのような幅の剛体Sが搬送ライン上を搬送された場合であっても、光切断線L、Lが剛体Sの表面に存在するように、その位置を設定すればよい。
 エリアカメラ111,113には、所定の焦点距離を有するレンズと、CCD(Charge Coupled Device)、又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子と、が搭載されている。エリアカメラ111,113は、剛体Sの表面に対して照射された線状レーザ光の反射光である光切断線を、剛体Sが所定の距離だけ移動する毎に撮像して、光切断画像を生成する。その上で、エリアカメラ111,113は、生成した光切断画像を、後述する演算処理装置200へと出力する。
 ここで、エリアカメラ111,113は、後述する演算処理装置200によって制御されており、剛体Sが所定の距離だけ移動する毎に、演算処理装置200から撮像のためのトリガ信号が出力される。エリアカメラ111,113は、演算処理装置200から出力されたトリガ信号に応じて、線状レーザ光の照射された剛体Sの表面を撮像して光切断画像を生成し、生成した光切断画像を演算処理装置200へと出力する。これにより、演算処理装置200へは、各エリアカメラ111,113から、それぞれN枚(Nは、2以上の整数)の撮像画像が出力される。
 図3に模式的に示したように、線状レーザ光源101aは、かかる光源から射出された線状レーザ光を含む平面がL軸-C軸平面に対して垂直となるように(換言すれば、線状レーザ光源101aの光軸がZ軸に対して略平行となるように)、搬送ラインに設置される。かかる設置条件を満たさない場合、線状レーザ光は、後述する外乱によって、剛体Sの長手方向位置の異なる部分を照射するようになり、正確な表面形状の測定を行うことが困難となる。線状レーザ光源101b,101cについても、上記と同様の理由により、図4に示したように、射出された線状レーザ光を含む平面がL軸-C軸平面に対して垂直となるように(換言すれば、線状レーザ光源101b,101cの光軸がZ軸に対して略平行となるように)、各光源が搬送ラインに設置される。
 上記のように光源を設置した場合でも、外乱により各光切断線L,L,Lに対して平行な軸回りに剛体Sが回転した場合(例えば、光切断線Lに対してはC軸回り、光切断線L,Lに対してはL軸回りに剛体Sが回転した場合)には、厳密には、線状レーザ光の照射位置が同一ではなくなる。しかしながら、剛体Sの真の表面高さがなめらかに変化すること、及び、剛体Sの回転量が大きくないことを仮定すれば、このような回転があった場合であっても、線状レーザ光は、剛体Sの表面の同一位置を照射していると考えることができる。特に、スラブや厚板等といった質量の大きな剛体Sの表面形状に着目する場合、後者の仮定は適切であるといえる。
 線状レーザ光源101aとエリアカメラ111との間の光学的な位置関係について、図3に示すように、L軸-Z軸平面においてエリアカメラ111の光軸と線状レーザ光源101aの光軸(換言すれば、Z軸)とのなす角αの大きさは、任意の値に設定することが可能である。しかしながら、かかる角αの大きさは、30度~60度程度とすることが好ましい。角度α<30度となる場合には、同一の高さ変化に対して、カメラ視野内での光切断線Lの移動量が少なくなり、高さ方向に沿った分解能が低下する。一方、角度α>60度となる場合には、エリアカメラ111が線状レーザ光源101aの正反射方向から離隔して、エリアカメラ111で撮影される光切断線Lが暗くなってしまい、同一明るさで撮影を実施するためには、より高出力のレーザが必要となってしまう。
 また、図5に示すように、L軸-C軸平面に投影されたエリアカメラ111の光軸と、光切断線Lとが互いに直交するように、エリアカメラ111を設置することが好ましい。これにより、エリアカメラ111から見た光切断線LのC軸方向の分解能(1ピクセルに相当する長さ(単位:mm))を揃えることが可能となる。ただし、先だって言及したように、光切断線Lと光切断線Lb,とは直交していなくともよい。すなわち、光切断線Lは、幅方向(C軸方向)に対して平行でなくともよい。これは、前述のように、交点A、交点Bにおける外乱量を算出するためには、光切断線Lと光切断線Lb,とが直交していなくともよいからである。
 ここで、図5に模式的に示したように、エリアカメラ111は、光切断線Lの全体が撮像視野に含まれるように、エリアカメラ111の撮像領域AR1が設定される。
 線状レーザ光源101b,101cとエリアカメラ113との間の光学的な位置関係について、図4に模式的に示したように、C軸-Z軸平面における光切断線L,Lに対するエリアカメラ113の視線と、それぞれの線状レーザ光源101b,101cの光軸(換言すれば、Z軸)と、のなす角α,αの大きさは、角度αと同様に任意の値に設定することが可能である。しかしながら、角度αと同様の理由により、角α,αの大きさは、それぞれ30度~60度程度とすることが好ましい。
 また、光切断線Lとエリアカメラ111との関係と同様に、L軸-C軸平面における光切断線Lと、L軸-C軸平面に投影されたエリアカメラ113の光軸とは、互いに直交することが好ましい。この際に、光切断線Lと光切断線Lとは互いに平行であることから、光切断線Lについてかかる条件が成立すれば、光切断線Lについても自動的に条件が満たされる。
 ここで、図6に模式的に示したように、エリアカメラ113は、交点A及び交点Bが撮像視野に含まれるように、エリアカメラ113の撮像領域AR2が設定される。ここで、図6では光切断線L,L全体が撮像視野に含まれている場合を図示しているが、少なくとも交点A及び交点Bが撮像視野に含まれていれば、後述する外乱推定処理を実施可能である。なお、後述する外乱推定処理の精度を上げるために、光切断線L,L全体を撮像視野に含めることが好ましい。
 また、エリアカメラ111,113の撮像タイミングは、例えば図7に模式的に示したように、互いに隣り合う時刻(例えば、i枚目の撮像時刻(iは、1以上の整数。)と、i+1枚目の撮像時刻)に撮像したエリアカメラ113の撮像画像において、共通して光切断線が照射されている剛体Sの部分(以下、「共通照射部分」という。)が存在するように設定される。以下で詳述するように、本実施形態に係る演算処理装置200では、共通照射部分における光切断線L,Lに着目して、外乱の大きさを算出するからである。なお、図7では、剛体Sの表面が平坦であり、かつ、連続した2枚の画像間に外乱が生じていない場合について図示しているが、剛体Sの表面が平坦でない場合、又は、連続した2枚の画像間に外乱が生じている場合であっても、共通照射部分は存在する。
 以上、図2~図7を参照しながら、本実施形態に係る撮像装置100の構成について、詳細に説明した。
<被測定剛体に生じる外乱について>
 次に、図8~図11を参照しながら、被測定剛体Sに生じる外乱と、かかる外乱に伴って撮像される撮像画像(光切断画像)について、具体的に説明する。図8~図11は、被測定剛体に生じうる外乱について説明するための模式図である。
 本実施形態に係る形状測定装置10は、スラブや厚板等の剛体が連続的に搬送される際などに、剛体Sの表面高さを測定するものである。ここで、剛体Sの搬送中には、搬送ライン等に設けられた駆動機構に起因する振動等のように、様々な測定誤差の要因がある。
 本実施形態に係る形状測定装置10では、図8に示すように、測定誤差の要因として次の3つに着目する。
  (1)Z軸方向(剛体Sの高さ方向)の平行移動
  (2)L軸(剛体Sの長手方向)回りの回転
  (3)C軸(剛体Sの幅方向)回りの回転
 以下、これら3つの測定誤差の要因をまとめて、外乱とも称する。
 図9~図11を参照しながら、表面が平坦な剛体Sを対象に、外乱の有無により生じる、エリアカメラ113で撮影される撮像画像の変化を説明する。
 なお、図9~図11では、剛体Sの表面が平坦な場合に着目して図示しているが、以下の説明は、図9~図11に示した場合に限定されるものではなく、剛体Sの表面が平坦ではない場合にも、全て同様に成立する。剛体Sの表面が平坦ではない場合、光切断線そのものは曲線となるものの、外乱の有無による光切断線の変化は、平坦である場合と同様に長手方向に沿って直線的に変化するからである。
 まず、互いに異なる2つの時刻の2枚の画像(例えば、i枚目の撮像画像とi+1枚目の撮像画像)間に上記のような外乱が生じていない場合には、それぞれの光切断線Lの位置は、撮像画像間で変化しない。しかしながら、i+1枚目の撮像時に外乱としてZ軸方向の平行移動が生じた場合には、図9に示したように、光切断線L,L,Lのそれぞれは、互いに同じ量だけ画像内を縦方向に平行移動する。また、i+1枚目の撮像時に外乱としてL軸回りの回転が生じた場合には、図10に示したように、光切断線Lの傾きや長さが変化するとともに、光切断線L,Lは、互いに異なる量だけ画像内を平行移動する。更に、i+1枚目の撮像時に外乱としてC軸回りの回転が生じた場合には、図11に示したように、光切断線L,Lの傾きが変化することとなる。
 そこで、以下で詳述する演算処理装置200では、エリアカメラ113により得られる連続した2枚の画像を比較することで、剛体Sに発生した外乱に起因する表面高さの変化(Z座標の変化)を、それぞれの画像撮像時刻で算出する。その後、得られた外乱に起因する表面高さの変化(換言すれば、外乱の大きさ)に基づいて、エリアカメラ111の光切断画像から得られる、外乱による測定誤差の重畳されている表面高さを補正し、真の表面高さを出力する。
<演算処理装置について>
 次に、図1、及び、図12~図26を参照しながら、本実施形態に係る形状測定装置10が備える演算処理装置200について、詳細に説明する。図12は、本実施形態に係る形状測定装置が備える演算処理装置の画像処理部の構成の一例を示したブロック図である。図14及び図15、並びに、図17~図23は、本実施形態に係る外乱推定部が実施する外乱推定処理について説明するための説明図である。図16は、本実施形態に係る画像処理部が備える外乱推定部の構成の一例を示したブロック図である。図24は、本実施形態に係る形状データ算出部が実施する形状データ算出処理について説明するための説明図である。図25及び図26は、本実施形態に係る補正処理部が実施する補正処理について説明するための説明図である
[演算処理装置の全体構成について]
 再び図1に戻って、本実施形態に係る形状測定装置10が備える演算処理装置200の全体構成について説明する。
 本実施形態に係る演算処理装置200は、図1に示したように、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
 撮像制御部201は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部201は、本実施形態に係る撮像装置100による剛体Sの撮像処理を統括して制御する。
 より詳細には、撮像制御部201は、剛体Sの撮像を開始する場合に、撮像装置100に対して線状レーザ光源101の発振を開始させるための制御信号を送出する。また、撮像装置100が剛体Sの撮像を開始すると、撮像制御部201は、剛体Sの搬送を制御している駆動機構等から定期的に送出されるPLG信号(例えば、剛体Sが1mm移動する毎等に出力されるPLG信号)を取得する毎に、エリアカメラ111,113に対して、撮像を開始するためのトリガ信号を送出する。
 画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、エリアカメラ111,113が生成した撮像データ(すなわち、光切断画像に関する撮像画像データ)を取得し、かかる撮像データに対して以下で説明する画像処理を行って、剛体Sの表面全体の高さを3次元形状データとして算出する。画像処理部203は、剛体Sの表面高さの算出処理を終了すると、得られた算出結果に関する情報を、表示制御部205や記憶部207に伝送したり、形状測定装置10の外部に設けられた各種機器等に伝送したりする。
 なお、この画像処理部203については、以下で改めて詳細に説明する。
 表示制御部205は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部205は、画像処理部203から伝送された、剛体Sの測定結果を、演算処理装置200が備えるディスプレイ等の出力装置や演算処理装置200の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、形状測定装置10の利用者は、剛体Sの3次元形状に関する計測結果を、その場で把握することが可能となる。
 記憶部207は、演算処理装置200が備える記憶装置の一例であり、例えば、ROM、RAM、ストレージ装置等により実現される。この記憶部207には、画像処理部203で実施される画像処理で利用される光切断線Lに関する校正データが格納されている。また、記憶部207には、撮像装置100が有する線状レーザ光源101、エリアカメラ111,113の光学的な位置関係を示す情報や、形状測定装置10の外部に設けられた上位計算機(例えば、搬送ラインを全般的に管理している管理コンピュータ等)から伝送される情報といった、形状測定装置10の設計パラメータに関する情報も格納されている。更に、記憶部207には、本実施形態に係る演算処理装置200が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過(例えば画像処理部203から伝送された計測結果、事前に格納されている校正データ、各種のデータベース、及び、プログラム等)が、適宜記録される。この記憶部207は、撮像制御部201、画像処理部203、表示制御部205及び上位計算機等が、自由にデータのリード/ライト処理を行うことが可能である。
 なお、記憶部207に格納されている校正データの詳細については、以下で改めて説明する。
[画像処理部の構成について]
 次に、図12~図26を参照しながら、演算処理装置200が備える画像処理部203の構成について説明する。
 本実施形態に係る画像処理部203は、図12に示したように、撮像データ取得部211と、外乱推定部213と、形状データ算出部215と、補正部217と、結果出力部219と、を備える。
 撮像データ取得部211は、例えば、CPU、ROM、RAM、通信装置等により実現される。撮像データ取得部211は、撮像装置100のエリアカメラ111,113から出力された、光切断線の撮像データ(すなわち、光切断画像に関する画像データ)を取得する。撮像データ取得部211は、エリアカメラ113から、補正用光切断線として用いられる光切断線L,Lに関する撮像データ(換言すれば、図6における撮像領域AR2を撮像した撮像データ)を取得すると、かかる撮像データを、後述する外乱推定部213に対して出力する。また、撮像データ取得部211は、エリアカメラ111から、形状測定用光切断線として用いられる光切断線Lに関する撮像データ(換言すれば、図5における撮像領域AR1を撮像した撮像データ)を、後述する形状データ算出部215に対して出力する。
 また、撮像データ取得部211は、撮像装置100から取得した光切断線に関する撮像データに、当該撮像データを取得した日時等に関する時刻情報を関連づけて、記憶部207等に履歴情報として格納してもよい。
 外乱推定部213は、例えば、CPU、ROM、RAM等により実現される。外乱推定部213は、エリアカメラ113によって撮像された、補正用光切断線(すなわち、光切断線L,L)の撮像データを利用して、剛体Sに生じた外乱の大きさを推定する処理部である。
 より詳細には、外乱推定部213は、剛体Sの同一位置について異なる2つの時刻に取得した、剛体Sの表面高さに関する高さ測定値から、当該位置における外乱に起因する高さ変化値を取得する高さ変化値取得処理を、エリアカメラ113から得られた撮像画像に対して実施する。この際に、外乱推定部213は、光切断線Lの異なる長手方向位置の複数の点に対して、上記の高さ変化値取得処理を実施するとともに、光切断線Lの異なる長手方向位置の複数の点に対して、上記の高さ変化値取得処理を実施する。その上で、外乱推定部213は、光切断線Lから得られた交点Aにおける高さ変化値と、光切断線Lから得られた交点Bにおける高さ変化値と、を利用して、後述する形状データ算出部215で算出される形状データに重畳されている高さ変動量を推定する。
 かかる外乱推定部213における外乱推定処理については、以下で改めて詳細に説明する。
 外乱推定部213は、以下で詳述する外乱推定処理を終了すると、得られた外乱の推定結果を、後述する補正部217に出力する。また、外乱推定部213は、得られた外乱に関する推定結果を表わすデータに、当該データを生成した日時等に関する時刻情報を関連づけて、記憶部207等に履歴情報として格納してもよい。
 形状データ算出部215は、例えば、CPU、ROM、RAM等により実現される。形状データ算出部215は、エリアカメラ111により生成された各時刻での光切断線Lに関する撮像画像に基づいて、剛体Sの表面の3次元形状を表わし、かつ、外乱に起因する測定誤差の重畳された形状データを算出する。
 かかる形状データ算出部215における形状データの算出処理については、以下で改めて説明する。
 形状データ算出部215は、以下で説明する形状データの算出処理を終了すると、得られた形状データを、後述する補正部217に出力する。また、形状データ算出部215は、得られた形状データに、当該形状データを生成した日時等に関する時刻情報を関連づけて、記憶部207等に履歴情報として格納してもよい。
 補正部217は、例えば、CPU、ROM、RAM等により実現される。補正部217は、形状データ算出部215によって算出された形状データから、前記外乱推定部213によって算出された高さ変動量を差し引くことで、外乱に起因する測定誤差を補正する。これにより、剛体Sに生じうる外乱に伴う測定誤差の除去された、剛体Sに関する真の形状データが生成されることとなる。
 かかる補正部217における補正処理については、以下で改めて説明する。
 補正部217は、以下で説明する補正処理を終了すると、補正された形状データを、後述する結果出力部219に出力する。
 結果出力部219は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。結果出力部219は、補正部217から出力された、剛体Sの表面形状に関する情報を、表示制御部205に出力する。これにより、剛体Sの表面形状に関する情報が、表示部(図示せず。)に出力されることとなる。また、結果出力部219は、得られた表面形状に関する測定結果を、製造管理用プロコン等の外部の装置に出力してもよく、得られた測定結果を利用して、各種の帳票を作成してもよい。また、結果出力部219は、剛体Sの表面形状に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。
○外乱推定部213における外乱推定処理について
 以下では、図13~図23を参照しながら、外乱推定部213で実施される外乱推定処理について、詳細に説明する。
 まず、外乱推定処理について説明するに先立って、かかる外乱推定処理で用いられる校正データについて説明する。
◇校正データについて
 先だって言及したように、記憶部207には、外乱推定部213における外乱推定処理や、形状データ算出部215における形状算出処理で用いられる、光切断線Lに関する校正データが、予め格納されている。記憶部207に事前に格納される校正データには、第1の校正データ及び第2の校正データという、2種類の校正データがある。
 第1の校正データは、エリアカメラ111,113で撮像された撮像画像上での光切断線の位置の変化量(単位:ピクセル)を、実空間での量(単位:mmやm等の長さの単位、以下では、mmの単位を用いて説明する。)に変換するために必要な校正データである。
 第1の校正データは、エリアカメラの通常撮像分解能(mm/ピクセル)と、光切断線L,L,Lに対する視線とZ軸方向とのなす角α,α,αと、から算出されるデータである。しかしながら、本発明においては、測定対象である剛体Sがカメラ光軸に対して前後するため、厳密には、撮像分解能や角度α,α,αは定数ではなく、剛体Sの高さにより異なる値となる。従って、測定対象である剛体Sの高さ変化が大きい場合には、撮像画像中での光切断線の位置と、実空間での高さとの関係を表す校正曲線が必要となる。以下では、かかる第1の校正データのことを、校正曲線と呼ぶ。かかる校正曲線は、それぞれの光切断線L,L,Lに対してそれぞれ設定される。
 第1の校正データは、計算によって算出することも可能であるし、実測により得ることも可能である。
 計算によって第1の校正データを算出する場合には、エリアカメラ111,113に装着されたレンズの焦点距離fと、レンズから測定対象(すなわち、剛体S)までの距離aと、エリアカメラ111,113に設けられた撮像素子からレンズまでの距離bと、を利用する。より詳細には、これらのパラメータを利用して、以下の式101で表わされる結像公式により式103で表わされる倍率mを求めて、第1の校正データを計算することができる。
  結像公式:1/f=1/a+1/b ・・・(式101)
  倍率:m=b/a ・・・・(式103)
 ここで、エリアカメラ111,113に設けられた撮像素子の画素サイズをd(mm)とした場合、撮像分解能D(mm/ピクセル)は、以下の式105で表わされる値となる。かかる撮像分解能Dは、視線と垂直な面内での撮像分解能であるため、視線と法線方向とのなす角度がα度である場合、1画素に対応する測定対象の上下動量H(mm)は、以下の式107で表わされる値となる。
  D=d/m ・・・(式105)
  H=D/sinα ・・・(式107)
 以上のようにして得られる、1画素に対応する測定対象の上下動量Hが、エリアカメラ111,113で撮像された撮像画像上での光切断線の変化量(単位:ピクセル)を、実空間での量(単位:例えばmm)に変換するための変換係数となる。従って、エリアカメラ111,113と、各エリアカメラ111,113に対応する光切断線L,L,Lとの光学的な位置関係に基づき上記式107で与えられる値を、各光切断線L,L,Lに関する校正曲線C,C,C(すなわち、第1の校正データ)として用いることが可能である。
 第1の校正データを実測する場合には、校正板を準備して、高さ方向の座標Z=0となる基準面に設置し、かかる校正板をΔZ[mm]だけZ軸方向に平行移動させながら、各エリアカメラ111,113により光切断画像を撮像する。その上で、得られた各エリアカメラ111,113の撮像画像での画素単位の光切断線Lの移動量ΔZimg[単位:ピクセル]を複数点に関して実測し、校正曲線ΔZ=C(ΔZimg)を作成すればよい(ただし、C(ΔZimg)は、ΔZimgを変数とする関数を表す。)。これにより、各光切断線L,L,Lに関する校正曲線C,C,Cを得ることが出来る。
 次に、第2の校正データについて、図13を参照しながら説明する。
 第2の校正データは、図13に示した実空間上での連続する2枚の画像撮像時刻間において、剛体Sの実空間での搬送距離(単位:mmやm等の長さの単位)に相当する画像内での水平方向の移動量(単位:ピクセル)を表わしたデータである。この第2の校正データは、光切断線L,Lに対して、それぞれ設定される。後述するように、かかる移動量の分だけエリアカメラ113で撮像された撮像画像を水平方向(実空間におけるL軸方向に対応する方向)に平行移動させることで、連続する2枚の撮影画像において剛体S上の同じ点の上下方向の移動量を比較することができる。このように、第2の校正データは、外乱の大きさを推定するために用いられる校正データである。
 第2の校正データについても、計算によって算出することも可能であるし、実測により得ることも可能である。
 前述のように、第2の校正データは、連続する2枚の撮影画像が生成される間における剛体Sの実空間における搬送距離Δs(図13に示したΔs)が、生成された撮像画像において、どの程度の画素数に対応するかを示したデータである。従って、計算によって第2の校正データを算出する場合には、上記式105で算出される撮像分解能Dを、光切断線L,Lの双方について算出し、得られた撮像分解能D,Dを用いて、実空間における搬送距離Δsの設定値を割ればよい。すなわち、光切断線Lに関する水平方向の移動量をΔLとし、光切断線Lに関する水平方向の移動量をΔLとすると、これらの値は、以下の式109及び式111によって算出することができる。
  ΔL=Δs/D ・・・(式109)
  ΔL=Δs/D ・・・(式111)
 第2の校正データを実測する場合には、第1の校正データを実測する場合と同様にしてZ=0の基準面に校正板を設置し、校正板をΔs[mm]だけL軸方向に平行移動させながら、撮像画像を生成すればよい。その上で、得られた撮像画像を解析して、撮像画像内での水平方向の移動量ΔL,ΔLを測定すればよい。
 以上、本実施形態に係る画像処理部203で用いられる、2種類の校正データについて説明した。
◇外乱推定処理で用いられる座標系について
 次に、図14及び図15を参照しながら、外乱推定処理で用いられる座標系について、具体的に説明する。
 本実施形態に係る外乱推定部213で実施される外乱推定処理では、エリアカメラ113によって撮像された撮像画像に固定された座標系を用いて、画像処理が行われる。すなわち、エリアカメラ113によって生成された光切断画像において、剛体Sの長手方向に対応する方向(すなわち、光切断画像の水平方向)をX軸方向とし、X軸方向に対して直交する方向(すなわち、光切断画像の高さ方向)をY軸方向とする。
 また、校正板などの平坦面をZ=0の位置に配置した上で撮像したエリアカメラ113の撮像画像において、光切断線Lが撮像されている高さ方向の位置を、光切断線Lに関するY座標Yの基準位置(すなわち、Y=0の位置)とし、X座標Xの基準位置を、撮像画像の左端とする。その結果、光切断線Lに関するX座標Xは、光切断線Lの延伸方向に沿って規定され、光切断線Lに関するX軸方向X及びY軸方向Yは、図14に示したように規定される。
 同様に、校正板などの平坦面をZ=0の位置に配置した上で撮像したエリアカメラ113の撮像画像において、光切断線Lが撮像されている高さ方向の位置を、光切断線Lに関するY座標Yの基準位置(すなわち、Y=0の位置)とし、X座標Xの基準位置を、撮像画像の左端とする。その結果、光切断線Lに関するX座標Xは、光切断線Lの延伸方向に沿って規定され、光切断線Lに関するX軸方向X及びY軸方向Yは、図15に示したように規定される。
 なお、校正板などの平坦面をZ=0の位置に配置した上で撮像したエリアカメラ111の撮像画像においても、同様にして座標系を規定することが可能である。すなわち、光切断線Lが撮像されている高さ方向の位置を、光切断線Lに関するY座標Yの基準位置(すなわち、Y=0の位置)として規定し、光切断線Lに関するX座標Xを、撮像画像の左端を基準として光切断線Lの延伸方向に沿って規定する。光切断線Lに関する座標系の具体例については、以下で図24を参照しながら、改めて言及する。
 なお、以降の説明において、「高さ」と言及した場合は、撮像画像中での縦方向、すなわち、Y,Y,Y座標(単位:ピクセル)での値を表し、校正曲線C,C,Cにより撮像画像中での「高さ」を実空間(単位:mm)へと変換した場合の値を、「Z座標における高さ」等と表すこととする。
◇外乱推定処理の詳細について
 それでは、図16~図23を参照しながら、外乱推定部213で実施される外乱推定処理について、詳細に説明する。
 本実施形態に係る外乱推定部213では、エリアカメラ113で撮像された、光切断線L,Lが写る撮像画像を基に、剛体Sの表面のうち、光切断線L,L上に存在する部分における、外乱起因の高さ変化値(すなわち、実空間におけるZ座標の変化量)を算出する。
□外乱推定処理の概略
 上記特許文献1で提案されているような光切断法では、光切断線上の異なる長手方向位置の複数の点について、異なる時刻で表面高さ測定を行い、各点の表面高さ測定結果の差異(すなわち外乱起因の変化)を、そのまま外乱の大きさの計算に用いていた。しかしながら、本実施形態に係る形状測定装置10で実施される光切断法では、外乱推定部213が実施する外乱推定処理によって、光切断線L上の各点の長手方向位置(すなわち、X座標の値)と、これらの点での外乱に起因するY座標の値の変化との関係を、異なる時刻に撮像された複数の撮像画像を利用して特定する。その上で、外乱推定部213は、Y座標の変化量のX方向に沿った分布を、直線で近似する。かかる近似直線を利用することで、外乱推定部213は、光切断線L上の各点における測定誤差による値のばらつきを抑えながら、図2に示した交点Aに対応するX座標でのY座標の値の変化量を、正確に算出することができる。その後、外乱推定部213は、先だって説明したような校正曲線Cを用いることで、画素単位で表わされているY座標の値の変化量を、実空間でのZ座標の変化量(すなわち、外乱に起因する高さ変動量)に変換する。
 また、図2に示した交点Bにおける外乱起因のZ座標の変化についても、光切断線Lの代わりに光切断線Lに着目することで、上記と同様に求めることが可能となる。
 次に、実空間におけるC座標(すなわち、剛体Sの幅方向)を基準として考えてみると、上記のようにして算出される交点A及び交点BでのZ座標の変化量を、C座標を横軸にとり、Z座標の変化量を縦軸にとった平面上に、プロットすることができる。本実施形態に係る形状測定装置10で着目する測定対象物は剛体であるため、実空間において、交点Aと交点Bとの間に位置する剛体Sの幅方向の各点でのZ座標の変化量は、直線的に変化するはずである。そこで、上記のようなC軸-Z軸平面上において、交点A及び交点BでのZ座標の変化量を通る直線を考えれば、実空間において、交点Aと交点Bとの間に位置する剛体Sの幅方向の各点でのZ座標の変化量を表わすことができる。従って、外乱推定部213は、C軸-Z軸平面上における上記のような直線を求めることで、2交点を結ぶ各幅方向位置における外乱起因のZ座標の変化を求めることが可能となる。
 以上が、外乱推定部213で実施される外乱推定処理の概略であるが、かかる外乱推定処理を実施する外乱推定部213は、図16に示したように、共通照射部分外乱推定部221と、交点位置外乱推定部223と、を有している。
□共通照射部分外乱推定部221について
 共通照射部分外乱推定部221は、例えば、CPU、ROM、RAM等により実現される。共通照射部分外乱推定部221は、上記の外乱推定処理の概略で簡単に言及した処理のうち、光切断線L,L上の各点の長手方向位置(すなわち、X座標、X座標の値)と、これらの点での外乱に起因するY座標、Y座標の値の変化との関係を、異なる時刻に撮像された複数の撮像画像を利用して特定する処理部である。
 共通照射部分外乱推定部221は、上記のような外乱に起因するY座標及びY座標の値の変化値の算出処理を、図7に示した共通照射部分に対して実施する。以下では、この共通照射部分外乱推定部221が実施する処理について、図17~図20を参照しながら、詳細に説明する。
 図7を参照しながら説明したように、移動している剛体Sをエリアカメラ113で撮像すると、連続した2枚の撮像画像(例えば、i枚目とi+1枚目の撮像画像)内には、共通して撮像される領域(すなわち、図7に示した共通照射部分)が存在する。従って、第2の校正データに基づいて、エリアカメラ113で撮像されたi枚目の撮像画像をX軸の負方向にΔLだけ平行移動させると、i枚目の共通照射部分のX座標と、i+1枚目の共通照射部分のX座標と、を一致させることができる。同様に、光切断線Lについても、エリアカメラ113で撮像されたi枚目の撮像画像を、第2の校正データに基づいてX軸の負方向にΔLだけ平行移動させると、i枚目の共通照射部分のX座標と、i+1枚目の共通照射部分のX座標と、を一致させることができる。共通照射部分は、剛体S上の同一位置であるから、実空間における共通照射部分の真の表面高さは同じである。従って、X座標を揃えた後に、i枚目における共通照射部分のY座標とi+1枚目における共通照射部分のY座標とを比較することで、i+1枚目の撮像時に剛体Sに生じた外乱の大きさを推定することが可能となる。
 より詳細には、共通照射部分外乱推定部221は、i+1枚目の撮像画像から得られる、外乱成分を含んだみかけの表面高さ(以下、「みかけの高さ」と称する。)と、i枚目の撮像画像中の共通照射部分における外乱除去後の表面高さと、を用いて、i+1枚目の撮像画像における外乱除去後の表面高さと、i+1枚目の画像における外乱成分による高さ変化(以下、「外乱成分」と称する。)と、を計算する。
 剛体Sにおいて外乱が生じると、エリアカメラ113で得られる撮像画像に写る光切断線LのY座標及び光切断線LのY座標は、図9~図11に例示したように変化する。図17は、共通照射部分外乱推定部221における外乱起因のY座標の変化値の算出方法を説明するための説明図である。なお、図17では、連続した2枚の画像間で外乱としてZ軸方向の平行移動が生じている場合について図示しているが、以下の説明は、外乱としてZ軸方向の平行移動が生じた場合に限定されるわけではなく、L軸回りの回転が生じている場合や、C軸回りの回転が生じている場合においても、全て同様に成立する。この理由は、3つの外乱のいずれにおいても、外乱起因のY座標及びY座標の変化は、着目している測定対象物が剛体であるが故に直線近似できるためである。
 なお、共通照射部分外乱推定部221は、光切断線Lに対して実施したものと同様の処理を、光切断線Lに対しても実施する。従って、以下の図や説明では、光切断線Lに対して実施される処理を代表させて、記載を行うものとする。
 共通照射部分外乱推定部221は、まず、エリアカメラ113で撮影されたi枚目とi+1枚目の2つの撮像画像に対して、それぞれの共通照射部分に属するX座標に対して、以下の処理を実行する。
 なお、以下の説明では、(X、Y)座標系におけるi枚目の撮像画像における光切断線LをXの関数としてとらえ、Y=Fobs (i,X)と表すこととする。また、以下では、Fobs (i,X)を光切断線Lの「見かけの高さ」と称することとする。
 また、外乱により、図9~図11に示したように、撮像画像中における光切断線の位置が変化するが、i=1枚目の撮像画像を基準としたi枚目の撮像画像の外乱起因による光切断線の上下動を、外乱成分d(i,X)と表すこととする。ここで、一般的な光切断法について考えてみると、i枚目の撮像画像での光切断線の位置を基準としてi+1枚目の撮像画像での光切断線の位置の上下動を特定し、外乱の大きさを推定する(すなわち、撮像画像フレーム間で外乱を推定する)方法であることがわかる。しかしながら、本実施形態に係る光切断法は、只今言及し、また、以降でも詳細に説明するように、1枚目の撮像画像における光切断線の位置を基準として外乱の大きさを推定する方法である点に注意されたい。
 i枚目の撮像画像における光切断線Lの見かけの高さは、図9~図11等を参考に考えてみると、「外乱が存在しない場合に観測されるであろう表面高さに、外乱成分に起因する光切断線の位置変化が加わったものである」と考えることができる。すなわち、i枚目の撮像画像の光切断線Lの見かけの高さは、図17に模式的に示したように、外乱成分と、外乱が除去された後の表面高さ(すなわち、外乱が存在しない場合に観測されるであろう表面高さ。以下、単に、「外乱除去後の表面高さ」とも称する。)と、の和であると考えることができる。先ほどから言及しているように、測定対象が剛体であることから、外乱成分d(i,X)は、Xについての一次関数、すなわち直線としてとらえることができる。
 ここで、本実施形態に係る外乱推定処理では、「1枚目の撮像画像における外乱成分はゼロである」とみなす。すなわち、1枚目の撮像画像と、1枚目の撮像画像における共通照射部分が存在する2枚目以降の撮像画像において、共通照射部分に属する全てのX座標に対しては、以下の式121が成立するとみなす。
  d(1,X)=0 ・・・(式121)
 なお、1枚目の画像に外乱が加わっている場合も考えうるが、その場合において、本実施形態に係る画像処理によって最終的に出力される表面高さは、本来の表面高さに対して、1枚目の画像撮像時に既に加わっていた外乱成分の大きさによって決まる平面が一様に加算された値となる。しかしながら、剛体Sが例えば鉄鋼半製品のスラブのように基準面が定まる場合には、最終的に出力される全長全幅の表面高さが基準面に一致するように平面を差し引く補正を行うことで、基準面から見た表面高さを得ることができる。そのため、以下では、上記式121が成立するとみなして説明を行う。
 いま、図17に示すように、i枚目の撮影時刻において光切断線Lにより照射された部分の外乱除去後の表面高さは、見かけの表面高さから外乱成分を引けばよい。すなわち、i枚目の撮像画像における光切断線Lに照射された剛体Sの外乱除去後の表面高さH(i,X)は、以下の式123に従って求めることができる。
  H(i,X)=Fobs (i,X)-d(i,X) ・・・(式123)
 また、i+1枚目の撮像画像における外乱成分は、i+1枚目の撮像画像における見かけの高さから、外乱除去後の表面高さを引けば求められる。すなわち、以下の式125が成立する。
  d(i+1,X)=Fobs (i+1,X)-H(i+1,X
                             ・・・(式125)
 ここで、i+1枚目の撮像画像における外乱除去後の表面高さH(i+1,X)は、i+1枚目の画像のみからは測定することができない。しかしながら、共通照射部分が、剛体S上の同一位置であることから、i+1枚目の撮像画像における外乱除去後の表面高さは、i枚目の撮像画像における外乱除去後の表面高さと等しい。そこで、本実施形態に係る共通照射部分外乱推定部221は、式123で既に求められている、i枚目における外乱除去後の表面高さH(i,X)を、搬送方向(すなわち、X軸の負方向)にΔLだけ平行移動させて共通照射部分を揃えたものを、i+1枚目の撮像画像における外乱除去後の表面高さH(i+1,X)として利用する。すなわち、以下の式127で表わされる関係が成立していることを利用する。
  H(i+1,X)=H(i,X+ΔL) ・・・(式127)
 従って、式127を式125に代入することにより、i+1枚目の外乱成分d(i+1,X)は、i+1枚目の画像から得られるみかけの高さと、i枚目の外乱除去後の表面高さと、を利用して、以下の式129により求めることができる。
  d(i+1,X)=Fobs (i+1,X)-H(i,X+ΔL
                             ・・・(式129)
 また、上記式123において、パラメータiを一つ進めてi=i+1とし、d(i+1,X)の部分に、上記式129で得られたi枚目の外乱成分を代入することで、i+1枚目の撮像画像における外乱除去後の表面高さH(i+1,X)を求めることができる。
 このように、共通照射部分外乱推定部221は、i=1における式121を初期値として式129と式123とを交互に適用し、パラメータiの値を1つずつ増やしていくことで、i枚目における外乱除去後の表面高さと、i+1枚目における外乱成分とを順次算出することができる。
 以下では、上記の共通照射部分外乱推定部221による共通照射部分での外乱成分の特定処理が、図18に示したような状況に適用した場合にどのように実施されるかを、具体的に説明を行う。
 なお、以下では、光切断線Lに関してのみ説明を行うが、光切断線Lについても同様である。
 図18では、光切断線Lが照射される部分の一部に凹凸がある剛体Sを、測定対象とする。いま、図18の左半分に示すように、1枚目と2枚目の撮像画像を撮像する間に、外乱としてZ方向の平行移動が生じたものとする。
 図19は、1枚目の撮像画像と2枚目の撮像画像の共通照射部分において、式129に基づく処理を説明するための説明図である。上記式125が示すように、2枚目の撮像画像における外乱成分d(2,X)は、見かけの高さFobs (2,X)と、2枚目の撮像画像における外乱除去後の表面高さH(2,X)と、の差である。一方で、先ほどから説明しているように、2枚目の撮像画像における外乱除去後の表面高さH(2,X)は、1枚目の撮像画像における外乱除去後の表面高さH(1,X)を、図19中の破線のようにΔLだけ平行移動したもの(すなわち、H(1,X+ΔL))である。ここで、上記式121から、H(1,X)は、Fobs (1,X)と等しい。従って、H(1,X+ΔL)は、Fobs (1,X+ΔL)と等しくなる。よって、図19を参照すると、2枚目の撮像画像における外乱成分d(2,X)は、見かけの高さFobs (2,X)から、1枚目の見かけの高さをΔL平行移動したものを引いたものと等しくなる。すなわち、図19に示す状況が、上記式129として示した式を図として表わしたものに対応している。
 なお、図18の場合、剛体Sに生じている外乱がZ方向の平行移動であるため、式129により求められた外乱成分(図19における一点鎖線で表わした大きさ)d(2,X)は、X座標によらず一定となる。
 次に、図18の右半分に示したように、2枚目と3枚目の撮像画像を撮像する間に、C軸回りの回転が生じたとする。この場合、図18において、1枚目の撮像画像と3枚目の撮像画像とを比較すると明らかなように、1枚目の撮像画像を基準として考えると、剛体Sには、外乱として、Z方向の平行移動とC軸回りの回転とが生じていることとなる。
 図20は、2枚目の撮像画像と3枚目の撮像画像の共通照射部分において、式123及び式129に基づく処理を説明するための説明図である。
 図20の右半分の部分に示すように、2枚目の画像から得られたみかけの高さFobs (2,X)から、図19に基づき既に算出した外乱成分d(2,X)を差し引くことで、外乱除去後の表面高さH(2,X)を算出することができる。この関係は、上記式123で表わされる関係を図示したものである。
 次に、図20の左半分の部分に示したように、2枚目の撮像画像の共通照射部分における、外乱除去後の表面高さH(2,X)を、3枚目の撮像画像と共通照射部分が一致するようにΔLだけ平行移動させ、3枚目の撮像画像から得られたみかけの高さから差し引くことで、3枚目の撮像画像における外乱成分d(3,X)を算出することができる。
 ここで、2枚目の撮像画像と3枚目の撮像画像との間には、C軸周りの回転が加わっているが、図20の左半分に示した一点鎖線の長さ(すなわち、d(3,X))を、X座標Xに対してプロットすると、d(3,X)は、ある傾きを持つ直線となる。
 ここで、図20からも明らかなように、3枚目の撮像画像の外乱成分d(3,X)は、3枚目の撮像画像のみかけの高さFobs (3,X)から、2枚目の撮像画像における外乱除去後の表面高さH(2,X)を差し引いたものであり、2枚目の撮像画像における外乱除去後の表面高さH(2,X)は、2枚目の撮像画像のみかけの高さFobs (2,X)から、2枚目の撮像画像の外乱成分d(2,X)を差し引いたものである。従って、3枚目の撮像画像の外乱成分d(3,X)は、2枚目の撮像画像の外乱成分d(2,X)に基づいた量であると考えることもできる。同様にして、2枚目の撮像画像の外乱成分d(2,X)は、1枚目の撮像画像の外乱成分d(1,X)に基づいた量としてとらえることができる。このような関係から明らかなように、本実施形態に係る外乱推定処理は、i枚目の撮像画像における外乱成分d(i,X)を、1枚目の撮像画像における外乱からi-1枚目の撮像画像における外乱までの全ての外乱の積算の結果として、特定する。
 なお、外乱としてL軸回りの回転が生じた場合には、Z方向の平行移動が生じた場合と同様に、光切断線L上の外乱成分の大きさはX座標によらず一定となる。また、実空間において異なる幅方向位置に存在する光切断線L上の外乱成分d(i,X)も、座標Xによらず一定となる。しかしながら、外乱成分dと外乱成分dとの値が異なることより、L軸回りの回転が存在することを把握することができる。
 以上のような処理を共通照射部分外乱推定部221が実施することにより、2枚の連続する撮像画像を用いて、光切断線Lの上での外乱成分d(i,X)の大きさを算出することができる。上記のような処理を、光切断線Lに対しても同様に適用することで、共通照射部分外乱推定部221は、光切断線L上での外乱成分d(i,X)の大きさを算出することができる。
 共通照射部分外乱推定部221は、このようにして算出した、各光切断線L,L上での外乱成分の大きさに関する情報を、後述する交点位置外乱推定部223に出力する。
□交点位置外乱推定部223について
 交点位置外乱推定部223は、例えば、CPU、ROM、RAM等により実現される。交点位置外乱推定部223は、上記の外乱推定処理の概略で簡単に言及した処理のうち、光切断線Lに関して、Y座標の変化量のX方向に沿った分布を直線で近似するとともに、光切断線Lに関して、Y座標の変化量のX方向に沿った分布を直線で近似する処理を実施して、交点A、Bの位置での外乱の大きさを推定する処理部である。
 より詳細には、交点位置外乱推定部223は、共通照射部分外乱推定部221が算出した、共通照射部分における外乱の大きさを利用して、X座標に沿った外乱の大きさの分布を直線近似し、得られた近似直線を交点位置まで外挿(場合によっては、内挿)することで、交点A及び交点Bにおける外乱の大きさを算出する。かかる直線近似により、光切断線L,L上の各点に生じるばらつきを吸収し、上記特許文献1に記載の発明を含めた従来の光切断法と比較してより精度良く、交点A及び交点Bにおける外乱の値を求めることが可能となる。その後、交点位置外乱推定部223は、第1の校正データである校正曲線C,Cを利用して、画素単位で表わされた表面高さを、Z座標(単位:mm)での値に変換して、交点A,BのZ座標における外乱の大きさを算出する。
 上記のように、交点位置外乱推定部222は、i番目の画像における
  ・交点Aにおける外乱成分に起因するZ座標の変化ΔZ(i)(単位:mm)
  ・交点Bにおける外乱成分に起因するZ座標の変化ΔZ(i)(単位:mm)
のそれぞれを算出する処理部である。
 なお、2交点A,Bでの外乱成分を求める理由は、以下の2つである。第1の理由は、測定対象物が剛体であることから、エリアカメラ111で撮像された撮像画像における光切断線Lに沿った外乱成分d(i,X)と、かかる外乱成分d(i,X)を校正曲線Cによって換算したZ座標における外乱成分とは、光切断線L,Lの場合と同様に直線となるからである。また、第2の理由は、光切断線Lに関する直線上の2点での外乱成分の値が特定できることで、光切断線Lに関して、交点以外の場所での外乱成分の値を推定することが可能となるためである。
 以下では、この交点位置外乱推定部223が実施する処理について、図21~図23を参照しながら、詳細に説明する。なお、図21では、連続した2枚の撮像画像間において、外乱としてZ軸方向の平行移動が生じている場合について図示しているが、以下の説明は図21に示した場合に限定されるものではなく、L軸回りの回転が生じている場合、及び、C軸回りの回転が生じている場合にも同様に適用可能である。
 いま、i枚目の撮像画像の撮像時刻において、光切断線Lと光切断線Lとの交点Aに関して、外乱成分を含んだみかけのZ座標をZ(i)と表わし、光切断線Lと光切断線Lとの交点Bに関して、外乱成分を含んだみかけのZ座標Z(i)と表すこととする。
 また、図21に示したように、1枚目の撮像画像の撮像時を基準として、i枚目まで外乱が生じないとみなしたZ座標での表面高さ(すなわち、外乱除去後のZ座標での表面高さ)を、交点AについてはZ (i)と表わし、交点BについてはZ (i)と表すこととする。
 図21及び下記の式131に示すように、Z座標における交点Aでのみかけの表面高さZ(i)と、Z座標における外乱除去後の表面高さZ (i)との差を、外乱成分によるZ座標の変化ΔZ(i)と規定する。同様に、下記の式133に示すように、Z座標における交点Bでのみかけの表面高さZ(i)と、Z座標における外乱除去後の表面高さZ (i)との差を、外乱成分によるZ座標の変化ΔZ(i)と規定する。
  ΔZ(i)=Z(i)-Z (i) ・・・(式131)
  ΔZ(i)=Z(i)-Z (i) ・・・(式133)
 外乱成分によるZ座標の変化ΔZ(i)を算出するために、交点位置外乱推定部223は、図22に示したように、共通照射部分外乱推定部221から出力された外乱成分d(i,X)の大きさが、X方向に沿ってどのように分布しているかを考慮する。その上で、交点位置外乱推定部223は、最小二乗法等の公知の統計処理により、X方向に沿った外乱成分d(i,X)の分布を直線近似する。その後、交点位置外乱推定部223は、交点AのX座標と、算出した近似直線とを利用して、交点Aでの外乱成分の大きさである外乱成分d(i,A)(単位:ピクセル)を算出する。
 交点Aでの外乱成分d(i,A)(単位:ピクセル)を算出すると、交点位置外乱推定部223は、第1の校正データである校正曲線Cを利用して、画素単位での外乱成分の大きさを、Z座標における外乱成分ΔZ(i)(単位:mm)へと変換する。
 ここで、実空間でのZ座標における外乱成分ΔZ(i)を算出する際には、校正曲線Cが曲線であり、かつ、外乱成分d(i,A)が、先ほどから言及しているように、1枚目の撮像画像を基準とした外乱成分であることを考慮することが重要である。具体的には、図23に示すような校正曲線Cを適用してΔZ(i)を求めるためには、校正曲線上の2点でピクセル単位からmm単位への変換を行い、Z座標において差を取る必要がある。
 ここで、先ほどから言及しているように、外乱除去後の表面高さH(i,A)に対して、外乱成分d(i,A)を加えたものが、撮像画像内でのi枚目における交点Aのみかけの高さFobs (i,A)となる。そこで、交点位置外乱推定部223は、図23に示したように、交点Aのみかけの高さFobs (i,A)と、校正曲線Cとを利用して、i枚目のZ座標における交点Aのみかけの表面高さZ(i)を算出する。また、交点位置外乱推定部223は、外乱除去後の表面高さH(i,A)と、校正曲線Cとを利用して、i枚目のZ座標における外乱除去後の表面高さZ (i)を算出する。その後、交点位置外乱推定部223は、得られた2つの表面高さの差を算出することで、交点AでのZ座標における外乱成分ΔZ(i)を算出する。また、交点位置外乱推定部223は、全く同様にして、交点BでのZ座標における外乱成分ΔZ(i)も算出する。
 交点位置外乱推定部223は、このようにして算出した、交点A及び交点Bでの外乱成分の大きさに関する情報を、補正部217に出力する。
 以上、図16~図23を参照しながら、外乱推定部213で実施される外乱推定処理について、詳細に説明した。
○形状データ算出部215における形状データ算出処理について
 続いて、図24を参照しながら、形状データ算出部215で実施される形状データ算出処理について、詳細に説明する。なお、図24では、外乱としてL軸回りの回転が生じている場合について図示しているが、これまでの説明と同様に、以下の説明は、図24に示した場合に限定されるものではない。
 形状データ算出部215では、まず、撮像データ取得部211から出力された、エリアカメラ111により撮像された撮像画像データを参照して、図24に示すように、i枚目の撮像画像での光切断線Lに関するみかけの高さFobs (i,X)(単位:ピクセル)を特定する。ここで、図24に示した撮像画像内の座標系は、先だって説明したように、校正板などの平坦面をZ=0の位置に配置した上で撮像したエリアカメラ111の撮像画像を用いて規定することができる。すなわち、光切断線Lが撮像されている高さ方向の位置を、光切断線Lに関するY座標Yの基準位置(すなわち、Y=0の位置)として規定し、光切断線Lに関するX座標Xを、撮像画像の左端を基準として光切断線Lの延伸方向に沿って規定することができる。
 次に、形状データ算出部215は、i枚目の撮像画像から得られたみかけの高さFobs (i,X)(単位:ピクセル)を、記憶部207に格納されている第1の校正データである校正曲線Cを利用して、Z座標におけるみかけの高さZ(i,X)(単位:mmなどの長さの単位)へと変換する。
 このようにして算出された、Z座標におけるみかけの高さZ(i,X)は、外乱に起因するZ座標の変化(すなわち、測定誤差)が重畳されている値である。形状データ算出部215は、このようにして算出したZ座標におけるみかけの高さZ(i,X)に関する情報を、後述する補正部217へと出力する。
○補正部217における補正処理について
 続いて、図25及び図26を参照しながら、補正部217で実施される補正処理について、詳細に説明する。
 本実施形態に係る補正部217は、形状データ算出部215により算出された測定誤差を含む形状データ(Z座標におけるみかけの高さZ(i,X))と、外乱推定部213により算出された外乱成分(Z座標における外乱成分ΔZ(i))と、を利用して補正処理を実施し、測定対象物である剛体Sの真の表面高さを算出する。かかる補正処理をエリアカメラ111で撮像された全画像に対して反復することで、真の表面高さを長手方向に重ね合わせることとなり、結果として、剛体Sの全体における真の表面高さを算出することが可能となる。
 より詳細には、補正部217は、まず、外乱推定部213により算出された、交点A及び交点BでのZ座標における外乱成分ΔZ(i),ΔZ(i)を利用して、図25に示したような直線を算出する。先だって言及しているように、光切断線Lに沿ったZ座標における外乱成分ΔZ(i、X)は、測定対象が剛体である故に、座標Xに関して一次関数(すなわち直線)となる。従って、交点A及び交点BでのZ座標における外乱成分ΔZ(i),ΔZ(i)を結ぶ直線を算出することで、光切断線Lに沿ったZ座標における外乱成分ΔZ(i、X)を特定できたことになる。
 続いて、補正部217は、図26及び以下の式141に示したように、形状データ算出部215で得られたZ(i,X)から、外乱によるZ座標の変化(すなわち、外乱成分ΔZ(i、X))を差し引くことで、Z座標での真の表面高さZout(i,X)を算出する。
  Zout(i,X)=Z(i,X)-ΔZ(i,X) ・・・(式141)
 補正部217は、エリアカメラ111で撮像された全画像に対して以上の処理を反復(すなわち、エリアカメラ111,113で撮影された画像の枚数がそれぞれN枚とすると、i=1,2,・・・,Nに対してZout(i,X)を求める処理を反復)し、真の表面高さを長手方向に順に並べることで、剛体S全体の真の表面高さを算出することができる。
 以上、図25及び図26を参照しながら、本実施形態に係る補正部217で実施される補正処理について説明した。
 以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
 なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(撮像装置の変形例)
 次に、図27及び図28を参照しながら、本実施形態に係る撮像装置100の変形例について、簡単に説明する。図27及び図28は、本実施形態に係る撮像装置の変形例を模式的に示した説明図である。
 上記の説明では、撮像装置100において、2台のエリアカメラ111,113が設けられている場合について説明したが、本実施形態に係る撮像装置100の構成は、かかる例に限定されるものではない。
 例えば図27に示したように、光切断線Lをエリアカメラ115で撮像するとともに、光切断線Lをエリアカメラ117で撮像し、エリアカメラ111とあわせて3台のエリアカメラを使用することも可能である。
 それぞれのエリアカメラ115,117は、撮像装置100として2台のエリアカメラ111,113を使用する場合と同様に、図28に示すように、光切断線LとL軸―C軸平面に投影されたエリアカメラ115の光軸とが直交し、かつ、光切断線LとL軸―C軸平面に投影されたエリアカメラ117の光軸とが直交するように設置する。エリアカメラ115の撮像領域AR3、及び、エリアカメラ117の撮像領域AR4は、撮像装置100として2台のエリアカメラ111,113を使用する場合と同様に、それぞれ交点A及び交点Bを撮像視野に含むように、適宜設定すればよいが、光切断線L,L全体が撮像視野に含まれていることが好ましい。
 各エリアカメラの光軸とZ軸とがなす角α,αは、エリアカメラが2台の場合と同様の理由で、例えば30度~60度程度とすることが好ましい。また、角度α,αは、同一の値であってもよいし、互いに異なる値であってもよい。いずれの場合においても、1台のエリアカメラを用いる場合と同じ計算処理により、求める形状を計測することが可能である。
 また、図27及び図28では、剛体Sの幅方向の片側に、2台のエリアカメラ115,117が配設される場合を図示しているが、外乱推定部213における平行移動の方向にさえ注意すれば、剛体Sの光切断線L側の側方にエリアカメラ115を配置し、剛体Sの光切断線L側の側方にエリアカメラ117を配置することも可能である。
 更に、光切断線L,L,Lのそれぞれに対して撮影視野を分割することで、4台以上のエリアカメラを使用することも可能である。
 以上、図27及び図28を参照しながら、本実施形態に係る撮像装置100の変形例について説明した。
(形状測定方法の流れについて)
 次に、図29A及び図29Bを参照しながら、本実施形態に係る形状測定装置10で実施される形状測定方法の流れについて、簡単に説明する。図29A及び図29Bは、本実施形態に係る形状測定方法の流れの一例を示した流れ図である。
 なお、以下の説明に先立ち、上記のような各種の方法を利用して、第1の校正データ及び第2の校正データが適切に生成され、記憶部207に格納されているものとする。
 まず、本実施形態に係る形状測定装置10の撮像装置100は、演算処理装置200における撮像制御部201の制御のもとで、搬送されている被測定剛体Sを各エリアカメラ111,113で撮像して、それぞれN枚の撮像画像を生成する(ステップS101)。撮像装置100のエリアカメラ111,113は、1枚の撮像画像を生成する毎に、生成した撮像画像の撮像データを、演算処理装置200に出力する。
 演算処理装置200の撮像データ取得部211は、撮像装置100から撮像データを取得すると、エリアカメラ111で生成された撮像データを形状データ算出部215に対して出力するとともに、エリアカメラ113で生成された撮像データを、外乱推定部213に対して出力する。
 外乱推定部213、形状データ算出部215及び補正部217は、各処理部で実施する処理において使用するパラメータiを、i=1に初期化する(ステップS103)。続いて、外乱推定部213、形状データ算出部215及び補正部217は、パラメータiの値が、撮像画像の枚数N以下であるか否かを判断する(ステップS105)。パラメータiの値がN以下である場合には、外乱推定部213は、上記のような外乱推定処理を開始するとともに、形状データ算出部215は、上記のような形状データ算出処理を開始する。また、補正部217は、外乱推定部213及び形状データ算出部215からのデータの出力の待ち受けを開始する。一方、パラメータiの値がN超過である場合には、形状測定装置10は、形状測定処理を終了する。
 なお、外乱推定部213における外乱推定処理、及び、形状データ算出部215における形状データ算出処理は、それぞれ並行して実施されてもよいし、どちらか一方の処理部における処理が、他方の処理部における処理に先立って実施されてもよいことは、言うまでもない。
 形状データ算出部215は、先だって説明したような方法により、i枚目の撮像画像を参照しながら、形状測定用光切断線(すなわち、光切断線L)と、校正曲線Cとを利用して、実空間での形状データ(Z座標における表面高さ)を算出する(ステップS107)。形状データ算出部215は、i枚目の撮像画像に関して実空間での形状データを算出すると、得られた形状データに関する情報を、補正部217に出力する。
 一方、外乱推定部213は、先だって説明したような方法により、i枚目の撮像画像を参照しながら、各補正用光切断線(すなわち、光切断線L,L)に基づき、共通照射部分の外乱成分を算出する(ステップS109)。その後、外乱推定部213は、算出した外乱成分を利用して近似直線を算出した後、交点A及び交点Bでの外乱成分を算出する(ステップS111)。続いて、外乱推定部213は、交点A及び交点Bでの外乱成分を、校正曲線C,Cを利用して、実空間での量へと変換する(ステップS113)。その後、外乱推定部213は、得られた実空間での外乱成分の大きさに関する情報を、補正部217に出力する。
 補正部217は、外乱推定部213から出力された、交点A及び交点Bの実空間での外乱成分に基づき、先だって説明したような方法により、形状測定用光切断線の位置での外乱成分を算出する(ステップS115)。その後、補正部217は、形状データ算出部215から出力された、実空間での形状データから、実空間での外乱成分を差し引いて、真の表面高さを算出する(ステップS117)。
 その後、外乱推定部213、形状データ算出部215及び補正部217は、パラメータiの値を、i=i+1へと更新し(ステップS119)、ステップS105の処理を再度実施する。
 以上、図29A及び図29Bを参照しながら、本実施形態に係る形状測定方法の流れを簡単に説明した。
(ハードウェア構成について)
 次に、図30を参照しながら、本発明の実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。図30は、本発明の実施形態に係る演算処理装置200のハードウェア構成を説明するためのブロック図である。
 演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
 CPU901は、中心的な処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置913、又は、リムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
 バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
 入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。更に、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置909を操作することにより、形状測定装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置911は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
 ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は、光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、及び、外部から取得した各種のデータなどを格納する。
 ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu-ray(登録商標)メディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
 接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS-232Cポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
 通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又は、WUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、社内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
 以上、本発明の実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 以下では、実施例を示しながら、本発明に係る形状測定装置及び形状測定方法について、具体的に説明する。なお、以下に示す実施例は、本発明に係る形状測定装置及び形状測定方法のあくまでも一例であって、本発明に係る形状測定装置及び形状測定方法が、下記に示す実施例に限定されるものではない。
 以下に示す実施例1~実施例3では、表面が平坦であることが既知のアルミ板を被測定剛体Sとして利用した。また、形状測定に使用した形状測定装置は、図1及び図2に示したような、本実施形態に係る形状測定装置10である。
 実施例1~実施例3では、上記のようなアルミ板を、一定速度5mm/秒で60mm搬送しながら、2台のエリアカメラで0.2秒につき1枚撮像し、各エリアカメラで60枚の撮像画像を得た。なお、事前に、校正曲線C,C,C及びΔL、ΔLを作成し、得られたデータを記憶部に格納しておいた。
 以下に示す実施例では、アルミ板の搬送中に、3種類の外乱(Z軸方向の移動、L軸回りの回転、C軸回りの回転)をそれぞれ付加し、外乱に起因するZ座標の変化が含まれた値Z(i,X)と、演算処理装置200から出力された真の表面高さZout(i,X)(i=1,2,・・・,60)と、を比較した。なお、以下では、X座標(単位:ピクセル)を剛体Sの幅方向であるC座標(単位:mm)に変換して得られる結果を、示している。
(実施例1)
 実施例1では、図31Aに示したようなZ方向の平行移動を、アルミ板の搬送中に外乱として付加した。なお、光切断線の位置は、図31Bに示した通りである。その結果、図31Cに示すように、Z(i,X)は、外乱によるZ軸方向の変化が重畳されており、該当する部分の表面高さが平坦になっていないことがわかる。この結果は、Z(i,X)では正確な表面高さを表現できていないことを示している。一方、図31Dに示したように、Zout(i,X)(i=1,2,・・・,60)は平坦となり、正確な表面高さが測定されていることが確認できた。
(実施例2)
 実施例2では、図32Aに示したようなL軸回りの回転(回転軸は、アルミ板の幅方向中央位置とし、回転角の正方向は、L軸正方向に沿って時計回りとした。)を、アルミ板の搬送中に外乱として付加した。なお、光切断線の位置と回転軸との位置関係は、図32Bに示した通りである。その結果、図32Cに示すように、Z(i,X)は、L軸回りの回転によるZ軸方向の変化が重畳されており、該当する部分の表面高さが平坦になっていないことがわかる。この結果は、Z(i,X)では正確な表面高さを表現できていないことを示している。一方、図32Dに示したように、Zout(i,X)(i=1,2,・・・,60)は平坦となり、正確な表面高さが測定されていることが確認できた。
(実施例3)
 実施例3では、図33Aに示したようなC軸回りの回転(回転軸は、アルミ板の長手方向中央位置とし、回転角の正方向は、C軸正方向に沿って時計回りとした。)を、アルミ板の搬送中に外乱として付加した。なお、光切断線の位置と回転軸との位置関係は、図33Bに示した通りである。その結果、図33Cに示すように、Z(i,X)は、C軸回りの回転によるZ軸方向の変化が重畳されており、該当する部分の表面高さが平坦になっていないことがわかる。この結果は、Z(i,X)では正確な表面高さを表現できていないことを示している。一方、図33Dに示したように、Zout(i,X)(i=1,2,・・・,60)は平坦となり、正確な表面高さが測定されていることが確認できた。
 以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
  10  形状測定装置
 100  撮像装置
 101a,101b,101c  線状レーザ光源
 111,113,115,117  エリアカメラ
 200  演算処理装置
 201  撮像制御部
 203  画像処理部
 205  表示制御部
 207  記憶部
 211  撮像データ取得部
 213  外乱推定部
 215  形状データ算出部
 217  補正部
 219  結果出力部
 221  共通照射部分外乱推定部
 223  交点位置外乱推定部
 
 

Claims (16)

  1.  被測定剛体の長手方向に沿って当該被測定剛体に対して相対移動する複数の線状レーザ光源から、前記被測定剛体の表面へと照射された、複数の線状レーザ光による複数の光切断線により、当該被測定剛体の形状を測定するものであり、
     長手方向に沿って相対移動する前記被測定剛体の表面に対して、3本の前記線状レーザ光を照射するとともに、前記3本の線状レーザ光の前記被測定剛体の表面からの反射光を所定の長手方向間隔で撮像する撮像装置と、
     前記撮像装置により撮像された前記光切断線に関する撮像画像に対して画像処理を実施して、前記被測定剛体の表面形状を算出する演算処理装置と、
    を備え、
     前記撮像装置は、
     前記被測定剛体の幅方向に延びる前記光切断線であり、前記被測定剛体の表面形状を算出するために用いられる形状測定用光切断線を射出する第1線状レーザ光源と、
     前記被測定剛体の長手方向に対して平行であり、かつ、前記形状測定用光切断線と交差しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第1の補正用光切断線を射出する第2線状レーザ光源と、
     前記被測定剛体の長手方向に対して平行であり、前記形状測定用光切断線と交差し、かつ、前記第1の補正用光切断線とは異なる前記被測定剛体の幅方向位置に存在しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第2の補正用光切断線を射出する第3線状レーザ光源と、
     前記形状測定用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記形状測定用光切断線の撮像画像を生成する第1のカメラと、
     前記補正用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記補正用光切断線の撮像画像を生成する第2のカメラと、
    を有しており、
     前記演算処理装置は、
     前記第1のカメラにより生成された各時刻での前記形状測定用光切断線の撮像画像に基づいて、前記被測定剛体の表面の3次元形状を表わし、かつ、前記外乱に起因する測定誤差の重畳された形状データを算出する形状データ算出部と、
     前記被測定剛体の同一位置について異なる2つの時刻に取得した前記被測定剛体の表面高さに関する高さ測定値から、当該位置における前記外乱に起因する高さ変化値を取得する高さ変化値取得処理を、前記第1の補正用光切断線の撮像画像を用いて、当該第1の補正用光切断線の異なる長手方向位置の複数の点に対して実施するとともに、前記高さ変化値取得処理を、前記第2の補正用光切断線の撮像画像を用いて、当該第2の補正用光切断線の異なる長手方向位置の複数の点に対して実施し、前記第1の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、前記第2の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、を利用して、前記形状データに重畳された前記外乱に起因する高さ変動量を推定する外乱推定部と、
     前記形状データから前記高さ変動量を差し引くことで、前記外乱に起因する測定誤差を補正する補正部と、
    を有する、形状測定装置。
  2.  前記外乱推定部は、
     前記第1の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似して、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値を推定し、
     前記第2の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似して、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値を推定し、
     2つの前記交点における前記外乱に起因する高さ変化値を結ぶ直線により、前記高さ変動量を推定する、請求項1に記載の形状測定装置。
  3.  前記第1のカメラ及び前記第2のカメラは、所定の長手方向間隔に対応する各時刻に撮像を行って、それぞれN枚(Nは、2以上の整数。)の撮像画像を生成し、
     前記外乱推定部は、1枚目の撮像画像に前記外乱が生じていないとみなして、前記高さ変動量を算出する、請求項1又は2に記載の形状測定装置。
  4.  前記第1のカメラ及び前記第2のカメラの撮像タイミングは、互いに隣り合う撮像時刻に撮像した前記第2のカメラの撮像画像において、共通して前記補正用光切断線が照射されている前記被測定剛体の部分である共通照射領域が存在するように制御されており、
     前記外乱推定部は、前記第1の補正用光切断線、及び、前記第2の補正用光切断線のそれぞれでの前記共通照射領域に該当する前記複数の点について、前記外乱に起因する高さ変化値を算出する、請求項1~3の何れか1項に記載の形状測定装置。
  5.  前記外乱推定部は、前記第2のカメラのi+1枚目(i=1,2,・・・,N-1)の撮像画像から得られる前記高さ変化値を含む見かけの表面高さと、前記第2のカメラのi枚目の撮像画像から得られる、当該撮像画像の前記共通照射領域における前記高さ変化値を除去した後の表面高さと、を用いて、前記i+1枚目の撮像画像における前記高さ変化値と、当該高さ変化値を除去した後の表面高さと、を算出する、請求項4に記載の形状測定装置。
  6.  前記外乱推定部は、前記第2のカメラの1枚目の撮像画像を基準として、前記第2のカメラのi枚目(i=2,・・・,N)の撮像画像における前記高さ変化値を算出する、請求項4又は5に記載の形状測定装置。
  7.  前記第1線状レーザ光源、前記第2線状レーザ光源及び前記第3線状レーザ光源は、それぞれの光源の光軸が前記被測定剛体の長手方向及び幅方向で規定される平面に対して垂直となるように配設される、請求項1~6の何れか1項に記載の形状測定装置。
  8.  前記第1のカメラの光軸と前記第1線状レーザ光源の光軸とのなす角、前記第2のカメラの視線と前記第2線状レーザ光源の光軸とのなす角、及び、前記第2のカメラの視線と前記第3線状レーザ光源の光軸とのなす角は、互いに独立に、30度以上60度以下である、請求項1~7の何れか1項に記載の形状測定装置。
  9.  被測定剛体の長手方向に沿って当該被測定剛体に対して相対移動する複数の線状レーザ光源から、前記被測定剛体の表面へと照射された、複数の線状レーザ光による複数の光切断線により、当該被測定剛体の形状を測定するものであり、
     前記被測定剛体の幅方向に延びる前記光切断線であり、前記被測定剛体の表面形状を算出するために用いられる形状測定用光切断線を射出する第1線状レーザ光源と、前記被測定剛体の長手方向に対して平行であり、かつ、前記形状測定用光切断線と交差しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第1の補正用光切断線を射出する第2線状レーザ光源と、前記被測定剛体の長手方向に対して平行であり、前記形状測定用光切断線と交差し、かつ、前記第1の補正用光切断線とは異なる前記被測定剛体の幅方向位置に存在しており、前記被測定剛体に作用する外乱の影響を補正するために用いられる第2の補正用光切断線を射出する第3線状レーザ光源と、前記形状測定用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記形状測定用光切断線の撮像画像を生成する第1のカメラと、前記補正用光切断線を、所定の長手方向間隔に対応する各時刻に撮像し、各時刻におけるそれぞれの前記補正用光切断線の撮像画像を生成する第2のカメラと、を有する撮像装置から、長手方向に沿って相対移動する前記被測定剛体の表面に対して3本の前記光切断線を照射して、当該3本の光切断線の前記被測定剛体の表面からの反射光を所定の長手方向間隔で撮像する撮像ステップと、
     前記第1のカメラにより生成された各時刻での前記形状測定用光切断線の撮像画像に基づいて、前記被測定剛体の表面の3次元形状を表わし、かつ、前記外乱に起因する測定誤差の重畳された形状データを算出する形状データ算出ステップと、
     前記被測定剛体の同一位置について異なる2つの時刻に取得した前記被測定剛体の表面高さに関する高さ測定値から、当該位置における前記外乱に起因する高さ変化値を取得する高さ変化値取得処理を、前記第1の補正用光切断線の撮像画像を用いて、当該第1の補正用光切断線の異なる長手方向位置の複数の点に対して実施するとともに、前記高さ変化値取得処理を、前記第2の補正用光切断線の撮像画像を用いて、当該第2の補正用光切断線の異なる長手方向位置の複数の点に対して実施して、前記第1の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、前記第2の補正用光切断線の撮像画像から得られた複数の前記外乱に起因する高さ変化値と、を利用して、前記形状データに重畳された前記外乱に起因する高さ変動量を推定する外乱推定ステップと、
     前記形状データから前記高さ変動量を差し引くことで、前記外乱に起因する測定誤差を補正する補正ステップと、
    を含む、形状測定方法。
  10.  前記外乱推定ステップでは、
     前記第1の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似することで、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値が推定され、
     前記第2の補正用光切断線上の複数の点における前記外乱に起因する高さ変化値を直線近似することで、当該直線と前記形状測定用光切断線との交点における前記外乱に起因する高さ変化値が推定され、
     2つの前記交点における前記外乱に起因する高さ変化値を結ぶ直線により、前記高さ変動量が推定される、請求項9に記載の形状測定方法。
  11.  前記第1のカメラ及び前記第2のカメラは、所定の長手方向間隔に対応する各時刻に撮像を行って、それぞれN枚(Nは、2以上の整数。)の撮像画像を生成し、
     前記外乱推定ステップでは、1枚目の撮像画像に前記外乱が生じていないとみなして、前記高さ変動量が算出される、請求項9又は10に記載の形状測定方法。
  12.  前記第1のカメラ及び前記第2のカメラの撮像タイミングは、互いに隣り合う撮像時刻に撮像した前記第2のカメラの撮像画像において、共通して前記補正用光切断線が照射されている前記被測定剛体の部分である共通照射領域が存在するように制御されており、
     前記外乱推定ステップでは、前記第1の補正用光切断線、及び、前記第2の補正用光切断線のそれぞれでの前記共通照射領域に該当する前記複数の点について、前記外乱に起因する高さ変化値が算出される、請求項9~11の何れか1項に記載の形状測定方法。
  13.  前記外乱推定ステップでは、前記第2のカメラのi+1枚目(i=1,2,・・・,N-1)の撮像画像から得られる前記高さ変化値を含む見かけの表面高さと、前記第2のカメラのi枚目の撮像画像から得られる、当該撮像画像の前記共通照射領域における前記高さ変化値を除去した後の表面高さと、を用いて、前記i+1枚目の撮像画像における前記高さ変化値と、当該高さ変化値を除去した後の表面高さと、が算出される、請求項12に記載の形状測定方法。
  14.  前記外乱推定ステップでは、前記第2のカメラの1枚目の撮像画像を基準として、前記第2のカメラのi枚目(i=2,・・・,N)の撮像画像における前記高さ変化値が算出される、請求項12又は13に記載の形状測定方法。
  15.  前記第1線状レーザ光源、前記第2線状レーザ光源及び前記第3線状レーザ光源は、それぞれの光源の光軸が前記被測定剛体の長手方向及び幅方向で規定される平面に対して垂直となるように配設される、請求項9~14の何れか1項に記載の形状測定方法。
  16.  前記第1のカメラの光軸と前記第1線状レーザ光源の光軸とのなす角、前記第2のカメラの視線と前記第2線状レーザ光源の光軸とのなす角、及び、前記第2のカメラの視線と前記第3線状レーザ光源の光軸とのなす角は、互いに独立に、30度以上60度以下である、請求項9~15の何れか1項に記載の形状測定方法。
     
PCT/JP2016/062801 2015-04-22 2016-04-22 形状測定装置及び形状測定方法 WO2016171263A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
BR112017022305-8A BR112017022305B1 (pt) 2015-04-22 2016-04-22 Aparelho de medição de formato e método de medição de formato
US15/567,933 US10451410B2 (en) 2015-04-22 2016-04-22 Shape measurement apparatus and shape measurement method
JP2017514217A JP6380667B2 (ja) 2015-04-22 2016-04-22 形状測定装置及び形状測定方法
KR1020177032769A KR101950634B1 (ko) 2015-04-22 2016-04-22 형상 측정 장치 및 형상 측정 방법
ES16783284T ES2743217T3 (es) 2015-04-22 2016-04-22 Aparato de medición de forma y método de medición de forma
EP16783284.9A EP3270104B8 (en) 2015-04-22 2016-04-22 Shape measuring apparatus and shape measuring method
PL16783284T PL3270104T3 (pl) 2015-04-22 2016-04-22 Urządzenie do pomiaru kształtu i sposób pomiaru kształtu
CN201680036936.7A CN107735646B (zh) 2015-04-22 2016-04-22 形状测定装置以及形状测定方法
CA2981970A CA2981970C (en) 2015-04-22 2016-04-22 Shape measurement apparatus and shape measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015087517 2015-04-22
JP2015-087517 2015-04-22

Publications (1)

Publication Number Publication Date
WO2016171263A1 true WO2016171263A1 (ja) 2016-10-27

Family

ID=57143946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062801 WO2016171263A1 (ja) 2015-04-22 2016-04-22 形状測定装置及び形状測定方法

Country Status (10)

Country Link
US (1) US10451410B2 (ja)
EP (1) EP3270104B8 (ja)
JP (1) JP6380667B2 (ja)
KR (1) KR101950634B1 (ja)
CN (1) CN107735646B (ja)
BR (1) BR112017022305B1 (ja)
CA (1) CA2981970C (ja)
ES (1) ES2743217T3 (ja)
PL (1) PL3270104T3 (ja)
WO (1) WO2016171263A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018119851A (ja) * 2017-01-25 2018-08-02 東芝三菱電機産業システム株式会社 平坦度計測装置
KR102044852B1 (ko) * 2018-06-29 2019-11-13 대한민국(농촌진흥청장) 젖소 유두 자동인식장치 및 방법
JP2020190458A (ja) * 2019-05-21 2020-11-26 株式会社小野測器 速度計測装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10890441B2 (en) * 2017-11-27 2021-01-12 Nippon Steel Corporation Shape inspection apparatus and shape inspection method
JP2019168315A (ja) * 2018-03-23 2019-10-03 三菱電機株式会社 測定装置、回路基板、表示装置、および測定方法
KR102048364B1 (ko) * 2018-04-13 2019-11-25 엘지전자 주식회사 로봇 청소기
EP3713767B1 (en) * 2018-12-20 2023-11-01 Kornit Digital Ltd. Printing head height control
CN111366065B (zh) * 2020-02-28 2021-11-05 深圳冰河导航科技有限公司 一种平地机的自动校准方法
CN112648981B (zh) * 2020-12-04 2023-01-13 中国航空工业集团公司成都飞机设计研究所 一种基于激光定位的旋转机构运动过程摆动量测量方法
CN112747679A (zh) * 2020-12-23 2021-05-04 河南中原光电测控技术有限公司 测宽设备、测宽方法、存储有测宽程序的计算机可读介质
KR102413483B1 (ko) * 2021-07-28 2022-06-28 주식회사 프로시스템 3차원 곡면 형상 검사 장치 및 3차원 곡면 형상 검사 방법
CN115889974A (zh) * 2022-12-02 2023-04-04 无锡奥特维光学应用有限公司 一种接线盒激光焊接装置及焊接方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032271A (ja) * 2010-07-30 2012-02-16 Kobe Steel Ltd 測定装置
JP2013221799A (ja) * 2012-04-13 2013-10-28 Nippon Steel & Sumitomo Metal 形状計測装置及び形状計測方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160437A (ja) * 1996-12-03 1998-06-19 Bridgestone Corp タイヤの外形状判定方法及び装置
KR100552469B1 (ko) 2003-01-13 2006-02-15 삼성전자주식회사 위상차 제거기능을 갖는 트랙에러검출장치 및 그의위상차제거방법
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
JP5180608B2 (ja) * 2008-01-30 2013-04-10 株式会社日立ハイテクノロジーズ ディスク表面の欠陥検査方法及び欠陥検査装置
DE102008048963B4 (de) 2008-09-25 2011-08-25 Technische Universität Braunschweig Carolo-Wilhelmina, 38106 3D-Geometrie-Erfassungsverfahren und -vorrichtung
JP2011047857A (ja) 2009-08-28 2011-03-10 Toyota Motor Corp 三次元形状計測方法
JP4666272B1 (ja) * 2009-10-19 2011-04-06 住友金属工業株式会社 板材の平坦度測定方法及びこれを用いた鋼板の製造方法
US9116504B2 (en) * 2010-09-07 2015-08-25 Dai Nippon Printing Co., Ltd. Scanner device and device for measuring three-dimensional shape of object
CN102353684B (zh) * 2011-06-23 2013-10-30 南京林业大学 基于双激光三角法的激光肉图像采集方法
WO2015133287A1 (ja) * 2014-03-07 2015-09-11 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
JP6482196B2 (ja) * 2014-07-09 2019-03-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び記憶媒体
CN105302151B (zh) * 2014-08-01 2018-07-13 深圳中集天达空港设备有限公司 一种飞机入坞引导和机型识别的系统及方法
WO2016098400A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 撮像装置組立体、3次元形状測定装置及び動き検出装置
JP6478713B2 (ja) * 2015-03-04 2019-03-06 キヤノン株式会社 計測装置および計測方法
JP6061059B1 (ja) * 2015-05-29 2017-01-18 新日鐵住金株式会社 金属体の形状検査装置及び金属体の形状検査方法
KR102044196B1 (ko) * 2016-07-19 2019-11-13 닛폰세이테츠 가부시키가이샤 조도 측정 장치 및 조도 측정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032271A (ja) * 2010-07-30 2012-02-16 Kobe Steel Ltd 測定装置
JP2013221799A (ja) * 2012-04-13 2013-10-28 Nippon Steel & Sumitomo Metal 形状計測装置及び形状計測方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3270104A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018119851A (ja) * 2017-01-25 2018-08-02 東芝三菱電機産業システム株式会社 平坦度計測装置
KR102044852B1 (ko) * 2018-06-29 2019-11-13 대한민국(농촌진흥청장) 젖소 유두 자동인식장치 및 방법
JP2020190458A (ja) * 2019-05-21 2020-11-26 株式会社小野測器 速度計測装置
JP7267097B2 (ja) 2019-05-21 2023-05-01 株式会社小野測器 速度計測装置

Also Published As

Publication number Publication date
BR112017022305A2 (ja) 2018-07-10
CA2981970C (en) 2019-08-06
JPWO2016171263A1 (ja) 2018-02-08
EP3270104B8 (en) 2019-07-17
JP6380667B2 (ja) 2018-08-29
US20180106608A1 (en) 2018-04-19
US10451410B2 (en) 2019-10-22
CN107735646A (zh) 2018-02-23
EP3270104A1 (en) 2018-01-17
BR112017022305B1 (pt) 2022-08-09
KR101950634B1 (ko) 2019-02-20
KR20170136618A (ko) 2017-12-11
EP3270104B1 (en) 2019-06-12
PL3270104T3 (pl) 2019-12-31
CN107735646B (zh) 2019-12-17
ES2743217T3 (es) 2020-02-18
EP3270104A4 (en) 2018-08-22
CA2981970A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
JP6380667B2 (ja) 形状測定装置及び形状測定方法
KR101257188B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 3차원 형상 계측 프로그램을 기록한 기록 매체
JP5857858B2 (ja) 形状計測装置及び形状計測方法
JP2007114071A (ja) 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
JP2014028415A (ja) バラ積みされた物品をロボットで取出す装置
TWI493153B (zh) 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
JP2011203108A (ja) 3次元距離計測装置及びその方法
JP4058421B2 (ja) 振動計測装置及びその計測方法
JP5383853B2 (ja) 工具形状測定装置、及び工具形状測定方法
JP2010276447A (ja) 位置計測装置、位置計測方法およびロボットシステム
JP2006284531A (ja) 工具形状測定装置、及び工具形状測定方法
JP2007093412A (ja) 3次元形状測定装置
JP5494234B2 (ja) 三次元形状計測装置、キャリブレーション方法、およびロボット
KR102177726B1 (ko) 가공품 검사 장치 및 검사 방법
JP2004309318A (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
JP2007121124A (ja) Ccdカメラ式3次元形状測定機の精度保証治具
KR102196286B1 (ko) 3차원 형상 계측 시스템 및 계측 시간 설정 방법
JP2010025803A (ja) 位置決め機能を有する検査装置、位置決め機能を有する検査装置用プログラム、位置決め機能を有する検査装置の検査方法
KR20210000791A (ko) 레이저를 이용한 가공품 검사 장치 및 검사 방법
JP2016095243A (ja) 計測装置、計測方法、および物品の製造方法
JP6091092B2 (ja) 画像処理装置、及び画像処理方法
JP2006153654A (ja) 三次元計測装置および三次元計測方法
WO2021193236A1 (ja) 画像処理装置及び画像処理方法
JP2011220752A (ja) 三次元形状計測装置および三次元形状計測装置のキャリブレーション方法
JP2013007722A (ja) 3次元計測装置およびその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16783284

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017514217

Country of ref document: JP

Kind code of ref document: A

Ref document number: 2981970

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 15567933

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017022305

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 20177032769

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112017022305

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20171017