WO2019230284A1 - 三次元計測装置、三次元計測装置の位置表示方法およびプログラム - Google Patents

三次元計測装置、三次元計測装置の位置表示方法およびプログラム Download PDF

Info

Publication number
WO2019230284A1
WO2019230284A1 PCT/JP2019/017722 JP2019017722W WO2019230284A1 WO 2019230284 A1 WO2019230284 A1 WO 2019230284A1 JP 2019017722 W JP2019017722 W JP 2019017722W WO 2019230284 A1 WO2019230284 A1 WO 2019230284A1
Authority
WO
WIPO (PCT)
Prior art keywords
axis
distance information
image
dimensional
rotation angle
Prior art date
Application number
PCT/JP2019/017722
Other languages
English (en)
French (fr)
Inventor
豊男 飯田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019230284A1 publication Critical patent/WO2019230284A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a three-dimensional measuring apparatus, a position display method for the three-dimensional measuring apparatus, and a program.
  • Patent Document 1 discloses a three-dimensional image processing apparatus including a light projecting unit and an imaging unit.
  • the light projecting means projects incident light as structured illumination with a predetermined striped projection pattern.
  • the imaging unit obtains reflected light that is projected by the light projecting unit and reflected by the inspection object, and captures a plurality of pattern projection images.
  • Patent Document 2 a predetermined symbol different for each code type is added to each code of a projection code string in which a plurality of types of codes are arranged two-dimensionally.
  • a projection pattern image including the two-dimensional symbol sequence obtained by the assignment is projected onto the subject.
  • the image information processing apparatus performs three-dimensional measurement of a subject using a captured image obtained by capturing the subject on which the projection pattern image is projected.
  • Patent Document 3 discloses a configuration for detecting the inclination of a three-dimensional position detection device.
  • the three-dimensional position detection device has one position detection sensor and three distance sensors. Each distance detection sensor measures the distance to the reference plane.
  • the control device obtains the inclination of the reference plane based on the distances measured by the three distance detection sensors.
  • Patent Document 2 does not teach a configuration for facilitating adjustment of the position and angle of the three-dimensional measuring apparatus.
  • the positions of the three distance sensors are fixed. Therefore, for example, when there is a hole or protrusion on the reference surface, the desired angle cannot be calculated.
  • An object of the present invention is to provide a three-dimensional measuring apparatus, a three-dimensional measuring apparatus position display method, and a program that can be easily adjusted during installation.
  • the three-dimensional measurement device includes a sensor casing, an imaging unit that is disposed in the sensor casing and acquires an image in the imaging field of view, and an image is acquired based on an image acquired by the imaging unit.
  • a distance information acquisition unit that acquires distance information for each point on the surface of the subject that exists in the field of view, a subject surface that is calculated based on the distance information acquired by the distance information acquisition unit, and a reference point in the three-dimensional measurement device And an indicator arranged to be exposed on the sensor housing.
  • the user can immediately know the measurement result by looking at the indicator.
  • the user can easily adjust the position or inclination of the sensor casing when installing the sensor casing.
  • the “reference point in the three-dimensional measuring device” can be arbitrarily defined, for example, a point on the sensor housing, an arbitrary point on the imaging unit (generally the center of the imaging unit, but may be arbitrarily specified) ) Or the principal point of the optical system.
  • the distance information acquisition unit measures the rotation angle of the sensor housing around at least one axis for determining the positional relationship, and between the rotation angle measurement value and the specified rotation angle value. The difference is calculated.
  • the indicator is configured to indicate a difference between a measured value of the rotation angle and a specified value of the rotation angle.
  • the indicator indicates the difference between the measured value and the specified value for a rotation angle about at least one axis. Therefore, the rotation angle of the sensor casing with respect to the axis can be easily adjusted.
  • the distance information acquisition unit further calculates a difference between the measured value and the specified value with respect to the distance information, and the indicator indicates the difference between the measured value and the specified value related to the distance information. Configured.
  • the indicator can further indicate a difference between the measured value and the specified value with respect to the distance information. Therefore, the height of the sensor housing can be easily adjusted.
  • the indicator includes a plurality of light emitting elements that indicate a difference regarding the rotation angle or a difference regarding the distance information.
  • the indicator can indicate a difference between the specified value and the measured value related to the rotation angle or the distance information in a manner that can be easily grasped by the user.
  • the plurality of light-emitting elements includes a first light-emitting element that emits light of the first color when the difference is within the first range, and a second light-emitting element that has a wider difference than the first range.
  • a second light emitting element that emits light of the second color when within the range and a third light emitting element that emits light of the third color when the difference exceeds the second range are included.
  • the indicator includes first to third light emitting elements that emit different colors.
  • the indicator can change the color of light according to the magnitude of the difference between the measured value and the specified value.
  • the plurality of light emitting elements are divided into a plurality of light emitting element groups each including a first light emitting element, a second light emitting element, and a third light emitting element.
  • the plurality of light emitting element groups are distributed and arranged on a plurality of surfaces of the sensor casing.
  • the direction of the line of sight from the user to each light emitting element group can correspond to the direction of the axis (for example, the X axis). Therefore, the indicator can indicate to the user in an easy-to-understand manner which axis the positional relationship is displayed.
  • the three-dimensional measurement apparatus further includes a display unit that displays distance information. According to this disclosure, the distance information can be easily shown to the user.
  • the imaging unit acquires an image of a reference plane that is a reference for the distance from the sensor housing to the subject surface.
  • the distance information acquisition unit calculates an average height and centroid coordinates of at least three reference areas designated on the image of the reference plane, determines at least two vectors based on the average height and centroid coordinates, and at least 2
  • the normal vector of the reference plane is calculated by calculating the outer product of the two vectors.
  • the distance information acquisition unit projects the normal vector onto the XZ plane and the YZ plane, with the X axis and the Y axis orthogonal to each other on the reference plane, and the axis perpendicular to the reference plane as the Z axis.
  • the rotation angle about the X axis and the rotation angle about the Y axis are measured.
  • the rotation angle about the X axis and the rotation angle about the Y axis can be obtained.
  • the imaging unit acquires an image of a reference plane that is a reference for the distance from the sensor housing to the subject surface.
  • the distance information acquisition unit has an average height of at least three reference areas designated on the image of the reference plane and an X axis and a Y axis orthogonal to each other on the reference plane, and an axis perpendicular to the reference plane is the Z axis.
  • the center-of-gravity coordinates are calculated, the average height and the center-of-gravity coordinates are substituted into a plane expression expressed as ax + by + cz + d, and the coefficients a, b, and c are calculated by the least square method, and the normal vector (a, b, c ) And projecting the normal vector onto the XZ plane and the YZ plane, the rotation angle about the X axis and the rotation angle about the Y axis are measured.
  • the rotation angle about the X axis and the rotation angle about the Y axis can be obtained.
  • the imaging unit images a reference object arranged on a reference plane that is a reference for the distance from the sensor housing to the subject surface and within the field of view of the imaging unit.
  • the distance information acquisition unit includes a straight line connecting the edges of the two opposite end faces of the reference target image acquired by the imaging unit, and a reference straight line on the reference plane. The measured value of the rotation angle about the Z axis is obtained by calculating the angle formed by.
  • the rotation angle about the Z axis can be obtained.
  • the imaging unit images a reference object that is arranged on a reference plane that is a reference for the distance from the sensor housing to the subject surface and within the field of view of the imaging unit.
  • the distance information acquisition unit uses the axis perpendicular to the reference plane as the Z-axis, rotates the model image for recognition of the reference object, and rotates the recognition model image when the recognition model image overlaps the image of the reference object The angle is acquired as a measured value of the rotation angle about the Z axis.
  • the rotation angle about the Z axis can be obtained.
  • the position display method of the three-dimensional measurement device is acquired by the imaging unit arranged in the sensor housing of the three-dimensional measurement device, and an image in the imaging field of view.
  • a step of displaying the positional relationship by an indicator exposed to the sensor housing is acquired by the imaging unit arranged in the sensor housing of the three-dimensional measurement device, and an image in the imaging field of view.
  • the position or inclination of the three-dimensional measuring device can be easily adjusted when the three-dimensional measuring device is installed.
  • the program causes the computer to control the imaging unit so that the imaging unit arranged in the sensor housing of the three-dimensional measurement apparatus acquires an image in the imaging field of view.
  • a step of acquiring distance information for each point on the surface of the subject existing in the imaging field based on the acquired image, and a positional relationship between the surface of the subject and a reference point in the three-dimensional measuring device based on the distance information And a step of controlling the indicator so that the indicator exposed and arranged on the sensor housing displays the positional relationship.
  • FIG. 1 is a schematic diagram showing an outline of a three-dimensional measurement apparatus 100 according to the present embodiment.
  • the three-dimensional measuring apparatus 100 shoots while illuminating the workpiece W in an industrial product production line or the like, and measures the three-dimensional shape of the workpiece W using the obtained captured image.
  • the three-dimensional measuring apparatus 100 includes a three-dimensional sensor 1 and a shape measuring unit 10.
  • the three-dimensional sensor 1 includes a sensor housing 2, a camera 3, a projector 4, and an indicator 5.
  • the sensor housing 2 accommodates the camera 3 and the projector 4.
  • the indicator 5 is installed in the sensor housing 2 so as to be exposed on the surface of the sensor housing 2.
  • the camera 3 is arranged inside the sensor housing 2 and acquires an image in the imaging field of view 6. Specifically, the camera 3 captures the workpiece W and generates an image that is a captured image.
  • the projector 4 is disposed inside the sensor housing 2 and irradiates light 8 in a range overlapping the imaging field of view 6. The projection by the projector 4 will be described in detail later.
  • the shape measuring unit 10 acquires image data from the camera 3 of the three-dimensional sensor 1. Based on the image, the shape measuring unit 10 measures the three-dimensional shape of the workpiece W.
  • the shape measurement unit 10 is a distance information acquisition unit that acquires distance information for each point on the surface of the subject existing in the imaging field of view of the camera 3 based on an image acquired by the camera 3.
  • the camera 3 captures an image of the reference surface 50 by photographing the reference surface 50 that is a surface on which the workpiece W is to be installed. Based on the image, the shape measuring unit 10 calculates the distance to each point on the reference plane 50 existing in the imaging visual field 6 of the camera 3 and acquires the distance value as distance information. The shape measuring unit 10 calculates the positional relationship between the reference plane 50 that is the subject and the reference point in the three-dimensional measurement apparatus 100 based on the acquired distance. That is, the shape measurement unit 10 functions as a distance information acquisition unit.
  • the “positional relationship” includes, but is not limited to, a distance between the reference surface 50 and the sensor housing 2 and / or a relative angle (tilt) of the sensor housing 2 with respect to the reference surface 50. .
  • the “distance” may be defined as a distance from the camera 3.
  • the reference point in the three-dimensional measurement apparatus 100 is not limited to the point on the sensor housing 2 and may be the center of the light receiving element of the camera 3 or the main point of the optical system.
  • the indicator 5 indicates the positional relationship between the reference surface 50 and the sensor housing 2 calculated by the shape measuring unit 10. For example, the indicator 5 indicates the position of the sensor housing 2 with respect to the reference surface 50 and the inclination of the sensor housing 2 with respect to the reference surface 50.
  • the installer when installing the three-dimensional sensor 1, the installer can adjust the positional relationship of the sensor housing 2 with respect to the reference plane 50 based on the display of the indicator 5. For example, the installer can adjust the inclination of the sensor housing 2 with respect to the reference surface 50 while viewing the display of the indicator 5. Therefore, according to the present embodiment, the positional relationship of the three-dimensional sensor 1 with respect to the reference plane 50 can be easily adjusted when the three-dimensional sensor 1 is installed.
  • FIG. 2 is a schematic diagram illustrating adjustment of the three-dimensional measurement apparatus 100 according to the present embodiment.
  • the three-dimensional sensor 1 captures the reference plane 50 and acquires an image.
  • the image acquired by the three-dimensional sensor 1 is transferred to the shape measuring unit 10.
  • the shape measuring unit 10 can be realized by a controller including a processor such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit) and a RAM (Random Access Memory), for example.
  • a processor such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit)
  • RAM Random Access Memory
  • the display 60 is connected to the shape measuring unit 10 and provides a user interface by displaying various information.
  • an image 70 that is an image of the reference plane 50 is displayed on the screen of the display 60.
  • the installer specifies at least three points on the reference plane 50 on the screen of the display 60.
  • the shape measuring unit 10 receives a user input for designating three points, and sets an area including the designated points on the screen of the display 60.
  • areas 71, 72, and 73 are set in the image 70.
  • the areas 71, 72, and 73 are areas corresponding to the areas 51, 52, and 53 on the reference surface 50, respectively.
  • the shape measuring unit 10 measures the distance and position from the sensor housing 2 to each of the regions 51, 52, and 53, and calculates the angle of the optical axis of the camera 3 (not shown in FIG. 2) with respect to the reference plane 50. To do.
  • the X axis and the Y axis are axes that are orthogonal to each other on the reference plane 50.
  • the angle ⁇ X is a rotation angle around the X axis of the sensor housing 2 and is an angle formed by the optical axis of the camera 3 with respect to the Y axis.
  • the angle ⁇ Y is a rotation angle around the Y axis of the sensor housing 2 and is an angle formed by the optical axis of the camera 3 with respect to the Y axis.
  • the shape measuring unit 10 displays the measured values and specified values of the rotation angles ( ⁇ X, ⁇ Y) on the screen of the display 60. Furthermore, the shape measuring unit 10 calculates a difference between the measured value of the rotation angle and the specified value. The shape measuring unit 10 controls the indicator 5 so that the indicator 5 indicates the difference.
  • the indicator 5 includes a plurality of LEDs.
  • the indicator includes 10 LEDs.
  • the ten LEDs include five LEDs associated with the symbol “X” and five LEDs associated with the symbol “Y”.
  • the five LEDs associated with the symbol “X” form a first group indicating the difference between the measured value and the specified value with respect to the angle ⁇ X.
  • the five LEDs associated with the symbol “Y” form a second group indicating the difference between the measured value and the specified value with respect to the angle ⁇ Y.
  • the five LEDs associated with the symbol “X” are the green LED 21, the yellow LEDs 22 and 23, and the red LEDs 24 and 25.
  • the shape measuring unit 10 turns on one of the green LED 21, the yellow LEDs 22, 23, and the red LEDs 24, 25 according to the difference between the measured value and the specified value.
  • the difference between the measured value and the specified value is within the first range (for example, ⁇ 0.5 ° or less)
  • the shape measuring unit 10 turns on the green LED 21.
  • the difference between the measured value and the specified value is outside the first range and within the second range (for example, the absolute value of the difference is 0.5 ° or more and within 1 °)
  • the shape measuring unit 10 is the yellow LED 22 or the yellow LED 23. Lights up.
  • the absolute value of the difference between the measured value and the specified value exceeds the second range (for example, when the absolute value of the difference is 3 ° or more)
  • the shape measuring unit 10 turns on the red LED 24 or the red LED 25.
  • the yellow LED 22 and the red LED 24 are turned on when the difference between the measured value and the specified value ((measured value) ⁇ (specified value)) is positive.
  • the yellow LED 23 and the red LED 25 are lit when the difference between the calculated value and the specified value ((measured value) ⁇ (specified value)) is negative.
  • the five LEDs associated with the symbol “Y” are the green LED 26, the yellow LEDs 27 and 28, and the red LEDs 29 and 30.
  • the shape measuring unit 10 controls the LED. Similar to the lighting of the five LEDs associated with the symbol “X”, for example, when the difference between the measured value and the specified value is ⁇ 0.5 ° or less, the shape measuring unit 10 lights the green LED 26. When the absolute value of the difference between the measured value and the specified value is within 1 °, the shape measuring unit 10 turns on the yellow LED 27 or the yellow LED 28. When the absolute value of the difference between the measured value and the specified value is 3 ° or more, the shape measuring unit 10 turns on the red LED 29 or the red LED 30.
  • the yellow LED 27 and the red LED 29 are lit when the difference between the measured value and the specified value ((measured value) ⁇ (specified value)) is positive.
  • the yellow LED 28 and the red LED 30 are lit when the sign of the difference between the measured values with respect to the specified value ((measured value) ⁇ (specified value)) is negative.
  • the display 60 displays the distance (WD) between the three-dimensional sensor 1 and the reference plane 50, which is distance information, in addition to the image (image 70) of the reference plane 50 and the designated areas 71 to 73. Further, the display 60 displays the designated values of the angles ⁇ X and ⁇ Y and the measured values of the angles ⁇ X and ⁇ Y. According to the example shown in FIG. 2, WD is 800, and the designated value of angle ⁇ X and the designated value of angle ⁇ Y are both 90 °. On the other hand, the measured value of the angle ⁇ X is 89 °, and the measured value of the angle ⁇ Y is 75 °.
  • the shape measuring unit 10 controls the indicator 5 so that the yellow LED 23 and the red LED 30 are lit.
  • the user can adjust the inclination of the three-dimensional sensor 1 by confirming the lighting of the plurality of LEDs of the indicator 5. Since the measurement by the three-dimensional sensor 1 is executed in real time, the user can immediately know the measurement result by looking at the indicator 5. Therefore, the user can easily adjust the position or inclination of the three-dimensional sensor 1 when installing the three-dimensional sensor 1.
  • FIG. 3 is a functional block diagram of the three-dimensional measuring apparatus according to the present embodiment.
  • the three-dimensional sensor 1 includes a camera 3, a projector 4, and an indicator 5.
  • the shape measurement unit 10 includes a pattern generation unit 11, a pattern detection unit 12, a three-dimensional shape acquisition unit 13, a tilt calculation unit 14, an angle range specification unit 15, and a reference region setting unit 16.
  • the display 60 is connected to the shape measuring unit 10 and displays various types of information.
  • the pattern generation unit 11 generates a specific shading pattern. For example, this shading pattern may follow an M series or a deBruijn series.
  • the projector 4 projects the shading pattern generated by the pattern generation unit 11.
  • the camera 3 acquires an image within the imaging field.
  • the pattern detection unit 12 reads the density pattern from the image acquired by the camera 3.
  • the three-dimensional shape acquisition unit 13 instructs the pattern generation unit 11 to generate a shade pattern. Furthermore, the three-dimensional shape acquisition unit 13 acquires information related to the three-dimensional shape of the workpiece based on the shading pattern read by the pattern detection unit 12.
  • the three-dimensional shape acquisition unit 13 acquires information on the distance between the plurality of regions designated on the reference plane 50 and the three-dimensional sensor 1 and information on the positions of the plurality of regions.
  • the inclination calculation unit 14 calculates the angle of inclination of the three-dimensional sensor 1 with respect to the reference plane 50 based on the information acquired by the three-dimensional shape acquisition unit 13. Further, the tilt calculation unit 14 controls the indicator 5 based on the calculated tilt angle of the three-dimensional sensor 1.
  • the angle range designation unit 15 receives a set angle range from the user and designates the set angle range to the tilt calculation unit 14.
  • the reference area setting unit 16 receives input related to a plurality of areas on the reference surface 50 by the user.
  • the reference area setting unit 16 sets a plurality of areas designated by the user on the image of the reference plane 50.
  • the plurality of areas are areas for acquiring the height. Note that the number of designated areas may be three or more.
  • the display 60 displays a reference plane image, that is, a grayscale image (see an image 70 shown in FIG. 2).
  • FIG. 4 is a partial view showing a part of a shading pattern according to an example.
  • FIG. 5 is a partially enlarged view in which a part of the shading pattern shown in FIG. 4 is enlarged.
  • the three-dimensional measuring apparatus 100 projects the shading pattern shown in FIG.
  • the pattern projected on the surface of the workpiece is distorted according to the height of the workpiece.
  • the three-dimensional measuring apparatus 100 captures an image of a work on which a pattern is projected. If calibration is completed between the camera 3 and the projector 4, the code is uniquely determined on the epipolar line. Thereby, the three-dimensional measuring apparatus 100 measures the three-dimensional shape of the workpiece. According to this method, there are few erroneous correspondences, and three-dimensional reconstruction (corresponding position specification and triangulation) is possible at high speed.
  • FIG. 6 is a flowchart showing a flow of processing for calculating the inclination of the three-dimensional sensor 1 with respect to the reference plane. This process is executed by the three-dimensional measuring apparatus 100. 3 and 6, in step S10, pattern generation unit 11 generates a projection pattern. The projector 4 projects the pattern onto the reference plane 50.
  • step S11 the camera 3 performs pattern imaging.
  • step S ⁇ b> 12 the three-dimensional shape acquisition unit 13 restores the three-dimensional shape from the image acquired by the camera 3 by searching for a corresponding code and triangulation. Thereby, distance information is acquired.
  • the positional relationship between the object surface and the reference point in the three-dimensional measuring apparatus 100 is determined by the processing in steps S13 to S17.
  • the inclination calculation unit 14 removes outliers in the height direction of three or more regions of the reference surface.
  • the inclination calculation unit 14 calculates an average value in the height direction of the reference region excluding outliers. Thereby, the inclination calculating part 14 calculates
  • the barycentric coordinates are XY coordinates.
  • step S16 the tilt calculation unit 14 obtains a normal vector of the reference plane. Further, the inclination calculation unit 14 projects the normal vector onto each of the XZ plane and the YZ plane. As a result, the inclination calculation unit 14 calculates the inclination of the normal vector in the XZ plane and the inclination of the normal vector in the YZ plane.
  • the inclination of the normal vector in the XZ plane is expressed as an angle ⁇ X.
  • the inclination of the normal vector in the YZ plane is expressed as an angle ⁇ Y.
  • step S17 the tilt calculation unit 14 calculates the difference between the specified values of the angles ⁇ X and ⁇ Y and the value calculated in step S16.
  • step S ⁇ b> 18 the tilt calculation unit 14 displays the designated values and calculated values of the angles ⁇ X and ⁇ Y on the display 60.
  • step S19 the inclination calculating unit 14 instructs the indicator 5 to light the LED corresponding to the difference.
  • the indicator 5 turns on the corresponding LED according to this instruction (see FIG. 2).
  • step S20 the inclination calculating unit 14 determines whether or not there is an end instruction. When there is an end instruction, the entire process ends. If there is no end instruction, the process returns to step S10.
  • the normal vector (perpendicular line) of the reference surface 50 is obtained in the present embodiment.
  • two methods capable of calculating the normal vector of the reference plane 50 will be exemplified.
  • the user designates an area in the image of the reference plane 50 (image 70 shown in FIG. 2).
  • image 70 shown in FIG. 2 an image of the reference plane 50 (image 70 shown in FIG. 2) is simply referred to as “reference plane 50” below.
  • FIG. 7 is a schematic diagram for explaining the first calculation method of the normal vector of the reference surface.
  • three regions (P, Q, R) on the reference surface 50 are designated as reference regions.
  • the user designates at least three points on the reference plane 50 to the three-dimensional measurement apparatus 100 while looking at the screen of the display 60.
  • the reference area setting unit 16 of the three-dimensional measuring apparatus 100 sets each of the areas P, Q, and R by receiving user input.
  • the inclination calculating unit 14 calculates the average height Z of the regions P, Q, and R to calculate the average height Z. Further, the inclination calculation unit 14 calculates the barycentric coordinates of the regions P, Q, and R.
  • the inclination calculation unit 14 determines the vector PQ and the vector PR based on the average height Z and the barycentric coordinates.
  • the vector PQ is a vector from the region P toward the region Q.
  • the vector PR is a vector going from the region P to the region R.
  • the inclination calculation unit 14 calculates the outer product of the vector PQ and the vector PR.
  • the outer product of the vector PQ and the vector PR is a vector orthogonal to both the vector PQ and the vector PR.
  • the normal vector of the reference plane 50 is obtained by the outer product of the vector PQ and the vector PR.
  • three or more areas may be designated as the reference area.
  • normal vectors generated by a combination of any three of these regions are averaged.
  • the average vector can be set as a normal vector.
  • FIG. 8 is a schematic diagram for explaining a second calculation method of the normal vector of the reference plane.
  • n regions 51, 52, 53, 54,..., 5n on the reference surface 50 are set as reference regions.
  • n is an integer greater than or equal to 3, it is not specifically limited. These areas may be arbitrarily set by the user.
  • the reference area setting unit 16 of the three-dimensional measurement apparatus 100 may randomly select an area in the reference surface 50, and the reference area setting unit 16 may set the selected area as the reference area.
  • the inclination calculation unit 14 calculates the average height (Z coordinate) and barycentric coordinate (XY coordinate) of each of the n regions.
  • the coordinates (X, Y, Z) of each of the n points are obtained.
  • the inclination calculation unit 14 substitutes the coordinates (X, Y, Z) of the n point in the plane expression represented as ax + by + cz + d.
  • the slope calculation unit 14 calculates the coefficients a, b, c, and d by the least square method (multiple regression analysis). Coefficients (a, b, c) obtained by calculation represent normal vectors of the reference plane.
  • FIG. 9 is a schematic diagram for explaining a first calculation method of the rotation angle ⁇ Z around the Z-axis of the three-dimensional sensor 1.
  • a reference object 80 is provided on the reference plane 50 and in the field of view of the camera 3 of the three-dimensional sensor 1.
  • the reference object 80 is used for adjusting the angle ⁇ Z. If the camera of the three-dimensional sensor 1 can be acquired as a two-dimensional image, the reference object 80 is not particularly limited.
  • the reference object 80 is, for example, a work, a structure, or a texture (pattern).
  • the angle ⁇ Z is acquired by image processing of the shape measuring unit 10.
  • the shape measuring unit 10 extracts the edges 81 and 82 of the two opposing end faces of the reference object 80 from the image of the reference object 80 acquired by the three-dimensional sensor 1.
  • the shape measuring unit 10 applies a straight line to the extracted edges 81 and 82.
  • the shape measuring unit 10 obtains the linear coefficient (a, b, c).
  • FIG. 10 is a schematic diagram for explaining a second calculation method of the rotation angle ⁇ Z around the Z axis of the three-dimensional sensor 1.
  • a reference object 80 for adjusting the angle ⁇ Z is provided on the reference plane 50 and in the field of view of the camera 3 of the three-dimensional sensor 1.
  • a recognition model 85 of the reference object 80 is used.
  • the shape measuring unit 10 obtains the position (coordinates (X, Y)) and inclination (angle ⁇ ) of the reference object 80 by image recognition. Specifically, the shape measuring unit 10 fits the recognition model 85 to the image of the reference object 80 acquired by the three-dimensional sensor 1.
  • the shape measuring unit 10 obtains the rotation angle ⁇ Z from the difference between the reference angle of the recognition model 85 and the angle of the recognition model 85 obtained by image recognition.
  • the indicator 5 can have various configurations.
  • FIG. 11 is a diagram showing one configuration example of the indicator 5 according to the present embodiment.
  • the plurality of LEDs (light emitting elements) of the indicator 5 are divided into four light emitting element groups. Each light emitting element group functions as an indicator.
  • the indicator 5A is disposed on the surface 2A (first surface) of the sensor housing 2 that intersects with an axis parallel to the X axis.
  • Indicators 5B and 5D are arranged on the surface 2B (second surface) of the sensor housing 2 that intersects with an axis parallel to the Y axis.
  • An indicator 5C is disposed on the surface 2C (third surface) of the sensor housing 2 that intersects with an axis parallel to the Z axis.
  • the indicator 5D may be disposed on the surface 2A (first surface) of the sensor housing 2.
  • an axis parallel to the X axis, an axis parallel to the Y axis, and an axis parallel to the Z axis are denoted as “X axis”, “Y axis”, and “Z axis”, respectively.
  • the indicator 5A is an indicator for displaying the angle ⁇ X.
  • the indicator 5B is an indicator for displaying the angle ⁇ Y.
  • the indicator 5C is an indicator for displaying the angle ⁇ Z.
  • the indicator 5D is an indicator for displaying the height (distance in the Z-axis direction) of the three-dimensional sensor 1 with respect to the reference plane.
  • indicators are arranged on the surface of the sensor housing 2 corresponding to each of the X axis, the Y axis, and the Z axis.
  • the direction of the line of sight from the user to each light emitting element group can correspond to the direction of the axis. Therefore, the user can intuitively determine which of the angles ⁇ X, ⁇ Y, ⁇ Z and the height Z is deviated from the reference.
  • each of the indicators 5A, 5B, 5C, and 5D can include, for example, five LEDs.
  • the five LEDs can include one green LED, two yellow LEDs disposed on either side of the green LED, and two red LEDs disposed on the outside of each of the two yellow LEDs.
  • the green LED is lit when the difference between the measured value and the specified value is within the first range.
  • the yellow LED is lit when the difference between the measured value and the specified value is within a second range that is greater than the first range.
  • the red LED is lit when the difference between the measured value and the specified value exceeds the second range.
  • the indicators 5A, 5B, 5C, and 5D display to the user the degree of deviation from the reference of the angles ⁇ X, ⁇ Y, ⁇ Z, and the height Z, and the range of deviation. .
  • FIG. 12 is a diagram showing another configuration example of the indicator 5 according to the present embodiment.
  • the indicator 5 is arranged only on one surface of the sensor housing 2.
  • the user can list the degree of deviation of each of the angles ⁇ X, ⁇ Y, ⁇ Z and height Z from the reference. Therefore, the workability of the user when adjusting the arrangement of the three-dimensional sensor 1 can be improved.
  • the indicators 5A, 5B, 5C, 5D shown in FIG. 11 or the indicator 5 shown in FIG. 12 display the level of deviation by a plurality of LEDs (light emitting elements).
  • level meters may be used for these indicators.
  • FIG. 13 is a diagram showing still another configuration example of the indicator 5 according to the present embodiment.
  • the indicator 5 displays an arrow and a symbol “ ⁇ ”.
  • the arrow indicates the direction of displacement.
  • the symbol “ ⁇ ” indicates that the degree of deviation from the reference is within an allowable range (within an error range).
  • the user can grasp the degree of deviation from the reference in the X, Y, and Z directions by simple display.
  • FIG. 14 is a diagram showing still another configuration example of the indicator 5 according to the present embodiment.
  • the indicator 5 is, for example, a liquid crystal display.
  • the indicator 5 displays the deviation of each of the angles ⁇ X, ⁇ Y, ⁇ Z and the height Z from the reference by numerical values.
  • the configuration of the indicator is not limited to the configuration exemplified above.
  • the indicator may indicate to the user the degree of deviation from the reference in each direction of X, Y, and Z by sound (pitch of sound, repetition interval, etc.).
  • the three-dimensional measuring apparatus acquires the three-dimensional information (height and shape) of the object by the camera and the projector that projects a specific pattern.
  • the user can adjust the optical axis of the three-dimensional sensor 1 in real time so that the optical axis of the three-dimensional sensor 1 becomes a desired angle by referring to the display of the indicator.
  • the three-dimensional sensor 1 can be installed so that the optical axis of the three-dimensional sensor 1 is perpendicular to the reference plane. Therefore, the height and inclination of the workpiece to be measured can be accurately measured.
  • the conveyor or moving stage on which the workpiece is placed may have a specific inclined surface.
  • the three-dimensional sensor 1 can be arranged so that the three-dimensional sensor 1 faces the inclined surface (the optical axis of the three-dimensional sensor 1 is perpendicular to the inclined surface). Therefore, even when the workpiece is placed on an inclined surface, the height of the workpiece can be accurately measured.
  • the three-dimensional sensor 1 according to the present embodiment can be mounted on, for example, a robot hand. According to the present embodiment, the three-dimensional sensor 1 can be installed so as to face the reference plane or the workpiece while the three-dimensional sensor 1 is mounted on the robot hand.
  • a part of the workpiece may be out of the range of the field of view of the camera of the sensor.
  • a plurality of sensors may be arranged. According to the present embodiment, in such a case, the relative angle of the optical axis can be confirmed among a plurality of sensors.
  • the difference between the specified value and the measured value is obtained for the rotation angles around each of the three axes (X axis, Y axis, and Z axis).
  • the difference between the specified value and the measured value may be obtained only for the rotation angle around one axis (for example, the depression angle or the angle around the X axis). That is, in the present embodiment, the rotation angle of the sensor housing around at least one axis may be measured to calculate the difference between the rotation angle measurement value and the specified rotation angle value.
  • the present embodiment includes the following disclosure.
  • a three-dimensional measuring apparatus (100), A sensor housing (2); An imaging unit (3) disposed in the sensor housing (2) and acquiring an image in the imaging field of view (6); A distance information acquisition unit (10) that acquires distance information for each point on the surface of the subject existing in the imaging field of view (6) based on an image acquired by the imaging unit (3); The sensor housing (2) indicating a positional relationship between the subject surface and a reference point in the three-dimensional measuring device (100), which is calculated based on the distance information acquired by the distance information acquisition unit (10).
  • the three-dimensional measuring device (100) comprising an indicator (5) disposed exposed to the surface.
  • the distance information acquisition unit (10) The rotational angle ( ⁇ X, ⁇ Y, ⁇ Z) of the sensor casing (2) around at least one axis (X, Y, Z) for determining the positional relationship is measured, and the rotational angle ( ⁇ X, calculating a difference between the measured value of ⁇ Y, ⁇ Z) and the specified value of the rotation angle ( ⁇ X, ⁇ Y, ⁇ Z);
  • the indicator (5) is configured to indicate the difference between the measured value of the rotation angle ( ⁇ X, ⁇ Y, ⁇ Z) and the specified value of the rotation angle ( ⁇ X, ⁇ Y, ⁇ Z).
  • the three-dimensional measuring apparatus (100) according to 1.
  • the distance information acquisition unit (10) calculates a difference between a measured value and a specified value with respect to the distance information,
  • the three-dimensional measurement device (100) according to Configuration 1 or Configuration 2, wherein the indicator (5) is further configured to indicate the difference between the measurement value related to the distance information and the specified value.
  • the indicator (5) The three-dimensional measurement apparatus (100) according to Configuration 2 or Configuration 3, comprising a plurality of light emitting elements that indicate the difference regarding the rotation angle or the difference regarding the distance information.
  • the plurality of light emitting elements are: A first light emitting element that emits light of a first color when the difference is within a first range; A second light emitting element that emits light of a second color when the difference is within a second range that is wider than the first range;
  • the plurality of light emitting elements are divided into a plurality of light emitting element groups (5A to 5D) each including the first light emitting element, the second light emitting element, and the third light emitting element,
  • Configuration 7 The three-dimensional measurement apparatus (100) according to any one of configurations 1 to 6, further comprising a display unit (60) for displaying the distance information.
  • the imaging unit (3) acquires an image of a reference plane (50) serving as a reference for the distance from the sensor housing (2) to the subject surface,
  • the distance information acquisition unit (10) calculates an average height and barycentric coordinates of at least three reference regions (P, Q, R) designated on the image of the reference plane (50), and calculates the average height.
  • at least two vectors (PQ, PR) are determined based on the coordinates of the center of gravity and a normal vector of the reference plane (50) is calculated by calculating an outer product of the at least two vectors (PQ, PR).
  • the distance information acquisition unit (10) sets the normal vector as X ⁇ and the X axis and the Y axis orthogonal to each other on the reference plane (50) and the axis perpendicular to the reference plane (50) as the Z axis.
  • the imaging unit (3) acquires an image of a reference plane (50) serving as a reference for the distance from the sensor housing (2) to the subject surface,
  • An average height and barycentric coordinates of at least three reference regions (51, 52, 53, 54, 5n) designated on the image are calculated, and the average height and the barycentric coordinates are expressed as ax + by + cz + d.
  • the coefficients a, b, c are calculated by the least square method to determine the normal vector (a, b, c), and the normal vectors are placed in the XZ plane and the YZ plane.
  • the three-dimensional measuring apparatus (100) according to Configuration 2, wherein the three-dimensional measuring device (100) is configured to measure the rotation angle ( ⁇ X) about the X axis and the rotation angle ( ⁇ Y) about the Y axis by projecting.
  • the imaging unit (3) is a reference object disposed on a reference plane (50) serving as a reference for the distance from the sensor housing (2) to the subject surface and in the field of view of the imaging unit (3).
  • Image the object (80) Using the axis perpendicular to the reference plane (50) as the Z-axis, the distance information acquisition unit (10) has two opposite end faces of the image of the reference object (80) acquired by the imaging unit (3).
  • the rotation angle ⁇ Z about the Z axis
  • the imaging unit (3) is a reference object disposed on a reference plane (50) serving as a reference for the distance from the sensor housing (2) to the subject surface and in the field of view of the imaging unit (3).
  • Image the object (80) Using the axis perpendicular to the reference plane (50) as the Z axis, the distance information acquisition unit (10) rotates the recognition target model image (85) of the reference object, and the recognition model image (85) The tertiary according to Configuration 2, wherein a rotation angle of the recognition model image (85) when overlapping the image of the reference object (80) is acquired as a measurement value of the rotation angle ( ⁇ Z) about the Z axis.
  • Original measuring device (100) is a measurement value of the rotation angle ( ⁇ Z) about the Z axis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

三次元計測装置(100)は、センサ筐体(2)と、センサ筐体(2)内に配置され、撮像視野(6)内の画像を取得するカメラ(3)と、カメラ(3)により取得される画像に基づいて、撮像視野(6)に存在する被写体表面上の各点について距離情報を取得する形状測定部(10)と、形状測定部(10)により取得される距離情報に基づいて算出される、被写体表面と三次元計測装置(100)における基準点との間の位置関係を示す、センサ筐体(2)に露出して配置されたインジケータ(5)とを備える。

Description

三次元計測装置、三次元計測装置の位置表示方法およびプログラム
 本発明は三次元計測装置、三次元計測装置の位置表示方法およびプログラムに関する。
 たとえば特開2015-78935号公報(特許文献1)は、投光手段と、撮像手段とを備えた三次元画像処理装置を開示する。投光手段は、入射光を所定の縞状の投影パタンの構造化照明として投光する。撮像手段は、投光手段で投光され、検査対象物で反射された反射光を取得して複数のパタン投影画像を撮像する。
 たとえば特開2012-79294号公報(特許文献2)に開示された画像情報処理装置は、複数種類の符号が二次元に並ぶ投影符号列の各符号に、符号の種類ごとに異なる所定のシンボルを割り当てることで得られた二次元シンボル列を含む投影パタン画像を被写体に投影する。画像情報処理装置は、その投影パタン画像が投影された被写体を撮像することにより得られた撮像画像を用いて被写体の三次元計測を行う。
 対象物の形状の正確な計測のためには、計測装置の設置時の調整、特に角度(傾き)の調整が重要である。特開平9-178418号公報(特許文献3)は、三次元位置検出装置の傾きを検出するための構成を開示する。三次元位置検出装置は、1つの位置検出センサと、3つの距離センサとを有する。各距離検出センサは、基準面までの距離を測定する。制御装置は3つの距離検出センサによりそれぞれ測定された距離に基づいて基準面の傾きを求める。
特開2015-78935号公報 特開2012-79294号公報 特開平9-178418号公報
 たとえば、特許文献1に開示された三次元計測装置の場合、三次元計測装置の位置および傾きを調整するためには、投影および撮像を複数回実行する必要がある。すなわち、三次元計測装置の位置あるいは傾きを調整するたびに投影および撮像を実行しなければならない。したがって、三次元計測装置の位置および角度の調整は容易ではない。
 しかし、特許文献2は、三次元計測装置の位置および角度の調整を容易にするための構成について教示していない。また、特許文献3に開示された三次元位置検出装置の場合、3個の距離センサの位置が固定されている。したがって、たとえば基準面に穴や突起がある場合には、所望の角度計算ができない。
 本発明の目的は、設置する際に容易に調整が可能な三次元計測装置、三次元計測装置の位置表示方法およびプログラムを提供することである。
 本開示の一例によれば、三次元計測装置は、センサ筐体と、センサ筐体内に配置され、撮像視野内の画像を取得する撮像部と、撮像部により取得される画像に基づいて、撮像視野に存在する被写体表面上の各点について距離情報を取得する距離情報取得部と、距離情報取得部により取得される距離情報に基づいて算出される、被写体表面と三次元計測装置における基準点との間の位置関係を示す、センサ筐体に露出して配置されたインジケータとを備える。
 この開示によれば、設置する際に容易に調整が可能な三次元計測装置を提供することができる。距離情報取得部による計測はリアルタイムで実行されるため、ユーザはインジケータを見ることによって、その計測の結果を直ちに知ることができる。ユーザは、センサ筐体を設置する際に、センサ筐体の位置あるいは傾きを容易に調整することができる。なお、「三次元計測装置における基準点」とは、任意に定義可能であり、たとえばセンサ筐体上の点、撮像部の任意点(一般には撮像部の中央だが、任意に指定してもよい)あるいは光学系の主点とすることができる。
 上述の開示において、距離情報取得部は、位置関係を定めるための、少なくとも1つの軸の周りのセンサ筐体の回転角度を計測して、回転角度の計測値と回転角度の指定値との間の差分を算出する。インジケータは、回転角度の計測値と回転角度の指定値との間の差分を示すように構成される。
 この開示によれば、インジケータは、少なくとも1つの軸の周りの回転角度について、計測値と指定値との間の差分を示す。したがって、その軸に関するセンサ筐体の回転角度を容易に調整することができる。
 上述の開示において、距離情報取得部は、さらに、距離情報に関して、計測値と指定値との間の差分を算出し、インジケータは、距離情報に関する計測値と指定値との間の差分を示すように構成される。
 この開示によれば、インジケータは、さらに、距離情報に関して、計測値と指定値との間の差分を示すことができる。したがってセンサ筐体の高さを容易に調整することができる。
 上述の開示において、インジケータは、回転角度に関する差分、または距離情報に関する差分を示す複数の発光素子を含む。
 この開示によれば、インジケータは、ユーザが容易に把握することが可能な態様で、回転角度または距離情報に関する、指定値と計測値との間の差分を示すことができる。
 上述の開示において、複数の発光素子は、差分が第1の範囲内であるときに、第1の色の光を発する第1の発光素子と、差分が第1の範囲よりも広い第2の範囲内であるときに、第2の色の光を発する第2の発光素子と、差分が第2の範囲を超える場合に、第3の色の光を発する第3の発光素子とを含む。
 この開示によれば、インジケータが、異なる色を発する第1から第3の発光素子を含む。インジケータは、計測値と指定値との間の差分の大きさに応じて、光の色を変化させることができる。
 上述の開示において、複数の発光素子は、第1の発光素子、第2の発光素子および第3の発光素子を各々含む複数の発光素子グループに分けられる。複数の発光素子グループは、センサ筐体の複数の面に分配して配置される。
 この開示によれば、ユーザから各発光素子グループへの視線の方向を、軸(たとえばX軸)の方向に対応させることができる。したがって、インジケータは、どの軸に関する位置関係の表示であるかをユーザに分かりやすく示すことができる。
 上述の開示において、三次元計測装置は、距離情報を表示する表示部をさらに備える。
 この開示によれば、距離情報をユーザに分かりやすく示すことができる。
 上述の開示において、撮像部は、センサ筐体から被写体表面までの距離の基準となる基準面の画像を取得する。距離情報取得部は、基準面の画像上で指定された少なくとも3つの基準領域の平均高さおよび重心座標を算出し、平均高さおよび重心座標に基づいて少なくとも2つのベクトルを決定し、少なくとも2つのベクトルの外積を算出することにより基準面の法線ベクトルを算出する。基準面上で互いに直交するX軸およびY軸とし、基準面に垂直な軸をZ軸として、距離情報取得部は、法線ベクトルをX-Z平面およびY-Z平面に射影することにより、X軸についての回転角度およびY軸についての回転角度を計測する。
 この開示によれば、X軸についての回転角度およびY軸についての回転角度を求めることができる。
 上述の開示において、撮像部は、センサ筐体から被写体表面までの距離の基準となる基準面の画像を取得する。基準面上で互いに直交するX軸およびY軸とし、基準面に垂直な軸をZ軸として、距離情報取得部は、基準面の画像上で指定された少なくとも3つの基準領域の平均高さおよび重心座標を算出し、平均高さおよび重心座標を、ax+by+cz+dと表される平面の式に代入し、最小二乗法により係数a,b,cを計算して、法線ベクトル(a,b,c)を決定し、法線ベクトルをX-Z平面およびY-Z平面に射影することにより、X軸についての回転角度およびY軸についての回転角度を計測する。
 この開示によれば、X軸についての回転角度およびY軸についての回転角度を求めることができる。
 上述の開示において、撮像部は、センサ筐体から被写体表面までの距離の基準となる基準面上かつ、前記撮像部の視野内に配置された基準対象物を撮像する。基準面に垂直な軸をZ軸として、距離情報取得部は、撮像部によって取得された基準対象物の画像の対向する2つの端面のそれぞれのエッジを結ぶ直線と、基準面上の基準直線とが成す角度を算出することにより、Z軸についての回転角度の計測値を取得する。
 この開示によれば、Z軸についての回転角度を求めることができる。
 上述の開示において、撮像部は、センサ筐体から被写体表面までの距離の基準となる基準面上かつ、撮像部の視野内に配置された基準対象物を撮像する。基準面に垂直な軸をZ軸として、距離情報取得部は、基準対象物の認識用モデル画像を回転させ、認識用モデル画像が、基準対象物の画像に重なるときの認識用モデル画像の回転角度を、Z軸についての回転角度の計測値として取得する。
 この開示によれば、Z軸についての回転角度を求めることができる。
 本開示の一例によれば、三次元計測装置の位置表示方法は、三次元計測装置のセンサ筐体内に配置された撮像部によって、撮像視野内の画像を取得するステップと、撮像部により取得される画像に基づいて、撮像視野に存在する被写体表面上の各点について距離情報を取得するステップと、距離情報に基づいて、被写体表面と三次元計測装置における基準点との間の位置関係を決定するステップと、センサ筐体に露出して配置されたインジケータにより位置関係を表示するステップとを備える。
 この開示によれば、三次元計測装置を設置する際に三次元計測装置の位置あるいは傾きを容易に調整できる。
 本開示の一例によれば、プログラムは、コンピュータに、三次元計測装置のセンサ筐体内に配置された撮像部が撮像視野内の画像を取得するように撮像部を制御するステップと、撮像部により取得される画像に基づいて、撮像視野に存在する被写体表面上の各点について距離情報を取得するステップと、距離情報に基づいて、被写体表面と三次元計測装置における基準点との間の位置関係を決定するステップと、センサ筐体に露出して配置されたインジケータが位置関係を表示するようにインジケータを制御するステップとを実行させる、プログラム。
 本発明によれば、設置する際に容易に調整が可能な三次元計測装置を提供することができる。
本実施の形態に係る三次元計測装置の概要を示す模式図である。 本実施の形態に係る三次元計測装置の調整を説明した模式図である。 本実施の形態に係る三次元計測装置の機能ブロック図である。 一例に係る濃淡パタンの一部分を示した部分図である。 図4に示す濃淡パタンの一部分を拡大した部分拡大図である。 基準面に対する三次元センサの傾きを算出する処理のフローを示したフローチャートである。 基準面の法線ベクトルの第1の算出方法を説明するための模式図である。 基準面の法線ベクトルの第2の算出方法を説明するための模式図である。 三次元センサのZ軸周りの回転角度の第1の算出方法を説明するための模式図である。 三次元センサのZ軸周りの回転角度の第2の算出方法を説明するための模式図である。 本実施の形態に係るインジケータの1つの構成例を示した図である。 本実施の形態に係るインジケータの別の構成例を示した図である。 本実施の形態に係るインジケータのさらに別の構成例を示した図である。 本実施の形態に係るインジケータのさらに別の構成例を示した図である。
 本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
 <適用例>
 図1は、本実施の形態に係る三次元計測装置100の概要を示す模式図である。図1を参照して、三次元計測装置100は、工業製品の生産ラインなどにおいて、ワークWを照明しながら撮影し、得られた撮影画像を用いてワークWの三次元形状を測定する。図1に示すように、三次元計測装置100は、三次元センサ1と、形状測定部10とを備える。
 三次元センサ1は、センサ筐体2と、カメラ3と、プロジェクタ4と、インジケータ5とを備える。センサ筐体2は、カメラ3およびプロジェクタ4を収容する。インジケータ5は、センサ筐体2の表面に露出するようにセンサ筐体2に設置される。
 カメラ3は、センサ筐体2の内部に配置されて、撮像視野6内の画像を取得する。具体的には、カメラ3は、ワークWを撮像して、撮影画像である画像を生成する。プロジェクタ4は、センサ筐体2の内部に配置されて、撮像視野6と重なる範囲に光8を照射する。プロジェクタ4による投射については後に詳細に説明する。
 形状測定部10は、三次元センサ1のカメラ3から画像データを取得する。その画像に基づいて、形状測定部10は、ワークWの三次元形状を測定する。なお、形状測定部10は、カメラ3により取得される画像に基づいて、カメラ3の撮像視野に存在する被写体表面上の各点について距離情報を取得する距離情報取得部である。
 三次元計測装置100の設置時において、カメラ3は、ワークWが設置されるべき面である基準面50を撮影して、基準面50の画像を取得する。形状測定部10は、その画像に基づいて、カメラ3の撮像視野6内に存在する基準面50上の各点までの距離を算出して、その距離の値を、距離情報として取得する。形状測定部10は、取得された距離に基づいて、被写体である基準面50と、三次元計測装置100における基準点との間の位置関係を算出する。すなわち、形状測定部10は、距離情報取得部として機能する。「位置関係」とは、基準面50と、センサ筐体2との間の距離、および基準面50に対するセンサ筐体2の相対的な角度(傾き)の少なくとも一方を含むが、これらに限定されない。なお、「距離」は、カメラ3からの距離と定義してもよい。また、三次元計測装置100における基準点は、センサ筐体2上の点に限定されず、カメラ3の受光素子の中央、あるいは光学系の主点であってもよい。
 インジケータ5は、形状測定部10によって算出された、基準面50とセンサ筐体2との間の位置関係を示す。たとえばインジケータ5は、基準面50に対するセンサ筐体2の位置、および基準面50に対するセンサ筐体2の傾きを示す。
 本実施の形態によれば、三次元センサ1を設置する際に、設置者はインジケータ5の表示に基づいて基準面50に対する、センサ筐体2の位置関係を調整することができる。たとえば設置者は、基準面50に対するセンサ筐体2の傾きを、インジケータ5の表示を見ながら調整することができる。したがって、本実施の形態によれば、三次元センサ1の設置時に、基準面50に対する三次元センサ1の位置関係を容易に調整することができる。
 <三次元センサの調整の一例>
 図2は、本実施の形態に係る三次元計測装置100の調整を説明した模式図である。図2に示すように、三次元センサ1は、基準面50を撮影して画像を取得する。三次元センサ1により取得された画像は、形状測定部10に転送される。形状測定部10は、たとえば、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサと、RAM(Random Access Memory)等を含むコントローラによって実現可能である。
 ディスプレイ60は形状測定部10に接続されて、各種の情報を表示することによりユーザインタフェースを提供する。三次元計測装置100の設置時には、ディスプレイ60の画面に、基準面50の画像である画像70が表示される。
 たとえば設置者は、ディスプレイ60の画面上で、基準面50上の少なくとも3つの点を指定する。形状測定部10は、3点を指定するためのユーザの入力を受け付けて、その指定された各点を含む領域をディスプレイ60の画面上に設定する。図2に示す例では、画像70内に、領域71,72,73が設定される。領域71,72,73は、基準面50上の領域51,52,53にそれぞれ対応した領域である。
 形状測定部10は、センサ筐体2から領域51,52,53の各々までの距離および、位置を測定して、基準面50に対するカメラ3(図2に示さず)の光軸の角度を算出する。
 図2において、X軸およびY軸は、基準面50上で互いに直交する軸である。角度θXは、センサ筐体2のX軸周りの回転角度であり、カメラ3の光軸がY軸に対してなす角度である。角度θYは、センサ筐体2のY軸周りの回転角度であり、カメラ3の光軸がY軸に対してなす角度である。
 形状測定部10は、回転角度(θX,θY)の計測値および指定値をディスプレイ60の画面に表示する。さらに形状測定部10は、回転角度の計測値と指定値との間の差分を算出する。インジケータ5がその差分を示すように、形状測定部10は、インジケータ5を制御する。
 一実施形態では、インジケータ5は、複数のLEDを含む。図2に示した例では、インジケータは10個のLEDを含む。10個のLEDは、シンボル「X」に対応づけられた5個のLEDと、シンボル「Y」に対応づけられた5個のLEDとからなる。シンボル「X」に対応づけられた5個のLEDは、角度θXについて、計測値と指定値との差分を示す第1のグループを構成する。シンボル「Y」に対応づけられた5個のLEDは、角度θYについて、計測値と指定値との差分を示す第2のグループを構成する。
 シンボル「X」に対応づけられた5個のLEDは、緑色LED21と、黄色LED22,23および赤色LED24,25である。角度θXについて、計測値と指定値との差に応じて、形状測定部10は、緑色LED21、黄色LED22,23および赤色LED24,25のいずれかを点灯させる。たとえば計測値と指定値との差が第1の範囲内(たとえば±0.5°以下)の場合、形状測定部10は、緑色LED21を点灯させる。計測値と指定値との差分が第1の範囲外かつ第2の範囲内(たとえば差分の絶対値が0.5°以上1°以内)の場合、形状測定部10は、黄色LED22または黄色LED23を点灯させる。計測値と指定値との差分の絶対値が第2の範囲を超える場合(たとえば差分の絶対値が3°以上の場合)、形状測定部10は、赤色LED24または赤色LED25を点灯させる。
 黄色LED22および赤色LED24は、指定値に対する計測値の差((計測値)-(指定値))の符号が正である場合に点灯する。黄色LED23および赤色LED25は、指定値に対する算出値の差((計測値)-(指定値))の符号が負である場合に点灯する。
 シンボル「Y」に対応づけられた5個のLEDは、緑色LED26と、黄色LED27,28および赤色LED29,30である。角度θYについての計測値と指定値との差分に基づいて、形状測定部10は、上記のLEDを制御する。シンボル「X」に対応づけられた5個のLEDの点灯と同じく、たとえば計測値と指定値との差が±0.5°以下の場合、形状測定部10は、緑色LED26を点灯させる。計測値と指定値との差分の絶対値が1°以内の場合、形状測定部10は、黄色LED27または黄色LED28を点灯させる。計測値と指定値との差分の絶対値が3°以上の場合、形状測定部10は、赤色LED29または赤色LED30を点灯させる。黄色LED27および赤色LED29は、指定値に対する計測値の差((計測値)-(指定値))の符号が正である場合に点灯する。黄色LED28および赤色LED30は、指定値に対する計測値の差((計測値)-(指定値))の符号が負である場合に点灯する。
 ディスプレイ60は、基準面50の画像(画像70)および指定された領域71~73に加えて、距離情報である、三次元センサ1と基準面50との間の距離(WD)を表示する。さらにディスプレイ60は、角度θX,θYの各々の指定値、および角度θX,θYの各々の計測値を表示する。図2に示された例によれば、WDは800であり、角度θXの指定値および角度θYの指定値は、ともに90°である。一方、角度θXの計測値は89°であり、角度θYの計測値は75°である。この場合には、角度θXについて、指定値に対する計測値の差分が-1°であり、角度θYについて、指定値に対する計測値の差分が-15°である。したがって、形状測定部10は、黄色LED23および赤色LED30が点灯するように、形状測定部10は、インジケータ5を制御する。
 ユーザは、インジケータ5の複数のLEDの点灯を確認することにより、三次元センサ1の傾きを調整することができる。三次元センサ1による計測はリアルタイムで実行されるため、ユーザはインジケータ5を見ることによって、その計測の結果を直ちに知ることができる。したがってユーザは、三次元センサ1を設置する際に、三次元センサ1の位置あるいは傾きを容易に調整することができる。
 <三次元計測装置の構成例>
 図3は、本実施の形態に係る三次元計測装置の機能ブロック図である。図3に示すように、三次元センサ1は、カメラ3と、プロジェクタ4と、インジケータ5とを含む。形状測定部10は、パタン生成部11と、パタン検出部12と、三次元形状取得部13と、傾斜演算部14と、角度範囲指定部15と、基準領域設定部16とを含む。ディスプレイ60は、形状測定部10に接続され、各種の情報を表示する。
 パタン生成部11は、特定の濃淡パタンを生成する。たとえばこの濃淡パタンは、M系列、あるいはdeBruijn系列に従うものであってもよい。プロジェクタ4は、パタン生成部11により生成された濃淡パタンを投射する。カメラ3は、撮像視野内の画像を取得する。パタン検出部12は、カメラ3により取得された、その画像から、濃淡パタンを読み取る。
 三次元形状取得部13は、パタン生成部11に濃淡パタンを生成するよう指示する。さらに、三次元形状取得部13は、さらにパタン検出部12によって読み取られた濃淡パタンに基づいて、ワークの三次元形状に関する情報を取得する。
 カメラ3によるワークの撮影に先立って、カメラ3とプロジェクタ4とのキャリブレーションが実行される。さらに基準面50に対する三次元センサ1の傾きが計測される。三次元形状取得部13は、基準面50上に指定された複数の領域と三次元センサ1との間の距離の情報、および、その複数の領域の位置に関する情報を取得する。傾斜演算部14は、三次元形状取得部13によって取得された情報に基づいて、基準面50に対する三次元センサ1の傾きの角度を演算する。さらに、傾斜演算部14は、算出された三次元センサ1の傾斜角度に基づいてインジケータ5を制御する。
 角度範囲指定部15は、設定角度の範囲をユーザから受け付けて、その設定角度の範囲を傾斜演算部14に指定する。基準領域設定部16は、ユーザによる、基準面50上の複数の領域に関する入力を受け付ける。基準領域設定部16は、ユーザが指定した複数の領域を、基準面50の画像上に設定する。複数の領域は、高さを取得するための領域である。なお、指定される領域の数は3以上であってもよい。ディスプレイ60は、基準面の画像、すなわち濃淡画像を表示する(図2に示す画像70を参照)。
 図4は、一例に係る濃淡パタンの一部分を示した部分図である。図5は、図4に示す濃淡パタンの一部分を拡大した部分拡大図である。三次元計測装置100は、図4に示した濃淡パタンをワークに投影する。ワークの表面に投影されたパタンには、ワークの高さに応じた歪みが生じる。三次元計測装置100は、パタンが投影されたワークの画像を撮像する。カメラ3とプロジェクタ4との間でキャリブレーションが完了していれば、エピポーラ線上でコードが一意に決まる。これにより、三次元計測装置100は、ワークの三次元形状を計測する。この方法によれば、誤対応が少なく、かつ、高速に三次元再構成(対応位置特定と三角測量)が可能である。
 図6は、基準面に対する三次元センサ1の傾きを算出する処理のフローを示したフローチャートである。この処理は、三次元計測装置100によって実行される。図3および図6を参照して、ステップS10において、パタン生成部11が投影パタンを生成する。プロジェクタ4は、そのパタンを基準面50に投影する。
 ステップS11において、カメラ3は、パタン撮像を行う。ステップS12において、三次元形状取得部13は、カメラ3が取得した画像から、対応コードの探索および三角測量により、三次元形状を復元する。これにより距離情報が取得される。
 ステップS13~S17の処理により、被写体表面と三次元計測装置100における基準点との間の位置関係が決定される。ステップS13において、傾斜演算部14は、基準面の3か所以上の領域の高さ方向の外れ値を除去する。ステップS14において、傾斜演算部14は、外れ値を除いた基準領域の高さ方向の平均値を算出する。これにより傾斜演算部14は、基準領域の平均高さZを求める。さらに、ステップS14において、傾斜演算部14は、各基準領域の重心の座標を計算する。なお、重心座標はXY座標である。
 ステップS15において、傾斜演算部14は、ステップS14において算出された平均高さZおよび重心座標XYに基づいて、指定した領域に当てはまる平面を求める。後に詳細に説明するように、この平面は、たとえばax+by+cz+d=0の関係を満たすように定められる。
 ステップS16において、傾斜演算部14は、基準面の法線ベクトルを求める。さらに、傾斜演算部14は、その法線ベクトルをX-Z平面およびY-Z平面の各々に射影する。これにより、傾斜演算部14は、法線ベクトルのX-Z平面内の傾き、および法線ベクトルのY-Z平面内の傾きを算出する。なお、法線ベクトルのX-Z平面内の傾きは角度θXと表される。法線ベクトルのY-Z平面内の傾きは角度θYと表される。
 ステップS17において、傾斜演算部14は、角度θX,θYの各々の指定値と、ステップS16において算出された値との差分を計算する。ステップS18において、傾斜演算部14は、ディスプレイ60に、角度θX,θYの各々の指定値および算出値を表示する。
 ステップS19において、傾斜演算部14は、差分に対応するLEDを点灯するようインジケータ5に指示する。インジケータ5は、この指示に従い、対応のLEDを点灯させる(図2を参照)。
 ステップS20において、傾斜演算部14は、終了指示の有無を判定する。終了指示があった場合、全体の処理は終了する。終了指示が無い場合には、処理はステップS10に戻される。
 上述の通り、角度θX,θYを求めるために、本実施の形態では基準面50の法線ベクトル(垂線)が求められる。以下に、基準面50の法線ベクトルを算出することが可能な2つの方法を例示する。なお、法線ベクトルを算出する際、ユーザは基準面50の画像(図2に示す画像70)内の領域を指定する。説明を分かりやすくするために、以下では、基準面50の画像(図2に示す画像70)を、単に「基準面50」と表記する。
 図7は、基準面の法線ベクトルの第1の算出方法を説明するための模式図である。図7を参照して、まず、基準面50上の3つの領域(P,Q,R)が基準領域として指定される。ユーザがディスプレイ60の画面を見ながら、基準面50上の少なくとも3つの点を三次元計測装置100に対して指定する。三次元計測装置100の基準領域設定部16は、ユーザの入力を受け付けることにより、領域P,Q,Rの各々を設定する。
 次に、傾斜演算部14は、領域P,Q,Rの高さの平均値を計算して平均高さZを算出する。さらに、傾斜演算部14は、領域P,Q,Rの重心座標を計算する。
 続いて、傾斜演算部14は、平均高さZおよび重心座標に基づいて、ベクトルPQとベクトルPRを決定する。ベクトルPQは領域Pから領域Qへと向かうベクトルである。ベクトルPRは領域Pから領域Rへと向かうベクトルである。
 傾斜演算部14は、ベクトルPQとベクトルPRとの外積を計算する。ベクトルPQとベクトルPRとの外積は、ベクトルPQおよびベクトルPRの両方に直交するベクトルである。ベクトルPQとベクトルPRとの外積により、基準面50の法線ベクトルが求められる。
 上記の第1の方法において、3つ以上の領域を基準領域として指定してもよい。その場合には、それらの領域のうちの任意の3つの領域の組み合わせにより生成された法線ベクトルが平均される。その平均ベクトルを法線ベクトルに設定することができる。
 図8は、基準面の法線ベクトルの第2の算出方法を説明するための模式図である。図8を参照して、まず、基準面50上のn個の領域51,52,53,54,・・・,5nが基準領域として設定される。nは3以上の整数であるが、特に限定されない。これらの領域はユーザが任意に設定してもよい。あるいは、三次元計測装置100の基準領域設定部16が、基準面50内の領域をランダムに選択して、基準領域設定部16は、その選択した領域を基準領域に設定してもよい。
 次に、傾斜演算部14は、n個の領域の各々の平均高さ(Z座標)および重心座標(XY座標)を計算する。これによりn個の点の各々の座標(X,Y,Z)が求められる。傾斜演算部14は、ax+by+cz+dと表される平面の式に、上記n点の座標(X,Y,Z)を代入する。傾斜演算部14は、最小二乗法(重回帰分析)により、係数a,b,c,dを計算する。計算により求められた係数(a,b,c)が、基準面の法線ベクトルを表す。
 続いて三次元センサ1のZ軸周りの回転角度θZを求めることが可能な2通りの方法を例示する。
 図9は、三次元センサ1のZ軸周りの回転角度θZの第1の算出方法を説明するための模式図である。図9を参照して、基準面50上かつ、三次元センサ1のカメラ3の視野内に、基準対象物80を設ける。基準対象物80は、角度θZの調整に用いられる。三次元センサ1のカメラが2次元画像として取得可能であれば、基準対象物80は特に限定されない。基準対象物80は、たとえばワーク、構造物、あるいはテクスチャ(模様)である。
 次に、基準対象物80の回転傾きに基づいて、形状測定部10の画像処理により角度θZを取得する。第1の算出方法では、形状測定部10は、三次元センサ1が取得した基準対象物80の画像から、基準対象物80の対向する2つの端面のそれぞれのエッジ81,82を抽出する。形状測定部10は、その抽出されたエッジ81,82に直線のあてはめを行う。
 直線83は、エッジ81,82から求められた直線であり、ax+by+c=0と表すことができる。形状測定部10は、上記の直線の係数(a,b,c)を求める。形状測定部10は、基準面50上の基準直線84に対する直線83の傾き(=a/b)から角度θZを求める。
 図10は、三次元センサ1のZ軸周りの回転角度θZの第2の算出方法を説明するための模式図である。図10に示すように、基準面50上かつ、三次元センサ1のカメラ3の視野内に、角度θZの調整のための基準対象物80を設ける。第2の方法では、基準対象物80の認識用モデル85を用いる。形状測定部10は、基準対象物80の位置(座標(X,Y))と傾き(角度θ)とを画像認識によって求める。具体的には、形状測定部10は、三次元センサ1が取得した基準対象物80の画像に、認識用モデル85をフィットさせる。形状測定部10は、認識用モデル85の基準角度と、画像認識によって求められた認識用モデル85の角度との差から回転角θZを求める。
 本実施の形態において、インジケータ5は、種々の構成を有することができる。図11は、本実施の形態に係るインジケータ5の1つの構成例を示した図である。図11に示すように、インジケータ5の複数のLED(発光素子)は、4つの発光素子グループに分けられる。各発光素子グループがインジケータとして機能する。具体的には、X軸に平行な軸と交わるセンサ筐体2の表面2A(第1の面)にはインジケータ5Aが配置される。Y軸に平行な軸と交わるセンサ筐体2の表面2B(第2の面)にはインジケータ5B,5Dが配置される。Z軸に平行な軸と交わるセンサ筐体2の表面2C(第3の面)にはインジケータ5Cが配置される。インジケータ5Dは、センサ筐体2の表面2A(第1の面)に配置されてもよい。なお、図11では、X軸に平行な軸、Y軸に平行な軸、Z軸に平行な軸を、それぞれ「X軸」、「Y軸」、「Z軸」と表記する。
 インジケータ5Aは、角度θXを表示するためのインジケータである。インジケータ5Bは、角度θYを表示するためのインジケータである。インジケータ5Cは、角度θZを表示するためのインジケータである。インジケータ5Dは、基準面に対する三次元センサ1の高さ(Z軸方向の距離)を表示するためのインジケータである。
 図11に示した構成では、X軸、Y軸、Z軸の各々に対応するセンサ筐体2の表面にインジケータが配置される。ユーザから各発光素子グループへの視線の方向を、軸の方向に対応させることができる。したがってユーザは角度θX,θY,θZおよび高さZのいずれが基準からずれているかを直観的に判断することができる。
 図2に示した例と同様に、インジケータ5A,5B,5C,5Dの各々は、たとえば5つのLEDを含むことができる。5つのLEDは1つの緑色LEDと、緑色LEDの両側に配置された2つの黄色LEDと、2つの黄色LEDの各々の外側に配置された2つの赤色LEDとを含むことができる。緑色LEDは、計測値と指定値との差が第1の範囲内である場合に点灯する。黄色LEDは、計測値と指定値との差が第1の範囲より大きい第2の範囲内である場合に点灯する。赤色LEDは、計測値と指定値との差が第2の範囲を超える場合に点灯する。5つのLEDのいずれが点灯するかにより、インジケータ5A,5B,5C,5Dは、ユーザに、角度θX,θY,θZおよび高さZの基準からのずれの程度、および、ずれの範囲を表示する。
 図12は、本実施の形態に係るインジケータ5の別の構成例を示した図である。図11に示した構成と比較すると、図12に示した構成では、インジケータ5は、センサ筐体2の1つの面にのみ配置される。これにより、角度θX,θY,θZおよび高さZの各々の基準からのずれの程度をユーザが一覧できる。したがって、三次元センサ1の配置を調整する際のユーザの作業性を高めることができる。
 なお、図11に示したインジケータ5A,5B,5C,5Dあるいは図12に示したインジケータ5は、複数のLED(発光素子)により、ずれのレベルを表示する。しかし、これらのインジケータにレベルメータを用いてもよい。
 図13は、本実施の形態に係るインジケータ5のさらに別の構成例を示した図である。図13に示すように、インジケータ5は、矢印および記号「±」を表示する。矢印は、ずれの方向を示す。記号「±」は、基準に対するずれの程度が、許容される範囲内(誤差の範囲内)であることを示す。図13に示したインジケータ5によれば、簡単な表示により、X,Y,Zの各方向の基準からのずれの程度をユーザが把握することができる。
 図14は、本実施の形態に係るインジケータ5のさらに別の構成例を示した図である。図14に示すように、インジケータ5は、たとえば液晶表示器である。インジケータ5は、角度θX,θY,θZおよび高さZの各々の基準からのずれを数値により表示する。
 さらにインジケータの構成は、上記の例示された構成に限定されない。たとえばインジケータは、音響(音の高さ、繰り返しの間隔等)により、X,Y,Zの各方向の基準からのずれの程度をユーザに示してもよい。
 以上のように、本実施の形態によれば、三次元計測装置は、カメラと特定のパタンを投射するプロジェクタによって、対象物の3次元情報(高さ、形状)を取得する。ユーザは、インジケータの表示を参照することにより、三次元センサ1の光軸が所望の角度となるように、三次元センサ1の光軸をリアルタイムで調整することができる。これにより、三次元センサ1の光軸が基準面に対して鉛直となるように三次元センサ1を設置できる。したがって、計測対象のワークの高さおよび傾きを正確に計測することができる。
 ワークが置かれるコンベアあるいは移動ステージは、特定の傾斜面を有する場合がある。本実施の形態によれば、三次元センサ1が、その傾斜面に正対する(三次元センサ1の光軸が傾斜面に垂直となる)ように三次元センサ1を配置することができる。したがって、ワークが傾斜面に置かれる場合であっても、そのワークの高さを正確に計測することができる。
 また、本実施の形態に係る三次元センサ1は、たとえばロボットハンドに搭載することができる。本実施の形態によれば、三次元センサ1をロボットハンドに搭載した状態で基準面あるいはワークに正対するように、三次元センサ1を設置することができる。
 また、1つのセンサによりワークの形状を計測する場合、ワークの一部がセンサのカメラの視野の範囲から外れる可能性がある。このような問題を避けるために、複数のセンサを配置する場合がある。本実施の形態によれば、このような場合に、複数のセンサの間で、光軸の相対角度を確認することができる。
 なお、上述の実施形態では、3つの軸(X軸、Y軸、Z軸)の各々の周りの回転角度について指定値と計測値との間の差分が求められる。しかし、本実施の形態では、1つの軸周りの回転角度(たとえば俯角あるいはX軸周りの角度)についてのみ、指定値と計測値との間の差分を求めるのでもよい。すなわち、本実施の形態では、少なくとも1つの軸の周りのセンサ筐体の回転角度を計測して、回転角度の計測値と回転角度の指定値との間の差分を算出すればよい。
 <付記>
 以上説明されるように、本実施の形態は、以下の開示を含む。
 (構成1)
 三次元計測装置(100)であって、
 センサ筐体(2)と、
 前記センサ筐体(2)内に配置され、撮像視野(6)内の画像を取得する撮像部(3)と、
 前記撮像部(3)により取得される画像に基づいて、前記撮像視野(6)に存在する被写体表面上の各点について距離情報を取得する距離情報取得部(10)と、
 前記距離情報取得部(10)により取得される前記距離情報に基づいて算出される、前記被写体表面と前記三次元計測装置(100)における基準点との位置関係を示す、前記センサ筐体(2)に露出して配置されたインジケータ(5)とを備える、三次元計測装置(100)。
 (構成2)
 前記距離情報取得部(10)は、
 前記位置関係を定めるための、少なくとも1つの軸(X,Y,Z)の周りの前記センサ筐体(2)の回転角度(θX,θY,θZ)を計測して、前記回転角度(θX,θY,θZ)の計測値と前記回転角度(θX,θY,θZ)の指定値との間の差分を算出し、
 前記インジケータ(5)は、前記回転角度(θX,θY,θZ)の計測値と前記回転角度(θX,θY,θZ)の前記指定値との間の前記差分を示すように構成される、構成1に記載の三次元計測装置(100)。
 (構成3)
 前記距離情報取得部(10)は、前記距離情報に関して、計測値と指定値との間の差分を算出し、
 前記インジケータ(5)は、さらに、前記距離情報に関する前記計測値と前記指定値との間の前記差分を示すように構成される、構成1または構成2に記載の三次元計測装置(100)。
 (構成4)
 前記インジケータ(5)は、
 前記回転角度に関する前記差分、または、前記距離情報に関する前記差分を示す複数の発光素子を含む、構成2または構成3に記載の三次元計測装置(100)。
 (構成5)
 前記複数の発光素子は、
 前記差分が第1の範囲内であるときに、第1の色の光を発する第1の発光素子と、
 前記差分が前記第1の範囲よりも広い第2の範囲内であるときに、第2の色の光を発する第2の発光素子と、
 前記差分が前記第2の範囲を超える場合に、第3の色の光を発する第3の発光素子とを含む、構成4に記載の三次元計測装置(100)。
 (構成6)
 前記複数の発光素子は、前記第1の発光素子、前記第2の発光素子および前記第3の発光素子を各々含む複数の発光素子グループ(5A~5D)に分けられ、
 前記複数の発光素子グループ(5A~5D)は、前記センサ筐体(2)の複数の面(2A~2D)に分配して配置される、構成5に記載の三次元計測装置(100)。
 (構成7)
 前記距離情報を表示する表示部(60)をさらに備える、構成1から6のいずれか1項に記載の三次元計測装置(100)。
 (構成8)
 前記撮像部(3)は、前記センサ筐体(2)から前記被写体表面までの前記距離の基準となる基準面(50)の画像を取得し、
 前記距離情報取得部(10)は、前記基準面(50)の前記画像上で指定された少なくとも3つの基準領域(P,Q,R)の平均高さおよび重心座標を算出し、前記平均高さおよび前記重心座標に基づいて少なくとも2つのベクトル(PQ,PR)を決定し、前記少なくとも2つのベクトル(PQ,PR)の外積を算出することにより前記基準面(50)の法線ベクトルを算出し、
 前記基準面(50)上で互いに直交するX軸およびY軸とし、前記基準面(50)に垂直な軸をZ軸として、前記距離情報取得部(10)は、前記法線ベクトルをX-Z平面およびY-Z平面に射影することにより、前記X軸についての前記回転角度(θX)および前記Y軸についての前記回転角度(θX)を計測する、構成2に記載の三次元計測装置(100)。
 (構成9)
 前記撮像部(3)は、前記センサ筐体(2)から前記被写体表面までの前記距離の基準となる基準面(50)の画像を取得し、
 前記基準面(50)上で互いに直交するX軸およびY軸とし、前記基準(50)面に垂直な軸をZ軸として、前記距離情報取得部(10)は、前記基準面(50)の前記画像上で指定された少なくとも3つの基準領域(51,52,53,54,5n)の平均高さおよび重心座標を算出し、前記平均高さおよび前記重心座標を、ax+by+cz+dと表される平面の式に代入し、最小二乗法により係数a,b,cを計算して、法線ベクトル(a,b,c)を決定し、前記法線ベクトルをX-Z平面およびY-Z平面に射影することにより、前記X軸についての前記回転角度(θX)および前記Y軸についての前記回転角度(θY)を計測する、構成2に記載の三次元計測装置(100)。
 (構成10)
 前記撮像部(3)は、前記センサ筐体(2)から前記被写体表面までの前記距離の基準となる基準面(50)上かつ、前記撮像部(3)の視野内に配置された基準対象物(80)を撮像し、
 前記基準面(50)に垂直な軸をZ軸として、前記距離情報取得部(10)は、前記撮像部(3)によって取得された前記基準対象物(80)の画像の対向する2つの端面のそれぞれのエッジ(81,82)を結ぶ直線(83)と、前記基準面(50)上の基準直線(84)とが成す角度を算出することにより、前記Z軸についての前記回転角度(θZ)の計測値を取得する、構成2に記載の三次元計測装置(100)。
 (構成11)
 前記撮像部(3)は、前記センサ筐体(2)から前記被写体表面までの前記距離の基準となる基準面(50)上かつ、前記撮像部(3)の視野内に配置された基準対象物(80)を撮像し、
 前記基準面(50)に垂直な軸をZ軸として、前記距離情報取得部(10)は、前記基準対象物の認識用モデル画像(85)を回転させ、前記認識用モデル画像(85)が前記基準対象物(80)の画像に重なるときの前記認識用モデル画像(85)の回転角度を、前記Z軸についての前記回転角度(θZ)の計測値として取得する、構成2に記載の三次元計測装置(100)。
 (構成12)
 三次元計測装置(100)のセンサ筐体(2)内に配置された撮像部(3)によって、撮像視野(6)内の画像を取得するステップ(S11)と、
 前記撮像部(3)により取得される画像に基づいて、前記撮像視野(6)に存在する被写体表面上の各点について距離情報を取得するステップ(S12)と、
 前記距離情報に基づいて、前記被写体表面と前記三次元計測装置(100)における基準点との間の位置関係を決定するステップ(S13-S17)と、
 前記センサ筐体(2)に露出して配置されたインジケータ(5)により前記位置関係を表示するステップ(S19)とを備える、三次元計測装置の位置表示方法。
 (構成13)
 コンピュータ(10)に、
 三次元計測装置(100)のセンサ筐体(2)内に配置された撮像部(3)が撮像視野(6)内の画像を取得するように撮像部(3)を制御するステップ(S11)と、
 前記撮像部(3)により取得される画像に基づいて、前記撮像視野(6)に存在する被写体表面上の各点について距離情報を取得するステップ(S12)と、
 前記距離情報に基づいて、前記被写体表面と前記三次元計測装置(100)における基準点との間の位置関係を決定するステップ(S13-S17)と、
 前記センサ筐体(2)に露出して配置されたインジケータ(5)が前記位置関係を表示するように前記インジケータ(5)を制御するステップ(S19)とを実行させる、プログラム。
 今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組み合わせても、実施することが意図される。
 1 三次元センサ、2 センサ筐体、3 カメラ、4 プロジェクタ、5,5A~5D インジケータ、6 撮像視野、8 光、10 形状測定部、11 パタン生成部、12 パタン検出部、14 傾斜演算部、15 角度範囲指定部、16 基準領域設定部、21,26 緑色LED、22,23,27,28 黄色LED,24,25,29,30 赤色LED、50 基準面、51,52,53,54,71,72,73,P,Q,R 領域、60 ディスプレイ、70 画像、80 基準対象物、81,82 エッジ、83 直線、84 基準直線、85 認識用モデル、100 三次元計測装置、PQ,PR ベクトル、S10~S20 ステップ、W ワーク。

Claims (13)

  1.  三次元計測装置であって、
     センサ筐体と、
     前記センサ筐体内に配置され、撮像視野内の画像を取得する撮像部と、
     前記撮像部により取得される画像に基づいて、前記撮像視野に存在する被写体表面上の各点について距離情報を取得する距離情報取得部と、
     前記距離情報取得部により取得される前記距離情報に基づいて算出される、前記被写体表面と前記三次元計測装置における基準点との間の位置関係を示す、前記センサ筐体に露出して配置されたインジケータとを備える、三次元計測装置。
  2.  前記距離情報取得部は、
     前記位置関係を定めるための、少なくとも1つの軸の周りの前記センサ筐体の回転角度を計測して、前記回転角度の計測値と前記回転角度の指定値との間の差分を算出し、
     前記インジケータは、前記回転角度の計測値と前記回転角度の前記指定値との間の前記差分を示すように構成される、請求項1に記載の三次元計測装置。
  3.  前記距離情報取得部は、前記距離情報に関して、計測値と指定値との間の差分を算出し、
     前記インジケータは、前記距離情報に関する前記計測値と前記指定値との間の前記差分を示すように構成される、請求項1または請求項2に記載の三次元計測装置。
  4.  前記インジケータは、
     回転角度に関する前記差分、または、前記距離情報に関する前記差分を示す複数の発光素子を含む、請求項2または請求項3に記載の三次元計測装置。
  5.  前記複数の発光素子は、
     前記差分が第1の範囲内であるときに、第1の色の光を発する第1の発光素子と、
     前記差分が前記第1の範囲よりも広い第2の範囲内であるときに、第2の色の光を発する第2の発光素子と、
     前記差分が前記第2の範囲を超える場合に、第3の色の光を発する第3の発光素子とを含む、請求項4に記載の三次元計測装置。
  6.  前記複数の発光素子は、前記第1の発光素子、前記第2の発光素子および前記第3の発光素子を各々含む複数の発光素子グループに分けられ、
     前記複数の発光素子グループは、前記センサ筐体の複数の面に分配して配置される、請求項5に記載の三次元計測装置。
  7.  前記距離情報を表示する表示部をさらに備える、請求項1~6のいずれか1項に記載の三次元計測装置。
  8.  前記撮像部は、前記センサ筐体から前記被写体表面までの前記距離の基準となる基準面の画像を取得し、
     前記距離情報取得部は、前記基準面の前記画像上で指定された少なくとも3つの基準領域の平均高さおよび重心座標を算出し、前記平均高さおよび前記重心座標に基づいて少なくとも2つのベクトルを決定し、前記少なくとも2つのベクトルの外積を算出することにより前記基準面の法線ベクトルを算出し、
     前記基準面上で互いに直交するX軸およびY軸とし、前記基準面に垂直な軸をZ軸として、前記距離情報取得部は、前記法線ベクトルをX-Z平面およびY-Z平面に射影することにより、前記X軸についての前記回転角度および前記Y軸についての前記回転角度を計測する、請求項2に記載の三次元計測装置。
  9.  前記撮像部は、前記センサ筐体から前記被写体表面までの前記距離の基準となる基準面の画像を取得し、
     前記基準面上で互いに直交するX軸およびY軸とし、前記基準面に垂直な軸をZ軸として、前記距離情報取得部は、前記基準面の前記画像上で指定された少なくとも3つの基準領域の平均高さおよび重心座標を算出し、前記平均高さおよび前記重心座標を、ax+by+cz+dと表される平面の式に代入し、最小二乗法により係数a,b,cを計算して、法線ベクトル(a,b,c)を決定し、前記法線ベクトルをX-Z平面およびY-Z平面に射影することにより、前記X軸についての前記回転角度および前記Y軸についての前記回転角度を計測する、請求項2に記載の三次元計測装置。
  10.  前記撮像部は、前記センサ筐体から前記被写体表面までの前記距離の基準となる基準面上かつ、前記撮像部の視野内に配置された基準対象物を撮像し、
     前記基準面に垂直な軸をZ軸として、前記距離情報取得部は、前記撮像部によって取得された前記基準対象物の画像の対向する2つの端面のそれぞれのエッジを結ぶ直線と、前記基準面上の基準直線とが成す角度を算出することにより、前記Z軸についての前記回転角度の計測値を取得する、請求項2に記載の三次元計測装置。
  11.  前記撮像部は、前記センサ筐体から前記被写体表面までの前記距離の基準となる基準面上かつ、前記撮像部の視野内に配置された基準対象物を撮像し、
     前記基準面に垂直な軸をZ軸として、前記距離情報取得部は、前記基準対象物の認識用モデル画像を回転させ、前記認識用モデル画像が、前記基準対象物の画像に重なるときの前記認識用モデル画像の回転角度を、前記Z軸についての前記回転角度の計測値として取得する、請求項2に記載の三次元計測装置。
  12.  三次元計測装置のセンサ筐体内に配置された撮像部によって、撮像視野内の画像を取得するステップと、
     前記撮像部により取得される画像に基づいて、前記撮像視野に存在する被写体表面上の各点について距離情報を取得するステップと、
     前記距離情報に基づいて、前記被写体表面と前記三次元計測装置における基準点との間の位置関係を決定するステップと、
     前記センサ筐体に露出して配置されたインジケータにより前記位置関係を表示するステップとを備える、三次元計測装置の位置表示方法。
  13.  コンピュータに、
     三次元計測装置のセンサ筐体内に配置された撮像部が撮像視野内の画像を取得するように撮像部を制御するステップと、
     前記撮像部により取得される画像に基づいて、前記撮像視野に存在する被写体表面上の各点について距離情報を取得するステップと、
     前記距離情報に基づいて、前記被写体表面と前記三次元計測装置における基準点との間の位置関係を決定するステップと、
     前記センサ筐体に露出して配置されたインジケータが前記位置関係を表示するように前記インジケータを制御するステップとを実行させる、プログラム。
PCT/JP2019/017722 2018-05-29 2019-04-25 三次元計測装置、三次元計測装置の位置表示方法およびプログラム WO2019230284A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018102410A JP7119584B2 (ja) 2018-05-29 2018-05-29 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
JP2018-102410 2018-05-29

Publications (1)

Publication Number Publication Date
WO2019230284A1 true WO2019230284A1 (ja) 2019-12-05

Family

ID=68696704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017722 WO2019230284A1 (ja) 2018-05-29 2019-04-25 三次元計測装置、三次元計測装置の位置表示方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7119584B2 (ja)
WO (1) WO2019230284A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113080155A (zh) * 2021-05-20 2021-07-09 西南大学 蚕蛹蛹体拾取装置及方法
CN117054047A (zh) * 2023-10-11 2023-11-14 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021004595T5 (de) 2020-09-02 2023-06-29 Fanuc Corporation Robotersystem, und Steuerungsverfahren

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11218431A (ja) * 1998-02-02 1999-08-10 Anritsu Corp 変位測定装置
JP2007190371A (ja) * 2005-12-19 2007-08-02 Olympus Corp 歯科用測色装置、システム、方法、およびプログラム
JP2010193144A (ja) * 2009-02-18 2010-09-02 Sony Ericsson Mobilecommunications Japan Inc 遠隔操作用装置
JP2012181063A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 計算装置、計算方法及び計算プログラム
JP2015183496A (ja) * 2014-03-26 2015-10-22 三和シヤッター工業株式会社 建築物の開口部開閉体の防水装置
JP2017183496A (ja) * 2016-03-30 2017-10-05 東京エレクトロン株式会社 基板処理装置の管理方法、及び基板処理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6213359B2 (ja) * 2014-04-16 2017-10-18 株式会社デンソー ドライブレコーダ及びドライブレコーダにおける加速度補正プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11218431A (ja) * 1998-02-02 1999-08-10 Anritsu Corp 変位測定装置
JP2007190371A (ja) * 2005-12-19 2007-08-02 Olympus Corp 歯科用測色装置、システム、方法、およびプログラム
JP2010193144A (ja) * 2009-02-18 2010-09-02 Sony Ericsson Mobilecommunications Japan Inc 遠隔操作用装置
JP2012181063A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 計算装置、計算方法及び計算プログラム
JP2015183496A (ja) * 2014-03-26 2015-10-22 三和シヤッター工業株式会社 建築物の開口部開閉体の防水装置
JP2017183496A (ja) * 2016-03-30 2017-10-05 東京エレクトロン株式会社 基板処理装置の管理方法、及び基板処理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113080155A (zh) * 2021-05-20 2021-07-09 西南大学 蚕蛹蛹体拾取装置及方法
CN117054047A (zh) * 2023-10-11 2023-11-14 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及系统
CN117054047B (zh) * 2023-10-11 2023-12-22 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及系统

Also Published As

Publication number Publication date
JP2019207152A (ja) 2019-12-05
JP7119584B2 (ja) 2022-08-17

Similar Documents

Publication Publication Date Title
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
KR101601331B1 (ko) 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
US7856172B2 (en) Jiggle measuring system and jiggle measuring method
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN104780865B (zh) 用于校准牙科摄像机的校准设备和方法
WO2019230284A1 (ja) 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
JP6532325B2 (ja) 被計測物の形状を計測する計測装置
JP2012037391A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US11446822B2 (en) Simulation device that simulates operation of robot
US11640673B2 (en) Method and system for measuring an object by means of stereoscopy
JP2021193400A (ja) アーチファクトを測定するための方法
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
WO2016040229A1 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP7099052B2 (ja) シミュレーション装置、シミュレーション方法およびプログラム
US20210183092A1 (en) Measuring apparatus, measuring method and microscope system
WO2020012707A1 (ja) 3次元測定装置及び方法
JP2012013592A (ja) 3次元形状測定機の校正方法及び3次元形状測定機
JP4382430B2 (ja) 頭部の三次元形状計測システム
JP3696335B2 (ja) 複数枚の画像の各計測点の対応づけ方法
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
JP4429135B2 (ja) 三次元形状計測システム及び計測方法
KR101709642B1 (ko) 3차원 카메라 모듈 측정 장치, 3차원 카메라 모듈 보정 장치 및 보정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810246

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19810246

Country of ref document: EP

Kind code of ref document: A1