WO2021240934A1 - 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法 - Google Patents

対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法 Download PDF

Info

Publication number
WO2021240934A1
WO2021240934A1 PCT/JP2021/007710 JP2021007710W WO2021240934A1 WO 2021240934 A1 WO2021240934 A1 WO 2021240934A1 JP 2021007710 W JP2021007710 W JP 2021007710W WO 2021240934 A1 WO2021240934 A1 WO 2021240934A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
marker
measuring
image
shadow
Prior art date
Application number
PCT/JP2021/007710
Other languages
English (en)
French (fr)
Inventor
恒雄 栗田
永吉 笠島
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to CN202180033490.3A priority Critical patent/CN115516274A/zh
Priority to DE112021003059.0T priority patent/DE112021003059T5/de
Publication of WO2021240934A1 publication Critical patent/WO2021240934A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37067—Calibrate work surface, reference markings on object, work surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece

Definitions

  • the present invention relates to a technique for measuring the position and orientation of an object with high accuracy by an image pickup device using a marker.
  • processing objects are processed by combining various machine tools and industrial robots.
  • a calibration marker is formed on the machine tool, and the robot's camera captures the calibration marker to perform coordinate conversion between the robot's coordinate system and the machine tool's coordinate system.
  • the technique is known (see, for example, Patent Document 1).
  • the movable range becomes narrow.
  • a technique is known in which a posture marker is formed on a holder of a work to specify a three-dimensional position of the work (see, for example, Patent Document 2).
  • An object of the present invention is to provide a marker, an apparatus and a system capable of measuring the position and posture of an object with high accuracy.
  • a marker provided on the surface of an object and capable of measuring the position and posture of the object, the first surface having the first feature point, and the first surface described above.
  • the marker is imaged with a first surface having a predetermined step from the feature point and a second surface formed below the first surface and having a predetermined relative posture. Based on the shadow of the first surface projected on the second surface in the image taken by the means, the second feature point corresponding to the first feature point is obtained, and the first feature point and the first feature point are obtained.
  • the marker capable of measuring the position and posture of the object based on the feature points of 2 is provided.
  • the first surface of the image taken by the imaging means is provided with the first surface and the second surface formed downward with a predetermined step from the first surface.
  • a marker capable of measuring the position and orientation of an object provided with a marker based on the feature point of the above and the second feature point based on the shadow of the first surface projected on the second surface with high accuracy. Can be provided.
  • a light irradiation means provided on the surface of an object and capable of irradiating the marker of the above aspect with light to form a shadow of the first surface on the second surface.
  • an apparatus provided with a measuring means for obtaining the feature points of the above-mentioned object and acquiring the position and posture of the object based on the first feature point and the second feature point.
  • a marker having a first surface having a first feature point and a second surface formed downward with a predetermined step from the first surface is imaged by an image pickup means. Then, the measurement means measures the first feature point of the first surface in the image and the second feature point based on the shadow of the first surface projected on the second surface by irradiating the light with the light irradiation means. It is possible to provide a device capable of measuring the position and orientation of an object provided with a marker with high accuracy by measuring and calculating with the above.
  • the marker of the above aspect is imaged by an imaging means, and the first image data acquired by the measuring means is used to obtain the first image.
  • Light is irradiated by the first measurement step for measuring the coordinate component of the feature point and the third feature point in the second plane having the predetermined step from the first feature point, and the light irradiation means.
  • the marker is imaged by the image pickup means, and the marker corresponds to the first feature point based on the shadow of the first surface projected on the second surface from the second image data acquired by the measurement means.
  • the above is based on the second measurement step of measuring the coordinate component of the second feature point and the coordinate components of the first to third feature points acquired in the first and second measurement steps by the measuring means.
  • the above method is provided, comprising the step of determining the position and orientation information of the marker by calculation.
  • a marker having a first surface having a first feature point and a second surface formed downward with a predetermined step from the first surface is imaged and acquired.
  • the coordinate components of the first feature point and the third feature point in the second plane having the predetermined step from the first feature point are measured from the first image data, and the light irradiation means.
  • the coordinate component of the second feature point based on the shadow of the first surface projected on the second surface is measured by irradiating light with the above, and the above is based on the coordinate component of the first to third feature points.
  • FIG. 2 is an explanatory diagram 2 of the principle of the position / posture measurement system according to the embodiment of the present invention. It is a flowchart which shows the position attitude measurement method which concerns on one Embodiment of this invention. It is a modification of the marker which concerns on one Embodiment of this invention.
  • FIG. 1 is a schematic configuration diagram of a machine tool including a position / orientation measurement system according to an embodiment of the present invention.
  • the machine tool 10 including the position / attitude measurement system according to the embodiment of the present invention includes a machine tool frame 11, a spindle 12, a tool 13, a moving stage 14, and a workpiece 15.
  • the marker 16 formed on the surface of the work piece 15, the light irradiation unit 18 that irradiates the marker 16 with light, the camera 19 that captures the marker 16, and the work piece 15 that receives image data from the camera 19. It has a measuring unit 20 for measuring a position / posture.
  • the camera 19 takes an image of the marker 16 formed on the workpiece 15, and the measuring unit 20 measures the position and posture of the marker 16 from the image data, and the information on the position and posture of the marker 16 and the marker 16
  • the position and orientation of the work piece 15 are determined from the relative position information between the work piece 15 and the work piece 15, and the work piece 15 is machined by the tool 13 by controlling the spindle 12 and the moving stage 14.
  • FIGS. 2A and 2B are schematic views of a marker according to an embodiment of the present invention
  • FIG. 2A is a bird's-eye view obtained in close proximity to the marker
  • FIG. 2B is a cross-sectional view taken along the line AA shown in FIG. be.
  • the marker 16 has a cavity provided on the surface 15a of the workpiece 15.
  • the marker 16 has a polygonal opening 16a in a plan view on the surface 15a of the workpiece 15, as an example.
  • the length of one side of the opening 16a is appropriately selected according to the size of the workpiece 15, but is, for example, 10 mm, and can be set to 0.01 mm to 1000 mm by the camera 19 in the opening 16a and its inside. It is preferable in that the whole image is taken.
  • the opening 16a has four vertices Ht 1 to Ht 4 .
  • a feature point (hereinafter, also referred to as “surface feature point”), for example, Ht 1 is selected from the four vertices Ht 1 to Ht 4.
  • the bottom surface 16b is formed in a predetermined relative posture with respect to the surface 15a of the workpiece 15, as an example, parallel to the surface 15a.
  • the side wall surface 16c extends vertically from each side of the quadrangle of the opening 16a to the bottom surface 16b with a predetermined length (step) D.
  • the step D is, for example, 8 mm, and it is preferable to set it to 0.01 mm to 1000 mm in that the shadow projected on the bottom surface 16b is imaged by the camera 19.
  • the vertices Hb 1 to Hb 4 on the bottom surface 16b correspond to the vertices Ht 1 to Ht 4 of the quadrangle of the opening 16a, respectively.
  • feature points corresponding to the surface feature point Ht 1 hereinafter, also referred to as "bottom surface feature points”.
  • FIG. 3 is a schematic configuration diagram of a position / posture measuring system according to an embodiment of the present invention.
  • the position / posture measuring system 17 has a marker 16 and a position / posture.
  • a measuring device 21 is provided.
  • the position / posture measuring device 21 includes a light irradiating unit 18 that irradiates the marker 16 with light, a camera 19 that captures the marker 16, and a measuring unit 20 that processes the image data of the marker 16 captured by the camera 19.
  • the measurement unit 20 includes a measurement unit 22, a calculation unit 23, and a control unit 24.
  • the light irradiation unit 18 has at least one light source, for example, an LED light source, and is arranged around the lens of the camera 19. In the light irradiation unit 18, for example, two light sources are arranged on both sides of the lens, and four other light sources are arranged at four corners around the lens.
  • the light irradiation unit 18 is arranged so that the shadows of the feature points arranged on the surface 15a of the marker 16 can be formed on the bottom surface 16b.
  • the light irradiation unit 18 is controlled to be turned on and off by the control unit 24, and can be turned on and off for each light source.
  • the light irradiation unit 18 is preferably a point light source in that the outline of the shadow (border between light and dark) becomes clear.
  • the light source is arranged diagonally above the marker 16.
  • the light source has an angle of 1 degree to 89 degrees, further 10 degrees to 80 degrees, and particularly 30 degrees to 45 degrees with respect to the virtual surface formed by the opening 16a in that shadows are easily formed on the bottom surface 16b. It is preferable to have and arrange. Further, it is preferable to reduce this angle from the viewpoint that when the step D is small (shallow), a shadow is easily formed on the bottom surface 16b and the measurement resolution in the depth direction is improved.
  • the camera 19 includes a lens, an image sensor, a camera control unit, and the like, and for example, a digital video camera, a digital still camera, or the like can be used.
  • the lens 19a may be a single focus lens or a zoom lens.
  • the zoom lens is set to the short focus side to take a wide-angle image, the position of the marker 16 formed on the workpiece 15 is specified, and then the zoom lens is set to the long focus side to identify the marker 16. You may acquire the enlarged image of.
  • the position of the marker 16 can be easily specified on the short focus side, and the position of the contour of the shadow formed on the marker 16 can be obtained more accurately on the long focus side.
  • the camera 19 is preferably a pinhole camera in that it can capture an image in which the opening 16a and the bottom surface 16b of the marker 16 are in focus.
  • a pinhole camera can be formed by attaching a pinhole lens or a pinhole filter to the front of the lens in the camera body.
  • the camera 19 may be equipped with a monochromatic transmission filter that transmits only green, blue, red, etc. to the lens 19a. By emphasizing the contrast between light and dark, the contour of the shadow can be measured accurately.
  • the measuring unit 22 is provided in the measuring unit 20, and is a shadow of the surface feature point Ht 1 selected from the surface 15a and the surface feature point Ht 1 formed on the bottom surface 16b from the image data of the marker 16 captured by the camera 19.
  • the projected feature point based on the above and the coordinate component of the bottom feature point Hb 1 on the bottom surface 16b that descends vertically from the surface feature point by a predetermined step D are measured.
  • the coordinate components measured here are coordinate components that form a plane parallel to the image pickup element of the camera 19, and are, for example, x-coordinates and y-coordinates, as will be described later.
  • the calculation unit 23 is based on the coordinate components (for example, x-coordinate component and y-coordinate component) of the surface feature point Ht 1 , the projection feature point, and the bottom feature point Hb 1 measured by the measurement unit 22.
  • the position and / or inclination of the workpiece 15 is calculated by calculating the other coordinate components (for example, z-coordinates) of each of the points Ht 1 , the projection feature point, and the bottom feature point Hb 1 and the inclination of the marker 16. get.
  • the control unit 24 can control the light irradiation unit 18, the camera 19, the measurement unit 22, the calculation unit 23, and the moving stage 14. Specifically, the control unit 24 turns on and off the light irradiation unit 18, the timing of imaging by the camera 19, the timing of receiving image data of the measurement unit 22, and the like.
  • the measurement unit 20 can be configured by a personal computer and software that cooperates with the personal computer. As an alternative, the measurement unit 20 may configure the measurement unit 22, the calculation unit 23, and the control unit 24 with a dedicated circuit, or may be configured in combination with a personal computer and software.
  • the measurement unit 20 may include a user interface such as a display and a keyboard (not shown).
  • FIG. 4A and 4B are explanatory views 1 of the principle of the position / attitude measurement system according to the embodiment of the present invention
  • FIG. 4A is a diagram showing a positional relationship between a camera, a light irradiation unit, and a marker
  • FIG. 4B is a projection. It is a bird's-eye view of a marker in which a shadow is formed.
  • one light source 18 1 of the light irradiation unit 18 and the surface 15a of the marker are on the xz plane with the vertical direction as the z-axis direction and the horizontal direction as the x-axis direction.
  • the apex (surface feature point) Ht 1 and the center of the lens of the camera 19, in this example, the center 25a of the pinhole lens 25 are arranged, and the surface 15a of the marker is tilted by an angle ⁇ x with respect to the x-axis. do.
  • An image of the marker 16 that has passed through the pinhole lens 25 is formed on the camera element 26, converted into image data, and transmitted to the measurement unit 20.
  • the light source 18 1 of the light irradiation unit 18 on the upper left of the marker 16 is turned on by the control signal from the control unit 24. As a result, a shadow on the surface 15a of the marker is formed on the bottom surface 16b.
  • the feature point (surface feature point) of the surface 15a of the marker 16 is Ht 1 .
  • Surface feature point Ht 1 is the intersection of the sides Ht 1 -ht 2 and side Ht 4 -Ht 1. Shadows are formed on the bottom surface 16b and the side wall surface 16c of the cavity of the marker 16, and the shadow portion is referred to as a dark portion DS (hatched portion), and the portion directly irradiated with light is referred to as a bright portion BS.
  • the sides Kb 1 -kb 2 are those sides Ht 1 -ht 2 is projected, the sides Kb 4 -kb 1 is side Ht 4 -ht 1 is projected. Sides Kb 1 -kb 2 and sides Kb 4 -kb 1 and feature point an intersection (projected feature point) and Kb 1.
  • the projected feature point Kb 1 is a projection of the surface feature point Ht 1 . That is, the light source 18 1 and the surface feature point Ht 1 are connected by a straight line (indicated by a alternate long and short dash line in FIG.
  • FIG. 5 is an explanatory diagram 2 of the principle of the position / posture measurement system according to the embodiment of the present invention.
  • FIG. 5 shows the same arrangement as in FIG. Since it is assumed that the components and each feature point are on the xz plane, the y coordinate is omitted from the components of those coordinates and displayed as (x coordinate, z coordinate).
  • the measuring unit 22 obtains the x-coordinates of the surface feature point Ht 1 , the bottom feature point Hb 1, and the projection feature point Kb 1 from the image data.
  • the coordinates of the surface feature point Ht 1 of the marker 16 (Ht 1x , Ht 1z ), the coordinates of the bottom feature point Hb 1 (Hb 1x , Hb 1z ), and the coordinates of the projection feature point Kb 1 (Kb 1x , Kb 1z ). It is expressed as.
  • the measuring unit 22 calculates the x-coordinate Ht 1x surface feature point Ht 1, the x-coordinate Hb 1x and x-coordinate Kb 1x projected feature point Kb 1 bottom feature point Hb 1 from the image data.
  • the calculation unit 23 includes the x-coordinates Ht 1x , Hb 1x and Kb 1x of the surface feature point Ht 1 , the bottom feature point Hb 1 and the projection feature point Kb 1 obtained by the measurement unit 22, and the preset light source 18 1
  • the surface feature point Ht 1 is determined by the simultaneous equations (the following equations (1) to (3)) obtained from the image data using the coordinates (S 1x , S 1z) and the step D of the marker.
  • the position and inclination of the marker 16 are obtained by obtaining the z coordinate Ht 1z , the inclination ⁇ x of the marker, and the length ⁇ Kb 1x > of the shadow on the xz plane.
  • Ht 1x -Kb 1x) ⁇ Kb 1x> sin ⁇ x (V 1x + V '1x) ( ⁇ Kb 1x> sin ⁇ x + Dcos ⁇ x) ...
  • Equation (1) includes a light source 18 1 is an equation obtained from the relationship of similar triangles from the position of the surface feature points Ht 1 and the bottom surface feature points Hb 1.
  • Equation (2) is an equation obtained from the relationship of similarity triangles from the positions of the lens center 25a and the bottom feature point Hb 1 of the pinhole lens 25.
  • Equation (3) is an equation obtained from the relationship of similarity triangles from the positions of the projection feature point Kb 1 and the surface feature point Ht 1.
  • V 1x and V '1x included in the formula (1) to (3) are as follows.
  • 'It is off by 1x.
  • the above equations (1) to (3) can be solved analytically, but the arithmetic unit 23 performs numerical calculation, for example, the z coordinate Ht 1z of the surface feature point Ht 1 and the slopes ⁇ x and xz of the marker by the Newton method. Find the length of the shadow on the plane ⁇ Kb 1x >.
  • the measuring unit 22 obtains the x-coordinates and y-coordinates of the surface feature point Ht 1 , the bottom feature point Hb 1, and the projection feature point Kb 1 from the image data. Is measured, and the calculation unit 23 acquires the position and inclination of the marker 16 by using the equations (1) to (3) in consideration of the y coordinate.
  • the position and posture of the marker 16 can be measured. Further, by acquiring information on the positional relationship between the marker 16 and the workpiece 15 in advance with a three-dimensional measuring machine or the like and setting it in the measuring unit 20, the position and posture of the workpiece 15 can be determined with high accuracy. ..
  • the marker 16 has an opening 16a formed on the surface 15a of the workpiece 15 and a bottom surface 16b having a predetermined step D from the surface 15a. And surface feature point Ht 1 at the surface 15a, the position and orientation of the marker 16 by measurement and calculation from the image captured a projection minutia Kb 1 corresponding to the surface feature point Ht 1 shadow projected surface 15a to the bottom 16b Can be measured with high accuracy, whereby the position and orientation of the workpiece 15 can be determined with high accuracy.
  • the projection feature point Kb 1 corresponding to the above is imaged by the camera 19, and the surface feature point Ht 1 in the image acquired by the measuring unit 20 and the shadow of the surface 15a projected on the bottom surface 16b by irradiating light with the light irradiation means.
  • the position and orientation of the workpiece 15 provided with the marker 16 can be measured with high accuracy.
  • FIG. 6 is a flowchart showing a position / posture measurement method according to an embodiment of the present invention. A position / posture measuring method according to an embodiment of the present invention will be described with reference to FIG. 6 with reference to FIGS. 1, 2, 4, and 5.
  • the coordinate data of the light source of the camera 19 and the light irradiation unit 18 is set.
  • the measuring unit 20 sets the coordinates of the light sources 18 1 to 18 4 of the coordinates and the light irradiation portion 18 of the lens center 25a of the pinhole lens 25 of the camera 19, for example in a memory (not shown) Store.
  • the set data is stored in, for example, the memory of the measuring unit 20.
  • a step between the front surface and the bottom surface of the marker is set.
  • the measuring unit 20 sets a step D from the surface 15a to the bottom surface 16b of the marker 16 and stores it in, for example, a memory (not shown).
  • a marker is imaged by a camera, and the coordinate components of the surface feature points and the bottom feature points are measured from the image data.
  • the control unit 24 captures the marker 16 with the camera 19.
  • Control unit 24 may be part or all lights of the light source S 1 ⁇ S 4.
  • the measuring unit 22 measures the x-coordinates Ht 1x and Hb 1x of the surface feature point Ht 1 of the marker 16 and the bottom feature point Hb 1 at the position where only the step D descends from the surface feature point to the bottom surface 16b from the captured image data. Get as.
  • the light source is turned on, the marker is imaged by the camera, and the coordinate component of the projection feature point is measured based on the shadow of the shape of the surface of the marker projected on the bottom surface from the image data.
  • the light source S 1 lit by the control unit 24 to image the markers 16 in the camera 19 by projecting the shadow of the surface 15a to the bottom surface of the marker 16.
  • the x-coordinate Kb 1x of the projection feature point Kb 1 is acquired as measurement data from the captured image data.
  • S140 information on the position and orientation of the marker is acquired by calculation from the setting data and the measurement data.
  • the z coordinate Ht 1z of the surface feature point Ht 1 , the inclination ⁇ x of the marker, and the shadow length ⁇ Kb 1x > on the xz plane are obtained, and the surface feature point Ht 1 of the marker 16 is obtained.
  • the position and orientation of the workpiece are determined from the information on the position and orientation of the marker.
  • the calculation unit 23 determines the position and orientation of the workpiece 15 from the coordinates and attitude ⁇ x of the surface feature point Ht 1 of the marker 16 determined in S140 based on the information on the positional relationship between the marker 16 and the workpiece 15. decide. Information on the positional relationship between the marker and the workpiece is set in the measuring unit 20 in advance.
  • S100 to S150 the position and orientation of the workpiece are measured using the markers formed on the workpiece.
  • S100 and S110 may be performed at the same time, or S110 may be performed first.
  • S120 and S130 may be performed at the same time, or S130 may be performed first.
  • the marker 16 is imaged, and the surface feature point Ht 1 is obtained from the acquired image data, and the bottom feature point Hb of the bottom surface 16b having a predetermined step D from the surface feature point Ht 1.
  • the coordinate component of 1 is measured, the coordinate component of the projection feature point Kb 1 based on the shadow of the surface 15a projected on the bottom surface 16b by irradiating the light with the light source S 1 is measured, and the surface feature point Ht 1 and the bottom feature point are measured.
  • FIG. 7A and 7B are modified examples of the marker according to the embodiment of the present invention, in which FIG. 7A is a plan view and FIG. 7B is a view in which a light source is turned on and a shadow is projected on the bottom surface.
  • FIG. 7 (a) the marker 116, the workpiece 15 viewed from the shape generally polygonal in the surface 15a of a square as an example, the corners Rt 1 ⁇ Rt 4 Earle shape and edges St 1 It has an opening 116a made of ⁇ St 4.
  • the bottom surface 116b of the marker 116 has the same shape as the opening 116a, and has a rounded corner portion Rb 1 to Rb 4 and sides Sbt 1 to Sb 4 .
  • the virtual vertex H't 1 can be an intersection of the sides St1 and St4 that sandwich the corner Rt 1.
  • the virtual vertex H'b 1 can be an intersection of the sides Sb1 and Sb4 sandwiching the corner portion Rb 1.
  • the marker 116 has the same function as the marker 16, and can function as a marker of the position / posture measurement system according to the embodiment of the present invention. Further, it can be used as a marker of the position / posture measuring method according to the embodiment of the present invention.
  • the shapes of the bottom surfaces 16b and 116b of the markers 16 and 116 are square and the same as the shapes of the openings 16a and 116a on the surface 15a.
  • the shapes of the bottom surfaces 16b and 116b may be different from the shapes of the openings 16a and 116a. Even in this case, since the steps D from the surface 15a to the bottom surfaces 16b and 116b are the same, the positions of the projection feature points Kb 1 are the same as in the case where the bottom surfaces 16b and 116b are rectangular, and the above equations (1) to (1) to (1) to (1). 5) can be applied.
  • the markers 16 and 116 are assumed to have parallel postures of the bottom surfaces 16b and 116b with respect to the surface 15a.
  • the bottom surfaces 16b and 116b may have a relative posture other than parallel to the surface 15a.
  • ⁇ Kb 1x > in the above equations (1) to (5) may be compensated by the offset.
  • the offset amount may be set in the measuring unit 20 by measuring the marker with a three-dimensional measuring device in advance.
  • the markers 16 and 116 are described as cavities (recesses) provided on the surface 15a of the workpiece 15.
  • the marker may be a protrusion (convex portion) provided on the surface 15a of the workpiece 15.
  • the shape of the top surface of the protrusion is similar to that of the openings 16a and 116a of the markers 16 and 116.
  • the surface feature point Ht 1 is selected from the apex of the top surface of the protrusion or a virtual apex.
  • the shadow of the surface feature point is projected on the surface 15a of the workpiece 15, and the projection feature point Kb 1 is formed on the surface 15a.
  • the surface 15a of the work piece 15 may be wide enough to form the projection feature point Kb 1.
  • the marker of the protrusion has the same function as the markers 16 and 116 by applying the above equations (1) to (5), and is the position / posture measurement system according to the embodiment of the present invention. It can function as a marker.
  • the markers 16 and 116 may display identification information, attribute information, etc. of the workpiece 15 on which the markers 16 and 116 are formed, such as a specification number and a production lot number, on the surface 15a, the bottom surface 16b, and the top surface.
  • the image is captured by the camera 19, the image is recognized by the measuring unit 20, and the workpiece 15 is managed.
  • information on the position and orientation of the workpiece 15, identification information, attribute information, and the like can be acquired at the same time, facilitating production control.
  • the markers 16 and 116 may be formed on a jig for fixing the workpiece 15.
  • information on the relative position and relative posture between the workpiece 15 and the jig is set in advance, and the marker 16 is set by the position / posture measuring device 21 and the position / posture measuring method according to the present embodiment through this information.
  • the position and orientation of the workpiece can be determined from the position and orientation information.
  • the workpiece 15 or the jig having the markers 16 and 116 can specify the position and the posture of the workpiece 15 or the jig by the markers 16 and 116, the machine tool and the robot can be specified.
  • the work piece 15 can be delivered between them.
  • the marker 16 When the workpiece 15 is placed on a moving stage 14 or a self-propelled carrier (AGV) as shown in FIG. 1 and processed by a large number of machine tools in the factory, the marker 16 according to the present embodiment, 116, the position / attitude measuring device 21, and the position / attitude measuring method can be applied.
  • AGV self-propelled carrier
  • Machine tool 14 Moving stage 15 Work piece 16,116 Marker 17 Position / attitude measurement system 18 Light irradiation unit 19 Camera 20 Measurement unit 21 Position / attitude measurement device 22 Measurement unit 23 Calculation unit 24 Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示では、対象物の表面に設けられ、その対象物の位置および姿勢を計測可能なマーカ１６であって、第１の特徴点Ｈt1を有する第１の面１５ａと、上記第１の特徴点から所定の段差Ｄを有し、かつ上記第１の面よりも下方にその第１の面と所定の相対姿勢を有して形成された第２の面１６ｂと、を備え、上記マーカを撮像手段１９によって撮影した画像における上記第２の面に投影された上記第１の面の影に基づいて上記第１の特徴点に対応する第２の特徴点Ｋb1を求め、上記第１の特徴点および第２の特徴点に基づいて上記対象物の位置および姿勢を計測可能な、上記マーカが提供される。

Description

対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法
　本発明は、マーカを用いて撮像装置によって高精度に対象物の位置および姿勢を計測する技術に関する。
　製造現場では、加工対象物を様々な工作機械と産業用ロボットと組み合わせて加工を行っている。工作機械とロボットとを協働させるため、工作機械に較正用マーカを形成し、ロボットのカメラが較正用マーカを撮像することによって、ロボットの座標系と工作機械の座標系との座標変換を行う技術が知られている（例えば、特許文献１参照。）。
　ロボットに形成された較正用マーカを用いる方法では、加工対象物を移動して、離れて配置された工作機械やロボットに加工対象物を受け渡す場合は、移動可能な範囲が狭くなってしまう。
　ワークの保持具に姿勢マーカを形成してワークの３次元位置を特定する技術が知られている（例えば、特許文献２参照。）。
特開２０１６－１０１６４０号公報 特開２０１７－１４４５３４号公報
　本発明の目的は、対象物の位置および姿勢を高精度に計測可能なマーカ、装置およびシステムを提供することである。
　本発明の一態様によれば、対象物の表面に設けられ、その対象物の位置および姿勢を計測可能なマーカであって、第１の特徴点を有する第１の面と、上記第１の特徴点から所定の段差を有し、かつ上記第１の面よりも下方にその第１の面と所定の相対姿勢を有して形成された第２の面と、を備え、上記マーカを撮像手段によって撮影した画像における上記第２の面に投影された上記第１の面の影に基づいて上記第１の特徴点に対応する第２の特徴点を求め、上記第１の特徴点および第２の特徴点に基づいて上記対象物の位置および姿勢を計測可能な、上記マーカが提供される。
　上記態様によれば、第１の面と、第１の面から所定の段差を有して下方に形成された第２の面を備え、撮像手段によって撮影した画像における第１の面の第１の特徴点と、第２の面に投影された第１の面の影に基づく第２の特徴点とに基づいてマーカが設けられた対象物の位置および姿勢を高精度に計測可能なマーカを提供できる。
　本発明の他の態様によれば、対象物の表面に設けられ、上記態様のマーカに光を照射して上記第１の面の影を前記第２の面に形成可能な光照射手段と、上記マーカを撮像する撮像手段と、上記撮像手段によって撮像した上記マーカの画像における上記第２の面に投影された上記第１の面の影に基づいて上記第１の特徴点に対応する第２の特徴点を求め、上記第１の特徴点および第２の特徴点に基づいて上記対象物の位置および姿勢を取得する計測手段と、を備える装置が提供される。
　上記他の態様によれば、第１の特徴点を有する第１の面と、第１の面から所定の段差を有して下方に形成された第２の面を備えるマーカを撮像手段によって撮像し、画像における第１の面の第１の特徴点と、光照射手段により光を照射して第２の面に投影された第１の面の影に基づく第２の特徴点とを計測手段により測定および演算することによってマーカが設けられた対象物の位置および姿勢を高精度に計測可能な装置を提供できる。
　本発明のその他の態様によれば、対象物の位置および姿勢を計測する方法であって、上記態様のマーカを撮像手段で撮像し、計測手段により取得した第１の画像データから上記第１の特徴点と、その第１の特徴点から前記所定の段差を有する上記第２の面内の第３の特徴点の座標成分を測定する第１の測定ステップと、光照射手段により光を照射して上記撮像手段で上記マーカを撮像し、計測手段により取得した第２の画像データから上記第２の面に投影された上記第１の面の影に基づいて上記第１の特徴点に対応する上記第２の特徴点の座標成分を測定する第２の測定ステップと、計測手段により上記第１および第２の測定ステップで取得した上記第１～第３の特徴点の座標成分に基づいて上記マーカの位置および姿勢の情報を演算により決定するステップと、を含む、上記方法が提供される。
　上記その他の態様によれば、第１の特徴点を有する第１の面と、第１の面から所定の段差を有して下方に形成された第２の面を備えるマーカを撮像し、取得した第１の画像データから上記第１の特徴点と、その第１の特徴点から前記所定の段差を有する上記第２の面内の第３の特徴点の座標成分を測定し、光照射手段により光を照射して第２の面に投影された第１の面の影に基づく第２の特徴点の座標成分を測定し、上記第１～第３の特徴点の座標成分に基づいて上記マーカの位置および姿勢の情報を演算により決定することで、マーカが設けられた対象物の位置および姿勢を高精度に計測可能である。
本発明の一実施形態に係る位置姿勢計測システムを含む工作機械の概略構成図である。 本発明の一実施形態に係るマーカの平面図および断面図である。 本発明の一実施形態に係る位置姿勢計測システムの概略構成図である。 本発明の一実施形態に係る位置姿勢計測システムの原理の説明図１である。 本発明の一実施形態に係る位置姿勢計測システムの原理の説明図２である。 本発明の一実施形態に係る位置姿勢計測方法を示すフローチャートである。 本発明の一実施形態に係るマーカの変形例である。
　以下、図面に基づいて本発明の実施形態を説明する。なお、複数の図面間において共通する要素については同じ符号を付し、その要素の詳細な説明の繰り返しを省略する。
　図１は、本発明の一実施形態に係る位置姿勢計測システムを含む工作機械の概略構成図である。図１を参照するに、本発明の一実施形態に係る位置・姿勢計測システムを含む工作機械１０は、工作機械フレーム１１と、スピンドル１２と、工具１３と、移動ステージ１４と、加工物１５と、加工物１５の表面に形成されたマーカ１６と、マーカ１６に光を照射する光照射部１８と、マーカ１６を撮像するカメラ１９と、カメラ１９からの画像データを受信して加工物１５の位置・姿勢を計測する計測部２０を有する。工作機械１０は、加工物１５に形成されたマーカ１６をカメラ１９が撮像してその画像データから計測部２０がマーカ１６の位置および姿勢を計測し、マーカ１６の位置および姿勢の情報とマーカ１６と加工物１５との相対的な位置情報から加工物１５の位置および姿勢を決定し、スピンドル１２と移動ステージ１４を制御することによって工具１３によって加工物１５を加工する。
　図２は、本発明の一実施形態に係るマーカの模式図であり、（ａ）はマーカに接近して得た俯瞰図であり、（ｂ）は（ａ）に示すＡＡ線の断面図である。図２（ａ）および（ｂ）を参照するに、マーカ１６は、加工物１５の表面１５ａに設けられたキャビティ（凹部）を有する。マーカ１６は、加工物１５の表面１５ａに平面視した形状が多角形、一例として四角形の開口部１６ａを有する。開口部１６ａの一辺の長さは、加工物１５の大きさに応じて適宜選択されるが、例えば１０ｍｍであり、０．０１ｍｍ～１０００ｍｍに設定することが、カメラ１９により開口部１６ａおよびその内部全体を撮像する点で好ましい。
　開口部１６ａは、４つの頂点Ｈt1～Ｈt4を有する。４つの頂点Ｈt1～Ｈt4から特徴点（以下、「表面特徴点」とも称する。）、例えばＨt1が選択される。
　底面１６ｂは、加工物１５の表面１５ａに対して所定の相対姿勢、一例として表面１５ａに対して平行に形成されている。側壁面１６ｃは、開口部１６ａの四角形の各辺から垂直に所定の長さ（段差）Ｄで底面１６ｂまで延在する。段差Ｄは、例えば８ｍｍであり、０．０１ｍｍ～１０００ｍｍに設定することが、底面１６ｂに投影された影をカメラ１９により撮像する点で好ましい。底面１６ｂにおける頂点Ｈb1～Ｈb4は、各々開口部１６ａの四角形の頂点Ｈt1～Ｈt4に対応する。底面１６ｂにおける頂点のうち、表面特徴点Ｈt1に対応する特徴点（以下、「底面特徴点」とも称する。）Ｈb1が選択される。
　図３は、本発明の一実施形態に係る位置姿勢計測システムの概略構成図であり、図３を図１および図２と合わせて参照するに、位置姿勢計測システム１７は、マーカ１６と位置姿勢計測装置２１とを備える。位置姿勢計測装置２１は、マーカ１６に光を照射する光照射部１８と、マーカ１６を撮像するカメラ１９と、カメラ１９によって撮像したマーカ１６の画像データを処理する計測部２０とを有する。計測部２０は、測定部２２と、演算部２３と、制御部２４とを有する。
　光照射部１８は、少なくとも一つの光源、例えば、ＬＥＤ光源を有し、カメラ１９のレンズの周囲に配置される。光照射部１８は、例えばレンズの両側に２つの光源が配置され、他には、レンズの周囲の４隅に４つの光源が各々配置される。光照射部１８は、マーカ１６の表面１５ａに配置された特徴点の影が底面１６ｂに形成可能なように配置される。光照射部１８は、制御部２４により点灯および消灯が制御され、光源毎に点灯および消灯が可能である。光照射部１８は、影の輪郭（明暗の境界）が明確になる点で、点光源であることが好ましい。光源は、マーカ１６に対して斜め上方に配置する。光源は、影を底面１６ｂに形成し易くなる点で、開口部１６ａが形成する仮想的な面に対して、１度～８９度さらには１０度～８０度、特に３０度～４５度の角度を有して配置することが好ましい。また、段差Ｄが小さい（浅い）場合に底面１６ｂに影を形成し易くなる点や深さ方向の測定分解能を向上する点で、この角度を小さくすることが好ましい。
　カメラ１９は、レンズ、撮像素子、カメラ制御部等からなり、例えば、デジタルビデオカメラ、デジタルスティルカメラ等を用いることができる。レンズ１９ａは単焦点レンズでもよく、ズームレンズでもよい。ズームレンズの場合は、ズームレンズを短焦点側に設定して広角で撮像し、加工物１５に形成されたマーカ１６の位置を特定し、次いで、ズームレンズを長焦点側に設定してマーカ１６の拡大画像を取得してもよい。これにより、短焦点側でマーカ１６の位置を容易に特定でき、長焦点側でマーカ１６に形成された影の輪郭の位置をより正確に取得することができる。
　カメラ１９は、マーカ１６の開口部１６ａおよび底面１６ｂをピントが合った画像を撮像できる点で、ピンホールカメラが好ましい。ピンホールカメラは、カメラ本体にピンホールレンズ、またはピンホールフィルタをレンズの前方に装着することで形成できる。カメラ１９は、レンズ１９ａに緑、青、赤等だけを透過する単色透過フィルタを装着してもよい。これにより明暗のコントラストを強調することで、影の輪郭を精度よく測定できる。
　測定部２２は、計測部２０に設けられ、カメラ１９で撮像したマーカ１６の画像データから、表面１５ａから選択された表面特徴点Ｈt1と、底面１６ｂに形成された表面特徴点Ｈt1の影に基づく投影特徴点と、表面特徴点から垂直に所定の段差Ｄを下降した底面１６ｂにおける底面特徴点Ｈb1の座標成分とを測定する。ここで測定される座標成分は、カメラ１９の撮像素子と平行な面を形成する座標成分であり、後述するように、例えばｘ座標およびｙ座標である。
　演算部２３は、測定部２２により測定された表面特徴点Ｈt1、投影特徴点、および底面特徴点Ｈb1の各々の座標成分（例えば、ｘ座標成分およびｙ座標成分）に基づいて、表面特徴点Ｈt1、投影特徴点、および底面特徴点底面特徴点Ｈb1の各々の他の座標成分（例えば、ｚ座標）およびマーカ１６の傾きを演算により求めて加工物１５の位置および／または傾きを取得する。
　制御部２４は、光照射部１８、カメラ１９、測定部２２、演算部２３および移動ステージ１４の制御を行うことができる。具体的には、制御部２４は、光照射部１８の点灯および消灯、カメラ１９の撮像のタイミング、測定部２２の画像データの受信のタイミング等である。
　計測部２０は、パソコンと、パソコンと協働するソフトウェアによって構成することができる。計測部２０は、代替案としては、測定部２２、演算部２３および制御部２４を専用の回路で構成してもよく、パソコンおよびソフトウェアと組み合わせて構成してもよい。計測部２０は、図示しないディスプレイ、キーボード等のユーザインタフェースを備えてもよい。
　図４は、本発明の一実施形態に係る位置姿勢計測システムの原理の説明図１であり、（ａ）はカメラ、光照射部およびマーカの位置関係を示す図であり、（ｂ）は投影された影が形成されたマーカの俯瞰図である。
　図４（ａ）を参照するに、説明の便宜のため、鉛直方向をｚ軸、水平方向をｘ軸方向として、ｘｚ平面上に、光照射部１８の一つの光源１８1、マーカの表面１５ａの頂点（表面特徴点）Ｈt1、およびカメラ１９のレンズの中心、この例ではピンホールレンズ２５の中心２５ａが配置され、マーカの表面１５ａはｘ軸に対して角度θｘだけ傾いているとする。カメラ素子２６には、ピンホールレンズ２５を通過したマーカ１６の画像が形成され、画像データに変換され、計測部２０に送信される。マーカ１６の左上の光照射部１８の一つの光源１８1は、制御部２４からの制御信号により点灯する。これにより、マーカの表面１５ａの影が底面１６ｂに形成される。
　図４（ｂ）を参照するに、マーカ１６の表面１５ａの特徴点（表面特徴点）をＨt1とする。表面特徴点Ｈt1は、辺Ｈt1－Ｈt2と辺Ｈt4－Ｈt1との交点である。マーカ１６のキャビティの底面１６ｂおよび側壁面１６ｃに影が形成され、影の部分を暗部ＤＳ（ハッチングの部分）、光が直接照射されている部分を明部ＢＳと称する。底面１６ｂにおいて暗部ＤＳと明部ＢＳとの境界のうち、辺Ｋb1－Ｋb2は、辺Ｈt1－Ｈt2が投影されたものであり、辺Ｋb4－Ｋb1は、辺Ｈt4－Ｈt1が投影されたものである。辺Ｋb1－Ｋb2と辺Ｋb4－Ｋb1との交点を特徴点（投影特徴点）Ｋb1とする。投影特徴点Ｋb1は、表面特徴点Ｈt1が投影されたものである。すなわち、光源１８1と表面特徴点Ｈt1とを直線（図４（ａ）では一点鎖線で示す。）で結び、表面特徴点Ｈt1を越えて延ばした底面１６ｂとの交点が投影特徴点Ｋb1である。表面特徴点Ｈt1から表面１５ａに対して垂直方向にある底面１６ｂにおける頂点Ｈb1を底面特徴点とする。
　図５は、本発明の一実施形態に係る位置姿勢計測システムの原理の説明図２である。図５は図４と同一の配置を示している。構成要素および各特徴点はｘｚ平面上にあるとしているので、それらの座標の成分のうち、ｙ座標は省略して（ｘ座標、ｚ座標）と表示する。
　図５を参照するに、測定部２２は、画像データから、表面特徴点Ｈt1、底面特徴点Ｈb1および投影特徴点Ｋb1のｘ座標を求める。マーカ１６の表面特徴点Ｈt1の座標を（Ｈt1x、Ｈt1z）、底面特徴点Ｈb1の座標を（Ｈb1x、Ｈb1z）、投影特徴点Ｋb1の座標を（Ｋb1x、Ｋb 1z）と表す。表面特徴点Ｈt1を通るｘ軸に平行な平面ｚ＝Ｈt1zにおいて、底面特徴点Ｈb1は、ピンホールレンズ２５のレンズ中心２５ａから視た場合、平面ｚ＝Ｈt1zとの交点ＰＨbの位置になるので、画像データでは座標が（Ｈb1x、Ｈt1z）と表すことができる。同様に、投影特徴点Ｋb1は、平面ｚ＝Ｈt1zとの交点ＰＫbの位置になるので、画像データでは座標が（Ｋb1x、Ｈt1z）と表すことができる。このようにして、測定部２２は、表面特徴点Ｈt1のｘ座標Ｈt1x、底面特徴点Ｈb1のｘ座標Ｈb1xおよび投影特徴点Ｋb1のｘ座標Ｋb1xを画像データから求める。
　演算部２３は、測定部２２により求めた表面特徴点Ｈt1、底面特徴点Ｈb1および投影特徴点Ｋb1の各々のｘ座標Ｈt1x、Ｈb1xおよびＫb1xと、予め設定された光源１８1の座標（Ｓ1x，Ｓ1z）およびマーカの段差Ｄと用いて、画像データから、幾何学的関係から得られる連立方程式（下記式（１）～（３））により、表面特徴点Ｈt1のｚ座標Ｈt1z、マーカの傾きθｘおよびｘｚ平面上の影の長さ＜Ｋb1x＞を求めて、マーカ１６の位置および傾きを取得する。
（Ｈt1z－Ｓ1z）（＜Ｋb1x＞cosθｘ―Ｖ1x―Ｄcosθｘ）＝Ｄcosθｘ（Ｓ1x－Ｈt1x）　…（１）
Ｈt1z（＜Ｋb1x＞cosθｘ＋Ｖ’1x）＝（Ｈb1x－Ｋb1x）（Ｈt1z＋Ｄcosθｘ）　　　　　…（２）
（Ｈt1x－Ｋb1x）＜Ｋb1x＞sinθｘ＝（Ｖ1x＋Ｖ’1x）（＜Ｋb1x＞sinθｘ＋Ｄcosθｘ）…（３）
　式（１）は、光源１８1、表面特徴点Ｈt1および底面特徴点Ｈb1の位置から相似三角形の関係から得られた式である。式（２）は、ピンホールレンズ２５のレンズ中心２５ａおよび底面特徴点Ｈb1の位置から相似三角形の関係から得られた式である。式（３）は、投影特徴点Ｋb1および表面特徴点Ｈt1の位置から相似三角形の関係から得られた式である。
　式（１）～（３）に含まれるＶ1xおよびＶ’1xは以下の通りである。表面特徴点Ｈt1が、光源１８1によって底面特徴点Ｈb1を通るｘ軸に平行な平面ｚ＝Ｈb1zに投影された点ＰAは、投影特徴点Ｋb1のｘ座標Ｋb1xに対してＶ1xだけずれる。また、投影特徴点Ｋb1は、ピンホールレンズ２５のレンズ中心２５ａから視た場合、平面ｚ＝Ｈb1zでは点ＰBの位置にあり、投影特徴点Ｋb1のｘ座標Ｋb1xに対してＶ’1xだけずれる。これらのずれＶ1x、Ｖ’1xは、幾何学的な関係により、以下の式（４）で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　上記式（１）～（３）は、解析的に解くことができるが、演算部２３により、数値計算、例えばニュートン法によって表面特徴点Ｈt1のｚ座標Ｈt1z、マーカの傾きθｘおよびｘｚ平面上の影の長さ＜Ｋb1x＞を求める。
　なお、マーカ１６がｙ軸に対しても傾いている場合は、測定部２２が画像データから、表面特徴点Ｈt1、底面特徴点Ｈb1および投影特徴点Ｋb1の各々のｘ座標およびｙ座標を測定し、演算部２３がｙ座標を考慮した式（１）～（３）を用いることで、マーカ１６の位置および傾きを取得する。
　以上により、マーカ１６の位置および姿勢を計測できる。さらにマーカ１６と加工物１５との位置関係の情報を予め３次元計測機等で取得し計測部２０に設定しておくことで、加工物１５の位置および姿勢を高精度に決定することができる。
　本実施形態に係るマーカ１６によれば、マーカ１６は、加工物１５の表面１５ａに形成された開口部１６ａと、表面１５ａから所定の段差Ｄを有する底面１６ｂとを有する。表面１５ａにおける表面特徴点Ｈt1と、底面１６ｂに投影された表面１５ａの影の表面特徴点Ｈt1に対応する投影特徴点Ｋb1とを撮像した画像から測定および演算によりマーカ１６の位置および姿勢を高精度に計測でき、それによって、加工物１５の位置および姿勢を高精度に決定することができる。
　本実施形態に係る位置姿勢計測装置２１によれば、加工物１５の表面１５ａに形成されたマーカ１６の表面特徴点Ｈt1と、底面１６ｂに投影された表面１５ａの影の表面特徴点Ｈt1に対応する投影特徴点Ｋb1とをカメラ１９によって撮像し、計測部２０により取得した画像における表面特徴点Ｈt1と光照射手段により光を照射して底面１６ｂに投影された表面１５ａの影に基づく投影特徴点Ｋb1との座標成分を測定および演算することによって、マーカ１６が設けられた加工物１５の位置および姿勢を高精度に計測可能できる。
　図６は、本発明の一実施形態に係る位置姿勢計測方法を示すフローチャートである。図６を図１、図２、図４および図５を合わせて参照しつつ、本発明の一実施形態に係る位置・姿勢計測方法を説明する。
　最初に、Ｓ１００では、カメラ１９および光照射部１８の光源の座標データを設定する。
具体的には、計測部２０は、カメラ１９のピンホールレンズ２５のレンズ中心２５ａの座標および光照射部１８の光源１８1～１８4の各座標を設定して、例えばメモリ（不図示）に格納する。この例では、レンズ中心２５ａを原点として光源１８1のｘおよびｚ座標成分を設定する。設定されたデータは、例えば、計測部２０のメモリに格納する。
　次いで、Ｓ１１０では、マーカの表面と底面との段差を設定する。具体的には、計測部２０は、マーカ１６の表面１５ａから底面１６ｂの段差Ｄを設定して、例えばメモリ（不図示）に格納する。
　Ｓ１２０では、カメラでマーカを撮像し、画像データから表面特徴点および底面特徴点の座標成分を測定する。具体的には、制御部２４によりカメラ１９でマーカ１６を撮像する。制御部２４は、光源Ｓ1～Ｓ4の一部または全て点灯してもよい。測定部２２は、撮像した画像データからマーカ１６の表面特徴点Ｈt1および表面特徴点から段差Ｄだけ底面１６ｂに下りた位置の底面特徴点Ｈb1の各ｘ座標Ｈt1x、Ｈb1xを測定データとして取得する。
　Ｓ１３０では、光源を点灯してカメラでマーカを撮像し、画像データから底面に投影されたマーカの表面の形状の影に基づいて投影特徴点の座標成分を測定する。具体的には、制御部２４により光源Ｓ1を点灯してマーカ１６の底面に表面１５ａの影を投影しカメラ１９でマーカ１６を撮像する。撮像した画像データから投影特徴点Ｋb1のｘ座標Ｋb1xを測定データとして取得する。
　Ｓ１４０では、設定データおよび測定データから演算によりマーカの位置および姿勢の情報を取得する。具体的には、演算部２３により、Ｓ１００およびＳ１１０における設定した光源１８1の座標（Ｓ1x，Ｓ1z）およびマーカの段差Ｄと、Ｓ１２０およびＳ１３０において測定した表面特徴点Ｈt1、底面特徴点Ｈb1および投影特徴点Ｋb1の各々のｘ座標Ｈt1x、Ｈb1xおよびＫb1xとを用いて、画像データから、幾何学的関係から得られる連立方程式（上記式（１）～（３））を数値計算、例えばニュートン法により、表面特徴点Ｈt1のｚ座標Ｈt1z、マーカの傾きθｘおよびｘｚ平面上の影の長さ＜Ｋb1x＞を求め、マーカ１６の表面特徴点Ｈt1の座標および姿勢θxを決定する。
　Ｓ１５０では、マーカの位置および姿勢の情報から加工物の位置および姿勢を決定する。具体的には、演算部２３により、Ｓ１４０で決定したマーカ１６の表面特徴点Ｈt1の座標および姿勢θxから、マーカ１６と加工物１５との位置関係の情報により加工物１５の位置および姿勢を決定する。なお、マーカと加工物との位置関係の情報は、予め計測部２０に設定する。
　Ｓ１００～Ｓ１５０によって、加工物に形成されたマーカを用いて加工物の位置および姿勢が計測される。なお、Ｓ１００とＳ１１０とは同時に行ってもよく、Ｓ１１０を先に行ってもよい。Ｓ１２０とＳ１３０とは同時に行ってもよく、Ｓ１３０を先に行ってもよい。
　本実施形態に係る位置姿勢計測方法によれば、マーカ１６を撮像し、取得した画像データから表面特徴点Ｈt1と、表面特徴点Ｈt1から所定の段差Ｄを有する底面１６ｂの底面特徴点Ｈb1の座標成分を測定し、光源Ｓ1により光を照射して底面１６ｂに投影された表面１５ａの影に基づく投影特徴点Ｋb1の座標成分を測定し、表面特徴点Ｈt1、底面特徴点Ｈb1および投影特徴点Ｋb1の座標成分に基づいてマーカ１６の位置および姿勢の情報を演算により決定することで、マーカ１６が設けられた加工物１５の位置および姿勢を高精度に計測可能である。
　図７は、本発明の一実施形態に係るマーカの変形例であり、（ａ）は平面図、（ｂ）は光源を点灯して底面に影を投影した図である。説明の便宜のため、先の図２に示したマーカ１６と異なる点を説明する。図７（ａ）を参照するに、マーカ１１６は、加工物１５の表面１５ａに平面視した形状が概して多角形、一例として四角形であり、アール形状の角部Ｒt1～Ｒt4と辺Ｓt1～Ｓt4からなる開口部１１６ａを有する。マーカ１１６の底面１１６ｂは、開口部１１６ａと同一形状を有し、アール形状の角部Ｒb1～Ｒb4と辺Ｓbt1～Ｓb4からなる形状を有する。
　開口部１１６ａの角部、例えばＲt1では、仮想的な頂点Ｈ’t1を、角部Ｒt1を挟む辺Ｓt1とＳt4を延長した交点とすることができる。底面１１６ｂでも同様に、仮想的な頂点Ｈ’b1を、角部Ｒb1を挟む辺Ｓb1とＳb4を延長した交点とすることができる。このようにして仮想的な頂点Ｈ’t1およびＨ’b1を求めることで、それぞれ表面特徴点Ｈ’t1および底面特徴点Ｈ’b1とすることができる。
　図７（ｂ）を（ａ）と合わせて参照するに、光源１８1を点灯してマーカ１１６に光を照射すると、表面の辺の影（暗部ＤＳ（ハッチング部分））が底面１１６ｂに投影される。暗部ＤＳと明部ＢＳとの境界、すなわち影の輪郭は辺Ｋs1およびＫs4とアール部を有する。アール部は、角部Ｒt1が投影されたものである。辺Ｋs1と辺Ｋs4とを延長した交点をＫ’b1とする。交点Ｋ’b1は、仮想的には表面特徴点Ｈ’t1が光源１８1によって投影されたものであり、仮想的な投影特徴点Ｋ’b1とすることができる。
　したがって、マーカ１１６は、マーカ１６と同様の機能を有し、本発明の一実施形態に係る位置・姿勢計測システムのマーカとして機能することができる。また、本発明の一実施形態に係る位置・姿勢計測方法のマーカとして使用できる。
　上記の説明では、マーカ１６、１１６は、底面１６ｂ、１１６ｂの形状が表面１５ａにおける開口部１６ａ、１１６ａの形状と四角形状で同一であるとした。底面１６ｂ、１１６ｂの形状は、開口部１６ａ、１１６ａの形状と異なってもよい。この場合でも、表面１５ａから底面１６ｂ、１１６ｂの段差Ｄは同一であるため、投影特徴点Ｋb1の位置は、底面１６ｂ、１１６ｂが四角形状の場合と同様であり、上記式（１）～（５）を適用することができる。
　上記の説明では、マーカ１６、１１６は、底面１６ｂ、１１６ｂの表面１５ａに対する相対姿勢が平行であるとした。底面１６ｂ、１１６ｂは、表面１５ａに対して平行以外の相対姿勢であってもよい。底面の相対姿勢のオフセット分だけ投影特徴点Ｋb1の位置が平行の場合と異なるが、上記式（１）～（５）の＜Ｋb1x＞をオフセット分だけ補償すればよい。オフセット分は予めマーカを３次元測定器で測定して計測部２０に設定しておけばよい。
　上記の説明では、マーカ１６、１１６は、加工物１５の表面１５ａに設けられたキャビティ（凹部）として説明した。マーカは、加工物１５の表面１５ａに設けられた突起体（凸部）であってもよい。突起体は、天面の形状がマーカ１６、１１６の開口部１６ａ、１１６ａと同様の形状である。この場合、表面特徴点Ｈt1は突起体の天面の頂点または仮想的な頂点から選択される。表面特徴点の影は加工物１５の表面１５ａに投影され、投影特徴点Ｋb1は、表面１５ａに形成される。加工物１５の表面１５ａは、投影特徴点Ｋb1が形成される程度に広ければよい。これにより、突起体のマーカは、上記式（１）～（５）を適用することで、マーカ１６，１１６と同様の機能を有し、本発明の一実施形態に係る位置・姿勢計測システムのマーカとして機能することができる。
　マーカ１６、１１６は、その表面１５ａ、底面１６ｂ、天面に、マーカ１６、１１６を形成した加工物１５の識別情報、属性情報等、例えば仕様番号、製造ロット番号等を表示してもよい。カメラ１９により撮像してその画像を計測部２０によって認識し、加工物１５を管理する。これにより、加工物１５の位置および姿勢の情報と識別情報、属性情報等を同時に取得して、生産管理が容易となる。
　以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。例えば、マーカ１６、１１６は、加工物１５を固定する治具に形成してもよい。これにより、加工物１５と治具との相対位置および相対姿勢の情報を予め設定することで、この情報を介して、本実施形態に係る位置姿勢計測装置２１および位置姿勢計測方法によってマーカ１６の位置および姿勢の情報から加工物の位置および姿勢を決定することができる。
　また、本実施形態に係るマーカ１６，１１６を有する加工物１５または治具は、マーカ１６，１１６によって加工物１５または治具の位置および姿勢を特定することが可能であるので、工作機械とロボット間で加工物１５の受渡しを行うことができる。
　加工物１５が図１に示したような移動ステージ１４や自走型搬送車（ＡＧＶ）に載置され、工場内の多数の工作機械により加工される場合にも本実施形態に係るマーカ１６，１１６、位置姿勢計測装置２１および位置姿勢計測方法を適用可能である。
１０　　工作機械
１４　　移動ステージ
１５　　加工物
１６，１１６　　マーカ
１７　　位置姿勢計測システム
１８　　光照射部
１９　　カメラ
２０　　計測部
２１　　位置姿勢計測装置
２２　　測定部
２３　　演算部
２４　　制御部

 

Claims (13)

  1. 　対象物の表面に設けられ、該対象物の位置および姿勢を計測可能なマーカであって、
    　第１の特徴点を有する第１の面と、
    　前記第１の特徴点から所定の段差を有し、かつ前記第１の面よりも下方に該第１の面と所定の相対姿勢を有して形成された第２の面と、を備え、
    　当該マーカを撮像手段によって撮影した画像における前記第２の面に投影された前記第１の面の影に基づいて前記第１の特徴点に対応する第２の特徴点を求め、前記第１の特徴点および第２の特徴点に基づいて前記対象物の位置および姿勢を計測可能な、前記マーカ。
  2. 　当該マーカは、前記対象物の表面に開口部を有する凹部であり、前記第１の面が該表面であり、前記第２の面が該凹部の底面である、請求項１記載のマーカ。
  3. 　前記開口部が多角形であり、前記第１の特徴点が該多角形の頂点である、請求項２記載のマーカ。
  4. 　前記開口部がアール形状を有する多角形であり、前記第１の特徴点が該多角形の仮想的な頂点である、請求項２記載のマーカ。
  5. 　当該マーカは、前記対象物の表面に形成された突起体であり、前記第１の面が該突起体の天面であり、前記第２の面が該表面である、請求項１記載のマーカ。
  6. 　前記天面の外形が多角形であり、前記第１の特徴点が該多角形の頂点である、請求項５記載のマーカ。
  7. 　前記天面の外形がアール形状を有する多角形であり、前記第１の特徴点が該多角形の仮想的な頂点である、請求項５記載のマーカ。
  8. 　対象物の表面に設けられ、請求項１～７のうちいずれか一項に記載のマーカに光を照射して前記第１の面の影を前記第２の面に形成可能な光照射手段と、
    　前記マーカを撮像する撮像手段と、
    　前記撮像手段によって撮像した前記マーカの画像における前記第２の面に投影された前記第１の面の影に基づいて前記第１の特徴点に対応する第２の特徴点を求め、前記第１の特徴点および第２の特徴点に基づいて前記対象物の位置および姿勢を取得する計測手段と、
    を備える装置。
  9. 　前記計測手段は、
    　前記撮像した前記マーカの画像から、前記第１の特徴点と、前記第２の面に投影された前記第１の面の影に基づく前記第１の特徴点に対応する第２の特徴点と、前記第１の特徴点から前記所定の段差を有する前記第２の面内の第３の特徴点との画像上の座標成分を測定する測定部と、
    　前記測定部により測定された前記第１～第３の特徴点の各々の座標成分に基づいて、前記第１～第３の特徴点の各々の他の座標成分を演算により求めて前記対象物の位置および姿勢を取得する演算部と、を有する、請求項８記載の装置。
  10. 　前記撮像手段は、前記対象物から離隔して広角で撮像して前記マーカの位置を検出し、該マーカを拡大して撮像可能な、請求項８または９記載の装置。
  11. 　対象物の表面に形成された、請求項１～７のうちいずれか一項に記載のマーカと、
    　請求項８～１０のうちいずれか一項に記載の装置と、
    を備えるシステム。
  12. 　請求項１１に記載のシステムにより対象物の位置および姿勢を計測する方法であって、
    　請求項１～７のうちいずれか一項に記載のマーカを撮像手段で撮像し、計測手段により取得した第１の画像データから前記第１の特徴点と、該第１の特徴点から前記所定の段差を有する前記第２の面内の第３の特徴点の座標成分を測定する第１の測定ステップと、
    　光照射手段により光を照射して前記撮像手段で前記マーカを撮像し、前記計測手段により取得した第２の画像データから前記第２の面に投影された前記第１の面の影に基づいて前記第１の特徴点に対応する前記第２の特徴点の座標成分を測定する第２の測定ステップと、
    　前記計測手段により前記第１および第２の測定ステップで取得した前記第１～第３の特徴点の座標成分に基づいて前記マーカの位置および姿勢の情報を演算により決定するステップと、
    を含む、前記方法。
  13. 　前記計測手段により、前記演算により決定するステップにおいて、前記所定の段差と前記光照射手段の座標成分を用いて演算を行う、請求項１２記載の方法。

     
PCT/JP2021/007710 2020-05-29 2021-03-01 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法 WO2021240934A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180033490.3A CN115516274A (zh) 2020-05-29 2021-03-01 用于测量对象物的位置以及姿势的标记、装置、系统以及测量方法
DE112021003059.0T DE112021003059T5 (de) 2020-05-29 2021-03-01 Marker, Gerät, System und Verfahren zur Messung und Berechnung der Position und der Orientierung eines Objekts

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-094365 2020-05-29
JP2020094365A JP7386531B2 (ja) 2020-05-29 2020-05-29 対象物の位置および姿勢の計測のためのマーカ、装置およびシステム

Publications (1)

Publication Number Publication Date
WO2021240934A1 true WO2021240934A1 (ja) 2021-12-02

Family

ID=78723304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007710 WO2021240934A1 (ja) 2020-05-29 2021-03-01 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法

Country Status (4)

Country Link
JP (1) JP7386531B2 (ja)
CN (1) CN115516274A (ja)
DE (1) DE112021003059T5 (ja)
WO (1) WO2021240934A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03131710A (ja) * 1989-10-18 1991-06-05 Nec Corp 位置決めマーク
JPH05312521A (ja) * 1992-05-13 1993-11-22 Nec Corp ターゲットマーク
US20070073133A1 (en) * 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
JP2018044897A (ja) * 2016-09-15 2018-03-22 株式会社五合 情報処理装置、カメラ、移動体、移動体システム、情報処理方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126067B2 (ja) 2014-11-28 2017-05-10 ファナック株式会社 工作機械及びロボットを備えた協働システム
JP6694643B2 (ja) 2016-02-19 2020-05-20 国立研究開発法人産業技術総合研究所 ワークの加工方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03131710A (ja) * 1989-10-18 1991-06-05 Nec Corp 位置決めマーク
JPH05312521A (ja) * 1992-05-13 1993-11-22 Nec Corp ターゲットマーク
US20070073133A1 (en) * 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
JP2018044897A (ja) * 2016-09-15 2018-03-22 株式会社五合 情報処理装置、カメラ、移動体、移動体システム、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP7386531B2 (ja) 2023-11-27
DE112021003059T5 (de) 2023-06-22
JP2021189033A (ja) 2021-12-13
CN115516274A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
US11544874B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
US8564655B2 (en) Three-dimensional measurement method and three-dimensional measurement apparatus
KR100948161B1 (ko) 카메라 보정 장치
US7502504B2 (en) Three-dimensional visual sensor
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
KR101379787B1 (ko) 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
JP2021193400A (ja) アーチファクトを測定するための方法
US20180156601A1 (en) Method and apparatus for determining the 3d coordinates of an object
So et al. Calibration of a dual-laser triangulation system for assembly line completeness inspection
WO2021240934A1 (ja) 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法
JPH09329418A (ja) カメラのキャリブレーション方法
JPH03259705A (ja) 折曲機の角度計測装置
JPH03268818A (ja) 折曲機の角度計測装置
JPH05329793A (ja) 視覚センサ
JPH05337785A (ja) 研削ロボットの研削経路修正装置
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法
TW202239546A (zh) 圖像處理系統及圖像處理方法
KR20170137495A (ko) 3차원 측정 장치
JP2015219209A (ja) 計測システム、照射装置、演算装置及び計測方法
JP2559646B2 (ja) 光学式測定装置における画像処理方法
JPH0567200A (ja) 光学式測定装置における画像処理方法
JPH0972713A (ja) 三次元位置姿勢計測装置
JPH0694637A (ja) 産業用ロボットのバリ検出装置およびバリ研削経路生成装置
JPH0566113A (ja) 光学式測定装置における誤差の補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21812628

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21812628

Country of ref document: EP

Kind code of ref document: A1