WO2021166809A1 - ３次元点の位置情報を生成する三次元測定装置 - Google Patents

３次元点の位置情報を生成する三次元測定装置 Download PDF

Info

Publication number
WO2021166809A1
WO2021166809A1 PCT/JP2021/005323 JP2021005323W WO2021166809A1 WO 2021166809 A1 WO2021166809 A1 WO 2021166809A1 JP 2021005323 W JP2021005323 W JP 2021005323W WO 2021166809 A1 WO2021166809 A1 WO 2021166809A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
dimensional
work
robot
measuring device
Prior art date
Application number
PCT/JP2021/005323
Other languages
English (en)
French (fr)
Inventor
祐輝 高橋
文和 藁科
中村　稔
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US17/759,099 priority Critical patent/US20230043994A1/en
Priority to DE112021001132.4T priority patent/DE112021001132T5/de
Priority to CN202180014636.XA priority patent/CN115087843A/zh
Priority to JP2022501856A priority patent/JP7328437B2/ja
Publication of WO2021166809A1 publication Critical patent/WO2021166809A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45061—Measuring robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot

Definitions

  • the present invention relates to a three-dimensional measuring device that generates position information of three-dimensional points.
  • a distance camera is known in which light is emitted from a light source and then reflected by a light receiving element on the surface of an object (for example, International Publication No. 1). (See 2018/042801). The distance camera detects the distance to an object based on the flight time of light and the speed of light for each pixel of the light receiving element.
  • a distance camera irradiates an object with light whose intensity is modulated at a predetermined cycle.
  • the distance camera calculates the distance from the distance camera to the object based on the phase difference between the light emitted from the light source and the reflected light. This measurement method is called the optical flight time method.
  • the distance camera can generate a distance image in which the color or density changes according to the distance acquired for each pixel.
  • the light receiving element of the distance camera receives light traveling in one path reflected on the surface of the object.
  • the light emitted from the light source may be reflected at a plurality of positions and returned to the distance camera.
  • the light may be reflected at a position different from the desired position and then reflected at the desired position and returned to the distance camera.
  • the light receiving element may receive light reflected by a plurality of paths. Such a plurality of routes are called multipath.
  • the distance to the object detected by the distance camera becomes long.
  • the distance to the object detected in each pixel changes depending on the form of light reflection.
  • the distance camera may not be able to set the three-dimensional point set on the surface of the object at the correct position.
  • the surface of the object may be detected in a concave shape even though the surface is flat.
  • the distance camera cannot accurately detect the position of the three-dimensional point on the surface of the object, so it is preferable to reduce the influence of the multipath.
  • the three-dimensional measuring device of the present disclosure is a distance camera that acquires the position information of a three-dimensional point on the surface of an object based on the flight time of light, and a process that processes the position information of the three-dimensional point acquired by the distance camera. It is equipped with a device.
  • the distance camera acquires the position information of the three-dimensional point at a plurality of relative positions and orientations of the distance camera with respect to the object.
  • the processing device includes a setting unit that sets a plurality of evaluation regions for evaluating the positions of three-dimensional points corresponding to the surface of the object with respect to the object.
  • the processing device includes a specific unit that identifies a predetermined reference plane, a reference point, or a three-dimensional point closest to the reference line among the three-dimensional points detected in the evaluation region.
  • the processing device generates the position information of the three-dimensional points by synthesizing the position information of the plurality of three-dimensional points acquired by the distance camera based on the plurality of three-dimensional points specified for each evaluation area by the specific unit. Includes generator.
  • FIG. 5 is a partial cross-sectional view of a work and a camera when capturing a first distance image in the third robot device of the embodiment.
  • FIG. 5 is a perspective view of a camera and a work for explaining an evaluation range in which an evaluation area is arranged in the third robot device. It is a perspective view of the evaluation area in the 3rd robot apparatus. It is sectional drawing of the work explaining the 3D point specified by the specific part in the 3rd robot apparatus.
  • FIG. 3 is a perspective view of a light receiving element and an optical center for explaining the size of the evaluation region in the third robot device. It is a perspective view explaining the orientation of the camera at the time of taking a plurality of distance images in the 3rd robot apparatus. It is a side view of the camera and work of the 4th robot apparatus in embodiment.
  • FIG. 5 is a partial cross-sectional view of a camera and a workpiece of the fifth robot device according to the embodiment.
  • FIG. 5 is a perspective view of a camera and a work for explaining an evaluation range in which an evaluation area is arranged in the fifth robot device. It is a perspective view of the evaluation area in the 5th robot apparatus.
  • the robot 1 of the present embodiment is an articulated robot including a plurality of joint portions 18.
  • the robot 1 includes an upper arm 11 and a lower arm 12.
  • the lower arm 12 is supported by the swivel base 13.
  • the swivel base 13 is supported by the base 14.
  • the robot 1 includes a wrist 15 connected to the end of the upper arm 11.
  • Listing 15 includes a flange 16 that secures the hand 5.
  • the components of the robot 1 are formed so as to rotate around a predetermined drive shaft.
  • the robot is not limited to this form, and any robot capable of moving a work tool or a work can be adopted.
  • the robot device 3 includes a camera 31 as a distance camera that acquires position information of a three-dimensional point corresponding to the surface of the work 62 as an object.
  • the camera 31 of the present embodiment is a TOF (Time of Flight) camera that acquires position information of a three-dimensional point based on the flight time of light.
  • the TOF camera includes a light receiving element having a plurality of pixels arranged two-dimensionally.
  • the light receiving element includes, for example, a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
  • the camera 31 is supported by the robot 1.
  • the camera 31 is fixed to the flange 16 via the support member 35.
  • the camera 31 moves with the hand 5.
  • the camera 31 is arranged so that the portion of the work 62 gripped by the hand 5 can be imaged.
  • the camera 31 can acquire the position information of the three-dimensional point corresponding to the surface of the object in the form of a distance image or a three-dimensional map.
  • the distance image is an image that represents the position information of a three-dimensional point.
  • the position of the surface of the object or the distance from the camera 31 is represented by the density or color of each pixel.
  • the three-dimensional map represents three-dimensional information as a set of coordinate values (x, y, z) of the measured three-dimensional points.
  • a distance image will be described as an example of position information of a three-dimensional point.
  • the robot 1 of the present embodiment includes a robot driving device 21 that drives components such as an upper arm 11.
  • the robot drive device 21 includes a plurality of drive motors for driving the upper arm 11, the lower arm 12, the swivel base 13, and the wrist 15.
  • the hand 5 includes a hand driving device 22 that drives the hand 5.
  • the hand drive device 22 of the present embodiment drives the hand 5 by air pressure.
  • the hand drive device 22 includes a pump, a solenoid valve, and the like for reducing the pressure in the space inside the suction pad.
  • the control device 2 controls the robot 1 and the hand 5.
  • the control device 2 includes an arithmetic processing unit (computer) including a CPU (Central Processing Unit) as a processor.
  • the arithmetic processing unit has a RAM (Random Access Memory), a ROM (Read Only Memory), and the like connected to the CPU via a bus.
  • the robot 1 of the present embodiment automatically conveys the work 62 based on the operation program 41.
  • the robot drive device 21 and the hand drive device 22 are controlled by the control device 2.
  • the control device 2 includes a storage unit 42 that stores information related to the control of the robot device 3.
  • the storage unit 42 can be composed of a storage medium that can store information such as a volatile memory, a non-volatile memory, or a hard disk.
  • An operation program 41 created in advance for performing the operation of the robot 1 is input to the control device 2.
  • the operation program 41 is stored in the storage unit 42.
  • a world coordinate system 71 that is immovable when the position and posture of the robot 1 changes is set.
  • the origin of the world coordinate system 71 is arranged on the base 14 of the robot 1.
  • the world coordinate system 71 is also referred to as a reference coordinate system.
  • the position of the origin is fixed, and the direction of the coordinate axes is also fixed. Even if the position and posture of the robot 1 change, the position and posture of the world coordinate system 71 do not change.
  • the world coordinate system 71 has an X-axis, a Y-axis, and a Z-axis that are orthogonal to each other as coordinate axes.
  • the W axis is set as a coordinate axis around the X axis.
  • the P-axis is set as the coordinate axis around the Y-axis.
  • the R axis is set as the coordinate axis around the Z axis.
  • the robot device 3 is set with a tool coordinate system 72 having an origin set at an arbitrary position of the work tool.
  • the tool coordinate system 72 is a coordinate system in which the position and orientation change with the hand 5.
  • the origin of the tool coordinate system 72 is set to the tool tip point.
  • the origin of the tool coordinate system 72 is arranged on the rotation axis of the flange 16.
  • the tool coordinate system 72 has an X-axis, a Y-axis, and a Z-axis that are orthogonal to each other.
  • the tool coordinate system 72 has a W axis around the X axis, a P axis around the Y axis, and an R axis around the Z axis.
  • the camera coordinate system 73 is set for the camera 31.
  • the camera coordinate system 73 is a coordinate system in which the position and orientation change together with the camera 31.
  • the origin of the camera coordinate system 73 of this embodiment is set at the optical center of the camera 31.
  • the camera coordinate system 73 has an X-axis, a Y-axis, and a Z-axis that are orthogonal to each other.
  • the camera coordinate system 73 of the present embodiment is set so that the Z axis overlaps with the optical axis of the camera 31.
  • the robot device 3 of the present embodiment functions as a three-dimensional measuring device that detects the work 62.
  • the three-dimensional measuring device includes a camera 31 and a processing device that processes the position information of the three-dimensional points acquired by the camera 31.
  • the control device 2 includes a processing unit 51 that processes the position information of the three-dimensional point.
  • the processing unit 51 functions as a processing device.
  • the processing unit 51 includes a position acquisition unit 52 that acquires position information of a three-dimensional point from the camera 31.
  • the processing unit 51 includes a conversion unit 53 that converts the position information of the three-dimensional point with respect to the camera 31 into the position information of the three-dimensional point with respect to the work 62.
  • the processing unit 51 includes a setting unit 56 that sets a plurality of evaluation areas for evaluating the positions of three-dimensional points corresponding to the surface of the work 62 with respect to the work 62.
  • the processing unit 51 includes a specific unit 54 that identifies a reference plane, a reference point, or a three-dimensional point closest to the reference line in the evaluation region for evaluating the position of the three-dimensional point.
  • the processing unit 51 includes a generation unit 55 that generates the position information of the three-dimensional points by synthesizing the position information of the plurality of three-dimensional points acquired by the camera 31.
  • the processing unit 51 includes an operation command unit 58 that generates an operation command for driving the robot 1 based on the position information of the three-dimensional points after synthesis.
  • the processing unit 51 includes an image pickup control unit 57 that sends a command to image an image to the camera 31.
  • the robot device 3 includes a moving device that moves one of the work 62 and the camera 31 to change the relative position of the camera 31 with respect to the work 62.
  • the robot 1 functions as a moving device for moving the camera 31.
  • the operation command unit 58 generates an operation command for the robot 1 so that the hand 5 can grip the surface 63a based on the position of the surface 63a of the work 62.
  • the operation command unit 58 sends an operation command to the operation control unit 43.
  • the motion control unit 43 grips the work 62 with the hand 5 after changing the position and posture of the robot 1 based on the motion command. Then, the robot 1 conveys the work 62 to the target position based on the operation program 41.
  • the light emitted from the light source may be reflected by the wall portion 64 and directed to the surface 63a as shown by the arrow 103. After this, the light returns to the light receiving element as shown by arrow 102. In this way, the light from the light source travels along a plurality of paths including the path indicated by the arrow 101 and the path indicated by the arrow 103, and returns to the light receiving element. That is, the light receiving element receives the light returned by multipath. If the light reflected multiple times is included, the flight time of the light detected by the light receiving element is detected for a long time. Although two paths are shown in FIG. 4 for explanation, in reality, since the light reflected at various positions of the wall portion 64 is directed to the surface 63a, the light receiving element has many paths. It may receive the light that travels.
  • the camera 31 of the present embodiment detects the phase delay of the reflected light with respect to the light emitted from the light source as a method of measuring the flight time of the light.
  • the camera 31 takes images at a plurality of timings having different phases from each other with respect to the light emitted from the light source.
  • imaging is repeated at four types of imaging timings (0 °, 90 °, 180 ° and 270 °).
  • FIG. 5 shows the light receiving amounts Q1, Q2, Q3, and Q4 in one pixel of the light receiving element.
  • the distance L to the object corresponding to the pixel at this time can be calculated from, for example, the following equation (1).
  • c is the speed of light
  • f is the modulation frequency of the light emitted from the light source.
  • the time of receiving the light emitted from the light source becomes later than the time of receiving the light in the first path.
  • the light receiving amounts Q1, Q2, Q3, and Q4 received at the four types of imaging timings are different from those of the first path. For example, when the imaging timing is 0 °, the light receiving amount Q1 in the second path is smaller than the light receiving amount Q1 in the first path.
  • the distance L is calculated by the above equation (1), the distance L corresponding to each pixel is longer than the distance L in the first path.
  • FIG. 6 shows an example of a distance image when there is no influence of multipath.
  • FIG. 7 shows an example of a distance image when the influence of multipath occurs.
  • the shape of the work 62 is shown by a broken line for reference.
  • the darker the color the farther the distance from the camera 31.
  • the density is substantially the same over the entire surface of the plate-shaped portion 63 of the work 62.
  • the color becomes lighter as it gets closer to the camera 31.
  • the distance image 87 receives light by multipath.
  • the camera 31 detects the position information of the three-dimensional point 81 for each pixel.
  • three-dimensional points 81 with respect to the cross-sectional shape when the work 62 is cut by one surface are shown.
  • the position information of the three-dimensional point 81 output from the camera 31 is represented by the camera coordinate system 73.
  • the position information of the three-dimensional point 81 is represented by the X-axis coordinate value, the Y-axis coordinate value, and the Z-axis coordinate value in the camera coordinate system 73. Since the light received by the camera 31 is affected by multipath, the position of the three-dimensional point 81 may be separated from the surface 63a of the plate-shaped portion 63.
  • step 114 the processing unit 51 determines whether or not imaging has been performed at all positions of the predetermined camera 31. In step 114, if the position for imaging by the camera 31 remains, the control shifts to step 112. Then, the control of steps 112 to 114 is repeated.
  • step 116 the identification unit 54 of the processing unit 51 identifies a three-dimensional point close to the surface 63a of the work 62 among the three-dimensional points included in the first distance image and the second distance image.
  • FIG. 12 shows a perspective view of a camera and a work for explaining an evaluation range in which an evaluation area is arranged in the first robot device.
  • FIG. 13 shows a perspective view of the evaluation area in the first robot device.
  • the setting unit 56 of the processing unit 51 sets an evaluation range 91, which is a range for evaluating the three-dimensional points 81 and 82.
  • the setting unit 56 sets a plurality of evaluation regions 92 for the work 62 in order to evaluate the positions of the three-dimensional points 81 and 82 corresponding to the surface 63a of the work 62.
  • the evaluation range 91 includes a plurality of evaluation areas 92.
  • the evaluation area 92 and the evaluation range 91 are preset and stored in the storage unit 42.
  • the setting unit 56 acquires the evaluation area 92 and the evaluation range 91 from the storage unit 42, and sets the evaluation area 92 and the evaluation range 91 for the work 62.
  • the evaluation range 91 is preferably formed so as to include a portion for evaluating the work 62.
  • the evaluation range 91 is set to include the surface 63a for evaluating the work 62. Further, in the present embodiment, the evaluation range 91 is set to include the work 62.
  • the identification unit 54 detects the three-dimensional points 81 and 82 included in the respective evaluation areas 92 based on the positions of the three-dimensional points 81 and 82.
  • the distance from the camera 31 to the three-dimensional point becomes long. Therefore, it can be determined that the shorter the distance from the moving plane 78 as the reference plane to the three-dimensional point, the smaller the influence of multipath.
  • the identification unit 54 identifies the three-dimensional point closest to the moving plane 78 among the plurality of three-dimensional points 81 and 82 arranged inside the evaluation area 92.
  • the specific unit 54 calculates the distance from the moving plane 78 to the respective three-dimensional points 81 and 82. In the example shown in FIG. 13, one three-dimensional point 82 is closer to the moving plane 78 than the two three-dimensional points 81. Therefore, the identification unit 54 specifies the three-dimensional point 82. Then, the specific unit 54 controls to exclude the two three-dimensional points 81 from the set of three-dimensional points. In this way, the identification unit 54 controls to specify the three-dimensional point closest to one reference plane for each evaluation region 92.
  • FIG. 14 shows a cross-sectional view of the work showing the position of the three-dimensional point after being specified by the specific portion. From the plurality of three-dimensional points 81 and 82 shown in FIG. 11, the three-dimensional points 81 and 82 closest to the moving plane 78 in each evaluation region 92 are extracted. By specifying the three-dimensional points 81 and 82 in the specific portion 54 in this way, the three-dimensional points close to the surface 63a can be left. That is, it is possible to leave a three-dimensional point that is less affected by multipath.
  • the specific unit 54 may control to delete the three-dimensional point on the wall unit 64.
  • the approximate position of the surface 63a can be predetermined.
  • the specific unit 54 can control to delete a three-dimensional point that deviates from the position of the surface 63a within a predetermined range.
  • the generation unit 55 of the processing unit 51 synthesizes the position information of the plurality of three-dimensional points based on the plurality of three-dimensional points 81 and 82 specified by the specific unit 54.
  • the position information of the three-dimensional point is generated.
  • the generation unit 55 can generate a distance image at all the three-dimensional points specified by the specific unit 54.
  • the generation unit 55 may generate the position information of the three-dimensional points in the form of a three-dimensional map. In this way, the processing unit 51 can generate the position information of the three-dimensional points that are less affected by the multipath, based on the position information of the three-dimensional points captured at the plurality of positions of the camera 31.
  • FIG. 15 shows a perspective view of a light receiving element and an optical center for explaining the size of the evaluation region in the present embodiment.
  • the evaluation area 92 can be set to any size. However, it is preferable that the evaluation region 92 includes at least one three-dimensional point. Further, if the evaluation area 92 is too large, the number of three-dimensional points specified by the specific unit 54 decreases.
  • the setting unit 56 of the processing unit 51 of the present embodiment sets a predetermined evaluation area, but the present invention is not limited to this mode.
  • the setting unit may be formed so that the size or shape of the evaluation area can be changed.
  • the setting unit can detect the shape of the work and set an evaluation area of the shape and size corresponding to the shape of the work.
  • the setting unit may set a plurality of types of setting areas having different shapes and sizes for one work based on the shape of the work.
  • FIG. 16 shows a perspective view and a plan view of an imaging region for explaining the position of the camera when the camera is arranged with respect to the work.
  • the camera 31 can be arranged at an arbitrary position so as to include at least a part of the target portion of the work 62.
  • the arrow 108 indicates the optical axis of the camera 31 when the camera 31 is arranged at the position P31a.
  • the position P31a is arranged directly above the central portion of the surface 63a of the work 62.
  • a virtual surface 97 separated from the moving plane 78 at a distance d is set.
  • the imaging region 31a on the virtual surface 97 is calculated.
  • the imaging region 31a on the virtual surface 97 has a quadrangular shape.
  • a region 97b is set by multiplying the width W and the height H of the quadrangle of the imaging region 31a by a predetermined constant.
  • the region 97b is set by multiplying the width W and the height H by 0.6.
  • the position P31c of the camera 31 can be set so that the optical axis shown by the arrow 109 is arranged at the position corresponding to the corner of the region 97b.
  • the camera 31 can be arranged so that the optical axis is arranged at the apex of the angle of view at a predetermined ratio with respect to the angle of view of the camera.
  • the cameras 31 are arranged at a plurality of positions P31a and P31c along the moving plane 78.
  • the position where the camera is arranged the position where the optical axis is arranged at the end of the area where the work is arranged can be adopted.
  • the camera may be arranged so that the optical axis is arranged at a position obtained by dividing a predetermined area into equal parts.
  • a work having a wall portion standing on the surface of the plate-shaped portion is taken as an example for explanation, but the present invention is not limited to this embodiment.
  • the three-dimensional measuring device in the present embodiment can be applied to the measurement of an arbitrary object that receives light by multipath.
  • the work 66 has the groove 66a
  • FIG. 18 shows a perspective view of the third work and the table in the present embodiment.
  • the cross-sectional shape of the surface 67a is formed into a corrugated shape. Even when the surface 67a having such recesses and protrusions is detected, light reception by multipath may occur.
  • light reception by multipath may be caused by objects placed around the work.
  • the work 67 is placed on the table 68.
  • a rod-shaped member 69 serving as a pillar is fixed to the table 68.
  • the work 67 is arranged in the vicinity of the rod-shaped member 69.
  • the position information of the three-dimensional points in which the influence of the multipath is reduced by measuring with the three-dimensional measuring device in the present embodiment.
  • the three-dimensional measuring device of the present embodiment can generate position information of three-dimensional points with reduced multipath even when it is unknown how multipath occurs.
  • FIG. 19 shows a side view of the second robot device according to the present embodiment.
  • the robot 1 supports the work 62 via the hand 5.
  • the camera 31 is fixed to the gantry 65.
  • the robot 1 functions as a moving device for moving the work 62.
  • the second robot device 4 also detects the surface 63a of the work 62.
  • the second robot device 4 functions as a three-dimensional measuring device.
  • the coordinate measuring device can detect the position of the work 62 with respect to the hand 5, for example.
  • the three-dimensional measuring device can detect the deviation of the grip of the work 62.
  • the coordinate measuring device can detect, for example, the shape of the surface 63a of the work 62.
  • the coordinate measuring device can inspect the dimensions of the work 62.
  • the robot 1 moves the work 62 along a predetermined movement plane 78.
  • the robot 1 moves the work 62 in parallel while maintaining the posture of the work 62 constant.
  • the moving plane 78 is, for example, a plane extending in the horizontal direction.
  • the control device 2 changes the position and orientation of the robot 1 so that the origin of the tool coordinate system 72 moves on the moving plane 78. Further, the control device 2 controls the posture of the robot 1 so that the Z axis of the tool coordinate system 72 faces in a predetermined direction.
  • the camera 31 captures a distance image at a plurality of positions of the work 62.
  • the camera 31 captures the first distance image with the work 62 arranged at the first position P62a.
  • the camera 31 captures a second distance image while the work 62 is arranged at the second position P62b.
  • the position of the three-dimensional point corresponding to the surface 63a of the work 62 is represented by the camera coordinate system 73.
  • the position acquisition unit 52 of the processing unit 51 acquires the distance image and the position and posture of the robot 1 when the distance image is captured.
  • the position acquisition unit 52 stores the distance image in the storage unit 42 in combination with the position and posture of the robot 1.
  • the processing unit 51 After the imaging is completed at the plurality of positions P62a and P62b of the work 62, the processing unit 51 generates three-dimensional position information obtained by synthesizing the plurality of distance images.
  • the conversion unit 53 converts the position information of the three-dimensional points represented by the camera coordinate system 73 into the position information of the three-dimensional points represented by the tool coordinate system 72 based on the position and orientation of the robot 1. ..
  • FIG. 20 shows a partial cross-sectional view of a work and a camera when a plurality of three-dimensional points included in a distance image corresponding to a plurality of positions are arranged on the work.
  • the specific unit 54 arranges the three-dimensional points included in the first distance image and the second distance image on the work 62.
  • a three-dimensional point 81 included in the first distance image and a three-dimensional point 82 included in the second distance image are shown in the vicinity of the surface 63a and the surface 63a of the work 62.
  • Each of the three-dimensional points 81 and 82 is represented by the tool coordinate system 72.
  • the specific unit 54 calculates the positions of the three-dimensional points 81 and 82 when the work 62 is arranged at one position. For example, the positions of the three-dimensional points 81 and 82 when the work 62 is arranged at the first position P62a are calculated. Further, the specific unit 54 converts the position information of the three-dimensional points represented by the tool coordinate system 72 into the position information of the three-dimensional points represented by the world coordinate system 71 based on the position and posture of the robot 1. do.
  • the reference plane 79 for the identification unit 54 to specify the three-dimensional points 81 and 82 is predetermined. In the second robot device 4, a reference plane 79 passing through the optical center 31c of the camera 31 is defined. In the example here, the reference plane 79 is a plane parallel to the moving plane 78.
  • the evaluation range is predetermined so as to include the surface 63a of the work 62.
  • a plurality of evaluation regions extending in the direction perpendicular to the reference plane 79 are predetermined (see FIGS. 12 and 13).
  • the identification unit 54 identifies the three-dimensional point closest to the reference plane 79 in each evaluation region.
  • the generation unit 55 can generate the position information of the three-dimensional point after synthesis based on the three-dimensional point specified by the specific unit 54.
  • the camera or work is translated, but the present invention is not limited to this form.
  • Both the camera and the workpiece may be translated.
  • the camera and the work may be translated in opposite directions along the moving plane.
  • the movement of the camera and the work is not limited to the parallel movement along the moving plane, and the image may be taken at a position deviating from the moving plane.
  • a camera or a work may be arranged at a position away from the moving plane to take an image.
  • the moving device for moving the camera or work is not limited to the robot, and any device capable of moving the camera or work can be adopted.
  • a device with a conveyor that conveys the work a device that moves the work or camera in the X-axis, Y-axis, and Z-axis directions that are orthogonal to each other, or a device that has a cylinder that moves the work or camera in one direction. Etc. can be adopted as a mobile device.
  • FIG. 21 shows a side view of the inspection device according to the present embodiment.
  • FIG. 22 shows a block diagram of the inspection device according to the present embodiment.
  • the inspection device 7 functions as a three-dimensional measuring device.
  • the three-dimensional measuring device may not be provided with a moving device such as the robot 1 described above.
  • the inspection device 7 includes a first camera 31 and a second camera 32 as a plurality of distance cameras.
  • Each of the cameras 31 and 32 is a TOF camera.
  • the cameras 31 and 32 are supported by the support member 35.
  • the cameras 31 and 32 are fixed at positions separated from each other along the arrangement plane 75.
  • the positions of the cameras 31 and 32 are predetermined.
  • the cameras 31 and 32 are arranged so as to image the work 62 from different positions.
  • the optical centers 31c and 32c are arranged on the arrangement plane 75.
  • each of the cameras 31 and 32 is arranged so that the optical axis faces a predetermined direction. That is, the postures of the cameras 31 and 32 are the same as each other.
  • the work 62 is mounted on the gantry 61. In this way, both the work 62 and the cameras 31 and 32 are fixed at predetermined positions.
  • the world coordinate system 71 as a reference coordinate system is set.
  • the world coordinate system 71 is set so that the origin is arranged on the surface of the gantry 61.
  • a camera coordinate system is set for each of the cameras 31 and 32. In each camera coordinate system, the optical center of the cameras 31 and 32 is the origin, and the Z axis is set to overlap the optical axis.
  • the inspection device 7 includes a control device 8 composed of an arithmetic processing device including a CPU.
  • the control device 8 includes a storage unit 42 and a processing unit 51 similar to the control device 2 of the first robot device 3 (see FIG. 2).
  • the processing unit 51 includes an imaging control unit 57 that controls the cameras 31 and 32.
  • the processing unit 51 includes a position acquisition unit 52, a conversion unit 53, a setting unit 56, a specific unit 54, and a generation unit 55 in order to process the distance image acquired by the cameras 31 and 32.
  • a plurality of cameras 31 and 32 are arranged instead of the robot 1 changing the imaging position of the camera 31. There is. Then, a plurality of distance images are captured by a plurality of cameras 31 and 32 having different positions. For example, the first camera 31 captures a first distance image, and the second camera 32 captures a second distance image.
  • the positions of the cameras 31 and 32 are stored in advance in the storage unit 42.
  • the storage unit 42 stores the distance image captured by the camera 31 and the camera 32.
  • the conversion unit 53 converts the position information of the three-dimensional points with respect to the cameras 31 and 32 into the position information with respect to the work 62.
  • the conversion unit 53 converts the position information of the three-dimensional points detected in the camera coordinate systems of the respective cameras 31 and 32 into the position information of the three-dimensional points in the world coordinate system 71.
  • the reference plane is predetermined.
  • the same plane as the arrangement plane 75 is adopted as the reference plane.
  • Any plane can be adopted as the reference plane.
  • the reference plane may be a plane parallel to the arrangement plane 75.
  • the setting unit 56 sets the evaluation range and the evaluation area.
  • the evaluation range and the evaluation area for evaluating the position of the three-dimensional point are predetermined.
  • the evaluation range is set to include the surface 63a of the work 62 to be evaluated.
  • the evaluation area is set by dividing the evaluation range into a plurality of parts.
  • the evaluation region can be configured by a rectangular parallelepiped region extending in a direction perpendicular to the arrangement plane 75 as a reference plane.
  • the identification unit 54 can specify the three-dimensional point having the shortest distance from the arrangement plane 75 in each evaluation region.
  • the generation unit 55 can generate the position information of the three-dimensional point after synthesis based on the three-dimensional point specified by the specific unit 54.
  • the control device 8 can inspect the surface of the work 62 based on the position information of the three-dimensional points after synthesis. For example, the control device 8 can inspect the dimensions of the outer edge of the work based on a predetermined determination value. Alternatively, when the concave or convex portion is formed on the surface of the work, the shape of the concave or convex portion can be inspected.
  • the coordinate measuring device may include three or more cameras.
  • the three-dimensional measuring device can synthesize distance images captured by a plurality of cameras. Since the other configurations, actions, and effects of the inspection device are the same as those of the first robot device and the second robot device in the present embodiment, the description will not be repeated here.
  • FIG. 23 shows a partial cross-sectional view of the camera and the work in the third robot device according to the present embodiment.
  • the configuration of the third robot device is the same as that of the first robot device (see FIG. 1).
  • the third robot device includes a rotating device that changes the relative posture of the camera 31 with respect to the work 62.
  • the robot 1 functions as a rotating device.
  • the camera 31 acquires the position information of the three-dimensional point by changing the relative posture of the camera 31 with respect to the work 62.
  • the robot 1 rotates the camera 31 around the optical center 31c of the camera 31 as a predetermined center point.
  • the camera 31 captures a distance image in a plurality of predetermined relative postures.
  • the camera 31 captures a first distance image in the first posture R31a.
  • the position information of the three-dimensional point 81 corresponding to the surface 63a of the work 62 and the surface of the wall portion 64 is acquired.
  • the position acquisition unit 52 acquires the position and posture of the robot 1 when the first distance image is captured together with the first distance image.
  • the storage unit 42 stores the position and posture of the robot 1 in combination with the first distance image.
  • the position information of the three-dimensional point at this time is represented by the camera coordinate system.
  • FIG. 24 shows a partial cross-sectional view of the camera and the work when the camera is arranged in the second posture.
  • the camera 31 rotates with the optical center 31c as the center of rotation.
  • the camera 31 acquires a second distance image in the second posture R31b.
  • the wall portion 64 is arranged outside the imaging region 31a of the camera 31. Therefore, in the second distance image, the position information of the three-dimensional point 82 arranged on the surface 63a of the work 62 is acquired.
  • the storage unit 42 stores the second distance image and the position and posture of the robot 1 when the second distance image is captured in combination.
  • the position information of the three-dimensional point at this time is represented by the camera coordinate system.
  • the distance image is captured by the two postures R31a and R31b of the camera 31, but the present embodiment is not limited to this mode.
  • a distance image may be captured in three or more postures of the camera 31.
  • the conversion unit 53 converts the positions of the three-dimensional points 81 and 82 from the camera coordinate system 73 to the world coordinate system 71.
  • FIG. 25 shows a partial cross-sectional view of the camera and the work when the three-dimensional points acquired in a plurality of postures of the camera are arranged on the work.
  • the specific unit 54 arranges the three-dimensional points 81 and 82 included in the first distance image and the second distance image on the work 62.
  • FIG. 26 shows a perspective view of an evaluation range for evaluating the position of a three-dimensional point.
  • FIG. 27 shows a perspective view of an evaluation area for evaluating the position of a three-dimensional point.
  • the setting unit 56 sets the evaluation range and the evaluation area.
  • an evaluation area 94 for evaluating the position of the three-dimensional point corresponding to the surface 63a of the work 62 is predetermined for the work 62.
  • a plurality of evaluation areas 94 are set inside the evaluation range 93.
  • Each evaluation area 94 is an area extending radially from a reference point set in advance with respect to the work 62.
  • the evaluation region 94 has the shape of a cone.
  • the optical center 31c of the camera 31 is adopted as the reference point. That is, the reference point is the center point at which the camera 31 is rotated.
  • the evaluation area 94 is set at an angle ⁇ and an angle ⁇ in a spherical coordinate system with the reference point as the origin.
  • the reference point is not limited to this form, and can be arranged on the same side as the side where the rotation center point of the camera is arranged with respect to the work. That is, a reference point away from the center point at which the camera 31 rotates may be set.
  • the evaluation area 94 is set by dividing the evaluation range 93 into a plurality of parts.
  • the evaluation range 93 is a range extending radially around the optical center 31c.
  • the evaluation range 93 preferably includes a portion to be evaluated inside the evaluation range 93.
  • the evaluation range 93 is set so that the surface 63a of the work 62 is included inside the evaluation range 93.
  • the identification unit 54 is closest to the optical center 31c as a reference point among the three-dimensional points 81 and 82 detected inside the evaluation region 94 in each evaluation region 94. Identify the 3D point. In the example shown in FIG. 27, since one three-dimensional point 82 is closer to the optical center 31c than the two three-dimensional points 81, the identification unit 54 specifies the three-dimensional point 82. The identification unit 54 controls all the evaluation regions 94 to specify the three-dimensional point closest to the reference point.
  • FIG. 28 shows a cross-sectional view of the work showing the three-dimensional points specified by the specific portion.
  • the three-dimensional point having the shortest distance from the reference point is extracted in each evaluation region 94.
  • Three-dimensional points away from the surface of the work 62 are excluded.
  • the three-dimensional point 81 remains on the surface of the wall portion 64.
  • the specific portion 54 can exclude the three-dimensional point 81 detected corresponding to the surface of the wall portion 64 by any method. For example, a three-dimensional point 81 that exceeds a predetermined range of positions can be excluded.
  • the generation unit 55 synthesizes the position information of the plurality of three-dimensional points acquired by the camera 31 based on the plurality of three-dimensional points specified by the specific unit 54. Generates the position information of the dimension point.
  • the generation unit 55 can generate a distance image based on the three-dimensional point 82 arranged corresponding to the surface 63a of the plate-shaped portion 63 of the work 62.
  • FIG. 29 shows a perspective view for explaining the size of the evaluation area in the third robot device.
  • the evaluation area 94 can be set to any size.
  • one pixel 99 in the light receiving element 96 of the camera 31 is specified.
  • the angle ⁇ and the angle ⁇ in the spherical coordinates can be set by the straight line extending from the apex of the pixel 99 to the optical center 31c.
  • the region of the cone based on the angle ⁇ and the angle ⁇ can be set in the evaluation region 94. In this way, the angle corresponding to one pixel can be set to the angle of the cone in the evaluation region.
  • FIG. 30 shows a perspective view and a plan view of an imaging region for explaining the posture when the camera is rotated.
  • the angle at which the camera 31 is rotated can be set to any angle.
  • the virtual surface 97 away from the camera 31 is set.
  • the virtual surface 97 is a plane perpendicular to the optical axis indicated by the arrow 108 when the camera 31 is arranged in the first posture R31a.
  • points having a predetermined ratio of the angle of view to the angle of view of the camera 31 can be set.
  • the posture of the camera 31 can be set so that the optical axis of the camera 31 is arranged at this point.
  • the region 98 can be calculated by multiplying the imaging region 31a on the virtual surface 97 by a predetermined ratio with respect to the angle of view.
  • the posture R31c of the camera 31 can be set so that the optical axis is arranged at the position of the apex 100a of the region 98.
  • the posture R31c of the camera 31 can be set so that the optical axis is arranged at the point 100b obtained by dividing the region 98 into equal parts.
  • the position information of the three-dimensional points after synthesis can be generated based on the position information of the three-dimensional points acquired by rotating the camera 31. Therefore, it is possible to acquire the position information of the three-dimensional point with the influence of the multipath reduced.
  • FIG. 31 shows a side view of the camera and the work of the fourth robot device according to the present embodiment.
  • the configuration of the fourth robot device is the same as the configuration of the second robot device (see FIG. 19).
  • the position of the camera 31 is fixed.
  • the robot 1 functions as a rotating device that changes the relative posture of the camera 31 with respect to the work 62.
  • the robot 1 rotates the work 62 around the optical center 31c as the center point of rotation.
  • the camera 31 captures a distance image in a plurality of predetermined relative postures of the work 62 with respect to the camera 31.
  • the control device 2 changes the position and orientation of the robot 1 so that the origin of the tool coordinate system 72, which is the tip point of the tool, is arranged on the spherical surface 80 centered on the optical center 31c. Further, the control device 2 changes the position and orientation of the robot 1 so that the Z axis of the tool coordinate system 72 faces the optical center 31c.
  • the camera 31 captures a first distance image in the first posture R62a of the work 62.
  • the position information of the three-dimensional point output from the camera 31 is represented by the camera coordinate system 73.
  • the position acquisition unit 52 stores the first distance image in the storage unit 42 in combination with the position and orientation of the robot 1 in the first posture R62a.
  • the robot 1 changes its position and posture, and arranges the work 62 in the second posture R62b.
  • the camera 31 captures a second distance image.
  • the position acquisition unit 52 stores the second distance image in the storage unit 42 in combination with the position and orientation of the robot 1 in the second posture R62b.
  • the distance image is captured in the two postures of the work 62, but the present embodiment is not limited to this mode. Distance images may be taken in three or more postures.
  • the camera 31 captures a distance image in all postures of the work 62.
  • the conversion unit 53 acquires the position information of the three-dimensional points acquired in the postures R62a and R62b of the respective work 62 and represented by the camera coordinate system 73, and the position information of the three-dimensional points represented by the tool coordinate system 72. Convert to.
  • the conversion unit 53 converts the position information of the three-dimensional point based on the position and posture of the robot 1.
  • the specific unit 54 arranges the position information of the three-dimensional points in the first distance image and the position information of the three-dimensional points in the second distance image on the surface of one work 62.
  • the specific unit 54 selects the posture of any work 62.
  • the specific unit 54 selects the posture of one work 62 within the range in which the work 62 is moved.
  • the specific unit 54 selects the posture R62a in which the Z axis of the tool coordinate system 72 is arranged parallel to the vertical direction.
  • the specific unit 54 transmits the position information of the three-dimensional point represented by the tool coordinate system 72 in the world coordinate system 71 based on the position and posture of the robot 1 corresponding to the posture of the selected work 62. It is converted into the position information of the expressed three-dimensional point. By performing this control, a state similar to the state shown in FIG. 20 in the second robot device 4 is obtained.
  • the setting unit 56 sets the evaluation range and the evaluation area.
  • the reference point for defining the evaluation area can be set at an arbitrary position with respect to the work 62.
  • the reference point is set at the optical center 31c. That is, the reference point is set to the center point at which the work 62 is rotated.
  • the identification unit 54 identifies the three-dimensional point closest to the reference point inside each evaluation area.
  • the generation unit 55 can generate the position information of the three-dimensional point after synthesis based on the three-dimensional point specified by the specific unit 54.
  • a robot is adopted as a rotating device for rotating a camera or a workpiece, but the present invention is not limited to this form.
  • the rotating device any device capable of rotating the camera or work around a predetermined center point can be adopted. Further, a rotating device that rotates both the camera and the work may be adopted.
  • FIG. 32 shows a partial cross-sectional view of the camera and the work in the fifth robot device according to the present embodiment.
  • the configuration of the fifth robot device is the same as that of the first robot device (see FIG. 1).
  • the fifth robot device includes a moving device that changes the position of the camera 31 relative to the work 62.
  • the robot 1 functions as a moving device.
  • the camera 31 is translated along a predetermined movement plane 78.
  • the robot 1 changes its position and posture so that the camera 31 translates along a predetermined movement line 83. do.
  • the camera 31 is arranged at a position along the moving line 83.
  • the optical center of the camera 31 is arranged on the moving line 83. At this time, the posture of the camera 31 is maintained constant.
  • the camera 31 captures the first distance image after being placed at the first position P31d. A three-dimensional point 81 corresponding to the surface of the work 62 is detected.
  • the position acquisition unit 52 stores the first distance image in the storage unit 42 together with the position and posture of the robot 1.
  • the camera 31 is arranged at the position P31e by driving the robot 1.
  • the camera 31 captures a second distance image.
  • a three-dimensional point 82 corresponding to the surface of the work 62 is detected.
  • the position acquisition unit 52 stores the first distance image in the storage unit 42 together with the position and posture of the robot 1.
  • the conversion unit 53 of the processing unit 51 converts the position information of the three-dimensional points represented by the camera coordinate system 73 into the position information of the three-dimensional points represented by the world coordinate system 71.
  • the identification unit 54 identifies the three-dimensional point closest to the reference line among the three-dimensional points 81 and 82 included in the first distance image and the second distance image.
  • FIG. 33 shows a perspective view of a camera and a work for explaining an evaluation range in which an evaluation area is arranged in the fifth robot device.
  • FIG. 34 shows a perspective view of the evaluation area in the fifth robot device.
  • a reference line is set in order to evaluate the positions of the three-dimensional points 81 and 82. Any line can be adopted as the reference line.
  • the reference line is preferably a moving line 83 or a line parallel to the moving line 83.
  • the moving line 83 is set as the reference line.
  • the setting unit 56 sets the evaluation range 121 and the evaluation area 122.
  • the evaluation area 122 is an area in which the evaluation range 121 is divided into a plurality of areas.
  • the evaluation area 122 has a predetermined width along the movement line 83 as a reference line.
  • the evaluation region 122 is formed so as to extend radially from the moving line 83 with respect to the work 62.
  • the width W of the evaluation area 122 can be set in the same manner as the length of one side of the evaluation area 92 in the first robot device.
  • the width W can be set based on the distance d from the camera 31 to the surface 63a of the work 62 and the size of the pixels of the light receiving element (see FIG. 15).
  • the angle ⁇ of the evaluation region 122 can be set in the same manner as the angle ⁇ of the evaluation region 94 in the third robot device.
  • the angle ⁇ can be set based on a straight line passing through the apex of the pixel 99 and the optical center of the camera 31 (see FIG. 29).
  • the specific unit 54 calculates the distance from the moving line 83 to the respective three-dimensional points 81 and 82. In the example shown in FIG. 34, one three-dimensional point 82 is closer to the moving line 83 than the two three-dimensional points 81. Therefore, the identification unit 54 specifies the three-dimensional point 82. The identification unit 54 controls to exclude the two three-dimensional points 81 from the set of three-dimensional points. In this way, the identification unit 54 controls to specify the three-dimensional point closest to the reference line for each evaluation region 122.
  • the generation unit 55 of the processing unit 51 generates the position information of the three-dimensional points by synthesizing the position information of the plurality of three-dimensional points based on the plurality of three-dimensional points 81 and 82 specified by the specific unit 54.
  • the position of the camera 31 when capturing a plurality of distance images can be set by the same method as the distance between the cameras 31 in the first robot device (see FIG. 16).
  • the sixth robot device is the same as the second robot device 4 of the present embodiment (see FIGS. 19 and 20).
  • the work 62 is two-dimensionally moved along the moving plane 78.
  • the work 62 is moved along a moving line instead of the moving plane 78.
  • the moving line is a line extending in a predetermined direction.
  • the moving line is a line extending in the horizontal direction.
  • the robot 1 moves the work 62 in parallel while maintaining the posture of the work 62 constant.
  • a reference plane 79 is set in the second robot device 4 in order for the specific unit 54 to specify the three-dimensional points 81 and 82.
  • a reference line is predetermined instead of the reference plane 79.
  • the reference line is, for example, a line passing through the optical center of the camera 31. In the present embodiment, the reference line is set to be parallel to the moving line.
  • the camera 31 captures a distance image at a plurality of positions of the work 62. Further, similarly to the fifth robot device, the setting unit 56 sets the evaluation range and the evaluation range extending from the reference line (see FIGS. 33 and 34). Then, the identification unit 54 identifies the three-dimensional point closest to the reference line in each evaluation region. The generation unit 55 can generate the position information of the three-dimensional point after synthesis based on the three-dimensional point specified by the specific unit 54.
  • the camera 31 is moved along the moving plane to capture a distance image, and control is performed to identify a three-dimensional point close to the reference plane.
  • the work 62 is moved along the moving plane to capture a distance image, and control is performed to identify a three-dimensional point close to the reference plane.
  • the camera 31 is rotated around the center point to capture a distance image, and control is performed to identify a three-dimensional point close to the reference point.
  • the work 62 is rotated around the center point to capture a distance image, and control is performed to identify a three-dimensional point close to the reference point.
  • the camera 31 is moved along the moving line to capture a distance image, and control is performed to identify a three-dimensional point close to the reference line.
  • the work 62 is moved along the moving line to capture a distance image, and control is performed to identify a three-dimensional point close to the reference line. The control for capturing these distance images and the control for specifying the three-dimensional point to be left in the position information of the three-dimensional point can be arbitrarily combined.
  • the camera 31 or the work 62 can be moved along a moving plane to capture a distance image, and control for identifying a three-dimensional point close to a predetermined reference point can be performed. Further, the camera 31 or the work 62 can be moved along the moving line to capture a distance image, and control for identifying a three-dimensional point close to a predetermined reference point can be performed. The camera 31 or the work 62 can be moved along the moving plane to capture a distance image, and control for identifying a three-dimensional point close to a predetermined reference line can be performed. The camera 31 or the work 62 can be moved along the moving line to capture a distance image, and control for identifying a three-dimensional point close to a predetermined reference plane can be performed. Further, it is possible to rotate the camera 31 or the work 62 around the center point to capture a distance image, and perform control to identify a predetermined reference plane or a three-dimensional point close to the reference line.
  • the robot 1 of the present embodiment functions as a changing device for changing the relative position and orientation of the camera 31 with respect to the work 62.
  • the robot 1 moves at least one of the camera 31 and the work 62 along one moving plane or one moving line, and at least one of the camera 31 and the work 62 around a predetermined center point. It may be carried out in combination with the rotating motion.
  • the robot device moves the camera 31 along the moving plane to capture a distance image, and further stops the movement of the camera 31 during the period of moving along the moving plane. Then, the camera 31 can be rotated around a predetermined center point to capture a distance image.
  • the robot device can capture a distance image during the period in which the operation of moving the camera 31 in parallel and the operation of rotating the camera 31 are performed so that the work 62 is always centered.
  • the specific unit controls to specify a three-dimensional point close to a predetermined reference point, a control to specify a three-dimensional point close to a predetermined reference plane, or a control close to a predetermined reference line 3 Any of the controls for specifying the dimension point can be performed.
  • Robot 2,8 Control device 3,4 Robot device 7 Inspection device Position detector 31, 32 Camera 31c, 32c Optical center P31a, P31b, P31c, P31d, P31e Position R31a, R31b Attitude 51 Processing unit 52 Position acquisition unit 53 Conversion part 54 Specific part 55 Generation part 56 Setting part 62, 66, 67 Work P62a, P62b Position R62a, R62b Attitude 71 World coordinate system 72 Tool coordinate system 73 Camera coordinate system 75 Placement plane 78 Moving plane 79 Reference plane 81,823 Dimension point 83 Moving line 86,87 Distance image 91,93,121 Evaluation range 92,94,122 Evaluation area 96 Light receiving element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

マルチパスの影響を低減する三次元測定装置を提供する。　三次元測定装置は、光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得するカメラ３１と、制御装置２とを備える。カメラ３１は、ワークに対するカメラ３１の複数の相対的な位置において、３次元点の位置情報を取得する。複数の評価領域がワークに対して定められている。制御装置２は、それぞれの評価領域において、評価領域内に検出された３次元点のうち、基準平面に最も近い３次元点を特定する。制御装置２は、評価領域ごとに特定された複数の３次元点に基づいて、カメラ３１にて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。

Description

３次元点の位置情報を生成する三次元測定装置
　本発明は、３次元点の位置情報を生成する三次元測定装置に関する。
　視覚センサにて画像を撮像し、得られた画像に基づいて対象物の３次元の位置を検出する測定装置が知られている。３次元の位置を検出する測定装置としては、レーザ距離計を所定の範囲に走査して位置を検出する装置および２台のカメラにて画像を撮像して三角測量の原理に基づいて位置を検出する装置などが知られている（例えば、特開２００８－２６４９４７号公報および特開２００６－２５８４８６号公報を参照）。
　また、３次元の位置を検出する測定装置としては、光源から光を発した後に、対象物の表面にて反射した光を受光素子で受光する距離カメラが知られている（例えば、国際公開第２０１８／０４２８０１号を参照）。距離カメラは、受光素子の画素ごとに、光の飛行時間と光の速さとに基づいて対象物までの距離を検出する。
　例えば、距離カメラは、所定の周期で強度を変調した光を対象物に向けて照射する。距離カメラは、光源から発した光と反射光との位相差に基づいて、距離カメラから対象物までの距離を算出する。この測定方式は、光飛行時間方式と呼ばれている。距離カメラは、画素ごとに取得した距離に応じて、色または濃度が変化した距離画像を生成することができる。
特開２００８－２６４９４７号公報 特開２００６－２５８４８６号公報 国際公開第２０１８／０４２８０１号
　光移行時間方式にて画像を撮像する距離カメラでは、画素ごとに距離カメラから対象物までの距離を算出する。この結果、対象物の表面に画素に対応する３次元点を設定することができる。３次元点の位置は、対象物の表面の位置に対応する。
　距離カメラの受光素子は、対象物の表面にて反射する１つの経路にて進行する光を受光することが好ましい。ところが、対象物の形状によっては、光源から発せられた光が、複数の位置にて反射して距離カメラに戻る場合がある。例えば、光は、所望の位置とは異なる位置にて反射した後に所望の位置にて反射して距離カメラに戻る場合がある。受光素子は、複数の経路にて反射した光を受光する場合がある。このような複数の経路は、マルチパスと称されている。
　受光素子が複数の経路を進行する光を受光すると、距離カメラにて検出される対象物までの距離が長くなる。それぞれの画素において検出される対象物までの距離は、光の反射の形態により変化する。この結果、距離カメラは、対象物の表面に設定される３次元点を正しい位置に設定できない場合がある。例えば、一部の画素にて検出される対象物までの距離が長くなるために、対象物の表面が平面であるにも関わらず、表面が凹んだ形状にて検出される場合がある。このように、マルチパスにて反射光が受光されると、距離カメラは対象物の表面における３次元点の位置を正確に検出できなくなるために、マルチパスの影響を低減することが好ましい。
　本開示の三次元測定装置は、光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得する距離カメラと、距離カメラにて取得された３次元点の位置情報を処理する処理装置とを備える。距離カメラは、物体に対する距離カメラの複数の相対的な位置および姿勢において、３次元点の位置情報を取得する。処理装置は、物体の表面に対応する３次元点の位置を評価するための複数の評価領域を物体に対して設定する設定部を含む。処理装置は、それぞれの評価領域において、評価領域内に検出された３次元点のうち、予め定められた基準平面、基準点、または基準線に最も近い３次元点を特定する特定部を含む。処理装置は、特定部により評価領域ごとに特定された複数の３次元点に基づいて、距離カメラにて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する生成部を含む。
　本開示の態様によれば、マルチパスの影響を低減する三次元測定装置を提供することができる。
実施の形態における第１のロボット装置の側面図である。 第１のロボット装置のブロック図である。 実施の形態における第１のワークの斜視図である。 マルチパスにて反射光を受光する時のカメラとワークの部分断面図である。 カメラの受光素子の画素において受光する光の位相を説明する概略図である。 マルチパスによる受光が生じない時に得られるワークの距離画像である。 マルチパスによる受光が生じた時の距離画像である。 第１のロボット装置の制御を説明するフローチャートである。 カメラの第１の位置にて第１の距離画像を撮像する時のカメラおよびワークの部分断面図である。 カメラの第２の位置にて第２の距離画像を撮像する時のカメラおよびワークの部分断面図である。 第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時の３次元点の位置を説明するワークの断面図である。 評価領域が配置される評価範囲を説明するカメラおよびワークの斜視図である。 第１のロボット装置における評価領域の斜視図である。 特定部により特定された３次元点を説明するワークの断面図である。 評価領域の大きさを説明するカメラの受光素子および光学中心の斜視図である。 距離画像を撮像する時のカメラの位置を説明する図である。 実施の形態における第２のワークの斜視図である。 実施の形態における第３のワークおよびテーブルの斜視図である。 実施の形態における第２のロボット装置の側面図である。 第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時の３次元点の位置を説明するカメラおよびワークの部分断面図である。 実施の形態における検査装置の側面図である。 実施の形態における検査装置のブロック図である。 実施の形態の第３のロボット装置において、第１の距離画像を撮像する時のワークおよびカメラの部分断面図である。 第３のロボット装置において、第２の距離画像を撮像する時のワークおよびカメラの部分断面図である。 第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時の３次元点の位置を説明するカメラおよびワークの部分断面図である。 第３のロボット装置において、評価領域が配置される評価範囲を説明するカメラおよびワークの斜視図である。 第３のロボット装置における評価領域の斜視図である。 第３のロボット装置において、特定部により特定された３次元点を説明するワークの断面図である。 第３のロボット装置において、評価領域の大きさを説明する受光素子および光学中心の斜視図である。 第３のロボット装置において、複数の距離画像を撮像する時のカメラの向きを説明する斜視図である。 実施の形態における第４のロボット装置のカメラおよびワークの側面図である。 実施の形態における第５のロボット装置のカメラおよびワークの部分断面図である。 第５のロボット装置において、評価領域が配置される評価範囲を説明するカメラおよびワークの斜視図である。 第５のロボット装置における評価領域の斜視図である。
　図１から図３４を参照して、実施の形態における三次元測定装置について説明する。本実施の形態の三次元測定装置は、光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得する距離カメラを備える。三次元測定装置は、複数の位置および姿勢にて取得された３次元点の位置情報に基づいて、ワークの表面に対応する３次元点の位置情報を生成する。本実施の形態では、それぞれのロボット装置および検査装置が三次元測定装置として機能する。
　図１は、本実施の形態における第１のロボット装置の側面図である。図２は、本実施の形態における第１のロボット装置のブロック図である。図１および図２を参照して、ロボット装置３は、ワーク６２を把持するハンド５と、ハンド５を移動するロボット１とを備える。ロボット装置３は、ロボット装置３を制御する制御装置２を備える。また、ロボット装置３は、ワーク６２を載置する架台６１を備える。
　ハンド５は、ワーク６２を把持したり解放したりするエンドエフェクタである。本実施の形態のハンド５は、ワーク６２の表面６３ａを吸着により把持する吸着ハンドである。ロボット１に取り付けられるエンドエフェクタとしては、この形態に限られず、ロボット装置３が行う作業に応じた任意の作業ツールを採用することができる。例えば、エンドエフェクタとして、溶接を実施する作業ツールまたはシール材をワークの表面に塗布する作業ツール等を採用することができる。すなわち、本実施の形態の三次元測定装置は、任意の作業を行うロボット装置に適用することができる。または、ロボット１に作業ツールを取り付けずに、カメラ３１をロボット１に取り付けても構わない。
　本実施の形態のロボット１は、複数の関節部１８を含む多関節ロボットである。ロボット１は、上部アーム１１と下部アーム１２とを含む。下部アーム１２は、旋回ベース１３に支持されている。旋回ベース１３は、ベース１４に支持されている。ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、ハンド５を固定するフランジ１６を含む。ロボット１の構成部材は、予め定められた駆動軸の周りに回転するように形成される。ロボットとしては、この形態に限られず、作業ツールまたはワークを移動可能な任意のロボットを採用することができる。
　ロボット装置３は、物体としてのワーク６２の表面に対応する３次元点の位置情報を取得する距離カメラとして、カメラ３１を備える。本実施の形態のカメラ３１は、光の飛行時間に基づいて３次元点の位置情報を取得するＴＯＦ（Time of Flight）カメラである。ＴＯＦカメラは、二次元的に配列された複数の画素を有する受光素子を含む。受光素子は、例えばＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等を含む。
　第１のロボット装置３においては、カメラ３１は、ロボット１にて支持されている。カメラ３１は、支持部材３５を介してフランジ１６に固定されている。カメラ３１は、ハンド５と共に移動する。カメラ３１は、ワーク６２においてハンド５にて把持する部分を撮像できるように配置されている。
　カメラ３１は、物体の表面に対応する３次元点の位置情報を距離画像または三次元マップの形式にて取得することができる。距離画像とは、画像により三次元点の位置情報を表現したものである。距離画像では、それぞれの画素の濃さ又は色により、物体の表面の位置またはカメラ３１からの距離を表している。一方で、三次元マップとは、測定された３次元点の座標値（ｘ，ｙ，ｚ）の集合として３次元情報を表現したものである。本実施の形態の形態では、３次元点の位置情報として距離画像を例に取り上げて説明する。
　本実施の形態のロボット１は、上部アーム１１等の構成部材を駆動するロボット駆動装置２１を含む。ロボット駆動装置２１は、上部アーム１１、下部アーム１２、旋回ベース１３、およびリスト１５を駆動するための複数の駆動モータを含む。ハンド５は、ハンド５を駆動するハンド駆動装置２２を含む。本実施の形態のハンド駆動装置２２は、空気圧によりハンド５を駆動する。ハンド駆動装置２２は、吸着パッドの内部の空間を減圧するためのポンプおよび電磁弁等を含む。
　制御装置２は、ロボット１およびハンド５を制御する。制御装置２は、プロセッサとしてのＣＰＵ（Central Processing Unit）を含む演算処理装置（コンピュータ）を備える。演算処理装置は、ＣＰＵにバスを介して互いに接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。本実施の形態のロボット１は、動作プログラム４１に基づいてワーク６２を自動的に搬送する。ロボット駆動装置２１およびハンド駆動装置２２は、制御装置２により制御されている。
　制御装置２は、ロボット装置３の制御に関する情報を記憶する記憶部４２を含む。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。制御装置２には、ロボット１の動作を行うために予め作成された動作プログラム４１が入力される。動作プログラム４１は、記憶部４２に記憶される。
　制御装置２は、動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４４に送出する。ロボット駆動部４４は、駆動モータを駆動する電気回路を含み、動作指令に基づいてロボット駆動装置２１に電気を供給する。また、動作制御部４３は、ハンド駆動装置２２を駆動する動作指令をハンド駆動部４５に送出する。ハンド駆動部４５は、ポンプ等を駆動する電気回路を含み、動作指令に基づいてポンプ等に電気を供給する。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。
　ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器を含む。本実施の形態における状態検出器は、ロボット駆動装置２１の各駆動軸の駆動モータに取り付けられた位置検出器２３を含む。位置検出器２３の出力により、ロボット１の位置および姿勢が検出される。状態検出器としては、駆動モータに取り付けられた位置検出器に限られず、ロボット１の位置および姿勢の検出が可能な任意の検出器を採用することができる。
　本実施の形態のロボット装置３には、ロボット１の位置および姿勢が変化した時に不動のワールド座標系７１が設定されている。図１に示す例では、ロボット１のベース１４に、ワールド座標系７１の原点が配置されている。ワールド座標系７１は基準座標系とも称される。ワールド座標系７１では、原点の位置が固定され、更に、座標軸の向きが固定されている。ロボット１の位置および姿勢が変化してもワールド座標系７１の位置および姿勢は変化しない。ワールド座標系７１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。
　また、ロボット装置３には、作業ツールの任意の位置に設定された原点を有するツール座標系７２が設定されている。ツール座標系７２は、ハンド５と共に位置および姿勢が変化する座標系である。本実施の形態では、ツール座標系７２の原点は、ツール先端点に設定されている。ツール座標系７２の原点は、フランジ１６の回転軸上に配置されている。ツール座標系７２は、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。ツール座標系７２は、Ｘ軸の周りのＷ軸、Ｙ軸の周りのＰ軸、およびＺ軸の周りのＲ軸を有する。
　ロボット１の位置および姿勢が変化すると、ツール座標系７２の原点の位置および姿勢が変化する。例えば、ロボット１の位置は、ツール先端点の位置（ツール座標系７２の原点の位置）に対応する。また、ロボット１の姿勢は、ワールド座標系７１に対するツール座標系７２の姿勢に対応する。
　更に、ロボット装置３では、カメラ３１に対してカメラ座標系７３が設定されている。カメラ座標系７３は、カメラ３１と共に位置および姿勢が変化する座標系である。本実施の形態のカメラ座標系７３の原点は、カメラ３１の光学中心に設定されている。カメラ座標系７３は、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。本実施の形態のカメラ座標系７３は、Ｚ軸がカメラ３１の光軸と重なるように設定されている。
　本実施の形態のロボット装置３は、ワーク６２を検出する三次元測定装置として機能する。三次元測定装置は、カメラ３１と、カメラ３１にて取得された３次元点の位置情報を処理する処理装置を含む。制御装置２は、３次元点の位置情報を処理する処理部５１を含む。処理部５１は、処理装置として機能する。処理部５１は、カメラ３１から３次元点の位置情報を取得する位置取得部５２を含む。処理部５１は、カメラ３１に対する３次元点の位置情報を、ワーク６２に対する３次元点の位置情報に変換する変換部５３を含む。処理部５１は、ワーク６２の表面に対応する３次元点の位置を評価するための複数の評価領域をワーク６２に対して設定する設定部５６を含む。処理部５１は、３次元点の位置を評価する評価領域において、基準となる基準平面、基準点、または基準線に最も近い３次元点を特定する特定部５４を含む。処理部５１は、カメラ３１にて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する生成部５５を含む。
　処理部５１は、合成後の３次元点の位置情報に基づいて、ロボット１を駆動する動作指令を生成する動作指令部５８を含む。また、処理部５１は、カメラ３１に画像を撮像する指令を送出する撮像制御部５７を含む。
　上記の処理部５１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、位置取得部５２、変換部５３、設定部５６、特定部５４、および生成部５５のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。また、動作指令部５８および撮像制御部５７は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。
　ロボット装置３は、ワーク６２およびカメラ３１のうち一方を移動して、ワーク６２に対するカメラ３１の相対的な位置を変更する移動装置を備える。第１のロボット装置３では、ロボット１がカメラ３１を移動する移動装置として機能する。
　図３に、本実施の形態における第１のワークの斜視図を示す。本実施の形態の第１のワーク６２は、板状に形成された板状部６３と、板状部６３から立設する壁部６４とを含む。板状部６３は、平面状の表面６３ａを有する。壁部６４は、表面６３ａの端部に配置されている。ワーク６２は、表面６３ａがハンド５にて把持される。
　図１から図３を参照して、第１のロボット装置３は、ハンド５がワーク６２を把持する前に、カメラ３１にてワーク６２の距離画像を撮像する。撮像制御部５７は、カメラ３１に画像を撮像する指令を送出する。ロボット装置３は、カメラ３１の複数の位置にて画像を撮像する。処理部５１は、カメラ３１にて撮像された複数の画像に基づいて、ワーク６２の表面６３ａの位置を検出する。
　動作指令部５８は、ワーク６２の表面６３ａの位置に基づいて、ハンド５にて表面６３ａを把持できるように、ロボット１の動作指令を生成する。動作指令部５８は、動作制御部４３に動作指令を送出する。動作制御部４３は、動作指令に基づいてロボット１の位置および姿勢を変更した後に、ハンド５にてワーク６２を把持する。そして、ロボット１は、動作プログラム４１に基づいて、ワーク６２を目標位置まで搬送する。
　次に、カメラ３１がマルチパスにて反射光を受光した場合の影響について説明する。図４は、マルチパスの影響を説明するカメラおよびワークの部分断面図である。カメラ３１は、ワーク６２の表面６３ａの位置を検出する。カメラ３１は、距離画像を撮像可能な撮像領域３１ａを有する。カメラ３１の光源から矢印１０１に示すように、光が出射される。ワーク６２の表面６３ａにて反射した光は、矢印１０２に示すようにカメラ３１の受光素子に向かって戻る。受光素子が矢印１０１および矢印１０２に示す経路にて反射する光のみを受光する場合には、ワーク６２の表面６３ａの正確な位置を検出することができる。
　ところが、光源から出射された光は、矢印１０３に示すように壁部６４で反射して表面６３ａに向かう場合が有る。この後に、光は、矢印１０２に示すように受光素子に戻る。このように、光源の光は、矢印１０１に示す経路および矢印１０３に示す経路を含む複数の経路にて進行して受光素子に戻る。すなわち、受光素子は、マルチパスにて戻る光を受光する。複数回にて反射した光が含まれると、受光素子にて検出される光の飛行時間が長く検出されてしまう。なお、図４では説明のために２つの経路が示されているが、実際には、壁部６４の様々な位置において反射した光が表面６３ａに向かうために、受光素子は、多くの経路にて進行する光を受光する場合が有る。
　図５に、カメラからワークまでの距離を測定する方法の説明図を示す。図４および図５を参照して、第１の経路は、矢印１０１，１０２にて示される経路に相当する。第２の経路は、矢印１０３，１０２にて示される経路に相当する。
　第１の経路の図を参照して、本実施の形態のカメラ３１は、光の飛行時間を測定する方法として、光源から出射された光に対する反射光の位相の遅れを検出している。カメラ３１は、光源から出射する光に対して互いに位相の異なる複数のタイミングにて撮像を行っている。図５に示す例では、４種類の撮像タイミング（０°、９０°、１８０°および２７０°）にて撮像を繰り返している。図５には、受光素子の１つの画素における受光量Ｑ１，Ｑ２，Ｑ３，Ｑ４が示されている。この時の画素に対応する物体までの距離Ｌは、例えば次の式（１）から算出することができる。式（１）において、ｃは光速であり、ｆは光源から出射される光の変調周波数である。
Figure JPOXMLDOC01-appb-M000001
　第２の経路の図を参照して、光の経路が長くなると、光源から出射される光を受光する時期は、第１の経路における光を受光する時期よりも遅くなる。４種類の撮像タイミングにおいて受光される受光量Ｑ１，Ｑ２，Ｑ３，Ｑ４は、第１の経路と異なっている。例えば、撮像タイミングが０°においては、第２の経路における受光量Ｑ１は、第１の経路における受光量Ｑ１よりも小さくなる。上記の式（１）により距離Ｌを算出すると、それぞれの画素に対応する距離Ｌは、第１の経路における距離Ｌよりも長くなる。
　受光素子がマルチパスにて反射する光を受光する場合には、例えば、受光素子は第１の経路にて進行する光と第２の経路にて進行する光とを同時に受光する。すなわち、受光素子は、第１の経路における受光量と第２の経路における受光量とを合算した受光量を検出する。この結果、マルチパスにて反射する光を受光した場合には、距離Ｌが第１の経路に対応する距離よりも長くなる。特に、距離は、第１の経路を進行する光に対応する距離と、第２の経路を進行する光に対応する距離との間の距離になる。１つの画素に対応して検出される３次元点８１は、表面６３ａから離れた位置にて検出される。それぞれの画素ごとに３次元点８１が検出される。複数の３次元点８１を含む検出面７６は、実際の表面６３ａとは異なる形状になる。
　図６に、マルチパスの影響がない時の距離画像の例を示す。図７に、マルチパスの影響が生じた時の距離画像の例を示す。図６および図７には、参考のために、ワーク６２の形状が破線にて示されている。本実施の形態における距離画像では、色が濃くなるほどカメラ３１からの距離が遠くなる。図６を参照して、距離画像８６においては、ワーク６２の板状部６３の表面の全体に亘って、ほぼ同じ濃さになる。壁部６４の表面においては、カメラ３１に近くなるほどを色が薄くなる。図７を参照して、距離画像８７は、マルチパスにて光を受光している。板状部６３の表面において、壁部６４の近傍では色が濃くなる領域が生じている。このような距離画像に基づいて、板状部６３の表面の位置を検出しても、正確な位置を検出できない場合がある。この結果、ロボット装置３は、ワーク６２を把持する制御を失敗する場合が生じる。本実施の形態における三次元測定装置は、このようなマルチパスによる影響を低減する制御を実施する。
　図８に、三次元測定装置としての第１のロボット装置の制御を説明するフローチャートを示す。第１のロボット装置３においては、カメラ３１の位置を変更しながら複数の距離画像を撮像する。複数の位置にて得られた距離画像を合成することにより、マルチパスを低減した距離画像を生成する。
　ステップ１１１においては、制御装置２がカメラ３１を予め定められた第１の位置に配置した後に、撮像制御部５７はカメラ３１にて第１の距離画像を撮像する。図９に、カメラを第１の位置に配置した時のカメラおよびワークの部分断面図を示す。ワーク６２に対するカメラ３１の相対的な位置は予め定められている。第１のロボット装置３では、カメラ３１は予め定められた移動平面７８に沿って平行移動するように、ロボット１が位置および姿勢を変更する。例えば、カメラ３１は、カメラ３１の光学中心が移動平面７８に配置されるように移動する。カメラ３１は、移動平面７８に沿った位置に配置される。第１のロボット装置３では、カメラ３１の姿勢は、一定に維持される。
　ロボット１は、カメラ３１を第１の位置Ｐ３１ａに配置する。カメラ３１の撮像領域３１ａの内部にワーク６２の検出する部分の少なくとも一部が配置されるように、カメラ３１が配置されることが好ましい。すなわち、カメラ３１にて撮像される画像に、ワーク６２の検出する部分が含まれることが好ましい。
　カメラ３１は、それぞれの画素ごとに３次元点８１の位置情報を検出する。図９では、ワーク６２を１つの面で切断した時の断面形状に対する３次元点８１が示されている。カメラ３１から出力される３次元点８１の位置情報は、カメラ座標系７３にて表現されている。例えば、３次元点８１の位置情報は、カメラ座標系７３におけるＸ軸の座標値、Ｙ軸の座標値、およびＺ軸の座標値にて表されている。カメラ３１にて受光する光にはマルチパスの影響が生じるために、３次元点８１の位置は、板状部６３の表面６３ａから離れる場合がある。
　図２を参照して、処理部５１の位置取得部５２は、カメラ３１からワーク６２の第１の距離画像を取得する。また、位置取得部５２は、位置検出器２３から第１の距離画像を撮像した時のロボット１の位置および姿勢を取得する。位置取得部５２は、第１の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。
　図８を参照して、ステップ１１２においては、制御装置２は、ロボット１の位置および姿勢を変更してカメラ３１を移動する。図１０に、カメラを第２の位置に配置した時のカメラおよびワークの部分断面図を示す。ロボット１は、矢印１０４に示すように移動平面７８に沿ってカメラ３１を移動する。ロボット１は、移動平面７８に沿って２次元的にカメラ３１を移動する。カメラ３１は、第２の位置Ｐ３１ｂに配置される。
　図８を参照して、ステップ１１３において、撮像制御部５７は、カメラ３１にてワーク６２の第２の距離画像を撮像する。図２を参照して、位置取得部５２は、カメラ３１からワーク６２の第２の距離画像を取得する。また、位置取得部５２は、位置検出器２３から第２の距離画像を撮像した時のロボット１の位置および姿勢を取得する。位置取得部５２は、第２の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。
　図１０を参照して、カメラ３１は、第２の位置Ｐ３１ｂにて撮像することにより、３次元点８２を検出する。受光素子は、矢印１０１，１０２にて示される経路を進行する光の他に、矢印１０３，１０２にて示される経路を進行する光を受光する。３次元点８２の位置に対しても、マルチパスの影響が生じている。ところが、撮像領域３１ａに含まれる壁部６４の領域が小さくなる。このために、３次元点８２の位置は、第１の位置Ｐ３１ａに配置されたカメラ３１にて取得された３次元点８１の位置よりも、マルチパスの影響が小さくなっている。板状部６３の表面６３ａに近い３次元点８２が得られている。
　図８を参照して、ステップ１１４において、処理部５１は、予め定められたカメラ３１の全ての位置において撮像を行ったか否かを判定する。ステップ１１４において、カメラ３１にて撮像を行う位置が残っている場合には、制御はステップ１１２に移行する。そしてステップ１１２からステップ１１４の制御を繰り返す。
　ステップ１１４において、カメラ３１の全ての位置にて撮像を行っている場合には、制御はステップ１１５に移行する。ここでの例では、カメラ３１は、２か所の位置にて撮像を行う。カメラ３１の全ての位置にて撮像を行っているために、制御は、ステップ１１５に移行する。なお、本実施の形態においては、カメラは、２か所の位置において撮像しているが、この形態に限られない。カメラは、３箇所以上の位置にて撮像しても構わない。
　図２および図８を参照して、ステップ１１５において、処理部５１の変換部５３は、カメラ３１の複数の位置Ｐ３１ａ，Ｐ３１ｂにて撮像された距離画像を変換する。変換部５３は、カメラ３１に対する３次元点の位置情報を、ワーク６２に対する位置情報に変換する。変換部５３は、カメラ座標系７３にて表現されている３次元点の位置情報を、ワールド座標系７１にて表現されている３次元点の位置情報に変換する。この時に、変換部５３は、それぞれの位置Ｐ３１ａ，Ｐ３１ｂにて撮像された距離画像を、ロボット１の位置および姿勢に基づいて変換する。それぞれの第１の距離画像および第２の距離画像における３次元点８１，８２の位置は、ワールド座標系７１の座標値にて表現される。
　次に、ステップ１１６において、処理部５１の特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点のうち、ワーク６２の表面６３ａに近い３次元点を特定する。
　図１１に、第１の距離画像における３次元点および第２の距離画像における３次元点を組み合わせた時のワークの部分断面図を示す。特定部５４は、１つのワーク６２の表面に対して、全ての距離画像に含まれる３次元点を配置する。ここでの例では、特定部５４は、ワーク６２の表面に対して、第１の距離画像における３次元点８１および第２の距離画像における３次元点８２を配置する。ワーク６２の表面６３ａに対応する複数の３次元点８１，８２が配置される。
　図１２に、第１のロボット装置において、評価領域を配置する評価範囲を説明するカメラおよびワークの斜視図を示す。図１３に、第１のロボット装置における評価領域の斜視図を示す。図１２および図１３を参照して、ワーク６２の表面６３ａおよび表面６３ａの近傍には、複数の３次元点８１，８２が配置されている。処理部５１の設定部５６は、３次元点８１，８２の評価を行う範囲である評価範囲９１を設定する。設定部５６は、ワーク６２の表面６３ａに対応する３次元点８１，８２の位置を評価するために、複数の評価領域９２をワーク６２に対して設定する。評価範囲９１は、複数の評価領域９２を含む。
　本実施の形態では、評価領域９２および評価範囲９１は予め設定されて、記憶部４２に記憶されている。設定部５６は、記憶部４２から評価領域９２および評価範囲９１を取得して、ワーク６２に対して評価領域９２および評価範囲９１を設定する。評価範囲９１は、ワーク６２の評価を行う部分を含むように形成されることが好ましい。本実施の形態では、評価範囲９１は、ワーク６２の評価を行う表面６３ａを含むように設定されている。また、本実施の形態では、評価範囲９１は、ワーク６２を含むように設定されている。
　本実施の形態の評価領域９２は、評価範囲９１を複数に区切った領域である。また、３次元点８１，８２の位置を評価するために、基準平面が設定されている。基準平面は、任意の平面を採用することができる。基準平面は、移動平面７８または移動平面７８に平行な面であることが好ましい。第１のロボット装置３においては、移動平面７８が基準平面に設定されている。
　本実施の形態の評価領域は、基準平面等の基準から延びる領域が採用されている。評価領域９２は、移動平面７８から垂直な方向に延びるように形成されている。本実施の形態の評価領域９２は、直方体状に形成されている。評価領域は、この形態に限られず、基準平面に対して傾斜する方向に延びていても構わない。また、評価領域は、任意の形状を採用することができる。例えば、評価領域は、任意の多角形の形状を有することができる。
　特定部５４は、３次元点８１，８２の位置に基づいて、それぞれの評価領域９２に含まれる３次元点８１，８２を検出する。ここで、前述の通りにマルチパスの影響が生じると、カメラ３１から３次元点までの距離が長くなる。このために、基準平面としての移動平面７８から３次元点までの距離が短いほど、マルチパスの影響が小さいと判断することができる。
　特定部５４は、評価領域９２の内部に配置された複数の３次元点８１，８２のうち、移動平面７８に最も近い３次元点を特定する。特定部５４は、移動平面７８からそれぞれの３次元点８１，８２までの距離を算出する。図１３に示す例では、２つの３次元点８１よりも１つの３次元点８２の方が移動平面７８に近い。このため、特定部５４は、３次元点８２を特定する。そして、特定部５４は、２つの３次元点８１を３次元点の集合から除外する制御を実施する。このように、特定部５４は、それぞれの評価領域９２ごとに、１つの基準平面に最も近い３次元点を特定する制御を実施する。
　図１４に、特定部にて特定された後の３次元点の位置を示すワークの断面図を示す。図１１に示す複数の３次元点８１，８２から、それぞれの評価領域９２において移動平面７８に最も近い３次元点８１，８２が抽出されている。このように、特定部５４にて３次元点８１，８２を特定することにより、表面６３ａに近い３次元点を残すことができる。すなわち、マルチパスの影響の小さい３次元点を残すことができる。
　ここで、壁部６４の表面に残存する３次元点８１は、表面６３ａに対応する３次元点とは異なる。このために、特定部５４は、壁部６４における３次元点を削除する制御を行っても構わない。例えば、表面６３ａの凡その位置を予め定めることができる。特定部５４は、表面６３ａの位置から予め定められた範囲を逸脱する３次元点を削除する制御を行うことができる。
　図８を参照して、ステップ１１７において、処理部５１の生成部５５は、特定部５４にて特定された複数の３次元点８１，８２に基づいて、複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。例えば、生成部５５は、特定部５４にて特定された全ての３次元点にて距離画像を生成することができる。または、生成部５５は、３次元マップの形式にて３次元点の位置情報を生成しても構わない。このように、処理部５１は、カメラ３１の複数の位置にて撮像した３次元点の位置情報に基づいて、マルチパスの影響の少ない３次元点の位置情報を生成することができる。
　図２を参照して、処理部５１の動作指令部５８は、３次元点の位置情報に基づいて、ワーク６２の表面６３ａの形状および位置を検出することができる。そして、動作指令部５８は、表面６３ａの位置および形状に基づいて、ハンド５を配置すべき位置および姿勢を動作制御部４３に送出する。動作制御部４３は、ロボット１およびハンド５の位置および姿勢を制御する。このように、ワーク６２の位置を検出して、ロボット装置３にてワーク６２を搬送することができる。
　図１５に、本実施の形態における評価領域の大きさを説明する受光素子および光学中心の斜視図を示す。評価領域９２は、任意の大きさにて設定することができる。しかしながら、評価領域９２の内部には、少なくとも１つの３次元点が含まれることが好ましい。また、評価領域９２が大きすぎると、特定部５４により特定される３次元点の数が少なくなる。
　図１５に示す例では、受光素子９６に対して仮想面９７が設定される。仮想面９７は、受光素子９６に平行な平面である。また、仮想面９７は、カメラ３１の光学中心３１ｃから距離ｄにて離れた距離である。距離ｄは、カメラ３１からワーク６２の表面６３ａまでの距離である。距離ｄは、凡その距離であれば、正確な距離でなくても構わない。仮想面９７において、受光素子９６に含まれる１つの画素９９から光学中心３１ｃに対して点対称の領域９７ａを算出する。領域９７ａの大きさを、評価領域９２の大きさに設定することができる。すなわち、ワーク６２の表面６３ａにおいて、１つの画素に対応する大きさにて評価領域９２を設定することができる。
　なお、本実施の形態の処理部５１の設定部５６は、予め定められた評価領域を設定しているが、この形態に限られない。設定部は、評価領域の大きさまたは形状を変更可能に形成されていても構わない。例えば、設定部は、ワークの形状を検出して、ワークの形状に対応した形状および大きさの評価領域を設定することができる。また、設定部は、ワークの形状に基づいて、互いに形状および大きさが異なる複数の種類の設定領域を１つのワークに対して設定しても構わない。
　図１６に、ワークに対してカメラを配置する時のカメラの位置を説明する撮像領域の斜視図および平面図を示す。カメラ３１にて距離画像を撮像する時に、カメラ３１は、ワーク６２の対象となる部分の少なくとも一部を含むように、任意の位置に配置することができる。矢印１０８は、カメラ３１を位置Ｐ３１ａに配置した時のカメラ３１の光軸を示している。ここでの例では、位置Ｐ３１ａは、ワーク６２の表面６３ａの中央部の真上に配置されている。
　図１６に示す例においては、移動平面７８から距離ｄにて離れた仮想面９７が設定されている。仮想面９７における撮像領域３１ａを算出する。仮想面９７において撮像領域３１ａは、四角形の形状を有する。そして、撮像領域３１ａの四角形の幅Ｗおよび高さＨに対して、予め定められた定数を乗算した領域９７ｂを設定する。ここでの例では、幅Ｗおよび高さＨに対して、０．６を乗算した領域９７ｂが設定されている。そして、領域９７ｂの角に対応する位置に、矢印１０９に示す光軸が配置されるように、カメラ３１の位置Ｐ３１ｃを設定することができる。すなわち、カメラの画角に対して、予め定められた割合の画角の頂点に光軸が配置されるように、カメラ３１を配置することができる。カメラ３１は、移動平面７８に沿って複数の位置Ｐ３１ａ，Ｐ３１ｃに配置される。
　または、カメラが配置される位置としては、ワークが配置される領域の端部に光軸が配置される位置を採用することができる。または、予め定められた領域を等分に分割した位置に光軸が配置されるように、カメラを配置しても構わない。
　上記の実施の形態においては、板状部の表面に立設する壁部を有するワークを例に取りあげて説明しているが、この形態に限られない。本実施の形態における三次元測定装置は、マルチパスによる受光が生じる任意の物体の測定に適用することができる。
　図１７に、本実施の形態における第２のワークの斜視図を示す。第２のワーク６６の上面には、溝部６６ａが形成されている。溝部６６ａの底面を検出する場合に、溝部６６ａの側面で光が反射してマルチパスによる受光が生じる場合が有る。このような凹部を有するワークの表面を検出する時に、本実施の形態における三次元測定装置を採用することができる。
　なお、ワーク６６が溝部６６ａを有する時には、溝部６６ａの壁面の位置に光軸が配置されるように、カメラを配置して距離画像を撮像することが好ましい。または、移動平面において溝部６６ａの幅ＷＧに対応する間隔にて、カメラの複数の撮像位置を設定することが好ましい。この制御を行うことにより、溝部の底面を検出する際に生じるマルチパスの影響をより確実に低減することができる。
　図１８に、本実施の形態における第３のワークおよびテーブルの斜視図を示す。第３のワーク６７では、表面６７ａの断面形状が波形に形成されている。このような、凹部および凸部を有する表面６７ａを検出する場合にも、マルチパスによる受光が発生する場合が有る。
　さらに、マルチパスによる受光は、ワークの周りに配置されている物によって生じる場合がある。図１８に示す例においては、ワーク６７は、テーブル６８に載置されている。テーブル６８には、柱となる棒状部材６９が固定されている。ワーク６７は、棒状部材６９の近傍に配置されている。カメラ３１にて表面６７ａを検出する場合に、棒状部材６９の表面で反射した光が表面６７ａに向かうことにより、マルチパスによる受光が生じる場合がある。このテーブル６８を含む装置を用いてワーク６７の表面６７ａを検出する場合にも、本実施の形態における三次元測定装置にて測定することにより、マルチパスの影響を低減した３次元点の位置情報を取得することができる。本実施の形態の三次元測定装置は、マルチパスがどのように生じるか分からない場合であっても、マルチパスを低減した３次元点の位置情報を生成することができる。
　図１９に、本実施の形態における第２のロボット装置の側面図を示す。第２のロボット装置４においては、ロボット１は、ハンド５を介してワーク６２を支持している。カメラ３１は、架台６５に固定されている。第２のロボット装置４では、ロボット１がワーク６２を移動する移動装置として機能する。ロボット１がワーク６２を移動することにより、ワーク６２に対するカメラ３１の相対的な位置が変化する。第２のロボット装置４においても、ワーク６２の表面６３ａを検出する。
　第２のロボット装置４は、三次元測定装置として機能する。三次元測定装置は、例えば、ハンド５に対するワーク６２の位置を検出することができる。三次元測定装置は、ワーク６２の把持のずれを検出することができる。または、三次元測定装置は、例えば、ワーク６２の表面６３ａの形状を検出することができる。または、三次元測定装置は、ワーク６２の寸法の検査を実施することができる。
　ロボット１は、ワーク６２を予め定められた移動平面７８に沿って移動する。ロボット１は、ワーク６２の姿勢を一定に維持しながら、ワーク６２を平行移動する。移動平面７８は、例えば、水平方向に延びる面である。制御装置２は、ツール座標系７２の原点が移動平面７８上を移動するように、ロボット１の位置および姿勢を変更する。また、制御装置２は、ツール座標系７２のＺ軸が予め定められた方向に向くようにロボット１の姿勢を制御する。
　カメラ３１は、ワーク６２の複数の位置において距離画像を撮像する。図１９に示す例では、ワーク６２が第１の位置Ｐ６２ａに配置された状態で、カメラ３１は、第１の距離画像を撮像する。また、ワーク６２が第２の位置Ｐ６２ｂに配置された状態で、カメラ３１は、第２の距離画像を撮像する。それぞれの第１の距離画像および第２の距離画像において、ワーク６２の表面６３ａに対応する３次元点の位置は、カメラ座標系７３にて表現されている。
　図２および図１９を参照して、処理部５１の位置取得部５２は、距離画像を取得するとともに、距離画像を撮像した時のロボット１の位置および姿勢を取得する。位置取得部５２は、距離画像をロボット１の位置および姿勢と組み合わせて記憶部４２に記憶する。
　ワーク６２の複数の位置Ｐ６２ａ，Ｐ６２ｂおいて撮像が終了した後に、処理部５１は、複数の距離画像を合成した３次元の位置情報を生成する。変換部５３は、ロボット１の位置および姿勢に基づいて、カメラ座標系７３にて表現されている３次元点の位置情報を、ツール座標系７２によって表現される３次元点の位置情報に変換する。
　図２０に、複数の位置に対応する距離画像に含まれる複数の３次元点をワークに配置した時のワークおよびカメラの部分断面図を示す。特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点をワーク６２に配置する。ワーク６２の表面６３ａおよび表面６３ａの近傍には、第１の距離画像に含まれる３次元点８１と、第２の距離画像に含まれる３次元点８２が示されている。それぞれの３次元点８１，８２は、ツール座標系７２にて表現されている。
　図２および図２０を参照して、特定部５４は、ワーク６２を一つの位置に配置したときの３次元点８１，８２の位置を算出する。例えば、ワーク６２を第１の位置Ｐ６２ａに配置した時の３次元点８１，８２の位置を算出する。更に、特定部５４は、ロボット１の位置および姿勢に基づいて、ツール座標系７２にて表現された３次元点の位置情報をワールド座標系７１にて表現された３次元点の位置情報に変換する。特定部５４が３次元点８１，８２を特定するための基準平面７９は予め定められている。第２のロボット装置４では、カメラ３１の光学中心３１ｃを通る基準平面７９が定められている。ここでの例では、基準平面７９は、移動平面７８に平行な面である。
　また、第１のロボット装置３と同様に、ワーク６２の表面６３ａを含むように評価範囲が予め定められている。評価範囲の内部には、基準平面７９から垂直な方向に延びる複数の評価領域が予め定められている（図１２および図１３を参照）。そして、特定部５４は、それぞれの評価領域において基準平面７９に最も近い３次元点を特定する。生成部５５は、特定部５４にて特定された３次元点に基づいて合成後の３次元点の位置情報を生成することができる。
　その他の第２のロボット装置の構成、作用、および効果については、第１のロボット装置と同様であるのでここでは説明を繰り返さない。
　第１のロボット装置および第２のロボット装置においては、カメラまたはワークを平行移動しているが、この形態に限られない。カメラおよびワークの両方を平行移動しても構わない。例えば、移動平面に沿う方向に、カメラおよびワークを互いに反対方向に平行移動しても構わない。また、カメラおよびワークの移動は、移動平面に沿った平行移動に限られず、移動平面から逸脱する位置にて撮像を行っても構わない。例えば、移動平面上に障害物が存在する場合には、移動平面から離れた位置にカメラまたはワークを配置して撮像しても構わない。
　カメラまたはワークを移動する移動装置としては、ロボットに限られず、カメラまたはワークを移動できる任意の装置を採用することができる。例えば、ワークを搬送するコンベヤを備える装置、ワークまたはカメラを互いに直交するＸ軸、Ｙ軸、およびＺ軸の方向に移動する装置、または、ワークまたはカメラを一つの方向に移動するシリンダを備える装置などを移動装置として採用することができる。
　図２１に、本実施の形態における検査装置の側面図を示す。図２２に、本実施の形態における検査装置のブロック図を示す。検査装置７は、三次元測定装置として機能する。三次元測定装置は、前述のロボット１などの移動装置を備えていなくても構わない。図２１および図２２を参照して、検査装置７は、複数の距離カメラとして、第１のカメラ３１および第２のカメラ３２を備える。それぞれのカメラ３１，３２は、ＴＯＦカメラである。
　カメラ３１，３２は、支持部材３５により支持されている。カメラ３１，３２は、配置平面７５に沿って、互いに離れた位置に固定されている。カメラ３１，３２の位置は、予め定められている。カメラ３１，３２は、互いに異なる位置からワーク６２を撮像するように配置されている。それぞれのカメラ３１，３２は、光学中心３１ｃ，３２ｃが配置平面７５上に配置されている。また、それぞれのカメラ３１，３２は、光軸が予め定められた方向を向くように配置されている。すなわち、カメラ３１，３２の姿勢は互いに同じである。ワーク６２は、架台６１に載置されている。このように、ワーク６２よびカメラ３１，３２の両方が予め定められた位置に固定されている。
　検査装置７において、基準座標系としてのワールド座標系７１が設定されている。図２１に示す例では、架台６１の表面に原点が配置されるように、ワールド座標系７１が設定されている。また、それぞれのカメラ３１，３２には、カメラ座標系が設定されている。それぞれのカメラ座標系は、カメラ３１，３２の光学中心が原点になり、Ｚ軸が光軸と重なるように設定されている。
　検査装置７は、ＣＰＵを含む演算処理装置から構成されている制御装置８を備える。制御装置８は、第１のロボット装置３の制御装置２と同様の記憶部４２と処理部５１とを含む（図２を参照）。処理部５１は、カメラ３１，３２を制御する撮像制御部５７を含む。処理部５１は、カメラ３１，３２にて取得された距離画像を処理するために、位置取得部５２、変換部５３、設定部５６、特定部５４、および生成部５５を含む。
　図２１および図２２に示す三次元測定装置は、本実施の形態における第１のロボット装置３において、ロボット１がカメラ３１の撮像位置を変更する代わりに、複数のカメラ３１，３２が配置されている。そして、位置が互いに異なる複数のカメラ３１，３２にて複数の距離画像を撮像する。例えば、第１のカメラ３１は、第１の距離画像を撮像し、第２のカメラ３２は、第２の距離画像を撮像する。
　記憶部４２には、カメラ３１，３２の位置が予め記憶されている。記憶部４２は、カメラ３１およびカメラ３２にて撮像された距離画像を記憶する。変換部５３は、カメラ３１，３２に対する３次元点の位置情報を、ワーク６２に対する位置情報に変換する。ここでの例では、変換部５３は、それぞれのカメラ３１，３２のカメラ座標系にて検出された３次元点の位置情報を、ワールド座標系７１における３次元点の位置情報に変換する。
　検査装置７においては、基準平面が予め定められている。ここでの例では、基準平面は、配置平面７５と同一の平面が採用されている。なお、基準平面は、任意の平面を採用することができる。例えば、基準平面は、配置平面７５に平行な面であっても構わない。
　設定部５６は、評価範囲および評価領域を設定する。ここでの例では、３次元点の位置を評価する評価範囲および評価領域は、予め定められている。例えば、評価範囲は、評価を行うワーク６２の表面６３ａを含むように設定される。評価領域は、評価範囲を複数に分割することにより設定される。評価領域は、第１のロボット装置３と同様に、基準平面となる配置平面７５に対して垂直な方向に延びる直方体状の領域にて構成することができる。特定部５４は、それぞれの評価領域において、配置平面７５から最も距離が小さな３次元点を特定することができる。生成部５５は、特定部５４にて特定された３次元点に基づいて、合成後の３次元点の位置情報を生成することができる。
　制御装置８は、合成後の３次元点の位置情報に基づいて、ワーク６２の表面の検査を行うことができる。例えば、制御装置８は、予め定められた判定値に基づいてワークの外縁の寸法の検査を実施することができる。または、ワークの表面に凹部または凸部が形成されている場合には、凹部または凸部の形状の検査を実施することができる。
　図２１および図２２に示す例では、２つのカメラが配置されているが、この形態に限られない。三次元測定装置は、３つ以上のカメラを備えていても構わない。三次元測定装置は、複数のカメラにて撮像した距離画像を合成することができる。検査装置のその他の構成、作用および効果については、本実施の形態における第１のロボット装置および第２のロボット装置と同様であるので、ここでは説明を繰り返さない。
　図２３に、本実施の形態における第３のロボット装置におけるカメラおよびワークの部分断面図を示す。第３のロボット装置の構成は、第１のロボット装置と同様である（図１を参照）。第３のロボット装置は、ワーク６２に対するカメラ３１の相対的な姿勢を変更する回転装置を備える。ロボット１は、回転装置として機能する。
　第３のロボット装置では、ワーク６２に対するカメラ３１の相対的な姿勢を変更して、カメラ３１が３次元点の位置情報を取得する。ロボット１は、予め定められた中心点としてのカメラ３１の光学中心３１ｃの周りにカメラ３１を回転する。カメラ３１は、予め定められた複数の相対的な姿勢において距離画像を撮像する。
　図２および図２３を参照して、カメラ３１は、第１の姿勢Ｒ３１ａにおいて第１の距離画像を撮像する。ワーク６２の表面６３ａおよび壁部６４の表面に対応する３次元点８１の位置情報が取得される。位置取得部５２は、第１の距離画像と共に、第１の距離画像を撮像した時のロボット１の位置および姿勢を取得する。記憶部４２は、第１の距離画像と組み合わせてロボット１の位置および姿勢を記憶する。この時の３次元点の位置情報は、カメラ座標系にて表現されている。
　図２４に、カメラが第２の姿勢に配置された時のカメラおよびワークの部分断面図を示す。ロボット１が位置および姿勢を変更することにより、カメラ３１は、光学中心３１ｃを回転中心として回転する。カメラ３１は、第２の姿勢Ｒ３１ｂにおいて、第２の距離画像を取得する。ここでの例では、壁部６４がカメラ３１の撮像領域３１ａの外側に配置されている。このために、第２の距離画像では、ワーク６２の表面６３ａに配置された３次元点８２の位置情報が取得されている。記憶部４２は、第２の距離画像と第２の距離画像を撮像した時のロボット１の位置および姿勢とを組み合わせて記憶する。この時の３次元点の位置情報は、カメラ座標系にて表現されている。
　本実施の形態においては、カメラ３１の２つの姿勢Ｒ３１ａ，Ｒ３１ｂにおいて距離画像を撮像しているが、この形態に限られない。カメラ３１の３つ以上の姿勢にて、距離画像を撮像しても構わない。カメラ３１の全ての姿勢において撮像が終了した後に、変換部５３は、３次元点８１，８２の位置をカメラ座標系７３からワールド座標系７１に変換する。
　図２５に、カメラの複数の姿勢にて取得された３次元点をワークに配置したときのカメラおよびワークの部分断面図を示す。特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点８１，８２をワーク６２に配置する。
　図２６に、３次元点の位置を評価するための評価範囲の斜視図を示す。図２７に、３次元点の位置を評価する評価領域の斜視図を示す。図２６および図２７を参照して、設定部５６は、評価範囲および評価領域を設定する。第３のロボット装置においては、ワーク６２の表面６３ａに対応する３次元点の位置を評価するための評価領域９４が、ワーク６２に対して予め定められている。評価範囲９３の内部に複数の評価領域９４が設定されている。それぞれの評価領域９４は、ワーク６２に対して予め設定された基準点から放射状に延びる領域である。評価領域９４は、錐体の形状を有する。
　ここでの例では、基準点としてカメラ３１の光学中心３１ｃが採用されている。すなわち、基準点は、カメラ３１を回転する中心点である。評価領域９４は、基準点を原点とする球座標系の角度θおよび角度φにて設定されている。基準点は、この形態に限られず、ワークに対してカメラの回転中心点が配置されている側と同じ側に配置することができる。すなわち、カメラ３１が回転する中心点から離れた基準点が設定されていても構わない。
　評価領域９４は、評価範囲９３を複数に分割することにより設定されている。評価範囲９３は、光学中心３１ｃを中心として、放射状に延びる範囲である。評価範囲９３は、評価範囲９３の内部に評価される部分が含まれることが好ましい。ここでの例では、評価範囲９３の内部にワーク６２の表面６３ａが含まれるように、評価範囲９３が設定されている。
　図２および図２７を参照して、特定部５４は、それぞれの評価領域９４において、評価領域９４の内部に検出された３次元点８１，８２のうち、基準点としての光学中心３１ｃに最も近い３次元点を特定する。図２７に示す例においては、２個の３次元点８１よりも１個の３次元点８２の方が光学中心３１ｃに近いために、特定部５４は、３次元点８２を特定する。特定部５４は、全ての評価領域９４に対して、最も基準点に近い３次元点を特定する制御を実施する。
　図２８に、特定部により特定された３次元点が示されたワークの断面図を示す。図２５に示す複数の３次元点８１，８２のうち、それぞれの評価領域９４において基準点から距離が最も小さい３次元点が抽出されている。ワーク６２の表面から離れた３次元点は除外されている。第３のロボット装置においても、壁部６４の表面に３次元点８１が残存している。特定部５４は、壁部６４の表面に対応して検出される３次元点８１は、任意の方法にて除外することができる。例えば、予め定められた位置の範囲を超える３次元点８１は除外することができる。
　図２および図２８を参照して、生成部５５は、特定部５４により特定された複数の３次元点に基づいて、カメラ３１にて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。生成部５５は、ワーク６２の板状部６３の表面６３ａに対応して配置されている３次元点８２に基づいて距離画像を生成することができる。
　図２９に、第３のロボット装置における評価領域の大きさを説明する斜視図を示す。評価領域９４は、任意の大きさにて設定することができる。本実施の形態では、カメラ３１の受光素子９６における１つの画素９９を特定する。そして、画素９９の頂点から光学中心３１ｃに延ばした直線により、球座標における角度θおよび角度φを設定することができる。角度θおよび角度φに基づく錐体の領域を評価領域９４に設定することができる。このように、１つの画素に対応する角度を評価領域の錐体の角度に設定することができる。
　図３０に、カメラを回転する時の姿勢を説明する撮像領域の斜視図および平面図を示す。カメラ３１を回転する時の角度は、任意の角度を設定することができる。ここでの例では、カメラ３１から離れた仮想面９７が設定されている。仮想面９７は、カメラ３１が第１の姿勢Ｒ３１ａに配置された時に矢印１０８に示す光軸に垂直な平面である。仮想面９７における撮像領域３１ａにおいて、カメラ３１の画角に対して予め定められた割合の画角の点を設定することができる。そして、この点にカメラ３１の光軸が配置されるように、カメラ３１の姿勢を設定することができる。例えば、仮想面９７における撮像領域３１ａに対して、画角に対して所定の割合を乗じた領域９８を算出することができる。矢印１０９に示すように、領域９８の頂点１００ａの位置に光軸が配置されるように、カメラ３１の姿勢Ｒ３１ｃを設定することができる。または、領域９８を等分に分割した点１００ｂに光軸が配置されるように、カメラ３１の姿勢Ｒ３１ｃを設定することができる。
　第３のロボット装置においても、カメラ３１を回転して取得した３次元点の位置情報に基づいて合成後の３次元点の位置情報を生成することができる。このために、マルチパスの影響を低減した３次元点の位置情報を取得することができる。
　その他の第３のロボット装置の構成、作用、および効果については、本実施の形態の第１のロボット装置と同様であるので、ここでは説明を繰り返さない。
　図３１に、本実施の形態における第４のロボット装置のカメラおよびワークの側面図を示す。第４のロボット装置の構成は、第２のロボット装置の構成と同様である（図１９を参照）。第４のロボット装置においては、カメラ３１の位置が固定されている。一方で、ワーク６２の姿勢を変更することにより、ワーク６２に対するカメラ３１の相対的な姿勢を変更する。第４のロボット装置において、ロボット１がワーク６２に対するカメラ３１の相対的な姿勢を変更する回転装置として機能する。ロボット１は、回転の中心点としての光学中心３１ｃの周りにワーク６２を回転する。カメラ３１は、カメラ３１に対するワーク６２の複数の予め定められた相対的な姿勢において、距離画像を撮像する。
　制御装置２は、ツール先端点であるツール座標系７２の原点が、光学中心３１ｃを中心とした球面８０上に配置されるように、ロボット１の位置および姿勢を変更する。また、制御装置２は、ツール座標系７２のＺ軸が光学中心３１ｃを向くように、ロボット１の位置および姿勢を変更する。
　図２および図３１を参照して、カメラ３１は、ワーク６２の第１の姿勢Ｒ６２ａにおいて第１の距離画像を撮像する。カメラ３１から出力される３次元点の位置情報はカメラ座標系７３にて表現されている。位置取得部５２は、第１の距離画像を第１の姿勢Ｒ６２ａにおけるロボット１の位置および姿勢と組み合わせて記憶部４２に記憶する。
　次に、制御装置２は、ロボット１は位置および姿勢を変更して、ワーク６２を第２の姿勢Ｒ６２ｂに配置する。カメラ３１は、第２の距離画像を撮像する。位置取得部５２は、第２の距離画像を第２の姿勢Ｒ６２ｂにおけるロボット１の位置および姿勢と組み合わせて記憶部４２に記憶する。
　本実施の形態では、ワーク６２の２つの姿勢において距離画像を撮像しているが、この形態に限られない。３つ以上の姿勢にて距離画像を撮像しても構わない。カメラ３１は、ワーク６２の全ての姿勢において距離画像を撮像する。
　変換部５３は、それぞれのワーク６２の姿勢Ｒ６２ａ，Ｒ６２ｂにおいて取得され、カメラ座標系７３にて表現された３次元点の位置情報を、ツール座標系７２にて表現された３次元点の位置情報に変換する。変換部５３は、ロボット１の位置および姿勢に基づいて３次元点の位置情報を変換する。
　次に、特定部５４は、第１の距離画像における３次元点の位置情報および第２の距離画像における３次元点の位置情報を、１つのワーク６２の表面上に配置する。ここで、特定部５４は、任意のワーク６２の姿勢を選択する。例えば、特定部５４は、ワーク６２を移動した範囲内において、１つのワーク６２の姿勢を選択する。本実施の形態では、特定部５４は、ツール座標系７２のＺ軸が鉛直方向と平行に配置されている姿勢Ｒ６２ａを選択する。
　次に、特定部５４は、選択されたワーク６２の姿勢に対応するロボット１の位置および姿勢に基づいて、ツール座標系７２にて表現された３次元点の位置情報をワールド座標系７１にて表現された３次元点の位置情報に変換する。この制御を実施することにより、第２のロボット装置４における図２０に示される状態と同様の状態になる。
　設定部５６は、評価範囲および評価領域を設定する。第４のロボット装置においては、第３のロボット装置と同様の評価範囲および錐体の評価領域が採用されている（図２６および図２７を参照）。評価領域を定める基準点は、ワーク６２に対して任意の位置に設定することができる。ここでの例では、基準点は光学中心３１ｃに設定されている。すなわち、基準点はワーク６２を回転する中心点に設定されている。そして、特定部５４は、それぞれの評価領域の内部において基準点に最も近い３次元点を特定する。生成部５５は、特定部５４にて特定された３次元点に基づいて、合成後の３次元点の位置情報を生成することができる。
　その他の第４のロボット装置の構成、作用、および効果については、第１のロボット装置から第３のロボット装置と同様であるので、ここでは説明を繰り返さない。
　第３のロボット装置および第４のロボット装置においては、カメラまたはワークを回転する回転装置としてロボットが採用されているが、この形態に限られない。回転装置は、カメラまたはワークを、予め定められた中心点の周りに回転できる任意の装置を採用することができる。また、カメラおよびワークの両方を回転させる回転装置を採用しても構わない。
　図３２に、本実施の形態における第５のロボット装置におけるカメラおよびワークの部分断面図を示す。第５のロボット装置の構成は、第１のロボット装置と同様である（図１を参照）。第５のロボット装置は、ワーク６２に対するカメラ３１の相対的な位置を変更する移動装置を備える。ロボット１は、移動装置として機能する。
　第１のロボット装置においては、カメラ３１が予め定められた移動平面７８に沿って平行移動している。図２および図３２を参照して、これに対して、第５のロボット装置においては、予め定められた移動線８３に沿ってカメラ３１が平行移動するように、ロボット１が位置および姿勢を変更する。カメラ３１は、移動線８３に沿った位置に配置される。例えば、カメラ３１の光学中心が移動線８３上に配置される。この時に、カメラ３１の姿勢は、一定に維持される。
　カメラ３１は、第１の位置Ｐ３１ｄに配置された後に第１の距離画像を撮像する。ワーク６２の表面に対応する３次元点８１が検出される。位置取得部５２は、第１の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。次に、ロボット１が駆動することにより、カメラ３１は、位置Ｐ３１ｅに配置される。カメラ３１は、第２の距離画像を撮像する。ワーク６２の表面に対応する３次元点８２が検出される。位置取得部５２は、第１の距離画像をロボット１の位置および姿勢と共に記憶部４２に記憶する。
　処理部５１の変換部５３は、カメラ座標系７３にて表現されている３次元点の位置情報を、ワールド座標系７１にて表現されている３次元点の位置情報に変換する。特定部５４は、第１の距離画像および第２の距離画像に含まれる３次元点８１，８２のうち、基準線に最も近い３次元点を特定する。
　図３３に、第５のロボット装置において、評価領域を配置する評価範囲を説明するカメラおよびワークの斜視図を示す。図３４に、第５のロボット装置における評価領域の斜視図を示す。図３３および図３４を参照して、第５のロボット装置においては、３次元点８１，８２の位置を評価するために、基準線が設定されている。基準線は、任意の線を採用することができる。基準線は、移動線８３または移動線８３に平行な線であることが好ましい。第５のロボット装置においては、移動線８３が基準線に設定されている。
　設定部５６は、評価範囲１２１および評価領域１２２を設定する。評価領域１２２は、評価範囲１２１を複数に区切った領域である。評価領域１２２は、基準線としての移動線８３に沿って予め定められた幅を有する。評価領域１２２は、移動線８３からワーク６２に対して放射状に延びるように形成されている。評価領域１２２の幅Ｗは、第１のロボット装置における評価領域９２の一辺の長さと同様に設定することができる。幅Ｗは、カメラ３１からワーク６２の表面６３ａまでの距離ｄおよび受光素子の画素の大きさに基づいて設定することができる（図１５を参照）。また、評価領域１２２の角度θは、第３のロボット装置における評価領域９４の角度θと同様に設定することができる。角度θは、画素９９の頂点とカメラ３１の光学中心とを通る直線に基づいて設定することができる（図２９を参照）。
　特定部５４は、移動線８３からそれぞれの３次元点８１，８２までの距離を算出する。図３４に示す例では、２つの３次元点８１よりも１つの３次元点８２の方が移動線８３に近い。このため、特定部５４は、３次元点８２を特定する。特定部５４は、２つの３次元点８１を３次元点の集合から除外する制御を実施する。このように、特定部５４は、それぞれの評価領域１２２ごとに、基準線に最も近い３次元点を特定する制御を実施する。処理部５１の生成部５５は、特定部５４にて特定された複数の３次元点８１，８２に基づいて、複数の３次元点の位置情報を合成した３次元点の位置情報を生成する。
　このように、移動線に沿ってカメラを移動して複数の距離画像を撮像した場合にも、マルチパスの影響を低減した３次元点の位置情報を生成することができる。なお、複数の距離画像を撮像する時のカメラ３１の位置は、第１のロボット装置におけるカメラ３１の間隔と同様の方法により設定することができる（図１６を参照）。
　その他の第５のロボット装置の構成、作用、および効果については、第１のロボット装置と同様であるのでここでは説明を繰り返さない。
　次に、本実施の形態の第６のロボット装置について説明する。第６のロボット装置は、本実施の形態の第２のロボット装置４と同様である（図１９および図２０を参照）。図１９および図２０を参照して、第２のロボット装置４においては、ワーク６２を移動平面７８に沿って２次元的に移動している。これに対して、第６のロボット装置では、移動平面７８の代わりの移動線に沿ってワーク６２を移動する。移動線は、予め定められた方向に延びる線である。例えば、移動線は、水平方向に延びる線である。ロボット１は、ワーク６２の姿勢を一定に維持しながら、ワーク６２を平行移動する。
　特定部５４が３次元点８１，８２を特定するために、第２のロボット装置４では基準平面７９が設定されている。これに対して、第６のロボット装置では、基準平面７９の代わりに基準線が予め定められている。基準線は、例えば、カメラ３１の光学中心を通る線である。本実施の形態では、基準線は、移動線に平行になるように設定されている。
　カメラ３１は、ワーク６２の複数の位置において距離画像を撮像する。また、第５のロボット装置と同様に、設定部５６は、基準線から延びる評価範囲および評価範囲を設定する（図３３および図３４参照）。そして、特定部５４は、それぞれの評価領域において基準線に最も近い３次元点を特定する。生成部５５は、特定部５４にて特定された３次元点に基づいて合成後の３次元点の位置情報を生成することができる。
　その他の第６のロボット装置の構成、作用、および効果については、第２のロボット装置および第５のロボット装置と同様であるのでここでは説明を繰り返さない。
　上記の第１のロボット装置においては、カメラ３１を移動平面に沿って移動して距離画像を撮像し、基準平面に近い３次元点を特定する制御を実施している。第２のロボット装置においては、ワーク６２を移動平面に沿って移動して距離画像を撮像し、基準平面に近い３次元点を特定する制御を実施している。第３のロボット装置においては、カメラ３１を中心点の周りに回転して距離画像を撮像し、基準点に近い３次元点を特定する制御を実施している。第４のロボット装置においては、ワーク６２を中心点の周りに回転して距離画像を撮像し、基準点に近い３次元点を特定する制御を実施している。第５のロボット装置においては、カメラ３１を移動線に沿って移動して距離画像を撮像し、基準線に近い３次元点を特定する制御を実施している。第６のロボット装置においては、ワーク６２を移動線に沿って移動して距離画像を撮像し、基準線に近い３次元点を特定する制御を実施している。これらの距離画像を撮像する制御と、３次元点の位置情報に残す３次元点を特定する制御とは、任意に組み合わせることができる。
　例えば、カメラ３１またはワーク６２を移動平面に沿って移動して距離画像を撮像し、予め定められた基準点に近い３次元点を特定する制御を実施することができる。また、カメラ３１またはワーク６２を移動線に沿って移動して距離画像を撮像し、予め定められた基準点に近い３次元点を特定する制御を実施することができる。カメラ３１またはワーク６２を移動平面に沿って移動して距離画像を撮像し、予め定められた基準線に近い３次元点を特定する制御を実施することができる。カメラ３１またはワーク６２を移動線に沿って移動して距離画像を撮像し、予め定められた基準平面に近い３次元点を特定する制御を実施することができる。また、カメラ３１またはワーク６２を中心点の周りに回転して距離画像を撮像し、予め定められた基準平面または基準線に近い３次元点を特定する制御を実施することができる。
　更に、本実施の形態のロボット１は、ワーク６２に対するカメラ３１の相対的な位置および姿勢を変更する変更装置として機能する。ロボット１は、カメラ３１およびワーク６２のうち少なくとも一方を一つの移動平面または一つの移動線に沿って移動する動作と、カメラ３１およびワーク６２のうち少なくとも一方を予め定められた中心点の周りに回転する動作とを組み合わせても実施しても構わない。例えば、ロボット装置は、カメラ３１を移動平面に沿って移動して距離画像を撮像し、更に、移動平面に沿って移動している期間中にカメラ３１の移動を止める。そして、カメラ３１を予め定められた中心点の周りに回転して距離画像を撮像することができる。または、ロボット装置は、ワーク６２が常に中心になるように、カメラ３１を平行移動する動作とカメラ３１を回転する動作とを実施している期間中に、距離画像を撮像することができる。この場合に、特定部は、予め定められた基準点に近い３次元点を特定する制御、予め定められた基準平面に近い３次元点を特定する制御、または予め定められた基準線に近い３次元点を特定する制御のうちいずれかの制御を実施することができる。
　上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。
　上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。
　１　ロボット
　２，８　制御装置
　３，４　ロボット装置
　７　検査装置
　２３　位置検出器
　３１，３２　カメラ
　３１ｃ，３２ｃ　光学中心
　Ｐ３１ａ，Ｐ３１ｂ，Ｐ３１ｃ，Ｐ３１ｄ，Ｐ３１ｅ　位置
　Ｒ３１ａ，Ｒ３１ｂ姿勢
　５１　処理部
　５２　位置取得部
　５３　変換部
　５４　特定部
　５５　生成部
　５６　設定部
　６２，６６，６７　ワーク
　Ｐ６２ａ，Ｐ６２ｂ　位置
　Ｒ６２ａ，Ｒ６２ｂ　姿勢
　７１　ワールド座標系
　７２　ツール座標系
　７３　カメラ座標系
　７５　配置平面
　７８　移動平面
　７９　基準平面
　８１，８２　３次元点
　８３　移動線
　８６，８７　距離画像
　９１，９３，１２１　評価範囲
　９２，９４，１２２　評価領域
　９６　受光素子

Claims (16)

  1. 　光の飛行時間に基づいて物体の表面の３次元点の位置情報を取得する距離カメラと、
    　前記距離カメラにて取得された３次元点の位置情報を処理する処理装置とを備え、
    　前記距離カメラは、前記物体に対する前記距離カメラの複数の相対的な位置および姿勢において、３次元点の位置情報を取得し、
    　前記処理装置は、前記物体の表面に対応する３次元点の位置を評価するための複数の評価領域を前記物体に対して設定する設定部と、
    　それぞれの評価領域において、評価領域内に検出された３次元点のうち、予め定められた基準平面、基準点、または基準線に最も近い３次元点を特定する特定部と、
    　前記特定部により評価領域ごとに特定された複数の３次元点に基づいて、前記距離カメラにて取得された複数の３次元点の位置情報を合成した３次元点の位置情報を生成する生成部とを含む、三次元測定装置。
  2. 　前記物体に対する前記距離カメラの相対的な位置を変更する移動装置を備え、
    　前記移動装置は、前記物体および前記距離カメラのうち少なくとも一方を、姿勢を維持しながら一つの移動平面に沿って平行移動するように形成されている、請求項１に記載の三次元測定装置。
  3. 　前記特定部は、前記基準平面に最も近い３次元点を特定し、
    　前記基準平面は、前記移動平面と同一の面または前記移動平面に平行な面である、請求項２に記載の三次元測定装置。
  4. 　前記評価領域は、前記基準平面に対して垂直な方向に延びる領域である、請求項３に記載の三次元測定装置。
  5. 　前記物体に対する前記距離カメラの相対的な位置を変更する移動装置を備え、
    　前記移動装置は、前記物体および前記距離カメラのうち少なくとも一方を、姿勢を維持しながら一つの移動線に沿って平行移動するように形成されている、請求項１に記載の三次元測定装置。
  6. 　前記特定部は、前記基準線に最も近い３次元点を特定し、
    　前記基準線は、前記移動線と同一の線または前記移動線に平行な線である、請求項５に記載の三次元測定装置。
  7. 　前記評価領域は、前記基準線から前記物体に対して放射状に延びる領域である、請求項６に記載の三次元測定装置。
  8. 　前記移動装置は、多関節ロボットを含む、請求項２から７のいずれか一項に記載の三次元測定装置。
  9. 　複数の前記距離カメラを備え、
    　複数の前記距離カメラは、一つの配置平面における互いに離れた位置に、互いに同一の姿勢にて固定されており、
    　前記特定部は、前記基準平面または前記基準線に最も近い３次元点を特定する、請求項１に記載の三次元測定装置。
  10. 　前記物体に対する前記距離カメラの相対的な姿勢を変更する回転装置を備え、
    　前記回転装置は、前記物体または前記距離カメラのうち少なくとも一方を予め定められた中心点の周りに回転するように形成されている、請求項１に記載の三次元測定装置。
  11. 　前記特定部は、前記基準点に最も近い３次元点を特定する、請求項１０に記載の三次元測定装置。
  12. 　前記評価領域は、前記基準点から前記物体に対して放射状に延びる領域である、請求項１１に記載の三次元測定装置。
  13. 　前記回転装置は、多関節ロボットを含む、請求項１０から１２のいずれか一項に記載の三次元測定装置。
  14. 　前記物体に対する前記距離カメラの相対的な位置および姿勢を変更する変更装置を備え、
    　前記変更装置は、一つの移動平面または一つの移動線に沿って前記物体および前記距離カメラのうち少なくとも一方を移動する動作と、予め定められた中心点の周りに前記物体および前記距離カメラのうち少なくとも一方を回転する動作とを実施するように形成されている、請求項１に記載の三次元測定装置。
  15. 　前記変更装置は、多関節ロボットを含む、請求項１４に記載の三次元測定装置。
  16. 　前記物体を検出する部分に対応する評価範囲が予め定められており、
    　前記評価領域は、前記評価範囲を複数に区切った領域である、請求項１から１５のいずれか一項に記載の三次元測定装置。
PCT/JP2021/005323 2020-02-17 2021-02-12 ３次元点の位置情報を生成する三次元測定装置 WO2021166809A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/759,099 US20230043994A1 (en) 2020-02-17 2021-02-12 Three-dimensional measurement device for generating three-dimensional point position information
DE112021001132.4T DE112021001132T5 (de) 2020-02-17 2021-02-12 Dreidimensionale messvorrichtung zum erzeugen dreidimensionalerpunktpositionsinformationen
CN202180014636.XA CN115087843A (zh) 2020-02-17 2021-02-12 生成三维点位置信息的三维测定装置
JP2022501856A JP7328437B2 (ja) 2020-02-17 2021-02-12 ３次元点の位置情報を生成する三次元測定装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-024652 2020-02-17
JP2020024652 2020-02-17

Publications (1)

Publication Number Publication Date
WO2021166809A1 true WO2021166809A1 (ja) 2021-08-26

Family

ID=77391172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005323 WO2021166809A1 (ja) 2020-02-17 2021-02-12 ３次元点の位置情報を生成する三次元測定装置

Country Status (5)

Country Link
US (1) US20230043994A1 (ja)
JP (1) JP7328437B2 (ja)
CN (1) CN115087843A (ja)
DE (1) DE112021001132T5 (ja)
WO (1) WO2021166809A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11826908B2 (en) 2020-04-27 2023-11-28 Scalable Robotics Inc. Process agnostic robot teaching using 3D scans

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010327A (ja) * 2015-06-23 2017-01-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018025551A (ja) * 2016-08-04 2018-02-15 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム及びその方法
CN110456369A (zh) * 2019-07-30 2019-11-15 炬佑智能科技(苏州)有限公司 飞行时间传感系统及其测距方法
US20200150637A1 (en) * 2018-11-13 2020-05-14 Rockwell Automation Technologies, Inc. Industrial safety monitoring configuration using a digital twin

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4734552B2 (ja) 2005-03-15 2011-07-27 名古屋市 路面の３次元形状の計測方法及びその装置
JP4844459B2 (ja) 2007-04-20 2011-12-28 トヨタ自動車株式会社 平面検出方法、及び移動ロボット
US10866321B2 (en) 2016-09-01 2020-12-15 Sony Semiconductor Solutions Corporation Imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010327A (ja) * 2015-06-23 2017-01-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018025551A (ja) * 2016-08-04 2018-02-15 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム及びその方法
US20200150637A1 (en) * 2018-11-13 2020-05-14 Rockwell Automation Technologies, Inc. Industrial safety monitoring configuration using a digital twin
CN110456369A (zh) * 2019-07-30 2019-11-15 炬佑智能科技(苏州)有限公司 飞行时间传感系统及其测距方法

Also Published As

Publication number Publication date
JP7328437B2 (ja) 2023-08-16
JPWO2021166809A1 (ja) 2021-08-26
US20230043994A1 (en) 2023-02-09
DE112021001132T5 (de) 2022-12-29
CN115087843A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
US8446492B2 (en) Image capturing device, method of searching for occlusion region, and program
JP5290324B2 (ja) 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム
EP1996010B2 (en) Time of flight teat location system
US20020034327A1 (en) Position-orientation recognition device
US20130158947A1 (en) Information processing apparatus, control method for information processing apparatus and storage medium
JP2012528016A (ja) 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム
JPH09187038A (ja) ３次元形状抽出装置
JP2006258486A (ja) 座標計測装置と座標計測方法
WO2021166809A1 (ja) ３次元点の位置情報を生成する三次元測定装置
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
JP7453762B2 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
US20230016639A1 (en) System and method for controlling automatic inspection of articles
Borangiu et al. Robot arms with 3D vision capabilities
JP2020076676A (ja) 変位測定装置
Seçil et al. 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot
Kühnle et al. Grasping in depth maps of time-of-flight cameras
Zaki et al. Digital model reconstruction through 3D Stereo Depth camera: a faster method exploiting robot poses
So et al. Real-time 3d model reconstruction with a dual-laser triangulation system for assembly line completeness inspection
Secil et al. A robotic system for autonomous 3-D surface reconstruction of objects
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program
JP2010146357A (ja) ３次元画像処理方法および３次元画像処理装置
JP2008009916A (ja) 計測装置及び計測方法
JP7219057B2 (ja) 変位測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757216

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501856

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21757216

Country of ref document: EP

Kind code of ref document: A1