WO2022244212A1 - 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置 - Google Patents

視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置 Download PDF

Info

Publication number
WO2022244212A1
WO2022244212A1 PCT/JP2021/019252 JP2021019252W WO2022244212A1 WO 2022244212 A1 WO2022244212 A1 WO 2022244212A1 JP 2021019252 W JP2021019252 W JP 2021019252W WO 2022244212 A1 WO2022244212 A1 WO 2022244212A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
focus
imaging
image
workpiece
Prior art date
Application number
PCT/JP2021/019252
Other languages
English (en)
French (fr)
Inventor
祐輝 高橋
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to DE112021007292.7T priority Critical patent/DE112021007292T5/de
Priority to JP2023522140A priority patent/JPWO2022244212A1/ja
Priority to PCT/JP2021/019252 priority patent/WO2022244212A1/ja
Priority to CN202180098103.4A priority patent/CN117321382A/zh
Priority to TW111115626A priority patent/TW202246872A/zh
Publication of WO2022244212A1 publication Critical patent/WO2022244212A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an imaging device that calculates a three-dimensional position based on an image captured by a visual sensor.
  • a device that detects the three-dimensional position of an object by processing an image obtained by imaging the object with a visual sensor.
  • a device that captures two-dimensional images of an object from two directions and calculates the three-dimensional position of a specific portion (for example, Japanese Unexamined Patent Application Publication No. 2016-706475).
  • a visual sensor called a stereo camera captures images simultaneously with two two-dimensional cameras and calculates the three-dimensional position of a feature point based on the parallax between the two images.
  • a device that calculates such a three-dimensional position can be attached to a robot for moving a work tool that performs a predetermined work.
  • a camera takes an image of the work placed at a predetermined position.
  • the three-dimensional position of the work is detected based on the image captured by the camera.
  • the position and posture of the robot are changed so that the workpiece can be gripped according to the position of the workpiece. With such control, the accurate position of the workpiece can be detected and the work can be reliably carried out.
  • a calculation model is used to convert the position in the image into a 3D position.
  • a computational model includes predetermined parameters such as coefficients and constants.
  • the parameters in the calculation model for calculating the three-dimensional position of the object depend on the situation in which the camera is installed, the characteristics of the lens, and the individual differences of the lens.
  • the parameters can be determined in advance by calculation, experiment, or the like. For example, parameters can be calculated in advance by actually capturing an image of the object after placing the camera at a predetermined position.
  • the camera In the conventional combination of camera body and lens, the camera is fixed in place.
  • the position of the camera lens is fixed, and the parameters are calculated in advance and used.
  • an object captured by a camera may have individual differences.
  • the position of the object may deviate from the desired position when the camera picks up the image.
  • the image may be blurred when imaging the workpiece.
  • the position of at least one of the work and the camera may change.
  • the position and attitude of the work placed on the workbench may change depending on how the work is transported.
  • the robot can change its position and orientation according to the position and orientation of the workpiece.
  • the robot may interfere with obstacles such as fences placed around the robot system.
  • the robot stroke may be limited. For this reason, it may be difficult to align the relative position of the camera with respect to the workpiece to a predetermined position.
  • An imaging device includes a visual sensor that captures an image of an object, and a focus position detection unit that detects a focus position when the visual sensor is in focus.
  • the imaging device includes a parameter setting unit that sets parameters for calculating a three-dimensional position corresponding to a specific position in an image captured by the visual sensor.
  • the imaging device includes a storage unit that stores setting information for setting parameters corresponding to focus positions.
  • the imaging device includes a feature detection unit that detects a predetermined feature portion in the image of the object, and a feature position calculation unit that calculates the three-dimensional position of the feature portion using the parameters set by the parameter setting unit. and
  • the parameter setting unit sets parameters based on the focus position and setting information.
  • an imaging device that accurately detects the three-dimensional position of a characteristic portion when the focus position changes.
  • FIG. 1 is a schematic diagram of a first robot system in an embodiment
  • FIG. 1 is a block diagram of a first robot system in an embodiment
  • FIG. 1 is a plan view of a workpiece in an embodiment
  • FIG. It is the schematic explaining the position which a camera focuses, and the field of view of a camera. It is an example of an image when the position to focus is changed.
  • FIG. 4 is a schematic diagram of features of the image sensor, lens, and workpiece as the lens position is moved for focusing; 4 is a flowchart for explaining control of the first robot system;
  • FIG. 11 is a first schematic diagram illustrating another control of the first robot system;
  • FIG. 4B is a second schematic diagram illustrating another control of the first robot system;
  • It is a schematic diagram of a second robot system in an embodiment.
  • It is the schematic of the conveying apparatus in embodiment. It is a block diagram of a conveying device in an embodiment.
  • FIG. 1 An imaging device according to an embodiment will be described with reference to FIGS. 1 to 12.
  • FIG. The imaging device of this embodiment functions as a three-dimensional position acquisition device that calculates the three-dimensional position of a specific position in the image based on the image captured by the visual sensor.
  • FIG. 1 is a schematic diagram of a first robot system equipped with an imaging device according to this embodiment.
  • FIG. 2 is a block diagram of the first robot system in this embodiment.
  • the robot system of the present embodiment detects the position of a work as an object and conveys the work.
  • the first robot system 3 includes a hand 5 as a working tool that grips a workpiece 38 and a robot 1 that moves the hand 5.
  • the robot system 3 includes a control device 2 that controls the robot system 3 .
  • the robot system 3 also includes a pedestal 95 on which the workpiece 38 is placed.
  • the hand 5 of the present embodiment is a work tool that grips and releases the workpiece 38.
  • the work tool attached to the robot 1 is not limited to this form, and any work tool suitable for the work performed by the robot system 3 can be adopted.
  • a work tool or the like that performs welding can be employed as the end effector.
  • the robot 1 of this embodiment is a multi-joint robot including a plurality of joints 18 .
  • Robot 1 includes an upper arm 11 and a lower arm 12 .
  • the lower arm 12 is supported by a swivel base 13 .
  • a swivel base 13 is supported by a base 14 .
  • Robot 1 includes a wrist 15 connected to the end of upper arm 11 .
  • Wrist 15 includes a flange 16 to which hand 5 is secured.
  • the components of robot 1 are formed to rotate about a predetermined drive axis.
  • the robot 1 is not limited to this form, and any robot capable of moving a working tool can be adopted.
  • the robot 1 of this embodiment includes a robot driving device 21 having a driving motor for driving constituent members such as the upper arm 11 .
  • the hand 5 includes a hand drive device 22 that drives the hand 5 .
  • the hand drive device 22 of this embodiment drives the hand 5 by air pressure.
  • the hand drive 22 includes an air pump and solenoid valve for supplying compressed air to the cylinders.
  • the control device 2 includes a control device main body 40 and a teaching operation panel 26 for operating the control device main body 40 by an operator.
  • the control device body 40 includes an arithmetic processing device (computer) having a CPU (Central Processing Unit) as a processor.
  • the arithmetic processing unit has a RAM (Random Access Memory), a ROM (Read Only Memory), etc., which are connected to the CPU via a bus.
  • the robot 1 is driven based on operation commands from the control device 2 .
  • the robot 1 automatically transports the workpiece 38 based on the operation program 61.
  • the robot driving device 21 and the hand driving device 22 are controlled by the control device 2 .
  • the control device main body 40 includes a storage section 42 that stores arbitrary information regarding the robot system 3 .
  • the storage unit 42 can be configured by a non-temporary storage medium capable of storing information.
  • the storage unit 42 can be configured with a storage medium such as a volatile memory, a nonvolatile memory, a magnetic storage medium, or an optical storage medium.
  • An operation program 61 that has been created in advance to operate the robot 1 is input to the control device 2 .
  • the operator can set the teaching point of the robot 1 by operating the teaching operation panel 26 to drive the robot 1 .
  • the control device 2 can generate the operation program 61 based on the teaching points.
  • the operating program 61 is stored in the storage unit 42 .
  • the motion control unit 43 sends a motion command for driving the robot 1 to the robot driving unit 44 based on the motion program 61 .
  • the robot drive unit 44 includes an electric circuit that drives the drive motor, and supplies electricity to the robot drive device 21 based on the operation command. Further, the motion control unit 43 sends an operation command for driving the hand drive device 22 to the hand drive unit 45 .
  • the hand driving unit 45 includes an electric circuit for driving an air pump or the like, and supplies electricity to the air pump or the like based on an operation command.
  • the operation control unit 43 corresponds to a processor driven according to the operation program 61.
  • the processor is formed so as to be able to read information stored in the storage unit 42 .
  • the processor functions as the operation control unit 43 by reading the operation program 61 and performing control defined in the operation program 61 .
  • the robot 1 includes a state detector for detecting the position and orientation of the robot 1.
  • the state detector in this embodiment includes a position detector 23 attached to the drive motor of each drive shaft of the robot drive device 21 .
  • the position detector 23 can be composed of, for example, an encoder that detects the rotational position of the output shaft of the drive motor. The position and orientation of the robot 1 are detected from the output of the position detector 23 .
  • a reference coordinate system 71 that does not move when the position and orientation of the robot 1 changes is set in the robot system 3 .
  • the origin of the reference coordinate system 71 is arranged on the base 14 of the robot 1 .
  • the reference coordinate system 71 is also called a world coordinate system.
  • the reference coordinate system 71 has, as coordinate axes, an X-axis, a Y-axis, and a Z-axis that are orthogonal to each other.
  • the W axis is set as a coordinate axis around the X axis.
  • a P-axis is set as a coordinate axis around the Y-axis.
  • An R-axis is set as a coordinate axis around the Z-axis.
  • the teaching operation panel 26 is connected to the control device body 40 via a communication device.
  • the teaching operation panel 26 includes an input section 27 for inputting information regarding the robot 1 and the hand 5 .
  • the input unit 27 is composed of input members such as a keyboard and dials.
  • the teaching operation panel 26 includes a display section 28 that displays information regarding the robot 1 and hand 5 .
  • the display unit 28 can be configured by an arbitrary display panel such as a liquid crystal display panel or an organic EL (Electro Luminescence) display panel.
  • the teaching console panel includes a touch panel type display panel, the display panel functions as an input section and a display section.
  • the robot system 3 is set with a tool coordinate system having an origin set at an arbitrary position on the work tool.
  • the tool coordinate system changes position and orientation with the work tool.
  • the origin of the tool coordinate system is set at the tool tip point of the hand 5 .
  • the position of the robot 1 corresponds to the position of the tip point of the tool (the position of the origin of the tool coordinate system).
  • the posture of the robot 1 corresponds to the posture of the tool coordinate system with respect to the reference coordinate system 71 .
  • the robot system 3 in the present embodiment includes an imaging device that detects the position of the work 38.
  • the imaging device detects the position of the workpiece 38 on the pedestal 95 before the hand 5 grips the workpiece 38 .
  • the imaging device has a camera 6 as a visual sensor that captures an image of the workpiece 38 .
  • the camera 6 of this embodiment is a two-dimensional camera that captures a two-dimensional image.
  • a camera 6 is supported by the robot 1 .
  • Camera 6 is fixed to hand 5 via a support member.
  • the camera 6 can capture an image in the field of view 6a.
  • the camera 6 has a focus adjustment mechanism 24 for adjusting focus.
  • the focus adjustment mechanism 24 of this embodiment has a function of automatically adjusting the focus. That is, the camera 6 has an autofocus function.
  • the camera 6 is formed so as to automatically focus on the work 38 and take an image of the work 38 when the robot 1 changes its position and posture.
  • As the focus adjustment mechanism a mechanism for focusing by arbitrary control such as a contrast detection method or a phase difference method can be adopted.
  • a camera with a liquid lens can be employed as a visual sensor.
  • a mechanism for changing the shape of the liquid lens can be employed as the focus adjustment mechanism.
  • a mechanism for changing the voltage applied to the liquid lens or a mechanism for moving a liquid lens holding member for changing the water pressure applied to the liquid lens can be employed.
  • a camera coordinate system 72 is set for the camera 6 as a sensor coordinate system.
  • the camera coordinate system 72 changes position and orientation along with the camera 6 .
  • the origin of the camera coordinate system 72 is set at a predetermined position of the camera 6 such as the lens center or optical center of the camera 6 .
  • the camera coordinate system 72 has X-, Y-, and Z-axes that are orthogonal to each other.
  • the camera coordinate system 72 of this embodiment is set such that the Z axis is parallel to the optical axis of the lens of the camera 6 .
  • the imaging apparatus of the present embodiment includes a moving device that moves one of the workpiece 38 and the camera 6 as objects to change the position of one relative to the other.
  • the robot 1 functions as a mobile device.
  • the position and orientation of the robot 1 change, the position and orientation of the camera 6 also change.
  • the imaging device has an image processing device that processes the image captured by the visual sensor.
  • the controller body 40 functions as an image processing device.
  • the control device main body 40 includes an image processing section 51 that processes images captured by the camera 6 .
  • the image processing unit 51 includes an image capturing control unit 58 that sends an image capturing command to the camera 6 .
  • the image processing unit 51 includes a focus position detection unit 52 that detects the focus position when the camera 6 is in focus.
  • the image processing unit 51 includes a parameter setting unit 53 that sets parameters for calculating a three-dimensional position corresponding to a specific position in the image captured by the camera 6 .
  • Image processing unit 51 includes a feature detection unit 54 that detects a predetermined feature portion in the image of workpiece 38 .
  • Image processing portion 51 includes a feature position calculation portion 55 that calculates the three-dimensional position of the feature portion using the parameters set by parameter setting portion 53 .
  • the image processing section 51 includes a distance calculation section 56 that calculates the distance from the camera 6 to the workpiece 38 .
  • the image processing unit 51 includes an action command generation unit 59 that generates action commands for the robot 1 and the hand 5 based on the result of image processing.
  • the image processing unit 51 corresponds to a processor driven according to the operation program 61.
  • each unit of the focus position detection unit 52, the parameter setting unit 53, the feature detection unit 54, the feature position calculation unit 55, the distance calculation unit 56, the imaging control unit 58, and the operation command generation unit 59 operates according to the operation program 61. It corresponds to the processor that drives it.
  • the processors read the operation program 61 and perform control defined in the operation program 61, thereby functioning as respective units.
  • the workpiece 38 is arranged on the surface of the pedestal 95 by a predetermined method.
  • a predetermined method For example, an operator or other robotic system places workpiece 38 on the surface of pedestal 95 . Then, the robot 1 changes its position and posture, and grips the workpiece 38 placed on the upper surface of the pedestal 95 with the hands 5 .
  • the robot system 3 conveys the work 38 to a predetermined position by changing the position and posture of the robot 1 .
  • the position of the work 38 on the pedestal 95 may shift.
  • a position P38a determined in teaching work when teaching the position and orientation of the robot 1 is shown.
  • the position P38a is a position where it is desirable to place the work 38 and is a reference position for placing the work 38 .
  • the work 38 when the work 38 is actually placed on the upper surface of the mount 95, the work 38 may be placed at a position P38b deviated from the reference position P38a. Alternatively, there may be a dimensional error in the work 38 .
  • the camera 6 images the work 38 .
  • the image processing unit 51 calculates the three-dimensional position of the work 38 based on the image of the work 38 .
  • the image processing unit 51 detects the three-dimensional position of the characteristic portion of the workpiece 38 .
  • the image processing unit 51 calculates the position of the work 38 based on the three-dimensional position of the characteristic portion of the work 38 .
  • Such a position of the workpiece 38 can be calculated using the reference coordinate system 71 .
  • the image processing unit 51 controls the position and orientation of the robot 1 so as to correspond to the position of the workpiece 38 .
  • the hand 5 grips the work 38 and conveys it to a desired predetermined position.
  • FIG. 3 shows a plan view of the workpiece 38 in this embodiment.
  • workpiece 38 has a plate-like portion 38a and a plate-like portion 38b formed above plate-like portion 38a.
  • Each plate-like part 38a, 38b has a rectangular parallelepiped shape.
  • the plate-like portion 38b has an edge portion 38c on the outer peripheral portion of the upper surface.
  • the edge portion 38c is a portion corresponding to the corner formed in the plate-like portion 38b.
  • the edge 38c having a quadrangular shape in plan view is a feature of the workpiece 38. As shown in FIG.
  • camera 6 is arranged above workpiece 38 in the vertical direction. At this time, the distance from the surface of the workpiece 38 on which the characteristic portion is formed to the camera 6 is predetermined.
  • the position and posture of the robot 1 are controlled such that the position of the upper surface of the plate-like portion 38b is at a predetermined Z-axis value of the camera coordinate system 72.
  • the posture of the camera 6 is adjusted so that the optical axis of the camera 6 is substantially perpendicular to the surface of the plate-like portion 38b having the characteristic portion of the workpiece 38.
  • the camera 6 takes an image of the work 38 by performing focusing.
  • the feature detection section 54 of the image processing section 51 detects the edge portion 38c as a feature portion of the work 38 by performing pattern matching.
  • a reference image for detecting the position of the edge portion 38 c is created in advance and stored in the storage section 42 .
  • the feature detection section 54 detects the edge portion 38c, which is a feature portion, in the image captured by the camera 6 using the reference image.
  • the feature position calculation unit 55 calculates the position of the workpiece in the three-dimensional space based on the position of the feature portion in the image captured by the camera. As the work position, the position of any set point set for the work can be calculated. The position of the workpiece 38 can be obtained in the reference coordinate system 71. FIG.
  • the action command generator 59 calculates the position and orientation of the robot 1 based on the position of the work 38 calculated by the feature position calculator 55 . Then, the position and attitude of the robot 1 for gripping the workpiece 38 are sent to the motion control section 43 .
  • the motion control unit 43 drives the robot 1 and the hand 5 to grip the workpiece 38 based on the motion command received from the motion command generation unit 59 .
  • the characteristic detection unit 54 detects characteristic portions, and the characteristic position calculation unit 55 accurately calculates the three-dimensional position of the workpiece based on the positions of the characteristic portions. Therefore, the robot system 3 can grip the work 38 more reliably. Even if the position of the work 38 on the pedestal 95 (the position of the work 38 on the reference coordinate system 71) differs from the reference position or there is a dimensional error in the work, the robot system 3 can reliably grip the work 38. can.
  • the focus adjustment mechanism 24 may include a drive motor for driving the position of the lens for focusing.
  • the rotational position when the output shaft of the drive motor is in focus can be used as the focus position.
  • the lens may have a focus ring for focusing. The position of the focus ring can be set at the focus position.
  • a predetermined lens position can be set as the focus position.
  • the magnitude of the voltage applied to the liquid lens can be used as the focus position.
  • the rotational position of the output shaft of the motor included in the drive mechanism for the holding member that changes the pressure applied to the liquid lens can be used as the focus position.
  • Fig. 4 shows a schematic diagram explaining the field of view when the focus position changes.
  • the field of view of camera 6 corresponds to the angle of view or imaging range.
  • positions A and B to be focused are shown.
  • the imaging range of the camera 6 is the field of view A.
  • the imaging range of the camera 6 is the field of view B.
  • the size of the field of view changes when the position of focus changes.
  • Fig. 5 shows an example of an image captured by the camera when the focus position is changed.
  • Image 66 is an image when the focus is adjusted to one position, which corresponds to position A in FIG. 4, for example.
  • An image 67 is an image when another position is focused, for example, an image corresponding to position B in FIG.
  • An image coordinate system 73 is set for the images 66 and 67 .
  • Each of the images 66 and 67 includes hole images 68a and 68b as characteristic portions.
  • the position of hole image 68a in image 66 becomes the position of hole image 68b in image 67, as indicated by arrow 101.
  • FIG. When the focus position changes, the positions of feature points in the image change.
  • changing the focus position is synonymous with changing the focal length.
  • FIG. 6 shows a schematic diagram for explaining the positions in the pixel sensor where the feature points of the object appear.
  • a lens 37 is positioned between the work surface and the image sensor that produces the image for the camera.
  • the focal lengths f 1 and f 2 correspond to distances from the image sensor to the lens center of the lens 37 .
  • FIG. 6 shows a focus position A and a focus position B.
  • Position A corresponds to the lens 37 being placed at the focal length f 1 .
  • Position B corresponds to the lens 37 being placed at the focal length f 2 .
  • the distances z 1 and z 2 from the lens 37 to the workpiece change according to the focal lengths f 1 and f 2 .
  • the characteristic portion 69 arranged at a distance X 1 from the optical axis on the surface of the workpiece is detected at a position at a distance u 1 from the optical axis by the image sensor.
  • the characteristic portion 69 arranged at the position of the distance X 2 which is the same as the distance X 1 is detected at the position of the distance u 2 by the image sensor.
  • the parameter setting unit 53 calculates the parameters in the calculation model for calculating the position of the feature part of the work from the image captured by the camera, based on the focus position.
  • the feature position calculator 55 calculates a three-dimensional position from a specific position in the image using a calculation model. The three-dimensional position of the characteristic portion on the surface of the work is calculated using the parameters set corresponding to the focus position.
  • a position in the image of the camera corresponding to an arbitrary position in space is generally represented by the following equation (1) using a pinhole camera model.
  • the coordinate values (X, Y, Z) of the three-dimensional position are expressed in the reference coordinate system 71, for example.
  • the coordinate values (u, v) of the position on the image are expressed in the image coordinate system 73, for example.
  • the extrinsic parameter matrix is a transformation matrix for transforming a three-dimensional position in space into coordinate values of the camera coordinate system 72 .
  • the matrix of internal parameters is a matrix for converting the coordinate values of the camera coordinate system 72 into the coordinate values of the image coordinate system 73 in the image.
  • the Z-axis value of the three-dimensional position or the z-axis coordinate value in the camera coordinate system 72 is predetermined according to the distance from the camera to the workpiece.
  • Equation (1) is an ideal example in which there is no lens distortion or the like. In practice, parameter changes and the like due to lens distortion and the like are taken into consideration.
  • Equation (2) the computation of the portion of the three-dimensional position in space and the matrix of the extrinsic parameters in Equation (1) can be expressed by the following Equation (2).
  • the coordinate values (X, Y, Z) expressed in the reference coordinate system 71 can be converted into the coordinate values (x, y, z) expressed in the camera coordinate system 72 by equation (2).
  • variables x' and y' are defined as shown in the following equations (3) and (4) to account for camera lens distortion.
  • variables x'' and variables y'' that take distortion into account are calculated as shown in equations (5) and (6).
  • the relationship between variable x', variable y', and variable r is as shown in equation (7).
  • equations (5) and (6) coefficients k 1 to k 6 are coefficients for radial lens distortion, and coefficients p 1 and p 2 are coefficients for circumferential lens distortion.
  • coordinate values (u, v) on the image in the image coordinate system 73 are given by the following equations (8) and (9). can be calculated to Equations (8) and (9) correspond to the calculation using the matrix of internal parameters in Equation (1) above.
  • the three-dimensional position (X, Y, Z) in space is calculated.
  • the distance z from the camera 6 to the workpiece 38 can be determined in advance and stored in the storage unit 42 .
  • the feature position calculator 55 calculates a three-dimensional position (X, Y, Z) in space from the coordinate values (u, v) of a specific position on the image based on the calculation model.
  • the calculation model for calculating the three-dimensional position from the position in the image includes the products f x and f y of the focal length and the effective size of the image, We need the centers c x , c y and the distortion coefficients k 1 -k 6 , p 1 , p 2 . These parameters change according to the focus position when the camera is in focus.
  • setting information 63 for setting parameters corresponding to focus positions is predetermined.
  • the setting information 63 is stored in the storage section 42 .
  • the parameter setting unit 53 uses the focus position and setting information 63 to set these parameters.
  • Table 1 shows a table of parameter values corresponding to the focus position pp as the setting information 63 .
  • the value of the product f x of the focal length and the effective pixel size is shown as an example of the parameter.
  • parameter values are predetermined for a plurality of discrete focus positions pp.
  • the parameter setting unit 53 sets parameters in the calculation model based on parameter values determined for each focus position. For example, if the focus position pp is 1.4 when the camera 6 captures an image, the parameter setting unit 53 interpolates the value of the product f x as a parameter to set it to 2.8. can do.
  • Parameters can be set by any method using a table containing discrete parameter values. For example, a median value of two parameters corresponding to two focus positions pp may be adopted, or a parameter value corresponding to either closer focus position pp may be adopted.
  • the parameter setting unit can set parameters according to arbitrary focus positions.
  • the parameter setting unit can set parameters by simple calculation. Alternatively, even if it is difficult to set the functions described below, parameters can be set according to the focus position.
  • a parameter can be calculated by a mathematical expression including the focus position pp.
  • a function f(pp) for calculating the product f of the focal length and the effective size of the pixel for the focus position pp can be determined in advance.
  • a function k(pp) for calculating the distortion coefficient k with respect to the focus position pp can be determined in advance.
  • the parameter setting unit 53 can set each parameter such as a parameter related to distortion using a function.
  • the characteristic position calculation section 55 can calculate the three-dimensional position of the characteristic portion based on the parameters set by the parameter setting section 53 .
  • FIG. 7 shows a flowchart of control in this embodiment.
  • the operator predefines setting information for calculating the parameters of the calculation model. Then, the operator causes the storage unit 42 to store the setting information 63 .
  • the operation control unit 43 moves the camera 6 to the imaging position for imaging the work 38 .
  • the camera 6 is arranged directly above the reference position P38a of the workpiece 38.
  • the posture of the camera 6 is adjusted so that the direction of the Z axis of the camera coordinate system 72 is parallel to the vertical direction.
  • the distance from the surface of the plate-like portion 38b of the workpiece 38 on which the characteristic portion is formed to the camera 6 is predetermined.
  • step 81 the focus adjustment mechanism 24 of the camera 6 brings the camera 6 into focus.
  • the focus adjustment mechanism 24 of the present embodiment has an autofocus function, so it automatically focuses.
  • step 82 the imaging control unit 58 captures an image with the camera 6 . An image is captured in a focused state.
  • the focus position detection unit 52 detects the focus position when the image is captured.
  • the focus position detection unit 52 detects, for example, a predetermined variable corresponding to the position of the lens.
  • the parameter setting unit 53 sets parameters of a calculation model for calculating the three-dimensional position of the characteristic portion based on the focus position and setting information.
  • the feature detection unit 54 detects feature portions in the image by performing pattern matching.
  • the edge 38c in the image is detected by performing pattern matching using a reference image of the edge 38c of the plate-like portion 38b.
  • the feature position calculator 55 detects the position of the feature portion in the image.
  • control is performed to change the position of the camera 6 with respect to the work 38 and take an image.
  • the light from the illumination may reflect off the feature, making it white and obscuring the feature.
  • by moving the position of the camera it may be possible to clearly image the characteristic portion.
  • step 86 the image processing unit 51 determines whether or not the position of the characteristic portion has been detected. If the characteristic position calculator 55 cannot detect the position of the characteristic portion, control proceeds to step 87 .
  • the action command generator 59 generates a command to change the position of the camera 6 .
  • the action command generator 59 generates a command to translate the camera 6 in a predetermined direction by a predetermined amount of movement.
  • the action command generator 59 generates a command to move the camera 6 in the X-axis direction of the camera coordinate system 72 .
  • the motion command generation unit 59 sends motion commands for the robot 1 to the motion control unit 43 .
  • the motion control section 43 changes the position and posture of the robot 1 . Control then returns to step 81 .
  • the image processing section 51 repeats the control from step 81 to step 86 .
  • step 86 when the characteristic position calculation unit 55 has calculated the position of the characteristic portion, the control proceeds to step 88. If the characteristic portion cannot be detected even after changing the position and posture of the robot a plurality of times, the control may be stopped.
  • the feature position calculator 55 calculates the three-dimensional position of the feature part based on the position of the feature part in the image. Based on the coordinate values of the image coordinate system 73 in the image, the coordinate values of the reference coordinate system 71 are calculated. A feature position calculator 55 calculates the position of the workpiece based on the three-dimensional position of the feature portion. The position of the workpiece can be calculated using the reference coordinate system 71, for example.
  • the motion command generator 59 calculates the position and orientation of the robot 1 based on the position of the workpiece. Then, at step 90 , the motion command generation unit 59 sends a motion command for driving the robot 1 to the motion control unit 43 .
  • the motion control unit 43 drives the robot 1 and the hand 5 based on motion commands.
  • the imaging apparatus sets the parameters of the calculation model for calculating the three-dimensional position corresponding to the specific position in the image captured by the visual sensor according to the focus position. Then, the three-dimensional position of the specific position is calculated based on parameters corresponding to the focus position.
  • the focus position is set to any position within a predetermined range.
  • the imaging device can set parameters corresponding to the focus position and detect the accurate position of the workpiece.
  • the visual sensor does not have to have the function of automatically focusing.
  • the operator can manually focus. For example, the operator may focus by operating the input section 27 while watching the image displayed on the display section 28 of the teaching operation panel 26 .
  • the robot system in this embodiment includes a robot as a moving device that moves at least one of the workpiece and the visual sensor.
  • a robot as a moving device that moves at least one of the workpiece and the visual sensor.
  • the imaging device can set parameters corresponding to the focus position, and can detect the accurate position of the workpiece.
  • the display section 28 of the teaching operation panel 26 of the present embodiment displays the parameter values set by the parameter setting section 53 .
  • the operator can see the parameters displayed on the display section 28 of the teaching operation panel 26 and confirm the parameter values.
  • the operator can check the parameter values set according to each focus position.
  • the distance calculation section 56 of the image processing section 51 in this embodiment can calculate the distance from the camera 6 to the work 38 based on the focus position detected by the focus position detection section 52 .
  • the focus position depends on the distance between camera 6 and workpiece 38 . Therefore, once the focal position is determined, the distance between the camera 6 and the workpiece 38 can be estimated.
  • the distance calculator 56 estimates the distance from the origin of the camera coordinate system 72 to the surface of the plate-like portion 38b of the workpiece 38 when the surface of the plate-like portion 38b is focused. For example, the operator can create in advance a function for calculating the z-axis coordinate value of the camera coordinate system 72 with the focus position pp as a variable. The z-axis coordinate value of the camera coordinate system 72 corresponds to the distance from the camera 6 to the workpiece 38 . The distance calculator 56 can calculate the coordinate value of the z-axis of the camera coordinate system 72 using the focus position pp and the function. Alternatively, the operator can determine the distance from the camera 6 to the work 38 for each of a plurality of discrete focus positions. The distance calculator 56 can calculate the distance from the camera 6 to the workpiece 38 by interpolation or other calculation based on the actually detected focus position pp.
  • the distance calculator 56 of the present embodiment can calculate the distance from the camera 6 to the object.
  • the distance from the camera to the object should be determined in advance.
  • the distance from the camera 6 to the workpiece 38 can be calculated by the image processing section 51 including the distance calculation section 56 .
  • the image processing unit 51 can calculate the three-dimensional position of the characteristic portion of the workpiece without setting the distance from the camera to the object.
  • FIG. 8 shows a schematic diagram for explaining the first step of another control of the first robot system in this embodiment.
  • the image processing unit 51 detects the three-dimensional position of the work 38 based on an image captured by placing the camera 6 at the first imaging position. Based on the position of the workpiece 38, the image processing unit 51 calculates a second imaging position closer to the workpiece 38 than the first imaging position. The image processing unit 51 moves the position and posture of the robot 1 to the second imaging position as indicated by an arrow 102 .
  • the second imaging position is a position where the distance from the object to the visual sensor is smaller than that of the first imaging position. Also, the second imaging position is a position where the work 38 is arranged substantially in the center of the image.
  • the image processing unit 51 calculates the three-dimensional position of the work 38 based on the image captured at the second imaging position. Then, based on the position of the work 38, the robot 1 is driven and the work 38 is gripped.
  • the position of the work 38 may be largely misaligned. Therefore, the position and posture of the robot 1 can be determined in advance so that the camera 6 is arranged at the first imaging position away from the workpiece 38 .
  • control is performed to automatically focus by the autofocus function.
  • the workpiece 38 is imaged in a small size.
  • the position of the workpiece 38 can be detected by the feature detection section 54 and the feature position calculation section 55 .
  • the action command generator 59 calculates the second imaging position of the camera 6 in order to image the work 38 at a position closer than the first imaging position.
  • the second imaging position is determined such that the workpiece is placed substantially in the center of the image. Also, the second imaging position is set at a position directly above the work 38 where the camera 6 approaches the work 38 .
  • z' be the coordinate value of the z-axis of the surface of the work 38 in the camera coordinate system 72 at the first imaging position.
  • a be the ratio of the workpiece to the size of the image at the first imaging position.
  • the ratio of the work to the size of the image for example, the ratio of the length of the work to the length of the image in one direction in the image can be used.
  • the ratio of the workpiece to the size of the image can be detected by the feature position calculator 55 .
  • z'' be the coordinate value of the z-axis of the surface of the workpiece 38 in the camera coordinate system 72 at the second imaging position.
  • k be the desired ratio of the workpiece to the image size. This ratio can be predetermined by the operator.
  • the motion command generation unit 59 moves the camera 6 to the second imaging position as indicated by the arrow 102 based on the amount of movement in the x-axis direction, the y-axis direction, and the z-axis direction of the camera coordinate system 72 . Change the position and posture of the robot 1 so as to place it.
  • FIG. 9 shows a schematic diagram explaining the second step of another control of the first robot system.
  • FIG. 9 shows a schematic diagram of the robotic system when the camera is placed in the second imaging position.
  • the second imaging position of the camera 6 is closer to the work 38 than the first imaging position.
  • the autofocus function of the camera 6 is used to automatically focus.
  • the position of the workpiece 38 may not be accurately detected because the proportion of the workpiece 38 in the image is small.
  • the work 38 occupies a large proportion. Therefore, the position of the workpiece 38 can be accurately calculated.
  • the action command generator 59 can calculate the second imaging position based on the three-dimensional position of the workpiece 38 in the image captured at the first imaging position. Then, the characteristic position calculator 55 calculates the three-dimensional position of the characteristic portion based on the image captured at the second imaging position. Even if the focus positions of the cameras are different at the first imaging position and the second imaging position, the three-dimensional position of the characteristic portion can be detected at each imaging position. In particular, by having the robot system perform work based on the image captured at the second imaging position, it is possible to move the work tool to an accurate position and perform highly accurate work.
  • the image processing unit 51 can detect the work 38 based on the captured image and inspect the work 38 .
  • the image processing unit 51 can measure the dimensions of the workpiece from the captured image. Then, the image processing unit 51 can inspect the dimension of the workpiece based on the predetermined dimension determination value. In this case, only the visual sensor may be attached to the robot 1 without attaching the working tool to the robot 1 .
  • Workpiece inspection is not limited to inspection of workpiece dimensions, and any inspection can be performed. For example, it is possible to inspect whether or not a predetermined component is arranged on the surface of the workpiece. Alternatively, an inspection can be carried out as to whether there are any flaws on the surface of the workpiece. In any case, since the position of the characteristic portion can be accurately detected according to the focus position, highly accurate inspection can be performed.
  • the workpiece is stopped and the camera is moved by the moving device, but it is not limited to this form.
  • the position of the camera may be fixed and the workpiece may be moved by the moving device.
  • the moving device may be configured to move both the camera and the workpiece.
  • FIG. 10 shows a schematic diagram of the second robot system in this embodiment.
  • the camera 6 is fixed to the pedestal 96 .
  • a workpiece 38 is supported by the robot 1 .
  • the second robot system 4 conveys the workpiece 38 placed on the pedestal 97 to the pedestal 98 as indicated by an arrow 103 .
  • the imaging device of the second robot system 4 detects positional deviation in the hand 5 when the work 38 is gripped by the hand 5 .
  • the control device 2 controls the position and attitude of the robot 1 so as to place the work 38 at a predetermined imaging position for detecting the three-dimensional position of the work 38 .
  • the image processing section 51 detects the three-dimensional position of the characteristic portion of the work 38 based on the image captured by the camera 6 . For example, the edge of the bottom surface of the workpiece 38 can be detected as a characteristic portion.
  • the image processing section 51 detects the position of the workpiece 38 .
  • a reference position of the workpiece 38 in the predetermined position and orientation of the robot 1 is stored in the storage unit 42 .
  • the image processing unit 51 can calculate the shift in gripping of the work 38 by the hand 5 based on the reference position of the work 38 .
  • the motion command generation unit 59 calculates the position and posture of the robot 1 so as to place the work 38 at the desired position P38e on the pedestal 98 based on the positional deviation of the work 38 within the hand 5 . Then, the motion control unit 43 drives the robot 1 to place the workpiece 38 at the position P38e.
  • the camera 6 performs focusing when the work 38 is placed at a predetermined imaging position.
  • the parameter setting unit 53 calculates parameters of the calculation model based on the focus position.
  • the characteristic position calculator 55 calculates the three-dimensional position of the characteristic portion based on the calculated parameters. Then, the position of the workpiece 38 is detected based on the position of the characteristic portion.
  • the imaging position of the work 38 may deviate from the desired position when imaging the work 38 .
  • the position of the workpiece 38 can be calculated accurately even if the camera 6 performs focusing.
  • the robot system 4 can transport the workpiece 38 to a desired position.
  • the image processing unit 51 picks up an image of the workpiece at the first imaging position away from the camera to detect the rough position of the workpiece, and then detects the rough position of the workpiece. 2 imaging positions can be calculated. Then, based on the image captured at the second imaging position, the deviation of gripping of the workpiece 38 may be calculated.
  • the second robot system may also perform inspections such as dimensional inspection of the work.
  • FIG. 11 shows a schematic diagram of the transport system in this embodiment.
  • FIG. 12 shows a block diagram of the transport system in this embodiment.
  • transport system 9 includes an image pickup device that picks up an image of work 38 and detects work 38 .
  • the transport system 9 includes a conveyor 7 as a moving device for moving the work 38 .
  • the transport system 9 has a configuration in which a conveyor 7 is arranged instead of the robot 1 of the second robot system 4 .
  • the work 38 moves in the direction indicated by the arrow 104 by driving the conveyor 7 . That is, the position of the workpiece 38 changes as the conveyor 7 is driven.
  • a camera 6 as a visual sensor is supported by a support member 99 .
  • the transport system 9 includes a control device 8 that controls the conveyor 7 and the camera 6.
  • the control device 8 is composed of an arithmetic processing device including a CPU and the like.
  • the controller 8 includes a conveyor drive 46 .
  • Conveyor 7 includes a conveyor drive 30 having a drive motor for driving the belt. Each drive motor is provided with a position detector 31 for detecting the rotational position of the drive motor.
  • the control device 8 includes an image processing section 51 that processes images captured by the camera 6 .
  • the control device 8 includes an operation panel 32.
  • the operating panel 32 has an input section 27 and a display section 28, similarly to the teaching operating panel 26.
  • the display unit 28 can display parameters and the like set by the parameter setting unit 53 .
  • Other configurations of the control device 8 are the same as those of the control device 2 of the robot system shown in FIG.
  • the camera 6 is fixed at a predetermined position where the workpiece 38 can be imaged.
  • the transport system 9 can detect the position of the work 38 or inspect the work 38 based on the image captured by the camera 6 .
  • the imaging position at which the work 38 conveyed by the conveyor 7 stops may be different. Alternatively, there may be individual differences in the dimensions of the work 38 .
  • focusing is performed when the work 38 is imaged. Then, based on the focus position, parameters of a calculation model for calculating a three-dimensional position corresponding to the specific position of the image are set. Based on the parameters, the positions of characteristic portions of the workpiece 38 are calculated. Based on the position of the characteristic portion of the workpiece 38, the position of the workpiece 38 can be calculated and the workpiece 38 can be inspected.
  • the position of camera 6 may be fixed.
  • any device that moves an object or a camera can be employed as the moving device.
  • Other configurations, actions, and effects of the transport system are the same as those of the first robot system and the second robot system described above, so description thereof will not be repeated here.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

撮像装置は、視覚センサのピントが合った時のピント位置を検出するピント位置検出部を備える。撮像装置は、視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部を備える。撮像装置は、パラメータ設定部にて設定されたパラメータを用いて、特徴部分の３次元の位置を算出する特徴位置算出部を備える。パラメータ設定部は、ピント位置に基づいてパラメータを設定する。

Description

視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
　本発明は、視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置に関する。
　従来から視覚センサにて対象物を撮像して得られた画像を処理することにより、対象物の３次元の位置を検出する装置が知られている。例えば、２つの方向から対象物の２次元の画像を撮像して、特定の部分の３次元の位置を算出する装置が知られている（例えば、特開２０１６－７０６４７５号公報）。または、ステレオカメラと称される視覚センサでは、２台の２次元カメラにて画像を同時に撮像し、２つの画像における視差に基づいて、特徴点の３次元の位置を算出することが知られている。
　このような３次元の位置を算出する装置は、所定の作業を行う作業ツールを移動するためのロボットに取り付けられることができる。ワークを搬送するロボットシステムでは、所定の位置に置かれたワークをカメラにて撮像する。カメラにて撮像された画像に基づいて、ワークの３次元の位置を検出する。このワークの位置に応じてワークを把持できるように、ロボットの位置および姿勢を変更する。このような制御により、ワークの正確な位置を検出して確実に作業を実施することができる。
　視覚センサにて撮像した２次元の画像に基づいて対象物の３次元の位置を算出する場合に、画像における位置を３次元の位置に変換するための計算モデルが用いられる。計算モデルには、係数および定数などの予め定められたパラメータが含まれる。計算モデルを用いることにより、カメラにて撮像された画像における位置から３次元の位置を算出することができる。
特開２０１６－７０６７４号公報
　対象物の３次元の位置を算出するための計算モデルにおけるパラメータは、カメラを設置している状況、レンズの特性、およびレンズの個体差等に依存する。パラメータは、計算または実験等により予め定めておくことができる。例えば、カメラを所定の位置に配置した後に、実際に対象物の画像を撮像して、予めパラメータを算出することができる。
　従来のカメラ本体とレンズとの組み合わせでは、カメラを所定の位置に固定して使用している。カメラのレンズの位置は固定されており、予めパラメータを計算して使用している。ところが、カメラにて撮像する対象物には個体差が含まれる場合がある。または、カメラにて撮像するときの対象物の位置が所望の位置からずれる場合がある。この結果、ワークを撮像するときに画像がぼやける場合が有る。
　そこで、カメラのピントを合わせる制御が考えられる。例えば、オートフォーカスの機能を有するカメラでは、ワークが配置される位置またはワークの個体差に応じてピントを合わせることが考えられる。しかしながら、ピント合わせを実施するとピントが合うレンズの位置が変化するために、計算モデルにおけるパラメータも変化する。パラメータは一つのピント位置に対応して定められているために、予め定められたピント位置以外の位置にピントを合わせることができないという問題があった。または、ピント位置を考慮せずにパラメータを使用する必要があった。
　また、ピント位置を一定にするために、ワークに対するカメラの相対的な位置を、予め定めた位置に合わせることが考えられる。ところが、ワークおよびカメラのうち少なくとも一方は、位置が変化する場合がある。例えば、ワークが搬送される状況に応じて、作業台の上に載置されるワークの位置および姿勢が変化する場合がある。この場合に、ロボットは、ワークの位置および姿勢に応じて位置および姿勢を変更することができる。しかしながら、ロボットシステムの周りに配置された柵などの障害物にロボットが干渉する場合がある。または、ロボットのストロークに限界がある場合がある。このために、ワークに対するカメラの相対的な位置を予め定めた位置に合わせることが難しい場合がある。
　本開示の一態様の撮像装置は、対象物を撮像する視覚センサと、視覚センサのピントが合った時のピント位置を検出するピント位置検出部とを備える。撮像装置は、視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部を備える。撮像装置は、ピント位置に対応するパラメータを設定するための設定情報を記憶する記憶部を備える。撮像装置は、対象物の画像において予め定められた特徴部分を検出する特徴検出部と、パラメータ設定部にて設定されたパラメータを用いて、特徴部分の３次元の位置を算出する特徴位置算出部とを備える。パラメータ設定部は、ピント位置および設定情報に基づいてパラメータを設定する。
　本開示の態様によれば、ピント位置が変化した時に特徴部分の３次元の位置を精度よく検出する撮像装置を提供することができる。
実施の形態における第１のロボットシステムの概略図である。 実施の形態における第１のロボットシステムのブロック図である。 実施の形態におけるワークの平面図である。 カメラのピントを合わせる位置とカメラの視野とを説明する概略図である。 ピントを合わせる位置を変更したときの画像の例である。 ピントを合わせるためにレンズの位置を移動したときの画像センサ、レンズ、およびワークの特徴部分の概略図である。 第１のロボットシステムの制御を説明するフローチャートである。 第１のロボットシステムの他の制御を説明する第１の概略図である。 第１のロボットシステムの他の制御を説明する第２の概略図である。 実施の形態における第２のロボットシステムの概略図である。 実施の形態における搬送装置の概略図である。 実施の形態における搬送装置のブロック図である。
　図１から図１２を参照して、実施の形態における撮像装置について説明する。本実施の形態の撮像装置は、視覚センサにて撮像された画像に基づいて画像における特定位置の３次元位置を算出する３次元位置取得装置として機能する。
　図１は、本実施の形態における撮像装置を備える第１のロボットシステムの概略図である。図２は、本実施の形態における第１のロボットシステムのブロック図である。本実施の形態のロボットシステムは、対象物としてのワークの位置を検出してワークを搬送する。
　図１および図２を参照して、第１のロボットシステム３は、ワーク３８を把持する作業ツールとしてのハンド５と、ハンド５を移動するロボット１とを備える。ロボットシステム３は、ロボットシステム３を制御する制御装置２を備える。また、ロボットシステム３は、ワーク３８を載置する架台９５を備える。
　本実施の形態のハンド５は、ワーク３８を把持したり解放したりする作業ツールである。ロボット１に取り付けられる作業ツールとしては、この形態に限られず、ロボットシステム３が行う作業に応じた任意の作業ツールを採用することができる。例えば、エンドエフェクタとして、溶接を実施する作業ツール等を採用することができる。
　本実施の形態のロボット１は、複数の関節部１８を含む多関節ロボットである。ロボット１は、上部アーム１１と下部アーム１２とを含む。下部アーム１２は、旋回ベース１３に支持されている。旋回ベース１３は、ベース１４に支持されている。ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、ハンド５を固定するフランジ１６を含む。ロボット１の構成部材は、予め定められた駆動軸の周りに回転するように形成される。ロボット１としては、この形態に限られず、作業ツールを移動可能な任意のロボットを採用することができる。
　本実施の形態のロボット１は、上部アーム１１等の構成部材を駆動する駆動モータを有するロボット駆動装置２１を含む。ハンド５は、ハンド５を駆動するハンド駆動装置２２を含む。本実施の形態のハンド駆動装置２２は、空気圧によりハンド５を駆動する。ハンド駆動装置２２は、シリンダに圧縮空気を供給するための空気ポンプおよび電磁弁を含む。
　制御装置２は、制御装置本体４０と、作業者が制御装置本体４０を操作するための教示操作盤２６とを含む。制御装置本体４０は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット１は、制御装置２の動作指令に基づいて駆動する。ロボット１は、動作プログラム６１に基づいてワーク３８を自動的に搬送する。ロボット駆動装置２１およびハンド駆動装置２２は、制御装置２により制御されている。
　制御装置本体４０は、ロボットシステム３に関する任意の情報を記憶する記憶部４２を含む。記憶部４２は、情報の記憶が可能で非一時的な記憶媒体にて構成されることができる。例えば、記憶部４２は、揮発性メモリ、不揮発性メモリ、磁気記憶媒体、または光記憶媒体等の記憶媒体にて構成することができる。
　制御装置２には、ロボット１の動作を行うために予め作成された動作プログラム６１が入力される。または、作業者が教示操作盤２６を操作してロボット１を駆動することにより、ロボット１の教示点を設定することができる。制御装置２は、教示点に基づいて、動作プログラム６１を生成することができる。
　動作プログラム６１は、記憶部４２に記憶される。動作制御部４３は、動作プログラム６１に基づいてロボット１を駆動するための動作指令をロボット駆動部４４に送出する。ロボット駆動部４４は、駆動モータを駆動する電気回路を含み、動作指令に基づいてロボット駆動装置２１に電気を供給する。また、動作制御部４３は、ハンド駆動装置２２を駆動する動作指令をハンド駆動部４５に送出する。ハンド駆動部４５は、空気ポンプ等を駆動する電気回路を含み、動作指令に基づいて空気ポンプ等に電気を供給する。
　動作制御部４３は、動作プログラム６１に従って駆動するプロセッサに相当する。プロセッサは、記憶部４２に記憶された情報を読み取り可能に形成されている。プロセッサが動作プログラム６１を読み込んで、動作プログラム６１に定められた制御を実施することにより、動作制御部４３として機能する。
　ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器を含む。本実施の形態における状態検出器は、ロボット駆動装置２１の各駆動軸の駆動モータに取り付けられた位置検出器２３を含む。位置検出器２３は、例えば、駆動モータの出力軸の回転位置を検出するエンコーダにて構成することができる。位置検出器２３の出力により、ロボット１の位置および姿勢が検出される。
　ロボットシステム３には、ロボット１の位置および姿勢が変化した時に不動の基準座標系７１が設定されている。図１に示す例では、ロボット１のベース１４に基準座標系７１の原点が配置されている。基準座標系７１は、ワールド座標系とも称される。基準座標系７１では、原点の位置が固定され、更に、座標軸の向きが固定されている。基準座標系７１は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。
　教示操作盤２６は、通信装置を介して制御装置本体４０に接続されている。教示操作盤２６は、ロボット１およびハンド５に関する情報を入力する入力部２７を含む。入力部２７は、キーボードおよびダイヤルなどの入力部材により構成されている。教示操作盤２６は、ロボット１およびハンド５に関する情報を表示する表示部２８を含む。表示部２８は、液晶表示パネルまたは有機ＥＬ（Electro Luminescence）表示パネル等の任意の表示パネルにて構成されることができる。なお、教示操作盤がタッチパネル方式の表示パネルを備える場合に、表示パネルは入力部および表示部として機能する。
　ロボットシステム３には、作業ツールの任意の位置に設定された原点を有するツール座標系が設定されている。ツール座標系は、作業ツールと共に位置および姿勢が変化する。本実施の形態では、ツール座標系の原点は、ハンド５のツール先端点に設定されている。ロボット１の位置は、ツール先端点の位置（ツール座標系の原点の位置）に対応する。また、ロボット１の姿勢は、基準座標系７１に対するツール座標系の姿勢に対応する。
　本実施の形態におけるロボットシステム３は、ワーク３８の位置を検出する撮像装置を備える。撮像装置は、ハンド５がワーク３８を把持する前に、架台９５におけるワーク３８の位置を検出する。撮像装置は、ワーク３８の画像を撮像する視覚センサとしてのカメラ６を備える。本実施の形態のカメラ６は、２次元の画像を撮像する２次元カメラである。カメラ６は、ロボット１に支持されている。カメラ６は、支持部材を介してハンド５に固定されている。
　カメラ６は、視野６ａにて画像を撮像することができる。カメラ６は、ピントを調整するためのピント調整機構２４を有する。本実施の形態のピント調整機構２４は、自動的にピントを合わせる機能を有する。すなわち、カメラ６は、オートフォーカスの機能を有する。カメラ６は、ロボット１が位置および姿勢を変更した場合に、自動的にワーク３８に対してピントを合わせて、ワーク３８を撮像するように形成されている。ピント調節機構としては、コントラスト検出方式または位相差方式等の任意の制御にてピントを合わせる機構を採用することができる。
　または、視覚センサとして液体レンズを備えるカメラを採用することができる。この場合に、ピント調整機構としては、液体レンズの形状を変更するための機構を採用することができる。例えば、液体レンズに加える電圧を変更する機構または液体レンズに加える水圧を変更するための液体レンズの保持部材を移動する機構等を採用することができる。
　ロボットシステム３では、カメラ６に対してセンサ座標系としてのカメラ座標系７２が設定されている。カメラ座標系７２は、カメラ６と共に位置および姿勢が変化する。カメラ座標系７２の原点は、カメラ６のレンズ中心または光学中心等のカメラ６の予め定められた位置に設定されている。カメラ座標系７２は、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。本実施の形態のカメラ座標系７２は、Ｚ軸がカメラ６のレンズの光軸と平行になるように設定されている。
　本実施の形態の撮像装置は、対象物としてのワーク３８およびカメラ６のうちの一方を移動して、他方に対する一方の相対的な位置を変更する移動装置を備える。第１のロボットシステム３では、ロボット１が移動装置として機能する。ロボット１の位置および姿勢が変化すると、カメラ６の位置および姿勢が変化する。
　撮像装置は、視覚センサにて撮像した画像を処理する画像処理装置を備える。本実施の形態のロボットシステム３では、制御装置本体４０が画像処理装置として機能する。制御装置本体４０は、カメラ６にて撮像した画像を処理する画像処理部５１を含む。画像処理部５１は、カメラ６に対して画像を撮像する指令を送出する撮像制御部５８を含む。
　画像処理部５１は、カメラ６のピントが合ったときのピント位置を検出するピント位置検出部５２を含む。画像処理部５１は、カメラ６にて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部５３を含む。画像処理部５１は、ワーク３８の画像において予め定められた特徴部分を検出する特徴検出部５４を含む。画像処理部５１は、パラメータ設定部５３にて設定されたパラメータを用いて、特徴部分の３次元位置を算出する特徴位置算出部５５を含む。画像処理部５１は、カメラ６からワーク３８までの距離を算出する距離算出部５６を含む。画像処理部５１は、画像処理の結果に基づいてロボット１およびハンド５の動作指令を生成する動作指令生成部５９を含む。
　画像処理部５１は、動作プログラム６１に従って駆動するプロセッサに相当する。特に、ピント位置検出部５２、パラメータ設定部５３、特徴検出部５４、特徴位置算出部５５、距離算出部５６、撮像制御部５８、および動作指令生成部５９のそれぞれのユニットは、動作プログラム６１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム６１を読み込んで、動作プログラム６１に定められた制御を実施することにより、それぞれのユニットとして機能する。
　図１を参照して、本実施の形態の第１のロボットシステム３では予め定められた方法により架台９５の表面にワーク３８を配置する。例えば、作業者または他のロボットシステムが架台９５の表面にワーク３８を配置する。そして、ロボット１が位置および姿勢を変化させて、架台９５の上面に配置されたワーク３８をハンド５にて把持する。ロボットシステム３は、ロボット１の位置および姿勢を変化することにより、ワーク３８を予め定められた位置まで搬送する。
　架台９５の表面にワーク３８を配置する場合に、架台９５におけるワーク３８の位置がずれる場合がある。図１に示す例では、ロボット１の位置および姿勢を教示するときの教示作業において定められる位置Ｐ３８ａが示されている。位置Ｐ３８ａは、ワーク３８を配置することが望ましい位置であり、ワーク３８を配置するための基準となる位置である。
　ところが、実際にワーク３８を架台９５の上面に配置したときには、基準となる位置Ｐ３８ａからずれた位置Ｐ３８ｂにワーク３８が配置される場合がある。または、ワーク３８の寸法の誤差がある場合が有る。ロボットシステム３では、カメラ６にてワーク３８を撮像する。そして、画像処理部５１は、ワーク３８の画像に基づいてワーク３８の３次元の位置を算出する。例えば、画像処理部５１は、ワーク３８における特徴部分の３次元の位置を検出する。そして、画像処理部５１は、ワーク３８の特徴部分の３次元の位置に基づいてワーク３８の位置を算出する。このようなワーク３８の位置は、基準座標系７１にて算出することができる。画像処理部５１は、ワーク３８の位置に対応するように、ロボット１の位置および姿勢を制御する。そして、ハンド５にてワーク３８を把持して、所望の予め定められた位置まで搬送する。
　図３に、本実施の形態におけるワーク３８の平面図を示す。図１および図３を参照して、ワーク３８は、板状部３８ａと板状部３８ａの上側に形成された板状部３８ｂとを有する。それぞれの板状部３８ａ，３８ｂは、直方体状の形状を有する。板状部３８ｂは、上面の外周部に縁部３８ｃを有する。縁部３８ｃは、板状部３８ｂに形成された角に相当する部分である。本実施の形態では、平面視したときに四角形の形状を有する縁部３８ｃがワーク３８の特徴部分になる。
　図１を参照して、本実施の形態においては、ワーク３８の鉛直方向の上側にカメラ６が配置される。この時に、ワーク３８の特徴部分が形成されている表面からカメラ６までの距離が予め定められている。ここでの例では、板状部３８ｂの上面の位置がカメラ座標系７２の所定のＺ軸の値になるように、ロボット１の位置および姿勢が制御される。また、カメラ６の光軸がワーク３８の特徴部分を有する板状部３８ｂの表面にほぼ垂直になるように、カメラ６の姿勢が調整される。
　カメラ６は、ピント合わせを実施してワーク３８の画像を撮像する。画像処理部５１の特徴検出部５４は、パターンマッチングを行うことにより、縁部３８ｃをワーク３８の特徴部分として検出する。縁部３８ｃの位置を検出するための基準画像は、予め作成されて記憶部４２に記憶されている。特徴検出部５４は、基準画像を用いて、カメラ６にて撮像された画像において特徴部分である縁部３８ｃを検出する。
　特徴位置算出部５５は、カメラにて撮像された画像における特徴部分の位置に基づいて、３次元の空間におけるワークの位置を算出する。ワークの位置としては、ワークに対して設定された任意の設定点の位置を算出することができる。ワーク３８の位置は、基準座標系７１にて取得することができる。
　動作指令生成部５９は、特徴位置算出部５５によって算出されたワーク３８の位置に基づいて、ロボット１の位置および姿勢を算出する。そして、ワーク３８を把持するためのロボット１の位置および姿勢を動作制御部４３に送出する。動作制御部４３は、動作指令生成部５９から受信した動作指令に基づいて、ロボット１およびハンド５を駆動してワーク３８を把持する。
　本実施の形態のワークを把持する制御では、特徴検出部５４が特徴部分を検出し、特徴位置算出部５５が特徴部分の位置に基づいてワークの３次元の位置を精度よく算出する。このために、ロボットシステム３は、ワーク３８をより確実に把持することができる。架台９５におけるワーク３８の位置（基準座標系７１におけるワーク３８の位置）が、基準の位置と異なる場合またはワークの寸法誤差がある場合でも、ロボットシステム３は、ワーク３８を確実に把持することができる。
　図１を参照して、ワーク３８の位置がずれた場合またはワークの個体差等により、カメラのピントが合うピント位置がずれる場合がある。ここで、ピント位置は、ピント調整機構２４にて駆動されたレンズの位置に対応する任意の変数を採用することができる。例えば、ピント調整機構２４は、ピントを合わせるためにレンズの位置を駆動する為の駆動モータを含む場合がある。この場合に、ピント位置として駆動モータの出力軸のピントが合った時の回転位置を採用することができる。または、レンズにピントを合わせるためのフォーカスリングが配置されている場合がある。フォーカスリングの位置をピント位置に定めることができる。または、カメラが複数枚のレンズを備える場合に、所定のレンズの位置をピント位置に定めることができる。また、液体レンズを備えるカメラの場合には、液体レンズに加える電圧の大きさをピント位置として採用することができる。または、液体レンズに加える圧力を変更する保持部材の駆動機構に含まれるモータの出力軸の回転位置をピント位置に採用することができる。
　図４に、ピントを合わせる位置が変化した時の視野を説明する概略図を示す。カメラ６の視野は、画角または撮像範囲に対応する。図４では、ピントを合わせる位置Ａ，Ｂが示されている。位置Ａにてピントを合わせる場合には、カメラ６の撮像範囲は視野Ａになる。位置Ｂにてピントを合わせる場合には、カメラ６の撮像範囲は視野Ｂになる。このように、ピントを合わせる位置が変化すると視野の大きさが変わる。ワークの特徴部分の位置が同じ場合に、ピントが合う位置が変化すると、画像における特徴部分の位置が変化することになる。
　図５に、ピントを合わせる位置が変化した場合のカメラにて撮像した画像の例を示す。画像６６は、１つの位置にピントを合わせた時の画像であり、例えば、図４の位置Ａに対応する。画像６７は、他の位置にピントを合わせた時の画像であり、例えば、図４の位置Ｂに対応する画像である。画像６６，６７には、画像座標系７３が設定されている。
　それぞれの画像６６，６７には、特徴部分としての穴の画像６８ａ，６８ｂが含まれている。ピントを合わせる位置を変更することにより、矢印１０１に示すように、画像６６における穴の画像６８ａの位置は、画像６７において穴の画像６８ｂの位置になる。ピント位置が変更すると、画像における特徴点の位置が変化する。数学モデルでは、ピントを合わせる位置を変化させることと、焦点距離が変化することとは同義になる。
　図６に、対象物の特徴点が写る画素センサにおける位置を説明する概略図を示す。ワークの表面とカメラの画像を生成する画像センサとの間には、レンズ３７が配置されている。焦点距離ｆ1，ｆ2は、画像センサからレンズ３７のレンズ中心までの距離が相当する。図６には、ピントを合わせる位置Ａおよびピントを合わせる位置Ｂが示されている。位置Ａでは、焦点距離ｆ1の位置にレンズ３７が配置されていることに対応する。位置Ｂでは、焦点距離ｆ2の位置にレンズ３７が配置されていることに対応する。焦点距離ｆ1，ｆ2に応じて、レンズ３７からワークまでの距離ｚ1，ｚ2が変化する。
　位置Ａでは、ワークの表面において光軸からの距離Ｘ1に配置された特徴部分６９は、画像センサでは光軸からの距離ｕ1の位置に検出される。位置Ｂでは、距離Ｘ1と同じ距離Ｘ2の位置に配置された特徴部分６９は、画像センサでは距離ｕ2の位置に検出される。例えば、位置Ｂについては、Ｘ2／ｚ2＝ｕ2／ｆ2の関係が成立する。焦点距離ｆ2は、焦点距離ｆ1よりも大きいために、画像センサにおける距離ｕ2は、距離ｕ1よりも大きくなる。このように、ワークの表面における位置が同じであっても、ピント位置に応じてカメラの画像における特徴部分の位置が変化する。
　パラメータ設定部５３は、カメラにて撮像した画像からワークの特徴部分の位置を算出する計算モデルにおけるパラメータを、ピント位置に基づいて算出する。特徴位置算出部５５は、計算モデルを用いて画像における特定の位置から３次元の位置を算出する。ピント位置に対応して設定されたパラメータを用いて、ワークの表面における特徴部分の３次元の位置を算出する。
　次に、カメラにて撮像した画像から空間における３次元の位置を算出する計算モデルについて説明する。空間上の任意の位置に対応するカメラの画像における位置は、ピンホールカメラのモデルにより、一般的に次の式（１）にて示される。
Figure JPOXMLDOC01-appb-M000001
　３次元の位置の座標値（Ｘ，Ｙ，Ｚ）は、例えば、基準座標系７１にて表現されている。画像上の位置の座標値（ｕ，ｖ）は、例えば、画像座標系７３にて表現されている。外部パラメータの行列は、空間における３次元の位置をカメラ座標系７２の座標値に変換するための変換行列である。また、内部パラメータの行列は、カメラ座標系７２の座標値を、画像における画像座標系７３の座標値に変換する為の行列である。ここで、３次元の位置のＺ軸の値、または、カメラ座標系７２におけるｚ軸の座標値は、カメラからワークまでの距離に対応して、予め定められている。
　上記の式（１）は、レンズの歪み等が存在しない理想的な例である。実際にはレンズの歪み等によるパラメータの変化等を考慮する。まず、式（１）における空間における３次元の位置と外部パラメータの行列との部分の演算は、次の式（２）にて表すことができる。
Figure JPOXMLDOC01-appb-M000002
　式（２）により、基準座標系７１にて表現された座標値（Ｘ，Ｙ，Ｚ）をカメラ座標系７２にて表現された座標値（ｘ，ｙ，ｚ）に変換することができる。次に、カメラのレンズの歪みを考慮するために、変数ｘ'および変数ｙ'を、次の式（３）および式（４）に示すように定義する。さらに、歪みを考慮した変数ｘ''および変数ｙ''を、式（５）および式（６）に示すように算出する。ここで、変数ｘ'、変数ｙ'、および変数ｒの関係は、式（７）に示すようになる。
Figure JPOXMLDOC01-appb-M000003
　式（５）および式（６）において、係数ｋ1～ｋ6は、半径方向のレンズの歪みに関する係数であり、係数ｐ1，ｐ2は、円周方向のレンズの歪みに関する係数である。レンズの歪みを考慮した変数ｘ''および変数ｙ''を用いて、画像座標系７３における画像上の座標値（ｕ，ｖ）は、次の式（８）および式（９）に示すように算出することができる。式（８）および式（９）は、上記の式（１）における内部パラメータの行列による演算に対応する部分である。
Figure JPOXMLDOC01-appb-M000004
　上記の説明においては、空間上の３次元の位置から画像における位置を算出する方法を説明しているが、本実施の形態では、上記の関係式に基づいて、画像上の位置の座標値（ｕ，ｖ）およびカメラ座標系７２におけるカメラ６からワーク３８までの距離ｚに基づいて、空間上の３次元の位置（Ｘ，Ｙ，Ｚ）を算出する。カメラ６からワーク３８までの距離ｚは、予め定めて記憶部４２に記憶させておくことができる。特徴位置算出部５５は、計算モデルに基づいて、画像上の特定の位置の座標値（ｕ，ｖ）から空間上の３次元の位置（Ｘ，Ｙ，Ｚ）を算出する。
　ここで、式（２）から式（９）を参照して、画像における位置から３次元の位置を算出する計算モデルには、焦点距離と画像の有効サイズとの積ｆx，ｆy、画像中心ｃx，ｃy、および歪みに関する係数ｋ1～ｋ6，ｐ1，ｐ2が必要になる。これらのパラメータは、カメラのピントが合った時のピント位置に応じて変化する。
　本実施の形態では、ピント位置に対応するパラメータを設定するための設定情報６３が予め定められている。設定情報６３は、記憶部４２に記憶されている。パラメータ設定部５３は、ピント位置および設定情報６３を用いて、これらのパラメータを設定する。表１に、設定情報６３としてのピント位置ｐｐに対応するパラメータの値の表を示す。
Figure JPOXMLDOC01-appb-T000005
　ここでは、パラメータの例として、焦点距離と画素の有効サイズとの積ｆxの値が示されている。ここでの設定情報６３は、複数の離散的なピント位置ｐｐに対してパラメータの値が予め定められている。パラメータ設定部５３は、ピント位置ごとに定められたパラメータの値に基づいて、計算モデルにおけるパラメータを設定する。例えば、カメラ６にて画像を撮像したときのピント位置ｐｐが１．４であった場合に、パラメータ設定部５３は、パラメータとしての積ｆxの値を内挿することにより２．８に設定することができる。パラメータの設定おいては、離散的なパラメータの値を含む表を用いて任意の方法によりパラメータを設定することができる。例えば、２つのピント位置ｐｐに対応する２つのパラメータの中央値を採用したり、いずれかの近い方のピント位置ｐｐに対応するパラメータの値を採用したりしても構わない。
　離散的なピント位置に対するパラメータの値を含む設定情報を用いることにより、パラメータ設定部は、任意のピント位置に応じたパラメータを設定することができる。パラメータ設定部は、簡易な計算にてパラメータを設定することができる。または、次に説明する関数の設定が難しい場合でも、ピント位置に応じたパラメータを設定することができる。
　設定情報としては、ピント位置ｐｐに応じてパラメータを算出するための関数を定めることができる。ピント位置ｐｐを含む数式にてパラメータを算出することができる。例えば、式（１０）に示すように、ピント位置ｐｐに対して焦点距離と画素の有効サイズとの積ｆを算出する関数ｆ（ｐｐ）を予め定めておくことができる。または、式（１１）に示すように、ピント位置ｐｐに対して歪みの係数ｋを算出する関数ｋ（ｐｐ）を予め定めておくことができる。
Figure JPOXMLDOC01-appb-M000006
　このような関数としては、例えば、変数としてのピント位置ｐｐの高次の式を採用することができる。パラメータ設定部５３は、関数を用いて歪みに関するパラメータ等のそれぞれのパラメータを設定することができる。特徴位置算出部５５は、パラメータ設定部５３にて設定されたパラメータに基づいて、特徴部分の３次元の位置を算出することができる。
　図７に、本実施の形態における制御のフローチャートを示す。図１、図２、および図７を参照して、作業者は、予め計算モデルのパラメータを算出するための設定情報を定める。そして、作業者は、記憶部４２に設定情報６３を記憶させる。
　ステップ８０において、動作制御部４３は、ワーク３８を撮像するための撮像位置にカメラ６を移動する。本実施の形態においては、ワーク３８の基準の位置Ｐ３８ａの真上にカメラ６を配置する。また、カメラ座標系７２のＺ軸の方向が、鉛直方向と平行になるようにカメラ６の姿勢を調整する。ここで、特徴部分が形成されているワーク３８の板状部３８ｂの表面からカメラ６までの距離は予め定められている。
　次に、ステップ８１において、カメラ６のピント調整機構２４は、カメラ６のピントを合わせる。本実施の形態のピント調整機構２４は、オートフォーカスの機能を有するために、自動的にピントを合わせる。ステップ８２において、撮像制御部５８は、カメラ６にて画像を撮像する。ピントが合った状態にて画像を撮像する。
　ステップ８３において、ピント位置検出部５２は、画像を撮像したときのピント位置を検出する。ピント位置検出部５２は、例えば、レンズの位置に対応する所定の変数を検出する。ステップ８４において、パラメータ設定部５３は、ピント位置および設定情報に基づいて、特徴部分の３次元の位置を算出するための計算モデルのパラメータを設定する。
　次に、ステップ８５において、特徴検出部５４は、パターンマッチングを行うことにより、画像における特徴部分を検出する。本実施の形態においては、板状部３８ｂの縁部３８ｃの基準画像を用いてパターンマッチングを行うことにより、画像における縁部３８ｃを検出する。特徴位置算出部５５は、画像における特徴部分の位置を検出する。
　次に、本実施の形態では、ワークの特徴部分の位置が検出できない場合に、ワーク３８に対するカメラ６の位置を変更して画像を撮像する制御を実施する。例えば、照明の光が反射して特徴部分が白くなり、特徴部分が不明確になる場合がある。このような場合に、カメラの位置を移動することにより、特徴部分を明確に撮像することができる場合がある。
　ステップ８６において、画像処理部５１は、特徴部分の位置を検出できたか否かを判定する。特徴位置算出部５５が特徴部分の位置を検出できない場合に、制御はステップ８７に移行する。
　ステップ８７において、動作指令生成部５９は、カメラ６の位置を変更する指令を生成する。例えば、動作指令生成部５９は、予め定められた方向に予め定められた移動量にてカメラ６を平行移動する指令を生成する。図１を参照して、例えば、動作指令生成部５９は、カメラ座標系７２のＸ軸の方向にカメラ６を移動する指令を生成する。動作指令生成部５９は、ロボット１の動作指令を動作制御部４３に送出する。動作制御部４３は、ロボット１の位置および姿勢を変更する。そして、制御はステップ８１に戻る。画像処理部５１は、ステップ８１からステップ８６までの制御を繰り返す。
　ステップ８６において、特徴位置算出部５５が特徴部分の位置を算出した場合には、制御はステップ８８に移行する。なお、複数回にてロボットの位置および姿勢の変更を行っても特徴部分を検出できない場合には、制御を中止しても構わない。
　ステップ８８において、特徴位置算出部５５は、画像における特徴部分の位置に基づいて特徴部分の３次元の位置を算出する。画像における画像座標系７３の座標値に基づいて、基準座標系７１の座標値を算出する。特徴位置算出部５５は、特徴部分の３次元の位置に基づいてワークの位置を算出する。ワークの位置は、例えば基準座標系７１にて算出することができる。
　ステップ８９において、動作指令生成部５９は、ワークの位置に基づいてロボット１の位置および姿勢を算出する。そして、ステップ９０において、動作指令生成部５９は、ロボット１を駆動する動作指令を動作制御部４３に送出する。動作制御部４３は、動作指令に基づいてロボット１およびハンド５を駆動する。
　このように、本実施の形態における撮像装置は、視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するための計算モデルのパラメータをピント位置に応じて設定する。そして、ピント位置に応じたパラメータに基づいて、特定位置の３次元の位置を算出する。
　この制御を行うことにより、ピント位置が変化した時に特徴部分の３次元の位置を精度よく検出することができる。特に、ピント位置を予め固定する必要は無く、任意のピント位置にて画像を撮像して、誤差の少ない３次元の位置を算出することができる。換言すると、ワークに対するカメラの相対的なピントが合う位置を予め定めておく必要は無く、任意の位置にカメラを配置して、ピントを合わせて撮像を行うことができる。本実施の形態では、ピントを合わせる位置（ワークに対するカメラの相対位置）が増えた場合でも、計算モデルのパラメータを新たに追加する必要はない。本実施の形態の撮像装置では、従来の技術に比べて、ロボットを駆動できる範囲が拡大したり、ロボットを駆動するパターンが増加したりする。
　特に、視覚センサのピント調整機構がピントを自動的に合わせる機能を有する場合には、ピント位置は所定の範囲内の任意の位置に設定される。この場合に、撮像装置は、ピント位置に対応したパラメータを設定することができて、ワークの正確な位置を検出することができる。なお、視覚センサは、自動的にピントを合わせる機能を有していなくても構わない。この場合には、作業者が手動にてピントを合わせることができる。例えば、作業者は、教示操作盤２６の表示部２８に表示される画像を見ながら、入力部２７を操作してピントを合わせても構わない。
　また、本実施の形態における、ロボットシステムは、ワークおよび視覚センサのうち少なくとも一方を移動する移動装置としてのロボットを備える。このように、ロボットにてワークに対するカメラの相対位置が変化すると、ピントが合うピント位置が変化する。この場合にも、撮像装置は、ピント位置に対応したパラメータを設定することができて、ワークの正確な位置を検出することができる。
　図２を参照して、本実施の形態の教示操作盤２６の表示部２８は、パラメータ設定部５３にて設定されたパラメータの値を表示する。作業者は、教示操作盤２６の表示部２８に表示されたパラメータを見て、パラメータの値を確認することができる。特に、特徴位置算出部５５にて算出された３次元の位置が正しくない場合に、作業者は、それぞれのピント位置に応じて設定されているパラメータの値を確認することができる。
　ところで、本実施の形態における画像処理部５１の距離算出部５６は、ピント位置検出部５２にて検出されたピント位置に基づいて、カメラ６からワーク３８までの距離を算出することができる。ピント位置は、カメラ６とワーク３８との距離に依存する。このために、ピント位置が定まると、カメラ６とワーク３８との距離を推定することができる。
　距離算出部５６は、板状部３８ｂの表面にピントを合わせた時に、カメラ座標系７２の原点からワーク３８の板状部３８ｂの表面までの距離を推定する。例えば、作業者は、ピント位置ｐｐを変数にしたカメラ座標系７２のｚ軸の座標値を算出するための関数を予め作成することができる。カメラ座標系７２のｚ軸の座標値は、カメラ６からワーク３８までの距離に相当する。距離算出部５６は、ピント位置ｐｐおよび関数を用いて、カメラ座標系７２のｚ軸の座標値を算出することができる。または、作業者は、複数の離散的なピント位置ごとにカメラ６からワーク３８までの距離を定めておくことができる。距離算出部５６は、実際に検出したピント位置ｐｐに基づいて、内挿等の計算により、カメラ６からワーク３８までの距離を算出することができる。
　このように、本実施の形態の距離算出部５６は、カメラ６から対象物までの距離を算出することができる。一般的に、カメラから対象物までの距離は、予め定めておく必要が有る。しかしながら、画像処理部５１が距離算出部５６を備えることにより、カメラ６からワーク３８までの距離を算出することができる。例えば、画像を見ながら手動にてピントを合わせる場合に、カメラからワークまでの距離を算出することができる。このために、カメラから対象物までの距離を設定しなくても、画像処理部５１は、ワークの特徴部分の３次元の位置を算出することができる。
　図８に、本実施の形態における第１のロボットシステムの他の制御の第１の工程を説明する概略図を示す。他の制御において、画像処理部５１は、カメラ６を第１の撮像位置に配置して撮像した画像に基づいてワーク３８の３次元の位置を検出する。画像処理部５１は、ワーク３８の位置に基づいて、第１の撮像位置よりもワーク３８に近づいた第２の撮像位置を算出する。画像処理部５１は、矢印１０２に示すように、ロボット１の位置および姿勢を第２の撮像位置に移動する。第２の撮像位置は、対象物から視覚センサまでの距離が第１の撮像位置よりも小さくなる位置である。また、第２の撮像位置は、ワーク３８が画像の略中央に配置される位置である。
　次に、画像処理部５１は、第２の撮像位置において撮像した画像に基づいてワーク３８の３次元の位置を算出する。そして、このワーク３８の位置に基づいて、ロボット１を駆動してワーク３８を把持する制御を実施する。
　ワーク３８を架台９５に配置したときに、ワーク３８の位置のずれが大きい場合がある。そこで、ワーク３８から離れた第１の撮像位置にカメラ６を配置するようにロボット１の位置および姿勢を予め定めることができる。第１の撮像位置において、オートフォーカスの機能によりピントを自動的に合わせる制御を実施する。第１の撮像位置において、カメラ６にて撮像された画像ではワーク３８が小さく撮像される。しかしながら、特徴検出部５４および特徴位置算出部５５にて、ワーク３８の位置を検出することができる。
　次に、動作指令生成部５９は、第１の撮像位置よりも近い位置においてワーク３８を撮像するために、カメラ６の第２の撮像位置を算出する。第２の撮像位置は、画像のほぼ中央にワークが配置されるように定められる。また、第２の撮像位置は、ワーク３８の真上において、ワーク３８にカメラ６が近づいた位置に設定される。
　現在のワーク３８の位置、カメラ６の移動量、およびカメラ座標系７２におけるワーク３８の位置の関係は、例えば、以下の式（１２）の関係にて示される。
Figure JPOXMLDOC01-appb-M000007
　ここで、画像のほぼ中央にワーク３８が配置されるためには、カメラの光軸上にワークが配置されれば良い。すなわち、カメラ座標系７２においてｘ＝ｙ＝０であれば良い。式（１２）にｘ＝ｙ＝０を代入して、式を変形すると、次の式（１３）を得ることができる。そして、式（１３）から基準座標系７１におけるカメラの移動量（ｔx，ｔy，ｔz）を算出することができる。
Figure JPOXMLDOC01-appb-M000008
　次に、ワーク３８からカメラ６までの距離について、第１の撮像位置におけるカメラ座標系７２のワーク３８の表面のｚ軸の座標値をｚ'とする。第１の撮像位置における画像の大きさに対するワークの割合をａとする。画像の大きさに対するワークの割合としては、例えば、画像における一つの方向において、画像の長さに対するワークの長さの割合を採用することができる。画像の大きさに対するワークの割合は、特徴位置算出部５５にて検出することができる。
　次に、第２の撮像位置におけるカメラ座標系７２のワーク３８の表面のｚ軸の座標値をｚ''とする。画像の大きさに対するワークの所望の割合をｋとする。この割合は、作業者が予め定めておくことができる。ここで、第１の撮像位置から第２の撮像位置にカメラ６を移動すると、カメラ６のピント位置が変化する。しかしながら、ここでの計算では、第１の撮像位置から第２の撮像位置に変更しても、ピント位置に対応する焦点距離は一定であると仮定する。第２の撮像位置における座標値ｚ''は、ｚ''＝（k/a）ｚ'にて表すことができる。カメラ６からワーク３８までの距離が座標値ｚ''になるように、カメラ６をワーク３８に近づけることができる。
　動作指令生成部５９は、カメラ座標系７２のｘ軸の方向、ｙ軸の方向、およびｚ軸の方向の移動量に基づいて、矢印１０２に示すように、第２の撮像位置にカメラ６を配置するように、ロボット１の位置および姿勢を変更する。
　図９に、第１のロボットシステムの他の制御の第２の工程を説明する概略図を示す。図９は、カメラを第２の撮像位置に配置したときのロボットシステムの概略図を示す。カメラ６の第２の撮像位置は、第１の撮像位置よりもワーク３８に近づいている。第２の撮像位置において、カメラ６のオートフォーカスの機能によりピントを自動的に合わせる制御を実施する。第１の撮像位置にて撮像した画像では、画像におけるワーク３８の割合が小さいために、ワーク３８の位置を正確に検出できない場合がある。第２の撮像位置にて撮像した画像では、ワーク３８の占める割合が大きくなる。このために、ワーク３８の位置を正確に算出することができる。
　このように、動作指令生成部５９は、第１の撮像位置において撮像した画像におけるワーク３８の３次元の位置に基づいて第２の撮像位置を算出することができる。そして、特徴位置算出部５５は、第２の撮像位置において撮像した画像に基づいて、特徴部分の３次元の位置を算出する。第１の撮像位置および第２の撮像位置において、カメラのピントが合うピント位置が互いに異なる場合であっても、それぞれの撮像位置において特徴部分の３次元の位置を検出することができる。特に、第２の撮像位置において撮像した画像に基づいて、ロボットシステムが作業を行うことにより、正確な位置に作業ツールを移動して精度の高い作業を実施することができる。
　第１のロボットシステム３においては、架台９５に配置されたワーク３８を把持するためにワーク３８の位置を検出しているが、この形態に限られない。画像処理部５１は、撮像した画像に基づいてワーク３８を検出して、ワーク３８の検査を実施することができる。例えば、画像処理部５１は、撮像した画像からワークの寸法を計測することができる。そして、画像処理部５１は、予め定められた寸法の判定値に基づいて、ワークの寸法の検査を実施することができる。この場合には、ロボット１に作業ツールを取り付けずに、視覚センサのみをロボット１に取り付けても構わない。
　ワークの検査としては、ワークの寸法の検査に限られず、任意の検査を実施することができる。例えば、ワークの表面に所定の部品が配置されているか否かについて検査を実施することができる。または、ワークの表面に傷が存在するか否かについて検査を実施することができる。いずれの場合においても、ピント位置に応じて特徴部分の位置を正確に検出できるために、精度の高い検査を実施することができる。
　第１のロボットシステム３においては、ワークが停止して、カメラが移動装置にて移動するように形成されているが、この形態に限られない。カメラの位置が固定されて、ワークが移動装置により移動しても構わない。または、移動装置は、カメラとワークの両方を移動するように形成されていても構わない。
　図１０に、本実施の形態における第２のロボットシステムの概略図を示す。第２のロボットシステム４においては、カメラ６は架台９６に固定されている。ワーク３８は、ロボット１にて支持されている。第２のロボットシステム４は、矢印１０３に示す様に架台９７に載置されたワーク３８を架台９８まで搬送する。ロボット１の位置および姿勢が変化することにより、ワーク３８は、位置Ｐ３８ｓから位置Ｐ３８ｅまで搬送される。第２のロボットシステム４の撮像装置は、ワーク３８をハンド５にて把持したときのハンド５内における位置のずれを検出する。
　制御装置２は、ワーク３８の３次元の位置を検出するための予め定められた撮像位置にワーク３８を配置するようにロボット１の位置および姿勢を制御する。画像処理部５１は、カメラ６にて撮像した画像に基づいて、ワーク３８の特徴部分の３次元の位置を検出する。例えば、ワーク３８の底面の縁部を特徴部分として検出することができる。画像処理部５１は、ワーク３８の位置を検出する。予め定められたロボット１の位置および姿勢におけるワーク３８の基準となる位置は、記憶部４２に記憶されている。画像処理部５１は、ワーク３８の基準となる位置に基づいて、ハンド５におけるワーク３８の把持のずれを算出することができる。
　動作指令生成部５９は、ハンド５内でのワーク３８の位置のずれに基づいて、架台９８において、所望の位置Ｐ３８ｅにワーク３８を配置するようにロボット１の位置および姿勢を算出する。そして、動作制御部４３は、ロボット１を駆動することにより、ワーク３８を位置Ｐ３８ｅに配置する。
　第２のロボットシステム４においては、ワーク３８が所定の撮像位置に配置されたときに、カメラ６がピント合わせを実行する。パラメータ設定部５３は、ピント位置に基づいて計算モデルのパラメータを算出する。特徴位置算出部５５は、算出したパラメータに基づいて特徴部分の３次元の位置を算出する。そして、特徴部分の位置に基づいて、ワーク３８の位置を検出する。
　第２のロボットシステム４においても、ワーク３８を撮像する時のワークの撮像位置が所望の位置からずれる場合が有る。または、ワーク３８の寸法に個体差がある場合が有る。このような場合に、カメラ６がピント合わせを実施しても正確なワーク３８の位置を算出することができる。この結果、ロボットシステム４は、所望の位置にワーク３８を搬送することができる。
　第２のロボットシステムにおいても、画像処理部５１は、カメラから離れた第１の撮像位置においてワークを撮像してワークの大まかな位置を検出した後に、第１の撮像位置よりもカメラに近い第２の撮像位置を算出することができる。そして、第２の撮像位置において撮像した画像に基づいて、ワーク３８の把持のずれを算出しても構わない。また、第２のロボットシステムにおいても、ワークの寸法検査等の検査を実施しても構わない。
　第２のロボットシステムのその他の構成、作用、および効果は、第１のロボットシステムと同様であるので、ここでは説明を繰り返さない。
　図１１に、本実施の形態における搬送システムの概略図を示す。図１２に、本実施の形態における搬送システムのブロック図を示す。図１１および図１２を参照して、搬送システム９は、ワーク３８を撮像してワーク３８を検出する撮像装置を備える。搬送システム９は、ワーク３８を移動する移動装置として、コンベヤ７を備える。搬送システム９は、第２のロボットシステム４のロボット１の代わりに、コンベヤ７が配置されている構成を有する。
　ワーク３８は、コンベヤ７が駆動することにより、矢印１０４に示す方向に移動する。すなわち、コンベヤ７が駆動することにより、ワーク３８の位置が変化する。視覚センサとしてのカメラ６は、支持部材９９に支持されている。
　搬送システム９は、コンベヤ７およびカメラ６を制御する制御装置８を備える。制御装置８は、ＣＰＵ等を含む演算処理装置にて構成されている。制御装置８は、コンベヤ駆動部４６を含む。コンベヤ７は、ベルトを駆動するための駆動モータを有するコンベヤ駆動装置３０を含む。それぞれの駆動モータには、駆動モータの回転位置を検出する位置検出器３１が配置されている。制御装置８は、カメラ６にて撮像された画像を処理する画像処理部５１を含む。
　制御装置８は、操作盤３２を含む。操作盤３２は、教示操作盤２６と同様に、入力部２７および表示部２８を有する。表示部２８は、パラメータ設定部５３にて設定されたパラメータ等を表示することができる。その他の制御装置８の構成は、図２に示すロボットシステムの制御装置２と同様である。
　搬送システム９においては、カメラ６は、ワーク３８の撮像が可能な予め定められた位置に固定されている。搬送システム９においては、カメラ６にて撮像した画像に基づいて、ワーク３８の位置の検出またはワーク３８の検査を行うことができる。コンベヤ７にて搬送されるワーク３８が停止する撮像位置が異なる場合がある。または、ワーク３８の寸法に個体差がある場合がある。
　搬送システム９においても、ワーク３８を撮像するときにピント合わせを実施する。そして、ピント位置に基づいて、画像の特定位置に対応する３次元の位置を算出する計算モデルのパラメータを設定する。パラメータに基づいて、ワーク３８の特徴部分の位置を算出する。そして、ワーク３８は特徴部分の位置に基づいて、ワーク３８の位置を算出したり、ワーク３８の検査を実施したりすることができる。
　このように、カメラ６の位置は固定されていても構わない。また、移動装置は、対象物またはカメラを移動する任意の装置を採用することができる。その他の搬送システムの構成、作用、および効果については、前述の第１のロボットシステムおよび第２のロボットシステムと同様であるので、ここでは説明を繰り返さない。
　上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。上記の実施の形態は、適宜組み合わせることができる。
　上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。
　１　ロボット
　２　制御装置
　３，４　ロボットシステム
　６　カメラ
　７　コンベヤ
　８　制御装置
　９　搬送システム
　２４　ピント調整機構
　２８　表示部
　３７　レンズ
　３８　ワーク
　３８ｃ　縁部
　４０　制御装置本体
　４２　記憶部
　４３　動作制御部
　５１　画像処理部
　５２　ピント位置検出部
　５３　パラメータ設定部
　５４　特徴検出部
　５５　特徴位置算出部
　５６　距離算出部
　５９　動作指令生成部
　６１　動作プログラム
　６３　設定情報
　６６，６７　画像
　６８ａ，６８ｂ　穴の画像
　６９　特徴部分

Claims (7)

  1. 　対象物を撮像する視覚センサと、
    　前記視覚センサのピントが合った時のピント位置を検出するピント位置検出部と、
    　前記視覚センサにて撮像された画像における特定位置に対応する３次元の位置を算出するためのパラメータを設定するパラメータ設定部と、
    　ピント位置に対応するパラメータを設定するための設定情報を記憶する記憶部と、
    　前記対象物の画像において予め定められた特徴部分を検出する特徴検出部と、
    　前記パラメータ設定部にて設定されたパラメータを用いて、特徴部分の３次元の位置を算出する特徴位置算出部と、を備え、
    　前記パラメータ設定部は、ピント位置および前記設定情報に基づいてパラメータを設定する、撮像装置。
  2. 　前記視覚センサは、ピントを自動的に合わせる機能を有する、請求項１に記載の撮像装置。
  3. 　前記設定情報は、複数の離散的なピント位置に対して予め定められたパラメータを含み、
    　前記パラメータ設定部は、前記記憶部に記憶された複数のピント位置ごとに定められたパラメータに基づいて、３次元の位置を算出するためのパラメータを設定する、請求項１または２に記載の撮像装置。
  4. 　前記対象物および前記視覚センサのうち少なくとも一方を移動する移動装置を備える、請求項１から３のいずれか一項に記載の撮像装置。
  5. 　前記対象物および前記視覚センサのうち少なくとも一方の撮像位置を変更するように、前記移動装置の動作指令を生成する動作指令生成部を備え、
    　前記動作指令生成部は、第１の撮像位置において撮像した画像における前記対象物の３次元の位置に基づいて第２の撮像位置を算出し、
    　前記第２の撮像位置は、前記対象物から前記視覚センサまでの距離が第１の撮像位置よりも小さくなる位置であり、
    　前記特徴位置算出部は、前記第２の撮像位置において撮像した画像に基づいて特徴部分の３次元の位置を算出する、請求項４に記載の撮像装置。
  6. 　前記パラメータ設定部にて設定されたパラメータの値を表示する表示部を備える、請求項１から５のいずれか一項に記載の撮像装置。
  7. 　前記視覚センサから前記対象物までの距離を算出する距離算出部を備え、
    　前記距離算出部は、前記ピント位置検出部にて検出されたピント位置に基づいて、前記視覚センサから前記対象物までの距離を算出する、請求項１から６のいずれか一項に記載の撮像装置。
PCT/JP2021/019252 2021-05-20 2021-05-20 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置 WO2022244212A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112021007292.7T DE112021007292T5 (de) 2021-05-20 2021-05-20 Bildgebende vorrichtung zur berechnung der dreidimensionalen lage auf der grundlage eines von einem bild-sensor aufgenommenen bildes
JP2023522140A JPWO2022244212A1 (ja) 2021-05-20 2021-05-20
PCT/JP2021/019252 WO2022244212A1 (ja) 2021-05-20 2021-05-20 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
CN202180098103.4A CN117321382A (zh) 2021-05-20 2021-05-20 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置
TW111115626A TW202246872A (zh) 2021-05-20 2022-04-25 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019252 WO2022244212A1 (ja) 2021-05-20 2021-05-20 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置

Publications (1)

Publication Number Publication Date
WO2022244212A1 true WO2022244212A1 (ja) 2022-11-24

Family

ID=84140201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019252 WO2022244212A1 (ja) 2021-05-20 2021-05-20 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置

Country Status (5)

Country Link
JP (1) JPWO2022244212A1 (ja)
CN (1) CN117321382A (ja)
DE (1) DE112021007292T5 (ja)
TW (1) TW202246872A (ja)
WO (1) WO2022244212A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293695A (ja) * 1999-04-08 2000-10-20 Fanuc Ltd 画像処理装置
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
WO2011058876A1 (ja) * 2009-11-13 2011-05-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
JP2020185639A (ja) * 2019-05-14 2020-11-19 ファナック株式会社 ロボット操作装置、ロボットおよびロボット操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293695A (ja) * 1999-04-08 2000-10-20 Fanuc Ltd 画像処理装置
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
WO2011058876A1 (ja) * 2009-11-13 2011-05-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
JP2020185639A (ja) * 2019-05-14 2020-11-19 ファナック株式会社 ロボット操作装置、ロボットおよびロボット操作方法

Also Published As

Publication number Publication date
TW202246872A (zh) 2022-12-01
DE112021007292T5 (de) 2024-01-25
CN117321382A (zh) 2023-12-29
JPWO2022244212A1 (ja) 2022-11-24

Similar Documents

Publication Publication Date Title
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
US6816755B2 (en) Method and apparatus for single camera 3D vision guided robotics
US8095237B2 (en) Method and apparatus for single image 3D vision guided robotics
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP2017170599A (ja) ロボットを用いた位置決め装置
JP2013036988A (ja) 情報処理装置及び情報処理方法
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
US20190030722A1 (en) Control device, robot system, and control method
JP2023108062A (ja) 制御装置、ロボット装置、制御方法、およびプログラム
JP2019049467A (ja) 距離計測システムおよび距離計測方法
Hvilshøj et al. Calibration techniques for industrial mobile manipulators: Theoretical configurations and best practices
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
Hefele et al. Robot pose correction using photogrammetric tracking
WO2022244212A1 (ja) 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
WO2022249410A1 (ja) 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
Qiao Advanced sensing development to support robot accuracy assessment and improvement
Marny et al. Configuration and programming of the fanuc irvision vision system for applications in the dynamic environment of manipulated elements
JP2022530589A (ja) ロボット搭載移動装置、システム及び工作機械
JP2005186193A (ja) ロボットのキャリブレーション方法および三次元位置計測方法
JP2010214546A (ja) 組立装置および組立方法
WO2023135764A1 (ja) ３次元センサを備えるロボット装置およびロボット装置の制御方法
WO2022163580A1 (ja) 視覚センサにて取得される３次元の位置情報から断面画像を生成する処理装置および処理方法
US20230264352A1 (en) Robot device for detecting interference of constituent member of robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940826

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023522140

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18552899

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180098103.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021007292

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21940826

Country of ref document: EP

Kind code of ref document: A1