WO2022124232A1 - 画像処理システム及び画像処理方法 - Google Patents

画像処理システム及び画像処理方法 Download PDF

Info

Publication number
WO2022124232A1
WO2022124232A1 PCT/JP2021/044535 JP2021044535W WO2022124232A1 WO 2022124232 A1 WO2022124232 A1 WO 2022124232A1 JP 2021044535 W JP2021044535 W JP 2021044535W WO 2022124232 A1 WO2022124232 A1 WO 2022124232A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual
visual sensor
sensor
pattern
visual pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/044535
Other languages
English (en)
French (fr)
Inventor
万峰 傅
勇太 並木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to CN202180076116.1A priority Critical patent/CN116472144A/zh
Priority to US18/043,039 priority patent/US12418718B2/en
Priority to DE112021005353.1T priority patent/DE112021005353B4/de
Priority to JP2022568249A priority patent/JP7509918B2/ja
Publication of WO2022124232A1 publication Critical patent/WO2022124232A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern

Definitions

  • the present invention relates to an image processing system and an image processing method.
  • Patent Document 5 states that "the image processing system SYS specifies the normal V for the set measurement point Wp of the work W according to the arrangement status of the specified work W, and the specified normal V and 2 The position and orientation of the two-dimensional camera 310 are changed so that the optical axis of the two-dimensional camera 310 coincides with the optical axis of the two-dimensional camera 310 (S1). By changing the distance between the 2D camera 310 and the measurement point Wp, the focus of the 2D camera 310 is adjusted to the measurement point Wp. "(Summary).
  • Patent Document 5 describes a configuration in which focus adjustment is performed by adjusting a distance between a camera and a specific work, but in the configuration according to Patent Document 5, a process for designating the shape of the work and a structure of the work are described. Complex processing such as processing for specifying the arrangement state and processing for obtaining the normal of the work and settings for that are required. Further, since the work may have various shapes, it may not be possible to correctly acquire the arrangement information of the work, acquire the normal, and calculate the degree of focus.
  • One aspect of the present disclosure is an industrial machine, a visual sensor, a visual pattern arranged at a detection target location, a visual pattern for specifying a relative positional relationship between the visual sensor and the visual pattern, and the above. Determined from an image in which the visual pattern is captured by a visual sensor, with an image processing unit that determines the relative positional relationship between the visual sensor and the visual pattern, and a state in which the visual pattern is reflected in the visual field of the visual sensor.
  • the visual pattern is imaged by the visual sensor while changing the relative position between the visual sensor and the visual pattern in a predetermined direction with respect to the visual pattern based on the relative positional relationship.
  • It is an image processing system including a focusing operation control unit for focusing the visual sensor on the visual pattern by obtaining the degree of focusing.
  • the relative positional relationship between the visual sensor and the visual pattern is determined from an image captured by the visual sensor of the visual pattern arranged at the detection target location, and the visual pattern is displayed in the visual field of the visual sensor.
  • the visual pattern is displayed by the visual sensor while changing the relative position between the visual sensor and the visual pattern in a predetermined direction with respect to the visual pattern based on the determined relative positional relationship.
  • the visual sensor By arranging the visual pattern at the detection target location, the visual sensor can be automatically focused on the location where the visual pattern is arranged.
  • FIG. 1 is a diagram showing a device configuration of a robot system 100 according to an embodiment.
  • the robot system 100 includes an industrial robot (hereinafter referred to as a robot) 10 as an industrial machine, a robot control device 50 for controlling the robot 10, a visual sensor 70, and a visual sensor 70.
  • a visual sensor control device 20 for controlling is provided.
  • the robot system 100 is a system for recognizing the position of the work based on the captured image of the work captured by the visual sensor 70 and executing a predetermined work such as inspection, handling, and processing of the work.
  • the robot 10 is a vertical articulated robot in the example of FIG. 1, but other types of robots may be used.
  • the visual sensor control device 20 and the robot control device 50 are connected via a communication interface and can exchange various information.
  • a tool 31 as an end effector is attached to the tip surface of the flange 11 at the tip of the arm of the robot 10.
  • the tool 31 is, for example, a hand that grips a work.
  • the robot 10 executes a predetermined work such as handling a work under the control of the robot control device 50.
  • the visual sensor 70 is attached to a support portion of the tool 31 (that is, a predetermined movable portion of the robot 10).
  • the visual sensor 70 is controlled by the visual sensor control device 20 to image an image-taking object such as a work.
  • a general two-dimensional camera may be used, or a three-dimensional sensor such as a stereo camera may be used.
  • the visual sensor 70 includes an image pickup sensor (CCD, CMOS, etc.) that receives a subject image and performs photoelectric conversion, and an optical lens that condenses the subject image on the image pickup sensor.
  • the visual sensor 70 transmits the captured image data to the visual sensor control device 20.
  • FIG. 1 shows an image M1 in which the visual sensor 70 in the state of FIG. 1 captured the calibration jig J.
  • FIG. 2 is a diagram showing a schematic configuration of the hardware of the visual sensor control device 20 and the robot control device 50.
  • the visual sensor control device 20 has a memory (including ROM, RAM, non-volatile memory, etc.) 22 and an input / output interface 23 for communicating with an external device with respect to the processor 21. May have a configuration as a general computer connected via a bus.
  • the robot control device 50 operates the processor 51 including a memory (including ROM, RAM, non-volatile memory, etc.) 52, an input / output interface 53 for communicating with an external device, and various operation switches.
  • the unit 54 and the like may have a configuration as a general computer connected via a bus.
  • a teaching device for teaching the robot 10 may be further connected to the robot control device 50.
  • the visual sensor control device 20 and the robot control device 50 are configured as separate devices, but the visual sensor control device 20 and the robot control device 50 are configured as the same device. You can also.
  • the function of the visual sensor control device 20 may be incorporated into the robot control device 50.
  • the robot coordinate system C1 is set in the robot 10.
  • the robot coordinate system C1 is a control coordinate system for controlling the operation of each movable element of the robot 10, and is fixed in a three-dimensional space.
  • the origin of the robot coordinate system C1 is set at the center of the base portion of the robot 10, but the robot coordinate system C1 has a different position and posture. It may be set.
  • a flange coordinate system C2 is set on the tip surface of the flange 11.
  • the flange coordinate system C2 is a control coordinate system for controlling the position and orientation of the flange 11 in the robot coordinate system C1.
  • the flange coordinate system C2 may be set to have a different position or orientation.
  • the robot control device 50 sets the flange coordinate system C2 in the robot coordinate system C1, and the position and orientation represented by the set flange coordinate system C2.
  • the servomotor of each joint portion of the robot 10 is controlled so that the flange 11 is arranged on the robot 10. In this way, the robot control device 50 can position the flange 11 (tool 31) at an arbitrary position and posture in the robot coordinate system C1.
  • the sensor coordinate system C3 is set in the visual sensor 70.
  • the sensor coordinate system C3 is a coordinate system that defines the coordinates of each pixel of the image data captured by the visual sensor 70, and its origin is arranged at the center of the light receiving surface (or optical lens) of the image sensor of the visual sensor 70.
  • the x-axis and the y-axis are arranged parallel to the horizontal and vertical directions of the image sensor, and the z-axis coincides with the line of sight (optical axis) of the visual sensor 70 with respect to the visual sensor 70. Is set.
  • the robot system 100 captures a visual pattern arranged at a detection target location by the visual sensor 70 for specifying a relative positional relationship between the visual sensor 70 and the visual pattern.
  • the detection target portion by the visual sensor 70 is the upper surface of the table 60 on which the work is mounted, and the visual pattern is formed on the calibration jig J.
  • the visual pattern may be a visually recognizable form such as a pattern using paint or an engraving (unevenness).
  • the visual pattern may be directly formed at the detection target position (upper surface of the table 60).
  • the term visual pattern includes patterns, marks, indicators, identification marks, symbols and various other visual indications.
  • FIG. 3 is a functional block diagram showing the functional configurations of the visual sensor control device 20 and the robot control device 50 when focusing on the function of the robot system 100 as an image processing system.
  • the visual sensor control device 20 includes an image processing unit 202 that executes image processing on the input image 201 captured by the visual sensor 70, and a reference coordinate system (robot coordinate system C1) set in the robot 10.
  • the calibration data storage unit 204 for storing the calibration data that determines the relative position of the visual sensor 70 (sensor coordinate system C3) with respect to the flange coordinate system C2) is provided.
  • the image processing unit 202 has a function of detecting a work from an input image using, for example, a model pattern, and detecting the position and posture of the work, as a function for realizing handling of the work. Further, the image processing unit 202 according to the present embodiment includes an in-focus degree calculation unit 203 for calculating the in-focus degree of the object captured in the captured image.
  • the calibration data storage unit 204 stores the calibration data of the visual sensor 70.
  • the calibration data storage unit 204 is, for example, a non-volatile memory (EEPROM or the like).
  • the calibration data of the visual sensor 70 includes internal parameters and external parameters of the visual sensor 70 (camera). Internal parameters include optical data such as lens strain and focal length.
  • the external parameter is the position of the visual sensor 70 with respect to a predetermined reference position (for example, the position of the flange 11).
  • the geometric transformation characteristics inside the camera and the geometric relationship between the three-dimensional space where the object exists and the two-dimensional image plane can be obtained, and further, the characteristics of the calibration jig J can be used for visual observation.
  • the three-dimensional spatial positions of the visual sensor 70 and the calibration jig J can be uniquely determined. That is, the position / posture of the calibration jig can be obtained from the information of the calibration jig J in the captured image captured by the calibrated visual sensor 70 with respect to the position of the visual sensor 70.
  • FIG. 4 is a plan view of the calibration jig J.
  • the calibration jig J is a variety of calibration jigs known in the art that can determine the position and orientation of the calibration jig based on the position of the visual sensor 70 from the image taken by the visual sensor 70. Can be used.
  • the calibration jig J of FIG. 4 is a jig that can acquire information necessary for calibration of the visual sensor 70 by capturing a dot pattern arranged on a plane with the visual sensor 70 (1). )
  • the grid point spacing of the dot pattern is known, (2) there are a certain number of grid points or more, and (3) it is possible to uniquely identify which grid point each grid point corresponds to. Meet.
  • the calibration jig J is not limited to one in which features such as a predetermined dot pattern are arranged on a two-dimensional plane as shown in FIG. 4, and may be one in which features are arranged on a three-dimensional solid. It suffices as long as the three-dimensional position information including the position information in the height direction (arrow 91 direction in FIG. 1) in addition to the dimensional position information (X direction and Y direction) can be obtained. Further, the calibration jig J may be the same as or different from the one used when acquiring the calibration data of the visual sensor 70. In addition, in order to calculate the position and orientation of the dot pattern with respect to the position of the visual sensor 70 from the dot pattern captured by the visual sensor 70, the internal parameters of the calibration data described above are used.
  • the calibration jig J having a dot pattern as shown in FIG. 4 is used as the object for obtaining the position and orientation of the object as seen from the image pickup device.
  • Any type of object that can determine the position and orientation of the object as seen from the visual sensor 70) can be used.
  • the calibration jig J is installed at a target location (that is, the upper surface of the table 60) where the visual sensor 70 is focused.
  • the robot control device 50 includes an operation control unit 501 that controls the operation of the robot 10 according to an operation program. Further, the robot control device 50 according to the present embodiment controls to move the robot 10 to the in-focus position by moving the robot 10 based on the in-focus degree calculated by the in-focus degree calculation unit 203. An operation control unit 502 is provided.
  • the processor (CPU) of the visual sensor control device 20 or the robot control device 50 executes various hardware stored in the memory. It may be realized by, or it may be realized by a configuration mainly composed of hardware such as ASIC (Application Specific Integrated Circuit).
  • ASIC Application Specific Integrated Circuit
  • FIG. 5 is a flowchart showing the flow of the focusing operation (image processing method) by the focusing operation control unit.
  • the calibration data of the visual sensor 70 is stored in the calibration data storage unit 204 in advance.
  • the focusing operation of FIG. 5 is executed under the control of the processor 51 of the robot control device 50.
  • the focusing operation control unit 502 calculates and acquires the positional relationship between the calibration jig J and the visual sensor 70 based on the image captured by the calibration jig J by the visual sensor 70. In this case, the focusing operation control unit 502 uses the calibration data stored in the calibration data storage unit J.
  • the focusing operation control unit 502 is located in the normal direction between the optical axis of the visual sensor 70 and the upper surface of the calibration jig J. Taking a picture of the calibration jig J while moving the visual sensor 70 so as to be parallel to the direction of the arrow 91 in FIG. 1 (step S2). At this time, the focusing operation control unit 502 causes the focusing degree calculation unit 203 to calculate the focusing degree of the image of the object (that is, the dot point of the calibration jig J) reflected in the image (step S3).
  • the in-focus operation control unit 502 sets the in-focus degree calculated by the in-focus degree calculation unit 203 as a reference value (focusing) as a value when the in-focus degree of the dot point of the calibration jig J is the highest. By comparing with the degree reference value), it is determined whether or not the in-focus degree acquired in step S3 has the highest in-focus degree (step S4).
  • the reference value (focusing degree reference value) used here may be stored in advance by the robot control device 50 (focusing operation control unit 502), or the focusing operation control unit 502 may have, for example, a predetermined movement range.
  • the visual sensor 70 may be moved to set the highest focusing degree as the focusing degree reference value.
  • the focusing operation control unit 502 When it is not determined that the focusing degree is the highest (S4: NO), the focusing operation control unit 502 continues the process of confirming the focusing degree (step S2-S4) while moving the visual sensor 70. When it is determined that the focusing degree is the highest (S4: YES), the focusing operation control unit 502 determines the position (focusing position) of the visual sensor 70 when the focusing degree is the highest. It is recorded as an imaging position (step S5).
  • the in-focus degree calculation unit 203 can adopt various calculation methods known in the art such as a phase difference detection method and a contrast detection method as the in-focus degree calculation method.
  • the in-focus degree calculation unit 203 detects contrast when it is determined that the reliability of the in-focus degree detected by the phase difference detection method is low, as described in Japanese Patent Application Laid-Open No. 2013-29803.
  • a method may be used in which a pixel range using the phase difference detection method is selected based on the detection result by the method, and the in-focus degree is calculated by the phase difference detection method using the signal of the selected pixel range. ..
  • the in-focus degree calculation unit 203 can acquire the data used for the in-focus degree calculation from the functional element for the in-focus calculation in the visual sensor 70.
  • the predetermined operating range for moving the visual sensor 70 in the processes of steps S2 to S4 may be determined based on the adjustment range of the focal length of the camera.
  • the robot 10 may be controlled to move the visual sensor 70 within a shooting distance determined based on the focus adjustment range of the visual sensor 70 in the focus adjustment ring. Since the positional relationship between the visual sensor 70 and the calibration jig J is known in step S1, such movement control of the visual sensor 70 is possible.
  • the imaging position recorded in step S5 is used as an imaging position for positioning the visual sensor 70 when performing a predetermined work such as an appearance inspection of the work placed on the upper surface of the table 60.
  • a predetermined work such as an appearance inspection of the work placed on the upper surface of the table 60.
  • the visual sensor 70 can be automatically positioned at a position in focus with respect to the position where the calibration jig J is installed. That is, the focus adjustment of the visual sensor 70 can be automatically and efficiently performed.
  • the robot control device 50 and the visual sensor control device 20 are various calibration methods known in the art (eg, for example).
  • the calibration data may be acquired by using the above-mentioned Patent Document 2-5).
  • the calibration jig J is used in the focusing control operation of FIG. 5, the calibration jig J is used in place when performing the focusing control operation of FIG. It is also easy to calibrate with. Since the method of calibrating the camera itself is a well-known technique, the explanation is omitted, but for example, "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision" by Roger Y. Tsai (CVPR, pp.364-374, It is described in detail in 1986 (IEEE). As a specific means, a jig such as the calibration jig J shown in FIG. 4 (a dot pattern plate in which dots are formed in a known geometric arrangement) is orthogonal to the optical axis of the camera, and the known 2 is used. The camera can be calibrated by measuring at the position of the point.
  • a jig such as the calibration jig J shown in FIG. 4 (a dot pattern plate in which dots are formed in a known geometric arrangement) is orthogonal
  • the focusing operation control unit 502 may be further configured to control such a function.
  • the optical axis of the visual sensor 70 is determined with respect to the calibration jig J in the above-mentioned focusing operation. (For example, in the normal direction).
  • the posture data of the visual sensor 70 in the reference coordinate system is acquired based on the image data of the index ID captured by the visual sensor 70.
  • FIG. 6 shows an example of the index ID.
  • the index ID is provided at the detection target position (upper surface of the table 60), and is composed of a circular line C and two straight lines D and E orthogonal to each other.
  • the index ID may be in a visually recognizable form, such as a pattern using paint or a marking (unevenness) formed on the upper surface of the table 60.
  • the robot control device 50 obtains the posture of the sensor coordinate system C3 with reference to the reference coordinate system set in the robot 10 by the following procedure.
  • (A1) With the visual sensor 70 arranged at the initial position PS 0 and the initial posture OR 0 so that the index ID is in the field of view of the visual sensor 70 by the robot control device 50, the index ID is imaged and the image of the index ID is imaged.
  • Data JD 0 is acquired. It is assumed that an image (JD n ) as shown in FIG. 6 is acquired.
  • the image processing unit 202 acquires the coordinates (x n , y n ) of the intersection F from the image of the index ID reflected in the image JD n as the position of the index ID, and the area of the circle C is the size IS of the index ID. Obtained as n (unit: pixel).
  • the image processing unit 202 includes the size RS (unit: mm) of the index ID in the real space, the focal length FD of the optical lens of the visual sensor 70, and the size SS (unit: mm / pixel) of the image sensor. ).
  • the image processing unit 202 acquires a vector (Xn, Yn, Zn) using the acquired coordinates (xn, yn), size ISn, size RS, focal length FD, and size SS.
  • This vector (Xn, Yn, Zn) is a vector from the visual sensor 70 (that is, the origin of the sensor coordinate system C3) when the image data JDn is imaged to the index ID (specifically, the intersection F). , Data indicating the relative position of the index ID with respect to the visual sensor 70 (or the coordinates of the sensor coordinate system C3).
  • the image processing unit 202 captures an image of the index ID at the position PS 1 and the posture OR 0 in which the visual sensor 70 is translated by a predetermined distance ⁇ x in the x-axis direction of the flange coordinate system from the initial position. From JD 1 , the vector from the visual sensor 70 when the image data JD 1 is imaged to the index ID is acquired. (A5) Similarly, the image processing unit 202 captures an image of the index ID at the position PS 2 and the posture OR 0 in which the visual sensor 70 is translated by a predetermined distance ⁇ y in the y-axis direction of the flange coordinate system from the initial position.
  • the vector from the visual sensor 70 when the image data JD 2 is imaged to the index ID is acquired.
  • the image processing unit 202 captures an image of the index ID at the position PS 3 and the posture OR 0 in which the visual sensor 70 is translated by a predetermined distance ⁇ z in the z-axis direction of the flange coordinate system from the initial position.
  • the vector from the visual sensor 70 when the image data JD 3 is imaged to the index ID is acquired.
  • the image processing unit 202 acquires a rotation matrix representing the posture (W, P, R) of the visual sensor 70 (sensor coordinate system C3) in the flange coordinate system C2 by the following mathematical formula (1). do.
  • the robot control device 50 (focusing operation control unit 502) may be further configured to obtain the position of the sensor coordinate system C3 with reference to the reference coordinate system set in the robot 10.
  • the operation procedure in this case is shown below.
  • the robot control device 50 first sets the reference coordinate system C4 in the flange coordinate system C2 at the initial position PS0 and the initial posture OR0.
  • the robot control device 50 has the reference coordinate system C4 whose origin is arranged at the origin of the flange coordinate system C2, and its posture (direction of each axis) is the posture acquired by the above procedure (the direction of each axis). It is set in the flange coordinate system C2 so as to match W, P, R). Therefore, the x-axis, y-axis, and z-axis directions of the reference coordinate system C4 are parallel to the x-axis, y-axis, and z-axis of the sensor coordinate system C3, respectively.
  • the robot control device 50 operates the robot 10 to position the visual sensor 70 (that is, the flange 11) from the initial position PS0 and the initial posture OR0 around the z-axis of the reference coordinate system C4.
  • the robots are arranged at the position PS4 and the posture OR1.
  • the image processing unit 202 operates the visual sensor 70 to take an image of the index ID by the same method as in the case of obtaining the posture described above, and the relative position data (X4, 4) of the index ID with respect to the visual sensor 70 at this time. Y4, Z4) is acquired.
  • the robot control device 50 operates the robot 10 to move the visual sensor 70 from the initial position PS0 and the initial posture OR0 to the x-axis or y-axis (that is, the direction of the line of sight) of the reference coordinate system C4.
  • the posture change amount ⁇ 2 first posture change amount
  • the image processing unit 202 operates the visual sensor 70 to take an image of the index ID by the same method as in the case of obtaining the posture described above, and the relative position data (X5, 5) of the index ID with respect to the visual sensor 70 at this time. Y5, Z5) is acquired.
  • the robot control device 50 solves the above equations (2) and (3) to obtain a vector ( ⁇ X1, ⁇ Y1) from the origin of the reference coordinate system C4 in the flange coordinate system C2 to the origin of the unknown sensor coordinate system C3. , ⁇ Z1) can be estimated.
  • the index ID is a visual pattern capable of specifying the relative positional relationship between the visual sensor 70 and the index ID
  • the index ID is used instead of the calibration jig J used in the above-mentioned focusing operation. It can also be used.
  • the visual sensor by arranging the visual pattern at the detection target location, the visual sensor can be automatically focused on the location where the visual pattern is arranged. That is, the focus adjustment of the visual sensor can be automatically and efficiently performed.
  • the configuration described in the above embodiment can be applied to the focus adjustment operation in various industrial machines in which a visual sensor is mounted on a movable part.
  • the visual sensor is mounted on the robot and the calibration jig is placed at a fixed position.
  • the visual sensor is a fixed camera fixed in the work space and the calibration jig is used.
  • the same functional block configuration as that shown in FIG. 3 can be applied.
  • the focusing motion control unit 502 moves the visual pattern with respect to the visual sensor based on the determined relative positional relationship while the calibration jig (visual pattern) is reflected in the visual field of the visual sensor.
  • the visual sensor While (while changing the relative position between the visual sensor and the visual pattern in a predetermined direction with respect to the visual pattern), the visual sensor is imaged by the visual sensor to obtain the degree of focus of the visual pattern, thereby visually recognizing the visual sensor. Focus on the pattern.
  • the arrangement of the functional blocks of the visual sensor control device 20 and the robot control device 50 in the functional block diagram shown in FIG. 2 is an example, and there may be various variations in the arrangement of the functional blocks.
  • at least a part of the function as the image processing unit 202 may be arranged on the robot control device 50 side.
  • the focusing position is specified by comparing whether or not the focusing degree matches the focusing degree reference value (step S4).
  • the in-focus position may be obtained by moving the camera within a predetermined operating range and searching for a position where the peak of the in-focus degree can be obtained.
  • the program for executing the focusing operation and other various processes in the above-described embodiment is a computer-readable recording medium (for example, a semiconductor memory such as ROM, EEPROM, flash memory, a magnetic recording medium, a CD-ROM, etc.). It can be recorded on an optical disk such as a DVD-ROM.
  • a computer-readable recording medium for example, a semiconductor memory such as ROM, EEPROM, flash memory, a magnetic recording medium, a CD-ROM, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Viewfinders (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

視覚センサを用いる画像処理システムにおいて簡易に視覚センサの合焦状態を得るようにする。産業機械と、視覚センサと、検出対象箇所に配置された視覚パターンであって、視覚センサと当該視覚パターンとの相対位置関係を特定するための視覚パターンと、視覚センサにより視覚パターンが撮影された画像から、視覚センサと視覚パターンとの相対位置関係を決定する画像処理部（２０２）と、視覚センサの視野に視覚パターンが写っている状態で、決定された相対位置関係に基づいて視覚パターンを基準とする所定の方向において視覚センサと視覚パターンとの相対位置を変更させながら視覚センサにより視覚パターンを撮像させて視覚パターンの合焦度を求めることで、視覚センサを視覚パターンに合焦させる合焦動作制御部（５０２）と、を備える画像処理システム（１００）である。

Description

画像処理システム及び画像処理方法
　本発明は、画像処理システム及び画像処理方法に関する。
　産業用ロボットその他の産業機械の可動部に視覚センサを搭載し、ワークの外観検査や位置検出などを画像処理により行うように構成されたシステムが知られている（例えば、特許文献１参照）。産業ロボット等の可動部に視覚センサを搭載して、ワークの位置検出等を行うためには、産業用ロボット等に設定した基準座標系に対する視覚センサの座標系の相対位置関係を求めておくこと、すなわち、視覚センサのキャリブレーションを行うことが必要になる。視覚センサのキャリブレーションを行う技術については、当分野において各種手法が知られている（例えば、特許文献２－５）。
　上述のようなロボットシステムでは、検査対象位置に対してカメラのピントが合うように調整を行う必要が生じる。このような場合、ユーザがカメラのピント調節リングを回して調整を行ったり、教示操作盤を操作してロボットを動かすことにより対象物とカメラの距離を調節したりするのが一般的である。他方、特許文献５は、「画像処理システムＳＹＳは、特定したワークＷの配置状況に応じて、設定されたワークＷの計測点Ｗｐについての法線Ｖを特定し、特定した法線Ｖと２次元カメラ３１０の光軸とが一致するように２次元カメラ３１０の位置姿勢を変化させる（Ｓ１）。画像処理システムＳＹＳは、特定した法線Ｖと２次元カメラ３１０の光軸とが一致するように、２次元カメラ３１０と計測点Ｗｐとの距離を変化させることで、２次元カメラ３１０のピントを計測点Ｗｐに合わせる。」と記載する（要約書）。
特開２０１８－９１７７４号公報 特開２０１４－１２８８４５号公報 特開平８－２１０８１６号公報 特開２０１８－１９２５６９号公報 特開２０１８－１９４５４２号公報
　特許文献５は、カメラと特定のワークとの距離を調整することでピント調整を行う構成を記載するものであるが、特許文献５による構成では、ワークの形状を指定するための処理、ワークの配置状態を特定するための処理、ワークの法線を求めるための処理等、複雑な処理やその為の設定が必要になる。また、ワークには様々な形状が有り得るため、ワークの配置情報の取得、法線の取得、合焦度の計算が正しくできない場合も有り得る。
　本開示の一態様は、産業機械と、視覚センサと、検出対象箇所に配置された視覚パターンであって、前記視覚センサと当該視覚パターンとの相対位置関係を特定するための視覚パターンと、前記視覚センサにより前記視覚パターンが撮影された画像から、前記視覚センサと前記視覚パターンとの相対位置関係を決定する画像処理部と、前記視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる合焦動作制御部と、を備える画像処理システムである。
　本開示の別の態様は、検出対象箇所に配置された視覚パターンを視覚センサで撮像した画像から当該視覚センサと当該視覚パターンとの相対位置関係を決定し、視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる、画像処理方法である。
　視覚パターンを検出対象箇所に配置することで、視覚センサを、視覚パターンを配置した箇所に自動的に合焦させることができる。
　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
一実施形態に係るロボットシステム（画像処理システム）の機器構成を表す図である。 視覚センサ制御装置及びロボット制御装置のハードウェアの概略構成を表す図である。 視覚センサ制御装置及びロボット制御装置の機能構成を表す機能ブロック図である。 キャリブレーション治具の平面図である。 合焦動作を表すフローチャートである。 カメラが指標を撮影した画像データの一例を表す図である。
　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
　図１は、一実施形態に係るロボットシステム１００の機器構成を表す図である。図１に示されるように、ロボットシステム１００は、産業機械としての産業用ロボット（以下、ロボットと記す）１０と、ロボット１０を制御するロボット制御装置５０と、視覚センサ７０と、視覚センサ７０を制御する視覚センサ制御装置２０とを備える。ロボットシステム１００は、視覚センサ７０で撮像されたワークの撮影画像に基づいてワークの位置を認識し、ワークの検査、ハンドリング、加工等の所定の作業を実行するためのシステムである。ロボット１０は、図１の例では垂直多関節ロボットであるが、他のタイプのロボットが用いられても良い。
　視覚センサ制御装置２０とロボット制御装置５０とは通信インタフェースを介して接続され、各種情報をやり取りすることができる。
　ロボット１０のアーム先端部のフランジ１１の先端面には、エンドエフェクタとしてのツール３１が取り付けられている。ツール３１は、例えば、ワークを把持するハンドである。ロボット１０は、ロボット制御装置５０の制御により、ワークのハンドリング等を所定の作業を実行する。視覚センサ７０は、ツール３１の支持部（すなわち、ロボット１０の所定の可動部位）に取り付けられている。
　視覚センサ７０は、視覚センサ制御装置２０により制御され、ワーク等の撮像対象物を撮像する。視覚センサ７０としては、一般的な二次元カメラを用いても良く、ステレオカメラ等の三次元センサを用いても良い。視覚センサ７０は、被写体像を受光して光電変換する撮像センサ（ＣＣＤ、ＣＭＯＳ等）、及び、被写体像を撮像センサに集光させる光学レンズ等を有する。視覚センサ７０は、撮像した画像データを視覚センサ制御装置２０に送信する。なお、図１には、図１の状態にある視覚センサ７０がキャリブレーション治具Ｊを撮像した画像Ｍ１を示した。
　図２は、視覚センサ制御装置２０及びロボット制御装置５０のハードウェアの概略構成を表す図である。図２に示されるように、視覚センサ制御装置２０は、プロセッサ２１に対して、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等を含む）２２、外部機器との通信を行うための入出力インタフェース２３等がバスを介して接続される一般的なコンピュータとしての構成を有していても良い。また、ロボット制御装置５０は、プロセッサ５１に対して、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等を含む）５２、外部機器との通信を行うための入出力インタフェース５３、各種操作スイッチ類を含む操作部５４等がバスを介して接続される一般的なコンピュータとしての構成を有していても良い。なお、ロボット制御装置５０には、ロボット１０の教示を行うための教示装置（教示操作盤等）が更に接続されていても良い。なお、本実施形態では視覚センサ制御装置２０とロボット制御装置５０とを別々の装置とする場合の機器構成としているが、視覚センサ制御装置２０とロボット制御装置５０とは同一の装置として構成することもできる。例えば、ロボット制御装置５０内に視覚センサ制御装置２０の機能を取り込んでも良い。
　ロボット１０には、ロボット座標系Ｃ１が設定されている。ロボット座標系Ｃ１は、ロボット１０の各可動要素の動作を制御するための制御座標系であって３次元空間に固定されている。本実施形態では、一例として、ロボット座標系Ｃ１は、その原点がロボット１０のベース部の中心に設定されているものとするが、ロボット座標系Ｃ１はこれとは異なる位置や姿勢となるように設定されても良い。
　フランジ１１の先端面には、フランジ座標系Ｃ２が設定されている。フランジ座標系Ｃ２は、ロボット座標系Ｃ１におけるフランジ１１の位置及び姿勢を制御するための制御座標系である。本実施形態では、一例として、フランジ座標系Ｃ２は、その原点がフランジ１１の先端面の中心に配置され、そのｚ軸がフランジ１１の中心軸線に一致するように設定されているものとするが、フランジ座標系Ｃ２はこれとは異なる位置や姿勢となるように設定されても良い。ロボット１０の手首部（ツール３１）を移動させるとき、ロボット制御装置５０（プロセッサ５１）は、ロボット座標系Ｃ１にフランジ座標系Ｃ２を設定し、設定したフランジ座標系Ｃ２によって表される位置及び姿勢にフランジ１１を配置させるように、ロボット１０の各関節部のサーボモータを制御する。このようにして、ロボット制御装置５０は、ロボット座標系Ｃ１における任意の位置及び姿勢にフランジ１１（ツール３１）を位置決めすることができる。
　視覚センサ７０には、センサ座標系Ｃ３が設定される。センサ座標系Ｃ３は、視覚センサ７０が撮像した画像データの各画素の座標を規定する座標系であって、その原点が、視覚センサ７０の撮像センサの受光面（又は光学レンズ）の中心に配置され、そのｘ軸及びｙ軸が、撮像センサの横方向及び縦方向と平行に配置され、且つ、そのｚ軸が視覚センサ７０の視線（光軸）と一致するように、視覚センサ７０に対して設定されている。
　後に詳細に説明するように、ロボットシステム１００は、視覚センサ７０による検出対象箇所に配置された視覚パターンであって、視覚センサ７０と当該視覚パターンの相対位置関係を特定するための視覚パターンを撮像することで、視覚パターンに対して所定の方向に視覚センサ７０を移動させて合焦動作を行う画像処理システムとして構成されている。本実施形態において、視覚センサ７０による検出対象箇所は、ワークを搭載する台６０の上面であり、視覚パターンはキャリブレーション治具Ｊに形成されている。視覚パターンは、塗料を用いた模様、又は、刻印（凹凸）等、視覚的に認識可能な形態であれば良い。なお、視覚パターンは、検出対象位置（台６０の上面）に直接形成されていても良い。本明細書において、視覚パターンというときには、模様、マーク、指標、識別標識、記号その他の各種の視覚的な表示物を含む。視覚センサ７０との相対位置関係の取得に視覚パターンを用いることで高い精度で相対位置関係を取得することができる。特に上述の特許文献５に記載されているようなカメラと特定のワークとの間の相対位置関係を求めるような構成と比較して精度を高めることができる。
　以下では、ロボットシステム１００におけるこのような画像処理システムとしての機能に着目して説明を行う。
　図３は、ロボットシステム１００の画像処理システムとしての機能に着目した場合の視覚センサ制御装置２０及びロボット制御装置５０の機能構成を表す機能ブロック図である。図３に示すように、視覚センサ制御装置２０は、視覚センサ７０で撮像された入力画像２０１に対する画像処理を実行する画像処理部２０２と、ロボット１０に設定された基準座標系（ロボット座標系Ｃ１、或いは、フランジ座標系Ｃ２）に対する視覚センサ７０（センサ座標系Ｃ３）の相対的位置を定めるキャリブレーションデータを記憶するキャリブレーションデータ記憶部２０４とを備える。
　画像処理部２０２は、ワークのハンドリング等を実現するための機能として、例えばモデルパターンを用いて入力画像からワークを検出し、ワークの位置及び姿勢を検出する機能を有する。更に、本実施形態に係る画像処理部２０２は、撮影画像中に写った対象物の合焦度を算出する合焦度算出部２０３を備える。
　キャリブレーションデータ記憶部２０４は、視覚センサ７０のキャリブレーションデータを記憶する。キャリブレーションデータ記憶部２０４は、例えば不揮発性メモリ（ＥＥＰＲＯＭ等）である。視覚センサ７０のキャリブレーションデータは、視覚センサ７０（カメラ）の内部パラメータ及び外部パラメータを含む。内部パラメータは、レンズひずみや焦点距離等の光学的データを含む。外部パラメータは、所定の基準位置（例えばフランジ１１の位置）を基準とした視覚センサ７０の位置である。
　キャリブレーションデータを利用することにより、カメラ内部の幾何学的変換特性及び物体が存在する三次元空間と二次元画像平面との幾何学的関係が求まり、さらに、キャリブレーション治具Ｊの特性から視覚センサ７０で撮像したキャリブレーション治具Ｊの画像から、視覚センサ７０とキャリブレーション治具Ｊの三次元空間位置を一意に決定することができる。すなわち、キャリブレーション済みの視覚センサ７０を用いて撮像した撮像画像内のキャリブレーション治具Ｊの情報から、視覚センサ７０の位置を基準としたキャリブレーション治具の位置・姿勢を求めることができる。
　図４は、キャリブレーション治具Ｊの平面図である。キャリブレーション治具Ｊとしては、視覚センサ７０で撮影した画像から視覚センサ７０の位置を基準としてキャリブレーション治具の位置及び姿勢を求めることが可能な当分野で知られた各種のキャリブレーション治具を用いることができる。図４のキャリブレーション治具Ｊは、平面上に配置されたドットパターンを視覚センサ７０で撮像することで視覚センサ７０のキャリブレーションに必要な情報を取得することができる治具であり、（１）ドットパターンの格子点間隔が既知であること、（２）一定数以上の格子点が存在すること、（３）各格子点がどの格子点にあたるか一意に特定可能である、の３つの要件を満たしている。キャリブレーション治具Ｊは、図４に示されるような二次元の平面に所定のドットパターン等の特徴が配置されたものに限られず、三次元の立体に特徴が配置されたものでもよく、二次元位置情報（Ｘ方向、Ｙ方向）に加えて高さ方向（図１の矢印９１方向）の位置情報を含めた三次元位置情報が得られるものであればよい。また、このキャリブレーション治具Ｊは、視覚センサ７０のキャリブレーションデータを取得する際に用いたものと同じものでもよく、異なるものであってもよい。なお、視覚センサ７０により撮像したドットパターンから、視覚センサ７０の位置を基準としたドットパターンの位置姿勢を計算するためには、上述のキャリブレーションデータの内部パラメータが使用される。なお、本実施形態では撮像装置からみた対象物の位置姿勢を求めるための対象物として図４のようなドットパターンを有するキャリブレーション治具Ｊを用いているが、これに代えて、撮影装置（視覚センサ７０）からみた対象物の位置姿勢を求め得るあらゆるタイプの対象物を用いることができる。
　本実施形態では、キャリブレーション治具Ｊは視覚センサ７０を合焦させる対象の場所（すなわち、台６０の上面）に設置される。
　図３に示されるように、ロボット制御装置５０は、動作プログラムにしたがってロボット１０の動作を制御する動作制御部５０１を備える。更に、本実施形態に係るロボット制御装置５０は、合焦度算出部２０３により算出された合焦度に基づいてロボット１０を移動させて視覚センサ７０を合焦位置に移動させる制御を行う合焦動作制御部５０２を備える。
　なお、図３に示した視覚センサ制御装置２０或いはロボット制御装置５０の機能ブロックは、視覚センサ制御装置２０或いはロボット制御装置５０のプロセッサ（ＣＰＵ）が、メモリに格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。
　図５は、合焦動作制御部による合焦動作（画像処理方法）の流れを表すフローチャートである。なお、ここでは、視覚センサ７０のキャリブレーションデータは、予めキャリブレーションデータ記憶部２０４に格納されている場合を想定する。図５の合焦動作は、ロボット制御装置５０のプロセッサ５１による制御の下で実行される。
　はじめに、合焦動作制御部５０２は、視覚センサ７０によりキャリブレーション治具Ｊが撮像された画像に基づいて、キャリブレーション治具Ｊと視覚センサ７０の位置関係を計算し取得する。この場合、合焦動作制御部５０２は、キャリブレーションデータ記憶部Ｊに記憶されたキャリブレーションデータを用いる。
　ステップＳ１により得らえた視覚センサ７０とキャリブレーション治具Ｊの相対位置関係を用いて、合焦動作制御部５０２は、視覚センサ７０の光軸とキャリブレーション治具Ｊの上面の法線方向（図１において矢印９１方向）とが平行になるように視覚センサ７０を移動させながらキャリブレーション治具Ｊの撮影を行う（ステップＳ２）。このとき、合焦動作制御部５０２は、合焦度算出部２０３に画像に映った対象物（すなわち、キャリブレーション治具Ｊのドット点）の像の合焦度を算出させる（ステップＳ３）。
　そして、合焦動作制御部５０２は、合焦度算出部２０３により算出される合焦度を、キャリブレーション治具Ｊのドット点の合焦度が最も高い時の値としての基準値（合焦度基準値）と比較することで、ステップＳ３で取得された合焦度が最も高い合焦度となっているか否かを判定する（ステップＳ４）。ここで用いる基準値（合焦度基準値）は、ロボット制御装置５０（合焦動作制御部５０２）が予め記憶しておいても良く、或いは、合焦動作制御部５０２が例えば所定の移動範囲で視覚センサ７０を移動させて最も高かった合焦度を合焦度基準値として設定する動作を行うようにしても良い。合焦度が最も高いと判定されない場合（Ｓ４：ＮＯ）、合焦動作制御部５０２は、視覚センサ７０を移動させながら合焦度を確認する処理（ステップＳ２－Ｓ４）を継続する。合焦度が最も高くなっていると判定された場合（Ｓ４：ＹＥＳ）、合焦動作制御部５０２は、合焦度が最も高くなっているときの視覚センサ７０の位置（合焦位置）を撮像位置として記録する（ステップＳ５）。
　合焦度算出部２０３は、合焦度の算出手法として、位相差検出法やコントラスト検出法など、当分野で知られた各種の算出手法を採用することができる。一例として、合焦度算出部２０３は、特開２０１３－２９８０３号公報に記載されているような、位相差検出法により検出された合焦度の信頼度が低いと判定された場合にコントラスト検出法による検出結果に基づいて位相差検出法を用いる画素範囲を選択し、当該選択された画素範囲の信号を用いて位相差検出法による合焦度の算出を行うような手法を用いても良い。合焦度算出部２０３は、合焦度の算出に用いるデータを視覚センサ７０内の合焦計算のための機能要素から取得することができる。
　ステップＳ２からＳ４の処理で視覚センサ７０を移動させる所定の動作範囲は、カメラの焦点距離の調節範囲に基づいて決定しても良い。例えば、視覚センサ７０の焦点調節リングでの焦点調節範囲に基づき決定される撮影距離の範囲内で視覚センサ７０を移動させるようにロボット１０を制御しても良い。ステップＳ１により視覚センサ７０とキャリブレーション治具Ｊとの位置関係が既知となっているので、このような視覚センサ７０の移動制御が可能となっている。
　ステップＳ５で記録した撮像位置は、台６０の上面に置かれたワークの外見検査等の所定の作業を実行する場合に視覚センサ７０を位置付けるための撮影位置として用いられる。このように、図５の合焦動作によれば、キャリブレーション治具Ｊを設置した位置に対して焦点が合う位置に自動的に視覚センサ７０を位置付けることができる。すなわち、視覚センサ７０の焦点調節を自動で効率的に実施することができる。
　以上では、視覚センサ７０のキャリブレーションが予め実施済みの場合（すなわち、視覚センサ制御装置２０がキャリブレーションデータを予め保有している場合）の例について説明したが、視覚センサ７０のキャリブレーションが未実施の場合（すなわち、視覚センサ制御装置２０がキャリブレーションデータを保有していない場合）には、ロボット制御装置５０及び視覚センサ制御装置２０は、当分野で知られた各種のキャリブレーション手法（例えば、前述の特許文献２－５）を用いてキャリブレーションデータを取得しても良い。
　以上のように本実施形態においては図５の合焦制御動作においてキャリブレーション治具Ｊを用いる構成としているため、図５の合焦制御動作を行う際にキャリブレーション治具Ｊを用いてその場でキャリブレーションを行うことも容易である。カメラを校正（キャリブレーション）する方法自体は周知技術であるので説明は省略するが、例えばRoger Y. Tsaiによる「An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision」（CVPR, pp.364-374, 1986 IEEE）に詳述されている。具体的手段としては、図４に示したキャリブレーション治具Ｊのような治具（既知の幾何学的配置でドットが形成されたドットパターンプレート）をカメラの光軸に直交させ、既知の２箇所の位置で計測を行うことによりカメラを校正することができる。
　ここでは、ロボット１０に設定した基準座標系（ロボット座標系Ｃ１或いはフランジ座標系Ｃ２）を基準としたセンサ座標系Ｃ３の姿勢を決定するための画像処理手法の例を説明する。合焦動作制御部５０２は、更に、このような機能を司るように構成されていても良い。ここで説明する手法によりロボット１０に設定した基準座標系に対するセンサ座標系Ｃ３の姿勢を既知にすることで、上述の合焦動作において視覚センサ７０の光軸をキャリブレーション治具Ｊに対して所定の方向（例えば、法線方向）に向けることが可能となる。
　本例では、視覚センサ７０が撮像した指標ＩＤの画像データに基づいて、基準座標系における視覚センサ７０の姿勢のデータを取得する。図６に、指標ＩＤの一例を示す。指標ＩＤは、検出対象位置（台６０の上面）に設けられており、円線Ｃと、互いに直交する２つの直線Ｄ及びＥから構成されている。指標ＩＤは、例えば、塗料を用いた模様、又は、台６０の上面に形成された刻印（凹凸）等、視覚的に認識可能な形態であれば良い。
　ロボット制御装置５０（合焦動作制御部５０２）は、ロボット１０に設定した基準座標系を基準としたセンサ座標系Ｃ３の姿勢を以下のような手順で求める。
（Ａ１）ロボット制御装置５０によって指標ＩＤが視覚センサ７０の視野に入るように視覚センサ７０が初期位置ＰＳ0及び初期姿勢ＯＲ0に配置された状態で、指標ＩＤが撮像され、指標ＩＤの画像データＪＤ0が取得される。図６に示すような画像（ＪＤn）が取得されたとする。
（Ａ２）画像処理部２０２は、画像ＪＤnに写る指標ＩＤの画像から、交点Ｆの座標（ｘn，ｙn）を指標ＩＤの位置として取得し、円Ｃの面積を指標ＩＤのサイズＩＳn（単位：ｐｉｘｅｌ）として取得する。画像処理部２０２は、予め保存されたデータとして、実空間にける指標ＩＤのサイズＲＳ（単位：ｍｍ）、視覚センサ７０の光学レンズの焦点距離ＦＤ、撮像センサのサイズＳＳ（単位：ｍｍ／ｐｉｘｅｌ）を取得する。
（Ａ３）画像処理部２０２は、取得した座標（ｘｎ，ｙｎ）、サイズＩＳｎ、サイズＲＳ、焦点距離ＦＤ、及びサイズＳＳを用いて、ベクトル（Ｘｎ，Ｙｎ，Ｚｎ）を取得する。ここで、Ｘｎは、Ｘｎ＝ｘｎ×ＩＳｎ×ＳＳ／ＲＳなる式から求めることができる。また、Ｙｎは、Ｙｎ＝ｙｎ×ＩＳｎ×ＳＳ／ＲＳなる式から求めることができる。また、Ｚｎは、Ｚｎ＝ＩＳｎ×ＳＳ×ＦＤ／ＲＳなる式から求めることができる。このベクトル（Ｘｎ，Ｙｎ，Ｚｎ）は、画像データＪＤｎを撮像したときの視覚センサ７０（つまり、センサ座標系Ｃ３の原点）から指標ＩＤ（具体的には、交点Ｆ）までのベクトルであって、視覚センサ７０に対する指標ＩＤの相対位置（又は、センサ座標系Ｃ３の座標）を示すデータである。
（Ａ４）同様に、画像処理部２０２は、視覚センサ７０を初期位置からフランジ座標系のｘ軸方向に所定の距離δｘだけ並進移動させた位置ＰＳ1及び姿勢ＯＲ0で指標ＩＤを撮像した画像ＪＤ1から、画像データＪＤ１を撮像したときの視覚センサ７０から指標ＩＤまでのベクトルを取得する。
（Ａ５）同様に、画像処理部２０２は、視覚センサ７０を初期位置からフランジ座標系のｙ軸方向に所定の距離δｙだけ並進移動させた位置ＰＳ2及び姿勢ＯＲ0で指標ＩＤを撮像した画像ＪＤ2から、画像データＪＤ２を撮像したときの視覚センサ７０から指標ＩＤまでのベクトルを取得する。
（Ａ６）同様に、画像処理部２０２は、視覚センサ７０を初期位置からフランジ座標系のｚ軸方向に所定の距離δｚだけ並進移動させた位置ＰＳ3及び姿勢ＯＲ0で指標ＩＤを撮像した画像ＪＤ3から、画像データＪＤ３を撮像したときの視覚センサ７０から指標ＩＤまでのベクトルを取得する。
（Ａ７）以上のデータから、画像処理部２０２は、フランジ座標系Ｃ２における視覚センサ７０（センサ座標系Ｃ３）の姿勢（Ｗ，Ｐ，Ｒ）を表す回転行列を以下の数式（１）により取得する。
Figure JPOXMLDOC01-appb-M000001
　ロボット制御装置５０（合焦動作制御部５０２）は、更に、ロボット１０に設定した基準座標系を基準としたセンサ座標系Ｃ３の位置を求めるように構成されていても良い。この場合の動作手順を以下に示す。
（Ｂ１）ロボット制御装置５０は、まず、初期位置ＰＳ０及び初期姿勢ＯＲ０でのフランジ座標系Ｃ２において、参照座標系Ｃ４を設定する。本実施形態においては、ロボット制御装置５０は、参照座標系Ｃ４を、その原点が、フランジ座標系Ｃ２の原点に配置され、その姿勢（各軸の方向）が、上述の手順で取得した姿勢（Ｗ，Ｐ，Ｒ）に一致するように、フランジ座標系Ｃ２において設定する。したがって、参照座標系Ｃ４のｘ軸、ｙ軸、及びｚ軸の方向は、それぞれ、センサ座標系Ｃ３のｘ軸、ｙ軸、及びｚ軸と平行となる。
（Ｂ２）次いで、ロボット制御装置５０は、ロボット１０を動作させて、視覚センサ７０（つまり、フランジ１１）を、初期位置ＰＳ０及び初期姿勢ＯＲ０から、参照座標系Ｃ４のｚ軸の周りに、姿勢変化量θ１（第１の姿勢変化量）だけ回転させることによって、位置ＰＳ４及び姿勢ＯＲ１に配置させる。
（Ｂ３）画像処理部２０２は、上述の姿勢を求める場合と同様の手法により、視覚センサ７０を動作させて指標ＩＤを撮像し、このときの視覚センサ７０に対する指標ＩＤの相対位置データ（Ｘ４，Ｙ４，Ｚ４）を取得する。
（Ｂ４）次に、ロボット制御装置５０は、ロボット１０を動作させて、視覚センサ７０を、初期位置ＰＳ０及び初期姿勢ＯＲ０から、参照座標系Ｃ４のｘ軸又はｙ軸（すなわち、視線の方向と直交する軸）の周りに、姿勢変化量θ２（第１の姿勢変化量）だけ回転させることによって、位置ＰＳ５及び姿勢ＯＲ２に配置させる。
（Ｂ５）画像処理部２０２は、上述の姿勢を求める場合と同様の手法により、視覚センサ７０を動作させて指標ＩＤを撮像し、このときの視覚センサ７０に対する指標ＩＤの相対位置データ（Ｘ５，Ｙ５，Ｚ５）を取得する。
　フランジ座標系Ｃ２における、参照座標系Ｃ４の原点（本実施形態においては、ＭＩＦ座標系Ｃ２の原点）から、位置が未知であるセンサ座標系Ｃ３の原点までのベクトルを(ΔＸ１，ΔＹ１，ΔＺ１)とすると、以下の式（２）、（３）が成立する。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ロボット制御装置５０は、上述の式（２）及び（３）を解くことによって、フランジ座標系Ｃ２における参照座標系Ｃ４の原点から、未知であるセンサ座標系Ｃ３の原点までのベクトル(ΔＸ１，ΔＹ１，ΔＺ１)を推定できる。
　以上説明したように、指標ＩＤは、視覚センサ７０と指標ＩＤとの相対位置関係を特定可能な視覚パターンであるため、上述の合焦動作で用いたキャリブレーション治具Ｊに代えて指標ＩＤを用いることも可能である。
　以上説明したように本実施形態によれば、視覚パターンを検出対象箇所に配置することで、視覚センサを、視覚パターンを配置した箇所に自動的に合焦させることができる。すなわち、視覚センサの焦点調節を自動で効率的に実施することができる。
　以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
　上述の実施形態で説明した構成は、可動部位に視覚センサを搭載した各種の産業機械における焦点調節動作に適用することができる。
　図１に示した機器構成例では視覚センサをロボットに搭載し、キャリブレーション治具を固定位置に配置した構成例であったが、視覚センサを作業空間に固定した固定カメラとし、キャリブレーション治具（視覚パターン）をロボットのツールに搭載するような構成も有り得る。この場合も、図３で示した機能ブロック構成と同様の機能ブロック構成が適用され得る。この場合、合焦動作制御部５０２は、視覚センサの視野にキャリブレーション治具（視覚パターン）が写っている状態で、決定された相対位置関係に基づいて視覚パターンを視覚センサに対して移動させながら（視覚パターンを基準とする所定の方向において視覚センサと視覚パターンとの相対位置を変更させながら）視覚センサにより視覚パターンを撮像させて視覚パターンの合焦度を求めることで、視覚センサを視覚パターンに合焦させる。
　図２に示した機能ブロック図における視覚センサ制御装置２０及びロボット制御装置５０の機能ブロックの配置は例示であり、機能ブロックの配置については様々な変形例が有り得る。例えば、画像処理部２０２としての機能の少なくとも一部をロボット制御装置５０側に配置しても良い。
　図５で示した合焦動作においては、合焦度が合焦度基準値と一致するか否かを比較することによって（ステップＳ４）、合焦位置を特定する構成となっているが、このような構成に替えて、所定の動作範囲でカメラを移動させて合焦度のピークが得られる位置を探索することによって合焦位置を得るようにしても良い。
　上述した実施形態における合焦動作その他の各種処理を実行するためのプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。
　１０　　ロボット
　１１　　フランジ
　２０　　視覚センサ制御装置
　２１　　プロセッサ
　２２　　メモリ
　２３　　入出力インタフェース
　３１　　ツール
　５０　　ロボット制御装置
　５１　　プロセッサ
　５２　　メモリ
　５３　　入出力インタフェース
　５４　　操作部
　６０　　台
　７０　　視覚センサ
　１００　　ロボットシステム
　２０１　　入力画像
　２０２　　画像処理部
　２０３　　合焦度算出部
　２０４　　キャリブレーションデータ記憶部

Claims (8)

  1. 　産業機械と、
    　視覚センサと、
    　検出対象箇所に配置された視覚パターンであって、前記視覚センサと当該視覚パターンとの相対位置関係を特定するための視覚パターンと、
    　前記視覚センサにより前記視覚パターンが撮影された画像から、前記視覚センサと前記視覚パターンとの相対位置関係を決定する画像処理部と、
    　前記視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる合焦動作制御部と、
    　を備える画像処理システム。
  2. 　前記合焦動作制御部は、前記視覚パターンが形成された面に対して予め定められた方向おいて前記視覚センサと前記視覚パターンとの相対位置を変更する、請求項１に記載の画像処理システム。
  3. 　前記視覚センサは前記産業機械の所定の可動部位に搭載され、
    　前記合焦動作制御部は、前記視覚センサの視野に前記視覚パターンが写っている状態で、前記相対位置関係に基づいて前記産業機械により前記視覚センサを前記所定の方向に移動させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦する合焦位置に移動させる、請求項１又は２に記載の画像処理システム。
  4. 　前記合焦動作制御部は、前記視覚センサを前記視覚パターンに対して所定の動作範囲内で移動させ、前記視覚パターンの合焦度が最も高いときの合焦度基準値と、前記視覚センサを移動させながら得られる前記合焦度とを比較することで前記視覚センサを前記合焦位置に移動させる、請求項３に記載の画像処理システム。
  5. 　前記視覚センサはキャリブレーション実施済みであり、前記合焦動作制御部は、前記視覚センサを前記視覚パターンを基準とする前記所定の方向に向けるために、前記視覚センサの前記産業機械の所定の基準位置を基準とした位置及び姿勢を表すキャリブレーションデータを用いる、請求項３又は４に記載の画像処理システム。
  6. 　前記視覚センサはキャリブレーション未実施であり、前記合焦動作制御部は、前記視覚センサが前記視覚パターンを撮影した画像に基づいて前記産業機械の基準位置を基準とする前記視覚センサの姿勢を求め、求められた当該姿勢に基づいて前記視覚センサを前記前記視覚パターンを基準とする前記所定の方向に向けて移動させる、請求項３又は４に記載の画像処理システム。
  7. 　前記産業機械は産業用ロボットである、請求項１から６のいずれか一項に記載の画像処理システム。
  8. 　検出対象箇所に配置された視覚パターンを視覚センサで撮像した画像から当該視覚センサと当該視覚パターンとの相対位置関係を決定し、
    　視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる、画像処理方法。
PCT/JP2021/044535 2020-12-10 2021-12-03 画像処理システム及び画像処理方法 Ceased WO2022124232A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180076116.1A CN116472144A (zh) 2020-12-10 2021-12-03 图像处理系统以及图像处理方法
US18/043,039 US12418718B2 (en) 2020-12-10 2021-12-03 Image processing system and image processing method
DE112021005353.1T DE112021005353B4 (de) 2020-12-10 2021-12-03 Bildverarbeitungssystem und Bildverarbeitungsverfahren
JP2022568249A JP7509918B2 (ja) 2020-12-10 2021-12-03 画像処理システム及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020204868 2020-12-10
JP2020-204868 2020-12-10

Publications (1)

Publication Number Publication Date
WO2022124232A1 true WO2022124232A1 (ja) 2022-06-16

Family

ID=81973253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044535 Ceased WO2022124232A1 (ja) 2020-12-10 2021-12-03 画像処理システム及び画像処理方法

Country Status (5)

Country Link
US (1) US12418718B2 (ja)
JP (1) JP7509918B2 (ja)
CN (1) CN116472144A (ja)
DE (1) DE112021005353B4 (ja)
WO (1) WO2022124232A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12170845B2 (en) * 2020-06-04 2024-12-17 Sony Group Corporation Imaging device, image processing method, and program
EP3968283A1 (en) * 2020-09-14 2022-03-16 Eppendorf AG Method for calibrating an optical recording device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP2016097474A (ja) * 2014-11-21 2016-05-30 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
CN110136208A (zh) * 2019-05-20 2019-08-16 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP2001148866A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 画像入力装置
JP3887684B2 (ja) * 2003-01-31 2007-02-28 独立行政法人産業技術総合研究所 微小物の姿勢制御装置及び姿勢制御方法
JP5183399B2 (ja) 2008-09-29 2013-04-17 三菱電機株式会社 数値制御装置
JP5404507B2 (ja) 2010-04-05 2014-02-05 三菱電機株式会社 補正パラメータ調整装置
KR101827572B1 (ko) 2011-05-13 2018-02-08 두산공작기계 주식회사 공작기계의 백래시 자동 검출과 보상을 위한 방법 및 장치
JP6029309B2 (ja) 2011-06-22 2016-11-24 キヤノン株式会社 焦点検出装置
JP5670416B2 (ja) 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
US10525597B2 (en) 2014-11-21 2020-01-07 Seiko Epson Corporation Robot and robot system
US9844881B2 (en) * 2015-06-22 2017-12-19 GM Global Technology Operations LLC Robotic device including machine vision
JP6396364B2 (ja) 2016-05-25 2018-09-26 ファナック株式会社 モータ制御装置、モータ制御方法及びモータ制御プログラム
JP2018091774A (ja) 2016-12-06 2018-06-14 信越ポリマー株式会社 成形品の検査装置及び検査方法
JP6973233B2 (ja) 2017-05-17 2021-11-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム
CN108965690B (zh) * 2017-05-17 2021-02-26 欧姆龙株式会社 图像处理系统、图像处理装置及计算机可读存储介质
JP6538751B2 (ja) * 2017-05-18 2019-07-03 ファナック株式会社 プログラミング装置及びロボット制御方法
JP6836561B2 (ja) 2018-09-20 2021-03-03 ファナック株式会社 画像処理装置及び画像処理方法
KR102633221B1 (ko) * 2019-01-11 2024-02-01 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
JP2016097474A (ja) * 2014-11-21 2016-05-30 セイコーエプソン株式会社 ロボットおよびロボットシステム
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
CN110136208A (zh) * 2019-05-20 2019-08-16 北京无远弗届科技有限公司 一种机器人视觉伺服系统的联合自动标定方法及装置

Also Published As

Publication number Publication date
US12418718B2 (en) 2025-09-16
JP7509918B2 (ja) 2024-07-02
US20230328372A1 (en) 2023-10-12
JPWO2022124232A1 (ja) 2022-06-16
CN116472144A (zh) 2023-07-21
DE112021005353B4 (de) 2026-04-23
TW202239546A (zh) 2022-10-16
DE112021005353T5 (de) 2023-08-31

Similar Documents

Publication Publication Date Title
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
JP7237483B2 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
US9672630B2 (en) Contour line measurement apparatus and robot system
JP4021413B2 (ja) 計測装置
EP2543483B1 (en) Information processing apparatus and information processing method
US9437005B2 (en) Information processing apparatus and information processing method
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2022028672A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP5282717B2 (ja) ロボットシステム
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
JP6869159B2 (ja) ロボットシステム
JP2015136770A (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP7353757B2 (ja) アーチファクトを測定するための方法
JP2020047049A (ja) 画像処理装置及び画像処理方法
JP2019049467A (ja) 距離計測システムおよび距離計測方法
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
JP7414850B2 (ja) ロボットシステム
CN115397634B (zh) 取得机器人的控制坐标系中的视觉传感器的位置的装置、机器人系统、方法以及计算机程序
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP6565367B2 (ja) 位置補正システム
TWI918775B (zh) 圖像處理系統及圖像處理方法
CN115397626B (zh) 坐标系设定系统和位置姿势测量系统
JP7660686B2 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903335

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022568249

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180076116.1

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 21903335

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18043039

Country of ref document: US