WO2021210540A1 - 座標系設定システム及び位置姿勢計測システム - Google Patents

座標系設定システム及び位置姿勢計測システム Download PDF

Info

Publication number
WO2021210540A1
WO2021210540A1 PCT/JP2021/015189 JP2021015189W WO2021210540A1 WO 2021210540 A1 WO2021210540 A1 WO 2021210540A1 JP 2021015189 W JP2021015189 W JP 2021015189W WO 2021210540 A1 WO2021210540 A1 WO 2021210540A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual sensor
coordinate system
calibration jig
calibration
camera
Prior art date
Application number
PCT/JP2021/015189
Other languages
English (en)
French (fr)
Inventor
翔太郎 小倉
勇太 並木
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US17/995,974 priority Critical patent/US20230191612A1/en
Priority to JP2022515375A priority patent/JP7389237B2/ja
Priority to DE112021002334.9T priority patent/DE112021002334T5/de
Priority to CN202180027855.1A priority patent/CN115397626A/zh
Publication of WO2021210540A1 publication Critical patent/WO2021210540A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Definitions

  • This disclosure relates to a coordinate system setting system and a position / orientation measurement system.
  • the above touch-up operation takes time, and if a teacher who is not accustomed to robot operation performs it, there is a risk of setting an incorrect coordinate system. In this case, the correction by vision is as expected. There is a problem that it does not work.
  • a technique for automatically setting the coordinate system on the calibration jig has been proposed, it takes time to image the calibration jig from a plurality of viewpoints.
  • One aspect of the present disclosure is a coordinate system setting system that sets a coordinate system used for controlling an industrial machine, and is a calibrated visual sensor and a calibration obtained when the calibration of the visual sensor is executed.
  • a calibration data storage unit that stores data in advance, an image processing unit that processes an captured image obtained by imaging a calibration jig installed at a position where the coordinate system is desired to be set by the visual sensor, and the above.
  • the coordinate system setting unit includes a coordinate system setting unit that sets a coordinate system used for controlling the industrial machine by using the image processing result by the image processing unit, and the coordinate system setting unit captures the calibration jig by the visual sensor.
  • the position of the calibration jig based on the visual sensor position obtained based on the captured image obtained and the calibration data, and the position of the calibration jig stored in the calibration data are set in advance for the industrial machine.
  • the reference position is used as a reference. This is a coordinate system setting system that obtains the position of the calibration jig and sets the coordinate system used for controlling the industrial machine by using the position of the calibration jig based on the reference position. ..
  • a coordinate system setting system capable of easily setting a coordinate system used for controlling an industrial machine.
  • a calibration jig installed at a position where a coordinate system for controlling the operation of the robot is desired to be set is imaged by using a calibrated camera. This is a system that allows the teacher to easily set the coordinate system without the need for robot operation.
  • FIG. 1 is a diagram showing a configuration of a robot system S according to the first embodiment of the present disclosure.
  • the robot system S includes the coordinate system setting system 1 according to the first embodiment of the present disclosure.
  • the robot system S includes a robot 2 as an industrial machine, a camera 4 as a visual sensor, a visual sensor control device 10, a robot control device 20, and a calibration jig J.
  • the robot system S is, for example, a system that recognizes the position of the work based on the captured image of the work captured by the camera 4 and executes a predetermined work such as handling or processing of the work.
  • a hand tool 6 is attached to the tip of the robot arm 3 of the robot 2 via a flange 5.
  • the robot 2 executes a predetermined work such as handling or processing of a work under the control of the robot control device 20.
  • a camera 4 is attached to the tip of the robot arm 3 of the robot 2.
  • the camera 4 is controlled by the visual sensor control device 10 to take an image of an object to be imaged such as a work.
  • a calibrated camera is used.
  • the visual sensor a general two-dimensional camera may be used, or a three-dimensional sensor such as a stereo camera may be used.
  • the camera 4 may be a hand camera attached to the flange 5 of the robot 2 as shown in FIG. 1, or may be a fixed camera fixedly arranged above the base T, for example.
  • the visual sensor control device 10 controls the camera 4 as a visual sensor. Further, the visual sensor control device 10 detects the position and orientation of the object to be imaged from the image captured by the camera 4.
  • the robot control device 20 executes a robot operation program and controls the operation of the robot 2. At that time, the robot control device 20 corrects the operation of the robot 2 so that the robot 2 executes a predetermined work with respect to the position of the image pickup target such as the work detected by the visual sensor control device 10.
  • the robot control device 20 controls the position and posture of the robot 2 so as to control the position and posture of the camera 4 when the camera 4 is imaged. In this way, the robot control device 20 controls the relative position of the image pickup object and the camera 4 by fixing the position and the posture of the image pickup object and controlling the position and the posture of the camera 4.
  • FIG. 2 is a block diagram showing the configuration of the coordinate system setting system 1 according to the first embodiment of the present disclosure.
  • the coordinate system setting system 1 according to the first embodiment of the present disclosure includes a camera 4 as a visual sensor, an image processing unit 11 and a calibration data storage unit constituting the visual sensor control device 10. 12 and a coordinate system setting unit 21 constituting the robot control device 20 are provided.
  • the image processing unit 11 inputs the captured image captured by the camera 4 as the input image 13, and performs image processing on the input image 13. More specifically, the image processing unit 11 detects an object from the input image 13 using, for example, a model pattern, and detects the position and orientation of the object. Further, in the first embodiment of the present disclosure, the image processing unit 11 processes the captured image obtained by capturing the calibration jig J with the camera 4. More specifically, the image processing unit 11 processes the captured image obtained by imaging the calibration jig J installed at the position where the coordinate system is desired to be set by the camera 4 as described later.
  • the image processing unit 11 and the robot control device 20 in the visual sensor control device 10 are composed of, for example, arithmetic processors such as a DSP (Digital Signal Processor) and an FPGA (Field-Programmable Gate Array).
  • Various functions of the image processing unit 11 and the robot control device 20 in the visual sensor control device 10 are realized, for example, by executing predetermined software (program, application).
  • Various functions of the image processing unit 11 and the robot control device 20 in the visual sensor control device 10 may be realized by the cooperation of hardware and software, or may be realized only by hardware (electronic circuit).
  • the calibration data storage unit 12 stores in advance the calibration data obtained when the camera 4 is calibrated.
  • the calibration data storage unit 12 in the visual sensor control device 10 is composed of, for example, a rewritable memory such as an EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • the internal parameters and external parameters of the camera 4 are stored in the calibration data of the camera 4.
  • the internal parameters of the camera 4 are parameters such as lens distortion and focal length.
  • the external parameter is the visual sensor position (position of the camera 4) with reference to the reference position.
  • the coordinate system setting unit 21 sets the coordinate system used for controlling the robot 2 based on the image processing result by the image processing unit 11.
  • the coordinate system setting unit 21 is configured in the robot control device 20, but the present invention is not limited to this.
  • the coordinate system setting unit 21 may be configured in the visual sensor control device 10.
  • the coordinate system setting unit 21 obtains the position of the calibration jig J with reference to the visual sensor position based on the captured image and the calibration data obtained by imaging the calibration jig J with the camera 4. That is, the coordinate system setting unit 21 obtains the position of the calibration jig J with reference to the position of the camera 4 at the time of imaging the calibration jig. This is obtained in the same manner in both the case where the camera 4 is a hand camera and the case where the camera 4 is a fixed camera.
  • the coordinate system setting unit 21 obtains the visual sensor position based on the reference position preset for the robot 2 based on the calibration data stored in the calibration data storage unit 12. The method for obtaining this differs depending on whether the camera 4 is a hand camera or a fixed camera. Therefore, the coordinate system setting unit 21 determines whether the camera 4 is a hand camera or a fixed camera from the calibration data stored in the calibration data storage unit 12.
  • the reference position is, for example, the reference position of the base coordinate system normally set at the center of the base of the robot 2. This reference position is necessary for controlling the operation of the robot 2 and is preset.
  • the position of the camera 4 with reference to the reference position is acquired from the calibration data of the camera 4, and the calibration is executed.
  • the position of the camera 4 with reference to the reference position at the time is set with reference to the reference position at the time of imaging with the calibration jig (that is, the current state in which the coordinate system setting process is being executed, hereinafter also simply referred to as imaging).
  • the position of the camera 4 is set.
  • the position of the camera 4 changes in conjunction with the operation of the robot 2, so that the flange does not change depending on the operation of the robot 2 after the camera 4 is attached.
  • the position of the camera 4 with respect to the position of 5 is acquired from the calibration data stored in the calibration data storage unit 12. Further, the position of the flange 5 is acquired from the robot control device 20 with reference to the reference position at the time of imaging. Then, based on the position of the camera 4 based on the acquired position of the flange 5 and the position of the flange 5 based on the acquired reference position at the time of imaging, the camera 4 based on the reference position at the time of imaging. Calculate the position of.
  • the coordinate system setting unit 21 has a position of the calibration jig J based on the visual sensor position obtained as described above and a visual sensor position based on the reference position also obtained as described above. Based on, the position of the calibration jig J with reference to the reference position is obtained by calculation, and the position of the calibration jig with reference to this reference position is used to determine the coordinate system used for controlling the robot 2. Set. As a result, the coordinate system used for controlling the robot 2 is set on the calibration jig J.
  • FIG. 3 is a plan view of the calibration jig J.
  • the calibration jig J a conventionally known calibration jig that can be used for calibrating a camera can be used.
  • the calibration jig J of FIG. 3 is a jig for acquiring information necessary for calibration of the camera 4 by imaging a dot pattern arranged on a plane with the camera 4, and is a requirement as a dot pattern.
  • the grid point spacing of the dot pattern is known, (2) there are a certain number of grid points or more, and (3) it is possible to uniquely identify which grid point each grid point corresponds to. It meets the three requirements of.
  • the calibration jig J is not limited to one in which features such as a predetermined dot pattern are arranged on a two-dimensional plane as shown in FIG. 3, and may be one in which features are arranged on a three-dimensional solid. It suffices as long as the three-dimensional position information including the position information in the height direction (Z direction) in addition to the dimensional position information (X direction and Y direction) can be obtained (see FIG. 1). Further, the calibration jig J may be the same as or different from the one used when the camera 4 is calibrated. The internal parameters of the calibration data described above are used to calculate the position and orientation of the dot pattern with reference to the position of the camera 4 from the dot pattern captured by the camera 4.
  • the calibration jig J is installed at a position where the coordinate system is to be set.
  • the coordinate system to be set is used for controlling the robot 2, and can be used, for example, for calculating a correction amount for correcting the operation of the robot 2. In addition, it can also be used in a coordinate system or the like used for setting the teaching position of the robot 2.
  • the calibration jig J is placed on the table T.
  • FIG. 4 is a flowchart showing a procedure of the coordinate system setting process in the coordinate system setting system 1 according to the first embodiment of the present disclosure.
  • the robot 2 is subjected to an image of the calibration jig J by the calibrated camera 4. Set the coordinate system used for control.
  • step S1 the calibration jig J is imaged using the calibrated camera 4.
  • the visual sensor control device 10 acquires the captured image of the calibration jig J installed at the position where the coordinate system is to be set (in the first embodiment of the present disclosure, the upper surface of the table T) as the input image 13. ..
  • the process proceeds to step S2.
  • step S2 the position of the calibration jig J is calculated with reference to the position of the camera 4 at the time of imaging the calibration jig (hereinafter, also simply referred to as imaging). Specifically, the calibration jig J based on the position of the camera 4 using the captured image captured in step S1 and the calibration data of the camera 4 stored in advance in the calibration data storage unit 12. Calculate the position of. The position of the calibration jig J with reference to the position of the camera 4 can be calculated by the existing calibration calculation. After this step, the process proceeds to step S3.
  • step S3 it is determined whether the installation of the camera 4 is fixed. If this determination is NO, that is, if the camera 4 is a hand camera or the like attached to the flange 5 of the robot 2 as shown in FIG. 1, the process proceeds to step S4. On the other hand, if this determination is YES, that is, if the camera 4 is, for example, a fixed camera fixed above the table T, the process proceeds to step S9.
  • Step S4 is a process in which the camera 4 is a hand camera attached to the flange 5 of the robot 2, and the position of the camera 4 changes in conjunction with the operation of the robot 2. Therefore, in this step, the position of the camera 4 with reference to the position of the flange 5, which does not change depending on the operation of the robot 2 after the camera 4 is attached, is acquired from the calibration data. In the case of a hand camera, the relative positions of the flange 5 and the camera 4 are obtained as external parameters of the calibration when the calibration is executed. After this step, the process proceeds to step S5.
  • step S5 the position of the flange 5 is acquired from the robot control device 20 with reference to the reference position at the time of imaging.
  • the position information of the flange 5 with reference to the preset reference position can always be acquired from the robot control device 20 that generates an operation command for the robot 2.
  • step S6 the position of the camera 4 is calculated with reference to the reference position at the time of imaging. Specifically, at the time of imaging, based on the position of the camera 4 based on the position of the flange 5 acquired in step S4 and the position of the flange 5 based on the reference position at the time of imaging acquired in step S5. The position of the camera 4 is calculated with reference to the reference position of. After this step, the process proceeds to step S7.
  • step S7 the position of the calibration jig J is calculated and obtained with reference to the reference position at the time of imaging. Specifically, the position of the calibration jig J based on the position of the camera 4 at the time of imaging calculated in step S2, the position of the camera 4 based on the reference position at the time of imaging calculated in step S6, and the position of the camera 4. Based on the above, the position of the calibration jig J is calculated with reference to the reference position at the time of imaging. After this step, the process proceeds to step S8.
  • step S8 the coordinate system used for controlling the robot 2 is set using the position of the calibration jig J with reference to the reference position at the time of imaging calculated in step S8, and this process is completed. ..
  • step S9 is a case where the camera 4 is a fixed camera fixed above the base T, for example, and the position of the camera 4 does not change due to the operation of the robot 2. Therefore, in this step, the position of the camera 4 with reference to the reference position is acquired from the calibration data of the camera 4, and the position of the camera 4 with reference to the reference position at the time of performing calibration is used as the reference position at the time of imaging. The position of the camera 4 as a reference is used. In the case of a fixed camera, the position of the camera 4 with reference to the reference position is obtained as an external parameter of the calibration when the calibration is executed. After this step, the process proceeds to step S7 and step S8 in order, and after each of the above steps is executed, this process ends.
  • the calibrated camera 4 the calibration data storage unit 12 that stores the calibration data obtained at the time of performing the calibration of the camera 4 in advance, and the camera.
  • Control of the robot 2 by using the image processing unit 11 that processes the captured image obtained by imaging the calibration jig J installed at the position where the coordinate system is to be set by 4 and the image processing result by the image processing unit 11.
  • a coordinate system setting unit 21 for setting the coordinate system used for the camera is provided.
  • the coordinate system setting unit 21 determines the position of the calibration jig J with reference to the position of the camera 4 based on the captured image and the calibration data obtained by imaging the calibration jig J with the camera 4. At the same time, the position of the camera 4 with respect to the reference position is obtained based on the calibration data. In addition, the coordinate system setting unit 21 determines the reference position based on the position of the calibration jig J based on the obtained position of the camera 4 and the position of the camera 4 based on the obtained reference position. The position of the calibration jig J as a reference is obtained, and the coordinate system used for controlling the robot 2 is set by using the position.
  • the instructor does not need to operate the robot, and the calibration jig J placed at the position where the coordinate system is to be set is imaged by the calibrated camera 4 and is easily used for controlling the robot 2.
  • the coordinate system can be set. Therefore, it is possible for a teacher who is not accustomed to operating the robot to set an erroneous coordinate system and avoid the risk that the robot 2 cannot control the robot 2 as expected.
  • Conventionally there is a technique for automatically setting the coordinate system on the calibration jig, but it takes time because it is necessary to image the calibration jig from multiple viewpoints, and it is impossible with one fixed camera.
  • the position of the camera 4 with reference to the reference position acquired from the calibration data is set as the visual sensor position with reference to the reference position. It was configured to be.
  • the same effect as described above can be obtained regardless of whether the camera 4 is a hand camera or a fixed camera.
  • the calibration jig J is installed on the table T
  • the calibration jig J is installed on the flange 5 of the robot 2.
  • the camera 4 may be either a fixed camera or a handheld camera.
  • the second embodiment of the present disclosure will be described with reference to FIGS. 5 and 6, but the same reference numerals will be given to the same configurations as those of the first embodiment described above, and the description thereof will be omitted as appropriate.
  • FIG. 5 is a diagram showing the configuration of the robot system SA according to the second embodiment of the present disclosure.
  • the robot system SA includes the coordinate system setting system 1A according to the second embodiment of the present disclosure.
  • the robot system SA includes a robot 2 as an industrial machine, a camera 4 as a visual sensor, a visual sensor control device 10, a robot control device 20, and a calibration jig J.
  • the coordinate system setting system 1A according to the second embodiment of the present disclosure has the same configuration as the coordinate system setting system 1 according to the first embodiment described above. That is, the coordinate system setting system 1A according to the second embodiment of the present disclosure includes a camera 4 as a visual sensor, an image processing unit 11 and a calibration data storage unit 12 constituting the visual sensor control device 10, and a robot control device. A coordinate system setting unit 21 constituting 20 is provided.
  • the second embodiment of the present disclosure differs from the first embodiment in that the camera 4 is a fixed camera attached to a predetermined fixed portion F arranged above the robot 2. Further, the calibration jig J is installed on the flange 5 of the robot 2, which is different from the first embodiment.
  • the camera 4 obtains an image of the calibration jig J installed on the flange 5 by the camera 4.
  • the position of the calibration jig J based on the position is obtained, and the position of the camera 4 based on the reference position at the time of imaging of the calibration jig J is obtained based on the calibration data, and the calibration is performed based on these.
  • the position of the calibration jig J is obtained with reference to the reference position at the time of imaging.
  • the flange 5 The position of the calibration jig J with reference to the position is obtained. Then, the coordinate system used for controlling the robot 2 is set by using the position of the calibration jig J with reference to the obtained position of the flange 5.
  • FIG. 6 is a flowchart showing a procedure of the coordinate system setting process in the coordinate system setting system 1A according to the second embodiment and the like of the present disclosure.
  • steps S1 to S7 and steps S9 of the coordinate system setting process in the coordinate system setting system 1A according to the second embodiment and the like of the present disclosure respectively relate to the above-mentioned first embodiment and the like. This is the same as in steps S1 to S7 and step S9 of the coordinate system setting process in the coordinate system setting system 1.
  • Step S10 is executed after step S7.
  • the position of the calibration jig J is calculated with reference to the position of the flange 5.
  • the position of the calibration jig J based on the reference position at the time of imaging of the calibration jig J obtained in step S7 and the reference position at the time of imaging of the calibration jig J obtained in step S5 are used as a reference.
  • the position of the calibration jig J is obtained with reference to the position of the flange 5. After this step, the process proceeds to step S11.
  • step S11 the coordinate system used for controlling the robot 2 is set using the position of the calibration jig J with reference to the position of the flange 5 obtained in step S10, and this process is completed.
  • the coordinate system for controlling the robot 2 is set on the flange 5 of the robot 2, and the same effect as that of the above-described first embodiment can be obtained.
  • FIG. 7 is a diagram showing a robot system SA according to the third embodiment of the present disclosure.
  • FIG. 8 is a block diagram showing a configuration of the position / posture measurement system 1B according to the third embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining an operation correction amount. Note that FIG. 7 omits the description of the robot 2, the visual sensor control device 10, and the robot control device 20B.
  • the calibration jig J arranged on the surface of the machine tool 7 is imaged by the calibrated camera 4 held by the robot 2.
  • the position / posture measurement system 1B includes a position / posture calculation unit 22, and the position / posture calculation unit 22 is used to view the calibration jig J from the camera 4.
  • the original position and posture (X, Y, Z, W, P, R) are measured, and the three-dimensional position and posture of the machine tool 7 with respect to the robot 2 are calculated from the measured three-dimensional position and posture.
  • the position / orientation calculation unit 22 performs calibration with reference to the camera position based on the captured image and the calibration data obtained by imaging the calibration jig J with the camera 4. Find the three-dimensional position and posture of the tool J. Further, the position / orientation calculation unit 22 obtains a camera position based on a reference position preset for the robot 2 stored in the calibration data. Further, the position / orientation calculation unit 22 performs calibration based on the reference position based on the three-dimensional position and orientation of the calibration jig J based on the camera position and the camera position based on the reference position. Find the three-dimensional position and orientation of the jig J. As a result, the three-dimensional position and posture of the machine tool 7 on which the calibration jig J is arranged with respect to the robot 2 are acquired.
  • the position / orientation measurement system 1B can acquire the three-dimensional position / orientation of the machine tool 7 with respect to the robot 2. Therefore, from the acquired current three-dimensional position / orientation and the original reference position / orientation, a deviation amount is obtained as a correction amount by a correction unit (not shown), and the operation of the robot 2 is corrected by the correction amount. It is possible. Specifically, as shown in FIG. 9, the coordinate system itself is moved and rotated so that the machine tool 7 at the current detection position overlaps with that at the reference position, and the movement amount of the coordinate system obtained here is deviated. By setting the amount (correction amount), it is possible to easily correct the predetermined operation of the robot 2. Although FIG. 9 is shown in two dimensions, it is basically the same in three dimensions.
  • the coordinate system setting systems 1 and 1A were applied to the setting of the coordinate system used for controlling the robot 2, but the present invention is not limited to this. It can also be applied to the setting of the coordinate system used for controlling various machine tools other than the robot 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

産業機械の制御に使用する座標系を簡易に設定できる座標系設定システムを提供すること。キャリブレーション済みのカメラ４と、カメラ４のキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部１２と、カメラ４により座標系を設定したい位置に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する画像処理部１１と、画像処理部１１による画像処理結果を用いてロボット２の制御に使用する座標系を設定する座標系設定部２１と、を備える、座標系設定システム１である。

Description

座標系設定システム及び位置姿勢計測システム
　本開示は、座標系設定システム及び位置姿勢計測システムに関する。
　従来、画像処理装置を用いてロボット動作の補正を行うプログラムを作成する際には、補正する座標系の設定が必要である。そこで、教示者がロボットを操作して座標系の原点、Ｘ方向、Ｙ方向等をタッチアップし、ロボットのＴＣＰ（ロボットアーム先端部の中心点：Ｔｏｏｌ　Ｃｅｎｔｅｒ　Ｐｏｉｎｔ）を特定の位置に合わせることにより、座標系を設定する技術が知られている（例えば、特許文献１参照）。
特開平０３－２５１３７８号公報
　しかしながら、上記のタッチアップ操作には時間を要するうえ、ロボット操作に慣れていない教示者が行った場合には誤った座標系を設定するおそれがあり、この場合にはビジョンによる補正が期待通りに働かなくなるという問題がある。これに対して、キャリブレーション治具に座標系を自動的に設定するような技術も提案されてはいるが、複数の視点からキャリブレーション治具を撮像する必要があり時間を要する。
　従って、ロボット等の産業機械の制御に使用する座標系を簡易に設定できる技術の開発が望まれる。
　本開示の一態様は、産業機械の制御に使用する座標系を設定する座標系設定システムであって、キャリブレーション済みの視覚センサと、前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、前記視覚センサにより、前記座標系を設定したい位置に設置されたキャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、前記画像処理部による画像処理結果を用いて前記産業機械の制御に使用する座標系を設定する座標系設定部と、を備え、前記座標系設定部は、前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、前記基準位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定する、座標系設定システムである。
　本開示の一態様によれば、産業機械の制御に使用する座標系を簡易に設定することができる座標系設定システムを提供できる。
本開示の第１実施形態に係るロボットシステムの構成を示す図である。 本開示の第１実施形態に係る座標系設定システムの構成を示すブロック図である。 キャリブレーション治具の平面図である。 本開示の第１実施形態に係る座標系設定システムにおける座標系設定処理の手順を示すフローチャートである。 本開示の第２実施形態に係るロボットシステムの構成を示す図である。 本開示の第２実施形態に係る座標系設定システムにおける座標系設定処理の手順を示すフローチャートである。 本開示の第３実施形態に係るロボットシステムを示す図である。 本開示の第３実施形態に係る位置姿勢計測システムの構成を示すブロック図である。 動作の補正量を説明するための図である。
　以下、本開示の実施形態について図面を参照して説明する。
［第１実施形態］
　本開示の第１実施形態に係る座標系設定システムは、ロボットの動作を制御するための座標系を設定したい位置に設置されたキャリブレーション治具を、キャリブレーション済みのカメラを用いて撮像することで、教示者がロボット操作を必要とせずに簡易に座標系を設定することができるシステムである。
　図１は、本開示の第１実施形態に係るロボットシステムＳの構成を示す図である。図１に示されるように、ロボットシステムＳは、本開示の第１実施形態に係る座標系設定システム１を含んで構成される。ロボットシステムＳは、産業機械としてのロボット２と、視覚センサとしてのカメラ４と、視覚センサ制御装置１０と、ロボット制御装置２０と、キャリブレーション治具Ｊと、を備える。このロボットシステムＳは、例えば、カメラ４で撮像されたワークの撮像画像に基づいて、ワークの位置を認識し、ワークのハンドリング又は加工等の所定の作業を実行するシステムである。
　ロボット２のロボットアーム３の先端部には、フランジ５を介して手先のツール６が取り付けられている。ロボット２は、ロボット制御装置２０の制御により、ワークのハンドリング又は加工等の所定の作業を実行する。また、ロボット２のロボットアーム３の先端部には、カメラ４が取り付けられている。
　カメラ４は、視覚センサ制御装置１０により制御され、ワーク等の撮像対象物を撮像する。カメラ４は、キャリブレーション済みのカメラが用いられる。視覚センサとしては、一般的な二次元カメラを用いてもよく、ステレオカメラ等の三次元センサを用いてもよい。また、カメラ４は、図１に示されるようなロボット２のフランジ５に取り付けられたハンドカメラでもよく、例えば台Ｔの上方等に固定配置された固定カメラでもよい。
　視覚センサ制御装置１０は、視覚センサとしてのカメラ４を制御する。また、視覚センサ制御装置１０は、カメラ４で撮像された撮像画像から、撮像対象物の位置及び姿勢を検出する。
　ロボット制御装置２０は、ロボットの動作プログラムを実行し、ロボット２の動作を制御する。その際、ロボット制御装置２０は、視覚センサ制御装置１０により検出されたワーク等の撮像対象物の位置に対して、ロボット２が所定の作業を実行するように、ロボット２の動作を補正する。
　また、ロボット制御装置２０は、カメラ４の撮像時、カメラ４の位置及び姿勢を制御するように、ロボット２の位置及び姿勢を制御する。このように、ロボット制御装置２０は、撮像対象物の位置及び姿勢を固定とし、カメラ４の位置及び姿勢を制御することにより、撮像対象物とカメラ４の相対位置を制御する。
　図２は、本開示の第１実施形態に係る座標系設定システム１の構成を示すブロック図である。図２に示されるように、本開示の第１実施形態に係る座標系設定システム１は、視覚センサとしてのカメラ４と、視覚センサ制御装置１０を構成する画像処理部１１及びキャリブレーションデータ記憶部１２と、ロボット制御装置２０を構成する座標系設定部２１と、を備える。
　画像処理部１１は、カメラ４を用いて撮像された撮像画像が入力画像１３として入力され、この入力画像１３を画像処理する。より具体的に画像処理部１１は、例えばモデルパターンを用いて入力画像１３中から対象物を検出し、対象物の位置及び姿勢を検出する。また、本開示の第１実施形態では、画像処理部１１は、カメラ４によりキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する。より詳しくは、画像処理部１１は、カメラ４により、後述するように座標系を設定したい位置に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する。
　視覚センサ制御装置１０における画像処理部１１及びロボット制御装置２０は、例えば、ＤＳＰ（Digital　Signal　Processor）、ＦＰＧＡ（Field-Programmable　Gate　Array）等の演算プロセッサで構成される。視覚センサ制御装置１０における画像処理部１１及びロボット制御装置２０の各種機能は、例えば所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。視覚センサ制御装置１０における画像処理部１１及びロボット制御装置２０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。
　キャリブレーションデータ記憶部１２は、カメラ４のキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶する。視覚センサ制御装置１０におけるキャリブレーションデータ記憶部１２は、例えば、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　Read-Only　Memory）等の書き換え可能なメモリで構成される。
　カメラ４のキャリブレーションデータには、カメラ４の内部パラメータと外部パラメータが記憶されている。カメラ４の内部パラメータは、レンズひずみや焦点距離等のパラメータである。外部パラメータは、基準位置を基準とした視覚センサ位置（カメラ４の位置）である。
　座標系設定部２１は、画像処理部１１による画像処理結果に基づいて、ロボット２の制御に使用する座標系を設定する。なお、本開示の第１実施形態では、座標系設定部２１をロボット制御装置２０内に構成したがこれに限定されない。例えば、座標系設定部２１を視覚センサ制御装置１０内に構成してもよい。
　座標系設定部２１は、カメラ４により、キャリブレーション治具Ｊを撮像して得られた撮像画像とキャリブレーションデータに基づいて、視覚センサ位置を基準としたキャリブレーション治具Ｊの位置を求める。即ち、座標系設定部２１は、キャリブレーション治具撮像時のカメラ４の位置を基準としたキャリブレーション治具Ｊの位置を求める。これについては、カメラ４がハンドカメラである場合と固定カメラである場合いずれも同様にして求められる。
　なお、キャリブレーション済みのカメラを用いて撮像した撮像画像内のキャリブレーション治具の位置情報から、カメラ位置を基準としたキャリブレーション治具の位置を求める原理については、松山隆司著の「コンピュータビジョン、技術評論と将来展望」等で周知である。即ち、カメラ内部の幾何学的変換特性及び物体が存在する三次元空間と二次元画像平面の幾何学的関係が既に求まっており、さらにキャリブレーション治具の特性からカメラとキャリブレーション治具の距離が一意に求まることで、二次元画像平面からキャリブレーション治具の三次元空間位置を一意に決定できるため、キャリブレーション済みのカメラを用いて撮像した撮像画像内のキャリブレーション治具の位置情報から、カメラ位置を基準としたキャリブレーション治具の位置を求めることが可能となっている。
　また、座標系設定部２１は、キャリブレーションデータ記憶部１２に記憶されたキャリブレーションデータに基づいて、ロボット２に対して予め設定された基準位置を基準とした視覚センサ位置を求める。これについては、カメラ４がハンドカメラである場合と固定カメラである場合とで求め方が異なる。そのため、座標系設定部２１では、キャリブレーションデータ記憶部１２に記憶されたキャリブレーションデータから、カメラ４がハンドカメラであるか固定カメラであるかを判別する。
　ここで、基準位置とは、例えばロボット２の土台の中心に通常設定されるベース座標系の基準位置である。この基準位置は、ロボット２の動作を制御するうえで必要であり、予め設定されている。
　カメラ４が固定カメラである場合には、ロボット２の動作によりカメラ４の位置は変わらないため、カメラ４のキャリブレーションデータから、基準位置を基準としたカメラ４の位置を取得し、キャリブレーション実行時の基準位置を基準としたカメラ４の位置を、キャリブレーション治具撮像時（即ち、座標系設定処理を実行している現在であり、以下、単に撮像時ともいう）の基準位置を基準としたカメラ４の位置とする。
　これに対して、カメラ４がハンドカメラである場合には、ロボット２が動作するとカメラ４の位置も連動して変わるため、先ず、カメラ４を取り付けた後はロボット２の動作によっては変わらないフランジ５の位置を基準としたカメラ４の位置を、キャリブレーションデータ記憶部１２に記憶されたキャリブレーションデータから取得する。また、ロボット制御装置２０から、撮像時の基準位置を基準としたフランジ５の位置を取得する。そして、取得したフランジ５の位置を基準としたカメラ４の位置と、取得した撮像時の基準位置を基準としたフランジ５の位置と、に基づいて、撮像時の基準位置を基準としたカメラ４の位置を計算して求める。
　また、座標系設定部２１は、上述のようにして求めた視覚センサ位置を基準としたキャリブレーション治具Ｊの位置と、同じく上述のようにして求めた基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具Ｊの位置を計算により求め、この基準位置を基準としたキャリブレーション治具の位置を用いて、ロボット２の制御に使用する座標系を設定する。これにより、ロボット２の制御に使用する座標系が、キャリブレーション治具Ｊ上に設定される。
　図３は、キャリブレーション治具Ｊの平面図である。キャリブレーション治具Ｊとしては、カメラのキャリブレーションに使用可能な従来公知のキャリブレーション治具を用いることができる。図３のキャリブレーション治具Ｊは、平面上に配置されたドットパターンをカメラ４で撮像することでカメラ４のキャリブレーションに必要な情報を取得するための治具であり、ドットパターンとしての要件である（１）ドットパターンの格子点間隔が既知であること、（２）一定数以上の格子点が存在すること、（３）各格子点がどの格子点にあたるか一意に特定可能である、の３つの要件を満たしている。キャリブレーション治具Ｊは、図３に示されるような二次元の平面に所定のドットパターン等の特徴が配置されたものに限られず、三次元の立体に特徴が配置されたものでもよく、二次元位置情報（Ｘ方向、Ｙ方向）に加えて高さ方向（Ｚ方向）の位置情報を含めた三次元位置情報が得られるものであればよい（図１参照）。また、このキャリブレーション治具Ｊは、カメラ４のキャリブレーション実行時に用いたものと同じものでもよく、異なるものであってもよい。なお、カメラ４により撮像したドットパターンから、カメラ４の位置を基準としたドットパターンの位置姿勢を計算するためには、上述のキャリブレーションデータの内部パラメータが使用される。
　本開示の第１実施形態では、キャリブレーション治具Ｊは、座標系を設定したい位置に設置される。設定される座標系は、ロボット２の制御に使用され、例えばロボット２の動作を補正する補正量の計算に使用することが可能である。その他、ロボット２の教示位置の設定に使用する座標系等にも使用可能である。図１に示す例では、キャリブレーション治具Ｊは台Ｔ上に載置されている。
　次に、本開示の第１実施形態に係る座標系設定システム１における座標系設定処理について、図４を参照して詳しく説明する。図４は、本開示の第１実施形態に係る座標系設定システム１における座標系設定処理の手順を示すフローチャートである。図４に示されるように、本開示の第１実施形態に係る座標系設定システム１における座標系設定処理では、キャリブレーション済みのカメラ４でキャリブレーション治具Ｊを撮像することにより、ロボット２の制御に使用する座標系を設定する。
　ステップＳ１では、キャリブレーション済みのカメラ４を用いて、キャリブレーション治具Ｊを撮像する。これにより、視覚センサ制御装置１０は、座標系を設定したい位置（本開示の第１実施形態では、台Ｔの上面）に設置されたキャリブレーション治具Ｊの撮像画像を入力画像１３として取得する。本ステップ後はステップＳ２に進む。
　ステップＳ２では、キャリブレーション治具撮像時（以下、単に撮像時ともいう）のカメラ４の位置を基準としたキャリブレーション治具Ｊの位置を計算する。具体的には、ステップＳ１で撮像された撮像画像と、キャリブレーションデータ記憶部１２に予め記憶されているカメラ４のキャリブレーションデータを用いて、カメラ４の位置を基準としたキャリブレーション治具Ｊの位置を計算する。なお、このカメラ４の位置を基準としたキャリブレーション治具Ｊの位置は、既存のキャリブレーション計算によって計算可能である。本ステップ後はステップＳ３に進む。
　ステップＳ３では、カメラ４の設置が固定であるかを判別する。この判別がＮＯである場合、即ち図１に示されるようにカメラ４がロボット２のフランジ５に取り付けられたハンドカメラ等である場合には、ステップＳ４に進む。一方、この判別がＹＥＳである場合、即ちカメラ４が例えば台Ｔの上方に固定された固定カメラである場合には、ステップＳ９に進む。
　ステップＳ４は、カメラ４がロボット２のフランジ５に取り付けられたハンドカメラであり、ロボット２が動作するとカメラ４の位置も連動して変わる場合の処理である。そのため本ステップでは、カメラ４を取り付けた後はロボット２の動作によっては変わらないフランジ５の位置を基準としたカメラ４の位置を、キャリブレーションデータから取得する。なおハンドカメラの場合、フランジ５とカメラ４の相対位置は、キャリブレーション実行時にキャリブレーションの外部パラメータとして求められる。本ステップ後はステップＳ５に進む。
　ステップＳ５では、ロボット制御装置２０から、撮像時の基準位置を基準としたフランジ５の位置を取得する。ここで、予め設定された基準位置を基準としたフランジ５の位置情報については、ロボット２に対する動作指令を生成するロボット制御装置２０から常に取得可能である。本ステップ後はステップＳ６に進む。
　ステップＳ６では、撮像時の基準位置を基準としたカメラ４の位置を計算する。具体的には、ステップＳ４で取得したフランジ５の位置を基準としたカメラ４の位置と、ステップＳ５で取得した撮像時の基準位置を基準としたフランジ５の位置と、に基づいて、撮像時の基準位置を基準としたカメラ４の位置を計算する。本ステップ後はステップＳ７に進む。
　ステップＳ７では、撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を計算して求める。具体的には、ステップＳ２で計算した撮像時のカメラ４の位置を基準としたキャリブレーション治具Ｊの位置と、ステップＳ６で計算した撮像時の基準位置を基準としたカメラ４の位置と、に基づいて、撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を計算する。本ステップ後はステップＳ８に進む。
　ステップＳ８では、ステップＳ８で計算して求めた撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を用いて、ロボット２の制御に使用する座標系を設定し、本処理を終了する。
　一方、ステップＳ９は、カメラ４が例えば台Ｔの上方に固定された固定カメラであり、ロボット２の動作によりカメラ４の位置は変わらない場合である。そのため本ステップでは、カメラ４のキャリブレーションデータから、基準位置を基準としたカメラ４の位置を取得し、キャリブレーション実行時の基準位置を基準としたカメラ４の位置を、撮像時の基準位置を基準としたカメラ４の位置とする。なお、固定カメラの場合、基準位置を基準としたカメラ４の位置は、キャリブレーション実行時にキャリブレーションの外部パラメータとして求められる。本ステップ後、上述のステップＳ７、ステップＳ８に順次進み、上述の各手順を実行した後、本処理を終了する。
　本開示の第１実施形態に係る座標系設定システム１によれば、以下の効果が奏される。
　本開示の第１実施形態に係る座標系設定システム１では、キャリブレーション済みのカメラ４と、カメラ４のキャリブレーション実行時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部１２と、カメラ４により座標系を設定したい位置に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する画像処理部１１と、画像処理部１１による画像処理結果を用いてロボット２の制御に使用する座標系を設定する座標系設定部２１と、を設けた。
　そして、座標系設定部２１が、カメラ４によりキャリブレーション治具Ｊを撮像して得られた撮像画像とキャリブレーションデータに基づいて、カメラ４の位置を基準としたキャリブレーション治具Ｊの位置を求めるとともに、キャリブレーションデータに基づいて、基準位置を基準としたカメラ４の位置を求める構成とした。加えて、座標系設定部２１が、求めたカメラ４の位置を基準としたキャリブレーション治具Ｊの位置と、求めた基準位置を基準としたカメラ４の位置と、に基づいて、基準位置を基準としたキャリブレーション治具Ｊの位置を求め、これを用いてロボット２の制御に使用する座標系を設定する構成とした。
　これにより、教示者はロボット操作を必要とせず、座標系を設定したい位置に置いたキャリブレーション治具Ｊを、キャリブレーション済みのカメラ４で撮像することで、簡易にロボット２の制御に使用する座標系を設定することができる。そのため、ロボット操作に慣れていない教示者が、誤った座標系を設定してロボット２が期待通りに制御できないリスクを回避することができる。従来、キャリブレーション治具に座標系を自動的に設定する技術が存在するが、複数の視点からキャリブレーション治具を撮像する必要があったため時間を要するうえ、１台の固定カメラでは不可能であったところ、本開示の第１実施形態によれば、１台のカメラによる一度の撮像のみで可能であり、短時間で簡易に座標系を設定することができる。
　また本開示の第１実施形態では、カメラ４が固定カメラである場合には、キャリブレーションデータから取得される基準位置を基準としたカメラ４の位置を、基準位置を基準とした視覚センサ位置とする構成とした。また、カメラ４がハンドカメラである場合には、キャリブレーションデータから取得されるフランジ５の位置を基準としたカメラ４の位置と、キャリブレーション治具撮像時の基準位置を基準としたフランジ５の位置と、に基づいて、キャリブレーション治具撮像時の基準位置を基準としたカメラ４の位置を求める構成とした。
　これにより、カメラ４がハンドカメラである場合と固定カメラである場合とを問わず、いずれの場合であっても、上述と同様の効果を得ることができる。
［第２実施形態］
　上述の第１実施形態では、キャリブレーション治具Ｊが台Ｔ上に設置された例を示したが、本開示の第２実施形態として、キャリブレーション治具Ｊを、ロボット２のフランジ５に設置してもよい。この場合においても、カメラ４は、固定カメラでもハンドカメラでもいずれであってもよい。以下、本開示の第２実施形態について図５及び図６を参照して説明するが、上述の第１実施形態と同様の構成については同一の符号を付し、その説明を適宜省略する。
　図５は、本開示の第２実施形態に係るロボットシステムＳＡの構成を示す図である。ロボットシステムＳＡは、本開示の第２実施形態に係る座標系設定システム１Ａを含んで構成される。ロボットシステムＳＡは、産業機械としてのロボット２と、視覚センサとしてのカメラ４と、視覚センサ制御装置１０と、ロボット制御装置２０と、キャリブレーション治具Ｊと、を備える。
　本開示の第２実施形態に係る座標系設定システム１Ａは、上述の第１実施形態に係る座標系設定システム１と同様の構成である。即ち、本開示の第２実施形態に係る座標系設定システム１Ａは、視覚センサとしてのカメラ４と、視覚センサ制御装置１０を構成する画像処理部１１及びキャリブレーションデータ記憶部１２と、ロボット制御装置２０を構成する座標系設定部２１と、を備える。
　本開示の第２実施形態では、カメラ４がロボット２の上方に配置された所定の固定部Ｆに取り付けられた固定カメラである点が第１実施形態と相違する。また、キャリブレーション治具Ｊがロボット２のフランジ５に設置される点が第１実施形態と相違する。
　また、本開示の第２実施形態では、座標系設定部２１による座標系設定処理の内容の一部が、第１実施形態と相違する。具体的には、本開示の第２実施形態における座標系設定部２１では、カメラ４により、フランジ５に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像に基づいてカメラ４の位置を基準としたキャリブレーション治具Ｊの位置を求めるとともに、キャリブレーションデータに基づいてキャリブレーション治具Ｊ撮像時の基準位置を基準としたカメラ４の位置をそれぞれ求め、これらに基づいて、キャリブレーション治具Ｊ撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を求める。また、キャリブレーション治具Ｊ撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置及び前記キャリブレーション治具Ｊ撮像時の基準位置を基準としたフランジ５の位置に基づいて、フランジ５の位置を基準としたキャリブレーション治具Ｊの位置を求める。そして、求めたフランジ５の位置を基準としたキャリブレーション治具Ｊの位置を用いて、ロボット２の制御に使用する座標系を設定する。
　図６は、本開示の第２実施形態他に係る座標系設定システム１Ａにおける座標系設定処理の手順を示すフローチャートである。図６に示されるように、本開示の第２実施形態他に係る座標系設定システム１Ａにおける座標系設定処理のステップＳ１～ステップＳ７及びステップＳ９は、それぞれ、上述の第１実施形態他に係る座標系設定システム１における座標系設定処理のステップＳ１～ステップＳ７及びステップＳ９と同様である。
　ステップＳ１０は、ステップＳ７後に実行される。本ステップでは、フランジ５の位置を基準としたキャリブレーション治具Ｊの位置を計算する。具体的には、ステップＳ７で求めたキャリブレーション治具Ｊ撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置と、ステップＳ５で求めたキャリブレーション治具Ｊ撮像時の基準位置を基準としたフランジ５の位置に基づいて、フランジ５の位置を基準としたキャリブレーション治具Ｊの位置を求める。本ステップ後はステップＳ１１に進む。
　ステップＳ１１では、ステップＳ１０で求めたフランジ５の位置を基準としたキャリブレーション治具Ｊの位置を用いて、ロボット２の制御に使用する座標系を設定し、本処理を終了する。
　以上により、ロボット２のフランジ５に、ロボット２を制御するための座標系が設定され、上述の第１実施形態と同様の効果が得られる。
［第３実施形態］
　上述の第１実施形態及び第２実施形態では、基準位置を基準としたキャリブレーション治具Ｊの位置を用いて座標系を設定する座標系設定システム１を提案したが、本開示の第３実施形態では、基準位置から見たキャリブレーション治具Ｊの三次元位置と姿勢を計算する位置姿勢計測システム１Ｂを提案する。以下、本開示の第３実施形態について図７～図９を参照して説明するが、上述の第１実施形態と同様の構成については同一の符号を付し、その説明を省略する。
　図７は、本開示の第３実施形態に係るロボットシステムＳＡを示す図である。図８は、本開示の第３実施形態に係る位置姿勢計測システム１Ｂの構成を示すブロック図である。図９は、動作の補正量を説明するための図である。なお、図７では、ロボット２、視覚センサ制御装置１０及びロボット制御装置２０Ｂの記載を省略して示している。
　図７に示されるように本実施形態では、工作機械７の表面に配置されたキャリブレーション治具Ｊを、ロボット２が把持するキャリブレーション済みのカメラ４で撮像する。また、図８に示されるように、本実施形態に係る位置姿勢計測システム１Ｂは、位置姿勢計算部２２を備え、この位置姿勢計算部２２により、カメラ４から見たキャリブレーション治具Ｊの三次元位置と姿勢（Ｘ，Ｙ，Ｚ，Ｗ，Ｐ，Ｒ）を計測し、該計測された三次元位置と姿勢から、ロボット２に対する工作機械７の三次元的な位置と姿勢を計算する。
　より詳しくは、本実施形態に係る位置姿勢計算部２２は、カメラ４によりキャリブレーション治具Ｊを撮像して得られた撮像画像とキャリブレーションデータに基づいて、カメラ位置を基準としたキャリブレーション治具Ｊの三次元位置及び姿勢を求める。また、位置姿勢計算部２２は、キャリブレーションデータに記憶された、ロボット２に対して予め設定された基準位置を基準としたカメラ位置を求める。さらに、位置姿勢計算部２２は、カメラ位置を基準としたキャリブレーション治具Ｊの三次元位置及び姿勢と、基準位置を基準としたカメラ位置と、に基づいて、基準位置を基準としたキャリブレーション治具Ｊの三次元位置及び姿勢を求める。これにより、キャリブレーション治具Ｊが配置された工作機械７のロボット２に対する三次元的な位置と姿勢を取得する。
　以上のように本実施形態に係る位置姿勢計測システム１Ｂは、ロボット２に対する工作機械７の三次元的な位置姿勢を取得可能である。そのため、取得された現在の三次元的な位置姿勢と元々の基準の位置姿勢とから、図示しない補正部により、ずれ量を補正量として求め、その補正量分、ロボット２の動作に補正をかけることが可能である。具体的に、図９に示されるように、現在の検出位置にある工作機械７が基準位置にあるそれと重なるように座標系自体を移動・回転し、ここで求めた座標系の移動量をずれ量（補正量）とすることによって、ロボット２の所定の動作に簡単に補正をかけることが可能である。なお、図９は二次元で示しているが、三次元でも基本的に変わらない。
　なお、本開示は上記の各態様に限定されるものではなく、本開示の目的を達成できる範囲での変形、改良は本開示に含まれる。
　例えば、座標系設定システム１，１Ａをロボット２の制御に使用する座標系の設定に適用したが、これに限定されない。ロボット２以外の各種工作機械の制御に使用する座標系の設定にも適用可能である。
　１，１Ａ　座標系設定システム
　１Ｂ　位置姿勢計測システム
　２　　ロボット
　３　　ロボットアーム
　４　　カメラ（視覚センサ）
　５　　フランジ
　６　　手先のツール
　１０　視覚センサ制御装置
　１１　画像処理部
　１２　キャリブレーションデータ記憶部
　１３　入力画像
　２０，２０Ｂ　ロボット制御装置
　２１　座標系設定部
　２２　位置姿勢計算部
　Ｊ　キャリブレーション治具
　Ｓ，ＳＡ，ＳＢ　ロボットシステム
　Ｔ　台

Claims (4)

  1. 　産業機械の制御に使用する座標系を設定する座標系設定システムであって、
    　キャリブレーション済みの視覚センサと、
    　前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
    　前記視覚センサにより、前記座標系を設定したい位置に設置されたキャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、
    　前記画像処理部による画像処理結果を用いて前記産業機械の制御に使用する座標系を設定する座標系設定部と、を備え、
    　前記座標系設定部は、
    　前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
    　前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
    　前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、
    　前記基準位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定する、座標系設定システム。
  2. 　前記産業機械は、
    　ロボットアームと、前記ロボットアームと手先のツールを繋ぐフランジと、を有するロボットであり、
    　前記座標系設定部は、
    　前記視覚センサが固定カメラである場合には、前記キャリブレーションデータから取得される基準位置を基準としたカメラ位置を、前記基準位置を基準とした視覚センサ位置とし、
    　前記視覚センサが前記フランジに取り付けられたハンドカメラである場合には、前記キャリブレーションデータから取得されるフランジ位置を基準としたカメラ位置と、キャリブレーション治具撮像時の基準位置を基準としたフランジの位置と、に基づいて、キャリブレーション治具撮像時の前記基準位置を基準とした視覚センサ位置を求める、請求項１に記載の座標系設定システム。
  3. 　前記産業機械は、
    　ロボットアームと、前記ロボットアームと手先のツールを繋ぐフランジと、を有するロボットであり、
    　前記画像処理部は、
    　前記視覚センサにより、前記フランジに設置された前記キャリブレーション治具を撮像して得られた撮像画像を処理し、
    　前記座標系設定部は、
    　前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
    　前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
    　前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、
    　前記基準位置を基準としたキャリブレーション治具の位置及び前記産業機械から取得した基準位置を基準としたフランジの位置に基づいて、フランジの位置を基準としたキャリブレーション治具の位置を求め、かつ、
    　前記フランジの位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定する、請求項１に記載の座標系設定システム。
  4. 　産業機械の基準位置から見たキャリブレーション治具の三次元位置と姿勢を計測する位置姿勢計測システムであって、
    　キャリブレーション済みの視覚センサと、
    　前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
    　前記視覚センサにより、前記キャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、
    　前記画像処理部による画像処理結果を用いて、前記産業機械の基準位置から見た前記キャリブレーション治具の三次元位置と姿勢を計算する位置姿勢計算部と、を備え、
    　前記位置姿勢計算部は、
    　前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
    　前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
    　前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求める、位置姿勢計測システム。
PCT/JP2021/015189 2020-04-14 2021-04-12 座標系設定システム及び位置姿勢計測システム WO2021210540A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/995,974 US20230191612A1 (en) 2020-04-14 2021-04-12 Coordinate system setting system and position/orientation measurement system
JP2022515375A JP7389237B2 (ja) 2020-04-14 2021-04-12 座標系設定システム及び位置姿勢計測システム
DE112021002334.9T DE112021002334T5 (de) 2020-04-14 2021-04-12 Koordinatensystem-Einstellungssystem und Positions-/ Orientierungs-Messsystem
CN202180027855.1A CN115397626A (zh) 2020-04-14 2021-04-12 坐标系设定系统和位置姿势测量系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-072342 2020-04-14
JP2020072342 2020-04-14

Publications (1)

Publication Number Publication Date
WO2021210540A1 true WO2021210540A1 (ja) 2021-10-21

Family

ID=78084804

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015189 WO2021210540A1 (ja) 2020-04-14 2021-04-12 座標系設定システム及び位置姿勢計測システム

Country Status (5)

Country Link
US (1) US20230191612A1 (ja)
JP (1) JP7389237B2 (ja)
CN (1) CN115397626A (ja)
DE (1) DE112021002334T5 (ja)
WO (1) WO2021210540A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128845A (ja) * 2012-12-28 2014-07-10 Fanuc Ltd ロボットシステム表示装置
JP2018094648A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2019155556A (ja) * 2018-03-15 2019-09-19 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03251378A (ja) 1990-02-28 1991-11-08 Fanuc Ltd ロボットのキャリブレーション方式
JP6487385B2 (ja) * 2016-07-20 2019-03-20 ファナック株式会社 ロボットの原点位置較正装置および方法
EP3366433B1 (en) * 2017-02-09 2022-03-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014128845A (ja) * 2012-12-28 2014-07-10 Fanuc Ltd ロボットシステム表示装置
JP2018094648A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2019155556A (ja) * 2018-03-15 2019-09-19 セイコーエプソン株式会社 ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法

Also Published As

Publication number Publication date
JPWO2021210540A1 (ja) 2021-10-21
JP7389237B2 (ja) 2023-11-29
US20230191612A1 (en) 2023-06-22
CN115397626A (zh) 2022-11-25
DE112021002334T5 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
JP7207851B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP3733364B2 (ja) 教示位置修正方法
JP4021413B2 (ja) 計測装置
JP4763074B2 (ja) ロボットのツール先端点の位置の計測装置および計測方法
JP4191080B2 (ja) 計測装置
KR102276259B1 (ko) 비전-기반 조작 시스템들의 교정 및 동작
JP3946711B2 (ja) ロボットシステム
JP5670416B2 (ja) ロボットシステム表示装置
CN111331592A (zh) 机械手臂工具中心点校正装置及其方法以及机械手臂系统
JP5523392B2 (ja) キャリブレーション装置及びキャリブレーション方法
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US11230011B2 (en) Robot system calibration
KR20080088165A (ko) 로봇 캘리브레이션 방법
CN110170982B (zh) 模拟机器人的动作的模拟装置
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
US20110118876A1 (en) Teaching line correcting apparatus, teaching line correcting method, and program thereof
JP6568172B2 (ja) キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
WO2021210540A1 (ja) 座標系設定システム及び位置姿勢計測システム
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP7414850B2 (ja) ロボットシステム
US20240066701A1 (en) Simulation device using three-dimensional position information obtained from output from vision sensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21788252

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022515375

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21788252

Country of ref document: EP

Kind code of ref document: A1