WO2020121399A1 - ロボット制御システム及びロボット制御方法 - Google Patents

ロボット制御システム及びロボット制御方法 Download PDF

Info

Publication number
WO2020121399A1
WO2020121399A1 PCT/JP2018/045428 JP2018045428W WO2020121399A1 WO 2020121399 A1 WO2020121399 A1 WO 2020121399A1 JP 2018045428 W JP2018045428 W JP 2018045428W WO 2020121399 A1 WO2020121399 A1 WO 2020121399A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
coordinate system
coordinate
image processing
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/045428
Other languages
English (en)
French (fr)
Inventor
信夫 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Priority to JP2020558832A priority Critical patent/JP7057841B2/ja
Priority to CN201880099483.1A priority patent/CN113015604B/zh
Priority to EP18943223.0A priority patent/EP3895855B1/en
Priority to PCT/JP2018/045428 priority patent/WO2020121399A1/ja
Publication of WO2020121399A1 publication Critical patent/WO2020121399A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Definitions

  • the present specification discloses a technique related to a robot control system and a robot control method including a camera that images a work supplied from a supply device from above.
  • a camera attached to the tip of the robot arm or a camera fixedly arranged above the robot arm movable range as in Patent Document 1 is used to determine the position coordinates of the workpiece and the work target portion.
  • a system is used that detects the position coordinates of and automatically corrects the gripping position of the work or the position of the work target part.
  • a CCTV lens which has a high degree of distribution, is often used because of its price, size, weight, and the like, and the image of a workpiece that is picked up differs in appearance and shape between the central portion and the peripheral portion.
  • This parallax has a three-dimensional shape and becomes more prominent in a work with a large height, and the detection rate of the target work and the detection accuracy of position coordinates tend to deteriorate toward the periphery of the image where the influence of parallax increases.
  • the field of view is wider and a large work can be imaged, so the above-described deterioration of the position coordinate detection accuracy becomes a factor that deteriorates the robot work accuracy.
  • the accuracy can be further secured if the heights do not match. difficult.
  • a supply device that supplies a work area of a known height dimension to a work area at a constant height position, and a robot that performs a predetermined work on the work supplied to the work area
  • a two-dimensional camera that images the work supplied to the work area from a predetermined height position, and a two-dimensional image captured by the camera is processed to set the position of the work as a reference point of the image.
  • An image processing unit that recognizes coordinate values of a two-dimensional coordinate system (hereinafter referred to as “vision coordinate system”), and coordinate values of the vision coordinate system that are recognized as the position of the work by image processing of the image processing unit, of the robot.
  • a coordinate conversion unit that converts the coordinate values of the world coordinate system, which is a three-dimensional coordinate system, and a target position of the arm of the robot based on the position of the workpiece that is converted into the coordinate values of the world coordinate system by the coordinate conversion unit.
  • the work that is the work target of the robot is imaged by the two-dimensional camera, but even if the two-dimensional image captured by the two-dimensional camera is processed, the three-dimensional shape such as the height dimension of the work is unknown. Absent.
  • a robot used in a production factory handles a large number of works of the same shape supplied by a supply device, so that the three-dimensional shape such as the height dimension of the work can be handled as known data.
  • the size of the work in the image captured by the two-dimensional camera changes depending on the distance (working distance) between the two-dimensional camera and the upper end surface of the work, The size of the work in the image changes accordingly. For example, as the height dimension of the work increases, the distance between the upper end surface of the work and the camera decreases, and the size of the work in the image increases.
  • the coordinate value of the two-dimensional vision coordinate system recognized as the position of the work in the image processing of the image processing unit is corrected according to the height dimension of the work, and the corrected vision coordinate system is corrected. Is converted into coordinate values of a three-dimensional world coordinate system that controls the position of the robot arm.
  • the image recognition system for obtaining the coordinate values of the vision coordinate system can be inexpensively configured with one two-dimensional camera, and the calculation load of image processing can be reduced.
  • the height position (Z coordinate value) of the work area to which the work is supplied can be handled as known data (the Z coordinate value of the work area is known) if the height position is always a constant height position.
  • the height position of the upper end surface of the work can also be handled as known data.
  • the coordinate values of the two-dimensional vision coordinate system can be converted into the coordinate values of the three-dimensional world coordinate system.
  • the coordinate values of the vision coordinate system recognized as the position of the work by the image processing of the image processing unit are corrected according to the height dimension of the work and the height position of the work area, and the corrected vision coordinates
  • the coordinate value of the system may be converted into the coordinate value of the world coordinate system.
  • FIG. 1 is a front view showing the appearance of the robot control system of the first embodiment.
  • FIG. 2 is a diagram illustrating the relationship between the height position of the hand camera, the height position of the work placement surface in the work area, and the height dimension of the work in the first embodiment.
  • FIG. 3 is a block diagram showing the electrical configuration of the robot control system of the first embodiment.
  • FIG. 4 is a diagram showing a display example of the GUI.
  • FIG. 5 is a diagram illustrating an example of the picking impossible condition “overlap”.
  • FIG. 6 is a diagram showing an example of the picking incapable condition “adjacent”.
  • FIG. 6 is a diagram showing an example of the picking impossible condition “abnormal posture”.
  • FIG. 8 is a front view showing the appearance of the robot control system of the second embodiment.
  • FIG. 9 is a diagram showing the configuration of the main part of the robot control system of the third embodiment.
  • Example 1 will be described with reference to FIGS. 1 to 7. First, the configuration of the robot 11 will be described with reference to FIG.
  • the robot 11 is, for example, a 5-axis vertical multi-joint robot, and includes a fixed base 13 installed on the factory floor 12 and a fixed base 13 rotatably provided on the fixed base 13 about a first joint shaft 14 (J1).
  • the third arm 19 rotatably provided by the third arm 19, the wrist portion 21 rotatably provided by the fourth joint shaft 20 (J4) at the tip of the third arm 19, and the fifth joint shaft 21 by the wrist portion 21. 22 (J5) and an end effector 23 which is attached so as to be rotatable and replaceable.
  • the end effector 23 attached to the wrist portion 21 is configured to rotate by the fourth joint shaft 20 which is the joint shaft of the wrist portion 21.
  • the end effector 23 may be, for example, a suction nozzle, a hand, a gripper, a welding machine, or the like.
  • the first to fifth joint shafts 14, 16, 18, 20, 22 of the robot 11 are driven by servomotors 25 to 29 (see FIG. 3), respectively.
  • each of the servo motors 25 to 29 is provided with an encoder 31 to 35 for detecting a rotation angle, and information about the rotation angle detected by each of the encoders 31 to 35 is transmitted via a servo amplifier 36. It is fed back to the control unit 37.
  • the controller 37 feeds back the servo motors 25 to 29 via the servo amplifier 36 so that the rotation angles of the servo motors 25 to 29 detected by the encoders 31 to 35 match the respective target rotation angles.
  • the positions of the arms 15, 17, 19 of the robot 11, the wrist part 21, and the end effector 23 are feedback-controlled to the respective target positions.
  • the servo amplifier 36 is a multi-axis amplifier that feedback-controls the plurality of servo motors 25 to 29.
  • the servo motors 25 to 29 are feedback-controlled by separate servo amplifiers one by one. Is also good.
  • the supply device 39 that supplies the work 30 to be worked to the work area 38 at a constant height position.
  • the supply device 39 may be configured by a conveyor, or a parts feeder having any structure such as a vibration type parts feeder may be used.
  • the height position of the work area 38 is known. It may be a constant height position.
  • a fixed camera 51 which is a two-dimensional camera, is vertically installed on a fixed structure 50 (for example, a ceiling of a robot protection fence) installed above the work area 38.
  • the work 30 is imaged.
  • the robot control unit 42 that controls the operation of the robot 11 configured as described above, as shown in FIG. 3, has a parameter input unit 46, a parameter storage unit 47, an image processing unit 43, a coordinate conversion unit 44, a control unit 37, and It has a configuration including a servo amplifier 36 and the like.
  • the parameter input unit 46 converts the parameter value of image processing input by the operator by operating the input device 45 into numerical information suitable for internal processing.
  • the input device 45 is a mouse, a keyboard, or the like, and may be a touch panel on the LCD.
  • the operator operates the input device 45 in accordance with an instruction of a GUI (graphical user interface) displayed on a display device 48 such as an LCD monitor, which is a peripheral device of the robot control unit 42, and operates the height dimension of the work 30.
  • the parameter value is input to the parameter input unit 46.
  • On the display device 48 which is a peripheral device of the robot control unit 42, as shown in FIG. 4, an input field for the parameter value of the image processing to be input by the operator is displayed by GUI.
  • the parameter value converted into numerical information by the parameter input unit 46 is stored in the parameter storage unit 47 including a storage such as a ROM or a HDD.
  • Each parameter value is stored in the parameter storage unit 47 as a value unique to each type of work 30 to be worked. As a result, even when the same type of work 30 is used in another supply device or another robot, image processing can be performed using the same parameter value, and therefore, the same accuracy is always obtained without depending on the environment. Can be kept.
  • the image processing unit 43 has a function of performing pattern matching using the contour shape of the workpiece registered in advance as a template and detecting the position coordinates and angle of the workpiece 30 to be gripped.
  • the grippable condition means that the following three conditions (1) to (3) are satisfied.
  • the grippable condition (1) is that there is no overlap between the works A as shown in FIG.
  • the work A shown in FIG. 5 is a washer. This is because when the works A overlap each other, the height of the works A recognized by the image processing fluctuates from a known value, so that the end effector 23 cannot hold the work A.
  • the grippable condition (2) is that the works B are not adjacent to each other as shown in FIG.
  • the work B shown in FIG. 6 is a screw. This is because when the works B are adjacent to each other, the end effector 23 interferes with the adjacent work B that is not a grip target.
  • the grippable condition (3) is that the work B as shown in FIG. 7 is not in an abnormal posture.
  • the work B shown in FIG. 7 is a screw. This is because when the work B has an abnormal posture, the height of the work B recognized by image processing fluctuates from a known value, and the end effector 23 cannot hold the work B.
  • the image processing unit 43 processes the two-dimensional image captured by the fixed camera 51 and sets the position of the work 30 on the work area 38 to the two-dimensional orthogonal coordinates with the reference point (for example, the center of the image) of the image as the origin. Recognize by the coordinate value of the system (hereinafter referred to as "vision coordinate system") (image processing step).
  • the coordinate axes of this vision coordinate system are the Xv axis and the Yv axis that are orthogonal to each other on the image. Since the fixed camera 51 that images the work 30 on the work area 38 images the optical axis vertically downward, the captured image is a horizontal plane image, and the Xv axis and the Yv axis are orthogonal coordinate axes on the horizontal plane.
  • the image processing unit 43 recognizes the position of the work 30 by the image processing with the coordinate value in pixel units in the vision coordinate system.
  • the coordinate conversion unit 44 converts the coordinate values of the two-dimensional vision coordinate system recognized as the position of the work 30 by the image processing of the image processing unit 43 into the arms 15, 17, 19 of the robot 11, the wrist unit 21, and the end.
  • the coordinates are converted into coordinate values in the world coordinate system for controlling the position of the effector 23 (coordinate conversion step).
  • This world coordinate system is a three-dimensional orthogonal coordinate system with the reference point as the origin, and the coordinate axes of the world coordinate system are the orthogonal coordinate axes (X axis and Y axis) on the horizontal plane and the vertically upward coordinate axis (Z axis). is there.
  • the unit of the coordinate value of this world coordinate system is the unit of length (for example, ⁇ m unit).
  • the origin (reference point) of this world coordinate system is, for example, the center of the arm movable region of the robot 11 (the region where the end effector 23 on the tip side of the wrist 21 can move).
  • the control unit 37 based on the position of the work 30 converted into the coordinate values of the three-dimensional world coordinate system by the coordinate conversion unit 44, the target positions of the arms 15, 17, 19 of the robot 11, the wrist unit 21, and the end effector 23. Is set by the coordinate values of the world coordinate system, and the positions of the arms 15, 17, 19 and the wrist 21 and the end effector 23 are controlled by the coordinate values of the world coordinate system (control step).
  • the work 30 on the work area 38 that is the work target of the robot 11 is imaged by the two-dimensional fixed camera 51.
  • the work 30 is processed.
  • the three-dimensional shape such as the height dimension of 30 is unknown.
  • the robot 11 used in the production factory handles a large number of workpieces 30 having the same shape supplied by the supply device 39, and thus the three-dimensional shape such as the height dimension of the workpiece 30 can be handled as known data. is there.
  • the size of the work 30 in the image captured by the fixed camera 51 changes according to the distance (working distance) between the fixed camera 51 and the upper end surface of the work 30, the height dimension of the work 30. Accordingly, the size of the work 30 in the image changes. For example, as the height dimension of the work 30 increases, the distance between the upper end surface of the work 30 and the fixed camera 51 decreases, and the size of the work 30 in the image increases.
  • the coordinate conversion unit 44 sets the coordinate value of the two-dimensional vision coordinate system recognized as the position of the work 30 by the image processing of the image processing unit 43 to the work 30.
  • the correction is performed according to the height dimension, and the corrected coordinate value of the vision coordinate system is converted into the coordinate value of the three-dimensional world coordinate system that controls the arm position of the robot 11 (coordinate conversion step).
  • coordinate conversion step the process of correcting the coordinate value of the vision coordinate system according to the height dimension of the work 30 will be described in detail.
  • the image processing unit 43 recognizes the coordinate values (Xv, Yv) of the position of the work 30 on the work area 38 in the vision coordinate system in pixel units, while the coordinate values (X, Y, Z) in the world coordinate system.
  • the unit of () is a unit of length (for example, a unit of [ ⁇ m]). Therefore, it is necessary to convert the coordinate value in the pixel unit of the vision coordinate system into the coordinate value of the same length unit (for example, a unit of [ ⁇ m]) as the coordinate value of the world coordinate system.
  • the resolution used in the process of converting the coordinate value of the pixel unit of the vision coordinate system into the coordinate value of the unit of the same length as the coordinate value of the world coordinate system depends on the height dimension H of the work 30.
  • the corrected resolution Rh is used to convert the coordinate value in the pixel unit of the vision coordinate system into the coordinate value in the unit of the same length as the coordinate value in the world coordinate system.
  • the height dimension H of the work 30 needs to be within the range of the depth of field of the lens 52 of the fixed camera 51.
  • the resolution is a length per pixel, and is represented by a unit of [ ⁇ m/pixel], for example. Specifically, the resolution can be calculated by the field of view of the fixed camera 51/the number of pixels.
  • the field of view (actual length of the area shown in the image) is the working distance, which is the distance between the lens 52 of the fixed camera 51 and the upper end surface of the work 30 to be imaged. Since it changes in proportion to WD, the resolution also changes in proportion to working distance WD.
  • the height position of the work placement surface of the work area 38 is used as the reference height position, and the resolution at the reference height position is calculated as the reference resolution Ro.
  • the distance between the reference height position and the lens 52 of the fixed camera 51 is calculated as the reference working distance WDstd, and the resolution at the reference working distance WDstd is calculated as the reference resolution Ro.
  • the reference working distance WDstd is a fixed value determined in advance within a range in which the fixed camera 51 can image the work 30 on the work area 38.
  • the unit resolution Runi is, for example, the amount of change in resolution per 1 mm
  • the unit of the predetermined height Tcp is also the unit of [mm], and both units are matched.
  • the corrected resolution Rh is obtained by subtracting the integrated value of the unit resolution Runi and the height dimension H of the work 30 from the reference resolution Ro using the following equation (2).
  • Rh Ro-Runi ⁇ H (2)
  • the coordinate value (Xv , Yv ) in pixel units of the vision coordinate system is the same as the coordinate value of the world coordinate system. Convert to the coordinate value (X, Y) in the unit of length.
  • the height position (Z coordinate value) of the work area 38 since the height position (Z coordinate value) of the work area 38 is always a constant height position, it can be treated as known data (the Z coordinate value of the work area 38 is known). Furthermore, by adding the known height dimension H of the work 30 to the height position of the work area 38, the height position of the upper end surface of the work 30 can also be handled as known data. Thereby, the coordinate values of the two-dimensional vision coordinate system can be converted into the coordinate values of the three-dimensional world coordinate system.
  • the resolution indicates the size per pixel in the image and is calculated by the following equation (5).
  • Resolution field of view/number of pixels (5)
  • the visual field is derived by the following equation (6) when the working distance WD is determined.
  • Field of view (H/focal length) ⁇ WD (6)
  • H is the size of the image sensor of the fixed camera 51.
  • the unit resolution ⁇ is a constant determined by the specifications (number of pixels, unit size) of the image sensor of the fixed camera 51, the focal length of the lens 52, and the magnification.
  • the resolution is proportional to the working distance WD.
  • the coordinate value of the two-dimensional vision coordinate system recognized as the position of the work 30 on the work area 38 by the image processing of the image processing unit 43 is determined according to the height dimension of the work 30. Since the coordinate values of the corrected vision coordinate system are converted into the coordinate values of the three-dimensional world coordinate system that controls the arm position of the robot 11, the image captured by the two-dimensional fixed camera 51 is corrected. The coordinate values of the two-dimensional vision coordinate system recognized as the position of the work 30 can be converted into the coordinate values of the three-dimensional world coordinate system. As a result, the image recognition system for obtaining the coordinate values of the vision coordinate system can be inexpensively configured with the one two-dimensional fixed camera 51, and the demand for cost reduction can be satisfied. Moreover, since it is two-dimensional image processing, the calculation load of the image processing can be reduced as compared with the conventional three-dimensional image processing, and the demand for high-speed image processing can be met at low cost.
  • the work 30 on the work area 38 is imaged by the fixed camera 51, it is not necessary to move the position of the fixed camera 51 by the robot 11 during production, and the work 30 can be imaged accordingly.
  • the time required can be shortened, the productivity can be improved, and the control of the robot 11 can be simplified.
  • the fixed camera 51 mounted vertically downward on the fixed structure 50 (for example, the ceiling of the robot protection fence) installed above the work area 38 captures an image of the work 30 on the work area 38.
  • the hand camera 40 attached to the wrist portion 21 of the robot 11 is used as a two-dimensional camera that images the work 30 on the work area 38. ing.
  • the hand camera 40 when the hand camera 40 images the work 30 on the work area 38 while the robot 11 is operating (in production) and the position of the work 30 is recognized by the coordinate values of the vision coordinate system,
  • the hand camera 40 is oriented vertically downward and the work 30 on the work area 38 is housed within the field of view of the hand camera 40, and the lens 41 of the hand camera 40 and the reference height position (the height of the work placement surface of the work area 38).
  • the position of the hand camera 40 is controlled to a constant height by controlling the robot 11 so that the distance between the hand camera 40 and the position) becomes a predetermined reference working distance WDstd.
  • the reference height position is not limited to the height position of the work placement surface of the work area 38, and may be another height position.
  • the reference height position may be appropriately set within the range of height positions at which the image can be captured. Other matters are the same as in the first embodiment.
  • the coordinate values of the two-dimensional vision coordinate system in which the image captured by the two-dimensional hand camera 40 is processed and recognized as the position of the work 30. Can be accurately converted into coordinate values in the three-dimensional world coordinate system.
  • FIG. 9 shows a configuration example using the fixed camera 51.
  • the fixed camera 51 is installed so that the works 30 on the plurality of work areas 38 are accommodated within the field of view.
  • the height position of the hand camera 40 may be controlled so that the works 30 on the plurality of work areas 38 fit within the field of view of the hand camera 40.
  • the height positions of the plurality of work areas 38 are different for each work area 38 due to an assembly error or the like. It may differ slightly. In this case, the size of the work 30 in the image captured by the fixed camera 51 from the predetermined height position changes according to the height dimension of the work 30 and the height position of the work area 38.
  • the coordinate conversion unit 44 sets the coordinate value of the vision coordinate system recognized as the position of the work 30 by the image processing of the image processing unit 43 to the height dimension of the work 30 and the height of the work area 38. Correction is performed according to the position, and the corrected coordinate value of the vision coordinate system is converted into the coordinate value of the world coordinate system (coordinate conversion step).
  • the height position of the work placement surface of any one of the plurality of work areas 38 may be set as the reference height position, or the fixed camera 51 may be used.
  • the height position of the work placement surface of the central work area 38 located immediately below may be set as the reference height position.
  • the reference height position is not limited to the height position of the work placement surface of the work area 38, and may be another height position.
  • the fixed camera 51 images the work 30 on the work area 38.
  • the reference height position may be set appropriately within the range of possible height positions.
  • the work 30 on each work area 38 is not affected.
  • the coordinate value of the two-dimensional vision coordinate system recognized as the position can be accurately converted into the coordinate value of the three-dimensional world coordinate system.
  • the present invention is not limited to the first to third embodiments described above, and both the hand camera 40 and the fixed camera 51 are installed, and the hand camera 40 is provided depending on the required resolution and the position of the work area 38 in the arm movable area of the robot 11.
  • the fixed camera 51 and the fixed camera 51 may be selectively used. For example, when the size of the work 30 is small and high resolution is required, the hand camera 40 is used, and the hand camera 40 is used for the work area 38 installed outside the visual field of the fixed camera 51. It should be used.
  • the hand camera 40 may be moved for each work area 38 to image the work 30.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

作業エリア（３８）に供給された高さ寸法が既知のワーク（３０）を所定の高さ位置から２次元のカメラ（４０）で撮像し、その画像を処理して当該ワークの位置を当該画像の基準点を原点とする２次元座標系（以下「ビジョン座標系」という）の座標値で認識する。このビジョン座標系の座標値をロボット（１１）の３次元座標系である世界座標系の座標値に変換し、変換したワークの位置に基づいてロボットのアームの目標位置を世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する。この際、カメラで撮像した画像内のワークのサイズが当該ワークの高さ寸法に応じて変化することを考慮して、画像処理でワークの位置として認識したビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を世界座標系の座標値に変換する。

Description

ロボット制御システム及びロボット制御方法
　本明細書は、供給装置によって供給されるワークを上方から撮像するカメラを備えたロボット制御システム及びロボット制御方法に関する技術を開示したものである。
　近年、ロボット制御システムにおいては、特許文献１（特開２０１５－１８２１４４号公報）に記載されているように、ロボットのアーム可動範囲の上方に位置する固定構造物にカメラを下向きに固定し、ロボットのアーム先端のハンドに校正用のマーカー（校正用基準物）を把持させて、カメラで校正用のマーカーを撮像し、その撮像画像を処理した結果に基づいてロボット座標系とビジョン座標系（カメラの座標系）との対応関係を校正するようにしたものがある。
特開２０１５－１８２１４４号公報
　ところで、ワークの把持、搬送、作業を目的とするロボット制御システムにおいては、特に１００μｍ単位の高精度な位置決めが求められる場合がある。このような用途においては、ロボットのアーム先端部に取り付けたカメラ又は上記特許文献１のようにロボットのアーム可動範囲の上方に固定配置されたカメラを使用して、ワークの位置座標や作業対象部の位置座標を検出し、ワークの把持位置や作業対象部の位置を自動的に補正するシステムが使用される。
　この様なカメラにおいては、価格、サイズ、重量等の都合から流通性が高いＣＣＴＶレンズが使用されることが多く、撮像したワーク画像は視差によって中央部と周辺部とで見え方や形状が異なる場合がある。この視差は立体的な形状で、高さの大きなワークでより顕著となり、対象ワークの検出率及び位置座標の検出精度は視差の影響が大きくなる画像周辺に向かって悪化する傾向がある。
　特に、ロボットのアーム可動範囲の上方に固定配置されたカメラにおいては、視野がより広く、大きなワークを撮像できるため、上述した位置座標の検出精度の悪化が、ロボットの作業精度を悪化させる要因となり、システムとして求められる作業精度の確保が困難になることがある。とりわけ、ワーク供給装置が複数設置されている場合やワークの装着時も画像処理を行う場合など、画像処理の対象領域が複数あり、それぞれの高さが一致していない場合には更に精度確保が難しい。
　上記課題を解決するために、高さ寸法が既知のワークを一定の高さ位置の作業エリアに供給する供給装置と、前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、前記作業エリアに供給されたワークを所定の高さ位置から撮像する２次元のカメラと、前記カメラで撮像した２次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする２次元座標系（以下「ビジョン座標系」という）の座標値で認識する画像処理部と、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの３次元座標系である世界座標系の座標値に変換する座標変換部と、前記座標変換部で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御部とを備え、前記座標変換部は、前記カメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法に応じて変化することを考慮して、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換するものである。
　この構成では、ロボットの作業対象となるワークを２次元のカメラで撮像するが、２次元のカメラで撮像した２次元の画像を処理しても、ワークの高さ寸法等の三次元形状は分からない。一般に、生産工場で使用するロボットは、供給装置によって供給される多数の同一形状のワークを取り扱うため、ワークの高さ寸法等の三次元形状は既知のデータとして取り扱うことが可能である。但し、２次元のカメラで撮像した画像内のワークのサイズは、２次元のカメラと当該ワークの上端面との間の距離（ワーキングディスタンス）に応じて変化するため、当該ワークの高さ寸法に応じて画像内のワークのサイズが変化する。例えば、ワークの高さ寸法が高くなるほど、当該ワークの上端面とカメラとの間の距離が短くなって画像内のワークのサイズが大きくなる。
　このような特性を考慮して、画像処理部の画像処理でワークの位置として認識した２次元のビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を、ロボットのアームの位置を制御する３次元の世界座標系の座標値に変換するものである。このようにすれば、２次元のカメラで撮像した画像を処理してワークの位置として認識した２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に変換することができ、ビジョン座標系の座標値を求める画像認識システムを１台の２次元のカメラで安価に構成できると共に、画像処理の演算負荷を軽減できる。
　この場合、ワークが供給される作業エリアの高さ位置（Ｚ座標値）は、常に一定の高さ位置であれば、既知のデータ（作業エリアのＺ座標値が既知）として取り扱うことができるため、この作業エリアの高さ位置にワークの既知の高さ寸法を加算することで、当該ワークの上端面の高さ位置も既知のデータとして取り扱うことができる。これにより、２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に変換することができる。
　一方、例えば、ワークが供給される作業エリアが複数箇所にあって各作業エリアの高さ位置が作業エリア毎に少しずつ異なる場合には、所定の高さ位置から２次元のカメラで撮像した画像内のワークのサイズが当該ワークの高さ寸法及び作業エリアの高さ位置に応じて変化する。この場合には、画像処理部の画像処理でワークの位置として認識したビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアの高さ位置に応じて補正し、補正後のビジョン座標系の座標値を世界座標系の座標値に変換するようにすれば良い。
図１は実施例１のロボット制御システムの外観を示す正面図である。 図２は実施例１の撮像時のハンドカメラの高さ位置と作業エリアのワーク載置面の高さ位置とワークの高さ寸法との関係を説明する図である。 図３は実施例１のロボット制御システムの電気的構成を示すブロック図である。 図４はＧＵＩの表示例を示す図である。 図５はピッキング不可条件「重なり」の一例を示す図である。 図６はピッキング不可条件「隣接」の一例を示す図である。 図６はピッキング不可条件「異常姿勢」の一例を示す図である。 図８は実施例２のロボット制御システムの外観を示す正面図である。 図９は実施例３のロボット制御システムの主要部の構成を示す図である。
　以下、本明細書に開示した３つの実施例１～３を説明する。
　実施例１を図１乃至図７に基づいて説明する。
　まず、図１に基づいてロボット１１の構成を説明する。
　ロボット１１は、例えば５軸垂直多関節ロボットであり、工場フロア１２に設置された固定ベース１３と、この固定ベース１３上に第１関節軸１４（Ｊ１）を中心に回転可能に設けられた第１アーム１５と、この第１アーム１５の先端に第２関節軸１６（Ｊ２）によって旋回可能に設けられた第２アーム１７と、この第２アーム１７の先端に第３関節軸１８（Ｊ３）によって旋回可能に設けられた第３アーム１９と、この第３アーム１９の先端に第４関節軸２０（Ｊ４）によって旋回可能に設けられた手首部２１と、この手首部２１に第５関節軸２２（Ｊ５）を中心に回転可能且つ交換可能に取り付けられたエンドエフェクタ２３とから構成されている。これにより、手首部２１に取り付けたエンドエフェクタ２３は、その手首部２１の関節軸である第４関節軸２０によって旋回動作するようになっている。
　この場合、エンドエフェクタ２３は、例えば、吸着ノズル、ハンド、グリッパ、溶接機等のいずれであっても良い。ロボット１１の第１～第５の各関節軸１４，１６，１８，２０，２２は、それぞれサーボモータ２５～２９（図３参照）により駆動されるようになっている。図３に示すように、各サーボモータ２５～２９には、それぞれ回転角を検出するエンコーダ３１～３５が設けられ、各エンコーダ３１～３５で検出した回転角の情報がサーボアンプ３６を経由して制御部３７にフィードバックされる。これにより、制御部３７は、各エンコーダ３１～３５で検出した各サーボモータ２５～２９の回転角が各々の目標回転角と一致するようにサーボアンプ３６を介して各サーボモータ２５～２９をフィードバック制御することで、ロボット１１の各アーム１５，１７，１９と手首部２１とエンドエフェクタ２３の位置を各々の目標位置にフィードバック制御する。
　図３の構成例では、サーボアンプ３６は、複数のサーボモータ２５～２９をフィードバック制御する多軸アンプであるが、サーボモータ２５～２９を１台ずつ別々のサーボアンプでフィードバック制御するようにしても良い。
　ロボット１１のアーム可動領域（手首部２１先端側のエンドエフェクタ２３が移動可能な領域）の所定位置には、作業対象となるワーク３０を一定の高さ位置の作業エリア３８に供給する供給装置３９が設置されている。この供給装置３９は、コンベアで構成したものであっても良いし、振動式パーツフィーダ等、どの様な構成のパーツフィーダを用いても良く、要は、作業エリア３８の高さ位置が既知の一定の高さ位置であれば良い。
　作業エリア３８の上方に設置された固定構造物５０（例えばロボット防護柵の天井）には、２次元のカメラである固定カメラ５１が鉛直下向きに取り付けられ、この固定カメラ５１で作業エリア３８上のワーク３０を撮像するようになっている。
　以上のように構成したロボット１１の動作を制御するロボット制御ユニット４２は、図３に示すように、パラメータ入力部４６、パラメータ保存部４７、画像処理部４３、座標変換部４４、制御部３７及びサーボアンプ３６等を備えた構成となっている。
　パラメータ入力部４６は、作業者が入力装置４５を操作して入力した画像処理のパラメータ値を内部処理に適した数値情報に変換する。入力装置４５は、マウス、キーボード等であり、ＬＣＤ上のタッチパネルでも良い。作業者は、ロボット制御ユニット４２の周辺機器であるＬＣＤモニター等の表示装置４８に表示されたＧＵＩ（グラフィカル・ユーザー・インターフェース）の指示に従って入力装置４５を操作してワーク３０の高さ寸法等のパラメータ値をパラメータ入力部４６に入力する。ロボット制御ユニット４２の周辺機器である表示装置４８には、図４に示すように、作業者が入力すべき画像処理のパラメータ値の入力欄がＧＵＩで表示される。
　パラメータ入力部４６で数値情報に変換されたパラメータ値は、ＲＯＭ又はＨＤＤ等のストレージからなるパラメータ保存部４７に保存される。各パラメータ値は、作業対象のワーク３０の種類毎に固有の値としてパラメータ保存部４７に保存される。これにより、同じ種類のワーク３０を他の供給装置や他のロボットで使用する場合も、同じパラメータ値を使用して画像処理を行うことができるため、環境に依存せずに常に同様の精度を保つことができる。
　画像処理部４３は、事前に登録されたワークの輪郭形状をテンプレートとしてパターンマッチングを行い、把持対象のワーク３０の位置座標と角度を検出する機能を持つ。また、エンドエフェクタ２３は把持可能なワーク３０の形状（大きさ、角度、姿勢）が限定されており、その把持可能なワーク３０の姿勢におけるワーク３０の高さ寸法が既知であることのシステム要件から、画像処理部４３は、把持対象のワーク３０が把持可能な条件下にあるかを認識する機能を持つ。ここで、把持可能な条件とは、次の３つ条件（１）～（３）を満たすことである。
　［把持可能な条件（１）］
　把持可能な条件（１）は図５に示すようなワークＡ同士の重なりが無いことである。図５に示すワークＡはワッシャである。ワークＡが重なっていると、画像処理で認識するワークＡの高さが既知の値から変動するため、エンドエフェクタ２３で把持できない姿勢となるためである。
　［把持可能な条件（２）］
　把持可能な条件（２）は図６に示すようなワークＢ同士の隣接が無いことである。図６に示すワークＢはねじである。ワークＢが隣接していると、エンドエフェクタ２３が隣接する把持対象外のワークＢと干渉するためである。
　［把持可能な条件（３）］
　把持可能な条件（３）は図７に示すようなワークＢが異常な姿勢になっていないことである。図７に示すワークＢはねじである。ワークＢが異常な姿勢になると、画像処理で認識するワークＢの高さが既知の値から変動するため、エンドエフェクタ２３で把持できない姿勢となるためである。
　画像処理部４３は、固定カメラ５１で撮像した２次元の画像を処理して作業エリア３８上のワーク３０の位置を当該画像の基準点（例えば画像の中心）を原点とする２次元の直交座標系（以下「ビジョン座標系」という）の座標値で認識する（画像処理工程）。このビジョン座標系の座標軸は、画像上で直交するＸv 軸とＹv 軸である。作業エリア３８上のワーク３０を撮像する固定カメラ５１は、光軸を鉛直下向きに向けて撮像するため、撮像した画像は水平面の画像となり、Ｘv 軸とＹv 軸は水平面上の直交座標軸となる。画像処理部４３は、画像処理によってワーク３０の位置をビジョン座標系でピクセル単位の座標値で認識する。
　一方、座標変換部４４は、画像処理部４３の画像処理でワーク３０の位置として認識した２次元のビジョン座標系の座標値を、ロボット１１の各アーム１５，１７，１９と手首部２１とエンドエフェクタ２３の位置を制御するための世界座標系の座標値に変換する（座標変換工程）。この世界座標系は、基準点を原点とする３次元の直交座標系であり、世界座標系の座標軸は、水平面上の直交座標軸（Ｘ軸とＹ軸）と鉛直上向きの座標軸（Ｚ軸）である。この世界座標系の座標値の単位は、長さの単位（例えばμｍ単位）である。この世界座標系の原点（基準点）は、例えば、ロボット１１のアーム可動領域（手首部２１先端側のエンドエフェクタ２３が移動可能な領域）の中心である。
　制御部３７は、座標変換部４４で３次元の世界座標系の座標値に変換したワーク３０の位置に基づいてロボット１１の各アーム１５，１７，１９と手首部２１とエンドエフェクタ２３の目標位置を世界座標系の座標値で設定して、当該アーム１５，１７，１９と手首部２１とエンドエフェクタ２３の位置を世界座標系の座標値で制御する（制御工程）。
　本実施例１では、ロボット１１の作業対象となる作業エリア３８上のワーク３０を２次元の固定カメラ５１で撮像するが、この固定カメラ５１で撮像した２次元の画像を処理しても、ワーク３０の高さ寸法等の三次元形状は分からない。一般に、生産工場で使用するロボット１１は、供給装置３９によって供給される多数の同一形状のワーク３０を取り扱うため、ワーク３０の高さ寸法等の三次元形状は既知のデータとして取り扱うことが可能である。但し、固定カメラ５１で撮像した画像内のワーク３０のサイズは、固定カメラ５１と当該ワーク３０の上端面との間の距離（ワーキングディスタンス）に応じて変化するため、当該ワーク３０の高さ寸法に応じて画像内のワーク３０のサイズが変化する。例えば、ワーク３０の高さ寸法が高くなるほど、当該ワーク３０の上端面と固定カメラ５１との間の距離が短くなって画像内のワーク３０のサイズが大きくなる。
　このような特性を考慮して、本実施例１では、座標変換部４４は、画像処理部４３の画像処理でワーク３０の位置として認識した２次元のビジョン座標系の座標値を当該ワーク３０の高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を、ロボット１１のアーム位置を制御する３次元の世界座標系の座標値に変換するようにしている（座標変換工程）。以下、ビジョン座標系の座標値をワーク３０の高さ寸法に応じて補正する処理について詳しく説明する。
　画像処理部４３は、ビジョン座標系で作業エリア３８上のワーク３０の位置の座標値（Ｘv ，Ｙv ）をピクセル単位で認識するのに対して、世界座標系の座標値（Ｘ，Ｙ，Ｚ）の単位は、長さの単位（例えば［μｍ］の単位）である。このため、ビジョン座標系のピクセル単位の座標値を世界座標系の座標値と同じ長さの単位（例えば［μｍ］の単位）の座標値に変換する必要がある。
　そこで、本実施例１では、ビジョン座標系のピクセル単位の座標値を世界座標系の座標値と同じ長さの単位の座標値に変換する処理に用いる分解能をワーク３０の高さ寸法Ｈに応じて補正し、補正後の分解能Ｒｈを用いてビジョン座標系のピクセル単位の座標値を世界座標系の座標値と同じ長さの単位の座標値に変換する。この場合、ワーク３０の高さ寸法Ｈは、固定カメラ５１のレンズ５２の被写界深度の範囲内である必要がある。ここで、分解能は１ピクセル当たりの長さであり、例えば、［μｍ／ピクセル］の単位で表される。具体的には、分解能は、固定カメラ５１の視野／画素数で算出することができる。固定カメラ５１の画素数は固定値であるが、視野（画像に写る領域の実際の長さ）は固定カメラ５１のレンズ５２と撮像対象のワーク３０の上端面との間の距離であるワーキングディスタンスＷＤに比例して変化するため、分解能もワーキングディスタンスＷＤに比例して変化する。
　本実施例１では、図２に示すように、作業エリア３８のワーク載置面の高さ位置を基準高さ位置として当該基準高さ位置における分解能を基準分解能Ｒo として算出する。換言すれば、この基準高さ位置と固定カメラ５１のレンズ５２との間の距離を基準ワーキングディスタンスＷＤstd として当該基準ワーキングディスタンスＷＤstd における分解能を基準分解能Ｒo として算出する。この基準ワーキングディスタンスＷＤstd は、固定カメラ５１で作業エリア３８上のワーク３０を撮像可能な範囲内で事前に決められた一定の値である。
　一方、制御部３７は、図２に示すように、基準高さ位置（作業エリア３８のワーク載置面の高さ位置）から所定高さＴcpだけ高い位置における分解能Ｒ1 を算出して、次の（１）式を用いて単位高さ寸法当たりの分解能変化量を単位分解能Ｒuni として算出する。
　　　Ｒuni ＝（Ｒo －Ｒ1 ）／Ｔcp　　…（１）
　ここで、単位分解能Ｒuni を例えば１ｍｍ当たりの分解能変化量とする場合には、所定高さＴcpの単位も［ｍｍ］の単位として、両者の単位を一致させる。
　更に、次の（２）式を用いて、基準分解能Ｒo から単位分解能Ｒuni とワーク３０の高さ寸法Ｈとの積算値を引き算することで、補正後の分解能Ｒｈを求める。
　　　Ｒh ＝Ｒo －Ｒuni ×Ｈ　　…（２）
　この補正後の分解能Ｒｈを次の（３）式と（４）式に代入して計算することで、ビジョン座標系のピクセル単位の座標値（Ｘv ，Ｙv ）を世界座標系の座標値と同じ長さの単位の座標値（Ｘ，Ｙ）に変換する。
　　　Ｘ＝Ｘv ×Ｒh 　　…（３）
　　　Ｙ＝Ｙv ×Ｒh 　　…（４）
　この２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に変換する。
　本実施例１では、作業エリア３８の高さ位置（Ｚ座標値）は、常に一定の高さ位置であるため、既知のデータ（作業エリア３８のＺ座標値が既知）として取り扱うことができる。更に、この作業エリア３８の高さ位置にワーク３０の既知の高さ寸法Ｈを加算することで、当該ワーク３０の上端面の高さ位置も既知のデータとして取り扱うことができる。これにより、２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に変換することができる。
　前述したように、分解能はワーキングディスタンスＷＤに比例して変化するが、その理由を以下に詳しく説明する。
　分解能は、画像中の１ピクセル当たりの大きさを示すもので、以下の（５）式で算出される。
　　　分解能＝視野／画素数　　…（５）
　また、視野は、ワーキングディスタンスＷＤが決まっている場合、以下の（６）式で導出される。
　　　視野＝（Ｈ／焦点距離）×ＷＤ　　…（６）
　ここで、Ｈは固定カメラ５１のイメージセンサのサイズである。
　上記（６）式を（５）式に代入して変形すると、次（７）式で分解能が求められる。
　　　分解能＝｛（Ｈ／焦点距離）×ＷＤ｝／画素数
　　　　　　＝｛（Ｈ／焦点距離）／画素数｝×ＷＤ
　　　　　　＝α×ＷＤ　　　　　　　　……（７）
　ここで、αは、ワーキングディスタンスＷＤの単位長さ当たりの分解能（単位分解能）あり、α＝（Ｈ／焦点距離）／画素数で求められる。この単位分解能αは、固定カメラ５１のイメージセンサの仕様（画素数、ユニットサイズ）とレンズ５２の焦点距離と倍率とで決まる定数である。
　従って、上記（７）式から明らかなように、分解能はワーキングディスタンスＷＤに比例する。
　以上説明した本実施例１によれば、画像処理部４３の画像処理で作業エリア３８上のワーク３０の位置として認識した２次元のビジョン座標系の座標値を当該ワーク３０の高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を、ロボット１１のアーム位置を制御する３次元の世界座標系の座標値に変換するようにしたので、２次元の固定カメラ５１で撮像した画像を処理してワーク３０の位置として認識した２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に変換することができる。これにより、ビジョン座標系の座標値を求める画像認識システムを１台の２次元の固定カメラ５１で安価に構成することができ、低コスト化の要求を満たすことができる。しかも、２次元の画像処理であるため、従来の３次元の画像処理と比べて、画像処理の演算負荷を軽減でき、画像処理の高速化の要求に低コストで対応することができる。
　更に、本実施例１では、作業エリア３８上のワーク３０を固定カメラ５１で撮像するため、生産中にロボット１１で固定カメラ５１の位置を移動させる必要はなく、その分、ワーク３０の撮像に要する時間を短縮できて、生産性を向上できると共に、ロボット１１の制御も簡単になる。
　次に、図８を用いて実施例２を説明する。但し、前記実施例１と実質的に同一の部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。
　前記実施例１では、作業エリア３８の上方に設置された固定構造物５０（例えばロボット防護柵の天井）に鉛直下向きに取り付けられた固定カメラ５１を、作業エリア３８上のワーク３０を撮像する２次元のカメラとして使用したが、図８に示す実施例２では、作業エリア３８上のワーク３０を撮像する２次元のカメラとして、ロボット１１の手首部２１に取り付けたハンドカメラ４０を使用するようにしている。
　本実施例２では、ロボット１１の稼働中（生産中）にハンドカメラ４０で作業エリア３８上のワーク３０を撮像して当該ワーク３０の位置をビジョン座標系の座標値で認識する場合には、ハンドカメラ４０を鉛直下方に向けてハンドカメラ４０の視野内に作業エリア３８上のワーク３０を収めると共に、ハンドカメラ４０のレンズ４１と基準高さ位置（作業エリア３８のワーク載置面の高さ位置）との間の距離が事前に決められた基準ワーキングディスタンスＷＤstd となるようにロボット１１を制御してハンドカメラ４０の高さ位置を一定の高さ位置に制御する。尚、基準高さ位置は、作業エリア３８のワーク載置面の高さ位置に限定されず、他の高さ位置であっても良く、要は、ハンドカメラ４０で作業エリア３８上のワーク３０を撮像可能な高さ位置の範囲内で基準高さ位置を適宜設定すれば良い。その他の事項は、前記実施例１と同じである。
　以上のように構成した実施例２においても、前記実施例１と同様に、２次元のハンドカメラ４０で撮像した画像を処理してワーク３０の位置として認識した２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に精度良く変換することができる。
　次に、図９を用いて実施例３を説明する。但し、前記実施例１，２と実質的に同一の部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。
　前記実施例１，２では、作業エリア３８が１箇所（供給装置３９が１台）であったが、図９に示す実施例３では、ロボット１１のアーム可動領域内に複数台の供給装置３９の作業エリア３８が並設されている。本実施例３では、ハンドカメラ４０と固定カメラ５１のどちらを使用しても良いが、図８には、固定カメラ５１を使用する構成例を示している。固定カメラ５１は、視野内に複数の作業エリア３８上のワーク３０が収まるように設置されている。尚、ハンドカメラ４０を使用する場合には、ハンドカメラ４０の視野内に複数の作業エリア３８上のワーク３０が収まるようにハンドカメラ４０の高さ位置を制御すれば良い。
　本実施例３のように、ロボット１１のアーム可動領域内に複数の作業エリア３８が並設されている場合には、組立誤差等により複数の作業エリア３８の高さ位置が作業エリア３８毎に少しずつ異なる場合がある。この場合には、所定の高さ位置から固定カメラ５１で撮像した画像内のワーク３０のサイズが当該ワーク３０の高さ寸法及び作業エリア３８の高さ位置に応じて変化する。
　そこで、本実施例３では、座標変換部４４は、画像処理部４３の画像処理でワーク３０の位置として認識したビジョン座標系の座標値を当該ワーク３０の高さ寸法及び作業エリア３８の高さ位置に応じて補正し、補正後のビジョン座標系の座標値を世界座標系の座標値に変換する（座標変換工程）。
　この場合、基準高さ位置については、複数の作業エリア３８のうちのいずれか１つの作業エリア３８のワーク載置面の高さ位置を基準高さ位置としても良いし、或は、固定カメラ５１の真下に位置する中央の作業エリア３８のワーク載置面の高さ位置を基準高さ位置としても良い。基準高さ位置は、作業エリア３８のワーク載置面の高さ位置に限定されず、他の高さ位置であっても良く、要は、固定カメラ５１で作業エリア３８上のワーク３０を撮像可能な高さ位置の範囲内で基準高さ位置を適宜設定すれば良い。
　この基準高さ位置における分解能（基準ワーキングディスタンスＷＤstd における分解能）である基準分解能Ｒo を前記実施例１と同様の方法で算出すると共に、この基準高さ位置から所定高さＴcpだけ高い位置における分解能Ｒ1 を算出して、次の（８）式を用いて単位高さ寸法当たりの分解能変化量を単位分解能Ｒuni として算出する。
　　　Ｒuni ＝（Ｒo －Ｒ1 ）／Ｔcp　　…（８）
　更に、次の（９）式を用いて基準高さ位置から作業エリア３８のワーク載置面の高さ位置までの高さ寸法ΔＷＤとワーク３０の高さ寸法Ｈとの和に前記単位分解能Ｒuni を積算して求めた値を前記基準分解能Ｒo から引き算することで、補正後の分解能Ｒｈを求める。
　　　Ｒh ＝Ｒo －Ｒuni ×（Ｈ＋ΔＷＤ）　　…（９）
　この補正後の分解能Ｒｈを次の（１０）式と（１１）式に代入して計算することで、ビジョン座標系のピクセル単位の座標値（Ｘv ，Ｙv ）を世界座標系の座標値と同じ長さの単位の座標値（Ｘ，Ｙ）に変換する。
　　　Ｘ＝Ｘv ×Ｒh 　　…（１０）
　　　Ｙ＝Ｙv ×Ｒh 　　…（１１）
　この２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に変換する。
　以上説明した実施例３では、ロボット１１のアーム可動領域内に並設された複数の作業エリア３８の高さ位置が作業エリア３８毎に少しずつ異なる場合でも、各作業エリア３８上のワーク３０の位置として認識した２次元のビジョン座標系の座標値を３次元の世界座標系の座標値に精度良く変換することができる。
［その他の実施例］
　尚、上記各実施例１～３に限定されず、ハンドカメラ４０と固定カメラ５１の両方を設置して、要求される分解能やロボット１１のアーム可動領域内における作業エリア３８の位置によってハンドカメラ４０と固定カメラ５１とを使い分けるようにしても良い。例えば、ワーク３０のサイズが小さくて高い分解能が要求される場合には、ハンドカメラ４０を使用し、また、固定カメラ５１の視野から外れた位置に設置された作業エリア３８についてはハンドカメラ４０を使用するようにすれば良い。また、固定カメラ５１の視野内に複数の作業エリア３８が収まる場合には、固定カメラ５１の視野内に複数の作業エリア３８を収めて撮像すれば、複数の作業エリア３８上のワーク３０の画像処理を能率良く行うことができる。或は、複数の作業エリア３８が存在する場合に、作業エリア３８毎にハンドカメラ４０を移動させてワーク３０を撮像するようにしても良い。
　その他、本発明は、ロボット１１の構成を適宜変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
　１１…ロボット、１４…第１関節軸、１５…第１アーム、１６…第２関節軸、１７…第２アーム、１８…第３関節軸、１９…第３アーム、２０…第４関節軸、２１…手首部（アーム先端部）、２２…第５関節軸、２３…エンドエフェクタ、２５～２９…サーボモータ、３０…ワーク、３１～３５…エンコーダ、３６…サーボアンプ、３７…制御部、３８…作業エリア、３９…供給装置、４０…ハンドカメラ（２次元のカメラ）、４１…レンズ、４２…ロボット制御ユニット、４３…画像処理部、４４…座標変換部、５０…固定構造物、５１…固定カメラ（２次元のカメラ）、５２…レンズ

Claims (12)

  1. 　高さ寸法が既知のワークを一定の高さ位置の作業エリアに供給する供給装置と、
    　前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
    　前記作業エリアに供給されたワークを所定の高さ位置から撮像する２次元のカメラと、
    　前記２次元のカメラで撮像した２次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする２次元座標系（以下「ビジョン座標系」という）の座標値で認識する画像処理部と、
    　前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの３次元座標系である世界座標系の座標値に変換する座標変換部と、
    　前記座標変換部で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御部とを備え、
    　前記座標変換部は、前記２次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法に応じて変化することを考慮して、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御システム。
  2. 　前記画像処理部は、前記ビジョン座標系で前記ワークの位置の座標値をピクセル単位で認識し、
    　前記座標変換部は、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正する際に、前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する処理に用いる分解能（１ピクセル当たりの長さ）を前記ワークの高さ寸法に応じて補正し、補正後の分解能を用いて前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する、請求項１に記載のロボット制御システム。
  3. 　前記座標変換部は、前記作業エリアのワーク載置面の高さ位置を基準高さ位置として当該基準高さ位置における分解能を基準分解能Ｒo として算出すると共に、当該基準高さ位置から所定高さＴcpだけ高い位置における分解能Ｒ1 を算出して、下記の（１）式を用いて単位高さ寸法当たりの分解能変化量を単位分解能Ｒuni として算出し、下記の（２）式を用いて前記基準分解能Ｒo から前記単位分解能Ｒuni と前記ワークの高さ寸法Ｈとの積算値を引き算することで、前記補正後の分解能Ｒｈを求める、請求項２に記載のロボット制御システム。
    　　　Ｒuni ＝（Ｒo －Ｒ1 ）／Ｔcp　…（１）
    　　　Ｒh ＝Ｒo －Ｒuni ×Ｈ　　　　…（２）
  4. 　高さ寸法が既知のワークを作業エリアに供給する供給装置と、
    　前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
    　前記作業エリアに供給されたワークを所定の高さ位置から撮像する２次元のカメラと、
    　前記２次元のカメラで撮像した２次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする２次元座標系（以下「ビジョン座標系」という）の座標値で認識する画像処理部と、
    　前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの３次元座標系である世界座標系の座標値に変換する座標変換部と、
    　前記座標変換部で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御部とを備え、
    　前記座標変換部は、前記２次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて変化することを考慮して、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御システム。
  5. 　前記画像処理部は、前記ビジョン座標系で前記ワークの位置の座標値をピクセル単位で認識し、
    　前記座標変換部は、前記画像処理部の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて補正する際に、前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する処理に用いる分解能（１ピクセル当たりの長さ）を前記ワークの高さ寸法及び前記作業エリアのワーク載置面の高さ位置に応じて補正し、補正後の分解能を用いて前記ビジョン座標系のピクセル単位の座標値を前記世界座標系の座標値と同じ長さの単位の座標値に変換する、請求項４に記載のロボット制御システム。
  6. 　前記座標変換部は、前記２次元のカメラで前記作業エリア上のワークを撮像可能な高さ位置の範囲内で設定した基準高さ位置における分解能を基準分解能Ｒo として算出すると共に、当該基準高さ位置から所定高さＴcpだけ高い位置における分解能Ｒ1 を算出して、下記の（３）式を用いて単位高さ寸法当たりの分解能変化量を単位分解能Ｒuni として算出し、下記の（４）式を用いて前記基準高さ位置から前記作業エリアのワーク載置面の高さ位置までの高さ寸法ΔＷＤと前記ワークの高さ寸法Ｈとの和に前記単位分解能Ｒuni を積算して求めた値を前記基準分解能Ｒo から引き算することで、前記補正後の分解能Ｒｈを求める、請求項５に記載のロボット制御システム。
    　　　Ｒuni ＝（Ｒo －Ｒ1 ）／Ｔcp　　　　…（３）
    　　　Ｒh ＝Ｒo －Ｒuni ×（Ｈ＋ΔＷＤ）　…（４）
  7. 　前記２次元のカメラは、前記ロボットのアーム先端部に取り付けられ、
    　前記制御部は、前記作業エリアに供給されたワークを前記２次元のカメラで撮像する際に当該２次元のカメラの高さ位置が前記世界座標系の座標値で前記所定の高さ位置となるように前記ロボットのアームの位置を制御する、請求項１乃至６のいずれかに記載のロボット制御システム。
  8. 　前記２次元のカメラは、前記世界座標系の座標値で前記所定の高さ位置となる場所に固定されている、請求項１乃至６のいずれかに記載のロボット制御システム。
  9. 　前記画像処理部は、少なくとも前記ワークの高さ寸法を含む情報や画像処理パラメータをＧＵＩ（グラフィカル・ユーザー・インターフェース）上から登録可能に構成されている、請求項１乃至８のいずれかに記載のロボット制御システム。
  10. 　前記画像処理部は、前記ワークの姿勢及び複数のワーク同士の重なりを認識する機能を有する、請求項１乃至９のいずれかに記載のロボット制御システム。
  11. 　高さ寸法が既知のワークを一定の高さ位置の作業エリアに供給する供給装置と、
    　前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
    　前記作業エリアに供給されたワークを所定の高さ位置から撮像して２次元の画像を取得する２次元のカメラとを備え、
    　前記２次元のカメラで撮像した２次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする２次元座標系（以下「ビジョン座標系」という）の座標値で認識する画像処理工程と、
    　前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの３次元座標系である世界座標系の座標値に変換する座標変換工程と、
    　前記座標変換工程で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御工程とを含むロボット制御方法であって、
    　前記座標変換工程において、前記２次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法に応じて変化することを考慮して、前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御方法。
  12. 　高さ寸法が既知のワークを作業エリアに供給する供給装置と、
    　前記作業エリアに供給されたワークに対して所定の作業を行うロボットと、
    　前記作業エリアに供給されたワークを所定の高さ位置から撮像して２次元の画像を取得する２次元のカメラとを備え、
    　前記２次元のカメラで撮像した２次元の画像を処理して前記ワークの位置を当該画像の基準点を原点とする２次元座標系（以下「ビジョン座標系」という）の座標値で認識する画像処理工程と、
    　前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を前記ロボットの３次元座標系である世界座標系の座標値に変換する座標変換工程と、
    　前記座標変換工程で前記世界座標系の座標値に変換した前記ワークの位置に基づいて前記ロボットのアームの目標位置を前記世界座標系の座標値で設定して当該アームの位置を前記世界座標系の座標値で制御する制御工程とを含むロボット制御方法であって、
    　前記座標変換工程において、前記２次元のカメラで撮像した画像内の前記ワークのサイズが当該ワークの高さ寸法及び前記作業エリアの高さ位置に応じて変化することを考慮して、前記画像処理工程の画像処理で前記ワークの位置として認識した前記ビジョン座標系の座標値を当該ワークの高さ寸法及び前記作業エリアの高さ位置に応じて補正し、補正後のビジョン座標系の座標値を前記世界座標系の座標値に変換する、ロボット制御方法。
PCT/JP2018/045428 2018-12-11 2018-12-11 ロボット制御システム及びロボット制御方法 Ceased WO2020121399A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020558832A JP7057841B2 (ja) 2018-12-11 2018-12-11 ロボット制御システム及びロボット制御方法
CN201880099483.1A CN113015604B (zh) 2018-12-11 2018-12-11 机器人控制系统及机器人控制方法
EP18943223.0A EP3895855B1 (en) 2018-12-11 2018-12-11 Robot control system and robot control method
PCT/JP2018/045428 WO2020121399A1 (ja) 2018-12-11 2018-12-11 ロボット制御システム及びロボット制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045428 WO2020121399A1 (ja) 2018-12-11 2018-12-11 ロボット制御システム及びロボット制御方法

Publications (1)

Publication Number Publication Date
WO2020121399A1 true WO2020121399A1 (ja) 2020-06-18

Family

ID=71075975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045428 Ceased WO2020121399A1 (ja) 2018-12-11 2018-12-11 ロボット制御システム及びロボット制御方法

Country Status (4)

Country Link
EP (1) EP3895855B1 (ja)
JP (1) JP7057841B2 (ja)
CN (1) CN113015604B (ja)
WO (1) WO2020121399A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119773A (zh) * 2021-11-30 2022-03-01 马鞍山学院 一种用于工业机器人智能抓取检测的相机自动对焦方法
CN114770461A (zh) * 2022-04-14 2022-07-22 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN115194773A (zh) * 2022-08-22 2022-10-18 苏州佳祺仕信息科技有限公司 一种视觉引导组装方法及装置
WO2024209630A1 (ja) 2023-04-06 2024-10-10 株式会社Fuji 画像処理方法およびロボットシステム
JP7591938B2 (ja) 2021-02-10 2024-11-29 株式会社キーエンス 制御装置
CN119304866A (zh) * 2024-10-11 2025-01-14 大连中远海运海事工程技术有限公司 一种高压油泵拆装电动提升翻转机系统
EP4640381A1 (en) 2022-12-23 2025-10-29 Denso Corporation Robot control system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102948945B1 (ko) * 2023-05-30 2026-04-07 화천기공 주식회사 공작물의 측정 포인트 추출 방법 및 시스템
CN116673965B (zh) * 2023-07-21 2025-12-26 梅卡曼德(雄安)机器人科技股份有限公司 物体位姿的确定方法、装置、机器人及存储介质
WO2025263899A1 (ko) * 2024-06-21 2025-12-26 삼성전자 주식회사 로봇-비전 간 캘리브레이션을 위한 전자 장치 및 이를 이용한 캘리브레이션 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0788791A (ja) * 1993-09-20 1995-04-04 Mitsubishi Electric Corp ロボット装置およびその周辺装置
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
JP2008183690A (ja) * 2007-01-31 2008-08-14 Nachi Fujikoshi Corp ロボット制御装置及びロボット制御システム
JP2013233639A (ja) * 2012-05-10 2013-11-21 Hitachi Zosen Fukui Corp ワークの位置検出方法及びそれを用いたワークの搬送方法
JP2015182144A (ja) 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090152785A1 (en) * 2005-09-12 2009-06-18 Kabushiki Kaisha Yaskawa Denki Alignment apparatus and original point returning method of alignment apparatus, turning table, translational table, machine including alignment apparatus and machine control system
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
US8452077B2 (en) * 2010-02-17 2013-05-28 Applied Materials, Inc. Method for imaging workpiece surfaces at high robot transfer speeds with correction of motion-induced distortion
JP2011177845A (ja) * 2010-03-02 2011-09-15 Seiko Epson Corp ロボットのキャリブレーション方法及びロボット用キャリブレーション装置
JP5505138B2 (ja) * 2010-07-05 2014-05-28 株式会社安川電機 ロボット装置およびロボット装置による把持方法
DE102012200220A1 (de) * 2011-06-20 2012-12-20 Semilev Gmbh Verfahren zum Kalibrieren eines aktiv magnetgelagerten Roboters
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6364856B2 (ja) * 2014-03-25 2018-08-01 セイコーエプソン株式会社 ロボット
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
JP6126183B2 (ja) * 2015-10-05 2017-05-10 ファナック株式会社 ターゲットマークを撮像するカメラを備えたロボットシステム
JP6250901B2 (ja) * 2015-10-28 2017-12-20 ファナック株式会社 Ｃｎｃとロボット制御装置が通信ネットワークを介して接続されたロボットシステム
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
WO2018098395A1 (en) * 2016-11-25 2018-05-31 Glowforge Inc. Improved engraving in a computer numerically controlled machine
CN106607907B (zh) * 2016-12-23 2017-09-26 西安交通大学 一种移动视觉机器人及其测控方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0788791A (ja) * 1993-09-20 1995-04-04 Mitsubishi Electric Corp ロボット装置およびその周辺装置
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
JP2008183690A (ja) * 2007-01-31 2008-08-14 Nachi Fujikoshi Corp ロボット制御装置及びロボット制御システム
JP2013233639A (ja) * 2012-05-10 2013-11-21 Hitachi Zosen Fukui Corp ワークの位置検出方法及びそれを用いたワークの搬送方法
JP2015182144A (ja) 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3895855A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7591938B2 (ja) 2021-02-10 2024-11-29 株式会社キーエンス 制御装置
CN114119773A (zh) * 2021-11-30 2022-03-01 马鞍山学院 一种用于工业机器人智能抓取检测的相机自动对焦方法
CN114770461A (zh) * 2022-04-14 2022-07-22 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN114770461B (zh) * 2022-04-14 2023-12-01 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法
CN115194773A (zh) * 2022-08-22 2022-10-18 苏州佳祺仕信息科技有限公司 一种视觉引导组装方法及装置
CN115194773B (zh) * 2022-08-22 2024-01-05 苏州佳祺仕科技股份有限公司 一种视觉引导组装方法及装置
EP4640381A1 (en) 2022-12-23 2025-10-29 Denso Corporation Robot control system
WO2024209630A1 (ja) 2023-04-06 2024-10-10 株式会社Fuji 画像処理方法およびロボットシステム
EP4691706A1 (en) 2023-04-06 2026-02-11 Fuji Corporation Image processing method and robot system
EP4691706A4 (en) * 2023-04-06 2026-05-13 Fuji Corp IMAGE PROCESS AND ROBOT SYSTEM
CN119304866A (zh) * 2024-10-11 2025-01-14 大连中远海运海事工程技术有限公司 一种高压油泵拆装电动提升翻转机系统

Also Published As

Publication number Publication date
CN113015604A (zh) 2021-06-22
EP3895855A1 (en) 2021-10-20
EP3895855A4 (en) 2022-05-11
CN113015604B (zh) 2024-03-08
EP3895855B1 (en) 2026-04-15
JPWO2020121399A1 (ja) 2021-09-02
JP7057841B2 (ja) 2022-04-20

Similar Documents

Publication Publication Date Title
JP7057841B2 (ja) ロボット制御システム及びロボット制御方法
JP7153085B2 (ja) ロボットキャリブレーションシステム及びロボットキャリブレーション方法
JP7281910B2 (ja) ロボット制御システム
JP2022028672A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP6228120B2 (ja) 多関節型ロボットを備えた作業機および電気部品装着機
US9050728B2 (en) Apparatus and method for measuring tool center point position of robot
US20140114459A1 (en) Robot system and processed product producing method
JP6869159B2 (ja) ロボットシステム
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
CN108177150A (zh) 基于视觉的电梯门板定位与抓取装置及方法
US12134195B2 (en) Control device for robot, robot system, control method, and program
JP2015136770A (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP4289619B2 (ja) 多関節ロボットのツール位置補正方法
US12459131B2 (en) Picking system
WO2022097535A1 (ja) ティーチング操作を用いた設定方法
US20240269853A1 (en) Calibration method, calibration device, and robotic system
JP7481432B2 (ja) ロボットの教示位置を修正するための装置、教示装置、ロボットシステム、教示位置修正方法、及びコンピュータプログラム
JP2006082170A (ja) キャリブレーション方法
JP7242856B2 (ja) ロボット制御システム及びロボット制御方法
JP7510514B2 (ja) オフセット値設定方法およびロボット制御装置
JP7145332B2 (ja) ロボット制御システム及びロボット制御方法
WO2023032400A1 (ja) 自動搬送装置、及びシステム
JPH06206186A (ja) 視覚センサ付き水平多関節型ロボットのハンドリング精度校正法
JP7576620B2 (ja) カメラの位置ずれ測定方法
JP2017074637A (ja) ツールセンターポイント推定方法、ツールセンターポイント推定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18943223

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558832

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018943223

Country of ref document: EP

Effective date: 20210712

WWG Wipo information: grant in national office

Ref document number: 2018943223

Country of ref document: EP