WO2023047588A1 - ロボットシステム - Google Patents

ロボットシステム Download PDF

Info

Publication number
WO2023047588A1
WO2023047588A1 PCT/JP2021/035404 JP2021035404W WO2023047588A1 WO 2023047588 A1 WO2023047588 A1 WO 2023047588A1 JP 2021035404 W JP2021035404 W JP 2021035404W WO 2023047588 A1 WO2023047588 A1 WO 2023047588A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
abnormality
detection
control device
detected
Prior art date
Application number
PCT/JP2021/035404
Other languages
English (en)
French (fr)
Inventor
健太郎 古賀
航 宮▲崎▼
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2021/035404 priority Critical patent/WO2023047588A1/ja
Priority to CN202180102110.7A priority patent/CN117940859A/zh
Priority to DE112021007987.5T priority patent/DE112021007987T5/de
Priority to TW111132417A priority patent/TW202313285A/zh
Publication of WO2023047588A1 publication Critical patent/WO2023047588A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4067—Restoring data or position after power failure or other interruption

Definitions

  • the present invention relates to robot systems.
  • a robot system includes a transport device that transports an article, a robot that performs a predetermined operation on the transported article, a robot control device, and an imaging device that detects the article and the like. (See Patent Document 1, for example).
  • Patent Document 2 relates to a control device for a work robot that performs a predetermined work on a production line, and states, "A monitoring device that monitors the work state of a work device that performs a predetermined work on a work detects an abnormality in the work state.
  • the working robot control device that has the function of temporarily returning the working device to the position where the abnormality was recognized and restarting the work from that position” (page 2, lower right column, line 14 to line 14). line 20).
  • One aspect of the present disclosure includes a robot, and a robot control device that controls the robot to perform a predetermined work based on a detection result of a detection target by a sensor, wherein the robot control device controls the sensor a robot system comprising an abnormality detection processing unit that controls the robot to return to the position at which the abnormality was detected and stop when an abnormality related to the detection operation is detected by be.
  • the robot returns to and stops at the position at which the cause of the abnormality was detected, so the operator has a heavy burden of teaching and adjusting the problem location and moving the robot to the problem location. It can be done without any work. Therefore, when a problem occurs in the robot system, the trouble of teaching and adjustment can be greatly reduced, and the time required for starting up the robot system can be shortened.
  • FIG. 10 is a functional block diagram of a robot control device in the robot system of FIG. 9;
  • FIG. 1 is a diagram showing the configuration of a robot system 100 according to one embodiment.
  • a robot system 100 includes a robot 10 having a hand 30 mounted at the tip of an arm, a robot control device 50 for controlling the robot 10, a transport device for transporting articles (a conveyor 25 and a conveyor control device 20). ), three imaging devices 71 to 73, and a host controller 60.
  • the robot control device 50 and the conveyor control device 20 are connected to a host control device 60, and the host control device 60 comprehensively controls the robot control device 50 and the conveyor control device 20 so that the robot system 100 performs a predetermined work. Control.
  • a teaching device 40 may be connected to the robot control device 50 as shown in FIG.
  • the upper control device 60 is, for example, a PLC (Programmable Logic Controller), and comprehensively controls the operation timings of the robot control device 50 and the conveyor control device 20 according to a control program for controlling the operation sequence.
  • PLC Programmable Logic Controller
  • the imaging devices 71 to 73 are connected to the robot controller 50 and operate under control from the robot controller 50 .
  • the robot control device 50 has a function of controlling each imaging device and a function of performing image processing on image data captured by each imaging device.
  • the imaging devices 71 to 73 may be cameras that capture gray scale images or color images, or may be stereo cameras or three-dimensional sensors that can acquire range images or three-dimensional point groups.
  • each imaging device is assumed to be a camera that acquires a two-dimensional image.
  • the conveyor control device 20 drives and controls the motor 26 of the conveyor 25 to control the conveying of the work by the conveyor 25 .
  • the teaching device 40 is used, for example, to adjust teaching contents and programs.
  • the teaching device 40 may be, for example, a teaching operation panel, a tablet terminal, a smartphone, or other information processing device.
  • the robot controller 50 controls the robot 10 to return to the position at which the abnormality was detected and stop in response to detection of an abnormality in the detection by the imaging devices 71-73. This allows the operator to make adjustments at the problem location without moving the robot.
  • the configuration of this embodiment can be applied to a robot system capable of executing various types of processing (detection, determination, etc.) using a visual sensor.
  • a configuration for gripping the 91 and attaching it to the work 81 conveyed on the conveyor 25 will be described.
  • the workpiece 91 is a vehicle door
  • the workpiece 81 is a vehicle body to which the door is attached.
  • the robot 10 repeatedly performs the work of attaching the work 91 to the work 81 that is successively conveyed on the conveyor 25 in the direction of the arrow in FIG. Actions are performed repeatedly.
  • FIG. 2 is a diagram showing a hardware configuration example of the host controller 60 and the robot controller 50.
  • the host controller 60 provides a processor 61 with a memory 62 (ROM, RAM, non-volatile memory, etc.), a display unit 63, an operation unit 64 comprising an input device such as a keyboard (or software keys), an input/output interface, and so on. 65 or the like connected via a bus, it may have a configuration as a general computer.
  • the robot control device 50 is a general device in which a memory 52 (ROM, RAM, non-volatile memory, etc.), an input/output interface 53, an operation unit 54 including various operation switches, etc. are connected to a processor 51 via a bus. It may have a configuration as a computer.
  • the teaching device 40 may also have a configuration as a general computer having a processor, memory, display section, operation section, various input/output interfaces, and the like.
  • FIG. 3 is a functional block diagram of the robot control device 50 and the upper control device 60.
  • the robot control device 50 includes a motion control unit 151 that controls the motion of the robot 10 (and the hand 30) according to a command from the teaching device 40 or according to a motion program 155, and imaging devices 71-73.
  • the robot 10 is returned to the position at which the abnormality was detected in response to detection of an abnormality by the image processing unit 152 that performs control and image processing on the captured image, or by one of the imaging devices 71 to 73.
  • an abnormality detection time processing unit 153 that controls to
  • the information recording unit 154 acquires and records the position of the robot 10 and other information when the abnormality is detected.
  • the abnormality detection processing unit 153 also has a function of sending a signal indicating that fact to the host controller 60 when an abnormality is detected in detection by any one of the imaging devices 71 to 73 .
  • the host control device 60 receives a signal indicating that the above-described abnormality has been detected from the control unit 161 that controls the operation sequence of the robot control device 50 and the conveyor control device 20 according to the control program 164 and the robot control device 50 .
  • an abnormality processing unit 162 is provided for controlling the conveyor 25 to return to the position at the time when the abnormality was detected.
  • the information recording unit 163 acquires and records the position of the conveyor 25 and other information when the abnormality is detected.
  • the imaging device 71 is a fixed camera, and when the robot 10 grips the workpiece 81 leaning against the stand 2, it captures the state only once to detect gripping deviation.
  • the imaging devices 72 and 73 are fixed to the tip of the arm of the robot 10.
  • the photographing directions of the imaging devices 72 and 73 are set so as to photograph the vicinity of the attachment position when the robot 10 attaches the workpiece 91 to the workpiece 81 .
  • the imaging devices 72 and 73 repeat imaging while the robot 10 moves the work 91 and attaches it to the work 81 .
  • Positioning control of the workpiece 91 with respect to the workpiece 81 using the imaging device 72 or 73, which is executed as part of such mounting work, will be described.
  • a case where an image captured by the imaging device 72 is used will be described.
  • the imaging device 72 captures an image of the state, and control for adjusting the position of the robot 10 is executed.
  • the image processing unit 152 of the robot control device 50 has a function of detecting the feature amount of the feature portion, which is the predetermined feature portion, in the work 81 and the work 91 .
  • the image processing unit 152 also has a function of calculating the difference between the feature amount of the work 81 and the feature amount of the work 91 as a relative amount.
  • the image processing unit 152 generates a command to operate the robot 10 based on the calculated relative amount.
  • the robot system 100 aligns the workpiece 91 with respect to the workpiece 81 conveyed by the conveyor 25 based on the images captured by the imaging devices 72 and 73 . Specifically, alignment is performed when inserting the pin (not shown) of the work 91 (door) into the holes 82a and 83a (see FIG. 6) of the projections 82 and 83 of the work 81 (vehicle body). .
  • the image processing unit 152 calculates the relative position amount in the reference image 261 in the following procedures (A1) to (A3) before the robot 10 actually performs the work.
  • (A1) The image processing unit 152 detects the upper surface of the projecting portion 82 as a first characteristic portion for detecting the position of the work 81, and detects the work 91 as a second characteristic portion for detecting the position of the work 91. , the upper surface of the projecting portion 92 is detected.
  • a part of the workpiece, a pattern formed on the surface of the workpiece, a line or a diagram written on the surface of the workpiece, or the like can be used as the characteristic portion.
  • base images that serve as references for the respective works 81 and 91 may be prepared in advance.
  • Characteristic regions in the image captured by the imaging device 72 can be detected by a method such as template matching using the base image and the image captured by the imaging device 72 .
  • a screen coordinate system 252 is set for the image captured by the imaging device 72 .
  • a screen coordinate system 252 is a coordinate system when an arbitrary point in the image is set as the origin.
  • Screen coordinate system 252 has mutually orthogonal u and v axes.
  • Screen coordinate system 252 corresponds to the visual sensor coordinate system of imaging device 72 .
  • the position-related feature amounts in this embodiment are the coordinate values of the u-axis and the v-axis of the screen coordinate system 252 in the image.
  • the image processing unit 152 can detect the positions of the set points P1 and P2 set in the characteristic regions based on the characteristic regions detected in the reference image 261 .
  • the image processing unit 152 detects the coordinate values (u1b, v1b) of the set point P1 in the screen coordinate system 252 as the first feature amount.
  • the feature amount detection unit detects the coordinate values (u2b, v2b) of the screen coordinate system 252 of the set point P2 as the second feature amount.
  • the image processing unit 152 calculates the relative amount between the first feature amount and the second feature amount in the reference image.
  • the image processing unit 152 calculates a relative position amount as a relative amount in order to control the position of the robot 10 .
  • the relative position amount is the difference between the first feature amount and the second feature amount.
  • the image processing unit 152 calculates the difference (u1b-u2b, v1b-v2b) between the coordinate value of the first feature amount and the coordinate value of the second feature amount as the relative position amount.
  • the calculated relative position amount in the reference image 261 is stored as a reference relative position amount.
  • the image processing unit 152 can calculate the relative position amount in the reference image 261.
  • the relative position amount in the reference image 261 is calculated in advance and stored in the storage unit.
  • FIG. 5 shows a flowchart of alignment control. This processing is executed under the control of the processor 51 of the robot control device 50 . After the robot control device 50 performs control to bring the work 91 close to the work 81 to a position where it can be attached, the motion control unit 151 images the works 81 and 91 with the imaging device 72 in step S101.
  • FIG. 6 shows an image 262 captured by the imaging device 72 in step S101.
  • the image 262 includes an image of the upper surface of the projection 82 that is the first characteristic portion and an image of the upper surface of the projection 92 that is the second characteristic portion.
  • the work 91 is shifted to the positive side of the u-axis of the screen coordinate system 252 as indicated by an arrow 201 with respect to the work 81 .
  • step S102 the image processing unit 152 detects the first characteristic region and the second characteristic region of the image 262 captured by the imaging device 72.
  • the upper surface of the projecting portion 82 of the work 81 is detected as the first characteristic portion
  • the upper surface of the projecting portion 92 of the work 91 is detected as the second characteristic portion.
  • step S ⁇ b>103 the image processing unit 152 detects the first feature amount and the second feature amount in the image captured by the imaging device 72 .
  • the image processing unit 152 detects the coordinate values (u1m, v1m) of the set point P1 in the screen coordinate system 252 as the first feature amount related to the first feature site, and detects the second feature amount related to the second feature site. , the coordinate values (u2m, v2m) of the set point P2 in the screen coordinate system are calculated.
  • step S104 the image processing unit 152 calculates the difference between the first feature amount and the second feature amount as the relative position amount.
  • the relative position amount in the image 262 captured by the imaging device 72 is the difference (u1m-u2m, v1m-v2m) between the coordinate value of the first feature amount and the coordinate value of the first feature amount.
  • step S ⁇ b>105 the image processing unit 152 calculates the difference in the relative position amount, which is the difference between the relative position amount in the image 262 and the relative position amount in the reference image 261 .
  • the difference in relative position quantity can be expressed as [(u1m-u2m)-(u1b-u2b), (v1m-v2m)-(v1b-v2b)] for each u-axis and v-axis.
  • step S106 it is determined whether or not the difference in relative position amount is within a predetermined range. If the difference in the relative position amount is within the predetermined range (S120: YES), it is assumed that the work 91 has been aligned with the work 81, and this process ends.
  • step S107 if the difference in the relative position amount is outside the predetermined range (S120: NO), it can be determined that the workpiece 91 has not reached the desired position with respect to the workpiece 81. In this case, the process proceeds to step S107.
  • step S107 the image processing unit 152 sets the driving method of the robot 10 based on the difference in relative position amount.
  • the image processing unit 152 sets the movement direction and movement amount of the robot in the reference coordinate system.
  • the movement direction of the position of the robot 10 with respect to the difference in relative position amount is determined in advance.
  • the moving direction of the position of the robot with respect to the positive or negative value of the u-axis of the screen coordinate system is defined in the reference coordinate system as follows.
  • the (1,1,0) movement direction is determined using the coordinate values of the X-, Y-, and Z-axes of the reference coordinate system. Also, when the difference in the relative position amount with respect to the y-axis is positive, the movement direction of (0, 0, 1) is determined using the coordinate values of the X-, Y-, and Z-axes of the reference coordinate system.
  • the method of calculating the movement amount of the robot's position with respect to the difference in the relative position amount is defined as follows, for example.
  • a value obtained by multiplying a value related to the u axis ((u1m-u2m)-(u1b-u2b)) by a predetermined coefficient can be used as the movement amount of the robot position in the direction corresponding to the u-axis.
  • the amount of movement of the robot position in the direction corresponding to the v-axis can be obtained by multiplying the v-axis value ((v1m-v2m)-(v1b-v2b)) by a predetermined coefficient. can. In this way, the movement amount of the position of the robot 10 can be calculated in the direction corresponding to each axis of the screen coordinate system 252 .
  • step S108 the robot 10 is driven based on the movement direction and movement amount of the position of the robot calculated as described above.
  • the image processing unit 152 generates a movement command for driving the robot 10 based on the movement direction and movement amount of the position of the robot.
  • Image processing unit 152 sends a movement command to motion control unit 151 .
  • the motion control section 151 controls the position of the robot 10 based on the movement command. Then, the processing from step S115 is repeated. With such control, the position of the workpiece 91 can be gradually brought closer to the desired position.
  • the image processing unit 152 has a function of detecting an abnormality in the detection operation by any one of the imaging devices 71-73.
  • anomaly detection the following situations are possible.
  • B1 A state in which a detection target (for example, a characteristic part) is not detected in an image continues.
  • B2 When continuously imaging a moving detection target, a situation occurs in which the positions of the detected detection target are not continuous (at unexpected positions).
  • FIG. 7 is a flowchart showing the abnormality detection processing that is executed when an abnormality in the detection by the imaging device is detected in the robot system 100 .
  • the flow indicated by steps S1 to S6 is executed under the control of the processor 51 of the robot controller 50
  • the flow indicated by steps S7 to S10 is executed under the control of the processor 61 of the host controller 60. executed below.
  • step S1 An abnormality in detection by one of the imaging devices 71 to 73 is detected due to the occurrence of the situation (B1) or (B2) exemplified above (step S1).
  • step S2 the robot control device 50 (abnormality detection processing unit 153) sends a signal indicating that an abnormality has been detected to the host control device 60.
  • the abnormality detection processing unit 153 acquires the current position (position A) of the robot 10 (step S3). Note that the position of the robot 10 also includes its posture. Then, the robot control device 50 (abnormality detection processing unit 153) decelerates and stops the robot 10 in order to safely stop the robot 10 (step S4).
  • the robot control device 50 determines whether the robot 10 has stopped (step S5).
  • the robot control device 50 (abnormality detection processing unit) waits for the robot to stop (S5: NO),
  • the robot control device 50 (abnormality detection processing unit 153) moves the robot 10 to the position A at the time when the abnormality was detected and stops it.
  • the host controller 60 Upon receiving a signal indicating the detection of an abnormality from the robot controller 50, the host controller 60 (information recording unit 163) acquires the current conveyor position (position B) information (step S7). Next, the host controller 60 (abnormality processing unit 162) decelerates and stops the conveyor 25 in consideration of safety (step S8).
  • the host controller 60 determines whether the conveyor 25 has stopped (step S9).
  • the host controller 60 (abnormality processing unit 162) waits until the conveyor 25 stops (D9: NO).
  • the host controller 60 moves the conveyor 25 to position B, which is the position at the time of the occurrence of the abnormality, and stops it (step S10).
  • the robot system 100 may further perform one or more of the following actions (C1) to (C3).
  • C1 In a state in which each device constituting the robot system has returned to the point in time when the abnormality was detected, image pickup is performed by each image pickup device, and the picked-up image is presented.
  • C2 Present information about the content of the abnormality.
  • C3 presenting information about the operating conditions of the robot system at the time when the abnormality was detected;
  • the abnormality detection processing unit 153 operates the image capturing devices 71 to 73 via the image processing unit 152 to capture images. It can be realized by causing the display unit 41 of the teaching device 40 to display the image. Since an abnormal state can be reproduced in such a captured image, the operator can adjust the position of the robot 10 in the operation program, adjust the operation timing of the robot 10, or adjust the operation timing of the robot 10 while observing such a captured image. Adjustment of the installation position of the imaging device, etc. can be performed accurately.
  • the information recording unit 154 of the robot control device 50 cooperates with the image processing unit 152 or the operation control unit 151 to acquire information about the content of the abnormality when the abnormality is detected.
  • the abnormality detection time processing unit 153 displays information on the content of the abnormality acquired by the information recording unit 154 on the teaching device 40 .
  • FIG. 8 shows an example of the case where the abnormality detection processing unit 153 displays the contents of the abnormality on the display screen (display unit 41) of the teaching device 40 when the detection abnormality of the imaging device is detected.
  • an error display screen 145 is displayed that presents a message that the imaging device (camera #2 in this example) has not detected an object as the cause of the abnormality.
  • the operator can accurately adjust the position of the robot 10 in the operation program, adjust the operation timing of the robot 10, adjust the installation position of the imaging device, etc., using the information about the content of the abnormality presented here as a clue. can proceed.
  • the information recording unit 154 of the robot control device 50 records information about the operating conditions of the robot 10 (for example, robot position, posture, operating speed, etc.) at the time when the abnormality is detected. It may be configured as follows. Further, the information recording section 163 of the host controller 60 may be configured to record information regarding the operating conditions (position, speed, etc.) of the conveyor 25 at the time when the abnormality is detected. Information about the operating conditions of the robot 10 and the conveyor 25 may also be displayed on the display unit 41 of the teaching device 40, for example. Information regarding such operating conditions may also facilitate operator adjustments.
  • presentation of information by the above operations (C1) to (C3) may be performed on a device (for example, the host controller 60) having a display unit within the robot system 100, other than the above example.
  • the robot returns to and stops at the position at which the cause of the abnormality was detected. This can be done without the burdensome work of moving to a different location. Therefore, when a problem occurs in the robot system, the trouble of teaching and adjustment can be greatly reduced, and the time required for starting up the robot system can be shortened.
  • the configuration of the robot system 100 shown in FIG. 1 is an example and not all of its components are essential components.
  • a system configuration in which the conveyor 25 and the conveyor control device 20 are omitted from the robot system 100 is possible.
  • the above-described embodiments relate to a robot system that detects an object with an imaging device as a visual sensor and performs a predetermined task. sensors, distance sensors, etc.). Note that when such other types of sensors are used in the robot system, the output result of the sensor is presented in the operation (C1).
  • the configuration shown in the above-described embodiment in which the robot or both robots can return each movable body to the position at which the problem occurred and make various adjustments to shorten the time required to start up the system, can be used in various forms of robots. applicable to the system.
  • FIG. 9 is a diagram showing the equipment configuration of the robot system 500.
  • the robot system 500 includes a machine tool 510 , a robot 520 , a robot controller 530 that controls the robot 520 , and a transport device 581 that transports the robot 520 and the robot controller 530 .
  • the robot 520 is mounted on a transfer device 581 and placed at a predetermined position in front of the machine tool 510 to load/unload a work object (hereinafter referred to as a work) into the machine tool 510. perform a given task. That is, the robot system 500 is configured as an automation system that automates the loading/unloading of workpieces to/from the machine tool 510 by the robot 520 .
  • the transport device 581 is, for example, a cart or an AGV (Automated Guided Vehicle).
  • the teaching device 550 is wirelessly or wiredly connected to the robot control device 530 and used to teach the robot 520 .
  • the control program created using the teaching device 550 is registered in the robot control device 530, so the teaching device 550 may be omitted from the robot system 500. .
  • the robot 520 when the robot 520 performs work such as loading/unloading of a work, the position of the transfer device 581 on which the robot 520 is mounted changes. Therefore, the robot 520 needs to be configured so that it can measure the positional deviation of the robot 520 with respect to the machine tool 510 and work correctly with respect to the machine tool 510 . Therefore, a visual sensor 571 is mounted on the arm tip portion 521 of the robot 520, and the robot 520 (robot control device 530) uses the visual sensor 571 to detect the displacement of the robot 520 with respect to the work space (machine tool 510). , is configured to perform the work by correcting the positional deviation.
  • the teaching device 550 measures the three-dimensional position of the marker 504 installed at a predetermined position in the work space (machine tool 510) using the visual sensor 571 mounted on the arm tip 521 of the robot 520, and determines the work space of the robot 520. It provides a function of creating a program for measuring the positional deviation from the desired position relative to the position (hereinafter, such a program is also referred to as a measurement program).
  • a control program including a measurement program created using the teaching device 550 is registered in the robot control device 530. Thereafter, the robot 520 (robot control device 530) moves from the desired position in the work space of the robot 520. It is possible to operate to detect a deviation, correct the position, and execute a predetermined work.
  • the visual sensor 571 may be a two-dimensional camera or a three-dimensional position detector. In this embodiment, the visual sensor 571 is assumed to be a two-dimensional camera. Visual sensor 571 is connected to robot controller 530 .
  • the robot control device 530 has a function of controlling the visual sensor 571, a function of performing various image processing on the image captured by the visual sensor 571, and the like. Further, it is assumed that calibration data including data indicating the position of the visual sensor 571 with respect to the robot 520 is pre-stored in the memory of the robot control device 530 .
  • FIG. 10 is a functional block diagram of the robot control device 530.
  • the robot control device 530 includes a storage unit 631 that stores control programs and other various information, an operation control unit 632 that controls the operation of the robot 520 according to the control program, and a marker position measurement unit 633. , a relative position calculation unit 634 , a measurement accuracy evaluation unit 635 , and an abnormality detection time processing unit 636 .
  • the marker position measurement unit 133 uses the visual sensor 571 to measure the three-dimensional position of the marker 504 .
  • the marker position measurement unit 633 measures the position of the marker 504 by stereo measurement using a visual sensor 571 as a two-dimensional camera.
  • the marker position measuring unit 633 changes the position of the visual sensor 571 consisting of a two-dimensional camera, images the same marker 504 from two different positions, and calculates the three-dimensional position of the marker 504 .
  • This method has the advantage that a position measurement system can be realized at low cost by using a relatively inexpensive two-dimensional camera. It should be noted that other techniques known in the art for measuring the position of markers (also called target marks or visual markers) may be used.
  • the storage unit 631 stores calibration data indicating the position of the two-dimensional camera (visual sensor 571) with reference to the coordinate system (mechanical interface coordinate system) set at the arm tip 521 of the robot 520.
  • the robot control device 530 can grasp the position and orientation of the arm tip portion 521 when the robot 520 is in motion. Therefore, the robot control device 530 (marker position measurement unit 633) converts the mechanical interface coordinate system into the robot coordinate system in accordance with the motion of the robot 520, thereby enabling the two-dimensional camera (visual sensor 571) to perform imaging.
  • a coordinate system and a robot coordinate system can be associated. This enables the marker position measurement unit 633 to obtain the position of the target (marker 504) as a three-dimensional position in the robot coordinate system.
  • the relative position calculator 634 calculates the relative position between the work space (machine tool 510) and the robot 520 (in other words, the amount of deviation from the desired position of the robot 520 with respect to the work space) based on the measured marker positions. .
  • the motion control unit 632 corrects the robot 520 from the specified position and orientation based on the calculated relative positional relationship between the work space and the robot (the amount of deviation of the robot 520 from the desired position with respect to the work space). It controls the robot 520 to perform the work in the correct position and posture.
  • the measurement accuracy evaluation unit 635 has a function of evaluating the accuracy of the measurement results of the position of one marker 504 measured by the marker position measurement unit 633 .
  • the marker position measurement unit 633 may be configured to increase the number of markers to be measured when the measurement accuracy evaluation unit 635 evaluates that the measurement accuracy is low.
  • it is performed as follows. Three markers are placed at positions around the teaching point. The position of the first measured marker is the origin position, the position of the second measured marker is the position in the X-axis direction, and the position of the third measured marker is on the XY plane. system) position and orientation.
  • the robot control device 530 After grasping the relative positional relationship between the robot 520 and the work space (machine tool 510) by the above-described method, the robot control device 530 maintains the desired positional relationship between the robot 520 and the work space.
  • the robot 1 is caused to perform a predetermined work (such as loading/unloading a work into/from the machine tool 510) while performing the correcting operation as described above.
  • the abnormality detection processing unit 636 controls the robot 520 to turn the visual sensor 571 into a marker when an abnormality caused by a correction operation using the detection result of the marker is detected while the robot 1 is performing a predetermined work. (that is, the position where the detection that causes the abnormality is performed) and stops.
  • the abnormality caused by the correction operation is, for example, the case where the robot 520 cannot place the work in the correct position (seating error, etc.).
  • the robot 520 (visual sensor 571) automatically returns to the imaging position (that is, the position where the image was taken to generate the corrective action). The operator can quickly and easily make adjustments (parameter adjustments, etc.) related to the marker detection function.
  • the functional allocation in the functional block diagrams shown in FIGS. 3 and 10 are examples, and there are various examples of functional allocation.
  • the functional blocks of the robot control device and the host control device shown in FIGS. 3 and 10 may be implemented by the processors of these devices executing various software stored in a storage device, or may be implemented using an ASIC ( Application Specific Integrated Circuit) may be realized by a configuration mainly composed of hardware.
  • ASIC Application Specific Integrated Circuit
  • Programs for executing various processes such as alignment control in FIG. 5 and abnormality detection processing in FIG. , magnetic recording media, optical discs such as CD-ROMs and DVD-ROMs).

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

ロボット（１０、５２０）と、センサによる検出対象に対する検出結果に基づいてロボット（１０、５２０）に所定の作業を実行させるように制御するロボット制御装置（５０、５３０）と、を具備し、ロボット制御装置（５０、５３０）は、センサによる検出動作に係わる異常が検知されたことに応じて、ロボット（１０、５２０）を異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部（１５３、６３６）を備える、ロボットシステム（１００、５００）である。

Description

ロボットシステム
　本発明は、ロボットシステムに関する。
　従来、物品を搬送する搬送装置と、搬送される物品に対して所定の作業を行うロボットと、ロボット制御装置と、物品等を検出するための撮像装置とを備えたロボットシステムが知られている（例えば、特許文献１参照）。
　特許文献２は、生産ラインにおいて所定の作業を行う作業ロボットの制御装置に関し、「ワークに対して所定の作業を行う作業装置の作業状態を監視する監視装置が、作業状態に対しての異常を認識した場合に、作業装置をその異常を認識した位置に一旦戻し、当該位置から作業を再開する機能を持つ作業ロボットの制御装置」を記載する（第２頁右下欄第１４行目～第２０行目）。
特開２０１９－１８８５０８号公報 特開昭６２－２７８６１０号公報
　上述したような、搬送装置と、搬送される物品に対して所定の作業を行うロボットと、ロボット制御装置と、撮像装置とを備えたロボットシステムにおける教示、調整の場面を考慮する。一般に、このようなロボットシステムでは、撮像装置によって物品あるいは搬送装置を撮像し位置を検出する処理が高速に繰り返され、ロボットは物品に追従しながら作業を行う。このような過程において、オペレータが、各位置での処理が問題なく行われているかを確認することは難しい。よって、問題が生じた場合の教示、調整に手間がかかりシステムの立ち上げ時間が長くかかる。
　本開示の一態様は、ロボットと、センサによる検出対象に対する検出結果に基づいて前記ロボットに所定の作業を実行させるように制御するロボット制御装置と、を具備し、前記ロボット制御装置は、前記センサによる検出動作に係わる異常が検知されたことに応じて、前記ロボットを前記異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部を備える、ロボットシステムである。
　上記構成によれば、ロボットが異常の要因となる検出がなされた時点の位置に戻り停止するので、オペレータは、問題発生箇所での教示、調整を、ロボットを問題発生箇所に動かすという負担の重い作業を要することなく行うことができる。したがって、ロボットシステムに問題が生じた場合の教示、調整の手間を大きく軽減し、ロボットシステム立ち上げ等に要する時間を短縮することができる。
　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
一実施形態に係るロボットシステムの構成を表す図である。 ロボット制御装置及び上位制御装置のハードウェア構成例を表す図である。 ロボット制御装置及び上位制御装置の機能ブロック図である。 撮像装置による検出を行う場合の基準画像の例である。 撮像装置を用いた位置合わせ制御のフローチャートである。 位置合わせ制御時における撮像画像の例である。 異常発生時処理を表すフローチャートである。 異常の内容に関する情報を表示した例を表す図である。 他の実施形態に係るロボットシステムの構成を表す図である。 図９のロボットシステムにおけるロボット制御装置の機能ブロック図である。
　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
　図１は一実施形態に係るロボットシステム１００の構成を表す図である。図１に示すように、ロボットシステム１００は、アーム先端部にハンド３０を搭載したロボット１０と、ロボット１０を制御するロボット制御装置５０と、物品を搬送する搬送装置（コンベヤ２５及びコンベヤ制御装置２０）と、３台の撮像装置７１－７３と、上位制御装置６０とを備える。ロボット制御装置５０及びコンベヤ制御装置２０は上位制御装置６０に接続され、上位制御装置６０は、ロボットシステム１００において所定の作業が実行されるようにロボット制御装置５０及びコンベヤ制御装置２０を統括的に制御する。なお、図１に示すように、ロボット制御装置５０には、教示装置４０が接続されていても良い。
　上位制御装置６０は、例えばＰＬＣ（プログラマブルロジックコントローラ）であり、動作シーケンスを制御するための制御プログラムに従ってロボット制御装置５０及びコンベヤ制御装置２０の動作タイミング等を統括的に制御する。
　撮像装置７１－７３は、ロボット制御装置５０に接続され、ロボット制御装置５０からの制御の下で動作する。本実施形態では、ロボット制御装置５０は、各撮像装置を制御する機能と、各撮像装置で撮像された画像データに対する画像処理を行う機能とを備えている。撮像装置７１－７３は、濃淡画像やカラー画像を撮像するカメラでも、距離画像や３次元点群を取得できるステレオカメラや３次元センサでもよい。本実施形態では、各撮像装置は２次元画像を取得するカメラであるものとする。
　コンベヤ制御装置２０は、コンベヤ２５のモータ２６を駆動制御することで、コンベヤ２５によるワークの搬送を制御する。
　教示装置４０は、例えば、教示内容やプログラムの調整を行うために用いられる。教示装置４０は、例えば、教示操作盤、タブレット端末、スマートフォンその他の情報処理装置であっても良い。
　ロボットシステム１００において、ロボット制御装置５０は、撮像装置７１－７３による検出の異常が検知されたことに応じて、ロボット１０を異常が検知された時点の位置に戻し停止させるように制御する。これにより、オペレータは、問題が発生した位置での調整を、ロボットを動かすことなく行うことができる。
　本実施形態の構成は、視覚センサを用いて各種処理（検出、判定など）を実行し得るロボットシステムに適用可能であるが、ここでは、例示として、ロボット１０がスタンド２に立て掛けられているワーク９１を把持して、コンベヤ２５上を搬送されるワーク８１に取り付ける作業を行う構成について記載する。例示として、ワーク９１は、車両のドアであり、ワーク８１は、ドアを取り付ける車体であるものとする。ロボット１０は、コンベヤ２５上を図１中の矢印方向へ次々と搬送されてくるワーク８１に対してワーク９１を取り付ける作業を繰り返し実行し、その間、撮像装置７１－７３による検出対象の撮像・検出動作が繰り返し実行される。
　図２は、上位制御装置６０及びロボット制御装置５０のハードウェア構成例を表す図である。上位制御装置６０は、プロセッサ６１に対して、メモリ６２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、表示部６３、キーボード（或いはソフトウェアキー）等の入力装置により構成される操作部６４、入出力インタフェース６５等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。ロボット制御装置５０は、プロセッサ５１に対してメモリ５２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、入出力インタフェース５３、各種操作スイッチを含む操作部５４等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。また、教示装置４０も、プロセッサ、メモリ、表示部、操作部、各種入出力インタフェース等を有する一般的なコンピュータとしての構成を備えていても良い。
　図３は、ロボット制御装置５０及び上位制御装置６０の機能ブロック図である。図３に示すように、ロボット制御装置５０は、教示装置４０からの指令に或いは動作プログラム１５５にしたがってロボット１０（及びハンド３０）の動作を制御する動作制御部１５１と、撮像装置７１－７３の制御並びに撮像画像に対する画像処理を実行する画像処理部１５２と、撮像装置７１－７３のいずれかによる検出において異常が検知されたことに応じて、ロボット１０を異常が検出された時点の位置に戻すように制御する異常検出時処理部１５３とを有する。情報記録部１５４は、異常が検出された時点のロボットの１０の位置その他の情報を取得し記録する。異常検出時処理部１５３は、撮像装置７１－７３のいずれかによる検出において異常が検知されたことに応じて、上位制御装置６０に対してその旨を示す信号を送出する機能も備えている。
　上位制御装置６０は、制御プログラム１６４に従ってロボット制御装置５０及びコンベヤ制御装置２０の動作シーケンスを制御する制御部１６１と、ロボット制御装置５０から、上述の異常を検知した旨の信号を受信したことに応じて、コンベヤ２５を異常が検出された時点の位置に戻すように制御する異常時処理部１６２とを備える。情報記録部１６３は、異常が検出された時点におけるコンベヤ２５の位置その他の情報を取得し記録する。
　ここで、ロボット１０が所定の作業を実行する間に行われる撮像装置７１－７３による対象の検出動作例について説明する。撮像装置７１は、固定カメラであり、ロボット１０がスタンド２に立て掛けられているワーク８１を把持した際に、一度だけ、その状態を撮像し、把持ズレを検出する。
　撮像装置７２、７３は、ロボット１０のアーム先端部に固定されている。撮像装置７２、７３はそれぞれ、ロボット１０がワーク９１をワーク８１に対して取り付ける際の取付け位置近辺を撮影するように、撮影方向が設定されている。撮像装置７２、７３は、ロボット１０がワーク９１を移動させながらワーク８１に取り付ける作業を行う間、撮像を繰り返す。
　このような取付け作業の一環として実行される、撮像装置７２或いは７３を用いたワーク８１に対するワーク９１の位置合わせ制御について説明する。ここでは、撮像装置７２の撮像画像を用いる場合について記載する。位置合わせ制御では、ロボット１０がワーク９１をワーク８１に取り付け可能な位置に移動させた段階で、撮像装置７２によりその状態を撮像し、ロボット１０の位置を調整する制御を実行する。
　ロボット１０がワーク９１をワーク８１に取り付け可能な位置（ここでは、ワーク９１を鉛直下方に移動させてワーク９１のピンをワーク８１の穴に挿入可能な位置とする）にある場合の、正常時における、撮像装置７２による撮像画像を図４に示す。この画像は、ロボット１０が正しい位置にある場合の画像であるため、以下では基準画像２６１とも称することとする。
　ロボット制御装置５０の画像処理部１５２は、ワーク８１、ワーク９１において、予め定められた特徴的部分である特徴部位の特徴量を検出する機能を有する。また、画像処理部１５２は、ワーク８１の特徴量と、ワーク９１の特徴量との差を相対量として算出する機能を有する。画像処理部１５２は、算出された相対量に基づいて、ロボット１０を動作させる指令を生成する。
　ロボットシステム１００では、撮像装置７２、７３で撮像された画像に基づいて、コンベヤ２５にて搬送されるワーク８１に対するワーク９１の位置合わせが行われる。具体的には、ワーク８１（車体）の突出部８２及び８３の穴部８２ａ及び８３ａ（図６参照）に対してワーク９１（ドア）のピン（不図示）を差し込む際の位置合わせが行われる。
　画像処理部１５２は、ロボット１０により実際の作業が行われる前、以下のような手順（Ａ１）から（Ａ３）にて、基準画像２６１における相対位置量を算出する。
（Ａ１）画像処理部１５２は、ワーク８１の位置を検出するための第１の特徴部位として突出部８２の上面を検出し、ワーク９１の位置を検出するための第２の特徴部位としてワーク９１の突出部９２の上面を検出する。なお、特徴部位として、ワークの一部分、ワークの表面に形成された模様、ワークの表面に記載された線または図などを採用することができる。特徴部位の検出方法としては、それぞれのワーク８１、９１の基準となるベース画像を予め準備しておいても良い。ベース画像と撮像装置７２にて撮像した画像とを用いてテンプレートマッチング等の方法により、撮像装置７２にて撮像した画像における特徴部位を検出することができる。
　（Ａ２）次に、画像処理部１５２は、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。撮像装置７２により撮像された画像には、スクリーン座標系２５２が設定されている。スクリーン座標系２５２は、画像における任意の点を原点に設定したときの座標系である。スクリーン座標系２５２は、互いに直交するｕ軸及びｖ軸を有する、スクリーン座標系２５２は、撮像装置７２の視覚センサ座標系に対応する。本実施形態における位置に関する特徴量は、画像におけるスクリーン座標系２５２のｕ軸の座標値およびｖ軸の座標値である。画像処理部１５２は、基準画像２６１において検出された特徴部位に基づいて、特徴部位に設定された設定点Ｐ１，Ｐ２の位置を検出することができる。画像処理部１５２は、第１の特徴量として、設定点Ｐ１のスクリーン座標系２５２の座標値（u1b，v1b）を検出する。また、特徴量検出部は、第２の特徴量として、設定点Ｐ２のスクリーン座標系２５２の座標値（u2b，v2b）を検出する。
　（Ａ３）次に、画像処理部１５２は、基準画像における第１の特徴量と第２の特徴量との間の相対量を算出する。画像処理部１５２は、ロボット１０の位置の制御を行うため、相対量として相対位置量を算出する。相対位置量は、第１の特徴量と第２の特徴量との差である。例えば、画像処理部１５２は、相対位置量として、第１の特徴量の座標値と第２の特徴量の座標値との差（u1b-u2b，v1b-v2b）を算出する。算出された基準画像２６１における相対位置量は、基準相対位置量として記憶される。
　このように画像処理部１５２は、基準画像２６１における相対位置量を算出することができる。なお、本実施形態では、基準画像２６１における相対位置量は、予め算出されて記憶部に記憶されているものとする。
　図５に、位置合わせ制御におけるフローチャートを示す。本処理は、ロボット制御装置５０のプロセッサ５１による制御の下で実行される。ロボット制御装置５０がワーク９１をワーク８１に取り付け可能な位置まで近づける制御を実施した後に、ステップＳ１０１において、動作制御部１５１は、撮像装置７２にてワーク８１及び９１を撮像する。
　図６に、ステップＳ１０１において撮像装置７２により撮像した画像２６２を示す。画像２６２には、第１の特徴部位である突出部８２の上面の画像と、第２の特徴部位である突出部９２の上面の画像とが含まれている。画像２６２では、ワーク８１に対してワーク９１は、矢印２０１に示すようにスクリーン座標系２５２のｕ軸の正側にずれている。
　ステップＳ１０２では、画像処理部１５２は、撮像装置７２により撮像した画像２６２の第１の特徴部位および第２の特徴部位を検出する。ここでは、第１の特徴部位としてワーク８１の突出部８２の上面を検出し、第２の特徴部位としてワーク９１の突出部９２の上面を検出する。
　次に、ステップＳ１０３では、画像処理部１５２は、撮像装置７２にて撮像した画像における第１の特徴量及び第２の特徴量を検出する。画像処理部１５２は、第１の特徴部位に関する第１の特徴量として、設定点Ｐ１のスクリーン座標系２５２の座標値（u1m，v1m）を検出し、第２の特徴部位に関する第２の特徴量として、設定点Ｐ２のスクリーン座標系の座標値（u2m，v2m）を算出する。
　次に、ステップＳ１０４では、画像処理部１５２は、第１の特徴量と第２の特徴量との差を相対位置量として算出する。撮像装置７２にて撮像した画像２６２における相対位置量は、第１の特徴量の座標値と第１の特徴量の座標値との差（u1m-u2m，v1m-v2m）になる。
　次に、ステップＳ１０５において、画像処理部１５２は、画像２６２における相対位置量と基準画像２６１における相対位置量との差である相対位置量の差を算出する。相対位置量の差は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u2m）-（u1b-u2b）,（v1m-v2m）-（v1b-v2b）］にて表すことができる。
　次に、ステップＳ１０６において、相対位置量の差が予め定められた範囲内か否かを判定する。相対位置量の差が、予め定めた範囲内である場合に（Ｓ１２０：ＹＥＳ）、ワーク８１に対するワーク９１の位置合わせが完了していると見なし、本処理を終了する。
　他方、相対位置量の差が予め定めた範囲外である場合には（Ｓ１２０：ＮＯ）、ワーク８１に対してワーク９１が所望の位置に到達していないと判定することができる。この場合、処理をステップＳ１０７に進める。
　ステップＳ１０７において、画像処理部１５２は、相対位置量の差に基づいて、ロボット１０の駆動方法を設定する。画像処理部１５２は、基準座標系におけるロボットの移動方向及び移動量を設定する。本実施形態では、スクリーン座標系２５２とロボット１０の基準座標系との相対位置関係に基づいて、相対位置量の差に対するロボット１０の位置の移動方向が予め定められている。例えば、スクリーン座標系のｕ軸の正の値または負の値に対してロボットの位置の移動方向が、以下の様に基準座標系にて定められる。ｕ軸に関する相対位置量の差が正の値である場合に、基準座標系のＸ軸、Ｙ軸、及びＺ軸の座標値を用いて（１，１，０）の移動方向が定められる。また、ｙ軸に関する相対位置量の差が正である場合に、基準座標系のＸ軸、Ｙ軸、及びＺ軸の座標値を用いて（０，０，１）の移動方向が定められる。
　更に、相対位置量の差に対するロボットの位置の移動量の算出方法が例えば、以下の様に定められている。ｕ軸に対応する方向におけるロボットの位置の移動量は、ｕ軸に関する値（（u1m-u2m）-（u1b-u2b））に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボットの位置の移動量は、ｖ軸に関する値（（v1m-v2m）-（v1b-v2b））に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系２５２の各軸に対応する方向において、ロボット１０の位置の移動量を算出することができる。
　次に、ステップＳ１０８において、上述のように算出されたロボットの位置の移動方向及び移動量に基づいてロボット１０を駆動する。画像処理部１５２は、ロボットの位置の移動方向及び移動量に基づいて、ロボット１０を駆動する移動指令を生成する。画像処理部１５２は、移動指令を動作制御部１５１に送出する。動作制御部１５１は、移動指令に基づいてロボット１０の位置を制御する。そして、ステップＳ１１５からの処理が繰り返される。このような制御により、徐々にワーク９１の位置を所望の位置に近づけることができる。
　画像処理部１５２は、撮像装置７１－７３のいずれかによる検出動作における異常を検知する機能を有する。異常検知の例として、以下のような状況が有り得る。
（Ｂ１）画像中で検出対象（例えば特徴部位）が検出されない状態が連続する。
（Ｂ２）動きのある検出対象を連続的に撮像する場合において、検出される検出対象の位置が連続的でない（予期されない位置にある）状況が生じる。
　図７は、ロボットシステム１００において撮像装置による検出の異常が検知された場合に実行される異常検出時処理を表すフローチャートである。異常検出時処理においてステップＳ１からＳ６で示されるフローは、ロボット制御装置５０のプロセッサ５１の制御の下で実行され、ステップＳ７からＳ１０で示されるフローは、上位制御装置６０のプロセッサ６１による制御の下で実行される。
　上記に例示した状況（Ｂ１）或いは（Ｂ２）の発生により、撮像装置７１－７３のいずれかによる検出の異常が検知されたものとする（ステップＳ１）。
　ステップＳ２では、ロボット制御装置５０（異常検出時処理部１５３）は、上位制御装置６０に対して異常が検知されたことを示す信号を送出する。
　次に、異常検出時処理部１５３（情報記録部１５４）は、ロボット１０の現在位置（位置Ａ）を取得する（ステップＳ３）。なお、ロボット１０の位置には姿勢も含まれる。そして、ロボット制御装置５０（異常検出時処理部１５３）は、ロボット１０を安全に停止させるため減速停止させる（ステップＳ４）。
　次に、ロボット制御装置５０（異常検出時処理部１５３）は、ロボット１０が停止したか否かを判定する（ステップＳ５）。ロボット制御装置５０（異常検出時処理部）は、ロボットが停止するのを待つ（Ｓ５：ＮＯ）、
　ロボットが停止すると（Ｓ５：ＹＥＳ）、ロボット制御装置５０（異常検出時処理部１５３）は、ロボット１０を、異常が検知された時点の位置Ａに移動させ停止させる。
　ロボット制御装置５０から異常の検知を示す信号を受信すると、上位制御装置６０（情報記録部１６３）は現在のコンベヤの位置（位置Ｂ）情報を取得する（ステップＳ７）。次に、上位制御装置６０（異常時処理部１６２）は、安全面に配慮し、コンベヤ２５を減速停止させる（ステップＳ８）。
　次に、上位制御装置６０（異常時処理部１６２）は、コンベヤ２５が停止したか否かを判定する（ステップＳ９）。上位制御装置６０（異常時処理部１６２）は、コンベヤ２５が停止するまで待つ（Ｄ９：ＮＯ）。コンベヤ２５が停止すると（Ｓ９：ＹＥＳ）、上位制御装置６０（異常時処理部１６２）は、コンベヤ２５を異常発生時の位置である位置Ｂに移動させ停止させる（ステップＳ１０）。以上の処理により、撮像装置の検出動作における異常が検知された場合に、ロボット１０及びコンベヤ２５を、異常が検知された時点の位置に戻すことができる。
　ロボット１０及びコンベヤ２５を異常が検出された時点の位置に戻すことに加えて、ロボットシステム１００において更に次のような動作（Ｃ１）から（Ｃ３）の１以上が行われても良い。
（Ｃ１）ロボットシステムを構成する各機器が異常が検知された時点に戻った状態で、各撮像装置による撮像を行い、撮像画像を提示する。
（Ｃ２）異常の内容に関する情報を提示する。
（Ｃ３）異常が検知された時点におけるロボットシステムの動作条件に関する情報を提示する。
　上記動作（Ｃ１）は、ロボット１０及びコンベヤ２５が異常が検知された時点に戻った後、異常検出時処理部１５３が、画像処理部１５２を介して各撮像装置７１－７３を作動させ、撮像画像を教示装置４０の表示部４１に表示させるように動作することで実現され得る。このような撮像画像には、異常の状態が再現され得るため、オペレータは、このような撮像画像を観測しながら、動作プログラム中のロボット１０の位置の調整、ロボット１０の動作タイミングの調整、或いは撮像装置の設置位置の調整等を的確に進めることができる。
　上記動作（Ｃ２）は、例えば、ロボット制御装置５０の情報記録部１５４が、画像処理部１５２或いは動作制御部１５１と連携することにより、異常が検知された際の異常の内容に関する情報を取得し、異常検出時処理部１５３が、情報記録部１５４により取得された異常の内容に関する情報を教示装置４０に表示することで実現され得る。図８は、撮像装置の検出の異常が検知された場合の異常の内容を、異常検出時処理部１５３により教示装置４０の表示画面（表示部４１）に表示した場合の例を示している。本例では、異常の要因として、撮像装置（本例では、カメラ＃２）において対象物が未検出であった旨のメッセージを提示するエラー表示画面１４５が表示されている。この場合、オペレータは、ここで提示される異常の内容に関する情報を手掛かりとして、動作プログラム中のロボット１０の位置の調整、ロボット１０の動作タイミングの調整、撮像装置の設置位置の調整等を的確に進めることができる。
　すなわち、このように、異常の内容に関する情報をオペレータに提示する構成とすることで、異常の回復のための調整を効率的に進めることが可能になる。
　上記動作（Ｃ３）の例として、ロボット制御装置５０の情報記録部１５４は、異常が検知された時点におけるロボット１０の動作条件（例えば、ロボットの位置、姿勢、動作速度など）に関する情報を記録するように構成されていても良い。また、上位制御装置６０の情報記録部１６３は、異常が検知された時点におけるコンベヤ２５の動作条件（位置、速度など）に関する情報を記録するように構成されていても良い。これらのロボット１０、コンベヤ２５の動作条件に関する情報についても、例えば、教示装置４０の表示部４１に表示されても良い。このような動作条件に関する情報も、オペレータによる調整を効率化し得る。
　なお、上記動作（Ｃ１）から（Ｃ３）による情報の提示は、上述の例以外にも、ロボットシステム１００内において表示部を有する装置（例えば、上位制御装置６０）上で行っても良い。
　以上説明したように、本実施形態によれば、ロボットが異常の要因となる検出がなされた時点の位置に戻り停止するので、オペレータは、問題発生箇所での教示、調整を、ロボットを問題発生箇所に動かすという負担の重い作業を要することなく行うことができる。したがって、ロボットシステムに問題が生じた場合の教示、調整の手間を大きく軽減し、ロボットシステム立ち上げ等に要する時間を短縮することができる。
　以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
　図１に示したロボットシステム１００の構成は例示であって、その構成要素の全てが必須の構成要素ではないことが理解されるべきである。例えば、ロボットシステム１００からコンベヤ２５及びコンベヤ制御装置２０を省略したようなシステム構成も有り得る。
　上述の実施形態は、視覚センサとしての撮像装置により物体を検出して所定の作業を実行するロボットシステムに関するものであったが、本発明は、物体を検出するための他の種類のセンサ（近接センサ、距離センサ等）を有するロボットシステムに適用されても良い。なお、このような他の種類のセンサがロボットシステムにおいて用いられる場合には、上記動作（Ｃ１）においてはセンサの出力結果を提示するようにする。
　ロボット、或いはロボット共に各可動機体を問題発生時の位置に戻して各種調整を行いシステムの立ち上げに要する時間を短縮化し得るという、上述の実施形態に示された構成は、様々な形態のロボットシステムに適用し得る。
　ここで、図９及び図１０を参照して他の実施形態について説明する。ここで示す実施形態は、ロボットに搭載した視覚センサにより作業空間に配置したマーカを検出することで、作業空間に対するロボットの位置を補正可能に構成されたロボットシステムに関するものである。図９は、ロボットシステム５００の機器構成を表す図である。ロボットシステム５００は、工作機械５１０と、ロボット５２０と、ロボット５２０を制御するロボット制御装置５３０と、ロボット５２０及びロボット制御装置５３０を搬送するための搬送装置５８１とを含む。ロボット５２０は、搬送装置５８１に搭載された状態で工作機械５１０の前の所定の位置に配置され、工作機械５１０内への作業対象物（以下、ワークと記載する）のロード／アンロード等の所定の作業を実行する。すなわち、ロボットシステム５００は、工作機械５１０へのワークのロード／アンロードをロボット５２０により自動化する自動化システムとして構成されている。搬送装置５８１は、例えば、台車又はＡＧＶ(Automated Guided Vehicle；無人搬送車）である。
　教示装置５５０は、ロボット制御装置５３０に無線或いは有線接続され、ロボット５２０を教示するために用いられる。なお、ロボットシステム５００の実運用時には、教示装置５５０を用いて作成された制御プログラムはロボット制御装置５３０内に登録されている状態となるため、教示装置５５０はロボットシステム５００から省かれても良い。
　図９のようなロボットシステム５００において、ロボット５２０がワークのロード／アンロード等の作業を実行すると、ロボット５２０を搭載した搬送装置５８１の位置が変わってしまう。したがって、ロボット５２０は、工作機械５１０に対するロボット５２０の位置ずれを計測し、工作機械５１０に対して正しく作業を行うことができるように構成される必要がある。そのため、ロボット５２０のアーム先端部５２１には視覚センサ５７１が搭載され、ロボット５２０（ロボット制御装置５３０）は、視覚センサ５７１を用いて作業空間（工作機械５１０）に対するロボット５２０の位置ずれを検出し、当該位置ずれを補正して作業を実行するように構成される。
　教示装置５５０は、ロボット５２０のアーム先端部５２１に搭載した視覚センサ５７１により、作業空間（工作機械５１０）の所定の位置に設置されたマーカ５０４の３次元位置を計測し、ロボット５２０の作業空間に対する所期の位置からの位置ずれを計測するプログラム（以下、このようなプログラムを計測プログラムとも称する）を作成する機能を提供する。教示装置５５０を用いて作成された計測プログラムを含む制御プログラムは、ロボット制御装置５３０に登録され、以後、ロボット５２０（ロボット制御装置５３０）は、ロボット５２０の作業空間に対する所期の位置からの位置ずれを検出して位置補正を行い所定の作業を実行するよう動作することができる。
　視覚センサ５７１は、２次元カメラであってもよく、或いは３次元位置検出器であっても良い。本実施形態では、視覚センサ５７１は２次元カメラであるものとする。視覚センサ５７１は、ロボット制御装置５３０に接続されている。ロボット制御装置５３０は、視覚センサ５７１を制御するための機能、視覚センサ５７１が撮像した画像に対する各種画像処理を行う機能等を有しているものとする。また、ロボット５２０を基準とする視覚センサ５７１の位置を示すデータを含むキャリブレーションデータは、ロボット制御装置５３０のメモリに予め記憶されているものとする。
　図１０は、ロボット制御装置５３０の機能ブロック図である。図１０に示すように、ロボット制御装置５３０は、制御プログラムその他の各種情報を記憶する記憶部６３１と、制御プログラムにしたがってロボット５２０の動作を制御する動作制御部６３２と、マーカ位置計測部６３３と、相対位置計算部６３４と、計測精度評価部６３５と、異常検出時処理部６３６とを備える。
　マーカ位置計測部１３３は、視覚センサ５７１を用いてマーカ５０４の３次元位置を計測する。本実施形態では、一例として、マーカ位置計測部６３３は、２次元カメラとしての視覚センサ５７１を用いてステレオ計測法によりマーカ５０４の位置計測を行う。すなわち、マーカ位置計測部６３３は、２次元カメラからなる視覚センサ５７１の位置を変えて２つの異なる位置から同一のマーカ５０４を撮像し、そのマーカ５０４の３次元位置を算出する。この手法は、比較的安価な２次元カメラを用いることで位置計測システムを低コストで実現できるという利点をもたらす。なお、マーカ（ターゲットマークや視覚マーカとも称される）の位置を計測するための当分野で知られた他の手法が用いられても良い。
　記憶部６３１には、ロボット５２０のアーム先端部５２１に設定した座標系（メカニカルインタフェース座標系）を基準とした２次元カメラ（視覚センサ５７１）の位置を示すキャリブレーションデータが記憶されている。一方、ロボット制御装置５３０（マーカ位置計測部６３３）は、ロボット５２０の動作時におけるアーム先端部５２１の位置及び姿勢を把握することができる。したがって、ロボット制御装置５３０（マーカ位置計測部６３３）は、ロボット５２０の動作に応じて、メカニカルインタフェース座標系をロボット座標系に変換することで、２次元カメラ（視覚センサ５７１）の撮像時のセンサ座標系とロボット座標系とを対応付けることができる。これにより、マーカ位置計測部６３３において、対象（マーカ５０４）の位置をロボット座標系における３次元位置として求めることが可能となる。
　相対位置計算部６３４は、計測されたマーカ位置に基づいて、作業空間（工作機械５１０）とロボット５２０の相対位置（言い換えると、作業空間に対するロボット５２０の所期の位置からのずれ量）を求める。
　動作制御部６３２は、計算された作業空間とロボットとの相対位置関係（作業空間に対するロボット５２０の所期の位置からのずれ量））に基づいて、ロボット５２０が規定の位置及び姿勢から補正された正しい位置及び姿勢で作業を実行するようにロボット５２０を制御する。
　計測精度評価部６３５は、マーカ位置計測部６３３が一つのマーカ５０４の位置を計測した計測結果の精度を評価する機能を有する。
　マーカ位置計測部６３３は、計測精度評価部６３５による計測精度が低いと評価されている場合に計測するマーカ数を増加させるように構成されていても良い。一例として、３つのマーカを用いて計測を行う場合には、次のように行う。３つのマーカを教示点の周囲の位置に配置する。計測した第１番目のマーカの位置を原点位置、計測した２番目のマーカの位置をＸ軸方向の位置、計測した３番目のマーカの位置をＸＹ平面状にあるとして座標系（作業空間の座標系）の位置・姿勢を把握する。
　ロボット制御装置５３０は、上述の手法にてロボット５２０と作業空間（工作機械５１０）との相対位置関係を把握した後、ロボット５２０と作業空間との位置関係が所期の位置関係に維持されるように補正動作を実行しながら、ロボット１に所定の作業（工作機械５１０内へのワークのロード／アンロード等）を実行させる。
　異常検出時処理部６３６は、ロボット１が所定の作業を実行する過程で、マーカの検出結果を用いた補正動作に起因する異常が検知された場合、ロボット５２０を制御し視覚センサ５７１を、マーカの撮像位置（すなわち、異常の要因となる検出が行われた位置）まで戻して停止させる。ここで、補正動作に起因する異常とは、例えば、ロボット５２０がワークを配置する際に正しい位置に配置できない場合（着座エラー等）である。このように、補正動作に起因する異常が検出された場合、ロボット５２０（視覚センサ５７１）が自動的に撮像位置（すなわち、補正動作を生成するための撮像が行われた位置）に戻るため、オペレータは、マーカの検出機能に関する調整（パラメータ調整等）を迅速かつ容易に行うことができるようになる。
　上述の図１から図８を参照して説明したロボットシステム１００と、図９から図１０を参照して説明したロボットシステム５００は、ロボットと、センサによる検出対象に対する検出結果に基づいてロボットに所定の作業を実行させるように制御するロボット制御装置と、を具備し、ロボット制御装置は、センサによる検出動作に係わる異常が検知されたことに応じて、ロボットを異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部を備える、ロボットシステムである、と位置付けることができる。
　図３、図１０に示した機能ブロック図における機能配分は例示であり、機能配分に関しても様々な例があり得る。例えば、上述の実施形態における画像処理部１５２としての機能を有する視覚センサ制御装置をロボット制御装置とは別体の装置として配置する構成も有り得る。
　図３、図１０に示したロボット制御装置や上位制御装置の機能ブロックは、これらの装置のプロセッサが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。
　上述した実施形態における図５の位置合わせ制御、図７の異常検出時処理等の各種処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。
　１０　　ロボット
　２０　　コンベヤ制御装置
　２５　　コンベヤ
　３０　　ハンド
　４０　　教示装置
　４１　　表示部
　５０　　ロボット制御装置
　５１　　プロセッサ
　５２　　メモリ
　５３　　入出力インタフェース
　５４　　操作部
　６０　　上位制御装置
　６１　　プロセッサ
　６２　　メモリ
　６３　　表示部
　６４　　操作部
　６５　　入出力インタフェース
　７１、７２、７３　　撮像装置
　８１、９１　　ワーク
　１００　　ロボットシステム
　１５１　　動作制御部
　１５２　　画像処理部
　１５３　　異常検出時処理部
　１５４　　情報記録部
　１５５　　動作プログラム
　１６１　　制御部
　１６２　　異常時処理部
　１６３　　情報記録部
　１６４　　制御プログラム
　５００　　ロボットシステム
　５０４　　マーカ
　５１０　　工作機械
　５２０　　ロボット
　５３０　　ロボット制御装置
　５５０　　教示装置
　５７１　　視覚センサ
　６３１　　記憶部
　６３２　　動作制御部
　６３３　　マーカ位置計測部
　６３４　　相対位置計算部
　６３５　　計測精度評価部
　６３６　　異常検出時処理部

Claims (9)

  1. 　ロボットと、
    　センサによる検出対象に対する検出結果に基づいて前記ロボットに所定の作業を実行させるように制御するロボット制御装置と、を具備し、
    　前記ロボット制御装置は、前記センサによる検出動作に係わる異常が検知されたことに応じて、前記ロボットを前記異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部を備える、ロボットシステム。
  2. 　前記ロボット制御装置は、前記センサにより前記検出対象を検出しながら前記ロボットに前記所定の作業を実行させ、
    　前記異常検出時処理部は、前記センサによる検出動作において前記異常が検知されたことに応じて、前記ロボットを前記異常が検知された時点の位置まで戻し停止させるように制御する、請求項１に記載のロボットシステム。
  3. 　物品を搬送する搬送装置と、
    　前記搬送装置及び前記ロボット制御装置を制御する上位制御装置と、を更に具備し、
    　前記異常検出時処理部は、さらに、前記異常が検知されたことに応じて、前記上位制御装置に対して、前記異常が検知されたことを示す信号を出力し、
    　前記上位制御装置は、前記信号を受信することに応じて、前記搬送装置を前記異常が検知された時点の位置まで戻し停止させるように制御する異常時処理部を備える、請求項１又は２に記載のロボットシステム。
  4. 　前記ロボット制御装置に接続され、前記ロボットを教示するための教示装置をさらに具備する、請求項１から３のいずれか一項に記載のロボットシステム。
  5. 　前記異常検出時処理部は、前記ロボットが前記異常が検知された時点の位置に戻った状態で前記センサを作動させ、前記センサの出力結果を前記教示装置の表示画面に表示させる、請求項４に記載のロボットシステム。
  6. 　前記センサは、撮像装置であり、
    　前記出力結果は、前記撮像装置による撮像画像である、請求項５に記載のロボットシステム。
  7. 　前記異常検出時処理部は、前記異常が検知されたことに応じて、前記異常の内容に関する情報を前記教示装置の表示画面に表示させる、請求項４から６のいずれか一項に記載のロボットシステム。
  8. 　前記異常検出時処理部は、前記異常が検出された時点の前記ロボットの動作条件に関する情報を前記教示装置の表示画面に表示させる、請求項４から７のいずれか一項に記載のロボットシステム。
  9. 　前記センサは、前記ロボットに搭載された視覚センサであり、
    　前記ロボット制御装置は、前記視覚センサにより作業空間に配置された１又は複数のマーカを検出することにより、前記作業空間に対する前記ロボットの位置を補正する補正動作を実行するように構成され、
    　前記異常は、前記補正動作に起因するものであり、
    　前記異常検出時処理部は、前記異常が検知されたことに応じて、前記視覚センサが前記マーカを検出した位置に戻るように前記ロボットを制御する、請求項１に記載のロボットシステム。
PCT/JP2021/035404 2021-09-27 2021-09-27 ロボットシステム WO2023047588A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/035404 WO2023047588A1 (ja) 2021-09-27 2021-09-27 ロボットシステム
CN202180102110.7A CN117940859A (zh) 2021-09-27 2021-09-27 机器人系统
DE112021007987.5T DE112021007987T5 (de) 2021-09-27 2021-09-27 Robotersystem
TW111132417A TW202313285A (zh) 2021-09-27 2022-08-29 機器人系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035404 WO2023047588A1 (ja) 2021-09-27 2021-09-27 ロボットシステム

Publications (1)

Publication Number Publication Date
WO2023047588A1 true WO2023047588A1 (ja) 2023-03-30

Family

ID=85720306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035404 WO2023047588A1 (ja) 2021-09-27 2021-09-27 ロボットシステム

Country Status (4)

Country Link
CN (1) CN117940859A (ja)
DE (1) DE112021007987T5 (ja)
TW (1) TW202313285A (ja)
WO (1) WO2023047588A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62278610A (ja) * 1986-05-28 1987-12-03 Nissan Motor Co Ltd 作業ロボツトの制御装置
JPH04101102U (ja) * 1991-01-31 1992-09-01 豊田工機株式会社 倣い加工装置
JPH07129217A (ja) * 1993-10-29 1995-05-19 Fanuc Ltd レーザセンサを用いたロボット制御方法
JPH1011124A (ja) * 1996-06-20 1998-01-16 Fanuc Ltd ロボットの後退実行機能を備えたロボット制御装置
US6360143B1 (en) * 2001-04-27 2002-03-19 Fanuc Robotics North America Error recovery methods for controlling robotic systems
JP2005103681A (ja) * 2003-09-29 2005-04-21 Fanuc Ltd ロボットシステム
WO2010092981A1 (ja) * 2009-02-12 2010-08-19 三菱電機株式会社 産業用ロボットシステム
JP2021086194A (ja) * 2019-11-25 2021-06-03 ファナック株式会社 プログラム再開支援装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849631B2 (ja) 2018-04-23 2021-03-24 ファナック株式会社 作業ロボットシステムおよび作業ロボット

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62278610A (ja) * 1986-05-28 1987-12-03 Nissan Motor Co Ltd 作業ロボツトの制御装置
JPH04101102U (ja) * 1991-01-31 1992-09-01 豊田工機株式会社 倣い加工装置
JPH07129217A (ja) * 1993-10-29 1995-05-19 Fanuc Ltd レーザセンサを用いたロボット制御方法
JPH1011124A (ja) * 1996-06-20 1998-01-16 Fanuc Ltd ロボットの後退実行機能を備えたロボット制御装置
US6360143B1 (en) * 2001-04-27 2002-03-19 Fanuc Robotics North America Error recovery methods for controlling robotic systems
JP2005103681A (ja) * 2003-09-29 2005-04-21 Fanuc Ltd ロボットシステム
WO2010092981A1 (ja) * 2009-02-12 2010-08-19 三菱電機株式会社 産業用ロボットシステム
JP2021086194A (ja) * 2019-11-25 2021-06-03 ファナック株式会社 プログラム再開支援装置

Also Published As

Publication number Publication date
CN117940859A (zh) 2024-04-26
TW202313285A (zh) 2023-04-01
DE112021007987T5 (de) 2024-05-23

Similar Documents

Publication Publication Date Title
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
CN107225569B (zh) 定位装置
CN108214454B (zh) 机器人系统、机器人控制装置及机器人控制方法
EP1607194B1 (en) Robot system comprising a plurality of robots provided with means for calibrating their relative position
US11707842B2 (en) Robot system and coordinate conversion method
US20170072566A1 (en) Measurement system used for calibrating mechanical parameters of robot
US11014233B2 (en) Teaching point correcting method, program, recording medium, robot apparatus, imaging point creating method, and imaging point creating apparatus
JP5321532B2 (ja) ロボットキャリブレーション装置及びキャリブレーション方法
US10864632B2 (en) Direct teaching method of robot
US20140156072A1 (en) Apparatus and method for measuring tool center point position of robot
WO1995008143A1 (fr) Procede de correction de programmes d'apprentissage pour robots
JPH07311610A (ja) 視覚センサを用いた座標系設定方法
US11679508B2 (en) Robot device controller for controlling position of robot
KR20080088165A (ko) 로봇 캘리브레이션 방법
US11161697B2 (en) Work robot system and work robot
JP7281910B2 (ja) ロボット制御システム
US20190321967A1 (en) Work robot system and work robot
WO2023047588A1 (ja) ロボットシステム
JP2005052941A (ja) ワーク載置装置
US20200139551A1 (en) Robot system
JP7477633B2 (ja) ロボットシステム
WO2024062535A1 (ja) ロボット制御装置
JP2011093076A (ja) 情報処理方法及び装置並びにプログラム
JP4519295B2 (ja) ワークの位置ずれの測定方法
JP3125374B2 (ja) 検査装置の座標表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958460

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549303

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180102110.7

Country of ref document: CN