WO2021039896A1 - 制御装置、制御方法およびプログラム - Google Patents

制御装置、制御方法およびプログラム Download PDF

Info

Publication number
WO2021039896A1
WO2021039896A1 PCT/JP2020/032336 JP2020032336W WO2021039896A1 WO 2021039896 A1 WO2021039896 A1 WO 2021039896A1 JP 2020032336 W JP2020032336 W JP 2020032336W WO 2021039896 A1 WO2021039896 A1 WO 2021039896A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
task
work
tray
work area
Prior art date
Application number
PCT/JP2020/032336
Other languages
English (en)
French (fr)
Inventor
孝三 森山
亀山　晋
ヤ チュン ヴ
ブルックス ルーカス
Original Assignee
Ｊｏｈｎａｎ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｊｏｈｎａｎ株式会社 filed Critical Ｊｏｈｎａｎ株式会社
Priority to US17/635,009 priority Critical patent/US20220288784A1/en
Publication of WO2021039896A1 publication Critical patent/WO2021039896A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37631—Means detecting object in forbidden zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40203—Detect position of operator, create non material barrier to protect operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49152—Feedhold, stop motion if machine door is open, if operator in forbidden zone

Definitions

  • the present invention relates to a control device, a control method and a program.
  • Patent Document 1 a robot work environment monitoring device is known (see, for example, Patent Document 1).
  • This robot's work environment monitoring device is equipped with a camera that captures the robot's work area and a computer that detects moving objects based on the imaging results of the camera.
  • the computer is configured to issue a warning to the display when the moving object approaches the robot, and to perform a corresponding process such as stopping the robot.
  • the robot's task (work) is temporarily interrupted, and when a person leaves the robot's work area, the robot's task is restarted. It is possible to make it. However, if the position of the work is adjusted by a person who has entered the work area of the robot, it may be difficult for the robot to resume the task.
  • the present invention has been made to solve the above problems, and an object of the present invention is to appropriately restart a task when a person enters the work area of the robot and the execution of the task is interrupted. It is to provide control devices, control methods and programs that are capable.
  • the control device controls a robot that performs a task, and has an initialization processing execution unit that performs initialization processing before the robot executes the task, and a task to the robot after the initialization processing is performed. It is provided with a task execution unit for repeatedly executing a task, and a reinitialization processing execution unit for performing reinitialization processing when a person enters the work area of the robot while the robot is repeatedly executing a task.
  • the task execution unit is configured to interrupt the execution of the task when a person enters the work area of the robot, and to cause the robot to repeatedly execute the task after the reinitialization process is performed.
  • the control method controls a robot that performs a task, and a step of performing an initialization process before causing the robot to execute a task and a step of causing the robot to repeatedly execute a task after the initialization process is performed.
  • a person enters the work area of the robot while the robot is repeatedly executing the task the execution of the task is interrupted, and the step of performing the reinitialization process and the reinitialization process are performed. After that, the robot is provided with a step of repeatedly executing the task.
  • the program according to the present invention includes a procedure in which a computer performs an initialization process before causing a robot to execute a task, a procedure in which a robot repeatedly executes a task after the initialization process is performed, and a procedure in which the robot repeatedly executes a task. If a person enters the work area of the robot while the computer is working, the execution of the task is interrupted, the procedure for performing the reinitialization process, and the robot repeatedly executing the task after the reinitialization process is performed. It is for executing the procedure and.
  • control device when a person enters the work area of a robot and the execution of the task is interrupted, the task can be appropriately restarted.
  • the robot control system 100 is applied to, for example, a production site of a factory, and is configured to cause the robot 2 to perform a predetermined task (work) at the production site.
  • the robot 2 is not partitioned by a fence or the like, and a person can access the work area of the robot 2.
  • the robot control system 100 includes a control device 1, a robot 2, and an image pickup device 3.
  • the control device 1 is configured to control the robot 2 that performs a task.
  • the control device 1 is configured to perform an initialization process before causing the robot 2 to execute a task, and to cause the robot 2 to repeatedly execute the task after the initialization process is performed.
  • the control device 1 causes the robot 2 to execute a task by using the information obtained by the initialization process.
  • the task is a work performed independently by the robot 2, for example, a work of moving the work W of the point P1 to the tray T of the point P2. That is, as the task is repeatedly executed, the work W sequentially sent to the point P1 is sequentially moved to the tray T at the point P2 by the robot 2.
  • the initialization process includes, for example, calibration for converting the coordinate system of the imaging device 3 into the coordinate system of the robot 2, recognition of the work or tray, recognition of the position and orientation of the work or tray, and the movement locus of the robot 2. Includes settings for. Then, when the initialization process is performed, calibration, recognition of the work or tray, recognition of the position and orientation of the work or tray, and setting of the movement locus of the robot 2 are all performed. ..
  • This control device 1 includes a calculation unit 11, a storage unit 12, and an input / output unit 13.
  • the arithmetic unit 11 is configured to control the control device 1 by executing arithmetic processing based on a program or the like stored in the storage unit 12.
  • a program or the like is stored in the storage unit 12.
  • this program there are a program for causing the robot 2 to execute a task, a program for executing the initialization process of the robot 2, a program for executing the reinitialization process of the robot 2, and the like.
  • a robot 2 and an image pickup device 3 are connected to the input / output unit 13.
  • the "initialization processing execution unit”, “task execution unit”, and “reinitialization processing execution unit” of the present invention are realized by the arithmetic unit 11 executing the program stored in the storage unit 12. Further, the control device 1 is an example of the "computer” of the present invention.
  • the robot 2 has, for example, a multi-axis arm provided on the base and a hand as an end effector provided at the tip of the multi-axis arm.
  • the robot 2 is configured to hold a work by a hand and convey the held work.
  • the image pickup device 3 is configured to image the work area of the robot 2, and is provided to detect the entry and exit of a person from the work area of the robot 2.
  • the work area of the robot 2 is an area surrounding the robot 2, and includes an area through which the robot 2 moving during work and the work held by the robot 2 pass.
  • the image pickup result by the image pickup device 3 is input to the control device 1. Therefore, the control device 1 is configured to control the robot 2 based on the image pickup result of the image pickup device 3 and the like.
  • the robot 2 when the control device 1 causes the robot 2 to repeatedly execute a task and the entry of a person into the work area of the robot 2 is detected based on the image pickup result of the image pickup device 3, the robot 2 It is configured to suspend the execution of tasks. After that, the control device 1 performs a reinitialization process when a person leaving the work area of the robot 2 is detected based on the image pickup result of the image pickup device 3, and after the reinitialization process is performed, the robot 2 Is configured to let the task run repeatedly. The control device 1 causes the robot 2 to execute a task by using the information updated by the reinitialization process.
  • the reinitialization process includes, for example, recalibration for converting the coordinate system of the image pickup device 3 to the coordinate system of the robot 2, re-recognition of the work or tray, re-recognition of the position and orientation of the work or tray, and the robot. It includes resetting the movement trajectory of 2. Then, when the re-initialization process is performed, recalibration, re-recognition of the work or tray, re-recognition of the position and orientation of the work or tray, and resetting of the movement trajectory of the robot 2 are necessary. It is designed to be selectively performed.
  • step S1 of FIG. 2 it is determined whether or not the instruction to start executing the task of the robot 2 has been accepted. Then, when it is determined that the task execution start instruction has been accepted, the process proceeds to step S2. On the other hand, if it is determined that the task execution start instruction is not accepted, step S1 is repeated. That is, the control device 1 waits until it receives the task execution start instruction.
  • step S2 the initialization process of the robot 2 is performed. Specifically, calibration for converting the coordinate system of the image pickup device 3 to the coordinate system of the robot 2, recognition of the work or tray, recognition of the position and orientation of the work or tray, and setting of the movement trajectory of the robot 2. Is done.
  • step S3 the robot 2 is made to execute the task.
  • information about the work or tray recognized during the initialization process information about the position and orientation of the work or tray recognized during the initialization process, and information about the movement trajectory of the robot 2 set during the initialization process are displayed. It will be used. If the reinitialization process is performed in step S7, which will be described later, the task is executed by using the information updated (recalculated) at the time of the reinitialization process.
  • the information about the work W at the point P1 to the tray T at the point P2 is calculated using the imaging result of the imaging device 3.
  • the pick position where the hand of the robot 2 picks the work W is calculated based on the information about the work W and the information about the position and posture of the work W.
  • the place position where the hand of the robot 2 places the work W is calculated based on the information about the tray T and the information about the position and posture of the tray T.
  • the movement locus of the robot 2 is calculated based on the information about the pick position, the place position, the obstacle, and the like. That is, one cycle of the task of the robot 2 in this case is the movement of the hand to the pick position, the pick of the work W by the hand at the pick position, the movement from the pick position of the hand to the place position, and the place position. It is composed of work W places by hand, and they are performed in order when the task is executed.
  • step S4 it is determined whether or not the entry of a person into the work area of the robot 2 is detected based on the image pickup result of the image pickup device 3. Then, when it is determined that the entry of a person into the work area of the robot 2 is detected, the process proceeds to step S5. On the other hand, if it is determined that the entry of a person into the work area of the robot 2 has not been detected (when there is no person in the work area of the robot 2), the process proceeds to step S8.
  • step S5 the execution of the task by the robot 2 is interrupted. Then, for example, in order to prevent the robot 2 from interfering (collising) with the person who has entered the work area of the robot 2, the robot 2 is retracted to a predetermined retracted position.
  • step S6 it is determined whether or not the exit of a person from the work area of the robot 2 is detected based on the image pickup result of the image pickup device 3. Then, when it is determined that the exit of the person from the work area of the robot 2 is detected, the process proceeds to step S7. On the other hand, if it is determined that the exit of a person from the work area of the robot 2 has not been detected (when a person exists in the work area of the robot 2), the process returns to step S5. That is, the robot 2 is kept in the evacuation position until a person leaves the work area of the robot 2.
  • step S7 the reinitialization process of the robot 2 is performed.
  • the reinitialization process is performed in order to properly restart the task.
  • step S11 of FIG. 3 it is determined whether or not the calibration needs to be performed again. For example, if the brightness of the work area of the robot 2 is changed, the position of the base of the robot 2 is changed, or the position of the imaging device 3 is changed, recalibration is required. Judged. Then, when it is determined that recalibration is necessary, the process proceeds to step S12. On the other hand, if it is determined that recalibration is not necessary, the process proceeds to step S13.
  • step S12 recalibration, re-recognition of the work or tray, re-recognition of the position and orientation of the work or tray, and resetting of the movement locus of the robot 2 are performed. That is, by performing the same processing as the initialization processing, the coordination between the coordinate system of the robot 2 and the coordinate system of the imaging device 3 is redone, and each information used when executing the task is updated. To. After that, it moves to the end (moves to step S8 of FIG. 2).
  • step S13 it is determined whether or not it is necessary to re-recognize the work or tray. For example, when a work or tray is changed, it is determined that the work or tray needs to be recognized again. Then, when it is determined that the work or tray needs to be re-recognized, the work or tray is re-recognized in step S14, so that the information about the work or tray is updated and the process proceeds to step S15. On the other hand, if it is determined that the work or tray does not need to be re-recognized, the process proceeds to step S15.
  • step S15 it is determined whether or not it is necessary to re-recognize the position and posture of the work or tray. For example, when the position and orientation of the work or tray are adjusted, it is determined that the position and orientation of the work or tray need to be re-recognized. When it is determined that the position and orientation of the work or tray need to be re-recognized, the position and orientation of the work or tray are re-recognized in step S16, so that the position and orientation of the work or tray are re-recognized. The information regarding the above is updated, and the process proceeds to step S17. On the other hand, if it is determined that it is not necessary to re-recognize the position and posture of the work or tray, the process proceeds to step S17.
  • step S17 it is determined whether or not it is necessary to reset the movement trajectory of the robot 2. For example, when an obstacle is placed on the current movement locus, it is determined that the movement locus of the robot 2 needs to be reset. Then, when it is determined that the movement locus of the robot 2 needs to be reset, the movement locus of the robot 2 is reset in step S18, so that the information on the movement locus of the robot 2 is updated. Move to the end. On the other hand, if it is determined that it is not necessary to reset the movement locus of the robot 2, the robot 2 moves to the end.
  • step S8 of FIG. 2 it is determined whether or not the instruction to end the execution of the task of the robot 2 has been accepted. Then, when it is determined that the task execution end instruction has been accepted, the task execution is completed and the process proceeds to the end. On the other hand, if it is determined that the task execution end instruction is not accepted, the process returns to step S3. That is, the control device 1 causes the robot 2 to repeatedly execute the task until it receives the task execution end instruction.
  • the control device 1 causes the robot 2 to repeatedly execute the task after the initialization process is performed.
  • the control device 1 interrupts the execution of the task and performs the reinitialization process.
  • the control device 1 causes the robot 2 to repeatedly execute the task after the reinitialization process is performed.
  • the time required for the reinitialization process can be shortened by not performing the recalibration.
  • the brightness of the work area of the robot 2 was changed by a person who entered the work area of the robot 2, the position of the base of the robot 2 was changed, and the position of the image pickup device 3 was changed.
  • the coordinate system of the robot 2 and the coordinate system of the image pickup apparatus 3 can be realigned.
  • the work or tray when it is not necessary to re-recognize the work or tray during the re-initialization process, the work or tray is not re-recognized, so that the time required for the re-initialization process can be shortened. it can.
  • the changed work or tray is re-recognized, so that the work or tray can be changed. it can.
  • the position and orientation of the work or tray are not re-recognized, so that the re-initialization process can be performed.
  • the time required can be shortened.
  • the position and posture of the work or tray are adjusted by a person who has entered the work area of the robot 2, the adjusted work or tray position and posture are re-recognized. It is possible to adjust the position and orientation of the tray.
  • the movement locus of the robot 2 when it is not necessary to reset the movement locus of the robot 2 during the reinitialization process, the movement locus of the robot 2 is not reset, so that the time required for the reinitialization process is shortened. Can be planned. If an obstacle is placed on the current movement locus by a person who has entered the work area of the robot 2, the movement locus of the robot 2 is reset. Therefore, the movement locus is changed to change the obstacle. Can be avoided.
  • the robot 2 conveys the work, but the present invention is not limited to this, and the robot may perform processing on the work. That is, in the above embodiment, the example in which the robot 2 has a multi-axis arm and a hand is shown, but the structure of the robot is not limited to this and may be any structure.
  • the present invention is not limited to this, and the detection result of the radio wave sensor (not shown). Based on this, the entry and exit of a person to the work area of the robot may be detected.
  • the image pickup device 3 may be an area sensor or a line sensor, or may be an event camera. Further, a plurality of sensors may be appropriately combined so that the entry / exit of a person into the work area of the robot is detected based on the detection results of the plurality of sensors.
  • the robot control system 100 is provided with one image pickup device 3, and the image pickup device 3 detects the human body and the position of the work, but the present invention is limited to this.
  • the robot control system 100a according to the modified example shown in FIG. 4, a plurality of image pickup devices 3a and 3b are provided, the human body is detected by the image pickup device 3a, and the position of the work is recognized by the image pickup device 3b. You may do so. That is, the image pickup device 3a for detecting the human body and the image pickup device 3b for recognizing the work position may be provided separately.
  • whether or not it is necessary to recalibrate, re-recognize the work or tray, re-recognize the position and orientation of the work or tray, and reset the movement locus of the robot 2 is determined by, for example, an imaging device. The judgment may be made based on the imaging result of 3.
  • the task when the entry of a person into the work area of the robot 2 is detected, the task may be interrupted immediately even in the middle of one cycle of the task, or the task 1 may be interrupted immediately. The task may be interrupted after the cycle is complete.
  • the present invention can be used for control devices, control methods and programs that control robots that perform tasks.
  • Control device (computer) 2 Robot 3, 3a, 3b Imaging device 11 Calculation unit 12 Storage unit 13 Input / output unit 100, 100a Robot control system

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

制御装置は、ロボットにタスクを実行させる前に初期化処理を行う。制御装置は、初期化処理が行われた後にロボットにタスクを繰り返し実行させる。制御装置は、ロボットがタスクを繰り返し実行しているときに、ロボットの作業領域への人の進入が検出された場合に、タスクの実行を中断させるとともに、再初期化処理を行う。制御装置は、再初期化処理が行われた後にロボットにタスクを繰り返し実行させる。

Description

制御装置、制御方法およびプログラム
　本発明は、制御装置、制御方法およびプログラムに関する。
　従来、ロボットの作業環境監視装置が知られている（たとえば、特許文献１参照）。
　このロボットの作業環境監視装置は、ロボットの作業領域を撮像するカメラと、カメラによる撮像結果に基づいて移動物体を検出するコンピュータとを備えている。コンピュータは、移動物体を検出した場合に、その移動物体がロボットに近接するときに、ディスプレイに警告を発するとともに、ロボットを停止するなどの対応処理を行うように構成されている。
特開平５－２６１６９２号公報
　ここで、ロボットの作業領域への人の進入が検出された場合に、ロボットのタスク（作業）を一時的に中断させるとともに、ロボットの作業領域から人が退出した場合に、ロボットのタスクを再開させることが考えられる。しかしながら、ロボットの作業領域に進入した人により、たとえばワークの位置などが調整されると、ロボットがタスクを再開するのが困難になるおそれがある。
　本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、ロボットの作業領域に人が進入してタスクの実行が中断された場合に、タスクを適切に再開させることが可能な制御装置、制御方法およびプログラムを提供することである。
　本発明による制御装置は、タスクを行うロボットを制御するものであり、ロボットにタスクを実行させる前に初期化処理を行う初期化処理実行部と、初期化処理が行われた後にロボットにタスクを繰り返し実行させるタスク実行部と、ロボットがタスクを繰り返し実行しているときに、ロボットの作業領域に人が進入した場合に、再初期化処理を行う再初期化処理実行部とを備える。タスク実行部は、ロボットの作業領域に人が進入した場合にタスクの実行を中断させるとともに、再初期化処理が行われた後にロボットにタスクを繰り返し実行させるように構成されている。
　このように構成することによって、ロボットの作業領域に人が進入してタスクの実行が中断された場合に、再初期化処理が行われることにより、タスクを適切に再開させることができる。
　本発明による制御方法は、タスクを行うロボットを制御するものであり、ロボットにタスクを実行させる前に初期化処理を行うステップと、初期化処理が行われた後にロボットにタスクを繰り返し実行させるステップと、ロボットがタスクを繰り返し実行しているときに、ロボットの作業領域に人が進入した場合に、タスクの実行を中断させるとともに、再初期化処理を行うステップと、再初期化処理が行われた後にロボットにタスクを繰り返し実行させるステップとを備える。
　本発明によるプログラムは、コンピュータに、ロボットにタスクを実行させる前に初期化処理を行う手順と、初期化処理が行われた後にロボットにタスクを繰り返し実行させる手順と、ロボットがタスクを繰り返し実行しているときに、ロボットの作業領域に人が進入した場合に、タスクの実行を中断させるとともに、再初期化処理を行う手順と、再初期化処理が行われた後にロボットにタスクを繰り返し実行させる手順と、を実行させるためのものである。
　本発明の制御装置、制御方法およびプログラムによれば、ロボットの作業領域に人が進入してタスクの実行が中断された場合に、タスクを適切に再開させることができる。
本実施形態によるロボット制御システムの概略構成を示したブロック図である。 本実施形態のロボット制御システムの動作を説明するためのフローチャートである。 図２の再初期化処理を説明するためのフローチャートである。 本実施形態の変形例によるロボット制御システムの概略構成を示したブロック図である。
　以下、本発明の一実施形態を説明する。
　まず、図１を参照して、本発明の一実施形態による制御装置１を備えるロボット制御システム１００の構成について説明する。
　ロボット制御システム１００は、たとえば工場の生産現場に適用されるものであり、生産現場においてロボット２に所定のタスク（作業）を実行させるように構成されている。ロボット制御システム１００では、ロボット２が柵などによって仕切られておらず、人がロボット２の作業領域にアクセス可能になっている。このロボット制御システム１００は、図１に示すように、制御装置１と、ロボット２と、撮像装置３とを備えている。
　制御装置１は、タスクを行うロボット２を制御するように構成されている。制御装置１は、ロボット２にタスクを実行させる前に初期化処理を行い、初期化処理が行われた後にロボット２にタスクを繰り返し実行させるように構成されている。制御装置１は、初期化処理によって得られた情報を用いてロボット２にタスクを実行させるようになっている。
　タスクは、ロボット２が単独で行う作業であり、たとえば地点Ｐ１のワークＷを地点Ｐ２のトレイＴに移動させる作業である。すなわち、タスクが繰り返し実行されることにより、地点Ｐ１に順次送られてくるワークＷが、ロボット２により地点Ｐ２のトレイＴに順次移動されるようになっている。初期化処理は、たとえば、撮像装置３の座標系をロボット２の座標系に変換するためのキャリブレーション、ワークやトレイの認識、ワークやトレイの位置および姿勢の認識、および、ロボット２の移動軌跡の設定を含んでいる。そして、初期化処理が行われる場合には、キャリブレーション、ワークやトレイの認識、ワークやトレイの位置および姿勢の認識、および、ロボット２の移動軌跡の設定の全てが行われるようになっている。
　この制御装置１は、演算部１１と、記憶部１２と、入出力部１３とを含んでいる。演算部１１は、記憶部１２に記憶されたプログラムなどに基づいて演算処理を実行することにより、制御装置１を制御するように構成されている。記憶部１２にはプログラムなどが記憶されている。このプログラムの一例としては、ロボット２にタスクを実行させるためのプログラム、ロボット２の初期化処理を実行させるためのプログラム、および、ロボット２の再初期化処理を実行させるためのプログラムなどがある。入出力部１３には、ロボット２および撮像装置３などが接続されている。なお、演算部１１が記憶部１２に記憶されたプログラムを実行することにより、本発明の「初期化処理実行部」、「タスク実行部」および「再初期化処理実行部」が実現される。また、制御装置１は、本発明の「コンピュータ」の一例である。
　ロボット２は、たとえば、ベースに設けられた多軸アームと、多軸アームの先端に設けられたエンドエフェクタとしてのハンドとを有する。このロボット２は、ハンドによってワークを保持し、その保持したワークを搬送するように構成されている。
　撮像装置３は、ロボット２の作業領域を撮像するように構成され、ロボット２の作業領域に対する人の入出などを検出するために設けられている。ロボット２の作業領域は、ロボット２の周囲を取り囲む領域であり、作業時に移動するロボット２およびそのロボット２に保持されるワークが通過する領域が含まれている。撮像装置３による撮像結果は、制御装置１に入力されるようになっている。このため、制御装置１は、撮像装置３の撮像結果などに基づいて、ロボット２を制御するように構成されている。
　ここで、制御装置１は、ロボット２にタスクを繰り返し実行させているときに、撮像装置３の撮像結果に基づいてロボット２の作業領域への人の進入が検出された場合に、ロボット２のタスクの実行を中断させるように構成されている。その後、制御装置１は、撮像装置３の撮像結果に基づいてロボット２の作業領域からの人の退出が検出された場合に再初期化処理を行い、再初期化処理が行われた後にロボット２にタスクを繰り返し実行させるように構成されている。制御装置１は、再初期化処理によって更新された情報を用いてロボット２にタスクを実行させるようになっている。
　再初期化処理は、たとえば、撮像装置３の座標系をロボット２の座標系に変換するための再キャリブレーション、ワークやトレイの再認識、ワークやトレイの位置および姿勢の再認識、および、ロボット２の移動軌跡の再設定を含んでいる。そして、再初期化処理が行われる場合には、再キャリブレーション、ワークやトレイの再認識、ワークやトレイの位置および姿勢の再認識、および、ロボット２の移動軌跡の再設定が必要性に応じて選択的に行われるようになっている。
　－ロボット制御システムの動作－
　次に、図２および図３を参照して、本実施形態によるロボット制御システム１００の動作について説明する。なお、以下の各ステップは制御装置１によって実行される。
　まず、図２のステップＳ１において、ロボット２のタスクの実行開始指示を受け付けたか否かが判断される。そして、タスクの実行開始指示を受け付けたと判断された場合には、ステップＳ２に移る。その一方、タスクの実行開始指示を受け付けていないと判断された場合には、ステップＳ１が繰り返し行われる。すなわち、制御装置１は、タスクの実行開始指示を受け付けるまで待機する。
　次に、ステップＳ２において、ロボット２の初期化処理が行われる。具体的には、撮像装置３の座標系をロボット２の座標系に変換するためのキャリブレーション、ワークやトレイの認識、ワークやトレイの位置および姿勢の認識、および、ロボット２の移動軌跡の設定が行われる。
　次に、ステップＳ３において、ロボット２にタスクを実行させる。このとき、初期化処理時に認識されたワークやトレイに関する情報、初期化処理時に認識されたワークやトレイの位置および姿勢に関する情報、および、初期化処理時に設定されたロボット２の移動軌跡に関する情報が利用される。なお、後述するステップＳ７において再初期化処理が行われている場合には、その再初期化処理時に更新（再計算）された情報を利用してタスクが実行される。
　たとえば、タスクが地点Ｐ１のワークＷを地点Ｐ２のトレイＴに移動させるものである場合には、初期化処理時に、地点Ｐ１のワークＷに関する情報、そのワークＷの位置および姿勢に関する情報、地点Ｐ２のトレイＴに関する情報、そのトレイＴの位置および姿勢に関する情報、および、地点Ｐ１およびＰ２の間における障害物に関する情報が撮像装置３の撮像結果を用いて算出される。そして、ワークＷに関する情報やワークＷの位置および姿勢に関する情報などに基づいて、ロボット２のハンドがワークＷをピックするピック位置などが算出される。また、トレイＴに関する情報やトレイＴの位置および姿勢に関する情報などに基づいて、ロボット２のハンドがワークＷをプレイスするプレイス位置などが算出される。また、ピック位置およびプレイス位置や障害物に関する情報などに基づいて、ロボット２の移動軌跡が算出される。つまり、この場合のロボット２のタスクの１サイクルは、ハンドのピック位置への移動、ピック位置でのハンドによるワークＷのピック、ハンドのピック位置からプレイス位置への移動、および、プレイス位置でのハンドによるワークＷのプレイスによって構成されており、タスクの実行の際にそれらが順に行われる。
　次に、ステップＳ４において、撮像装置３の撮像結果に基づいてロボット２の作業領域への人の進入が検出されたか否かが判断される。そして、ロボット２の作業領域への人の進入が検出されたと判断された場合には、ステップＳ５に移る。その一方、ロボット２の作業領域への人の進入が検出されていないと判断された場合（ロボット２の作業領域に人が存在しない場合）には、ステップＳ８に移る。
　次に、ステップＳ５において、ロボット２によるタスクの実行が中断される。そして、たとえば、ロボット２の作業領域に進入した人とロボット２とが干渉（衝突）するのを回避するために、ロボット２を所定の退避位置に退避させる。
　次に、ステップＳ６において、撮像装置３の撮像結果に基づいてロボット２の作業領域からの人の退出が検出されたか否かが判断される。そして、ロボット２の作業領域からの人の退出が検出されたと判断された場合には、ステップＳ７に移る。その一方、ロボット２の作業領域からの人の退出が検出されていないと判断された場合（ロボット２の作業領域に人が存在する場合）には、ステップＳ５に戻る。すなわち、ロボット２の作業領域から人が退出するまで、ロボット２を退避位置に待機させる。
　次に、ステップＳ７において、ロボット２の再初期化処理が行われる。再初期化処理は、タスクを適切に再開させるために行われる。
　この再初期化処理では、まず、図３のステップＳ１１において、キャリブレーションを再度行う必要があるか否かが判断される。たとえば、ロボット２の作業領域の明るさが変更された場合、ロボット２のベースの位置が変更された場合、および、撮像装置３の位置が変更された場合に、再キャリブレーションが必要であると判断される。そして、再キャリブレーションが必要であると判断された場合には、ステップＳ１２に移る。その一方、再キャリブレーションが必要ではないと判断された場合には、ステップＳ１３に移る。
　次に、ステップＳ１２において、再キャリブレーション、ワークやトレイの再認識、ワークやトレイの位置および姿勢の再認識、および、ロボット２の移動軌跡の再設定が行われる。すなわち、初期化処理と同様の処理が行われることにより、ロボット２の座標系と撮像装置３の座標系との位置合わせがやり直されるとともに、タスクの実行の際に利用される各情報が更新される。その後、エンドに移る（図２のステップＳ８に移る）。
　また、ステップＳ１３において、ワークやトレイの再認識を行う必要があるか否かが判断される。たとえば、ワークやトレイが変更された場合に、ワークやトレイの再認識が必要であると判断される。そして、ワークやトレイの再認識が必要であると判断された場合には、ステップＳ１４においてワークやトレイの再認識が行われることにより、ワークやトレイに関する情報が更新され、ステップＳ１５に移る。その一方、ワークやトレイの再認識が必要ではないと判断された場合には、ステップＳ１５に移る。
　次に、ステップＳ１５において、ワークやトレイの位置および姿勢の再認識を行う必要があるか否かが判断される。たとえば、ワークやトレイの位置および姿勢が調整された場合に、ワークやトレイの位置および姿勢の再認識が必要であると判断される。そして、ワークやトレイの位置および姿勢の再認識が必要であると判断された場合には、ステップＳ１６においてワークやトレイの位置および姿勢の再認識が行われることにより、ワークやトレイの位置および姿勢に関する情報が更新され、ステップＳ１７に移る。その一方、ワークやトレイの位置および姿勢の再認識が必要ではないと判断された場合には、ステップＳ１７に移る。
　次に、ステップＳ１７において、ロボット２の移動軌跡の再設定を行う必要があるか否かが判断される。たとえば、現在の移動軌跡に障害物が置かれた場合に、ロボット２の移動軌跡の再設定が必要であると判断される。そして、ロボット２の移動軌跡の再設定が必要であると判断された場合には、ステップＳ１８においてロボット２の移動軌跡の再設定が行われることにより、ロボット２の移動軌跡に関する情報が更新され、エンドに移る。その一方、ロボット２の移動軌跡の再設定が必要ではないと判断された場合には、エンドに移る。
　次に、図２のステップＳ８において、ロボット２のタスクの実行終了指示を受け付けたか否かが判断される。そして、タスクの実行終了指示を受け付けたと判断された場合には、タスクの実行が終了され、エンドに移る。その一方、タスクの実行終了指示を受け付けていないと判断された場合には、ステップＳ３に戻る。すなわち、制御装置１は、タスクの実行終了指示を受け付けるまで、ロボット２にタスクを繰り返し実行させる。
　－効果－
　本実施形態では、上記のように、制御装置１は、初期化処理が行われた後にロボット２にタスクを繰り返し実行させる。制御装置１は、ロボット２がタスクを繰り返し実行しているときに、ロボット２の作業領域に人が進入した場合に、タスクの実行を中断させるとともに、再初期化処理を行う。制御装置１は、再初期化処理が行われた後にロボット２にタスクを繰り返し実行させる。このように構成することによって、ロボット２の作業領域に人が進入してタスクの実行が中断された場合に、再初期化処理が行われることにより、タスクを適切に再開させることができる。すなわち、ロボット２の作業領域に進入した人により、ロボット２の作業領域内において変更が加えられても、再初期化処理が行われるので、その変更に対応することができる。
　また、本実施形態では、再初期化処理時に再キャリブレーションが不要な場合に、再キャリブレーションが行われないことによって、再初期化処理に要する時間の短縮を図ることができる。なお、ロボット２の作業領域に進入した人により、ロボット２の作業領域の明るさが変更された場合、ロボット２のベースの位置が変更された場合、および、撮像装置３の位置が変更された場合には、再キャリブレーションが行われることから、ロボット２の座標系と撮像装置３の座標系との位置合わせをし直すことができる。
　また、本実施形態では、再初期化処理時にワークやトレイの再認識が不要な場合に、ワークやトレイの再認識が行われないことによって、再初期化処理に要する時間の短縮を図ることができる。なお、ロボット２の作業領域に進入した人により、ワークやトレイが変更された場合には、その変更されたワークやトレイの再認識が行われることから、ワークやトレイの変更に対応することができる。
　また、本実施形態では、再初期化処理時にワークやトレイの位置および姿勢の再認識が不要な場合に、ワークやトレイの位置および姿勢の再認識が行われないことによって、再初期化処理に要する時間の短縮を図ることができる。なお、ロボット２の作業領域に進入した人により、ワークやトレイの位置および姿勢が調整された場合には、その調整されたワークやトレイの位置および姿勢の再認識が行われることから、ワークやトレイの位置および姿勢の調整に対応することができる。
　また、本実施形態では、再初期化処理時にロボット２の移動軌跡の再設定が不要な場合に、ロボット２の移動軌跡の再設定が行われないことによって、再初期化処理に要する時間の短縮を図ることができる。なお、ロボット２の作業領域に進入した人により、現在の移動軌跡に障害物が置かれた場合には、ロボット２の移動軌跡の再設定が行われることから、移動軌跡を変更して障害物を回避させることができる。
　－他の実施形態－
　なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
　たとえば、上記実施形態では、ロボット２がワークを搬送する例を示したが、これに限らず、ロボットがワークに対して加工などを行うようにしてもよい。すなわち、上記実施形態では、ロボット２が多軸アームおよびハンドを有する例を示したが、これに限らず、ロボットの構造はどのようなものであってもよい。
　また、上記実施形態では、撮像装置３の撮像結果に基づいてロボット２の作業領域に対する人の入出が検出される例を示したが、これに限らず、電波センサ（図示省略）の検出結果に基づいてロボットの作業領域に対する人の入出が検出されるようにしてもよい。また、上記実施形態において、撮像装置３は、エリアセンサやラインセンサであってもよいし、イベントカメラであってもよい。さらに、複数のセンサを適宜組み合わせて、複数のセンサの検出結果に基づいてロボットの作業領域に対する人の入出が検出されるようにしてもよい。
　また、上記実施形態では、ロボット制御システム１００に１つの撮像装置３が設けられ、その撮像装置３により、人体が検知されるとともに、ワークの位置が認識される例を示したが、これに限らず、図４に示す変形例によるロボット制御システム１００ａのように、複数の撮像装置３ａおよび３ｂが設けられ、撮像装置３ａにより人体が検知されるとともに、撮像装置３ｂによりワークの位置が認識されるようにしてもよい。すなわち、人体検知用の撮像装置３ａと、ワーク位置認識用の撮像装置３ｂとが別々に設けられていてもよい。
　また、上記実施形態では、ロボット２の作業領域からの人の退出が検出された場合に、再キャリブレーション、ワークやトレイの再認識、ワークやトレイの位置および姿勢の再認識、および、ロボット２の移動軌跡の再設定が必要性に応じて選択的に行われる例を示したが、これに限らず、ロボットの作業領域からの人の退出が検出された場合に、再キャリブレーション、ワークやトレイの再認識、ワークやトレイの位置および姿勢の再認識、および、ロボットの移動軌跡の再設定が必要性の有無にかかわらず全て行われるようにしてもよい。
　また、上記実施形態において、再キャリブレーション、ワークやトレイの再認識、ワークやトレイの位置および姿勢の再認識、および、ロボット２の移動軌跡の再設定の必要性の有無は、たとえば、撮像装置３の撮像結果に基づいて判断されるようにしてもよい。
　また、上記実施形態において、ロボット２の作業領域への人の進入が検出された場合に、タスクの１サイクルの途中であっても即時にタスクを中断するようにしてもよいし、タスクの１サイクルが完了してからタスクを中断するようにしてもよい。
　本発明は、タスクを行うロボットを制御する制御装置、制御方法およびプログラムに利用可能である。
　１　制御装置（コンピュータ）
　２　ロボット
　３、３ａ、３ｂ　撮像装置
　１１　演算部
　１２　記憶部
　１３　入出力部
　１００、１００ａ　ロボット制御システム

Claims (3)

  1. 　タスクを行うロボットを制御する制御装置であって、
    　前記ロボットにタスクを実行させる前に初期化処理を行う初期化処理実行部と、
    　初期化処理が行われた後に前記ロボットにタスクを繰り返し実行させるタスク実行部と、
    　前記ロボットがタスクを繰り返し実行しているときに、前記ロボットの作業領域に人が進入した場合に、再初期化処理を行う再初期化処理実行部とを備え、
    　前記タスク実行部は、前記ロボットの作業領域に人が進入した場合にタスクの実行を中断させるとともに、再初期化処理が行われた後に前記ロボットにタスクを繰り返し実行させるように構成されていることを特徴とする制御装置。
  2. 　タスクを行うロボットを制御する制御方法であって、
    　前記ロボットにタスクを実行させる前に初期化処理を行うステップと、
    　初期化処理が行われた後に前記ロボットにタスクを繰り返し実行させるステップと、
    　前記ロボットがタスクを繰り返し実行しているときに、前記ロボットの作業領域に人が進入した場合に、タスクの実行を中断させるとともに、再初期化処理を行うステップと、
    　再初期化処理が行われた後に前記ロボットにタスクを繰り返し実行させるステップとを備えることを特徴とする制御方法。
  3. 　コンピュータに、
    　ロボットにタスクを実行させる前に初期化処理を行う手順と、
    　初期化処理が行われた後に前記ロボットにタスクを繰り返し実行させる手順と、
    　前記ロボットがタスクを繰り返し実行しているときに、前記ロボットの作業領域に人が進入した場合に、タスクの実行を中断させるとともに、再初期化処理を行う手順と、
    　再初期化処理が行われた後に前記ロボットにタスクを繰り返し実行させる手順と、
    　を実行させるためのプログラム。
PCT/JP2020/032336 2019-08-30 2020-08-27 制御装置、制御方法およびプログラム WO2021039896A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/635,009 US20220288784A1 (en) 2019-08-30 2020-08-27 Control device, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-157952 2019-08-30
JP2019157952A JP7350297B2 (ja) 2019-08-30 2019-08-30 制御装置、制御方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021039896A1 true WO2021039896A1 (ja) 2021-03-04

Family

ID=74685625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032336 WO2021039896A1 (ja) 2019-08-30 2020-08-27 制御装置、制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20220288784A1 (ja)
JP (1) JP7350297B2 (ja)
WO (1) WO2021039896A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63216692A (ja) * 1987-03-06 1988-09-08 アイシン精機株式会社 危険防止装置
JP2002014709A (ja) * 2000-06-30 2002-01-18 Denso Corp ロボットコントローラ
JP2004122258A (ja) * 2002-09-30 2004-04-22 Fanuc Ltd ロボットシステム
JP2005131814A (ja) * 2003-10-28 2005-05-26 Noboru Murai パッド式多色刷り印刷機の制御方法
JP2010046735A (ja) * 2008-08-20 2010-03-04 Central Motor Co Ltd 画像認識装置を使用した安全監視システム
US20150294143A1 (en) * 2014-04-10 2015-10-15 GM Global Technology Operations LLC Vision based monitoring system for activity sequency validation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202016001261U1 (de) * 2016-02-26 2017-05-29 Kuka Systems Gmbh Endeffektor-Schutzsystem
AU2018212946A1 (en) * 2017-01-26 2019-08-08 Premier Tech Technologies Ltée Robotic palletizing system and method
JP2018126818A (ja) * 2017-02-07 2018-08-16 トヨタ自動車株式会社 ロボット制御装置
JP2018192556A (ja) * 2017-05-16 2018-12-06 オムロン株式会社 ロボットシステム
WO2020144852A1 (ja) * 2019-01-11 2020-07-16 株式会社Ｆｕｊｉ 制御装置、ワーク作業装置、ワーク作業システム及び制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63216692A (ja) * 1987-03-06 1988-09-08 アイシン精機株式会社 危険防止装置
JP2002014709A (ja) * 2000-06-30 2002-01-18 Denso Corp ロボットコントローラ
JP2004122258A (ja) * 2002-09-30 2004-04-22 Fanuc Ltd ロボットシステム
JP2005131814A (ja) * 2003-10-28 2005-05-26 Noboru Murai パッド式多色刷り印刷機の制御方法
JP2010046735A (ja) * 2008-08-20 2010-03-04 Central Motor Co Ltd 画像認識装置を使用した安全監視システム
US20150294143A1 (en) * 2014-04-10 2015-10-15 GM Global Technology Operations LLC Vision based monitoring system for activity sequency validation

Also Published As

Publication number Publication date
JP2021035704A (ja) 2021-03-04
JP7350297B2 (ja) 2023-09-26
US20220288784A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
JP6778198B2 (ja) 遠隔操作ロボットシステム
US10618181B2 (en) Robot control device, robot, and robot system
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
US20180281197A1 (en) Teaching Device And Teaching Method
CN111515943A (zh) 三维形状测量系统以及三维形状测量方法
CN110782982A (zh) 一种基于二维码的人体经络路径方法
US11235463B2 (en) Robot system and robot control method for cooperative work with human
US20200061842A1 (en) Control apparatus, robot system, and control method
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
JP2003330539A (ja) 自律移動ロボットおよびその自律移動方法
WO2021039896A1 (ja) 制御装置、制御方法およびプログラム
JP7156397B2 (ja) 制御装置
US20230356405A1 (en) Robot control system, and control device
WO2016151667A1 (ja) ティーチング装置及び制御情報の生成方法
JP2020142323A (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
WO2021065879A1 (ja) 監視システム、監視方法およびプログラム
JP2017113815A (ja) 対象物をロボットを用いて把持するロボットシステムの画像表示方法
WO2021039897A1 (ja) 制御装置、制御方法およびプログラム
JP7362107B2 (ja) 制御装置、制御方法およびプログラム
US20240066694A1 (en) Robot control system, robot control method, and robot control program
JPH05185388A (ja) 部品供給装置
WO2021210514A1 (ja) ロボットの制御装置及び制御方法、ロボットシステム、ロボットの動作プログラムを生成する装置及び方法
TWI782709B (zh) 手術機械臂控制系統以及手術機械臂控制方法
US20230241763A1 (en) Generation Method, Computer Program, And Generation System
EP4370286A1 (en) Teaching a robot system using hand gesture control and visual-inertial-odometry

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858551

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858551

Country of ref document: EP

Kind code of ref document: A1