WO2021095316A1 - ロボットシステム - Google Patents

ロボットシステム Download PDF

Info

Publication number
WO2021095316A1
WO2021095316A1 PCT/JP2020/031518 JP2020031518W WO2021095316A1 WO 2021095316 A1 WO2021095316 A1 WO 2021095316A1 JP 2020031518 W JP2020031518 W JP 2020031518W WO 2021095316 A1 WO2021095316 A1 WO 2021095316A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
unit
data
display device
image display
Prior art date
Application number
PCT/JP2020/031518
Other languages
English (en)
French (fr)
Inventor
翔一 半田
俊晴 菅原
丸山　龍也
納谷　英光
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2021095316A1 publication Critical patent/WO2021095316A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices

Definitions

  • the present invention relates to a robot system.
  • Patent Document 1 describes a person position acquisition unit that acquires a person position, which is the position of a person, and a person position acquired by the person position acquisition unit, for the purpose of appropriately presenting a dangerous situation associated with the operation of the robot.
  • the position of the robot at a specific time and the posture of the robot at a specific time in which at least a part of the robots operating according to the operation plan is included in the range of the human view range, and the posture of the robot at the specific time.
  • Described is a danger presenting device including a position / posture determining unit that determines a position / posture including at least one of them, and an image generation unit that generates image data for indicating the position / posture determined by the position / posture determining unit. There is.
  • Collaborative robots are often set to make an emergency stop when approaching a worker for a certain distance or more. Therefore, if the worker approaches the collaborative robot without predicting the movement and the emergency stop occurs frequently, the work efficiency is lowered.
  • the emergency stop function provided on the robot is not always perfect. In this case, it is necessary for the operator to predict the behavior of the robot and avoid the collision, but it is difficult to accurately predict the movement of the robot. For example, when the mobile robot approaches the worker from the blind spot of the worker, there is a possibility that a collision between the worker and the mobile robot may occur.
  • Patent Document 1 presents to a person the situation of danger associated with the operation of the robot, which makes it possible to improve work efficiency and safety.
  • Patent Document 1 does not describe determining whether or not to present a dangerous situation to a person. For this reason, it may be presented to a person even in a situation where it is not necessary to actually avoid a collision, and the attention to the danger that the worker actually needs to avoid in the presented situation is reduced. There is a risk that it will end up.
  • an object of the present invention is to extract and present only the dangers necessary for the operator, reduce the number of emergency stops of the robot, improve the work efficiency, and improve the safety.
  • the robot system of the present invention includes a robot, a sensor, a control device, and an image display device, the control device includes a robot control unit and an image display device control unit, and the robot control unit is a robot.
  • the image display device control unit includes an approach determination unit and an image generation unit to determine the approach, including an operation planning unit that plans the operation of the above and creates operation data, and controls the robot based on the operation data.
  • the unit determines whether or not the human and the robot approach each other, and the image generation unit generates virtual object data based on the motion data, and the data obtained from the sensor and the object data
  • the composite reality data is synthesized based on the above, and the image display device displays the composite reality image based on the composite reality data.
  • the approach determination unit displays the composite reality image. Display the object on the image display device.
  • the present invention it is possible to extract and present only the dangers necessary for the operator, reduce the number of emergency stops of the robot, improve the work efficiency and improve the safety.
  • FIG. It is an overall block diagram which shows the outline of the robot system of Example 1.
  • FIG. It is a block diagram which shows the function of the robot system of Example 1.
  • FIG. It is a block diagram which shows the function of the approach determination part of Example 1.
  • FIG. It is a block diagram which shows the function of the image generation part of Example 1.
  • FIG. It is a flowchart which shows the process from the motion planning to execution of the robot in Example 1.
  • It is a flowchart which shows the process from the approach determination in Example 1 to the display of a three-dimensional object.
  • It is a flowchart which shows the process of approach determination processing in Example 1.
  • FIG. It is a flowchart which shows the process of 3D object generation processing in Example 1.
  • Example 1 It is a time chart which shows the timing of 3D object display and robot operation execution in Example 1. It is a block diagram which shows the function of the robot system of Example 2. It is a block diagram which shows the function of the approach determination part of Example 2. FIG. It is a flowchart which shows the process of approach determination processing in Example 2. FIG. It is a block diagram which shows the function of the image generation part of Example 3. FIG. It is a flowchart which shows the process of 3D object generation processing in Example 3. FIG. It is a block diagram which shows the function of the robot system of Example 4. It is a flowchart which shows the process from the operation planning to execution of the robot system in Example 4. It is a time chart which shows the timing of 3D object display and robot operation execution in Example 4. It is a schematic block diagram which shows the situation which a worker moves between a plurality of robots.
  • FIG. 1 shows the overall configuration of the robot system 100 of the first embodiment.
  • the robot system 100 includes a control device 101, a robot 102, a sensor 103, and an image display device 104.
  • the control device 101 has functions such as receiving information transmitted from the sensor 103, controlling the robot 102, and transmitting image data to be displayed on the image display device 104.
  • the robot 102 may be fixed or movable, and may be of any type such as a manipulator, an arm robot, a mobile robot, an autonomous vehicle, an automatic guided vehicle (AGV), or a humanoid robot.
  • a manipulator such as a manipulator, an arm robot, a mobile robot, an autonomous vehicle, an automatic guided vehicle (AGV), or a humanoid robot.
  • AGV automatic guided vehicle
  • the sensor 103 detects information about objects, people, passages, etc. around the robot 102.
  • the sensor 103 may be installed in the robot 102, the image display device 104, or the like, or may be arranged at a plurality of locations.
  • the sensor 103 may be a distance sensor that measures the distance to a person, a camera that recognizes an image, a sensor 103 that detects wireless communication such as Wi-fi (registered trademark) or Bluetooth (registered trademark), or a person. It may be another means of detecting the approach of the robot.
  • the image display device 104 displays a virtual robot that synthesizes mixed reality.
  • the image display device 104 displays the future movement of the robot 102 as mixed reality.
  • it is a head-mounted display (Head Mount Display: HMD) worn by the worker 105.
  • the image display device 104 may be a mobile device such as a smartphone, a terminal installed on a passage, a wall, or the like, a projector that projects an image on a screen, a wall, a floor, or the like, or may be another medium.
  • the worker 105 is a term that represents not only employees of factories and the like but also people who may approach the robot 102. Therefore, all persons who may approach the robot 102 are targeted.
  • the control device 101 may be installed separately for a portion that controls the image display device 104 and a portion that controls the robot 102. In such a case, the control device 101 shall be connected by wired communication, wireless communication, or the like. .. Further, the control device 101 may be incorporated inside the robot 102, or the control device 101 may be incorporated inside the image display device 104.
  • the robot system 100 aims at efficient cooperation with the worker 105 and smooth automatic running. There is no fence around the robot 102, and the worker 105 can approach the robot 102.
  • the image display device 104 allows the worker 105 to confirm mixed reality.
  • FIG. 2 is a block diagram showing the functions of the robot system.
  • the robot 102, the sensor 103, and the image display device 104 are connected to the control device 101.
  • the connection method may be wired communication or wireless communication.
  • the control device 101 includes a robot control unit 114 and an image display device control unit 115.
  • the robot control unit 114 includes an operation planning unit 116 and a delay unit 117.
  • the image display device control unit 115 includes an approach determination unit 118 and an image generation unit 119.
  • the motion planning unit 116 is a part that plans the motion of the robot 102.
  • This operation may be an operation for the robot 102 to accomplish a task to be completed at once, or an operation for accomplishing a part of the task. Further, the operation may be such that the movement of the robot is changed by interrupting from the middle during the execution of the once planned operation. At that time, if necessary, the data of the sensor 103 or another sensor (not shown) may be used.
  • the delay unit 117 has a function of delaying the execution of the operation data by the robot 102 by a predetermined time.
  • the delay unit 117 may delay the transmission of the motion data to the robot 102 by a predetermined time, or may delay the execution of the motion data transmitted to the robot 102 by the robot 102 by a predetermined time. Good.
  • the approach determination unit 118 calculates the distance between the robot 102 and the worker based on the data related to the robot 102 and / or the worker obtained from the sensor, and the robot 102 and the worker approach each other in comparison with the threshold value. It is a part to judge whether or not it is.
  • the image generation unit 119 is a part that obtains the operation data planned by the operation planning unit 116, converts it into an object, and outputs it to the image display device 104.
  • the image display device 104 displays an object.
  • the object is preferably a three-dimensional object, but may be a two-dimensional object.
  • the motion data obtained from the motion planning unit 116 is the angle information of each joint for moving to the target position when the robot 102 is an arm robot, and the speed, acceleration, and movement when the robot 102 is AGV. Data such as direction can be given as an example.
  • the robot control unit 114 and the image display device control unit 115 may belong to physically separate hardware. In that case, there is also a problem that the data to be sent to the image generation unit 119 by the operation data planned by the operation planning unit 116 is limited by the communication band of the communication environment. In order to solve the problem, for example, the motion planning unit 116 sends the operation data to the image generation unit 119 only when the wireless communication reaches between the robot control unit 114 and the image display device control unit 115. May be good. This eliminates the need to send all the operation data from all the robots, and can solve the problem that the data is limited by the upper limit of the communication capacity of the above communication band.
  • the approach determination unit 118 receives the data detected by the sensor 103, calculates the distance between the worker and the robot 102 based on the data, and compares it with the threshold value to compare the distance between the worker and the robot 102. This is the part that determines whether or not they are close to each other.
  • the data depends on the type of sensor 103.
  • the data of the sensor 103 is, for example, point cloud data of the surroundings in the case of a rider in which the sensor 103 is attached to the robot. Further, in the case of a camera attached to the robot 102, it is an RGB image or a distance image of the photographed worker. Further, in the case of the image display device 104 or the camera attached to the operator, it is an RGB image or a distance image of the robot.
  • the image generation unit 119 outputs the approach determination result between the operator and the robot 102 obtained from the approach determination unit 118 and the operation data of the robot 102 obtained from the motion planning unit 116 to the image display device 104. This is the part that creates the 3D object of.
  • FIG. 3 is a block diagram showing the function of the approach determination unit.
  • the approach determination unit 118 includes a distance calculation unit 130, a threshold value comparison unit 131, and a threshold value storage unit 132.
  • the distance calculation unit 130 calculates the distance between the operator and the robot 102 using the data from the sensor.
  • a method of calculating for example, in the case of a camera in which the sensor 103 is attached to an operator or an image display device, which of the distance images is a robot by image recognition using the distance image of the robot 102 taken by the camera. Examples thereof include a method of determining whether the robot 102 corresponds to the 102 and calculating the distance of the robot 102 from the camera. Any other method may be used as long as it is a method for calculating the distance between the operator and the robot 102.
  • the threshold value comparison unit 131 is a part for comparing with the threshold value by using the distance between the operator and the robot 102 calculated by the distance calculation unit 130. When the distance is smaller than the threshold value, the threshold value comparison unit 131 determines that the operator and the robot 102 are close to each other.
  • the threshold value used here is stored in the threshold value storage unit 132, and it is desirable to set and store the threshold value in advance before using the robot system 100.
  • FIG. 4 is a block diagram showing the function of the image generation unit.
  • the image generation unit 119 includes a moving image generation unit 141, a model storage unit 142, and an output coordinate definition unit 143.
  • the moving image generation unit 141 uses the motion data read from the motion planning section 116 and the model data of the robot 102 to dynamically represent a three-dimensional object (a three-dimensional object that dynamically represents how the model of the robot 102 is performing the motion of the motion data. This is the part that generates the animation).
  • the model data of the robot 102 used here is stored in the model storage unit 142. Before using the robot system 100, it is desirable to set and store the mixed reality model of the robot 102 in advance.
  • the above animation is also called a "video model".
  • the robot 102 when the robot 102 is an arm robot, in order to display motion data, a mixed reality model of all postures of the robot 102 is stored in the model storage unit 142, and the arm robot handles the motion data using the stored reality model. Create a three-dimensional object that represents the pattern.
  • the output coordinate definition unit 143 is a part that defines the location of the three-dimensional object that can be seen by the operator when the three-dimensional object generated by the moving image generation unit 141 is output to the image display device 104 as mixed reality.
  • the robot 102 when the robot 102 is an arm robot, the robot 102 and the three-dimensional object may be defined so as to appear to overlap each other as an image of the image display device 104.
  • the robot 102 when the robot 102 is an AGV, it may be defined to display a three-dimensional object at a place where the robot 102 actually operates and moves. This allows the operator to intuitively recognize the location and operation of the future robot 102.
  • FIG. 5 is a flowchart showing the process from motion planning to execution of the robot.
  • step S001 the motion planning unit 116 plans the motion of the robot 102.
  • the robot 102 is an arm robot
  • the angle of each joint and the angular velocity command with respect to the target position of the tip are planned.
  • the robot 102 is an AGV
  • the movement such as speed and route with respect to the arrival target position is planned.
  • an operation suitable for the robot is planned.
  • step S002 after waiting for the time set in the delay unit 117, the delay unit 117 transmits the operation data to the robot 102.
  • step S003 the robot 102 activates based on the operation data and executes the operation.
  • steps S001 to S003 described above are performed by returning to the start after the series of operations of the robot is completed.
  • the present invention is not limited to the above steps, and when the surrounding environment is a dynamic environment, the plan may be repeated every 100 msec, for example.
  • FIG. 6 is a flowchart showing the process from the approach determination to the display of the three-dimensional object.
  • step S004 the approach determination unit 118 determines whether or not the operator and the robot 102 are approaching each other (approach determination process). Details of step S004 will be described later with reference to FIG.
  • step S005 The presence or absence of approach, which is the result of determination in step S004, is as shown in step S005, and if there is an approach between the operator and the robot 102, the process proceeds to step S006 (YES in S005). If the operator and the robot 102 do not approach each other, the process returns to step S004 and the approach determination process is repeated (NO in S005).
  • step S006 the planned operation data is transmitted to the image generation unit 119.
  • step S007 the image generation unit 119 generates a three-dimensional object to be output to the image display device 104. Details of step S007 will be described later with reference to FIG.
  • the output coordinate definition unit 143 defines the output location (output coordinates) when the three-dimensional object is output to the image display device 104.
  • the robot 102 is an arm robot and the operator 105 wants the three-dimensional object to appear to overlap the robot 102 when viewed from the image display device 104, the robot 102 can recognize a marker that the image display device 104 can recognize. A three-dimensional object may be output based on the marker attached to.
  • the coordinates of the robot 102 are defined in the work space, set in the image display device 104 and stored, and the relative positional relationship is calculated by using the self-position estimation function of the image display device 104 or the like. You may take a method or the like.
  • step S009 the three-dimensional object generated in step S007 and the output coordinates defined in step S008 are output to the image display device 104.
  • step S010 the image display device 104 displays the three-dimensional object so that it can be seen at the defined coordinates.
  • steps S004 to S010 described above are repeated at a constant cycle of, for example, about 100 msec.
  • FIG. 7 is a flowchart showing the process of approach determination processing.
  • the distance calculation unit 130 calculates the distance between the worker 105 and the robot 102 based on the data of the sensor 103.
  • the sensor 103 is a camera attached to the robot 102 and the data of the distance image can be received, it is possible to adopt a method of determining the worker 105 in the distance image by the image recognition function and calculating the distance. it can.
  • any method may be used as long as it is a method of calculating the distance according to the type of the sensor 103.
  • step S012 the threshold value stored in the threshold value storage unit 132 and the distance between the operator and the robot 102 calculated in S011 are compared, and it is confirmed whether the distance is smaller than the threshold value. If the distance is smaller than the threshold value (YES in step S013), the process proceeds to step S014. If the distance is not smaller than the threshold value (NO in step S013), the process proceeds to step S015.
  • the comparison method is as follows: when the distance is less than or equal to the threshold value, it is regarded as YES in step S013, and when the distance is not less than or equal to the threshold value, it is regarded as NO in step S013. Any other method may be used as long as it can determine the close relationship with.
  • step S014 it is determined that the worker 105 and the robot 102 are close to each other.
  • step S015 it is determined that the worker 105 and the robot 102 are not close to each other.
  • FIG. 8 is a flowchart showing the process of the three-dimensional object generation process.
  • step S021 the model data of the robot 102 is read from the model storage unit 142.
  • the model data to be read may be, for example, CAD data or the like that can be a source for generating a three-dimensional object for output to the image display device 104.
  • step S022 the operation data planned by the operation planning unit 116 is read.
  • step S023 the moving image generation unit 141 generates a three-dimensional object configured so that the model reproduces the motion data and appears to move.
  • FIG. 9 is a time chart showing the timing of displaying the three-dimensional object and executing the robot operation. It is a figure in which time flows to the right.
  • the image display device 104 starts displaying a three-dimensional object configured so that the model data of the robot 102 reproduces the motion data planned by the motion planning unit 116. From the start time, the actual operation of the robot 102 is executed with a delay of the time (delay time) delayed by the delay unit 117. In this case, the approach determination time, the operation data transmission time, and the like are regarded as errors and are not counted as delay times.
  • the worker 105 can confirm the movement of the robot 102 as a three-dimensional object ahead of the delay time, the worker 105 can predict the latest movement of the robot 102 (for example, the movement after a few seconds). It is possible to avoid an emergency stop of the robot 102 due to approaching, and it is possible to obtain the effect of improving work efficiency.
  • the approach determination unit 118 allows the worker 105 to confirm only the latest movement of the approaching robot 102, the worker 105 can easily recognize the danger that the worker 105 actually needs to avoid.
  • the approach determination process when the approach determination process is performed, the approach determination process is performed with higher accuracy by using the predicted future movements of the worker 105 and the robot 102.
  • the internal configuration of the approach determination unit is slightly different from that of the first embodiment. Further, it differs from the first embodiment in that the motion data is transmitted from the motion planning unit to the approach determination unit.
  • FIG. 10 is a block diagram showing the functions of the robot system of the second embodiment.
  • the robot 202, the sensor 203, and the image display device 204 are connected to the control device 201.
  • the connection method may be wired communication or wireless communication.
  • the control device 201 includes a robot control unit 214 and an image display device control unit 215.
  • the robot control unit 214 includes an operation planning unit 216 and a delay unit 217.
  • the image display device control unit 215 includes an approach determination unit 218 and an image generation unit 219.
  • the motion data is transmitted from the motion planning unit 216 to the approach determination unit 218 as described above.
  • the approach determination unit 218 receives the operation data of the robot 202 from the motion planning unit 216 and the position data of the worker from the sensor 203 or the like, and predicts the future movement of the robot 202 and the worker to approach both of them. Make a judgment.
  • FIG. 11 is a block diagram showing the function of the approach determination unit of this embodiment.
  • the approach determination unit 218 includes a future robot position calculation unit 220, a danger area definition unit 221, a future worker position calculation unit 222, and a future position overlap determination unit 223.
  • the future robot position calculation unit 220 is a part that calculates to which position the robot 202 will move in the future from the operation data of the robot 202 received from the motion planning unit 216.
  • the danger area definition unit 221 is a part that defines a place determined to be dangerous in the sense that the robot 202 will eventually move to that place from the position of the future robot calculated by the future robot position calculation unit 220. is there.
  • the definition method is, for example, a method in which, when the robot 202 is an AGV, all areas within a radius of several meters of the future position are set as dangerous areas, and other methods may be used.
  • the future worker position calculation unit 222 is a part that calculates the position of the worker from the data related to the worker received from the sensor 203, and calculates and predicts the position of the future worker. For example, the future position of the worker is calculated by the following method.
  • the position data of the worker is calculated by image recognition, and the position data of the worker several seconds later is calculated. Then, for example, on a straight line that can be generated from two position data about the worker, assuming that the worker is moving a few seconds later, on a straight line that is as far away as the distance between the two position data.
  • the position is estimated to be the position of the operator after a few seconds. The method is not limited to this as long as it can calculate the future position of the worker, and other methods may be used.
  • the future position duplication determination unit 223 determines whether or not the position of the future worker estimated by the future worker position calculation unit 222 is included in the danger area defined by the danger area definition unit 221. This is a part where it is determined that the operator and the robot 202 are close to each other.
  • FIG. 12 is a flowchart showing the process of approach determination processing.
  • step S031 the approach determination unit 218 reads the operation data of the robot planned by the operation planning unit 216.
  • step S032 the future robot position calculation unit 220 estimates the position of the future robot 202 for a set time by the method as described above.
  • step S033 the danger area definition unit 221 determines the danger area from the future position of the robot 202 estimated in step S032 by the method as described above.
  • step S034 the position data of the worker detected by the sensor 203 is read.
  • step S035 the future worker position calculation unit 222 calculates and predicts the future worker position data for the set time by the method as described above.
  • the future position duplication determination unit 223 determines whether or not the predicted position of the worker enters the dangerous area, and if the predicted position of the worker enters the dangerous area (YES in step S036), the process proceeds to step S037, and the robot 202 and the worker enter. Judge that they are approaching. If it does not enter (NO in step S036), the process proceeds to step S038, and it is determined that the robot 202 and the operator are not close to each other.
  • the accuracy of the approach determination is improved by making the approach determination by utilizing the robot 202 and the future position of the worker. That is, even in a dynamic environment in which the robot 202 moves at a high speed, only the robot having a high risk of the operator coming into contact with itself can be confirmed as a three-dimensional object. As a result, it is possible to prevent a phenomenon in which the robot 102 operating at a high speed rapidly approaches the worker 105 and makes an emergency stop during the approach determination process, and further improve the work efficiency.
  • a moving image model showing the robot motion is displayed as a three-dimensional object, but a series of robots can be displayed by superimposing a still image (still image of a robot having a different posture) of a robot that advances a plurality of frames.
  • a system that can grasp all the operations at once is also conceivable. This makes it possible to grasp all planned movements at a glance, making it easier for workers to grasp complicated movements and time-consuming movements, avoiding emergency stops due to the approach between the worker and the robot, and improving work efficiency. The effect of improving can be obtained.
  • FIG. 13 is a block diagram showing the function of the image generation unit of this embodiment.
  • the image generation unit 319 shown in this figure belongs to the same robot system as in the first or second embodiment, and the functional blocks other than the image generation unit 319 are the same as those in the first or second embodiment. ..
  • the image generation unit 319 includes a continuous image generation unit 320, a model storage unit 321 and an output coordinate definition unit 322.
  • the difference from the image generation unit 119 (FIG. 4) in the first embodiment is that a continuous image generation unit 320 is provided instead of the moving image generation unit 141.
  • the continuous image generation unit 320 is a part that expresses the operation data planned by the operation planning unit as if the operation is frame-by-frame by using the robot model data stored in the model storage unit 321.
  • a plurality of robot model data are displayed as three-dimensional objects, and for example, the movement is represented at once from the beginning to the end.
  • the number of frames to display the model for the length of operation is arbitrary.
  • FIG. 14 is a flowchart showing the process of the three-dimensional object generation process.
  • steps S041 and S042 are the same as those in FIG. 8, and a part that expresses how the model of step S043 is operating frame by frame and generates a three-dimensional object that displays them all at once. Is different from FIG.
  • the delay unit provides a delay time to adjust the timing of the robot operation.
  • FIG. 15 is a block diagram showing the functions of the robot system of this embodiment.
  • the robot 402, the sensor 403, and the image display device 404 are connected to the control device 401.
  • the connection method may be wired communication or wireless communication.
  • the control device 401 includes a robot control unit 414 and an image display device control unit 415.
  • the robot control unit 414 includes an operation planning unit 416 and an operation approval unit 417.
  • the image display device control unit 415 includes an approach determination unit 418 and an image generation unit 419.
  • the robot control unit 414 shown in this figure has an operation approval unit 417 instead of the delay unit. Then, the image generation unit 419 sends a display completion notification of the three-dimensional object to the operation approval unit 417.
  • the motion approval unit 417 Upon receiving the notification of the completion of display of the three-dimensional object, the motion approval unit 417 causes the operator to determine whether or not to actually execute the motion on the robot 402. Some kind of external input device or the like is used for this determination.
  • the operation approval unit 417 transmits the operation data to the robot 402. Further, the approval may be an approval for execution of the motion data transmitted to the robot 402 in advance.
  • the external input device may be a button provided on the image display device 404. Further, the worker may approve by a signal (gesture, hand gesture, etc.) to the sensor 403. Further, the person who approves may be not only a worker approaching the robot 402 but also a third party such as a supervisor.
  • FIG. 16 is a flowchart showing a process from operation planning to execution of the robot system in this embodiment.
  • step S051 the motion planning unit 116 plans the motion of the robot 102. Then, in step S059, the image generation unit 419 transmits a display completion notification of the three-dimensional object to the operation approval unit 417.
  • step S060 the operator determines whether or not the robot 402 may actually perform the operation, and when the operation approval unit 417 receives the worker's approval (YES in step S060), the operation is performed in step S061. Proceed and send a command from the operation approval unit 417 to the robot 402. After that, in step S062, the robot 402 activates based on the operation data and executes the operation.
  • FIG. 17 is a time chart showing the timing of displaying the three-dimensional object and executing the robot operation in this embodiment. It is a figure in which time flows to the right.
  • the robot 402 is executed through the operation approval process.
  • FIG. 18 is a schematic configuration diagram showing a situation in which an operator moves between a plurality of robots.
  • a plurality of robots 102a, 102b, 102c, 102d are arranged.
  • the worker 105 is equipped with an image display device 104 (HMD) and is about to enter between the plurality of robots 102a, 102b, 102c, and 102d.
  • HMD image display device
  • the approach determination unit 118 determines that any one of the robots 102a, 102b, 102c, and 102d is close to the worker 105
  • the worker provides accurate information via the HMD. Tell 105.
  • it is desirable that the robots 102a, 102b, 102c, and 102d that approach the worker 105 are displayed on the HMD so that the worker 105 can easily determine them.
  • 100, 200, 400 Robot system, 101, 201, 401: Control device, 102, 202, 402: Robot, 103, 203, 403: Sensor, 104, 204, 404: Image display device, 105: Worker, 114 , 214, 414: Robot control unit, 115, 215, 415: Image display device control unit, 116, 216, 416: Motion planning unit, 117, 217: Delay unit, 118, 218, 418: Approach determination unit, 119, 219: 419: Image generation unit, 130: Distance calculation unit, 131: Threshold comparison unit, 132: Threshold storage unit, 141: Movie generation unit, 142: Model storage unit, 143: Output coordinate definition unit, 220: Future robot position Calculation unit, 221: Danger area definition unit, 222: Future worker position calculation unit, 223: Future position duplication determination unit, 319: Image generation unit, 320: Continuous image generation unit, 321: Model storage unit, 322: Output coordinates Definition part

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

ロボットと、センサと、制御装置と、画像表示装置と、を備えたロボットシステムであって、制御装置は、ロボット制御部と、画像表示装置制御部と、を含み、ロボット制御部は、ロボットの動作を計画し動作データを作成する動作計画部を含み、動作データに基づきロボットを制御するものであり、画像表示装置制御部は、接近判定部と、画像生成部と、を含み、接近判定部は、人とロボットとの接近が生じるかどうかを判定するものであり、画像生成部は、動作データに基づき仮想的なオブジェクトのデータを生成し、センサから得られたデータとオブジェクトのデータとに基づき複合現実のデータを合成するものであり、画像表示装置は、複合現実のデータに基づき複合現実の画像を表示するものであり、接近判定部により接近が生じると判定された場合には、オブジェクトを画像表示装置に表示する。これにより、作業者に必要な危険のみを抽出して提示し、ロボットの緊急停止回数を減少させ、作業効率の向上及び安全性の向上を図ることができる。

Description

ロボットシステム
　本発明は、ロボットシステムに関する。
　近年、労働人口減少が問題になっており、製造業における人手不足の解消、生産性の向上等が求められている。これらの解決手段の一つとして、人とロボットが協調して作業する協働ロボットシステムの活用が期待されている。そして、このシステムの作業効率の向上は、喫緊の課題として挙げられている。
　特許文献１には、ロボットの動作に伴う危険の状況を適切に提示することを目的として、人の位置である人位置を取得する人位置取得部と、人位置取得部で取得された人位置に依存させて、人の視界範囲を決定する人視界範囲決定部と、動作計画に従って動作するロボットの少なくとも一部が視界範囲に含まれる特定時刻におけるロボットの位置、および、特定時刻におけるロボットの姿勢のうち少なくとも一方を含む位置姿勢を決定する位置姿勢決定部と、位置姿勢決定部で決定された位置姿勢を示すための画像データを生成する画像生成部とを備える、危険提示装置が記載されている。
国際公開第２０１１／０８９８８５号
　協働ロボットは、一定距離以上作業者と近づくと緊急停止するように設定されていることが多い。よって、作業者が協働ロボットの動作を予測できずに接近することにより、緊急停止が頻発すると、作業効率が低下する。
　また、ロボットに設けた緊急停止機能が常に万全であるとは限らない。この場合は、作業者がロボットの行動を予測し衝突を回避する必要があるが、ロボットの動作を精度よく予測することは難しい。例えば、作業者の死角から移動ロボットが作業者に接近する場合には、作業者と移動ロボットとの出会い頭の衝突などが発生してしまうおそれがあった。
　特許文献１に記載の危険提示装置は、ロボットの動作に伴う危険の状況を人に提示するものであり、これによって作業効率や安全性の向上を図ることが可能である。しかしながら、特許文献１においては、危険の状況について人に提示するか否かを判定することは記載されていない。このため、実際に衝突などを回避する必要がない状況についても人に提示してしまう場合があり、提示された状況のうち作業者が実際に回避する必要がある危険に対する注意力が低下してしまうおそれがある。
　そこで、本発明の目的は、作業者に必要な危険のみを抽出して提示し、ロボットの緊急停止回数を減少させ、作業効率の向上及び安全性の向上を図ることにある。
　本発明のロボットシステムは、ロボットと、センサと、制御装置と、画像表示装置と、を備え、制御装置は、ロボット制御部と、画像表示装置制御部と、を含み、ロボット制御部は、ロボットの動作を計画し動作データを作成する動作計画部を含み、動作データに基づきロボットを制御するものであり、画像表示装置制御部は、接近判定部と、画像生成部と、を含み、接近判定部は、人とロボットとの接近が生じるかどうかを判定するものであり、画像生成部は、動作データに基づき仮想的なオブジェクトのデータを生成し、センサから得られたデータとオブジェクトのデータとに基づき複合現実のデータを合成するものであり、画像表示装置は、複合現実のデータに基づき複合現実の画像を表示するものであり、接近判定部により接近が生じると判定された場合には、オブジェクトを画像表示装置に表示する。
　本発明によれば、作業者に必要な危険のみを抽出して提示し、ロボットの緊急停止回数を減少させ、作業効率の向上及び安全性の向上を図ることができる。
実施例１のロボットシステムの概要を示す全体構成図である。 実施例１のロボットシステムの機能を示すブロック図である。 実施例１の接近判定部の機能を示すブロック図である。 実施例１の画像生成部の機能を示すブロック図である。 実施例１におけるロボットの動作計画から実行までの工程を示すフローチャートである。 実施例１における接近判定から三次元オブジェクトの表示までの工程を示すフローチャートである。 実施例１における接近判定処理の工程を示すフローチャートである。 実施例１における三次元オブジェクト生成処理の工程を示すフローチャートである。 実施例１における三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。 実施例２のロボットシステムの機能を示すブロック図である。 実施例２の接近判定部の機能を示すブロック図である。 実施例２における接近判定処理の工程を示すフローチャートである。 実施例３の画像生成部の機能を示すブロック図である。 実施例３における三次元オブジェクト生成処理の工程を示すフローチャートである。 実施例４のロボットシステムの機能を示すブロック図である。 実施例４におけるロボットシステムの動作計画から実行までの工程を示すフローチャートである。 実施例４における三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。 作業者が複数のロボットの間を移動する状況を示す模式構成図である。
　以下、本発明の実施例について、図面を参照して説明する。
　図１は、実施例１のロボットシステム１００の全体構成を示したものである。
　本図に示すように、ロボットシステム１００は、制御装置１０１と、ロボット１０２と、センサ１０３と、画像表示装置１０４と、を含む。
　制御装置１０１は、センサ１０３から送信される情報の受信、ロボット１０２の制御、画像表示装置１０４に表示する画像のデータの送信等の機能を有する。
　ロボット１０２は、固定されていても移動可能でもよく、マニピュレータ、アームロボット、移動ロボット、自動運転車、無人搬送車（ＡＧＶ）、人型ロボットなどの種類は問わない。
　センサ１０３は、ロボット１０２の周囲の物、人、通路等に関する情報を検知する。センサ１０３は、ロボット１０２、画像表示装置１０４等に設置してもよく、複数箇所に配置されていてもよい。センサ１０３は、人との距離を測る距離センサでもよいし、画像認識するカメラでもよいし、Ｗｉ－ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を検知するものでもよいし、人とロボットの接近を検知する他の手段でもよい。
　画像表示装置１０４は、複合現実を合成する仮想的なロボットを表示する。画像表示装置１０４は、ロボット１０２の将来動作を複合現実として表示する。本図においては、作業者１０５が装着するヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ：ＨＭＤ）である。画像表示装置１０４は、スマートフォン等のモバイルデバイスでも、通路、壁等に設置された端末、スクリーン、壁、床等に画像を投影するプロジェクター等でもよく、その他の媒体でもよい。
　なお、作業者１０５は、工場等の従業員だけでなく、ロボット１０２に接近する可能性のある人を代表的に表現した用語である。よって、ロボット１０２に接近する可能性のある人すべてが対象となる。
　制御装置１０１は、画像表示装置１０４を制御する部分とロボット１０２を制御する部分とに分けて設置してもよく、そのような場合には、有線通信や無線通信などによって接続されるものとする。さらに、ロボット１０２の内部に制御装置１０１が組み込まれていてもよいし、画像表示装置１０４の内部に制御装置１０１が組み込まれていてもよい。
　ロボットシステム１００は、作業者１０５との効率的な協働や円滑な自動走行などを目的にしている。ロボット１０２の周りに柵はなく、作業者１０５は、ロボット１０２に接近可能である。画像表示装置１０４は、作業者１０５が複合現実を確認するものである。
　次に、ロボットシステムの機能について説明する。
　図２は、ロボットシステムの機能を示すブロック図である。
　本図に示すロボットシステム１００は、制御装置１０１にロボット１０２、センサ１０３及び画像表示装置１０４が接続されている。ここで、接続方法は、有線通信でも無線通信でもよい。
　制御装置１０１は、ロボット制御部１１４と、画像表示装置制御部１１５と、を備える。ロボット制御部１１４は、動作計画部１１６と、遅延部１１７と、を備える。画像表示装置制御部１１５は、接近判定部１１８と、画像生成部１１９と、を備える。
　動作計画部１１６は、ロボット１０２の動作を計画する部分である。この動作は、ロボット１０２が完遂すべきタスクを一度に達成する動作でもよいし、タスクの一部を達成するための動作でもよい。また、一度計画した動作の実行中に、途中から割り込んでロボットの動きを変更させるような動作でもよい。その際、必要であれば、センサ１０３あるいは図示しない別のセンサのデータを用いてもよい。
　遅延部１１７は、ロボット１０２による動作データの実行を所定の時間だけ遅延させる機能を有する。この場合に、遅延部１１７は、動作データのロボット１０２への送信を所定の時間だけ遅延させてもよいし、ロボット１０２に送信した動作データのロボット１０２による実行を所定の時間だけ遅延させてもよい。
　接近判定部１１８は、センサから得たロボット１０２若しくは作業者又はそれらの両方に関するデータを元に、ロボット１０２と作業者との距離を算出し、閾値と比較してロボット１０２と作業者が接近しているか否かを判定する部分である。
　画像生成部１１９は、動作計画部１１６で計画された動作データを得て、それをオブジェクトに変換し、画像表示装置１０４に出力する部分である。画像表示装置１０４は、オブジェクトを表示する。オブジェクトは、三次元オブジェクトであることが望ましいが、二次元オブジェクトであってもよい。
　ここで、動作計画部１１６から得る動作データは、ロボット１０２がアームロボットの場合は目標位置まで移動するための各ジョイントの角度情報、ロボット１０２がＡＧＶの場合は移動する際の速度、加速度、移動方向などのデータが例として挙げられる。
　ロボット制御部１１４及び画像表示装置制御部１１５は、物理的に別々のハードウェアに属していてもよい。その場合は、通信環境の通信帯域によって動作計画部１１６で計画された動作データが画像生成部１１９に送るデータが制限されるという課題も想定される。その課題を解決するためには、例えば、ロボット制御部１１４と画像表示装置制御部１１５との間において無線通信が届くときのみ、動作計画部１１６が画像生成部１１９に動作データを送ることにしてもよい。これにより、全てのロボットからの動作データの全てを送る必要がなくなり、上記の通信帯域の通信容量の上限値によりデータが制限される課題を解決することができる。
　なお、接近判定部１１８は、センサ１０３で検知されたデータを受け取り、そのデータをもとに、作業者とロボット１０２の距離を算出し、それを閾値と比較することで、作業者とロボット１０２とが接近しているか否かを判定する部分である。ここで、データは、センサ１０３の種類に依存する。センサ１０３のデータは、例えば、センサ１０３がロボットに取り付けられているライダーの場合は、周辺の点群データなどである。また、ロボット１０２に取り付けられたカメラである場合は、撮影した作業者のＲＧＢ画像や距離画像である。また、画像表示装置１０４や作業者に取り付けられたカメラの場合は、ロボットのＲＧＢ画像や距離画像である。
　画像生成部１１９は、接近判定部１１８から得た作業者とロボット１０２との接近判定結果と、動作計画部１１６から得たロボット１０２の動作データとを用いて、画像表示装置１０４に出力するための三次元オブジェクトを生成する部分である。
　次に、接近判定部の詳細な構成について説明する。
　図３は、接近判定部の機能を示すブロック図である。
　本図においては、接近判定部１１８は、距離算出部１３０、閾値比較部１３１及び閾値記憶部１３２を備えている。
　距離算出部１３０は、センサからのデータを用いて作業者とロボット１０２との距離を算出する。算出する方法としては、例えば、センサ１０３が作業者又は画像表示装置に取り付けられたカメラの場合は、カメラが撮影したロボット１０２の距離画像を用いて、画像認識によって距離画像の中でどれがロボット１０２にあたるのかを判定し、カメラからロボット１０２の距離を算出するなどの方法が挙げられる。作業者とロボット１０２との距離を算出する方法であれば、他の方法を用いてもよい。
　閾値比較部１３１は、距離算出部１３０が算出した作業者とロボット１０２との距離を用いて、閾値と比較する部分である。閾値比較部１３１は、閾値よりも距離が小さい場合には、作業者とロボット１０２とが接近していると判定する。ここで用いる閾値は、閾値記憶部１３２に記憶されており、このロボットシステム１００を利用する前にあらかじめ設定し、記憶させておくことが望ましい。
　次に、画像生成部１１９の詳細な構成について説明する。
　図４は、画像生成部の機能を示すブロック図である。
　本図においては、画像生成部１１９は、動画生成部１４１、モデル記憶部１４２及び出力座標定義部１４３を備えている。
　動画生成部１４１は、動作計画部１１６から読み込んだ動作データと、ロボット１０２のモデルデータとを用いて、ロボット１０２のモデルが動作データの動作をこなしている様を動的に表す三次元オブジェクト（アニメーション）を生成する部分である。ここで用いるロボット１０２のモデルデータは、モデル記憶部１４２に記憶されている。ロボットシステム１００を利用する前にあらかじめロボット１０２の複合現実モデルを設定し、記憶させておくことが望ましい。なお、上記のアニメーションは、「動画モデル」とも呼ぶ。
　例えば、ロボット１０２がアームロボットの場合、動作データを表示するためには、ロボット１０２のあらゆる姿勢の複合現実モデルをモデル記憶部１４２に記憶しておき、それを用いてアームロボットが動作データをこなす様を表す三次元オブジェクトを生成する。
　出力座標定義部１４３は、動画生成部１４１が生成した三次元オブジェクトを、画像表示装置１０４に複合現実として出力する際に、作業者から見える三次元オブジェクトの場所を定義する部分である。例えば、ロボット１０２がアームロボットの場合は、ロボット１０２と三次元オブジェクトとが画像表示装置１０４の画像として重なって見えるように定義してもよい。また、ロボット１０２がＡＧＶの場合は、ロボット１０２が実際に動作し移動する場所に三次元オブジェクトを表示するよう定義してもよい。これにより、作業者が直観的に将来のロボット１０２の場所及び動作を認識することができる。
　図５は、ロボットの動作計画から実行までの工程を示すフローチャートである。
　本図に示すように、まず、工程Ｓ００１において、動作計画部１１６がロボット１０２の動作を計画する。ロボット１０２がアームロボットの場合は、先端の目標位置に対する各ジョイントの角度や角速度指令などを計画する。ロボット１０２がＡＧＶの場合は、到達目標位置に対する速度やルート等の動作を計画する。ロボット１０２がアームロボットでもＡＧＶでもない場合は、そのロボットに合った動作を計画する。
　次いで、工程Ｓ００２において、遅延部１１７に設定された時間だけ待ってから、遅延部１１７が動作データをロボット１０２に送信する。
　次いで、工程Ｓ００３において、ロボット１０２が動作データをもとにアクチュエートし、動作を実行する。
　以上説明した工程Ｓ００１からＳ００３までの処理は、ロボットの一連の動作が完了してから、スタートに戻って行われる。ただし、本発明は、上記の工程に限定されるものではなく、周囲環境が動的な環境の場合は、計画を例えば１００ｍｓｅｃごとに繰り返し行ってもよい。
　次に、ロボット１０２と作業者１０５との接近判定をし、三次元オブジェクトを表示するまでの工程について説明する。
　図６は、接近判定から三次元オブジェクトの表示までの工程を示すフローチャートである。
　本図に示すように、工程Ｓ００４で、接近判定部１１８が作業者とロボット１０２との接近の有無の判定をする（接近判定処理）。工程Ｓ００４の詳細については、図７を用いて後述する。
　工程Ｓ００４で判定した結果である接近の有無については、工程Ｓ００５に示すとおりであり、作業者とロボット１０２との接近がある場合は、工程Ｓ００６へ進む（Ｓ００５のＹＥＳ）。作業者とロボット１０２との接近がない場合は、工程Ｓ００４に戻って接近判定処理を繰り返す（Ｓ００５のＮＯ）。
　工程Ｓ００６においては、計画した動作データを画像生成部１１９に送信する。
　次いで、工程Ｓ００７において、画像生成部１１９が画像表示装置１０４に出力する三次元オブジェクトを生成する。工程Ｓ００７の詳細については、図８を用いて後述する。
　次いで、工程Ｓ００８においては、出力座標定義部１４３が、画像表示装置１０４に三次元オブジェクトを出力する際の出力場所（出力座標）を定義する。例えば、ロボット１０２がアームロボットで、作業者１０５が画像表示装置１０４から見たときに、三次元オブジェクトがロボット１０２と重なって見えるようにしたければ、画像表示装置１０４が認識可能なマーカーをロボット１０２に付けて、そのマーカーを基準に三次元オブジェクトを出力してもよい。また、この場合に、作業空間の中でロボット１０２の座標を定義し、画像表示装置１０４に設定し記憶しておき、画像表示装置１０４の自己位置推定機能なども利用して相対位置関係を割り出す方法などをとってもよい。
　次いで、工程Ｓ００９において、工程Ｓ００７で生成した三次元オブジェクトと工程Ｓ００８で定義した出力座標とを画像表示装置１０４に出力する。
　次いで、工程Ｓ０１０において、画像表示装置１０４が三次元オブジェクトを定義した座標に見えるように表示する。
　以上説明した工程Ｓ００４からＳ０１０までの処理は、例えば、１００ｍｓｅｃ程度の一定の周期で繰り返す。
　次に、接近判定部１１８による作業者とロボット１０２との接近判定処理について説明する。図６の工程Ｓ００４に相当する部分である。
　図７は、接近判定処理の工程を示すフローチャートである。
　本図に示すように、まず、工程Ｓ０１１において、センサ１０３のデータをもとに、距離算出部１３０が作業者１０５とロボット１０２との距離を算出する。例えば、センサ１０３がロボット１０２に取り付けられたカメラであり、距離画像のデータが受け取れる場合は、画像認識機能で距離画像の中の作業者１０５を判別し、距離を算出する方法を採用することができる。他にも、センサ１０３の種類に応じて距離を算出する方法であれば任意の方法をとってよい。
　次いで、工程Ｓ０１２において、閾値記憶部１３２に記憶されている閾値と、Ｓ０１１において算出した作業者とロボット１０２との距離と、を比較し、閾値よりも距離が小さいか確認する。距離が閾値より小さい場合（工程Ｓ０１３におけるＹＥＳ）は、工程Ｓ０１４に進む。距離が閾値より小さくない場合（工程Ｓ０１３におけるＮＯ）は、工程Ｓ０１５へ進む。この場合の比較方法は、距離が閾値以下のときは、工程Ｓ０１３のＹＥＳとみなし、距離が閾値以下でないときは、工程Ｓ０１３のＮＯとみなすなど、距離と閾値の関係から作業者１０５とロボット１０２との接近関係を判定できるものであれば他の方法でもよい。
　工程Ｓ０１４に進んだ場合は、作業者１０５とロボット１０２とは接近していると判定する。一方、工程Ｓ０１５に進んだ場合は、作業者１０５とロボット１０２とは接近していないと判定する。
　次に、画像生成部１１９が三次元オブジェクトを生成する工程について説明する。図６のＳ００７に相当する部分である。
　図８は、三次元オブジェクト生成処理の工程を示すフローチャートである。
　本図に示すように、まず、工程Ｓ０２１において、モデル記憶部１４２からロボット１０２のモデルデータを読み込む。ここで、読み込むモデルデータは、例えば、ＣＡＤデータなど、画像表示装置１０４に出力するための三次元オブジェクトを生成するもとになれるものであればよい。
　次いで、工程Ｓ０２２において、動作計画部１１６で計画された動作データを読み込む。
　次いで、工程Ｓ０２３において、動画生成部１４１により、モデルが動作データを再現して動いて見えるように構成された三次元オブジェクトを生成する。
　図９は、三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。右に向かって時間が流れる図である。
　本図においては、三次元オブジェクトが画像表示装置１０４に表示されてからロボット１０２が動作実行するまでを表している。
　まず、動作計画部１１６で計画された動作データをロボット１０２のモデルデータが再現するように構成された三次元オブジェクトの表示が、画像表示装置１０４において開始される。その開始時点から、遅延部１１７が遅らせた時間（遅延時間）だけ遅れてロボット１０２の実際の動作が実行される。この場合において、接近判定の時間や動作データを送信する時間などは誤差とし、遅延時間としてカウントしないものとしている。
　このように、作業者１０５が遅延時間分だけ先に、ロボット１０２の動作を三次元オブジェクトとして確認できるため、作業者１０５が直近のロボット１０２の動作（例えば数秒後の動作）を予測することができ、接近によるロボット１０２の緊急停止を避け、作業効率を向上させる効果を得ることができる。
　さらに、接近判定部１１８によって、接近したロボット１０２の直近の動作についてのみ作業者１０５が確認可能になるため、作業者１０５が実際に回避する必要がある危険を容易に認識することができる。
　（接近判定部で作業者及びロボットの将来位置を予測する例）
　実施例１においては、接近判定処理において、作業者１０５とロボット１０２との距離のみを利用している。
　これに対して、実施例２においては、接近判定処理をする際、作業者１０５及びロボット１０２の予測された将来動作を用いて、更に高精度な接近判定処理をする。
　ロボットシステムの機能ブロックの概要については、図２と同様である。
　本実施例においては、接近判定部の内部構成が実施例１とは若干異なる。また、動作計画部から接近判定部に動作データが送信される点が実施例１と異なる。
　図１０は、実施例２のロボットシステムの機能を示すブロック図である。
　本図に示すロボットシステム２００は、制御装置２０１にロボット２０２、センサ２０３及び画像表示装置２０４が接続されている。ここで、接続方法は、有線通信でも無線通信でもよい。
　制御装置２０１は、ロボット制御部２１４と、画像表示装置制御部２１５と、を備える。ロボット制御部２１４は、動作計画部２１６と、遅延部２１７と、を備える。画像表示装置制御部２１５は、接近判定部２１８と、画像生成部２１９と、を備える。
　本図においては、図２と異なり、上述のとおり、動作計画部２１６から接近判定部２１８に動作データが送信されるようになっている。
　接近判定部２１８では、動作計画部２１６からのロボット２０２の動作データと、センサ２０３などからの作業者の位置データとを受け取り、ロボット２０２及び作業者の将来動作を予測することにより、双方の接近判定をする。
　次に、接近判定部２１８の機能ブロックの構成について説明する。
　図１１は、本実施例の接近判定部の機能を示すブロック図である。
　本図に示すように、接近判定部２１８は、将来ロボット位置算出部２２０と、危険エリア定義部２２１と、将来作業者位置算出部２２２と、将来位置重複判定部２２３と、を備える。
　将来ロボット位置算出部２２０は、動作計画部２１６から受け取ったロボット２０２の動作データから、ロボット２０２が将来どの位置に移動するかを算出する部分である。
　危険エリア定義部２２１は、将来ロボット位置算出部２２０が算出した将来のロボットの位置から、ロボット２０２がいずれその場所に移動してくるという意味で危険であると判定される場所を定義する部分である。
　定義の方法は、例えば、ロボット２０２がＡＧＶの場合は、将来位置の半径数メートル以内は全て危険エリアとする方法などであり、他の方法でもよい。
　将来作業者位置算出部２２２は、センサ２０３から受け取った作業者に関するデータから作業者の位置を算出し、将来の作業者の位置を算出し予測する部分である。例えば、次のような方法で作業者の将来位置を算出する。
　センサ２０３がカメラであって距離画像を取得可能である場合、画像認識により作業者の位置データを算出し、その数秒後の作業者の位置データを算出する。そして、例えば、作業者についての２つの位置データから生成できる直線上に、更に数秒後の作業者が移動していると仮定して、２つの位置データ間の距離と同じだけ離れた直線上の位置（延長線上の位置）を、更に数秒後の作業者の位置であると推定する。なお、作業者の将来位置を算出できる方法であれば、これに限らず、他の方法でもよい。
　将来位置重複判定部２２３は、危険エリア定義部２２１が定義した危険エリアに、将来作業者位置算出部２２２が推定した将来の作業者の位置が入っているか否かを判定し、入っていれば、作業者とロボット２０２とが接近すると判定する部分である。
　次に、接近判定部２１８による接近判定処理について説明する。
　図１２は、接近判定処理の工程を示すフローチャートである。
　本図に示すように、まず、工程Ｓ０３１において、動作計画部２１６で計画されたロボットの動作データを接近判定部２１８が読み込む。
　次いで、工程Ｓ０３２において、将来ロボット位置算出部２２０が、設定した時間だけ将来のロボット２０２の位置を上述のような方法によって推定する。
　次いで、工程Ｓ０３３において、危険エリア定義部２２１が、工程Ｓ０３２で推定したロボット２０２の将来位置から、上述のような方法によって危険エリアを決定する。
　次いで、工程Ｓ０３４において、センサ２０３が検知した作業者の位置データを読み込む。
　次いで、工程Ｓ０３５において、将来作業者位置算出部２２２が、設定した時間だけ将来の作業者の位置データを上述のような方法で算出し予測する。
　次いで、将来位置重複判定部２２３が、予測した作業者の位置が危険エリアに入るか否かを判定し、入る場合（工程Ｓ０３６のＹＥＳ）は、工程Ｓ０３７に進み、ロボット２０２と作業者とが接近していると判定する。入らない場合（工程Ｓ０３６のＮＯ）は、工程Ｓ０３８に進み、ロボット２０２と作業者とが接近していないと判定する。
　このように、ロボット２０２及び作業者の将来位置を活用して接近判定をすることにより、接近判定の精度が向上する。すなわち、ロボット２０２が高速度で移動するような動的な環境においても、作業者が自身と接触するリスクの高いロボットのみを三次元オブジェクトとして確認することができる。これによって、接近判定処理中に、高速度で動作するロボット１０２が作業者１０５に急速に接近し、緊急停止する現象などを防止し、作業効率を更に向上させることができる。
　（画像生成部で連続画像を生成する例）
　実施例１においては、三次元オブジェクトとして、ロボット動作を表す動画モデルを表示したが、複数コマ送りのロボットの静止画（姿勢が異なるロボットの静止画）を重畳して表示し、ロボットの一連の動作を一度に全て把握できるシステムも考えられる。これによって、計画された動作を一目で全て把握することができ、複雑な動作や時間のかかる動作も作業者が把握しやすくなり、作業者とロボットとの接近による緊急停止を避け、作業効率を向上させる効果を得ることができる。
　図１３は、本実施例の画像生成部の機能を示すブロック図である。
　本図に示す画像生成部３１９は、実施例１又は実施例２と同じロボットシステムに属するものであり、画像生成部３１９以外の機能ブロックは、実施例１又は実施例２のものと同じである。
　画像生成部３１９は、連続画像生成部３２０と、モデル記憶部３２１と、出力座標定義部３２２と、を備える。実施例１における画像生成部１１９（図４）との違いは、動画生成部１４１の代わりに、連続画像生成部３２０を設けたことである。
　連続画像生成部３２０は、動作計画部が計画した動作データを、モデル記憶部３２１に記憶されているロボットのモデルデータを用いて、動作をコマ送りのように表現する部分である。複数のロボットモデルデータを三次元オブジェクトとして表示し、例えば、動作をはじめから終わりまで一度に表す。動作の長さに対していくつのコマ割りでモデルを表示するかは任意である。
　次に、連続画像生成部３２０による画像生成について説明する。
　図１４は、三次元オブジェクト生成処理の工程を示すフローチャートである。
　本図においては、工程Ｓ０４１及びＳ０４２は、図８と同様であり、工程Ｓ０４３のモデルが動作している様子をコマ送りで表現し、それらを一度に表示するような三次元オブジェクトを生成する部分が図８とは異なる。
　（動作実行前に承認処理を入れる例）
　実施例１～３においては、遅延部が遅延時間を設けて、ロボットの動作のタイミングを調整している。
　これに対して、実施例４においては、作業者がロボットの将来動作について判断し、承認することを可能にしている。
　図１５は、本実施例のロボットシステムの機能を示すブロック図である。
　本図に示すロボットシステム４００は、制御装置４０１にロボット４０２、センサ４０３及び画像表示装置４０４が接続されている。ここで、接続方法は、有線通信でも無線通信でもよい。
　制御装置４０１は、ロボット制御部４１４と、画像表示装置制御部４１５と、を備える。ロボット制御部４１４は、動作計画部４１６と、動作承認部４１７と、を備える。画像表示装置制御部４１５は、接近判定部４１８と、画像生成部４１９と、を備える。
　本図に示すロボット制御部４１４は、図２と異なり、遅延部の代わりに動作承認部４１７を有している。そして、画像生成部４１９から動作承認部４１７に三次元オブジェクトの表示完了通知が送信されるようになっている。動作承認部４１７は、三次元オブジェクトの表示完了通知を受けて、作業者にその動作を実際にロボット４０２で実行するか否かの判断をさせる。この判断には、何らかの外部入力装置などを用いてする。作業者が動作実行の承認をしたとき、動作承認部４１７は、ロボット４０２に動作データを送信する。また、当該承認は、事前にロボット４０２に送信した動作データの実行の承認であってもよい。ここで、外部入力装置は、画像表示装置４０４に設けられたボタンでもよい。また、センサ４０３に対する合図（身振り、手振り等）により、作業者の承認としてもよい。また、承認する人は、ロボット４０２に接近する作業者だけでなく、監督等の第三者であってもよい。
　図１６は、本実施例におけるロボットシステムの動作計画から実行までの工程を示すフローチャートである。
　本図においては、まず、工程Ｓ０５１において、動作計画部１１６がロボット１０２の動作を計画する。そして、工程Ｓ０５９において、画像生成部４１９から動作承認部４１７に三次元オブジェクトの表示完了通知を送信する。
　工程Ｓ０６０において、作業者は、ロボット４０２が実際に動作を実行してよいかどうかの判断をし、動作承認部４１７が作業者の承認を受けた場合（工程Ｓ０６０のＹＥＳ）は、工程Ｓ０６１に進み、動作承認部４１７からロボット４０２に指令を送信する。その後、工程Ｓ０６２において、ロボット４０２が動作データをもとにアクチュエートし、動作を実行する。
　工程Ｓ０６０において作業者の承認が得られない場合（工程Ｓ０６０のＮＯ）は、ロボット４０２の動作を実行しない。
　図１７は、本実施例における三次元オブジェクト表示及びロボット動作実行のタイミングを示すタイムチャートである。右に向かって時間が流れる図である。
　本図においては、三次元オブジェクトが画像表示装置４０４に表示されてからロボット４０２が動作実行するまでを表している。
　本図においては、三次元オブジェクト表示が完了した後、動作承認のプロセスを経て、ロボット４０２が実行される。
　これにより、危険な動作が予想される場合は、事前にロボット４０２の動作の実行を中止し、作業者とロボットとの衝突等を防止し、安全を担保することができる。
　なお、実際の工場等においては、複数のロボットが配置され、それぞれが異なる作業や動作を行う状況がある。このような場合においても、作業者（人）が複数のロボットの間に設けられた通路を通行する際、ロボットとの衝突等の危険を回避し、作業者が必要以上にストレスを感じることなく円滑に作業を進められる状況を維持するとともに、ロボットの緊急停止の回数を減らすことが必要である。
　図１８は、作業者が複数のロボットの間を移動する状況を示す模式構成図である。
　本図においては、複数のロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが配置されている。作業者１０５は、画像表示装置１０４（ＨＭＤ）を装着し、複数のロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの間に進入しようとしている。
　このような状況において、接近判定部１１８により、ロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいずれかと作業者１０５とが接近していると判定された場合には、ＨＭＤを介して的確な情報を作業者１０５に伝える。この場合に、ロボット１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうち作業者１０５に接近するものを、作業者１０５が判断しやすいように、ＨＭＤに表示することが望ましい。また、時々刻々と変化する状況に応じて、ＨＭＤに表示する内容を切り替えることが望ましい。
　なお、この場合において、実施例１～４に示すいずれの構成や方法を適用してもよい。
　１００、２００、４００：ロボットシステム、１０１、２０１、４０１：制御装置、１０２、２０２、４０２：ロボット、１０３、２０３、４０３：センサ、１０４、２０４、４０４：画像表示装置、１０５：作業者、１１４、２１４、４１４：ロボット制御部、１１５、２１５、４１５：画像表示装置制御部、１１６、２１６、４１６：動作計画部、１１７、２１７：遅延部、１１８、２１８、４１８：接近判定部、１１９、２１９、４１９：画像生成部、１３０：距離算出部、１３１：閾値比較部、１３２：閾値記憶部、１４１：動画生成部、１４２：モデル記憶部、１４３：出力座標定義部、２２０：将来ロボット位置算出部、２２１：危険エリア定義部、２２２：将来作業者位置算出部、２２３：将来位置重複判定部、３１９：画像生成部、３２０：連続画像生成部、３２１：モデル記憶部、３２２：出力座標定義部、４１７：動作承認部。

Claims (7)

  1. 　ロボットと、センサと、制御装置と、画像表示装置と、を備え、
    　前記制御装置は、ロボット制御部と、画像表示装置制御部と、を含み、
    　前記ロボット制御部は、前記ロボットの動作を計画し動作データを作成する動作計画部を含み、前記動作データに基づき前記ロボットを制御するものであり、
    　前記画像表示装置制御部は、接近判定部と、画像生成部と、を含み、
    　前記接近判定部は、人と前記ロボットとの接近が生じるかどうかを判定するものであり、
    　前記画像生成部は、前記動作データに基づき仮想的なオブジェクトのデータを生成し、前記センサから得られたデータと前記オブジェクトの前記データとに基づき複合現実のデータを合成するものであり、
    　画像表示装置は、前記複合現実の前記データに基づき前記複合現実の画像を表示するものであり、
    　前記接近判定部により前記接近が生じると判定された場合には、前記オブジェクトを前記画像表示装置に表示する、ロボットシステム。
  2. 　前記オブジェクトは、三次元オブジェクトである、請求項１記載のロボットシステム。
  3. 　前記接近判定部により前記接近が生じないと判定された場合には、前記オブジェクトを前記画像表示装置に表示しない、請求項１記載のロボットシステム。
  4. 　前記ロボット制御部は、前記ロボットによる前記動作データの実行を所定の時間だけ遅延させる機能を有する遅延部を更に含む、請求項１記載のロボットシステム。
  5. 　前記ロボット制御部は、人の承認を受けてから前記ロボットに前記動作データの実行をさせる動作承認部を更に含む、請求項１記載のロボットシステム。
  6. 　請求項１記載のロボットシステムに用いられる、画像表示装置。
  7. 　請求項１記載のロボットシステムに用いられる、制御装置。
PCT/JP2020/031518 2019-11-11 2020-08-20 ロボットシステム WO2021095316A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019203927A JP7282016B2 (ja) 2019-11-11 2019-11-11 ロボットシステム
JP2019-203927 2019-11-11

Publications (1)

Publication Number Publication Date
WO2021095316A1 true WO2021095316A1 (ja) 2021-05-20

Family

ID=75899917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031518 WO2021095316A1 (ja) 2019-11-11 2020-08-20 ロボットシステム

Country Status (2)

Country Link
JP (1) JP7282016B2 (ja)
WO (1) WO2021095316A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166238A1 (ja) * 2023-02-08 2024-08-15 三菱電機株式会社 ロボット制御装置、ロボット制御システム、およびロボット制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
WO2013114737A1 (ja) * 2012-01-31 2013-08-08 株式会社五合 機器の表示装置および表示装置を設けた機器
JP2017523054A (ja) * 2014-07-16 2017-08-17 エックス デベロップメント エルエルシー ロボット装置用仮想セーフティケージ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950192B2 (ja) * 2017-02-10 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
WO2013114737A1 (ja) * 2012-01-31 2013-08-08 株式会社五合 機器の表示装置および表示装置を設けた機器
JP2017523054A (ja) * 2014-07-16 2017-08-17 エックス デベロップメント エルエルシー ロボット装置用仮想セーフティケージ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166238A1 (ja) * 2023-02-08 2024-08-15 三菱電機株式会社 ロボット制御装置、ロボット制御システム、およびロボット制御方法

Also Published As

Publication number Publication date
JP7282016B2 (ja) 2023-05-26
JP2021074827A (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
US11865732B2 (en) Integrated robotic system and method for autonomous vehicle maintenance
US11220002B2 (en) Robot simulation device
US8942850B2 (en) Method and system for assisting in the handling of robotized machines in a congested environment
US9579795B2 (en) Robot device, method of controlling the same, and program for controlling the same
JP7048162B2 (ja) １または複数の協働ロボットの運動を制御するための方法およびデバイス
EP1586423B1 (en) Robot control device, robot control method, and robot control program
US8812159B2 (en) Robot system
US7653458B2 (en) Robot device, movement method of robot device, and program
KR101615687B1 (ko) 충돌 예측 로봇 원격 제어 시스템 및 그 방법
JP2019123022A (ja) ロボット制御装置および自動組立システム
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
CN105479490A (zh) 一种双机器人实时动态避障装置及其避障方法
JP2012223845A (ja) ロボットの着目部位と周辺物との干渉を予測する方法及び装置
JP6816070B2 (ja) 干渉回避装置およびロボットシステム
CN102448681A (zh) 动作空间提示装置、动作空间提示方法以及程序
KR101650764B1 (ko) 작업자와 로봇 사이의 충돌 방지 시스템 및 방법
KR101471852B1 (ko) 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법
JP6824622B2 (ja) ロボットの制御装置、制御方法およびシステム
WO2021095316A1 (ja) ロボットシステム
KR20190136962A (ko) 역각 시각화 장치, 로봇 및 역각 시각화 프로그램
JP2020066080A (ja) 人と協働作業を行うロボットシステム、及びロボット制御方法
JP2021065971A (ja) ロボット教示システム、画像生成方法、及びプログラム
US20200246974A1 (en) Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program
WO2016172718A1 (en) System and method of remote teleoperation using a reconstructed 3d scene
CN111844038B (zh) 一种机器人运动信息识别方法、避障方法及避障机器人、避障系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886723

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20886723

Country of ref document: EP

Kind code of ref document: A1