WO2022190538A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2022190538A1
WO2022190538A1 PCT/JP2021/047120 JP2021047120W WO2022190538A1 WO 2022190538 A1 WO2022190538 A1 WO 2022190538A1 JP 2021047120 W JP2021047120 W JP 2021047120W WO 2022190538 A1 WO2022190538 A1 WO 2022190538A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
sensor
area
distance information
information processing
Prior art date
Application number
PCT/JP2021/047120
Other languages
English (en)
French (fr)
Inventor
一馬 三嶋
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP21930383.1A priority Critical patent/EP4282604A1/en
Priority to US18/547,456 priority patent/US20240123622A1/en
Publication of WO2022190538A1 publication Critical patent/WO2022190538A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/144—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using light grids
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/147—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using electro-magnetic technology, e.g. tags or radar

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Sensors are used to detect objects such as the human body in situations that require monitoring, such as production sites.
  • a system uses a 3D sensor to monitor a predetermined area around the robot and performs safety control such as decelerating or stopping the robot when a worker or the like approaches the robot.
  • a predetermined area to be monitored is set based on the motion range of the robot learned using images captured by a 3D sensor (see, for example, Patent Document 1).
  • Patent Document 1 when the sensor is misaligned, such as in the installation position or the optical axis, it becomes impossible to reliably detect the object in the predetermined area to be monitored. On the other hand, it is not easy for the user to recognize such sensor deviation.
  • an object of the present invention is to provide a technology that allows a user to easily recognize sensor deviation.
  • the present invention adopts the following configuration.
  • a first aspect of the present invention includes an acquisition means for acquiring distance information measured and output while the sensor is installed so that at least a part of the robot enters its measurable area, and a plurality of timings while moving the robot.
  • a recognition means for recognizing a three-dimensional motion range of the robot from the distance information measured by the sensor; determining means for determining whether or not there has been a change in the dimensional motion range; and when the determining means determines that there has been a change in the three-dimensional motion range of the robot, it is determined that the sensor has deviated.
  • warning means for giving a warning.
  • a “sensor” is, for example, a TOF (Time of Flight) sensor.
  • the recognition means converts each of the distance information measured by the sensor at the plurality of timings into object range information indicating a range occupied by each object in the measurable area, and from the object range information, Excluding surrounding environment information indicating a range occupied by an object other than the robot in the measurable area, generating actual movement information indicating a range occupied by the robot in the measurable area, and performing the actual movement at the plurality of timings.
  • the information may be superimposed to calculate a three-dimensional range of motion of the robot. As a result, it is possible to quickly determine the three-dimensional motion range of the robot and the dangerous area determined based on this.
  • it may further include setting means for setting the surrounding environment information based on the distance information measured by the sensor while the robot is stopped. This makes it possible to easily set the surrounding environment information.
  • the distance information measured by the sensor at the plurality of timings may be distance information measured by the sensor while moving the robot in the same motion as during the actual operation.
  • the recognition means may recognize the motion range of the robot according to the changed work content. As a result, even if the operating range of the robot changes according to changes in the work performed by the robot, it is possible to accurately determine the deviation of the sensor. In addition, when setting the dangerous area and the protected area based on the motion range of the robot, it is possible to set the minimum and optimum dangerous area and the protected area according to the work content of the robot.
  • the determination means determines the size of the dangerous area in consideration of the three-dimensional motion range and margin of the robot, and the margin may be changeable by the user. This makes it possible to easily change the size of the dangerous area.
  • protection area setting means for setting a protection area, which is a three-dimensional area in consideration of a safe distance, outside the danger area, and the monitoring means detects an intruder approaching the danger area in the protection area. may be monitored.
  • the robot can reliably complete deceleration and stopping before an intruding object approaching the dangerous area reaches the dangerous area.
  • the protection area setting means may set the protection area in consideration of surrounding environment information indicating a range occupied by an object other than the robot in the measurable area. This makes it possible to set the minimum necessary protection area.
  • the monitoring means further detects an object moving from the dangerous area to the protected area based on the distance information measured by the sensor during actual operation of the robot. It may further include danger warning means for issuing a danger warning when an object moving from the area to the protected area is detected. Under normal circumstances, it is unlikely that an object will move from the hazardous area to the protected area. This is because it is assumed that there is a possibility that a
  • a warning may be issued when an area located outside the measurable area exists in the protected area. This is because an area located outside the measurable area cannot be used as a protection area because the sensor cannot measure distance information.
  • a second aspect of the present invention includes a step of acquiring distance information measured and output while the sensor is installed so that at least a part of the robot enters its measurable area; a step of recognizing a three-dimensional motion range of the robot from the distance information measured by the sensor; a step of determining whether or not there has been a change in the operating range; and a step of issuing a warning to the effect that a deviation of the sensor has occurred if it is determined that there has been a change in the three-dimensional operating range of the robot;
  • a third aspect of the present invention provides a program for causing a computer to execute each step of the above information processing method.
  • the present invention may be regarded as an information processing device or sensor deviation determination device having at least part of the above means, or as an object detection system or monitoring system including these devices and sensors. Further, the present invention may be regarded as an information processing method, a sensor deviation determination method, an object detection method, a monitoring method, or a control method having at least part of the above processing. Further, the present invention can also be regarded as a program for realizing such a method and a recording medium on which the program is non-temporarily recorded. It should be noted that each of the means or processes described above can be combined with each other as much as possible to constitute the present invention.
  • the user can easily recognize the deviation of the sensor.
  • FIG. 1 is a block diagram of a monitoring system including an information processing device and sensors according to one embodiment of the present invention.
  • FIG. 2 is a functional block diagram of a control unit.
  • FIG. 3 is a schematic side view of a site in which the monitoring system is used;
  • FIG. 4 is a diagram showing the motion range of the robot.
  • FIG. 5 is a flowchart showing sensor deviation detection processing.
  • FIG. 1 is a block diagram of a monitoring system including an information processing device 50 according to one embodiment of the invention.
  • FIG. 2 is a functional block diagram of a control unit.
  • FIG. 3 is a schematic side view of a site in which the monitoring system is used; The direction of each part is referred to with reference to the X, Y, and Z coordinate axes shown in FIG. As viewed from the sensor 10, the front is the +Y direction, the top is the +Z direction, and the right is the +X direction.
  • robot 302 As shown in FIG. 3, as a site where a three-dimensional distance sensor 10 (hereinafter referred to as sensor 10) that measures and outputs three-dimensional distance information is used, a robot or machine (hereinafter simply referred to as "robot 302") which is a source of danger. ), where objects are to be monitored in collaboration with workers.
  • the robot 302 is installed on a workbench 303 and passes through a flow line 305 that is a three-dimensional movement range during actual operation. collide.
  • a dangerous area 306 which is a dangerous area in which the worker actually collides with the robot 302 or is likely to collide with the robot 302 if he puts his hand out, includes a flow line 305 of the robot 302, and a flow line of the robot 302.
  • a three-dimensional area set slightly larger than 305 is determined, and an object (intruder) such as a human body approaching the dangerous area 306 is monitored using the sensor 10 during actual operation of the robot 302 .
  • sensor 10 misalignment if the sensor 10 is misaligned from the initial installation or optical axis misalignment (hereinafter simply referred to as “sensor 10 misalignment") during the actual operation of the robot, it is necessary to warn the user to that effect. This is because the deviation of the sensor 10 may affect the measurement result of the sensor 10 and cause an error, and it is not easy for the user to recognize the deviation of the sensor.
  • the user installs the sensor 10 so that at least part of the robot 302 is within the measurable area 301 thereof.
  • the sensing unit 201 FIG. 2
  • the control unit 30 as acquisition means acquires the distance information measured and output by the sensor 10 .
  • a flow line recognizing unit 202 FIG. 2
  • the control unit 30 as recognition means recognizes a flow line 305 of the robot 302 from distance information measured by the sensor 10 while moving the robot 302 .
  • distance information is measured at a plurality of timings in order to measure the outer shape of the robot 302 at various positions and postures on the flow line.
  • the dangerous area automatic setting unit 203 FIG.
  • the actual operation control unit 206 ( FIG. 2 ) of the control unit 30 as determination means determines that there has been a change in the flow line 305 of the robot 302 based on the distance information measured by the sensor 10 during the actual operation of the robot 302. That is, it is determined whether or not the sensor 10 is displaced.
  • a warning/safety control unit 210 (FIG. 2) of the control unit 30 as warning means issues a warning to that effect when the actual operation control unit 206 determines that the sensor 10 is displaced.
  • a protection area automatic setting unit 204 (FIG. 2) of the control unit 30 as protection area setting means sets a protection area 304 (FIG. 3), which is a three-dimensional area in consideration of a safe distance, outside the dangerous area 306. .
  • An actual operation control unit 206 (FIG. 2) as a monitoring means detects an intruder into the protected area 304, that is, an intruder approaching the dangerous area 306 based on the distance information measured by the sensor 10 during the actual operation of the robot 302. monitor things. For example, when an object such as a human body enters the protected area 304, the warning/safety control unit 210 performs safety control such as slow driving or stopping the robot 302.
  • FIG. 1 A protection area automatic setting unit 204 (FIG. 2) of the control unit 30 as protection area setting means sets a protection area 304 (FIG. 3), which is a three-dimensional area in consideration of a safe distance, outside the dangerous area 306. .
  • actual operation control unit 206 When an object entering protected area 304 is detected, actual operation control unit 206 further determines whether the object has entered protected area 304 from the opposite side of dangerous area 306 or from dangerous area 306 to protected area 304. You can determine if you have intruded. In the former case, it may be regarded as intrusion of a human body or the like. On the other hand, in the latter case, since there is a low possibility of intrusion by a human body or the like, there is a high possibility of displacement of the sensor 10 or malfunction of the robot 302 .
  • the warning/safety control unit 210 (FIG. 2) issues a danger warning when the actual operation control unit 206 determines that the deviation of the sensor 10 or the malfunction of the robot 302 has occurred.
  • the sensor 10 includes a light emitting section 41, a light receiving section 42 and a computing section 43.
  • the light emitting portion 41 emits light (for example, infrared light), and the light receiving portion 42 receives reflected light.
  • a TOF sensor that acquires a range image from the time of flight (TOF) of light is employed.
  • TOF time of flight
  • an indirect TOF sensor that estimates the time difference from the phase difference between projected light and reflected light is employed.
  • the sensor 10 outputs three-dimensional distance information and luminance information as measurement results.
  • a measurement result by the sensor 10 includes distance information for each position within the measurable area 301 .
  • a measurement result is supplied to the control unit 30 via the sensor I/F 44 in the information processing device 50 .
  • Sensor 10 is controlled by control unit 30 via sensor I/F 44 .
  • Information processing device 50 includes control unit 30 , sensor I/F 44 , display unit 34 , operation input unit 35 , storage unit 36 and communication I/F 37 .
  • the control unit 30 includes a CPU 31, a ROM 32, a RAM 33, a timer (not shown), and the like.
  • a control program executed by the CPU 31 is stored in the ROM 32 .
  • the ROM 32 also stores values such as various threshold values.
  • the RAM 33 provides a work area when the CPU 31 executes the control program.
  • the display unit 34 is composed of, for example, a liquid crystal display or the like, and displays various information.
  • the display unit 34 may have two or more screens, or may have a function of displaying two or more screens by dividing the screen.
  • the operation input unit 35 receives input of various instructions from the user and sends input information to the CPU 31 . Further, the operation input unit 35 may have a function of warning the user by voice, lamp, or the like based on instructions from the CPU 31 .
  • the storage unit 36 is composed of, for example, a non-volatile memory.
  • the storage unit 36 may be an external memory.
  • Communication I/F 37 performs wired or wireless communication between controller 30 and robot 302 .
  • the control unit 30 has a sensing unit 201 , a flow line recognition unit 202 , a dangerous area automatic setting unit 203 , a protection area automatic setting unit 204 , a parameter holding unit 205 , an actual operation control unit 206 and a warning/safety control unit 210 .
  • the actual operation control unit 206 is composed of a safety monitoring unit 207 , a robot malfunction determination unit 208 and a sensor deviation determination unit 209 .
  • Each of these functions is implemented in software by a program stored in the ROM 32 . In other words, each function is provided by the CPU 31 developing necessary programs in the RAM 33 and executing them to perform various calculations and control of each hardware resource.
  • the function of the sensing unit 201 is realized mainly by cooperation of the CPU 31, the ROM 32, the RAM 33, and the sensor I/F 44.
  • the functions of the flow line recognition unit 202 and the dangerous area automatic setting unit 203 are realized mainly by the cooperation of the CPU 31, the ROM 32, the RAM 33, the display unit 34, and the operation input unit 35.
  • Functions of the protection area automatic setting unit 204 and the actual operation control unit 206 are realized mainly by cooperation of the CPU 31, the ROM 32 and the RAM 33.
  • FIG. Functions of the parameter holding unit 205 are mainly implemented by the ROM 32 .
  • the functions of the warning/safety control section 210 are realized mainly by cooperation of the CPU 31, the ROM 32, the RAM 33, the operation input section 35, and the communication I/F 37.
  • the sensing unit 201 acquires distance information from the sensor 10 installed so that at least part of the robot 302 enters the measurable area 301 via the sensor I/F 44, as shown in FIG. Before the robot 302 actually operates, the sensing unit 201 obtains distance information (1) measured by the sensor 10 when the robot 302 is stopped and distance information (1) measured by the sensor 10 at different timings while the robot 302 is moving. Obtain distance information (2). Further, the sensing unit 201 periodically acquires the distance information (3) measured by the sensor 10 during the actual operation of the robot 302 . These acquired distance information (1) to (3) are temporarily stored in the RAM 33 .
  • Distance information (1) is used to set surrounding environment information indicating the range occupied by objects other than the robot 302 in the measurable area 301, such as the workbench 303 shown in FIG. 3, floors, walls, and safety fences. A specific method for setting the surrounding environment information will be described later.
  • the distance information (2) is used to recognize the flow line 305 of the robot 302, and the dangerous area 306 is determined based on the flow line 305. Therefore, in order to set the minimum and optimum danger area 306, it is preferable to obtain the distance information (2) while moving the robot 302 in the same motion as during actual operation.
  • the distance information (3) is used to monitor an intruder approaching the dangerous area 306, determine whether the sensor 10 is out of alignment, or determine whether the robot 302 is malfunctioning during actual operation of the robot 302. used for
  • the flow line recognition unit 202 reads the distance information (1) from the RAM 33, converts it into point group information in the orthogonal XYZ coordinate system in the global coordinate system, and draws it on the display unit 34. For example, objects within the measurable area 301, such as the robot 302 and workbench 303, are drawn as clusters of point clouds. When the user selects an object (cluster) drawn on the display unit 34 using the operation input unit 35, the position and size of the selected object are registered in the surrounding environment information. The registered surrounding environment information is stored in the storage unit 36 .
  • the flow line recognition unit 202 reads each of the distance information (2) acquired by the sensing unit 201 from the RAM 33, converts them into point group information (object range information) in an orthogonal XYZ coordinate system in the global coordinate system,
  • point group information object range information
  • the surrounding environment information the range of the workbench 303 and the like
  • point group information actual motion information indicating the robot 302 at each timing when the distance information (2) is measured is generated.
  • the flow line recognition unit 202 sequentially plots the point group information of the robot 302 at each timing when the distance information (2) is measured, and recognizes all the plotted point group information as the flow line 305 of the robot 302 .
  • distance information from other sensors is also acquired, and the robot 302 is extracted by the same method as described above. Motion information may be further superimposed.
  • distance information from other sensors for example, a sensor 10′ having a common configuration with the sensor 10.
  • Motion information may be further superimposed.
  • the dangerous area automatic setting unit 203 temporarily sets a three-dimensional shape 401 ( FIG. 4 ) that surrounds all the movement lines 305 of the robot 302 recognized by the movement line recognition unit 202 to the dangerous area 306 , and displays a three-dimensional shape on the display unit 34 . Display dimensions. At this time, the outermost periphery of the dangerous area 306 is surrounded by a wire frame. When the user adjusts the size of this wire frame using the operation input unit 35 , the position and size of the wire frame after adjustment are registered in the storage unit 36 as the range of the dangerous area 306 .
  • the case where the user adjusts the size of the wireframe drawn on the display unit 34 is exemplified, but it is not limited to this as long as the user can change the shape of the dangerous area 306 .
  • the outermost portion of the dangerous area 306 may be surrounded by a box-shaped frame, a spherical frame, or a polygonal frame instead of a wire frame, or an actual plot of the flow line 305 may be displayed.
  • the dangerous area automatic setting unit 203 may determine the size of the dangerous area 306 in consideration of the margin read from the ROM 32. Furthermore, the value of this margin may be made changeable by the user, and the set danger area 306 and the value of its margin may be superimposed and displayed on the display unit 34 . In this case, the size of the dangerous area 306 is changed according to the margin changed by the user.
  • the protection area automatic setting unit 204 sets a protection area 304, which is a three-dimensional area in consideration of a safe distance, outside the dangerous area 306 registered in the storage unit 36.
  • the safe distance is a distance that can guarantee that the robot 302 completes deceleration/stopping before an object entering the protected area 304 reaches the dangerous area 306. It is determined by safety standards in consideration of the operating speed and braking performance of the
  • the protection area automatic setting unit 204 reads the used robot information (information such as the operating speed and braking performance of the robot 302) in the parameter holding unit 205, reads the safety standard information to be used, and determines the safe distance based on these. calculate.
  • the protection area automatic setting unit 204 may further consider the surrounding environment information stored in the storage unit 36 to set the protection area 304 . For example, if the protection area automatic setting unit 204 can determine from the surrounding environment information (the position and size of the desk) that the worker cannot access the danger area 306 from the right side due to the presence of a desk, the right side of the danger area 306 , the protected area 304 is not set. Thereby, the minimum necessary protection area 304 can be set.
  • the operation input unit 35 may warn the user. This is because an area located outside the measurable area 301 cannot be used as the protection area 304 because the distance information cannot be measured by the sensor 10 .
  • the actual operation control unit 206 uses the distance information (3) acquired by the sensing unit 201, the dangerous area 306 set by the dangerous area automatic setting unit 203, and the protected area 304 set by the protected area automatic setting unit 204. , safety monitoring during the actual operation of the robot 302 , determination of the presence or absence of malfunction of the robot, and determination of the presence or absence of displacement of the sensor 10 .
  • a safety monitoring unit 207 in the actual operation control unit 206 monitors an intruder approaching the dangerous area 306 based on the distance information (3) for safety monitoring during the actual operation of the robot 302 . Specifically, the safety monitoring unit 207 monitors objects approaching the dangerous area 306 by detecting objects moving from the protected area 304 to the dangerous area 306 based on the distance information (3).
  • a robot malfunction determination unit 208 in the actual operation control unit 206 detects objects in the dangerous area 306 and the protected area 304 based on the distance information (3) to determine whether or not there is a malfunction of the robot. It is determined whether or not there is a moving object in the protected area 304 . Under normal circumstances, it is unlikely that an object will move from the hazardous area 306 to the protected area 304, and if such an object is detected, the sensor 10 may be displaced or malfunction, or the robot 302 may malfunction. (For example, a malfunction such that the arm of the robot 302 protrudes from the dangerous area 306) may occur.
  • a sensor deviation determination unit 209 in the actual operation control unit 206 determines whether or not there is a change in the flow line 305 of the robot 302 based on the distance information (3) in order to determine whether there is a deviation of the sensor 10 .
  • the sensor deviation determination unit 209 determines that a deviation (deviation of the sensor 10) such as an installation position deviation or an optical axis deviation of the sensor 10 has occurred.
  • the warning/safety control unit 210 issues a stop command or deceleration command to the robot 302 via the communication I/F 37 when an intruder approaching the dangerous area 306 is detected as a result of monitoring by the safety monitoring unit 207 .
  • This allows, for example, the robot 302 to be stopped or brought to a safe speed before the worker reaches the danger area 306 .
  • the operation input unit 35 may warn the user.
  • the warning/safety control unit 210 issues a danger warning to the user through the operation input unit 35, and the robot 302 to shift the robot 302 to a safe operation state. This is because if such a malfunction occurs during actual operation of the robot 302 , there is a risk that the worker's body will collide with the robot 302 even if the worker does not approach the dangerous area 306 .
  • the warning/safety control unit 210 notifies the user through the operation input unit 35 that the set position of the sensor 10 or the optical axis position has deviated. warning that Thereby, the user can easily recognize the deviation of the set position of the sensor 10 or the optical axis position.
  • FIG. 5 is a flowchart showing monitoring processing and sensor deviation detection processing.
  • This processing is realized by the CPU 31 expanding the program stored in the ROM 32 into the RAM 33 and executing it. This process is started by the user's instruction after the user has installed the sensor 10 so that at least part of the robot 302 is within the measurable area 301 and before the robot 302 actually operates.
  • step S600 it is determined whether or not the work area in which the robot 302 is installed is a new work area. For example, if the robot 302 has a movable configuration and is used by moving to different lines or different work processes, it is necessary to update the surrounding environment information according to the destination work area. Therefore, if the work area is new (unknown), the process proceeds to step S601. On the other hand, if the work area is not new (already registered), steps S601 and S602 are omitted.
  • the determination in step S600 is performed by, for example, displaying a screen asking the user whether the work area is new or already registered on the display unit 34 .
  • step S601 the user uses the operation input unit 35 to input an instruction to acquire distance information (1) while the robot 302 is stopped.
  • the sensing unit 201 acquires the distance information (1) measured by the sensor 10 .
  • step S602 the flow line recognition unit 202 sets surrounding environment information based on the acquired distance information (1). This processing corresponds to registration (learning) of the work area.
  • step S603 it is determined whether or not the work to be performed by the robot 302 is new. For example, if the work to be executed by the robot 302 is changed, there is a possibility that the line of flow of the robot 302 will change, and it will be necessary to reconfigure the dangerous area and protected area accordingly. If the work content is new, the process proceeds to step S604; otherwise, after setting the surrounding environment information, the dangerous area 306, and the protected area 304 based on the information held in the storage unit 36, the process proceeds to step S608.
  • the determination in step S603 is performed, for example, by displaying on the display unit 34 a screen asking the user whether the work content to be performed by the robot 302 is new work content or existing work content.
  • step S604 the user uses the operation input unit 35 to input an instruction to acquire the distance information (2) after causing the robot 302 to start moving in the same manner as during actual operation.
  • the sensing unit 201 acquires the distance information (2) measured by the sensor 10 .
  • step S605 the flow line recognition unit 202 recognizes the robot flow line 305 based on the surrounding environment information and the distance information (2).
  • step S606 the dangerous area automatic setting unit 203 determines the dangerous area 306 based on the flow line 305 of the robot.
  • step S607 the protection area automatic setting unit 204 sets the protection area 304 based on the dangerous area 306 and the safe distance.
  • the work (actual operation) by the robot 302 can be started.
  • the distance information (3) periodically measured by the sensor 10 is taken into the sensing unit 201 in step S608.
  • step S609 the robot malfunction determination unit 208 determines whether or not the robot 302 malfunctions based on the acquired distance information (3). If it is determined that there is a possibility of malfunction of the robot 302, a malfunction detection notification is transmitted to the warning/safety control unit 210, and then the process proceeds to step S610. If the robot 302 does not malfunction, the process proceeds to step S611.
  • the warning/safety control unit 210 Upon receiving the malfunction detection notification, the warning/safety control unit 210 issues a danger warning to the user (step S610), and transmits a stop command (or deceleration command) to the robot 302 via the communication I/F 37 ( Step S615), the process ends. This is because it is dangerous to continue actual operation in a state where there is a possibility of malfunction. After inspecting the robot 302 and confirming its operation and taking necessary countermeasures, the user may reset the surrounding environment information, the dangerous area, and the protected area from step S600.
  • step S611 the sensor deviation determination unit 209 determines whether or not there is a deviation of the sensor 10 based on the acquired distance information (3). If it is determined that there is a possibility that the sensor 10 has been misaligned, a sensor misalignment detection notification is sent to the warning/safety control unit 210, and then the process proceeds to step S612. If there is no deviation of the sensor 10, the process proceeds to step S613.
  • the warning/safety control unit 210 When the warning/safety control unit 210 receives the sensor deviation detection notification, the warning/safety control unit 210 warns the user that there is a deviation of the sensor 10 (step S612), and causes the robot 302 to stop via the communication I/F 37. A command (or a deceleration command) is transmitted (step S615), and the process ends. This is because it is dangerous to continue the actual operation in a state where there is a possibility that the sensor 10 has deviated. After inspecting and checking the operation of the sensor 10 and taking necessary measures, the user may reset the surrounding environment information, the dangerous area, and the protected area from step S600.
  • step S613 the safety monitoring unit 207 determines whether there is an intruder approaching the dangerous area 306 based on the acquired distance information (3). As a result of the determination, if there is an intruding object, an intruding object detection notification is sent to the warning/safety control unit 210, and then the process proceeds to step S614. If not, the process returns to step S608.
  • step S614 the warning/safety control unit 210 receives an intruding object detection notification from the safety monitoring unit 207, transmits a stop command or a deceleration command to the robot 302 via the communication I/F 37, and performs safety control. After that, the process returns to step S608.
  • the controller 30 recognizes the flow line 305 of the robot 302 from the distance information (2) measured by the sensor 10 while moving the robot 302 before the actual operation of the robot 302 is started. Then, based on this, the dangerous area 306 is determined.
  • the control unit 30 monitors an intruder approaching the dangerous area 306 based on the distance information (3) periodically measured by the sensor 10, and at the same time detects any deviation of the sensor 10. If there is a problem, a warning will be given to that effect. Thereby, the user can easily recognize the displacement of the sensor 10 .
  • the three-dimensional distance sensor used as the sensor 10 may employ other types of sensors as long as they are sensors that measure and output three-dimensional distance information.
  • a TOF sensor When a TOF sensor is employed, it may be either of a direct type (direct type) or an indirect type (indirect type). Sensors using other than light, such as radio waves, are also applicable.
  • the information processing device 50 can be configured by, for example, a computer including a processor, memory, storage, and the like.
  • a computer including a processor, memory, storage, and the like.
  • the configuration shown in FIG. 2 is realized by loading the program stored in the storage into the memory and executing the program by the processor.
  • Such a computer may be a general-purpose computer such as a personal computer, a server computer, a tablet terminal, a smart phone, or a built-in computer such as an on-board computer.
  • all or part of the configuration shown in FIG. 2 may be configured with ASIC, FPGA, or the like.
  • all or part of the configuration shown in FIG. 2 may be realized by cloud computing or distributed computing.
  • An information processing device (50) characterized by comprising:
  • Control unit 50 Information processing device 201: Sensing unit 202: Flow line recognition unit 203: Dangerous area automatic setting unit 206: Actual operation control unit 210: Warning/safety control unit 301: Measurable area 302: Robot 303: Workbench 304: Protective area 305: Flow line 306: Dangerous area

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manipulator (AREA)

Abstract

情報処理装置は、センサがその測定可能領域にロボットの少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得する取得手段と、ロボットを動かしながら複数のタイミングでセンサにより測定された距離情報からロボットの３次元の動作範囲を認識する認識手段と、ロボットの実作動中にセンサにより測定された距離情報に基づいて、ロボットの３次元の動作範囲に変化があったか否かの判定を行う判定手段と、判定手段がロボットの３次元の動作範囲に変化があったと判定した場合に、センサのズレが生じている旨の警告を行う警告手段と、を有する。

Description

情報処理装置および情報処理方法、並びにプログラム
　本発明は、情報処理装置および情報処理方法、並びにプログラムに関する。
　生産現場のような監視が必要な場面において、人体等の物体を検出するためにセンサが用いられている。
　例えば、３Ｄセンサを使用して、ロボット周辺の所定のエリアの監視を行い、作業者等がロボットに近づいた場合にロボットの減速や停止等の安全制御を行うシステムが知られている。このシステムでは、監視する所定のエリアが、３Ｄセンサで撮影された画像を用いて学習されたロボットの動作範囲に基づき設定される（例えば、特許文献１参照）。
特表２０２０－５１１３２５号公報
　しかしながら、特許文献１では、センサに設置位置ズレや光軸ズレといったズレが生じた場合に、監視する所定のエリアで物体を確実に検出することができなくなる。その一方、かかるセンサのズレをユーザが認識するのは容易でない。
　そこで本発明は、センサのズレをユーザが容易に認識することができる技術を提供することを目的とする。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、センサがその測定可能領域にロボットの少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得する取得手段と、前記ロボットを動かしながら複数のタイミングで前記センサにより測定された前記距離情報から前記ロボットの３次元の動作範囲を認識する認識手段と、前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記ロボットの３次元の動作範囲に変化があったか否かの判定を行う判定手段と、前記判定手段が前記ロボットの３次元の動作範囲に変化があったと判定した場合に、前記センサのズレが生じている旨の警告を行う警告手段と、を有することを特徴とする情報処理装置を提供する。
　「センサ」は、一例としてＴＯＦ（Time of Flight）センサである。
　この構成によれば、ロボットの実作動中にセンサにより測定された距離情報に基づいて、ロボットの３次元の動作範囲に変化があったか否かの判定を行い、ロボットの３次元の動作範囲に変化があった場合は、センサのズレが生じている旨の警告を行う。これにより、センサのズレをユーザが容易に認識することができる。
　また、前記認識手段は、前記複数のタイミングで前記センサにより測定された前記距離情報の夫々を、前記測定可能領域における各物体の占める範囲を示す物体範囲情報に変換し、前記物体範囲情報から、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を除いて、前記測定可能領域における前記ロボットの占める範囲を示す実動作情報を生成し、前記複数のタイミングでの前記実動作情報を重ね合わせて、前記ロボットの３次元の動作範囲を算出してもよい。これにより、ロボットの３次元の動作範囲、ひいてはこれに基づいて決定される危険エリアの決定を短時間で行うことができる。
　また、前記ロボットを停止させた状態で前記センサにより測定された前記距離情報に基づき、前記周辺環境情報を設定する設定手段を更に有してもよい。これにより、周辺環境情報の設定を簡便に行うことができる。
　また、前記複数のタイミングで前記センサにより測定された前記距離情報は、前記実作動中と同じ動作で前記ロボットを動かしながら前記センサにより測定された距離情報であってもよい。これにより、実作動中のロボットの動作範囲の変化、ひいてはセンサのズレを精度良く判定することができる。また、ロボットの動作範囲に基づいて危険エリアや防護エリアを設定する場合に、最小限かつ最適な危険エリアおよび防護エリアを設定することができる。
　また、前記ロボットによる作業内容が変更する毎に、前記認識手段は変更後の作業内容に応じた前記ロボットの動作範囲を認識してもよい。これにより、ロボットによる作業内容の変更に応じてロボットの動作範囲が変化したとしても、センサのズレを精度良く判定することができる。また、ロボットの動作範囲に基づいて危険エリアや防護エリアを設定する場合に、ロボットの作業内容に応じて、最小限かつ最適な危険エリアおよび防護エリアを設定することができる。
　また、前記ロボットの３次元の動作範囲に基づいて危険エリアを決定する決定手段と、前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記危険エリアへ近づく侵入物を監視する監視手段と、を更に備えてもよい。センサの測定結果から認識したロボットの動作範囲に基づいて危険エリアを決定することにより、適切な位置・大きさの危険エリアを自動で決定することができ、侵入物の監視を適切に行うことが可能となる。
　また、前記決定手段は、前記ロボットの３次元の動作範囲と余裕度を考慮して前記危険エリアの大きさを決定するものであり、前記余裕度は、ユーザ変更可能であってもよい。これにより、危険エリアの大きさを簡便に変更することができる。
　また、前記危険エリアの外側に、安全距離が考慮された３次元領域である防護エリアを設定する防護エリア設定手段を更に備え、前記監視手段は、前記防護エリアにおいて前記危険エリアへ近づく侵入物を監視してもよい。これにより、危険エリアに近づく侵入物が危険エリアに到達するまでにロボットが減速・停止を確実に完了させることができる。
　また、前記防護エリア設定手段は、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を考慮して前記防護エリアを設定してもよい。これにより、必要最小限の防護エリアを設定することができる。
　また、前記監視手段は、前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記危険エリアから前記防護エリアに移動する物体の検知を更に行い、前記監視手段が前記危険エリアから前記防護エリアに移動する物体を検知した場合に、危険警告を行う危険警告手段を更に備えてもよい。一般的な状況において危険エリアから防護エリアに物体が移動することは考え難いため、危険エリアから防護エリアに移動する物体が検知されたということは、センサのズレもしくは故障、あるいは、ロボットの誤作動が生じた可能性が想定され、いずれの場合も危険性があるからである。
　前記測定可能領域の外に位置する領域が前記防護エリアに存在する場合、警告を行ってもよい。測定可能領域の外に位置する領域は、センサで距離情報を測定できず、防護エリアとして利用できないためである。
　本発明の第二側面は、センサがその測定可能領域にロボットの少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得するステップと、前記ロボットを動かしながら複数のタイミングで前記センサにより測定された前記距離情報から前記ロボットの３次元の動作範囲を認識するステップと、前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記ロボットの３次元の動作範囲に変化があったか否かの判定を行うステップと、前記ロボットの３次元の動作範囲に変化があったと判定された場合に、前記センサのズレが生じている旨の警告を行うステップと、を有することを特徴とする情報処理方法を提供する。
　本発明の第三側面は、上記情報処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
　本発明は、上記手段の少なくとも一部を有する情報処理装置、センサズレ判定装置などとして捉えてもよいし、これらの装置とセンサとを含む物体検知システム、監視システムなどとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を有する情報処理方法、センサズレ判定方法、物体検知方法、監視方法、あるいは制御方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。尚、上記手段ないし処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、センサのズレをユーザが容易に認識することができることができる。
図１は、本発明の一実施の形態に係る情報処理装置及びセンサを含む監視システムのブロック図である。 図２は、制御部の機能ブロック図である。 図３は、監視システムが用いられる現場の模式的な側面図である。 図４は、ロボットの動作範囲を示す図である。 図５は、センサズレ検知処理を示すフローチャートである。
　＜適用例＞
　図１～図３を参照して、本発明に係る情報処理装置の適用例を説明する。図１は、本発明の一実施の形態に係る情報処理装置５０を含む監視システムのブロック図である。図２は、制御部の機能ブロック図である。図３は、監視システムが用いられる現場の模式的な側面図である。各部の方向を、図３に示したＸ、Ｙ、Ｚ座標軸を基準として呼称する。センサ１０からみて、前方が＋Ｙ方向、上方が＋Ｚ方向、右方が＋Ｘ方向である。
　図３に示すように、３次元の距離情報を測定・出力する３次元距離センサ１０（以下、センサ１０と記す）が用いられる現場として、危険源であるロボットや機械（以下、単に「ロボット３０２」という）が作業者と協働しながら生産を行う生産現場のように、物体の監視が必要な場所が想定される。ロボット３０２は、作業台３０３の上に設置され、実作動中に３次元の動作範囲である動線３０５を通過するため、例えば動線３０５上に作業者が手を出した場合、ロボット３０２と衝突してしまう。このため、作業者が手を出すとロボット３０２と現に衝突する、又は衝突する可能性が高い危険なエリアである危険エリア３０６として、ロボット３０２の動線３０５を含み、且つ、ロボット３０２の動線３０５よりもひとまわり大きく設定した３次元領域を決定し、ロボット３０２の実作動中に、センサ１０を用いて、危険エリア３０６に近づく人体等の物体（侵入物）を監視する。
　一方、ロボットの実作動中に、センサ１０に設置当初からの位置ズレや光軸ズレ（以下単に「センサ１０のズレ」という）が生じた場合、ユーザにその旨を警告する必要がある。センサ１０のズレが生じていると、センサ１０の測定結果に影響し、誤差が生じるおそれがある一方、かかるセンサのズレをユーザが認識するのは容易でないからである。
　そこで、本実施の形態では、図３に示すように、ユーザは、センサ１０を、その測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置する。この状態で、取得手段としての制御部３０のセンシング部２０１（図２）は、センサ１０で測定・出力された距離情報を取得する。そして、認識手段としての制御部３０の動線認識部２０２（図２）は、ロボット３０２を動かしながらセンサ１０より測定された距離情報からロボット３０２の動線３０５を認識する。このとき、動線上のさまざまな位置・姿勢におけるロボット３０２の外形を測定するために、複数のタイミングで距離情報の測定が行われる。決定手段としての制御部３０の危険エリア自動設定部２０３（図２）は、動線３０５に基づいて危険エリア３０６を決定する。判定手段としての制御部３０の実作動制御部２０６（図２）は、ロボット３０２の実作動中にセンサ１０より測定された距離情報に基づいて、ロボット３０２の動線３０５に変化があった、すなわちセンサ１０のズレが生じているか否かの判定を行う。警告手段としての制御部３０の警告／安全制御部２１０（図２）は、実作動制御部２０６において、センサ１０のズレが生じていると判定された場合、その旨の警告を行う。
　防護エリア設定手段としての制御部３０の防護エリア自動設定部２０４（図２）は、危険エリア３０６の外側に、安全距離が考慮された３次元領域である防護エリア３０４（図３）を設定する。監視手段としての実作動制御部２０６（図２）は、ロボット３０２の実作動中にセンサ１０より測定された距離情報に基づいて、防護エリア３０４への侵入物、すなわち、危険エリア３０６へ近づく侵入物を監視する。例えば、防護エリア３０４内に人体等の物体が入ると、警告／安全制御部２１０が、ロボット３０２を低速駆動または停止させる等の安全制御を行う。実作動制御部２０６は、防護エリア３０４への侵入物を検知した場合に、さらに、当該侵入物が、危険エリア３０６の反対側から防護エリア３０４に侵入したのか、危険エリア３０６から防護エリア３０４に侵入したのかを判断してもよい。前者の場合は人体等の侵入とみなしてよい。一方、後者の場合は人体等の侵入である可能性は低いため、センサ１０のズレまたはロボット３０２の誤動作である可能性が高い。警告／安全制御部２１０（図２）は、実作動制御部２０６において、センサ１０のズレまたはロボット３０２の誤動作が発生したと判定された場合、危険警告を行う。
　図１に示すように、センサ１０は、発光部４１、受光部４２および演算部４３を備える。発光部４１は光（例えば、赤外光）を出射し、受光部４２は反射光を受光する。センサ１０には、一例として、光の飛行時間（Time of Flight：TOF）から距離画像を取得するＴＯＦセンサが採用される。例えば、投影光と反射光の位相差から時間差を推定する間接型ＴＯＦセンサが採用される。センサ１０は、３次元の距離情報および輝度情報を測定結果として出力する。センサ１０による測定結果は、測定可能領域３０１内の各位置の距離情報を含んでいる。測定結果は情報処理装置５０におけるセンサＩ／Ｆ４４を介して制御部３０に供給される。センサ１０は、センサＩ／Ｆ４４を介して制御部３０によって制御される。
　以上の適用例は、本発明の理解を補助するための例示であり、本発明を限定解釈することを意図するものではない。
　＜実施形態＞
　次に、本発明の実施形態における情報処理装置５０の構成、及び制御部３０の各機能等を詳細に説明する。
　まず、図１で、情報処理装置５０の構成を説明する。情報処理装置５０は、制御部３０、センサＩ／Ｆ４４、表示部３４、操作入力部３５、記憶部３６、通信Ｉ／Ｆ３７を備える。制御部３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３および不図示のタイマ等を備える。ＲＯＭ３２には、ＣＰＵ３１が実行する制御プログラムが格納されている。ＲＯＭ３２にはまた、各種閾値などの値が格納されている。ＲＡＭ３３は、ＣＰＵ３１が制御プログラムを実行する際のワークエリアを提供する。
　表示部３４は、例えば液晶ディスプレイ等で構成され、各種情報を表示する。表示部３４は、２つ以上の画面を有するか、または画面分割により２つ以上の画面を表示する機能を有してもよい。操作入力部３５は、ユーザからの各種指示の入力を受け付け、入力情報をＣＰＵ３１に送る。また、操作入力部３５は、ＣＰＵ３１からの指示に基づきユーザに対して音声やランプ等による警告を行う機能を有してもよい。記憶部３６は例えば不揮発メモリで構成される。記憶部３６は外部メモリであってもよい。通信Ｉ／Ｆ３７は、制御部３０とロボット３０２との間で有線または無線による通信を行う。
　次に、図２で、制御部３０の各機能について説明する。制御部３０は、センシング部２０１、動線認識部２０２、危険エリア自動設定部２０３、防護エリア自動設定部２０４、パラメータ保持部２０５、実作動制御部２０６、及び警告／安全制御部２１０を有する。また、実作動制御部２０６は、安全監視部２０７、ロボット誤動作判定部２０８、及びセンサズレ判定部２０９により構成される。これらの各機能は、ＲＯＭ３２に格納されたプログラムによってソフトウェア的に実現される。つまり、ＣＰＵ３１が必要なプログラムをＲＡＭ３３に展開し実行して、各種の演算や各ハードウェア資源の制御を行うことによって、各機能が提供される。言い換えると、センシング部２０１の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３およびセンサＩ／Ｆ４４の協働により実現される。動線認識部２０２、危険エリア自動設定部２０３の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、表示部３４、及び操作入力部３５の協働により実現される。防護エリア自動設定部２０４及び実作動制御部２０６の機能は、主としてＣＰＵ３１、ＲＯＭ３２およびＲＡＭ３３の協働により実現される。パラメータ保持部２０５の機能は、主としてＲＯＭ３２により実現される。警告／安全制御部２１０の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、操作入力部３５、及び通信Ｉ／Ｆ３７の協働により実現される。
　センシング部２０１は、図３に示すように、測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置されたセンサ１０から距離情報をセンサＩ／Ｆ４４を介して取得する。センシング部２０１は、ロボット３０２の実作動を行う前には、ロボット３０２の停止時にセンサ１０で測定された距離情報（１）の取得と、ロボット３０２を動かしながら異なるタイミングにおいてセンサ１０で測定された距離情報（２）の取得を行う。また、センシング部２０１は、ロボット３０２の実作動中は、周期的にセンサ１０で測定された距離情報（３）の取得を行う。これら、取得した距離情報（１）～（３）はＲＡＭ３３内に一次保存される。
　距離情報（１）は、図３に示す作業台３０３の他、床や壁、安全柵等、測定可能領域３０１におけるロボット３０２以外の物体の占める範囲を示す周辺環境情報を設定するために用いられる。周辺環境情報の具体的な設定方法については後述する。
　距離情報（２）は、ロボット３０２の動線３０５を認識するために用いられ、危険エリア３０６は動線３０５に基づいて決定される。よって、最小限かつ最適な危険エリア３０６に設定するため、距離情報（２）は、ロボット３０２を実作動中と同じ動作で動かしながら取得されるのが好ましい。
　距離情報（３）は、ロボット３０２の実作動中において、危険エリア３０６へ近づく侵入物を監視したり、センサ１０のズレの有無を判定したり、ロボット３０２の誤動作の有無を判定したりするために用いられる。
　動線認識部２０２は、距離情報（１）をＲＡＭ３３から読み出し、グローバル座標系での直交ＸＹＺ座標系の点群情報に変換し、表示部３４に描画する。例えば、ロボット３０２や作業台３０３等の測定可能領域３０１内にある物体は、点群の塊（クラスタ）として描画される。ユーザが、表示部３４に描画される物体（クラスタ）を操作入力部３５を用いて選択すると、選択された物体の位置・大きさが周辺環境情報に登録される。登録された周辺環境情報は記憶部３６に格納される。
　動線認識部２０２は、センシング部２０１が取得した距離情報（２）の夫々をＲＡＭ３３から読み出し、グローバル座標系での直交ＸＹＺ座標系の点群情報（物体範囲情報）に変換し、この変換された点群情報から記憶部３６に格納された周辺環境情報（作業台３０３等の範囲）を除く。これにより、距離情報（２）が測定された各タイミングにおけるロボット３０２を示す点群情報（実動作情報）を生成する。
　その後、動線認識部２０２は、距離情報（２）が測定された各タイミングにおけるロボット３０２の点群情報を順次プロットし、プロットされた全点群情報をロボット３０２の動線３０５として認識する。
　尚、図３においては不図示であるが、他のセンサ（例えば、センサ１０と共通の構成を有するセンサ１０’）からの距離情報も取得し、上記と同様の方法で抽出したロボット３０２の実動作情報を、さらに重畳するようにしてもよい。このように複数のセンサの距離情報を組み合わせることにより、ロボット３０２により生じる死角部分を減らすことができ、より高い精度の危険エリア３０６を得ることができる。尚、センサ１０の死角部分については、センサ１０’からの距離情報のみを用いてロボット３０２の動線３０５が算出される。
　危険エリア自動設定部２０３は、動線認識部２０２で認識されたロボット３０２の動線３０５を全て取り囲むような３次元形状４０１（図４）を危険エリア３０６に仮設定し、表示部３４に３次元表示する。この際、危険エリア３０６の最外周の部分をワイヤフレームで囲う。ユーザがこのワイヤフレームの大きさを、操作入力部３５を用いて調整すると、調整後のワイヤフレームの位置・大きさが、危険エリア３０６の範囲として記憶部３６に登録される。
　尚、本実施形態では、表示部３４に描画されたワイヤフレームの大きさをユーザが調整する場合について例示したが、ユーザが危険エリア３０６の形状を変更できればこれに限定されない。例えば、危険エリア３０６の最外周の部分を、ワイヤフレームではなく、箱状フレーム、球状フレーム、又はポリゴンフレームで囲むようにしたり、動線３０５の実際のプロットを表示したりしてもよい。
　また、危険エリア自動設定部２０３は、動線３０５から危険エリア３０６を決定する際に、ＲＯＭ３２から読み出した余裕度を考慮して危険エリア３０６の大きさを決定してもよい。さらに、この余裕度の値をユーザ変更可能にし、設定された危険エリア３０６及びその余裕度の値を、表示部３４に重畳表示するようにしてもよい。この場合、ユーザ変更された余裕度に応じて、危険エリア３０６の大きさは変更される。
　防護エリア自動設定部２０４は、記憶部３６に登録された危険エリア３０６の外側に、安全距離が考慮された３次元領域である防護エリア３０４を設定する。
　ここで、安全距離とは、防護エリア３０４への侵入物が危険エリア３０６に到達するまでにロボット３０２が減速・停止を完了することを保証できる距離であり、センサ１０の応答速度や、ロボット３０２の動作速度や制動性能などを考慮して安全規格により定められる。
　よって、防護エリア自動設定部２０４は、パラメータ保持部２０５にある使用ロボット情報（ロボット３０２の動作速度や制動性能等の情報）を読み出すと共に、使用する安全規格情報を読み出し、これらに基づき安全距離を算出する。
　尚、防護エリア自動設定部２０４は、さらに、記憶部３６に格納された周辺環境情報も考慮して防護エリア３０４を設定するようにしてもよい。例えば、防護エリア自動設定部２０４は、机があるので作業者は危険エリア３０６に対し右側からはアクセスできないことが周辺環境情報（机の位置・大きさ）から判断できる場合、危険エリア３０６の右側には防護エリア３０４を設定しない。これにより、必要最小限の防護エリア３０４を設定することができる。
　また、測定可能領域３０１の外に位置する領域が設定された防護エリア３０４に存在する場合、操作入力部３５によりユーザに対して警告を行ってもよい。測定可能領域３０１の外に位置する領域は、センサ１０で距離情報を測定できず、防護エリア３０４として利用できないためである。
　実作動制御部２０６は、センシング部２０１で取得した距離情報（３）、危険エリア自動設定部２０３で設定された危険エリア３０６、及び防護エリア自動設置部２０４で設定された防護エリア３０４を用いて、ロボット３０２の実作動中における安全監視、ロボットの誤動作の有無の判断、及びセンサ１０のズレの有無の判断を行う。
　実作動制御部２０６における安全監視部２０７は、ロボット３０２の実作動中における安全監視のため、距離情報（３）に基づいて、危険エリア３０６へ近づく侵入物を監視する。具体的には、安全監視部２０７は、距離情報（３）に基づいて、防護エリア３０４から危険エリア３０６に移動する物体の検出を行うことで、危険エリア３０６へ近づく侵入物を監視する。
　実作動制御部２０６におけるロボット誤動作判定部２０８は、ロボットの誤動作の有無の判断のため、距離情報（３）に基づいて、危険エリア３０６及び防護エリア３０４における物体の検出を行い、危険エリア３０６から防護エリア３０４に移動する物体があるか否かを判定する。一般的な状況においては、危険エリア３０６から防護エリア３０４に物体が移動することは考え難く、もしそのような物体が検知された場合には、センサ１０のズレもしくは故障、あるいは、ロボット３０２の誤動作（例えば、ロボット３０２のアームが危険エリア３０６からはみ出す等の誤動作）が生じた可能性が想定される。
　実作動制御部２０６におけるセンサズレ判定部２０９は、センサ１０のズレの有無の判断のため、距離情報（３）に基づいて、ロボット３０２の動線３０５に変化があったか否かを判定する。ロボット３０２の動線３０５に変化があった場合、センサズレ判定部２０９は、センサ１０の設置位置ズレや光軸ズレ等のズレ（センサ１０のズレ）が生じたと判断する。
　警告／安全制御部２１０は、安全監視部２０７による監視の結果、危険エリア３０６へ近づく侵入物が検出された場合、通信Ｉ／Ｆ３７を介してロボット３０２に停止命令又は減速命令を出す。これにより、例えば作業者が危険エリア３０６に到達する前にロボット３０２を停止したり、安全速度としたりすることができる。またこの際、操作入力部３５によりユーザに対して警告を行ってもよい。
　また、警告／安全制御部２１０（危険警告手段）は、ロボット誤動作判定部２０８でロボット３０２の誤動作が生じたと判断された場合、操作入力部３５によりユーザに対して危険警告を行うとともに、ロボット３０２に停止命令又は減速命令を出しロボット３０２を安全動作状態に移行させる。ロボット３０２の実作動中にかかる誤動作が発生すると、作業者が危険エリア３０６に近づいてなくても、作業者の身体がロボット３０２と衝突する危険性があるからである。
　さらに、警告／安全制御部２１０は、センサズレ判定部２０９でセンサ１０のズレが生じたと判断された場合、操作入力部３５によりユーザに対して、センサ１０の設定位置または光軸位置にズレが生じている旨の警告を行う。これにより、ユーザは、センサ１０の設定位置または光軸位置のズレを容易に認識することができる。
　次に、図５は、監視処理およびセンサズレ検知処理を示すフローチャートである。
　本処理は、ＲＯＭ３２に格納されたプログラムをＣＰＵ３１がＲＡＭ３３に展開して実行することにより実現される。本処理は、ユーザが、センサ１０を、その測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置した後、ロボット３０２による実作動を行う前に、ユーザの指示により開始される。
　まず、ステップＳ６００では、ロボット３０２が設置されている作業エリアが新規の作業エリアか否かを判別する。例えば、ロボット３０２が移動可能な構成であり、異なるラインや異なる作業工程などに移動して利用されるような場合には、移動先の作業エリアに合わせて周辺環境情報を更新する必要がある。したがって、作業エリアが新規（未知）である場合には、ステップＳ６０１に進む。一方、作業エリアが新規でない（登録済みである）場合には、ステップＳ６０１～Ｓ６０２を省略する。ステップＳ６００の判別は、例えば、表示部３４に作業エリアが新規であるか登録済みであるかをユーザに問い合わせる画面を表示することにより行われる。
　ステップＳ６０１では、ユーザが、ロボット３０２を停止させた状態で、距離情報（１）の取得指示を操作入力部３５を用いて入力する。距離情報（１）の取得指示があると、センシング部２０１においてセンサ１０で測定された距離情報（１）を取得する。
　ステップＳ６０２では、動線認識部２０２において、取得した距離情報（１）に基づき周辺環境情報を設定する。この処理が、作業エリアの登録（学習）に相当する。
　ステップＳ６０３では、ロボット３０２で行う作業内容が新規であるか否かを判別する。例えば、ロボット３０２に実行させる作業内容が変更になる場合には、ロボット３０２の動線が変化する可能性があり、それに応じて危険エリアや防護エリアを再設定する必要が生じる。作業内容が新規である場合、ステップＳ６０４に進み、新規でない場合は、記憶部３６に保持される情報に基づき周辺環境情報、危険エリア３０６、及び防護エリア３０４を設定した後、ステップＳ６０８に進む。ステップＳ６０３の判別は、例えば、表示部３４にロボット３０２で行う作業内容が新規の作業内容であるか既存の作業内容であるかをユーザに問い合わせる画面を表示することにより行われる。
　ステップＳ６０４では、ユーザが、実作動中と同じ動きをロボット３０２に開始させた後、距離情報（２）の取得指示を操作入力部３５を用いて入力する。距離情報（２）の取得指示があると、センシング部２０１がセンサ１０で測定された距離情報（２）を取得する。
　ステップＳ６０５では、動線認識部２０２において、周辺環境情報及び距離情報（２）に基づきロボットの動線３０５を認識する。
　ステップＳ６０６では、危険エリア自動設定部２０３において、ロボットの動線３０５に基づいて危険エリア３０６を決定する。
　ステップＳ６０７では、防護エリア自動設定部２０４において、危険エリア３０６及び安全距離等に基づいて防護エリア３０４を設定する。
　以上の設定が完了すると、ロボット３０２による作業（実作動）を開始可能である。実作動が開始された後は、ステップＳ６０８において、センサ１０で周期的に測定された距離情報（３）がセンシング部２０１に取り込まれる。
　ステップＳ６０９では、ロボット誤動作判定部２０８において、取得した距離情報（３）に基づきロボット３０２の誤動作の有無を判定する。ロボット３０２の誤動作の可能性があると判定された場合、誤動作検知通知を警告／安全制御部２１０に送信した後にステップＳ６１０へ進む。ロボット３０２の誤動作が無い場合はステップＳ６１１に進む。
　警告／安全制御部２１０は、誤動作検知通知を受け取ると、ユーザに対して危険警告を行う（ステップＳ６１０）とともに、通信Ｉ／Ｆ３７を介してロボット３０２に停止命令（あるいは減速命令）を送信し（ステップＳ６１５）、処理を終了する。誤動作の可能性がある状態で実作動を継続することは危険だからである。ユーザは、ロボット３０２等の点検や動作確認を行い、必要な対策を講じた後、ステップＳ６００から、周辺環境情報、危険エリア、防護エリアの再設定を実行するとよい。
　ステップＳ６１１では、センサズレ判定部２０９において、取得した距離情報（３）に基づきセンサ１０のズレの有無を判定する。センサ１０のズレが発生している可能性があると判定された場合、センサズレ検知通知を警告／安全制御部２１０に送信した後にステップＳ６１２へ進む。センサ１０のズレが無い場合はステップＳ６１３に進む。
　警告／安全制御部２１０は、センサズレ検知通知を受け取ると、ユーザに対して、センサ１０のズレが生じている旨の警告を行う（ステップＳ６１２）とともに、通信Ｉ／Ｆ３７を介してロボット３０２に停止命令（あるいは減速命令）を送信し（ステップＳ６１５）、処理を終了する。センサ１０がズレた可能性がある状態で実作動を継続することは危険だからである。ユーザは、センサ１０の点検や動作確認を行い、必要な対策を講じた後、ステップＳ６００から、周辺環境情報、危険エリア、防護エリアの再設定を実行するとよい。
　ステップＳ６１３では、安全監視部２０７において、取得した距離情報（３）に基づき危険エリア３０６に近づく侵入物の有無を判定する。判定の結果、侵入物があった場合、侵入物検知通知を警告／安全制御部２１０に送信した後にステップＳ６１４へ進み、無い場合はステップＳ６０８に戻る。
　ステップＳ６１４では、警告／安全制御部２１０において、安全監視部２０７からの侵入物検知通知を受け、通信Ｉ／Ｆ３７を介してロボット３０２に停止命令又は減速命令等の送信し、安全制御を行った後、ステップＳ６０８に戻る。
　本実施の形態によれば、制御部３０は、ロボット３０２の実作動が開始される前に、ロボット３０２を動かしながらセンサ１０より測定された距離情報（２）からロボット３０２の動線３０５を認識し、これに基づき危険エリア３０６を決定する。また、制御部３０は、ロボット３０２の実作動の開始後、センサ１０より周期的に測定される距離情報（３）に基づき、危険エリア３０６へ近づく侵入物の監視をすると同時に、センサ１０のズレが生じた場合はその旨の警告を行う。これにより、センサ１０のズレをユーザが容易に認識することができる。
　尚、センサ１０として用いる３次元距離センサは、３次元の距離情報を測定し出力するセンサであれば、他の種類のセンサを採用してもよい。ＴＯＦセンサを採用する場合、直接型（ダイレクト型）と間接型（インダイレクト型）のいずれでもよい。また、電波等、光以外を用いるセンサも適用可能である。
　尚、情報処理装置５０は、例えば、プロセッサ、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、プロセッサが当該プログラムを実行することによって実現される。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
　＜付記＞
　〔１〕センサ（１０）がその測定可能領域（３０１）にロボット（３０２）の少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得する取得手段（２０１）と、
　前記ロボットを動かしながら複数のタイミングで前記センサにより測定された前記距離情報から前記ロボットの３次元の動作範囲を認識する認識手段（２０２）と、
　前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記ロボットの３次元の動作範囲（３０５）に変化があったか否かの判定を行う判定手段（２０６）と、
　前記判定手段が前記ロボットの３次元の動作範囲に変化があったと判定した場合に、前記センサのズレが生じている旨の警告を行う警告手段（２１０）と、
を有することを特徴とする情報処理装置（５０）。
　〔２〕センサ（１０）がその測定可能領域にロボット（３０２）の少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得するステップ（Ｓ６０１，Ｓ６０３，Ｓ６０７）と、
　前記ロボットを動かしながら複数のタイミングで前記センサにより測定された前記距離情報から前記ロボットの３次元の動作範囲を認識するステップ（Ｓ６０４）と、
　前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記ロボットの３次元の動作範囲に変化があったか否かの判定を行うステップ（Ｓ６０８，Ｓ６１４）と、
　前記ロボットの３次元の動作範囲に変化があったと判定された場合に、前記センサのズレが生じている旨の警告を行うステップ（Ｓ６１５）と、
を有することを特徴とする情報処理方法。
１０：センサ
３０：制御部
５０：情報処理装置
２０１：センシング部
２０２：動線認識部
２０３：危険エリア自動設定部
２０６：実作動制御部
２１０：警告／安全制御部
３０１：測定可能領域
３０２：ロボット
３０３：作業台
３０４：防護エリア
３０５：動線
３０６：危険エリア

Claims (13)

  1. 　センサがその測定可能領域にロボットの少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得する取得手段と、
    　前記ロボットを動かしながら複数のタイミングで前記センサにより測定された前記距離情報から前記ロボットの３次元の動作範囲を認識する認識手段と、
    　前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記ロボットの３次元の動作範囲に変化があったか否かの判定を行う判定手段と、
    　前記判定手段が前記ロボットの３次元の動作範囲に変化があったと判定した場合に、前記センサのズレが生じている旨の警告を行う警告手段と、
    を有することを特徴とする情報処理装置。
  2. 　前記認識手段は、
    　前記複数のタイミングで前記センサにより測定された前記距離情報の夫々を、前記測定可能領域における各物体の占める範囲を示す物体範囲情報に変換し、
    　前記物体範囲情報から、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を除いて、前記測定可能領域における前記ロボットの占める範囲を示す実動作情報を生成し、
    　前記複数のタイミングでの前記実動作情報を重ね合わせて、前記ロボットの３次元の動作範囲を算出することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記ロボットを停止させた状態で前記センサにより測定された前記距離情報に基づき、前記周辺環境情報を設定する設定手段を更に有することを特徴とする請求項２に記載の情報処理装置。
  4. 　前記複数のタイミングで前記センサにより測定された前記距離情報は、前記実作動中と同じ動作で前記ロボットを動かしながら前記センサにより測定された距離情報であることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記ロボットによる作業内容が変更する毎に、前記認識手段は変更後の作業内容に応じた前記ロボットの動作範囲を認識することを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　前記ロボットの３次元の動作範囲に基づいて危険エリアを決定する決定手段と、
    　前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記危険エリアへ近づく侵入物を監視する監視手段と、
    を更に備えることを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記決定手段は、前記ロボットの３次元の動作範囲と余裕度を考慮して前記危険エリアの大きさを決定するものであり、
    　前記余裕度は、ユーザ変更可能であることを特徴とする請求項６に記載の情報処理装置。
  8. 　前記危険エリアの外側に、安全距離が考慮された３次元領域である防護エリアを設定する防護エリア設定手段を更に備え、
    　前記監視手段は、前記防護エリアにおいて前記危険エリアへ近づく侵入物を監視することを特徴とする請求項６又は７に記載の情報処理装置。
  9. 　前記防護エリア設定手段は、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を考慮して前記防護エリアを設定することを特徴とする請求項８に記載の情報処理装置。
  10. 　前記監視手段は、前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記危険エリアから前記防護エリアに移動する物体の検知を更に行い、
    　前記監視手段が前記危険エリアから前記防護エリアに移動する物体を検知した場合に、危険警告を行う危険警告手段を更に備えることを特徴とする請求項８又は９に記載の情報処理装置。
  11. 　前記測定可能領域の外に位置する領域が前記防護エリアに存在する場合、警告を行うことを特徴とする請求項８～１０のいずれか１項に記載の情報処理装置。
  12. 　センサがその測定可能領域にロボットの少なくとも一部が入るように設置された状態で測定・出力した距離情報を取得するステップと、
    　前記ロボットを動かしながら複数のタイミングで前記センサにより測定された前記距離情報から前記ロボットの３次元の動作範囲を認識するステップと、
    　前記ロボットの実作動中に前記センサにより測定された前記距離情報に基づいて、前記ロボットの３次元の動作範囲に変化があったか否かの判定を行うステップと、
    　前記ロボットの３次元の動作範囲に変化があったと判定された場合に、前記センサのズレが生じている旨の警告を行うステップと、
    を有することを特徴とする情報処理方法。
  13. 　請求項１２に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2021/047120 2021-03-12 2021-12-20 情報処理装置および情報処理方法、並びにプログラム WO2022190538A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21930383.1A EP4282604A1 (en) 2021-03-12 2021-12-20 Information processing device, information processing method, and program
US18/547,456 US20240123622A1 (en) 2021-03-12 2021-12-20 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-040582 2021-03-12
JP2021040582A JP2022139974A (ja) 2021-03-12 2021-03-12 情報処理装置および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2022190538A1 true WO2022190538A1 (ja) 2022-09-15

Family

ID=83226537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047120 WO2022190538A1 (ja) 2021-03-12 2021-12-20 情報処理装置および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20240123622A1 (ja)
EP (1) EP4282604A1 (ja)
JP (1) JP2022139974A (ja)
WO (1) WO2022190538A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02276901A (ja) * 1989-04-19 1990-11-13 Fanuc Ltd 視覚センサの位置ズレ修正方法
JP2019098431A (ja) * 2017-11-29 2019-06-24 株式会社東芝 情報処理装置及び仕分システム
WO2019240051A1 (ja) * 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 測距システム及び測距方法
JP2020511325A (ja) 2017-02-07 2020-04-16 ヴェオ ロボティクス， インコーポレイテッド 作業空間安全監視および機器制御

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02276901A (ja) * 1989-04-19 1990-11-13 Fanuc Ltd 視覚センサの位置ズレ修正方法
JP2020511325A (ja) 2017-02-07 2020-04-16 ヴェオ ロボティクス， インコーポレイテッド 作業空間安全監視および機器制御
JP2019098431A (ja) * 2017-11-29 2019-06-24 株式会社東芝 情報処理装置及び仕分システム
WO2019240051A1 (ja) * 2018-06-11 2019-12-19 パナソニックＩｐマネジメント株式会社 測距システム及び測距方法

Also Published As

Publication number Publication date
EP4282604A1 (en) 2023-11-29
US20240123622A1 (en) 2024-04-18
JP2022139974A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
EP3606861A1 (en) Driver assistance system and a method
CN102905861B (zh) 用于安全监控机器人的方法和装置
US11820001B2 (en) Autonomous working system, method and computer readable recording medium
US20150000148A1 (en) Three-dimensional shape measurement system and software for controlling the same
US20190257978A1 (en) Object monitoring device using sensor
JP2010169521A (ja) 位置検出装置、位置検出方法及びプログラム
WO2022190538A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP2020109400A (ja) 光学的物質検知機器の制御方法、装置及び光学的物質検知機器
US20220176560A1 (en) Control system, control method, and control unit
JPH11165291A (ja) 安全監視装置および方法
CN113199484B (zh) 机器人安全运行方法、设备及存储介质
JP6375728B2 (ja) 安全制御装置および安全制御システム
JP2020093373A (ja) ロボット干渉判定装置、ロボット干渉判定方法、ロボット制御装置、およびロボット制御システム
US20240149455A1 (en) Information processing device, information processing method, and program
JP6885909B2 (ja) ロボット制御装置
JP2018179654A (ja) 距離画像の異常を検出する撮像装置
KR101207462B1 (ko) 영상 정보와 거리-각도 정보를 이용한 센서 보정 시스템
EP4088887A1 (en) Area setting device, rack, control system, area setting method, and program
WO2023176137A1 (ja) センサシステムおよびその制御方法
Vogel et al. Optical workspace monitoring system for safeguarding tools on the mobile manipulator VALERI
JP6367100B2 (ja) エリア監視センサ
WO2022190548A1 (ja) 物体検出システム、制御装置
US20170316618A1 (en) Apparatus and method for presenting structure information about a technical object
CN114074320A (zh) 机器人控制方法及装置
JP2022096933A (ja) ロボットシステムの報知方法およびロボットシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930383

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18547456

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021930383

Country of ref document: EP

Effective date: 20230822

NENP Non-entry into the national phase

Ref country code: DE