WO2022190537A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2022190537A1
WO2022190537A1 PCT/JP2021/047119 JP2021047119W WO2022190537A1 WO 2022190537 A1 WO2022190537 A1 WO 2022190537A1 JP 2021047119 W JP2021047119 W JP 2021047119W WO 2022190537 A1 WO2022190537 A1 WO 2022190537A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
blind spot
sensor
robot
information
Prior art date
Application number
PCT/JP2021/047119
Other languages
English (en)
French (fr)
Inventor
一馬 三嶋
洋一 馬場
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US18/548,976 priority Critical patent/US20240149455A1/en
Priority to EP21930382.3A priority patent/EP4292781A1/en
Publication of WO2022190537A1 publication Critical patent/WO2022190537A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40201—Detect contact, collision with human
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • Sensors are used to detect objects such as the human body in situations that require monitoring, such as production sites. In order to reliably detect an object, it is required to install the sensor in an appropriate position and orientation, and to appropriately set the area to be monitored. However, it is not easy for the user to determine whether the installation position and orientation of the distance sensor are appropriate, and whether the area to be monitored is set appropriately.
  • Patent Document 1 discloses a system that uses 3D sensors to monitor a workspace for safety purposes.
  • the conical volume space monitored by the 3D sensor is divided into a space marked "unoccupied” in which no obstacles were detected, a space marked "occupied” in which objects were detected,
  • the 3D sensor's blind area due to the detected object is classified and displayed as "unknown” and marked space.
  • Patent Document 1 it is not easy for the user to recognize whether the space marked as "unknown" in Patent Document 1 is a critical blind area.
  • an object of the present invention is to provide a technology that allows a user to easily recognize a critical blind spot area.
  • the present invention adopts the following configuration.
  • a first aspect of the present invention includes distance information acquisition means for acquiring distance information measured by a sensor, and an area for acquiring information on a virtual three-dimensional protected area set within the measurable area of the sensor.
  • Information acquisition means for acquiring distance information measured by a sensor, and an area for acquiring information on a virtual three-dimensional protected area set within the measurable area of the sensor.
  • Information acquisition means for calculating a three-dimensional blind spot area that is the blind spot of the sensor based on the distance information, and display means for displaying the protection area and the blind spot area in a virtual three-dimensional space.
  • an information processing apparatus characterized by having.
  • a “sensor” is a sensor that can measure three-dimensional information, and an example is a TOF (Time of Flight) sensor.
  • TOF Time of Flight
  • a three-dimensional blind spot area which is the blind spot of the sensor, is calculated, and the protection area and the blind spot area are displayed in a virtual three-dimensional space.
  • the protection area and the blind spot area are visualized, and the user can visually confirm the position and size relationship between the protection area and the blind spot area, so that the critical blind spot area can be easily recognized.
  • the display means may further display the point group based on the distance information in the virtual three-dimensional space.
  • Each point forming the point group corresponds to a point (measurement point) on the surface of the object whose distance is measured by the sensor. Therefore, by displaying the point cloud in a virtual three-dimensional space, it is possible to represent (the outline of) an object existing within the measurable area. As a result, it is possible to grasp the relationship between the position and size of an object existing inside or near the protected area, and the blind area caused by the object.
  • the area information acquisition means may acquire a 3D model of an object existing within the measurable area, and the display means may further display the 3D model in the virtual three-dimensional space.
  • a "3D model” is not data obtained by measuring with a sensor, but three-dimensional data such as CAD data that defines the outer shape of an object. By performing display using such a 3D model, it is possible to more precisely and accurately represent an object existing within the measurable area. As a result, it is possible to grasp the relationship between the position and size of an object existing inside or near the protected area, and the blind area caused by the object.
  • it may further include warning means for giving a warning when at least part of the blind spot area is within the protected area. If there is a blind spot in the protected area, there is a risk that an intruder that has entered the protected area cannot be detected. Therefore, by providing the warning as described above, the user can more easily recognize critical blind spot areas.
  • the warning means may issue a danger warning when the size of the blind spot area in the protected area is equal to or larger than a threshold.
  • a danger warning when the size of the blind spot area in the protected area is equal to or larger than a threshold.
  • the range of the protection area displayed in the virtual three-dimensional space may be changeable by user operation. This facilitates proper setting of the protected area.
  • a work machine may be installed within the measurable area, and the blind spot calculation means may calculate a blind spot area caused by the work machine. This is because there is a high possibility that the worker will approach the work machine, and therefore the blind area caused by the work machine is often critical.
  • an instruction sending means may be further provided for sending an instruction to the robot to change the operating range so as to reduce the blind spot area.
  • the recognition means converts each of the distance information measured by the sensor at the plurality of timings into object range information indicating a range occupied by each object in the measurable area, and from the object range information, Excluding surrounding environment information indicating a range occupied by an object other than the robot in the measurable area, generating actual movement information indicating a range occupied by the robot in the measurable area, and performing the actual movement at the plurality of timings.
  • the information may be superimposed to calculate the range of motion of the robot. As a result, the motion range of the robot can be determined in a short period of time.
  • it may further include setting means for setting the surrounding environment information based on the distance information measured by the sensor while the robot is stopped. Thereby, the position of the object in the measurable area can be easily detected using the sensor.
  • the distance information measured by the sensor at the plurality of timings may be distance information measured by the sensor while moving the robot in the same motion as during actual operation. As a result, it is possible to set the same blind area that occurs during actual operation.
  • the blind spot calculation means may further calculate the blind spot area based on the surrounding environment information. This allows the user to more easily recognize critical blind spot areas.
  • Second blind spot calculation means for calculating a second blind spot area that can be a blind spot of the sensor from the maximum movable range of the robot, wherein the display means displays the blind spot area calculated from the motion range of the robot and the blind spot area calculated from the motion range of the robot. It may be superimposed and displayed on the virtual three-dimensional space by switching from the second blind spot area. As a result, the user can grasp critical blind spots in the maximum movable range of the robot.
  • a second aspect of the present invention includes the steps of acquiring distance information measured by a sensor, acquiring information of a virtual three-dimensional protected area set within the measurable area of the sensor, and Information processing characterized by comprising the steps of: calculating a three-dimensional blind spot area that is the blind spot of the sensor based on distance information; and displaying the protection area and the blind spot area in a virtual three-dimensional space. provide a way.
  • a third aspect of the present invention provides a program for causing a computer to execute each step of the above information processing method.
  • the user can easily recognize critical blind spot areas.
  • FIG. 1 is a block diagram of a monitoring system including an information processing device and sensors according to one embodiment of the present invention.
  • FIG. 2 is a functional block diagram of a control unit.
  • FIG. 3 is a schematic three-dimensional view of the site where the monitoring system is used.
  • FIG. 4 is a diagram showing the movement line of the robot.
  • FIG. 5 is a flowchart showing blind spot area display processing.
  • FIG. 1 is a block diagram of a monitoring system including an information processing device 50 and a sensor 10 according to one embodiment of the invention.
  • FIG. 2 is a functional block diagram of the control section 30.
  • FIG. 3 is a schematic three-dimensional view of the site where the monitoring system is used.
  • a three-dimensional distance sensor 10 (hereinafter referred to as sensor 10) for measuring and outputting three-dimensional distance information is used, working machines such as robots 302 and manufacturing equipment ("danger sources")
  • sensor 10 working machines
  • robots 302 and manufacturing equipment (danger sources)
  • a place where objects need to be monitored is assumed, such as a production site where a robot (also called a robot) cooperates with workers to produce.
  • Object monitoring by the sensor 10 is performed in a virtual three-dimensional protection area 305 that is determined in consideration of the installation position and orientation of the sensor 10, the placement of the robot 302, a safe distance, and the like.
  • the robot 302 is installed on a workbench 303, and during actual operation, a flow line 306 (only a region behind the flow line 306 when viewed from the sensor 10 in FIG. ), a blind area 306a (FIG. 3) is created which is a blind spot for the sensor 10 during actual operation.
  • a blind area such as the blind area 306 a that exists within the protected area 305 is a critical blind area in which the sensor 10 cannot detect an object despite the protected area 305 . Therefore, the user needs to confirm the safety of such a critical blind spot area, but it is not easy for the user to recognize which area of the site is the critical blind spot area.
  • the user installs the sensor 10 so that at least part of the robot 302 is within the measurable area 301 thereof.
  • the sensing unit 201 FIG. 2
  • the control unit 30 as distance information acquisition means acquires distance information (three-dimensional information) measured and output by the sensor 10 .
  • a protection area setting unit 202 FIG. 2 of the control unit 30 as area setting means creates a virtual area within the measurable area 301 based on the installation position and orientation of the sensor 10, the placement of the robot 302, the safe distance, and the like.
  • a typical three-dimensional protection area 305 is set.
  • An area information acquisition unit 203 FIG.
  • the control unit 30 acquires information on the protection area 305 and each object existing in the measurable area 301 (FIG. 3) from a storage unit, an external computer, or the like. For our example, we obtain a 3D model of the robot 302, workbench 303, and shelf 304).
  • the blind spot determination unit 204 (FIG. 2) of the control unit 30 as a blind spot calculation means, based on the distance information measured by the sensor 10, the three-dimensional blind spot area (the example of FIG. In this case, blind areas 303a, 304a, 306a caused by the work table 303, the flow line 306 of the robot 302, and the shelf 304 are calculated.
  • a three-dimensional space coordinate display unit 205 (FIG.
  • the three-dimensional spatial coordinate display unit 205 further displays the point cloud based on the distance information measured by the sensor 10, the 3D model of the object acquired by the area information acquisition unit 203, etc. together with the protected area 305 and the blind spot area, as a virtual may be displayed in a three-dimensional space.
  • the warning unit 206 ( FIG. 2 ) of the control unit 30 as warning means may issue a warning when at least part of the blind area is within the protected area 305 .
  • the sensor 10 includes a light emitting section 41, a light receiving section 42 and a computing section 43.
  • the light emitting portion 41 emits light (for example, infrared light), and the light receiving portion 42 receives reflected light.
  • a TOF sensor that acquires a range image from the time of flight (TOF) of light is employed.
  • TOF time of flight
  • an indirect TOF sensor that estimates the time difference from the phase difference between projected light and reflected light is employed.
  • the sensor 10 outputs three-dimensional distance information for each position within the measurable area 301 as a measurement result.
  • a measurement result is supplied to the control unit 30 via the sensor I/F 44 in the information processing device 50 .
  • Sensor 10 is controlled by control unit 30 via sensor I/F 44 .
  • Information processing device 50 includes control unit 30 , sensor I/F 44 , display unit 34 , operation input unit 35 , storage unit 36 and communication I/F 37 .
  • the control unit 30 includes a CPU 31, a ROM 32, a RAM 33, a timer (not shown), and the like.
  • a control program executed by the CPU 31 is stored in the ROM 32 .
  • the ROM 32 also stores values such as various threshold values.
  • the RAM 33 provides a work area when the CPU 31 executes the control program.
  • the display unit 34 is composed of a liquid crystal display or the like, and displays various information.
  • the display unit 34 may have two or more screens, or may have a function of displaying two or more screens by dividing the screen.
  • the operation input unit 35 receives input of various instructions from the user and sends input information to the CPU 31 . Further, the operation input unit 35 may have a function of warning the user by voice, lamp, or the like based on instructions from the CPU 31 .
  • the storage unit 36 is composed of, for example, a non-volatile memory.
  • the storage unit 36 may be an external memory.
  • Communication I/F 37 performs wired or wireless communication between controller 30 and robot 302 .
  • the control unit 30 has a sensing unit 201 , a protection area setting unit 202 , an area information acquisition unit 203 , a blind spot determination unit 204 , a three-dimensional spatial coordinate display unit 205 and a warning unit 206 .
  • Each of these functions is implemented in software by a program stored in the ROM 32 .
  • each function is provided by the CPU 31 developing necessary programs in the RAM 33 and executing them to perform various calculations and control of each hardware resource.
  • the function of the sensing unit 201 is realized mainly by cooperation of the CPU 31, the ROM 32, the RAM 33, and the sensor I/F 44.
  • Functions of the protection area setting unit 202 and the area information acquisition unit 203 are realized mainly by cooperation of the CPU 31, the ROM 32, the RAM 33, the display unit 34, and the operation input unit 35.
  • FIG. The function of the blind spot determination unit 204 is realized mainly by cooperation of the CPU 31, the ROM 32 and the RAM 33.
  • the function of warning unit 206 is realized mainly by the cooperation of CPU 31 , ROM 32 , RAM 33 , operation input unit 35 and communication I/F 37 .
  • the sensing unit 201 acquires distance information from the sensor 10 installed so that at least part of the robot 302 enters the measurable area 301 via the sensor I/F 44, as shown in FIG.
  • the distance information may be, for example, a distance image in which information on the depth distance from the sensor 10 is associated with each pixel, or may be point cloud data.
  • the sensing unit 201 acquires the distance information (1) measured by the sensor 10 when the robot 302 is stopped and the distance information (1) measured by the sensor 10 at a plurality of timings while the robot 302 is moving, before the robot 302 actually operates. Obtain distance information (2). These acquired distance information (1) and (2) are temporarily stored in the RAM 33 .
  • Distance information (1) recognizes objects other than the robot 302 in the measurable area 301, such as the work table 303 and the shelf 304 shown in FIG. It is used to calculate the blind area 303a, 304a formed by the object.
  • the distance information (2) is used to recognize the flow line 306 of the robot 302, and the blind area 306a is calculated based on the flow line 306. Therefore, in order to recognize the same blind spot area produced by the robot 302 during actual operation, the distance information (2) is preferably acquired while moving the robot 302 in the same motion as during actual operation.
  • the protection area setting unit 202 sets a virtual three-dimensional protection area 305 within the measurable area 301 in consideration of the installation position/orientation of the sensor 10, the installation position of the robot 302, and the safety distance. Specifically, the protection area setting unit 202 generates data defined by the XYZ coordinates of each vertex of the pentagonal prism as shown in FIG. do.
  • the safe distance is a distance that can guarantee that the robot 302 completes deceleration/stopping before an object entering the protection area 305 reaches the robot 302. It is determined by safety standards in consideration of operating speed and braking performance.
  • the protection area setting unit 202 reads the robot information to be used (information such as the operating speed and braking performance of the robot 302) and the safety standard information to be used from the storage unit 36, and calculates the safe distance based on these.
  • the storage unit 36 also holds information on the installation position and orientation of the sensor 10 and the installation position of the robot 302 in advance.
  • the protection area setting unit 202 also reads these information from the storage unit 36 .
  • the area information acquisition unit 203 acquires information on the protection area set by the protection area setting unit 202. Alternatively, the area information acquisition unit 203 may acquire information on the protected areas that have been set from the storage unit 36 . Also, the area information acquisition unit 203 acquires 3D model data of objects existing in the measurable area 301 (for example, the robot 301 , the workbench 303 , the shelf 304 , etc.) from the storage unit 36 .
  • a 3D model is data, such as CAD data, that defines the three-dimensional shape of an object. Information on the protected area and the 3D model of the object may be obtained from an external computer, external storage, or the like instead of the storage unit 36 .
  • the blind spot determination unit 204 (recognition means) first recognizes the flow line 306 of the robot 302 . This is because the blind area 306 a seen from the sensor 10 caused by the operation of the robot 302 is calculated based on the range of the flow line 306 .
  • the blind spot determination unit 204 reads the distance information (2) acquired by the sensing unit 201 from the RAM 33 and converts it into point group information (object range information) in an orthogonal XYZ coordinate system in the global coordinate system.
  • the blind spot determination unit 204 reads the distance information (1) acquired by the sensing unit 201 from the RAM 33 and converts it into point cloud information (surrounding environment information) in an orthogonal XYZ coordinate system in the global coordinate system.
  • the blind spot determination unit 204 removes the surrounding environment information from the object range information.
  • point group information actual motion information
  • the blind spot determination unit 204 sequentially plots the point cloud information of the robot 302 at each timing when the distance information (2) is measured, and creates a three-dimensional shape 401 surrounding all the plotted point cloud information. is recognized as a flow line 306 (FIG. 4). As a result, since the movement range of the robot 302 is recognized as the line of flow 306, the blind area 306a can be accurately calculated.
  • the blind spot determination unit 204 determines the blind spot areas 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, 303a, and 303a, 303a, 303a, 303a, and 303d, respectively.
  • 304a and 306a are calculated.
  • the blind spot determination unit 204 reads out information on the installation position and orientation of the sensor 10 from the storage unit 36, and uses this information, the surrounding environment information obtained from the distance information (1), and the motion shown in FIG.
  • blind areas 303a, 304a, and 306a are calculated. Specifically, the area on the far side of the upper surface of the workbench 303 as seen from the sensor 10 is a blind area 303a, and the area on the far side of the upper surface of the shelf 304 as seen from the sensor 10 is a blind area 304a. Therefore, the area behind the movement line 306 of the robot 302 becomes a blind spot area 306a.
  • the blind spot determination unit 204 determines whether or not at least part of the blind spot areas 303a, 304a, and 306a is within the protection area 305, and if there is, notifies the warning unit 206 of blind spot detection.
  • the three-dimensional space coordinate display unit 205 displays the three-dimensional diagram shown in FIG. 3 in a virtual three-dimensional space on the display unit 34. Although the information processing device 50 and the measurable region 301 are displayed in FIG. 3, they may be hidden in the virtual three-dimensional space on the display unit .
  • the three-dimensional space coordinate display unit 205 performs display in the three-dimensional space on the display unit 34 of the three-dimensional diagram shown in FIG. 3 as follows.
  • the three-dimensional space coordinate display unit 205 generates CG representing the protection area 305 based on the data of the protection area 305 acquired by the area information acquisition unit 203, and displays it in the three-dimensional space on the display unit .
  • the outer shape of the protection area 305 defined by the XYZ coordinates of each vertex of the pentagonal prism is drawn in a wire frame.
  • the three-dimensional space coordinate display unit 205 generates a CG (for example, a wire frame) representing the blind spot areas 303a, 304a, and 306a calculated by the blind spot determination unit 204, and superimposes it on the virtual three-dimensional space.
  • a CG for example, a wire frame
  • the three-dimensional space coordinate display unit 205 may superimpose the point group generated from the distance information (1) acquired by the sensing unit 201 on the virtual three-dimensional space.
  • Each point forming the point group corresponds to a point (measurement point) on the surface of the object whose distance is measured by the sensor 10 . Therefore, by displaying the point cloud in a virtual three-dimensional space, it is possible to represent (the outline of) an object existing within the measurable area 301 .
  • the relationship between the position and size of the objects 303 and 304 existing inside or near the protected area 305 and the blind areas 303a and 304b caused by the objects 303 and 304 can be grasped. be able to.
  • the three-dimensional space coordinate display unit 205 may superimpose the 3D model of the object acquired by the area information acquisition unit 203 on the virtual three-dimensional space.
  • a 3D model for display, objects existing within the measurable region 301 can be represented more precisely and accurately.
  • both the point cloud and the 3D model may be displayed in a superimposed manner, or only one of them may be displayed or the display may be switched.
  • the range of the protection area 305 displayed on the display unit 34 can be changed by a method such as moving the vertex of the wireframe by user operation using the operation input unit 35. This facilitates proper setting of the protected area 305 . For example, if the area under the shelf 304 is not dangerous because the arm of the robot 302 cannot enter, the user can remove such area from the protected area 305 .
  • the CG of the protection area 305 and the blind spot areas 303a, 304a, and 306a is displayed as a wire frame, but it is not limited to this as long as the user can recognize the shape and range of these areas.
  • it may be a box-shaped frame, a spherical frame, or a polygonal frame instead of a wire frame.
  • the blind spot determination unit 204 (second blind spot calculation means) the above three A three-dimensional blind spot area 306a' (not shown: second blind spot area) that can be a blind spot of the dimensional distance sensor is calculated, and the blind spot areas 306a and 306a' can be identified by color coding or the like on the three-dimensional spatial coordinate display unit 205. state, or switch the blind spot area 306a to the blind spot area 306a' according to mode switching by the user, and superimpose and display on the virtual three-dimensional space. You may do so. As a result, the user can grasp critical blind spot areas 306 a ′ in the maximum movable range of the robot 302 .
  • the warning unit 206 Upon receiving the blind spot detection notification from the blind spot determination unit 204, the warning unit 206 issues a warning to the user through the operation input unit 35. This allows the user to more easily recognize critical blind spot areas.
  • the warning unit 206 may issue a danger warning when the size of the blind area in the protected area 305 is equal to or greater than the threshold. As a result, when the blind spot area in the protected area is large enough for a person to enter, the user can be notified that the sensor arrangement has a high degree of danger.
  • the warning unit 206 instructs the robot 302 via the communication I/F 37 to change the line of flow 306 so as to reduce the blind area 306a when the blind area is within the protection area 305. Send. As a result, feedback of the measurement result by the sensor 10 can be given to the robot 302 .
  • FIG. 5 is a flowchart showing blind spot area display processing.
  • This processing is realized by the CPU 31 expanding the program stored in the ROM 32 into the RAM 33 and executing it. This process is started by the user's instruction after the user has installed the sensor 10 so that at least part of the robot 302 enters the measurable area 301 thereof.
  • step S500 the protection area setting unit 202 reads information on the robot to be used, information on the safety standards to be used, and information on the installation position/orientation of the sensor 10 and the installation position of the robot 302 from the storage unit 36, and reads these information.
  • a virtual three-dimensional protection area 305 is set in the measurable area 301 based on the above. Note that if the protection area 305 has already been set, the process of step S500 may be omitted.
  • step S501 the user uses the operation input unit 35 to input an instruction to acquire distance information (1) while the robot 302 is stopped.
  • the sensing unit 201 acquires the distance information (1) measured by the sensor 10 .
  • step S502 the user uses the operation input unit 35 to input an instruction to acquire the distance information (2) after causing the robot 302 to start the same movement as during actual operation.
  • the sensing unit 201 acquires the distance information (2) measured by the sensor 10 .
  • step S503 the area information acquisition unit 203 acquires data such as protection area information and a 3D model of an object from the storage unit .
  • step S504 the blind spot determination unit 204 recognizes the robot flow line 306 based on the distance information (1) and the distance information (2).
  • step S505 the blind spot determination unit 204 calculates blind spot areas 303a, 304a, and 306a caused by surrounding objects (workbench 303 and shelf 304) and the flow line 306 of the robot 302.
  • step S506 the protection area 305 acquired in step S503 and the blind spot areas 303a, 304a, and 306a calculated in step S505 are displayed in the virtual three-dimensional space on the display unit 34 on the three-dimensional space coordinate display unit 205. to display. Furthermore, the point group generated from the distance information (1), the 3D model acquired in step S503, and the like may be superimposed and displayed in a virtual three-dimensional space.
  • step S507 the blind spot determining unit 204 determines whether or not at least part of the blind spot areas 303a, 304a, and 306a is within the protected area 305. If at least a part of the blind area 303a, 304a, 306a is within the protected area 305 (YES in step S507), the blind area detection notification is sent to the warning unit 206, and then the process proceeds to step S508. On the other hand, if there is no blind spot area within the protection area 305 (NO in step S507), this process is terminated as it is.
  • step S508 when the warning unit 206 receives the blind spot detection notification from the blind spot determination unit 204, the operation input unit 35 issues a warning to the user, and the robot 302 detects the blind spot area 306a via the communication I/F 37. An instruction to change the line of flow 306 so as to decrease is transmitted, and this processing ends.
  • the control unit 30 provides a virtual three-dimensional protection within the measurable area 301 when the sensor 10 is installed such that at least a portion of the robot 302 enters its measurable area 301 .
  • An area 305 is set, and based on the distance information measured by the sensor 10, the blind spot area caused by each object is calculated. After that, the control unit 30 displays the blind area of the protection area 305 in the virtual three-dimensional space on the display unit 34 . This allows the user to easily recognize the critical blind spot area.
  • the three-dimensional distance sensor used as the sensor 10 may employ other types of sensors as long as they are sensors that measure and output distance information (three-dimensional information).
  • a TOF sensor When a TOF sensor is employed, it may be either of a direct type (direct type) or an indirect type (indirect type). Sensors using other than light, such as radio waves, are also applicable.
  • the information processing device 50 can be configured by, for example, a computer including a processor, memory, storage, and the like.
  • a computer including a processor, memory, storage, and the like.
  • the configuration shown in FIG. 2 is realized by loading the program stored in the storage into the memory and executing the program by the processor.
  • Such a computer may be a general-purpose computer such as a personal computer, a server computer, a tablet terminal, a smart phone, or a built-in computer such as an on-board computer.
  • all or part of the configuration shown in FIG. 2 may be configured with ASIC, FPGA, or the like.
  • all or part of the configuration shown in FIG. 2 may be realized by cloud computing or distributed computing.
  • distance information acquisition means (201) for acquiring distance information measured by the sensor (10);
  • Area information acquiring means (202) for acquiring information on a virtual three-dimensional protected area set within the measurable area of the sensor;
  • Blind spot calculation means (204) for calculating a three-dimensional blind spot region, which is the blind spot of the sensor, based on the distance information;
  • display means (205) for displaying the protection area and the blind spot area in a virtual three-dimensional space;
  • An information processing device (50) characterized by comprising:
  • Sensor 30 Control unit 50: Information processing device 201: Sensing unit 202: Protection area setting unit 203: Area information acquisition unit 204: Blind spot determination unit 205: Three-dimensional spatial coordinate display unit 206: Warning unit 301: Measurable area 302: Robot 303: Workbench 304: Shelf 305: Protection area 306: Flow lines 303a, 304a, 306a: Blind spot area

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

情報処理装置は、センサによって測定された距離情報を取得する距離情報取得手段と、センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段と、距離情報に基づいて、センサの死角となる３次元の死角領域を算出する死角算出手段と、防護エリア及び死角領域を仮想的な３次元空間に表示する表示手段と、を有する。

Description

情報処理装置および情報処理方法、並びにプログラム
　本発明は、情報処理装置および情報処理方法、並びにプログラムに関する。
　生産現場のような監視が必要な場面において、人体等の物体を検出するためにセンサが用いられている。物体を確実に検出するために、センサを適切な位置や向きに設置したり、監視対象となるエリアを適切に設定することが求められる。しかし、距離センサの設置位置や向きが適切かどうか、監視対象となるエリアが適切に設定されているかをユーザが判断するのは容易でない。
　特許文献１には、３Ｄセンサを使用して、安全目的のために作業空間を監視するシステムが開示されている。このシステムでは、３Ｄセンサによって監視される円錐の立体空間は、いかなる障害物も検出されなかった「非占有」とマーキングされる空間と、物体の検出された「占有」とマーキングされる空間と、検出された物体のために３Ｄセンサの死角領域となった「未知」とマーキングされる空間とに分類されて表示される。
特表２０２０－５１１３２５号公報
　しかしながら、特許文献１で「未知」とマーキングされる空間がクリティカルな死角領域であるかをユーザが認識するのは容易でない。
　そこで本発明は、ユーザがクリティカルな死角領域を容易に認識することができる技術を提供することを目的とする。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、センサによって測定された距離情報を取得する距離情報取得手段と、前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段と、前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出する死角算出手段と、前記防護エリア及び前記死角領域を仮想的な３次元空間に表示する表示手段と、有することを特徴する情報処理装置を提供する。
　「センサ」は、３次元情報を測定可能なセンサであり、一例としてＴＯＦ（Time of Flight）センサである。
　この構成によれば、センサで測定された距離情報に基づいて、センサの死角となる３次元の死角領域の算出を行い、防護エリア及び死角領域を仮想的な３次元空間に表示する。これにより、防護エリアと死角領域が可視化され、ユーザが、防護エリアと死角領域の位置や大きさの関係を視覚的に確認することができるので、クリティカルな死角領域を容易に認識することができる。
　前記表示手段は、さらに、前記距離情報に基づく点群を前記仮想的な３次元空間に表示してもよい。点群を構成する各々の点は、センサによって距離が測定された物体表面上の点（計測点）に対応するものである。したがって、点群を仮想的な３次元空間に表示することで、測定可能領域内に存在する物体（の外形）を表すことができる。これにより、防護エリアの内側や近傍に存在する物体との位置・大きさの関係や、当該物体により生じる死角領域なども把握することができる。
　前記エリア情報取得手段は、前記測定可能領域内に存在する物体の３Ｄモデルを取得し、前記表示手段は、さらに前記３Ｄモデルを前記仮想的な３次元空間に表示してもよい。「３Ｄモデル」は、センサで測定して得られたデータではなく、例えばＣＡＤデータのような、物体の外形を定義する３次元データである。このような３Ｄモデルを用いて表示を行うことにより、測定可能領域内に存在する物体をより精細かつ正確に表すことができる。これにより、防護エリアの内側や近傍に存在する物体との位置・大きさの関係や、当該物体により生じる死角領域なども把握することができる。
　また、前記死角領域の少なくとも一部が前記防護エリア内にある場合に警告を行う警告手段をさらに備えてもよい。防護エリア内にセンサの死角が存在する場合、防護エリアに侵入した侵入物を検知できないおそれがあるため、防護エリア内に死角領域が含まれている状態はクリティカルな問題である。したがって上記のように警告を行うことにより、ユーザは、クリティカルな死角領域をより容易に認識することができる。
　また、前記警告手段は、前記防護エリア内における前記死角領域の大きさが閾値以上である場合に危険警告を行ってもよい。これにより、防護エリア内にある死角領域が例えば人が入れるほどの大きさである場合、ユーザに対し、危険度が高いセンサ配置となっていることを知らせることができる。
　また、前記仮想的な３次元空間に表示された前記防護エリアの範囲は、ユーザ操作により変更可能であってもよい。これにより、防護エリアの適切な設定が容易になる。
　前記測定可能領域内に、作業機械が設置されており、前記死角算出手段は、前記作業機械により生じる死角領域を算出してもよい。作業機械の近くに作業者が近寄る可能性は高いため、作業機械により生じる死角領域はクリティカルな場合が多いからである。
　また、前記作業機械はロボットであって、前記ロボットを動かしながら複数のタイミングで前記センサにより測定した前記距離情報から前記ロボットの動作範囲を認識する認識手段を更に備え、前記死角算出手段は、前記ロボットの動作範囲から前記死角領域を算出し、前記表示手段は、前記動作範囲を前記仮想的な３次元空間に重畳して表示してもよい。これにより、ロボットの作動により生じるセンサから視た死角領域をユーザは容易に認識することが可能となる。
　また、前記ロボットにより生じる死角領域が前記防護エリア内にある場合、前記死角領域が減少するように前記動作範囲を変更させる指示を前記ロボットに対して送信する指示送信手段を更に備えてもよい。これにより、ロボットにセンサによる測定結果のフィードバックを与えることができる。
　また、前記認識手段は、前記複数のタイミングで前記センサにより測定された前記距離情報の夫々を、前記測定可能領域における各物体の占める範囲を示す物体範囲情報に変換し、前記物体範囲情報から、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を除いて、前記測定可能領域における前記ロボットの占める範囲を示す実動作情報を生成し、前記複数のタイミングでの前記実動作情報を重ね合わせて、前記ロボットの動作範囲を算出してもよい。これにより、ロボットの動作範囲の決定を短時間で行うことができる。
　また、前記ロボットを停止させた状態で前記センサにより測定された前記距離情報に基づき、前記周辺環境情報を設定する設定手段を更に有してもよい。これにより、測定可能領域における物体の位置をセンサを用いて簡便に検知することができる。
　前記複数のタイミングで前記センサにより測定された前記距離情報は、実作動中と同じ動作で前記ロボットを動かしながら前記センサにより測定された距離情報であってもよい。これにより、実作動中に生じるものと同じ死角領域を設定することができる。
　前記死角算出手段は、前記周辺環境情報に基づいてさらに前記死角領域を算出してもよい。これにより、ユーザが、クリティカルな死角領域をより容易に認識することができる。
　前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、前記表示手段は、前記第２の死角領域を、前記ロボットの動作範囲から算出された死角領域と識別可能な状態で、前記仮想的な３次元空間にさらに重畳してもよい。これにより、ロボットの最大可動範囲での死角領域のうちクリティカルなものをユーザが把握することができる。
　前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、前記表示手段は、前記ロボットの動作範囲から算出された死角領域と前記第２の死角領域とを切り替えて、前記仮想的な３次元空間に重畳して表示してもよい。これにより、ロボットの最大可動範囲での死角領域のうちクリティカルなものをユーザが把握することができる。
　本発明の第二側面は、センサによって測定された距離情報を取得するステップと、前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するステップと、前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出するステップと、前記防護エリア及び前記死角領域を仮想的な３次元空間に表示するステップと、有することを特徴する情報処理方法を提供する。
　本発明の第三側面は、上記情報処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
　本発明は、上記手段の少なくとも一部を有する情報処理装置、死角表示装置、死角確認装置などとして捉えてもよいし、これらの装置とセンサとを含む物体検知システム、監視システムなどとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を有する情報処理方法、死角表示方法、死角確認方法、物体検知方法、監視方法、制御方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。尚、上記手段ないし処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、ユーザがクリティカルな死角領域を容易に認識することができる。
図１は、本発明の一実施の形態に係る情報処理装置及びセンサを含む監視システムのブロック図である。 図２は、制御部の機能ブロック図である。 図３は、監視システムが用いられる現場の模式的な立体図である。 図４は、ロボットの動線を示す図である。 図５は、死角領域表示処理を示すフローチャートである。
　＜適用例＞
　図１～図３を参照して、本発明に係る情報処理装置の適用例を説明する。図１は、本発明の一実施の形態に係る情報処理装置５０及びセンサ１０を含む監視システムのブロック図である。図２は、制御部３０の機能ブロック図である。図３は、監視システムが用いられる現場の模式的な立体図である。
　図３に示すように、３次元の距離情報を測定・出力する３次元距離センサ１０（以下、センサ１０と記す）が用いられる現場として、ロボット３０２や製造装置などの作業機械（「危険源」とも呼ばれる）が作業者と協働しながら生産を行う生産現場のように、物体の監視が必要な場所が想定される。センサ１０による物体の監視は、センサ１０の設置位置や向き、ロボット３０２の配置、及び安全距離等を考慮して定められる、仮想的な３次元の防護エリア３０５において行われる。
　一方、ロボット３０２が、作業台３０３の上に設置され、実作動中に３次元の動作範囲である動線３０６（図３においては、センサ１０から視て、動線３０６の奥側の領域のみ図示）上を動く場合、実作動中においてセンサ１０の死角となる死角領域３０６ａ（図３）が生じる。死角領域３０６ａのような防護エリア３０５内に存在する死角領域は、防護エリア３０５にもかかわらずセンサ１０による物体の検知ができないクリティカルな死角領域となる。よって、ユーザは、このようなクリティカルな死角領域の安全確認を行う必要があるが、現場のどの領域がクリティカルな死角領域であるかをユーザが認識するのは容易でない。
　そこで、本実施の形態では、図３に示すように、ユーザは、センサ１０を、その測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置する。この状態で、距離情報取得手段としての制御部３０のセンシング部２０１（図２）は、センサ１０で測定・出力された距離情報（３次元情報）を取得する。そして、エリア設定手段としての制御部３０の防護エリア設定部２０２（図２）は、センサ１０の設置位置や向き、ロボット３０２の配置、及び安全距離等に基づいて、測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定する。エリア情報取得手段としての制御部３０のエリア情報取得部２０３（図２）は、記憶部あるいは外部のコンピュータなどから、防護エリア３０５の情報や、測定可能領域３０１に存在する各物体（図３の例の場合、ロボット３０２、作業台３０３、及び棚３０４）の３Ｄモデルを取得する。また、死角算出手段としての制御部３０の死角判別部２０４（図２）は、センサ１０で測定された距離情報に基づいて、センサ１０の死角となる３次元の死角領域（図３の例の場合、作業台３０３、ロボット３０２の動線３０６、及び棚３０４の夫々により生じる死角領域３０３ａ，３０４ａ，３０６ａ）を算出する。表示手段としての制御部３０の３次元空間座標表示部２０５（図２）は、防護エリア３０５及び死角領域を仮想的な３次元空間に表示する。３次元空間座標表示部２０５は、さらに、センサ１０で測定された距離情報に基づく点群や、エリア情報取得部２０３が取得した物体の３Ｄモデルなどを、防護エリア３０５及び死角領域とともに、仮想的な３次元空間に表示してもよい。
　ここで、警告手段としての制御部３０の警告部２０６（図２）が、死角領域の少なくとも一部が防護エリア３０５内にある場合に警告を行うようにしてもよい。
　図１に示すように、センサ１０は、発光部４１、受光部４２および演算部４３を備える。発光部４１は光（例えば、赤外光）を出射し、受光部４２は反射光を受光する。センサ１０には、一例として、光の飛行時間（Time of Flight：TOF）から距離画像を取得するＴＯＦセンサが採用される。例えば、投影光と反射光の位相差から時間差を推定する間接型ＴＯＦセンサが採用される。センサ１０は、測定可能領域３０１内の各位置の３次元の距離情報を測定結果として出力する。測定結果は情報処理装置５０におけるセンサＩ／Ｆ４４を介して制御部３０に供給される。センサ１０は、センサＩ／Ｆ４４を介して制御部３０によって制御される。
　以上の適用例は、本発明の理解を補助するための例示であり、本発明を限定解釈することを意図するものではない。
　＜実施形態＞
　次に、本発明の実施形態における情報処理装置５０の構成、及び制御部３０の各機能等を詳細に説明する。
　まず、図１で、情報処理装置５０の構成を説明する。情報処理装置５０は、制御部３０、センサＩ／Ｆ４４、表示部３４、操作入力部３５、記憶部３６、通信Ｉ／Ｆ３７を備える。制御部３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３および不図示のタイマ等を備える。ＲＯＭ３２には、ＣＰＵ３１が実行する制御プログラムが格納されている。ＲＯＭ３２にはまた、各種閾値などの値が格納されている。ＲＡＭ３３は、ＣＰＵ３１が制御プログラムを実行する際のワークエリアを提供する。
　表示部３４は、液晶ディスプレイ等で構成され、各種情報を表示する。表示部３４は、２つ以上の画面を有するか、または画面分割により２つ以上の画面を表示する機能を有してもよい。操作入力部３５は、ユーザからの各種指示の入力を受け付け、入力情報をＣＰＵ３１に送る。また、操作入力部３５は、ＣＰＵ３１からの指示に基づきユーザに対して音声やランプ等による警告を行う機能を有してもよい。記憶部３６は例えば不揮発メモリで構成される。記憶部３６は外部メモリであってもよい。通信Ｉ／Ｆ３７は、制御部３０とロボット３０２との間で有線または無線による通信を行う。
　次に、図２で、制御部３０の各機能について説明する。制御部３０は、センシング部２０１、防護エリア設定部２０２、エリア情報取得部２０３、死角判別部２０４、３次元空間座標表示部２０５、警告部２０６を有する。これらの各機能は、ＲＯＭ３２に格納されたプログラムによってソフトウェア的に実現される。つまり、ＣＰＵ３１が必要なプログラムをＲＡＭ３３に展開し実行して、各種の演算や各ハードウェア資源の制御を行うことによって、各機能が提供される。言い換えると、センシング部２０１の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３およびセンサＩ／Ｆ４４の協働により実現される。防護エリア設定部２０２及びエリア情報取得部２０３の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、表示部３４、及び操作入力部３５の協働により実現される。死角判別部２０４の機能は、主としてＣＰＵ３１、ＲＯＭ３２およびＲＡＭ３３の協働により実現される。警告部２０６の機能は、主としてＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、操作入力部３５、及び通信Ｉ／Ｆ３７の協働により実現される。
　センシング部２０１は、図３に示すように、測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置されたセンサ１０から距離情報をセンサＩ／Ｆ４４を介して取得する。距離情報は、例えば、各画素にセンサ１０からの奥行距離の情報が対応付けられた距離画像でもよいし、点群データでもよい。センシング部２０１は、ロボット３０２の実作動を行う前に、ロボット３０２の停止時にセンサ１０で測定された距離情報（１）の取得と、ロボット３０２を動かしながら複数のタイミングにおいてセンサ１０で測定された距離情報（２）の取得を行う。これら、取得した距離情報（１），（２）はＲＡＭ３３内に一次保存される。
　距離情報（１）は、図３に示す作業台３０３や棚３０４の他、床や壁、安全柵等、測定可能領域３０１におけるロボット３０２以外の物体（周辺物体ともよぶ）を認識するとともに、それらの物体により形成される死角領域３０３ａ、３０４ａを算出するために用いられる。
　距離情報（２）は、ロボット３０２の動線３０６を認識するために用いられ、死角領域３０６ａは動線３０６に基づいて算出される。よって、実作動中のロボット３０２によって生じる死角領域と同じものを認識するため、距離情報（２）は、ロボット３０２を実作動中と同じ動作で動かしながら取得されるのが好ましい。
　防護エリア設定部２０２は、センサ１０の設置位置・向き、ロボット３０２の設置位置、及び安全距離を考慮して、測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定する。具体的には、防護エリア設定部２０２は、防護エリア３０５のデータとして、例えば、図３に示すような、五角柱の各頂点のＸＹＺ座標で定義されたデータを生成し、記憶部３６に格納する。
　ここで、安全距離とは、防護エリア３０５への侵入物がロボット３０２に到達するまでにロボット３０２が減速・停止を完了することを保証できる距離であり、センサ１０の応答速度や、ロボット３０２の動作速度や制動性能などを考慮して安全規格により定められる。
　よって、防護エリア設定部２０２は、記憶部３６から、使用ロボット情報（ロボット３０２の動作速度や制動性能等の情報）や使用する安全規格情報を読み出し、これらに基づき安全距離を算出する。
　また、記憶部３６には、センサ１０の設置位置・向きや、ロボット３０２の設置位置の情報も予め保持されている。防護エリア３０５を設定する際、これらの情報も防護エリア設定部２０２は記憶部３６から読み出す。
　エリア情報取得部２０３は、防護エリア設定部２０２により設定された防護エリアの情報を取得する。あるいは、エリア情報取得部２０３は、設定済みの防護エリアの情報を記憶部３６から取得してもよい。また、エリア情報取得部２０３は、測定可能領域３０１に存在する物体（例えば、ロボット３０１、作業台３０３、棚３０４等）の３Ｄモデルのデータを記憶部３６から取得する。３Ｄモデルは、例えばＣＡＤデータのような、物体の３次元形状を定義するデータである。なお、防護エリアの情報や物体の３Ｄモデルは、記憶部３６ではなく、外部のコンピュータや外部ストレージなどから取得されてもよい。
　死角判別部２０４（認識手段）は、まず、ロボット３０２の動線３０６を認識する。ロボット３０２の作動により生じるセンサ１０から視た死角領域３０６ａは、動線３０６の範囲に基づき算出されるからである。
　具体的には、死角判別部２０４は、センシング部２０１が取得した距離情報（２）をＲＡＭ３３から読み出し、グローバル座標系での直交ＸＹＺ座標系の点群情報（物体範囲情報）に変換する。同様に、死角判別部２０４は、センシング部２０１が取得した距離情報（１）をＲＡＭ３３から読み出し、グローバル座標系での直交ＸＹＺ座標系の点群情報（周辺環境情報）に変換する。そして、死角判別部２０４は、物体範囲情報から周辺環境情報を除く。これにより、距離情報（２）が測定された各タイミングにおけるロボット３０２を示す点群情報（実動作情報）を生成する。その後、死角判別部２０４は、距離情報（２）が測定された各タイミングにおけるロボット３０２の点群情報を順次プロットし、プロットされた全点群情報を全て取り囲むような３次元形状４０１をロボット３０２の動線３０６（図４）として認識する。これにより、ロボット３０２の動作範囲が動線３０６として認識されるため、正確な死角領域３０６ａを算出することができる。
　次に、死角判別部２０４は、測定可能領域内に存在する周辺物体（作業台３０３や棚３０４）やロボット３０２の動線３０６により生じるセンサ１０から視た死角の領域である、死角領域３０３ａ，３０４ａ，３０６ａを算出する。具体的には、死角判別部２０４は、センサ１０の設置位置や向きの情報を記憶部３６から読み出し、これらの情報と、距離情報（１）から求めた周辺環境情報や、図４に示す動線３０６の３次元形状に基づき、死角領域３０３ａ，３０４ａ，３０６ａを算出する。具体的には、センサ１０から視て作業台３０３の上面の奥側の領域が死角領域３０３ａとなり、センサ１０から視て棚３０４の上面の奥側の領域が死角領域３０４ａとなり、センサ１０から視てロボット３０２の動線３０６の奥側の領域が死角領域３０６ａとなる。
　また、死角判別部２０４は、死角領域３０３ａ，３０４ａ，３０６ａの少なくとも一部が防護エリア３０５内にあるか判定し、ある場合は警告部２０６に対して死角検出通知を行う。
　３次元空間座標表示部２０５は、図３に示す立体図を表示部３４上の仮想的な３次元空間に表示する。尚、図３においては情報処理装置５０や測定可能領域３０１が表示されているが、これらは表示部３４上の仮想的な３次元空間においては非表示としてもよい。
　具体的には、３次元空間座標表示部２０５は、図３に示す立体図の表示部３４上の３次元空間への表示を以下のように行う。
　まず、３次元空間座標表示部２０５は、エリア情報取得部２０３により取得された防護エリア３０５のデータに基づき、防護エリア３０５を表すＣＧを生成し、表示部３４上の３次元空間に表示する。図３の例では、五角柱の各頂点のＸＹＺ座標で定義された防護エリア３０５の外形がワイヤフレームで描画されている。
　また、３次元空間座標表示部２０５は、死角判別部２０４で算出された死角領域３０３ａ，３０４ａ，３０６ａを表すＣＧ（例えばワイヤフレーム）を生成し、上記仮想的な３次元空間に重畳表示する。
　さらに、３次元空間座標表示部２０５は、センシング部２０１が取得した距離情報（１）から生成した点群を、上記仮想的な３次元空間に重畳表示してもよい。点群を構成する各々の点は、センサ１０によって距離が測定された物体表面上の点（計測点）に対応するものである。したがって、点群を仮想的な３次元空間に表示することで、測定可能領域３０１内に存在する物体（の外形）を表すことができる。これにより、防護エリア３０５の内側や近傍に存在する物体３０３，３０４との位置・大きさの関係や、当該物体３０３，３０４によりどのような死角領域３０３ａ，３０４ｂが生じているのかなども把握することができる。
　さらに、３次元空間座標表示部２０５は、エリア情報取得部２０３により取得された物体の３Ｄモデルを、上記仮想的な３次元空間に重畳表示してもよい。このような３Ｄモデルを用いて表示を行うことにより、測定可能領域３０１内に存在する物体をより精細かつ正確に表すことができる。なお、点群と３Ｄモデルの両方を重畳表示してもよいし、いずれか一方のみを表示したり切替表示できるようにしてもよい。
　尚、表示部３４に表示される防護エリア３０５の範囲は、ワイヤフレームの頂点を操作入力部３５を用いたユーザ操作により移動させる等の方法で変更可能である。これにより、防護エリア３０５の適切な設定が容易になる。例えば、ロボット３０２のアームが入らないため、棚３０４の下の領域は危険がない場合等は、ユーザは防護エリア３０５からかかる領域を外すことができる。
　また、本実施形態では、防護エリア３０５及び死角領域３０３ａ，３０４ａ，３０６ａのＣＧはワイヤフレームとして表示される場合を例示したが、ユーザがこれらの領域の形状や範囲を認識できればこれに限定されない。例えば、ワイヤフレームではなく、箱状フレーム、球状フレーム、又はポリゴンフレームであってもよい。
　また、死角判別部２０４（第２の死角算出手段）で、記憶部３６から読み出したロボット３０２の３次元の最大可動範囲の情報と、記憶部３６に格納される周辺環境情報とから、前記３次元距離センサの死角となりうる３次元の死角領域３０６ａ’（不図示：第２の死角領域）を算出し、３次元空間座標表示部２０５で、死角領域３０６ａ，３０６ａ’を色分け等により識別可能な状態で上記仮想的な３次元空間に重畳表示したり、ユーザによるモード切り替えに応じて、死角領域３０６ａを死角領域３０６ａ’に切り替えて、上記仮想的な３次元空間に重畳して表示したりするようにしてもよい。これにより、ロボット３０２の最大可動範囲での死角領域３０６ａ’のうちクリティカルなものをユーザが把握することができる。
　警告部２０６は、死角判別部２０４から死角検出通知を受けると、操作入力部３５によりユーザに対して警告を行う。これによりユーザはクリティカルな死角領域をより容易に認識することができる。
　また、警告部２０６は、防護エリア３０５における死角領域の大きさが閾値以上である場合に危険警告を行ってもよい。これにより、防護エリア内にある死角領域が例えば人が入れるほどの大きさである場合、ユーザに対し、危険度が高いセンサ配置となっていることを知らせることができる。
　また警告部２０６（指示送信手段）は、死角領域が防護エリア３０５内にある場合、死角領域３０６ａが減少するように動線３０６を変更させる指示を通信Ｉ／Ｆ３７を介してロボット３０２に対して送信する。これにより、ロボット３０２にセンサ１０による測定結果のフィードバックを与えることができる。
　図５は、死角領域表示処理を示すフローチャートである。
　本処理は、ＲＯＭ３２に格納されたプログラムをＣＰＵ３１がＲＡＭ３３に展開して実行することにより実現される。本処理は、ユーザが、センサ１０を、その測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置した後、ユーザの指示により開始される。
　まず、ステップＳ５００では、防護エリア設定部２０２が、記憶部３６から、使用ロボット情報、使用する安全規格情報、及びセンサ１０の設置位置・向きやロボット３０２の設置位置の情報を読み出し、これらの情報に基づき測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定する。なお、防護エリア３０５が既に設定済みの場合は、ステップＳ５００の処理は省略してもよい。
　ステップＳ５０１では、ユーザが、ロボット３０２を停止させた状態で、距離情報（１）の取得指示を操作入力部３５を用いて入力する。距離情報（１）の取得指示があると、センシング部２０１がセンサ１０で測定された距離情報（１）を取得する。
　ステップＳ５０２では、ユーザが、実作動中と同じ動きをロボット３０２に開始させた後、距離情報（２）の取得指示を操作入力部３５を用いて入力する。距離情報（２）の取得指示があると、センシング部２０１がセンサ１０で測定された距離情報（２）を取得する。
　ステップＳ５０３では、エリア情報取得部２０３が、防護エリアの情報、物体の３Ｄモデルなどのデータを記憶部３６から取得する。
　ステップＳ５０４では、死角判別部２０４において、距離情報（１）及び距離情報（２）に基づきロボットの動線３０６を認識する。
　ステップＳ５０５では、死角判別部２０４において、周辺物体（作業台３０３や棚３０４）やロボット３０２の動線３０６により生じる死角領域３０３ａ，３０４ａ，３０６ａを算出する。
　ステップＳ５０６では、３次元空間座標表示部２０５において、ステップＳ５０３で取得された防護エリア３０５、及びステップＳ５０５で算出された死角領域３０３ａ，３０４ａ，３０６ａを、表示部３４上の仮想的な３次元空間に表示する。さらに、距離情報（１）から生成された点群や、ステップＳ５０３で取得された３Ｄモデルなどを、仮想的な３次元空間に重畳表示してもよい。
　ステップＳ５０７では、死角判別部２０４において、死角領域３０３ａ，３０４ａ，３０６ａの少なくとも一部が防護エリア３０５内にあるか否かを判別する。死角領域３０３ａ，３０４ａ，３０６ａの少なくとも一部が防護エリア３０５内にある場合（ステップＳ５０７でＹＥＳ）、死角検出通知を警告部２０６に行った後、ステップＳ５０８に進む。一方、防護エリア３０５内に死角領域がない場合（ステップＳ５０７でＮＯ）、本処理をそのまま終了する。
　ステップＳ５０８では、警告部２０６において、死角判別部２０４からの死角検出通知を受けると、操作入力部３５によりユーザに対して警告を行うと共に、通信Ｉ／Ｆ３７を介してロボット３０２に死角領域３０６ａが減少するように動線３０６を変更させる指示を送信し、本処理を終了する。
　本実施の形態によれば、制御部３０は、センサ１０がその測定可能領域３０１にロボット３０２の少なくとも一部が入るように設置されると、測定可能領域３０１内に仮想的な３次元の防護エリア３０５を設定し、センサ１０で測定された距離情報に基づいて、各物体により生じる死角領域の算出を行う。その後、制御部３０は、表示部３４上の仮想的な３次元空間に、防護エリア３０５死角領域を表示する。これにより、ユーザがクリティカルな死角領域を容易に認識することができる。
　尚、センサ１０として用いる３次元距離センサは、距離情報（３次元情報）を測定し出力するセンサであれば、他の種類のセンサを採用してもよい。ＴＯＦセンサを採用する場合、直接型（ダイレクト型）と間接型（インダイレクト型）のいずれでもよい。また、電波等、光以外を用いるセンサも適用可能である。
　尚、情報処理装置５０は、例えば、プロセッサ、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、プロセッサが当該プログラムを実行することによって実現される。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
　＜付記＞
　〔１〕センサ（１０）によって測定された距離情報を取得する距離情報取得手段（２０１）と、
　前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段（２０２）と、
　前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出する死角算出手段（２０４）と、
　前記防護エリア及び前記死角領域を仮想的な３次元空間に表示する表示手段（２０５）と、
を有することを特徴する情報処理装置（５０）。
　〔２〕センサ（１０）によって測定された距離情報を取得するステップ（Ｓ５０１，Ｓ５０３）と、
　前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するステップ（Ｓ５００）と、
　前記距離情報に基づいて、前記３次元距離センサの死角となる３次元の死角領域を算出するステップ（Ｓ５０５）と、
　前記防護エリア及び前記死角領域を仮想的な３次元空間に表示するステップ（Ｓ５０６）と、
を有することを特徴する情報処理方法。
１０：センサ
３０：制御部
５０：情報処理装置
２０１：センシング部
２０２：防護エリア設定部
２０３：エリア情報取得部
２０４：死角判別部
２０５：３次元空間座標表示部
２０６：警告部
３０１：測定可能領域
３０２：ロボット
３０３：作業台
３０４：棚
３０５：防護エリア
３０６：動線
３０３ａ，３０４ａ，３０６ａ：死角領域

Claims (17)

  1. 　センサによって測定された距離情報を取得する距離情報取得手段と、
    　前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するエリア情報取得手段と、
    　前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出する死角算出手段と、
    　前記防護エリア及び前記死角領域を仮想的な３次元空間に表示する表示手段と、
    を有することを特徴する情報処理装置。
  2. 　前記表示手段は、さらに、前記距離情報に基づく点群を前記仮想的な３次元空間に表示することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記エリア情報取得手段は、前記測定可能領域内に存在する物体の３Ｄモデルを取得し、
    　前記表示手段は、さらに、前記３Ｄモデルを前記仮想的な３次元空間に表示することを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記死角領域の少なくとも一部が前記防護エリア内にある場合に警告を行う警告手段をさらに備えることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記警告手段は、前記防護エリア内における前記死角領域の大きさが閾値以上である場合に危険警告を行うことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記仮想的な３次元空間に表示された前記防護エリアの範囲は、ユーザ操作により変更可能であることを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記測定可能領域内に、作業機械が設置されており、
    　前記死角算出手段は、前記作業機械により生じる死角領域を算出することを特徴とする請求項１～６のうちいずれか１項に記載の情報処理装置。
  8. 　前記作業機械はロボットであって、
    　前記ロボットを動かしながら複数のタイミングで前記センサにより測定した前記距離情報から前記ロボットの動作範囲を認識する認識手段を更に備え、
    　前記死角算出手段は、前記ロボットの動作範囲から前記死角領域を算出し、
    　前記表示手段は、前記動作範囲を前記仮想的な３次元空間に重畳して表示することを特徴とする請求項７に記載の情報処理装置。
  9. 　前記ロボットにより生じる死角領域が前記防護エリア内にある場合、前記死角領域が減少するように前記動作範囲を変更させる指示を前記ロボットに対して送信する指示送信手段を更に備えることを特徴とする請求項８に記載の情報処理装置。
  10. 　前記認識手段は、
    　前記複数のタイミングで前記センサにより測定された前記距離情報の夫々を、前記測定可能領域における各物体の占める範囲を示す物体範囲情報に変換し、
    　前記物体範囲情報から、前記測定可能領域における前記ロボット以外の物体の占める範囲を示す周辺環境情報を除いて、前記測定可能領域における前記ロボットの占める範囲を示す実動作情報を生成し、
    　前記複数のタイミングでの前記実動作情報を重ね合わせて、前記ロボットの動作範囲を算出することを特徴とする請求項９に記載の情報処理装置。
  11. 　前記ロボットを停止させた状態で前記センサにより測定された前記距離情報に基づき、前記周辺環境情報を設定する設定手段を更に有することを特徴とする請求項１０に記載の情報処理装置。
  12. 　前記複数のタイミングで前記センサにより測定された前記距離情報は、実作動中と同じ動作で前記ロボットを動かしながら前記センサにより測定された距離情報であることを特徴とする請求項１０又は１１に記載の情報処理装置。
  13. 　前記死角算出手段は、前記周辺環境情報に基づいてさらに前記死角領域を算出することを特徴とする請求項１０～１２のいずれか１項に記載の情報処理装置。
  14. 　前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、
    　前記表示手段は、前記第２の死角領域を、前記ロボットの動作範囲から算出された死角領域と識別可能な状態で、前記仮想的な３次元空間にさらに重畳して表示することを特徴とする請求項１０～１３のいずれか１項に記載の情報処理装置。
  15. 　前記ロボットの最大可動範囲から、前記センサの死角となりうる第２の死角領域を算出する第２の死角算出手段を更に備え、
    　前記表示手段は、前記ロボットの動作範囲から算出された死角領域と前記第２の死角領域とを切り替えて、前記仮想的な３次元空間に重畳して表示することを特徴とする請求項１０～１３のいずれか１項に記載の情報処理装置。
  16. 　センサによって測定された距離情報を取得するステップと、
    　前記センサの測定可能領域内に設定されている仮想的な３次元の防護エリアの情報を取得するステップと、
    　前記距離情報に基づいて、前記センサの死角となる３次元の死角領域を算出するステップと、
    　前記防護エリア及び前記死角領域を仮想的な３次元空間に表示するステップと、
    を有することを特徴する情報処理方法。
  17. 　請求項１６に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2021/047119 2021-03-12 2021-12-20 情報処理装置および情報処理方法、並びにプログラム WO2022190537A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/548,976 US20240149455A1 (en) 2021-03-12 2021-12-20 Information processing device, information processing method, and program
EP21930382.3A EP4292781A1 (en) 2021-03-12 2021-12-20 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021040409A JP2022139852A (ja) 2021-03-12 2021-03-12 情報処理装置および情報処理方法、並びにプログラム
JP2021-040409 2021-03-12

Publications (1)

Publication Number Publication Date
WO2022190537A1 true WO2022190537A1 (ja) 2022-09-15

Family

ID=83226539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047119 WO2022190537A1 (ja) 2021-03-12 2021-12-20 情報処理装置および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20240149455A1 (ja)
EP (1) EP4292781A1 (ja)
JP (1) JP2022139852A (ja)
WO (1) WO2022190537A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150219A (ja) * 2001-11-12 2003-05-23 Fanuc Ltd 作業機械のシミュレーション装置
JP2014079824A (ja) * 2012-10-15 2014-05-08 Toshiba Corp 作業画面表示方法および作業画面表示装置
JP2020069572A (ja) * 2018-10-31 2020-05-07 ファナック株式会社 ロボットシステム
JP2020075325A (ja) * 2018-11-08 2020-05-21 株式会社Ihi ツールセンターポイントの設定方法及び設定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150219A (ja) * 2001-11-12 2003-05-23 Fanuc Ltd 作業機械のシミュレーション装置
JP2014079824A (ja) * 2012-10-15 2014-05-08 Toshiba Corp 作業画面表示方法および作業画面表示装置
JP2020069572A (ja) * 2018-10-31 2020-05-07 ファナック株式会社 ロボットシステム
JP2020075325A (ja) * 2018-11-08 2020-05-21 株式会社Ihi ツールセンターポイントの設定方法及び設定装置

Also Published As

Publication number Publication date
EP4292781A1 (en) 2023-12-20
JP2022139852A (ja) 2022-09-26
US20240149455A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
JP5059978B2 (ja) 危険提示装置、危険提示システム、危険提示方法およびプログラム
JP2019070909A (ja) 情報処理装置、情報処理方法及びプログラム
WO2011080882A1 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
Vogel et al. A projection-based sensor system for safe physical human-robot collaboration
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
JP2012218120A (ja) マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
JP6863927B2 (ja) ロボットのシミュレーション装置
AU2014312131A1 (en) Proximity detection systems and methods
CN110174706B (zh) 使用了传感器的物体监视装置
CN109116807B (zh) 复合现实模拟装置以及计算机可读介质
JP2019209392A (ja) 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
CN109710077B (zh) 基于vr的虚拟物体碰撞判断方法、装置及机车实训系统
WO2022190537A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP2017016376A (ja) 情報処理装置、情報処理方法、プログラム
JP6375728B2 (ja) 安全制御装置および安全制御システム
JP2020093373A (ja) ロボット干渉判定装置、ロボット干渉判定方法、ロボット制御装置、およびロボット制御システム
JP6885909B2 (ja) ロボット制御装置
US20240123622A1 (en) Information processing device, information processing method, and program
JP2018013839A (ja) 仮想感性評価支援システム
US20210256865A1 (en) Display system, server, display method, and device
WO2022190548A1 (ja) 物体検出システム、制御装置
US20170316618A1 (en) Apparatus and method for presenting structure information about a technical object
KR102489649B1 (ko) 센서를 구비한 크레인 충돌 방지 시스템 및 그 센서 데이터의 분석 방법
JP2020091928A (ja) 情報処理装置、情報処理方法、プログラム
JP2022138192A (ja) 外乱有無判定装置および方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930382

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18548976

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021930382

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021930382

Country of ref document: EP

Effective date: 20230914

NENP Non-entry into the national phase

Ref country code: DE