WO2021261411A1 - ロボット教示方法及びロボット作業方法 - Google Patents

ロボット教示方法及びロボット作業方法 Download PDF

Info

Publication number
WO2021261411A1
WO2021261411A1 PCT/JP2021/023288 JP2021023288W WO2021261411A1 WO 2021261411 A1 WO2021261411 A1 WO 2021261411A1 JP 2021023288 W JP2021023288 W JP 2021023288W WO 2021261411 A1 WO2021261411 A1 WO 2021261411A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
teaching
environment
measuring device
coordinates
Prior art date
Application number
PCT/JP2021/023288
Other languages
English (en)
French (fr)
Inventor
一輝 倉島
仁志 蓮沼
武司 山本
雅臣 飯田
倫瞳 佐野
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to JP2022531953A priority Critical patent/JP7366264B2/ja
Priority to CN202180045162.5A priority patent/CN115916480A/zh
Priority to US18/012,770 priority patent/US20230249341A1/en
Priority to EP21828574.0A priority patent/EP4169676A1/en
Publication of WO2021261411A1 publication Critical patent/WO2021261411A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36401—Record play back, teach position and record it then play back

Definitions

  • the present invention mainly relates to a method of teaching an industrial robot.
  • Patent Document 1 discloses a method of causing an industrial robot to perform work by using a visual servo.
  • the visual servo is a control in which a camera is attached to a robot and the robot is operated so that an image taken by the camera during work matches a pre-registered teaching image. That is, when performing the visual servo, the robot is taught by photographing the work place and the work using the camera.
  • the present invention has been made in view of the above circumstances, and a main object thereof is to provide a robot teaching method for registering useful teaching information by a simple method.
  • the robot teaching method includes a pre-registration step, a robot operation step, and a teaching step.
  • the pre-registration step the relative self-position of the measuring device with respect to the surrounding environment is specified by measuring the surrounding environment using the measuring device, and the self-position is specified using the relative self-position with respect to the surrounding environment.
  • the environmental teaching point which is the teaching point of the robot, is registered.
  • the robot operation step with the measuring device attached to the robot, the relative self-position of the robot with respect to the surrounding environment coincides with the environment teaching point based on the measurement result of the surrounding environment by the measuring device.
  • the robot is automatically operated so as to do so.
  • the teaching step the detected values of the position and posture of the robot detected by the sensor are registered as teaching information in a state where the relative self-position of the robot with respect to the surrounding environment coincides with the environment teaching point. ..
  • the robot can be taught only by the worker specifying the environmental teaching point, so that the robot can be taught by a simple method as compared with the teaching method in which the worker actually operates the robot.
  • the teaching information of the visual servo is an image
  • the teaching information registered in the present invention is a detection value of the sensor, so that the position and posture of the robot can be appropriately grasped.
  • a robot teaching method for registering useful teaching information can be realized by a simple method.
  • Configuration diagram of the robot system Process diagram of robot teaching method. An explanatory diagram of the environmental map creation process. Explanatory drawing of the pre-registration process. Explanatory drawing of robot operation process. Flow chart when working without attaching the measuring device to the robot. A flowchart when the measuring device is attached to the robot and the work is performed. An explanatory diagram showing how a virtual auxiliary image is displayed on an information terminal. An explanatory diagram showing how an AR auxiliary image is displayed on an information terminal.
  • FIG. 1 is a block diagram of the robot system 1.
  • Robot system 1 is located in a facility such as a factory.
  • the robot system 1 is a system for causing the robot 10 to perform work.
  • the robot system 1 includes a robot 10, a control device 20, and a measurement unit 30. Each device is connected to each other via a wired or wireless network.
  • the robot system 1 may be configured to include a plurality of sets of the robot 10 and the control device 20.
  • Robot 10 is an industrial robot.
  • the work performed by the robot 10 is, for example, assembly, welding, painting, cleaning, and the like.
  • the robot 10 is a teaching playback type.
  • the teaching and playback type is a type in which the operation and work of the robot 10 are manually taught in advance by an operator, and the robot 10 is operated so as to repeatedly perform the taught operation and work.
  • the robot 10 may be other than the teaching playback type.
  • the robot 10 includes an arm 11 attached to a pedestal.
  • the arm 11 has a plurality of joints, and each joint is provided with an actuator.
  • the robot 10 changes the position and posture of the arm 11 by operating the actuator in response to an operation command input from the outside.
  • An internal sensor 12 is arranged at each joint.
  • the internal sensor 12 is a sensor that is attached to the robot 10 and detects the position and posture of the robot 10. Specifically, the internal sensor 12 detects the rotation angle or the angular velocity of each joint of the arm 11.
  • the internal sensor 12 is sometimes referred to as an encoder.
  • An end effector 13 according to the work content is attached to the tip of the arm 11. The robot 10 performs work by operating the end effector 13 in response to an operation command input from the outside.
  • the position and orientation (orientation) of the end effector 13 can be specified based on the detection value of the internal sensor 12.
  • the arm 11 is provided with a mounting structure (for example, a mounting hole or the like) for mounting the measuring unit 30.
  • This mounting structure is provided in the vicinity of the end effector 13, in other words, further to the tip side than the joint on the most tip side (end effector 13 side) of the robot 10. In other words, this mounting structure is mounted at a position where it moves and rotates integrally with the end effector 13.
  • the mounting structure of the measurement unit 30 is not limited to the tip of the robot 10, and may be mounted at any position as long as the positional relationship with the tip of the robot 10 (end effector 13) can be specified.
  • the control device 20 is composed of a known computer, and includes an arithmetic unit (CPU or the like) and a storage device (for example, a flash memory or an HDD or the like).
  • the control device 20 functions as various means by reading and executing the program stored in the storage device by the arithmetic unit.
  • the control device 20 operates the robot 10 by creating an operation command for the robot 10 and transmitting it to the robot 10.
  • the operation command of the robot 10 includes a command to operate the actuator arranged in each joint of the arm 11 and a command to operate the end effector 13.
  • the measurement unit 30 is a device mainly used for teaching the robot 10.
  • the measuring unit 30 can be operated by a worker who teaches (hereinafter, simply a worker) by hand, and can be attached to and detached from the robot 10.
  • the measuring unit 30 includes a measuring device 31, a processing device 32, and a pointer 33.
  • the measuring device 31, the processing device 32, and the pointer 33 are fixed to the same housing or the like, and can be handled integrally by the operator. However, when the measuring device 31 and the processing device 32 are capable of wireless communication, the processing device 32 may be provided at a position away from the measuring device 31.
  • the measurement unit 30 of the present embodiment has a stand-alone configuration having the measuring device 31 and the processing device 32 integrally, but may have a configuration in which the processing device 32 is an external device.
  • the measurement unit 30 of the present embodiment is a dedicated product for teaching the robot 10, it may be a general-purpose information processing terminal such as a smartphone.
  • the camera provided on the smartphone corresponds to the measuring device 31
  • the SOC provided on the smartphone corresponds to the processing device 32
  • the pointer (rod-shaped object or laser pointer) attached to the smartphone corresponds to the pointer 33. ..
  • the measuring device 31 measures the position and shape (surrounding environment) of an object around the measuring device 31 and detects the surrounding environment data indicating the surrounding environment.
  • the measuring device 31 detects the ambient environment data at predetermined time intervals.
  • the measuring device 31 of this embodiment is a stereo camera.
  • the stereo camera includes a pair of image pickup devices (for example, a CCD) arranged at appropriate distances from each other. Each image pickup device performs image pickup and acquires an image. By comparing the images acquired by each image sensor, the positions of objects and the like included in the acquired images can be calculated.
  • the measuring device 31 may be LiDAR (Laser Imaging Detecti Cincinnatin and Ringing).
  • LiDAR is a kind of three-dimensional measurement sensor that acquires the position and shape of a surrounding object or the like by irradiating a radio wave and measuring the time until the reflected wave of the radio wave is received.
  • the measuring device 31 is not limited to the stereo camera and LiDAR, but may be a monocular camera or a ToF (Time of Flight) camera.
  • the processing device 32 processes the ambient environment data acquired by the measuring device 31.
  • the processing device 32 includes an arithmetic unit and a storage device as described above.
  • the processing device 32 performs SLAM (Simultaneus Localization and Mapping) processing on the ambient environment data. Since SLAM processing is well known, it will be briefly explained.
  • SLAM processing is well known, it will be briefly explained.
  • the measuring device is used.
  • the changes in the positions and postures of 31 are acquired, and an environmental map is created based on the positions of the feature points.
  • the environmental map is data showing the three-dimensional positions and three-dimensional shapes of equipment, devices, works, etc. arranged around the measuring device 31 (in the present embodiment, the work place where the robot 10 works). ..
  • the processing device 32 may be arranged at a position away from the measurement unit 30 without attaching the processing device 32 to the measurement unit 30.
  • the pointer 33 is a member that facilitates the work of designating the teaching point of the robot 10. Since the pointer 33 has a rod shape, the work of designating the teaching point becomes accurate. Further, since the pointer 33 protrudes forward from the measuring device 31, the work of designating the teaching point can be easily performed.
  • the measurement unit 30 aims to acquire the self-position of the environment map in a state where the pointer 33 points to the teaching point. Therefore, the relative positions of the measuring device 31 and the pointer 33 are fixed.
  • the pointer 33 may be attached to and detached from the measuring unit 30.
  • the rod-shaped pointer 33 is not limited to the configuration indicated by the rod-shaped member, and may be configured to indicate a specific position or direction by irradiating, for example, a laser.
  • FIG. 2 is a process diagram of a robot teaching method.
  • 3 to 5 are explanatory views of each step of the robot teaching method.
  • an environmental map of the workplace is created using the measurement unit 30 (S101, preparation process). Specifically, the operator holds the measurement unit 30 by hand, changes the position and orientation of the measurement unit 30 to detect the ambient environment data of the work place, and the processing device 32 performs SLAM processing on them. , An environmental map of the workplace is created. Further, in order to create an environmental map including the work 40, it is necessary to perform the preparation process with the work 40 arranged at the position at the time of work.
  • the robot 10 may move the measurement unit 30 instead of the operator. Specifically, after the measurement unit 30 is attached to the robot 10, the robot 10 can be operated so as to draw a predetermined trajectory to create an environmental map of the workplace.
  • the environment teaching point is a teaching point of the robot 10 specified by using a self-position relative to the environment around the robot 10 in the workplace (hereinafter referred to as the surrounding environment).
  • the environmental teaching points are described in the coordinate system of the environmental map. That is, in this embodiment, the coordinate values on the environment map are used as an example of "self-position relative to the surrounding environment".
  • the environment teaching point is a concept including not only a three-dimensional position but also an orientation (for example, a rotation angle around three axes).
  • the registration of the environment teaching point is to store the environment teaching point (coordinate value of the environment map) in the storage unit of the measurement unit 30 or the control device 20, for example.
  • the environmental teaching point is specified in the real space.
  • the operator holds the measurement unit 30 by hand and moves the measurement unit 30 to a position to be registered as a teaching point.
  • the operator moves the measuring unit 30 while observing the position and orientation of the pointer 33.
  • the positional relationship between the pointer 33 and the end effector 13 is predetermined. For example, it may be determined that the position of the tip of the pointer 33 corresponds to the position of the tip of the end effector 13, or the position offset by a predetermined distance from the tip of the end effector 13 (for example, 5 cm below) corresponds to the tip of the end effector 13. You may decide that. Then, the operator adjusts the measuring unit 30 to an appropriate position while considering this positional relationship.
  • the self-position on the environment map in that state is acquired.
  • the positional relationship between the pointer 33 and the end effector 13 in the state where the measurement unit 30 is mounted on the robot 10 and the positional relationship between the pointer 33 and the end effector 13 defined above match, they are acquired here.
  • the self-position is registered as an environmental teaching point.
  • the coordinate values calculated by adding the correction value for eliminating the difference to the self-position acquired above are registered as the environment teaching points.
  • the environmental teaching points can be specified by displaying the environmental map.
  • the control device 20 displays an environment map on a predetermined display (a display provided by the control device 20, a display of an information terminal owned by the worker, or the like), and accepts input of an environment teaching point by the worker. .. While checking the environment map, the worker specifies the environment teaching point by, for example, clicking the environment teaching point on the environment map or inputting the coordinate value of the environment coordinates.
  • the environmental teaching points designated in this way are registered. Since the environmental map is created by SLAM processing, the work place and the three-dimensional model of the robot 10 are not indispensable, so that there is a possibility that the labor of the operator can be reduced.
  • the acquired environment map can be edited by the worker. By designating a specific area for the environment map by the worker, the information in that area can be invalidated, or the area can be preferentially used for self-position estimation. A specific area may be specified by installing a marker on the environment map.
  • the self-position with respect to the surrounding environment can be specified, the self-position can be used as the environment teaching point, so that the environment teaching point can be specified without using the environment map.
  • the preparation step can be omitted.
  • the surrounding environment can be measured, so that the self-position with respect to the surrounding environment can be specified.
  • the image acquired by the measuring device 31 until the operator adjusts the measuring unit 30 to the teaching point is stored in the control device 20 or an external server or the like.
  • This type of image may show the intent of what points the worker considered when setting the teaching points. Therefore, the intention of the teaching can be confirmed later by storing the image for at least a certain period after the teaching without deleting the image after the teaching is completed. Since the moving image is an arrangement of images acquired at time intervals, the expression "saving an image" includes saving the moving image.
  • the robot 10 is automatically operated so that the self-position of the measurement unit 30 matches the environmental teaching point (S103, robot operation process). Since the measurement unit 30 is mounted on the robot 10, the self-position of the measurement unit 30 here is included in the self-position of the robot 10 (a point different from the measurement unit 30 may be the position of the robot 10). ..
  • the robot 10 can be automatically operated by the following method. That is, the processing device 32 can calculate the current self-position on the environment map (in other words, can calculate the coordinate value in the environment coordinates). Further, the control device 20 can calculate the current position and posture of the robot 10 based on the detection value of the internal sensor 12 (in other words, the coordinate value in the robot coordinates can be calculated).
  • the environment coordinates and the robot coordinates By changing the position or posture of the robot 10 and acquiring the coordinate values in the environment coordinates and the robot coordinates, a plurality of these correspondences can be acquired.
  • the environment coordinates and the robot coordinates basically have a one-to-one correspondence. From the above, it is possible to create a transformation matrix (transformation data) for transforming the environment coordinates and the robot coordinates based on a plurality of correspondences.
  • the self-position calculated by the measurement unit 30 can be converted into the coordinate values of the robot coordinates, so that the robot 10 can be controlled based on the robot coordinates.
  • a new correspondence may be acquired at a predetermined timing, and the transformation matrix may be updated based on the new correspondence.
  • the value obtained by converting the environment teaching point into the coordinate value of the robot coordinates using the transformation matrix may be used as the target value.
  • the method for automatically operating the robot 10 is not limited to the above, and the robot 10 may be controlled based on, for example, environmental coordinates, or the robot 10 may be controlled using a visual servo.
  • the detection value of the internal sensor 12 of the robot 10 is registered as teaching information in a state where the self-position matches the environment teaching point (S104, teaching step).
  • Registering the teaching information means that the teaching information is stored in the control device 20.
  • the position and posture of the robot 10 may be detected by using a sensor other than the internal sensor (for example, an external sensor that measures the robot 10 from the outside).
  • a sensor other than the internal sensor for example, an external sensor that measures the robot 10 from the outside.
  • the detection value regarding the position and posture of the robot 10 detected by the external sensor becomes the teaching information.
  • the robot 10 is automatically operated in the robot operation process by registering the environment teaching points in advance.
  • the conventional general method it is necessary to move the robot to the teaching point by using an operating device.
  • skill is required to operate the operating device. Therefore, in the present embodiment, the robot can be taught by a simple method as compared with this conventional teaching method.
  • the teaching information registered in this embodiment is the same as the teaching information obtained by this conventional teaching method.
  • the above-mentioned teaching method can be used not only when newly registering teaching information but also in a situation where existing teaching information is updated.
  • the robot 10 can perform the work without mounting the measurement unit 30. However, under certain conditions, it may be preferable to mount the measuring unit 30 for work.
  • the control device 20 compares the coordinate value of the robot coordinates indicated by the teaching information with the coordinate value of the current robot coordinates and calculates the difference (S201 in FIG. 6).
  • the control device 20 determines whether or not the difference is equal to or less than the threshold value (S202).
  • the control device 20 operates the robot 10 so that the difference becomes small (S203).
  • the control device 20 causes the work using the end effector 13 to be executed (S204). After that, the control device 20 moves the robot 10 to a predetermined standby position (S205), and performs the same processing on the new work 40 again.
  • the advantage of performing the work without mounting the measurement unit 30 is that the introduction cost of the robot system 1 is lower than that of using the visual servo. That is, the measurement unit 30 is required at the time of teaching, but the measurement unit 30 is not required at the time of work. Therefore, by teaching the plurality of robots 10 in one measurement unit 30, the required number of measurement units 30 is reduced.
  • the teaching information created at the time of teaching one robot 10 can be diverted to another robot 10.
  • the teaching information registered in the control device 20 that controls the robot 10 that has been taught is registered in the control device 20 that controls another robot 10. This can reduce the time and effort of teaching.
  • the environmental teaching points may be diverted instead of the teaching information.
  • the work of attaching the measurement unit 30 to the robot 10 and automatically operating it is required for each robot, but the work of the operator registering the environmental teaching points using the measurement unit 30 (pre-registration process). ) May be done once.
  • teaching information can be created in consideration of individual differences for each robot 10.
  • FIG. 7 describes a process when the measurement unit 30 is attached and the work is performed.
  • the processing other than step S210 is the same as the case where the work is performed without mounting the measuring unit 30 (that is, the processing of S201 to S205 is a common processing regardless of mounting of the measuring unit 30).
  • the position of the work 40 can be detected. Therefore, for example, even if the position of the work 40 is slightly deviated from the predetermined position, appropriate work can be performed.
  • control device 20 adjusts the position and posture of the robot so that the position and orientation of the end effector 13 with respect to the work 40 become appropriate after the difference is determined to be equal to or less than the threshold value (that is, after step S202). (S210).
  • the relative position of the work 40 with respect to the self position in the state where the self position coincides with the environmental teaching point is additionally registered in advance.
  • the relative position of the work 40 indicates an appropriate positional relationship between the robot 10 (end effector 13) and the work 40.
  • the relative position of the work 40 with respect to the current self-position is specified based on the measurement result of the measuring device 31.
  • the relative position of the current work 40 and the relative position of the work 40 registered in advance are compared to obtain a difference, and the robot 10 is operated so that the difference becomes small. As a result, even if the position of the work 40 is slightly deviated from the predetermined position, appropriate work can be performed. If the pointer 33 is removable, the pointer 33 may be removed during work.
  • the virtual auxiliary image is an image in which the robot 10 corresponding to the current position and orientation of the measurement unit 30 is arranged in the virtual space.
  • the operator can easily confirm whether or not the robot 10 is interfering with other objects in the workplace. It is also possible to confirm whether or not the position and orientation instructed by the operator are feasible (whether or not the robot 10 can take a designated posture).
  • the virtual auxiliary image is an image showing not only a specific posture of the robot 10 but also a range of postures that the robot 10 can take, in other words, a feasible angle or position of the robot 10 (particularly the hand of the robot 10). It may be.
  • the virtual auxiliary image is displayed on the display (output device) of the information terminal 51 (mobile terminal) that the worker can hold. For example, if there is another display in the work place, A virtual auxiliary image may be displayed on the display. Further, the virtual auxiliary image may be output not only to the display but also to various devices capable of outputting the image (for example, a projector or a head-mounted display).
  • the information terminal 51 performs a process of creating a virtual auxiliary image, but another device may create a virtual auxiliary image and transmit it to the information terminal 51.
  • a work place (particularly the work 40) and a three-dimensional model (three-dimensional CG data) of the robot 10 are prepared in advance and arranged in the virtual space.
  • the position of the robot 10 at this point is a tentatively determined position.
  • a program for outputting the rotation angle of each joint for realizing the input state is provided. It shall have.
  • the measurement unit 30 calculates its own position on the environmental map and outputs it to the information terminal 51.
  • the information terminal 51 acquires the correspondence between the position of each part of the work place included in the environment map and the position of each part of the work place included in the virtual space.
  • the information terminal 51 creates conversion data for converting the environment coordinates into the coordinates of the virtual space based on these correspondences.
  • the information terminal 51 identifies the position and orientation of the measurement unit 30 in the virtual space by converting the self-position on the environment map with this conversion data, thereby specifying the position and orientation of the end effector 13 in the virtual space. do.
  • the information terminal 51 acquires the rotation angle of each joint of the robot 10 by applying the above program to the position and orientation of the specified end effector 13. If the robot 10 cannot take the designated posture, the information terminal 51 displays to that effect on the display. When the robot 10 can take a designated posture, the information terminal 51 draws the state in the virtual space. As a result, the virtual auxiliary image is created. Note that this creation method is an example, and another method (for example, a method of creating conversion data using a three-dimensional marker) can also be used.
  • AR is Augmented Reality.
  • the AR auxiliary image is an image in which the robot 10 (particularly the end effector 13) corresponding to the current position and orientation of the measurement unit 30 is superimposed on the image taken by the camera of the information terminal 51.
  • the operator can register the environment teaching points while intuitively grasping the position and orientation of the end effector 13. Further, the modification shown in the virtual auxiliary image can also be applied to the AR auxiliary image.
  • the method of creating an AR auxiliary image will be explained below. It should be noted that a method of superimposing and displaying another image on a camera is known, and there are various creation methods. The following is an example, and another production method can be used.
  • a method of superimposing and displaying another image on a camera is known, and there are various creation methods. The following is an example, and another production method can be used.
  • an AR marker 53 is placed in the workplace. The position where the AR marker 53 is arranged (coordinates in the real space) and the size of the AR marker 53 are registered in advance.
  • the information terminal 51 identifies the direction in which the AR marker 53 is present based on the position where the AR marker 53 is displayed, and the direction in which the AR marker 53 is displayed.
  • the orientation of the AR marker 53 is specified based on the image, and the distance to the AR marker 53 is specified based on the size of the AR marker 53 on the image.
  • the position and orientation of the AR marker 53 in the workplace are predetermined.
  • the position and posture of the robot 10 in the workplace can be specified based on the self-position on the environmental map. As described above, the position, orientation, and size of the robot 10 when the robot 10 is superimposed on the image taken by the camera of the information terminal 51 can be specified, so that an AR auxiliary image can be created.
  • the robot teaching method of the present embodiment includes a pre-registration step, a robot operation step, and a teaching step.
  • the pre-registration step the robot 10 is specified by measuring the surrounding environment using the measuring device 31 to specify the relative self-position of the measuring device 31 with respect to the surrounding environment, and using the self-position relative to the surrounding environment. Register the environmental teaching points that are the teaching points of.
  • the relative self-position of the robot 10 with respect to the surrounding environment matches the environment teaching point based on the measurement result of the surrounding environment by the measuring device 31.
  • the robot 10 is automatically operated.
  • the teaching step the detected values of the position and posture of the robot 10 detected by the internal sensor 12 are registered as teaching information in a state where the relative self-position of the robot 10 with respect to the surrounding environment matches the environment teaching point. ..
  • the robot 10 can be taught only by the worker performing the work of designating the environment teaching point, so that the robot 10 can be taught by a simple method as compared with the teaching method in which the worker actually operates the robot 10. .
  • the teaching information of the visual servo is an image
  • the teaching information registered in the present embodiment is a detection value of the sensor, so that the position and posture of the robot 10 can be appropriately grasped.
  • the environmental teaching point is based on the self-position when the operator holds the measuring device 31 and moves the measuring device 31 to the teaching point of the robot 10 in the real space. To register.
  • the operator can register the environmental teaching point by a simple operation of moving the measuring device 31 to the teaching point.
  • the measuring device 31 is a stereo camera, and even after the teaching process is completed, the image taken in the pre-registration process is continuously stored as an image showing the teaching intention of the operator.
  • a preparatory step for creating an environmental map of the surrounding environment is performed before the pre-registration step by measuring the surrounding environment using the measuring device 31 and performing SLAM processing.
  • the environmental map is displayed, the input of the environmental teaching points by the worker is accepted, and the environmental teaching points are registered based on the input contents of the worker.
  • the robot teaching method of the present embodiment in the robot operation process, there are a plurality of correspondences between the environmental coordinates which are the coordinates of the environment map of the surrounding environment and the robot coordinates which are the coordinates of the robot 10 based on the detection value of the internal sensor 12. Get the relationship.
  • conversion data for converting environment coordinates to robot coordinates is created based on a plurality of correspondences.
  • the current coordinate value in the robot coordinates is calculated by converting the self-position on the environment map obtained by performing SLAM processing on the measurement result of the measuring device 31 using the conversion data.
  • the robot 10 is controlled based on the current coordinate values in the robot coordinates so that the self-position on the environment map matches the environment teaching point.
  • the robot 10 can be controlled based on the robot coordinates, so that the robot 10 can be operated to the teaching point with a rational operation.
  • the conversion data is created, the correspondence between the environment coordinates and the robot coordinates is acquired again, and the conversion data is updated based on the correspondence.
  • the accuracy of the converted data can be improved, so that the robot 10 can be operated using more accurate robot coordinates.
  • the sensor for detecting the position and posture of the robot 10 used in the teaching process is the internal sensor 12 of the robot 10.
  • the detection value of the internal sensor 12 is the value itself indicating the position and posture of the robot 10, it is possible to appropriately grasp in which direction the position and posture of the robot 10 should be operated during work.
  • the robot 10 is a teaching playback type.
  • the present invention can be applied to a general industrial robot.
  • a virtual auxiliary image which is an image in which the robot 10 corresponding to the position and orientation of the current measuring device 31 is arranged in the workplace on the virtual space, is output using the output device. Output.
  • an AR auxiliary image which is an image in which the robot 10 corresponding to the position and orientation of the current measuring device 31 is superimposed on the image taken by the camera of the information terminal 51 is displayed. It is displayed on the display of the information terminal 51.
  • the robot 10 performs the work without attaching the measuring device 31.
  • the work is performed with the robot 10 attached to the measuring device 31.
  • the control device 20 performs a process of adjusting the position and posture of the robot 10 with respect to the work 40 which is the work target.
  • Robot system 10 Robot 20 Control device 30 Measuring unit 31 Measuring device 32 Processing device 33 Pointer

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

ロボット教示方法は、事前登録工程と、ロボット動作工程と、教示工程と、を含む。事前登録工程では、計測装置（３１）を用いて周囲環境を計測することにより周囲環境に対する計測装置（３１）の相対的な自己位置を特定し、周囲環境に対する相対的な自己位置を用いて特定されたロボット（１０）の教示点である環境教示点を登録する。ロボット動作工程では、計測装置（３１）をロボット（１０）に装着した状態で、計測装置（３１）による周囲環境の計測結果に基づいて、周囲環境に対するロボット（１０）の相対的な自己位置が環境教示点に一致するようにロボット（１０）を自動動作させる。教示工程では、周囲環境に対するロボット（１０）の相対的な自己位置が環境教示点に一致した状態において、内界センサ（１２）を用いて検出されたロボット（１０）の位置及び姿勢の検出値を教示情報として登録する。

Description

ロボット教示方法及びロボット作業方法
　本発明は、主として、産業用のロボットを教示する方法に関する。
　産業用のロボットを教示する方法としては、操作装置を用いてロボットを教示点まで実際に動作させた後に、ロボットの位置及び姿勢に関するデータ（内界センサの検出値）を登録する方法が知られている。
　また、特許文献１は、ビジュアルサーボを用いて産業用のロボットに作業を行わせる方法を開示する。ビジュアルサーボとは、ロボットにカメラを装着して、作業中にカメラが撮影した画像が予め登録された教示画像に一致するようにロボットを動作させる制御である。つまり、ビジュアルサーボを行う場合は、カメラを用いて作業場及びワークを撮影することで、ロボットの教示が行われる。
特開２０１３－１５８８４７号公報
　ここで、ロボットを実際に動作させて教示する方法では、操作装置を用いてロボットを操作する必要があるので、熟練が必要になる。また、ビジュアルサーボを用いる場合は、作業時にロボットをどのように動作させれば教示画像に近づくかを簡単に特定できない。
　本発明は以上の事情に鑑みてされたものであり、その主要な目的は、簡単な方法で有用な教示情報を登録するロボット教示方法を提供することにある。
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
　本発明の観点によれば、産業用のロボットを教示する以下のロボット教示方法が提供される。ロボット教示方法は、事前登録工程と、ロボット動作工程と、教示工程と、を含む。前記事前登録工程では、計測装置を用いて周囲環境を計測することにより前記周囲環境に対する前記計測装置の相対的な自己位置を特定し、前記周囲環境に対する相対的な自己位置を用いて特定された前記ロボットの教示点である環境教示点を登録する。前記ロボット動作工程では、前記計測装置を前記ロボットに装着した状態で、前記計測装置による周囲環境の計測結果に基づいて、前記周囲環境に対する前記ロボットの相対的な自己位置が前記環境教示点に一致するように前記ロボットを自動動作させる。前記教示工程では、前記周囲環境に対する前記ロボットの相対的な自己位置が前記環境教示点に一致した状態において、センサを用いて検出された前記ロボットの位置及び姿勢の検出値を教示情報として登録する。
　これにより、作業者が環境教示点を指定する作業を行うだけでロボットを教示できるので、作業者がロボットを実際に動作させる教示方法と比較して、簡単な方法でロボットを教示できる。また、ビジュアルサーボの教示情報は画像であるのに対し、本発明で登録される教示情報はセンサの検出値であるため、ロボットの位置及び姿勢を適切に把握できる。
　本発明によれば、簡単な方法で有用な教示情報を登録するロボット教示方法を実現できる。
ロボットシステムの構成図。 ロボット教示方法の工程図。 環境地図作成工程の説明図。 事前登録工程の説明図。 ロボット動作工程の説明図。 計測装置をロボットに装着せずに作業を行う際のフローチャート。 計測装置をロボットに装着して作業を行う際のフローチャート。 情報端末に仮想補助画像を表示する様子を示す説明図。 情報端末にＡＲ補助画像を表示する様子を示す説明図。
　次に、図面を参照して本発明の実施形態を説明する。初めに、図１を参照して、本実施形態のロボットシステム１について説明する。図１は、ロボットシステム１の構成図である。
　ロボットシステム１は、工場等の施設に配置されている。ロボットシステム１は、ロボット１０に作業を行わせるためのシステムである。図１に示すように、ロボットシステム１は、ロボット１０と、制御装置２０と、計測ユニット３０と、を備える。それぞれの装置は、有線又は無線のネットワークを介して互いに接続されている。図１には、ロボット１０と制御装置２０が１組しか記載されていないが、ロボットシステム１が複数組のロボット１０と制御装置２０を備える構成であってもよい。
　ロボット１０は、産業用ロボットである。ロボット１０が行う作業は、例えば、組立て、溶接、塗装、洗浄等である。ロボット１０は、ティーチングプレイバック型である。ティーチングアンドプレイバック型とは、作業者によってロボット１０の動作及び作業が手動等で予め教示されており、教示された動作及び作業をロボット１０が繰り返し行うように運用されるタイプである。なお、ロボット１０は、ティーチングプレイバック型以外であってもよい。
　ロボット１０は、台座に取り付けられたアーム１１を備える。アーム１１は、複数の関節を有しており、各関節にはアクチュエータが備えられている。ロボット１０は、外部から入力された動作指令に応じてアクチュエータを動作させることでアーム１１の位置及び姿勢を変化させる。それぞれの関節には、内界センサ１２が配置されている。内界センサ１２は、ロボット１０に取り付けられているとともに、ロボット１０の位置及び姿勢を検出するセンサである。具体的には、内界センサ１２は、アーム１１の各関節の回転角度又は角速度を検出する。内界センサ１２は、エンコーダと称されることもある。アーム１１の先端には、作業内容に応じたエンドエフェクタ１３が取り付けられている。ロボット１０は、外部から入力された動作指令に応じてエンドエフェクタ１３を動作させることで作業を行う。なお、内界センサ１２の検出値に基づいて、エンドエフェクタ１３の位置及び向き（向き）を特定できる。また、アーム１１には、計測ユニット３０を取り付けるための取付構造（例えば取付孔等）が設けられている。この取付構造は、エンドエフェクタ１３の近傍、言い換えればロボット１０の最も先端側（エンドエフェクタ１３側）の関節よりも更に先端側に設けられている。言い換えれば、この取付構造は、エンドエフェクタ１３と一体的に移動及び回転する位置に取り付けられている。なお、計測ユニット３０の取付構造は、ロボット１０の先端に限られず、ロボット１０の先端（エンドエフェクタ１３）との位置関係が特定できるのであれば、あらゆる位置に取り付けられていてもよい。
　制御装置２０は、公知のコンピュータにより構成されており、演算装置（ＣＰＵ等）と記憶装置（例えばフラッシュメモリ又はＨＤＤ等）を備える。記憶装置に記憶されたプログラムを演算装置が読み出して実行することで、制御装置２０は様々な手段として機能する。例えば、制御装置２０は、ロボット１０の動作指令を作成してロボット１０に送信することで、ロボット１０を動作させる。ロボット１０の動作指令には、アーム１１の各関節に配置されたアクチュエータを動作させる指令と、エンドエフェクタ１３を動作させる指令と、が含まれる。
　計測ユニット３０は、主としてロボット１０の教示に用いる装置である。計測ユニット３０は、教示を行う作業者（以下、単に作業者）が手で持って操作可能であるとともに、ロボット１０に着脱可能である。計測ユニット３０は、計測装置３１と、処理装置３２と、ポインタ３３と、を備える。計測装置３１、処理装置３２、及びポインタ３３は同一のハウジング等に固定されており、作業者が一体的に取り扱うことができる。ただし、計測装置３１と処理装置３２が無線通信可能である場合、計測装置３１から離れた位置に処理装置３２を設けてもよい。つまり、本実施形態の計測ユニット３０は、計測装置３１と処理装置３２を一体的に有するスタンドアロン構成であるが、処理装置３２を外部の装置とした構成であってもよい。また、本実施形態の計測ユニット３０は、ロボット１０の教示を行うための専用品であるが、スマートフォン等のような汎用の情報処理端末であってもよい。この場合、スマートフォンに設けられたカメラが計測装置３１に相当し、スマートフォンに設けられたＳＯＣが処理装置３２に相当し、スマートフォンに取り付けたポインタ（棒状の物体又はレーザポインタ）がポインタ３３に相当する。
　計測装置３１は、計測装置３１の周囲にある物体の位置及び形状（周囲環境）を計測して、周囲環境を示す周囲環境データを検出する。計測装置３１は、所定の時間間隔で周囲環境データを検出する。本実施形態の計測装置３１は、ステレオカメラである。ステレオカメラは、互いに適宜の距離だけ離して配置された１対の撮像素子（例えばＣＣＤ）を備える。それぞれの撮像素子は、撮像を行って画像を取得する。それぞれの撮像素子で取得された画像を比較することで、取得した画像に含まれる物体等の位置を算出できる。また、計測装置３１は、ＬｉＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉоｎ　ａｎｄ　Ｒａｎｇｉｎｇ）であってもよい。ＬｉＤＡＲは、電波を照射するとともに、当該電波の反射波を受信するまでの時間を計測することで、周囲の物体等の位置及び形状を取得する３次元計測センサの一種である。なお、計測装置３１は、ステレオカメラ及びＬｉＤＡＲに限られず、単眼カメラ又はＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラであってもよい。
　処理装置３２は、計測装置３１が取得した周囲環境データを処理する。処理装置３２は上述のような演算装置と記憶装置を備える。処理装置３２は、周囲環境データにＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）処理を行う。ＳＬＡＭ処理は周知であるので簡単に説明すると、計測装置３１が取得した周囲環境データから特徴点を抽出し、複数の周囲環境データの間での特徴点の移動量を分析することで、計測装置３１の位置及び姿勢の変化を取得するとともに、特徴点の位置に基づいて環境地図を作成する。環境地図とは、計測装置３１の周囲（本実施形態ではロボット１０が作業を行う場所である作業場）に配置された設備、機器、及びワーク等の３次元位置と３次元形状を示すデータである。なお、計測ユニット３０に処理装置３２を取り付けずに、計測ユニット３０から離れた位置に処理装置３２を配置してもよい。
　ポインタ３３は、作業者がロボット１０の教示点を指定する作業を行い易くするための部材である。ポインタ３３は棒状であるため、教示点を指定する作業が正確になる。また、ポインタ３３は計測装置３１よりも前方に突出しているため、教示点を指定する作業を簡単に行うことができる。計測ユニット３０は、ポインタ３３が教示点を指し示している状態における環境地図の自己位置を取得することを目的としている。従って、計測装置３１とポインタ３３は、相対位置が定まっている。なお、ポインタ３３は計測ユニット３０に着脱可能であってもよい。棒状のポインタ３３は、棒状の部材で指し示す構成に限られず、例えばレーザを照射することで特定の位置又は方向を指し示す構成であってもよい。
　次に、図２から図５を参照して、本実施形態のロボット教示方法について説明する。図２は、ロボット教示方法の工程図である。図３から図５は、ロボット教示方法の各工程の説明図である。
　初めに、図３に示すように、計測ユニット３０を用いて作業場の環境地図を作成する（Ｓ１０１、準備工程）。具体的には、作業者が計測ユニット３０を手で持ち、計測ユニット３０の位置及び向きを変化させて作業場の周囲環境データを検出し、それらに対して処理装置３２がＳＬＡＭ処理を行うことにより、作業場の環境地図が作成される。また、ワーク４０を含む環境地図を作成するために、ワーク４０を作業時の位置に配置した状態で準備工程を行う必要がある。なお、作業者に代えてロボット１０が計測ユニット３０を動かしてもよい。具体的には、ロボット１０に計測ユニット３０を装着した後に、予め定められた軌跡を描くようにロボット１０を動作させることで、作業場の環境地図を作成することもできる。
　次に、図４に示すように、環境地図上の環境教示点を登録する（Ｓ１０２、事前登録工程）。環境教示点とは、作業場におけるロボット１０の周囲の環境（以下、周囲環境）に対する相対的な自己位置を用いて特定されたロボット１０の教示点である。本実施形態では、環境教示点は、環境地図の座標系で記述される。つまり、本実施形態では、「周囲環境に対する相対的な自己位置」の一例として、環境地図上の座標値が用いられる。また、環境教示点は、３次元位置だけでなく向き（例えば３軸回りの回転角度）を含む概念である。環境教示点の登録とは、例えば計測ユニット３０又は制御装置２０の記憶部に、環境教示点（環境地図の座標値）を記憶することである。
　本実施形態では、環境教示点を実空間で指定する。具体的には、図４に示すように、作業者は計測ユニット３０を手で持って、教示点として登録したい位置まで計測ユニット３０を移動させる。このとき、作業者は、ポインタ３３の位置及び向きを見ながら、計測ユニット３０を移動させる。ポインタ３３とエンドエフェクタ１３の位置関係は予め定められている。例えば、ポインタ３３の先端の位置とエンドエフェクタ１３の先端の位置が対応すると定めてもよいし、エンドエフェクタ１３の先端から所定距離だけオフセットした位置（例えば５ｃｍ下）がエンドエフェクタ１３の先端に対応すると定めてもよい。そして、作業者は、この位置関係を考慮しながら計測ユニット３０を適切な位置に合わせる。その後、作業者が計測ユニット３０の図略の操作部を操作することで、その状態における環境地図上の自己位置が取得される。ここで、計測ユニット３０をロボット１０に装着した状態のポインタ３３とエンドエフェクタ１３の位置関係と、上記で定めたポインタ３３とエンドエフェクタ１３の位置関係と、が一致する場合は、ここで取得された自己位置が環境教示点として登録される。なお、これらの位置関係が相違する場合は、上記で取得した自己位置に、この相違を解消する補正値を足し合わせることで算出された座標値が環境教示点として登録される。
　また、環境教示点は環境地図を表示して指定することもできる。この場合、制御装置２０は、所定のディスプレイ（制御装置２０が備えるディスプレイ、又は、作業者が所有する情報端末のディスプレイ等）に環境地図を表示して、作業者による環境教示点の入力を受け付ける。作業者は、環境地図を確認しながら、環境地図上で例えば環境教示点をクリックするか、又は、環境座標の座標値を入力すること等により、環境教示点を指定する。このようにして指定された環境教示点が登録される。環境地図はＳＬＡＭ処理により作成されるので、作業場及びロボット１０の３次元モデルが必須では無いため、作業者の手間を削減できる可能性がある。また、取得した環境地図は作業者が編集することができる。環境地図に対して特定の領域を作業者が指定することでその領域内の情報を無効にしたり、その領域を自己位置の推定に優先的に使用させることができる。なお、環境地図上にマーカを設置することで、特定領域を指定してもよい。
　また、環境地図の作成は必須ではない。つまり、周囲環境に対する自己位置が特定できれば当該自己位置を環境教示点として用いることができるため、環境地図を用いることなく環境教示点を指定することができる。この場合、準備工程を省略することもできる。具体的には、本実施形態の計測装置３１を用いることで、周囲環境を計測できるため、周囲環境に対する自己位置を特定できる。なお、自己位置を特定する精度を高くするために、周囲に配置された物体に関する情報を予め登録しておいたり、周囲にマーカ等を配置しておくことが更に好ましい。
　また、本実施形態では、作業者が計測ユニット３０を教示点に合わせるまでに計測装置３１が取得した画像は、制御装置２０又は外部サーバ等に記憶される。この種の画像には、作業者がどのような点を考慮して教示点を定めたかという意図が表れていることがある。従って、教示が完了した後にこの画像を削除せずに、教示後少なくとも一定期間は保存しておくことで、後から教示の意図を確認できる。なお、動画は時間間隔で取得した画像を並べたものであるため、「画像の保存」等という表現には、動画を保存等することも含まれる。
　次に、計測ユニット３０をロボット１０に装着させた状態で、計測ユニット３０の自己位置が環境教示点に一致するようにロボット１０を自動動作させる（Ｓ１０３、ロボット動作工程）。なお、計測ユニット３０はロボット１０に装着されているので、ここでの計測ユニット３０の自己位置はロボット１０の自己位置に含まれる（計測ユニット３０とは異なる点をロボット１０の位置としてもよい）。また、以下の方法でロボット１０を自動動作させることができる。即ち、処理装置３２は、環境地図での現在の自己位置を算出できる（言い換えれば、環境座標での座標値を算出できる）。また、制御装置２０は、内界センサ１２の検出値に基づいて、現在のロボット１０の位置及び姿勢を算出できる（言い換えれば、ロボット座標での座標値を算出できる）。従って、環境座標での座標値と、ロボット座標での座標値と、の対応関係を取得できる。ロボット１０の位置又は姿勢を変化させて環境座標とロボット座標での座標値を取得することにより、この対応関係を複数取得できる。また、環境座標とロボット座標は基本的には一対一に対応する。以上により、複数の対応関係に基づいて、環境座標とロボット座標を変換するための変換行列（変換データ）を作成できる。
　これにより、例えば計測ユニット３０が算出した自己位置をロボット座標の座標値に変換できるので、ロボット座標ベースでロボット１０を制御できる。また、変換行列の精度を向上させるために、所定のタイミングで新たな対応関係を取得し、新たな対応関係に基づいて変換行列を更新してもよい。また、環境教示点を変換行列を用いてロボット座標の座標値に変換した値を目標値として用いてもよい。なお、ロボット１０を自動動作させる方法は上記に限られず、例えば環境座標ベースでロボット１０を制御してもよいし、ビジュアルサーボを用いてロボット１０を制御してもよい。
　次に、自己位置が環境教示点に一致した状態においてロボット１０の内界センサ１２の検出値を教示情報として登録する（Ｓ１０４、教示工程）。教示情報が登録されるとは、教示情報が制御装置２０に記憶されることである。
　なお、本実施形態ではロボット１０の位置及び姿勢は、内界センサ以外のセンサ（例えば、ロボット１０を外部から計測する外部センサ）を用いて検出してもよい。外部センサを用いる場合、外部センサが検出したロボット１０の位置及び姿勢に関する検出値が教示情報となる。なお、外部センサを用いる場合は、外部センサが検出したロボット１０の位置及び姿勢に関する検出値（あるいは目標の検出値と現在の検出値の差分）を、制御装置２０がロボット１０へ出力する動作指令に変換するための情報を登録しておくことが好ましい。
　本実施形態の教示方法では、予め環境教示点を登録することにより、ロボット動作工程においてロボット１０を自動動作する。これに対し、従来の一般的な方法では、操作装置を用いてロボットを教示点まで移動させる必要がある。また、操作装置の操作には熟練が必要となる。従って、本実施形態では、この従来の教示方法と比較して、簡単な方法でロボットを教示できる。なお、本実施形態で登録される教示情報は、この従来の教示方法で得られる教示情報と同じである。
　上述した教示方法は、教示情報を新たに登録する場合に限られず、既存の教示情報を更新する状況においても活用できる。
　次に、上記の方法で登録された教示情報を用いてロボット１０に作業を行わせる方法について図６及び図７を参照して簡単に説明する。
　ロボット１０の教示情報は内界センサ１２の検出値であるため、ロボット１０は、計測ユニット３０を装着せずに作業を行うことができる。ただし、一定条件下では、計測ユニット３０を装着して作業を行うことが好ましい場合もある。
　初めに、計測ユニット３０を装着せずに作業を行う場合に制御装置２０が行う処理について説明する。制御装置２０は、教示情報が示すロボット座標の座標値と、現在のロボット座標の座標値と、を比較して差分を算出する（図６のＳ２０１）。制御装置２０は、差分が閾値以下か否かを判定する（Ｓ２０２）。制御装置２０は、差分が閾値以下でない場合、この差分が小さくなるようにロボット１０を動作させる（Ｓ２０３）。制御装置２０は、差分が閾値以下である場合、エンドエフェクタ１３を用いた作業を実行させる（Ｓ２０４）。その後、制御装置２０は、ロボット１０を所定の待機位置まで移動させ（Ｓ２０５）、新たなワーク４０に対して再び同じ処理を行う。
　計測ユニット３０を装着せずに作業を行うことの利点は、ビジュアルサーボを用いる場合と比較して、ロボットシステム１の導入コストが低いことである。つまり、教示時には計測ユニット３０が必要であるが、作業時には計測ユニット３０は不要である。そのため、複数のロボット１０の教示を１つの計測ユニット３０で行うことにより、計測ユニット３０の必要数が少なくなるからである。
　また、同種のロボット１０を複数台導入して、それぞれのロボット１０に同じ作業を行わせる場合、１台のロボット１０の教示時に作成した教示情報を、別のロボット１０に流用することもできる。具体的には、教示を行ったロボット１０を制御する制御装置２０に登録された教示情報を、別のロボット１０を制御する制御装置２０に登録する。これにより、教示の手間を削減できる。また、教示情報ではなく、環境教示点を流用してもよい。この場合、ロボット１０に計測ユニット３０を取り付けて自動動作させる作業（ロボット動作工程）はロボット毎に必要となるが、作業者が計測ユニット３０を用いて環境教示点を登録する作業（事前登録工程）は１回でよい。この方法により、ロボット１０毎の個体差を考慮した教示情報を作成できる。
　次に、計測ユニット３０を装着して作業を行う場合に制御装置２０が行う処理について説明する。図７には、計測ユニット３０を装着して作業を行う際の処理が記載されている。なお、ステップＳ２１０以外の処理は、計測ユニット３０を装着せずに作業を行う場合と同じである（つまり、Ｓ２０１～Ｓ２０５の処理は、計測ユニット３０の装着に関係なく共通の処理である）。計測ユニット３０を装着することにより、ワーク４０の位置を検出できる。そのため、例えばワーク４０の位置が既定位置から少しズレていた場合においても、適切な作業を行うことができる。具体的には、制御装置２０は、差分が閾値以下と判定された後に（即ちステップＳ２０２の後に）、ワーク４０に対するエンドエフェクタ１３の位置及び向きが適切になるようにロボットの位置及び姿勢を調整する（Ｓ２１０）。
　具体的には、事前に教示工程時（Ｓ１０４）において、自己位置が環境教示点に一致している状態における自己位置に対するワーク４０の相対位置を追加で登録しておく。ワーク４０の相対位置は、ロボット１０（エンドエフェクタ１３）とワーク４０の適切な位置関係を示すものである。そして、ステップＳ２１０では、計測装置３１の計測結果に基づいて、現在の自己位置に対するワーク４０の相対位置を特定する。次に、現在のワーク４０の相対位置と、予め登録したワーク４０の相対位置と、を比較して差分を求め、この差分が小さくなるようにロボット１０を動作させる。これにより、ワーク４０の位置が既定位置から少しズレていた場合においても、適切な作業を行うことができる。なお、ポインタ３３が着脱可能である場合、作業時にはポインタ３３を外してもよい。
　次に、本実施形態の応用例について説明する。初めに、図８を参照して、事前登録工程時に仮想補助画像を情報端末５１に表示する応用例について説明する。
　仮想補助画像とは、現在の計測ユニット３０の位置及び向きに対応するロボット１０が仮想空間上に配置された画像である。作業者は、仮想補助画像を見ることで、ロボット１０が作業場の他の物体と干渉しているか否かを簡単に確認できる。また、作業者が指示した位置及び向きが実現可能か否か（ロボット１０が指定された姿勢をとることが可能か否か）についても確認できる。また、仮想補助画像は、ロボット１０の特定の姿勢だけでなく、ロボット１０が取ることが可能な姿勢の範囲、言い換えればロボット１０（特にロボット１０のハンド）の実現可能な角度又は位置を示す画像であってもよい。
　なお、本実施形態では、作業者が手に持つことが可能な情報端末５１（携帯端末）のディスプレイ（出力装置）に仮想補助画像が表示されるが、例えば作業場に別のディスプレイがあれば、そのディスプレイに仮想補助画像を表示してもよい。また、ディスプレイに限られず、画像を出力可能な様々な機器（例えば、プロジェクタ又はヘッドマウントディスプレイ等）に仮想補助画像を出力してもよい。本実施形態では、情報端末５１が仮想補助画像を作成する処理を行うが、別の装置が仮想補助画像を作成して情報端末５１に送信してもよい。
　以下、仮想補助画像の作成方法の一例を説明する。仮想補助画像を作成するために、事前に、作業場（特にワーク４０）とロボット１０の３次元モデル（３次元ＣＧデータ）を準備して仮想空間に配置する。この時点でのロボット１０の位置は、仮決めされた位置である。また、情報端末５１には、エンドエフェクタ１３の位置及び向きと、ロボット１０の設置位置と、が入力されると、その入力された状態を実現するための各関節の回転角度を出力するプログラムを有しているものとする。
　事前登録工程時において、計測ユニット３０は、環境地図上の自己位置を算出して情報端末５１に出力する。情報端末５１は、環境地図に含まれる作業場の各箇所の位置と、仮想空間に含まれる作業場の各箇所の位置と、の対応関係を取得する。情報端末５１は、これらの対応関係に基づいて、環境座標を仮想空間の座標に変換する変換データを作成する。情報端末５１は、環境地図上の自己位置をこの変換データで変換することにより、仮想空間における計測ユニット３０の位置及び姿勢を特定し、これにより、仮想空間におけるエンドエフェクタ１３の位置及び向きを特定する。そして、情報端末５１は、特定したエンドエフェクタ１３の位置及び向きに上記のプログラムを適用することにより、ロボット１０の各関節の回転角度を取得する。なお、情報端末５１は、ロボット１０が指定された姿勢をとることができない場合は、その旨をディスプレイに表示する。情報端末５１は、ロボット１０が指定された姿勢をとることができる場合、その状態を仮想空間上に描画する。以上により、仮想補助画像が作成される。なお、この作成方法は一例であり、別の方法（例えば３次元マーカを用いて変換データを作成する方法）を用いることもできる。
　次に、図９を参照して、ＡＲ補助画像を情報端末５１に表示する応用例について説明する。ＡＲとは拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のことである。
　ＡＲ補助画像とは、情報端末５１のカメラで撮影した画像上に、現在の計測ユニット３０の位置及び向きに対応するロボット１０（特にエンドエフェクタ１３）を重ねた画像である。作業者は、ＡＲ補助画像を見ることで、エンドエフェクタ１３の位置及び向きを直感的に把握しながら環境教示点の登録を行うことができる。また、仮想補助画像において示した変形例は、ＡＲ補助画像にも適用可能である。
　以下、ＡＲ補助画像の作成方法を説明する。なお、カメラ上に別の画像を重畳して表示する方法は公知であり、様々な作成方法がある。以下で示すのは、その一例であり、別の作成方法を用いることもできる。ＡＲ補助画像を作成するためには、カメラで撮影した画像にロボット１０を重ねる場合に、ロボット１０の位置、姿勢、大きさをどのように描画するかを特定する必要がある。それらを特定するために、作業場にＡＲマーカ５３を配置する。ＡＲマーカ５３が配置される位置（実空間の座標）及びＡＲマーカ５３の大きさは予め登録されている。情報端末５１は、カメラで撮影した画像にＡＲマーカ５３が含まれる場合、ＡＲマーカ５３が表示される位置に基づいてＡＲマーカ５３が存在する方向を特定し、ＡＲマーカ５３が表示される向きに基づいてＡＲマーカ５３の向きを特定し、ＡＲマーカ５３の画像上のサイズに基づいてＡＲマーカ５３までの距離を特定する。また、上述したように、作業場におけるＡＲマーカ５３の位置及び向きは予め定められている。また、作業場におけるロボット１０の位置及び姿勢は環境地図上の自己位置に基づいて特定できる。以上により、情報端末５１のカメラで撮影した画像上にロボット１０を重畳する場合における、ロボット１０の位置、向き、及び大きさを特定できるので、ＡＲ補助画像を作成できる。
　以上に説明したように、本実施形態のロボット教示方法は、事前登録工程と、ロボット動作工程と、教示工程と、を含む。事前登録工程では、計測装置３１を用いて周囲環境を計測することにより周囲環境に対する計測装置３１の相対的な自己位置を特定し、周囲環境に対する相対的な自己位置を用いて特定されたロボット１０の教示点である環境教示点を登録する。ロボット動作工程では、計測装置３１をロボット１０に装着した状態で、計測装置３１による周囲環境の計測結果に基づいて、周囲環境に対するロボット１０の相対的な自己位置が環境教示点に一致するようにロボット１０を自動動作させる。教示工程では、周囲環境に対するロボット１０の相対的な自己位置が環境教示点に一致した状態において、内界センサ１２を用いて検出されたロボット１０の位置及び姿勢の検出値を教示情報として登録する。
　これにより、作業者が環境教示点を指定する作業を行うだけでロボット１０を教示できるので、作業者がロボット１０を実際に動作させる教示方法と比較して、簡単な方法でロボット１０を教示できる。また、ビジュアルサーボの教示情報は画像であるのに対し、本実施形態で登録される教示情報はセンサの検出値であるため、ロボット１０の位置及び姿勢を適切に把握できる。
　本実施形態のロボット教示方法において、事前登録工程では、作業者が計測装置３１を持って、計測装置３１を実空間におけるロボット１０の教示点に移動させたときの自己位置に基づいて環境教示点を登録する。
　これにより、作業者は計測装置３１を教示点に移動させるだけの簡単な作業で、環境教示点の登録を行うことができる。
　本実施形態のロボット教示方法において、計測装置３１はステレオカメラであり、教示工程が終了した後においても、事前登録工程で撮影された画像を作業者の教示意図を示す画像として保存し続ける。
　これにより、作業者の教示意図を確認できる。
　本実施形態のロボット教示方法では、計測装置３１を用いて周囲環境を計測してＳＬＡＭ処理を行うことにより当該周囲環境の環境地図を作成する準備工程を事前登録工程の前に行う。事前登録工程では、環境地図を表示するとともに作業者による環境教示点の入力を受付け、作業者の入力内容に基づいて、環境教示点を登録する。
　これにより、環境地図上で環境教示点を指定するだけの簡単な作業で、環境教示点の登録を行うことができる。
　本実施形態のロボット教示方法において、ロボット動作工程では、周囲環境の環境地図の座標である環境座標と、内界センサ１２の検出値に基づくロボット１０の座標であるロボット座標と、の複数の対応関係を取得する。次に、複数の対応関係に基づいて、環境座標をロボット座標に変換するための変換データを作成する。次に、計測装置３１の計測結果にＳＬＡＭ処理を行うことで得られた環境地図上の自己位置を変換データを用いて変換することでロボット座標における現在の座標値を算出する。次に、ロボット座標における現在の座標値に基づいてロボット１０を制御して、環境地図における自己位置を環境教示点に一致させる。
　これにより、ロボット座標に基づいてロボット１０を制御できるので、ロボット１０を合理的な動作で教示点まで動作させることができる。
　本実施形態のロボット教示方法において、変換データの作成後に、再び環境座標とロボット座標との対応関係を取得し、対応関係に基づいて、変換データを更新する。
　これにより、変換データの精度を高くすることができるので、より正確なロボット座標を用いてロボット１０を動作させることができる。
　本実施形態のロボット教示方法では、教示工程で用いる、ロボット１０の位置及び姿勢を検出するためのセンサが当該ロボット１０の内界センサ１２である。
　内界センサ１２の検出値は、ロボット１０の位置及び姿勢を示す値そのものであるため、作業時においてロボット１０の位置及び姿勢をどの方向に動作させるべきかを適切に把握できる。
　本実施形態のロボット教示方法では、ロボット１０がティーチングプレイバック型である。
　これにより、一般的な産業用ロボットに本発明を適用できる。
　本実施形態のロボット教示方法では、事前登録工程において、現在の計測装置３１の位置及び向きに対応するロボット１０が仮想空間上の作業場に配置された画像である仮想補助画像を出力装置を用いて出力する。
　これにより、作業場とロボット１０が干渉するか否か等を簡単に確認できる。
　本実施形態のロボット教示方法では、事前登録工程において、情報端末５１のカメラで撮影した画像上に、現在の計測装置３１の位置及び向きに対応するロボット１０を重ねた画像であるＡＲ補助画像を情報端末５１のディスプレイに表示する。
　これにより、作業者は、ＡＲ補助画像を見ることで、エンドエフェクタ１３の位置及び向きを直感的に把握しながら環境教示点の登録を行うことができる。
　本実施形態のロボット作業方法では、ロボット１０が計測装置３１を装着せずに作業を行う。
　これにより、ロボット１０にカメラを付けることが前提となるビジュアルサーボと比較して導入コストを低くすることができる。
　本実施形態のロボット作業方法では、ロボット１０が計測装置３１を装着した状態で作業を行う。制御装置２０は、作業対象であるワーク４０に対するロボット１０の位置及び姿勢を調整する処理を行う。
　これにより、ワーク４０の位置が既定位置から少しズレていた場合においても、適切な作業を行うことができる。
　１　ロボットシステム
　１０　ロボット
　２０　制御装置
　３０　計測ユニット
　３１　計測装置
　３２　処理装置
　３３　ポインタ

Claims (12)

  1. 　産業用のロボットを教示する方法において、
    　計測装置を用いて周囲環境を計測することにより前記周囲環境に対する前記計測装置の相対的な自己位置を特定し、前記周囲環境に対する相対的な自己位置を用いて特定された前記ロボットの教示点である環境教示点を登録する事前登録工程と、
    　前記計測装置を前記ロボットに装着した状態で、前記計測装置による周囲環境の計測結果に基づいて、前記周囲環境に対する前記ロボットの相対的な自己位置が前記環境教示点に一致するように前記ロボットを自動動作させるロボット動作工程と、
    　前記周囲環境に対する前記ロボットの相対的な自己位置が前記環境教示点に一致した状態において、センサを用いて検出された前記ロボットの位置及び姿勢の検出値を教示情報として登録する教示工程と、
    を含むことを特徴とするロボット教示方法。
  2. 　請求項１に記載のロボット教示方法であって、
    　前記事前登録工程では、作業者が前記計測装置を持って、当該計測装置を実空間における前記ロボットの教示点に移動させたときの自己位置に基づいて前記環境教示点を登録することを特徴とするロボット教示方法。
  3. 　請求項２に記載のロボット教示方法であって、
    　前記計測装置はステレオカメラであり、前記教示工程が終了した後においても、前記事前登録工程で撮影された画像を作業者の教示意図を示す画像として保存し続けることを特徴とするロボット教示方法。
  4. 　請求項１に記載のロボット教示方法であって、
    　前記計測装置を用いて前記周囲環境を計測してＳＬＡＭ処理を行うことにより当該周囲環境の環境地図を作成する準備工程を前記事前登録工程の前に行い、
    　前記事前登録工程では、前記環境地図を表示するとともに作業者による前記環境教示点の入力を受付け、当該作業者の入力内容に基づいて、前記環境教示点を登録することを特徴とするロボット教示方法。
  5. 　請求項１から４までの何れか一項に記載のロボット教示方法であって、
    　前記ロボット動作工程では、
    　前記計測装置の計測結果にＳＬＡＭ処理を行うことで得られた環境地図の座標である環境座標と、前記センサの検出値に基づく前記ロボットの座標であるロボット座標と、の複数の対応関係を取得し、
    　複数の前記対応関係に基づいて、前記環境座標を前記ロボット座標に変換するための変換データを作成し、
    　前記計測装置の計測結果にＳＬＡＭ処理を行うことで得られた環境地図上の自己位置を前記変換データを用いて変換することで前記ロボット座標における現在の座標値を算出し、当該座標値に基づいて前記ロボットを制御して、前記環境地図における自己位置を前記環境教示点に一致させることを特徴とするロボット教示方法。
  6. 　請求項５に記載のロボット教示方法であって、
    　前記変換データの作成後に、再び前記環境座標と前記ロボット座標との対応関係を取得し、当該対応関係に基づいて、前記変換データを更新することを特徴とするロボット教示方法。
  7. 　請求項１から６までの何れか一項に記載のロボット教示方法であって、
    　前記教示工程で用いる、前記ロボットの位置及び姿勢を検出するための前記センサが当該ロボットの内界センサであることを特徴とするロボット教示方法。
  8. 　請求項１から７までの何れか一項に記載のロボット教示方法であって、
    　前記ロボットがティーチングプレイバック型であることを特徴とするロボット教示方法。
  9. 　請求項１から８までの何れか一項に記載のロボット教示方法であって、
    　前記事前登録工程において、現在の前記計測装置の位置及び向きに対応する前記ロボットが仮想空間上の作業場に配置された画像である仮想補助画像を出力装置を用いて出力することを特徴とするロボット教示方法。
  10. 　請求項１から８までの何れか一項に記載のロボット教示方法であって、
    　前記事前登録工程において、情報端末のカメラで撮影した画像上に、現在の前記計測装置の位置及び向きに対応する前記ロボットを重ねた画像であるＡＲ補助画像を当該情報端末のディスプレイに表示することを特徴とするロボット教示方法。
  11. 　請求項１から１０までの何れか一項に記載のロボット教示方法で登録された前記教示情報を用いて前記ロボットが作業を行うロボット作業方法において、
    　前記ロボットが前記計測装置を装着せずに作業を行うことを特徴とするロボット作業方法。
  12. 　請求項１から１０までの何れか一項に記載のロボット教示方法で登録された前記教示情報を用いて前記ロボットが作業を行うロボット作業方法において、
    　前記ロボットが前記計測装置を装着した状態で作業を行い、前記計測装置の計測結果に基づいて、作業対象であるワークに対する前記ロボットの位置及び姿勢を調整する処理を行うことを特徴とするロボット作業方法。
PCT/JP2021/023288 2020-06-23 2021-06-21 ロボット教示方法及びロボット作業方法 WO2021261411A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022531953A JP7366264B2 (ja) 2020-06-23 2021-06-21 ロボット教示方法及びロボット作業方法
CN202180045162.5A CN115916480A (zh) 2020-06-23 2021-06-21 机器人示教方法和机器人作业方法
US18/012,770 US20230249341A1 (en) 2020-06-23 2021-06-21 Robot teaching method and robot working method
EP21828574.0A EP4169676A1 (en) 2020-06-23 2021-06-21 Robot teaching method and robot working method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-107459 2020-06-23
JP2020107459 2020-06-23

Publications (1)

Publication Number Publication Date
WO2021261411A1 true WO2021261411A1 (ja) 2021-12-30

Family

ID=79281375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023288 WO2021261411A1 (ja) 2020-06-23 2021-06-21 ロボット教示方法及びロボット作業方法

Country Status (5)

Country Link
US (1) US20230249341A1 (ja)
EP (1) EP4169676A1 (ja)
JP (1) JP7366264B2 (ja)
CN (1) CN115916480A (ja)
WO (1) WO2021261411A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205884A1 (de) 2022-06-09 2023-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System und Verfahren zur Aufnahme von Elementen eines Werkstücks mittels eines Zeigegerätes

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07505834A (ja) * 1992-04-10 1995-06-29 ボイル，ウイリアム　エム． ビデオタイムコード同調ロボット制御装置
JP2004209641A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 工業ロボットをプログラミングするための方法およびシステム
JP2004213673A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 強化現実システム及び方法
JP2013158847A (ja) 2012-02-01 2013-08-19 Seiko Epson Corp ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム
JP2014136275A (ja) * 2013-01-16 2014-07-28 Yaskawa Electric Corp ロボット教示システム、ロボット教示プログラムの生成方法および教示ツール
JP2016013608A (ja) * 2014-07-03 2016-01-28 川崎重工業株式会社 ロボットの教示点変換方法、装置、及びロボットセル
JP2017077614A (ja) * 2015-10-22 2017-04-27 キヤノン株式会社 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
JP2019107704A (ja) * 2017-12-15 2019-07-04 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07505834A (ja) * 1992-04-10 1995-06-29 ボイル，ウイリアム　エム． ビデオタイムコード同調ロボット制御装置
JP2004209641A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 工業ロボットをプログラミングするための方法およびシステム
JP2004213673A (ja) * 2002-12-30 2004-07-29 Abb Res Ltd 強化現実システム及び方法
JP2013158847A (ja) 2012-02-01 2013-08-19 Seiko Epson Corp ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム
JP2014136275A (ja) * 2013-01-16 2014-07-28 Yaskawa Electric Corp ロボット教示システム、ロボット教示プログラムの生成方法および教示ツール
JP2016013608A (ja) * 2014-07-03 2016-01-28 川崎重工業株式会社 ロボットの教示点変換方法、装置、及びロボットセル
JP2017077614A (ja) * 2015-10-22 2017-04-27 キヤノン株式会社 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
JP2019107704A (ja) * 2017-12-15 2019-07-04 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205884A1 (de) 2022-06-09 2023-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System und Verfahren zur Aufnahme von Elementen eines Werkstücks mittels eines Zeigegerätes
DE102022205884B4 (de) 2022-06-09 2024-01-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein System und Verfahren zur Aufnahme von Elementen eines Werkstücks mittels eines Zeigegerätes

Also Published As

Publication number Publication date
US20230249341A1 (en) 2023-08-10
EP4169676A1 (en) 2023-04-26
CN115916480A (zh) 2023-04-04
JP7366264B2 (ja) 2023-10-20
JPWO2021261411A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
US11565427B2 (en) Robot system
CN109313417B (zh) 帮助机器人定位
US10052765B2 (en) Robot system having augmented reality-compatible display
EP1584426B1 (en) Tool center point calibration system
JP4021413B2 (ja) 計測装置
CN112672860A (zh) 用于ar和数字孪生的机器人校准
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2005149299A (ja) 教示位置修正装置
JP2015150636A (ja) ビジュアルフィードバックを利用したロボットシステム
JP2018094641A (ja) 移動ロボットの干渉領域設定装置
JP6897396B2 (ja) 制御装置、ロボットシステムおよび制御方法
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
WO2021261411A1 (ja) ロボット教示方法及びロボット作業方法
CN115351389A (zh) 自动焊接方法和装置、电子设备及存储介质
KR102518766B1 (ko) 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템
JP5573537B2 (ja) ロボットのティーチングシステム
EP4177015A1 (en) Robot teaching system
CN109352633B (zh) 一种工业机器人示教方法、系统及计算机存储介质
CN113858214A (zh) 一种用于机器人作业的定位方法与控制系统
JP7340069B1 (ja) マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
JP2012022600A (ja) マスク画像作成システム
JP2024025074A (ja) マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法
JP2023017436A (ja) ロボット制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828574

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531953

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021828574

Country of ref document: EP

Effective date: 20230123