WO2017072979A1 - ロボット教示装置、コンピュータプログラム及びロボット教示方法 - Google Patents

ロボット教示装置、コンピュータプログラム及びロボット教示方法 Download PDF

Info

Publication number
WO2017072979A1
WO2017072979A1 PCT/JP2015/080863 JP2015080863W WO2017072979A1 WO 2017072979 A1 WO2017072979 A1 WO 2017072979A1 JP 2015080863 W JP2015080863 W JP 2015080863W WO 2017072979 A1 WO2017072979 A1 WO 2017072979A1
Authority
WO
WIPO (PCT)
Prior art keywords
teaching
robot
gui
marker
trajectory
Prior art date
Application number
PCT/JP2015/080863
Other languages
English (en)
French (fr)
Inventor
佳史 斧山
康一 桑原
Original Assignee
株式会社安川電機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社安川電機 filed Critical 株式会社安川電機
Priority to CN201580084214.4A priority Critical patent/CN108349085B/zh
Priority to EP15907342.8A priority patent/EP3369534B1/en
Priority to JP2017547339A priority patent/JP6915543B2/ja
Priority to PCT/JP2015/080863 priority patent/WO2017072979A1/ja
Publication of WO2017072979A1 publication Critical patent/WO2017072979A1/ja
Priority to US15/953,510 priority patent/US11092950B2/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36017Graphic assisted robot programming, display projection of surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36401Record play back, teach position and record it then play back
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39384Control unit near robot, control and teaching panel in safe zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40099Graphical user interface for robotics, visual robot user interface

Definitions

  • the present invention relates to a robot teaching device, a computer program, and a robot teaching method.
  • Patent Document 1 describes a robot simulator that generates a virtual image including an operation handle capable of operating a three-dimensional coordinate axis with a predetermined control point of a robot as an origin, and receives an operator's operation on the operation handle. Yes.
  • an end effector such as a robot hand, a welding torch, or a spray gun is attached to the tip of an arm of a general-purpose industrial robot, and a desired work is performed by exerting some action on the work target by the end effector. Therefore, the ability to predict the operating position of the end effector and its precise trajectory is important for obtaining desirable results.
  • the problem to be solved by the present invention is to improve the productivity of offline teaching work by visualizing the operation position and locus of the end effector in offline teaching.
  • a robot teaching apparatus provides a teaching point that is a target position for the end effector in a three-dimensional modeling space in which a robot having at least an end effector and a three-dimensional model of a work object are arranged.
  • a teaching point marker display unit for displaying a teaching point marker to be displayed on the GUI
  • a connection locus display unit for displaying a connection locus that is a locus for connecting the consecutive teaching points on the GUI
  • an operating state of the end effector And
  • a change position marker display unit that displays a change position marker indicating the change position of the image on the GUI.
  • the robot teaching apparatus may include an actual trajectory display unit that displays an actual trajectory that is a trajectory of movement of the end effector on the GUI.
  • the teaching point marker display unit dynamically changes the display position of the teaching point marker when the position of the teaching point is changed using the GUI.
  • the actual locus display unit may change the actual locus dynamically when the position of the teaching point is changed.
  • connection locus display unit may display the connection locus with a curve corresponding to the type of movement command corresponding to the teaching point that is the passing target position.
  • the robot teaching apparatus may include an execution position marker display unit that displays an execution position marker indicating the execution position of a designated command on the GUI.
  • At least the teaching point marker and the change position marker may be displayed in a distinguishable manner.
  • the change position may be specified by at least one of a relative distance and a relative time from the one teaching point.
  • connection trajectory display unit may change a display mode of the connection trajectory according to the change position.
  • a computer program according to one aspect of the present invention causes a computer to function as any of the robot teaching devices described above.
  • a robot teaching apparatus provides a teaching point that is a target position for the end effector in a three-dimensional modeling space in which a robot having at least an end effector and a three-dimensional model of a work object are arranged.
  • the teaching point marker display unit that displays the teaching point marker to be displayed on the GUI, and the connection trajectory that is a trajectory that connects the consecutive teaching points according to the type of the movement command corresponding to the teaching point that is the passing target position
  • a connected trajectory display unit that displays a curved line on the GUI.
  • a robot teaching method provides a teaching point that is a target position for passing an end effector in a three-dimensional modeling space in which a robot having at least an end effector and a three-dimensional model of a work object are arranged.
  • a teaching point marker to be displayed is displayed on the GUI
  • a connection trajectory that is a trajectory connecting the consecutive teaching points is displayed on the GUI
  • a change position marker indicating the change position of the operating state of the end effector is displayed on the GUI.
  • the robot is taught by operating on the GUI with respect to at least one of the teaching point marker and the change position marker.
  • a robot teaching method provides a teaching point that is a target position for passing an end effector in a three-dimensional modeling space in which a robot having at least an end effector and a three-dimensional model of a work object are arranged.
  • the teaching point marker to be displayed is displayed on the GUI, and the connection trajectory, which is a trajectory connecting the successive teaching points, is displayed on the GUI with a curve corresponding to the type of movement command corresponding to the teaching point that is the passing target position.
  • the robot teaches the robot by operating the GUI on at least the teaching point marker.
  • FIG. 4A It is a block diagram which shows the example of a physical structure of the robot teaching apparatus which concerns on embodiment of this invention. It is a functional block diagram which shows the functional structural example of the robot teaching apparatus which concerns on embodiment of this invention. It is a figure which shows the example of the GUI screen displayed on a monitor by a GUI control part. It is the enlarged view which looked at the teaching point marker number 6 shown in FIG. 3 from the spray direction. It is a figure which shows the example of operation by the operator in FIG. 4A. It is a flowchart which shows the example of operation
  • FIG. 1 is a block diagram showing a physical configuration example of a robot teaching apparatus 1 according to an embodiment of the present invention.
  • a general computer may be used.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • an external storage device 1c a GC (Graphics Controller) 1d
  • input A general computer is used in which a device 1e and an I / O (Inpur / Output) 1f are connected to each other via a data bus 1g so that electrical signals can be exchanged.
  • the external storage device 1c is a device capable of recording information statically such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • a signal from the GC 1d is output to a monitor 1h that visually recognizes an image such as a CRT (Cathode Ray Tube) or a so-called flat panel display, and is displayed as an image.
  • the input device 1e is a device for a user to input information, such as a keyboard, a mouse, and a touch panel, and the I / O 1f is an interface for the robot teaching device 1 to exchange information with an external device.
  • An application program for causing the computer to function as the robot teaching device 1 is installed in the external storage device 1c, read out to the RAM 1b as necessary, and executed by the CPU 1a.
  • Such a program may be provided by being recorded on an appropriate computer-readable information recording medium such as an appropriate optical disk, a magneto-optical disk, or a flash memory, or may be provided via an information communication line such as the Internet.
  • the function as the robot teaching device 1 may be provided by a server connected to an external network via the I / O 1f, so-called cloud computing.
  • FIG. 2 is a functional block diagram showing a functional configuration example of the robot teaching apparatus 1 according to the embodiment of the present invention.
  • Each functional block shown in the figure uses, for example, the CPU 1a to execute a predetermined program or store an area for storing predetermined information in the RAM 1b or the external storage device 1c using the physical configuration of the robot teaching device 1 described above. These are virtually realized by assigning them, and are individually shown by paying attention to the functions of the robot teaching apparatus 1. Therefore, the functional blocks shown in this figure do not necessarily mean that the physical configuration of the robot teaching apparatus 1 or the program executed by the robot teaching apparatus 1 is divided into functional blocks. In addition, all the functions of the robot teaching device 1 are not shown in the figure, and portions that are not technically relevant to the present invention are omitted.
  • the GUI (Graphical User Interface) control unit 2 displays the image generated by the display control unit 11 on the monitor 1h, and the operator's operation performed by the input device 1e is performed on the image displayed on the monitor 1h. By handing it over to the operation receiving unit 12 as a result, a visual operation is realized for the operator.
  • the display control unit 11 includes a model display unit 11a, a teaching point marker display unit 11b, a change position marker display unit 11d, an execution position marker display unit 11e, and an actual trajectory display unit 11f, and is based on the model data acquired from the storage unit 13.
  • the robot 3 having at least an end effector and three-dimensional graphics of the work object are generated, and various teaching points including those for the robot 3 and those for the end effector based on the teaching program acquired from the storage unit 13 are generated. Three-dimensional graphics of various markers and trajectories based on the execution command data are generated, output to the GUI control unit 10, and displayed.
  • the teaching points, various markers, the types of trajectories, and display modes will be described later.
  • the storage unit 13 includes a robot 3 having an end effector and a model data storage unit 13a that stores a three-dimensional model of a work target, and a teaching program storage unit 13b that stores a teaching program executed by the robot 3.
  • the robot 3 and the three-dimensional model of the work object may be created using the robot teaching apparatus 1 itself with a known configuration (not shown), or model data created separately by three-dimensional CAD or a vendor such as a manufacturer.
  • the provided model data may be read and stored.
  • the teaching program storage unit 13b does not store a teaching program in the initial state, it may be newly created by the robot teaching apparatus 1 itself, or an existing teaching program may be read and stored from the robot controller 2 or the like.
  • the teaching program created or edited by the robot teaching device 1 and stored in the teaching program storage unit 13b is transferred to the robot controller 2 connected via the I / O 1f and used for controlling the robot 3.
  • the robot controller 2 When creating or editing a teaching program by the robot teaching device 1, it is not always necessary to connect the robot teaching device 1 and the robot controller 2, and creating or editing a teaching program by the robot teaching device 1 alone (so-called “so-called teaching program”). Off-line teaching) is possible.
  • the connection between the robot teaching device 1 and the robot controller 2 is not necessarily a direct connection. For example, data may be transmitted and received from a remote place via a communication network.
  • FIG. 3 is a diagram showing an example of a GUI screen displayed on the monitor 1 h by the GUI control unit 10.
  • the model display unit 11a generates and shows a three-dimensional image of the robot 3 with the end effector 3a mounted at the tip and the work object 4 arranged in the three-dimensional modeling space.
  • the GUI control unit 10 appropriately changes the position, direction, magnification, and the like of the viewpoint with respect to the three-dimensional modeling space when displayed on the screen by the operator using the input device 1e.
  • a spray gun is assumed as an example of the end effector 3a.
  • the work object 4 is shown here as a simple rectangular parallelepiped, it may be an arbitrary model, and is an automobile body as an example.
  • the position in the three-dimensional modeling space of the teaching point that is the position through which the reference point of the end effector 3a should pass is indicated by the teaching point marker display unit 11b. It is shown as a marker 5 (representatively, only the first one in the figure is given a reference number).
  • the teaching point marker 5 is displayed as a cone. The shape, color, and size of the teaching point marker may be appropriately changed by the operator.
  • the teaching point is nothing but the target coordinate of the movement command for the robot 3 in the teaching program stored in the teaching program storage unit 13b.
  • a command for linearly moving the control reference point of the robot 3 here the reference point of the end effector 3 a from the current position to the coordinates (x, y, z)
  • MOVL x yz the reference point of the end effector 3 a from the current position to the coordinates (x, y, z)
  • this point (x, y, z) is extracted as a teaching point by the teaching point marker display unit 11b, and the teaching point marker 5 is indicated at the corresponding position.
  • eight teaching point markers 5 are shown, and therefore, the teaching program in this example includes eight movement commands.
  • a serial number is displayed beside each teaching point marker 5 in the order in which the end effector 3a passes.
  • connection locus 6 which is a locus for connecting successive teaching points is displayed by the connection locus display section 11c.
  • the connection trajectory 6 is a trajectory through which the end effector 3a passes when the robot 3 performs an ideal operation, that is, assuming that the robot 3 operates at an extremely low speed.
  • the connection trajectory 6 is an ideal trajectory of the end effector 3a, and the operator follows the connection trajectory 6 to determine what operation the teaching program intends the robot 3 to perform. Can be visually recognized.
  • connection trajectory 6 in this example has a portion indicated by a thin line and a portion indicated by a thick line as shown in the drawing, which will be described later.
  • trajectory 6 is not necessarily limited to what connects the continuous teaching points with a straight line. If the movement command in the teaching program corresponding to the teaching point is a command for instructing the fastest movement (that is, a movement method in which each motor of the robot 3 is driven linearly with respect to the target value), the connection locus 6 Is a trajectory having a slightly complicated curve corresponding to the posture of the robot 3, and if the movement command is a command for instructing movement of an arc or other curve, the connection trajectory 6 is displayed as a curved line as instructed. . In other words, the connection trajectory display unit 11c displays the connection trajectory 6 with a curve corresponding to the type of movement command corresponding to the teaching point that is the passage target.
  • a change position marker 7 indicating the change position of the operating state of the end effector 3a is displayed by the change position marker display section 11d (representatively, only the first one in the figure is provided with a reference number). Indicated).
  • the change position marker 7 is displayed as a sphere, but is similar to the previous teaching point marker 5 in that the operator may change the shape and the like.
  • the operating state of the end effector 3a refers to an operating state in which the action on the work target 4 is changed, and in this example, switching of the spray ON / OFF.
  • the change in the operating state of the end effector 3a is extracted by the change position marker display unit 11d from the instruction in the corresponding teaching program, and the position in the three-dimensional modeling space is specified. For example, if the instruction “SPYON”, which is an instruction to turn on the spray, is included in the teaching program as an instruction to change the operating state of the end effector 3a, the change position marker display unit 11d A change position marker 7 is displayed at the position of the teaching point to be executed.
  • the change position marker 7 may be displayed so as to overlap the teaching point marker 5 or the execution position marker 8. You may display in the position adjacent to these markers so that there may not be.
  • the position where the spray is turned on on the connection locus 6 is determined.
  • the change position marker 7 shown with a reference number is shown at a position on the connection locus 6 after a specified time or a specified distance has elapsed with respect to the teaching point marker 5 assigned the number 2. Yes. Further, the change position marker 7 that is not assigned a reference number is shown at a position on the connection locus 6 before the specified time or specified distance elapses with respect to the teaching point marker 5 that is assigned a number 7.
  • the position where the operation state of the end effector 3a actually changes is indicated by the change position marker 7 on the connection trajectory 6, so that the operator can determine the position where the end effector 3a acts on the work target 4. It can be confirmed visually. Further, even when a relative distance or a relative time from one teaching point is designated as the timing for changing the operating state, the corresponding position can be visually grasped in the three-dimensional modeling space.
  • connection trajectory display unit 11c may change the display mode of the connection trajectory 6 according to the change in the operating state of the end effector 3a. For example, as shown in FIG. 3, a section where the spray is ON is displayed with a thick line, and a section where the spray is OFF is displayed with a thin line.
  • the change in the display mode of the connection locus 6 may be caused not only by the thickness of the line but also by a change in color or line type. Further, when the state of the end effector changes to three or more types, a different display mode of the connection locus 6 may be selected for each state.
  • the position where the display mode of the connection locus 6 changes is the position of the change position marker 7, but the display mode may be changed for each section between the teaching points. For example, a section including a portion where the spray is ON (for example, a section between the teaching point markers 2 and 3 in the figure and a section between the 6 and 7) is displayed with a thick line as a spray ON section. Etc.
  • the operator can visually confirm the range in which the action by the end effector 3a is performed on the work object 4 by showing the connection locus 6 in a different manner depending on the operating state of the end effector 3a. it can.
  • an execution position marker 8 indicating the execution position of the designated instruction is displayed by the execution position marker display unit 11e.
  • the execution position marker 8 is displayed as a cube, the point that the operator may change the shape and the like is the same as the previous teaching point marker 5 and the change position marker 7.
  • the command specified here is a command that is included in the teaching program and is different from the previous movement command or the command that changes the operating state of the end effector 3a, and is displayed on the GUI in particular. Is convenient.
  • the “PAINTSET” command is applicable, and this command specifies an initial parameter of the spray gun, for example, a valve opening degree, a paint to be used, and the like.
  • the operator can display the position where the command is executed as the execution position marker 8 so that the operator can select the end effector 3a. It is possible to visually confirm on the GUI that the operation parameter is set, and it is possible to set or change the operation parameter of the end effector 3a on the GUI as will be described later.
  • the instruction in the teaching program displayed as the execution position marker 8 is not limited to the instruction for setting the operation parameter of the end effector 3a, and may be arbitrary.
  • the operator may be able to specify an instruction to be displayed as the execution position marker 8.
  • the execution position markers 8 corresponding to different commands may be displayed in different modes (for example, different colors, shapes, sizes, etc.).
  • the teaching point marker 5, the change position marker 7, and the execution position marker 8 are displayed on the GUI in a manner that can be distinguished from each other.
  • the operator can visually grasp the position of the teaching point that defines the trajectory of the end effector 3a, the position of the operation of the end effector 3a, and the position at which a desired command is executed.
  • operations for adding and editing each marker may be the same as the GUI operations for existing three-dimensional graphics.
  • the marker position may be changed by dragging the corresponding marker on the GUI.
  • a dialog may be displayed by the operator specifying an appropriate marker on the GUI so that various operations can be performed.
  • the coordinate input of the correction position of the marker can be accepted, the instruction on the teaching program corresponding to the marker can be edited, a new marker can be added before or after the marker, The marker may be deleted.
  • an instruction corresponding to the added marker is added to the teaching program, and an instruction corresponding to the deleted marker is deleted from the teaching program or commented out.
  • a new marker may be inserted between successive markers by designating an arbitrary position on the connection locus 6, or a new marker may be added by designating an appropriate position on the GUI.
  • an instruction corresponding to a new marker is added to the teaching program.
  • the position where the operating state of the end effector 3a changes can be designated as a relative position or a relative time with respect to the teaching point by dragging the change position marker 7 along the connection locus 6.
  • the designation of the relative position or the relative time in the corresponding command of the teaching program (for example, the “SPYON” command described above) is changed.
  • the relative position or the relative time is used may be the one used by the current instruction as it is, and if there is no designation (for example, when the relative position is not designated) One of them, for example, a relative distance may be used.
  • the draggable range of the change position marker 7 is limited to the connection locus 6.
  • a teaching program is created by adding markers on the GUI, and the teaching program is edited by operating the markers on the GUI.
  • the operator's operation received by the GUI control unit 10 is interpreted by the operation receiving unit 12, converted into a teaching program command, and stored as a teaching program in the teaching program storage unit 13b.
  • the model display unit 11a when an arbitrary marker on the screen is designated by the operator, the model display unit 11a generates and displays a three-dimensional image of the posture of the robot 3 and the work object 4 at the time designated by the marker. You can do it. By doing this, the operator can confirm the posture of the robot being worked on, and when the robot 3 or the work object 4 moves during the work (for example, the robot 3 is placed on a carrier such as a carriage and works while moving). Etc.), it is possible to visually grasp the positional relationship between the robot 3 and the work object 4 at each work point. When the robot 3 or the work object 4 moves during work, the direction and speed of the movement are designated in advance.
  • the actual trajectory 9 of the movement of the end effector 3a may be displayed on the screen by the actual trajectory display unit 11f.
  • the actual trajectory 9 drawn by the end effector 3a attached to the tip of the robot 3 is a trajectory that ideally connects the teaching points.
  • a deviation from the locus 6 depends on the operation speed of the robot 3, the control parameters of each motor, the robot tip mass, etc., but this actual locus 9 is obtained when the specifications of the robot 3 and the end effector 3a are known. Can be obtained by simulation or by trajectory calculation.
  • the real trajectory display unit 11f obtains the real trajectory 9 by simulation or trajectory calculation, and displays it on the GUI, and is shown in a manner different from the connected trajectory 6 as shown by a broken line in FIG. Thereby, the operator can confirm not only the connection locus 6 which is an ideal locus of the end effector 3a but also the actual locus 9 through which the end effector 3a actually passes on the GUI.
  • the end effector 3a is a spray gun as shown in this example
  • the area around the portion is painted.
  • the action on the work object 4 becomes insufficient, such as unevenness or unpainted areas.
  • the operator confirms the result of painting with an actual machine, empirically knows, or by intentionally changing the position of the teaching point based on the result of simulation separately executed,
  • the actual trajectory 9 was adjusted so as to draw a desired trajectory, but this adjustment work requires very skill, time, and cost, such as operating an actual machine or requesting experience knowledge, and is offline. It was a big burden when teaching.
  • the real locus 9 is displayed in the three-dimensional modeling space simultaneously with the teaching point marker 5, the connection locus 6, and the work object 4, so that the actual locus 9, the teaching point, and the work object are displayed.
  • the position of the teaching point can be visually changed while confirming the relationship with the object 4, the burden and cost of the operator during off-line teaching are greatly reduced, the productivity is remarkably improved, and the operator No skill is required.
  • the teaching point marker display unit 11b dynamically changes the position of the teaching point marker 5 when the position of the teaching point is changed using the GUI. That is, when the operator drags an arbitrary teaching point marker 5, the display position of the teaching point marker 5 changes in real time according to the operation of the operator. And according to the dynamic position change of this teaching point marker 5, the connection locus
  • the actual locus 9 changes in real time, so that the operator can perform an operation of adjusting the actual locus 9 to a desired locus while changing the position of the teaching point marker 5 in real time. become.
  • FIG. 4A is an enlarged view of the vicinity of the teaching point marker 5 of number 6 shown in FIG. 3 as seen from the spray direction.
  • the actual trajectory 9 is a trajectory that passes largely inside the corner of the connection trajectory 6, and there is a concern that an unpainted area may occur near the corner of the work object 4. Is done.
  • the operator drags the teaching point marker 5 of No. 6 from the original teaching point marker position (indicated by a broken line with reference numeral 5 ′) in the upper right direction in the figure. Then, the connection locus 6 and the actual locus 9 change as shown in the figure according to the operation.
  • the operator adjusts the position of the teaching point marker 5 so that the actual locus 9 draws a desired locus, releases the drag, and determines the position, thereby easily obtaining the actual locus 9 close to the desired locus. Will be.
  • step ST1 the model display unit 11a reads the model data of the robot 3 having the end effector 3a and the three-dimensional model of the work object 4 from the model data storage unit 13a, and in the subsequent step ST2, the three-dimensional modeling space.
  • the robot 3 and the work object 4 are arranged inside and displayed on the GUI.
  • step ST3 the teaching program is read from the teaching program storage unit 13b, and based on the teaching program, the teaching point marker display unit 11b displays the teaching point marker 5 in the three-dimensional modeling space on the GUI in step ST4.
  • step ST5 the connection trajectory display unit 11c displays the connection trajectory 6 in the three-dimensional modeling space on the GUI.
  • step ST6 the change position marker display unit 11d displays the change position marker 7 in the three-dimensional modeling space on the GUI.
  • the execution position marker display unit 11e displays the execution position marker 8 in the three-dimensional modeling space on the GUI.
  • step ST8 the actual locus display unit 11f displays the actual locus in the three-dimensional modeling space on the GUI. 9 is displayed.
  • step ST9 an operator input to the GUI is awaited. If there is an operator input, it is determined in step ST10 whether or not the instruction from the operator is an instruction to end the process. If the instruction is affirmative (meaning the end of the process), the operation of the robot teaching apparatus 1 If not, the process proceeds to step ST11.
  • step ST11 it is determined whether or not the instruction from the operator relates to marker addition, change, and deletion. If the instruction is affirmative (meaning addition, change, and deletion of a marker), the process proceeds to step ST12, and the operator The teaching program is changed by the operation accepting unit 12 in accordance with the input contents from, and the change is stored in the teaching program storage unit 13b. Thereafter, returning to step ST4, the changes made to the teaching program are immediately displayed and reflected on the GUI as changes in the teaching point marker 5, the connection locus 6, the change position marker 7, the execution position marker 8, and the actual trajectory 9. . As a result, the operation performed by the operator on the marker is reflected on the GUI in real time.
  • teaching point marker display unit 11b, the connected locus display unit 11c, the change position marker display unit 11d, the execution position marker display unit 11e, and the actual locus display unit 11f display the display on the GUI only when the display needs to be changed. If the operation by the operator does not change the display, the load on the robot teaching device 1 may be reduced without re-displaying the display.
  • step ST11 If it is negative (does not mean adding, changing, or deleting a marker) in step ST11, the process proceeds to step ST13, and other processes are performed according to the operator's instruction. After the process is completed, there is no need to change the display on the GUI, so the process returns to step ST8 and waits for further operator input.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

オフラインティーチングにおいて、エンドエフェクタの作動位置や軌跡等を可視化し、オフラインティーチング作業の生産性を高めること。ロボット教示装置(1)は、少なくともエンドエフェクタ(3a)を有するロボット(3)と、作業対象物(4)の3次元モデルが配置される3次元モデリング空間内における、エンドエフェクタ(3a)の通過目標位置となる教示点を示す教示点マーカ(5)をGUI上に表示する教示点マーカ表示部と、連続する前記教示点間を連結する軌跡である連結軌跡(6)を前記GUI上に表示する連結軌跡表示部と、エンドエフェクタ(3a)の作動状態の変化位置を示す変化位置マーカ(7)を前記GUI上に表示する変化位置マーカ表示部と、を有する。

Description

ロボット教示装置、コンピュータプログラム及びロボット教示方法
 本発明は、ロボット教示装置、コンピュータプログラム及びロボット教示方法に関する。
 ティーチングプレイバック方式のロボットのティーチングを、コンピュータグラフィックスを利用して、実機を用いることなく仮想空間内で行ういわゆるオフラインティーチングの手法が近年広く用いられつつある。
 特許文献1には、ロボットの所定の制御点を原点とする3次元座標軸を操作可能な操作ハンドルを含む仮想画像を生成し、かかる操作ハンドルに対してオペレータの操作を受け付けるロボットシミュレータが記載されている。
特開2014-161921号公報
 一般に、汎用の産業用ロボットのアームの先端には、ロボットハンドや溶接トーチ、スプレーガン等のエンドエフェクタが取り付けられ、エンドエフェクタにより作業対象に何らかの作用を及ぼすことにより、所望の作業がなされる。そのため、エンドエフェクタの作動位置や、その正確な軌跡を予測できることは、望ましい結果を得るために重要である。
 本発明の解決しようとする課題は、オフラインティーチングにおいて、エンドエフェクタの作動位置や軌跡等を可視化し、オフラインティーチング作業の生産性を高めることである。
 本発明の一側面に係るロボット教示装置は、少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示する教示点マーカ表示部と、連続する前記教示点間を連結する軌跡である連結軌跡を前記GUI上に表示する連結軌跡表示部と、前記エンドエフェクタの作動状態の変化位置を示す変化位置マーカを前記GUI上に表示する変化位置マーカ表示部と、を有する。
 また、本発明の一側面に係るロボット教示装置は、前記エンドエフェクタの移動の軌跡である実軌跡を前記GUI上に表示する実軌跡表示部を有してよい。
 また、本発明の一側面に係るロボット教示装置では、前記教示点マーカ表示部は、前記GUIを用いて前記教示点の位置が変更される際に、前記教示点マーカの表示位置を動的に変化させ、前記実軌跡表示部は、前記教示点の位置が変更される際に、前記実軌跡を動的に変化させてよい。
 また、本発明の一側面に係るロボット教示装置では、前記連結軌跡表示部は、前記連結軌跡を、通過目標位置となる教示点に対応する移動命令の種別に応じた曲線で表示してよい。
 また、本発明の一側面に係るロボット教示装置は、指定された命令の実行位置を示す実行位置マーカを前記GUI上に表示する実行位置マーカ表示部を有してよい。
 また、本発明の一側面に係るロボット教示装置では、少なくとも、前記教示点マーカと、前記変化位置マーカは、区別できる態様で表示されてよい。
 また、本発明の一側面に係るロボット教示装置では、前記変化位置は、一の前記教示点からの相対距離及び相対時間の少なくともいずれかにより指定されてよい。
 また、本発明の一側面に係るロボット教示装置では、前記連結軌跡表示部は、前記変化位置に応じて、前記連結軌跡の表示の態様を変化させてよい。
 本発明の一側面に係るコンピュータプログラムは、コンピュータを、上述のいずれかのロボット教示装置として機能させる。
 本発明の一側面に係るロボット教示装置は、少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示する教示点マーカ表示部と、連続する前記教示点間を連結する軌跡である連結軌跡を、通過目標位置となる教示点に対応する移動命令の種別に応じた曲線で前記GUI上に表示する連結軌跡表示部と、を有する。
 本発明の一側面に係るロボット教示方法は、少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示し、連続する前記教示点間を連結する軌跡である連結軌跡を前記GUI上に表示し、前記エンドエフェクタの作動状態の変化位置を示す変化位置マーカを前記GUI上に表示し、少なくとも前記教示点マーカ及び前記変化位置マーカのいずれかに対し、前記GUI上で操作を行うことにより、前記ロボットに対する教示を行う。
 本発明の一側面に係るロボット教示方法は、少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示し、連続する前記教示点間を連結する軌跡である連結軌跡を、通過目標位置となる教示点に対応する移動命令の種別に応じた曲線で前記GUI上に表示し、少なくとも前記教示点マーカに対し、前記GUI上で操作を行うことにより、前記ロボットに対する教示を行う。
本発明の実施形態に係るロボット教示装置の物理的な構成例を示すブロック図である。 本発明の実施形態に係るロボット教示装置の機能的な構成例を示す機能ブロック図である。 GUI制御部によりモニタ上に表示されるGUI画面の例を示す図である。 図3で示した番号6の教示点マーカ付近を、そのスプレー方向から見た拡大図である。 図4Aにおけるオペレータによる操作の例を示す図である。 本発明の実施形態に係るロボット教示装置の動作の例を示すフローチャートである。
 図1は本発明の実施形態に係るロボット教示装置1の物理的な構成例を示すブロックである。ロボット教示装置1としては一般的なコンピュータを用いてよく、本実施形態においても、CPU(Central Processing Unit)1a、RAM(Random Access Memory)1b、外部記憶装置1c、GC(Graphics Controller)1d、入力デバイス1e及びI/O(Inpur/Output)1fがデータバス1gにより相互に電気信号のやり取りができるよう接続されている一般的なコンピュータを用いている。ここで、外部記憶装置1cはHDD(Hard Disk Drive)やSSD(Solid State Drive)等の静的に情報を記録できる装置である。またGC1dからの信号はCRT(Cathode Ray Tube)やいわゆるフラットパネルディスプレイ等の、使用者が視覚的に画像を認識するモニタ1hに出力され、画像として表示される。入力デバイス1eはキーボードやマウス、タッチパネル等の、ユーザが情報を入力するための機器であり、I/O1fはロボット教示装置1が外部の機器と情報をやり取りするためのインタフェースである。コンピュータをロボット教示装置1として機能させるためのアプリケーションプログラムは外部記憶装置1cにインストールされ、必要に応じてRAM1bに読みだされてCPU1aにより実行される。また、かかるプログラムは、適宜の光ディスク、光磁気ディスク、フラッシュメモリ等の適宜のコンピュータ可読情報記録媒体に記録されて提供されても、インターネット等の情報通信回線を介して提供されてもよく、さらに、I/O1fを介して外部のネットワークに接続されたサーバによりロボット教示装置1としての機能が提供される、いわゆるクラウドコンピューティングにより提供されてもよい。
 図2は本発明の実施形態に係るロボット教示装置1の機能的な構成例を示す機能ブロック図である。本図に示す各機能ブロックは、上述のロボット教示装置1の物理的構成を用いて、例えば、CPU1aにより所定のプログラムを実行したり、RAM1bや外部記憶装置1cに所定の情報を記憶する領域を割り当てたりすることにより仮想的に実現されており、ロボット教示装置1が有する機能に着目して個別に示したものである。従って、本図に示す機能ブロックは必ずしもロボット教示装置1の物理的構成や、ロボット教示装置1が実行するプログラム自体が機能ブロック毎に区分されることを意味しない。また、本図にはロボット教示装置1が有する全ての機能が示されているわけではなく、本発明と技術的関連の低い部分は省略されている。
 GUI(Graphical User Interface)制御部2は、表示制御部11により生成された画像をモニタ1hに表示し、また、入力デバイス1eによりなされたオペレータの操作を、モニタ1h上に表示された画像に対してなされたものとして操作受付部12に引き渡すことにより、オペレータにとり視覚的な操作を実現する。
 表示制御部11は、モデル表示部11a、教示点マーカ表示部11b、変化位置マーカ表示部11d、実行位置マーカ表示部11e及び実軌跡表示部11fを含み、記憶部13より取得したモデルデータに基いて、少なくともエンドエフェクタを有するロボット3と、作業対象物の3次元グラフィクスを生成するとともに、記憶部13より取得したティーチングプログラムに基いて、ロボット3に対する教示点と、エンドエフェクタに対するものを含む各種の実行命令のデータに基く各種マーカ及び軌跡の3次元グラフィクスを生成し、GUI制御部10に出力し、表示させる。教示点、各種マーカ及び軌跡の種別や表示の態様については後述する。
 記憶部13は、エンドエフェクタを有するロボット3及び作業対象物の3次元モデルを記憶するモデルデータ記憶部13aと、ロボット3が実行するティーチングプログラムを記憶するティーチングプログラム記憶部13bを含む。ロボット3及び作業対象物の3次元モデルは、図示しない公知の構成により、ロボット教示装置1自身を用いて作成してもよいし、別途3次元CADにより作成したモデルデータや、メーカなどのベンダーより提供されたモデルデータを読み込み記憶することとしてもよい。ティーチングプログラム記憶部13bは、初期状態ではティーチングプログラムを記憶していないが、ロボット教示装置1自身により新たに作成したり、既存のティーチングプログラムをロボットコントローラ2等から読み込み記憶するようにしてよい。
 ロボット教示装置1により作成または編集され、ティーチングプログラム記憶部13bに記憶されたティーチングプログラムは、I/O1fを介して接続されたロボットコントローラ2に転送され、ロボット3の制御に用いられる。なお、ロボット教示装置1によるティーチングプログラムの作成や編集の際には、ロボット教示装置1とロボットコントローラ2との接続は必ずしも必要でなく、ロボット教示装置1単独でのティーチングプログラムの作成や編集(いわゆるオフラインティーチング)が可能である。また、ロボット教示装置1とロボットコントローラ2との接続は、必ずしも直接結線による接続である必要はなく、例えば、通信ネットワークを介して遠隔地よりデータを送受信する形態であってもよい。
 図3は、GUI制御部10によりモニタ1h上に表示されるGUI画面の例を示す図である。画面中には、モデル表示部11aにより、3次元モデリング空間中に配置された、エンドエフェクタ3aが先端に装着されたロボット3と、作業対象物4の3次元画像が生成され、示されている。なお、画面に表示する際の3次元モデリング空間に対する視点の位置や方向、倍率等は、オペレータが入力デバイス1eを用いて指示することにより、GUI制御部10が適宜変更する。なお、本実施形態では、エンドエフェクタ3aの一例として、スプレーガンを想定している。作業対象物4は、ここでは単なる直方体として示しているが、任意のモデルでよく、一例として、自動車のボディである。
 さらに、画面中には、ロボット3が動作する際の、エンドエフェクタ3aの基準点が通過すべき位置である教示点の3次元モデリング空間中の位置が、教示点マーカ表示部11bにより、教示点マーカ5(代表として、図中の最初のもののみ参照番号を付して示した)として示されている。ここでは、教示点マーカ5は、円錐として表示される。教示点マーカの形状や色、大きさは、オペレータが適宜変更できるようにしてよい。
 ここで、教示点は、ティーチングプログラム記憶部13bに記憶されたティーチングプログラム中の、ロボット3に対する移動命令の目標座標に他ならない。例えば、ロボット3の制御基準点、ここでは、エンドエフェクタ3aの基準点を現在位置から座標(x,y,z)に直線的に動作させる命令として、ティーチングプログラム中に「MOVL x y z」という命令が含まれている場合、この点(x,y,z)は教示点として教示点マーカ表示部11bにより抽出され、対応する位置に教示点マーカ5が示される。図示の例では、教示点マーカ5は8つ示されているから、この例におけるティーチングプロクラムには、8つの移動命令が含まれていることになる。各教示点マーカ5の脇には、エンドエフェクタ3aが通過する順に通し番号が表示されている。
 また、画面中には、連続する教示点間を連結する軌跡である連結軌跡6が、連結軌跡表示部11cにより表示されている。連結軌跡6は、ロボット3が理想的な動作をした時、すなわち、極めて低速の状態で作動したと仮定した場合にエンドエフェクタ3aが通過する軌跡である。後述するが、実際の動作では、ロボット3を高速で動作させるほど、エンドエフェクタ3aが実際に通過する軌跡(これを実軌跡9と称する)と連結軌跡6との間にはずれが生じる。したがって、連結軌跡6は、エンドエフェクタ3aの理想的な軌跡といえ、オペレータは、この連結軌跡6を辿ることで、ティーチングプログラムがロボット3にどのような動作をさせることを意図しているのかを視覚的に認識することができる。
 なお、本例での連結軌跡6は、図示するように細線で示されている部分と太線で示されている部分があるが、これについては後述する。また、連結軌跡6は、必ずしも連続する教示点間を直線で結ぶものに限定されない。教示点に対応するティーチングプログラム中の移動命令が、最速移動(すなわち、ロボット3の各モータを、それぞれ目標値に対して直線的に駆動する移動方式)を指示する命令であれば、連結軌跡6は、ロボット3の姿勢に応じた、やや複雑な曲線となる軌跡となり、移動命令が円弧その他の曲線移動を指示する命令であれば、連結軌跡6は、指示された通りの曲線として表示される。すなわち、連結軌跡表示部11cは、連結軌跡6を、通過目標となる教示点に対応する移動命令の種別に応じた曲線で表示することになる。
 さらに、画面中には、エンドエフェクタ3aの作動状態の変化位置を示す変化位置マーカ7が、変化位置マーカ表示部11dにより表示されている(代表として、図中の最初のもののみ参照番号を付して示した)。ここでは、変化位置マーカ7は、球体として表示されているが、形状等をオペレータが変更してもよい点については、先の教示点マーカ5と同様である。
 ここでのエンドエフェクタ3aの作動状態とは、特に作業対象物4に対する作用が変化するような作動状態を指しており、この例では、スプレーのON/OFFの切替である。このエンドエフェクタ3aの作動状態の変化は、該当するティーチングプログラム中の命令より変化位置マーカ表示部11dにより抽出され、3次元モデリング空間中の位置が特定される。例えば、エンドエフェクタ3aの作動状態を変化させる命令として、スプレーをONとする命令である、「SPYON」という命令がティーチングプログラム中に含まれている場合、変化位置マーカ表示部11dは、当該命令が実行される教示点の位置に、変化位置マーカ7を表示する。このとき、変化位置マーカ7の位置が教示点マーカ5や後述する実行位置マーカ8と同一位置となる場合、教示点マーカ5や実行位置マーカ8と重なり合うように表示してもよいし、重なり合わないように、それらマーカと隣接する位置に表示してもよい。
 また、該当するティーチングプログラム中の命令が、作動状態を変化させるタイミングとして、隣接する教示点からの相対距離又は相対時間を指定している場合、変化位置マーカ表示部11dは、かかる相対距離又は相対時間を加味して、変化位置マーカ7の位置を決定する。例えば、エンドエフェクタ3aの作動状態を変化させる命令として、スプレーをONとする命令が、「SPYON ANT=1.00sec」のように、次の教示点からの相対時間を指定するものである場合(この場合は、エンドエフェクタ3aが次の教示点を通過後1.00秒経過後にスプレー開始することを示している)、変化位置マーカ表示部11dは、次の教示点から、ロボット3の移動速度を加味して、連結軌跡6上のスプレーONとなる位置を決定する。図3では、参照番号を付して示した変化位置マーカ7は、番号2が付された教示点マーカ5に対して指定時間又は指定距離経過後となる連結軌跡6上の位置に示されている。また、参照番号が付されていない変化位置マーカ7は、番号7が付された教示点マーカ5に対して指定時間又は指定距離経過前となる連結軌跡6上の位置に示されている。
 このように、実際にエンドエフェクタ3aの作動状態が変化する位置を連結軌跡6上に変化位置マーカ7により示すことにより、作業対象物4に対し、エンドエフェクタ3aによる作用がなされる位置をオペレータが視覚的に確認することができる。また、作動状態を変化させるタイミングとして、一の教示点からの相対距離や相対時間が指定された場合にも、該当する位置が3次元モデリング空間内で視覚的に把握できる。
 さらに、連結軌跡表示部11cは、エンドエフェクタ3aの作動状態の変化に応じて、連結軌跡6の表示の態様を変化させてよい。例えば、図3に示すように、スプレーONとなる区間を太線で表示し、スプレーOFFとなる区間を細線で表示する等である。連結軌跡6の表示の態様の変化は、線の太さだけでなく、色や線種の変化によってもよい。また、エンドエフェクタの状態が3種以上に変化する場合には、それぞれの状態ごとに異なる連結軌跡6の表示の態様を選択してよい。さらに、本例では、連結軌跡6の表示の態様が変化する位置は、変化位置マーカ7の位置となっているが、教示点間の区間ごとに表示の態様を変化させてもよい。例えば、スプレーONとなる部分が含まれる区間(例えば、図中の教示点マーカ2番と3番の間の区間や、6番と7番の間の区間)はスプレーONの区間として太線で表示する等である。
 このように、エンドエフェクタ3aの作動状態に応じて異なる態様で連結軌跡6を示すことで、オペレータは、エンドエフェクタ3aによる作用が作業対象物4に対しなされる範囲を視覚的に確認することができる。
 さらに、画面中には、指定された命令の実行位置を示す実行位置マーカ8が、実行位置マーカ表示部11eにより表示されている。ここでは、実行位置マーカ8は、立方体として表示されているが、形状等をオペレータが変更してもよい点については、先の教示点マーカ5、変化位置マーカ7と同様である。
 ここでの指定された命令とは、ティーチングプログラムに含まれ、先の移動命令や、エンドエフェクタ3aの作動状態を変化される命令とは異なる命令であって、特にGUI上で表示しておくことが都合がよいものである。ここでは、「PAINTSET」命令が該当しており、同命令は、スプレーガンの初期パラメータ、例えばバルブの開度や使用する塗料等を指定するものである。このように、エンドエフェクタ3aの動作パラメータをティーチングプログラム上で指定しておく必要がある場合に、かかる命令が実行される位置を実行位置マーカ8として表示することにより、オペレータは、エンドエフェクタ3aの動作パラメータが設定されていることをGUI上で視覚的に確認することができるほか、後述するように、GUI上でエンドエフェクタ3aの動作パラメータの設定やその変更が可能となる。
 なお、実行位置マーカ8として表示されるティーチングプログラム中の命令は、エンドエフェクタ3aの動作パラメータを設定するものに限定されず、任意のものであってよい。特に、オペレータが、実行位置マーカ8として表示すべき命令を指定できるようにしてもよい。さらに、異なる命令に対応する実行位置マーカ8は、それぞれ、異なる態様(例えば異なる色や形状、大きさなど)で表示するようにしてもよい。
 以上のように、教示点マーカ5、変化位置マーカ7及び実行位置マーカ8は、互いに区別できる態様でGUI上に表示される。これにより、オペレータは、エンドエフェクタ3aの軌道を規定する教示点の位置や、エンドエフェクタ3aの動作の位置、所望の命令が実行される位置をそれぞれ区別して視覚的に把握することができる。
 なお、各マーカの追加や編集の操作は、既存の3次元グラフィクスに対するGUIの操作と同様のものを用いてよい。例えば、マーカの位置の変更は、GUI上でオペレータが該当するマーカをドラッグすることによりなされてよい。また、オペレータがGUI上の適宜のマーカを指定することによりダイアログを表示し、各種操作ができるようにしてよい。例えば、マーカを指定することにより、当該マーカの修正位置の座標入力を受け付けたり、当該マーカに対応するティーチングプログラム上の命令を編集したり、当該マーカの前又は後に新たなマーカを追加したり、当該マーカを削除できてよい。このとき、追加したマーカに対応する命令がティーチングプログラムに追加され、また、削除したマーカに対応する命令がティーチングプログラムから削除されるか、コメントアウトされる。或いは、連結軌跡6上の任意の位置を指定することにより新たなマーカを連続するマーカ間に挿入したり、GUI上の適宜の位置を指定し、新たなマーカを追加したりしてよい。この場合にも同様に、新たなマーカに対応する命令がティーチングプログラムに追加される。
 GUI上の特筆すべき操作として、変化位置マーカ7を連結軌跡6に沿ってドラッグすることにより、エンドエフェクタ3aの作動状態が変化する位置を、教示点に対する相対位置又は相対時間として指定できる。この時、ティーチングプログラムの対応する命令(例えば、上述の「SPYON」命令)における相対位置又は相対時間の指定が変更される。相対位置を用いるか相対時間を用いるかは、現時点での命令が用いている方をそのまま用いればよく、その指定が無い場合(例えば、相対位置の指定がされていない場合等)には、いずれか片方、例えば相対距離、を用いるものとしておくとよい。また、この時、変化位置マーカ7のドラッグ可能範囲を、連結軌跡6上に制限する。
 このように、GUI上のマーカを追加していくことによりティーチングプログラムが作成され、GUI上のマーカに対する操作により、ティーチングプログラムの編集がなされる。GUI制御部10により受け付けられたオペレータの操作は、操作受付部12により解釈され、ティーチングプログラムの命令に変換されて、ティーチングプログラム記憶部13bにティーチングプログラムとして記憶される。
 また、モデル表示部11aは、画面中の任意のマーカがオペレータにより指定された際に、かかるマーカにより指定された時点におけるロボット3の姿勢及び、作業対象物4の3次元画像を生成し、表示してよい。こうすることにより、オペレータは、作業中のロボットの姿勢を確認でき、また、ロボット3や作業対象物4が作業中に移動する場合(例えば、それぞれ台車などのキャリアに乗せられ、移動しながら作業を行う等)に、それぞれの作業時点におけるロボット3と作業対象物4との位置関係を視覚的に把握することができる。ロボット3や作業対象物4が作業中に移動する場合には、あらかじめ、その移動の方向や速度を指定しておく。
 さらに、画面中には、エンドエフェクタ3aの移動の実軌跡9が、実軌跡表示部11fにより表示されてよい。一般に多関節ロボットの制御において、ロボット3の動作が高速になるほど、ロボット3の先端に取り付けられたエンドエフェクタ3aが描く実軌跡9は、各教示点を理想的に結んだ軌跡(これは、連結軌跡6に等しい)からのずれが生じる。このずれの量は、ロボット3の動作速度や、各モータの制御パラメータ、ロボット先端質量などに依存するが、この実軌跡9は、ロボット3や、エンドエフェクタ3aの諸元が分かっている場合には、シミュレーションにより、或いは軌道計算により求めることができる。
 実軌跡表示部11fは、かかる実軌跡9をシミュレーション或いは軌道計算により求め、GUI上に表示するものであり、図3中では破線で示したように、連結軌跡6とは異なる態様で示される。これにより、オペレータは、エンドエフェクタ3aの理想的な軌跡である連結軌跡6だけでなく、実際にエンドエフェクタ3aが通過する実軌跡9をGUI上で確認できることになる。
 たとえば、本例で示すようにエンドエフェクタ3aがスプレーガンである場合に、図示するように実軌跡9が連結軌跡6のコーナー部分の内側を回るような軌跡を描く場合、かかる部分の周辺では塗りむらが生じたり、塗り残しが生じるなど、作業対象物4に対する作用が不十分となる場合があり得た。発明者の知見によれば、従来、オペレータは、実機による塗装結果を確認したり、経験的知見や、別途実行するシミュレーションの結果に基いて、教示点の位置を意図的に変更することにより、実軌跡9が所望の軌跡を描くように調整していたが、この調整作業は、実機を動作させたり、経験知を要求する等、非常に熟練や時間、コストを要求するものであり、オフラインティーチングをする際の大きな負担となっていた。
 そこで、本実施形態のように、実軌跡9が、教示点マーカ5や連結軌跡6、作業対象物4と同時に3次元モデリング空間内に表示されることで、実軌跡9と教示点及び作業対象物4との関係を確認しながら教示点の位置を視覚的に変更することができ、オフラインティーチングの際のオペレータの負担やコストが大幅に軽減され、その生産性を著しく向上させるととともに、オペレータの熟練を要求しないものとすることができる。
 さらに、教示点マーカ表示部11bは、GUIを用いて教示点の位置を変更する際に、教示点マーカ5の位置を動的に変化させる。すなわち、オペレータが任意の教示点マーカ5をドラッグした際に、当該教示点マーカ5は、オペレータの操作に応じてリアルタイムにその表示位置が変化する。そして、この教示点マーカ5の動的な位置変化に応じて、連結軌跡表示部11c及び実軌跡表示部11fは、その表示する連結軌跡6及び実軌跡9をそれぞれ動的に変化させてよい。すなわち、オペレータが任意の教示点マーカ5をドラッグしてその表示位置を変化させると、その変化に応じて連結軌跡6及び実軌跡9も共にリアルタイムに追従し変化するのである。
 このようにすることにより、特に、実軌跡9がリアルタイムに変化することにより、オペレータは、教示点マーカ5の位置をリアルタイムに変化させながら、実軌跡9を所望の軌跡に合わせこむという作業ができることになる。
 例えば、図4Aは、図3で示した番号6の教示点マーカ5付近を、そのスプレー方向から見た拡大図である。図示のように、番号6の教示点付近では、実軌跡9は、連結軌跡6のコーナーの大きく内側を通過する軌跡となっており、作業対象物4の角付近に塗り残しが生じることが懸念される。
 そこで、図4Bに示すように、オペレータが、番号6の教示点マーカ5を、元あった教示点マーカの位置(参照番号5’を付して破線で示した)から図中右上方向にドラッグすると、かかる操作に応じて連結軌跡6及び実軌跡9は図中示したように変化する。オペレータは、実軌跡9が、所望の軌跡を描くように教示点マーカ5の位置を調節し、ドラッグを解除してその位置を決定することにより、簡単に所望の軌跡に近い実軌跡9が得られることになる。このように、本実施形態では、実機の作動や、熟練による経験知を必要とすることなく、極めて容易に実軌跡9の作業対象物4に対する合わせこみが可能となるのである。
 続いて、図5に示したフローチャートを用いて、本実施形態に係るロボット教示装置1の動作を、特に本願発明と関連する部分に関して示す。
 まず、ステップST1において、モデル表示部11aは、モデルデータ記憶部13aからエンドエフェクタ3aを有するロボット3のモデルデータ及び、作業対象物4の3次元モデルを読み込み、続くステップST2において、3次元モデリング空間内にロボット3及び作業対象物4を配置し、GUI上に表示する。
 さらに、ステップST3において、ティーチングプログラム記憶部13bからティーチングプログラムを読み込み、かかるティーチングプログラムに基いて、ステップST4で教示点マーカ表示部11bがGUI上の3次元モデリング空間内に教示点マーカ5を表示し、ステップST5で連結軌跡表示部11cがGUI上の3次元モデリング空間内に連結軌跡6を表示し、ステップST6で変化位置マーカ表示部11dがGUI上の3次元モデリング空間内に変化位置マーカ7を表示し、ステップST7で実行位置マーカ表示部11eがGUI上の3次元モデリング空間内に実行位置マーカ8を表示し、ステップST8で実軌跡表示部11fがGUI上の3次元モデリング空間内に実軌跡9を表示する。
 その後、ステップST9でGUIに対するオペレータ入力を待つ。オペレータ入力があった場合、ステップST10で、オペレータからの指示が、処理の終了を指示するものであるかどうかを判定し、肯定(処理の終了を意味する)の場合、ロボット教示装置1の動作を終了し、そうでなければ、ステップST11へと進む。
 ステップST11で、オペレータからの指示が、マーカの追加、変更及び削除に関するものであるか否かを判定し、肯定(マーカの追加、変更及び削除を意味する)の場合、ステップST12に進み、オペレータからの入力内容に応じて、操作受付部12によりティーチングプログラムの変更がなされ、ティーチングプログラム記憶部13bに変更が記憶される。その後ステップST4に戻り、ティーチングプログラムに加えられた変更は、直ちに教示点マーカ5、連結軌跡6、変化位置マーカ7、実行位置マーカ8及び実軌道9の変化としてGUI上に表示され、反映される。これにより、オペレータがマーカに対してする操作が、GUI上にリアルタイムに反映されることになる。なお、教示点マーカ表示部11b、連結軌跡表示部11c、変化位置マーカ表示部11d、実行位置マーカ表示部11e及び実軌跡表示部11fは、その表示に変更を要する場合のみにGUI上の表示を変更すればよく、オペレータによる操作が表示に変更をもたらさないものである場合には、あらためて表示をやり直すことをせずに、ロボット教示装置1の負荷を低減するようにしてもよい。
 ステップST11で、否定(マーカの追加、変更及び削除を意味しない)の場合、ステップST13へと進み、オペレータの指示に応じたその他の処理を行う。処理の終了後は、GUI上の表示に変更を加える必要はないので、ステップST8へと戻り、さらなるオペレータの入力を待つ。
 以上、本発明に係る実施形態について説明したが、この実施形態に示した具体的な構成は一例として示したものであり、本発明の技術的範囲をこれに限定することは意図されていない。当業者は、これら開示された実施形態を適宜変形してもよく、本明細書にて開示される発明の技術的範囲は、そのようになされた変形をも含むものと理解すべきである。

Claims (12)

  1.  少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示する教示点マーカ表示部と、
     連続する前記教示点間を連結する軌跡である連結軌跡を前記GUI上に表示する連結軌跡表示部と、
     前記エンドエフェクタの作動状態の変化位置を示す変化位置マーカを前記GUI上に表示する変化位置マーカ表示部と、
    を有するロボット教示装置。
  2.  前記エンドエフェクタの移動の軌跡である実軌跡を前記GUI上に表示する実軌跡表示部を有する請求項1に記載のロボット教示装置。
  3.  前記教示点マーカ表示部は、前記GUIを用いて前記教示点の位置が変更される際に、前記教示点マーカの表示位置を動的に変化させ、
     前記実軌跡表示部は、前記教示点の位置が変更される際に、前記実軌跡を動的に変化させる請求項2に記載のロボット教示装置。
  4.  前記連結軌跡表示部は、前記連結軌跡を、通過目標位置となる教示点に対応する移動命令の種別に応じた曲線で表示する請求項1~3のいずれかに記載のロボット教示装置。
  5.  指定された命令の実行位置を示す実行位置マーカを前記GUI上に表示する実行位置マーカ表示部を有する請求項1~4のいずれかに記載のロボット教示装置。
  6.  少なくとも、前記教示点マーカと、前記変化位置マーカは、区別できる態様で表示される請求項1~5のいずれかに記載のロボット教示装置。
  7.  前記変化位置は、一の前記教示点からの相対距離及び相対時間の少なくともいずれかにより指定される請求項1~6のいずれかに記載のロボット教示装置。
  8.  前記連結軌跡表示部は、前記変化位置に応じて、前記連結軌跡の表示の態様を変化させる請求項1~7のいずれかに記載のロボット教示装置。
  9.  コンピュータを、請求項1~8のいずれかに記載のロボット教示装置として機能させるコンピュータプログラム。
  10.  少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示する教示点マーカ表示部と、
     連続する前記教示点間を連結する軌跡である連結軌跡を、通過目標位置となる教示点に対応する移動命令の種別に応じた曲線で前記GUI上に表示する連結軌跡表示部と、
    を有するロボット教示装置。
  11.  少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示し、
     連続する前記教示点間を連結する軌跡である連結軌跡を前記GUI上に表示し、
     前記エンドエフェクタの作動状態の変化位置を示す変化位置マーカを前記GUI上に表示し、
     少なくとも前記教示点マーカ及び前記変化位置マーカのいずれかに対し、前記GUI上で操作を行うことにより、前記ロボットに対する教示を行う、
    ロボット教示方法。
  12.  少なくともエンドエフェクタを有するロボットと、作業対象物の3次元モデルが配置される3次元モデリング空間内における、前記エンドエフェクタの通過目標位置となる教示点を示す教示点マーカをGUI上に表示し、
     連続する前記教示点間を連結する軌跡である連結軌跡を、通過目標位置となる教示点に対応する移動命令の種別に応じた曲線で前記GUI上に表示し、
     少なくとも前記教示点マーカに対し、前記GUI上で操作を行うことにより、前記ロボットに対する教示を行う、
    ロボット教示方法。
PCT/JP2015/080863 2015-10-30 2015-10-30 ロボット教示装置、コンピュータプログラム及びロボット教示方法 WO2017072979A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201580084214.4A CN108349085B (zh) 2015-10-30 2015-10-30 机器人教学装置、计算机程序和机器人教学方法
EP15907342.8A EP3369534B1 (en) 2015-10-30 2015-10-30 Robot teaching device, computer program, and robot teaching method
JP2017547339A JP6915543B2 (ja) 2015-10-30 2015-10-30 ロボット教示装置、コンピュータプログラム及びロボット教示方法
PCT/JP2015/080863 WO2017072979A1 (ja) 2015-10-30 2015-10-30 ロボット教示装置、コンピュータプログラム及びロボット教示方法
US15/953,510 US11092950B2 (en) 2015-10-30 2018-04-16 Robot teaching device, and robot teaching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080863 WO2017072979A1 (ja) 2015-10-30 2015-10-30 ロボット教示装置、コンピュータプログラム及びロボット教示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/953,510 Continuation US11092950B2 (en) 2015-10-30 2018-04-16 Robot teaching device, and robot teaching method

Publications (1)

Publication Number Publication Date
WO2017072979A1 true WO2017072979A1 (ja) 2017-05-04

Family

ID=58631458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080863 WO2017072979A1 (ja) 2015-10-30 2015-10-30 ロボット教示装置、コンピュータプログラム及びロボット教示方法

Country Status (5)

Country Link
US (1) US11092950B2 (ja)
EP (1) EP3369534B1 (ja)
JP (1) JP6915543B2 (ja)
CN (1) CN108349085B (ja)
WO (1) WO2017072979A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019000947A (ja) * 2017-06-16 2019-01-10 タクボエンジニアリング株式会社 塗装ロボットにおける軌道データのシミュレーション方法
JP2019188542A (ja) * 2018-04-26 2019-10-31 セイコーエプソン株式会社 制御装置、ロボット、及びロボットシステム
JP2020049569A (ja) * 2018-09-25 2020-04-02 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
JP2021094621A (ja) * 2019-12-16 2021-06-24 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
DE102019002898B4 (de) 2018-04-25 2022-11-03 Fanuc Corporation Robotersimulationsvorrichtung
WO2022255206A1 (ja) * 2021-06-04 2022-12-08 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
WO2024189839A1 (ja) * 2023-03-15 2024-09-19 ファナック株式会社 ロボットのプログラミング装置及びプログラミング方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210001484A1 (en) * 2018-03-27 2021-01-07 Productive Robotics, Inc. Collaborative Robot System Incorporating Enhanced Human Interface
CN109822569B (zh) * 2019-01-30 2021-04-09 深圳镁伽科技有限公司 机器人控制方法、系统及存储介质
CN110434856B (zh) * 2019-08-23 2021-04-20 珠海格力电器股份有限公司 一种焊接控制方法、装置、存储介质及焊接机器人
JP7364696B2 (ja) * 2020-01-20 2023-10-18 ファナック株式会社 ロボットシミュレーション装置
WO2022228681A1 (en) * 2021-04-29 2022-11-03 Abb Schweiz Ag Method of programming manipulator, control system and industrial robot
CN113681574A (zh) * 2021-08-24 2021-11-23 南京航空航天大学 一种面向钣金折弯的机器人三维可视化仿真与离线编程系统
WO2024202042A1 (ja) * 2023-03-31 2024-10-03 株式会社ニコン 演算装置、ロボット制御方法、処理方法、表示方法、コンピュータプログラム、記録媒体、経路生成方法及び搬送方法
CN116587327B (zh) * 2023-06-20 2024-06-18 广东电网有限责任公司广州供电局 运动控制系统、带电作业机器人检测方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08174454A (ja) * 1994-12-22 1996-07-09 Kobe Steel Ltd 産業用ロボットの軌跡表示装置
JPH10291183A (ja) * 1997-04-18 1998-11-04 Yaskawa Electric Corp ロボット言語処理装置
JP2000075912A (ja) * 1998-09-03 2000-03-14 Omron Corp ロボットシステムおよび記録媒体
JP2005066797A (ja) * 2003-08-27 2005-03-17 Fanuc Ltd ロボットプログラム位置修正装置
JP2005149016A (ja) * 2003-11-13 2005-06-09 Fanuc Ltd ロボットプログラム修正装置
JP2010179388A (ja) * 2009-02-04 2010-08-19 Toshiba Mach Co Ltd ロボット教示システム
JP2012198600A (ja) * 2011-03-18 2012-10-18 Denso Wave Inc ロボットの制御装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61217804A (ja) * 1985-03-22 1986-09-27 Shinko Electric Co Ltd 産業用ロボツトの教示軌跡表示方法
US5600759A (en) * 1989-03-20 1997-02-04 Fanuc Ltd. Robot capable of generating patterns of movement path
JP4014662B2 (ja) * 1995-09-18 2007-11-28 ファナック株式会社 ロボット教示操作盤
US6167328A (en) * 1995-09-19 2000-12-26 Kabushiki Kaisha Yaskawa Denki Robot language processing apparatus
JPH09146621A (ja) * 1995-11-01 1997-06-06 Mitsubishi Electric Corp ロボットのシミュレーション装置
JPH11345018A (ja) * 1998-05-29 1999-12-14 Tokico Ltd ロボット制御装置
SE525108C2 (sv) * 2002-12-30 2004-11-30 Abb Research Ltd Metod och system för programmering av en industrirobot, datorprogramprodukt, datorläsbart medium samt användning
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
GB2418033B (en) * 2003-06-02 2007-06-20 Honda Motor Co Ltd Teaching data preparing method for articulated robot
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
US7236854B2 (en) * 2004-01-05 2007-06-26 Abb Research Ltd. Method and a system for programming an industrial robot
JP3971773B2 (ja) * 2005-10-12 2007-09-05 ファナック株式会社 ロボットのオフライン教示装置
US9731419B2 (en) * 2010-08-03 2017-08-15 Praxair S.T. Technology, Inc. System and method for programming robots
JP5716769B2 (ja) 2013-02-21 2015-05-13 株式会社安川電機 ロボットシミュレータ、ロボット教示装置およびロボット教示方法
JP5742862B2 (ja) 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
JP5975010B2 (ja) * 2013-10-17 2016-08-23 株式会社安川電機 ティーチングシステムおよびティーチング方法
JP6379874B2 (ja) * 2014-08-29 2018-08-29 株式会社安川電機 ティーチングシステム、ロボットシステムおよびティーチング方法
JP6676286B2 (ja) * 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08174454A (ja) * 1994-12-22 1996-07-09 Kobe Steel Ltd 産業用ロボットの軌跡表示装置
JPH10291183A (ja) * 1997-04-18 1998-11-04 Yaskawa Electric Corp ロボット言語処理装置
JP2000075912A (ja) * 1998-09-03 2000-03-14 Omron Corp ロボットシステムおよび記録媒体
JP2005066797A (ja) * 2003-08-27 2005-03-17 Fanuc Ltd ロボットプログラム位置修正装置
JP2005149016A (ja) * 2003-11-13 2005-06-09 Fanuc Ltd ロボットプログラム修正装置
JP2010179388A (ja) * 2009-02-04 2010-08-19 Toshiba Mach Co Ltd ロボット教示システム
JP2012198600A (ja) * 2011-03-18 2012-10-18 Denso Wave Inc ロボットの制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3369534A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019000947A (ja) * 2017-06-16 2019-01-10 タクボエンジニアリング株式会社 塗装ロボットにおける軌道データのシミュレーション方法
DE102019002898B4 (de) 2018-04-25 2022-11-03 Fanuc Corporation Robotersimulationsvorrichtung
JP2019188542A (ja) * 2018-04-26 2019-10-31 セイコーエプソン株式会社 制御装置、ロボット、及びロボットシステム
JP7225560B2 (ja) 2018-04-26 2023-02-21 セイコーエプソン株式会社 制御装置、ロボットシステム、及び表示制御方法
JP2020049569A (ja) * 2018-09-25 2020-04-02 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
JP2021094621A (ja) * 2019-12-16 2021-06-24 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
JP7436796B2 (ja) 2019-12-16 2024-02-22 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
WO2022255206A1 (ja) * 2021-06-04 2022-12-08 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
WO2024189839A1 (ja) * 2023-03-15 2024-09-19 ファナック株式会社 ロボットのプログラミング装置及びプログラミング方法

Also Published As

Publication number Publication date
US11092950B2 (en) 2021-08-17
JPWO2017072979A1 (ja) 2018-07-26
CN108349085A (zh) 2018-07-31
EP3369534A4 (en) 2019-04-03
EP3369534B1 (en) 2022-05-04
US20180231965A1 (en) 2018-08-16
JP6915543B2 (ja) 2021-08-04
EP3369534A1 (en) 2018-09-05
CN108349085B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
JP6915543B2 (ja) ロボット教示装置、コンピュータプログラム及びロボット教示方法
US10525594B2 (en) Teaching system, robot system, and teaching method
JP5716769B2 (ja) ロボットシミュレータ、ロボット教示装置およびロボット教示方法
JP5729404B2 (ja) ティーチングシステムおよびティーチング方法
US9625899B2 (en) Teaching system, robot system, and teaching method
US20150112482A1 (en) Teaching system and teaching method
JP2006190228A (ja) 動作プログラムの作成方法
JP6717401B1 (ja) プログラミング支援装置、ロボットシステム及びプログラミング支援方法
US20200094408A1 (en) Device which supports programming for robots
JP2018534161A (ja) ロボットオフラインプログラミング方法及びこれを使用する装置
JP4574580B2 (ja) 作業ロボットのオフラインティーチング装置
JP2003127077A (ja) 作業ロボットのロボットプログラム修正装置。
EP3830812B1 (en) System and method for weld training
JP5994848B2 (ja) タイムチャート作成装置、コントローラ、機械要素制御システム、タイムチャート作成方法、プログラム及び情報記憶媒体
JP5813931B2 (ja) 教示データの修正システム
CN111702380A (zh) 一种焊接机器人焊接过程控制方法
WO2020079889A1 (ja) 自動描画システム及び自動描画システムの運転方法
JP2006343975A (ja) ロボット教示装置
US20220331958A1 (en) Multi-joint-robot linear-member-shape simulator, multi-joint-robot linear-member-shape simulation method, and multi-joint-robot linear-member-shape simulation program
EP4431250A1 (en) Robot with smart path planning for multiple parts
JP7436796B2 (ja) ロボットのプログラム作成支援装置
JP2024017119A (ja) 表示装置、表示方法、およびプログラム
JP2017094458A (ja) ロボットの移動軌跡描画装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907342

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017547339

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE