WO2022045068A1 - ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラム - Google Patents

ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラム Download PDF

Info

Publication number
WO2022045068A1
WO2022045068A1 PCT/JP2021/030812 JP2021030812W WO2022045068A1 WO 2022045068 A1 WO2022045068 A1 WO 2022045068A1 JP 2021030812 W JP2021030812 W JP 2021030812W WO 2022045068 A1 WO2022045068 A1 WO 2022045068A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
welding
teaching
control device
welding torch
Prior art date
Application number
PCT/JP2021/030812
Other languages
English (en)
French (fr)
Inventor
瞬 小寺
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US18/040,412 priority Critical patent/US20240009748A1/en
Priority to JP2022544587A priority patent/JPWO2022045068A1/ja
Priority to DE112021004453.2T priority patent/DE112021004453T5/de
Priority to CN202180051767.5A priority patent/CN116113900A/zh
Publication of WO2022045068A1 publication Critical patent/WO2022045068A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0953Monitoring or automatic control of welding parameters using computing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39449Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39451Augmented reality for robot programming
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45104Lasrobot, welding robot

Definitions

  • the present invention relates to a robot welding system, a robot operation terminal, and a welding robot teaching program.
  • the welding wire is projected from the tip of the welding torch to the same length as when actual welding is performed, and the robot is taught while checking the positional relationship between the welding wire and the object. It is desirable to do.
  • the robot is actually operated to teach, there is a possibility that the welding wire is erroneously brought into contact with the object and the welding wire is bent. Since it is not possible to give accurate teaching when the welding wire is bent, it is necessary to return the welding wire to an appropriate state each time. For this reason, the teaching work requires careful operation of the robot so that the welding wire does not come into contact with the object as much as possible, and requires skill of the operator.
  • An object of the present invention is to provide a system capable of easily teaching a welding robot.
  • the robot welding system includes a robot, a robot control device that controls the robot according to a machining program, a welding torch attached to the tip of the robot to arc weld an object, an image pickup device, and a display.
  • the robot control device includes a robot operation terminal that has a device and a terminal control device and communicates with the robot control device, and the terminal control device has a teaching reception unit that receives input of teaching information of the robot.
  • the terminal control device includes a posture calculation unit that calculates the posture of the welding torch based on the basic information of the robot stored in the robot control device, the machining program, and the teaching information input to the teaching reception unit.
  • the AR display unit that displays the operation information of the welding torch corresponding to the image taken by the image pickup device on the display device overlaid on the image taken by the image pickup device, and the robot based on the teaching information.
  • the control device has a program recording unit for modifying or newly storing the machining program.
  • the robot operation terminal is a robot welding system for performing arc welding of an object by a welding torch attached to the tip of a robot controlled by a robot control device according to a machining program. It is a robot operation terminal to be performed, and includes an image pickup device, a display device, and a terminal control device.
  • the posture calculation unit that calculates the posture of the welding torch based on the basic information, the processing program, and the teaching information input to the teaching reception unit, and the display device, the above-mentioned corresponding to the image taken by the image pickup device.
  • An AR display unit that displays the operation information of the welding torch superimposed on the image taken by the image pickup device, and a program recording unit that modifies or newly stores the machining program in the robot control device based on the teaching information. , Have.
  • the welding robot teaching program is an image pickup device and a display in a robot welding system that performs arc welding of an object by a welding torch attached to the tip of a robot controlled by a robot control device according to a machining program.
  • a welding robot teaching program that enables a mobile terminal having a device and a terminal control device to teach the robot, and is stored in a teaching control unit that receives input of teaching information of the robot and the robot control device.
  • the posture calculation control unit that calculates the posture of the welding torch, the display device, and the image taken by the image pickup device.
  • the AR display control unit that displays the operation information of the corresponding welding torch superimposed on the image taken by the image pickup device, and the robot control device that modifies or newly stores the machining program based on the teaching information. It is equipped with a program recording control unit.
  • the robot welding system According to the robot welding system, the robot operation terminal, and the welding robot teaching program according to the present disclosure, it is possible to easily teach the welding robot.
  • FIG. 3 by the display device of the robot operation terminal of the robot welding system of FIG.
  • FIGS. 3 and 4 by the display device of the robot operation terminal of the robot welding system of FIG.
  • FIGS. 3 to 5 by the display device of the robot operation terminal of the robot welding system of FIG.
  • FIGS. 3 to 6 by the display device of the robot operation terminal of the robot welding system of FIG.
  • FIG. 1 is a schematic diagram showing a configuration of a robot welding system 1 according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing a configuration related to control of the robot welding system 1.
  • the robot welding system 1 includes a robot 10, a robot control device 20 that controls the robot 10 according to a machining program, a welding torch 30 attached to the tip of the robot 10, a robot operation terminal 40 that communicates with the robot control device 20, and welding.
  • a jig 50 for holding the object W to be welded is provided.
  • the robot welding system 1 performs arc welding of an object W by a welding torch 30 attached to the tip of a robot 10 controlled by a robot control device 20 according to a machining program.
  • the robot 10 has a plurality of drive shafts and can position the welding torch 30 in an arbitrary posture (spatial position and orientation).
  • the robot 10 may be a scalar type robot, a parallel link type robot, a Cartesian coordinate type robot, or the like, but it is a versatile vertical articulated robot in which the spatial position and orientation of the welding torch 30 can be determined relatively freely. It is preferable to use.
  • the robot control device 20 has a storage unit 21 that stores basic information such as machine configuration information of the robot 10 and a machining program, and a command for designating an angular position of each drive shaft that can position the robot 10 in a posture specified by the machining program.
  • a command value generation unit 22 for generating a value is provided.
  • the robot control device 20 has a predetermined machining coordinate system, specifically, a world coordinate system having the center of the installation base of the robot 10 as the origin and a tool coordinate system having the tool tip position (the tip of the protruding welding wire) as the origin. ,
  • the posture of the robot 10 is determined in the user coordinate system whose origin is a position arbitrarily specified by the user.
  • the robot control device 20 can be realized by introducing an appropriate control program into a computer device having a CPU, a memory, a communication interface, and the like.
  • Each component of the robot control device 20 may be realized by independent hardware or may be realized by a single piece of hardware. That is, each component of the robot control device 20 does not have to be clearly distinguishable in its mechanical structure and program structure, as it classifies the functions of the robot control device 20. Further, the robot control device 20 may have additional components that realize other functions.
  • the welding torch 30 for example, one that performs gas shield welding using consumable electrodes such as carbon dioxide arc welding, MIG welding, and MAG welding is particularly preferably used.
  • a welding torch using a non-consumable electrode such as TIG welding may be used, and the use of a torch for other welding is not excluded.
  • the robot operation terminal 40 itself is an embodiment of the robot operation terminal according to the present disclosure.
  • the robot operation terminal 40 of the present embodiment includes a communication device 41, an image pickup device 42, a display device 43, an input device 44, and a terminal control device 45.
  • the robot operation terminal 40 can be realized by installing an appropriate welding robot teaching program on a mobile terminal such as a tablet PC, a notebook PC, or a smartphone.
  • the welding robot teaching program for realizing the robot operation terminal 40 is itself an embodiment of the welding robot teaching program according to the present invention.
  • the communication device 41 is a device that controls communication with the robot control device 20 via a wired LAN, a wireless LAN, a public communication network, etc.
  • the image pickup device 42 is a camera having an image pickup element.
  • the display device 43 is an image display device such as a liquid crystal display panel and an organic EL display panel
  • the input device 44 is a keyboard, a touch sensor, and the like.
  • the display device 43 and the input device 44 are preferably a touch panel integrally formed. Further, the terminal control device 45 has a CPU, a memory, and the like, and controls the communication device 41, the image pickup device 42, the display device 43, and the input device 44 by executing the welding robot teaching program.
  • the terminal control device 45 has a teaching reception unit 451, a posture calculation unit 452, an AR display unit 453, and a program recording unit 454. These components categorize the functions of the terminal control device 45 and may not be clearly distinguishable in the program structure thereof. In addition, the terminal control device 45 may have additional components that realize other functions.
  • the teaching reception unit 451 instructs the position information of the teaching point (for example, the position of the reference point of the welding torch 30, the position of the machining point, etc.) designated by the user as the position representing the posture of the welding torch 30 and the direction of the welding torch 30.
  • the input by the input device 44 of the teaching information including the information to be performed is accepted.
  • the teaching reception unit 451 causes the display device 43 to display an image in which the grid representing the coordinates is superimposed on the image around the object taken by the image pickup device 42, and the user displays the image on the display device 43 by the input device 44.
  • the position of it may be configured so that the coordinates of the teaching point can be specified.
  • the teaching reception unit 451 displays an image showing the axial direction of the processing coordinate system for arc welding on the display device 43. This makes it easier for the user to grasp the posture of the robot 10 and the content of the teaching operation performed by the user.
  • the teaching reception unit 451 causes the display device 43 to display a pointer indicating the coordinates of the candidate position of the teaching point, and an operation of moving the pointer on the screen and an operation of determining the position of the pointer displayed on the screen as the teaching point. And may be configured to accept.
  • the posture calculation unit 452 is based on the basic information and processing program of the robot 10 stored in the storage unit 21 of the robot control device 20 and the teaching information input to the teaching reception unit 451. Calculate (spatial position and orientation).
  • the posture calculation unit 452 is configured to be able to calculate the posture of the welding torch 30 based only on the basic information and the machining program, if necessary.
  • the posture calculation unit 452 can continuously calculate the posture of the welding torch 30 for each time according to the machining program stored in the robot control device 20. By continuously calculating the posture of the welding torch 30 at each time by the posture calculation unit 452, it becomes possible to confirm the locus of movement of the welding torch 30 according to the machining program.
  • the AR display unit 453 causes the display device 43 to display (AR display) the operation information of the welding torch 30 corresponding to the image taken by the image pickup device 42 on the image taken by the image pickup device 42.
  • the operation information AR displayed on the display device 43 is the model of the tip of the welding torch 30, the reference point of the welding torch 30, the machining point by the welding torch 30, the reference point of the welding torch 30, or the movement of the machining point by the welding torch 30. It is preferable to include at least one of the direction, the angle of the welding torch 30 with respect to the object W, the axial direction of the coordinate system in which the robot 10 operates, and the protrusion length of the welding wire from the welding torch 30.
  • the operation information may include the speed of the welding torch 30 or the machining point, or the interval between the teaching points, and is used for the feeding speed command value, the welding current command value, the welding voltage command value, and the welding waveform control of the welding wire. It may contain at least one of the command values of.
  • the AR display unit 453 identifies the posture of the welding torch 30 in the image taken by the image pickup apparatus 42 based on each axis angle information of the robot 10 and the setting information of the processing coordinate system, and determines the posture of the welding torch 30 in the processing coordinate system.
  • the user can easily grasp the moving direction of the welding torch 30 in response to the input to the teaching reception unit 451.
  • the AR display unit 453 calculates the protrusion length of the welding wire based on the image taken by the image pickup device 42, and AR displays the calculated protrusion length of the welding wire, so that the user can determine the suitability of welding. It is easy to judge.
  • a plurality of welding torches 30 indicating the postures of the welding torches 30 at each teaching point of the machining program calculated by the posture calculation unit 452, superimposed on the image of the work W taken by the image pickup apparatus 42.
  • a model of the tip portion, a plurality of markers indicating the positions of the processing points at each teaching point, and a line indicating the locus of the processing points between the teaching points are AR-displayed.
  • the AR display unit 453 collectively displays the operation information of the welding torch 30 at the plurality of teaching points in AR, so that the user can easily confirm the suitability of the machining program.
  • the robot 10 can be taught without actually operating the robot 10, or the contents of the machining program stored in the robot control device 20 can be displayed. Allows you to check and modify the machining program.
  • the AR display unit 453 determines the welding conditions such as the welding distance at each teaching point, the welding speed (moving speed from the processing point to the next processing point), and the posture of the welding torch 30 by the robot 10. Character information of is displayed in AR. Further, the display of these character information may also serve as an interface of the teaching reception unit 451. Specifically, the user may touch the character displayed by the AR display unit 453 to display the teaching reception unit 451 in which the touched item can be corrected by the user. This facilitates fine adjustment of the machining program. Further, such character information may be configured to be hidden by the user's selection.
  • the character information of the welding conditions determined by the robot 10 such as the welding current command value and the welding voltage command value is AR-displayed on the same photographed image as in FIG.
  • the display of such welding conditions may also serve as the interface of the teaching reception unit 451. Further, such a display screen may be provided with a function of displaying a graph of changes in welding conditions from the start to the end of welding.
  • the AR display unit 453 displays both or the difference between the operation information before the modification of the machining program by the program recording unit 454 and the operation information after the modification of the machining program by the program recording unit 454. It may be displayed. In this way, by displaying the change in the welding state due to the modification of the machining program, the user can easily confirm the suitability of the modification of the machining program. It is preferable that the AR display unit 453 displays the locus by the machining program before the correction and the locus by the machining program after the correction so as to be distinguishable by a color, a line type, or the like.
  • the model of the tip of the welding torch 30 according to the machining program before the modification and the welding according to the machining program after the modification may be superimposed and displayed in AR. This makes it possible to easily confirm the effect of the modification of the machining program.
  • the AR display unit 453 can change the display of the model or the like of the welding torch 30 at each time according to the machining program, that is, can display the operation of the welding torch 30 as a moving image. By displaying the operation of the welding torch 30 as a moving image, the user can easily confirm the suitability of the machining program. Further, the AR display unit 453 may display a locus on which a reference point of the welding torch 30 at each time, a processing point by the welding torch 30, and the like are overlapped. As a result, the user can easily grasp the welding torch 30 and the movement of welding by the welding torch 30.
  • the program recording unit 454 creates a machining program based on the teaching information, corrects the machining program stored in the storage unit 21 of the robot control device 20, or stores the machining program in the storage unit 21.
  • the program recording unit 454 modifies the machining program stored in the storage unit 21 to generate a new machining program, the machining program before the modification may be left.
  • the jig 50 holds the object W immovably in the machining coordinate system.
  • the jig 50 may have a plurality of markers for accurately grasping the posture of the jig 50 and the object W in the captured image of the image pickup device 42 of the robot operation terminal 40.
  • the robot welding system 1 since the user determines the viewpoint by the robot operation terminal 40, various elements such as a conventional complete simulation environment (robot model, torch model, welding object model, etc.) are PC-based by dedicated software. Compared with the operation of determining the viewpoint with a mouse or the like in the environment displayed on the screen), the viewpoint can be set intuitively. Therefore, the robot welding system 1 can easily confirm the operation of the welding torch 30 and the like, and can easily input and modify the machining program.
  • a conventional complete simulation environment robot model, torch model, welding object model, etc.
  • one embodiment of the welding robot teaching program according to the present disclosure includes a teaching control unit that realizes the teaching reception unit 451, a posture calculation control unit that realizes the posture calculation unit 452, and an AR display. It has an AR display control unit that realizes the unit 453 and a program recording control unit that realizes the program recording unit 454.
  • the welding robot teaching program according to the present disclosure may be provided by recording on a non-temporary recording medium.
  • the robot control device may have a part or all of the posture calculation unit, the AR display unit, and the program recording unit of the terminal control device in the above-described embodiment.
  • the terminal control device may have a teaching reception unit, and the robot control device or the terminal control device may have a posture calculation unit, an AR display unit, and a program recording unit.
  • Robot welding system 10
  • Robot control device 21
  • Storage unit 22
  • Command value generation unit 30
  • Welding torch 40
  • Robot operation terminal 41
  • Communication device 42
  • Imaging device 43
  • Display device 44
  • Input device 45
  • Teaching reception unit 452
  • Attitude calculation unit 453
  • Program recording unit 50 Jig W Object

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Plasma & Fusion (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

溶接ロボットの教示を容易に行うことができるシステムを提供すること。本開示の一態様に係るロボット溶接システムは、ロボットと、ロボット制御装置と、溶接トーチと、撮像装置、表示装置及び端末制御装置を有するロボット操作端末と、を備え、端末制御装置は、ロボットの教示情報の入力を受け付ける教示受付部を有し、ロボット制御装置又は端末制御装置は、ロボットの基本情報及び加工プログラム並びに教示受付部に入力された教示情報に基づいて、溶接トーチの姿勢を算出する姿勢算出部と、表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、撮像装置が撮影した画像に重ねて表示させるAR表示部と、教示情報に基づいて、ロボット制御装置に加工プログラムを修正又は新たに記憶させるプログラム記録部と、を有する。

Description

ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラム
 本発明は、ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラムに関する。
 溶接ガンや溶接トーチをロボットにより移動させて溶接作業を行うロボット溶接では、一般的に、ロボットの動作を教示する作業が必要とされる。ロボットの教示作業では、ロボット又はロボットが保持する溶接ガンや溶接トーチが周囲の機器や対象物に接触しないよう、慎重にロボットを動作させる必要がある。
 例として、アーク溶接ロボットを教示する場合、溶接トーチの先端から実際の溶接を行う時と同じ長さに溶接ワイヤを突出させ、この溶接ワイヤと対象物との位置関係を確認しながらロボットの教示を行うことが望ましい。しかしながら、実際にロボットを動作させて教示を行う場合、誤って溶接ワイヤを対象物に当接させて、溶接ワイヤを屈曲させるおそれがある。溶接ワイヤが曲がった状態では正確な教示を行うことができないので、その都度、溶接ワイヤを適切な状態に戻す必要がある。このため、教示作業は、溶接ワイヤを極力対象物に当接させないよう慎重にロボットを操作する必要があり、オペレータに熟練度が要求される作業である。
 ロボットの教示を行う技術としては、コンピュータ上にロボット及び周辺機器の3次元モデルを構成し、ロボットの動作をシミュレーションすることで、実際にロボットが周辺機器に接触するトラブルを防止する技術が提案されている(例えば、特許文献1参照)。
特開2003-165079号公報
 シミュレーションにより溶接ロボットの動作を教示する場合、周辺機器及び対象物の精密な3次元モデルが必要であり、そのデータの準備が煩雑である。このため、溶接ロボットの教示を容易に行うことができるシステムが望まれる。
 本発明は、溶接ロボットの教示を容易に行うことができるシステムを提供することを目的とする。
 本開示の一態様に係るロボット溶接システムは、ロボットと、加工プログラムに従って前記ロボットを制御するロボット制御装置と、前記ロボットの先端に取り付けられ、対象物をアーク溶接する溶接トーチと、撮像装置、表示装置及び端末制御装置を有し、前記ロボット制御装置と通信するロボット操作端末と、を備え、前記端末制御装置は、前記ロボットの教示情報の入力を受け付ける教示受付部を有し、前記ロボット制御装置又は前記端末制御装置は、前記ロボット制御装置が記憶する前記ロボットの基本情報及び前記加工プログラム並びに前記教示受付部に入力された教示情報に基づいて、前記溶接トーチの姿勢を算出する姿勢算出部と、前記表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、前記撮像装置が撮影した画像に重ねて表示させるAR表示部と、前記教示情報に基づいて、前記ロボット制御装置に前記加工プログラムを修正又は新たに記憶させるプログラム記録部と、を有する。
 本開示の別の態様に係るロボット操作端末は、加工プログラムに従ってロボット制御装置により制御されるロボットの先端に取り付けられた溶接トーチによって対象物のアーク溶接を行うロボット溶接システムにおいて、前記ロボットの教示を行うロボット操作端末であって、撮像装置、表示装置及び端末制御装置を備え、前記端末制御装置は、前記ロボットの教示情報の入力を受け付ける教示受付部と、前記ロボット制御装置が記憶する前記ロボットの基本情報及び前記加工プログラム並びに前記教示受付部に入力された教示情報に基づいて、前記溶接トーチの姿勢を算出する姿勢算出部と、前記表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、前記撮像装置が撮影した画像に重ねて表示させるAR表示部と、前記教示情報に基づいて、前記ロボット制御装置に前記加工プログラムを修正又は新たに記憶させるプログラム記録部と、を有する。
 本開示の別の態様に係る溶接ロボット教示プログラムは、ロボット制御装置により加工プログラムに従って制御されるロボットの先端に取り付けられた溶接トーチによって対象物のアーク溶接を行うロボット溶接システムにおいて、撮像装置、表示装置及び端末制御装置を有する携帯端末により前記ロボットの教示を行うことを可能にする溶接ロボット教示プログラムであって、前記ロボットの教示情報の入力を受け付ける教示制御部と、前記ロボット制御装置が記憶する前記ロボットの基本情報及び前記加工プログラム並びに前記教示制御部が受け付けた教示情報に基づいて、前記溶接トーチの姿勢を算出する姿勢算出制御部と、前記表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、前記撮像装置が撮影した画像に重ねて表示させるAR表示制御部と、前記教示情報に基づいて、前記ロボット制御装置に前記加工プログラムを修正又は新たに記憶させるプログラム記録制御部と、を備える。
 本開示に係るロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラムによれば、溶接ロボットの教示を容易に行うことができる。
本発明の一実施形態に係るロボット溶接システムの構成を示す模式図である。 図1のロボット溶接システムの制御に係る構成を示すブロック図である。 図1のロボット溶接システムのロボット操作端末の表示装置による表示画像を例示する図である。 図1のロボット溶接システムのロボット操作端末の表示装置による図3とは異なる表示画像を例示する図である。 図1のロボット溶接システムのロボット操作端末の表示装置による図3、4とは異なる表示画像を例示する図である。 図1のロボット溶接システムのロボット操作端末の表示装置による図3から5とは異なる表示画像を例示する図である。 図1のロボット溶接システムのロボット操作端末の表示装置による図3から6とは異なる表示画像を例示する図である。
 以下、本発明の実施形態について、図面を参照しながら説明する。図1は、本開示の一実施形態に係るロボット溶接システム1の構成を示す模式図である。図2は、ロボット溶接システム1の制御に係る構成を示すブロック図である。
 ロボット溶接システム1は、ロボット10と、加工プログラムに従ってロボット10を制御するロボット制御装置20と、ロボット10の先端に取り付けられる溶接トーチ30と、ロボット制御装置20と通信するロボット操作端末40と、溶接される対象物Wを保持する治具50と、を備える。ロボット溶接システム1は、加工プログラムに従ってロボット制御装置20により制御されるロボット10の先端に取り付けられた溶接トーチ30によって、対象物Wのアーク溶接を行う。
 ロボット10は、複数の駆動軸を有し、溶接トーチ30を任意の姿勢(空間位置及び向き)に位置決めできる。ロボット10は、スカラー型ロボット、パラレルリンク型ロボット、直交座標型ロボット等であってもよいが、汎用性があり、溶接トーチ30の空間位置及び向きを比較的自由に定められる垂直多関節型ロボットを用いることが好ましい。
 ロボット制御装置20は、ロボット10の機械構成情報等の基本情報及び加工プログラムを記憶する記憶部21と、加工プログラムによって指定される姿勢にロボット10を位置決めできる各駆動軸の角度位置を指定する指令値を生成する指令値生成部22と、を備える。ロボット制御装置20は、所定の加工座標系、具体的にはロボット10の設置ベース部の中心を原点とするワールド座標系やツール先端位置(突出した溶接ワイヤの先端)を原点とするツール座標系、ユーザが任意に指定する位置を原点とするユーザ座標系において、ロボット10の姿勢を定める。
 ロボット制御装置20は、CPU、メモリ、通信インターフェイス等を有するコンピュータ装置に適切な制御プログラムを導入することによって実現することができる。ロボット制御装置20の各構成要素は、それぞれ独立したハードウェアによって実現されてもよく、単一のハードウェアによって実現されてもよい。つまり、ロボット制御装置20の各構成要素は、ロボット制御装置20の機能を類別したものであって、その機械的構造及びプログラム構造において明確に区分できるものでなくてもよい。また、ロボット制御装置20は、他の機能を実現するさらなる構成要素を有してもよい。
 溶接トーチ30としては、例えば炭酸ガスアーク溶接、MIG溶接、MAG溶接等の消耗電極を用いるガスシールド溶接を行うものが特に好適に使用される。なお、例えばTIG溶接等の非消耗電極を用いる溶接トーチを使用してもよく、その他の溶接を行うトーチの使用も除外されない。
 ロボット操作端末40は、それ自体が本開示に係るロボット操作端末の一実施形態である。本実施形態のロボット操作端末40は、通信装置41、撮像装置42、表示装置43、入力装置44及び端末制御装置45を備える。
 ロボット操作端末40は、例えばタブレットPC、ノートPC、スマートフォン等の携帯端末に適切な溶接ロボット教示プログラムをインストールすることによって実現することができる。ロボット操作端末40を実現するための溶接ロボット教示プログラムは、それ自体が本発明に係る溶接ロボット教示プログラムの一実施形態である。この構成から明らかなように、通信装置41は、有線LAN、無線LAN、公衆通信網等を介したロボット制御装置20との通信を制御する装置であり、撮像装置42は、撮像素子を有するカメラであり、表示装置43は、液晶ディスプレイパネル、有機ELディスプレイパネル等の画像表示装置であり、入力装置44はキーボード、タッチセンサ等である。表示装置43と入力装置44とは一体に形成されるタッチパネルであることが好ましい。また、端末制御装置45は、CPU、メモリ等を有し、溶接ロボット教示プログラムを実行することにより、通信装置41、撮像装置42、表示装置43、及び入力装置44を制御する。
 端末制御装置45は、教示受付部451、姿勢算出部452、AR表示部453、及びプログラム記録部454を有する。これらの構成要素は、端末制御装置45の機能を類別したものであって、そのプログラム構造において明確に区分できるものでなくてもよい。また、端末制御装置45は、他の機能を実現するさらなる構成要素を有してもよい。
 教示受付部451は、溶接トーチ30の姿勢を代表する位置としてユーザが指定する教示点(例えば溶接トーチ30の基準点の位置、加工点の位置等)の位置情報及び溶接トーチ30の向きを指示する情報を含む教示情報の入力装置44による入力を受け付ける。具体例として、教示受付部451は、撮像装置42が撮影した対象物の周囲の画像に座標を表すマス目を重ねた画像を表示装置43に表示させ、ユーザが入力装置44によって表示装置43上の位置を選択することで、教示点の座標を特定できるよう構成され得る。
 教示受付部451は、アーク溶接を行う加工座標系の軸方向を示す画像を表示装置43に表示させることが好ましい。これにより、ユーザがロボット10の姿勢及び自身が行う教示動作の内容を把握しやすくなる。
 教示受付部451は、表示装置43に教示点の候補位置の座標を示すポインタを表示させ、ポインタを画面上で移動させる操作と、画面上に表示されるポインタの位置を教示点として確定する操作と、を受け付けるよう構成されてもよい。
 姿勢算出部452は、ロボット制御装置20の記憶部21が記憶するロボット10の基本情報及び加工プログラム並びに教示受付部451に入力された教示情報に基づいて、ロボット10の姿勢ひいては溶接トーチ30の姿勢(空間位置及び向き)を算出する。姿勢算出部452は、必要に応じて、基本情報及び加工プログラムのみに基づいて溶接トーチ30の姿勢を算出することもできるよう構成される。
 姿勢算出部452は、ロボット制御装置20が記憶する加工プログラムに従う時刻毎の溶接トーチ30の姿勢を連続して算出可能であることが好ましい。姿勢算出部452が時刻毎の溶接トーチ30の姿勢を連続して算出することで、加工プログラムに従う溶接トーチ30の移動の軌跡が確認可能になる。
 AR表示部453は、表示装置43に、撮像装置42が撮影した画像に対応する溶接トーチ30の動作情報を、撮像装置42が撮影した画像に重ねて表示(AR表示)させる。表示装置43にAR表示される動作情報は、溶接トーチ30の先端部のモデル、溶接トーチ30の基準点、溶接トーチ30による加工点、溶接トーチ30の基準点又は溶接トーチ30による加工点の移動方向、溶接トーチ30の対象物Wに対する角度、ロボット10が動作する座標系の軸方向、及び溶接トーチ30からの溶接ワイヤの突出長さの少なくともいずれかを含むことが好ましい。また、動作情報は、溶接トーチ30若しくは加工点の速度、又は教示点の間隔を含んでもよく、溶接ワイヤの送給速度指令値、溶接電流指令値、溶接電圧指令値、及び溶接波形制御のための指令値、の少なくともいずれかを含んでもよい。
 具体例として、図3では、表示装置43には、ロボット10が動作する加工座標系の軸方向と、溶接ワイヤの突出長さとがAR表示されている。このように、AR表示部453が、ロボット10の各軸角度情報や加工座標系の設定情報を元に、撮像装置42が撮影した画像中の溶接トーチ30の姿勢を特定し、加工座標系の軸方向を示す画像をAR表示することによって、ユーザは、教示受付部451への入力に応じた溶接トーチ30の移動方向を容易に把握することができる。また、AR表示部453が、撮像装置42が撮影した画像に基づいて溶接ワイヤの突出長さを算出し、算出した溶接ワイヤの突出長さをAR表示することによって、ユーザは、溶接の適否を容易に判断できる。
 別の例として、図4では、撮像装置42が撮影したワークWの画像に重ねて、姿勢算出部452が算出した加工プログラムの各教示点における溶接トーチ30の姿勢を示す複数の溶接トーチ30の先端部のモデルと、各教示点における加工点の位置を示す複数のマーカと、各教示点の間における加工点の軌跡を示す線と、がAR表示されている。このように、AR表示部453が、複数の教示点における溶接トーチ30の動作情報をまとめてAR表示することによって、ユーザは、加工プログラムの適否を容易に確認することができる。また、溶接トーチ30の先端部のモデルをAR表示することによって、実際にロボット10を動作させることなく、ロボット10の教示を行うこと、又はロボット制御装置20が記憶している加工プログラムの内容を確認して加工プログラムを修正することを可能にする。
 さらに、図4では、AR表示部453によって、各教示点における溶接距離、溶接速度(加工点から次の加工点までの移動速度)及び溶接トーチ30の姿勢等のロボット10により決定される溶接条件の文字情報がAR表示されている。また、これらの文字情報の表示は、教示受付部451のインターフェイスを兼ねてもよい。具体的には、ユーザがAR表示部453により表示される文字をタッチすることによって、タッチした項目をユーザが修正できる教示受付部451の表示となるようにしてもよい。これにより、加工プログラムの微調整が容易となる。また、このような文字情報は、ユーザの選択によって非表示とできるよう構成されてもよい。
 また、図5に示すように、図4と同じ撮影画像に重ねて、溶接電流指令値、溶接電圧指令値等のロボット10によらず決定される溶接条件の文字情報がAR表示されている。このような溶接条件の表示も、教示受付部451のインターフェイスを兼ねてもよい。また、このような表示画面に、溶接開始から終了までの溶接条件の変化をグラフ表示させる機能を設けてもよい。
 また、図6に示すように、AR表示部453は、プログラム記録部454による加工プログラムの修正前の動作情報と、プログラム記録部454による加工プログラムの修正後の動作情報との両方又はその差分を表示してもよい。このように、加工プログラムの修正による溶接状態の変化を表示することによって、ユーザが加工プログラムの修正の適否を容易に確認することができる。AR表示部453は、修正前の加工プログラムによる軌跡と、修正後の加工プログラムによる軌跡とは、色、線種等によって区別可能に表示することが好ましい。
 また、加工プログラムの修正により、溶接トーチ30の姿勢が変化する場合、図7に示すように、修正前の加工プログラムにしたがう溶接トーチ30の先端部のモデルと、修正後の加工プログラムにしたがう溶接トーチ30の先端部のモデルと、を重ねてAR表示してもよい。これにより、加工プログラムの修正の影響を容易に確認することができる。
 AR表示部453は、溶接トーチ30のモデル等の表示を加工プログラムに従って時刻毎に変化、つまり溶接トーチ30の動作を動画表示できることが好ましい。溶接トーチ30の動作を動画表示することで、ユーザが加工プログラムの適否を容易に確認できる。また、AR表示部453は、各時刻の溶接トーチ30の基準点、溶接トーチ30による加工点等を重ねた軌跡を表示してもよい。これにより、溶接トーチ30及びそれによる溶接の動きをユーザが容易に把握できる。
 プログラム記録部454は、教示情報に基づいて加工プログラムを作成し、ロボット制御装置20の記憶部21に記憶されている加工プログラムを修正又は記憶部21に新たに加工プログラムを記憶させる。プログラム記録部454は、記憶部21に記憶されている加工プログラムを修正して新たな加工プログラムを生成する場合、修正前の加工プログラムを残すようにしてもよい。
 治具50は、対象物Wを加工座標系において不動に保持する。治具50は、ロボット操作端末40の撮像装置42の撮影画像における治具50ひいては対象物Wの姿勢を正確に把握するための複数のマーカ等を有してもよい。
 ロボット溶接システム1は、ユーザがロボット操作端末40によって視点を定めるため、従来のような完全なシミュレーション環境(ロボットのモデル、トーチのモデル、溶接対象物のモデル等、様々な要素が専用ソフトウェアによってPC画面上に表示される環境)においてマウス等により視点を定める操作と比べて、視点の設定を直感的に行うことができる。このため、ロボット溶接システム1は、溶接トーチ30等の動作を簡単に確認でき、加工プログラムの入力及び修正を容易に行うことができる。
 以上の説明から明らかなように、本開示に係る溶接ロボット教示プログラムの一実施形態は、教示受付部451を実現する教示制御部と、姿勢算出部452を実現する姿勢算出制御部と、AR表示部453を実現するAR表示制御部と、プログラム記録部454を実現するプログラム記録制御部と、を有する。本開示に係る溶接ロボット教示プログラムは、非一時的な記録媒体に記録して提供され得る。
 以上、本開示に係るロボット溶接システムの一実施形態について説明したが、本開示の範囲は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本開示に係るロボット溶接システムから生じる最も好適な効果を列挙したに過ぎず、本開示に係るロボット溶接システムによる効果は、前述の実施形態に記載されたものに限定されるものではない。
 例として、本開示に係るロボット溶接システムは、上述の実施形態における端末制御装置の姿勢算出部、AR表示部、及びプログラム記録部の一部又は全部をロボット制御装置が有していてもよい。これらの機能をロボット制御装置に設けることで、ロボット操作端末の演算負荷を軽減できるので、比較的安価なロボット操作端末を使用できる。つまり、本開示に係るロボット溶接システムは、端末制御装置が教示受付部を有し、ロボット制御装置又は端末制御装置が、姿勢算出部、AR表示部及びプログラム記録部を有するものであればよい。
 1 ロボット溶接システム
 10 ロボット
 20 ロボット制御装置
 21 記憶部
 22 指令値生成部
 30 溶接トーチ
 40 ロボット操作端末
 41 通信装置
 42 撮像装置
 43 表示装置
 44 入力装置
 45 端末制御装置
 451 教示受付部
 452 姿勢算出部
 453 AR表示部
 454 プログラム記録部
 50 治具
 W 対象物

Claims (8)

  1.  ロボットと、
     加工プログラムに従って前記ロボットを制御するロボット制御装置と、
     前記ロボットの先端に取り付けられ、対象物をアーク溶接する溶接トーチと、
     撮像装置、表示装置及び端末制御装置を有し、前記ロボット制御装置と通信するロボット操作端末と、
    を備え、
     前記端末制御装置は、前記ロボットの教示情報の入力を受け付ける教示受付部を有し、
     前記ロボット制御装置又は前記端末制御装置は、前記ロボット制御装置が記憶する前記ロボットの基本情報及び前記加工プログラム並びに前記教示受付部に入力された教示情報に基づいて、前記溶接トーチの姿勢を算出する姿勢算出部と、
     前記表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、前記撮像装置が撮影した画像に重ねて表示させるAR表示部と、
     前記教示情報に基づいて、前記ロボット制御装置に前記加工プログラムを修正又は新たに記憶させるプログラム記録部と、
    を有する、ロボット溶接システム。
  2.  前記動作情報は、前記溶接トーチの先端部のモデル、前記溶接トーチの基準点、前記溶接トーチによる加工点、前記溶接トーチの基準点又は前記溶接トーチによる加工点の移動方向、前記溶接トーチの前記対象物に対する角度、前記ロボットが動作する座標系の軸方向、及び前記溶接トーチからの溶接ワイヤの突出長さの少なくともいずれかを含む、請求項1に記載のロボット溶接システム。
  3.  前記動作情報は、前記溶接トーチ若しくは前記溶接トーチによる加工点の速度、又は前記教示情報が特定する前記溶接トーチの姿勢を代表する教示点の間隔を含む、請求項1又は2に記載のロボット溶接システム。
  4.  前記動作情報は、溶接ワイヤの送給速度指令値、溶接電流指令値、溶接電圧指令値、及び溶接波形制御のための指令値、の少なくともいずれかを含む、請求項1から3のいずれかに記載のロボット溶接システム。
  5.  前記AR表示部は、前記プログラム記録部による前記加工プログラムの修正前の前記動作情報と、前記プログラム記録部による前記加工プログラムの修正後の前記動作情報との両方又はその差分を表示する、請求項1から4のいずれかに記載のロボット溶接システム。
  6.  前記姿勢算出部は、前記加工プログラムに従う時刻毎の前記溶接トーチの姿勢を連続して算出可能であり、
     前記AR表示部は、前記溶接トーチの先端部のモデル、前記溶接トーチの基準点及び前記溶接トーチによる加工点の少なくともいずれかの表示を前記加工プログラムに従って時刻毎に変化させる、請求項1から5のいずれかに記載のロボット溶接システム。
  7.  加工プログラムに従ってロボット制御装置により制御されるロボットの先端に取り付けられた溶接トーチによって対象物のアーク溶接を行うロボット溶接システムにおいて、前記ロボットの教示を行うロボット操作端末であって、
     撮像装置、表示装置及び端末制御装置を備え、
     前記端末制御装置は、前記ロボットの教示情報の入力を受け付ける教示受付部と、
     前記ロボット制御装置が記憶する前記ロボットの基本情報及び前記加工プログラム並びに前記教示受付部に入力された教示情報に基づいて、前記溶接トーチの姿勢を算出する姿勢算出部と、
     前記表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、前記撮像装置が撮影した画像に重ねて表示させるAR表示部と、
     前記教示情報に基づいて、前記ロボット制御装置に前記加工プログラムを修正又は新たに記憶させるプログラム記録部と、
    を有する、ロボット操作端末。
  8.  ロボット制御装置により加工プログラムに従って制御されるロボットの先端に取り付けられた溶接トーチによって対象物のアーク溶接を行うロボット溶接システムにおいて、撮像装置、表示装置及び端末制御装置を有する携帯端末により前記ロボットの教示を行うことを可能にする溶接ロボット教示プログラムであって、
     前記ロボットの教示情報の入力を受け付ける教示制御部と、
     前記ロボット制御装置が記憶する前記ロボットの基本情報及び前記加工プログラム並びに前記教示制御部が受け付けた教示情報に基づいて、前記溶接トーチの姿勢を算出する姿勢算出制御部と、
     前記表示装置に、前記撮像装置が撮影した画像に対応する前記溶接トーチの動作情報を、前記撮像装置が撮影した画像に重ねて表示させるAR表示制御部と、
     前記教示情報に基づいて、前記ロボット制御装置に前記加工プログラムを修正又は新たに記憶させるプログラム記録制御部と、
    を備える、溶接ロボット教示プログラム。
PCT/JP2021/030812 2020-08-26 2021-08-23 ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラム WO2022045068A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/040,412 US20240009748A1 (en) 2020-08-26 2021-08-23 Robot welding system, robot operation terminal, and welding robot teaching program
JP2022544587A JPWO2022045068A1 (ja) 2020-08-26 2021-08-23
DE112021004453.2T DE112021004453T5 (de) 2020-08-26 2021-08-23 Roboter-Schweißsystem, Roboter-Bedienungsendgerät, und Schweißroboter-Lehrprogramm
CN202180051767.5A CN116113900A (zh) 2020-08-26 2021-08-23 机器人焊接系统、机器人操作终端以及焊接机器人示教程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-142559 2020-08-26
JP2020142559 2020-08-26

Publications (1)

Publication Number Publication Date
WO2022045068A1 true WO2022045068A1 (ja) 2022-03-03

Family

ID=80353336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030812 WO2022045068A1 (ja) 2020-08-26 2021-08-23 ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラム

Country Status (5)

Country Link
US (1) US20240009748A1 (ja)
JP (1) JPWO2022045068A1 (ja)
CN (1) CN116113900A (ja)
DE (1) DE112021004453T5 (ja)
WO (1) WO2022045068A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328632A (ja) * 1995-05-26 1996-12-13 Matsushita Electric Works Ltd ロボット動作のシミュレーション方法
WO2016021130A1 (ja) * 2014-08-05 2016-02-11 パナソニックIpマネジメント株式会社 オフラインティーチング装置
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003165079A (ja) 2001-11-28 2003-06-10 Nachi Fujikoshi Corp 産業用ロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328632A (ja) * 1995-05-26 1996-12-13 Matsushita Electric Works Ltd ロボット動作のシミュレーション方法
WO2016021130A1 (ja) * 2014-08-05 2016-02-11 パナソニックIpマネジメント株式会社 オフラインティーチング装置
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality

Also Published As

Publication number Publication date
JPWO2022045068A1 (ja) 2022-03-03
DE112021004453T5 (de) 2023-06-15
US20240009748A1 (en) 2024-01-11
CN116113900A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US11961417B2 (en) Systems and methods to provide weld training
CN108701427B (zh) 提供焊接训练的系统和方法
US11173601B2 (en) Teaching device for performing robot teaching operations and teaching method
US8872070B2 (en) Offline teaching method
US9067321B2 (en) System and method for visualization of process errors
WO2016136209A1 (ja) オフライン教示装置
JP2009119589A (ja) ロボットシミュレータ
WO2022045068A1 (ja) ロボット溶接システム、ロボット操作端末及び溶接ロボット教示プログラム
US20230147777A1 (en) Robot Teaching System
JP7176148B1 (ja) 溶接線検出システム
US20230398687A1 (en) Method for generating movement route of robot, movement route generation apparatus, robot system, and program
JP7217821B1 (ja) ロボット教示システム
US20230390848A1 (en) Weld angle correction device
US20230390927A1 (en) Weld angle correction device
US20230398688A1 (en) Motion trajectory generation method for robot, motion trajectory generation apparatus for robot, robot system, and program
EP4338897A1 (en) Weld angle correction device
US20230390934A1 (en) Weld angle correction device
US20230390918A1 (en) Weld angle correction device
JP2023017441A (ja) 画像処理装置
TW202313283A (zh) 作業程式作成系統以及作業程式作成方法
CN117182264A (zh) 焊接角度校正设备
CN117182263A (zh) 焊接角度校正设备
JPH02157906A (ja) ロボットのオフライン教示方法
JPH06222828A (ja) ロボットのセンサ検出位置教示方法
JPH04361875A (ja) 溶接ロボットの教示データ作成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861494

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022544587

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18040412

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21861494

Country of ref document: EP

Kind code of ref document: A1