WO2023002754A1 - 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面 - Google Patents

溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面 Download PDF

Info

Publication number
WO2023002754A1
WO2023002754A1 PCT/JP2022/021721 JP2022021721W WO2023002754A1 WO 2023002754 A1 WO2023002754 A1 WO 2023002754A1 JP 2022021721 W JP2022021721 W JP 2022021721W WO 2023002754 A1 WO2023002754 A1 WO 2023002754A1
Authority
WO
WIPO (PCT)
Prior art keywords
welding
information
graph
display screen
displayed
Prior art date
Application number
PCT/JP2022/021721
Other languages
English (en)
French (fr)
Inventor
敦史 福永
武 小池
Original Assignee
株式会社神戸製鋼所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社神戸製鋼所 filed Critical 株式会社神戸製鋼所
Priority to KR1020247001292A priority Critical patent/KR20240019362A/ko
Priority to CN202280044375.0A priority patent/CN117561137A/zh
Publication of WO2023002754A1 publication Critical patent/WO2023002754A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/09Arrangements or circuits for arc welding with pulsed current or voltage
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/10Other electric circuits therefor; Protective circuits; Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/12Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/124Circuits or methods for feeding welding wire

Definitions

  • the present invention relates to a welding-related information display method, display device, welding system, program, and welding-related information display screen.
  • GMAW gas metal arc welding
  • welding behavior various welding phenomenon behaviors (hereinafter referred to as spatter and fume) occur during welding.
  • Some welding behaviors such as spatter and fume, are harmful to welding quality.
  • a method for measuring various kinds of information and displaying the information has been demanded.
  • Patent Document 1 As a conventional display method, in Patent Document 1, it is proposed to confirm in chronological order how the chronological data of at least one of the welding current and the welding voltage are related to the teaching steps of the work program.
  • An intended display method is disclosed. Specifically, the time-series data of both the welding current and the welding voltage obtained during arc welding are associated with the work program used for welding, and the teaching steps of the work program are displayed on the display screen in time-series with markers. Displaying in correspondence with data is disclosed.
  • Patent Document 2 discloses a display method for the purpose of improving the quality of advanced automatic welding work by quickly grasping information on the welding state and sensitively responding to changes in the welding work environment. ing. Specifically, average current, average voltage, average arc short time, etc. are displayed as status data, and lamination, weaving, groove, welding current, welding voltage, Y-axis control, Z-axis control, etc. are displayed on one screen. An enabling method is disclosed.
  • Patent Literature 1 shows only current and voltage as measurement items, and it can be said that the information for solving various problems related to welding is insufficient.
  • Patent Document 2 lamination, weaving, groove, welding current, welding voltage, Y-axis control, Z-axis control, etc. are displayed on one screen.
  • each measurement item is displayed in one graph, making it difficult to compare each measurement item.
  • displaying these multiple measurement items by graph on one screen makes it easier for workers to quickly recognize information. hard.
  • the purpose of the present invention is to enable workers to quickly recognize a plurality of pieces of welding-related information and to easily acquire useful information when solving more advanced welding-related problems.
  • the present invention has the following configuration. That is, a method for displaying welding-related information, a display step of displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a display device for welding-related information display means for displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a welding device i.e. a welding device; a sensor; a measuring device that measures welding-related information using the values detected by the sensor;
  • a welding system having a display device that displays the welding-related information, The display device display means for displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a method for displaying welding-related information a display step of displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; a display screen of the graph, and at least one of a display screen of a moving image of welding associated with the measurement item displayed in the graph and a display screen of history information of errors detected in the measurement item.
  • the welding-related information includes at least one of welding setting information, welding state information, production status information, correction information, and welding phenomenon information.
  • the program to the computer executing a display step of displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • workers can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems.
  • FIG. 1 is a schematic diagram showing a configuration example of a robot control device according to an embodiment of the present invention
  • FIG. 1 is a schematic diagram showing an example of the mechanical configuration of a data processing device according to an embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 1 is a schematic diagram showing a configuration example of a robot control device according to an embodiment of the present invention
  • FIG. 1 is a schematic diagram showing an example of the mechanical configuration of a data processing device according to an embodiment
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • 4 is a flow chart showing the flow of processing according to an embodiment of the present invention
  • FIG. 1 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing a configuration example of a display screen according to one embodiment of the present invention
  • FIG. 2 is a screen diagram showing
  • FIG. 4 is an explanatory diagram for explaining generation of each color component image according to one embodiment of the present invention.
  • 4 is a flowchart showing element classification processing according to an embodiment of the present invention;
  • FIG. 4 is an explanatory diagram for explaining a case where an image includes an obstacle;
  • FIG. 4 is an explanatory diagram for explaining transition of an image according to one embodiment of the present invention;
  • FIG. 4 is an explanatory diagram for explaining transition of an image according to one embodiment of the present invention;
  • the method of measuring and displaying welding behavior according to the present invention is useful not only for welding but also for additive manufacturing technology utilizing GMAW, specifically metal additive manufacturing technology (WAAM: Wire and Arc Additive Manufacturing).
  • WAAM Wire and Arc Additive Manufacturing
  • the term additive manufacturing is sometimes used in a broad sense as a term for additive manufacturing or rapid prototyping, but in the present invention, the term additive manufacturing is used uniformly.
  • welding is replaced with “welding”, “additive manufacturing”, “laminate manufacturing”, or the like.
  • welding behavior when treated as welding, it is “welding behavior”, but when using the present invention as additive manufacturing, it is rephrased as “welding behavior”, and when treated as welding, it is “welding system”, but as additive manufacturing When utilizing the present invention, it can be rephrased as an “additional manufacturing system”.
  • Welding and welding of additive manufacturing technology differ in some of the objects to be measured and managed depending on the operation and the like. Accordingly, the items included in the "welding-related information" described later and the "welding-related information" in the additive manufacturing technology may differ.
  • FIG. 1 shows a configuration example of a welding system 1 according to this embodiment.
  • the welding system 1 may be read as an additive manufacturing system
  • the welding robot 10 may be read as an additive manufacturing robot.
  • the welding robot 10 shown in FIG. 1 is composed of a 6-axis articulated robot, and a welding torch 11 for GMAW is attached to its tip.
  • GMAW includes, for example, MIG (Metal Inert Gas) welding and MAG (Metal Active Gas) welding, and in this embodiment, MAG welding will be described as an example.
  • the welding robot 10 is not limited to a six-axis articulated robot, and may be a small portable robot, for example.
  • a welding wire 13 is supplied from a wire feeding device 12 to the welding torch 11 .
  • Welding wire 13 is delivered from the tip of welding torch 11 toward a welding location.
  • Power supply 30 supplies power to welding wire 13 .
  • This electric power applies an arc voltage between the welding wire 13 and the workpiece W to generate an arc.
  • the power supply device 30 includes a current sensor (not shown) that detects a welding current (hereinafter also referred to as a current) flowing from the welding wire 13 to the work W during welding, and an arc voltage between the welding wire 13 and the work W ( hereinafter also referred to as voltage) is provided.
  • the power supply device 30 has a processing unit and a storage unit (not shown).
  • the processing unit is configured by, for example, a CPU (Central Processing Unit).
  • the storage unit is configured by, for example, a volatile or non-volatile memory such as a HDD (Hard Disk Drive), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like.
  • the processing unit controls the power applied to the welding wire 13 by executing the computer program for power supply control stored in the storage unit.
  • the power supply device 30 is also connected to the wire feeding device 12 , and the processing section controls the feeding speed and feeding amount of the welding wire 13 .
  • the composition and type of the welding wire 13 are selectively used according to the object to be welded.
  • the welding behavior according to the present embodiment includes arc deflection, arc pressure, amount of oxide coating on the molten pool, droplet transfer mode, droplet detachment period, number of short circuits, welding such as pits. Occurrence of defects and the like can be mentioned.
  • the visual sensor 40 is composed of, for example, a CCD (Charge Coupled Device) camera.
  • the location of the visual sensor 40 is not particularly limited, and it may be directly attached to the welding robot 10, or may be fixed at a specific peripheral location as a monitoring camera. When the visual sensor 40 is directly attached to the welding robot 10 , the visual sensor 40 moves in accordance with the operation of the welding robot 10 so as to photograph the periphery of the tip of the welding torch 11 .
  • the number of cameras constituting the visual sensor 40 may be plural.
  • the direction in which the visual sensor 40 captures images is not particularly limited.
  • the direction in which welding progresses is defined as the front, it may be arranged to capture the front side, or the side and rear sides may be captured. can be arranged as follows. Therefore, the imaging range of the visual sensor 40 may be appropriately determined according to the welding behavior of the object to be measured.
  • a visual sensor 40 fixed at a specific location is used to capture a moving image as a welding image so that the imaging range includes at least the workpiece W, the welding wire 13, and the arc.
  • Various shooting settings related to welding images may be defined in advance, or may be switched according to operating conditions of the welding system 1 .
  • Shooting settings include, for example, the frame rate, the number of pixels of an image, the resolution, the shutter speed, and the like.
  • the visual sensor 40 is shown as a representative example, but sensors for detecting other information may also be provided.
  • the sensors may include laser sensors. The laser sensor detects the groove shape of the gap width before welding, captures the scanning position, weaving correction amount, etc. based on the data, and can output it as correction information described later. Details of an example of the sensors according to this embodiment will be described later, but the number, installation positions, detection principles, and the like may be changed in accordance with information intended for monitoring or the like.
  • the parts that make up the welding system 1 are communicably connected by various wired/wireless communication methods.
  • the communication method here is not limited to one, and connection may be made by combining a plurality of communication methods.
  • FIG. 2 shows a configuration example of a robot control device 20 that controls the operation of the welding robot 10.
  • the robot control device 20 includes a CPU 201 that controls the entire device, a memory 202 that stores data, an operation panel 203 that includes a plurality of switches, a teaching pendant 204 that is used for teaching work, a robot connection section 205, and a communication section 206. Configured.
  • the memory 202 is configured by, for example, a volatile or non-volatile storage device such as ROM, RAM, and HDD.
  • Memory 202 stores a control program 202A used to control welding robot 10 .
  • CPU 201 controls various operations of welding robot 10 by executing control program 202A.
  • the teaching pendant 204 is mainly used for inputting instructions to the robot control device 20 .
  • the teaching pendant 204 is connected to the main body of the robot control device 20 via the communication section 206 .
  • An operator can use the teach pendant 204 to enter a teach program.
  • Robot controller 20 controls the welding operation of welding robot 10 according to a teaching program input from teaching pendant 204 .
  • the teaching program can also be automatically created based on CAD (Computer-Aided Design) information or the like, for example, using a computer (not shown).
  • the operation contents defined by the teaching program are not particularly limited, and may differ according to the specifications of the welding robot 10 and the welding method.
  • the teaching pendant 204 includes an operation unit and a display unit (not shown) in addition to the operation panel 203, and can display a display screen, which will be described later, for example.
  • a driving circuit of the welding robot 10 is connected to the robot connecting portion 205 .
  • CPU 201 outputs a control signal based on control program 202A to a drive circuit (not shown) included in welding robot 10 via robot connector 205 .
  • the communication unit 206 is a communication module for wired or wireless communication.
  • a communication unit 206 is used for data communication with the power supply device 30 , the data processing device 50 , and the teaching pendant 204 .
  • the communication method and standard used by the communication unit 206 are not particularly limited, and a plurality of methods may be combined.
  • the current value of the welding current detected by a current sensor (not shown) and the voltage value of the arc voltage detected by a voltage sensor (not shown) are supplied from the power supply device 30 to the CPU 201 via the communication unit 206 .
  • the robot control device 20 also controls the moving speed and target position of the welding torch 11 by controlling each axis of the welding robot 10 .
  • the robot controller 20 also controls the weaving operation of the welding robot 10 according to the set cycle, amplitude, and welding speed.
  • the weaving operation refers to alternately oscillating the welding torch 11 in a direction intersecting the advancing direction of welding.
  • the robot controller 20 performs welding line tracing control together with the weaving operation.
  • the welding line tracing control is an operation of controlling the left and right positions of the welding torch 11 with respect to the advancing direction so that a bead is formed along the welding line.
  • the robot control device 20 also controls the feeding speed of the welding wire 13 by controlling the wire feeding device 12 via the power supply device 30 .
  • FIG. 3 is a diagram for explaining an example of the functional configuration of the data processing device 50.
  • the data processing device 50 includes, for example, a CPU, a ROM, a RAM, a hard disk device, an input/output interface, a communication interface, and a video output interface (not shown).
  • the data processing device 50 includes a storage unit 51, an image processing unit 52, an image dividing unit 53, a calculation unit 54, a display control unit 55, a display unit 56, and a sensor control unit 57 by cooperation of the respective components described above. come true.
  • a series of steps performed by the image processing unit 52 , the image dividing unit 53 , the calculating unit 54 , the display control unit 55 , and the display unit 56 may be performed by software installed on the data processing device 50 .
  • the storage unit 51 records and manages image data captured by the visual sensor 40, and provides image data in response to requests from each processing unit.
  • the image data referred to here may be still image data, or moving image data obtained by continuously capturing still image data at an arbitrary frame rate.
  • the frame rate here indicates the number of still image data captured by the visual sensor 40 at predetermined time intervals such as one second. Preferably, it should be determined in the range of 1 to 10 FPS (Frames Per Second). It should be noted that, in the case of using information on welding behavior, that is, real-time measurement of welding phenomenon information and traceability of welding phenomenon information, it is preferable to record the information as a moving image.
  • the image processing unit 52 uses the image data stored in the storage unit 51 to perform preprocessing for measurement according to the present embodiment.
  • preprocessing include contrast correction, brightness correction, color correction, monochrome image conversion such as binarization, noise removal, edge enhancement, contraction/expansion, and image feature extraction.
  • the image dividing unit 53 creates divided images divided into a plurality of images for each predetermined constituent element based on the processed image data to which various image processing is applied in the image processing unit 52 .
  • the predetermined constituent elements include spatter, fume, and arc light as welding behavior, welding wire 13 and nozzle, base material, molten pool, obstacles, and other backgrounds, which are components of the welding system 1. is mentioned. Here, description will be made with a particular focus on spatter, fume, and arc light.
  • the processing performed by the image processing unit 52 is not limited to preprocessing for generating divided images of the image dividing unit 53 .
  • the image processing unit 52 may process the divided images as necessary.
  • the calculation unit 54 calculates various index values for quantitatively measuring spatter, fume, and arc light as welding behavior based on divided images and processed image data.
  • the calculation here is preferably performed in chronological order, for example.
  • the time series includes, for example, the elapsed time, the order of teaching programs, the order of continuous still image data constituting a moving image, and the like.
  • the display control unit 55 receives information obtained from sensors such as the visual sensor 40 , the laser sensor 41 , the current sensor 42 , or the voltage sensor 43 , information recorded in the robot control device 20 or the like, Using the calculated information and the like, the results of time-series data for a plurality of predetermined measurement items are configured as images. Then, the display control unit 55 causes the display unit 56 and a display unit (not shown) of the teaching pendant 204 to output. A specific example of the image generated here will be described later.
  • the display unit 56 displays the screen generated by the display control unit 55. At this time, the display unit 56 synchronizes the values detected by the current sensor 42 and the voltage sensor 43 and various information acquired from the robot control device 20 in chronological order and displays them on the screen.
  • the display unit 56 is configured by, for example, a liquid crystal display (not shown) provided in the data processing device 50 or a display provided in the teaching pendant 204 .
  • the sensor control unit 57 controls the operations of the sensors provided in the welding system 1.
  • a visual sensor 40, a laser sensor 41, a current sensor 42, a voltage sensor 43, etc. are illustrated as sensors.
  • the sensor control unit 57 may be configured to control, for example, the visual sensor 40 and the laser sensor 41 among these sensors.
  • the visual sensor 40 is of an installation type other than the welding robot 10, it is preferable to employ a camera having at least a PTZ function as the visual sensor 40.
  • the sensor control unit 57 may control the pan, tilt, zoom, etc. of the camera in accordance with the operation of the welding robot 10 .
  • the sensor control section 57 may acquire information about the operation of the welding robot 10 from the robot control device 20 and control the operation of the visual sensor 40 based on the information. Further, when the laser sensor 41 is provided, the sensor control section 57 may control the direction, intensity, timing, etc. of laser irradiation.
  • welding-related information can be displayed on the display screen during or after welding.
  • the welding-related information according to the present embodiment includes welding setting information such as initial setting values and threshold values, welding state information that varies according to the state of welding work performed based on the setting values, production state information, correction information, and welding At least welding phenomenon information, which is information related to behavior, is included.
  • the welding setting information includes a welding current setting value, an arc voltage setting value, a feeding speed setting value, a shielding gas flow rate setting value, a shielding gas pressure setting value, and the like.
  • the welding state information includes detected welding current, arc voltage, feed speed, welding speed, shield gas flow rate, and shield gas pressure.
  • the production status information includes wire consumption amount/consumption rate, arc rate, feeding load, number of short circuits, and the like.
  • the correction information includes a sensing correction amount, an arc sensor correction amount (hereinafter also referred to as a scanning amount), and the like.
  • Welding phenomenon information includes spatter, fume, arc length, arc width, welding defect, molten pool width, molten pool height, molten pool or droplet temperature, and the like.
  • the combinations of measurement items displayed on the graphs on each display screen to be described later are just examples, and are not limited to these.
  • at least two measurement items displayed on one graph are at least two of the welding setting information, welding state information, production state information, correction information, and welding phenomenon information included in the welding-related information as described above. It is preferable to select and display from one. In particular, it is preferable to include combinations that are more correlated when a given welding behavior occurs. Examples include a combination of welding current and spatter, and a combination of arc voltage and fume.
  • the welding robot 10 includes a tandem-type welding torch 11 , that is, two welding torches 11 .
  • the welding torch that precedes the welding torch 11 in the traveling direction is also called a "leading pole", and the welding torch that follows the leading pole is also called a “following pole”.
  • Leading/trailing is switched according to the direction of progress of welding, and the two welding torches 11 play that role as appropriate.
  • FIG. 4A shows a configuration example of a display screen 400 according to this embodiment.
  • a display screen 400 includes a graph area 401 , check boxes 402 for designating items to be displayed in the graph area 401 , and graph information 403 of the graph displayed in the graph area 401 .
  • the "preceding set current” indicating the set value of the welding current as the welding setting information
  • the "preceding set voltage” indicating the set value of the arc voltage
  • the "preceding actual current” indicating the welding current as the welding state information
  • Four items of "current" and "previous actual voltage” indicating the arc voltage are configured to be specifiable with check boxes 402.
  • the item for the leading electrode is shown as an example.
  • the check box 402 includes a “step” item that can be designated, and by designating this item, a step number 407 corresponding to the position information of the welding robot 10 is displayed in the graph area 401 .
  • the graph information 403 may display, for example, information for identifying the welding robot 10, information on the executed teaching program, information on the welding path, information on the date and time the welding was executed, and the like.
  • the date and time information is indicated by "XXXX” indicating the year, "YY” indicating the month, and "ZZ” indicating the day, followed by the time. Note that the display order and arrangement of each piece of information are not particularly limited.
  • the vertical axis is divided into the scale related to current and the scale related to voltage, but it is not limited to this. may be displayed.
  • the horizontal axis shows the time and the step number, other time-series items may be shown. From the viewpoint of facilitating the operator's understanding of observation and measurement results, it is preferable that at least one of the time and the step number is displayed, and it is more preferable that these two items are displayed together. .
  • the display range of the upper and lower limits on the vertical axis and the time interval on the horizontal axis may be arbitrarily specified by the operator, or may be defined in advance according to the operating conditions of welding or the like.
  • each graph is displayed in a different display format so as to be identifiable.
  • the display format here is an example, and the line shape, color, and the like may be changed for display.
  • the operator can quickly recognize the time-series data of a plurality of items. In particular, it is possible to collectively check whether the actual current and actual voltage are output as set values.
  • the display of three or more items with a larger amount of information can be grasped more clearly and easily, it is possible to provide a screen with higher distinguishability when displaying three or more items.
  • FIG. 4B shows a configuration example of a display screen 410 according to this embodiment.
  • the basic configuration is similar to that of the display screen 400 shown in FIG. 4A, but here, the display screen targets the control amount related to the tracing control of the welding line, that is, the tracing amount.
  • an arc sensor is generally used to detect the amount of scanning, the amount of scanning may be detected using another sensor such as a laser sensor.
  • the display screen 410 includes a graph area 411 , check boxes 412 for designating items to be displayed in the graph area 411 , and graph information 413 of the graph displayed in the graph area 411 .
  • FIG. 4B shows a configuration example of a display screen 410 according to this embodiment.
  • the basic configuration is similar to that of the display screen 400 shown in FIG. 4A, but here, the display screen targets the control amount related to the tracing control of the welding line, that is, the tracing amount.
  • an arc sensor is generally used to detect the amount of scanning
  • the amount of scanning
  • the graph information 413 includes, for example, information for identifying the welding robot 10, information on the executed teaching program, information on the welding path, welding execution information, and so on. Information such as the date and time of the event may be displayed.
  • scales corresponding to the graphs of the amount of scanning of the leading electrode in the vertical and horizontal directions and the rotation of the scanning of the trailing electrode are displayed.
  • a vertical axis 414 on the left side of the graph area 411 displays a scale in millimeters [mm] corresponding to the scanning amount in the vertical and horizontal directions.
  • a scale of degrees [°] corresponding to the rotation angle is displayed on the vertical axis 415 on the left side of the graph area 411 .
  • a horizontal axis 416 of the graph area 411 indicates time, and a graph in chronological order is shown.
  • FIG. 4C shows a configuration example of the display screen 420 according to this embodiment.
  • the display screen here is intended for the amount of correction of the welding position by touch sensing.
  • laser sensing may be used instead of touch sensing.
  • the display screen 420 includes a graph area 421 , check boxes 422 for specifying items to be displayed in the graph area 421 , and graph information 423 of the items displayed in the graph area 421 .
  • check boxes 422 are configured to be able to specify three items for each axis in a predefined XYZ three-dimensional coordinate system.
  • the check box 422 includes an item “step” that can be designated, and by designating this item, a step number 426 is displayed in the graph area 421 .
  • the graph information 423 includes, for example, information for identifying the welding robot 10, information on the executed teaching program, information on the welding path, welding execution information, and so on. Information such as the date and time of the event may be displayed.
  • scales corresponding to the correction amount are displayed in order to display the graph of the correction amount corresponding to each axis direction.
  • a vertical axis 424 on the left side of the graph area 421 displays a scale of millimeters [mm] corresponding to the correction amount.
  • a horizontal axis 425 of the graph area 421 indicates time, and a graph in chronological order is shown.
  • FIG. 4D shows a configuration example of the display screen 430 according to this embodiment.
  • the basic configuration is similar to that of the display screen 400 shown in FIG. 4A, but here, the display screen is intended for information relating to the feeding of the welding wire by the wire feeding device 12.
  • the display screen 430 includes a graph area 431 , check boxes 432 for designating items to be displayed in the graph area 431 , and graph information 433 of the graph displayed in the graph area 431 .
  • check boxes 432 for designating items to be displayed in the graph area 431
  • graph information 433 of the graph displayed in the graph area 431 In the example of FIG.
  • the command value of the welding wire feed speed of the leading electrode as the welding setting information (hereinafter, the command value may be referred to as the set value), the actual feed speed and the wire feed speed as the welding state information
  • the three items of the feed load are configured to be specifiable with check boxes 432 .
  • the check box 432 includes an item “step” that can be specified, and by specifying this, a step number 437 is displayed in the graph area 431 .
  • the graph information 433 includes, for example, information for identifying the welding robot 10, information on the executed teaching program, information on the welding path, welding execution information, and so on. Information such as the date and time of the event may be displayed.
  • scales corresponding to the welding wire feeding speed and feeding load are displayed in order to display the graph.
  • a percentage [%] scale corresponding to the feeding load is displayed on the vertical axis 434 on the left side of the graph area 431.
  • a vertical axis 435 on the left side of the graph area 431 displays a scale of MPM [m/m] corresponding to the feeding speed.
  • a horizontal axis 436 of the graph area 431 indicates time, and a graph in chronological order is shown.
  • the data processing device 50 performs various error checks based on the acquired information and displays them on the display screen. Display screens related to the error check will be described below.
  • error check according to this embodiment, three error checks are performed: set value error, reference value error, and absolute value error. Note that the contents of the error checks shown here are examples, and a part of them may be executed, or other error checks may be carried out.
  • the setting value error check if the difference between the setting value and the actual measurement value, that is, the feedback value exceeds the allowable range, that is, the threshold value, it is determined that there is a setting value error.
  • Items to be checked for set value errors include current [A], voltage [V], welding speed [cm/min], wire feed speed [m/min], weaving width [mm], and the like.
  • the average value is obtained for each of the reference value and the feedback value in a predetermined time unit, and if the difference between the average values exceeds the allowable range, that is, the threshold value, it is determined as a reference value error.
  • the reference value here may be, for example, an actual measurement value when a good welding result is obtained.
  • Reference value error check targets include current [A], voltage [V], wire feeding speed [m/min], weaving width [mm], and the like.
  • the absolute value error check if the feedback value deviates from the allowable upper and lower limits for a predetermined period of time, it is determined as an absolute value error. Items to be checked for the absolute value error include the wire feed load [%], heat input [J/cm], and the like.
  • FIG. 5A shows a configuration example of a display screen 500 based on the error check results according to the present embodiment, and here shows a screen capable of displaying the check results of set value errors and reference value errors for current.
  • the display screen 500 includes a graph area 501 , check boxes 502 for designating items to be displayed in the graph area 501 , graph information 503 of the graph displayed in the graph area 501 , and transition buttons 507 .
  • check boxes 502 for designating items to be displayed in the graph area 501 includes a graph area 501 , check boxes 502 for designating items to be displayed in the graph area 501 , graph information 503 of the graph displayed in the graph area 501 , and transition buttons 507 .
  • FIG. 5A shows a configuration example of a display screen 500 based on the error check results according to the present embodiment, and here shows a screen capable of displaying the check results of set value errors and reference value errors for current.
  • the display screen 500 includes a graph area 501 , check boxes 502 for design
  • Check boxes 502 are configured to be able to specify four items: “Actual current after set value error” and “Actual current after reference value error” indicating a location determined to be a reference value error.
  • the items for the trailing electrode are shown as an example.
  • the check box 502 includes a “step” item that can be designated, and by designating this item, a step number 506 corresponding to the position information of the welding robot 10 is displayed in the graph area 501 .
  • the graph information 403 may display, for example, information for identifying the welding robot 10, information on the executed teaching program, information on the welding path, information on the date and time the welding was executed, and the like.
  • a transition button 507 is a button for transitioning to the display screen 510 shown in FIG. 5B.
  • FIG. 5B shows a configuration example of a display screen 510 based on the error check result according to this embodiment, and is a display screen corresponding to the display screen 500 in FIG. 5B.
  • a display screen 510 is roughly divided into two areas 511 and 512 .
  • the area 511 includes a graph area 513 , check boxes 514 for designating items to be displayed in the graph area 513 , and graph information 515 of the graph displayed in the graph area 513 .
  • Two items, "succeeding set current” indicating the set value of the welding current as welding setting information and “succeeding actual current” indicating the welding current as welding state information, are configured to be specifiable with check boxes 514.
  • the items for the trailing electrode are shown as an example.
  • respective graphs are displayed in graph area 513 in chronological order.
  • Check box 514 also includes a “step” item that can be specified, and by specifying this item, the step number corresponding to the position information of welding robot 10 is displayed in graph area 513 .
  • the area 512 includes a graph area 516 , check boxes 517 for specifying items to be displayed in the graph area 516 , and graph information 518 of the graph displayed in the graph area 516 .
  • "Following setting current” that indicates the set value of the welding current as welding setting information
  • "Following actual current” that indicates the welding current as welding state information
  • "Set value error following Four items of "actual current” and "actual current after reference value error” indicating the location determined to be a reference value error are configured to be specifiable with check boxes 517.
  • FIG. Here, the items for the trailing electrode are shown as an example. When one or more items are selected from check boxes 517, respective graphs are displayed in graph area 516 in chronological order.
  • Check box 514 also includes a “step” item that can be designated, and by designating this item, the step number corresponding to the position information of welding robot 10 is displayed in graph area 516 .
  • the range indicated by the dashed line 519 indicates the range of the actual current determined as the reference value error. That is, the average value is obtained for each of the reference value and the feedback value in a predetermined unit of time, and the difference between the average values becomes the allowable range, that is, the point where the threshold value is exceeded.
  • FIG. 6A shows a configuration example of a list screen 600 showing history information 601 regarding errors.
  • the screen may be changed to the list screen 600 by selecting the range.
  • the history information is recorded in the storage unit 51 or the like as appropriate when it is determined that an error has occurred.
  • the items included in the history information 601 are examples, and items other than those shown in FIG. 6A may be included.
  • the graph display button 602 is pressed, the screen transitions to the screen of the transition source, for example, the display screen 500 .
  • the close button 603 is pressed, the list screen 600 is closed.
  • FIG. 6B shows a configuration example of a display screen 610 for playing back moving images held in association with history information when error determination is performed. For example, when a portion determined to be an error is displayed in a graph on the display screen 500, by selecting an arbitrary position, a transition is made to the display screen 610 in order to reproduce the moving image corresponding to that position. It's okay. Alternatively, by selecting an arbitrary error from the history information 601 included in the list screen 600 of FIG. good.
  • a display area 611 is an area for reproducing moving images.
  • the operation area 612 displays various operation icons for accepting operations when reproducing moving images.
  • the operation icons include, but are not limited to, icons corresponding to operations such as playback, stop, fast-forward, and rewind for moving images.
  • FIG. 6C shows a configuration example of a setting screen 620 for setting various error determinations according to the present embodiment.
  • the setting item 621 includes items for setting various thresholds and setting values used for checking the above-described setting value error, reference value error, and absolute value error. Note that the items shown here are only examples, and may be increased or decreased according to the content of the error check.
  • the setting button 622 is pressed, the setting is performed with the value input to the setting item 621 .
  • the cancel button 623 is pressed, the settings are canceled and this screen is closed.
  • the system according to this embodiment has a plurality of displayable parts such as the display section 56 on the data processing device 50 side and the display section of the teaching pendant 204 . Therefore, the screen configuration to be displayed may be changed according to the portion to be displayed.
  • FIG. 7 shows another configuration example of the display screen.
  • a display screen 700 includes display areas 701 , 702 , and 705 .
  • a display area 701 displays an overview of the display of the display areas 702 and 705 and related information.
  • a display area 702 displays various graphs in chronological order. Here, graphs of welding current and arc current as actual measurements are displayed. Note that the ampere [A] scale corresponding to the current is displayed on the left vertical axis 703 of the display area 702, and the volt [V] scale corresponding to the voltage is displayed on the left vertical axis 704. This scale changes according to the graph to be displayed.
  • the display area 705 detailed information related to the graph displayed in the display area 702 is displayed.
  • three pieces of information 706, 707, and 708 are displayed in the display area 705 as an example.
  • the information 706 indicates current values and voltage values of the leading electrode and the trailing electrode at the current point in time, that is, at the point corresponding to the end of the graph displayed in the display area 702 .
  • the information 707 indicates the fluctuation trend of the welding current at the present time with an arrow icon.
  • Information 708 indicates the trend of arc voltage fluctuation at the present time. A trend of change may be indicated by an easily visible icon, for example an increase, decrease, maintenance or no change compared to the previous value in position or time.
  • an upward arrow indicates an upward change in the graph
  • a downward arrow indicates a downward change in the graph.
  • the symbol used for the icon is not particularly limited to the figure.
  • the amount of change may be identifiably indicated by the size, color, and tone of the arrow.
  • the green arrow indicates a change of less than 1 mm
  • the yellow arrow indicates a change of 1 mm or more and less than 2 mm
  • the red arrow indicates a change of 2 mm or more. good too.
  • the evaluation of the increase or decrease of the values in the graph may be determined from the sampling point at any observation time or position and at least two or more points in the vicinity.
  • a linear model of, for example, a linear expression can be created from the sampling point and at least two or more points in the vicinity at an arbitrary observation time or position, and an increase or decrease can be determined based on the slope of the linear model.
  • the term "nearby" as used herein may be defined in advance as within a predetermined number of points or within a predetermined time, with reference to a sampling point at an arbitrary observation time or position.
  • the sampling interval may be 0.2 seconds
  • the display screen may be updated, that is, the graph may be updated at intervals of 1 second.
  • increase/decrease evaluation may be performed at intervals of 1 second as the graph is updated.
  • the display screen according to the present embodiment compares the measured value with an arbitrary value, such as a reference value or a past value, and then easily checks for errors. Can present identifiable information.
  • an arbitrary value such as a reference value or a past value
  • Can present identifiable information When the actual measured value is the welding current, it is possible to extract the position judged to be an error by comparing it with the past value and the set value. If the measured value is spatter or fume, compare it with the reference data to identify the location where spatter or fume is generated more than the standard value. Workers can easily grasp and analyze specific defects such as spatter and fume. Therefore, on the display screen, it is more preferable to display the welding phenomenon information and at least one of the other information in association with each other. Among the other information, at least the welding state information and the welding phenomenon information are displayed in association with each other. It is even more preferable to
  • each display screen shown in FIG. 5A, FIG. 5B, and FIG. 6B is configured to be transitionable, and by referring to these, when items including the set value and actual measurement value of the welding current and the spatter, Using the difference between the welding current set value and the measured value as a measure of the defect, it is possible to easily grasp how much spatter has increased.
  • the gas supply shortage is determined from the difference between the set value and actual measurement value of gas flow rate, and the welding defects when the gas supply is insufficient. It is possible to grasp the presence or absence of occurrence or the amount of occurrence. In this way, the welding behavior and the factors that cause the welding behavior can be readily known.
  • a method of measuring spatter, fume, and arc light and deriving the indices will be described below.
  • the display method of each measured index on the display screen may be adjusted as appropriate according to the above configuration.
  • FIG. 8 is a diagram for explaining a series of flows when measuring a plurality of welding behaviors from image data.
  • FIG. 8 shows a series of processes for measuring spatter, fume, and arc light, which are examples of welding behavior. good too.
  • a plurality of index values are calculated for one welding behavior, but it is not necessary to calculate all the index values. may be switched to calculate
  • This embodiment is an example of processing video data after the end of welding for the purpose of traceability. you can go
  • the processing unit of the data processing device 50 executes the program stored in the storage unit in parallel with the welding operation or when measuring the welding behavior using images captured during welding. may be realized by loading and executing each part shown in FIG. 3 to function.
  • the data processing device 50 acquires moving image data to be processed.
  • imaging conditions such as frame rate and shutter speed are set in the visual sensor 40, and the range of welding positions to be photographed is imaged by the visual sensor 40 as moving image data.
  • the imaging condition may be set to an arbitrary value by the operator, or a predetermined fixed value may be used.
  • the captured moving image data may be directly stored in the storage unit 51 of the data processing device 50 , or if the visual sensor 40 itself has a memory, it may be temporarily stored in the memory of the visual sensor 40 and then transferred to the storage unit 51 . Moving image data may be transferred. Note that the subsequent processing is performed on each of the plurality of still image data included in the moving image data.
  • the data processing device 50 performs color component separation processing on the acquired moving image data.
  • the moving image data according to the present embodiment is composed of, for example, a color image in which each pixel is composed of RGB signals representing red, green, and blue color components.
  • the RGB signal is represented by 8 bits for each color component and a total of 24 bits per pixel.
  • the signal value corresponding to each color component takes a value of 0-255.
  • moving image data divided into RGB color components is created.
  • one piece of moving image data is divided into moving image data of only the R color component, moving image data of only the G color component, and moving image data of only the B color component. More specifically, when moving image data of only the R color component is generated, color component separation processing is performed by converting the signal values of G and B of the moving image data to 0.
  • FIG. 9 is a diagram for explaining the generation of moving image data of only RGB color components from moving image data.
  • the still image data of only three color components generated from one piece of still image data included in the moving image data have different representations, and even if the same welding behavior occurs, Different characteristics can be captured.
  • still image data of only the R color component, still image data of only the G color component, and still image data of only the B color component are referred to as "red component image”, “green component image”, and “blue component image”, respectively. will be described.
  • Thermal energy light is an arc light or fume related phenomenon.
  • the blue component image it is possible to extract light with light and dark shades in thermal energy light, and based on this light, it is possible to calculate the fume that diffuses to the surroundings, which was difficult to extract until now. do.
  • the inventor of the present application has found, as a result of experiments and verifications, that the red component image can be clearly confirmed in high-temperature luminescence of metal, slag, and the like. That is, by using the red component image, it is possible to capture spatter, molten pool, or fume with high particle density based on the high-temperature emission contained therein.
  • a fume with a high particle density on an image is also referred to as a "dense fume”
  • a fume with a low particle density is also referred to as a "light fume”.
  • the density here is relative, and the density value is not limited.
  • the welding behavior is not limited to this, and the welding behavior may be measured by further using the green component image.
  • a green component image may be used in identifying regions of constituent elements, which will be described later.
  • RGB color space is described as an example in the present embodiment, it is not limited to this.
  • other color spaces that can be converted corresponding to each parameter of R, G, and B may be used. More specifically, available color spaces include RGBA, YCbCr, YUV, and the like.
  • the data processing device 50 uses the image processing unit 52 to apply background subtraction processing to the blue component image.
  • background subtraction processing may be performed by removing noise using a known Rolling Ball algorithm.
  • background subtraction processing may be performed by filtering processing using a predetermined filter. By the processing of this step, it is possible to remove a spike-like signal and obtain a pixel value that fluctuates smoothly. In this embodiment, this smoothly varying pixel value is treated as originating from a thin fume.
  • the data processing device 50 uses the calculation unit 54 to calculate the total luminance value as the light fume index value in the blue component image subjected to the background subtraction processing in S803.
  • the total value weighted based on each brightness value may be calculated as the index value.
  • the data processing device 50 causes the image processing unit 52 to apply background subtraction processing to the red component image.
  • the method of background removal processing is not particularly limited, but background subtraction may be performed by removing noise using a known Rolling Ball algorithm, for example, as in the processing of S803.
  • background subtraction processing may be performed by filtering processing using a predetermined filter. By the processing of this step, it is possible to remove a spike-like signal and obtain a pixel value that fluctuates smoothly.
  • the data processing device 50 calculates the total luminance value as the arc light index value in the red component image on which the background subtraction processing has been performed by the calculation unit 54 in S805.
  • the total value weighted based on each brightness value may be calculated as the index value.
  • the data processing unit 50 causes the image processing unit 52 to calculate the luminance value of the red component image after the background subtraction process generated in S805 from the luminance value of each pixel of the red component image generated in S802. to exclude. By this process, it is possible to exclude smoothly varying pixel values in the red component image.
  • the data processing device 50 uses the image processing unit 52 to perform binarization processing on the red component image after the processing in S807 to generate a binarized image.
  • the binarization method here is not particularly limited, and a known method may be used.
  • the setting of the threshold value in the binarization process is not particularly limited, and for example, the median value of possible pixel values may be used as the threshold value.
  • the data processing device 50 causes the image processing unit 52 to perform labeling processing for each region included in the image using the binarized image generated at S808.
  • a binarized image includes a plurality of regions each composed of one or more pixels, and each region is extracted.
  • each region composed of pixels having a pixel value of "1" is labeled as a region corresponding to any of the components caused by the welding behavior.
  • the labeling method is not particularly limited, and a known technique may be used.
  • the lower limit of the size of the area is not particularly limited, and for example, the minimum area may be an area consisting of one pixel. It should be noted that if a region consisting of pixels with a pixel value of "0" corresponds to a component caused by welding behavior, it may be labeled.
  • the data processing device 50 causes the image dividing unit 53 to perform element classification processing on each region in the image labeled at S809. Details of this step will be described with reference to FIG. This process is performed each time based on the result of the labeling process performed using each of the plurality of red component images to be processed.
  • the image dividing unit 53 focuses on an unprocessed area among one or more labeled areas included in the binarized image.
  • the order of attention is not particularly limited, but for example, the areas may be sorted in descending order based on the size of the area, and attention may be paid in order from the largest size.
  • the image dividing unit 53 determines whether or not the number of pixels forming the region of interest is equal to or less than the first threshold.
  • the first threshold here is explained as 300 pixels.
  • the first threshold may be defined according to the overall size of the red component image, or may be changed according to the welding situation. For example, if the visual sensor 40 is a fixed-position surveillance camera, the welding position changes, that is, the distance between the position of the visual sensor 40 and the welding position, or the imaging direction or imaging angle changes. Change. Therefore, the relationship between the distance, the direction, and the size of the object may be established in advance, and the first threshold may be changed based on this relationship.
  • the magnification of the camera may be changed so that the size of the object to be photographed may be kept constant, that is, the first threshold may be kept constant. If the number of pixels in the region of interest is equal to or less than the first threshold, that is, if YES in S1002, the processing of the image dividing unit 53 proceeds to S1004. On the other hand, if the number of pixels in the region of interest is larger than the first threshold, that is, if NO in S1002, the process of the image dividing unit 53 proceeds to S1003.
  • the image dividing unit 53 determines whether or not the region of interest is located in the center of the image and has the largest size among the labeled regions.
  • the arc light is positioned in the center, and the area of the arc light is the largest area in the image.
  • the region of interest is treated as noise.
  • FIG. 7 shows an example in which an obstacle is reflected on the image. In such a case, an image is obtained in which the arc light is not positioned at the center of the image.
  • the range of the center here may be set in advance, and may change according to the image size, welding behavior, and the like.
  • the maximum size used in the determination in this step is a relative size between a plurality of regions in the image, and thus differs depending on the image. If the region of interest satisfies the above conditions, that is, if YES in S1003, the processing of the image dividing unit 53 proceeds to S1005. On the other hand, if the region of interest does not satisfy the above conditions, that is, if NO in S1003, the processing of the image dividing unit 53 proceeds to S1006.
  • the image dividing unit 53 determines whether or not the size of the region of interest is equal to or larger than the second threshold.
  • the second threshold is set as the ratio of the number of pixels in the region of interest to the number of pixels in the rectangular region, defining the smallest rectangular region that includes the region of interest. Therefore, the size of the rectangular region changes according to the size of each region of interest.
  • the second threshold here is explained as 15%. In other words, determination in this step is based on whether or not the following conditions are satisfied.
  • Second threshold ⁇ (size of region of interest)/(size of rectangular region including region of interest) If the size of the region of interest is greater than or equal to the second threshold, that is, if YES in S1004, the process of the image dividing unit 53 proceeds to S1007. On the other hand, if the size of the region of interest is smaller than the second threshold, that is, if NO in S1004, the processing of the image dividing unit 53 proceeds to S1008.
  • the image dividing unit 53 classifies the region of interest as an arc light region. Then, the processing of the image dividing unit 53 proceeds to S1009.
  • the image dividing unit 53 classifies the region of interest as a noise region. Then, the processing of the image dividing unit 53 proceeds to S1009.
  • the image dividing unit 53 classifies the region of interest as a spatter region. Then, the processing of the image dividing unit 53 proceeds to S1009.
  • the image dividing unit 53 classifies the region of interest as a dark fume region. Then, the processing of the image dividing unit 53 proceeds to S1009.
  • the image dividing unit 53 determines whether or not there is an unprocessed area. If there is an unprocessed area, that is, if YES in S1009, the process of the image dividing unit 53 returns to S1001 and repeats the process. On the other hand, if there is no unprocessed area, that is, if NO in S1009, this processing flow ends and proceeds to S811 in FIG.
  • the data processing device 50 generates a binarized image made up of areas classified as arc light by the element classification process described with reference to FIG.
  • This binarized image may be generated by extracting the area classified as arc light from the binarized image labeled in S809.
  • the binarized image at this time contains components corresponding to the flare.
  • a flare is light that is generated by being reflected in a lens or a camera that constitutes the visual sensor 40 . Therefore, the data processing device 50 performs contraction/expansion processing on the generated binarized image by the image dividing unit 53 in order to remove the components of the flare.
  • a well-known technique may be used for contraction/expansion processing. In order to properly remove flare components, multiple erosion and expansion processes may be performed, and the order of the processes is not particularly limited.
  • the data processing device 50 uses the calculation unit 54 to calculate the index value of the arc light using the binarized image processed at S811.
  • the calculator 54 counts the number of pixels in the arc light area included in the binarized image, and uses the counted value as the index value.
  • the arc light index value based on the luminance value is calculated in the processing of S806, and the arc light index value based on the number of pixels is calculated in the processing of S812. These may be treated as separate index values, or one index value for the entire arc light may be derived from the above two index values. Further, the arc width, arc length, direction of arc deflection, etc. may be calculated as index values of the arc light based on the area, center of gravity, principal axis angle, etc. in the area of the arc light.
  • the data processing unit 50 causes the image processing unit 52 to use the red component image processed in S807 to generate a red component image composed of the regions classified as spatter in the element classification processing of FIG. Generate.
  • the data processing device 50 uses the calculation unit 54 to calculate the index value of the spatter using the red component image generated at S813.
  • the calculation unit 54 removes, from the regions of each spatter included in the red component image, regions having an area equal to or greater than a predetermined threshold, that is, regions having the number of pixels equal to or greater than a predetermined threshold. This assumes that each spatter is smaller than a given size, and removes the area as background.
  • the threshold here is not particularly limited, it is defined in advance.
  • the calculation unit 54 identifies the remaining spatter region, and calculates the number of the pixels and the number of regions formed by the identified pixels as the index value of the spatter. At this time, when counting the number of pixels, only pixels whose R value is equal to or greater than a predetermined threshold may be counted.
  • the correspondence relationship between the actually measured amount of generated spatter and the value calculated from the image according to the present embodiment is defined in advance by a relational expression, a table, or the like. may be used to derive the index value.
  • a relational expression or a table may be used to convert the calculated value from the image into the amount of spatter indicating the weight per unit time.
  • the data processing unit 50 subtracts the value of the spatter region generated in S813 from the image generated in S807 by the image processing unit 52, thereby generating an image from which the spatter is removed.
  • the data processing device 50 causes the image processing unit 52 to perform gamma correction on the image generated at S815.
  • gamma correction By converting the luminance value with gamma correction, a region with minute luminance values in the image is excluded.
  • the threshold value for the area to be excluded is not particularly limited, and is defined in advance here.
  • a known method may be used for gamma correction, and for example, the configuration of the gamma curve is not particularly limited.
  • the data processing device 50 causes the image processing unit 52 to perform filtering on the image processed at S816. Edges in the image are detected by filtering, and portions with steep luminance value gradients are emphasized.
  • a Laplacian filter can be used, but other filters may be used.
  • the data processing device 50 causes the image processing unit 52 to segment the image to which the filtering process has been applied in S817 based on the luminance gradient.
  • the region division processing here is performed using, for example, the Watershed algorithm. With the watershed algorithm, it is possible to finely divide and emphasize the magnitude of brightness, that is, the portion with a sharp gradient of light and shade. Note that the region dividing method to be used is not particularly limited, and other methods may be used.
  • the data processing device 50 uses the calculation unit 54 to calculate a dark fume index value based on the image generated in S818.
  • the image is divided into a plurality of areas. At this time, the greater the number of small divided regions, the greater the gradation.
  • a region with many shades, that is, a divided region having a predetermined area or less is regarded as a dense fume generation location, and the total area value is assumed as an index value indicating the dense fume.
  • a dense fume index value is derived using the following equation (1).
  • the correspondence relationship between the actually measured amount of generated fumes and the calculated value from the image according to the present embodiment is defined in advance by a relational expression, a table, or the like. may be used to derive the index value.
  • a relational expression or a table may be used to convert the measured value from the image into the Hume amount indicating the weight per unit time.
  • index value of light fume is calculated in the processing of S804, and the index value of dark fume is calculated in the processing of S819.
  • index value of light fume is calculated in the processing of S804, and the index value of dark fume is calculated in the processing of S819.
  • the data processing device 50 displays them on a screen (not shown) by the display unit 56 .
  • a plurality of welding behaviors such as spatters and fumes identified by the calculated index values are preferably displayed in chronological order.
  • Voltage values and the like may also be synchronized in chronological order and displayed side by side, that is, displayed so that comparison objects can be easily visually recognized.
  • FIG. 12 shows the transition of the image from the red component image to the generation of the image for each component, and corresponds to the image processing of S805 to S815 in the processing sequence of FIG.
  • An image 1201 shows an example of a red component image, and shows an image after color component separation processing.
  • An image 1202 shows an image after applying binarization processing to the image 1201 .
  • Images 1203 and 1205 show images generated for each component by applying labeling processing and element decomposition processing to the image 1202 .
  • An image 1203 is an image composed of regions classified as spatter, and corresponds to the image generated in S811.
  • An image 1205 is an image composed of areas classified as arc light, and corresponds to the image generated in S815.
  • An image 1204 is an image obtained by removing the area regarded as the background from the image 1203, and corresponds to the image generated in S814.
  • An image 1206 shows a case where the obstacle is not reflected in the image 1205 .
  • the image 1206 has an area classified as arc light in the center of the image.
  • FIG. 13 shows the transition of the image from the red component image to the segmentation, and corresponds to the image processing of S815 to S818 in the processing sequence of FIG.
  • An image 1301 shows an example of a red component image from which the spatter area is removed, and corresponds to the image generated in S815.
  • An image 1302 is an image obtained by applying gamma correction and filtering processing to the image 1301, and corresponds to the image after the processing in S817.
  • An image 1303 is an image obtained by applying area division to the image 1302, and corresponds to the image after the processing in S818.
  • the operator can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems. In particular, it is possible to easily grasp the welding situation while comparing a plurality of items.
  • the configuration may be such that the measurement time can be set. For example, in moving image data of a predetermined length of time, it may be possible to specify a time period to be measured. Then, in this time zone, pixels and brightness values of fume, spatter, and arc light may be counted, and each index value may be calculated. As a result, for example, it is possible to check the welding behavior while taking into consideration the welding conditions in a predetermined time period.
  • the operation of the welding robot 10, the power supply device 30, and the visual sensor 40 may be controlled based on the measurement results and error check results.
  • the imaging setting of the visual sensor 40 may be switched, and various welding parameters of the welding robot 10 and the power supply device 30 may be controlled.
  • the welding robot 10 can be operated more appropriately according to the occurrence of welding behavior.
  • a program or application for realizing the functions of one or more embodiments described above is supplied to a system or device using a network or a storage medium, and one or more programs in the computer of the system or device It is also possible to implement a process in which the processor reads and executes the program.
  • circuits that realize one or more functions include, for example, ASICs (Application Specific Integrated Circuits) and FPGAs (Field Programmable Gate Arrays).
  • this specification discloses the following matters. (1) having a display step of displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a method of displaying welding-related information characterized by: According to this configuration, the operator can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems.
  • the display method according to (1) characterized by: According to this configuration, it is possible to easily grasp the fluctuation tendency of a plurality of measurement items on one screen.
  • the figure is an arrow;
  • the direction of the arrow indicates increase, decrease, or no change, and the color, tone, or size of the arrow indicates the amount of change.
  • the display method according to (2) characterized by: According to this configuration, it is possible to visually and easily grasp the variation trends of a plurality of measurement items on one screen.
  • the trend of variation in the measurement item is determined based on the values of at least two points in the vicinity of the sampling point at the time or position of interest, 4.
  • the value of the measurement item and at least one of past data and reference data of the measurement item are displayed in association with each other;
  • the at least two measurement items are selected and displayed from at least two of welding setting information, welding state information, production status information, correction information, and welding phenomenon information included in the welding-related information.
  • the measurement items related to the welding setting information include at least one set value of welding current, arc voltage, feed speed, welding speed, shield gas flow rate, and shield gas pressure.
  • the measurement items related to the welding state information include a detected value of at least one of welding current, arc voltage, feed speed, welding speed, shield gas flow rate, and shield gas pressure.
  • the measurement items related to the production status information include at least one detection value of wire consumption, wire consumption rate, arc rate, feeding load, and number of short circuits.
  • the measurement item related to the correction information includes at least one detection value of a sensing correction amount and an arc sensor correction amount.
  • the measurement items related to the welding phenomenon information include at least one detection value of spatter, fume, arc length, arc width, welding defect, molten pool width, molten pool height, molten pool or droplet temperature.
  • At least one of measurement items of spatter, fume, arc length, arc width, welding defect, molten pool width, molten pool height, molten pool or droplet temperature is displayed on the display screen. displayed in the The display method according to any one of (1) to (13), characterized by: According to this configuration, at least one of spatter, fume, arc length, arc width, welding defect, molten pool width, molten pool height, molten pool or droplet temperature is measured as the measurement item of the welding phenomenon information. It can be displayed on the display screen.
  • display means for displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a display device for welding-related information characterized by: According to this configuration, the operator can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems.
  • a welding device (16) a welding device; a sensor; a measuring device that measures welding-related information using the values detected by the sensor;
  • a welding system having a display device that displays the welding-related information, The display device display means for displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a welding system characterized by: According to this configuration, the operator can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems.
  • (17) having a display step of displaying at least two of the plurality of measurement items included in the welding-related information on the same graph in association with at least one of time series and position information; each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; a display screen of the graph, and at least one of a display screen of a moving image of welding associated with the measurement item displayed in the graph and a display screen of history information of errors detected in the measurement item.
  • the welding-related information includes at least one of welding setting information, welding state information, production status information, correction information, and welding phenomenon information,
  • a method of displaying welding-related information characterized by: According to this configuration, the operator can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems.
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a display screen for welding-related information each of the at least two measurement items is displayed by changing at least one of color and line type on the graph; at least one of a display screen of the graph and a display screen of a moving image of welding associated with the measurement item displayed in the graph or a display screen of history information of errors detected in the measurement item; is switchable,
  • the welding-related information includes at least one of welding setting information, welding status information, production status information, correction information, and welding phenomenon information.
  • a display screen for welding-related information characterized by: According to this configuration, the operator can quickly recognize a plurality of pieces of welding-related information, and can easily acquire useful information when solving more advanced welding-related problems.
  • Welding System 10 Welding Robot 11 Welding Torch 12 Wire Feeding Device 13 Welding Wire 20 Robot Control Device 30 Power Supply Device 40 Vision Sensor 41 Laser Sensor 42 Current Sensor 43 Voltage Sensor 50 Data Processing Device 51 Storage Unit 52 Image Processing Unit 53 Image Division Unit 54 Calculation Unit 55 Display Control Unit 56 Display Unit 57 Sensor Control Unit 201 CPU (Central Processing Unit) 202 memory 202A control program 203 operation panel 204 teaching pendant 205 robot connection section 206 communication section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Arc Welding Control (AREA)
  • Manipulator (AREA)

Abstract

溶接関連情報の表示方法であって、溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。

Description

溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面
 本発明は、溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面に関する。
 ガスメタルアーク溶接(以降、GMAWとも称する)は、溶接中において起こる様々な溶接現象の挙動(以降、溶接挙動と称する)が発生する。溶接挙動の中には、例えばスパッタやヒュームのように、溶接品質に害を与えるものもあり、従来、溶接挙動に関する各種情報に対し、リアルタイムでのモニタリングやトレーサビリティ等の溶接品質の管理を行うことを目的として、各種情報を計測し、その情報を表示する方法が求められてきた。
 従来の表示方法として、特許文献1では、溶接電流または溶接電圧の少なくともいずれかの一方の時系列データと、作業プログラムの教示ステップとがどのように関連しているかを時系列で確認することを目的とした表示方法が開示されている。具体的には、アーク溶接中に取得した溶接電流及び溶接電圧の両方の時系列データと、溶接に用いられた作業プログラムとを関連付けし、表示画面において、作業プログラムの教示ステップをマーカーにより時系列データに対応させて表示することが開示されている。
 また、特許文献2では、溶接状態に関する情報の把握を迅速に行いつつ、溶接作業環境の変化に敏感に応答でき、高度な自動溶接作業の品質を向上させることを目的とした表示方法が開示されている。具体的には、平均電流、平均電圧、平均アークショート時間等をステイタスデータとして、積層、ウィービング、開先、溶接電流、溶接電圧、Y軸制御、Z軸制御等を1画面に表示することを可能とした方法が開示されている。
日本国特開2013-158819号公報 日本国特開平9-262670号公報
 しかしながら、溶接挙動の情報および溶接挙動に関する各種情報(以降、溶接関連情報と称する)の計測項目(以降、単に項目とも称する)は多数存在し、溶接に係る種々の問題解決のためには、多数の項目をモニタリングする必要がある。特許文献1は、計測項目として電流および電圧によるものだけが示されており、溶接に係る種々の問題解決のための情報としては不十分と言える。また、特許文献2では、積層、ウィービング、開先、溶接電流、溶接電圧、Y軸制御、Z軸制御等を1画面に表示するものである。しかし、各計測項目が一つのグラフ内で表示されており、計測項目ごとに比較がしにくく、また、これら複数の計測項目をグラフ別で1画面で表示すると作業者は迅速に情報を認識し難い。
 本願発明では、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得できるようにすることを目的とする。
 上記課題を解決するために本願発明は以下の構成を有する。すなわち、溶接関連情報の表示方法であって、
 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。
 また、本願発明の別の形態として以下の構成を有する。すなわち、溶接関連情報の表示装置であって、
 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示手段を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。
 また、本願発明の別の形態として以下の構成を有する。すなわち、
 溶接装置と、
 センサと、
 前記センサによって検出された値を用いて溶接関連情報を計測する計測装置と、
 前記溶接関連情報を表示する表示装置と
を有する溶接システムであって、
 前記表示装置は、
 前記溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示手段を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。
 また、本願発明の別の形態として以下の構成を有する。すなわち、溶着関連情報の表示方法であって、
 溶着関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶着の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶着関連情報は、溶着設定情報、溶着状態情報、生産状況情報、補正情報、溶着現象情報のうちの少なくとも一つを含む。
 また、本願発明の別の形態として以下の構成を有する。すなわち、プログラムであって、
 コンピュータに、
 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を実行させ、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。
 また、本願発明の別の形態として、以下の構成を有する。すなわち、溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程にて生成される溶接関連情報の表示画面であって、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む。
 本発明によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
本願発明の一実施形態に係る溶接システムの構成例を示す概略図。 本願発明の一実施形態に係るロボット制御装置の構成例を示す概略図。 本願発明の一実施形態に係るデータ処理装置の機構構成の例を示す概略図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る表示画面の構成例を示す画面図。 本願発明の一実施形態に係る処理の流れを示すフローチャート。 本願発明の一実施形態に係る各色成分画像の生成を説明するための説明図。 本願発明の一実施形態に係る要素分類の処理を示すフローチャート。 画像内に障害物が含まれる場合を説明するための説明図。 本願発明の一実施形態に係る画像の変遷を説明するための説明図。 本願発明の一実施形態に係る画像の変遷を説明するための説明図。
 以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。
 また、本願発明に係る溶接挙動を計測して表示する方法は溶接だけでなく、GMAWを活用した付加製造技術、具体的には、金属積層造型技術(WAAM:Wire and Arc Additive Manufacturing)においても有用である。なお、付加製造という用語は、広義では積層造形またはラピットプロトタイピングの用語で用いられることがあるが、本願発明においては、統一して付加製造の用語を用いる。本願発明に係る手法を付加製造技術に活用する場合は、「溶接」を「溶着」、「付加製造」または「積層造形」等に言い換えられる。例えば、溶接として扱う場合は「溶接挙動」となるが、付加製造として本願発明を活用する場合は、「溶着挙動」と言い換えたり、溶接として扱う場合は「溶接システム」となるが、付加製造として本願発明を活用する場合は、「付加製造システム」と言い換えたりすることができる。また、溶接と、付加製造技術の溶着とは、その動作などに応じて測定対象や管理対象が一部異なる。それに伴い、後述する「溶接関連情報」と、付加製造技術における「溶着関連情報」のそれぞれに含まれる項目は異なっていてよい。
 <第1の実施形態>
 以下、本願発明に係る一実施形態について図面を参照しつつ説明する。
 [溶接システムの構成]
 図1は、本実施形態に係る溶接システム1の構成例を示す。図1に示す溶接システム1は、溶接ロボット10、ロボット制御装置20、電源装置30、視覚センサ40、およびデータ処理装置50を含んで構成される。なお、本願発明に係る手法を付加製造に適用して用いる場合は、例えば、溶接システム1を付加製造システム、溶接ロボット10を付加製造用ロボットと読み替えてもよい。
 図1に示す溶接ロボット10は、6軸の多関節ロボットにより構成され、その先端部にはGMAW用の溶接トーチ11が取り付けられている。なお、GMAWには、例えばMIG(Metal InertGas)溶接やMAG(Metal Active Gas)溶接があり、本実施形態ではMAG溶接を例に挙げて説明する。また、溶接ロボット10は6軸の多関節ロボットに限られたものではなく、例えば可搬型の小型ロボットを採用してもよい。
 溶接トーチ11には、ワイヤ送給装置12から溶接ワイヤ13が供給される。溶接ワイヤ13は、溶接トーチ11の先端から溶接個所に向けて送り出される。電源装置30は、溶接ワイヤ13に電力を供給する。この電力により、溶接ワイヤ13とワークWとの間にはアーク電圧が印加され、アークが発生する。電源装置30には、溶接中の溶接ワイヤ13からワークWに流れる溶接電流(以降、電流とも称する。)を検出する不図示の電流センサ、および溶接ワイヤ13とワークWとの間のアーク電圧(以降、電圧とも称する)を検出する不図示の電圧センサが設けられている。
 電源装置30は、不図示の処理部と記憶部を有する。処理部は、例えば、CPU(Central Processing Unit)により構成される。また、記憶部は、例えば、HDD(Hard Disk Drive)、ROM(Read Only Memory)やRAM(Random Access Memory)等の揮発性や不揮発性のメモリにより構成される。処理部が、記憶部に記憶された電源制御用のコンピュータプログラムを実行することにより、溶接ワイヤ13に印加する電力を制御する。電源装置30は、ワイヤ送給装置12にも接続され、処理部が溶接ワイヤ13の送給速度や送給量を制御する。
 溶接ワイヤ13の組成や種類は、溶接対象に応じて使い分けられる。なお、本実施形態に係る溶接挙動は、上述したスパッタ、ヒュームに加え、アーク偏向、アーク圧、溶融池上の酸化物被覆量、溶滴移行形態、溶滴離脱周期、短絡回数、ピット等の溶接欠陥の発生等が挙げられる。
 視覚センサ40は、例えば、CCD(Charge Coupled Device)カメラにより構成される。視覚センサ40の配置位置は特に問わず、溶接ロボット10に直接取り付けてもよいし、また、監視カメラとして、周辺の特定の場所に固定されてもよい。溶接ロボット10に視覚センサ40を直接取り付けた場合には、視覚センサ40は、溶接ロボット10の動作に併せて、溶接トーチ11の先端周辺を撮影するように移動する。視覚センサ40を構成するカメラの台数は複数でもよい。
 また、視覚センサ40により撮影する方向も特に問わず、例えば、溶接が進行する方向を前方とした場合に、前方側を撮影するように配置してもよいし、側面側、後方側を撮影するように配置してもよい。したがって、視覚センサ40による撮影範囲は、計測対象の溶接挙動によって、適宜決定すればよい。なお、スパッタ、ヒュームを対象とする場合は、溶接トーチ11の干渉を抑制するために、前方側から撮影することが好ましい。
 本実施形態においては、特定の場所に固定した視覚センサ40を用い、少なくとも、ワークW、溶接ワイヤ13、およびアークが含まれる撮像範囲となるように、溶接画像として動画像を撮像する。なお、溶接画像に係る各種撮影設定は、予め規定されていてもよいし、溶接システム1の動作条件に応じて切り替えられてもよい。撮影設定としては、例えば、フレームレート、画像のピクセル数、解像度、シャッタースピードなどが挙げられる。図1では、視覚センサ40を代表的に例示しているが、更に、その他の情報を検出するためのセンサ類を備えていてよい。例えば、センサ類にはレーザーセンサが含まれてよい。レーザーセンサは、溶接前にギャップ幅の開先形状等を検出し、そのデータに基づいて、倣い位置、ウィービング補正量等を捉え、後述する補正情報として出力することが可能である。本実施形態に係るセンサ類の例の詳細については後述するが、その数や設置位置、検出原理などは、モニタリング等の目的とする情報に併せて変更されてよい。
 溶接システム1を構成する各部位は、有線/無線の各種通信方式により、通信可能に接続される。ここでの通信方式は、1つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。
 [ロボット制御装置の構成]
 図2は、溶接ロボット10の動作を制御するロボット制御装置20の構成例を示す。ロボット制御装置20は、装置全体を制御するCPU201、データを記憶するメモリ202、複数のスイッチを含む操作パネル203、教示作業で使用する教示ペンダント204、ロボット接続部205、および通信部206を含んで構成される。メモリ202は、例えば、ROM、RAM、HDDなどの揮発性や不揮発性の記憶装置により構成される。メモリ202には、溶接ロボット10の制御に用いられる制御プログラム202Aが記憶される。CPU201は、制御プログラム202Aを実行することにより、溶接ロボット10による各種動作を制御する。
 ロボット制御装置20に対する指示の入力には、主に教示ペンダント204が用いられる。教示ペンダント204は、通信部206を介して、ロボット制御装置20本体に接続される。オペレータは、教示ペンダント204を使用して、教示プログラムを入力することができる。ロボット制御装置20は、教示ペンダント204から入力された教示プログラムに従って溶接ロボット10の溶接動作を制御する。なお、教示プログラムは、例えば不図示のコンピュータを用いて、CAD(Computer-Aided Design)情報等に基づいて自動的に作成することも可能である。教示プログラムにて定義される動作内容は、特に限定するものではなく、溶接ロボット10の仕様や溶接方式に応じて異なっていてよい。教示ペンダント204は、操作パネル203とは別に、不図示の操作部や表示部を備えており、例えば、後述する表示画面を表示可能である。
 ロボット接続部205には、溶接ロボット10の駆動回路が接続されている。CPU201は、制御プログラム202Aに基づく制御信号を、ロボット接続部205を介して溶接ロボット10が備える不図示の駆動回路に出力する。
 通信部206は、有線又は無線通信用の通信モジュールである。通信部206は、電源装置30やデータ処理装置50、教示ペンダント204とのデータ通信に使用される。通信部206にて用いられる通信の方式や規格は特に限定するものではなく、複数の方式が組み合わされてもよい。電源装置30からは、例えば不図示の電流センサによって検出された溶接電流の電流値や、不図示の電圧センサによって検出されたアーク電圧の電圧値が通信部206を介してCPU201に与えられる。
 ロボット制御装置20は、溶接ロボット10の各軸の制御により、溶接トーチ11の移動速度や狙い位置も制御する。また、ロボット制御装置20は、設定された周期、振幅、溶接速度に応じて、溶接ロボット10のウィービング動作も制御する。ウィービング動作とは、溶接の進行方向に対して交差する方向に溶接トーチ11を交互に揺動させることをいう。ロボット制御装置20は、ウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御とは、溶接線に沿ってビードが形成されるように、溶接トーチ11の進行方向に対して左右の位置を制御する動作である。また、ロボット制御装置20は、電源装置30を介してワイヤ送給装置12を制御することで、溶接ワイヤ13の送給速度なども制御する。
 [データ処理装置の構成]
 図3は、データ処理装置50の機能構成の例を説明するための図である。データ処理装置50は、例えば、不図示のCPU、ROM、RAM、ハードディスク装置、入出力インタフェース、通信インタフェース、映像出力インタフェース等により構成される。データ処理装置50は、上記の各構成部位が連携することにより、記憶部51、画像処理部52、画像分割部53、算出部54、表示制御部55、表示部56、およびセンサ制御部57を実現する。画像処理部52、画像分割部53、算出部54、表示制御部55、および表示部56で行われる一連の工程は、データ処理装置50に上にインストールされたソフトウェアによってなされてもよい。
 記憶部51は、視覚センサ40で撮像した画像データを記録、管理し、各処理部からの要求に応じて画像データを提供する。ここでいう画像データは、静止画像データでもよいし、静止画像データを任意のフレームレートにおいて連続して撮像した動画像のデータでもよい。ここでいうフレームレートとは、例えば1秒間などの所定時間間隔において視覚センサ40で撮像する静止画像データの枚数を示す。好ましくは、1~10FPS(Frames Per Second)の範囲で決めるとよい。なお、溶接挙動の情報、即ち溶接現象情報のリアルタイム計測や溶接現象情報のトレーサビリティとして活用する場合においては、動画像として記録してくことが好ましい。
 画像処理部52は、記憶部51に記憶された画像データを用いて、本実施形態に係る計測のための前処理を行う。前処理としては、例えば、コントラスト補正、明るさ補正、色補正、二値化等のモノクロ画像変換、ノイズ除去、エッジ強調、収縮・膨張、画像特徴抽出等が挙げられる。
 画像分割部53は、画像処理部52において各種の画像処理を適用した処理画像データに基づいて、予め定めた構成要素ごとに複数の画像に分割した分割画像を作成する。なお、予め定めた構成要素とは、溶接挙動としてのスパッタ、ヒューム、アーク光や、溶接システム1の構成物である溶接ワイヤ13やノズル、母材、溶融池、障害物、それ以外の背景などが挙げられる。ここでは、スパッタ、ヒューム、アーク光に特に着目して説明を行う。なお、画像処理部52にて行われる処理は、画像分割部53の分割画像を生成するための前処理に限定するものではない。必要に応じて、分割画像に対して画像処理部52が処理を行ってもよい。
 算出部54は、分割画像や処理画像データに基づいて、溶接挙動としてのスパッタ、ヒューム、アーク光を定量的に計測するための各種指標値を算出する。ここでの算出は、例えば、時系列順に行われることが好ましい。ここでいう時系列とは、例えば、経過時間、教示プログラム順、動画像を構成する連続した静止画像データ順などが挙げられる。
 表示制御部55は、視覚センサ40、レーザーセンサ41、電流センサ42、または電圧センサ43などのセンサ類から得られた情報や、ロボット制御装置20等に記録されている情報、算出部54にて算出された情報などを用いて、予め定めた複数の計測項目に対する時系列データの結果を画像として構成する。そして、表示制御部55は、表示部56や、教示ペンダント204の不図示の表示部に出力させる。ここで生成される画像の具体例については後述する。
 表示部56は、表示制御部55にて生成された画面を表示する。このとき、表示部56は、例えば、電流センサ42や電圧センサ43にて検出された値や、ロボット制御装置20から取得した各種情報について、時系列にて同期させて画面上にて表示させる。表示部56は、例えば、データ処理装置50が備える不図示の液晶ディスプレイや教示ペンダント204が備えるディスプレイなどから構成される。
 センサ制御部57は、溶接システム1に備えられたセンサ類の動作を制御する。図3の例では、センサ類として視覚センサ40、レーザーセンサ41、電流センサ42、電圧センサ43などを例示している。センサ制御部57は、これらのセンサ類のうち、例えば、視覚センサ40やレーザーセンサ41を制御するような構成であってよい。例えば、視覚センサ40が溶接ロボット10以外への設置型である場合には、視覚センサ40として少なくともPTZ機能を有するカメラを採用することが好ましい。その場合、センサ制御部57は、そのカメラにおけるパン(Pan)、チルト(Tilt)、ズーム(Zoom)などを溶接ロボット10の動作に併せて制御してよい。また、センサ制御部57は、ロボット制御装置20から溶接ロボットの10の動作に関する情報を取得し、その情報に基づいて視覚センサ40の動作を制御してよい。また、レーザーセンサ41が設けられる場合には、センサ制御部57は、レーザーの照射の向きや強度、タイミングなどを制御してよい。
 [表示画面]
 続いて、本実施形態に係る各種情報の表示画面の構成例について説明する。本実施形態では、溶接中または溶接後において、溶接関連情報を表示画面上にて表示可能である。本実施形態に係る溶接関連情報は、初期設定値や閾値等の溶接設定情報、設定値に基づいて行われる溶接作業の状況に応じて変動する溶接状態情報、生産状況情報、補正情報、および溶接挙動に係る情報である溶接現象情報を少なくとも含む。より具体的に、溶接設定情報としては、溶接電流の設定値、アーク電圧の設定値、送給速度の設定値、シールドガス流量の設定値、シールドガス圧力の設定値等が挙げられる。溶接状態情報としては、検出した溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力が挙げられる。生産状況情報としては、ワイヤ消費量・消費率、アーク率、送給負荷、短絡回数等が挙げられる。補正情報としては、センシング補正量、アークセンサ補正量(以降、倣い量とも称する)等が挙げられる。溶接現象情報としては、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度等が挙げられる。
 なお、後述する各表示画面にてグラフ上に表示される計測項目の組み合わせは一例であり、これらに限定するものではない。例えば、1のグラフ上に表示される少なくとも2つの計測項目は、上述したような溶接関連情報に含まれる溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも2つから選択して表示されることが好ましい。特に、所定の溶接挙動が発生する際の相関性がより高い組み合わせが含まれることが好ましい。例えば、溶接電流とスパッタの組み合わせや、アーク電圧とヒュームの組み合わせ等が挙げられる。
 以下では、トレーサビリティを目的として、溶接終了後の溶接関連情報を表示した例を示す。しかし、溶接終了後に限らず、溶接途中、即ちリアルタイムで適時取得される情報に基づいて表示を行ってもよい。なお、図1では省略しているが、本実施形態に係る溶接ロボット10はタンデム方式の溶接トーチ11、すなわち、2つの溶接トーチ11を備える。そして、溶接トーチ11の進行方向に対して先行する溶接トーチを「先行極」とも称し、先行極に追従する後行の溶接トーチを「後行極」とも称する。先行/後行は、溶接の進行方向に応じて切り替わり、2つの溶接トーチ11が適時その役割を担う。
 図4Aは、本実施形態に係る表示画面400の構成例を示す。表示画面400は、グラフ領域401、グラフ領域401に表示させる項目を指定するためのチェックボックス402、グラフ領域401にて表示されるグラフのグラフ情報403を含んで構成される。図4Aの例では、溶接設定情報としての溶接電流の設定値を示す「先行 設定電流」およびアーク電圧の設定値を示す「先行 設定電圧」と、溶接状態情報としての溶接電流を示す「先行 実電流」およびアーク電圧を示す「先行 実電圧」の4項目が、チェックボックス402にて指定可能に構成されている。ここでは、先行極を対象とした項目を例に挙げて示している。チェックボックス402の中から1または複数の項目が選択されると、時系列に沿ってグラフ領域401にてそれぞれのグラフが表示される。また、チェックボックス402には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット10の位置情報に対応するステップ番号407がグラフ領域401に表示される。
 グラフ情報403には、例えば、溶接ロボット10を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。なお、図4A、および図4A以降の図面における日時情報は「XXXX」が年、「YY」が月、「ZZ」が日を示し、その後ろに時間が表示される。なお、各情報の表示順や配置は特に限定するものではない。
 図4Aの例において、グラフ領域401では、溶接における電流と電圧のグラフを表示させるため、それらに対応した目盛りが表示される。グラフ領域401の左側の縦軸404には、電流値に対応したアンペア[A]の目盛りが表示されている。また、グラフ領域401の右側の縦軸405には、電圧値に対応したボルト[V]の目盛りが表示されている。また、グラフ領域401の横軸406は時間を示し、時系列に沿ったグラフが示される。
 なお、図4Aの例において、縦軸は、電流に係る目盛りと電圧に係る目盛りを左右に分けて記載しているが、これに限定するものではなく、片側に複数の項目の目盛りをまとめて表示してもよい。また、横軸において、時間およびステップ番号を表示しているが、他の時系列に係る項目で表示してもよい。なお、作業者の観測および計測結果の把握を容易にする観点からは、少なくとも、時刻、ステップ番号のどちらか一方が表示されていると好ましく、これら二つの項目が併記されていることがより好ましい。また、縦軸の上限と下限、および、横軸の時間間隔の表示範囲は作業者によって任意に指定可能であってもよいし、溶接の動作条件等に応じて予め規定されてもよい。
 図4Aの例では、1のグラフ領域401において、各グラフを識別可能に異なる表示形式で示している。ここでの表示形式は一例であり、線の形状や色などを変更して表示してよい。このような表示を行うことで、複数の項目の時系列データを、作業者が迅速に認識できるようになる。特に実電流や実電圧が設定値通りに出力されているかをまとめて確認することができる。なお、情報量がより多くなる3以上の項目の表示をより明確、簡便に把握できるため、3以上の項目を表示する際により識別性の高い画面を提供することが可能となる。
 図4Bは、本実施形態に係る表示画面410の構成例を示す。基本的な構成は図4Aに示した表示画面400と同様であるが、ここでは、溶接線に対する倣い制御に係る制御量、すなわち、倣い量を対象とした表示画面である。なお、倣い量はアークセンサを用いることが一般的であるが、例えばレーザーセンサ等、他のセンサを用いて、倣い量を検出しても良い。表示画面410は、グラフ領域411と、グラフ領域411に表示させる項目を指定するためのチェックボックス412、グラフ領域411にて表示されるグラフのグラフ情報413を含んで構成される。図4Bの例では、先行極の溶接線に対する左右の倣い量を示す「倣い 左右」、先行極の溶接線に対する上下の倣い量を示す「倣い 上下」、後行極の倣いの回転量を示す「倣い 後行極」の3項目が、チェックボックス412にて指定可能に構成されている。また、チェックボックス412には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、ステップ番号417がグラフ領域411に表示される。
 グラフ情報413には、図4Aの表示画面400のグラフ情報403と同様、例えば、溶接ロボット10を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。
 図4Bの例において、グラフ領域411では、先行極の上下左右の倣い量、および、後行極の倣いの回転のグラフを表示させるため、それらに対応した目盛りが表示される。グラフ領域411の左側の縦軸414には、上下左右の倣い量に対応したミリ[mm]の目盛りが表示されている。また、グラフ領域411の左側の縦軸415には、回転角に対応した度[°]の目盛りが表示されている。また、グラフ領域411の横軸416は時間を示し、時系列に沿ったグラフが示される。
 図4Cは、本実施形態に係る表示画面420の構成例を示す。基本的な構成は図4Aに示した表示画面400と同様であるが、ここでは、タッチセンシングによる溶接位置の補正量を対象とした表示画面である。なお、タッチセンシングに限らず、例えば、レーザーセンシングによるものでもよい。表示画面420は、グラフ領域421、グラフ領域421に表示させる項目を指定するためのチェックボックス422、グラフ領域421にて表示される項目のグラフ情報423を含んで構成される。図4Cの例では、予め規定されたXYZの3次元座標系における各軸に対する3項目が、チェックボックス422にて指定可能に構成されている。また、チェックボックス422には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、ステップ番号426がグラフ領域421に表示される。
 グラフ情報423には、図4Aの表示画面400のグラフ情報403と同様、例えば、溶接ロボット10を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。
 図4Cの例において、グラフ領域421では、各軸方向に対応した補正量のグラフを表示させるため、それに対応した目盛りが表示される。グラフ領域421の左側の縦軸424には、補正量に対応したミリ[mm]の目盛りが表示されている。また、グラフ領域421の横軸425は時間を示し、時系列に沿ったグラフが示される。
 図4Dは、本実施形態に係る表示画面430の構成例を示す。基本的な構成は図4Aに示した表示画面400と同様であるが、ここでは、ワイヤ送給装置12による溶接ワイヤの送給に係る情報を対象とした表示画面である。表示画面430は、グラフ領域431、グラフ領域431に表示させる項目を指定するためのチェックボックス432、グラフ領域431にて表示されるグラフのグラフ情報433を含んで構成される。図4Dの例では、溶接設定情報としての先行極の溶接ワイヤの送給速度の指令値(以降、指令値を設定値と言い換えても良い)、溶接状態情報としての実際の送給速度およびワイヤの送給負荷の3項目が、チェックボックス432にて指定可能に構成されている。また、チェックボックス432には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、ステップ番号437がグラフ領域431に表示される。
 グラフ情報433には、図4Aの表示画面400のグラフ情報403と同様、例えば、溶接ロボット10を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。
 図4Dの例において、グラフ領域421では、溶接ワイヤの送給速度および送給負荷のグラフを表示させるため、それらに対応した目盛りが表示される。グラフ領域431の左側の縦軸434には、送給負荷に対応したパーセント[%]の目盛りが表示されている。グラフ領域431の左側の縦軸435には、送給速度に対応したMPM[m/m]の目盛りが表示されている。また、グラフ領域431の横軸436は時間を示し、時系列に沿ったグラフが示される。
 (エラーチェック結果の表示)
 本実施形態に係るデータ処理装置50は、取得した情報に基づいて、各種エラーチェックを行い、表示画面上に表示を行う。以下、エラーチェックに係る表示画面について説明する。
 まず、本実施形態に係るエラーチェックについて説明する。本実施形態では、設定値エラー、基準値エラー、絶対値エラーの3つのエラーチェックを行う。なお、ここで示すエラーチェックの内容は一例であり、これらの一部が実行されてもよいし、他のエラーチェックが行われてもよい。
 設定値エラーのチェックでは、設定値と、実測値、すなわち、フィードバック値との差が所定時間にわたって許容範囲、すなわち、閾値を超えた場合に設置値エラーと判定する。設定値エラーのチェック対象としては、電流[A]、電圧[V]、溶接速度[cm/min]、ワイヤ送給速度[m/min]、ウィービング幅[mm]などが挙げられる。
 基準値エラーのチェックでは、基準値とフィードバック値それぞれに対し所定の時間単位にて平均値を求め、平均値の差が許容範囲、すなわち閾値を超えた場合に基準値エラーと判定する。ここでの基準値とは、例えば、良好な溶接結果が得られた際の実測値を設定してよい。基準値エラーのチェック対象としては、電流[A]、電圧[V]、ワイヤ送給速度[m/min]、ウィービング幅[mm]などが挙げられる。
 絶対値エラーのチェックでは、フィードバック値が所定時間にわたって許容上下限値を外れた場合に絶対値エラーと判定する。絶対値エラーのチェック対象としては、ワイヤ送給負荷[%]、入熱量[J/cm]などが挙げられる。
 図5Aは、本実施形態に係るエラーチェック結果に基づく表示画面500の構成例を示し、ここでは電流を対象として設定値エラーおよび基準値エラーのチェック結果を表示可能な画面を示す。表示画面500は、グラフ領域501、グラフ領域501に表示させる項目を指定するためのチェックボックス502、グラフ領域501にて表示されるグラフのグラフ情報503、および遷移ボタン507を含んで構成される。図5Aの例では、溶接設定情報としての溶接電流の設定値を示す「後行 設定電流」、溶接状態情報としての溶接電流を示す「後行 実電流」、設定値エラーと判定した箇所を示す「設定値エラー後行 実電流」、基準値エラーと判定した箇所を示す「基準値エラー後行 実電流」の4項目が、チェックボックス502にて指定可能に構成されている。ここでは、後行極を対象とした項目を例に挙げて示している。チェックボックス502の中から1または複数の項目が選択されると、時系列に沿ってグラフ領域401にてそれぞれのグラフが表示される。また、チェックボックス502には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット10の位置情報に対応するステップ番号506がグラフ領域501に表示される。
 グラフ情報403には、例えば、溶接ロボット10を識別するための情報や、実行した教示プログラムの情報、溶接を行ったパスの情報、溶接を実行した日時情報などが表示されてよい。
 図5Aの例において、グラフ領域501では、溶接における電流のグラフを表示させるため、それに対応した目盛りが表示される。グラフ領域501の左側の縦軸504には、電流値に対応したアンペア[A]の目盛りが表示されている。また、グラフ領域501の横軸505は時間を示し、時系列に沿ったグラフが示される。
 破線508にて示した範囲は、設定値エラーとして判定された実電流の範囲を示す。つまり、設定電流と実電流との差分が所定時間にわたって所定の閾値を超えた箇所となる。遷移ボタン507は、図5Bに示す表示画面510に遷移するためのボタンである。
 図5Bは、本実施形態に係るエラーチェック結果に基づく表示画面510の構成例を示し、図5Bの表示画面500に対応する表示画面である。ここでは、電流を対象として設定値エラーおよび基準値エラーのチェック結果を表示可能な画面の構成例を示す。表示画面510は、大きく2つの領域511、512に分けられる。領域511は、グラフ領域513、グラフ領域513に表示させる項目を指定するためのチェックボックス514、グラフ領域513にて表示されるグラフのグラフ情報515を含んで構成される。溶接設定情報としての溶接電流の設定値を示す「後行 設定電流」、溶接状態情報としての溶接電流を示す「後行 実電流」の2項目が、チェックボックス514にて指定可能に構成されている。ここでは、後行極を対象とした項目を例に挙げて示している。チェックボックス514の中から1または複数の項目が選択されると、時系列に沿ってグラフ領域513にてそれぞれのグラフが表示される。なお、チェックボックス514において「後行 実電流」が指定された場合、基準値エラーのチェックに用いられる基準値のグラフが表示される。また、チェックボックス514には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット10の位置情報に対応するステップ番号がグラフ領域513に表示される。
 領域512は、グラフ領域516、グラフ領域516に表示させる項目を指定するためのチェックボックス517、グラフ領域516にて表示されるグラフのグラフ情報518を含んで構成される。溶接設定情報としての溶接電流の設定値を示す「後行 設定電流」、溶接状態情報としての溶接電流を示す「後行 実電流」、設定値エラーと判定した箇所を示す「設定値エラー後行 実電流」、基準値エラーと判定した箇所を示す「基準値エラー後行 実電流」の4項目が、チェックボックス517にて指定可能に構成されている。ここでは、後行極を対象とした項目を例に挙げて示している。チェックボックス517の中から1または複数の項目が選択されると、時系列に沿ってグラフ領域516にてそれぞれのグラフが表示される。また、チェックボックス514には、「ステップ」の項目が指定可能に含まれ、これを指定することにより、溶接ロボット10の位置情報に対応するステップ番号がグラフ領域516に表示される。
 破線519にて示した範囲は、基準値エラーとして判定された実電流の範囲を示す。つまり、基準値とフィードバック値それぞれに対し所定の時間単位にて平均値を求め、平均値の差が許容範囲、すなわち閾値を超えた箇所となる。
 本実施形態では、上述した表示画面500や表示画面510から、他の表示画面へと遷移可能に構成される。図6Aは、エラーに関する履歴情報601を示す一覧画面600の構成例を示す。例えば、表示画面500においてエラーと判定した箇所をグラフ表示させた際に、その範囲を選択することで、一覧画面600に遷移するような構成であってよい。履歴情報は、エラーであると判定した際に適時、記憶部51等にて記録される。履歴情報601に含まれる項目は一例であり、図6Aに示す項目以外が含まれてもよい。グラフ表示ボタン602が押下された場合には、遷移元の画面、例えば、表示画面500へ遷移する。閉じるボタン603が押下された場合には、一覧画面600を閉じる。
 図6Bは、エラー判定を行った際の履歴情報に対応付けて保持された動画像を再生するための表示画面610の構成例を示す。例えば、表示画面500においてエラーと判定した箇所をグラフ表示させた際に、任意の位置を選択することで、その位置に対応する動画像を再生するために表示画面610に遷移するような構成であってよい。または、図6Aの一覧画面600に含まれる履歴情報601の中から任意のエラーを選択することで、そのエラーに対応する動画像を再生するために表示画面610に遷移するような構成であってよい。表示領域611は、動画像を再生する領域である。操作領域612は、動画像を再生する際の操作を受け付ける各種操作アイコンを表示する。操作アイコンとしては、動画像に対する、再生、停止、早送り、巻き戻しなどの操作に対応したアイコンが挙げられるが、特に限定するものではない。
 図6Cは、本実施形態に係る各種エラー判定の際の設定を行うための設定画面620の構成例を示す。設定項目621は、上述した設定値エラー、基準値エラー、および絶対値エラーのチェックに用いられる各種閾値や設定値を設定するための項目が含まれる。なお、ここで示された項目は一例であり、エラーチェックの内容に応じて増減してよい。設定ボタン622が押下された場合、設定項目621に入力された値にて設定が行われる。キャンセルボタン623が押下された場合、設定を中止し、本画面を閉じる。
 図2や図3を用いて説明したように、本実施形態に係るシステムは、データ処理装置50側の表示部56や、教示ペンダント204における表示部など、表示が可能な複数の部位を有する。したがって、その表示させる部位に応じて、表示させる画面構成を異ならせてよい。ここでは、一例として、教示ペンダント204にて表示させることが可能な別の画面構成について説明する。図7は、表示画面の別の構成例を示す。
 表示画面700は、表示領域701、702、705を含んで構成される。表示領域701は、表示領域702や表示領域705の表示の概要や関連情報を表示する。表示領域702は、時系列に沿った各種グラフを表示する。ここでは、実測値としての溶接電流およびアーク電流のグラフが表示されている。なお、表示領域702の左側の縦軸703には電流に対応したアンペア[A]の目盛りが表示され、左側の縦軸704には電圧に対応したボルト[V]の目盛りが表示されている。この目盛りは、表示するグラフに応じて変化する。
 表示領域705には、表示領域702に表示しているグラフに関連する詳細情報が表示される。ここでは、表示領域705には、3つの情報706、707、708が一例として表示されている。情報706は、現時点、すなわち、表示領域702に表示されているグラフの端部に対応する時点での先行極と後行極それぞれの電流値と電圧値を示している。情報707は、現時点での溶接電流の変動傾向を矢印のアイコンにて示している。情報708は、現時点でのアーク電圧の変動傾向を示している。変動傾向は、例えば、位置または時間における直前の値と比較して、増加、減少、維持、すなわち変化なしなどが容易に視認可能なアイコンで示されてよい。より具体的には、矢印が上向きの場合はグラフが上方向への変化を示し、矢印が下向きの場合はグラフが下方向への変化を示す。アイコンにて用いる記号が図形も特に限定するものではない。矢印の大きさや色、色調により、変化量を識別可能に示してもよい。例えば、アークセンサ補正量の時系列データにおいて、矢印が緑色の場合は1mm未満の変化、黄色の場合は1mm以上2mm未満の変化、赤色の場合は2mm以上の変化を示すような構成であってもよい。
 なお、グラフにおける値の増減に対する評価は、任意の観測時間または位置におけるサンプリング点と、近傍の少なくとも2点以上から判定してよい。この、任意の観測時間または位置におけるサンプリング点と近傍の少なくとも2点以上から、例えば一次式の線形モデルを作成し、その傾きに基づいて増減を判定できる。なお、ここでいう近傍とは、任意の観測時間または位置におけるサンプリング点を基準として、所定の点数内または所定の時間内として予め規定してよい。例えば、サンプリング間隔を0.2秒とし、表示画面の更新、すなわち、グラフの更新を1秒間隔としてよい。また、グラフの更新に伴って、増減評価も1秒間隔にて行ってよい。
 [分析例]
 図6Aや図6Bに示したように、本実施形態に係る表示画面は、実測値と、任意の値、例えば、基準値や過去の値と比較した上で、エラーのチェックを行って容易に識別可能な情報を提示することができる。実測値が溶接電流である場合、過去の値や設定値と比較してエラーと判定される位置を抽出できる。実測値がスパッタやヒュームである場合は、参考データと比較して、標準値以上にスパッタやヒュームが発生している箇所を特定したり、さらに溶接電流等、他の項目と比較することによって、スパッタ、ヒューム等の具体的な不具合に対し、作業者は容易に把握、分析を行ったりすることができる。よって、表示画面においては、溶接現象情報とその他の情報のうち少なくとも一つの情報を対応付けて表示することがより好ましく、その他の情報のうち、少なくとも溶接状態情報と溶接現象情報を対応付けて表示することがさらにより好ましい。
 よって、少なくとも溶接現象情報を含めて表示を行うことで、より精度の高い情報を作業者が得ることができる。例えば、図5Aや図5B、図6Bに示した各表示画面は遷移可能に構成されており、これらを参照することで、溶接電流の設定値と実測値、スパッタを含む項目とした場合に、溶接電流の設定値と実測値の差異を不具合の尺度としてスパッタがどの程度増えたかが容易に把握できる。また、ガス流量の設定値と実測値、溶接欠陥としてピットを含む項目とした場合に、ガス流量の設定値と実測値の差異からガスの供給不足を判定し、ガスの供給不足時における溶接欠陥の発生有無もしくは発生量を把握できたりする。このように、溶接挙動とその溶接挙動が起こる要因を容易に知ることができる。
 以下、本実施形態に係る表示画面にて表示可能な情報の一例として、スパッタ、ヒューム、およびアーク光を計測し、その指標を導出する方法について説明する。なお、計測した各指標の表示画面での表示方法は、上記の構成に則って、適時調整されてよい。
 [計測方法]
 図8は、画像データから複数の溶接挙動を計測する際の一連の流れを説明するための図である。図8では、溶接挙動の一例であるスパッタ、ヒューム、およびアーク光を計測する一連の処理を示しているが、これらすべてを計測する必要は無く、その一部を計測するような構成であってもよい。また、図8では、例えば、1の溶接挙動に対して、複数の指標値を算出しているが、必ずしもすべての指標値を算出する必要はなく、1の溶接挙動に対して1の指標値を算出するように切り替えてもよい。なお、本実施形態は、トレーサビリティを目的として、溶接終了後の動画像データを処理した例であるが、処理は溶接終了後に限らず、溶接動作と並行して、即ちリアルタイムで以下に示す処理を行ってもよい。
 図8の処理フローは、溶接動作と並行して、または、溶接時に撮影された画像を用いて、溶接挙動を測定する際に、データ処理装置50の処理部が、記憶部に記憶されたプログラムを読み込んで実行することで、図3に示した各部位を機能させることで実現されてよい。
 S801にて、データ処理装置50は、処理対象となる動画像データを取得する。ここでは、フレームレート、シャッタースピード等の撮像条件を視覚センサ40に設定し、視覚センサ40により撮影対象となる溶接位置の範囲が動画像データとして撮像される。撮像条件は、作業者が任意の値に設定してもよいし、予め規定された固定値が用いられてもよい。撮影した動画像データは、データ処理装置50の記憶部51に直接格納してもよいし、視覚センサ40自体にメモリがある場合は、視覚センサ40のメモリに一旦格納した後に、記憶部51へ動画像データを移行させてもよい。なお、以降の処理は、動画像データに含まれる複数の静止画像データそれぞれに対して処理が行われる。
 S802にて、データ処理装置50は、取得した動画像データに対して、色成分分解処理を行う。本実施形態に係る動画像データは、例えば、各画素がRed、Green、Blueの色成分を示すRGB信号から構成される色画像により構成される。RGB信号は例えば、各色成分を8bitとし、1画素あたり計24bitにて示される。この場合、各色成分に対応する信号値は0~255の値をとる。ここでの色成分分解処理では、各色成分に着目し、RGB毎の色成分に分けた動画像データが作成される。言い換えれば、1の動画像データから、Rの色成分のみの動画像データ、Gの色成分のみの動画像データ、およびBの色成分のみの動画像データに分割して生成する。より具体的には、Rの色成分のみの動画像データを生成する場合、動画像データのGおよびBの信号値を0に変換することで、色成分分解処理が行われる。
 図9は、動画像データからRGBそれぞれの色成分のみの動画像データの生成を説明するための図である。図9に示すように、動画像データに含まれるある1の静止画像データから生成される3つの色成分のみの静止画像データは、それぞれ異なる表現となり、同じ溶接挙動が生じた場合であっても異なる特徴が捉えられる。以下、Rの色成分のみの静止画像データ、Gの色成分のみの静止画像データ、Bの色成分のみの静止画像データをそれぞれ「赤色成分画像」、「緑色成分画像」、「青色成分画像」と称して説明する。
 本願発明者は、実験や検証等の結果、青色成分画像は、熱エネルギー光に対し、明確に確認できることを見出した。熱エネルギー光は、アーク光またはヒュームに関連する事象である。つまり、青色成分画像を用いることで、熱エネルギー光における濃淡が淡い光を抽出でき、この淡い光に基づいて、これまでは抽出が困難であった周囲に拡散するヒュームを算出することを可能にする。
 また、本願発明者は、実験や検証等の結果、赤色成分画像は、金属、スラグ等の高温発光において、明確に確認できることを見出した。つまり、赤色成分画像を用いることで、それに含まれる高温発光に基づいて、スパッタや溶融池、もしくは粒子密度が高いヒュームをとらえることが可能となる。以下、画像上において粒子密度の高いヒュームを「濃いヒューム」、粒子密度の低いヒュームを「薄いヒューム」とも記載する。なお、ここでの濃淡は相対的なものであり、その濃度値が限定されるものではない。
 各RGB成分に分解する処理を行うことで、種々の溶接挙動の特徴抽出が容易となる。なお、本実施形態では、赤色成分画像および青色成分画像を用いて溶接挙動を計測する例について説明する。しかし、これに限定するものではなく、緑色成分画像を更に用いて、溶接挙動を計測してもよい。例えば、後述する構成要素の領域特定などにおいて、緑色成分画像を用いてもよい。
 なお、本実施の形態では、RGBの色空間を例に挙げて説明しているが、これに限定するものではない。例えば、R、G、Bの各パラメータに対応して変換可能な他の色空間を用いてもよい。より具体的には、利用可能な色空間として、RGBA、YCbCr、YUVなどが挙げられる。
 まず、青色成分画像を用いた薄いヒュームを測定するための指標値の算出について説明する。S803にて、データ処理装置50は、画像処理部52により、青色成分画像に対して背景減算処理を適用する。背景減算処理の手法は特に限定するものでは無いが、例えば、公知のRolling Ballアルゴリズムを用いてノイズを除去することで背景減算を行ってもよい。そのほか、所定のフィルタを用いたフィルタリング処理により背景減算処理を行ってもよい。本工程の処理により、スバイク状の信号を除去して、滑らかに変動する画素値を取得することができる。本実施形態では、この滑らかに変動する画素値が薄いヒュームに由来するものであるとして扱う。
 S804にて、データ処理装置50は、算出部54により、S803にて背景減算処理が行われた青色成分画像において、輝度の合計値を薄いヒュームの指標値として算出する。ここでは、青色成分画像全体にて示される輝度ヒストグラムにおいて、各輝度値に基づいて重みづけを行った合計値を指標値として算出してよい。
 次に、赤色成分画像を用いたアーク光および濃いヒュームを測定するための指標値について説明する。S805にて、データ処理装置50は、画像処理部52により、赤色成分画像に対して背景減算処理を適用する。背景除去処理の手法は特に限定するものでは無いが、例えば、S803の処理と同様、公知のRolling Ballアルゴリズムを用いてノイズを除去することで背景減算を行ってもよい。そのほか、所定のフィルタを用いたフィルタリング処理により背景減算処理を行ってもよい。本工程の処理により、スバイク状の信号を除去して、滑らかに変動する画素値を取得することができる。
 S806にて、データ処理装置50は、算出部54によりS805にて背景減算処理が行われた赤色成分画像において、輝度の合計値をアーク光の指標値として算出する。ここでは、赤色成分画像全体にて示される輝度ヒストグラムにおいて、各輝度値に基づいて重みづけを行った合計値を指標値として算出してよい。
 S807にて、データ処理装置50は、画像処理部52により、S802にて生成された赤色成分画像の各画素の輝度値から、S805にて生成された背景減算処理後の赤色成分画像の輝度値を除外する。本工程により、赤色成分画像において、滑らかに変動する画素値を除外することができる。
 S808にて、データ処理装置50は、画像処理部52により、S807の処理後の赤色成分画像に対して二値化処理を行い、二値化画像を生成する。ここでの二値化処理の方法は特に限定するものでは無く、公知の方法を用いてよい。また、二値化処理の際の閾値の設定についても特に限定するものではなく、例えば、画素値がとり得る値の中央値を閾値としてもよい。
 S809にて、データ処理装置50は、画像処理部52により、S808にて生成された二値化画像を用いて当該画像に含まれる各領域のラベリング処理を行う。二値化画像には、1以上の画素にて構成される複数の領域が含まれており、各領域の抽出を行う。本実施形態では、二値化画像において、画素値が「1」である画素からなる各領域を、溶接挙動により生じる構成要素のいずれかに対応する領域としてラベリングする。ラベリング処理の方法は特に限定するものでは無く、公知の手法が用いられてよい。また、領域のサイズの下限も特に限定するものではなく、例えば、最小の領域は、1画素からなる領域としてよい。なお、画素値が「0」である画素からなる領域が溶接挙動により生じる構成要素に対応する場合、そちらをラベリングしてよい。
 S810にて、データ処理装置50は、画像分割部53により、S809にてラベリングした画像内の各領域に対して要素分類処理を行う。本工程の詳細について、図10を用いて説明する。本工程は、処理対象となる複数の赤色成分画像それぞれを用いて行われたラベリング処理の結果に基づいて、都度行われる。
 S1001にて、画像分割部53は、二値化画像に含まれる1または複数のラベリングされた領域のうち、未処理の領域に着目する。このとき、着目する順序は特に限定するものでは無いが、例えば、領域のサイズに基づき降順にソートし、サイズが大きいものから順に着目してもよい。
 S1002にて、画像分割部53は、着目領域を構成する画素数が第1の閾値以下か否かを判定する。ここでの第1の閾値は、300画素として説明する。なお、第1の閾値は、赤色成分画像の全体サイズに応じて規定されてもよいし、溶接状況に応じて変化させてもよい。例えば、視覚センサ40が固定位置の監視カメラであった場合、溶接位置が変わる、即ち、視覚センサ40の位置と溶接位置の距離、または撮影方向や撮影角度が変わるため、撮影対象の大きさが変化する。よって、予め、距離、方向と対象物の大きさの関係を設け、この関係に基づいて、第1の閾値を変化させてもよい。一方、視覚センサ40の位置と溶接位置の距離が変化しても、撮影対象の大きさを一定、即ち、第1の閾値を一定としてもよいように、カメラ側の倍率を変えてもよい。着目領域の画素数が第1の閾値以下である場合、即ち、S1002にてYESの場合、画像分割部53の処理は、S1004へ進む。一方、着目領域の画素数が第1の閾値より大きい場合、即ち、S1002にてNOの場合、画像分割部53の処理は、S1003へ進む。
 S1003にて、画像分割部53は、着目領域が画像の中央に位置し、かつ、ラベリングされた領域のうち、最大のサイズであるか否かを判定する。つまり、通常の溶接挙動を撮影した画像においては、中央にアーク光が位置し、アーク光の領域は画像内において最大の領域となる。一方、撮影時に障害物等が映り込んだ結果、アーク光が中央にない場合がある。そのような場合には、着目領域はノイズとして扱う。図7は、画像上に障害物が映り込んだ例を示している。このような場合には、アーク光が画像の中央に位置しない画像となる。なお、ここでの中央とは、予め範囲が設定されていてよく、画像サイズや溶接挙動などに応じて変化してよい。また、本工程の判定にて用いられる最大のサイズとは、画像内の複数の領域間の相対的なサイズとなるため、画像によって異なる。着目領域が上記条件を満たす場合、即ち、S1003にてYESの場合に、画像分割部53の処理はS1005へ進む。一方、着目領域が上記条件を満たさない場合、即ち、S1003にてNOの場合に、画像分割部53の処理はS1006へ進む。
 S1004にて、画像分割部53は、着目領域のサイズが第2の閾値以上か否かを判定する。第2の閾値は、着目領域を包含する最小の矩形領域を規定し、その矩形領域の画素数に対する着目領域の画素数の割合として設定される。したがって、矩形領域のサイズは、各着目領域のサイズに応じて変化する。ここでの第2の閾値は、15%として説明する。つまり、本工程での判定は、以下の条件を満たすか否かが判定される。
 第2の閾値≦(着目領域のサイズ)/(着目領域を包含する矩形領域のサイズ)
着目領域のサイズが第2の閾値以上である場合、即ち、S1004にてYESの場合、画像分割部53の処理はS1007へ進む。一方、着目領域のサイズが第2の閾値より小さい場合、即ち、S1004にてNOの場合、画像分割部53の処理はS1008へ進む。
 S1005にて、画像分割部53は、着目領域をアーク光の領域として分類する。そして、画像分割部53の処理はS1009へ進む。
 S1006にて、画像分割部53は、着目領域をノイズの領域として分類する。そして、画像分割部53の処理はS1009へ進む。
 S1007にて、画像分割部53は、着目領域をスパッタの領域として分類する。そして、画像分割部53の処理はS1009へ進む。
 S1008にて、画像分割部53は、着目領域を濃いヒュームの領域として分類する。そして、画像分割部53の処理はS1009へ進む。
 S1009にて、画像分割部53は、未処理の領域があるか否かを判定する。未処理の領域がある場合、即ち、S1009にてYESの場合、画像分割部53の処理はS1001へ戻り、処理を繰り返す。一方、未処理の領域が無い場合、即ち、S1009にてNOの場合、本処理フローを終了し、図8のS811へ進む。
 図8に戻り、アーク光の指標値を算出する動作について説明する。S811にて、データ処理装置50は、図10を用いて説明した要素分類処理により、アーク光として分類された領域から構成される二値化画像を生成する。この二値化画像は、S809にてラベリングされた二値化画像から、アーク光として分類された領域を抽出することで生成されてよい。このときの二値化画像には、フレアに対応する構成要素が含まれる。フレアとは、視覚センサ40を構成するレンズやカメラの中で反射することで発生する光である。そこで、データ処理装置50は、画像分割部53により、フレアの構成要素を除去するために、生成した二値化画像に対して収縮・拡張処理を行う。収縮・拡張処理は、公知の手法を用いてよい。フレアの構成要素を適切に除去するために、複数回の収縮処理および膨張処理を行ってよく、また、その処理順序は特に限定されるものではない。
 S812にて、データ処理装置50は、算出部54により、S811にて処理された二値化画像を用いてアーク光の指標値を算出する。算出部54は、二値化画像に含まれるアーク光の領域の画素数をカウントし、その値を指標値として用いる。
 なお、S806の処理では輝度値に基づくアーク光の指標値を算出し、S812の処理では画素数に基づくアーク光の指標値を算出している。これらは、別個の指標値として扱ってもよいし、上記の2つの指標値からアーク光全体の1つの指標値を導出してもよい。また、アーク光の指標値として更に、アーク幅、アーク長、アーク偏向の方向などを、アーク光の領域における面積、重心、主軸角度などに基づいて算出してもよい。
 続いて、スパッタの指標値を算出する動作について説明する。S813にて、データ処理装置50は、画像処理部52により、S807の処理後の赤色成分画像を用いて、図10の要素分類処理にてスパッタとして分類された領域から構成される赤色成分画像を生成する。
 S814にて、データ処理装置50は、算出部54により、S813にて生成した赤色成分画像を用いてスパッタの指標値を算出する。まず、算出部54は、赤色成分画像に含まれる各スパッタの領域のうち、所定の閾値以上の面積、すなわち、所定の閾値以上の画素数を有する領域を除去する。これは、1つ1つのスパッタは所定のサイズよりも小さいものであると仮定し、その領域を背景であるとみなして除去する。ここでの閾値は特に限定するものではないが、予め規定されているものとする。次に、算出部54は、残ったスパッタの領域を特定し、その画素の数や、特定した画素にて構成される領域の数を、スパッタの指標値として算出する。このとき、画素数をカウントする際には、Rの値が所定の閾値以上の画素のみをカウントしてもよい。
 なお、ここでの評価値の算出の際には、発生したスパッタの実測量と、本実施形態による画像からの算出値との対応関係を、関係式やテーブルなどで予め定義しておき、それらを用いて指標値を導出してもよい。この場合、関係式やテーブルを用いて、画像からの算出値を単位時間当たりの重量を示すスパッタ量に変換してよい。
 続いて、濃いヒュームの指標値を算出する動作について説明する。S815にて、データ処理装置50は、画像処理部52により、S807にて生成した画像からS813にて生成されたスパッタの領域の値を減算することで、スパッタを除去した画像を生成する。
 S816にて、データ処理装置50は、画像処理部52により、S815にて生成された画像に対してガンマ補正を行う。ガンマ補正にて輝度値を変換することにより、画像内における微小な輝度値の領域を除外する。除外対象となる領域に対する閾値は、特に限定するものでは無く、ここでは予め規定されているものとする。また、ガンマ補正は、公知の方法を用いてよく、例えば、ガンマカーブの構成は特に限定するものではない。
 S817にて、データ処理装置50は、画像処理部52により、S816にて処理された画像に対してフィルタリング処理を行う。フィルタリング処理により、画像中のエッジを検出し、輝度値の勾配が急な部分を強調させる。ここでのフィルタリング処理では、例えば、Laplacianフィルタを用いることができるが、他のフィルタを用いてもよい。
 S818にて、データ処理装置50は、画像処理部52により、S817にてフィルタ処理が適用された画像に対して、輝度の勾配に基づいた領域分割を行う。ここでの領域分割処理は、例えば、Watershedアルゴリズムを用いて行う。Watershedアルゴリズムにより、輝度の大小、すなわち、濃淡の勾配が激しい部分をより細かく分割し、強調することが可能である。なお、用いる領域分割手法は特に限定するものではなく、他の手法であってもよい。
 S819にて、データ処理装置50は、算出部54により、S818にて生成した画像に基づき濃いヒュームの指標値を算出する。S818の処理において、画像を複数の領域に分割している。このとき、小さい分割領域が多いほど濃淡が多くあることとなる。本実施形態では、濃淡が多くあるという領域、すなわち、予め定めた面積以下の分割領域を濃いヒュームの発生個所として見立て、面積の合計値を濃いヒュームを示す指標値として想定する。本実施形態では、以下の式(1)を用いて濃いヒュームの指標値を導出する。以下の式(1)において、Tは、分割領域nの面積、すなわち、画素数を示す(n=1,…,i)。
Figure JPOXMLDOC01-appb-M000001
 なお、ここでの評価値の算出の際には、発生したヒュームの実測量と、本実施形態による画像からの算出値との対応関係を、関係式やテーブルなどで予め定義しておき、それらを用いて指標値を導出してもよい。この場合、関係式やテーブルを用いて、画像からの測定値を単位時間当たりの重量を示すヒューム量に変換してよい。
 また、S804の処理では薄いヒュームの指標値を算出し、S819の処理では濃いヒュームの指標値を算出している。これらは、別個の指標値として扱ってもよいし、所定の変換式を用いて上記の2つの指標値からヒューム全体の1つの指標値を導出してもよい。
 データ処理装置50は、上記の各指標値を導出したのち、表示部56により、不図示の画面上にて表示する。この時、算出された指標値にとり特定されるスパッタやヒューム等の複数の溶接挙動は、時系列に並べて表示されるとよく、これら溶接挙動に対する指標値の算出結果だけでなく、溶接電流やアーク電圧値等も時系列で同期させ、並べて、つまり比較対象が視認しやすいように表示させてもよい。
 図12、図13は、上記の処理において、画像処理による画像の変遷を説明するための図である。図12は、赤色成分画像から構成要素ごとの画像を生成するまでの画像の変遷を示し、図8の処理シーケンスのうち、S805~S815の処理による画像処理に相当する。
 画像1201は、赤色成分画像の例を示し、色成分分解処理後の画像を示す。画像1202は、画像1201に対して、二値化処理を適用した後の画像を示す。画像1203、1205は、画像1202に対して、ラベリング処理および要素分解処理を適用して、構成要素ごとに生成された画像を示す。画像1203は、スパッタとして分類された領域から構成される画像であり、S811にて生成される画像に相当する。画像1205は、アーク光として分類された領域から構成される画像であり、S815にて生成される画像に相当する。
 画像1204は、画像1203から背景として見なす領域を除去した画像であり、S814にて生成される画像に相当する。画像1206は、画像1205に障害物が映り込んでいない場合を示す。図11に示したように障害物が映り込んでいる場合には、画像の中央にアーク光に分類される領域が存在しない。一方、画像1206は、画像の中央にアーク光に分類された領域が存在することとなる。
 図13は、赤色成分画像から領域分割までの画像の変遷を示し、図8の処理シーケンスのうち、S815~S818の処理による画像処理に相当する。
 画像1301は、スパッタ領域を除去した赤色成分画像の例を示し、S815にて生成される画像に相当する。画像1302は、画像1301に対しガンマ補正およびフィルタリング処理を適用した画像であり、S817の処理後の画像に相当する。画像1303は、画像1302に対し領域分割を適用した画像であり、S818の処理後の画像に相当する。
 なお、図8のS802、S805、S808の流れで示したように、色処理、背景減算処理(滑らかさに関する処理)、二値化処理の順で処理を行うことがより好ましい。これにより、画像に含まれる溶接挙動の領域を適切に検出することができる。
 以上、本実施形態により、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。特に、複数の項目を比較しつつ、溶接の状況把握が容易に行うことが可能となる。
 <その他の実施形態>
 上記の構成において更に、計測時間を設定可能な構成であってもよい。例えば、所定時間の長さの動画像データにおいて、そのうちの測定対象となる時間帯を指定できるような構成であってもよい。そして、この時間帯において、ヒューム、スパッタ、アーク光の画素や輝度値をカウントし、各指標値を算出してもよい。これにより、例えば、所定の時間帯における溶接条件を踏まえながら、溶接挙動を確認するようなことが可能となる。
 また、上記の構成において、計測結果やエラーチェックの結果に基づいて、溶接ロボット10、電源装置30や視覚センサ40の動作を制御するような構成であってもよい。例えば、視覚センサ40の撮影設定を切り替えてもよいし、溶接ロボット10や電源装置30の各種溶接パラメータを制御してもよい。これにより、例えば、溶接挙動の発生状況に応じて、より適切に溶接ロボット10を動作させることが可能となる。
 また、本願発明において、上述した1以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワーク又は記憶媒体等を用いてシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
 また、1以上の機能を実現する回路によって実現してもよい。なお、1以上の機能を実現する回路としては、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)が挙げられる。
 以上の通り、本明細書には次の事項が開示されている。
 (1) 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示方法。
 この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
 (2) 前記グラフに表示される前記少なくとも2つの計測項目の時間または位置における変動傾向に対し、増加、減少、変化なしのうちの少なくとも2つの変動傾向が、記号または図形を用いて示される、
ことを特徴とする(1)に記載の表示方法。
 この構成によれば、1の画面上で、複数の計測項目の変動傾向を容易に把握することが可能となる。
 (3) 前記図形は矢印であり、
 前記矢印の向きにより、増加、減少、または変化なしが示され、かつ、前記矢印の色、色調、または大きさにより、変化量が示される、
ことを特徴とする(2)に記載の表示方法。
 この構成によれば、1の画面上で、複数の計測項目の変動傾向を視覚的に容易に把握することが可能となる。
 (4) 前記計測項目における変動傾向は、着目する時間または位置におけるサンプリング点を中心として、近傍の少なくとも2つの点の値に基づいて判定される、
ことを特徴とする請求項2または3に記載の表示方法。
 この構成によれば、着目するサンプリング点の周辺の値に基づいて、変動傾向を判定することが可能となる。
 (5) 前記計測項目の値と、当該計測項目の過去データまたは参考データのうち少なくとも一方とが対応付けて表示される、
ことを特徴とする(1)~(4)のいずれかに記載の表示方法。
 この構成によれば、過去データや参考データに基づいて行われた計測値の評価結果を容易に把握することが可能となる。
 (6) 前記計測項目の値と、当該計測項目の過去データ、参考データ、または、設定値のいずれかに基づいて行われる判定処理の結果とが対応付けて表示される、
ことを特徴とする(1)~(5)のいずれかに記載の表示方法。
 この構成によれば、過去データ、参考データ、または、設定値のいずれかに基づいて行われた判定結果を容易に把握することが可能となる。
 (7) 前記判定処理において所定の判定がなされた場合、前記グラフ上において、前記所定の判定がなされた計測項目を示す範囲に対し、色彩および線種のうちの少なくとも一方を変更して表示される、
ことを特徴とする(6)に記載の表示方法。
 この構成によれば、判定処理の結果に基づいて色彩や線種を変更させることで、視覚的に容易に結果を把握することが可能となる。
 (8) 前記少なくとも2つの計測項目は、前記溶接関連情報に含まれる溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも2つから選択して表示される、
ことを特徴とする(1)~(7)のいずれかに記載の表示方法。
 この構成によれば、複数の情報の中からそれぞれ計測項目を選択して表示させることが可能となる。
 (9) 前記溶接設定情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの設定値を含む、
ことを特徴とする(1)~(8)のいずれかに記載の表示方法。
 この構成によれば、溶接設定情報として、複数の設定値を対象として表示画面に表示させることが可能となる。
 (10) 前記溶接状態情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの検出値を含む、
ことを特徴とする(1)~(9)のいずれかに記載の表示方法。
 この構成によれば、溶接状態情報として、複数の検出値を対象として表示画面に表示させることが可能となる。
 (11) 前記生産状況情報に係る計測項目は、ワイヤの消費量、ワイヤの消費率、アーク率、送給負荷、短絡回数のうちの少なくとも一つの検出値を含む、
ことを特徴とする(1)~(10)のいずれかに記載の表示方法。
 この構成によれば、生産状況情報として、複数の検出値を対象として表示画面に表示させることが可能となる。
 (12) 前記補正情報に係る計測項目は、センシング補正量、アークセンサ補正量のうちの少なくとも一つの検出値を含む、
ことを特徴とする(1)~(11)のいずれかに記載の表示方法。
 この構成によれば、補正情報として、複数の検出値を対象として表示画面に表示させることが可能となる。
 (13) 前記溶接現象情報に係る計測項目は、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの検出値を含む、
ことを特徴とする(1)~(12)のいずれかに記載の表示方法。
 この構成によれば、溶接現象情報として、複数の検出値を対象として表示画面に表示させることが可能となる。
 (14) 前記溶接現象情報として、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの計測項目が表示画面上に表示される、
ことを特徴とする(1)~(13)のいずれかに記載の表示方法。
 この構成によれば、溶接現象情報の測定項目として、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つを表示画面上に表示させることが可能となる。
 (15) 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示手段を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示装置。
 この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
 (16) 溶接装置と、
 センサと、
 前記センサによって検出された値を用いて溶接関連情報を計測する計測装置と、
 前記溶接関連情報を表示する表示装置と
を有する溶接システムであって、
 前記表示装置は、
 前記溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示手段を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接システム。
 この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
 (17) 溶着関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を有し、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶着の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶着関連情報は、溶着設定情報、溶着状態情報、生産状況情報、補正情報、溶着現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶着関連情報の表示方法。
 この構成によれば、複数の溶着関連情報を作業者が迅速に認識できるとともに、溶着関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
 (18) コンピュータに、
 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を実行させ、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とするプログラム。
 この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
 (19) 溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程にて生成される溶接関連情報の表示画面であって、
 前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
 前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
 前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
ことを特徴とする溶接関連情報の表示画面。
 この構成によれば、複数の溶接関連情報を作業者が迅速に認識できるとともに、溶接関連のより高度な問題を解決する際に有用な情報を容易に取得が可能となる。
 以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
 なお、本出願は、2021年7月19日出願の日本特許出願(特願2021-118758)に基づくものであり、その内容は本出願の中に参照として援用される。
1 溶接システム
10 溶接ロボット
11 溶接トーチ
12 ワイヤ送給装置
13 溶接ワイヤ
20 ロボット制御装置
30 電源装置
40 視覚センサ
41 レーザーセンサ
42 電流センサ
43 電圧センサ
50 データ処理装置
51 記憶部
52 画像処理部
53 画像分割部
54 算出部
55 表示制御部
56 表示部
57 センサ制御部
201 CPU(Central Processing Unit)
202 メモリ
202A 制御プログラム
203 操作パネル
204 教示ペンダント
205 ロボット接続部
206 通信部

Claims (19)

  1.  溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程を有し、
     前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
     前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
     前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
    ことを特徴とする溶接関連情報の表示方法。
  2.  前記グラフに表示される前記少なくとも2つの計測項目の時間または位置における変動傾向に対し、増加、減少、変化なしのうちの少なくとも2つの変動傾向が、記号または図形を用いて示される、
    ことを特徴とする請求項1に記載の表示方法。
  3.  前記図形は矢印であり、
     前記矢印の向きにより、増加、減少、または変化なしが示され、かつ、前記矢印の色、色調、または大きさにより、変化量が示される、
    ことを特徴とする請求項2に記載の表示方法。
  4.  前記計測項目における変動傾向は、着目する時間または位置におけるサンプリング点を中心として、近傍の少なくとも2つの点の値に基づいて判定される、
    ことを特徴とする請求項2または3に記載の表示方法。
  5.  前記計測項目の値と、当該計測項目の過去データまたは参考データのうち少なくとも一方とが対応付けて表示される、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  6.  前記計測項目の値と、当該計測項目の過去データ、参考データ、または、設定値のいずれかに基づいて行われる判定処理の結果とが対応付けて表示される、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  7.  前記判定処理において所定の判定がなされた場合、前記グラフ上において、前記所定の判定がなされた計測項目を示す範囲に対し、色彩および線種のうちの少なくとも一方を変更して表示される、
    ことを特徴とする請求項6に記載の表示方法。
  8.  前記少なくとも2つの計測項目は、前記溶接関連情報に含まれる溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも2つから選択して表示される、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  9.  前記溶接設定情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの設定値を含む、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  10.  前記溶接状態情報に係る計測項目は、溶接電流、アーク電圧、送給速度、溶接速度、シールドガス流量、シールドガス圧力のうちの少なくとも一つの検出値を含む、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  11.  前記生産状況情報に係る計測項目は、ワイヤの消費量、ワイヤの消費率、アーク率、送給負荷、短絡回数のうちの少なくとも一つの検出値を含む、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  12.  前記補正情報に係る計測項目は、センシング補正量、アークセンサ補正量のうちの少なくとも一つの検出値を含む、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  13.  前記溶接現象情報に係る計測項目は、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの検出値を含む、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  14.  前記溶接現象情報として、スパッタ、ヒューム、アーク長、アーク幅、溶接欠陥、溶融池幅、溶融池高さ、溶融池または溶滴の温度のうちの少なくとも一つの計測項目が表示画面上に表示される、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示方法。
  15.  溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示手段を有し、
     前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
     前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
     前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
    ことを特徴とする溶接関連情報の表示装置。
  16.  溶接装置と、
     センサと、
     前記センサによって検出された値を用いて溶接関連情報を計測する計測装置と、
     前記溶接関連情報を表示する表示装置と
    を有する溶接システムであって、
     前記表示装置は、
     前記溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示手段を有し、
     前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
     前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
     前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
    ことを特徴とする溶接システム。
  17.  溶着関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を有し、
     前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
     前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶着の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
     前記溶着関連情報は、溶着設定情報、溶着状態情報、生産状況情報、補正情報、溶着現象情報のうちの少なくとも一つを含む、
    ことを特徴とする溶着関連情報の表示方法。
  18.  コンピュータに、
     溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に関連付けて同一のグラフ上にて表示する表示工程を実行させ、
     前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
     前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
     前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
    ことを特徴とするプログラム。
  19.  溶接関連情報に含まれる複数の計測項目のうちの少なくとも2つの計測項目を、時系列および位置情報の少なくとも一方に対応付けて同一のグラフ上にて表示する表示工程にて生成される溶接関連情報の表示画面であって、
     前記少なくとも2つの計測項目それぞれは、前記グラフ上において色彩および線種の少なくとも一方を変更して表示され、
     前記グラフの表示画面と、前記グラフに表示された計測項目に関連付けられた溶接の動画像の表示画面または当該計測項目にて検出されたエラーの履歴情報の表示画面のうちの少なくとも一方の画面とが切替可能に構成され、
     前記溶接関連情報は、溶接設定情報、溶接状態情報、生産状況情報、補正情報、溶接現象情報のうちの少なくとも一つを含む、
    ことを特徴とする溶接関連情報の表示画面。
PCT/JP2022/021721 2021-07-19 2022-05-27 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面 WO2023002754A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247001292A KR20240019362A (ko) 2021-07-19 2022-05-27 용접 관련 정보의 표시 방법, 표시 장치, 용접 시스템, 프로그램, 및 용접 관련 정보의 표시 화면
CN202280044375.0A CN117561137A (zh) 2021-07-19 2022-05-27 焊接相关信息的显示方法、显示装置、焊接系统、程序以及焊接相关信息的显示画面

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-118758 2021-07-19
JP2021118758A JP7460580B2 (ja) 2021-07-19 2021-07-19 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面

Publications (1)

Publication Number Publication Date
WO2023002754A1 true WO2023002754A1 (ja) 2023-01-26

Family

ID=84979138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021721 WO2023002754A1 (ja) 2021-07-19 2022-05-27 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面

Country Status (4)

Country Link
JP (1) JP7460580B2 (ja)
KR (1) KR20240019362A (ja)
CN (1) CN117561137A (ja)
WO (1) WO2023002754A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1147950A (ja) * 1997-07-28 1999-02-23 Miyachi Technos Corp 遠隔溶接管理装置
JP2006026640A (ja) * 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd アーク溶接ロボット
JP2021016870A (ja) * 2019-07-17 2021-02-15 株式会社日立製作所 溶接作業データ蓄積装置、溶接作業支援システムおよび溶接ロボット制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09262670A (ja) 1996-03-28 1997-10-07 Tokyo Gas Co Ltd 溶接装置のステイタス表示方法
JP6050004B2 (ja) 2012-02-07 2016-12-21 株式会社ダイヘン アーク溶接モニタ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1147950A (ja) * 1997-07-28 1999-02-23 Miyachi Technos Corp 遠隔溶接管理装置
JP2006026640A (ja) * 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd アーク溶接ロボット
JP2021016870A (ja) * 2019-07-17 2021-02-15 株式会社日立製作所 溶接作業データ蓄積装置、溶接作業支援システムおよび溶接ロボット制御装置

Also Published As

Publication number Publication date
CN117561137A (zh) 2024-02-13
JP2023014676A (ja) 2023-01-31
KR20240019362A (ko) 2024-02-14
JP7460580B2 (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
JP2023521379A (ja) 溶接品質のin-situ検査のための方法
JP7357463B2 (ja) 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体
Luo et al. Vision-based weld pool boundary extraction and width measurement during keyhole fiber laser welding
WO2023002753A1 (ja) 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム
JP2006281270A (ja) 手溶接作業分析装置および手溶接作業分析装置に適用する手溶接トーチ一体型監視カメラ
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
CN110196252B (zh) 坡口缺陷检测算法及装置
JP5158406B2 (ja) 溶接状況解析装置及び方法
JP2008126274A (ja) アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP5679912B2 (ja) 溶接異常検知方法及び溶接異常検知装置
US20220215519A1 (en) Processing device, welding system, processing method, and storage medium
US11922614B2 (en) Welding condition setting assistance device
WO2023002754A1 (ja) 溶接関連情報の表示方法、表示装置、溶接システム、プログラム、および溶接関連情報の表示画面
Nordbruch et al. Visual online monitoring of PGMAW without a lighting unit
JP2023095820A (ja) 学習モデルの生成方法、制御装置、学習モデル、溶接システム、およびプログラム
Shigeta et al. Qualitative and quantitative analyses of arc characteristics in SMAW
Gambrill et al. Narrow gap TIG arc weld process monitoring
Jin et al. Online measurement of the GMAW process using composite sensor technology
JP2002205166A (ja) 溶接状態表示装置
Ogawa Visual Analysis of Welding Processes
Yamane et al. Gap detection using convolutional neural network and adaptive control in robotic plasma welding
Amano et al. Development of in-process welding torch position control system using AI technology
Wu et al. Penetration prediction of narrow-gap laser welding based on coaxial high dynamic range observation and machine learning
Pernambuco et al. Data Analysis Tool and Image Acquisition System for Linear Arc Weld Deposition Evaluation
Güler et al. Measuring and Qualification on Camera Recordings in Wire Arc Additive Manufacturing Monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22845691

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280044375.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18577813

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20247001292

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020247001292

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE