WO2019203276A1 - スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置 - Google Patents

スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置 Download PDF

Info

Publication number
WO2019203276A1
WO2019203276A1 PCT/JP2019/016485 JP2019016485W WO2019203276A1 WO 2019203276 A1 WO2019203276 A1 WO 2019203276A1 JP 2019016485 W JP2019016485 W JP 2019016485W WO 2019203276 A1 WO2019203276 A1 WO 2019203276A1
Authority
WO
WIPO (PCT)
Prior art keywords
counting
sputter
still image
moving image
unit
Prior art date
Application number
PCT/JP2019/016485
Other languages
English (en)
French (fr)
Inventor
浩二 安藤
佐々木 智章
勝則 和田
優作 七尾
Original Assignee
大陽日酸株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陽日酸株式会社 filed Critical 大陽日酸株式会社
Priority to SG11202009552QA priority Critical patent/SG11202009552QA/en
Priority to EP19787779.8A priority patent/EP3756811A4/en
Priority to US17/043,240 priority patent/US20210016383A1/en
Publication of WO2019203276A1 publication Critical patent/WO2019203276A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0953Monitoring or automatic control of welding parameters using computing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125Weld quality monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/09Arrangements or circuits for arc welding with pulsed current or voltage
    • B23K9/091Arrangements or circuits for arc welding with pulsed current or voltage characterised by the circuits
    • B23K9/093Arrangements or circuits for arc welding with pulsed current or voltage characterised by the circuits the frequency of the pulses produced being modulatable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0956Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/32Accessories

Definitions

  • the present invention relates to a sputtering counting method, a computer program, and a sputtering counting apparatus.
  • MAG Metal Active Gas
  • This MAG welding is a kind of semi-automatic arc welding performed using a welding wire, and there are cases where molten metal particles (spatters) are scattered from the arc generation position to the surroundings during welding work as in general welding. Sputtering not only pollutes the surrounding environment but also may cause problems such as a decrease in welding quality, and it is desirable to suppress the generation amount.
  • Patent Document 1 There has been proposed a sputtering recognition method and a sputtering recognition apparatus that can accurately measure the amount of spatter generated and its behavior by using an image processing apparatus (see, for example, Patent Document 1).
  • the method disclosed in Patent Document 1 requires a high-speed camera having a photographing speed of 10,000 frames / second (FPS (Frames Per Second)), and the high-speed camera is mounted up to a moving device. Yes.
  • FPS Full Speed Per Second
  • the above high-speed camera means a camera having a shooting speed exceeding the normal video rate (30 frames per second: FPS).
  • high-speed cameras are often referred to as photographing apparatuses exceeding 100 FPS.
  • the conventional technology requires a large and expensive device, which is problematic in terms of cost. Furthermore, there is a demand for a sputter measurement apparatus that can measure and carry even when a narrow gap is welded. That is, there is a demand for a technique capable of counting spatters by a simple method while suppressing costs.
  • an object of the present invention is to provide a technique capable of counting spatter by a simple method while suppressing cost.
  • the present invention provides the following sputter measurement method.
  • a sputter counting method performed by a portable terminal device including a photographing device, wherein a photographing step of photographing a region including spatter generated at the time of welding with a moving image, and a stationary constituting the moving image photographed in the photographing step
  • a sputter counting method including, for each image, a counting step of counting the number of sputters photographed in the still image.
  • the sputter counting method further includes an image processing step of binarizing the moving image, and in the counting step, a black and white gradation is generated for each still image constituting the moving image after binarization processing.
  • An area in which the size of an area composed of pixels that are equal to or greater than a threshold of 1 and that have adjacent black and white gradations that are equal to or greater than the first threshold may be counted as the sputter. preferable.
  • the method further includes a setting step of setting a time zone for counting the number of spatters in the moving image shooting time, and the time set in the setting step in the image processing step. It is preferable to count the number of sputters photographed in the still image for each still image constituting the moving image of the band.
  • the shutter speed of the imaging apparatus for imaging the area in the imaging step is in a range of 1/400 second to 1/800 second.
  • the ISO sensitivity of the imaging apparatus that captures the area in the imaging step is a value that allows the sputters captured in the still image to emerge.
  • the sputter counting method preferably further includes a display control step of displaying the moving image and the number of sputters for each still image counted in the counting step in association with each other on the display unit.
  • the display control step it is preferable that in the display control step, the number of spatters for each still image is graphed and displayed on the display unit, and a statistical value of the number of spatters is further displayed.
  • the present invention provides the following computer program.
  • a photographing step of photographing a region including spatter generated during welding with a moving image, and each still image constituting the moving image photographed in the photographing step A computer program for executing a counting step for counting the number of sputters photographed in the still image is provided.
  • an image processing step for binarizing the moving image is further executed.
  • a black and white gradation is first added to each still image constituting the moving image after the binarization processing. It is preferable to count as an area where the size of an area composed of pixels that are equal to or greater than the threshold value and whose adjacent monochrome gradation is equal to or greater than the first threshold value is equal to or less than the second threshold value as the sputter. .
  • a setting step of setting a time zone for counting the number of spatters in the moving image shooting time is further executed, and in the image processing step, the time zone amount set in the setting step is set. It is preferable to count the number of sputters photographed in the still image for each still image constituting the moving image.
  • the shutter speed of the photographing apparatus for photographing the area in the photographing step is in a range of 1/400 second to 1/800 second.
  • the ISO sensitivity of the imaging apparatus that captures the area in the imaging step is a value that allows the sputters captured in the still image to emerge.
  • the computer program preferably further includes a display control step of causing the display unit to display the moving image and the number of sputters for each still image counted in the counting step in association with each other.
  • the number of spatters for each still image is graphed and displayed on the display unit, and a statistical value of the number of spatters is further displayed.
  • the present invention provides the following sputter measurement apparatus.
  • a portable terminal device that captures a moving image of a region including spatter generated during welding, and captures the still image for each still image that constitutes the moving image captured by the imaging device.
  • a sputter counting device including a counting unit that counts the number of sputters being performed.
  • the sputter counter further includes an image processing unit that binarizes the moving image, and the counting unit has a first black and white gradation for each still image constituting the moving image after binarization processing. It is preferable to count as an area where the size of an area composed of pixels that are equal to or greater than the threshold value and whose adjacent monochrome gradation is equal to or greater than the first threshold value is equal to or less than the second threshold value as the sputter. .
  • the sputter counting apparatus further includes a setting unit that sets a time zone for counting the number of spatters in the moving image shooting time, and the image processing unit is configured for the time zone set by the setting unit. It is preferable to count the number of sputters photographed in the still image for each still image constituting the moving image.
  • the shutter speed of the photographing device for photographing the region is in the range of 1/400 second to 1/800 second.
  • the ISO sensitivity of the imaging apparatus that captures the region is a value that allows the sputters captured in the still image to emerge.
  • the sputter counting apparatus preferably further includes a display control unit that displays the moving image and the number of sputters for each still image counted by the counting unit on the display unit in association with each other.
  • the display control unit graphs the number of spatters for each still image and displays the spatter number on the display unit, and further displays a statistical value of the number of spatters.
  • an output unit that outputs the number of sputters counted by the count unit as a file of a predetermined file format for each still image, and communication for transmitting the output file to another device It is preferable to further comprise a part.
  • FIG. 1 is a schematic block diagram showing a functional configuration of the sputter counter 10.
  • the sputter counting device 10 is a device that counts spatter scattered in an area around an arc generated during welding.
  • the sputter counting device 10 is configured using a portable terminal device such as a smartphone or a tablet terminal provided with a photographing device.
  • the sputter counter 10 captures a moving image of a region to be imaged, and counts the number of sputters captured in the still image for each still image constituting the captured moving image.
  • counting the number of spatters means counting spatters.
  • the area to be imaged is an area in which sputtering can be imaged during welding. For example, an area around an arc generated during welding.
  • the sputter counting apparatus 10 includes an imaging unit 11, an operation unit 12, a display unit 13, a storage unit 14, and a control unit 15.
  • the photographing unit 11 is a photographing device (for example, a camera) that photographs a region to be photographed with a moving image.
  • the imaging unit 11 captures a moving image using a shooting parameter set by the control unit 15.
  • the shooting parameters are parameters relating to settings at the time of shooting by the shooting unit 11, and are, for example, a frame rate, a shutter speed, and ISO sensitivity.
  • the frame rate is one of indexes indicating the smoothness of display of moving images, and represents the number of frames (number of frames per second) captured by the photographing unit 11 per second. The larger the frame rate, the smoother the image. However, when the frame rate is high, the data size increases.
  • the frame rate is preferably 10 to 30 FPS.
  • the shutter speed is a time during which the shutter of the photographing unit 11 is open, that is, a time during which the image sensor is exposed to light passing through the lens.
  • the shorter the shutter speed the clearer the picture can be taken.
  • the longer the shutter speed the more light can be secured.
  • the shutter speed is preferably 1/400 to 1/800.
  • FIG. 2 is a diagram illustrating an image at the time of photographing an area to be photographed due to a difference in shutter speed.
  • FIG. 2A is a diagram in which a region to be imaged is captured with a shutter speed of 1/1000
  • FIG. 2B is a diagram in which a region to be imaged is captured with a shutter speed of 1/30.
  • the shutter speed By setting the shutter speed to be short, the sputter 20 can be captured as a point. However, if the shutter speed is too short, as shown in FIG. 2A, it is difficult to count small spatters 20 because the amount of light cannot be secured.
  • FIG. 2 (B) if the shutter speed is set to be long, the sputter 20 is photographed as a line, so that the spatter 20 overlaps a lot and the counting becomes difficult.
  • the ISO sensitivity is the amplification degree of light taken into the photographing unit 11. Decreasing the ISO sensitivity results in a dark image, and increasing the ISO sensitivity results in a bright image. However, if the ISO sensitivity is too high, it causes noise. Spatter is very bright. For this reason, by reducing the ISO sensitivity to a value that can raise the sputter captured in the still image, the surrounding image captured in the image (for example, other than the background and spatter) is darkened. Only sputtering can be taken in. Thereby, accurate counting can be made possible.
  • the ISO sensitivity is preferably 50.
  • the operation unit 12 is configured using an existing input device such as a touch panel and buttons.
  • the operation unit 12 is operated by the user when inputting a user instruction to the sputtering counter 10.
  • the operation unit 12 receives an instruction to set the imaging parameter, the image analysis parameter, and the sputter counting target time.
  • the operation unit 12 may be an interface for connecting the input device to the sputter counter 10. In this case, the operation unit 12 inputs an input signal generated in response to a user input in the input device to the sputtering counter 10.
  • the image analysis parameter is a parameter used for counting spatters, for example, detection size and light detection accuracy.
  • the detection size is a threshold value of the size (number of pixels) recognized as sputtering. Since the spatter is a small size, if the detection size is large, a light bulb or an arc may be erroneously detected as spatter. If the detection size is too small, the spatter count will be missed.
  • the detection size is preferably 5 to 8 pixels, and more preferably 6 pixels.
  • the light detection accuracy is a threshold value indicating the degree of whiteness and blackness of an image after binarization processing.
  • the light detection accuracy represents the degree of black and white in 0 to 255 gradation by binarization. 0 is black and white is 255.
  • a preferable range of photodetection accuracy is 165 to 225.
  • the spatter counting target time is a time zone in which the number of spatters is counted in the moving image shooting time.
  • the display unit 13 is an image display device such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the display unit 13 displays the sputter count result.
  • the display unit 13 may be an interface for connecting the image display device to the sputter counter 10. In this case, the display unit 13 generates a video signal for displaying the sputter counter 10 and outputs the video signal to an image display device connected to the display unit 13.
  • the storage unit 14 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 14 stores moving image data 141 and calculation results 142.
  • the moving image data 141 is data of a moving image captured by the imaging unit 11.
  • the calculation result 142 is a calculation result such as a spatter statistical value obtained based on the sputter count result by the control unit 15.
  • FIG. 3 is a diagram illustrating an example of the calculation result 142 stored in the storage unit 14.
  • the calculation result 142 is associated with each value of a moving image ID, moving image data, still image ID, still image data, the number of spatters, and a statistical value.
  • the value of the moving image ID is identification information for identifying the moving image.
  • the value of the moving image data is moving image data identified by the moving image ID.
  • the value of the still image ID is identification information for identifying a still image constituting the moving image.
  • the value of the still image data is still image data identified by the still image ID.
  • the value of the number of spatters is the number of sputters photographed in the still image. The value of the number of spatters is obtained for each still image.
  • the statistical value is a statistical value of spatter counted in the moving image data identified by the moving image ID.
  • a maximum value, a minimum value, a cumulative value, and an average value are shown as statistical values.
  • the maximum value is the maximum number of sputters counted in one still image.
  • the minimum value is the minimum number of sputters counted in one still image.
  • the cumulative value is the total number of spatters counted for one entire moving image data.
  • the average value is an average number of spatters counted over one moving image data. The average value is calculated by dividing the cumulative value by the number of still images constituting one moving image data.
  • the control unit 15 is configured using a processor and a memory such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the control unit 15 functions as a setting unit 151, an image processing unit 152, a count unit 153, a calculation unit 154, and a display control unit 155 by executing a program.
  • the setting unit 151 sets the imaging parameter, the image analysis parameter, and the sputter counting target time input via the operation unit 12. For example, the setting unit 151 sets shooting parameters in the shooting unit 11. For example, the setting unit 151 sets the sputter counting target time in the image processing unit 152. For example, the setting unit 151 sets the image analysis parameter in the count unit 153.
  • the image processing unit 152 performs image processing on the moving image data 141 stored in the storage unit 14. Specifically, first, the image processing unit 152 reads one moving image data from the moving image data 141 stored in the storage unit 14. For example, the image processing unit 152 reads moving image data designated by the user. Next, the image processing unit 152 extracts moving image data for the sputter counting target time input via the operation unit 12 from the read moving image data. Thereafter, the image processing unit 152 performs expansion / contraction processing and expansion processing on the extracted moving image data, and then converts the extracted moving image data into black and white moving image data by binarization processing.
  • the count unit 153 is photographed on the moving image data subjected to the image processing based on the moving image data subjected to the image processing by the image processing unit 152 and the image analysis parameter set by the setting unit 151. Count the number of spatters. Specifically, the count unit 153 counts the regions satisfying the conditions indicated by the image analysis parameters as sputters, and counts the number of sputters for each still image constituting the moving image data subjected to image processing. A single still image will be described as an example. First, the count unit 153 searches for a pixel whose black and white gradation is greater than or equal to a set threshold in the still image.
  • the count unit 153 compares the size of a region composed of adjacent pixels that are equal to or larger than the threshold with the detected size. Then, the count unit 153 determines that the region is a region that satisfies the condition indicated by the image analysis parameter when the size of the region composed of pixels equal to or larger than the adjacent threshold is equal to or smaller than the set detection size, Count as spatter.
  • the calculating unit 154 calculates a statistical value related to the number of spatters in the moving image data 141 based on the result counted by the counting unit 153.
  • the statistical values related to the number of spatters are a maximum value, a minimum value, an average value, and a cumulative value.
  • the calculation unit 154 stores the calculation result of the statistical value in the storage unit 14 as the calculation result 142 in association with the moving image data.
  • the display control unit 155 controls the display on the display unit 13. For example, the display control unit 155 causes the display unit 13 to display the moving image data and the counted number of spatters for each still image in association with each other. Further, for example, the display control unit 155 graphs the number of spatters for each still image and causes the display unit 13 to display the graph, and further displays a statistical value of the number of spatters.
  • FIG. 4 is a flowchart showing the flow of processing before the start of imaging in the sputtering counter 10 according to the present embodiment.
  • the user inputs a frame rate to the sputter counter 10 via the operation unit 12.
  • the setting unit 151 sets the photographing unit 11 so that the frame rate input via the operation unit 12 is obtained (step S101).
  • the user inputs a shutter speed to the sputter counter 10 via the operation unit 12.
  • the setting unit 151 sets the photographing unit 11 so that the shutter speed is input through the operation unit 12 (step S102).
  • the user inputs ISO sensitivity to the sputtering counter 10 via the operation unit 12.
  • the setting unit 151 sets the photographing unit 11 to have the ISO sensitivity input via the operation unit 12 (step S103).
  • the imaging parameters are set in the imaging unit 11 by the processing from step S101 to step S103. Thereafter, the imaging unit 11 captures a region to be imaged with a moving image in accordance with a user operation (step S104).
  • FIG. 5 is a flowchart showing the flow of the sputter counting process in the sputter counter 10 according to this embodiment.
  • the display control unit 155 displays a list of moving image data 141 stored in the storage unit 14 on the display unit 13 and receives selection of a moving image from the user (step S201).
  • the operation unit 12 outputs information on the selected moving image (for example, a moving image ID) to the image processing unit 152.
  • the operation unit 12 receives an input of the sputter counting target time (step S202).
  • the sputter counting target time start time and end time
  • the operation unit 12 outputs the input sputter counting target time to the image processing unit 152.
  • the image processing unit 152 acquires the moving image data identified by the output moving image ID from the moving image data 141. Then, the image processing unit 152 performs preprocessing on the acquired moving image data (step S203). Specifically, first, the image processing unit 152 extracts moving image data for the sputter counting target time input via the operation unit 12 from the read moving image data. Thereafter, the image processing unit 152 performs expansion / contraction processing and expansion processing on the extracted moving image data, and then converts the extracted moving image data into black and white moving image data by binarization processing. The image processing unit 152 outputs the moving image data after the image processing to the counting unit 153.
  • the counting unit 153 selects one still image from among the still images constituting the moving image data output from the image processing unit 152 (step S204). For example, the count unit 153 selects the first still image among the still images constituting the moving image data. Based on the image analysis parameter set by the setting unit 151, the counting unit 153 counts the number of sputters captured on the selected still image (step S205). Specifically, the count unit 153 is a size of an area composed of pixels in a still image in which black and white gradation is equal to or higher than a first threshold and adjacent black and white gradation is equal to or higher than the first threshold. A region where the length is equal to or less than the second threshold is determined as sputtering, and the number of sputtering is counted.
  • the counting unit 153 determines whether or not the number of spatters has been counted for all still images (step S206).
  • the counting unit 153 outputs information about the counted number of sputters to each still image and outputs it to the calculating unit 154.
  • the calculating unit 154 calculates a statistical value based on the information output from the counting unit 153 (step S207). Specifically, the calculation unit 154 calculates a maximum value, a minimum value, an average value, and a cumulative value according to information (for example, the number of sputtering) output from the count unit 153.
  • the calculation unit 154 stores the calculated result in the storage unit 14 as the calculation result 142. In addition, the calculation unit 154 outputs the calculated result to the display control unit 155.
  • the display control unit 155 causes the display unit 13 to display the result output from the calculation unit 154. Specifically, the display control unit 155 generates image data for displaying the screen illustrated in FIG. 6 using the calculation result 142 stored in the storage unit 14, and displays the generated screen data on the display unit. 13 is displayed.
  • FIG. 6 is a diagram illustrating an example of a screen displayed by the display unit 13. As shown in FIG. 6, the display unit 13 includes a moving image 30, a graph 40, statistical values (“maximum”, “minimum”, “average”, and “cumulative” in FIG. 6), and an instruction input unit 41. And are displayed.
  • the moving image 30 is moving image data selected by the user.
  • the graph 40 is a result of graphing the number of spatters for each still image constituting the moving image data selected by the user in the order of time series.
  • the instruction input unit 41 is an input unit that is used when inputting instructions such as reproduction, stop, fast forward, and fast reverse of the moving image 30.
  • the display control unit 155 associates the still image at each time with the number of sputters counted in the still image. Then, the display control unit 155 displays the number of spatters counted in the still image corresponding to the reproduction time of the moving image 30 as the instantaneous value 42 in synchronization with the reproduction of the moving image 30. For example, in the example shown in FIG.
  • the playback time of the moving image 30 is “5 minutes 20 seconds”, and the number of spatters “742” counted in the still image at “5 minutes 20 seconds” is shown. Yes.
  • the display unit 13 displays the result output from the calculation unit 154 according to the control of the display control unit 155 (step S208).
  • step S206 If the number of spatters is not counted for all still images in the process of step S206 (step S206—NO), the counting unit 153 selects another still image (step S209). For example, the count unit 153 selects a still image that does not count the number of spatters. Thereafter, the count unit 153 executes the processing after step S205.
  • FIG. 7 is a diagram showing the results of counting the number of spatters under different welding conditions.
  • the parameters in the photographing step and the parameters in the counting step are the same and only the welding conditions are different.
  • FIG. 7A is a diagram showing the result of counting the number of spatters under welding conditions in which spatter increases
  • FIG. 7B is a diagram showing the result of counting the number of spatters in welding conditions in which spatter is reduced. is there. Referring to FIG. 7, a clear difference can be confirmed.
  • the number of spatters was counted using various parameters, and the results of the present invention were compared with the results of visual measurement using still images.
  • the experiment was performed under the following conditions with the imaging parameters and the image analysis parameters in the present invention.
  • ⁇ Shooting parameters Frame rate Fixed at 10 FPS to not affect the counting results of still images
  • ISO sensitivity 50
  • Shutter speed fixed at 1/1000 and 1/400, respectively. If the shutter speed is increased by 1/400 or more, the spatter is captured in a linear shape, so that it is impossible to accurately count the number of spatters.
  • Image analysis parameter Detection size 5, 6, and 8 pixels were used as threshold values.
  • Light detection accuracy Any value between 165 and 225 (for example, 165, 185, 210) was used as the threshold value.
  • FIG. 8 is a diagram showing experimental results. As shown in FIG. 8, the ratio of the number of sputters according to the present embodiment and visual observation is 84% in the case of 6 pixels when the number of pixels of 5, 6, and 8 pixels in the same black and white gradation 210 is compared. From this, it can be seen that 6 pixels are the closest to the visual measurement, that is, it was detected with high accuracy. Further, the light detection accuracy in the case of 6 pixels is compared with the black and white gradations 165, 185, and 210. In the case of 185, the closest result to the visual measurement is obtained. In other words, it can be seen that the detection was possible with high accuracy.
  • a portable terminal device including the photographing unit 11 photographs a region where spatter can be photographed, and sputters from a photographed moving image in the same housing. Count the number. That is, it is possible to perform imaging of spatter and count of the number of spatters with one housing. Moreover, since it is a portable terminal device, the device is not large and the cost can be reduced. Therefore, it is possible to count the number of sputtering by a simple method while suppressing the cost.
  • the sputter counter 10 has a black and white gradation that is equal to or higher than the first threshold value and an adjacent black and white gradation that is equal to or higher than the first threshold value for each still image constituting the binarized moving image.
  • An area where the size of the area constituted by the pixels is equal to or smaller than the second threshold is counted as sputtering. Since the spatter is photographed in white, the sputter counter 10 searches for pixels whose black and white gradation is equal to or higher than the first threshold value (a value close to white), and the adjacent black and white gradation is composed of pixels having the first threshold value. The size of the area to be determined is obtained.
  • the sputter counter 10 counts the area where the size of the obtained area is equal to or smaller than the second threshold as spatter, and does not count the object larger than the spatter such as a light bulb or arc as spatter. Like that. By such processing, the number of spatters can be counted with higher accuracy.
  • the sputter counting device 10 sets a time zone in which the number of spatters is counted in the moving image capturing time, extracts only moving image data for the set time zone, and counts the number of spatters. Thereby, the capacity of the moving image data can be reduced, and the average value of the number of spatters can be made closer to a more accurate one. Therefore, the number of spatters can be counted more accurately.
  • the shutter speed of the imaging unit 11 By setting the shutter speed of the imaging unit 11 in the range of 1/400 second to 1/800 second, it is possible to take an image of sputtered images and to reduce the volume of moving image data.
  • the ISO sensitivity of the imaging unit 11 By setting the ISO sensitivity of the imaging unit 11 to a value that allows the sputtered imaged in the still image to emerge, it is possible to detect the spatter with better control.
  • the sputter counting device 10 displays a moving image and the number of spatters for each still image constituting the moving image in a graph and displays them on the display unit 13, and displays a statistical value of the number of spatters to the user.
  • the sputter counting result can be presented in a more easily understandable state.
  • the sputter counting device 10 is a portable terminal device such as a smartphone or a tablet terminal, the user can easily take a picture even while masking at the time of welding. Therefore, convenience can be improved.
  • the sputter counter 10 may be configured to output the calculation result 142 as a csv file format file. Then, the sputter counting device 10 may transmit the output file to another device.
  • the sputter counter 10 includes an output unit and a communication unit.
  • the output unit outputs the calculation result 142 as a csv file format file.
  • the communication unit transmits the output file to another device (for example, a personal computer using a communication device such as e-mail). With this configuration, a wide range of data can be used.
  • the sputter counter 10 may be configured to print and output the output file.
  • the sputter counter 10 in the above-described embodiment may be realized by a computer.
  • a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time.
  • the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. It may be realized using a programmable logic device such as an FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

コストを抑えつつ、簡便な方法でスパッタ数を計数することを目的とし、本発明は、撮影装置を備える持ち運び可能な端末装置が行うスパッタ計数方法であって、溶接時においてスパッタを含む領域を動画像で撮影する撮影ステップと、撮影ステップにおいて撮影された動画像を構成する静止画像毎に、静止画像に撮影されているスパッタの数をカウントするカウントステップとを有するスパッタ計数方法を提供する。

Description

スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置
 本発明は、スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置に関する。
 自動車等のボディパネルを溶接する工程においては、炭酸ガス又は炭酸ガスとアルゴンとの混合ガス等の酸化性シールドガス雰囲気下で溶接を行うMAG(Metal Active Gas)溶接が行われる。このMAG溶接は、溶接ワイヤを用いて行う半自動アーク溶接の一種であり、一般の溶接と同様に溶接作業中にアーク発生位置から周囲に溶融金属粒(スパッタ)が飛散する場合がある。スパッタは、周囲の環境を汚染するばかりではなく、溶接品質の低下等の問題を招くおそれがあり、その発生量を抑えることが望ましい。
 画像処理装置を用いることにより、スパッタの発生量及びその挙動を正確に測定することができるスパッタの認識方法及びスパッタ認識装置が提案されている(例えば、特許文献1参照)。ところが、特許文献1に開示されている方法では、1万フレーム/秒(FPS(Frames Per Second))の撮影速度を有する高速度カメラを必要とし、この高速度カメラには移動装置まで搭載されている。さらに、時間毎のフレーム画像内のスパッタを特定し、それぞれのフレームから連続性を判断し、個々のスパッタを認識するため演算処理も大がかりとなっている。
 上記高速度カメラ(ハイスピードカメラ)とは、通常のビデオレート(30フレーム毎秒:FPS)を超える撮影速度を持つカメラのことを意味する。特に近年では、高速度カメラとは100FPSを超える撮影装置を指すことが多くなっている。
 その他にも、レーザ溶接による溶接部の良否判定のみならず、剪断強度予測や破断モード予測をインプロセスで行うことができ、その結果、高速で且つ高精度なレーザ溶接に対応した品質管理を行うことができるレーザ溶接良否判定方法及び良否判定装置が提案されている(例えば、特許文献2参照)。しかしながら、特許文献2に開示されている方法においても、大掛かりで高度な設備が必要となっている。
特開2008-126274号公報 国際公開第2011/024904号
 上記のように、従来の技術では、大掛かりで高額な装置が必要となってしまい、コスト的に問題がある。
 さらに、狭い隙間を溶接する際にも測定できたり、持ち運びできたりするスパッタ計測装置が望まれている。すなわち、コストを抑えつつ、簡易な方法でスパッタを計数できる技術が望まれている。
 上記事情に鑑み、本発明は、コストを抑えつつ、簡便な方法でスパッタを計数することができる技術の提供を目的としている。
 上記目的を達成するため、本発明は、以下のスパッタ計測方法を提供する。
 撮影装置を備える持ち運び可能な端末装置が行うスパッタ計数方法であって、溶接時に発生するスパッタを含む領域を動画像で撮影する撮影ステップと、前記撮影ステップにおいて撮影された前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントするカウントステップとを有するスパッタ計数方法を提供する。
 上記スパッタ計数方法においては、前記動画像を二値化処理する画像処理ステップをさらに有し、前記カウントステップにおいて、二値化処理後の前記動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域を前記スパッタとしてカウントすることが好ましい。
 上記スパッタ計数方法においては、前記動画像の撮影時間のうち、前記スパッタの数をカウントする時間帯を設定する設定ステップをさらに有し、前記画像処理ステップにおいて、前記設定ステップで設定された前記時間帯分の前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントすることが好ましい。
 上記スパッタ計数方法においては、前記撮影ステップにおいて前記領域を撮影する前記撮影装置のシャッタースピードが、1/400秒~1/800秒の範囲であることが好ましい。
 上記スパッタ計数方法においては、前記撮影ステップにおいて前記領域を撮影する前記撮影装置のISO感度が、前記静止画像に撮影されているスパッタを浮かび上がらせることが可能な値であることが好ましい。
 上記スパッタ計数方法においては、前記動画像と、前記カウントステップにおいてカウントされた前記静止画像毎のスパッタの数とを対応付けて表示部に表示させる表示制御ステップをさらに有することが好ましい。
 上記スパッタ計数方法においては、前記表示制御ステップにおいて、前記静止画像毎のスパッタの数をグラフ化して前記表示部に表示させるとともに、前記スパッタの数の統計値をさらに表示させることが好ましい。
 上記スパッタ計数方法においては、前記カウントステップにおいてカウントされた前記スパッタの数を前記静止画像毎に所定のファイル形式のファイルとして出力する出力ステップと、出力された前記ファイルを他の装置に送信する通信ステップとをさらに有することが好ましい。
 上記目的を達成するため、本発明は、以下のコンピュータプログラムを提供する。
 撮影装置を備える持ち運び可能な端末装置として機能するコンピュータに、溶接時に発生するスパッタを含む領域を動画像で撮影する撮影ステップと、前記撮影ステップにおいて撮影された前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントするカウントステップとを実行させるためのコンピュータプログラムを提供する。
 上記コンピュータプログラムにおいては、前記動画像を二値化処理する画像処理ステップをさらに実行させ、前記カウントステップにおいて、二値化処理後の前記動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域を前記スパッタとしてカウントすることが好ましい。
 上記コンピュータプログラムにおいては、前記動画像の撮影時間のうち前記スパッタの数をカウントする時間帯を設定する設定ステップをさらに実行させ、前記画像処理ステップにおいて、前記設定ステップで設定された前記時間帯分の前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントすることが好ましい。
 上記コンピュータプログラムにおいては、前記撮影ステップにおいて前記領域を撮影する前記撮影装置のシャッタースピードが、1/400秒~1/800秒の範囲にあることが好ましい。
 上記コンピュータプログラムにおいては、前記撮影ステップにおいて前記領域を撮影する前記撮影装置のISO感度が、前記静止画像に撮影されているスパッタを浮かび上がらせることが可能な値であることが好ましい。
 上記コンピュータプログラムにおいては、前記動画像と、前記カウントステップにおいてカウントされた前記静止画像毎のスパッタの数とを対応付けて表示部に表示させる表示制御ステップをさらに有することが好ましい。
 上記コンピュータプログラムにおいては、前記表示制御ステップにおいて、前記静止画像毎のスパッタの数をグラフ化して前記表示部に表示させるとともに、前記スパッタの数の統計値をさらに表示させることが好ましい。
 上記コンピュータプログラムにおいては、前記カウントステップにおいてカウントされた前記スパッタの数を前記静止画像毎に所定のファイル形式のファイルとして出力する出力ステップと、出力された前記ファイルを他の装置に送信する通信ステップとをさらに実行させることが好ましい。
 上記目的を達成するため、本発明は、以下のスパッタ計測装置を提供する。
 持ち運び可能な端末装置であって、溶接時に発生するスパッタを含む領域を動画像で撮影する撮影装置と、前記撮影装置で撮影された前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントするカウント部とを備えるスパッタ計数装置を提供する。
 上記スパッタ計数装置においては、前記動画像を二値化処理する画像処理部をさらに備え、前記カウント部は、二値化処理後の前記動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域を前記スパッタとしてカウントすることが好ましい。
 上記スパッタ計数装置においては、前記動画像の撮影時間のうち前記スパッタの数をカウントする時間帯を設定する設定部をさらに備え、前記画像処理部は、前記設定部で設定された前記時間帯分の前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントすることが好ましい。
 上記スパッタ計数装置においては、前記領域を撮影する前記撮影装置のシャッタースピードが、1/400秒~1/800秒の範囲にあることが好ましい。
 上記スパッタ計数装置においては、前記領域を撮影する前記撮影装置のISO感度が、前記静止画像に撮影されているスパッタを浮かび上がらせることが可能な値であることが好ましい。
 上記スパッタ計数装置においては、前記動画像と、前記カウント部によってカウントされた前記静止画像毎のスパッタの数とを対応付けて表示部に表示させる表示制御部をさらに備えることが好ましい。
 上記スパッタ計数装置においては、前記表示制御部は、前記静止画像毎のスパッタの数をグラフ化して前記表示部に表示させるとともに、前記スパッタの数の統計値をさらに表示させることが好ましい。
 上記スパッタ計数装置においては、前記カウント部によってカウントされた前記スパッタの数を前記静止画像毎に所定のファイル形式のファイルとして出力する出力部と、出力された前記ファイルを他の装置に送信する通信部とをさらに備えることが好ましい。
 本発明により、コストを抑えつつ、簡便な方法でスパッタを計数することが可能となる。
スパッタ計数装置の機能構成を表す概略ブロック図である。 シャッタースピードの違いによる撮影対象となる領域撮影時の画像を表す図である。 記憶部に記憶される算出結果の一例を示す図である。 本実施形態におけるスパッタ計数装置における撮影開始前の処理の流れを示すフローチャートである。 本実施形態におけるスパッタ計数装置におけるスパッタの計数処理の流れを示すフローチャートである。 表示部が表示する画面の一例を示す図である。 異なる溶接条件においてスパッタ数をカウントした結果を示す図である。 実験結果を示す図である。
 以下、本発明の一実施形態を、図面を参照しながら説明する。
 図1は、スパッタ計数装置10の機能構成を表す概略ブロック図である。
 スパッタ計数装置10は、溶接時に発生するアーク周辺の領域に飛散するスパッタを計数する装置である。スパッタ計数装置10は、撮影装置を備えるスマートフォンやタブレット端末等の持ち運び可能な端末装置を用いて構成される。スパッタ計数装置10は、撮影対象となる領域を動画像で撮影し、撮影した動画像を構成する静止画像毎に、静止画像に撮影されているスパッタ数をカウントする。ここで、スパッタ数をカウントするとは、スパッタを計数することを意味する。本実施形態において撮影対象となる領域とは、溶接時においてスパッタを撮影可能な領域である。例えば溶接時に発生するアーク周辺の領域である。
 スパッタ計数装置10は、撮影部11、操作部12、表示部13、記憶部14及び制御部15を備える。
 撮影部11は、撮影対象となる領域を動画像で撮影する撮影装置(例えば、カメラ)である。例えば、撮影部11は、制御部15により設定される撮影パラメータで、撮影対象となる領域を動画像で撮影する。撮影パラメータは、撮影部11の撮影時における設定に関するパラメータであり、例えばフレームレート、シャッタースピード及びISO感度である。
 フレームレートは、動画像の表示の滑らかさを表す指標の一つであり、1秒間に撮影部11で撮影する枚数(1秒当たりのコマ数)を表す。フレームレートは、大きくするほど滑らかな画像となる。しかしながら、フレームレートが大きいと、データサイズが大きくなる。フレームレートは、好ましくは10~30FPSである。
 シャッタースピードは、撮影部11のシャッターが開いている時間、すなわち撮像素子がレンズを通した光にさらされる時間である。シャッタースピードが短いほど、鮮明な画像が撮影できる。一方、シャッタースピードが長いほど、光量が確保できる。シャッタースピードは、好ましくは1/400~1/800である。
 図2は、シャッタースピードの違いによる撮影対象となる領域撮影時の画像を表す図である。図2(A)はシャッタースピードを1/1000として撮影対象となる領域を撮影した図であり、図2(B)はシャッタースピードを1/30として撮影対象となる領域を撮影した図である。
 シャッタースピードを短めに設定することでスパッタ20を点として捕らえることが可能となる。しかしながら、シャッタースピードが短くしすぎると、図2(A)に示すように、光量が確保できないため小さいスパッタ20を計数が困難になる。一方、図2(B)に示すように、シャッタースピードを長めに設定するとスパッタ20が線として撮影されてしまうため、スパッタ20の重なりが多く発生し、計数が困難になる。
 ISO感度は、撮影部11に取り込まれる光の増幅度である。ISO感度を小さくすると暗い画像となり、大きくすると明るい画像となる。しかしながら、ISO感度は大きくしすぎると、ノイズの原因となる。スパッタは、非常に明るい。このため、静止画像に撮影されているスパッタを浮かび上がらせることが可能な値までISO感度を小さくすることで、画像に撮影されている周囲(例えば、背景やスパッタ以外のもの)の映像を暗くし、スパッタのみ取り込むことができる。これにより正確な計数を可能とすることができる。ISO感度は、好ましくは50である。
 操作部12は、タッチパネル、ボタン等の既存の入力装置を用いて構成される。操作部12は、ユーザの指示をスパッタ計数装置10に入力する際にユーザによって操作される。操作部12は、撮影パラメータ、画像解析パラメータ及びスパッタ計数対象時間の設定指示を受け付ける。また、操作部12は、入力装置をスパッタ計数装置10に接続するためのインタフェースであってもよい。この場合、操作部12は、入力装置においてユーザの入力に応じて生成された入力信号をスパッタ計数装置10に入力する。
 画像解析パラメータは、スパッタを計数するために用いられるパラメータであり、例えば検出サイズ及び光検出精度である。検出サイズは、スパッタとして認識するサイズ(画素数)の閾値である。スパッタは小さいサイズであるため、検出サイズが大きいと電球やアークなどもスパッタとして誤検知されてしまう可能性がある。また、検出サイズを小さくしすぎると、スパッタの計数を取りこぼすことになる。検出サイズとしては、好ましくは5~8ピクセルであり、より好ましくは6ピクセルである。
 光検出精度は、二値化処理後の画像の白さ、黒さの度合いを表す閾値である。光検出精度は、二値化により0~255諧調で白黒度合いを表したものである。0が黒で、白が255となる。光検出精度の好ましい範囲は、165~225である。
 また、スパッタ計数対象時間とは、動画像の撮影時間のうち、スパッタ数をカウントする対象となる時間帯である。
 表示部13は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部13は、スパッタの計数結果を表示する。表示部13は、画像表示装置をスパッタ計数装置10に接続するためのインタフェースであってもよい。この場合、表示部13は、スパッタ計数装置10を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
 記憶部14は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部14は、動画像データ141及び算出結果142を記憶する。動画像データ141は、撮影部11によって撮影された動画像のデータである。算出結果142は、制御部15によるスパッタの計数結果に基づいて得られるスパッタの統計値等の算出結果である。
 図3は、記憶部14に記憶される算出結果142の一例を示す図である。
 図3に示すように、算出結果142として、動画像ID、動画像データ、静止画像ID、静止画像データ、スパッタ数及び統計値の各値が対応付けられている。動画像IDの値は、動画像を識別するための識別情報である。動画像データの値は、動画像IDで識別される動画像のデータである。静止画像IDの値は、動画像を構成する静止画像を識別するための識別情報である。静止画像データの値は、静止画像IDで識別される静止画像のデータである。スパッタ数の値は、静止画像に撮影されているスパッタの数である。スパッタ数の値は、静止画像毎に得られる。
 統計値は、動画像IDで識別される動画像データにおいてカウントされたスパッタの統計値である。図3では、統計値として、最大値、最小値、累計値及び平均値が示されている。最大値は、1枚の静止画像でカウントされたスパッタの最大数である。最小値は、1枚の静止画像でカウントされたスパッタの最小数である。累積値は、1つの動画像データ全体でカウントされたスパッタの総数である。平均値は、1つの動画像データ全体でカウントされたスパッタの平均数である。平均値は、1つの動画像データを構成する静止画像の数で累積値を除算することによって算出される。
 図1に戻って説明を続ける。
 制御部15は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサやメモリを用いて構成される。制御部15は、プログラムを実行することによって、設定部151、画像処理部152、カウント部153、算出部154及び表示制御部155として機能する。
 設定部151は、操作部12を介して入力された撮影パラメータ、画像解析パラメータ及びスパッタ計数対象時間を設定する。例えば、設定部151は、撮影パラメータを撮影部11に設定する。また、例えば、設定部151は、スパッタ計数対象時間を画像処理部152に設定する。また、例えば、設定部151は、画像解析パラメータをカウント部153に設定する。
 画像処理部152は、記憶部14に記憶されている動画像データ141に対して画像処理を行う。具体的には、まず画像処理部152は、記憶部14に記憶されている動画像データ141から1つの動画像データを読み出す。例えば、画像処理部152は、ユーザによって指定された動画像データを読み出す。次に、画像処理部152は、読み出した動画像データのうち、操作部12を介して入力されたスパッタ計数対象時間分の動画像データを抽出する。その後、画像処理部152は、抽出した動画像データに対して伸縮処理、膨張処理を行った後、二値化処理により白黒の動画像データに変換する。
 カウント部153は、画像処理部152により画像処理が施された動画像データと、設定部151によって設定された画像解析パラメータとに基づいて、画像処理が施された動画像データに撮影されているスパッタ数をカウントする。具体的には、カウント部153は、画像解析パラメータで示される条件を満たす領域をスパッタとしてカウントし、画像処理が施された動画像データを構成している静止画像毎にスパッタ数をカウントする。
 1つの静止画像を例に説明する。まずカウント部153は、静止画像内において白黒諧調が、設定された閾値以上の画素を探索する。次に、カウント部153は、隣接する閾値以上の画素で構成される領域のサイズと、検出サイズとを比較する。そして、カウント部153は、隣接する閾値以上の画素で構成される領域のサイズが、設定された検出サイズ以下である場合に、当該領域を画像解析パラメータで示される条件を満たす領域と判定し、スパッタとしてカウントする。
 算出部154は、カウント部153によってカウントされた結果に基づいて、動画像データ141におけるスパッタ数に関する統計値を算出する。スパッタ数に関する統計値とは、最大値、最小値、平均値及び累計値である。算出部154は、統計値の算出結果を動画像データに対応付けて算出結果142として記憶部14に記憶する。
 表示制御部155は、表示部13の表示を制御する。例えば、表示制御部155は、動画像データと、カウントされた静止画像毎のスパッタの数とを対応付けて表示部13に表示させる。また、例えば、表示制御部155は、静止画像毎のスパッタの数をグラフ化して表示部13に表示させるとともに、スパッタの数の統計値をさらに表示させる。
 図4は、本実施形態におけるスパッタ計数装置10における撮影開始前の処理の流れを示すフローチャートである。
 ユーザは、操作部12を介してスパッタ計数装置10に対してフレームレートを入力する。設定部151は、操作部12を介して入力されたフレームレートとなるように撮影部11を設定する(ステップS101)。ユーザは、操作部12を介してスパッタ計数装置10にシャッタースピードを入力する。設定部151は、操作部12を介して入力されたてシャッタースピードとなるように撮影部11を設定する(ステップS102)。ユーザは、操作部12を介してスパッタ計数装置10に対してISO感度を入力する。設定部151は、操作部12を介して入力されたISO感度となるように撮影部11を設定する(ステップS103)。ステップS101からステップS103までの処理により、撮影パラメータが撮影部11に設定される。その後、撮影部11は、ユーザの操作に応じて、撮影対象となる領域を動画像で撮影する(ステップS104)。
 図5は、本実施形態におけるスパッタ計数装置10におけるスパッタの計数処理の流れを示すフローチャートである。
 表示制御部155は、ユーザの操作に応じて、記憶部14に記憶されている動画像データ141の一覧を表示部13に表示してユーザから動画像の選択を受け付ける(ステップS201)。動画像の選択指示がなされると、操作部12は選択された動画像に関する情報(例えば、動画像ID)を画像処理部152に出力する。次に、操作部12は、スパッタ計数対象時間の入力を受け付ける(ステップS202)。操作部12は、スパッタ計数対象時間(開始時刻及び終了時刻)の入力がなされると、入力されたスパッタ計数対象時間を画像処理部152に出力する。
 画像処理部152は、出力された動画像IDで識別される動画像データを動画像データ141から取得する。そして、画像処理部152は、取得した動画像データに対して前処理を行う(ステップS203)。具体的には、まず画像処理部152は、読み出した動画像データのうち、操作部12を介して入力されたスパッタ計数対象時間分の動画像データを抽出する。その後、画像処理部152は、抽出した動画像データに対して伸縮処理、膨張処理を行った後、二値化処理により白黒の動画像データに変換する。画像処理部152は、画像処理後の動画像データをカウント部153に出力する。
 カウント部153は、画像処理部152から出力された動画像データを構成する静止画像のうち1枚の静止画像を選択する(ステップS204)。例えば、カウント部153は、動画像データを構成する静止画像のうち先頭の静止画像を選択する。カウント部153は、設定部151によって設定された画像解析パラメータに基づいて、選択した静止画像に撮影されているスパッタ数をカウントする(ステップS205)。具体的には、カウント部153は、静止画像において、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域をスパッタと判断して、スパッタ数をカウントする。
 その後、カウント部153は、全ての静止画像でスパッタ数をカウントしたか否かを判定する(ステップS206)。全ての静止画像でスパッタ数をカウントした場合(ステップS206-YES)、カウント部153は各静止画像に、カウントしたスパッタ数の情報を対応付けて算出部154に出力する。算出部154は、カウント部153から出力された情報に基づいて統計値を算出する(ステップS207)。具体的には、算出部154は、カウント部153から出力された情報(例えば、スパッタ数)に応じて、最大値、最小値、平均値及び累積値を算出する。算出部154は、算出した結果を算出結果142として記憶部14に記憶する。また、算出部154は、算出した結果を、表示制御部155に出力する。
 表示制御部155は、算出部154から出力された結果を表示部13に表示させる。具体的には、表示制御部155は、記憶部14に記憶されている算出結果142を用いて、図6に示す画面を表示させるための画像データを生成して、生成した画面データを表示部13に表示させる。図6は、表示部13が表示する画面の一例を示す図である。図6に示すように、表示部13には、動画像30と、グラフ40と、統計値(図6における“最大”、“最小”、“平均”及び“累計”)と、指示入力部41とが表示されている。
 動画像30は、ユーザによって選択された動画像データである。グラフ40は、ユーザによって選択された動画像データを構成する静止画像毎のスパッタ数を時系列順にグラフ化した結果である。指示入力部41は、動画像30の再生、停止、早送り、早戻し等の指示を入力する際に利用される入力部である。
 表示制御部155は、各時刻における静止画像と、静止画像においてカウントされたスパッタ数とを対応付けておく。そして、表示制御部155は、動画像30の再生に同期して、動画像30の再生時刻に対応する静止画像においてカウントされたスパッタ数を瞬時値42として表示させる。例えば、図6に示す例では、動画像30の再生時刻が“5分20秒”であり、“5分20秒”における静止画像においてカウントされたスパッタ数“742”であることが示されている。表示部13は、表示制御部155の制御に従って算出部154から出力された結果を表示する(ステップS208)。
 また、ステップS206の処理において全ての静止画像でスパッタ数をカウントしていない場合(ステップS206-NO)、カウント部153は他の静止画像を選択する(ステップS209)。例えば、カウント部153は、スパッタの数をカウントしていない静止画像を選択する。その後、カウント部153は、ステップS205以降の処理を実行する。
 次に、実験による本発明のスパッタ計数方法、コンピュータプログラム及びスパッタ計数装置の精度について説明する。
 図7は、異なる溶接条件においてスパッタ数をカウントした結果を示す図である。撮影ステップにおけるパラメータおよびカウントステップにおけるパラメータは、同じであり、溶接条件のみが異なる。
 図7(A)はスパッタが多くなる溶接条件下でスパッタ数をカウントした結果を示す図であり、図7(B)はスパッタが少なくなる溶接条件下でスパッタ数をカウントした結果を示す図である。図7を参照すると、明らかな差を確認することができる。
 また、本発明の精度を向上させるため、様々なパラメータによりスパッタ数をカウントし、本発明の結果と、静止画像による目視計測の結果とを比較した。ここで、本発明における撮影パラメータ及び画像解析パラメータを下記の条件として実験を行った。
・撮影パラメータ
 フレームレート:静止画像における計数結果に影響を及ぼさないため10FPSで固定

 ISO感度:50
 シャッタースピード:1/1000と1/400とのそれぞれで固定。シャッタースピードを1/400以上長くすると、スパッタが線状で撮像されてしまうため、正確にスパッタ数をカウントすることができなくなる。
・画像解析パラメータ
 検出サイズ:5,6,および8ピクセルを閾値とした。
 光検出精度:165~225の間のいずれかの値(例えば、165、185、210)を閾値とした。
 図8は、実験結果の示す図である。
 図8に示すように、本実施形態と目視とによるスパッタ数の割合は、同じ白黒諧調210における画素数5、6、8ピクセルを比較すると、6ピクセルの場合84%であった。これより6ピクセルが最も目視計測に近いこと、すなわち精度よく検出できたことがわかる。さらに画素数6ピクセルにおける光検出精度は、白黒階調165、185、210で比較すると、185の場合が目視計測に最も近い結果となった。つまり、精度良く検出できたことがわかる。
 以上のように構成されたスパッタ計数装置10によれば、撮影部11を備える持ち運び可能な端末装置で、スパッタを撮影可能な領域を撮影し、同一の筐体において、撮影された動画像からスパッタ数をカウントする。つまり、1つの筐体でスパッタの撮影と、スパッタ数のカウントとを行うことができる。また、持ち運び可能な端末装置であるため、装置も大掛かりにならず、コストも削減することができる。そのため、コストを抑えつつ、簡便な方法でスパッタ数を計数することが可能になる。
 また、スパッタ計数装置10は、二値化処理後の動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域をスパッタとしてカウントする。スパッタは白く撮影されるため、スパッタ計数装置10は、白黒諧調が第1の閾値(白寄りの値)以上の画素を探索し、隣接している白黒諧調が第1の閾値の画素で構成される領域の大きさを求める。また、スパッタは小さいものであるため、スパッタ計数装置10は求めた領域の大きさが第2の閾値以下の領域をスパッタとしてカウントし、電球やアーク等のスパッタよりも大きな対象をスパッタとしてカウントしないようにする。このような処理により、より精度よくスパッタ数をカウントすることができる。
 また、スパッタ計数装置10は、動画像の撮影時間のうちスパッタ数をカウントする対象となる時間帯を設定し、設定した時間帯分の動画像データのみを抽出してスパッタ数をカウントする。これにより、動画像データの容量を小さくすると共に、スパッタ数の平均値の計算をより正確なものに近づけることができる。そのため、より精度よくスパッタ数をカウントすることができる。
 撮影部11のシャッタースピードを、1/400秒~1/800秒の範囲とすることで撮影されるスパッタを点として撮影することができるとともに、動画像データの容量を抑えることができる。
 撮影部11のISO感度を、静止画像に撮影されているスパッタを浮かび上がらせることが可能な値とすることによって、スパッタをより制御よく検出することができる。
 また、スパッタ計数装置10は、動画像と、動画像を構成する静止画像毎のスパッタ数とをグラフ化して表示部13に表示させるとともに、スパッタ数の統計値を表示させることによって、ユーザに対してスパッタの計数結果をより分かりやすい状態で提示することができる。
 また、スパッタ計数装置10は、スマートフォンやタブレット端末のように持ち運び可能な端末装置であるため、溶接時においてユーザはマスクをしながらであっても容易に撮影が可能となる。そのため、利便性を向上させることができる。
 <変形例>
 スパッタ計数装置10は、算出結果142をcsvファイル形式のファイルとして出力するように構成されてもよい。そして、スパッタ計数装置10は、出力したファイルを他の装置に送信してもよい。このように構成される場合、スパッタ計数装置10は、出力部及び通信部を備える。出力部は、算出結果142をcsvファイル形式のファイルとして出力する。通信部は、出力されたファイルを他の装置(例えば、メール等の通信装置でパーソナルコンピュータ)に送信する。
 このように構成されることによって、データの幅広い活用が可能となる。
 また、スパッタ計数装置10は、出力されたファイルを印刷して出力するように構成されてもよい。
 上述した実施形態におけるスパッタ計数装置10をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
 以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
10…スパッタ計数装置, 11…撮影部, 12…操作部, 13…表示部, 14…記憶部, 15…制御部, 151…設定部, 152…画像処理部, 153…カウント部, 154…算出部, 155…表示制御部

Claims (24)

  1.  撮影装置を備える持ち運び可能な端末装置が行うスパッタ計数方法であって、
     溶接時に発生するスパッタを含む領域を動画像で撮影する撮影ステップと、
     前記撮影ステップにおいて撮影された前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントするカウントステップと、
     を有するスパッタ計数方法。
  2.  前記動画像を二値化処理する画像処理ステップをさらに有し、
     前記カウントステップにおいて、二値化処理後の前記動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域を前記スパッタとしてカウントする、請求項1に記載のスパッタ計数方法。
  3.  前記動画像の撮影時間のうち前記スパッタの数をカウントする時間帯を設定する設定ステップをさらに有し、
     前記画像処理ステップにおいて、前記設定ステップで設定された前記時間帯分の前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントする、請求項2に記載のスパッタ計数方法。
  4.  前記撮影ステップにおいて前記領域を撮影する前記撮影装置のシャッタースピードが、1/400秒~1/800秒の範囲にある、請求項1から3のいずれか一項に記載のスパッタ計数方法。
  5.  前記撮影ステップにおいて前記領域を撮影する前記撮影装置のISO感度が、前記静止画像に撮影されているスパッタを浮かび上がらせることが可能な値である、請求項1から4のいずれか一項に記載のスパッタ計数方法。
  6.  前記動画像と、前記カウントステップにおいてカウントされた前記静止画像毎のスパッタの数とを対応付けて表示部に表示させる表示制御ステップをさらに有する、請求項1から5のいずれか一項に記載のスパッタ計数方法。
  7.  前記表示制御ステップにおいて、前記静止画像毎のスパッタの数をグラフ化して前記表示部に表示させるとともに、前記スパッタの数の統計値をさらに表示させる、請求項6に記載のスパッタ計数方法。
  8.  前記カウントステップにおいてカウントされた前記スパッタの数を前記静止画像毎に所定のファイル形式のファイルとして出力する出力ステップと、
     出力された前記ファイルを他の装置に送信する通信ステップと、
     をさらに有する、請求項1から7のいずれか一項に記載のスパッタ計数方法。
  9.  撮影装置を備える持ち運び可能な端末装置として機能するコンピュータに、
     溶接時に発生するスパッタを含む領域を動画像で撮影する撮影ステップと、
     前記撮影ステップにおいて撮影された前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントするカウントステップと、
     を実行させるためのコンピュータプログラム。
  10.  前記動画像を二値化処理する画像処理ステップをさらに実行させ、
     前記カウントステップにおいて、二値化処理後の前記動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域を前記スパッタとしてカウントする、請求項9に記載のコンピュータプログラム。
  11.  前記動画像の撮影時間のうち前記スパッタの数をカウントする時間帯を設定する設定ステップをさらに実行させ、
     前記画像処理ステップにおいて、前記設定ステップで設定された前記時間帯分の前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントする、請求項10に記載のコンピュータプログラム。
  12.  前記撮影ステップにおいて前記領域を撮影する前記撮影装置のシャッタースピードが、1/400秒~1/800秒の範囲にある、請求項9から11のいずれか一項に記載のコンピュータプログラム。
  13.  前記撮影ステップにおいて前記領域を撮影する前記撮影装置のISO感度が、前記静止画像に撮影されているスパッタを浮かび上がらせることが可能な値である、請求項9から12のいずれか一項に記載のコンピュータプログラム。
  14.  前記動画像と、前記カウントステップにおいてカウントされた前記静止画像毎のスパッタの数とを対応付けて表示部に表示させる表示制御ステップをさらに有する、請求項9から13のいずれか一項に記載のコンピュータプログラム。
  15.  前記表示制御ステップにおいて、前記静止画像毎のスパッタの数をグラフ化して前記表示部に表示させるとともに、前記スパッタの数の統計値をさらに表示させる、請求項14に記載のコンピュータプログラム。
  16.  前記カウントステップにおいてカウントされた前記スパッタの数を前記静止画像毎に所定のファイル形式のファイルとして出力する出力ステップと、
     出力された前記ファイルを他の装置に送信する通信ステップと、
     をさらに実行させる、請求項9から15のいずれか一項に記載のコンピュータプログラム。
  17.  持ち運び可能な端末装置であって、
     溶接時に発生するスパッタを含む領域を動画像で撮影する撮影装置と、
     前記撮影装置で撮影された前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントするカウント部と、
     を備えるスパッタ計数装置。
  18.  前記動画像を二値化処理する画像処理部をさらに備え、
     前記カウント部は、二値化処理後の前記動画像を構成する静止画像毎に、白黒諧調が第1の閾値以上であって、かつ、隣接している白黒諧調が第1の閾値以上である画素で構成される領域の大きさが第2の閾値以下である領域を前記スパッタとしてカウントする、請求項17に記載のスパッタ計数装置。
  19.  前記動画像の撮影時間のうち前記スパッタの数をカウントする時間帯を設定する設定部をさらに備え、
     前記画像処理部は、前記設定部で設定された前記時間帯分の前記動画像を構成する静止画像毎に、前記静止画像に撮影されているスパッタの数をカウントする、請求項18に記載のスパッタ計数装置。
  20.  前記領域を撮影する前記撮影装置のシャッタースピードが、1/400秒~1/800秒の範囲にある、請求項17から19のいずれか一項に記載のスパッタ計数装置。
  21.  前記領域を撮影する前記撮影装置のISO感度が、前記静止画像に撮影されているスパッタを浮かび上がらせることが可能な値である、請求項17から20のいずれか一項に記載のスパッタ計数装置。
  22.  前記動画像と、前記カウント部によってカウントされた前記静止画像毎のスパッタの数とを対応付けて表示部に表示させる表示制御部をさらに備える、請求項17から21のいずれか一項に記載のスパッタ計数装置。
  23.  前記表示制御部は、前記静止画像毎のスパッタの数をグラフ化して前記表示部に表示させるとともに、前記スパッタの数の統計値をさらに表示させる、請求項22に記載のスパッタ計数装置。
  24.  前記カウント部によってカウントされた前記スパッタの数を前記静止画像毎に所定のファイル形式のファイルとして出力する出力部と、
     出力された前記ファイルを他の装置に送信する通信部と、
     をさらに備える、請求項17から23のいずれか一項に記載のスパッタ計数装置。
PCT/JP2019/016485 2018-04-20 2019-04-17 スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置 WO2019203276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SG11202009552QA SG11202009552QA (en) 2018-04-20 2019-04-17 Spatter counting method, computer program, and spatter counting device
EP19787779.8A EP3756811A4 (en) 2018-04-20 2019-04-17 Sputter counting method, computer program, and sputter counting device
US17/043,240 US20210016383A1 (en) 2018-04-20 2019-04-17 Spatter counting method, computer program, and spatter counting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-081895 2018-04-20
JP2018081895A JP6654214B2 (ja) 2018-04-20 2018-04-20 スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置

Publications (1)

Publication Number Publication Date
WO2019203276A1 true WO2019203276A1 (ja) 2019-10-24

Family

ID=68239899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016485 WO2019203276A1 (ja) 2018-04-20 2019-04-17 スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置

Country Status (5)

Country Link
US (1) US20210016383A1 (ja)
EP (1) EP3756811A4 (ja)
JP (1) JP6654214B2 (ja)
SG (1) SG11202009552QA (ja)
WO (1) WO2019203276A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3109325B1 (fr) * 2020-04-20 2022-03-18 Air Liquide Procédé et dispositif de détermination de la performance d’un procédé de soudage
CN116493735B (zh) * 2023-06-29 2023-09-12 武汉纺织大学 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126274A (ja) 2006-11-21 2008-06-05 Kobe Steel Ltd アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP2009028775A (ja) * 2007-07-30 2009-02-12 Daido Steel Co Ltd パルスアーク溶接方法及びパルスアーク溶接装置
WO2011024904A1 (ja) 2009-08-27 2011-03-03 株式会社Ihi検査計測 レーザ溶接良否判定方法及び良否判定装置
JP2017060968A (ja) * 2015-09-25 2017-03-30 株式会社Nishihara 画像処理装置と画像処理方法及びレーザまたはtig溶接装置とレーザまたはtig溶接装置の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014857A (ja) * 2012-07-11 2014-01-30 Suzuki Motor Corp 画像処理方法及び画像処理システム
JP5967042B2 (ja) * 2013-09-12 2016-08-10 Jfeスチール株式会社 レーザ溶接良否判定装置及びレーザ溶接良否判定方法
US11137748B2 (en) * 2014-09-12 2021-10-05 Fronius International Gmbh Welding control system
US11250312B2 (en) * 2017-10-31 2022-02-15 Levi Strauss & Co. Garments with finishing patterns created by laser and neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008126274A (ja) 2006-11-21 2008-06-05 Kobe Steel Ltd アーク溶接におけるスパッタ認識方法及びスパッタ認識装置
JP2009028775A (ja) * 2007-07-30 2009-02-12 Daido Steel Co Ltd パルスアーク溶接方法及びパルスアーク溶接装置
WO2011024904A1 (ja) 2009-08-27 2011-03-03 株式会社Ihi検査計測 レーザ溶接良否判定方法及び良否判定装置
JP2017060968A (ja) * 2015-09-25 2017-03-30 株式会社Nishihara 画像処理装置と画像処理方法及びレーザまたはtig溶接装置とレーザまたはtig溶接装置の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3756811A4

Also Published As

Publication number Publication date
JP2019188421A (ja) 2019-10-31
US20210016383A1 (en) 2021-01-21
EP3756811A4 (en) 2021-12-29
EP3756811A1 (en) 2020-12-30
JP6654214B2 (ja) 2020-02-26
SG11202009552QA (en) 2020-11-27

Similar Documents

Publication Publication Date Title
US9860446B2 (en) Flare detection and mitigation in panoramic images
US8477232B2 (en) System and method to capture depth data of an image
TWI323605B (en) Apparatus and method for reducing temporal noise
EP3811607B1 (en) Image capture device and method for image score-based video quality enhancement
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
US20210409597A1 (en) Image processing apparatus and output information control method
WO2019203276A1 (ja) スパッタ計数方法、コンピュータプログラム及びスパッタ計数装置
US10536626B2 (en) Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program
JP2013106284A (ja) 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
US10362243B2 (en) Infrared imaging device, diaphragm control method, and diaphragm control program
JP2009288945A (ja) 画像表示装置及び画像表示方法
WO2020039606A1 (ja) ガス検出装置、情報処理装置およびプログラム
US20190166299A1 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
KR20200081541A (ko) 촬상 장치 및 이의 구동 방법
KR20110090098A (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP7297455B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20180112335A (ko) 안개 제거 방법 및 이를 적용한 안개 제거 시스템
WO2019220890A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2016046701A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2022076837A (ja) 情報処理装置、情報処理方法およびプログラム
CN113108919A (zh) 人体温度检测方法、装置和存储介质
JP2014018471A (ja) 内視鏡の画像処理装置
US20220201220A1 (en) Information processing apparatus, information processing method, and storage medium
WO2024034390A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2010118822A (ja) 手ぶれ補正装置及び手ぶれ補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19787779

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019787779

Country of ref document: EP

Effective date: 20200925

NENP Non-entry into the national phase

Ref country code: DE