KR20210091789A - 심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법 - Google Patents
심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210091789A KR20210091789A KR1020217018693A KR20217018693A KR20210091789A KR 20210091789 A KR20210091789 A KR 20210091789A KR 1020217018693 A KR1020217018693 A KR 1020217018693A KR 20217018693 A KR20217018693 A KR 20217018693A KR 20210091789 A KR20210091789 A KR 20210091789A
- Authority
- KR
- South Korea
- Prior art keywords
- machining
- data
- laser
- tensor
- workpiece
- Prior art date
Links
- 238000003754 machining Methods 0.000 title claims abstract description 263
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims description 82
- 238000013527 convolutional neural network Methods 0.000 title description 33
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 238000012546 transfer Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 21
- 238000013526 transfer learning Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 11
- 238000003466 welding Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000010978 in-process monitoring Methods 0.000 description 5
- 239000000155 melt Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005476 soldering Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003698 laser cutting Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000005219 brazing Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000013073 enabling process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
- B23K26/03—Observing, e.g. monitoring, the workpiece
- B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K1/00—Soldering, e.g. brazing, or unsoldering
- B23K1/005—Soldering by means of radiant energy
- B23K1/0056—Soldering by means of radiant energy soldering by means of beams, e.g. lasers, E.B.
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/20—Bonding
- B23K26/21—Bonding by welding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/36—Removing material
- B23K26/38—Removing material by boring or cutting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
Abstract
본 발명은 공작물을 가공하는 레이저 가공 공정을 모니터링하기 위한 시스템에 관한 것으로, 레이저 가공 공정의 현재 데이터를 기반으로 입력 텐서를 결정하고 전달 함수를 사용하여 상기 입력 텐서에 기초하여 출력 텐서를 결정하도록 구성된 컴퓨팅 유니트를 포함하고, 상기 출력 텐서는 현재 가공 결과에 대한 정보를 포함하며, 상기 입력 텐서와 상기 출력 텐서 사이의 상기 전달 함수는 훈련된 신경망에 의해 형성된다.
Description
본원은 공작물을 가공하기위한 레이저 가공 공정을 모니터링하기 위한 시스템 및 레이저 빔에 의해 공작물을 가공하기위한 가공 시스템에 관한 것으로, 상기 가공 시스템은 공작물을 가공하기위한 레이저 가공 공정을 모니터링하기 위한 시스템을 포함한다. 본원은 또한 공작물을 가공하기위한 레이저 가공 공정을 모니터링하는 방법에 관한 것이다.
레이저 빔을 사용하여 공작물을 가공하기위한 가공 시스템에서, 레이저 광원 또는 레이저 광섬유 끝에서 나오는 레이저 빔은 빔 가이드와 광학계 집속을 통해 가공 될 공작물에 초점을 맞추거나 집광된다. 가공은, 예를 들어, 레이저 절단, 납땜 또는 용접을 포함할 수 있다. 레이저 가공 시스템은 예를 들어 레이저 가공 헤드를 포함할 수 있다.
특히 공작물에 대한 레이저 용접 또는 납땜의 경우, 용접 또는 납땜 공정을 지속적으로 모니터링하고 가공 품질을 보장하는 것이 중요하다. 이러한 레이저 가공 공정을 모니터링하기 위한 현재 솔루션은 일반적으로 소위 공정 중 모니터링이라고 알려진 것을 포함한다.
레이저 가공 공정의 공정 중 모니터링 또는 모니터링은 일반적으로 온도 값, 플라즈마 방사, 레이저 가공 헤드의 레이저 출력, 후방 산란된 레이저 출력의 양과 유형 등과 같은 레이저 가공 공정의 특정 신호 또는 매개변수가 서로 독립적으로 기록되고 평가되면서 수행된다. 예를 들어, 신호 또는 파라미터의 측정 값은 상기 파라미터에 해당하는 신호를 얻기 위해 특정시간에 걸쳐 지속적으로 측정되거나 검출된다. 증기 모세관(키홀이라고도 함)과 증기 모세관을 둘러싼 용융 풀의 형상도 레이저 가공 공정 동안 이미지 처리 및 평가를 통해 모니터링된다.
그 다음에는 개별 신호를 처리하고 분류하며 각 신호에 대해 필터 공정, 중앙값 또는 평균값 계산, 포락선 곡선, 임계값 등을 위한 다양한 설정 값은 숙련된 전문가가 설정해야만 한다. 신호가 분류되면 신호가 특정 오류 기준을 충족하는지 여부를 검사한다. 예를 들어, 신호가 미리 정의된 임계값 아래로 떨어지는지 또는 초과하는지 검사한다. 이를 위해 개별 신호는 소위 포락선 곡선이 주위에 배치되어진 미리 정의된 참조 곡선과 비교된다. 다른 기준은 예를 들어 포락선 곡선에 걸친 신호의 적분일 수 있다.
만약 레이저 가공 공정 중에 신호가 미리 정한 오류 기준을 충족하는 경우, 공정 중 모니터링에서 오류가 출력된다. 이는 공정 중 모니터링이 가공 오류가 발생했다는 알림을 생성함을 의미한다.
따라서 신호 분류 및 키홀과 용융 풀 형상의 모니터링은 레이저 가공 공정의 품질을 설명한다. 신호 또는 매개변수 곡선의 분류 및 키홀과 용융 풀 형상의 모니터링을 기반으로 가공 오류가 검출되고 분류되며, 이에 따라 가공된 공작물은 예를 들어 "양호"(즉, 추가 가공 또는 판매에 적합) 또는 "나쁨”(즉, 폐기)으로 표시되거나 분류된다. 또한 레이저 가공 공정이 실행되는 동안, 공정의 제어 매개 변수는 신호 또는 매개변수 또는 키홀 형상 및 용융 풀 형상을 모니터링을 통해 영향을 받을 수 있다. 따라서 레이저 가공 공정을 제어 할 수 있다.
기존 시스템에서는 품질을 설명하는 특성이 사용된 재료, 적용된 레이저 출력, 용접속도 등 많은 것들에 따라 크게 달라지므로 신호처리 및 분류가 복잡하다. 이는 신호의 분류가 수많은 매개 변수를 사용하여 조정되어야 함을 의미한다. 새로운 재료에 레이저 가공을 적용하거나 가공 공정을 변경하려면 분류 매개변수와 이미지 처리 매개변수를 변경해야한다. 예를 들어 제품 변경으로 인해 레이저 가공을 조정할 때마다 매개변수를 다시 설정하거나 재조정해야한다.
이러한 복잡성으로 인해 신호처리 및 신호분류는 각 신호 또는 각 매개 변수에 대해 개별적으로, 즉 다른 신호 또는 매개변수와 독립적으로 수행된다. 따라서 신호 처리 및 신호 분류를 위한 매개변수 설정, 예를 들면 포락선 곡선 생성 등, 및 이미지 처리는 전문가가 수행해야만 한다.
레이저 가공 과정을 모니터링하고 가공 오류를 검출하는데 사용할 수 있는 신호 또는 파라미터 곡선 또는 키홀 및 용융 풀 기하학의 어떤 특징도, 설정될 파라미터의 수로 인해 시스템의 복잡성이 매우 높기 때문에 오로지 현장 전문가만이 결정 및 구현할 수 있다.
따라서 전문가 훈련은 복잡하고 오래 걸린다. 또한 매개 변수의 설정 및 재조정은 레이저 가공 시스템 고객의 제조 과정에서 장시간 생산 중단을 필요로 한다. 또한 정확하지 않은 매개 변수화의 위험이 크다.
그러므로 기존 시스템에서 레이저 가공 시스템은 개별 신호 또는 매개변수 곡선과 키홀 및 용융 풀 형상의 모니터링을 기반으로만 모니터링된다. 따라서 레이저 가공 공정의 모든 신호 또는 매개변수를 고려하고 키홀 및 용융 풀 형상을 동시에 고려하는 모니터링은 수행되지 않는다.
도 3 A 는 레이저 가공 공정, 예를 들어 용접 공정의 플라즈마 방사를 나타내는 예시적인 신호, 및 각각의 포락선 곡선 내의 레이저 가공 공정의 온도 신호를 도시한다. 두 신호 모두 포락선 내에 있으므로 포락선을 넘어서는 신호의 적분이 정의된 임계값보다 작기 때문에 용접이 올바른 것으로 분류된다.
도 3B에서, 신호는 분명히 각각의 포락선 곡선 위에있다. 포락선 곡선을 벗어난 적분에 대한 임계 값의 해당 매개 변수화를 통해 신호가 결함으로 분류되고 가공 오류가 검출된다.
도 3C는 세 가지 다른 신호의 곡선을 보여준다. 각 신호 곡선은 개별적으로 올바른 것으로 분류된다. 그러나 실제로 용접에는 결함이 있다. 이를 인식하기 위해서는 복수의 신호의 곡선을 사용되어야하며, 경우에 따라 전문가가 검사해야한다.
본 발명의 목적은 복잡한 매개변수화 과정없이 안정적이고 신속하게 처리 오류를 검출하는 것이다. 또한 본 발명의 목적은 레이저 가공 공정이 실행되는 동안, 바람직하게는 실시간으로, 가공 오류를 검출하는 것이다.
또한, 본 발명의 목적은 가공 오류의 검출을 자동화하여, 바람직하게는 실시간으로 공정 모니터링을 가능하게하는 시스템을 제공하는 것이다.
또한 본 발명의 목적은 가공 오류의 검출이, 변경된 가공공정 또는 상이한 공작물 재료와 같은 변경된 환경이나 변경된 상황에 빠르고 쉽게 적응될 수 있는 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 다수의 파라미터를 고려하면서 가공 오류의 검출이 수행되는 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 가공 오류의 검출이 공작물 표면의 가공 영역에서 기록된 원시(raw) 데이터를 기반으로 수행되는 시스템을 제공하는 것이다 (소위 "종단간(end-to-end)" 처리 또는 분석).
이러한 목적은 독립 청구항의 주제에 의해 달성된다. 유리한 구현예 및 추가 개발은 상응하는 종속 청구항의 주제이다.
본 발명은 레이저 가공 공정의 가공 결과 결정이, 특히 가공 오류 검출 및 가공 영역의 결정이나 특징파악이, 레이저 가공 공정의 현재 센서 데이터, 제어 데이터 및/또는 이미지 데이터를 입력 데이터, 바람직하게는 원시 (raw) 데이터로 수신하는 심층 신경망을 사용하여 수행된다는 아이디어에 기반한다.
본 발명의 일 양태에 따르면, 공작물을 가공하는 레이저 가공 공정을 모니터링하기 위한 시스템이 제공되며, 상기 시스템은: 레이저 가공 공정의 현재 데이터에 기초하여 입력 텐서들을 결정하고, 전달 함수에 의해 상기 텐서들에 기초한 현재 가공 결과에 대한 정보를 포함하는 출력 텐서를 결정하도록 구성된 컴퓨팅 유니트를 포함하며, 상기 입력 텐서들과 출력 텐서 사이의 전달 함수는 학습된 신경망에 의해 형성된다. 상기 가공 결과는 가공 오류 및/또는 공작물의 가공 영역에 대한 정보를 포함할 수 있다.
따라서 본원 시스템은 레이저 가공 공정의 가공결과를 독립적으로 직접 결정할 수 있다. 예를 들어, 레이저 가공 시스템으로 가공된 공작물에 가공 오류가 있는지 여부를 확인할 수 있다. 또한, 공작물의 가공 영역이 미리 결정된 특징 또는 미리 결정된 형상을 갖는지, 예를 들어 키홀이 형성되었는지 또는 용융 풀이 어느 정도인지가 결정될 수 있다. 이를 바탕으로 추가 오류를 방지하기 위해 레이저 가공 공정의 매개변수를 설정할 수 있다. 따라서 본원의 모니터링을 위한 시스템을 사용하여 레이저 가공 공정 또는 레이저 가공 시스템을 제어 할 수 있다.
일반적으로, 전달 함수를 형성하는 신경망을 사용하면 본원 시스템이 어떤 가공 오류가 존재하는지 그리고 존재 여부를 자동으로 검출할 수 있다는 장점이 있다. 따라서 오류탐지에 접근하기 위해 검출된 센서 데이터를 사전처리할 필요가 더 이상 없다. 또한 가공 품질을 특징화하거나 가공 오류를 나타내는 오류 기준을 정의할 필요가 없다. 오류 기준의 매개변수화를 구체화하거나 조정할 필요도 없다. 이는 레이저 가공 공정의 모니터링을 단순화한다. 언급된 단계는 레이저 가공 전문가가 수행하거나 참석할 필요가 없다. 본 명세서에 개시된 양태에 따른 레이저 가공 공정을 모니터링하기 위한 시스템은 가공 오류의 검출과 키홀 및 용융 풀 형상의 결정을 독립적으로, 즉 자동으로 수행하며 쉽게 조정될 수 있다.
따라서 출력 텐서를 사용하여 본 시스템은, 예를 들어 가공 영역의 범위, 소위 키홀 또는 스팀 모세관의 존재, 용융 풀의 존재, 용융 풀 내 키홀의 위치 및/또는 깊이, 용융 풀의 범위 또는 모양 등 가공영역 자체의 상태와 같은, 현재 모니터링 영역의 현재 가공 결과에 대한 정보를 포함할 수 있다.
또한 본 시스템은 가공 오류를 검출하고 그 유형을 표시할 수 있다. 예를 들어, 출력 텐서는 예를 들어 다음 정보 중 하나 이상을 포함할 수 있다: 하나 이상 가공 오류의 존재, 가공 오류 유형, 특정 유형의 가공 오류 확률, 가공된 공작물의 표면 가공오류의 위치. 가공 오류 유형은 다음 중 하나일 수 있다: 기공(pore), 구멍(hole), 공작물로의 용접 침투 부족, 거짓 짝, 튐 또는 틈새.
따라서 본원의 컴퓨팅 유니트는 레이저 가공 공정이 여전히 실행되는 동안 레이저 가공 공정의 현재 가공 영역에 대한 출력 텐서를 결정하도록 구성될 수 있다. 가공 결과를 직접 판단하면 레이저 가공 공정을 실시간으로 모니터링할 수 있다. 컴퓨팅 유니트는 실시간으로 출력 텐서를 형성하고, 레이저 가공 공정을 수행하는 레이저 가공 시스템에 제어 데이터를 출력하도록 구성될 수 있다. 가장 간단한 경우에, 출력 텐서는 공작물의 가공이 좋은지 나쁜지에 대한 정보를 포함할 수 있다. 이 정보를 바탕으로, 레이저 가공 공정은 예를 들어 공정 매개 변수를 조정하여 이에 맞추어 제어될 수 있다. 예를 들어, 레이저 출력이 증가 또는 감소하거나, 레이저의 초점 위치가 변경되거나, 또는 레이저 가공 시스템의 가공 헤드와 공작물 사이의 거리가 변경될 수 있다.
입력 텐서와 출력 텐서 간의 전달 함수는 학습되거나 훈련된 신경망에 의해 형성된다. 즉, 컴퓨팅 유니트는 신경망을 포함할 수 있다. 신경망은 오류 피드백 또는 역 전파(propagation)에 의해 훈련되었을 수 있다.
본 신경망은 학습된 심층 신경망 예를 들어, 학습된 심층 합성곱 신경망 또는 합성곱 망일 수 있다. 상기 합성곱 망은 10 내지 40개의 합성곱 레이어, 바람직하게는 34개의 합성곱 레이어를 가질 수 있다. 또한, 상기 합성곱 망은 소위 "완전히 연결된" 레이어를 하나 이상 가질 수 있다.
신경망은 전달 학습을 위해 구성될 수 있다. 달리 말해서, 신경망은 변경된 레이저 가공공정의 변경된 요구사항에 맞게 조정될 수 있다. 컴퓨팅 유니트는 특히, 예를 들어 훈련 데이터를 기반으로 하는 전달 학습에 의해 변경된 레이저 가공 공정에 신경망을 적응시키도록 구성될 수 있다.
트레이닝 데이터는 해당 입력 텐서를 결정하기 위한 변경된 레이저 가공 공정의 테스트 데이터, 및 상기 테스트 데이터와 연관되고 그리고 변경된 레이저 가공 공정의 이미 결정된 해당 가공 결과에 대한 정보를 포함하는 사전에 정해진 출력 텐서를 포함할 수 있다. 가공 결과에는 예를 들어 전문가가 식별한 가공오류에 대한 정보가 포함될 수 있다. 신경망을 적응시키거나 훈련시키기 위해, 훈련 데이터는 이러한 테스트 데이터 세트 및 연관된 출력 텐서를 다수 포함할 수 있다. 테스트 데이터는 이전 레이저 가공공정 동안 적어도 하나의 센서 유니트에 의해 검출되어진 센서 파라미터의 값 및/또는 이전 레이저 가공공정 동안 사용되어진 제어 파라미터의 값에 기초할 수 있다.
따라서 전달 함수를 형성하는 신경망은 변경된 상황 또는 변경된 레이저 가공 공정에 맞게 조정될 수 있다. 이를 위해 전달 함수가 수정되었다. 변경된 상황은 예를 들어 가공될 공작물이 상이한 재료, 상이한 정도의 오염 및/또는 두께를 갖거나 또는 레이저 가공의 매개변수가 변경되는 것을 포함할 수 있다. 전달 학습에서, 신경망을 훈련하거나 가르치는 데 사용되는 훈련 데이터 세트 또는 감소된 훈련 데이터 세트는 새로운 예로 보충될 수 있다.
따라서 본 명세서에 설명된 양태에 따른 가공 오류를 검출하기위한 시스템에서 전달 학습을 위해 구성된 훈련된 신경망을 사용하면 시스템이 변화된 상황에 신속하게 적응될 수 있다는 장점을 갖는다.
입력 텐서는 레이저 가공 공정의 현재 데이터를 원시(raw) 데이터로 포함 또는 구성할 수 있다. 따라서 입력 텐서가 생성되기 전에 현재 데이터를 처리할 필요가 없다. 따라서 입력 텐서 형성 이전의 데이터 처리 단계는 생략될 수 있다. 신경망은 원시 데이터를 기반으로 출력 텐서를 직접 결정한다.
컴퓨팅 유니트는 입력 텐서의 동일한 현재 시점에 대응하는 가공 공정의 다수의 현재 데이터를 통합하고 이를 전달 함수를 통해 출력 텐서에 공동으로 매핑하도록 구성될 수 있다. 레이저 가공 공정의 모든 관련 현재 데이터를 동시에 처리하기 때문에 가공 결과를 보다 신뢰성있고 빠르게 결정할 수 있다. 이를 통해 레이저 가공공정을 보다 신뢰성있고 정확하게 모니터링할 수 있다.
입력 텐서는 레이저 가공 공정의 현재 데이터를 포함할 수 있으며, 이는 예를 들어 512 개의 샘플을 포함하며, 각 샘플은 특정 시점과 연관된, 획득된 센서 데이터 및/또는 제어 데이터를 포함한다. 이러한 센서 데이터 및 제어 데이터는 아래에서 공정 데이터로도 언급된다. 입력 텐서는 512 개 샘플 위에 매 256개 샘플마다 윈도우를 놓음으로서 각 현재 데이터로부터 형성된다. 이렇게 하면 연속적으로 생성된 두 입력 텐서 사이의 샘플이 겹치게 된다. 이미지는 각 샘플에 대해 캡처 될 수 있으며, 여기서 이미지는 이미지 캡처 시점을 통해 센서 데이터 및/또는 제어 데이터의 각 샘플과 연관될 수 있다. 따라서, 각각의 입력 텐서는 예를 들어, 각각의 시점에 대응하는 가공 공정의 센서 데이터, 이미지 데이터 및/또는 제어 데이터와 같은 데이터를 포함할 수 있다. 즉, 센서 데이터 또는 이미지 데이터는 각 시점에서 기록되었고 제어 데이터는 레이저 가공 시스템의 제어 유니트에 의해 각 시점에서 가공 공정에 적용되었다. 이러한 방식으로 생성된 입력 텐서는 레이저 가공 공정의 실행 동안 주어진 시점에 대해 마지막 n 개의 획득된 센서 데이터 및/또는 마지막 n 개의 획득된 이미지 데이터 및/또는 마지막 n 개의 사용된 제어 데이터를 포함할 수 있다. 가장 간단한 경우 n = 1이다.
일 구현예에 따르면, n = 512이고 제 1 입력 텐서는 현재의 센서 및/또는 제어 데이터, 즉 현재 공정 데이터를 포함하고, 제 2 입력 텐서는 현재 이미지 데이터를 포함한다. 즉, 첫 번째 입력 텐서는 마지막 512 개 샘플 또는 각각의 센서 데이터, 제어 데이터 및/또는 이미지 데이터의 값을 포함한다. 100kHz의 전형적인 샘플링 속도에서는 m×512 크기의 데이터 세트가 매 5.12ms마다 생성된다. 여기서, m은 (수집된) 센서 데이터와 (수신되거나 사용된) 제어 데이터를 포함하는 m개의 서로 상이한 유형의 데이터 수를 나타낸다. m×512 크기의 첫 번째 입력 텐서는 매 2.56ms마다 이러한 데이터 세트로부터 형성된다. 약 391 개의 이미지/초(즉, 2.56ms마다 이미지가 기록됨)의 상응하는 이미지 수집 속도에서, 이미지 데이터의 두 번째 입력 텐서는 공정 데이터의 매 첫 번째 입력 텐서마다 생성될 수 있다. 예를 들어, 현재 공정 데이터의 입력 텐서에 해당하는 512×512 픽셀의 이미지가 획득된다. 따라서, 이미지 데이터의 상응하게 생성된 입력 텐서는 이 경우 크기가 512×512이다.
현재의 센서 데이터는 하나 이상의 온도, 플라즈마 방사, 상이한 파장에서 반사되거나 후방 산란된 레이저 광의 강도, 키홀 깊이 및/또는 레이저 가공 공정을 수행하는 레이저 가공 헤드와 공작물 사이의 거리를 포함할 수 있다. 제어 데이터는 레이저 가공 헤드상의 레이저 출력 전력, 초점 위치, 초점 직경, 레이저 가공 헤드의 위치, 가공 속도 및/또는 경로 신호를 포함할 수 있다. 이미지 데이터는 공작물의 표면 이미지, 예를 들어 공작물의 가공 영역의 이미지를 포함할 수 있다. 가공 영역은 용융 풀 및/또는 키홀을 포함할 수 있다.
경로 신호는 레이저 가공 공정을 수행하는 레이저 가공 시스템의 제어 신호일 수 있으며, 상기 경로 신호는 공작물에 대한 레이저 가공 헤드의 이동을 제어한다. 가공 신호의 결정에 경로 신호를 포함함으로써, 예를 들어, 발생되어진 가공오류는, 공작물의 어느 부분이 어느 시점에 가공 시스템에 의해 가공되는지 또는 되었는지 알 수 있기 때문에 빠르고 쉽게 공작물 상의 위치를 알 수 있다. 따라서 시스템은 레이저 가공공정 중에 오류가 발생한 시점을 표시 할 수 있다. 대안적으로, 시스템은 알려진 가공 속도, 정의된 시작점으로서 알려진 시점 및 입력 텐서의 시간적 매핑만을 기반으로 시점을 계산할 수 있다. 입력 텐서의 시간적 매핑은 입력 텐서의 생성 속도와 시작점 이후 생성 된 입력 텐서의 수로 인해 발생한다.
또한, 본 시스템은 레이저 가공공정 동안 레이저 가공 공정의 현재 센서 데이터를 검출하기 위한 적어도 하나의 센서 유니트를 포함할 수 있다. 따라서 센서 유니트에 의해 검출된 센서 데이터는 센서 유니트에 의해 검출되거나 측정된 매개 변수, 예를 들어 온도와 같은 물리적 매개 변수의 값을 나타낸다. 적어도 하나의 센서 유니트는 온도 센서, 광 센서 또는 플라즈마 센서를 포함할 수있다. 센서 유니트는 거리 센서, 예를 들어 삼각측량 시스템 및/또는 OCT ("광 간섭 단층 촬영") 시스템을 더 포함할 수 있다. 거리 센서는 예를 들어 레이저 가공 시스템의 레이저 가공 헤드와 공작물 표면 사이의 거리와 같은 공작물의 표면까지의 거리를 결정하는 데 사용될 수 있다.
또한, 본 시스템은 레이저 가공 공정 동안 공작물의 가공 영역의 현재 이미지 데이터를 검출하기위한 적어도 하나의 이미지 검출 유니트를 포함할 수 있다. 이미지 검출 유니트는 카메라 또는 카메라 시스템, 특히 바람직하게는 입사광 LED 조명을 갖는 2D 및/또는 3D 카메라 시스템을 포함할 수 있다. 이미지 검출 유니트는 스테레오 카메라 시스템을 포함할 수 있다. 이미지 데이터는 바람직하게는 레이저 가공 공정의 가공 영역을 포함하는 공작물 표면 구획(section)의 2 차원 이미지 또는 2 차원 영상(imaging)에 대응한다. 가공 영역에는 소위 용융 풀과 키홀이 포함될 수 있다. 즉, 이미지 데이터는 용융 풀 및 키홀의 이미지를 포함할 수 있다.
이미지 검출 유니트와 센서 유니트의 수집률은 동일할 수 있다. 달리 말해서, 이미지 검출 유니트와 센서 유니트의 데이터는 미리 정의된 시간 간격에 대하여 서로 연관되어 질 수 있다. 영상 검출 유니트와 센서 유니트는 항상 동일한 시점에 각각의 데이터를 수집할 수 있다. 예를 들어, 이미지 검출 유니트는 온도 센서가 온도를 측정하는 그러한 시점에 공작물의 이미지를 기록할 수 있다.
레이저 가공 공정의 현재 데이터는 레이저 가공 공정의 현재 센서 데이터 및/또는 현재 이미지 데이터 및/또는 현재 제어 데이터를 포함할 수 있다. 센서 데이터 및 제어 데이터는 아래에서 공정 데이터라고도 한다. 센서 데이터는 센서 유니트에 의해 검출되거나 측정된 하나 이상의 파라미터 값을 나타낸다. 제어 데이터는 레이저 가공공정 또는 레이저 가공 시스템의 하나 이상의 제어 매개변수 값을 나타낸다.
컴퓨팅 유니트는 바람직하게는 상기 현재 데이터를 수신하도록 구성된 적어도 하나의 인터페이스를 포함한다. 상기 적어도 하나의 인터페이스는 예를 들어 신경망을 훈련 또는 적응시키기 위한 훈련 데이터, 레이저 가공 시스템의 제어 데이터 및/또는 센서 유니트의 센서 데이터 및/또는 이미지 검출장치로부터 이미지 데이터를 수신하도록 구성될 수 있다. 따라서, 본 시스템은 예를 들어 인터페이스를 통해, 레이저 가공 공정을 수행하는 레이저 가공 시스템의 제어로부터 적어도 하나의 제어 파라미터의 값을 수신하도록 구성 될 수있다.
센서 데이터를 분류하기위한 망(network) 아키텍처는 일반적으로 이미지 데이터를 분류하기위한 망 아키텍처와 상이하다.
일 구현예에 따르면, 이미지와 공정 데이터를 동시에 사용하기 위해, 공정 데이터와 이미지 데이터를 분류하는 각각의 신경망은 마지막 또는 끝에서 두 번째 히든 레이어 이후에 상호 연결된다. 이미지 및 공정 데이터의 입력 텐서의 특징 표현은 각 망의 마지막 히든 레이어에 위치한다. 이러한 연결된 기능의 분류는 다음과 같이 완전히 연결된 레이어에서 발생한다.
이 절차는 전체 망을 훈련할 때 단지 몇 개의 레이어만 훈련해도 된다는 장점이 있으며, 공정 데이터로만 사용이 제한되는 동안, 공정 데이터에 대해 훈련되어진 망을 다시 사용할 수 있다. 이미지 및 공정 데이터에 대한 망은 이 절차를 위해 분리되어 훈련된다. 따라서 망은 이미지 데이터로 구성된 입력 텐서와 공정 데이터로 구성된 입력 텐서를 특징 벡터에 매핑하는 것을 학습했다.
입력 텐서(들)는 레이저 가공 공정을 실행하는 동안 × 과거 시점에 대한 현재 데이터를 포함할 수 있고, 여기서 ×는 자연수이며, 그리고, 각 × 시점에 대해 입력 텐서는 이 시점에 해당하는 이미지 데이터와 센서 또는 제어 데이터, 즉 공정 데이터를 포함할 수 있다. 시점 ×는 예를 들어 각각 256ms 또는 512ms 또는 1024ms와 같이 서로 등거리에 있을 수 있다. 입력 텐서(들)는 전달 함수에서 출력 텐서로 매핑 될 수 있으며 즉, 이미지 데이터와 제어 또는 센서 데이터는 공통 전달 함수에 의해 처리된다.
일 구현예에 따르면, 망의 두 가지의 분기가 지나며 각 입력 텐서의 특징이 하나의 레이어에 연결된다. 망의 한 분기에는 이미지 데이터가 있고 망의 다른 분기에는 입력 텐서로서 공정 데이터가 있다. 이 접근 방식을 소위 "기능 수준 융합"이라고 한다. 텐서에서 이미지와 공정 데이터의 조합이 일부 상황에서 효과적이지 않을 수 있기 때문에, 양쪽 망을 쉽게 다시 분리하여 개별적으로 사용할 수 있다.
본원의 추가 양태에 따르면, 레이저 빔에 의해 공작물을 가공하기위한 레이저 가공 시스템이 제공되며, 상기 가공 시스템은 가공될 공작물 상에 레이저 빔을 방사하기위한 레이저 가공 헤드 및 본원에 설명된 한 양태에 따른 가공 오류 검출을 위한 시스템을 포함한다. 검출 유니트는 바람직하게는 레이저 가공 헤드에 배치된다.
추가 양태에 따르면, 공작물을 가공하기위한 레이저 가공 공정을 모니터링하는 방법이 제공되며, 상기 방법은 하기의 단계를 포함한다: 레이저 가공 공정으로부터 현재 데이터에 기초하여 하나 이상의 입력 텐서를 결정, 및 전달 함수를 사용하는 하나 이상의 입력 텐서에 기초한 출력 텐서를 결정, 여기에서 상기 출력 텐서는 현재 가공 결과에 대한 정보를 포함하고, 상기 입력 텐서와 출력 텐서 사이의 상기 전달 함수는 학습된 신경망에 의해 형성된다.
본 발명은 도면을 참조하여 이하 상세하게 설명된다. 도면에서:
도 1은 본 발명의 일 구현예에 따른, 레이저 빔에 의해 공작물을 가공하기위한 레이저 가공 시스템 및 가공 오류를 검출하기위한 시스템의 개략도를 도시한다;
도 2는 본 발명의 일 구현예에 따른, 레이저 가공 공정을 모니터링하기 위한 시스템의 블록 다이아그램을 도시한다;
도 3A, 3B 및 3C는 예시적인 센서 값 곡선의 도시를 나타낸다;
도 4는 레이저 가공 공정 동안 공작물의 가공 영역을 도시한다;
도 5는 본 발명의 일 구현예에 따른, 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 6은 본 발명의 일 구현예에 따른, 공정 데이터를 분류하기위한 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 7은 본 발명의 일 구현예에 따른, 이미지 데이터를 분류하기위한 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 8은 본 발명의 일 구현예에 따른, 이미지를 분류하고 데이터를 처리하기 위한 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 9는 본 발명의 일 구현예에 따른, 공작물을 가공하기 위한 레이저 가공 공정을 모니터링하는 방법을 도시한다.
도 1은 본 발명의 일 구현예에 따른, 레이저 빔에 의해 공작물을 가공하기위한 레이저 가공 시스템 및 가공 오류를 검출하기위한 시스템의 개략도를 도시한다;
도 2는 본 발명의 일 구현예에 따른, 레이저 가공 공정을 모니터링하기 위한 시스템의 블록 다이아그램을 도시한다;
도 3A, 3B 및 3C는 예시적인 센서 값 곡선의 도시를 나타낸다;
도 4는 레이저 가공 공정 동안 공작물의 가공 영역을 도시한다;
도 5는 본 발명의 일 구현예에 따른, 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 6은 본 발명의 일 구현예에 따른, 공정 데이터를 분류하기위한 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 7은 본 발명의 일 구현예에 따른, 이미지 데이터를 분류하기위한 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 8은 본 발명의 일 구현예에 따른, 이미지를 분류하고 데이터를 처리하기 위한 심층 합성곱 신경망의 블록 다이아그램을 도시한다;
도 9는 본 발명의 일 구현예에 따른, 공작물을 가공하기 위한 레이저 가공 공정을 모니터링하는 방법을 도시한다.
다른 언급이 없는 한, 동일하고 동일한 효과를 갖는 요소에 대해서는 이하에서 동일한 참조 기호가 사용된다.
도 1은 본원에 개시된 구현예들에 따른 레이저 빔에 의해 공작물을 가공하기 위한 레이저 가공 시스템(100)의 개략도를 도시한다. 레이저 가공 시스템(100)은 본 발명의 구현예에 따른 레이저 가공 공정을 수행하도록 구성된다.
레이저 가공 시스템(100)은 레이저 가공 헤드(101), 특히 레이저 절단, 레이저 납땜 또는 레이저 용접 헤드, 및 가공 오류를 검출하기 위한 시스템(300)을 포함한다. 레이저 가공 시스템(100)은 레이저 빔(10) ("가공 빔" 또는 "가공 레이저 빔"이라고도 함)을 제공하기 위한 레이저 장치(110)를 포함한다.
예를 들어, 가공 헤드(101)와 같은 레이저 가공 시스템(100) 또는 그 일부는 구현예에 따라 가공 방향(20)을 따라 이동 가능할 수 있다. 가공 방향(20)은 공작물(1)에 대한, 가공 헤드(101)와 같은 레이저 가공 시스템(100)의 절단, 납땜 또는 용접 방향 및/또는 이동 방향일 수 있다. 특히, 가공 방향(20)은 수평방향일 수 있다. 가공 방향(20)은 또한 "이송(feed) 방향"이라고도 지칭될 수 있다.
레이저 가공시스템(100)은 가공 헤드(101) 및/또는 레이저 장치(110)를 제어하도록 구성된 제어 유니트(140)에 의해 제어된다.
레이저 가공공정을 모니터링하기위한 시스템(300)은 컴퓨팅 유니트(320)를 포함한다. 컴퓨팅 유니트(320)는 레이저 가공공정의 현재 데이터에 기초하여 입력 텐서를 결정하고, 전달 함수를 사용한 입력 텐서를 기반으로 하는 레이저 가공공정의 현재 가공 결과에 대한 정보를 포함하는 출력 텐서를 결정하도록 구성된다.
다시 말해, 출력 텐서는 하나 이상의 산술 연산의 결과일 수 있으며, 공작물 (1)이 레이저 가공시스템(100)에 의해 가공되었을 때 오류 발생 여부와 어떤 오류인지에 대한 정보를 포함할 수 있다. 또한 출력 텐서는 공작물 표면(2)상의 오류의 유형, 위치 및 크기에 대한 정보를 포함할 수 있다. 출력 텐서는 공작물(1)의 가공 영역에 대한 정보, 예를 들어 키홀 및/또는 용융 풀의 크기, 모양 또는 범위를 포함할 수도 있다.
일 구현예에 따르면, 컴퓨팅 유니트(320)는 제어 유니트(140)(미도시)와 조합된다. 즉, 컴퓨팅 유니트(320)의 기능은 공통 처리 유니트에서 제어 유니트(140)의 기능과 조합될 수 있다.
일 구현예에 따르면, 시스템(300)은 적어도 하나의 센서 유니트(330) 및 이미지 검출 유니트(310)를 더 포함한다.
상기 적어도 하나의 센서 유니트(330)는 레이저 가공 시스템(100)에 의해 수행되는 레이저 가공 공정의 파라미터 값을 검출하고, 검출된 값으로부터 센서 데이터를 생성하고, 그것들을 컴퓨팅 유니트(320)로 전달하도록 구성된다. 검출은 지속적으로 또는 실시간으로 일어날 수 있다. 일 구현예에 따르면, 센서 유니트(330)은 복수개의 파라미터 값을 검출하여 이를 컴퓨팅 유니트(320)로 전달하도록 구성될 수 있다. 상기 값들은 동시에 검출될 수 있다.
상기 이미지 검출 유니트(310)는 공작물(1)의 가공된 표면(2) 및/또는 레이저 가공공정의 가공영역의 이미지 데이터를 검출하도록 구성된다. 상기 가공 영역은 레이저 빔(10)이 현재 시점에서 공작물 표면에 부딪혀 공작물 표면의 재료가 녹았거나 및/또는 재료에 구멍 또는 기공이 있는 공작물 표면의 영역으로 정의될 수 있다. 특히, 가공 영역은 용융 풀 및/또는 키홀이 형성되는 공작물 표면의 영역으로 정의될 수 있다. 일 구현예에 따르면, 이미지 검출 유니트(310)는 가공 헤드(101) 상에 배치된다. 예를 들어, 이미지 검출 유니트(310)는 가공 방향(20)을 기준으로 가공 헤드(101) 상에 아래를 향해 배치될 수 있다. 이미지 검출 유니트(310)도 또한 레이저 빔(10) 및/또는 후술하는 측정 빔(13)과 동축으로 배열될 수 있다. 컴퓨팅 유니트(320)는 이미지 검출 유니트(310)에 의해 검출된 이미지 데이터 및 센서 유니트(330)에 의해 검출된 센서 데이터를 수신하고, 현재 이미지 데이터 및 현재 센서 데이터에 기초하여 입력 텐서를 형성하도록 구성된다.
선택적으로, 레이저 가공 시스템(100) 또는 시스템(300)은 가공 헤드(101)의 말단 부분과 가공될 공작물(1) 사이의 거리를 측정하기위한 측정장치(120)를 포함한다. 상기 측정 장치는 광학 간섭 단층촬영기, 특히 광학 저-간섭 단층촬영기를 포함할 수 있다.
레이저 장치(110)는 레이저 빔(10)을 시준하기 위한 시준기 렌즈(112)를 포함할 수 있다. 간섭 단층촬영기는 광학 측정빔(13)을 시준하도록 구성된 시준 광학기(122) 및 광학 측정빔(13)을 공작물(1)에 초점을 맞추도록 구성된 집속광학기(124)를 포함할 수 있다.
도 2는 한 구현예에 따른 레이저 가공 공정을 모니터링하기 위한 시스템(300)의 블록도를 도시한다.
시스템(300)은 컴퓨팅 유니트(320), 적어도 하나의 센서 유니트(330) 및 이미지 검출 유니트(310)를 포함한다. 컴퓨팅 유니트(320)는 이미지 검출 유니트(310)에 의해 검출된 이미지 데이터 및 센서 유니트(330)에 의해 검출된 센서 데이터를 상기 컴퓨팅 유니트(320)가 수신할 수 있도록 센서 유니트(330) 및 이미지검출 유니트(310)와 연결된다. 시스템(300)은 컴퓨팅 유니트(320), 하나 이상의 센서 유니트(330) 및 이미지검출 유니트(310)를 포함한다.
일 구현예에 따르면, 컴퓨팅 유니트(320)는 출력 텐서를 결정하기위한 프로세서를 포함한다. 전달함수는 일반적으로 컴퓨팅 유니트(320)의 메모리(미도시)에 저장되거나 회로, 예를 들어 FPGA로 구현된다. 메모리는 예를 들어 결정된 출력 텐서와 같은 추가 데이터를 저장하도록 구성될 수 있다.
컴퓨팅 유니트(320)는 특히 사용자와 상호작용하기 위한 그래픽 사용자 인터페이스를 포함할 수 있는 입력/출력 유니트(322)를 포함할 수 있다. 컴퓨팅 유니트(320)는 컴퓨팅 유니트가 출력 텐서를, 추가 컴퓨팅 유니트, 컴퓨터, PC, 및 데이터베이스, 메모리 카드 또는 하드 드라이브와 같은 외부 저장장치와 같은 외부 위치로 전달할 수 있는 데이터 인터페이스(321)를 포함할 수 있다. 컴퓨팅 유니트(320)는 컴퓨팅 유니트가 망과 통신할 수 있는 통신 인터페이스(미도시)를 더 포함할 수 있다. 또한, 컴퓨팅 유니트(320)는 출력 유니트(322)에 출력 텐서를 그래픽으로 표시할 수 있다. 컴퓨팅 유니트(320)는 출력 텐서를 제어 유니트(140)로 전송하기 위해 레이저 가공 시스템(100)의 제어 유니트(140)에 연결될 수 있다.
컴퓨팅 유니트(320)는 인터페이스(321)를 통해 레이저 가공 시스템(100)의 제어 유니트(140)로부터 제어 데이터를 수신하고 또한 제어 데이터를 입력 텐서에 통합하도록 구성될 수있다. 제어 데이터는 예를 들어 레이저 장치(110)의 출력 전력, 가공 헤드(101)와 공작물(1) 표면 사이의 거리, 각각 주어진 시점에서의 이송 방향 및 속도를 포함할 수 있다.
컴퓨팅 유니트(320)는 현재 데이터로부터 전달 함수를 위한 하나 이상의 입력 텐서를 형성한다. 본 발명에 따르면, 하나 이상의 입력 텐서는 현재 원시 데이터로부터 형성된다. 이는 현재 데이터가 컴퓨팅 유니트(320), 센서 유니트(330) 또는 영상검출 유니트 (310)에 의해 미리 처리되지 않음을 의미한다.
전달 함수는 학습된, 즉 사전훈련된 신경망에 의해 형성된다. 즉, 컴퓨팅 유니트는 심층 합성곱 신경망을 포함한다. 출력 텐서는 하나 이상의 입력 텐서에 전달 함수를 적용하여 생성된다. 전달 함수를 사용하여, 출력 텐서는 따라서 하나 이상의 입력 텐서로부터 결정된다.
출력 텐서는 레이저 가공 공정의 현재 가공 결과에 대한 정보 또는 데이터를 포함한다. 예를 들어, 가공 결과에는 발생한 가공 오류 및/또는 공작물의 가공 영역에 대한 정보가 포함될 수 있다. 현재 가공 오류에 대한 상기 정보는: 적어도 하나의 가공 오류가 있는지 여부, 상기 적어도 하나의 가공 오류의 유형, 가공된 공작물(1)의 표면에서 상기 가공 오류의 위치 및/또는 가공오류의 크기나 그 정도를 포함할 수 있다. 가공 영역에 대한 정보는 키홀의 위치 및/또는 크기, 용융 풀의 위치 및/또는 크기 및/또는 형상일 수 있다. 일 구현예에 따르면, 출력 텐서는 또한 특정 유형의 가공 오류가 발생했을 확률 또는 시스템이 특정 유형의 가공 오류를 검출했는 지의 신뢰도를 포함할 수 있다.
이미지 검출 유니트(310)는 예를 들어 입사광 LED 조명을 갖는 카메라 시스템 또는 스테레오 카메라 시스템을 포함할 수 있다. 본 발명에 따르면, 이미지 데이터는 공작물 표면의 한 섹션의 2 차원 이미지에 대응한다. 다시 말해서, 상기 검출되거나 기록된 이미지 데이터는 도 4의 예로서 볼 수 있듯이 공작물 표면의 2 차원 이미지를 나타내며 아래에 자세히 설명되어 있다.
일 구현예에 따르면, 컴퓨팅 유니트(320)는 출력 유니트(322)에 입력 텐서 및/또는 출력 텐서를 그래픽으로 표시하도록 구성될 수 있다. 예를 들어, 컴퓨팅 유니트(320)는 도 3A 내지 3C에 나타난 바와 같이, 곡선으로, 또는 도 4에 나타난 바와 같이, 공작물(1)의 2차원 이미지로 입력 텐서에 포함된 센서 데이터 및/또는 이미지 데이터를 그래픽으로 표시할 수 있고, 이러한 것들을 출력 텐서에 포함된 정보와 중첩할 수 있다.
도 4는 일 구현예에 따른 이미지 데이터의 예시를 도시한다. 보다 정확하게, 도 4는 기하데이터가 중첩된 850nm에서 용융 풀 및 키홀의 예시적인 이미지를 보여준다. 이들이 컴퓨팅 유니트 320에 의해 결정된 출력 텐서에 정보로 포함된 것과 마찬가지로, 십자부호 2a는 키홀의 중심을, 십자부호 2b는 용융 풀의 중심을, 선 2c는 용융 풀의 윤곽을, 선 2d는 키홀의 윤곽을 보여준다. 둘러싸는 직사각형(2e)("경계 박스")은 계산된 용융 풀의 크기를 나타낸다.
용융 풀의 크기 또는 미리 결정된 형상애 편차가 있는 경우, 레이저 가공 공정의 가공 결과 예를 들면 용접이 "불량"을 나타내는 정보가 출력 텐서에 포함될 수 있다. 이 경우 레이저 가공 공정 모니터링 시스템 (300)은 오류를 출력할 수 있다.
종래의 시스템에서, 둘러싸는 직사각형(2e)의 크기에 대한 목표 사양 또는 참조 값은 지정되거나 저장되어야 한다. 계산을 위해 2-단계 형태학적 작업("블랍(blob) 분석")이 수행된다. 이를 위해 필요한 바이너리 임계값과 같은 매개 변수는 기존 시스템에서는 전문가가 지정해야 한다. 이 접근 방식을 사용할 경우, 용접 공정을 변경하려면 숙련된 전문가가 매개변수를 변경해야 한다. 본원에 기술된 모니터링 시스템에 따르면 이러한 단점을 피할 수 있다.
도 5는 제 1 구현예에 따른 심층 합성곱 신경망(400)의 블록도를 도시한다.
도 5에 도시된 구현예에 따르면, 입력 텐서(405, 415)는 레이저 가공 시스템의 상이한 유형 또는 종류의 센서 데이터, 제어 데이터 및 이미지 데이터를 포함한다. 예를 들어, 이미지 데이터에 대한 입력 텐서(405)는 "픽셀 단위 이미지 높이"× "픽셀 단위 이미지 너비"차원을 가지며, 센서 및/또는 제어 데이터에 대한 입력 텐서(415)는 "센서 유형 수 및/또는 제어 데이터"×"샘플 수" 의 차원을 가진다. 따라서, 이미지 데이터는 신경망(400)의 "분기"에 대한 입력 텐서(405)를 형성하며, 이는 이미지 데이터를 중요한 특징으로 만들게된다. 센서 데이터는 센서 데이터로부터 상기 중요한 특징을 계산하는 신경망(400)의 분기에 대한 입력 텐서(415)를 형성한다.
센서 데이터는 예를 들어 하나 이상의 온도 센서에 의해 측정된 온도, 해당 센서에 의해 측정된 플라즈마 방사, 포토센서에 의해 측정된 공작물 표면에 반사되거나 후방산란된 레이저 광의 강도, 반사되거나 후방산란된 레이저광의 파장, 또는 거리 센서로 측정한 레이저 가공 헤드와 공작물 사이의 거리일 수 있다.
제어 데이터는 레이저 가공 시스템이 레이저 가공 공정을 수행하도록 하기 위해 제어에 의해 생성되는 제어 신호일 수 있다. 제어 데이터는 레이저 빔 또는 경로 신호의 초점 위치 및 초점 직경을 포함할 수 있으며, 상기 경로 신호는 공작물에 대한 레이저 가공 시스템의 레이저 가공 헤드의 상대적 위치를 지정하는 위치 신호를 나타낸다.
센서 데이터 및/또는 제어 데이터는 심층 합성곱 신경망의 입력 텐서(415)를 직접 형성한다. 동일한 방식으로, 이미지 데이터는 심층 합성곱 신경망의 입력 텐서(405)를 직접 형성한다. 이것은 입력 텐서(405,415)와 출력 텐서 사이에서 소위 "종단간(end to end)" 매핑 또는 분석이 발생함을 의미한다. 이미지 데이터와 공정 데이터는 이 심층 합성곱 신경망에서 망으로 분류되기 때문에 소위 "특징 수준 융합"이라고 한다.
컴퓨팅 유니트는 각의 입력 텐서(405, 415)의 각 시점에 대응하는 센서 데이터, 제어 데이터 및/또는 이미지 데이터의 세트를 시간 n의 각 포인트에 대해 결합하고, 그리고 전달 함수(420)를 사용하여 이를 전체적으로 출력 텐서에 매핑하도록 구성될 수 있다.
일 구현예에 따르면, 이미지 데이터를 검출하는 이미지 검출 유니트와 센서 데이터를 검출하는 센서 유니트의 검출율은 동일할 수 있으며, 이미지 검출 유니트와 센서 유니트는 각각 동일한 시점에 검출을 수행한다.
출력 텐서(430) 및 이에 따라 출력 레이어는 그 안에 포함된 정보에 대응하는 차원을 갖는다. 출력 텐서(430)는 예를 들어, 적어도 하나의 하기 정보를 포함한다: 적어도 하나의 가공 오류의 존재, 가공 오류의 유형, 가공된 공작물의 표면에서 가공 오류의 위치, 특정 유형의 가공 오류 확률, 가공된 공작물의 표면상의 가공 오류의 공간 및/또는 평면적 범위, 키홀의 위치 및/또는 크기, 용융 풀의 위치 및/또는 크기 및/또는 형상.
출력 텐서(430)는 각각의 레이저 가공 공정(미도시)의 제어 유니트로 전달될 수 있다. 출력 텐서(430)에 포함된 정보를 사용하여, 제어 유니트는 예를 들어 레이저 가공 공정의 다양한 매개 변수를 조정함으로써 레이저 가공 공정을 조절할 수 있다.
컴퓨팅 유니트는 실시간으로 출력 텐서(430)를 형성하도록 구성될 수 있다. 따라서, 레이저 가공 공정은 본원에 기술된 레이저 가공 공정을 모니터링하기 위한 시스템을 사용하여 직접 제어될 수 있다.
도 6은 현재 센서 및/또는 제어 데이터를 포함하는 입력 텐서를 출력 텐서에 매핑하기에 적합한 추가 구현예에 따른 심층 합성곱 신경망(600)의 블록도를 도시한다.
도 6에 도시된 구현예에 따르면, 입력 텐서(630)는 512 개의 측정된 값 또는 4 가지 상이한 유형의 센서 데이터 및/또는 제어 데이터, 즉, 레이저 가공 시스템의 공정 데이터의 샘플을 포함한다. 센서 데이터 및 제어 데이터는 심층 합성곱 신경망의 입력 텐서(630)를 직접 형성한다. 이는 입력 텐서(630)와 출력 텐서(640) 사이에 소위 "종단간" 매핑 또는 분석이 발생함을 의미한다.
따라서 입력 레이어 또는 입력 텐서(630)는 4 × 512 차원을 갖는다.
심층 신경망에 의해 형성된 전달함수에는 현재 모니터링 오류, 즉 샘플이 채취되었던 시점에 발생된 가공 오류에 대한 정보가 포함되어야만 한다. 출력 텐서(640)는 예를 들어, "오류 예/아니오" 정보, 오류 "구멍"의 존재 또는 확률, 오류 "스플래시(splash)"의 존재 또는 확률, "갭" 오류의 존재 또는 확률, "거짓 짝/용접 침투 부족" 오류의 존재 또는 확률을 포함해야만 한다. 따라서 출력 텐서(640) 또는 출력 레이어의 차원은 1 × 5이다.
따라서, 도 6에 도시된 구현예에 따른 심층 합성곱 신경망(600)은 차원 4 × 512의 입력 텐서(630)을 차원 1 × 5: R2048 → R5의 출력 텐서(640)에 매핑한다.
출력 텐서(640) 또는 그 안에 포함된 값의 검사로부터, 가공된 공작물은 미리 정의된 분류 알고리즘을 사용하여 "양호"또는 "불량"으로 분류될 수 있다. 즉, 상황에 따라 공작물은 판매 또는 추가 가공("양호")에 적합한 것으로 분류되거나 폐기물로 분류되거나 또는 가공 후( "불량") 으로 표시될 수 있다.
이하에서 "CNN"으로 약칭되는 심층 합성곱 신경망(600) ("Deep Convolutional Neural Net")은 복수의 코어로 합성곱을 수행하는 복수의 합성곱 레이어(610)를 포함할 수 있다. 또한, CNN(600)은 "완전히 연결된" 레이어 또는 블록(620) 및/또는 "Leaky ReLu"블록 또는 레이어(650)를 포함할 수 있다. 도 6에 도시된 바와 같이, CNN은 예를 들어, 정규화(배치 (batch)정규화) 및 잔여 블록을 포함하는 적어도 일부 합성곱 레이어를 구비한, 21 개의 합성곱 레이어를 포함한다.
도 7은 현재 이미지 데이터를 포함하는 입력 텐서를 출력 텐서에 매핑하기에 적합한 한 구현예에 따른 심층 합성곱 신경망(700)의 블록도를 도시한다.
도 7에 도시된 구현예에 따른 심층 합성곱 신경망(700)의 경우, 입력 텐서(730)는 공작물의 이미지, 예를 들어 크기가 512 × 512 픽셀인 공작물의 가공 영역을 포함한다. 즉, 입력 레이어(730)는 512 × 512 크기를 갖는다.
입력 텐서(730)는 이미지 데이터의 검출된 원시 데이터를 포함한다. 이러한 원시 이미지 데이터는 심층 합성곱 신경망의 입력 텐서를 직접 형성한다. 이는 입력 텐서(730)와 출력 텐서(740) 사이에서 소위 "종단간"매핑 또는 분석이 발생함을 의미한다. 키홀 또는 용융 풀의 특징은 중간 단계에서 계산되거나 매개 변수화되지 않는다.
전달 함수는 키홀이 존재하는지 여부에 대한 정보 및/또는 키홀의 무게중심 또는 중심 위치에 대한 정보, 키홀을 둘러싸는 직사각형 및/또는 용융 풀을 둘러싸는 직사각형에 관한 정보를 제공하는 것이다.
따라서, 출력 텐서 (740)는 "Pkeyhole"(키홀 존재/존재하지 않음), "XKeyhole"(X 방향 키홀의 무게 중심 또는 중심 위치), "YKeyhole"(Y 방향 키홀의 무게 중심 또는 중심 위치), "dXKeyhole"(X방향 키홀 크기), "dYKeyhole"(Y 방향 키홀 크기), "Xmelt_pool"(X방향 용융 풀의 무게 중심 또는 중심 위치), "Ymelt_pool"(Y방향 용융 풀의 무게 중심 또는 중심 위치), "dXmelt_pool"(X 방향 용융 풀 크기) 및 "dYmelt_pool"(Y 방향 용융 풀 크기) 값을 포함한다. 따라서 출력 텐서 (740) 또는 출력 레이어는 9개의 값을 포함하므로 1 x 9 차원을 갖는다.
따라서,도 7에 도시 된 구현예에 따르면, 신경망(700)은 차원 512 × 512의 입력 텐서(730)를 차원 1 × 9: R262144 → R9의 출력 텐서(740)에 매핑한다.
도 7에 도시된 바와 같이, CNN은 예를 들어, 정규화("배치 정규화") 및 소위 잔여 블록을 포함하는 적어도 일부 합성곱 레이어를 구비하는, 34개의 합성곱 레이어(710)를 포함한다. 합성곱 망은 또한 두 개의 소위 "완전 연결된" 레이어(720)를 갖는다. 신경망(700)은 마지막 레이어(750)에서 직렬화되고 시그 모이드(Sigmoid) 활성화 함수에 의해 출력 텐서(740)에 매핑된다.
레이어의 출력을 정규화하면, 그라데이션이 "폭발" 또는 "소멸"되는 구배 (gradients) 문제를 피할 수 있다. 추론 공정의 동작은 다른 분포의 데이터에 덜 민감하다.
정규화에는 일반적으로 "미니 배치(mini batch)"에 대한 평균값과 표준 편차가 포함된다. 그 효과는 레귤레이션이다.
일 구현예에 따르면, 이들 매개변수는 훈련된 심층 합성곱 신경망에서 하이퍼 파라미터로 사용된다: "배치 정규화", "내부 공변량 이동을 줄여 심층 망 훈련 가속화"(Sergey Ioffe, Christian Szegedy에 따름).
도 7에서 "합성곱 32 3x3" 블록은 32 개의 서로 다른 3x3 합성곱 필터 마스크를 갖는 합성곱 블록 또는 합성곱 레이어를 나타낸다. 즉, 블록 "합성곱 32 3x3"은 차원 m × n × c의 입력 텐서 (730)로부터 차원 m × n × 32의 텐서를 생성하는데, 여기서 m은 높이, n은 폭, c는 채널 수를 나타낸다. 높이 m = 512 및 너비 n = 512 인 단일 채널(c = 1) 입력 텐서의 경우 512 × 512 × 32 크기의 출력 텐서(740)가 형성되어 출력 텐서가 차원512 × 512의 32 개 이미지를 포함한다. 다른 합성곱 블록에도 동일하게 적용된다.
도 7의 합성곱 블록의 표시 "/ 2"는 2의 "스트라이드"를 설명한다. 즉, 필터 코어가 2 픽셀만큼 전방으로 시프트하여 차원이 절반으로 줄어든다. 블록 위의 정보, 예를 들어 "512 × 512"는 채널 수가 없는 텐서의 m × n 차원을 나타낸다.
"잔여 블록"표시는 값이 활성화 기능을 통해 전달되기 전에 이전 레이어(1)의 출력이 출력 레이어(1 + 2)의 결과에 추가됨을 명시한다.
도 8은 이미지 데이터와 공정 데이터를 분류하기 위한 심층 합성곱 신경망을 나타낸다. 일 구현예에 따르면, 신경망(800)은 도 6 과 도 7의 구현예에 따른 신경망(845, 855)을 포함한다. 이 경우에, 신경망 (800)은 적어도 하나의 완전히 연결된 레이어(830) 및 선택적으로 추가의 완전히 연결된 레이어(820)를 "Leaky ReLu" 활성화 함수로 알려진 것과 연결 또는 결합 또는 체인화함으로써 생성된다. 출력 텐서(840)에 대한 마지막 완전히 연결된 레이어(830)의 매핑은 시그모이드 활성화 함수에 의해 수행될 수 있다. 각 신경망(845, 855)의 2개 입력 텐서(805, 815)는 출력 텐서(840)에 매핑되고, 출력 텐서(840)는 다음과 같은 성분을 갖는다: P(오류), P(구멍), P(튐), P (틈새), P (거짓 짝), "x_keyhole", "y_keyhole", "dx_keyhole", "dy_keyhole", "x_melt_pool", "y_melt_pool", "dx_melt_pool" 및 "dy_melt_pool". P는 특정 유형의 가공 오류 확률을 나타낸다. 따라서 신경망(800)의 출력 텐서(840)는 1 × 13 차원을 갖는다.
도 5 내지 도 8의 구현예에서 사용되는 신경망은 훈련되거나 학습된 심층 합성곱 신경망이다. 즉, 가공오류 검출 시스템을 제공하기 전에, CNN은 어떤 것이 "양호"하고 그리고 어떤 것이 "불량"한 가공 공작물 표면인지 또는 어떤 것이 “양호”하고 그리고 어떤 것이 "불량"한 용접 또는 납땜 또는 용접 이음새(weld sea)인지 예를 통해 학습했다. 달리 말하면, CNN은 가공된 공작물 표면을 "양호" 또는 "불량"으로 분류하는 방법을 배웠거나 또는 가공 오류를 검출하고, 그 위치를 파악하고, 이를 유형에 따라 분류하고 그리고 이들의 크기를 결정하는 것을 배웠다.
공정 중 모니터링의 경우, 시스템은 가공된 공작물 표면에 가공 오류가 있는지 또는 가공 영역에 어떤 기하학적 특성이 있는지 신뢰성있게 결정해야 한다. 바람직하게는 어떤 오류가 존재하는지(예: 기공, 구멍, 분출, 튐, 접착 또는 용접 침투 부족 또는 "거짓 짝") 검출할 수 있으며, 가공 오류를 위치를 파악하고, 공작물 표면에 그 크기를 표시할 수 있다. CNN을 훈련시키고 하이퍼 매개변수를 설정하기 위해, 입력 데이터 세트와 해당 출력 텐서가 CNN에 제공된다. 구체적 입력 데이터 세트에는 예를 들어, 위에서 설명한 레이저 가공공정의 센서, 이미지 및/또는 제어 데이터가 포함된다. 대응하는 미리 결정된 출력 텐서 또는 결과 텐서는 각각의 미리 정의된 입력 데이터 세트와 연관된다. 이 출력 텐서는 각 입력 데이터 세트에 대한 각 레이저 가공 공정에 대한 원하는 CNN 결과를 포함한다.
도 8에 설명된 구현예에 따라 이미지 및 공정 데이터에 대한 망을 훈련시키기 위해, 이미지 데이터 및 공정 데이터에 대한 개별 망이 사용된다. 훈련 후 마지막 완전히 연결된 레이어에는 중요한 특징의 표현이 포함된다. 이러한 방식으로 결정된 각 개별 망의 매개 변수를 사용하여, 망은 설명된대로 체인화되고 체인화 이후의 레이어만 훈련된다.
다시 말해, 대응하는 미리 결정된 출력 텐서는 가공된 공작물 표면의 섹션에 존재하는 가공 오류의 분류 및/또는 가공 영역의 기하학적 특징에 대한 정보를 포함한다. 이러한 주어진 각 입력 데이터 세트에 대한 출력 텐서 매핑은 수동으로 수행된다(검출된 센서, 이미지 및 제어 데이터의 이른바 "레이블링"). 즉, 전달 함수의 결과에 대한 센서, 이미지 및 제어 데이터의 미리 결정된 매핑이 수행된다. 예를 들어, 입력 데이터 세트의 기준으로 사용되는 레이저 가공 공정에서 가공 오류가 발생했는지 여부, 어떤 유형의 오류가 존재하는지, 가공 된 공작물 표면의 어느 위치에서 오류가 존재하는지, 예를 들어 × 및 y 좌표가 있는 2 차원 좌표계를 사용하고, 그리고 × 및 y 방향의 가공 오류 크기, 키홀 및/또는 용융 풀이 있는지 여부, 여기서 키홀 및/또는 용융 풀은 서로에 대해 또는 현재 가공 포인트에 대한 것이며, 어느 영역 및/또는 어느 세미-축을 키 홀 및/또는 용융 풀이 가지는지 등이, 출력 텐서에 지정된다.
그런 다음, CNN에 의해 형성된 전달 함수는 최적화 방법에 의해 결정되고 시스템(300), 바람직하게는 컴퓨팅 유니트(320)의 메모리에 저장된다. 최적화 공정은 예를 들어 Adam 최적화를 구비한 "역 전파" 공정을 통해 수행된다. 추론을 위해 CNN은 가공 결과에 대한 입력 데이터 세트의 매핑을 제공한다.
일 구현예에 따르면, 다음 매개 변수가 훈련된 망에서 하이퍼 매개변수로 사용된다: "배치 정규화", "내부 공변량 이동을 줄여 심층 망 훈련 가속화"(Sergey Ioffe, Christian Szegedy에 따름).
학습된 심층 접힘 신경망은 소위 전달 학습을 통해 변경된 상황 또는 변경된 레이저 가공 공정에 적응할 수 있도록 구성된다. 망의 기본 훈련은 시스템 시운전 전에 수행된다. 시운전 후 가공 공정이 변경되는 경우 전달 학습으로 알려진 것만 수행된다. 변경된 상황은 예를 들어 재료가 변경 될 때와 같이, 가공할 공작물이 변경될 수 있다. 공작물 표면의 두께 또는 재료 조성도 약간 변경될 수 있다. 또한 공작물 가공에 다른 공정 매개변수를 사용할 수 있다. 이로 인해 다른 가공 오류가 발생할 수 있다. 예를 들어, 다른 유형의 가공 오류의 확률이 변경되거나 가공 오류가 상이하게 형성될 수 있다. 이는 신경망은 변경된 상황과 초래되는 가공 오류의 변화에 맞게 조정되어야만 하는 것을 의미한다.
전달 학습은 신경망의 초기 교육과 유사하게 진행된다. 그러나 일반적으로 심층 합성곱 신경망의 단지 몇 가지 특정 합성곱 레이어, 특히 마지막 2 ~ 3 개의 합성곱 레이어만 전달 학습에 적용된다. 변경되는 신경망의 매개변수 수는 신경망을 훈련하거나 교육할 때보다 훨씬 적다. 이를 통해 고객에서 일반적으로 한 시간 이내에 전달 학습을 신속하게 완료할 수 있다. 이는 전달 학습의 경우 전체 신경망이 재훈련되거나 재교육되지 않음을 의미한다.
시스템(300)은 인터페이스(321)를 통해 전달 학습에 필요한 훈련 데이터를 수신할 수 있다.
트레이닝 데이터는 변경된 레이저 가공 공정의 테스트 데이터 세트를 포함할 수 있으며, 컴퓨팅 유니트는 전달 학습 동안 상기 변경된 레이저 가공 공정의 테스트 데이터 세트로부터 상응하는 입력 텐서를 형성한다. 또한, 훈련 데이터는 각 테스트 데이터 세트와 연관된 미리 결정된 출력 텐서를 포함하고, 전문가가 이전에 결정한 변경된 레이저 가공 공정의 해당 가공 결과에 대한 정보를 포함한다.
예를 들어, 테스트 데이터 세트에는 이전 레이저 가공공정 중에 가공 오류가 발생했을 때 검출된 센서 데이터가 포함되어 있으며, 연관된 출력 텐서에는 오류 유형, 공작물의 가공 오류의 위치 및 범위가 포함된다.
도 9는 공작물을 가공하기위한 레이저 가공 공정을 모니터링하는 방법을 보여준다. 제 1 단계(910)는 레이저 가공 공정으로부터 현재 데이터에 기초하여 입력 텐서를 결정하는 것을 포함한다. 제 2 단계(920)에서, 전달 함수를 사용하여 입력 텐서에 기초하여 출력 텐서가 결정되고, 상기 출력 텐서는 현재 가공 결과에 대한 정보를 포함한다. 상기 전달 함수는 미리 결정되고 학습된 신경망에 의해 형성된다.
공작물을 가공하는 동안 레이저 가공 공정 모니터링 방법을 수행할 수 있다. 일 구현예에 따르면, 본 방법은 전체 가공된 공작물 표면을 한 번 통과한다.
전달 함수를 형성하는 신경망을 사용하면 시스템이 가공 오류의 존재 여부와 어떤 가공 오류인지를 독립적으로 검출할 수 있다는 장점이 있다. 따라서 오류 검출에 접근하기 위해, 이미지 또는 센서 데이터와 같은 수신된 현재 데이터를 더 이상 전처리할 필요가 없다. 또한 검출된 데이터에서 가공 품질이나 임의의 가공 오류를 특징 짓는 특징을 추출할 필요가 없다. 또한 어떤 추출된 특징이 가공 품질 평가 또는 가공 오류 분류에 필요하거나 또는 관련된 것인지 결정할 필요가 없다. 또한 가공 오류를 분류하기 위해 추출된 특징의 매개변수화를 지정하거나 조정할 필요가 없다. 따라서 레이저 가공 시스템에 의한 가공품질 또는 가공오류의 결정 또는 평가가 단순화된다. 상기 언급된 단계는 레이저 가공 전문가가 수행하거나 참석할 필요가 없다.
Claims (15)
- 공작물(1)을 가공하는 레이저 가공 공정을 모니터링하기 위한 시스템(300)으로, 상기 시스템은:
레이저 가공 공정의 현재 데이터에 기초하여 입력 텐서를 결정하고, 그리고 전달 함수를 사용하여 상기 입력 텐서에 기초하여, 현재 가공 결과에 대한 정보를 포함하는 출력 텐서를 결정하도록 구성되는 컴퓨팅 유니트(320)를 포함하며,
상기 입력 텐서 및 상기 출력 텐서 사이의 상기 전달 함수는 학습된 신경망에 의해 형성되는, 시스템(300).
- 제 1 항에 있어서,
상기 레이저 가공 공정의 상기 현재 데이터는 상기 레이저 가공 공정의 현재 이미지 데이터 및/또는 현재 공정 데이터를 포함하고,
상기 현재 공정 데이터는 현재 센서 데이터 및/또는 현재 제어 데이터를 포함하는, 시스템(300).
- 제 1 항 또는 제 2 항에 있어서,
상기 입력 텐서는 원시 데이터로서 레이저 가공 공정의 현재 데이터를 포함하거나 또는 레이저 가공 공정의 현재 데이터로 구성되는, 시스템(300).
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 레이저 가공 공정의 현재 데이터는 다음 중 적어도 하나를 포함하는 시스템(300):
온도, 플라즈마 방사, 레이저 출력, 반사되거나 후방 산란된 레이저 광의 강도, 반사되거나 후방 산란된 레이저 광의 파장, 레이저 가공 공정을 수행하는 레이저 가공 헤드의 공작물까지 거리, 키홀 깊이, 초점 위치, 초점 직경, 경로 신호 및/또는 공작물의 표면 이미지.
- 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 시스템은,
레이저 가공 공정 동안 레이저 가공 공정의 현재 센서 데이터를 검출하기 위한 적어도 하나의 센서 유니트(330), 및/또는
레이저 가공 공정 동안 상기 공작물(1)의 가공 영역의 현재 이미지 데이터를 검출하기위한 이미지 검출 유니트(310)를 더 포함하는, 시스템(300).
- 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 학습된 신경망은 적어도 공통 출력 레이어를 통해 결합된, 공정 데이터를 위한 개별 망 및 이미지 데이터를 위한 개별 망을 포함하고,
상기 학습된 신경망은 공정 데이터에 대한 입력 텐서 및 이미지 데이터에 대한 입력 텐서를 공통 출력 텐서에 매핑하도록 구성되는, 시스템(300).
- 제 6 항에 있어서,
상기 적어도 하나의 출력 레이어는 적어도 하나의 완전 연결 레이어를 포함하는, 시스템(300).
- 제 6 항 또는 제 7항에 있어서,
상기 공정 데이터에 대한 입력 텐서는 복수개의 샘플에 기초하고, 그리고 상기 이미지 데이터에 대한 입력 텐서는 이미지를 포함하고,
상기 이미지는 상기 공정 데이터에 대한 입력 텐서의 상기 샘플에 시간적으로 대응하는, 시스템(300).
- 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 가공 결과는 상기 공작물(1)의 가공 오류 및/또는 가공 영역에 대한 정보를 포함하는, 시스템(300).
- 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 출력 텐서가 다음 정보 중 하나를 포함하는 시스템(300):
적어도 하나의 가공 오류의 존재, 가공 오류의 유형, 가공된 공작물 표면의 가공 오류의 위치, 특정 유형의 가공 오류의 확률, 및 가공된 공작물 표면의 가공 오류의 공간적 및/또는 평면적 범위.
- 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 컴퓨팅 유니트(320)는 실시간으로 출력 텐서를 형성하고, 그리고 상기 레이저 가공 공정을 수행하는 레이저 가공 시스템(100)에 제어 데이터를 출력하도록 구성되는, 시스템(300).
- 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 학습된 신경망은 훈련 데이터에 기초한 전달 학습에 의해 변경된 레이저 가공공정에 적응될 수 있는, 시스템(300).
- 제 12 항에 있어서,
상기 훈련 데이터는 다음을 포함하는 시스템(300):
상응하는 입력 텐서를 결정하기 위해 상기 변경된 레이저 가공 공정의 테스트 데이터; 및
각각의 테스트 데이터와 연관되고, 그리고 상기 변경된 레이저 가공 공정의 상응하는 사전 결정된 가공 결과에 대한 정보를 포함하는 미리결정된 출력 텐서.
- 레이저 빔에 의해 공작물을 가공하기 위한 레이저 가공 시스템(100)으로,
상기 레이저 가공 시스템(100)은:
가공 될 공작물(1)에 레이저 빔(10)을 방사하기 위한 레이저 가공 헤드(101); 및
제 1 항 내지 제 13 항 중 어느 한 항에 따른 시스템(300)을 포함하는,
레이저 가공 시스템(100).
- 공작물 가공을 위한 레이저 가공 공정을 모니터링하는 방법(800)으로, 상기 방법은:
상기 레이저 가공 공정의 현재 데이터에 기초하여 입력 텐서를 결정(810)하는 단계; 및
전달 함수를 이용해 상기 입력 텐서에 기초하여, 현재 가공 결과에 대한 정보를 포함하는 출력 텐서를 결정(820)하는 단계를 포함하고,
상기 입력 텐서와 상기 출력 텐서 사이의 상기 전달 함수는 학습된 신경망에 의해 형성되는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018129441.7A DE102018129441B4 (de) | 2018-11-22 | 2018-11-22 | System zur Überwachung eines Laserbearbeitungsprozesses, Laserbearbeitungssystem sowie Verfahren zur Überwachung eines Laserbearbeitungsprozesses |
| DE102018129441.7 | 2018-11-22 | ||
| PCT/EP2019/077485 WO2020104103A1 (de) | 2018-11-22 | 2019-10-10 | Überwachung eines laserarbeitungsprozesses mithilfe von tiefen faltenden neuronalen netzen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210091789A true KR20210091789A (ko) | 2021-07-22 |
| KR102611342B1 KR102611342B1 (ko) | 2023-12-06 |
Family
ID=68281408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217018693A KR102611342B1 (ko) | 2018-11-22 | 2019-10-10 | 심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220011726A1 (ko) |
| EP (1) | EP3883715A1 (ko) |
| JP (1) | JP2022509143A (ko) |
| KR (1) | KR102611342B1 (ko) |
| CN (1) | CN113329836A (ko) |
| DE (1) | DE102018129441B4 (ko) |
| WO (1) | WO2020104103A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3885069A1 (de) * | 2020-03-25 | 2021-09-29 | Bystronic Laser AG | Qualitätskontrolle eines laserbearbeitungsprozesses mittels maschinellem lernen |
| US11537111B2 (en) * | 2020-04-01 | 2022-12-27 | General Electric Company | Methods and apparatus for 2-D and 3-D scanning path visualization |
| DE102020112116A1 (de) | 2020-05-05 | 2021-11-11 | Precitec Gmbh & Co. Kg | Verfahren zum Analysieren eines Laserbearbeitungsprozesses, System zum Analysieren eines Laserbearbeitungsprozesses und Laserbearbeitungssystem mit einem solchen System |
| DE102020123479A1 (de) * | 2020-09-09 | 2022-03-10 | Precitec Gmbh & Co. Kg | Verfahren zur Zustandsüberwachung eines Laserbearbeitungskopfes und Laserbearbeitungssystem zum Durchführen desselben |
| DE102020211343A1 (de) | 2020-09-10 | 2022-03-10 | Trumpf Laser- Und Systemtechnik Gmbh | Verfahren zum Laserschweißen mittels eines in einer Doppelkernfaser geführten Laserstrahls sowie zugehörige Laserschweißmaschine und Computerprogrammprodukt |
| DE102021107544B4 (de) | 2021-03-25 | 2023-01-05 | Precitec Gmbh & Co. Kg | Verfahren zur Normierung von Sensorsignalen für die Überwachung eines Laserbearbeitungsprozesses, Verfahren zum Überwachen eines Laserbeitungsprozesses und Laserbearbeitungssystem |
| DE102021111349A1 (de) | 2021-05-03 | 2022-11-03 | Precitec Gmbh & Co. Kg | Verfahren zum Überwachen eines Laserschweißprozesses und dazugehöriges Laserschweißsystem |
| KR102532753B1 (ko) * | 2021-07-22 | 2023-05-16 | 울산과학기술원 | 금속 3d 프린터 모니터링 방법, 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 |
| DE102021121112A1 (de) * | 2021-08-13 | 2023-02-16 | Precitec Gmbh & Co. Kg | Analysieren eines Laserbearbeitungsprozesses basierend auf einem Spektrogramm |
| DE102021123038A1 (de) * | 2021-09-06 | 2023-03-09 | Trumpf Laser- Und Systemtechnik Gmbh | Spritzerdetektion durch künstliche Intelligenz bei der Laserbearbeitung |
| DE102021127016A1 (de) | 2021-10-19 | 2023-04-20 | Precitec Gmbh & Co. Kg | Prozesssignalrekonstruktion und Anomalie-Detektion bei Laserbearbeitungsprozessen |
| CN114453733A (zh) * | 2022-01-29 | 2022-05-10 | 苏州富润泽激光科技有限公司 | 一种振镜焊接控制方法及系统 |
| US20230302539A1 (en) * | 2022-03-25 | 2023-09-28 | General Electric Company | Tool for scan path visualization and defect distribution prediction |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003516860A (ja) * | 1999-11-27 | 2003-05-20 | ティッセンクルップ シュタール アクチェンゲゼルシャフト | レーザーによって突き合せ溶接された金属薄板またはバンドの継ぎ目を品質管理する方法と装置 |
| US20170032281A1 (en) * | 2015-07-29 | 2017-02-02 | Illinois Tool Works Inc. | System and Method to Facilitate Welding Software as a Service |
| JP2018103284A (ja) * | 2016-12-22 | 2018-07-05 | ファナック株式会社 | 工具寿命推定装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001276980A (ja) | 2000-03-30 | 2001-10-09 | Matsushita Electric Ind Co Ltd | 接合装置 |
| RU2529136C2 (ru) * | 2008-11-21 | 2014-09-27 | Прецитек Кг | Способ и устройство для контроля проводимого на обрабатываемой детали процесса лазерной обработки, а также лазерная обрабатывающая головка с подобным устройством |
| CN102497952B (zh) | 2009-07-20 | 2014-12-24 | 普雷茨特两合公司 | 激光处理头以及用于补偿激光处理头的聚焦位置的改变的方法 |
| KR101780049B1 (ko) | 2013-07-01 | 2017-09-19 | 한국전자통신연구원 | 레이저 용접 비드 검사 장치 및 방법 |
| JP6339603B2 (ja) * | 2016-01-28 | 2018-06-06 | ファナック株式会社 | レーザ加工開始条件を学習する機械学習装置、レーザ装置および機械学習方法 |
| CN108346151A (zh) * | 2018-03-12 | 2018-07-31 | 湖南大学 | 一种判断激光焊接熔透性的方法 |
| DE102018129425B4 (de) * | 2018-11-22 | 2020-07-30 | Precitec Gmbh & Co. Kg | System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks |
-
2018
- 2018-11-22 DE DE102018129441.7A patent/DE102018129441B4/de active Active
-
2019
- 2019-10-10 KR KR1020217018693A patent/KR102611342B1/ko active IP Right Grant
- 2019-10-10 EP EP19789615.2A patent/EP3883715A1/de active Pending
- 2019-10-10 JP JP2021528414A patent/JP2022509143A/ja active Pending
- 2019-10-10 CN CN201980089975.7A patent/CN113329836A/zh active Pending
- 2019-10-10 WO PCT/EP2019/077485 patent/WO2020104103A1/de unknown
- 2019-10-10 US US17/295,904 patent/US20220011726A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003516860A (ja) * | 1999-11-27 | 2003-05-20 | ティッセンクルップ シュタール アクチェンゲゼルシャフト | レーザーによって突き合せ溶接された金属薄板またはバンドの継ぎ目を品質管理する方法と装置 |
| US20170032281A1 (en) * | 2015-07-29 | 2017-02-02 | Illinois Tool Works Inc. | System and Method to Facilitate Welding Software as a Service |
| JP2018103284A (ja) * | 2016-12-22 | 2018-07-05 | ファナック株式会社 | 工具寿命推定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220011726A1 (en) | 2022-01-13 |
| KR102611342B1 (ko) | 2023-12-06 |
| WO2020104103A1 (de) | 2020-05-28 |
| DE102018129441B4 (de) | 2023-11-16 |
| CN113329836A (zh) | 2021-08-31 |
| EP3883715A1 (de) | 2021-09-29 |
| DE102018129441A1 (de) | 2020-05-28 |
| JP2022509143A (ja) | 2022-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102611342B1 (ko) | 심층 합성곱 신경망을 이용한 레이저 가공 공정 모니터링 시스템 및 방법 | |
| KR102468234B1 (ko) | 심층 합성곱 신경망을 이용한 레이저 가공 시스템의 가공오류 검출 시스템 및 방법 | |
| KR101700896B1 (ko) | 공작물 레이저 가공 작업 모니터 방법 및 장치와 그 장치를 구비한 레이저 가공 헤드 | |
| KR101780049B1 (ko) | 레이저 용접 비드 검사 장치 및 방법 | |
| EP3022615B1 (en) | Systems and methods for assuring and improving process quality | |
| US10761037B2 (en) | Laser processing device for determining the presence of contamination on a protective window | |
| US20230201956A1 (en) | Method for analyzing a laser machining process, system for analyzing a laser machining process, and laser machining system comprising such a system | |
| CN114502313A (zh) | 用于借助激光束在工件上执行加工工序的激光加工系统和用于监控工件上的借助激光束的加工工序的方法 | |
| CN108367385A (zh) | 用于确定激光射束的参考焦点位置的方法 | |
| Aviles-Viñas et al. | Acquisition of welding skills in industrial robots | |
| JP2023508765A (ja) | 機械学習を用いてのレーザ加工プロセスの品質管理 | |
| Li et al. | A modified welding image feature extraction algorithm for rotating arc narrow gap MAG welding | |
| JP2021058927A (ja) | レーザ溶接品質検査の方法及びレーザ溶接品質検査装置 | |
| JP2016038204A (ja) | 内面形状検査用のセンサユニット及び内面形状検査装置 | |
| WO2023280679A1 (en) | Automatic seam detection for a welding process | |
| CN111230299A (zh) | 一种激光焊接在线检测装置及方法 | |
| KR102561444B1 (ko) | 용접 공정에서의 객체 트래킹 장치 및 방법 | |
| JP4447441B2 (ja) | 変位センサ及び変位計測方法 | |
| Raghuram et al. | For the Processing of Laser-Cut Materials, Seam Tracking Using Texture-Based Image Analysis | |
| JP5744933B2 (ja) | 溶接センサ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |