KR20240035661A - Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor - Google Patents

Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor Download PDF

Info

Publication number
KR20240035661A
KR20240035661A KR1020220114085A KR20220114085A KR20240035661A KR 20240035661 A KR20240035661 A KR 20240035661A KR 1020220114085 A KR1020220114085 A KR 1020220114085A KR 20220114085 A KR20220114085 A KR 20220114085A KR 20240035661 A KR20240035661 A KR 20240035661A
Authority
KR
South Korea
Prior art keywords
target
laser
pattern
laser processing
control unit
Prior art date
Application number
KR1020220114085A
Other languages
Korean (ko)
Inventor
이용관
김수경
Original Assignee
한국공학대학교산학협력단
주식회사 리쉐니에
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국공학대학교산학협력단, 주식회사 리쉐니에 filed Critical 한국공학대학교산학협력단
Priority to KR1020220114085A priority Critical patent/KR20240035661A/en
Publication of KR20240035661A publication Critical patent/KR20240035661A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Plasma & Fusion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치에 관한 것으로, 목표물의 가공시작 신호에 따라 목표물에 레이저를 조사하는 단계, 목표물에 의해 레이저가 반사되는 반사광을 수신하는 단계, 레이저에 의해 가공 중인 목표물의 표면에 대한 영상데이터를 획득하는 단계, 반사광에 대한 반사량 패턴을 확인하는 단계 및 반사량 패턴을 기반으로 레이저 조사에 의해 발생된 복수의 홀 중 적어도 하나의 홀에 대한 불량여부를 검출하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.The present invention relates to a laser processing monitoring method and device using a multi-array sensor, comprising the steps of irradiating a laser to a target according to a processing start signal of the target, receiving reflected light reflected by the laser by the target, and processing by the laser. Obtaining image data on the surface of the target, checking the reflection amount pattern for the reflected light, and detecting whether at least one hole among the plurality of holes generated by laser irradiation is defective based on the reflection amount pattern. It includes and can be applied to other embodiments.

Description

멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치{Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor}Laser processing monitoring method and device using a multi-array sensor {Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor}

본 발명은 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치에 관한 것이다.The present invention relates to a laser processing monitoring method and device using a multi-array sensor.

반도체, 디스플레이 등의 미세공정에 있어서 기판 표면의 재질이나 비아홀 머시닝 또는 특정 패턴 형성에 레이저 장치를 많이 사용한다. 이를 위해, 레이저 빔을 특수한 형태로 가공하는 기술, 레이저의 공간적인 형태를 선, 면 등으로 성형하는 기술 즉, 빔의 공간적인 세기를 특정 형태로 유지하거나 에지 부분의 트랜지션 폭을 최소화하는 등의 기술이 개발되고 있다. In microprocessing of semiconductors, displays, etc., laser devices are often used to change the substrate surface material, machining via holes, or forming specific patterns. For this purpose, technology is used to process the laser beam into a special form, and to shape the spatial form of the laser into lines, surfaces, etc., that is, to maintain the spatial intensity of the beam in a specific form or to minimize the transition width at the edge. Technology is being developed.

그러나, 이와 같이 정밀하게 성형된 레이저빔은 촬상면, 즉 목표물에 조사되기 이전까지 초기 레시피(recipe)의 설정과는 다르게 환경적인 요인 등에 의해 빔의 특성이 변형될 수 있어, 가공 물품에 이상이 발생되는 문제점이 존재한다. 특히, 초정밀 레이저 가공 장비를 사용할 경우, 가공 품질 검사는 공정이 완료된 이후에 진행되는 경우가 대부분이므로 불량 금형에 대해 수정이나 재작업이 어려워 금형 폐기의 비용이 많이 발생하는 문제점이 있다. However, the characteristics of such a precisely formed laser beam may be modified by environmental factors, unlike the initial recipe settings, before being irradiated to the imaging surface, i.e., the target, causing abnormalities in the processed product. There is a problem. In particular, when using ultra-precision laser processing equipment, processing quality inspection is usually conducted after the process is completed, so it is difficult to correct or rework defective molds, resulting in high mold disposal costs.

현재에는 불량을 확인하기 위해 2차원 비전 카메라를 이용하여 획득된 영상데이터의 분석을 통해 불량을 확인하는데, 이는 불량 확인을 위한 검수시간이 과다하게 발생되는 문제점이 있다. 아울러, 비전 카메라를 이용하여 목표물에 조사되는 반사광에 대한 영상데이터를 확인할 수 있으나 가공하는 목표물의 종류 예컨대, 세라믹, 금속 등에 따라 반사광의 특징이 명확하지 않아 불량의 유형이나 특징을 파악하는 것이 불가능한 실정이다.Currently, defects are confirmed through analysis of image data acquired using a 2D vision camera, but this has the problem of excessive inspection time for checking defects. In addition, it is possible to check image data about the reflected light irradiated to the target using a vision camera, but the characteristics of the reflected light are not clear depending on the type of target being processed, such as ceramic or metal, so it is impossible to identify the type or characteristics of the defect. am.

이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 목표물 가공 시에 목표물의 종류에 따라 실시간으로 가공의 불량을 확인할 수 있는 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치를 제공하는 것이다. Embodiments of the present invention to solve these conventional problems provide a laser processing monitoring method and device using a multi-array sensor that can check processing defects in real time depending on the type of target during target processing.

또한, 본 발명의 실시 예들은 목표물 가공 시에 실시간으로 가공의 불량을 확인함으로써 불량검수를 위한 별도의 불량검수공정을 생략할 수 있는 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치를 제공하는 것이다.In addition, embodiments of the present invention provide a laser processing monitoring method and device using a multi-array sensor that can omit a separate defect inspection process for defect inspection by checking processing defects in real time when processing a target.

또한, 본 발명의 실시 예들은 카메라를 이용하여 레이저가 조사되는 목표물의 표면에 대한 영상데이터의 분석을 통해 목표물의 종류에 따른 불량 유형 및 특징을 파악할 수 있는 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치를 제공하는 것이다. In addition, embodiments of the present invention include a laser processing monitoring method using a multi-array sensor that can determine the type and characteristics of defects according to the type of target through analysis of image data on the surface of the target to which the laser is irradiated using a camera; The device is provided.

또한, 본 발명의 실시 예들은 복수의 수광센서를 멀티어레이 형태로 형성하여 레이저 가공 모니터링 시의 정확도를 향상시킬 수 있는 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치를 제공하는 것이다. Additionally, embodiments of the present invention provide a laser processing monitoring method and device using a multi-array sensor that can improve accuracy in laser processing monitoring by forming a plurality of light-receiving sensors in a multi-array form.

본 발명의 실시 예에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법은, 목표물의 가공시작 신호에 따라 상기 목표물에 레이저를 조사하는 단계, 상기 목표물에 의해 상기 레이저가 반사되는 반사광을 수신하는 단계, 상기 레이저에 의해 가공 중인 상기 목표물의 표면에 대한 영상데이터를 획득하는 단계, 상기 반사광에 대한 반사량 패턴을 확인하는 단계 및 상기 반사량 패턴을 기반으로 상기 레이저 조사에 의해 발생된 복수의 홀 중 적어도 하나의 홀에 대한 불량여부를 검출하는 단계를 포함하는 것을 특징으로 한다. A laser processing monitoring method using a multi-array sensor according to an embodiment of the present invention includes the steps of irradiating a laser to the target according to a processing start signal of the target, receiving reflected light from which the laser is reflected by the target, Obtaining image data on the surface of the target being processed by a laser, confirming a reflection amount pattern for the reflected light, and at least one hole among a plurality of holes generated by the laser irradiation based on the reflection amount pattern It is characterized by including a step of detecting whether or not there is a defect.

또한, 홀에 대한 불량여부를 검출하는 단계는, 기저장된 학습패턴을 기준으로 설정된 임계치와 상기 반사량 패턴을 비교하는 단계 및 상기 반사량 패턴이 상기 임계치 이상이면 상기 적어도 하나의 홀에 불량이 발생한 것으로 확인하는 단계를 포함하는 것을 특징으로 한다.In addition, the step of detecting whether a hole is defective includes comparing the reflection amount pattern with a threshold set based on a pre-stored learning pattern, and if the reflection amount pattern is greater than the threshold, confirming that a defect has occurred in the at least one hole. It is characterized by including the step of:

또한, 목표물의 종류 및 상기 목표물의 두께를 고려하여 상기 학습패턴을 생성하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the method further includes generating the learning pattern in consideration of the type of target and the thickness of the target.

또한, 홀의 간격 및 상기 홀의 직경을 고려하여 상기 학습패턴을 생성하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the method further includes generating the learning pattern by considering the spacing of the holes and the diameter of the holes.

또한, 반사광을 수신하는 단계는, 탈착이 가능한 멀티어레이로 형성된 수광부를 이용하여 복수의 반사광을 수신하는 단계인 것을 특징으로 한다.Additionally, the step of receiving reflected light is characterized by receiving a plurality of reflected lights using a light receiving unit formed of a detachable multi-array.

또한, 반사량 패턴을 확인하는 단계는, 상기 복수의 반사광을 결합하여 상기 복수의 홀 각각에 대한 상기 반사량 패턴을 확인하는 단계인 것을 특징으로 한다.In addition, the step of checking the reflection amount pattern is characterized in that it is a step of checking the reflection amount pattern for each of the plurality of holes by combining the plurality of reflected lights.

또한, 학습패턴을 저장하는 단계는, 비지도 방식인 오토엔코더를 이용하여 생성된 상기 학습패턴을 저장하는 단계인 것을 특징으로 한다.In addition, the step of storing the learning pattern is characterized in that it is a step of storing the learning pattern generated using an unsupervised autoencoder.

또한, 획득된 영상데이터와 기저장된 학습영상데이터를 비교하여 상기 불량여부가 검출된 적어도 하나의 홀에 대한 검증을 수행하는 단계를 더 포함하는 것을 특징으로 한다. In addition, the method further includes the step of verifying at least one hole in which defects have been detected by comparing the acquired image data with previously stored learning image data.

아울러, 본 발명의 실시 예에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링 장치는, 목표물에 레이저를 조사하는 광원부와 상기 레이저가 상기 목표물에 의해 반사되는 반사광을 수신하는 수광부를 포함하는 가공부, 상기 레이저에 의해 가공 중인 상기 목표물의 표면에 대한 영상데이터를 획득하는 카메라부 및 상기 반사광에 대한 반사량 패턴을 확인하고, 상기 반사량 패턴을 기반으로 상기 레이저 조사에 의해 발생된 복수의 홀 중 적어도 하나의 홀에 대한 불량여부를 검출하는 제어부를 포함하는 것을 특징으로 한다.In addition, a laser processing monitoring device using a multi-array sensor according to an embodiment of the present invention includes a light source unit that irradiates a laser to a target, a processing unit that includes a light receiving unit that receives reflected light from which the laser is reflected by the target, and the laser A camera unit acquires image data on the surface of the target being processed and checks a reflection amount pattern for the reflected light, and based on the reflection amount pattern, at least one hole among the plurality of holes generated by the laser irradiation It is characterized by including a control unit that detects whether or not the product is defective.

또한, 제어부는, 기저장된 학습패턴을 기준으로 설정된 임계치와 상기 반사량 패턴을 비교하여 상기 반사량 패턴이 상기 임계치 이상이면 상기 적어도 하나의 홀에 불량이 발생한 것으로 확인하는 것을 특징으로 한다.In addition, the control unit compares the reflection amount pattern with a threshold set based on a pre-stored learning pattern and determines that a defect has occurred in the at least one hole if the reflection amount pattern is greater than the threshold.

또한, 메모리를 더 포함하고, 상기 제어부는, 상기 목표물의 종류 및 상기 목표물의 두께를 고려하여 생성한 상기 학습패턴을 상기 메모리에 저장하는 것을 특징으로 한다.In addition, it further includes a memory, and the control unit is characterized in that the learning pattern generated by considering the type of the target and the thickness of the target is stored in the memory.

또한, 제어부는, 상기 홀의 간격 및 상기 홀의 직경을 고려하여 생성한 상기 학습패턴을 상기 메모리에 저장하는 것을 특징으로 한다.In addition, the control unit is characterized in that the learning pattern generated by considering the spacing of the holes and the diameter of the holes is stored in the memory.

또한, 수광부는, 탈착이 가능한 멀티어레이로 형성되어 복수의 반사광을 수신하는 것을 특징으로 한다.In addition, the light receiving unit is formed of a detachable multi-array and is characterized in that it receives a plurality of reflected lights.

또한, 제어부는, 상기 복수의 반사광을 결합하여 상기 복수의 홀 각각에 대한 상기 반사량 패턴을 확인하는 것을 특징으로 한다. In addition, the control unit is characterized in that it combines the plurality of reflected lights to check the reflection amount pattern for each of the plurality of holes.

또한, 제어부는, 비지도 방식인 오토엔코더를 이용하여 상기 학습패턴을 생성하는 것을 특징으로 한다. In addition, the control unit is characterized in that it generates the learning pattern using an unsupervised autoencoder.

또한, 제어부는, 상기 획득된 영상데이터와 기저장된 학습영상데이터를 비교하여 상기 불량여부가 검출된 적어도 하나의 홀에 대한 검증을 수행하는 것을 특징으로 한다. Additionally, the control unit compares the acquired image data with previously stored learning image data to verify at least one hole in which defects have been detected.

상술한 바와 같이 본 발명에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치는, 목표물 가공 시에 목표물의 종류에 따라 실시간으로 가공의 불량을 확인하여 별도의 불량검수공정을 생략함으로써 목표물의 종류에 따른 불량 유형 및 특징을 확인할 수 있고, 불량검수공정에 소비되는 시간을 최소화할 수 있는 효과가 있다.As described above, the laser processing monitoring method and device using a multi-array sensor according to the present invention checks processing defects in real time according to the type of target when processing the target, thereby omitting a separate defect inspection process, thereby determining the type of target. It has the effect of being able to check the types and characteristics of defects and minimize the time spent on the defect inspection process.

또한, 본 발명에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치는, 카메라를 이용하여 레이저가 조사되는 목표물의 표면에 대한 영상데이터의 분석을 통해 목표물의 종류에 따른 불량 유형 및 특징을 파악할 수 있는 효과가 있다. In addition, the laser processing monitoring method and device using a multi-array sensor according to the present invention can identify the type and characteristics of defects according to the type of target through analysis of image data on the surface of the target to which the laser is irradiated using a camera. There is an effect.

또한, 본 발명에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링 방법 및 장치는, 멀티어레이 형태로 복수의 수광센서를 형성하여, 레이저 가공 모니터링 시의 정확도를 향상시킬 수 있는 효과가 있다.In addition, the laser processing monitoring method and device using a multi-array sensor according to the present invention has the effect of improving accuracy when monitoring laser processing by forming a plurality of light-receiving sensors in a multi-array form.

도 1은 본 발명의 실시 예에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링을 위한 전자장치를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링을 수행하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 가공된 비아홀에 대한 영상데이터를 나타낸 화면예시도이다.
도 4는 본 발명의 실시 예에 따른 불량 검출 시의 반사광 패턴 및 영상데이터를 나타낸 화면예시도이다. 1 is a diagram showing an electronic device for monitoring laser processing using a multi-array sensor according to an embodiment of the present invention.
Figure 2 is a flow chart to explain a method of performing laser processing monitoring using a multi-array sensor according to an embodiment of the present invention.
Figure 3 is an example screen showing image data for a via hole processed according to an embodiment of the present invention.
Figure 4 is an example screen showing a reflected light pattern and image data when detecting a defect according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings. The detailed description set forth below in conjunction with the accompanying drawings is intended to illustrate exemplary embodiments of the invention and is not intended to represent the only embodiments in which the invention may be practiced. In order to clearly explain the present invention in the drawings, parts unrelated to the description may be omitted, and the same reference numerals may be used for identical or similar components throughout the specification.

도 1은 본 발명의 실시 예에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링을 위한 전자장치를 나타낸 도면이다. 1 is a diagram showing an electronic device for monitoring laser processing using a multi-array sensor according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 전자장치(100)는 통신부(110), 가공부(120), 카메라부(130), 입력부(140), 표시부(150), 메모리(160) 및 제어부(170)를 포함할 수 있다. Referring to Figure 1, the electronic device 100 according to the present invention includes a communication unit 110, a processing unit 120, a camera unit 130, an input unit 140, a display unit 150, a memory 160, and a control unit ( 170) may be included.

통신부(110)는 외부서버(미도시)와의 통신을 통해 외부서버로부터 학습데이터를 수신할 수 있다. 이를 위해, 통신부(110)는 외부서버와 5G(5th generation communication), LTE-A(Long Term Evolution-Advanced), LTE(Long Term Evolution), Wi-Fi(Wireless Fidelity) 등의 무선 통신을 수행할 수 있다.The communication unit 110 may receive learning data from an external server through communication with an external server (not shown). To this end, the communication unit 110 performs wireless communication such as 5G ( 5th generation communication), LTE-A (Long Term Evolution-Advanced), LTE (Long Term Evolution), and Wi-Fi (Wireless Fidelity) with an external server. can do.

이때, 학습데이터는 가공조건과 학습패턴이 매핑된 학습데이터로, 외부서버에 저장된 AI(artificial intelligence)알고리즘을 이용하여 생성될 수 있다. 가공조건은, 목표물의 종류(예컨대, 금속, 세라믹 등), 목표물의 두께, 비아홀 간격, 비아홀 직경 및 비아홀의 개수 등에 대한 조건이며, 학습패턴은 가공조건에 따라 목표물이 정상적으로 가공될 때의 반사량 패턴이 학습되어 생성된 패턴일 수 있다. At this time, the learning data is learning data to which processing conditions and learning patterns are mapped, and can be generated using an artificial intelligence (AI) algorithm stored in an external server. Processing conditions are conditions for the type of target (e.g., metal, ceramic, etc.), target thickness, via hole spacing, via hole diameter, and number of via holes, and the learning pattern is the reflection amount pattern when the target is processed normally according to the processing conditions. This may be a learned and generated pattern.

아울러, 외부서버는 목표물이 정상적으로 가공되는 시점에 전자장치(100)에서 획득된 정상적인 반사량 패턴을 AI알고리즘에 입력으로 적용할 수 있다. 아울러, 외부서버는 목표물 가공 시에 설정된 환경 즉, 목표물의 종류, 목표물의 두께, 비아홀 간격, 비아홀 직경 및 비아홀의 개수 등에 대한 가공조건과 반사량 패턴을 AI알고리즘의 입력으로 적용하여 비지도 방식으로 훈련된 인공 신경망인 autoencoder 모델을 생성할 수 있고, 이를 이용해 가공조건 및 반사량 패턴이 매핑된 학습데이터를 생성할 수 있다. 이때, 학습데이터에는 반사량 패턴을 기준으로 설정된 임계치가 포함될 수 있다. 아울러, 외부서버는 목표물이 정상적으로 가공되는 시점에 전자장치(100)에서 획득된 영상데이터를 학습영상데이터로 생성할 수 있다. In addition, the external server can apply the normal reflection amount pattern obtained from the electronic device 100 at the time the target is normally processed as input to the AI algorithm. In addition, the external server trains in an unsupervised manner by applying the processing conditions and reflection pattern for the environment set during target processing, such as target type, target thickness, via hole spacing, via hole diameter, and number of via holes, as input to the AI algorithm. You can create an autoencoder model, which is an artificial neural network, and use it to generate learning data to which processing conditions and reflection patterns are mapped. At this time, the learning data may include a threshold set based on the reflection amount pattern. In addition, the external server can generate image data acquired from the electronic device 100 at the time the target is normally processed as learning image data.

가공부(120)는 레이저 광(이하, 레이저로 통칭함)을 조사하기 위한 광원부(121)와 반사광을 수신하기 위한 수광부(122)를 포함할 수 있다. 광원부(121)에서 조사된 레이저는 목표물에 의해 반사되어 반사광이 생성되고, 수광부(122)는 목표물에 의해 반사되어 생성된 반사광을 수신한다. The processing unit 120 may include a light source unit 121 for irradiating laser light (hereinafter collectively referred to as laser) and a light receiving unit 122 for receiving reflected light. The laser irradiated from the light source unit 121 is reflected by the target to generate reflected light, and the light receiving unit 122 receives the reflected light generated by being reflected by the target.

이때, 광원부(121)는 가공조건에 포함된 비아홀의 개수에 따라 조사할 수 있도록 복수의 광원을 구비하여 형성될 수 있다. 수광부(122)는 수신된 반사광을 이용하여 수광데이터를 생성하고, 이를 제어부(170)로 제공한다. 이때, 수광부(122)는 포토 다이오드 센서 등의 수광센서를 의미할 수 있고, 복수의 수광센서(122a 내지 122n)를 포함할 수 있다. 아울러, 수광부(122)는 전자장치(100)에 탈착이 가능한 형태로 형성될 수 있고, 복수의 수광센서(122a 내지 122n)가 멀티어레이의 형태로 형성되어 복수의 반사광을 수신할 수 있다. 예컨대, 각각의 수광센서(122a 내지 122n)는 목표물에서 반사되는 복수의 반사광을 모두 수신할 수 있고, 수광부(122)는 복수의 반사광을 수광데이터로 변환하여 제어부(170)로 제공할 수 있다. At this time, the light source unit 121 may be formed with a plurality of light sources to irradiate according to the number of via holes included in the processing conditions. The light receiving unit 122 generates light receiving data using the received reflected light and provides this to the control unit 170. At this time, the light receiving unit 122 may mean a light receiving sensor such as a photo diode sensor, and may include a plurality of light receiving sensors 122a to 122n. In addition, the light receiving unit 122 may be formed in a form that is detachable from the electronic device 100, and a plurality of light receiving sensors 122a to 122n may be formed in the form of a multi-array to receive a plurality of reflected lights. For example, each light receiving sensor 122a to 122n can receive all of the plurality of reflected lights reflected from the target, and the light receiving unit 122 can convert the plurality of reflected lights into light reception data and provide it to the control unit 170.

카메라부(130)는 목표물이 가공될 때, 목표물의 표면에 대한 영상데이터를 획득할 수 있는 위치에 설치될 수 있다. 카메라부(130)는 획득된 영상데이터를 제어부(170)로 제공할 수 있다. 아울러, 카메라부(130)는 전자장치(100)와 분리되어 형성될 수 있고 이 경우 전자장치(100)와의 통신을 위해 카메라부(130)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity) 등의 무선 통신을 통해 전자장치(200)와 통신을 수행할 수 있다.The camera unit 130 may be installed at a location where image data on the surface of the target can be acquired when the target is processed. The camera unit 130 may provide the acquired image data to the control unit 170. In addition, the camera unit 130 may be formed separately from the electronic device 100. In this case, for communication with the electronic device 100, the camera unit 130 may use 5G ( 5th generation communication), LTE-A (long Communication can be performed with the electronic device 200 through wireless communication such as term evolution-advanced (LTE), long term evolution (LTE), or wireless fidelity (Wi-Fi).

입력부(140)는 전자장치(100)를 운영하는 운영자 입력에 대응하여 입력데이터를 발생시킨다. 입력부(140)는 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key) 및 버튼(button) 중 적어도 하나의 입력수단을 포함할 수 있다.The input unit 140 generates input data in response to input from an operator operating the electronic device 100. The input unit 140 may include at least one input means among a key pad, dome switch, touch panel, touch key, and button.

표시부(150)는 전자장치(100)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(150)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 표시부(150)는 입력부(140)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.The display unit 150 outputs output data according to the operation of the electronic device 100. To this end, the display unit 150 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electro mechanical system (MEMS). systems) displays and electronic paper displays. The display unit 150 may be combined with the input unit 140 and implemented as a touch screen.

메모리(160)는 전자장치(100)의 동작 프로그램들을 저장한다. 메모리(150)는 수광부(122)에서 생성된 수광데이터를 기반으로 반사량 패턴을 생성하기 위한 알고리즘과, 반사량 패턴으로 학습데이터를 생성하기 위한 알고리즘을 저장할 수 있다. 메모리(160)는 카메라부(130)에서 획득된 영상데이터를 저장할 수 있다. The memory 160 stores operation programs of the electronic device 100. The memory 150 may store an algorithm for generating a reflection amount pattern based on the light-receiving data generated by the light receiving unit 122 and an algorithm for generating learning data using the reflection amount pattern. The memory 160 may store image data acquired by the camera unit 130.

메모리(160)는 목표물의 종류, 목표물의 두께, 비아홀 간격, 비아홀 직경 및 비아홀의 개수 등의 가공조건에 따라 목표물이 정상적으로 가공될 때의 반사량 패턴을 학습하여 학습패턴을 생성할 수 있다. 또한, 메모리(160)는 학습패턴을 기반으로 생성된 목표물 가공의 불량여부를 판단할 수 있는 기준이 되는 임계치를 저장할 수 있다. 메모리(160)는 가공조건, 학습패턴 및 임계치가 매핑된 학습데이터를 저장할 수 있다. 이때, 학습패턴은, 가공조건에 따라 목표물이 정상적으로 가공될 때의 반사량 패턴이 학습된 패턴을 의미할 수 있다. 아울러, 메모리(160)는 가공조건에 따라 목표물이 정상적으로 가공될 때 목표물의 표면에 대한 영상데이터를 학습영상데이터로 저장할 수 있다. The memory 160 may generate a learning pattern by learning the reflection amount pattern when the target is normally processed according to processing conditions such as target type, target thickness, via hole spacing, via hole diameter, and number of via holes. Additionally, the memory 160 may store a threshold value that serves as a standard for determining whether or not processing of a target generated based on a learning pattern is defective. The memory 160 can store learning data to which processing conditions, learning patterns, and thresholds are mapped. At this time, the learning pattern may mean a pattern in which the reflection amount pattern when the target is normally processed according to processing conditions is learned. In addition, the memory 160 may store image data about the surface of the target as learning image data when the target is processed normally according to processing conditions.

제어부(170)는 학습을 통해 학습데이터를 생성하여 메모리(160)에 저장할 수 있고, 외부서버와의 통신을 통해 외부서버로부터 수신된 학습데이터를 메모리(160)에 저장할 수 있다. 학습데이터를 생성하기 위해서 제어부(170)는 메모리(160)에 저장된 AI알고리즘을 호출하고, 목표물이 정상적으로 가공되는 시점에 획득된 정상적인 반사량 패턴을 AI알고리즘의 입력으로 적용할 수 있다. 아울러, 제어부(170)는 목표물 가공 시에 설정된 환경 즉, 목표물의 종류, 목표물의 두께, 비아홀 간격, 비아홀 직경 및 비아홀의 개수 등에 대한 가공조건을 AI알고리즘의 입력으로 적용하여 비지도 방식으로 훈련된 인공 신경망인 autoencoder 모델을 생성할 수 있다. The control unit 170 can generate learning data through learning and store it in the memory 160, and can store learning data received from an external server in the memory 160 through communication with an external server. In order to generate learning data, the control unit 170 can call the AI algorithm stored in the memory 160 and apply the normal reflectance pattern obtained when the target is normally processed as an input to the AI algorithm. In addition, the control unit 170 applies the processing conditions for the environment set when processing the target, that is, target type, target thickness, via hole spacing, via hole diameter, and number of via holes, etc., as input to the AI algorithm, and applies the processing conditions to the unsupervised method. You can create an autoencoder model, which is an artificial neural network.

제어부(170)는 가공부(120)를 제어하여 목표물에 레이저를 조사한다. 제어부(170)는 레이저가 목표물에 의해 반사되는 반사광을 수광한 수광부(122)에 의해 생성된 수광데이터를 이용하여 반사량 패턴을 확인한다. 제어부(170)는 확인된 반사량 패턴을 기반으로 레이저 조사에 의해 발생된 목표물 가공 시에 발생된 불량여부를 검출할 수 있다. The control unit 170 controls the processing unit 120 to irradiate the laser to the target. The control unit 170 checks the reflection amount pattern using the light reception data generated by the light receiving unit 122, which receives the reflected light reflected by the laser target. The control unit 170 can detect defects generated during processing of a target caused by laser irradiation based on the confirmed reflection amount pattern.

보다 구체적으로, 제어부(170)는 입력부(140)로부터 목표물을 레이저로 가공하기 위한 가공시작신호가 수신되면 가공시작신호에 따라 광원부(121)를 제어하여 목표물에 레이저를 조사한다. 이때, 가공시작신호는, 가공하고자 하는 목표물의 종류, 목표물의 두께, 비아홀 간격, 비아홀 직경 및 비아홀의 개수 등에 대한 가공조건을 포함할 수 있다. 광원부(121)에서 조사된 레이저는 목표물에 의해 반사되어 반사광이 생성된다. 생성된 반사광은 수광부(122)에서 수신되고 수광부(122)는 반사광을 기반으로 하는 수광데이터를 생성한다. 수광부(122)는 확인된 수광데이터를 제어부(170)로 제공한다. 이때, 수광부(122)는 전자장치(100)에 탈착이 가능한 형태로 형성될 수 있고, 멀티어레이의 형태로 형성되어 복수의 반사광을 수신할 수 있다.More specifically, when a processing start signal for processing a target with a laser is received from the input unit 140, the control unit 170 controls the light source unit 121 according to the processing start signal to irradiate the laser to the target. At this time, the processing start signal may include processing conditions for the type of target to be processed, the thickness of the target, via hole spacing, via hole diameter, and number of via holes. The laser irradiated from the light source unit 121 is reflected by the target to generate reflected light. The generated reflected light is received by the light receiving unit 122, and the light receiving unit 122 generates light receiving data based on the reflected light. The light receiving unit 122 provides the confirmed light receiving data to the control unit 170. At this time, the light receiving unit 122 may be formed in a form that is detachable from the electronic device 100, and may be formed in the form of a multi-array to receive a plurality of reflected lights.

제어부(170)는 수신된 수광데이터를 이용하여 반사광에 대한 반사량 패턴을 확인한다. 이때, 반사량 패턴은, 비아홀의 개수를 기반으로 각 비아홀마다 생성될 수 있으며, 제어부(170)는 하나의 비아홀에 대한 복수의 반사광에 대한 수광데이터를 결합하여 해당 비아홀에 대한 반사량 패턴을 확인할 수 있다. 아울러, 레이저가 목표물에 최초로 조사되었을 때 반사광은 가장 크고, 목표물에 비아홀 등의 가공이 완료될 때 반사광이 가장 작을 수 있다. 즉, 반사광의 크기는 레이저가 목표물에 조사되는 시간의 경과에 따라 점차 작아질 수 있다. 제어부(170)는 레이저가 목표물에 조사되는 시간의 경과에 따라 발생되는 반사광에 대한 반사량 패턴을 확인할 수 있다. The control unit 170 uses the received light data to check the reflection amount pattern for the reflected light. At this time, the reflection amount pattern can be generated for each via hole based on the number of via holes, and the control unit 170 can check the reflection amount pattern for the corresponding via hole by combining the received light data for a plurality of reflected lights for one via hole. . In addition, when the laser is first irradiated to the target, the reflected light may be largest, and when processing of via holes, etc. on the target is completed, the reflected light may be smallest. In other words, the size of the reflected light may gradually decrease over time as the laser is irradiated to the target. The control unit 170 can check the reflection amount pattern of the reflected light generated over time when the laser is irradiated to the target.

제어부(170)는 메모리(160)에 기저장된 학습데이터를 호출한다. 제어부(170)는 확인된 반사량 패턴과 호출된 학습데이터에 포함된 임계치를 비교한다. 제어부(170)는 학습데이터 중에서 가공시작신호에 포함된 가공조건과 동일한 가공조건에 매핑된 임계치를 확인하여 반사량 패턴과 비교한다. 제어부(170)는 임계치 이상인 반사량 패턴이 확인되면, 제어부(170)는 목표물 가공 시에 불량이 검출된 것으로 확인할 수 있다. 이때, 제어부(170)는 비아홀의 개수를 기반으로 각 비아홀마다 확인된 반사광 패턴을 임계치와 비교할 수 있다. 제어부(170)는 반사광 패턴이 임계치 이상인 적어도 하나의 비아홀이 확인되면, 해당 비아홀이 불량인 것으로 검출할 수 있고, 해당 비아홀의 위치를 확인할 수 있다. The control unit 170 calls learning data previously stored in the memory 160. The control unit 170 compares the confirmed reflection amount pattern with the threshold included in the called learning data. The control unit 170 checks the threshold value mapped to the same processing condition as the processing condition included in the processing start signal among the learning data and compares it with the reflection amount pattern. If a reflection pattern exceeding a threshold is confirmed, the control unit 170 can confirm that a defect has been detected during target processing. At this time, the control unit 170 may compare the reflected light pattern identified for each via hole with a threshold based on the number of via holes. If at least one via hole whose reflected light pattern is greater than the threshold is identified, the control unit 170 can detect that the corresponding via hole is defective and confirm the location of the corresponding via hole.

제어부(170)는 목표물 가공 시에 검출된 불량에 대한 검증을 수행한다. 이를 위해, 제어부(170)는 획득된 영상데이터와 메모리(160)에 기저장된 학습영상데이터를 비교하여 영상데이터가 학습영상데이터와 임계치 이상 상이하면 검출된 불량에 대한 검증을 완료할 수 있다. 보다 구체적으로, 제어부(170)는 영상데이터에서 불량이 검출된 것으로 확인된 홀의 위치에 대응되는 부분 영상데이터를 확인하고, 확인된 부분 영상데이터와 학습영상데이터를 비교할 수 있다. 제어부(170)는 부분 영상데이터와 학습영상데이터가 임계치 이상 상이하면, 해당 위치에 검출된 불량이 제대로 검출된 것임을 검증할 수 있다. The control unit 170 performs verification of defects detected during target processing. To this end, the control unit 170 may compare the acquired image data with the learning image data previously stored in the memory 160 and complete verification of the detected defect if the image data differs from the learning image data by more than a threshold value. More specifically, the control unit 170 may check partial image data corresponding to the location of a hole in which a defect has been detected in the image data, and compare the confirmed partial image data with the learning image data. If the partial image data and the training image data are different than a threshold value, the control unit 170 can verify that the defect detected at the corresponding location has been properly detected.

도 2는 본 발명의 실시 예에 따른 멀티어레이 센서를 이용한 레이저 가공 모니터링을 수행하는 방법을 설명하기 위한 순서도이다. Figure 2 is a flow chart to explain a method of performing laser processing monitoring using a multi-array sensor according to an embodiment of the present invention.

도 2를 참조하면, 201단계에서 제어부(170)는 입력부(140)로부터 목표물을 레이저로 가공하기 위한 가공시작신호가 수신되면 203단계를 수행하고, 가공시작신호가 수신되지 않으면 가공시작신호의 수신을 대기한다. 이때, 가공시작신호는, 가공하고자 하는 목표물의 종류, 목표물의 두께, 비아홀 간격, 비아홀 직경 및 비아홀의 개수 등에 대한 가공조건을 포함할 수 있다.Referring to FIG. 2, in step 201, the control unit 170 performs step 203 when a processing start signal for processing the target with a laser is received from the input unit 140. If the processing start signal is not received, the control unit 170 performs step 203. wait for At this time, the processing start signal may include processing conditions for the type of target to be processed, the thickness of the target, via hole spacing, via hole diameter, and number of via holes.

203단계에서 제어부(170)는 수신된 가공시작신호에 따라 광원부(121)를 제어하여 목표물에 레이저를 조사한다. 205단계에서 제어부(170)는 수광부(122)에서 생성되는 수광데이터를 수신하여 확인한다. 보다 구체적으로, 목표물에 조사되는 레이저가 목표물에 반사되어 반사광이 발생되고, 수광부(122)는 수신되는 반사광을 기반으로 하는 수광데이터를 생성하여 제어부(170)로 제공한다. 이때, 수광부(122)는 전자장치(100)에 탈착이 가능한 형태로 형성될 수 있고, 복수의 수광센서(122a 내지 122n)가 멀티어레이의 형태로 형성될 수 있다. 복수의 수광센서(122a 내지 122n)는 목표물에서 반사되는 복수의 반사광을 모두 수신할 수 있고, 수광부(122)는 복수의 수광센서(122a 내지 122n)에서 수신된 복수의 반사광을 각각의 수광데이터로 생성할 수 있다. In step 203, the control unit 170 controls the light source unit 121 according to the received processing start signal to irradiate the laser to the target. In step 205, the control unit 170 receives and confirms the light reception data generated by the light reception unit 122. More specifically, the laser irradiated to the target is reflected on the target to generate reflected light, and the light receiving unit 122 generates light receiving data based on the received reflected light and provides it to the control unit 170. At this time, the light receiving unit 122 may be formed in a form that is detachable from the electronic device 100, and a plurality of light receiving sensors 122a to 122n may be formed in the form of a multi-array. The plurality of light receiving sensors (122a to 122n) can receive all of the plurality of reflected lights reflected from the target, and the light receiving unit 122 converts the plurality of reflected lights received from the plurality of light receiving sensors (122a to 122n) into received light data. can be created.

207단계에서 제어부(170)는 레이저를 조사함에 따라 가공되는 목표물의 표면에 대한 영상데이터를 카메라부(130)로부터 수신한다. 이때, 카메라부(130)에서 획득되는 영상데이터는 가공시작신호가 수신된 시점부터 실시간으로 획득된 목표물 표면에 대한 동영상데이터일 수 있다. In step 207, the control unit 170 receives image data about the surface of the target being processed as the laser is irradiated from the camera unit 130. At this time, the image data acquired by the camera unit 130 may be video data about the target surface acquired in real time from the time the processing start signal is received.

209단계에서 제어부(170)는 수신된 수광데이터를 이용하여 반사광에 대한 반사량 패턴을 확인한다. 이때, 반사량 패턴은, 비아홀의 개수를 기반으로 각 비아홀마다 생성될 수 있으며, 제어부(170)는 하나의 비아홀에 대한 복수의 반사광에 대한 수광데이터를 결합하여 해당 비아홀에 대한 반사량 패턴을 확인할 수 있다. 레이저가 목표물에 최초로 조사되었을 때 반사광은 가장 크고, 목표물에 비아홀 등의 가공이 완료될 때 반사광이 가장 작을 수 있다. 즉, 반사광의 크기는 레이저가 목표물에 조사되는 시간의 경과에 따라 점차 작아질 수 있다. 제어부(170)는 레이저가 목표물에 조사되는 시간의 경과에 따라 각 비아홀마다 발생되는 반사광에 대한 반사량 패턴을 확인할 수 있다. In step 209, the control unit 170 checks the reflection amount pattern for the reflected light using the received light data. At this time, the reflection amount pattern can be generated for each via hole based on the number of via holes, and the control unit 170 can check the reflection amount pattern for the corresponding via hole by combining the received light data for a plurality of reflected lights for one via hole. . When the laser is first irradiated to the target, the reflected light may be the largest, and when processing of via holes, etc. on the target is completed, the reflected light may be smallest. In other words, the size of the reflected light may gradually decrease over time as the laser is irradiated to the target. The control unit 170 can check the reflection amount pattern of the reflected light generated for each via hole as the time elapses during which the laser is irradiated to the target.

211단계에서 제어부(170)는 메모리(160)에 기저장된 학습데이터를 호출한다. 이때, 제어부(170)는 201단계에서 수신된 가공시작신호에 포함된 가공하고자 하는 목표물의 종류, 목표물의 두께, 비아홀 간격, 비아홀 직경, 비아홀의 개수와 동일하거나 유사한 가공조건을 갖는 학습데이터를 호출할 수 있다. 213단계에서 제어부(170)는 209단계에서 확인된 반사량 패턴과 211단계에서 호출된 학습데이터에 포함된 임계치를 비교한다. In step 211, the control unit 170 calls the learning data previously stored in the memory 160. At this time, the control unit 170 calls learning data having processing conditions that are the same or similar to the type of target to be processed, target thickness, via hole spacing, via hole diameter, and number of via holes included in the processing start signal received in step 201. can do. In step 213, the control unit 170 compares the reflection amount pattern identified in step 209 with the threshold included in the learning data called in step 211.

213단계의 비교결과, 209단계에서 확인된 반사량 패턴이 211단계에서 호출된 임계치 이상이면 제어부(170)는 215단계를 수행하고, 반사량 패턴이 임계치 미만이면 해당 프로세스를 종료할 수 있다. 보다 구체적으로, 제어부(170)는 비아홀의 개수를 기반으로 각 비아홀마다 확인된 반사광 패턴을 호출된 임계치와 비교할 수 있다. 제어부(170)는 반사광 패턴이 임계치 이상인 적어도 하나의 비아홀을 불량인 것으로 검출할 수 있고, 해당 비아홀의 위치를 확인할 수 있다. As a result of the comparison in step 213, if the reflection amount pattern confirmed in step 209 is greater than or equal to the threshold called in step 211, the control unit 170 performs step 215, and if the reflection amount pattern is less than the threshold, the process can be terminated. More specifically, the control unit 170 may compare the reflected light pattern identified for each via hole with a called threshold based on the number of via holes. The control unit 170 can detect at least one via hole whose reflected light pattern is greater than a threshold value as defective and confirm the location of the corresponding via hole.

215단계에서 제어부(170)는 목표물 가공 시에 검출된 불량에 대한 검증을 수행한다. 이를 위해, 제어부(170)는 207단계에서 획득된 영상데이터와 메모리(160)에 기저장된 학습영상데이터를 비교하여 영상데이터가 학습영상데이터와 임계치 이상 상이하면 검출된 불량에 대한 검증을 완료할 수 있다. 보다 구체적으로, 제어부(170)는 영상데이터에서 불량이 검출된 것으로 확인된 홀의 위치에 대응되는 부분 영상데이터를 확인하고, 확인된 부분 영상데이터와 학습영상데이터를 비교할 수 있다. 제어부(170)는 부분 영상데이터와 학습영상데이터가 임계치 이상 상이하면, 해당 위치에 검출된 불량이 제대로 검출된 것임을 검증할 수 있다.In step 215, the control unit 170 performs verification of defects detected during target processing. To this end, the control unit 170 compares the image data acquired in step 207 with the learning image data previously stored in the memory 160, and if the image data differs from the learning image data by more than a threshold value, verification of the detected defect can be completed. there is. More specifically, the control unit 170 may check partial image data corresponding to the location of a hole in which a defect has been detected in the image data, and compare the confirmed partial image data with the learning image data. If the partial image data and the training image data are different than a threshold value, the control unit 170 can verify that the defect detected at the corresponding location has been properly detected.

도 3은 본 발명의 실시 예에 따른 가공된 비아홀에 대한 영상데이터를 나타낸 화면예시도이다. Figure 3 is an example screen showing image data for a via hole processed according to an embodiment of the present invention.

도 3을 참조하면, 도 3은 목표물의 표면에 대한 영상데이터 중 적어도 하나의 비아홀을 포함하는 부분 영상데이터를 나타낸다. 이때, 도면부호 301에 대응하는 영상데이터는 가공조건 특히, 도면부호 305, 307, 309, 311, 313과 같이 목표물을 가공할 즉, 목표물에 생성할 비아홀의 직경에 따라 목표물이 정상적으로 가공될 때의 영상데이터를 나타낼 수 있다. 도면부호 301에 대응하는 영상데이터는 학습영상데이터로 생성될 수 있다. Referring to FIG. 3, FIG. 3 shows partial image data including at least one via hole among image data for the surface of a target. At this time, the image data corresponding to reference numeral 301 is the processing conditions, especially when the target is processed normally, such as reference numerals 305, 307, 309, 311, and 313, that is, according to the diameter of the via hole to be created in the target. Can display video data. Image data corresponding to reference numeral 301 may be generated as learning image data.

아울러, 도면부호 303에 대응하는 영상데이터는 목표물이 비정상적으로 가공될 때 목표물의 표면에 대한 영상데이터를 나타낼 수 있다. 제어부(170)는 목표물 가공 시에 획득된 영상데이터를 도면부호 301을 기반으로 학습된 학습영상데이터와 비교하여 임계치 이상 상이할 경우, 목표물에 가공 시에 검출된 불량에 대한 검증을 완료할 수 있다. In addition, image data corresponding to reference numeral 303 may represent image data about the surface of the target when the target is abnormally processed. The control unit 170 compares the image data acquired during processing the target with the learning image data learned based on reference numeral 301, and if it differs by more than a threshold value, verification of defects detected during processing the target may be completed. .

도 4는 본 발명의 실시 예에 따른 불량 검출 시의 반사광 패턴 및 영상데이터를 나타낸 화면예시도이다. Figure 4 is an example screen showing a reflected light pattern and image data when detecting a defect according to an embodiment of the present invention.

도 4를 참조하면, 도면부호 410, 420, 430, 440은 두께 1.8T를 가진 목표물에 각각 직경 0.2, 0.3, 0.5인 홀을 생성하면서 학습된 학습패턴, 반사량 패턴 및 임계치(Predictive error)를 나타낸 그래프이다. 이때, 도면부호 411에 대응되는 빨간색 그래프는 반사량 패턴, 도면부호 413에 대응하는 파란색 그래프는 학습패턴을 나타내고, 도면부호 415에 대응하는 검은색 선은 임계치를 나타낼 수 있다. 아울러, 임계치는 도면부호 430 및 440과 같이 불량검출의 기준에 따라 학습패턴을 기반으로 높게 설정하거나, 낮게 설정할 수 있다. 아울러, 도면부호 417, 427, 437은 목표물의 표면에서 확인된 홀에 대한 불량 사진을 나타낼 수 있다. Referring to FIG. 4, reference numerals 410, 420, 430, and 440 indicate the learning pattern, reflection amount pattern, and threshold (predictive error) learned while creating holes with diameters of 0.2, 0.3, and 0.5, respectively, in a target with a thickness of 1.8T. It's a graph. At this time, the red graph corresponding to reference numeral 411 may represent a reflection amount pattern, the blue graph corresponding to reference numeral 413 may represent a learning pattern, and the black line corresponding to reference numeral 415 may represent a threshold value. In addition, the threshold can be set high or low based on the learning pattern according to the standard for defect detection, as shown in reference numerals 430 and 440. In addition, reference numerals 417, 427, and 437 may represent defective photos of holes identified on the surface of the target.

제어부(170)는 도 4에서와 같이 반사량 패턴이 임계치 이상이 되면, 해당 반사량 패턴에 대응되는 비아홀의 가공 시에 불량이 검출된 것으로 확인할 수 있다. 이 경우에, 제어부(170)가 불량이 검출된 시점에 획득된 목표물의 표면에 대한 영상데이터를 확인할 경우, 영상데이터가 도면부호 417, 427, 437와 같은 불량 사진임을 확인할 수 있다. 이와 같이, 제어부(170)는 비아홀 가공 시에 불량이 검출된 것을 반사량 패턴으로 확인하고, 해당 비아홀에 대한 영상데이터를 이용하여 불량 여부의 검증을 완료할 수 있다. As shown in FIG. 4, when the reflection amount pattern is greater than or equal to a threshold value, the control unit 170 may confirm that a defect has been detected during processing of a via hole corresponding to the reflection amount pattern. In this case, when the control unit 170 checks the image data for the surface of the target acquired at the time the defect is detected, it can be confirmed that the image data is a defective photo such as reference numerals 417, 427, and 437. In this way, the control unit 170 can confirm that a defect is detected during via hole processing using a reflection amount pattern, and complete verification of the defect using image data for the corresponding via hole.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in this specification and drawings are merely provided as specific examples to easily explain the technical content of the present invention and to facilitate understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modified forms derived based on the technical idea of the present invention in addition to the embodiments disclosed herein.

Claims (16)

목표물의 가공시작 신호에 따라 상기 목표물에 레이저를 조사하는 단계;
상기 목표물에 의해 상기 레이저가 반사되는 반사광을 수신하는 단계;
상기 레이저에 의해 가공 중인 상기 목표물의 표면에 대한 영상데이터를 획득하는 단계;
상기 반사광에 대한 반사량 패턴을 확인하는 단계; 및
상기 반사량 패턴을 기반으로 상기 레이저 조사에 의해 발생된 복수의 홀 중 적어도 하나의 홀에 대한 불량여부를 검출하는 단계;
를 포함하는 것을 특징으로 하는 레이저 가공 모니터링 방법. irradiating a laser to the target according to a processing start signal of the target;
Receiving reflected light reflected from the laser by the target;
Obtaining image data on the surface of the target being processed by the laser;
Confirming a reflection amount pattern for the reflected light; and
detecting whether at least one hole among the plurality of holes generated by the laser irradiation is defective based on the reflection amount pattern;
A laser processing monitoring method comprising: 제1항에 있어서,
상기 홀에 대한 불량여부를 검출하는 단계는,
기저장된 학습패턴을 기준으로 설정된 임계치와 상기 반사량 패턴을 비교하는 단계; 및
상기 반사량 패턴이 상기 임계치 이상이면 상기 적어도 하나의 홀에 불량이 발생한 것으로 확인하는 단계;
를 포함하는 것을 특징으로 하는 레이저 가공 모니터링 방법. According to paragraph 1,
The step of detecting whether the hole is defective is,
Comparing the reflection amount pattern with a threshold set based on a pre-stored learning pattern; and
confirming that a defect has occurred in the at least one hole if the reflection amount pattern is greater than or equal to the threshold value;
A laser processing monitoring method comprising: 제2항에 있어서,
상기 목표물의 종류 및 상기 목표물의 두께를 고려하여 상기 학습패턴을 생성하는 단계;
를 더 포함하는 것을 특징으로 하는 레이저 가공 모니터링 방법. According to paragraph 2,
Generating the learning pattern by considering the type of target and the thickness of the target;
A laser processing monitoring method further comprising: 제3항에 있어서,
상기 홀의 간격 및 상기 홀의 직경을 고려하여 상기 학습패턴을 생성하는 단계;
를 더 포함하는 것을 특징으로 하는 레이저 가공 모니터링 방법. According to paragraph 3,
generating the learning pattern by considering the spacing of the holes and the diameter of the holes;
A laser processing monitoring method further comprising: 제4항에 있어서,
상기 반사광을 수신하는 단계는,
탈착이 가능한 멀티어레이로 형성된 수광부를 이용하여 복수의 반사광을 수신하는 단계인 것을 특징으로 하는 레이저 가공 모니터링 방법. According to paragraph 4,
The step of receiving the reflected light is,
A laser processing monitoring method comprising the step of receiving a plurality of reflected lights using a light receiving unit formed as a detachable multi-array. 제5항에 있어서,
상기 반사량 패턴을 확인하는 단계는,
상기 복수의 반사광을 결합하여 상기 복수의 홀 각각에 대한 상기 반사량 패턴을 확인하는 단계인 것을 특징으로 하는 레이저 가공 모니터링 방법. According to clause 5,
The step of checking the reflection pattern is,
A laser processing monitoring method, characterized in that the step of combining the plurality of reflected lights to check the reflection amount pattern for each of the plurality of holes. 제6항에 있어서,
상기 학습패턴을 저장하는 단계는,
비지도 방식인 오토엔코더를 이용하여 생성된 상기 학습패턴을 저장하는 단계인 것을 특징으로 하는 레이저 가공 모니터링 방법.According to clause 6,
The step of saving the learning pattern is,
A laser processing monitoring method, characterized in that the step of storing the learning pattern generated using an unsupervised autoencoder. 제1항에 있어서,
상기 획득된 영상데이터와 기저장된 학습영상데이터를 비교하여 상기 불량여부가 검출된 적어도 하나의 홀에 대한 검증을 수행하는 단계;
를 더 포함하는 것을 특징으로 하는 레이저 가공 모니터링 방법. According to paragraph 1,
Comparing the acquired image data with previously stored training image data to verify at least one hole in which defects have been detected;
A laser processing monitoring method further comprising: 목표물에 레이저를 조사하는 광원부와 상기 레이저가 상기 목표물에 의해 반사되는 반사광을 수신하는 수광부를 포함하는 가공부;
상기 레이저에 의해 가공 중인 상기 목표물의 표면에 대한 영상데이터를 획득하는 카메라부; 및
상기 반사광에 대한 반사량 패턴을 확인하고, 상기 반사량 패턴을 기반으로 상기 레이저 조사에 의해 발생된 복수의 홀 중 적어도 하나의 홀에 대한 불량여부를 검출하는 제어부;
를 포함하는 것을 특징으로 하는 레이저 가공 모니터링 장치.A processing unit including a light source unit that irradiates a laser to a target and a light receiving unit that receives reflected light from the laser reflected by the target;
a camera unit that acquires image data about the surface of the target being processed by the laser; and
a control unit that checks a reflection amount pattern for the reflected light and detects whether at least one hole among a plurality of holes generated by the laser irradiation is defective based on the reflection amount pattern;
A laser processing monitoring device comprising a. 제9항에 있어서,
상기 제어부는,
기저장된 학습패턴을 기준으로 설정된 임계치와 상기 반사량 패턴을 비교하여 상기 반사량 패턴이 상기 임계치 이상이면 상기 적어도 하나의 홀에 불량이 발생한 것으로 확인하는 것을 특징으로 하는 레이저 가공 모니터링 장치. According to clause 9,
The control unit,
A laser processing monitoring device, characterized in that it compares the reflection pattern with a threshold set based on a pre-stored learning pattern and determines that a defect has occurred in the at least one hole if the reflection pattern is greater than or equal to the threshold. 제10항에 있어서,
메모리;
를 더 포함하고,
상기 제어부는,
상기 목표물의 종류 및 상기 목표물의 두께를 고려하여 생성한 상기 학습패턴을 상기 메모리에 저장하는 것을 특징으로 하는 레이저 가공 모니터링 장치. According to clause 10,
Memory;
It further includes,
The control unit,
A laser processing monitoring device, characterized in that the learning pattern generated in consideration of the type of the target and the thickness of the target is stored in the memory. 제11항에 있어서,
상기 제어부는,
상기 홀의 간격 및 상기 홀의 직경을 고려하여 생성한 상기 학습패턴을 상기 메모리에 저장하는 것을 특징으로 하는 레이저 가공 모니터링 장치. According to clause 11,
The control unit,
A laser processing monitoring device, characterized in that the learning pattern generated in consideration of the spacing of the holes and the diameter of the holes is stored in the memory. 제12항에 있어서,
상기 수광부는,
탈착이 가능한 멀티어레이로 형성되어 복수의 반사광을 수신하는 것을 특징으로 하는 레이저 가공 모니터링 장치. According to clause 12,
The light receiving unit,
A laser processing monitoring device formed of a detachable multi-array and receiving a plurality of reflected lights. 제13항에 있어서,
상기 제어부는,
상기 복수의 반사광을 결합하여 상기 복수의 홀 각각에 대한 상기 반사량 패턴을 확인하는 것을 특징으로 하는 레이저 가공 모니터링 장치.According to clause 13,
The control unit,
A laser processing monitoring device, characterized in that the reflection amount pattern for each of the plurality of holes is confirmed by combining the plurality of reflected lights. 제14항에 있어서,
상기 제어부는,
비지도 방식인 오토엔코더를 이용하여 상기 학습패턴을 생성하는 것을 특징으로 하는 레이저 가공 모니터링 장치. According to clause 14,
The control unit,
A laser processing monitoring device characterized in that it generates the learning pattern using an unsupervised autoencoder. 제9항에 있어서,
상기 제어부는,
상기 획득된 영상데이터와 기저장된 학습영상데이터를 비교하여 상기 불량여부가 검출된 적어도 하나의 홀에 대한 검증을 수행하는 것을 특징으로 하는 레이저 가공 모니터링 장치. According to clause 9,
The control unit,
A laser processing monitoring device, characterized in that it verifies at least one hole in which defects have been detected by comparing the acquired image data with previously stored training image data.
KR1020220114085A 2022-09-08 2022-09-08 Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor KR20240035661A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220114085A KR20240035661A (en) 2022-09-08 2022-09-08 Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220114085A KR20240035661A (en) 2022-09-08 2022-09-08 Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor

Publications (1)

Publication Number Publication Date
KR20240035661A true KR20240035661A (en) 2024-03-18

Family

ID=90474081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220114085A KR20240035661A (en) 2022-09-08 2022-09-08 Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor

Country Status (1)

Country Link
KR (1) KR20240035661A (en)

Similar Documents

Publication Publication Date Title
US10805552B2 (en) Visual inspection device and illumination condition setting method of visual inspection device
CN111788883B (en) Component mounting state inspection method, printed circuit board inspection apparatus, and computer-readable recording medium
US20210357693A1 (en) Substrate inspection apparatus and method of determining fault type of screen printer
CN107796825B (en) Device detection method
US10684321B2 (en) Printed circuit board inspecting apparatus, method for detecting anomaly in solder paste and computer readable recording medium
US11092432B2 (en) Reference plate and method for calibrating and/or checking a deflectometry sensor system
JP2013152153A (en) Film thickness irregularity detection device and method, and coating device with film thickness irregularity detection device and film thickness irregularity detection method of coating film formed on substrate
US20210018448A1 (en) Detection of 3d printing failure using imaging
JP2020012754A (en) Method and device for inspecting substrate
KR20240035661A (en) Method and Apparatus for Monitoring of Laser Processing Using Multi Array Sensor
TWI498543B (en) Automated optical inspection device of wafer and a method of inspecting the uniformity of wafer
KR20240035660A (en) Method and Apparatus for Monitoring of Laser Processing
KR102450824B1 (en) Inspection method for substrate warpage of board using a 3d learning model
CN116128829A (en) Special-shaped hole detection method and device, electronic equipment and storage medium
US20220019180A1 (en) Information processing device, determination method, molding defect inspection device, molding device, and method for manufacturing product
TWM573824U (en) An optical sensing device
KR20230027500A (en) Board inspection method using a learning model
KR101234577B1 (en) Atypical faulty inspecting apparatus and method for inspecting atypical faulty of resistive type touch screen module
Kumar et al. Automated quality inspection of PCB assembly using image processing
CN106980226B (en) Mask inspection device and method thereof
JP2021156644A (en) Connector inspection device, connector inspection method, and program
JP2009075044A (en) Film thickness defective inspection device for conductive polymer layer of organic el panel substrate, and method for inspecting film thickness defective using the same
WO2019023890A1 (en) Method for determining metal mask plate defect and manufacturing device
KR20190046225A (en) Method and apparatus for inspecting PCB pannel based on big data and artificial intelligence
WO2024106322A1 (en) Device for diagnosing inspection apparatus, method for diagnosing inspection apparatus, and program