KR20230030405A - 와이어 본딩의 불량 검출 장치 및 그 동작 방법 - Google Patents

와이어 본딩의 불량 검출 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230030405A
KR20230030405A KR1020210112586A KR20210112586A KR20230030405A KR 20230030405 A KR20230030405 A KR 20230030405A KR 1020210112586 A KR1020210112586 A KR 1020210112586A KR 20210112586 A KR20210112586 A KR 20210112586A KR 20230030405 A KR20230030405 A KR 20230030405A
Authority
KR
South Korea
Prior art keywords
ultrasonic
bonding
wire bonding
data
neural network
Prior art date
Application number
KR1020210112586A
Other languages
English (en)
Inventor
최지훈
Original Assignee
주식회사 엘지에너지솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지에너지솔루션 filed Critical 주식회사 엘지에너지솔루션
Priority to KR1020210112586A priority Critical patent/KR20230030405A/ko
Priority to EP22861699.1A priority patent/EP4299236A1/en
Priority to PCT/KR2022/012614 priority patent/WO2023027490A1/ko
Priority to US18/281,718 priority patent/US20240159713A1/en
Priority to CN202280021280.7A priority patent/CN116981538A/zh
Publication of KR20230030405A publication Critical patent/KR20230030405A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00—Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/74—Apparatus for manufacturing arrangements for connecting or disconnecting semiconductor or solid-state bodies
    • H01L24/78—Apparatus for connecting with wire connectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K20/00—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating
    • B23K20/10—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating making use of vibrations, e.g. ultrasonic welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M50/00—Constructional details or processes of manufacture of the non-active parts of electrochemical cells other than fuel cells, e.g. hybrid cells
    • H01M50/50—Current conducting connections for cells or batteries
    • H01M50/502—Interconnectors for connecting terminals of adjacent batteries; Interconnectors for connecting cells outside a battery casing
    • H01M50/514—Methods for interconnecting adjacent batteries or cells
    • H01M50/516—Methods for interconnecting adjacent batteries or cells by welding, soldering or brazing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K2101/00—Articles made by soldering, welding or cutting
    • B23K2101/36—Electric or electronic devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Chemical & Material Sciences (AREA)
  • Electrochemistry (AREA)
  • Acoustics & Sound (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Computer Hardware Design (AREA)
  • Manufacturing & Machinery (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 배터리 셀과 버스바를 연결하기 위한 와이어 본딩 과정에서 발생하는 불량을 딥러닝 알고리즘의 일종인 합성곱신경망의 기계학습 기능을 이용하여 검출하는 장치 및 방법에 관한 발명이다.

Description

와이어 본딩의 불량 검출 장치 및 그 동작 방법 {Fault detection device of wire bonding process and method thereof}
본 발명은 와이어 본딩(Wire bonding) 과정에서 발생하는 다양한 불량을 검출하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 초음파 와이어 본딩 과정에서 생성되는 본딩 파라미터들을 샘플링하여 딥러닝 기반의 학습 알고리즘의 일종인 합성곱신경망(CNN, Convolution Neural Network)의 기계 학습을 통해 와이어 본딩 과정에서의 불량을 검출하는 장치 및 그 방법에 관한 것이다.
현재 와이어 본딩(Wire bonding)을 적용한 원통형 팩(pack) 제작 시에 와이어 본딩의 검사 방법은 모든 와이어를 물리적으로 당기거나 튕겨서 확인하는 수동의 육안 검사나 영상 처리를 이용한 자동화 검사 방법이 있다.
이러한 검사 방법들은 팩의 크기가 커질수록 비효율적이며 물리적인 손상이나 카메라의 위치, 해상도 및 조명 등의 주변환경 변화에 의해 신뢰성을 담보하기 어려운 문제점을 내포하고 있다.
또한, 본딩 과정에서 추가적인 전기 검사나 기구 검사 등의 별도 장비를 활용할 경우에 와이어 불량, 솔더 불량 및 와이어의 높이, 인접 와이어 간의 거리 등에 유용한 장점이 있지만 검사 과정에서 또 다른 물리적 전기적 손상이 우려되고 별도의 비용과 시간이 추가로 요구되는 문제점이 있다.
따라서, 와이어 본딩 시에 품질에 영향을 줄 수 있는 가능한 모든 본딩 파라미터를 수집하고 이를 실시간으로 분석하여 신뢰성 높은 비파괴 검사를 시행할 수 있다면 물리적 손상없이 공정상의 오류와 정확한 품질 검사가 가능할 수 있다.
한국공개특허 제2019-0081614호는 초음파를 이용한 용접부의 용접 품질을 검사하는 시스템에 관한 것으로 초음파를 조사하여 되돌아오는 에코 초음파를 입력으로 기계학습하는 기술을 개시하고 있으나, 본 발명에서 적용되는 본딩 단계에서의 파라미터를 입력으로 이용하지 않고, 단순히 기계 학습을 위해 신경망을 단순히 채용한 것에 불과하다.
일본공개특허 제2019-185580호는 공장의 생산 설비에서 발생하는 이상 검출 방법으로 합성곱신경망을 이용한 발명을 개시하고 있으나, 실질적인 구현 방법이나 적용대상이 상이하다.
한국공개특허 제2019-0081614호 일본공개특허 제2019-185580호
본 발명은 상기와 같은 문제를 해결하기 위한 것으로서, 와이어 본딩에 영향을 줄 수 있는 직접적인 파라미터를 샘플링하고 기계 학습을 이용한 비파괴 검사로 불량을 검출하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명의 와이어 본딩의 불량 검출 장치는, 복수의 초음파 본딩 파라미터들을 시간별로 연속적으로 수집하여 샘플링하는 입력데이터 수집부와 상기 수집된 데이터를 웨이블렛(Wavelet)기법을 적용하여 2차원 배열의 이미지로 변환하는 데이터 생성부, 상기 데이터 생성부에 의해 생성된 학습데이터를 기계 학습하는 합성곱신경망(CNN) 및 상기 학습된 합성곱신경망을 이용하여 상기 초음파 용접에 의한 불량을 판단하는 불량 판정부를 포함할 수 있다.
실시예의 또 다른 측면에 따르면, 본 발명의 와이어 본딩의 불량 검출 방법은 복수의 초음파 본딩 파라미터들을 시간별로 연속적으로 수집하여 샘플링하는 입력 데이터 수집하는 수집된 데이터를 웨이블렛(Wavelet) 변환을 통해 2차원 배열의 이미지로 변환하는 데이터 생성하고, 생성된 데이터를 합성곱신경망에 의해 학습한 후, 합성곱신경망을 이용하여 상기 초음파 용접에 의한 불량을 판단하는 불량 판정을 포함할 수 있다.
이상에서 설명한 바와 같이, 와이어 본딩의 품질에 영향을 줄 수 있는 본당 파라미터를 추출하고 이를 기계 학습을 통해 불량 가능성을 계산하므로 비파괴 검사로 인한 효율성과 배터리 팩의 품질을 높일 수 있는 효과가 있다.
도 1은 배터리 셀과 버스바를 와이어 본딩을 통해 연결되는 기본 구조도이다.
도 2는 본 발명의 일 실시예에 따른 와이어 본딩의 불량을 검출하는 장치의 구성도를 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 와이어 본딩 과정에서 검출할 수 있는 파라미터 값과 파이토치 API를 이용한 CWT 연산을 도시한 도면이다
도 4는 본 발명의 일 실시예에 따른 CWT 연산 결과에 따라 50x39 배열의 이미지 데이터를 표시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 합성곱신경망의 기본 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 파이토치 API를 이용한 합성곱신경망의 실시예를 도시한 도면이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다.
다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 수단을 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다.
또한, 어떤 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 본 발명을 보다 자세히 설명한다.
도 1은 배터리 셀의 전극(11)과 버스바(13)를 와이어 본딩을 통해 연결되는 기본 구조도로, 배터리 셀의 전극(11)과 버스바(13) 간에 알루미늄 와이어(14)를 초음파(Ultrasonic)용접 방식으로 연결되는 구성이다.
이 과정에서 와이어를 연결하는 용접 부위인 본딩 스팟(15, Bonding spot) 에서 대부분의 품질 불량이 발생하게 된다.
일반적으로, 와이어 본딩은 서로 위치적으로 떨어져 있는 2개의 패드를 금속선으로 접합시키는 기술로서, 열로 데워 압착하는 열 압착 방식과 열을 사용하지 않고 초음파를 인가하여 접착하는 초음파 용접 방식을 주로 사용한다.
열 압착 방식은 본딩 패드의 온도를 미리 약　200℃　정도로 올리고,　캐피러리의 팁(Tip,　끝단)에도 온도를 높여 와이어를 볼(Ball)　형태로 만들어 캐피러리를 통해 본딩 패드에 압력을 가하며 와이어를 붙이는 방식이다.
또한, 초음파 용접 방식은 패드에 와이어를 찍어 내리면서 웨지(Wedge,　캐피러리와 유사한 와이어 이동기구로 볼을 형성하지 않음)에 초음파를 가해 패드에 와이어를 붙이는 방식으로, 공정 측면과 재질 면에서 원가가 저렴하다는 장점이 있지만 열과 압력 대신 초음파를 이용하므로,　다루기는 쉽지만 접착된 인장강도(와이어 연결 후 와이어를 당겼을 때 견디는 힘)가 약하다는 단점이 있습니다.
특히, 초음파 방식을 채택하므로 인해 발생하는 문제점은 바로 제품의 불량으로 이어지기 때문에 실시간으로 정확한 불량을 찾아내는 것이 제품의 신뢰성을 확보하기 위해 무엇보다도 요구된다.
또한, 와이어 소재(예로, 금, 알루미늄, 구리 등)에 따라 초음파 주사에 필요한 파라미터 값이 달라질 수 있고 불량의 조건을 매번 달리 설정하여야 하는 번거로움이 발생할 수 있다.
본 발명에서는 배터리 셀의 전극과 버스바(Busbar)간에 알루미늄(AI) 와이어를 전기적으로 연결하기 위해 초음파 용접을 진행하는 과정에서 용접 부위인 본딩 스팟에 인가되는 전기적 신호와 주파수 특성 정보를 통해 용접 불량을 판단하는 것을 특징으로 한다.
도 2는 와이어 본딩의 불량을 검출하는 장치의 구성도를 개략적으로 도시하고 나타낸 것으로, 불량검출장치(20)는 초음파 와이어 본딩기(21) 등의 수단으로부터 품질 측정값을 입력받는 본딩파라미터 수집부(201), 기계학습을 위한 데이터 생성부(202), 딥러닝 기반의 학습을 수행하는 합성곱신경망(203)부 및 학습된 결과를 바탕으로 불량 여부를 판단하는 불량 판정부(204)를 포함하는 것을 특징으로 한다.
상기의 본딩 파라미터 수집부(201)는 초음파 발생기 전류 및 전압, 와이어 변형의 측정값을 측정 시간에 따라 순차적으로 입력받는 기능을 담당한다.
상기의 데이터 생성부(202)는 파라미터 수집부(201)로부터 입력되는 데이터를 샘플링하고 이미지 판별에 유용한 합성곱신경망(203)에 활용하기 위해 시간/주파수의 변환함수를 이용한다.
상기의 합성곱신경망(203)부는 2차원 배열의 데이터를 입력으로 학습하는 딥러닝 알고리즘을 구성하는 모듈이다.
상기의 불량 검출부(204)는 학습된 합성곱신경망(203)에 시험데이터를 인가한 후 최종 결과를 분석하여 불량 여부를 판정하는 기능을 수행하며, 불량인지 여부를 판정하는 '예/아니오'의 결과 또는 불량의 유형 혹은 형태를 지정하는 그룹으로 분류할 수 있고 이에 제한하지 않는다.
또한, 와이어 본딩 과정에서 영향을 줄 수 있는 파라미터는 초음파 발생기 전류, 초음파 발생기 전압, 와이어의 변형(deformation, 알루미늄 와이어가 녹으면서 변화되는 높이를 측정한 값), 초음파 주파수, 세팅(Setting) 전압, 초음파 위상차 등이 있다.
본 발명에서는 이중에서 초음파 발생기 전류, 초음파 발생기 전압, 와이어의 변형의 3가지를 품질 측정을 위한 본딩 파라미터로 확정하고, 필요에 따라 위상 정보, 초음파 주파수, 공진 주파수, 압력 등의 신호 정보를 이용할 수 있고, 이에 제한하지 않는다.
상기 초음파 본딩 파라미터는 10ms 내지 1000ms의 시간동안 수집될 수 있다. 바람직하게는 50ms 내지 500ms동안 수집될 수 있으며, 더욱 바람직하게는 100ms 내지 150ms동안 수집될 수 있으며, 상기 범위를 벗어나면 유효한 파라미터를 확보할 수 없다.
상기 초음파 본딩 파라미터의 수집 시간 간격은 0.1ms 내지 100ms일 수 있다. 바람직하게는 0.5ms 내지 50ms 일 수 있으며, 더욱 바람직하게는 1ms 내지 5ms일 수 있으며, 상기 범위를 벗어나면 유효한 파라미터를 확보할 수 없다.
본 발명의 일 실시예로, 상기의 초음파 본딩 파라미터인 입력 데이터들은 130ms 동안 1ms 간격으로 130개의 값을 순차적으로 수집하며, 이중에서 바람직하게는 50개의 데이터를 샘플링할 수 있으며, 그 이상은 성능적 측면에서 월등히 뛰어나지 않고 오히려 학습시간이 기하급수적으로 증가하는 문제점이 있다.
상기 샘플링 방법으로 임의로 선택하거나, 초기 50ms 동안의 데이터만을 추출하여 정렬시킨 후 최소-최대(MinMax) 스케일링인 다음과 같은 (식 1)을 통해 0 ~ 1 사이의 값(
Figure pat00001
으로 변환한다.
Figure pat00002
(식 1)
상기의 변환된 값(
Figure pat00003
)은 시간 도메인에서 재구성하기 위해 연속 웨이블렛 변환(CWT, Continuous Wavelet Transform)을 수행한다.
본 발명에서 CWT는 멕시칸-햇(Mexican Hat)이란 파형변환함수를 이용하여 원 신호와 중첩시키고, 웨이블렛의 매개변수 중 하나인 스케일 값은 2 내지 14까지 변화시키면서 13개의 2차원 이미지를 생성하며, 필요에 따라 스케일 값 13개로 제한하지 않고, 다양하게 변경할 수 있고, 또한, 파형변환함수로 멕시칸-햇 파형 함수 이외에도 Bump, Morlet 또는 Paul 함수를 사용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 파라미터 수집부(201)로부터 입력된 본딩 파라미터(300)를 예시한 것이고, 파이토치 API를 이용하여 실질적으로 상기에 기재된 CWT 연산을 수행하는 실시예를 간략히 도시하였다.
도 4는 본 발명의 일 실시예에 따른 CWT 연산 결과를 50x39개의 2차원 배열의 이미지 데이터(400)를 표시한 것이고, 이 2차원 배열의 이미지 데이터(400)는 기계 학습을 위한 기본 학습데이터로 합성곱신경망에 인가된다.
본 발명에서 이러한 CWT를 통한 분석은 고장 진단에 주로 사용되는 분석 기법으로, 퓨리에(Fourier) 변환에서 볼 수 없는 신호의 불연속점을 찾는데 장점이 있고, 극히 짧은 시간 동안 큰 진폭으로 나오는 임펄스 신호 분석에 유리하다.
본 발명에서 채택하는 신경망 기반의 학습 알고리즘은 입력층, 은닉층 및 출력층의 다층구조의 신경망을 갖는 딥러닝 모델을 채택하고 있고, 이중에서 주로 이미지 데이터의 공간적 형상 정보를 다룰 때 사용되는 합성곱신경망을 사용하였다.
일반적인 CNN의 기본 모델은 이미지에 필터를 이용하여 다양한 합성곱을 연산하여 지역 특징(local feature)를 추출하는 합성곱 층(Convolution layer)과 공간정보를 유지하면서 데이터 크기를 줄이는 다운 샘플링 기능을 담당하는 풀링 층(Pooling layer 혹은 subsampling layer) 및 최종적인 분류를 위한 전연결(fully-connected) 다층신경망을 포함하는 것을 특징으로 한다.
본 발명에서의 합성곱신경망은 일반 다층신경망보다 학습 파라미터의 크기를 최소화할 수 있고, 이로 인해 전연결 다층신경망의 규모를 축소할 수 있어 빠른 시간 내에 학습이 가능한 구조로 설계하였고, 또한, 초음파 용접으로부터 직접적인 수치값 보다 특징을 더 잘 추출할 수 있는 장점이 있다.
도 5는 본 발명에서 실시하는 합성곱신경망의 구조를 도시한 도면이다.
도 5에서 보듯이, 합성곱신경망은 크게 합성곱 계층, 갭(GAP) 계층 및 전연결 계층(Affine 계층이라고도 함)으로 구성되고, 각 합성곱 계층은 다시 4개의 계층으로 설계할 수 있다.
상기의 합성곱 계층은 4개의 층으로 구성하고 각 계층 별 필터의 개수를 32,64,128,256 개로 달리 적용하였다.
상기의 합성곱 계층은 2차원 배열의 3x3 크기의 필터를 이용하고, 필터가 이동할 간격인 스트라이드(stride)는 1로 세팅하고, 또한, 출력의 크기를 조정하기 위한 패딩(Padding)값도 1로 세팅하여 입력 이미지와 크기를 동일하게 출력한다.
또한, 다음 (식 2)과 같은 활성화 함수인 Leaky ReLU(Rectified Linear Unit)를 통해 각 셀 값을 변경한다.
Figure pat00004
(식 2)
상기의 활성화 함수에 의해 변경된 이미지는 풀링 연산을 통해 이미지의 크기를 절반으로 축소시킨다.
본 발명에서는 상기의 풀링 연산으로, 2x2 필터의 크기로 설정된 영역에서 가장 큰 값을 대표값으로 추출하는 최대 풀링(Max Pooling) 기법을 이용한다.
또한, 계층별로 필터의 크기를 2x2 뿐만 아니라 3x3으로 달리 적용할 수도 있다.
상기의 합성곱 계층 중 제1 계층은 39x50 배열의 학습 데이터(이미지)를 입력 받는 첫 단계의 계층으로, 32개의 필터를 이용하여 32개층의 합성곱 이미지를 생성한 후, 활성화 함수 및 풀링 연산을 수행하면 최종적으로 32개층의 20x25 배열의 이미지가 완성된다,
이러한 과정을 반복하면, 제2 계층에서는 10x13 크기의 64개층, 제3 계층에서는 5x7 크기의 128개층, 마지막인 제4 계층에서는 3x4 크기의 이미지를 256층으로 구성할 수 있다.
상기 제4 계층에서 생성된 이미지를 바로 전연결 계층으로 연결하지 않고, 별도의 갭(GAP, Global Average Polling) 계층을 두어 3x4x256개의 이미지(특징 정보)를 256개 크기로 축소하여 연산 횟수를 줄임과 동시에 필터에 들어 있는 특징 정보의 손실없이 처리할 수 있다.
상기의 갭은 각 층의 값을 모두 더하여 평균을 취할 수도 있고, 단순히 합으로 처리할 수도 있어 이에 제한하지 않는다.
갭의 결과(
Figure pat00005
)는 아래 (식 3)으로 구성되고, k개의 1차원 배열로 구성되어 전연결 계층에 전달되며, 여기서, k는 256이다.
Figure pat00006
(식 3)
도 6은 파이토치(Pytorch)의 API를 사용하여 합성곱신경망 알고리즘을 구현한 실시예를 나타낸 것으로, conv2d, LeakyReLU 및 MaxPool2d API를 통한 합성곱 연산을 지정된 계층 수만큼 반복적으로 수행하고, 합성곱 연산 결과를 AvgPool2d 및 전연결 계층에서의 연산을 위한 Linear API를 수행하고, 각 API 내의 파라미터 값들은 한정된 것이 아니고 이 기술 분야의 통상의 기술자의 기술 수준에서 필요에 따라 다양하게 변경 가능하다.
상기의 Conv2d API는 입력 데이터에 가중치 파라미터 값을 갖는 원도우 형태의 필터를 일정한 간격으로 이동하며 곱한 후 총합을 구하는 연산을 할 수 있다.
상기의 LeakyReLU API는 활성화 함수를 설정하는 함수로 negative_slope 값을 0.01로 설정하여 음의 입력값을 0으로 비활성시키지 않고 작은 기울기로 일정값을 유지하게 하여 효과적인 학습이 가능하도록 할 수 있다.
상기 Maxpool2d API는 지정 영역 중 가장 큰 값을 대표값으로 추출하는 함수로, 필터의 크기를 2x2로 구성하여 이미지 사이즈를 절반으로 줄여 전연결 계층에서의 연산 횟수를 줄이는 효과를 달성하고, 스트라이드(stride)는 2로 세팅하고, 패딩은 1로 세팅하고 ceil_mode를 FALSE로 하여 정수 개로 구성할 수 있다.
상기 AvgPool2d API는 도 5에서 제4 계층의 합성곱 연산 결과인 256 개 층의 3x4 이미지를 1차원의 256 개 데이터로 변경하기 위한 수단으로 활용된다
상기 Linear API는 전연결 층에서의 가중치 계산을 통한 학습을 수행하는 기능으로 256개의 입력값과 4개의 분류 결과값을 파라미터로 설정할 수 있다.
이상으로 본 발명 내용의 특정한 부분을 상세히 기술하였는 바, 당업계의 통상의 지식을 가진 자에게, 이러한 구체적 기술은 단지 바람직한 실시 양태일 뿐이며, 이에 의해 본 발명의 범위가 제한되는 것은 아니며, 본 발명의 범주 및 기술 사상 범위 내에서 다양한 변경 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속하는 것도 당연하다.
11: 배터리 셀의 양의 전극
12: 배터리 셀의 음의 전극
13: 버스바
14: 와이어
15: 본딩스팟
20: 불량 검출 장치
21: 초음파 와이어 본딩기
201: 본딩파라미터 수집부
202: 데이터 생성부
203: 합성곱신경망부
204: 불량 판정부
300: 본딩 파라미터
400: 2차원 배열의 학습 이미지 데이터

Claims (12)

  1. 초음파 본딩을 통해 와이어로 연결된 배터리 셀과 버스바 간에 발생하는 본딩 불량을 검출하는 장치에 있어서,
    복수의 초음파 본딩 파라미터들을 시간 별로 연속적으로 수집하여 샘플링하는 입력데이터 수집부;
    상기 수집된 데이터를 웨이블렛(Wavelet) 변환을 적용하여 2차원 배열의 이미지로 변환하는 데이터 생성부;
    상기 데이터 생성부에 의해 생성된 학습데이터를 기계 학습하는 합성곱신경망부;
    상기 학습된 합성곱신경망을 이용하여 상기 본딩에 의한 불량을 판단하는 불량 판정부를 포함하는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 장치.
  2. 제1항에 있어서,
    상기의 초음파 본딩 파라미터는 초음파 발생기 전류, 초음파 발생기 전압 및 와이어 변형의 측정값을 포함하는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 장치.
  3. 제1항에 있어서,
    상기의 웨이블렛 변환은 입력 데이터를 최소-최대(MinMax) 스케일링을 통해 0 내지 1 범위의 값으로 치환하고 맥시칸 햇 파형변환함수를 이용하여 2 이상의 스케일 값을 통해 2차원 배열의 학습데이터를 생성하는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 장치.
  4. 제1항에 있어서,
    상기의 합성곱신경망은 4개층의 합성곱 층, GAP 층 및 전연결 층으로 구성되는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 장치.
  5. 제1항에 있어서,
    상기 초음파 본딩 파라미터는 10ms 내지 1000ms의 시간동안 수집되는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 장치.
  6. 제1항에 있어서,
    상기 초음파 본딩 파라미터의 시간 간격은 0.1ms 내지 100ms 동안 수집되는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 장치.
  7. 초음파 본딩을 통해 와이어로 연결된 배터리 셀과 버스바 간에 발생하는 본딩 불량을 검출하는 방법에 있어서,
    (a) 복수의 초음파 본딩 파라미터들을 시간 별로 연속적으로 수집하여 샘플링하는 입력 데이터 수집하는 단계;
    (b) 상기 수집된 데이터를 웨이블렛(Wavelet) 변환을 통해 2차원 배열의 이미지로 변환된 학습데이터를 생성하는 단계;
    (c) 상기 생성된 학습데이터를 합성곱신경망에 의해 학습하는 단계;
    (d) 상기 합성곱신경망을 이용하여 상기 초음파 본딩에 의한 불량을 판단하는 불량 판정하는 단계를 포함하는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 방법.
  8. 제7항에 있어서,
    상기 단계 (b)의 웨이블렛 변환은 상기 입력 데이터를 최소-최대(MinMax) 스케일링을 통해 0 내지 1 범위의 값으로 치환하고 멕시칸-햇 파형 함수를 이용하여 2 이상의 스케일 값을 갖는 웨이블렛 변환인 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 방법.
  9. 제7항에 있어서,
    상기 단계 (c)는 상기 단계 (b)에서 생성된 2차원 배열의 이미지를 2x2 혹은 3x3 필터를 이용하여 합성곱 연산을 수행한 후, 활성화 함수 및 풀링를 통한 연산을 수행하여 256개의 1차원 데이터를 생성하는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 방법.
  10. 제7항 또는 제8항에 있어서,
    상기의 초음파 본딩 파라미터는 초음파 발생기 전류, 초음파 발생기 전압 및 와이어 변형의 측정값을 포함하는 것을 특징으로 하는 초음파 와이어 본딩에 의한 불량을 검출하는 방법
  11. 제1항 내지 제6항의 어느 한 항의 장치를 적용하여 배터리 셀 및 버스바 용접 불량을 비파괴 방식으로 검출한 배터리팩.
  12. 제11항에 있어서, 상기 배터리팩을 포함하는 디바이스.
KR1020210112586A 2021-08-25 2021-08-25 와이어 본딩의 불량 검출 장치 및 그 동작 방법 KR20230030405A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210112586A KR20230030405A (ko) 2021-08-25 2021-08-25 와이어 본딩의 불량 검출 장치 및 그 동작 방법
EP22861699.1A EP4299236A1 (en) 2021-08-25 2022-08-24 Device for detecting defect in wire bonding and operation method thereof
PCT/KR2022/012614 WO2023027490A1 (ko) 2021-08-25 2022-08-24 와이어 본딩의 불량 검출 장치 및 그 동작 방법
US18/281,718 US20240159713A1 (en) 2021-08-25 2022-08-24 Wire bonding defect detection apparatus and operation method thereof
CN202280021280.7A CN116981538A (zh) 2021-08-25 2022-08-24 导线接合缺陷检测装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210112586A KR20230030405A (ko) 2021-08-25 2021-08-25 와이어 본딩의 불량 검출 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230030405A true KR20230030405A (ko) 2023-03-06

Family

ID=85321900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210112586A KR20230030405A (ko) 2021-08-25 2021-08-25 와이어 본딩의 불량 검출 장치 및 그 동작 방법

Country Status (5)

Country Link
US (1) US20240159713A1 (ko)
EP (1) EP4299236A1 (ko)
KR (1) KR20230030405A (ko)
CN (1) CN116981538A (ko)
WO (1) WO2023027490A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190081614A (ko) 2017-12-29 2019-07-09 주식회사 신영 초음파를 이용한 용접부의 용접품질 검사 시스템
JP2019185580A (ja) 2018-04-16 2019-10-24 アズビル株式会社 異常検出装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033416B1 (ko) * 2009-11-30 2011-05-11 재단법인대구경북과학기술원 맥박 진단 로봇 시스템 및 그를 이용한 맥박 진단 방법
KR20110108950A (ko) * 2010-03-30 2011-10-06 울산대학교 산학협력단 신경회로망과 특징점을 이용한 고장진단장치 및 그의 고장진단방법
KR102209401B1 (ko) * 2018-12-17 2021-02-01 주식회사 포스코 컨볼루션 신경망을 이용한 기어박스의 결함상태 판별 장치 및 방법
CN112235583B (zh) * 2019-07-15 2021-12-24 华为技术有限公司 基于小波变换的图像编解码方法及装置
JP2021018849A (ja) * 2019-07-17 2021-02-15 オムロン株式会社 予測装置、データ生成装置、予測装置の制御方法、データ生成装置の制御方法、情報処理プログラム、および記録媒体
KR20210112586A (ko) 2020-03-05 2021-09-15 두산인프라코어 주식회사 건설 기계 및 건설 기계의 단말기 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190081614A (ko) 2017-12-29 2019-07-09 주식회사 신영 초음파를 이용한 용접부의 용접품질 검사 시스템
JP2019185580A (ja) 2018-04-16 2019-10-24 アズビル株式会社 異常検出装置および方法

Also Published As

Publication number Publication date
US20240159713A1 (en) 2024-05-16
WO2023027490A1 (ko) 2023-03-02
CN116981538A (zh) 2023-10-31
EP4299236A1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
CN1743839A (zh) 一种结构缺陷超声在线智能识别系统及识别方法
CN102928435A (zh) 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
KR102230886B1 (ko) 이미지인식 기반의 프로젝션용접 결함 검출시스템
KR102007494B1 (ko) 초음파를 이용한 용접부의 용접품질 검사 시스템
CN107796877A (zh) 利用超声相控阵检测耐张线夹压接质量的无损检测方法
CN111044621A (zh) 一种基于声音品质及声学特征的无损检测系统及方法
CN112946081B (zh) 基于缺陷多特征智能提取与融合的超声成像方法
JP2012018066A (ja) 異常検査装置
CN113256566A (zh) 一种管道焊缝缺陷识别方法
CN110261483A (zh) 焊缝缺陷检测方法、装置、检测设备及可读存储介质
CN116012285A (zh) 一种基于激光超声的bga焊点缺陷检测系统及检测方法
CN109884180B (zh) 一种导电结构缺陷稀疏电涡流快速成像检测方法及系统
CN2809640Y (zh) 一种结构缺陷超声在线智能识别系统
KR20230030405A (ko) 와이어 본딩의 불량 검출 장치 및 그 동작 방법
Kim et al. Multi-branch deep fusion network-based automatic detection of weld defects using non-destructive ultrasonic test
He et al. Ultrasonic evaluation of wire-to-terminal joints: integrating XGBoost machine learning with finite element feature analysis
Sudharsan et al. Multi modal data fusion of PAUT with thermography assisted by Automatic Defect Recognition System (M-ADR) for NDE Applications
JP2024000516A (ja) 超音波探傷検査システムおよび超音波探傷検査方法
KR102385849B1 (ko) 다채널 이동형 비파괴 초음파 탐상 검사 장치
KR20220170653A (ko) 초음파 가시화와 위상분해 분석을 적용한 부분방전 진단 방법 및 장치
KR102009572B1 (ko) 스팟 용접 품질 판정 장치 및 방법
CN113155954A (zh) 一种用于导体结构缺陷检测的脉冲涡流检测系统及方法
CN117036284A (zh) 一种超声波焊接质量检测方法
Medak et al. Detection of defective bolts from rotational ultrasonic scans using convolutional neural networks
CN115310486B (zh) 焊接质量智能检测方法