KR102756552B1 - 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법 - Google Patents

딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법 Download PDF

Info

Publication number
KR102756552B1
KR102756552B1 KR1020220117846A KR20220117846A KR102756552B1 KR 102756552 B1 KR102756552 B1 KR 102756552B1 KR 1020220117846 A KR1020220117846 A KR 1020220117846A KR 20220117846 A KR20220117846 A KR 20220117846A KR 102756552 B1 KR102756552 B1 KR 102756552B1
Authority
KR
South Korea
Prior art keywords
model
mlcc
multilayer ceramic
ceramic capacitor
margin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220117846A
Other languages
English (en)
Other versions
KR20240039368A (ko
Inventor
오흥선
손성빈
김현재
정준욱
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020220117846A priority Critical patent/KR102756552B1/ko
Publication of KR20240039368A publication Critical patent/KR20240039368A/ko
Application granted granted Critical
Publication of KR102756552B1 publication Critical patent/KR102756552B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318307—Generation of test inputs, e.g. test vectors, patterns or sequences computer-aided, e.g. automatic test program generator [ATPG], program translations, test program debugging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/3181—Functional testing
    • G01R31/3183—Generation of test inputs, e.g. test vectors, patterns or sequences
    • G01R31/318342—Generation of test inputs, e.g. test vectors, patterns or sequences by preliminary fault modelling, e.g. analysis, simulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01G—CAPACITORS; CAPACITORS, RECTIFIERS, DETECTORS, SWITCHING DEVICES, LIGHT-SENSITIVE OR TEMPERATURE-SENSITIVE DEVICES OF THE ELECTROLYTIC TYPE
    • H01G4/00—Fixed capacitors; Processes of their manufacture
    • H01G4/30—Stacked capacitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법에 관한 것으로, 적층세라믹콘덴서(MLCC) 데이터셋을 구축하는 데이터셋구축부; 상기 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출하는 핵심영역검출부; 상기 검출된 핵심영역에 대한 핵심영역 세그멘테이션 모델을 생성하는 모델생성부; 상기 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하는 마진검출부; 및 상기 산출된 마진율을 이용하여 양불판정을 수행하는 양불판정부;를 포함함으로써, 딥러닝모델을 이용하여 적층세라믹콘덴서(MLCC) 제품의 양불판정을 효과적으로 수행할 수 있어 생산수율을 향상시킬 수 있다.

Description

딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법{DEEP LEARNING BASED LAMINATION ALIGNMENT INSPECTION APPARATUS}
본 발명은 적층세라믹콘덴서(MLCC) 데이터셋을 구축하고, 핵심영역 세그멘테이션 모델을 생성한 후에, 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하고, 산출된 마진율을 이용하여 양불판정을 수행하되, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출하고, UperNet모델을 이용하여 핵심영역 세그멘테이션을 수행함으로써, 딥러닝모델을 이용하여 적층세라믹콘덴서(MLCC) 제품의 양불판정을 효과적으로 수행할 수 있어 생산수율을 향상시킬 수 있는 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법에 관한 것이다.
잘 알려진 바와 같이, 적층세라믹콘덴서(MLCC : Multilayer Ceramic Capacitor)는 가전제품, 스마트폰, 전기자동차 등 전기가 통하는 모든 제품에 사용되는 부품으로 회로에 전류가 일정하게 흐르도록 제어하는 역할을 담당한다.
적층세라믹콘덴서(MLCC)를 제품화하기 위해 배치부터 포장까지 18가지 공정으로 구성될 수 있는데, 원재료 배치, 성형, 인쇄, 적층, 검사, 압착, 측정, 외관검사, 포장 등을 순차적으로 수행함으로써, 적층세라믹콘덴서(MLCC)를 제조할 수 있으며, 이 중에서 검사 공정은 적층세라믹콘덴서(MLCC) 적층이 온전하게 스택되었는지에 대한 여부를 판단하는 단계이다.
일반적으로 검사는 적층세라믹콘덴서(MLCC) 적층을 촬영한 이미지를 비전 기술을 이용해서 기울어짐 없이 올바르게 스택되어 있는지를 판단하는데, 이때 마진율을 계산해서 유전체가 일정 이상 기울어졌을 시 불량으로 판정한다.
전체 공정 중 검사는 초기 단계로 분류되는 적층 공정 이후 진행되기 때문에, 이 때 불량 유무를 검출하지 못한다면 마지막 측정 단계 이후가 되어서야 외관검사를 통해 불량 유무를 감지해야만 하기 때문에 많은 시간과 비용이 소요된다. 그렇기에 검사는 불필요한 비용과 노력을 최소화할 수 있는 결정하는 중요한 공정이다.
그러나, 종래의 검사공정은 검사자가 수작업으로 이미지로부터 마진율(margin rate)을 측정하기 때문에, 검사자들의 주관에 따른 편차가 존재하는 문제점이 있고, 적층세라믹콘덴서(MLCC) 적층 시 발생하는 들뜸현상과 촬영 시 발생하는 노이즈들은 검사자들이 유전체로 오인할 수 있어 판정오류로 이어져 생산수율에 악영향을 미칠 수 있다.
1. 한국등록특허 제10-0529404호(2005.11.10.등록)
본 발명은 적층세라믹콘덴서(MLCC) 데이터셋을 구축하고, 핵심영역 세그멘테이션 모델을 생성한 후에, 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하고, 산출된 마진율을 이용하여 양불판정을 수행하되, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출하고, UperNet모델을 이용하여 핵심영역 세그멘테이션을 수행함으로써, 딥러닝모델을 이용하여 적층세라믹콘덴서(MLCC) 제품의 양불판정을 효과적으로 수행할 수 있어 생산수율을 향상시킬 수 있는 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법을 제공하고자 한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 적층세라믹콘덴서(MLCC) 데이터셋을 구축하는 데이터셋구축부; 상기 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출하는 핵심영역검출부; 상기 검출된 핵심영역에 대한 핵심영역 세그멘테이션 모델을 생성하는 모델생성부; 상기 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하는 마진검출부; 및 상기 산출된 마진율을 이용하여 양불판정을 수행하는 양불판정부;를 포함하는 딥러닝 기반의 적층 얼라인먼트 검사 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 핵심영역검출부는, Mask R-CNN모델을 이용하여 상기 적층세라믹콘덴서(MLCC) 데이터셋에서 상기 핵심영역을 검출하는 딥러닝 기반의 적층 얼라인먼트 검사 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 모델생성부는, UperNet모델을 이용하여 검출된 상기 핵심영역에 대한 핵심영역 세그멘테이션을 수행하는 딥러닝 기반의 적층 얼라인먼트 검사 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 마진검출부는, 상기 핵심영역 세그멘테이션 모델에서 전극과 유전체 사이의 픽셀거리를 이용하여 상기 마진율을 산출하는 딥러닝 기반의 적층 얼라인먼트 검사 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 양불판정부는, 상기 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 미만일 경우 불량품으로 판정하는 딥러닝 기반의 적층 얼라인먼트 검사 장치가 제공될 수 있다.
본 발명의 다른 측면에 따르면, 적층세라믹콘덴서(MLCC) 데이터셋을 구축하는 단계; 상기 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출하는 단계; 상기 검출된 핵심영역에 대한 핵심영역 세그멘테이션 모델을 생성하는 단계; 상기 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하는 단계; 및 상기 산출된 마진율을 이용하여 양불판정을 수행하는 단계;를 포함하는 딥러닝 기반의 적층 얼라인먼트 검사 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 핵심영역을 검출하는 단계는, Mask R-CNN모델을 이용하여 상기 적층세라믹콘덴서(MLCC) 데이터셋에서 상기 핵심영역을 검출하는 딥러닝 기반의 적층 얼라인먼트 검사 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 핵심영역 세그멘테이션 모델을 생성하는 단계는, UperNet모델을 이용하여 검출된 상기 핵심영역에 대한 핵심영역 세그멘테이션을 수행하는 딥러닝 기반의 적층 얼라인먼트 검사 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 마진율을 산출하는 단계는, 상기 핵심영역 세그멘테이션 모델에서 전극과 유전체 사이의 픽셀거리를 이용하여 상기 마진율을 산출하는 딥러닝 기반의 적층 얼라인먼트 검사 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 양불판정을 수행하는 단계는, 상기 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 미만일 경우 불량품으로 판정하는 딥러닝 기반의 적층 얼라인먼트 검사 방법이 제공될 수 있다.
본 발명은 적층세라믹콘덴서(MLCC) 데이터셋을 구축하고, 핵심영역 세그멘테이션모델을 생성한 후에, 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하고, 산출된 마진율을 이용하여 양불판정을 수행하되, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출하고, UperNet모델을 이용하여 핵심영역 세그멘테이션을 수행함으로써, 딥러닝모델을 이용하여 적층세라믹콘덴서(MLCC) 제품의 양불판정을 효과적으로 수행할 수 있어 생산수율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치를 나타낸 블록구성도이고,
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치를 개념적으로 나타낸 도면이며,
도 3 내지 도 5는 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치를 설명하기 위한 도면이고,
도 6은 본 발명의 다른 실시예에 따라 딥러닝 기반으로 적층 얼라인먼트 검사를 수행하는 과정을 나타낸 플로우차트이며,
도 7 내지 도 9는 본 발명의 실시예에 대한 실험 및 그 분석 결과를 설명하기 위한 도면이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치를 나타낸 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치를 개념적으로 나타낸 도면이며, 도 3 내지 도 5는 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치를 설명하기 위한 도면이다.
도 1 내지 도 5를 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반의 적층 얼라인먼트 검사 장치는 데이터셋구축부(110), 모델생성부(120), 마진검출부(130), 양불판정부(140) 등을 포함할 수 있다.
데이터셋구축부(110)는 적층세라믹콘덴서(MLCC) 데이터셋을 구축하는 것으로, 적층세라믹콘덴서(MLCC)를 촬영한 이미지를 수집하여 후술하는 핵심영역 세그멘테이션 모델을 생성하기 위한 데이터셋을 구축할 수 있다.
예를 들면, 적층세라믹콘덴서(MLCC)의 이미지는 수동촬영환경과 자동촬영환경에서 촬영될 수 있는데, 수동촬영환경에서는 작업자가 그린바를 직접 검사스테이지에 올려 놓은 상태에서 수작업으로 촬영한 것으로, 거리와 조도에 따른 편차가 발생하기 때문에 균일한 이미지 확보가 어려운 문제점이 있다.
또한, 자동촬영환경에서는 이미지 노이즈를 최소화시키기 위해 검사용 시편을 통해 그린바를 기 설정된 위치에 안착시키고, 시편과 카메라를 기 설정된 거리 및 기 설정된 각도로 유지하며, 추가로 암막커버와 조명컨트롤러를 통해 외란요소를 차단할 수 있다.
도 3에 도시한 바와 같은 촬영환경과 양불유형에 따른 적층세라믹콘덴서(MLCC) 이미지에서 수동촬영환경에서는 전체적으로 노이즈가 있는 불균형한 이미지를 나타내지만, 자동촬영환경에서는 노이즈가 거의 없는 균일한 이미지를 나타내고 있음을 확인할 수 있다.
여기에서, 각 샘플은 정상(normal), 하지밀림(shifted) 및 틀어짐(misaligned) 중에서 선택된 하나의 레이블을 가질 수 있는데, 정상(normal) 이미지는 유전체의 기울어짐을 측정하는 마진검출알고리즘을 통해 마진율이 기 설정된 임계값보다 높은 이미지를 나타내고, 틀어짐(misaligned) 이미지와 하지밀림(shifted) 이미지는 마진율이 기 설정된 임계값보다 낮은 이미지를 나타낼 수 있다.
또한, 핵심영역 세그멘테이션 모델을 학습하기 위해서 도 4에 도시한 바와 같이 적층세라믹콘덴서(MLCC) 이미지를 유형과 상관없이 유전체와 전극부(배경) 클래스로 구분하여 어노테이션(annotation) 작업을 수행할 수 있는데, 붉은 원에 표시된 것과 같이 그린바와 시트 사이가 단순히 붙어 있지 않고, 들뜸으로써 발생하는 유전체 내 검은 부분은 오류가 아니기 때문에 무시하고 어노테이션 작업을 수행할 수 있다.
상술한 바와 같은 촬영환경에서 패턴 단위의 Ni 전극이 인쇄된 유전체시트(sheet) 수백 개가 적층된 적층세라믹콘덴서(MLCC) 그린바(green bar)의 각 면에서 양끝 코너의 2 포인트씩 총 8 포인트를 촬영하여 이미지를 수집할 수 있다.
핵심영역검출부(120)는 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출하는 것으로, 구축된 적층세라믹콘덴서(MLCC) 데이터셋의 이미지에서 객체검출딥러닝모델을 적용하여 핵심영역을 박스형태로 검출하되, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출할 수 있다.
예를 들면, 객체검출은 이미지 내에 존재하는 객체들이 어떤 카테고리인지에 대한 분류(classification)와 객체들의 위치가 어디에 있는지를 검출하는 지역화(localization)를 동시에 수행하는 기술을 의미하는데, 객체검출은 크게 객체의 지역화와 분류를 모델 내에서 동시에 수행하는 1단계방식과, 선택적 검색(selective search)과 같은 알고리즘 혹은 네트워크를 통해 핵심영역인 RoI(Region of Interest)를 추출한 후 이를 이용해 분류와 지역화를 수행하는 2단계방식으로 나누어질 수 있다.
여기에서, 2단계방식의 객체검출모델인 R-CNN은 선택적 검색방식을 통해 물체가 있을만한 후보영역을 추출한 후 CNN(Convolutional Neural Network)을 이용하여 분류와 지역화를 수행하는 모델이지만, 선택적 검색을 이용하여 얻은 모든 후보군이 CNN에 통과하기 때문에 속도가 매우 느리다는 단점이 있다.
그리고, Fast R-CNN은 R-CNN의 속도문제를 개선한 모델로, 선택적 검색을 통해 얻은 후보군을 원본이미지에서 추출하지는 않고 특징맵 내부에서 추출함으로써, 연산속도를 개선한 모델로서, 선택적 검색알고리즘이 아닌, RPN(Region Proposal Network)을 이용하여 후보군을 추출함으로써, 더욱 빠르고 정확하게 객체를 검출하여 우수한 성능을 달성하였다.
또한, Mask R-CNN은 Faster R-CNN에 세그멘테이션 마스크를 예측하는 브랜치를 추가하였고, RoI 얼라인(Align)을 통해 공간적인 정보를 보존함으로써, 객체검출과 세그멘테이션 테스크에서 모두 좋은 성능을 달성하였다.
하지만, 상술한 바와 같은 2단계방식은 RPN의 연산으로 인한 느린 속도의 어려움이 여전히 존재하였고, 이를 해결하기 위해 1단계방식의 객체검출모델이 제안되었다.
이러한 1단계방식의 객체검출모델인 YOLO는 객체검출의 모든 과정을 하나의 합성곱 신경망으로 구성하는 모델로서, 기존 2단계방식보다 월등히 빠른 속도를 달성하였지만, 모델 특성상 한 그리드(grid)내에서 한가지의 객체만 탐지할 수 있기 때문에, 사물의 겹침(occlusion) 발생 시 탐지가 불가능한 문제점이 있고, 탐지 시 신경망의 마지막 특징맵만 사용하기 때문에, 작은 객체에 대한 정확도가 하락하는 문제점이 존재한다.
그리고, SSD는 YOLO의 문제점을 해결하기 위해 제안된 모델로서, 사전에 디폴트박스(default box)를 정의함으로써, 다양한 크기를 물체를 탐지할 수 있으며, 중간단계의 특징맵을 함께 사용하여 속도와 성능면에서 향상되었다.
최근에는 자연어 처리분야에서 높은 성능을 거둔 트랜스포머를 이미지에 적용시킨 모델인 ViT가 등장하면서 DETR, DINO 등과 같이 트랜스포머를 객체검출에 적용하는 연구와 트랜스포머 기반의 사전학습모델인 Focal- Transformer, Swin-Transformer 등의 연구가 활발히 이루어지고 있다.
본 발명의 일 실시예에서는 핵심영역검출부(120)에서 핵심영역 검출모델로 Mask R-CNN을 사용하였는데, Mask R-CNN은 멀티태스크 손실함수를 이용하여 객체검출과 세그멘테이션을 동시에 학습하는 모델이며, 구축된 데이터는 핵심영역 박스정보뿐만 아니라 세그멘테이션 어노테이션이 포함되어 있기 때문에, Mask R-CNN 모델로 동시에 학습시켜 높은 객체검출능력을 달성할 수 있다.
예를 들면, 도 2의 a는 핵심영역 검출 모델을 나타내는데, 백본(Backbone)과 넥(Neck:FPN)은 각각 ResNet-50과 FPN(Feature Pyramid Network)을 사용할 수 있고, 헤드(Head:RPN)는 RoI 얼라인(Align)이 적용된 RPN을 사용할 수 있으며, 최종적으로 출력된 바운딩박스와 세그멘테이션맵에서 바운딩박스 만을 이용할 수 있고, 핵심영역이미지를 크롭하여 핵심영역 세그멘테이션 모델로 전달할 수 있다.
여기에서, 백본은 ResNeXt-101에서 ResNet-50으로 변경하여 경량화할 수 있으며, 단일모델과 동일한 성능을 유지할 수 있다.
상술한 바와 같은 핵심영역검출부(120)는 핵심영역 검출모델에서 검출된 핵심영역에서 가장자리에 위치하는 잘린 유전체를 제거하는 가장자리 유전체 제거를 수행할 수 있는데, 핵심영역 검출모델에서 핵심영역으로 검출되는 잘린 유전체는 양불판정 진행 시 잘린영역으로 인해 오분류를 야기시킬 수 있으며, 이를 방지하기 위해 각 이미지에서 검출된 핵심영역 중에서 왼쪽과 오른쪽 가장자리에 존재하는 핵심영역의 瑥좌표가 기 설정된 픽셀거리 이하인 경우 가장자리에서 잘린 유전체로 판단하고, 해당 핵심영역을 제외할 수 있으며, 기 설정된 픽셀거리값은 2로 설정될 수 있다.
모델생성부(130)는 핵심영역 세그멘테이션 모델을 생성하는 것으로, 검출된 핵심영역을 세그멘테이션딥러닝모델에 통과시켜 세그멘테이션마스크를 추출하되, UperNet모델을 이용하여 검출된 핵심영역에 대한 핵심영역 세그멘테이션을 수행할 수 있다.
예를 들면, 시멘틱 세그멘테이션은 객체의 구분 없이 이미지의 각 픽셀을 사전에 정의된 클래스로 분류하여 이미지를 여러 개의 세그먼트(segment)로 분할하는 기술로서, 대표적으로 FCN(Fully Convolutional Network)은 CNN만을 이용하여 시멘틱 세그멘테이션을 수행하는 모델로 기존 CNN 기반 분류모델의 FC층(fully-connected layer)을 디컨볼루션층(deconvolution layer)으로 대체하여 원본이미지와 동일한 해상도의 세그멘테이션맵을 출력하는 인코더디코더구조를 제공하였다.
그리고, U-Net은 FCN을 개선한 모델로서, 스킵아키텍쳐와 데이터증강을 적용하여 의학이미지 세그멘테이션에서 큰 성공을 거두었고, 이후 Fully-connected CRF(Conditional Random Field)를 추가한 DeepLab, 순환신경망 메커니즘을 추가한 ReSeg 등 다양한 연구가 이어졌다.
최근에는, 트랜스포머를 이용한 모델들이 우수한 성능을 달성하며, 해당 아키텍쳐를 이용한 연구가 활발하게 이루어지고 있는데, SETR, SegFormer, Segmenter 등은 트랜스포머를 사용한 대표적인 시멘틱 세그멘테이션 모델로 셀프어텐션을 통해 글로벌한 문맥을 잘 포착하여 여러 벤치마크에서 높은 성능을 달성하였다.
본 발명의 일 실시예에서는 모델생성부(130)에서 핵심영역 세그멘테이션을 위한 모델로 UperNet를 사용하였는데, UperNet은 FPN에 기반한 모델이며, 효과적인 전역정보를 얻기 위해 PSPNet의 PPM(Pyramid Pooling Module)을 백본 네트워크의 마지막 레이어에 연결하여 사용할 수 있다.
예를 들면, 도 2의 b는 UperNet모델의 진행과정을 나타내는데, 핵심영역 검출모델로부터 전달받은 핵심영역의 크기를 모델의 입력사이즈에 맞게 조정한 후(Pre-processing : Rescale & Horizontal flip), 백본모델(Backbone)인 Swin-Transformer에 전달하고, 이 후 FPN을 통해 레이어별 정보를 하나의 특징맵으로 통합하며(Neck:FPN, Fuse), 마지막으로 통합된 특징맵을 헤드(Head:Uper-head)에 전달하여 최종적으로 각 핵심영역에 대한 세그멘테이션 마스크를 획득할 수 있다. 이때 헤드는 UperNet의 오브젝트헤드(object head)를 사용할 수 있으며, 이 후 세그멘테이션 마스크는 핵심영역 세그멘테이션 모델로 하여 마진검출부(140)로 전달될 수 있다.
상술한 바와 같은 모델생성부(130)는 생성된 핵심영역 세그멘테이션 모델에 대해 상하부 픽셀 제외 및 후처리 정제를 수행할 수 있는데, 세그멘테이션 모델이 예측한 세그멘테이션 마스크에서 상하부 픽셀 제외 기법을 이용하여 상하부 경계의 픽셀 일부를 잘라냄으로써, 데이터자체의 노이즈와 어노테이션 한계로 세그멘테이션결과의 상하부 경계픽셀이 가라앉거나 뜨는 현상이 존재하여 양불판정에 오류를 야기시키는 것을 방지할 수 있다.
또한, 모델생성부(130)는 후처리 정제 기법을 이용하여 인접 행간 유전체의 픽셀차이가 설정된 특정 임계값 이상일 경우 모델의 예측오류로 간주하여 인접 행의 픽셀을 덧씌우는 과정을 수행함으로써, 데이터 특성상 실마진 계산에 필요한 행이 상하부에 위치할 확률이 높기 때문에 실마진 변경으로 인한 최종정확도 하락을 방지할 수 있다.
마진검출부(140)는 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하는 것으로, 핵심영역 세그멘테이션 모델에서 전극과 유전체 사이의 픽셀거리를 이용하여 마진율을 산출할 수 있다.
예를 들면, 마진검출부(140)는 핵심영역 세그멘테이션 모델에서 출력된 세그멘테이션 마스크를 각각 마진검출모듈을 통과시켜 모든 행의 마진율을 계산할 수 있는데, 이러한 마진율은 전극부와 유전체 사이의 거리로 계산될 수 있고, 아래의 수학식 1을 이용하여 산출될 수 있다.
여기에서, 실마진(瑟)은 전극부 양쪽의 최소거리를 의미하고, 마진폭은 동일한 행간의 전극부 사이의 거리(瑚)로 계산할 수 있다. 예를 들면, 도 5는 실마진과 마진폭을 이용해 마진율을 측정하는 것을 예시한 도면이다.
양불판정부(150)는 산출된 마진율을 이용하여 양불판정을 수행하는 것으로, 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 미만일 경우 불량품으로 판정할 수 있다.
예를 들면, 양불판정의 기준으로 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 이외에는 불량으로 판정할 수 있는데, 만약 이미지내에 존재하는 다수의 유전체들 중 하나라도 마진율의 임계값을 만족시키지 못할 경우 해당 이미지는 불량으로 판정할 수 있으며, 실제공정에서 측정하는 마진율을 고려하여 마진율의 임계값으로 0.75-0.85로 설정할 수 있다.
따라서, 본 발명의 일 실시예에 따르면, 적층세라믹콘덴서(MLCC) 데이터셋을 구축하고, 핵심영역 세그멘테이션 모델을 생성한 후에, 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하고, 산출된 마진율을 이용하여 양불판정을 수행하되, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출하고, UperNet모델을 이용하여 핵심영역 세그멘테이션을 수행함으로써, 딥러닝모델을 이용하여 적층세라믹콘덴서(MLCC) 제품의 양불판정을 효과적으로 수행할 수 있어 생산수율을 향상시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따라 딥러닝 기반으로 적층 얼라인먼트 검사를 수행하는 과정을 나타낸 플로우차트이다.
도 6을 참조하면, 데이터셋구축부(110)에서는 적층세라믹콘덴서(MLCC) 데이터셋을 구축할 수 있다(단계610).
예를 들면, 수동촬영환경 및 자동촬영환경 중 적어도 하나의 촬영환경에서 패턴 단위의 Ni 전극이 인쇄된 유전체시트(sheet) 수백 개가 적층된 적층세라믹콘덴서(MLCC) 그린바(green bar)의 각 면에서 양끝 코너의 2 포인트씩 총 8 포인트를 촬영하여 이미지를 수집하는 방식으로 적층세라믹콘덴서(MLCC) 데이터셋을 구축할 수 있다
그리고, 핵심영역검출부(120)에서는 데이터셋구축부(110)를 통해 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출할 수 있다(단계620).
상기 단계(620)에서는, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출할 수 있는데, Mask R-CNN은 멀티태스크 손실함수를 이용하여 객체검출과 세그멘테이션을 동시에 학습하는 모델이며, 구축된 데이터는 핵심영역 박스정보뿐만 아니라 세그멘테이션 어노테이션이 포함되어 있기 때문에, Mask R-CNN 모델로 동시에 학습시켜 높은 객체검출능력을 달성할 수 있다.
예를 들면, 백본(Backbone)과 넥(Neck:FPN)은 각각 ResNet-50과 FPN(Feature Pyramid Network)을 사용할 수 있고, 헤드(Head:RPN)는 RoI 얼라인(Align)이 적용된 RPN을 사용할 수 있으며, 최종적으로 출력된 바운딩박스와 세그멘테이션맵에서 바운딩박스 만을 이용할 수 있고, 핵심영역이미지를 크롭하여 핵심영역 세그멘테이션 모델로 전달할 수 있다.
여기에서, 백본은 ResNeXt-101에서 ResNet-50으로 변경하여 경량화할 수 있으며, 단일모델과 동일한 성능을 유지할 수 있다.
상기 단계(620)에서는, 핵심영역 검출모델에서 검출된 핵심영역에서 가장자리에 위치하는 잘린 유전체를 제거하는 가장자리 유전체 제거를 수행할 수 있는데, 핵심영역 검출모델에서 핵심영역으로 검출되는 잘린 유전체는 양불판정 진행 시 잘린영역으로 인해 오분류를 야기시킬 수 있으며, 이를 방지하기 위해 각 이미지에서 검출된 핵심영역 중에서 왼쪽과 오른쪽 가장자리에 존재하는 핵심영역의 瑥좌표가 기 설정된 픽셀거리 이하인 경우 가장자리에서 잘린 유전체로 판단하고, 해당 핵심영역을 제외할 수 있으며, 기 설정된 픽셀거리값은 2로 설정될 수 있다.
다음에, 모델생성부(130)에서는 핵심영역검출부(120)를 통해 검출된 핵심영역에 대한 핵심영역 세그멘테이션 모델을 생성할 수 있다(단계630).
상기 단계(630)에서는, UperNet모델을 이용하여 상기 검출된 핵심영역에 대한 핵심영역 세그멘테이션을 수행할 수 있는데, UperNet은 FPN에 기반한 모델이며, 효과적인 전역정보를 얻기 위해 PSPNet의 PPM(Pyramid Pooling Module)을 백본 네트워크의 마지막 레이어에 연결하여 사용할 수 있다.
예를 들면, 도 2의 b는 UperNet모델의 진행과정을 나타내는데, 핵심영역 검출모델로부터 전달받은 핵심영역의 크기를 모델의 입력사이즈에 맞게 조정한 후(Pre-processing : Rescale & Horizontal flip), 백본모델(Backbone)인 Swin-Transformer에 전달하고, 이 후 FPN을 통해 레이어별 정보를 하나의 특징맵으로 통합하며(Neck:FPN, Fuse), 마지막으로 통합된 특징맵을 헤드(Head:Uper-head)에 전달하여 최종적으로 각 핵심영역에 대한 세그멘테이션 마스크를 획득할 수 있다. 이때 헤드는 UperNet의 오브젝트헤드(object head)를 사용할 수 있으며, 이 후 세그멘테이션 마스크는 핵심영역 세그멘테이션 모델로 하여 마진검출부(140)로 전달될 수 있다.
상기 단계(630)에서는, 생성된 핵심영역 세그멘테이션 모델에 대해 상하부 픽셀 제외 및 후처리 정제를 수행할 수 있는데, 세그멘테이션 모델이 예측한 세그멘테이션 마스크에서 상하부 픽셀 제외 기법을 이용하여 상하부 경계의 픽셀 일부를 잘라냄으로써, 데이터자체의 노이즈와 어노테이션 한계로 세그멘테이션결과의 상하부 경계픽셀이 가라앉거나 뜨는 현상이 존재하여 양불판정에 오류를 야기시키는 것을 방지할 수 있다.
또한, 후처리 정제 기법을 이용하여 인접 행간 유전체의 픽셀차이가 설정된 특정 임계값 이상일 경우 모델의 예측오류로 간주하여 인접 행의 픽셀을 덧씌우는 과정을 수행함으로써, 데이터 특성상 실마진 계산에 필요한 행이 상하부에 위치할 확률이 높기 때문에 실마진 변경으로 인한 최종정확도 하락을 방지할 수 있다.
그리고, 마진검출부(140)에서는 모델생성부(130)를 통해 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출할 수 있다(단계640).
상기 단계(640)에서는, 핵심영역 세그멘테이션 모델에서 전극과 유전체 사이의 픽셀거리를 이용하여 마진율을 산출할 수 있는데, 핵심영역 세그멘테이션 모델에서 출력된 세그멘테이션 마스크를 각각 마진검출모듈을 통과시켜 모든 행의 마진율을 계산할 수 있으며, 상기 수학식 1을 이용하여 산출될 수 있다.
상기 수학식 1에서는, 전극부 양쪽의 최소거리를 의미하는 실마진(瑟)과, 동일한 행간의 전극부 사이의 거리(瑚)로 계산되는 마진폭을 이용하여 마진율을 계산할 수 있다.
이어서, 양불판정부(150)에서는 마진검출부(140)를 통해 산출된 마진율을 이용하여 양불판정을 수행할 수 있다(단계650).
상기 단계(650)에서는, 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 미만일 경우 불량품으로 판정할 수 있는데, 이미지내에 존재하는 다수의 유전체들 중 하나라도 마진율의 임계값을 만족시키지 못할 경우 해당 이미지는 불량으로 판정할 수 있으며, 실제공정에서 측정하는 마진율을 고려하여 마진율의 임계값으로 0.70-0.80로 설정할 수 있다.
따라서, 본 발명의 다른 실시예에 따르면, 적층세라믹콘덴서(MLCC) 데이터셋을 구축하고, 핵심영역 세그멘테이션 모델을 생성한 후에, 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하고, 산출된 마진율을 이용하여 양불판정을 수행하되, Mask R-CNN모델을 이용하여 적층세라믹콘덴서(MLCC) 데이터셋에서 핵심영역을 검출하고, UperNet모델을 이용하여 핵심영역 세그멘테이션을 수행함으로써, 딥러닝모델을 이용하여 적층세라믹콘덴서(MLCC) 제품의 양불판정을 효과적으로 수행할 수 있어 생산수율을 향상시킬 수 있다.
한편, 도 7 내지 도 9는 본 발명의 실시예에 대한 실험 및 그 분석 결과를 설명하기 위한 도면으로, 이들 도면들을 참조하여 상술한 바와 같은 본 발명의 실시예들에서 제안한 장치 및 방법을 이용하여 실험한 결과에 대해 설명한다.
먼저, 본 발명의 실시예에 대한 실험환경에 대해 설명하면, 단일모델에서 최종 정확도에서 가장 높은 성능을 달성한 자동환경 데이터만을 사용하여 학습 및 평가데이터로 사용하였다. 여기에서, 사용한 데이터는 총 1,000장으로 단일모델과 동일하게 900장을 학습데이터로, 100장을 평가데이터로 사용하였으며, 학습 및 평가데이터의 해상도 크기는 2448×2048이다.
그리고, 핵심영역 검출과 세그멘테이션 모델은 Pytorch로 구현하고, MMDetection과 MMSegmentation 라이브러리를 사용하였으며, 학습에는 Nvidia RTX A6000 4대를 사용하였다. 아래의 표 1과 표 2는 핵심영역 검출 및 세그멘테이션에 사용된 하이퍼파라미터를 나타낸다.
그리고, 평가는 핵심영역 검출, 핵심영역 세그멘테이션 검출, 양불판정에 대해서 개별적으로 진행하였고, 각각에 대한 평가는 AP(Average Precision), mIoU(mean Intersection of Union) 및 정확도(accuracy)를 사용하였는데, AP는 정답과 예측한 핵심영역 박스의 IoU가 특정 임계값 이상에서 정답으로 간주할 때 프리시전(precision)과 리콜(recall) 커브곡선의 아래 면적으로 계산될 수 있으며, 본 발명의 실험에서는 임계값을 0.5부터 0.95까지 0.05 단위로 계산한 후, 평균값을 도출하는 mAP(mean Average Precision)을 사용하였고, 아래의 수학식 2는 핵심영역 검출성능 평가방법인 AP를 나타내며, ??(??)와 Δ瑟(??)은 ??번째 구간에 대한프리시전과 리콜의 변화율을 나타낸다.
또한, mIoU는 모델이 예측한 세그멘테이션 마스크와 정답 세그멘테이션 마스크의 IoU 평균으로 계산되며, 원본 이미지에서 검출된 핵심영역으로 크롭(crop)된 영역에 한해 IoU를 계산하였다.
그 정확도는 모델이 예측한 값과 실제 정답값의 맞춘 비율을 의미하며, 한 이미지 내에 존재하는 유전체 중 하나라도 불량일 경우 최종 불량으로 판정하고, 이미지 내 여러 개의 객체가 존재할 수 있기 때문에, 객체별 정확도와 최종 정확도를 구분하여 측정하였으며, 아래의 수학식 3은 최종 정확도를 계산하는 수식을 의미한다.
여기에서, 본 발명의 실시예에 대한 실험에서는 양불을 구분하는 마진율에 대한 임계값은 0.75로 설정하였다.
다음에, 본 발명의 실시예에 대한 실험 결과 및 분석에 대해 설명하면, 아래의 표 3은 핵심영역 검출과 세그멘테이션이 통합되어 동작하는 단일모델과, 개별적으로 동작하는 독립모델에 대한 성능평가를 나타내는데, 핵심영역 검출의 경우 단일모델과 독립모델 모두 AP 평가방식을 사용하였고, 세그멘테이션의 경우 단일모델은 AP 평가방식을, 독립모델은 mIoU를 사용하였다.
그리고, 아래의 표 4는 단일모델 및 독립모델에 대한 양불판정성능을 나타내며, 상하부픽셀 제외방법을 적용하였다.
여기에서, 단일모델과 독립모델 모두 최종정확도가 95%로 동일하지만, 객체별 정확도의 경우 단일모델이 1% 높은 성능을 달성하였다. 하지만, 세그멘테이션 모델의 입력값의 해상도 변경이 가능한 독립모델의 경우 핵심영역의 가로세로 비율을 고려하여 해상도 크기를 증가시켰으며, 이 때 사용한 해상도 스케일의 경우 (2048, 512)로 이미지의 긴 면이 2048의 픽셀을 가지거나 이미지의 짧은면이 512의픽셀을 가질때까지 해상도를 증가시키는 것을 의미한다.
또한, 이미지스케일을 증가시킨 경우 정확도가 2% 상승한 97%을 달성하였음을 확인할 수 있었고, 이를 통해 독립모델 사용과 핵심영역의 크기를 고려하여 해상도 스케일을 사용하는 것이 최종정확도의 성능향상에 기여할 수 있음을 알 수 있다.
다음에, 본 발명의 실시예에서 수행되는 후처리 정제에 대해 설명하면, 세그멘테이션 모델이 예측한 세그멘테이션 마스크를 시각화하여 확인하였을 때 데이터자체의 노이즈와 어노테이션 한계로 세그멘테이션결과의 상하부 경계픽셀이 가라앉거나 뜨는 현상이 존재하여 양불판정에 오류를 야기시키는 것을 발견하였는데, 상하부 경계의 픽셀 일부를 잘라내는 상하부 픽셀 제외 기법을 통해 해당 문제를 완화시켰지만 데이터 특성상 실마진 계산에 필요한 행이 상하부에 위치할 확률이 높기 때문에 실마진 변경으로 인한 최종정확도 하락이 발생할 수 있다고 판단하였다.
이에 따라, 인접 행간 유전체의 픽셀차이가 특정 임계값을 넘어간다면 모델의 예측오류로 간주하여 인접 행의 픽셀을 덧씌우는 후처리 정제 기법을 사용하여 상하부 픽셀 제외 기법의 문제점을 완화시켰고, 해당 알고리즘은 테스트뿐만 아니라 학습에 사용되는 정답마스크에도 적용하여 모델이 노이즈없는 학습을 진행할 수 있도록 하였다.
예를 들면, 도 7 및 도 8은 각각 정상이미지와 불량데이터에 대한 후처리 정제의 예를 나타내는데, 후처리 정제를 사용하지 않는 경우 정상이미지는 판정에러가 발생하였고, 불량데이터는 정확한 마진율이 부정확하게 표현되었으나, 후처리 정제를 사용한 경우 해결될 수 있음을 확인할 수 있다.
또한, 아래의 표 5는 단일모델 및 독립모델에 대한 후처리 정제에 따른 정확도 비교를 나타낸다.
여기에서, 후처리 정제를 적용하지 않은 상기 표 4의 결과와 비교할 경우 단일모델, 독립모델의 최종정확도가 상하부 픽셀을 제거한 경우 가장 높은 것을 확인할 수 있는데, 특히 독립모델의 경우 상하부 픽셀을 적용한 결과 상하부 픽셀을 제외하지 않았을 때 상하부 97%의 최종정확도와, 84.71%로 기존 독립모델보다 높은 객체별 정확도를 달성하였다. 이러한 결과를 통해 후처리 정제가 상하부 픽셀을 노이즈에 강건하도록 하여 객체별 정확도 향상에 기여할 수 있음을 알 수 있다.
다음에, 본 발명의 실시예에서 수행되는 가장자리 유전체 제거에 대해 설명하면, 핵심영역 검출모델에서 핵심영역으로 검출되는 잘린 유전체는 양불판정 진행 시 잘린영역으로 인해 오분류를 야기시킬 수 있는데, 이를 방지하기 위해 테스트를 진행할 때 각 이미지에서 검출된 핵심영역 중에서 왼쪽과 오른쪽 가장자리에 존재하는 핵심영역의 瑥좌표가 특정 픽셀거리를 넘지 않는 경우 가장자리에서 잘린 유전체로 판단하고 해당 핵심영역을 제외하였다. 여기에서, 특정 픽셀거리값은 2로 지정하였다.
예를 들면, 도 9는 잘린 유전체에 대한 예시를 나타내며, 아래의 표 6은 유전체 제거를 적용한 정확도 성능비교를 나타낸다.
여기에서, 독립모델은 가장자리 유전체를 제거하지 않은 경우 84.71%의 객체별 정확도와, 97%의 최종정확도 성능을 거두었지만, 가장자리 유전체를 제거한 경우 객체별 정확도가 0.16% 높은 84.88%을, 최종정확도는 1% 높은 98%를 달성하였다. 이를 통해 가장자리 유전체를 제거하는 것이 효과적이라는 것을 확인할 수 있다.
상술한 바와 같이 본발명의 실시예에서는 딥러닝 기반 단일모델의 문제점을해결하기 위해 핵심영역 검출모델과 세그멘테이션 모델을 독립적으로 구성한 독립모델을 제시하였고, 후처리 정제와 가장자리 유전체 제거를 통해 최종정확도에서 단일모델 대비 2% 높은 98%의 우수한 성능을 나타내는 것을 확인하였고, 해당 모델을 시스템에 적용 시 기존 수작업으로 인한 노동력과 시간을 단축시킴으로써, MLCC 생산수율을 높일 수 있을 뿐만 아니라 비용측면에서도 효율성을 향상시킬 수 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
110 : 데이터셋구축부
120 : 핵심영역검출부
130 : 모델생성부
140 : 마진검출부
150 : 양불판정부

Claims (10)

  1. 적층세라믹콘덴서(MLCC) 데이터셋을 구축하는 데이터셋구축부;
    상기 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출하는 핵심영역검출부;
    상기 검출된 핵심영역에 대한 핵심영역 세그멘테이션 모델을 생성하는 모델생성부;
    상기 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하는 마진검출부; 및
    상기 산출된 마진율을 이용하여 양불판정을 수행하는 양불판정부;를 포함하며,
    상기 핵심영역검출부는,
    Mask R-CNN모델을 이용하여 상기 적층세라믹콘덴서(MLCC) 데이터셋에서 상기 핵심영역을 검출하고,
    상기 모델생성부는,
    UperNet모델을 이용하여 검출된 상기 핵심영역에 대한 핵심영역 세그멘테이션을 수행하며,
    상기 마진검출부는,
    상기 핵심영역 세그멘테이션 모델에서 전극과 유전체 사이의 픽셀거리를 이용하여 상기 마진율을 산출하는
    딥러닝 기반의 적층 얼라인먼트 검사 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 양불판정부는,
    상기 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 미만일 경우 불량품으로 판정하는
    딥러닝 기반의 적층 얼라인먼트 검사 장치.
  6. 적층세라믹콘덴서(MLCC) 데이터셋을 구축하는 단계;
    상기 구축된 적층세라믹콘덴서(MLCC) 데이터셋을 이용하여 적층세라믹콘덴서(MLCC)의 핵심영역을 검출하는 단계;
    상기 검출된 핵심영역에 대한 핵심영역 세그멘테이션 모델을 생성하는 단계;
    상기 생성된 핵심영역 세그멘테이션 모델을 이용하여 마진율을 산출하는 단계; 및
    상기 산출된 마진율을 이용하여 양불판정을 수행하는 단계;를 포함하며,
    상기 핵심영역을 검출하는 단계는,
    Mask R-CNN모델을 이용하여 상기 적층세라믹콘덴서(MLCC) 데이터셋에서 상기 핵심영역을 검출하고,
    상기 핵심영역 세그멘테이션 모델을 생성하는 단계는,
    UperNet모델을 이용하여 검출된 상기 핵심영역에 대한 핵심영역 세그멘테이션을 수행하며,
    상기 마진율을 산출하는 단계는,
    상기 핵심영역 세그멘테이션 모델에서 전극과 유전체 사이의 픽셀거리를 이용하여 상기 마진율을 산출하는
    딥러닝 기반의 적층 얼라인먼트 검사 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 청구항 6에 있어서,
    상기 양불판정을 수행하는 단계는,
    상기 마진율이 기 설정된 임계값 이상일 경우 양품으로 판정하고, 미만일 경우 불량품으로 판정하는
    딥러닝 기반의 적층 얼라인먼트 검사 방법.
KR1020220117846A 2022-09-19 2022-09-19 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법 Active KR102756552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220117846A KR102756552B1 (ko) 2022-09-19 2022-09-19 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220117846A KR102756552B1 (ko) 2022-09-19 2022-09-19 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20240039368A KR20240039368A (ko) 2024-03-26
KR102756552B1 true KR102756552B1 (ko) 2025-01-16

Family

ID=90473176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220117846A Active KR102756552B1 (ko) 2022-09-19 2022-09-19 딥러닝 기반의 적층 얼라인먼트 검사 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102756552B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850749A (zh) * 2020-06-09 2021-12-28 英业达科技有限公司 训练缺陷侦测器的方法
US20220198750A1 (en) * 2019-04-12 2022-06-23 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, image processing device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100529404B1 (ko) 2003-04-22 2005-11-17 윈텍 주식회사 전자부품 검사장치
KR20210112671A (ko) * 2020-03-05 2021-09-15 주식회사 에스피투로보틱스 Mlcc 미전사칩 검사장치 및 검사방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198750A1 (en) * 2019-04-12 2022-06-23 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, image processing device
CN113850749A (zh) * 2020-06-09 2021-12-28 英业达科技有限公司 训练缺陷侦测器的方法

Also Published As

Publication number Publication date
KR20240039368A (ko) 2024-03-26

Similar Documents

Publication Publication Date Title
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN111161243B (zh) 基于样本增强的工业产品表面缺陷检测方法
CN110021005B (zh) 电路板瑕疵筛选方法及其装置与计算机可读取记录介质
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN108355987B (zh) 一种基于分块模板匹配的电池丝印质量检测方法
KR101759496B1 (ko) Ｐｃｂ 결함 및 결함종류 분류 시스템 및 방법
US20200265575A1 (en) Flaw inspection apparatus and method
KR102602167B1 (ko) 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
CN108896547A (zh) 基于机器视觉的耐火砖测量系统
CN109615609A (zh) 一种基于深度学习的焊点瑕疵检测方法
CN107871102A (zh) 一种人脸检测方法及装置
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN112614105A (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
CN109859164A (zh) 一种通过快速型卷积神经网络对pcba外观检验的方法
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN109191419B (zh) 基于机器学习的实时压板检测及状态识别系统及方法
TW202127371A (zh) 基於圖像的瑕疵檢測方法及電腦可讀存儲介質
CN114943704B (zh) 一种电池电极模切件缺陷检测方法、装置和设备
KR20230082346A (ko) 오토인코더 및 합성곱 심층 신경망을 활용한 고해상도 영상 기반 제조품 결함 탐지 방법
CN116363573A (zh) 一种变电站设备状态异常识别方法和系统
US20250209844A1 (en) Ancient book recognition method and apparatus, storage medium, and device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220919

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240930

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250110

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250114

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250114

End annual number: 3

Start annual number: 1

PG1601 Publication of registration