KR102582008B1 - 검사 장치 및 그 제어 방법 - Google Patents

검사 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102582008B1
KR102582008B1 KR1020210025542A KR20210025542A KR102582008B1 KR 102582008 B1 KR102582008 B1 KR 102582008B1 KR 1020210025542 A KR1020210025542 A KR 1020210025542A KR 20210025542 A KR20210025542 A KR 20210025542A KR 102582008 B1 KR102582008 B1 KR 102582008B1
Authority
KR
South Korea
Prior art keywords
inspection
defect information
image area
deep learning
acquired
Prior art date
Application number
KR1020210025542A
Other languages
English (en)
Other versions
KR20220117092A (ko
Inventor
전태욱
김준식
이주천
복권승
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Publication of KR20220117092A publication Critical patent/KR20220117092A/ko
Application granted granted Critical
Publication of KR102582008B1 publication Critical patent/KR102582008B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's

Abstract

검사 장치가 개시된다. 검사 장치는, 영상 촬영 모듈 및 상기 영상 촬영 모듈을 통해 검사 대상물을 촬영한 영상이 획득되면, 상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 요구되는 영상 영역을 획득하고, 상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하고, 상기 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 상기 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 상기 검사 대상물에 대한 결함 정보를 획득하는 프로세서를 포함한다.

Description

검사 장치 및 그 제어 방법{Inspection appratus and contol method thereof}
본 발명은 검사 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 검사 대상물의 외관을 검사하는 검사 장치 및 그 제어 방법에 관한 것이다.
일반적으로 산업에서 쓰이는 검사 방법은 검사 대상물의 영상을 확보하여 룰 베이스 기반의 검사를 통해 결함 검사를 수행한다.
하지만, 일반적인 룰 베이스로 검사를 진행하면 결함의 다양한 특정 값으로 인해 결함으로 판단하는 기준이 매우 복잡하여 검사 시간의 효율성이 떨어지는 문제가 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 검사 시간을 단축시키는 검사 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 검사 장치는, 영상 촬영 모듈 및 상기 영상 촬영 모듈을 통해 검사 대상물을 촬영한 영상이 획득되면, 상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 필요한 영상 영역을 획득하고, 상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하여 상기 검사 대상물에 대한 결함 정보를 획득하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 상기 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 상기 검사 대상물에 대한 결함 정보를 획득할 수 있다.
또한, 상기 검사 대상물은, PCB(printed circuit board)를 포함하며, 상기 프로세서는, 상기 획득된 영역을 인공 지능 모델에 입력하여 상기 획득된 영역에 대응되는 PCB 결함 정보를 획득하며, 상기 인공 지능 모델은, 상기 룰 베이스 검사의 검사 항목에 기초하여 결함 정보를 획득하도록 학습될 수 있다.
또한, 상기 PCB 결함 정보는, PCB 납땜 상태에 대한 결함 정보를 포함할 수 있다.
또한, 상기 프로세서는, 상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 필요한 영역을 획득하는 룰 베이스 검사 모듈 및 상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하고 검사 결과를 상기 룰 베이스 검사 모듈로 전송하는 딥러닝 검사 모듈을 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 검사 장치의 제어 방법은, 검사 대상물을 촬영한 영상이 획득되면, 상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 요구되는 영상 영역을 획득하는 단계 및, 상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하여 상기 검사 대상물에 대한 결함 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 검사 대상물에 대한 결함 정보를 획득하는 단계는, 상기 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 상기 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 상기 검사 대상물에 대한 결함 정보를 획득하는 단계를 포함할 수 있다.
상술한 다양한 실시 예들에 의하면 다양한 특징을 포함하는 검사 대상물에 의한 검사 시간을 단축시키므로서 시간 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 검사 장치의 구성을 나타내는 블럭도이다.
도 2는 일 실시 예에 따른 인공 지능 모델의 학습 방법을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 프로세서의 세부 구성을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 검사 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 검사 장치의 구성을 나타내는 블럭도이다.
도 1에 따르면 검사 장치(100)는 영상 촬영 모듈(110) 및 프로세서(120)를 포함한다.
영상 촬영 모듈(110)은 다양한 타입의 카메라로 구현 가능하며, 검사 대상물(또는 측정 대상물)의 외관을 촬영할 수 있다. 영상 촬영 모듈(110)는 기설정된 이벤트에 따라 활성화되 검사 대상물의 외관을 촬영한다. 예를 들어, 영상 촬영 모듈(110)는 사용자 명령, 기설정된 프로그램이 실행됨에 따라 활성될 수 있다.
일 예에 따라 검사 대상물은 PCB(Printed circuit board)로 구현될 수 있다. 예를 들어, 저항기(Resistor), 축전기(Capacitor), 인덕터(Inductor), 집적 회로(IC, Integrated Circuit) 등 전자 부품을 인쇄 배선판의 표면에 고정하고 부품 사이 구리 배선으로 연결해 전자 회로를 구성하는 판을 의미할 수 있다.
프로세서(120)는 영상 촬영 모듈(110)와 전기적으로 연결되어 검사 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 일 예에 따라, 프로세서(120)는 메모리(미도시)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 본 발명의 다양한 실시 예에 따른 검사 장치(100)의 동작을 수행할 수 있다.
일 실시 예에 따라 프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU (Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
또한, 일 실시 예에 따른 인공 지능 모델을 실행하기 위한 프로세서(120)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서과 소프트웨어의 조합을 통해 구현될 수 있다. 프로세서(120)는, 메모리(미도시)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(120)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 지능 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(120)가 전용 프로세서로 구현되는 경우, 본 발명의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.
일 실시 예에 따르면, 프로세서(120)는 영상 촬영 모듈(110)을 통해 검사 대상물의 외관에 대한 영상이 획득되면, 획득된 영상에 대한 룰 베이스 검사를 수행하여 획득된 영상 중 딥러닝 검사가 필요한 적어도 하나의 영상 영역을 획득(또는 추출)한다. 여기서, 검사 대상물은 상술한 바와 같이 PCB(printed circuit board)를 포함할 수 있다. 룰 베이스 검사는 PCB 결함 검사에 이용되는 종래 기술이므로 자세한 설명을 생략하도록 한다.
예를 들어, 프로세서(120)는 획득된 영상에 대한 룰 베이스 검사를 수행한 후 결함 여부, 결함 타입, 결함 정도 등 결함 정보가 명확히 검출되지 않는 영상 영역을 딥러닝 검사가 필요한 영상 영역으로 획득할 수 있으나, 이에 한정되는 것은 아니다.
이어서, 프로세서(120)는 획득된 적어도 하나의 영상 영역에 대한 딥 러닝 검사를 수행하여 검사 대상물에 대한 결함 정보를 획득할 수 있다.
구체적으로, 프로세서(120)는 획득된 영역을 인공 지능 모델에 입력하여 획득된 영역에 대응되는 PCB 결함 정보를 획득할 수 있다. 특히, PCB 결함 정보는, PCB 납땜 상태에 대한 결함 정보를 포함할 수 있다. 여기서, PCB 결함 정보는 결함 여부, 결함 타입, 결함 정도 중 적어도 하나를 포함할 수 있다.
여기서, 인공 지능 모델은 룰 베이스 검사의 검사 항목에 기초하여 영상 영역을 분류함으로써 결함 정보를 획득하도록 학습될 수 있다.
일 예에 따라 인공 지능 모델은 CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
일 실시 예에 따르면, 프로세서(120)는 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 검사 대상물에 대한 결함 정보를 획득할 수 있다.
도 2는 일 실시 예에 따른 인공 지능 모델의 학습 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 인공 지능 모델은 입력 훈련 데이터 및 출력 훈련 데이터 쌍에 기초하여 학습되거나, 입력 훈련 데이터에 기초하여 학습될 수 있다. 여기서, 인공 지능 모델이 학습된다는 것은, 기본 인공 지능 모델(예를 들어 임의의 랜덤한 파라미터를 포함하는 인공 지능 모델)이 학습 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 검사 장치(100)를 통해 이루어질 수 있으나, 이에 한정되는 것은 아니며 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다. 다만, 이는 지도 학습의 경우를 예를 든 것이며, 출력 데이터로서 추천 행정 정보를 이용하지 않고 입력 데이터 만을 입력하여 인공 지능 모델을 학습시키는 비지도 학습에 기초하여 인공 지능 모델을 학습시킬 수 있음은 물론이다.
예를 들어, 도 2에 도시된 바와 같이 검사 장치(100)는 학습을 위한 영상 영역을 DB에 저장하고, 해당 정보에 기초하여 인공 지능 모델(210)을 학습시킬 수 있다. 예를 들어, 영상 영역 및 해당 영상 영역에 대응되는 결함 정보를 각각 입출력 훈련 데이터 쌍으로 이용하여 학습될 수 있다. 특히, 인공 지능 모델(210)은 룰 베이스 검사의 검사 항목 각각에 대응되는 영상 영역을 입력 데이터로, 해당 영상 영역에 대응되는 결함 정보를 출력 데이터로 이용할 수 있다.
다만, 이는 지도 학습의 경우를 예를 든 것이며, 출력 데이터로서 결함 정보를 이용하지 않고 입력 데이터 만을 입력하여 인공 지능 모델을 학습시키는 비지도 학습에 기초하여 인공 지능 모델을 학습시킬 수 있음은 물론이다.
도 3은 일 실시 예에 따른 프로세서의 세부 구성을 설명하기 위한 도면이다.
도 3에 따르면, 프로세서(120)는 룰 베이스 검사 모듈(121) 및 딥러닝 검사 모듈(122)를 포함할 수 있다. 여기서, 각 모듈은 소프트웨어, 하드웨어 또는 이들의 조합 중 적어도 하나의 형태로 구현 가능하다.
룰 베이스 검사 모듈(121)은 검사 대상물을 촬영한 영상에 대한 룰 베이스 검사를 수행하여 획득된 영상 중 딥러닝 검사가 요구되는 영역을 획득할 수 있다. 여기서, 검사 대상물은 PCB 외관이 될 수 있다.
딥러닝 검사 모듈(122)은 룰 베이스 검사 모듈(121)을 통해 획득된 영상 영역에 대한 딥러닝 검사를 수행하고 검사 결과를 룰 베이스 검사 모듈(121)로 전송할 수 있다. 이 경우, 룰 베이스 검사 모듈(121)은 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 딥러닝 검사 모듈(122)로부터 수신된 제2 결함 정보에 기초하여 검사 대상물에 대한 결함 정보를 획득할 수 있다.
도 4는 일 실시 예에 따른 검사 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 4에 도시된 검사 장치의 제어 방법에 따르면, 검사 대상물을 촬영한 영상이 획득되면(S410), 획득된 영상에 대한 룰 베이스 검사를 수행하여 획득된 영상 중 딥러닝 검사가 요구되는 영상 영역을 획득할 수 있다(S420).
이어서, 획득된 영상 영역에 대한 딥러닝 검사를 수행하여 검사 대상물에 대한 결함 정보를 획득할 수 있다(S430).
또한, 검사 대상물에 대한 결함 정보를 획득하는 S430 단계에서는, 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 검사 대상물에 대한 결함 정보를 획득할 수 있다.
여기서, 검사 대상물은, PCB(printed circuit board)를 포함할 수 있다. 이 경우, 검사 대상물에 대한 결함 정보를 획득하는 S430 단계에서는, 획득된 영역을 인공 지능 모델에 입력하여 획득된 영역에 대응되는 PCB 결함 정보를 획득할 수 있다. 여기서, 인공 지능 모델은, 룰 베이스 검사의 검사 항목에 기초하여 결함 정보를 획득하도록 학습될 수 있다.
또한, PCB 결함 정보는, PCB 납땜 상태에 대한 결함 정보를 포함할 수 있다.
상술한 다양한 실시 예들에 의하면 다양한 특징을 포함하는 검사 대상물에 의한 검사 시간을 단축시키므로서 시간 효율을 향상시킬 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 검사 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 검사 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 검사 장치에 구비된 임베디드 서버, 또는 검사 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 발명의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 검사 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 검사 장치 110: 영상 촬영 모듈
120: 프로세서

Claims (7)

  1. 영상 촬영 모듈; 및
    상기 영상 촬영 모듈을 통해 검사 대상물을 촬영한 영상이 획득되면, 상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 필요한 영상 영역을 획득하고,
    상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하여 상기 검사 대상물에 대한 결함 정보를 획득하는 프로세서; 를 포함하되,
    상기 프로세서는, 상기 획득된 영상에 대한 상기 룰 베이스 검사를 수행한 후 결함 여부, 결함 타입, 결함 정도 등을 포함하는 결함 정보가 명확히 검출되지 않는 영상 영역을 상기 딥러닝 검사가 필요한 영상 영역으로 획득하고,
    상기 검사 대상물은, PCB(printed circuit board)를 포함하며,
    상기 프로세서는, 상기 획득된 영상 영역을 인공 지능 모델에 입력하여 상기 획득된 영상 영역에 대응되는 PCB 결함 정보를 획득하고,
    상기 인공 지능 모델은, 상기 룰 베이스 검사의 검사 항목에 기초하여 상기 획득된 영상 영역을 분류함으로써 결함 정보를 획득하며,
    상기 인공 지능 모델은, 지도 학습을 사용하는 경우, 상기 룰 베이스 검사의 상기 검사 항목 각각에 대응되는 영상 영역을 입력 데이터로 상기 영상 영역에 대응되는 결함 정보를 출력 데이터로 이용하도록 학습된 검사 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 상기 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 상기 검사 대상물에 대한 결함 정보를 획득하는, 검사 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 PCB 결함 정보는,
    PCB 납땜 상태에 대한 결함 정보를 포함하는, 검사 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 필요한 영역을 획득하는 룰 베이스 검사 모듈; 및
    상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하고 검사 결과를 상기 룰 베이스 검사 모듈로 전송하는 딥러닝 검사 모듈; 을 포함하는, 검사 장치.
  6. 검사 장치의 제어 방법에 있어서,
    검사 대상물을 촬영한 영상이 획득되면, 상기 획득된 영상에 대한 룰 베이스 검사를 수행하여 상기 획득된 영상 중 딥러닝 검사가 요구되는 영상 영역을 획득하는 단계; 및
    상기 획득된 영상 영역에 대한 딥러닝 검사를 수행하여 상기 검사 대상물에 대한 결함 정보를 획득하는 단계; 를 포함하되,
    상기 획득된 영상에 대한 상기 룰 베이스 검사를 수행한 후 결함 여부, 결함 타입, 결함 정도 등을 포함하는 결함 정보가 명확히 검출되지 않는 영상 영역을 상기 딥러닝 검사가 필요한 영상 영역으로 획득하고,
    상기 검사 대상물은, PCB(printed circuit board)를 포함하며,
    상기 획득된 영상 영역을 인공 지능 모델에 입력하여 상기 획득된 영상 영역에 대응되는 PCB 결함 정보를 획득하고,
    상기 인공 지능 모델은, 상기 룰 베이스 검사의 검사 항목에 기초하여 상기 획득된 영상 영역을 분류함으로써 결함 정보를 획득하며,
    상기 인공 지능 모델은, 지도 학습을 사용하는 경우, 상기 룰 베이스 검사의 상기 검사 항목 각각에 대응되는 영상 영역을 입력 데이터로 상기 영상 영역에 대응되는 결함 정보를 출력 데이터로 이용하도록 학습된 제어 방법.
  7. 제6항에 있어서,
    상기 검사 대상물에 대한 결함 정보를 획득하는 단계는,
    상기 룰 베이스 검사를 통해 획득된 제1 결함 정보 및 상기 딥러닝 검사를 통해 획득된 제2 결함 정보에 기초하여 상기 검사 대상물에 대한 결함 정보를 획득하는 단계; 를 포함하는 제어 방법.
KR1020210025542A 2021-02-15 2021-02-25 검사 장치 및 그 제어 방법 KR102582008B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210019595 2021-02-15
KR20210019595 2021-02-15

Publications (2)

Publication Number Publication Date
KR20220117092A KR20220117092A (ko) 2022-08-23
KR102582008B1 true KR102582008B1 (ko) 2023-09-22

Family

ID=83092996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025542A KR102582008B1 (ko) 2021-02-15 2021-02-25 검사 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102582008B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024040757A (ja) * 2022-09-13 2024-03-26 株式会社 日立産業制御ソリューションズ 検査装置、および、検査方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200215B1 (ko) * 1996-04-08 1999-06-15 윤종용 상관 신경 회로망을 이용한 납땜 검사 장치 및방법
JP4253522B2 (ja) 2003-03-28 2009-04-15 株式会社日立ハイテクノロジーズ 欠陥分類方法及び装置
KR101936628B1 (ko) 2016-04-19 2019-01-10 인천대학교 산학협력단 Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
KR101941585B1 (ko) 2017-09-07 2019-01-24 경북대학교 산학협력단 인공지능 기반의 검사를 위한 임베디드 시스템, 제어 방법 및 이를 포함하는 검사 시스템
KR102208551B1 (ko) * 2019-02-11 2021-01-27 (주) 인텍플러스 외관 검사 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7087397B2 (ja) * 2018-01-17 2022-06-21 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200215B1 (ko) * 1996-04-08 1999-06-15 윤종용 상관 신경 회로망을 이용한 납땜 검사 장치 및방법
JP4253522B2 (ja) 2003-03-28 2009-04-15 株式会社日立ハイテクノロジーズ 欠陥分類方法及び装置
KR101936628B1 (ko) 2016-04-19 2019-01-10 인천대학교 산학협력단 Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
KR101941585B1 (ko) 2017-09-07 2019-01-24 경북대학교 산학협력단 인공지능 기반의 검사를 위한 임베디드 시스템, 제어 방법 및 이를 포함하는 검사 시스템
KR102208551B1 (ko) * 2019-02-11 2021-01-27 (주) 인텍플러스 외관 검사 시스템

Also Published As

Publication number Publication date
KR20220117092A (ko) 2022-08-23

Similar Documents

Publication Publication Date Title
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
US11645744B2 (en) Inspection device and inspection method
JP6868119B2 (ja) ホログラフィック偽造防止コードの検査方法及び装置
CN111179253A (zh) 一种产品缺陷检测方法、装置与系统
CN110726724A (zh) 缺陷检测方法、系统和装置
US11501428B2 (en) Method, apparatus and system for detecting fundus image based on machine learning
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN110296660B (zh) 牲畜体尺检测方法与装置
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
US20210390282A1 (en) Training data increment method, electronic apparatus and computer-readable medium
KR102582008B1 (ko) 검사 장치 및 그 제어 방법
TW202200993A (zh) 檢查裝置、檢查方法及檢查程式
CN112907502A (zh) 神经网络模型的训练装置和训练方法
CN113255433A (zh) 模型训练方法、装置和计算机存储介质
JP2020030145A (ja) 検査装置及び検査システム
CN112766040A (zh) 残余饵料的探测方法、设备、装置及可读存储介质
CN113469944A (zh) 一种产品质检方法、装置和电子设备
TWI769603B (zh) 影像處理方法及存儲介質
KR20220026439A (ko) 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치
CN115035042A (zh) 动作迁移模型的评价方法、装置、电子设备及存储介质
CN112508891B (zh) 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
TWI748184B (zh) 瑕疵檢測方法、電子裝置及電腦可讀存儲介質
CN111832629A (zh) 一种基于FPGA的faster-RCNN目标检测方法
CN111898465A (zh) 一种人脸识别模型的获取方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)