KR20200003308A - 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법 - Google Patents

딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법 Download PDF

Info

Publication number
KR20200003308A
KR20200003308A KR1020180070039A KR20180070039A KR20200003308A KR 20200003308 A KR20200003308 A KR 20200003308A KR 1020180070039 A KR1020180070039 A KR 1020180070039A KR 20180070039 A KR20180070039 A KR 20180070039A KR 20200003308 A KR20200003308 A KR 20200003308A
Authority
KR
South Korea
Prior art keywords
indentation
image
deep learning
learning
inspection system
Prior art date
Application number
KR1020180070039A
Other languages
English (en)
Inventor
이은표
Original Assignee
이은표
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이은표 filed Critical 이은표
Priority to KR1020180070039A priority Critical patent/KR20200003308A/ko
Publication of KR20200003308A publication Critical patent/KR20200003308A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513—Liquid crystal panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 카메라를 통해 촬영된 영상을 딥러닝을 기반으로 분석하여 식별 정확도를 높이고 동시에 저장되었던 영상들로부터 압흔 특징을 추출할 수 있는 학습 데이터를 주기적으로 생성 추가함으로서 시스템이 운영될수록 영상 해석의 신뢰성과 정확성을 보장하는 딥러닝을 기반으로 한 압흔 검사시스템 및 그에 대한 제어 방법을 제공한다.

Description

딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법{INDENTATION INSPECTION SYSTEM BASED ON DEEP LRARNING AND CONTROL METHOD OF INDENTATION INSPECTION SYSTEM}
본 발명은 압흔 검사 시스템에 관한 것으로, 특히 이방성 도전필름에 의하여 접촉되는 FPD(Flat Panel Display) 패널의 단자 부분에 대한 압흔 검사를 딥러닝을 기반으로 신속하고 정확하게 검사하도록 하는 압흔 검사시스템 및 그 제어 방법에 관한 것이다.
일반적으로 FPD 실장 분야에서의 FPD 패널과 TCP/FPC(Tape Carrier Package/Flexible Printed Circuit) 또는 PCB(Printed Circuit Board)와 TCP/FPC와의 접합 및 COG(Chip On Glass) 실장 분야에서의 베어칩(Bare Chip)과 FPD 패널과의 접합 과정에서는 이 구성 성분들을 전기적으로 접속시키기 위해 통상 이방성 도전필름을 사용하고 있다.
이러한 이방성 도전필름은 열에 의하여 경화되는 접착제와, 접착제 내에 분포되는 미세한 도전볼이 혼합되어 이루어지는 것으로, 양면테이프 형태의 구조를 갖는다. 이러한 이방성 도전필름의 양면으로 회로 패턴을 구성한 후, 고온 및 고압의 상태로 압력을 가하면, 회로 패턴의 패드가 맞닿아 도전볼이 눌리면서 도전볼의 금속 부분에 접촉에 의하여 양측이 전기적으로 연결된다.
이와 같은 이방성 도전필름을 이용하여 회로를 구성하는 경우, 단자와 접촉부, 및 도전볼에 의한 압흔 형상이 매우 작기 때문에, 정밀하게 검사가 이루어져야 한다. 이방성 도전필름에 의한 부착 상태를 검사하는 과정에서 정확도가 떨어지는 경우, 후공정의 진행으로 인한 소재 손실과 아울러 제품의 불량률이 높아지는 문제점이 발생된다.
이에 따라 육안 또는 현미경을 이용한 기존의 검사 과정에서 검사 시간, 객관적 데이터 관리의 문제점을 해결하기 위해 본 발명자는 특허등록번호 10-0847740에서 압흔 검사시스템을 고안하였다. 상기 압흔 검사기에서는 종래와 같이 다수의 과정을 거치지 않고 압흔의 특성을 분석하여 밝기값 지수를 대비하여 적용하기 때문에 압흔에 대한 신속도 및 정확도를 높이는 이점을 가졌다.
대한민국특허 054970호는 이방성 도전 필름의 접착력에 의해 고온 고압의 툴로 압착시키는 과정에서 발생 된 압흔을 이미지로 추출하여 검사하는 압흔 검사장치를 기술하고 있다. 또한, 대한민국특허 1342117호는 포커싱 연산과 압흔 이미지 처리 연산을 병렬로 수행하여 검사시간과 정확도를 향상하는 검사장치 및 검사방법을 기술하고 있다.
상기와 같은 문제점을 해결하고 개선하기 위해 본 발명은 카메라를 통해 촬영된 영상을 딥러닝을 기반으로 분석하여 식별 정확도를 높이고 동시에 저장되었던 영상들로부터 압흔 특징을 추출할 수 있는 학습 데이터를 주기적으로 생성 추가함으로서 시스템이 운영될수록 영상 해석의 신뢰성과 정확성을 보장하는 딥러닝을 기반으로 한 압흔 검사시스템 및 그에 대한 제어 방법을 제공하는데 그 목적이 있다.
상기 과제를 해결하기 위해 본 발명의 한 실시 예에 따른 딥러닝을 기반으로 한 압흔 검사시스템은 검사대에 놓여지는 FPD 패널을 촬영하기 위한 렌즈; 상기 렌즈 상부 또는 하부에 위치한 FPD 패널의 영상을 촬영하는 압흔 영상 카메라; 상기 압흔 영상 카메라로부터 압흔 영상 신호를 수신하여 처리하기 위한 영상 처리부; 및 미세한 부분에 대한 영상 취득도 용이하게 하기 위한 조명부를 포함하고, 상기 영상 처리부는 상기 압흔 영상 카메라로부터 영상을 수신하는 영상 입력부; 상기 조명부에 연결되어 조명의 구동 제어 신호를 조절하여 전송하는 조명 조절부; 상기 압흔 영상 카메라로부터 상기 영상 입력부로 입력된 영상을 저장하는 영상 저장부; 상기 영상 입력부로부터 수신된 영상을 딥러닝을 기반으로 압흔을 판별하는 압흔 결정 엔진; 상기 영상 저장부와 연결되어 지속적인 딥러닝을 위한 학습 데이터를 구성하고 학습을 실행하는 딥러닝 학습부; 상기 딥러닝 학습부에서 학습을 통해 정확도를 높인 딥러닝 매개변수를 수신하여 관리하는 딥러닝 매개변수 관리부; 및 FPD 패널의 형상이나 단자 형상에 대한 정보, FPD 패널에 적용되는 이방성 도전필름에서의 압흔에 대한 정보 등을 입력하는 기초 정보 입력부를 포함하고, 상기 압흔 결정 엔진은 상기 딥러닝 매개변수 관리부에서 전달된 딥러닝 알고리즘 정보와, 상기 기초 정보 입력부에서 전달된 FPD 패널 등에 대한 기초 정보와, 상기 영상 입력부로부터 전달된 영상으로부터 압흔 상태를 판별하는 것을 특징으로 한다.
또한, 상기 압흔 결정 엔진은 딥러닝의 비전 기술인 CNN(Convolutional Neural Network), RNN(Recurrent Neural Netwrok), LSTM(Long Short Term Memory), 또는 DBN(Deep Belief Network) 등의 알고리즘들을 사용하여 압흔을 판별하는 것을 특징으로 한다.
또한, 상기 딥러닝 학습부는 적용되는 이방성 도전필름의 특성에 따른 압흔 특징을 정확히 추출할 수 있는 학습 데이터를 구성하여 학습을 실시하는 것을 특징으로 한다.
또한, 상기 딥러닝 학습부는 상기 영상 저장부에 저장된 영상들을 주기적으로 이용하여 학습 데이터를 생성하고 상기 딥러닝 매개변수 관리부에 전달하여 딥러닝 매개변수를 업데이트하는 것을 특징으로 한다.
본 발명에 따른 딥러닝을 기반으로 한 압흔 검사시스템의 제어 방법은 검사대에 놓여지는 FPD 패널을 압흔 영상 카메라로 쵤영하는 단계; 촬영된 상기 압흔 영상을 수신하여 처리하는 단계; 및 미세한 부분에 대한 영상 취득도 용이하게 하기 위한 조명을 제어하는 단계를 포함하고, 상기 영상을 처리하는 단계는 상기 압흔 영상 카메라로부터 영상을 수신하는 단계; 상기 조명에 연결되어 조명의 구동 제어 신호를 조절하여 전송하는 단계; 상기 압흔 영상 카메라로부터 입력된 영상을 저장하는 단계; 수신된 영상들을 딥러닝을 기반으로 압흔을 판별하는 단계; 상기 저장된 영상과 연결되어 지속적인 딥러닝을 위한 학습 데이터를 구성하고 학습을 실행하는 단계; 상기 딥러닝 학습을 실행하는 단계를 통해 정확도를 높인 딥러닝 매개변수를 수신하여 관리하는 단계; 및 FPD 패널의 형상이나 단자 형상에 대한 정보, FPD 패널에 적용되는 이방성 도전필름에서의 압흔에 대한 기초 정보 등을 입력하는 단계를 포함하고, 상기 압흔을 판별하는 단계는 상기 딥러닝 매개변수을 관리하는 단계에서 주어진 딥러닝 알고리즘 정보와, 상기 기초 정보 입력 단계에서 주어진 FPD 패널 등에 대한 기초 정보와, 상기 영상 입력 단계에서 주어진 영상으로부터 압흔 상태를 판별하는 것을 특징으로 한다.
또한, 상기 압흔을 판별하는 단계는 딥러닝의 비전 기술인 CNN(Convolutional Neural Network), RNN(Recurrent Neural Netwrok), LSTM(Long Short Term Memory), 또는 DBN(Deep Belief Network) 등의 알고리즘들을 사용하여 압흔을 판별하는 것을 특징으로 한다.
또한, 상기 딥러닝 학습을 실행하는 단계는 적용되는 이방성 도전필름의 특성에 따른 압흔 특징을 정확히 추출할 수 있는 학습 데이터를 구성하여 학습을 실시하는 것을 특징으로 한다.
또한, 상기 딥러닝 학습을 실행하는 단계는 상기 영상을 저장하는 단계에서 저장된 영상들을 주기적으로 이용하여 학습 데이터를 생성하고 상기 딥러닝 매개변수를 관리하는 단계에서 딥러닝 매개변수를 업데이트하는 것을 특징으로 한다.
본 발명은 이방성 도전필름에 의해 접속되는 패널의 단자 부분에 대한 압흔 검사의 신속성과 정확성을 개선하는 효과가 있다.
본 발명은 또한 압흔의 특성이 반영된 이미지에 나타나는 특징변화를 학습하고, 이를 기반으로 카메라를 통해 얻어진 영상을 정확하게 식별하도록 딥러닝 알고리즘을 이용, 최적화하여 압흔에 대한 검사 신뢰성과 정확도를 개선하도록 지원하는 효과가 있다.
도 1은 본 발명에 따른 압흔 검사시스템에 대한 개략적인 구성도.
도 2는 본 발명에 따른 압흔 검사시스템에 대한 동작을 설명하는 흐름도.
도 3은 종래의 기술과 본 발명을 이용하여 같은 영상의 압흔을 판별한 결과를 도시하는 도면.
이하, 첨부한 도면을 참고하여 본 발명의 상세한 실시 예를 설명한다.
각 도면에 제시된 동일한 참고번호는 동일한 구성성분을 나타낸다. 또한, 본 발명의 실시 예에서 특정한 구조나 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적이고, 다르게 정의되지 않는 한 기술적 용어를 포함해 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 같은 의미를 갖는다.
도 1은 본 발명에 따른 압흔 검사시스템에 대한 개략적인 구성도이다.
본 발명에 따른 압흔 검사시스템(1)은 도 1에 도시된 바와 같이 검사대 상부에 놓여지는 FPD 패널을 촬영하기 위한 렌즈(10), 렌즈(10) 상부에 위치하여 FPD 패널의 영상을 쵤영하는 압흔 영상 카메라(20), 압흔 영상 카메라(20)로부터 압흔 영상 신호를 수신하여 처리하기 위한 영상 처리부(30), 및 미세한 부분에 대한 영상 취득도 용이하게 하기 위한 조명부(40)를 포함한다.
본 발명에 따른 압흔 검사시스템(1)에 사용되는 압흔 영상 카메라(20)는 작은 크기의 압흔도 촬영할 수 있는 고해상도의 미분간섭 카메라이다. 이와 같은 미분간섭 카메라는 경통 내에 DIC(Differential Interference Contrast) 필터, 편광 필터, 분석 필터 등을 적용하여 렌즈(10)로부터 입사되는 압흔 영상을 보다 선명하게 촬영할 수 있다. 상기 압흔 영상 카메라(20)는 정지 영상을 촬영하는 카메라이거나, 이에 한정되지 않고 검사대가 일정 속도로 이동하면서 패널을 촬영하도록 라인스캔 카메라가 적용될 수 있다. 여기서 상기 라인스캔 카메라가 사용되는 경우, 패널 한 측에 있는 다수의 단자를 연속하여 촬영해 영상 데이터를 제공하므로 판별 단계도 일괄되게 처리되어 전체 처리 과정이 간소화될 수 있는 장점을 갖는다. 조명부(40)는 LED로 구성될 수 있고, 조사되는 빛은 400-500 nm 정도의 파장이 바람직하다. 이러한 조명부로 인해 압흔 영상 카메라(20)는 보다 선명한 압흔의 영상을 촬영할 수 있다.
영상 처리부(30)는 압흔 영상 카메라(20)로부터 영상을 수신하는 영상 입력부(31), 조명부(40)에 연결되어 조명의 구동 제어 신호를 조절하여 전송하는 조명 조절부(32), 압흔 영상 카메라(20)로부터 영상 입력부(31)로 입력된 영상을 저장하는 영상 저장부(33), 영상 입력부(31)로부터 수신된 영상을 딥러닝을 기반으로 압흔을 판별하는 압흔 결정 엔진(34), 영상 저장부(33)와 연결되어 지속적인 딥러닝을 위한 학습 데이터를 생성하여 저장하고 상기 학습데이터의 학습을 주도하는 딥러닝 학습부(35), 상기 딥러닝 학습부(35)에서 새로운 학습을 통해 정확도를 높인 딥러닝 매개변수를 수신하여 관리하는 딥러닝 매개변수 관리부(36), 및 FPD 패널의 형상이나 단자 형상에 대한 정보, FPD 패널에 적용되는 이방성 도전필름에서의 압흔에 대한 정보 등을 입력하는 기초 정보 입력부(37)를 포함한다.
통상 압흔의 크기는 작업 환경에 따라 다소 차이가 있지만, 대체로 이방성 도전필름의 적용에 따라 결정된다. 이방성 도전필름은 패널에 적용되기 전 접착제를 포함하여 그 두께가 대략 15 내지 35 μm 정도이고, 접착제 내에 분포되는 도전볼의 크기는 대략 3 내지 15 μm 정도가 된다. 따라서 이러한 도전볼에 의해 형성되는 압흔의 크기도 3 내지 8 μm 정도의 크기를 갖게 된다. 이러한 압흔의 크기는 결국 이방성 도전필름을 어떠한 것으로 선택하여 사용하는가에 따라 결정되므로, 기초 정보로 입력될 수 있다.
종래 기술의 압흔 검사시스템은 검사대에 놓여져 압흔 검사되는 FPD 패널의 초기 기초 정보 데이터와 함께 FPD 패널의 촬영 부분인 압흔에 비춰지는 조명의 방향 등에 대한 기초 정보 데이터를 입력한다. 이와 같이 입력되는 압흔 및 조명 등에 대한 정보 데이터를 기초로 하여, 가상의 압흔 형상을 산출하여 저장한다. 그리고, 압흔 영상카메라로 촬영된 데이터를 수신하여 그 영상 데이터와 가상으로 산출된 가상 압흔 형상을 블록별로 대비한다. 대비하여 일치하거나 유사한 형상으로 판별되는 경우 그 압흔은 정상 압흔으로 판별되도록 구성되었다.
종래 기술의 압흔 검사시스템은 다수의 과정을 거치지 않고 압흔의 특성을 분석하여 조명에 대한 밝기값 지수와 관련된 가상 압흔 형상을 이용해 간략한 형상 대비 동작으로 압흔을 신속하고 정확하게 검사할 수 있도록 개선하였다. 그러나 육안 또는 현미경으로 수동 검사하는 것보다는 현저히 개선되었더라도 영상을 정확히 해석하는데는 한계가 있다. 조명의 변화나 영상 카메라의 미세한 움직임에도 영상을 정확히 판별하지 못해 장비를 수리해야 하는 문제가 생긴다.
본 발명에 따른 영상 처리부(30)는 다음과 같은 구성으로 영상 판별력을 개선한다.
영상 입력부(31)는 압흔 영상카메라(20)를 통해 촬영된 영상 데이터를 판별에 적합한 영상 즉 한 프레임으로 구성하여 압흔 결정 엔진(34)으로 전달한다. 조명 조절부(32)는 압흔 영상카메라(20)가 동작하는 시점에 맞추어 명확한 영상을 받을 수 있도록 조명을 제어한다. 여기서 압흔 결정 엔진(34)은 딥러닝 기반의 비전 기술 중 핵심이 되는 CNN(Convolutional Neural Network) 알고리즘을 사용하여 구성된다. CNN은 이미지 분류에 탁월한 성능을 나타내는 알고리즘이다. 딥러닝의 CNN 알고리즘을 이용하여 압흔을 판별하기 위해서는 딥러닝 학습부(35)에서 압흔 상태에 대한 학습이 이루어져야 하고, 이러한 학습을 기반으로 딥러닝 매개변수 관리부(36)는 최적의 딥러닝 알고리즘 매개변수를 확정하여 압흔 결정 엔진(34)에 제공한다. 압흔 결정 엔진(34)은 딥러닝 매개변수 관리부(36)로 제공된 딥러닝 알고리즘 매개변수와 기초 정보 입력부(37)로부터의 정보를 근거로 주어진 영상에 대한 압흔을 판별한다. 자체적인 재학습을 통해 신뢰도를 높이기 위해, 영상 저장부(33)는 저장된 영상들을 주기적으로 딥러닝 학습부에 전달한다.
본 실시예에서는 압흔 결정 엔진(34)이 CNN 알고리즘을 이용하여 구성되지만, 본 발명은 이에 한정되지 않고 RNN(Recurrent Neural Netwrok), LSTM(Long Short Term Memory), DBN(Deep Belief Network) 등과 같이 다른 어느 하나의 알고리즘을 사용하여 이미지를 해석하는 것도 가능함을 표시한다.
도 2는 본 발명에 따른 압흔 검사시스템에 대한 동작을 설명하는 흐름도이다.
단계(S10)에서는 이방성 도전필름에 따른 압흔의 정보, FPD 패널에 대한 정보, 단자의 형태 및 위치에 대한 정보 등과 같이 압흔 판별을 위한 기초 정보를 입력한다. 단계(S20)에서, 압흔 영상카메라(20)를 통해 촬영된 영상 데이터는 판별에 적합한 프레임으로 구성되어 입력된다. 단계(S30)에서는 단계(S10)에서 입력된 기초 정보를 기반으로 압흔 영역을 추출한다. 추출된 압흔 영역을 중심으로 단계(S40) 및 단계(S50)에서는 딥러닝 방식의 압흔 결정 엔진이 압흔 개수와 위치를 추출한다. 각 영역에 대해 추출된 압흔 개수와 위치를 기준으로 단계(S60)에서 정상 압흔인지 여부를 판단한다. 이후 하나의 FPD 패널의 각 단자에 대해, 정상 압흔의 분포가 해당 단자의 정상적인 전기적 접속 상태로 분포되는지를 판별한다. 이는 단계(S10)에서 입력된 단자의 형태 및 위치에 대한 기초 정보를 기준으로 각 단자에 대해 압흔의 분포가 일정 비율 이상인 경우 이방성 도전필름에 의한 접착과 접속이 정상인 것으로 판단한다. 이때 정상 상태는 단자에 대해 절반 이상 또는 2/3 이상으로 압흔이 분포되는 것으로 설정될 수 있으며, 이러한 판별의 설정치는 제품의 특성 및 이방성 도전필름의 특성 등에 의해 결정되므로, 본 발명에서는 특별히 한정되지 않는다.
도 3a, 3b는 종래의 기술과 본 발명을 이용하여 같은 영상의 압흔을 판별한 결과를 도시하는 도면이다.
도 3a에서, 상기의 영상은 종래의 기술로 판별한 결과로, 구분 영역 (1) 내지 (6)의 압흔 개수가 모두 0개인 것으로 판별된다. 이 경우, 단자 접속이 불량한 것으로 판단되지만, 불량으로 판단된 원인은 조명의 변화나 영상카메라의 미세한 움직임으로 영상이 흐려진 결과이다. 도 3b의 영상은 본 발명에 따른 압흔 검사시스템으로 3a와 동일한 영상을 판별한 결과이다. 도시된 바와 같이, 구분 영역(1) 내지 (6)의 압흔 개수가 41, 33, 32, 46, 31, 40개로 흐린 영상에서도 명확하게 영역 내의 압흔의 위치와 개수를 추출한다.
이와 같이, 본 발명에 따른 압흔 검사시스템은 이방성 도전필름이 적용되는 필름의 단자 부분의 접속이 적절하게 이루어졌는가 여부를 용이하게 판별할 수 있을 뿐만 아니라, 기존의 기술에 비하여 보다 신속하고 정확하게 압흔에 대한 검사를 실행하여 압흔에 대한 작업 능률을 더욱 향상시킨다.
본 발명에 따른 압흔 검사시스템은 또한 압흔의 특성이 반영된 이미지에 나타나는 특징변화를 학습하고, 이를 기반으로 카메라를 통해 얻어진 영상을 정확하게 식별하도록 딥러닝 알고리즘을 이용, 최적화하여 압흔에 대한 검사 신뢰성과 정확도를 개선시킨다.
이상으로 본 발명은 도면에 도시된 실시예를 참고하여 설명되었으나, 이는 실시예에 불과하며, 종래 기술에 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 다른 실시예가 가능하다는 것을 인지할 것이다. 따라서, 본 발명의 기술적 보호 범위는 아래의 특허 청구범위에 의해서 판단되어야 한다.
본 발명은 이방성 도전 필름의 압흔 검사 시스템에 사용될 수 있다.

Claims (8)

  1. 검사대에 놓여지는 FPD 패널을 촬영하기 위한 렌즈;
    상기 렌즈 상부 또는 하부에 위치하여 FPD 패널의 영상을 촬영하는 압흔 영상 카메라;
    상기 압흔 영상 카메라로부터 압흔 영상 신호를 수신하여 처리하기 위한 영상 처리부; 및
    미세한 부분에 대한 영상 취득도 용이하게 하기 위한 조명부를 포함하고,
    상기 영상 처리부는
    상기 압흔 영상 카메라로부터 영상을 수신하는 영상 입력부;
    상기 조명부에 연결되어 조명의 구동 제어 신호를 조절하여 전송하는 조명 조절부;
    상기 압흔 영상 카메라로부터 상기 영상 입력부로 입력된 영상을 저장하는 영상 저장부;
    상기 영상 입력부로부터 수신된 영상을 딥러닝을 기반으로 압흔을 판별하는 압흔 결정 엔진;
    상기 영상 저장부와 연결되어 지속적인 딥러닝을 위한 학습 데이터를 구성하고 학습을 실행하는 딥러닝 학습부;
    상기 딥러닝 학습부에서 학습을 통해 정확도를 높인 딥러닝 매개변수를 수신하여 관리하는 딥러닝 매개변수 관리부; 및
    FPD 패널의 형상이나 단자 형상에 대한 정보, FPD 패널에 적용되는 이방성 도전필름에서의 압흔에 대한 정보 등을 입력하는 기초 정보 입력부를 포함하고,
    상기 압흔 결정 엔진은 상기 딥러닝 매개변수 관리부에서 전달된 딥러닝 알고리즘 정보와, 상기 기초 정보 입력부에서 전달된 FPD 패널 등에 대한 기초 정보와, 상기 영상 입력부로부터 전달된 영상으로부터 압흔 상태를 판별하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템.
  2. 제 1항에 있어서,
    상기 압흔 결정 엔진은 딥러닝의 비전 기술인 CNN(Convolutional Neural Network), RNN(Recurrent Neural Netwrok), LSTM(Long Short Term Memory), 또는 DBN(Deep Belief Network) 등의 알고리즘중 어느 하나를 사용하여 압흔을 판별하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템.
  3. 제 1 항에 있어서,
    상기 딥러닝 학습부는 적용하고자 하는 이방성 도전필름의 특성에 따라 압흔 특징을 정확히 추출할 수 있는 학습 데이터를 생성하여 저장하고, 저장된 학습데이터의 학습을 실시하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템.
  4. 제 1 항에 있어서,
    상기 딥러닝 학습부는 상기 영상 저장부에 저장된 영상들을 주기적으로 이용하여 학습 데이터를 생성하고 상기 딥러닝 매개변수 관리부에 상기 학습 데이터를 전달하여 딥러닝 매개변수를 업데이트하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템.
  5. 검사대에 놓여지는 FPD 패널을 압흔 영상 카메라로 쵤영하는 단계;
    촬영된 상기 압흔 영상을 수신하여 처리하는 단계; 및
    미세한 부분에 대한 영상 취득도 용이하게 하기 위한 조명을 제어하는 단계를 포함하고,
    상기 영상을 처리하는 단계는
    상기 압흔 영상 카메라로부터 영상을 수신하는 단계;
    상기 조명에 연결되어 조명의 구동 제어 신호를 조절하여 전송하는 단계;
    상기 압흔 영상 카메라로부터 입력된 영상을 저장하는 단계;
    수신된 영상들을 딥러닝을 기반으로 압흔을 판별하는 단계;
    상기 저장된 영상과 연결되어 지속적인 딥러닝을 위한 학습 데이터를 구성하고 학습을 실행하는 단계;
    상기 딥러닝 학습을 실행하는 단계를 통해 정확도를 높인 딥러닝 매개변수를 수신하여 관리하는 단계; 및
    FPD 패널의 형상이나 단자 형상에 대한 정보, FPD 패널에 적용되는 이방성 도전필름에서의 압흔에 대한 기초 정보 등을 입력하는 단계
    를 포함하고,
    상기 압흔을 판별하는 단계는 상기 딥러닝 매개변수을 관리하는 단계에서 주어진 딥러닝 알고리즘 정보와, 상기 기초 정보 입력 단계에서 주어진 FPD 패널 등에 대한 기초 정보와, 상기 영상 입력 단계에서 주어진 영상으로부터 압흔 상태를 판별하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템의 제어 방법.
  6. 제 5 항에 있어서,
    상기 압흔을 판별하는 단계는 딥러닝의 비전 기술인 CNN(Convolutional Neural Network), RNN(Recurrent Neural Netwrok), LSTM(Long Short Term Memory), 또는 DBN(Deep Belief Network) 등의 알고리즘 중 어느 하나를 사용하여 압흔을 판별하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사 시스템의 제어 방법.
  7. 제 5 항에 있어서,
    상기 딥러닝 학습을 실행하는 단계는 적용되는 이방성 도전필름의 특성에 따른 압흔 특징을 정확히 추출할 수 있는 학습 데이터를 구성하여 학습을 실시하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템의 제어 방법.
  8. 제 5 항에 있어서,
    상기 딥러닝 학습을 실행하는 단계는 상기 영상을 저장하는 단계에서 저장된 영상들을 주기적으로 이용하여 학습 데이터를 생성하고 상기 딥러닝 매개변수를 관리하는 단계에서 딥러닝 매개변수를 업데이트하는 것을 특징으로 하는 딥러닝을 기반으로 한 압흔 검사시스템의 제어 방법.
KR1020180070039A 2018-06-19 2018-06-19 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법 KR20200003308A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180070039A KR20200003308A (ko) 2018-06-19 2018-06-19 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180070039A KR20200003308A (ko) 2018-06-19 2018-06-19 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106132A Division KR20200103585A (ko) 2020-08-24 2020-08-24 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Publications (1)

Publication Number Publication Date
KR20200003308A true KR20200003308A (ko) 2020-01-09

Family

ID=69154922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070039A KR20200003308A (ko) 2018-06-19 2018-06-19 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Country Status (1)

Country Link
KR (1) KR20200003308A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351450B (zh) * 2020-03-20 2021-09-28 南京理工大学 基于深度学习的单帧条纹图像三维测量方法
KR102341236B1 (ko) * 2021-03-22 2021-12-20 미소에이스 주식회사 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351450B (zh) * 2020-03-20 2021-09-28 南京理工大学 基于深度学习的单帧条纹图像三维测量方法
KR102341236B1 (ko) * 2021-03-22 2021-12-20 미소에이스 주식회사 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법

Similar Documents

Publication Publication Date Title
CN103858001B (zh) 用于检查平板的方法
KR101711073B1 (ko) 딥 러닝 알고리즘을 적용한 플렉서블 터치스크린 패널 미세 크랙 검출 장치 및 방법
JPH09275272A (ja) 相関神経回路網を利用した半田付け検査装置およびその方法
CN109348129A (zh) 一种定焦摄像头的清晰度检测方法及系统
CN112033971A (zh) 一种视觉瑕疵检测系统及方法
US20220222855A1 (en) System and method for determining whether a camera component is damaged
KR20200003308A (ko) 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법
CN110709749B (zh) 组合式明视场和相衬显微镜系统及配备其的图像处理设备
CN112333443A (zh) 一种镜头性能检测系统及方法
WO2022247067A1 (zh) 智能视力测试方法、装置及系统
CN113624458B (zh) 基于双路全投射光的薄膜均匀性检测系统
KR20200103585A (ko) 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법
Du et al. An automated optical inspection (AOI) platform for three-dimensional (3D) defects detection on glass micro-optical components (GMOC)
CN112730442A (zh) 基于机器视觉的产品表面缺陷自动在线检测装置及系统
KR101094968B1 (ko) 휘도값을 이용한 글래스 기판 상의 이물 감지 시스템 및 그방법
KR102341236B1 (ko) 딥러닝을 기반으로 한 압흔 검사시스템 및 압흔 검사시스템의 제어 방법
KR100847740B1 (ko) 압흔검사시스템 및 압흔검사시스템의 제어방법
CN115236093B (zh) 光学检测系统、其控制方法、电子设备及存储介质
CN107709923B (zh) 形状测定装置及搭载有形状测定装置的涂布装置
WO2018154871A1 (ja) 観察装置、観察システム及び観察装置の制御方法
US11704786B2 (en) Stress luminescence measurement method and stress luminescence measurement device
US8234094B2 (en) System and method for testing liquid crystal display device
CN114384089A (zh) 检测智能显示屏的系统、方法及可读存储介质
KR102188568B1 (ko) 인공지능 기반의 디스플레이 패널 검사방법
CN208623750U (zh) 智能工业相机

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
A107 Divisional application of patent
AMND Amendment
X601 Decision of rejection after re-examination