KR20210131695A - Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법 - Google Patents

Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법 Download PDF

Info

Publication number
KR20210131695A
KR20210131695A KR1020200050103A KR20200050103A KR20210131695A KR 20210131695 A KR20210131695 A KR 20210131695A KR 1020200050103 A KR1020200050103 A KR 1020200050103A KR 20200050103 A KR20200050103 A KR 20200050103A KR 20210131695 A KR20210131695 A KR 20210131695A
Authority
KR
South Korea
Prior art keywords
led panel
defects
detecting
data
image
Prior art date
Application number
KR1020200050103A
Other languages
English (en)
Other versions
KR102390058B1 (ko
Inventor
김강직
김현빈
이병대
전준철
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Priority to KR1020200050103A priority Critical patent/KR102390058B1/ko
Publication of KR20210131695A publication Critical patent/KR20210131695A/ko
Application granted granted Critical
Publication of KR102390058B1 publication Critical patent/KR102390058B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법은 딥 러닝 네트워크를 기반한 객체 탐지 알고리즘 학습이 필요한 결함 LED 패널 데이터 세트를 생성하여 객체 탐지의 정확도를 높일 수 있다.

Description

LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법 {DATA GENERATION DEVICE AND METHOD FOR LED PANEL DEFECT DETECTION}
본 발명은 LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 딥 러닝 네트워크를 기반한 객체 탐지 알고리즘 학습이 필요한 결함 LED 패널 데이터 세트를 생성하여 객체 탐지의 정확도를 높일 수 있는 LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법에 관한 것이다.
최근에는 TV, 핸드폰, 태블릿 등의 기기에는 다양한 종류의 디스플레이가 사용된다. 그 중에서도 가장 많이 사용되는 것은 엘이디(LED)이다. LED는 수백만개의 화소로 구성되어 있는데, 그 중 단 몇 개의 화소가 없거나 화면 긁힘으로 인해 생기는 결함들은 화면의 품질을 매우 저하시킨다. LED에 결함이 있는 경우 사용자들은 화면을 시청하는데 있어서 큰 불편함을 느낀다. 이러한 이유로 LED 패널을 생산하는 공장에서는 LED 패널에서의 결함이 발견되는 불량 패널들을 구별하는 작업을 수행해 왔다. 하지만 결함들의 크기가 일반적으로 매우 작기 때문에 사람이 직접 눈으로 찾아내는 것을 힘든 일이다. 심지어 최근에 개발되는 LED 화면들은 크기도 대형화되지만 고해상도의 품질이 요구되어 한 화면에 존재하는 화소가 수백만개 이 상이다. 이러한 이유로 큰 화면에 수백만개의 조밀하고 일정한 간격으로 배치되어 있는 화소들 중에서 결함을 찾는 것은 매우 어려운 과제로 여겨왔다. LED 패널에서 결함은 일반적으로 두 가지로 나누어 볼 수 있다. 하나는 화면을 구성하는 화소들 중 단일 화소 또는 화소 집단이 없는 내관 결함이다. 두번째는 화소들이 들어있는 LED 패널 자체에 생기는 긁힘이나 이물질 개입 등으로 생기는 외관 결함이다. 내관 결함과 외관 결함은 그 특징이 다르게 때문에 두가지 결함을 동시에 찾아내는 것은 더 어렵다.
종래에는 컴퓨터 비전의 영상처리 알고리즘들을 활용하여 규칙을 기반으로 수백만개의 화소 중에서의 결함을 검출하려는 시도들이 있었다. 대표적으로 임계 값을 활용하거나 엣지 정보를 이용한 모양 같은 윤곽선을 활용한 시도들이 있었다. 하지만 결함의 모양과 크기는 다양하여 알고리즘에서 사용되는 상수 값들을 매번 조절하여 찾아야 하는 불편함이 있다.
최근에 딥 러닝(Deep Learning)을 활용한 연구들이 활발해짐에 따라 합성곱 신경망(Convolutional Neural Network)를 활용하여 기존의 알고리즘들을 압도하는 성능을 보였고, 이를 통해 다양한 컴퓨터 비전의 문제들을 해결하고 있다. 영상 분류, 객체 탐지, 영상 분할, 영상 생성 등의 분야들에서의 빠른 속도로 이루어지고 있다. 일반적으로 딥 러닝 네트워크를 학습시키는 것에는 많은 데이터가 필요한데 LED 패널 결함 검출 분야에서는 데이터 수집이 어려워 딥 러닝을 할 수 있는 데이터가 많이 존재하지 않는다. 딥 러닝을 적용하여 LED 패널 결함을 검출하기 위해서는 많은 LED 결함 데이터가 필요하다. 하지만 실제 공장에서 생성되는 LED 결함은 발생 빈도가 적고, 수 천만개의 화소들이 있는 LED 패널에서 결함을 찾아 라벨링(Labeling)하는 것도 많은 시간이 소요된다. 때로는 결함이 있는 LED패널이지만 작업자의 실수로 라벨링을 못하는 경우도 발생한다. 결함 데이터의 부족은 정확하고 다량의 데이터가 필요한 딥 러닝 네트워크의 학습 과정을 잘못된 학습으로 유도하게끔 만들 수 있기 때문에 결함 데이터 확보는 매우 중요하다.
본 발명의 배경기술은 대한민국 등록특허 제10-1400757호에 게시되어 있다.
본 발명은 딥 러닝 네트워크를 기반한 객체 탐지 알고리즘 학습이 필요한 결함 LED 패널 데이터 세트를 생성하는 LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법을 제공한다.
본 발명은 결함 LED 패널 영상의 수를 증폭하여 객체 탐지 정확도를 높이기 위한 딥 러닝 네트워크 기반 객체 탐지를 진행할 수 있는 생성하는 LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법을 제공한다.
본 발명은 LED 패널의 외관 결함과 내관 결함을 동시에 검출할 수 있는 LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 있는 LED 패널 결함 검출을 위한 데이터 생성 장치를 제공한다.
본 발명의 일 실시예에 따른 LED 패널 영상을 획득하는 입력부, 상기 LED 패널 영상을 딥 러닝하기 위해 전처리를 수행하는 전처리부 및 결함 데이터를 상기 LED 패널 영상에 결합하여 결함 LED 패널 영상을 생성하는 생성부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, LED 패널 결함 검출을 위한 데이터 생성 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 LED 패널 영상을 획득하는 단계, 상기 LED 패널 영상을 딥 러닝하기 위해 전처리하는 단계 및 결함 데이터가 포함된 결함 LED 패널 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법은 딥 러닝 네트워크를 기반한 객체 탐지 알고리즘 학습이 필요한 결함 LED 패널 데이터 세트를 생성하여 객체 탐지의 정확도를 높일 수 있다.
본 발명의 일 실시 예에 따르면, LED 패널 결함 검출을 위한 데이터 생성 장치 및 방법은 LED 패널의 외관 결함과 내관 결함을 동시에 검출할 수 있다.
도 1 은 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 장치를 설명하기 위한 도면.
도2내지 도4는 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 방법을 설명하기 위한 도면들.
도 5 내지 도 12는 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 장치의 예시들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 은 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 장치를 설명하기 위한 도면이다.
도 1을 참조하면, LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 입력부(100), 전처리부(200), 생성부(300) 및 딥 러닝부(400)을 포함한다.
입력부(100)는 LED 패널을 촬상한 이미지를 획득한다. 예를 들면 입력부(100)는 LED 패널과 수직으로 일정한 거리에 배치된 카메라를 사용하여 LED 패널을 촬상한다. 이때 촬상한 영상의 크기는 가로 4096픽셀 * 세로 2196 픽셀인 고해상도이고 3채널 RGB 영상일 수 있다.
전처리부(200)는 LED 패널 영상을 딥 러닝하기에 적합하도록 전처리를 작업(도 2 S220)을 수행한다. 전처리부(200)는 LED 패널 결함을 추출하기에 적합하도록 양상의 크기를 조절하여 불필요한 영역을 제외시킨다. 전처리부(200)는 원본 영상에서 배경을 모두 제거하고 LED 패널 부분만 추출한다. 전처리부(200)는 LED 패널 영상 속에 있는 화소들이 너무 작기 때문에 해상도를 최대한 유지시키기 위해 Resize나 Reshape 연산을 이용하지 않고 크롭(Crop) 연산을 이용해 영상을 자른다.
생성부(300)는 LED 패널 결함 검출 학습을 위한 데이터 세트를 생성한다. 자세히 설명하면 생성부(300)는 딥 러닝 네트워크에서 LED 패널 결함 검출을 위해 사용되는 결함 LED 패널 데이터를 생성한다. LED 패널 결함은 기스, 이물질 등으로 생기는 외관 결함과 내부적으로 화소가 빠지거나 없는 내부 결함이 존재하지만 이런 결함들은 쉽게 생기지 않는다. 하지만 딥 러닝 네트워크가 정확하게 결함을 검출하기 위해서는 다양한 결함 데이터가 반드시 필요하다. 결함이 존재하는 LED 패널 영상에서 포토샵을 이용하여 결함의 테두리만 분할하여 결함 데이터를 추출할 수 있다. 하지만 이렇게 결함을 분할하는 경우 그 개수가 매우 적어 딥 러닝 네트워크를 통해 학습한다면 오버피팅(overfitting)을 야기할 가능성이 커서, 범용성을 갖추기 힘들다. 딥 러닝 네트워크가 범용성을 갖추지 못하면 새로운 결함에 대해 예측을 못할 가능성이 크다. 생성부(300)는 분할된 결함들을 대칭(Filp), 회전(Rotation) 등의 증폭(Augmentation) 기법을 통해 개수를 늘린 후, 각 결함들을 임의적으로 서로 조합하여 새로운 결함을 생성할 수 있다. 생성부(300)는 실제 획득한 결함 데이터를 기하 변형하고 임의적으로 서로 조합하여 딥 러닝 네트워크가 다양성에 대해 충분히 대응할 수 있는 다양한 결함을 새롭게 생성할 수 있다. 생성부(300)는 생성된 다양한 결함들을 결함이 없는 LED 패널 속에 랜덤하게 위치시키는 방법을 통해 딥 러닝 데이터 세트를 생성할 수 있다. 즉, 생성부(300)는 다양한 결함들을 LED 패널 영상에 결합하여 결함 LED 패널 영상을 생성한다.
생성부(300)는 결함을 생성하는 과정을 반복하여 복수 개의 결함을 LED 패널에 생성한다. 생성부(300)는 검사가 완료된 결함들의 좌표와 종류들을 특정 텍스트 파일안에 저장하고 객체 탐지 알고리즘에 라벨로 사용한다. 생성부(300)는 반복적인 작업을 통해 1000개 이상의 LED 결함 영상을 생성할 수 있다.
딥 러닝부(400)는 객체 탐지 알고리즘을 이용해 LED 패널 결함을 학습하고 탐지한다. 예를 들면, 딥 러닝부(400)는 객체 탐지 분야의 대표적인 YOLOv3 알고리즘을 이용해 LED 패널 결함을 탐지할 수 있다. 자세히 설명하면, YOLOv3의 구조를 그대도 사용하여 LED 패널 결함을 탐지할 수 있다. 다만, 하이퍼 파라미터(Hyper Parameter)로 배치 사이즈는 20으로 하고, YOLOv3를 학습시키기 위해 영상의 크기는 416으로 재 조정하고, 에폭(Epoch)은 120으로 설정할 수 있다.
표 1은 딥 러닝부(400)가 생성부(300)에서 생성된 테스트 데이터 세트를 80%로 하고, 20% 학습 데이터 세트로 검증한 성능 결과이다. 테스트 데이터 세트와 학습 데이터 세트는 완전히 다른 결함으로 생성된 데이터 세트들이다. 테스트 데이터 세트는 않는 LED 패널 결함 검출을 위한 데이터 생성 장치(10)가 생성한 새로운 결함이다.
종류 정밀도 재현율 평균 정밀도 F1 Score
전체 결함 0.789 0.821 0.761 0.802
외관 결함 0.907 0.845 0.818 0.875
내관 결함 0.67 0.798 0.704 0.729
표1을 참조하면, 평균 정밀도(Mean Average Precision)는 IOU(Intersection Over Union) 50%일 때를 의미하는 것으로 전체 결함에 대해서는 0.786(78.6%), 외관 결함(Out-Defect)은 0.907, 내관 결함(In-Defect)은 0.67 의 성능을 보여준다. 즉, LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 학습 데이터 세트에 포함되지 않는 새로운 결함들로 구성된 테스트 데이터 세트를 잘 예측한다고 볼 수 있다. 표 1에서 재현율(Recall)이 높은데도 불구하고 정밀도(Precision)가 낮은 이유는 정밀도(Precision) 측정에 쓰이는 IOU를 아주 낮게 설정했기 때문이다. 만약 정밀도(Precision)의 IOU를 평균 정밀도(mAP)에서와 같이 0.5로 설정한다면 정밀도(Precision)의 값은 높아진다. F1 Score는 정밀도(Precision)와 재현율(Recall)의 조화 평균이므로 정밀도가 높아지면 같이 높아질 것이다.
도 2내지 도 4는 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 방법을 설명하기 위한 도면들이다. 이하 설명하는 각 과정은 LED 패널 결함 검출을 위한 데이터 생성 장치를 구성하는 각 기능부가 수행하는 과정이나. 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 LED 패널 결함 검출을 위한 데이터 생성 장치로 통칭하도록 한다.
도 2를 참조하면, 단계 S210에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 결함이 없는 LED 패널을 촬상하여 영상을 획득한다.
단계 S220에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 획득한 LED 패널 영상을 딥 러닝 네트워크에서 학습하기에는 영상이 매우 크고, 불필요한 부분이 포함되어 있으므로 적합한 상태로 전처리 작업을 수행한다. LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 LED 패널 영상의 화소들이 매우 작기 때문에 해상도를 최대한 유지시켜야 하기에 영상의 크기를 변화시키는 별도의 Resize나 Reshape 연산을 이용하지 않고 크롭 연산을 이용한다. 상세한 전처리 작업은 도 3에서 설명하도록 하자.
단계 S230에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 딥 러닝 시에 사용할 LED 패널 결함이 포함된 결함 LED 패널 영상을 생성한다. 상세한 전처리 작업은 도 4에서 설명하도록 하자.
단계 S240에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 생성된 결함 LED 패널 영상을 테스트 데이터 세트로 하고, 딥 러닝 네트워크를 통해 LED 패널 결함 검출을 위한 학습을 한다.
도 3은 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 장치(10)가 수행하는 전처리 작업(도2 단계S220)을 설명한다.
도 3을 참조하면, 단계 S221에서 전처리부(200)는 우선적으로 필요 없는 배경을 제외한다.
단계 S223에서 전처리부(200)는 LED 패널 영상에서 LED 패널과 배경을 분리한다.
단계 S225에서 전처리부(200)는 영상의 상하좌우에서 패널이 없는 부분은 잘라낸다. 예를 들면, 전처리부(200)는 영상의 각 상하좌우에서 LED 패널의 검정색 경계의 위치를 파악하고, LED 패널 부분만 크롭 연산을 수행하여 자른다.
단계 S227에서 전처리부(200)는 LED 패널 영상을 정사각형으로 추출한다. 예를 들면 전처리부(200)는 LED 패널 영상의 상하좌우를 랜덤하게 패딩(padding)하여 LED 패널 영상을 가로 2000픽셀 * 세로 2000픽셀의 정사각형으로 크롭 연산을 수행한다. 정사각형은 딥 러닝 네트워크를 이용할 때 효율적인 형태이다.
도 4는 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 장치(10)가 수행하는 LED 패널 영상에 결함을 생성하는 방법(도2 단계 S230)을 설명한다.
도 4를 참조하면, LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 도 2 단계 S220을 통해 추출한 정사각형 LED 패널 열상을 사용한다. 단계 S231에서 생성부(300)는 직접 생성한 다양한 결함을 무작위로 선택한다.
단계 S233에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 선택한 결함을 대칭이나 회전 등을 무작위로 선택하여 기하 변형을 수행한다
단계 S235에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 선택된 결함을 정사각형 LED 패널 영상에 무작위로 좌표를 선택하여 위치 시킨다.
단계 S237에서 LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 결함의 위치가 다른 결함과 겹치지는 않는지 , 결함이 LED 패널 영역의 테두리 경계를 벗어나지 않는지 검사한다. 결함이 겹쳐지거나 LED 패널 영역 외부에 있는 경우 객체 탐지 성능 상 부정확한 결과가 발생할 수 있다.
LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 도 3의 과정들을 N번 반복하여 복수 개의 결함을 LED 패널에 생성한다. LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 반복적인 작업을 통해 1000개 이상의 LED 결함 영상을 생성할 수 있다. LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 실제 획득한 결함 데이터를 기하 변형하고 임의적으로 서로 조합하여 딥 러닝 네트워크가 다양성에 대해 충분히 대응할 수 있는 다양한 결함을 새롭게 생성할 수 있다.
도 5 내지 도 12는 본 발명의 일 실시 예에 따른 LED 패널 결함 검출을 위한 데이터 생성 장치의 예시들이다.
도 5를 참조하면, LED 패널 결함 검출을 위한 데이터 생성 장치(10)가 LED 패널 영상을 촬상하기 위한 입력부(100)의 예시이다.
입력부(100)는 촬상부(101), 조명부(102) 및 패널표시부(103)를 포함한다.
촬상부(101)는 LED 패널과 수직으로 일정한 거리에 배치된 카메라를 사용하여 LED 패널 영상을 촬상한다. 예를 들면, 촬상부(101)가 촬상한 LED 패널 영상은 가로 4096 픽셀, 세로 2196 픽셀 크기의 고해상도 영상이고, 3채널 RGB 영상일 수 있다.
조명부(102)는 LED 패널이 명확하게 보일 수 있도록 일정한 빛을 조사한다. 예를 들면 조명부(102)는 LED 패널의 위, 아래와 양 옆에 형광등을 배치하여 일정한 빛을 조사할 수 있다.
패널 표시부(103)는 LED 패널 위에 위치시켜 촬상부(101)가 LED 패널을 안정적으로 촬상하여 LED 패널 영상 획득하도록 한다.
도 6을 참조하면, LED 패널 결함 검출을 위한 데이터 생성 장치(10)는 입력부(100)를 통해 고해상도의 LED 패널 영상을 획득할 수 있다.
도 7은 전처리부(200)에 의해 진행되는 LED 패널 영상의 처리과정의 예시이다.
전처리부(200)는 고해상도의 LED 패널 영상(도7의 ①)을 중앙을 기준으로 양 옆 배경을 일정한 간격으로 크롭(Crop) 연산을 수행(도 7의 ②)한다.
도7의 ③은 배경을 크롭 연산한 LED 패널 영상을 적용적 이진화(Adaptive Thresholding)를 수행하여 패널과 배경을 분리한 예시이다. 예를 들면, 전처리부(200)는 블록(Block) 크기는 20으로 설정하고, 밸류(Value) C는 15로 설정하여 적응적 이진화를 수행할 수 있다.
도 7의 ④는 전처리부(200)가 LED 패널 부분만 추출하기 위해 영상의 각 상하좌우에서 패널의 검정색 테두리에 도달할 때까지의 각 위치를 파악하여 크롭 연산을 수행한 예시 영상이다.
도 7의 ⑤는 전처리부(200)가 딥 러닝부(400)의 효율적인 학습을 위해 패딩(Padding)하여 영상의 크기를 정상각형으로 생성한 예시이다. 예를 들면 전처리부(200)는 LED 패널 영상을 각 상하좌우를 랜덤하게 패딩(Padding)하여 크기를 가로 2000픽셀, 세로 2000 픽셀의 정사각형으로 추출한다.
도 8을 참조하면, 왼쪽은 LED 패널에서 외관 결함(Out-Defect)을 분할한 예시이고, 오른쪽은 내관 결함(In-Defect)들을 분리한 예시이다.
도 9를 참조하면, 도9의 ① 은 LED 패널 결함 원본 영상이고, 도 9의 ②는 기하 변형에 의해 생성된 결함 영상이고, 도 9의 ③은 실제 LED 패널 영상에 결함을 무작위 좌표로 적용시킨 결함 LED 패널 영상이다.
도 10을 참조하면, 결함이 없는 LED 패널 영상에 결함 데이터를 생성한 예시이다. 자세히 설명하면 흰색 실선 상자는 외관 결함(Out-Defect)을 의미하고, 검정색 점선 상자는 내관 결함(In-Defect)을 의미한다.
도 11을 참조하면, LED 패널 결함 검출을 위한 데이터 생성 장치(10)가 생성한 결함이 있는 LED 패널 영상을 딥 러닝 네트워크를 통해 탐지하고 예측한 결과 예시이다. 딥 러닝부(400)는 내관 결함(In-Defect)인지 외관 결함(Out-Defect)인지 표시하고 그에 대한 확률도 함께 표시한다. 딥 러닝부(400)는 LED 패널 영상에서 탐지된 결함과 실제 결함을 표시하여 예측 결과를 확인할 수 있다.
도 11을 확대한 도 12를 참조하면, 도 12의 ① 및 도 12의 ②의 검정색 실선 상자는 딥 러닝부(400)가 예측한 외관 결함이고, 흰색 실선 상자는 실제 외관 결함이다. 도 12의 ③과 도 12의 ④의 검정색 점선 상자는 딥 러닝부(400)가 예측한 내관 결함이고, 도 12의 ③에서 검정색 점선 상자와 겹쳐진 흰색 점선 상자는 실제 내관 결함이다. 도 12의 ① 및 도 12의 ②에서와 같이 흰색 실선과 검정색 실선(이 겹치수록, 외관 결함에 대한 예측이 성공적인 것이고, 도 12의 ③에서와 같이 흰색 점선과 검정색 점선 겹칠수록 내관 결함에 대한 예측이 성공적인 것이다. 도 12의 ① 및 도 12의 ②를 참조하면, 큰 결함 뿐만 아니라 작은 결함에 대해서도 예측의 정확도가 높다.
상술한 LED 패널 결함 검출을 위한 데이터 생성 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: LED 패널 결함 검출을 위한 데이터 생성 장치
100: 입력부
200: 전처리부
300: 생성부
400: 딥 러닝부

Claims (9)

  1. LED 패널 결함 검출을 위한 데이터 생성 장치에 있어서,
    LED 패널 영상을 획득하는 입력부;
    상기 LED 패널 영상을 딥 러닝하기 위해 전처리를 수행하는 전처리부; 및
    결함 데이터를 상기 LED 패널 영상에 결합하여 결함 LED 패널 영상을 생성하는 생성부를 포함하는 LED 패널 결함 검출을 위한 데이터 생성 장치.
  2. 제1 항에 있어서,
    딥 러닝 네트워크를 통해 LED 패널 결함 검출을 위한 학습을 하는 딥 러닝부를 더 포함하는 LED 패널 결함 검출을 위한 데이터 생성 장치.
  3. 제1항에 있어서,
    상기 전처리부는
    상기 LED 패널 영상을 크롭 연산하는 LED 패널 결함 검출을 위한 데이터 생성 장치.
  4. 제1 항에 있어서,
    상기 결함 데이터는
    결함 LED 패널에서 결함 테두리만 분할하여 추출하는 LED 패널 결함 검출을 위한 데이터 생성 장치.
  5. LED 패널 결함 검출을 위한 데이터 생성 방법에 있어서,
    LED 패널 영상을 획득하는 단계;
    상기 LED 패널 영상을 딥 러닝하기 위해 전처리하는 단계; 및
    결함 데이터가 포함된 결함 LED 패널 영상을 생성하는 단계를 포함하는 LED 패널 결함 검출을 위한 데이터 생성 방법.
  6. 제5항에 있어서,
    딥 러닝 네트워크를 통해 LED 패널 결함 검출을 위한 학습 단계를 더 포함하는 LED 패널 결함 검출을 위한 데이터 생성 방법.
  7. 제 5 항에 있어서,
    상기 LED 패널 영상을 딥 러닝하기 위해 전처리하는 단계는
    상기 LED 패널 영상을 크롭 연산하는 LED 패널 결함 검출을 위한 데이터 생성 방법.
  8. 제5 항에 있어서,
    상기 결함 데이터는
    결함 LED 패널에서 결함 테두리만 분할하여 추출하는 LED 패널 결함 검출을 위한 데이터 생성 방법.
  9. 제 5 항 내지 제 8 항의 LED 패널 결함 검출을 위한 데이터 생성 방법 중 어느 하나를 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020200050103A 2020-04-24 2020-04-24 Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법 KR102390058B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200050103A KR102390058B1 (ko) 2020-04-24 2020-04-24 Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200050103A KR102390058B1 (ko) 2020-04-24 2020-04-24 Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210131695A true KR20210131695A (ko) 2021-11-03
KR102390058B1 KR102390058B1 (ko) 2022-04-22

Family

ID=78505350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200050103A KR102390058B1 (ko) 2020-04-24 2020-04-24 Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102390058B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037700A (zh) * 2021-12-31 2022-02-11 成都数联云算科技有限公司 面板缺陷检测方法、装置、电子设备及存储介质
CN117252876A (zh) * 2023-11-17 2023-12-19 江西斯迈得半导体有限公司 一种led支架缺陷检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200004824A (ko) * 2018-07-02 2020-01-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200004824A (ko) * 2018-07-02 2020-01-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037700A (zh) * 2021-12-31 2022-02-11 成都数联云算科技有限公司 面板缺陷检测方法、装置、电子设备及存储介质
CN117252876A (zh) * 2023-11-17 2023-12-19 江西斯迈得半导体有限公司 一种led支架缺陷检测方法及系统
CN117252876B (zh) * 2023-11-17 2024-02-09 江西斯迈得半导体有限公司 一种led支架缺陷检测方法及系统

Also Published As

Publication number Publication date
KR102390058B1 (ko) 2022-04-22

Similar Documents

Publication Publication Date Title
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
EP3531114B1 (en) Visual inspection device and illumination condition setting method of visual inspection device
JP4882529B2 (ja) 欠陥検出方法および欠陥検出装置
US20170069075A1 (en) Classifier generation apparatus, defective/non-defective determination method, and program
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
KR102168724B1 (ko) 이미지 검사를 이용한 이상 판별 방법 및 장치
KR102390058B1 (ko) Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법
CN108872085B (zh) 基于蓝色波段透射图像检测的脐橙烂心无损检测方法
JP6754155B1 (ja) 教師データ生成装置、検査装置およびコンピュータプログラム
JP2013134666A (ja) 二値画像生成装置、分類装置、二値画像生成方法および分類方法
US11555789B2 (en) Systems, methods and apparatus for autonomous diagnostic verification of optical components of vision-based inspection systems
JP2009115566A (ja) パネルの欠陥位置の特定装置
JP6488366B2 (ja) 色に基づく異物検出システム
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
US20210383168A1 (en) Method for labeling image
SG193874A1 (en) Probe mark inspection
CN116256366A (zh) 一种芯片缺陷的检测方法、检测系统及存储介质
CN110880171A (zh) 一种显示装置的检测方法及电子设备
KR20220111214A (ko) 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램
JP2000132684A (ja) 外観検査方法
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2004286708A (ja) 欠陥検出装置、方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant