KR20200092143A - 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 - Google Patents
딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200092143A KR20200092143A KR1020190009318A KR20190009318A KR20200092143A KR 20200092143 A KR20200092143 A KR 20200092143A KR 1020190009318 A KR1020190009318 A KR 1020190009318A KR 20190009318 A KR20190009318 A KR 20190009318A KR 20200092143 A KR20200092143 A KR 20200092143A
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- type
- defective
- channel
- display panel
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
본 기술은 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법이 개시된다. 본 기술의 구체적인 예에 따르면, 디스플레이 패널의 제조 과정에서 딥러닝 신경망을 이용하여 디스플레이 패널의 불량 진단을 자동으로 수행함에 따라 해당 디스플레이 패널의 불량 진단에 정확도를 향상시킬 수 있고, 육안 검사에 따른 인적 오류를 방지할 수 있으며, 인적 및 비용적 손실을 방지할 수 있고, 다양한 각도 및 조명 조건에 따라 획득된 다 채널의 영상 정보를 토대로 디스플레이 패널의 불량 여부를 판정함에 따라 불량 판정에 대한 정확도 및 정밀도를 향상시킬 수 있고, 불량 유형 별로 불량에 대한 불량 학습값에 대한 신뢰도의 차로 불량 가중치를 설정하고 설정된 불량 가중치를 각 불량 학습값에 부여하여 최종 불량을 판정함에 따라 디스플레이 패널의 판정 결과에 대한 신뢰도를 향상시킬 수 있다.
Description
본 발명은 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 적어도 하나의 카메라를 통해 다각도 및/또는 다조명 조건으로 획득된 다채널의 영상 정보를 토대로 디스플레이 패널의 불량을 정확하게 진단할 수 있는 기술에 관한 것이다.
디스플레이 장치에서는 제조하는 과정에서 표시 신호선 등의 단선 또는 단락이나 화소에 결함이 있는 경우 이들을 일정한 검사를 통하여 미리 걸러낸다. 이러한 검사의 종류에는 어레이 테스트(array test), VI(visual inspection) 테스트, 및 모듈 테스트(module test) 등이 있다.
어레이 테스트는 개별적인 셀(cell)들로 분리되기 전에 일정한 전압을 인가하고 출력 전압의 유무를 통하여 표시 신호선의 단선 여부를 알아보는 시험이며, VI 테스트는 개별적인 셀 들로 분리된 후 일정한 전압을 인가한 후 사람의 눈으로 보면서 표시 신호선의 단선 여부를 알아보는 시험이다. 모듈 테스트는 구동 회로를 장착한 후 최종적으로 구동 회로의 정상 동작 여부를 알아보는 시험이다.
이러한 각종 검사는 자동으로 이루어지는 부분도 있지만 디스플레이 장치이기 때문에 최종적으로 사람에 의한 육안 검사가 있어야 한다.
육안 검사를 위해서는 별도로 플리커 패턴이나 잔상 패턴 등을 띄워 제품의 상태를 최종적으로 검사하는데, 컴퓨터와 디스플레이 장치 사이를 보드를 통하여 연결하고, 테스트패턴을 디스플레이하는 테스트신호를 인가한 후, 구현되는 테스트패턴을 검사하는 과정으로 이루어진다.
이와 같은 테스트 패턴을 이용한 불량 검사는 사람에 의한 육안 검사를 통해 이루어지므로 검사 속도가 낮아 수율이 낮으며, 사람의 육안에 의한 검사가 이루어지기 때문에 자동화에 비하여 정확도가 떨어지는 단점이 있다.
이에 본 출원인은 딥러닝 신경망을 이용하여 다각도 및/또는 다 조명으로 획득된 다 채널의 영상 정보를 토대로 딥러닝 예측 모델을 토대로 학습을 수행하여 불량 요소 및 불량 패턴을 가지는 불량 유형을 도출하고 도출된 불량 유형에 대해 가중치를 부여한 다음 가중치가 반영된 불량 학습값으로 디스플레이 패널의 불량 판정하는 방안을 제안하고자 한다.
본 발명은 딥러닝 신경망을 이용하여 디스플레이 패널의 불량 판정을 자동으로 수행함에 따라 불량 판정에 대한 정확도를 향상시킬 수 있고, 육안 검사에 따른 인적 오류를 방지할 수 있으며, 인적 및 비용적 손실을 방지할 수 있는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법을 제공하고자 함에 그 목적이 있다.
이에 본 발명은 실시간으로 디스플레이 패널의 불량 진단이 가능하므로 디스플레이 패턴에 대한 생산성을 높힐 수 있고 불량율을 줄일 수 있으며, 이에 제품에 대한 신뢰성을 더욱 향상시킬 수 있는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법을 제공하고자 함에 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시 예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 실시 태양에 의한 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템은,
적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리부;
상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하는 다수의 사물 검출부;
상기 각 채널의 각 불량 영상에 대해 딥러닝 신경망 기반으로 각각의 불량 영상에 포함된 다수의 불량 패턴 별 다수의 불량 영상을 추출한 다음 추출된 각각의 불량 패턴에 대한 불량 유형을 분류하고, 분류된 각 불량 유형의 학습값을 출력하는 다수의 시멘틱 세그먼트 분류부; 및
상기 각 채널 별 각 불량 유형의 학습값에 최적화된 각 채널의 각각의 불량 유형의 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형의 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출부를 포함하는 것을 일 특징으로 한다.
바람직하게 상기 불량 도출부는, 다수의 시멘틱 세그먼트 분류부의 각 채널의 각 불량 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 불량 유형을 도출하도록 구비되고, 초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형의 가중치를 최적화하는 가중치 설정모듈; 상기 최적화된 각 채널의 각 불량 유형의 가중치와 각 채널 별 각 불량 유형의 학습값을 곱한 후 합산하여 각 불량 유형에 대한 불량 학습값을 출력하는 연산모듈; 및 각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 최종 불량 판정모듈을 포함할 수 있다.
바람직하게 상기 가중치 설정모듈은 각 채널의 최종 불량 유형의 검출 확률을 연산하고 최종 불량 유형의 검출 확률로 각 채널의 각 불량 유형의 가중치를 최적화하도록 구비될 수 있다.
바람직하게 상기 다수의 채널의 영상 정보는, 다수의 각도 또는 다수의 조명 조건에서 획득된 다수의 영상 정보이다.
본 발명의 다른 실시 양태에 의거 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템은,
적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리부;
상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하고, 각 채널의 각 불량 영상에 포함된 불량 패턴을 추출한 다음 추출된 각각의 불량 패턴에 대한 다수의 불량 유형을 분류하고, 분류된 각 불량 유형의 학습값을 출력하는 다수의 사물 검출 및 시멘틱 세그먼트 분류부; 및
상기 각 채널 별 각 불량 유형의 학습값에 최적화된 각 채널의 각각의 불량 유형의 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형의 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출부를 포함하는 것을 다른 특징으로 한다.
바람직하게 상기 불량 도출부는, 다수의 시멘틱 세그먼트 분류부의 각 불량 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 불량 유형을 도출하도록 구비되고, 초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형에 대한 가중치를 최적화하는 가중치 설정모듈; 상기 최적화된 각 불량 유형에 대한 가중치와 각 불량 유형의 학습값을 곱한 후 합산하여 각 채널의 각 불량 유형에 대한 불량 학습값을 출력하는 연산모듈; 및 각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 최종 불량 판정모듈을 포함할 수 있다.
바람직하게 상기 가중치 설정모듈은 각 채널의 최종 불량 유형의 검출 확률을 연산하고 최종 불량 유형의 검출 확률로 각 채널의 각 불량 유형의 가중치를 최적화하도록 구비될 수 있다.
바람직하게 상기 다수의 채널의 영상 정보는, 다수의 각도 또는 다수의 조명 조건에서 획득된 다수의 영상 정보이다.
본 발명의 또 다른 실시 양태에 의거 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 방법은,
적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리단계; 상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하는 다수의 사물 검출단계; 상기 각 채널의 각 불량 영상에 대해 딥러닝 신경망 기반으로 각각의 불량 영상에 포함된 다수의 불량 패턴 별 다수의 불량 영상을 추출한 다음 추출된 각각의 불량 패턴에 대한 불량 유형을 분류하고, 분류된 각 불량 유형의 학습값을 출력하는 다수의 시멘틱 세그먼트 분류단계; 및 상기 각 채널 별 각 불량 유형의 학습값에 최적화된 각 채널의 각각의 불량 유형의 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형의 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출단계를 포함하고, 상기 불량 도출단계는, 초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형의 가중치를 최적화하는 단계; 상기 최적화된 각 채널의 각 불량 유형의 가중치와 각 채널 별 각 불량 유형의 학습값을 곱한 후 합산하여 각 불량 유형에 대한 불량 학습값을 출력하는 단계; 및 각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 단계를 포함하는 것을 또 다른 특징으로 한다.
본 발명에 따르면 디스플레이 패널의 제조 과정에서 딥러닝 신경망을 이용하여 디스플레이 패널의 불량 진단을 자동으로 수행함에 따라 해당 디스플레이 패널의 불량 진단에 정확도를 향상시킬 수 있고, 육안 검사에 따른 인적 오류를 방지할 수 있으며, 인적 및 비용적 손실을 방지할 수 있다.
본 발명에 의하면, 각 채널 별 예측 불량 요소를 추출하는 사물 추출부와 각 채널 별 예측 불량 패턴을 추출하여 불량 유형을 도출하는 시멘틱 세그먼트 분류부가 별개로 구비됨에 따라 딥러닝 신경망의 연산 복잡도를 감소할 수 있다.
그리고, 다양한 각도 및 조명 조건에 따라 획득된 다 채널의 영상 정보를 토대로 디스플레이 패널의 불량 여부를 판정함에 따라 불량 판정에 대한 정확도 및 정밀도를 향상시킬 수 있다.
또한, 불량 유형 별로 불량에 대한 불량 학습값에 대한 신뢰도의 차로 불량 가중치를 설정하고 설정된 불량 가중치를 각 불량 학습값에 부여하여 최종 불량을 판정함에 따라 디스플레이 패널의 판정 결과에 대한 신뢰도를 향상시킬 수 있다.
본 실시 예에 의거 설정된 가중치 및 불량 가중치를 다 채널 영상 정보의 특성 및 응용 분야에 따라 설정함에 따라 디스플레이 패널뿐만 아니라 다양한 불량 진단 시스템에 대해 호환성을 가질 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 실시예의 디스플레이 패널 불량 진단 시스템의 구성도이다.
도 2는 본 실시예의 사물 검출부의 불량 요소를 나타낸 영상 예시도이다.
도 3은 본 실시예의 시멘틱 세그먼트 분류부의 출력 영상 예시도이다.
도 4는 본 실시예의 시스템에 적용되는 가중 결합 판정 방식의 개념도이다.
도 5는 본 실시예의 시스템의 불량 도출부의 세부 구성도이다.
도 6은 본 실시예의 시스템의 가중치 최적화 과정을 설명하는 도이다.
도 7은 본 다른 실시예의 디스플레이 패널 불량 진단 시스템의 구성도이다.
도 1은 본 실시예의 디스플레이 패널 불량 진단 시스템의 구성도이다.
도 2는 본 실시예의 사물 검출부의 불량 요소를 나타낸 영상 예시도이다.
도 3은 본 실시예의 시멘틱 세그먼트 분류부의 출력 영상 예시도이다.
도 4는 본 실시예의 시스템에 적용되는 가중 결합 판정 방식의 개념도이다.
도 5는 본 실시예의 시스템의 불량 도출부의 세부 구성도이다.
도 6은 본 실시예의 시스템의 가중치 최적화 과정을 설명하는 도이다.
도 7은 본 다른 실시예의 디스플레이 패널 불량 진단 시스템의 구성도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
본 실시 예에 적용되는 딥러닝 신경망은 각 채널의 영상 데이터를 입력으로 하여 처리하되, 설정된 횟수(Sequence Length)만큼 연속 수행하여 예측 불량 요소 및 불량 유형을 생성하는 딥러닝 예측 모델을 구축하고 구축된 딥러닝 예측 모델을 기반으로 입력되는 관심 영역의 다 채널의 영상 데이터로부터 불량 요소 및 불량 패턴을 예측한다. 이러한 딥러닝 예측 모델을 토대로 불량 요소 및 불량 패턴을 예측하는 일련의 과정은 본 발명의 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 실시 예는 딥러닝 신경망을 기반으로 디스플레이 패널의 불량을 자동으로 판정하도록 구비된다. 즉, 다각도 또는 다조명으로 획득된 다 채널의 영상 정보에 대해 딥러닝 신경망 기반으로 각 채널의 영상 데이터에 포함된 불량 요소 및 불량 패턴을 별도로 추출하고 이전에 추출된 불량 패턴을 가지는 최종 불량 검출 확률로 각 채널의 불량 영상에 포함된 다수의 불량 패턴에 대한 불량 유형의 가중치를 부여하고 부여된 각 채널의 각 불량 유형의 가중치와 각 채널의 각 불량 유형의 학습값으로 디스플레이 패널의 최종 불량유형을 검출한다.
또한 본 실시 예는 각 채널의 최종 불량 유형의 검출 확률을 연산하고 최종 불량 유형의 검출 확률로 각 채널의 각 불량 유형의 가중치를 최적화한다.
도 1은 본 발명의 실시 예에 따른 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템을 보인 도면으로서, 도 1을 참조하면 전처리부(100), DNN(Deep learning Neutral Network) 예측 모델(200), 사물 검출부(300), 시멘틱 세그먼트 분류부(400), 및 불량 검출부(500)를 포함할 수 있다.
전처리부(100)는, 적어도 하나의 영상 획득 장치에서 다양한 각도 및/또는 다 조명에 따라 획득된 다채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력한다.
즉, 전처리부(100)는 다수 채널의 영상 취득 장치에서 얻은 이미지 혹은 센서 맵 데이터를 저용량 압축 포멧으로 저해상도 압축 변환하고, 관심 영역의 크로핑(cropping) 블록에서 검출하려는 사물을 제외한 불필요한 영역의 영상 부분을 제거한다.
본 실시 예에서 전처리부(100)에서 출력되는 서로 다른 입력 채널의 영상 데이터에 대해 멀티플렉싱하여 사물 검출부(300)로 전달하는 멀티플렉서를 추가로 구비될 수 있으며, 이는 본 발명의 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
그리고, 전처리부(100)의 관심 영역의 영상 데이터는 딥러닝 신경망 기반의 사물 검출부(300)로 전달된다. 여기서, 관심 영역에 대한 영상 데이터에 대해 설정된 횟수(Sequence Length)만큼 연속 수행하여 각 채널 당 획득된 영상 데이터에 포함된 다수의 불량 요소 및 불량 패턴을 가지는 다수의 불량 유형으로 딥러닝 예측 모델(200)이 구축된다.
이에 사물 검출부(300)는 기 구축된 딥러닝 예측 모델(200)로부터 관심 영역의 영상 데이터를 토대로 모든 불량 요소를 검출하는 기능을 수행하고, 예를 들어, 사물 검출부(300)는 기 구축된 딥러닝 예측 모델(200)을 이용하여 각 채널의 관심 영역의 영상 데이터로부터 다수의 불량 요소를 포함하는 불량 영상을 검출한다. 즉, 하나의 채널의 영상 데이터에서는 다수 개의 불량 요소가 검출된다. 이때 각 불량 요소를 포함하는 다수의 불량 영상은 관심 영역을 중심으로 사각형의 박스의 블록 형태로 추출된다.
즉, 도 1에 도시된 바와 같이 사물 검출부(300)에서 출력되는 각 채널의 영상 데이터에 포함된 불량 요소를 가지는 다수의 불량영상 k는 임의의 채널 k에 대해 불량영상 1, 불량영상 k, 및 불량영상 K 가 포함되고, 임의의 채널 m의 불량영상 m은 불량영상 1, 불량영상 m, 및 불량영상 M 가 포함되며, 임의의 채널 h의 불량영상 h 는 불량영상 1, 불량영상 h, 및 불량영상 H 가 포함된다.
이러한 각 채널 k, m, h의 불량영상 k, 불량영상 m, 및 불량영상 h는 시멘틱 세그먼트 분류부(400)로 전달된다.
시멘틱 세그먼트 분류부(400)는 각 채널 k, m, h의 불량영상 k, 불량영상 m, 및 불량영상 h을 입력으로 구축된 딥러닝 예측 모델(200)을 이용하여 각 불량 영상에 포함된 다수의 불량 패턴을 추출한다. 이때 각 채널의 각각의 불량 영상에는 다수의 불량 패턴이 포함되어 있으므로 이에 시멘틱 세그먼트 분류부(400)는 추출된 각 불량 패턴에 대한 불량 유형을 검출한다.
예를 들어, 불량이 하나도 없는 경우 각 채널 k, m, h의 불량영상 k, 불량영상 m, 및 불량영상 h는 모두 0이 된다.
한편, 시멘틱 세그먼트 분류부(400)는 각 채널의 불량 요소를 가지는 각각의 불량 영상을 입력으로 딥러닝 예측 모델(200)에 의거 학습하고, 학습 결과에 따라 각 불량 영상에 포함된 다수의 불량 패턴을 추출하여 추출된 각 불량 패턴에 대한 불량 유형을 도출한다.
이때 불량 유형은 스크래치, 덴트, 홀, NA 등이고, 이러한 각 불량 유형에 대한 학습값이 시멘틱 세그먼트 분류부(400)에서 출력된다.
그리고, 시멘틱 세그먼트 분류부(400)의 각 채널 별 다수의 불량 유형에 대한 학습값은 불량 도출부(500)로 전달된다.
즉, 각 채널 별로 검출된 불량 영상은 서로 상이한 각도 및/또는 조명의 조건에 따라 특정 채널에서 두드러지게 표현될 수 있고 다른 채널에서 표현이 안될 수도 있다. 이에 불량 도출부(500)는 각 채널 별 다수의 학습값에 설정된 각 채널 별 다수의 가중치를 반영하여 해당 디스플레이 패널의 최종 불량 유형을 판정한다.
즉, 불량 도출부(500)는 각 채널의 다수의 불량 유형에 대한 학습값과 설정된 가중치에 의거 가중 결합 판정 방식으로 최종 불량 유형을 판정한다.
가중 결합 방식의 불량 도출부(500)는 초기에 동일한 가중치를 각 채널 별 불량 학습값에 부여한 다음 각 채널 별 최종 불량 유형이 검출된 확률을 연산하고 연산된 확률로 각 채널 별 다수의 불량 유형에 대한 각각의 가중치를 최적화한다. 이러한 가중치를 최적화하는 알고리즘은 자동 튜닝 방식(Grid Search) 등 다양한 알고리즘으로 구비될 수 있으며, 이에 한정하지 되는 것은 아니고 공지 기술 범위 내에서 다양하게 구현할 수 있다.
도 2 및 도 3은 사물 검출부(300) 및 시멘틱 세그먼트 분류부(400)에서 출력되는 불량 영상을 보인 도들이며, 도 2 및 도 3에 도시된 바와 같이, 사물 검출부(300)에서 출력되는 불량 영상은 불량 요소를 포함하고 시멘틱 세그먼트 분류부(400)에서 출력되는 불량 영상은 불량 패턴이 포함됨을 확인할 수 있다.
본 실시 예에서 사물 검출부(300) 및 시멘틱 세그먼트 분류부(400)는 딥러닝 신경망의 내부에 별개로 구비되는 것을 일 례로 설명하고 있으며, 이에 딥러닝 신경망의 연산 복잡도를 감소할 수 있다.
한편, 도 4는 불량 도출부(500)의 가중 결합 판정 방식에 대한 개념도로서, 도 4를 참조하면, 불량 도출부(500)는 각 시멘틱 세그먼트 분류부(400)의 각 채널 별 불량 유형에 대한 불량 학습값에 기 설정된 가중치(w1, w2, w3, w4)를 곱한 다음 합성하고 합성된 불량 유형에 대한 불량 학습값 중 기 정해진 임계값을 초과하는 불량 유형을 해당 디스플레이 패널의 최종 불량 유형으로 판정한다.
도 5는 도 2에 도시된 불량 도출부(500)의 세부 구성을 보인 도면으로서, 도 5를 참조하면, 본 실시 예에 가중치가 결합한 구조를 확인할 수 있고, 이에 불량 도출부(500)는 가중치 설정모듈(510), 연산모듈(520), 및 최종 불량 판정모듈(530)을 포함할 수 있다.
가중치 설정모듈(510)은 초기에 동일한 가중치를 각 불량 유형에 대한 학습값에 부여한 다음 각 채널 별 최종 불량 유형이 검출된 확률을 연산하고 연산된 확률로 각 채널 별 다수의 불량 유형에 대한 학습값 각각의 가중치를 최적화한다.
도 6은 가중치 설정모듈(510)에서 최적화된 가중치로 도출된 각 채널 별 불량 유형에 대한 학습값을 보인 도들로서, 도 6를 참조하면, 기존의 방식의 평균에 grid search 방식으로 구한 가중치를 곱해서 평균을 하면 불량 유형에 대한 학습값에 대한 정확도가 더 높아짐을 확인할 수 있으며, 이에 가중치 설정모듈(510)은 동일한 가중치로 도출된 각 채널 별 불량 유형(덴트, 스크래치, 홀, NA)에 대한 학습값의 비를 토대로 가중치를 최적화하고 최적화된 가중치를 연산모듈(520)로 제공한다.
한편, 연산모듈(520)은 각 채널 별 다수의 불량 유형에 대한 각각의 학습값과 각 채널 별 다수의 불량 유형에 대한 각각의 가중치를 곱한 다음 합산하여 각 채널 별 불량 유형에 대한 불량 학습값을 출력한다.
즉, 연산모듈(520)은 1번째 채널, j 번째 채널, 및 J번째 채널의 예측 불량 유형 1에 대한 학습값 
과 1번째 채널, j 번째 채널, 및 J번째 채널의 예측 불량 유형 1에 대한 가중치 
의 곱을 연산하는 예측 불량 유형 1에 대한 불량 학습값 
을 출력한다.
또한 연산모듈(520)은 1번째 채널, j 번째 채널, 및 J번째 채널의 불량 유형 n에 대한 학습값 
과 1번째 채널, j 번째 채널, 및 J번째 채널의 불량 유형 n에 대한 가중치 
의 곱을 연산하는 예측 불량 유형 n에 대한 불량 학습값 
을 출력한다.
그리고 연산모듈(520)은 1번째 채널, j 번째 채널, 및 J번째 채널의 불량 유형 N에 대한 학습값 
과 은 1번째 채널, j 번째 채널, 및 J번째 채널의 불량 유형 N에 대한 가중치 
의 곱을 연산하는 예측 불량 유형 N에 대한 학습값 
을 출력한다. 전술한 다수의 예측 불량유형 1, n, N 에 대한 불량 학습값 
, 
, 
을 도출하는 일련의 과정은 각 채널 별 모든 예측 불량 유형에 도달할 때까지 반복 수행된다.
따라서, 연산모듈(520)의 각 예측 불량 유형 별 불량 학습값은 최종 불량 도출모듈(530)로 전달된다.
최종 불량 도출모듈(530)는 각 예측 불량 유형 별 불량 학습값 
, 
, 
중 최대 학습값을 최종 불량 학습값 
으로 도출하고 도출된 최종 불량 학습값 
과 매칭되는 예측 불량 유형을 해당 디스플레이 패널의 최종 불량으로 판정한다.
예를 들어, 불량 유형 중 스크래치와 덴트 2가지의 불량 유형과 시멘틱 세그먼트 분류부(400)가 2개로 가정하고, 첫번째 시멘틱 세그먼트 분류부(400)에서 출력된 스크래치와 덴트의 학습값의 비가 0.8: 0.2 이고, 두번째 시멘틱 세그먼트 분류부(400)에서 출력된 스크래치와 덴트의 학습값의 비가 0.2: 0.8 이며, 최적화된 스크래치와 덴트의 가중치의 비가 0.9: 0.1 이라고 가정하면, 최종 불량 도출모듈(530)은 최종 불량 유형을 스크래치로 판단한다.
이에 본 실시 예에 의거 디스플레이 패널의 제조 과정에서 딥러닝 신경망을 이용하여 디스플레이 패널의 불량 진단을 자동화하여 수행함에 따라 불량 진단에 정확도를 향상시킬 수 있고, 육안 검사에 따른 인적 오류를 방지할 수 있으며, 인적 및 비용적 손실을 방지할 수 있고, 각 채널 별 불량 요소를 추출하는 사물 추출부와 각 채널 별 불량 패턴을 추출하여 불량 유형을 도출하는 시멘틱 세그먼트 분류부가 별개의 장치로 구비됨에 따라 딥러닝 신경망의 연산 복잡도를 감소할 수 있으며, 불량 유형 별로 불량에 대한 불량 학습값을 분석하여 불량 판정 결과에 대한 신뢰도의 차로 불량 가중치를 설정하고 설정된 불량 가중치를 각 불량의 학습값에 부여하여 최종 불량을 판정함에 따라 디스플레이 패널의 판정 결과에 따란 신뢰도를 향상시킬 수 있다.
본 실시 예에 의거 설정된 가중치를 채널 영상의 특성 및 응용 분야에 따라 다르게 설정함에 따라 디스플레이 패널뿐만 아니라 불량 진단 시스템에 대해 호환성을 가질 수 있다.
본 다른 실시 예에 의하면, 딥러닝 신경망에 포함된 사물 검출부와 시멘틱 세그먼트 분류부를 하나로 통합 구비된 디스플레이 패널 불량 진단 시스템이 제공되는바, 자동으로 디스플레이 패널의 최정 불량 유형을 정확하게 판정할 수 있다.
, 딥러닝 신경망에 포함된 사물 검출부와 시멘틱 세그먼트 분류부를 하나로 통합 구비된 디스플레이 패널 불량 진단 시스템이 제공되는바, 자동으로 디스플레이 패널의 최정 불량 유형을 정확하게 판정할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템의 구성을 보인 도면으로서, 전처리부(10), DNN 예측 모델(20), 사물 및 시멘틱 세그먼트 분류부(30), 불량 도출부(50)를 포함하며, 각 구성별 기능은 상술한 전처리부(100), DNN 예측 모델(200), 사물 검출부(300), 시멘틱 세그먼트 분류부(400) 및 불량 도출부(500)에 대응되므로, 이하에서는 기능에 대한 중복 설명은 생략한다.
전처리부(10)는 영상 획득 장치에서 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하며 상술한 전처리부(100)의 전처리 기능을 수행한다.
그리고, 사물 검출 및 시멘틱 세그먼트 분류부(30)는 관심 영역의 영상 데이터에 대해 기 구축된 DNN 예측 모델(20)로부터 각 채널의 불량 요소를 포함하는 각 채널 별 불량 영상을 추출한 다음 추출된 각 채널의 불량 영상에 대해 각 채널의 불량 영상에 포한된 불량 패턴을 추출하고 분리된 각 불량 패턴에 대한 불량 유형의 학습값을 출력하고, 상술한 사물 검출 및 시멘틱 세그먼트 분류부(30)는 사물 검출부(300) 및 시멘틱 세그먼트 분류부(400)의 각 채널 별 영상 데이터로부터 불량 요소가 포함된 불량 영상과 불량 영상에 포함된 불량 패턴을 포함하는 다수의 불량 유형을 분류하며 분류된 각 불량 유형에 대한 학습값을 도출하는 기능을 수행한다.
그리고, 각 불량 패턴의 다수의 불량 유형에 대한 각 학습값은 불량 도출부(40)로 전달된다.
상기 불량 도출부(50)는 수신된 각 불량 유형에 대한 학습값에 최적화된 각 불량 유형에 대한 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하며, 상술한 불량 도출부(400)의 최종 불량 유형을 판정하는 기능을 수행한다.
이에 본 실시 예에 의거, 디스플레이 패널의 제조 과정에서 딥러닝 신경망을 이용하여 디스플레이 패널의 불량 진단을 자동화하여 수행함에 따라 불량 진단에 정확도를 향상시킬 수 있고, 육안 검사에 따른 인적 오류를 방지할 수 있으며, 인적 및 비용적 손실을 방지할 수 있고, 불량 유형 별로 불량에 대한 불량 학습값을 분석하여 불량 판정 결과에 대한 신뢰도의 차로 불량 가중치를 설정하고 설정된 불량 가중치를 각 불량의 학습값에 부여하여 최종 불량을 판정함에 따라 디스플레이 패널의 판정 결과에 따란 신뢰도를 향상시킬 수 있다.
한편, 본 발명의 다른 실시 예에 의하면, 적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리단계; 상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하는 다수의 사물 검출단계; 상기 각 채널의 각 불량 영상에 대해 딥러닝 신경망 기반으로 각각의 불량 영상에 포함된 다수의 불량 패턴 별 다수의 불량 영상을 추출한 다음 추출된 각각의 불량 패턴에 대한 불량 유형을 분류하고, 분류된 각 불량 유형의 학습값을 출력하는 다수의 시멘틱 세그먼트 분류단계; 및 상기 각 채널 별 각 불량 유형의 학습값에 최적화된 각 채널의 각각의 불량 유형의 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형의 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출단계를 포함하고, 상기 불량 도출단계는, 초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형의 가중치를 최적화하는 단계; 상기 최적화된 각 채널의 각 불량 유형의 가중치와 각 채널 별 각 불량 유형의 학습값을 곱한 후 합산하여 각 불량 유형에 대한 불량 학습값을 출력하는 단계; 및 각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 단계를 포함하며, 상기의 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 방법의 각 단계는 전술한 전처리부(100), DNN 예측 모듈(200), 사물 검출부(300), 시멘틱 세그먼트 분류부(400), 불량 도출부(500)에서 수행되는 기능으로 자세한 원용은 생략한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
디스플레이 패널의 제조 과정에서 딥러닝 신경망을 이용하여 디스플레이 패널의 불량 진단을 자동화하여 수행함에 따라 불량 진단에 정확도를 향상시킬 수 있고, 육안 검사에 따른 인적 오류를 방지할 수 있으며, 인적 및 비용적 손실을 방지할 수 있고, 각 채널 별 불량 요소를 추출하는 사물 추출부와 각 채널 별 불량 패턴을 추출하여 불량 유형을 도출하는 시멘틱 세그먼트 분류부가 별개의 장치로 구비됨에 따라 딥러닝 신경망의 연산 복잡도를 감소할 수 있으며, 불량 유형 별로 불량에 대한 불량 학습값을 분석하여 불량 판정 결과에 대한 신뢰도의 차로 불량 가중치를 설정하고 설정된 불량 가중치를 각 불량의 학습값에 부여하여 최종 불량을 판정함에 따라 디스플레이 패널의 판정 결과에 따란 신뢰도를 향상시킬 수 있는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 다양한 응용 분야에서 디바이스의 불량 진단 시스템의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
Claims (11)
- 적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리부;
상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하는 다수의 사물 검출부;
상기 각 채널의 각 불량 영상에 대해 딥러닝 신경망 기반으로 각각의 불량 영상에 포함된 다수의 불량 패턴 별 다수의 불량 영상을 추출한 다음 추출된 각각의 불량 패턴에 대한 불량 유형을 분류하고, 분류된 각 불량 유형의 학습값을 출력하는 다수의 시멘틱 세그먼트 분류부; 및
상기 각 채널의 각 불량 유형의 학습값에 최적화된 각 채널의 각 불량 유형에 대한 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형에 대한 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출부를 포함하는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제1항에 있어서, 상기 불량 도출부는,
상기 다수의 시멘틱 세그먼트 분류부의 각 채널의 각 불량 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 불량 유형을 도출하도록 구비되는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제2항에 있어서, 상기 불량 도출부는,
초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형에 대한 가중치를 최적화하는 가중치 설정모듈;
상기 최적화된 각 채널의 각 불량 유형에 대한 가중치와 각 채널의 각 불량 유형에 대한 학습값을 곱한 후 합산하여 각 불량 유형에 대한 불량 학습값을 출력하는 연산모듈; 및
각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 최종 불량 판정모듈을 포함하는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제3항에 있어서, 상기 가중치 설정모듈은
각 채널의 최종 불량 유형의 검출 확률을 연산하고 최종 불량 유형의 검출 확률로 각 채널의 각 불량 유형의 가중치를 최적화하도록 구비되는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제1항 내지 제4항 중 한 항에 있어서, 상기 다수의 채널의 영상 정보는, 다수의 각도 또는 다수의 조명 조건에서 획득된 다수의 영상 정보인 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템.
- 적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리부;
상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하고, 각 채널의 각 불량 영상에 포함된 불량 패턴을 추출한 다음 추출된 각각의 불량 패턴에 대한 다수의 불량 유형을 분류하고, 분류된 각 불량 유형에 대한 학습값을 출력하는 다수의 사물 검출 및 시멘틱 세그먼트 분류부; 및
상기 각 채널 별 각 불량 유형에 대한 학습값에 최적화된 각 채널의 각각의 불량 유형에 대한 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형에 대한 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출부를 포함하는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제6항에 있어서, 상기 불량 도출부는,
다수의 시멘틱 세그먼트 분류부의 각 불량 유형에 대한 학습값과 최적화된 가중치를 제공받아 가중 결합 판정 방식으로 최종 불량 유형을 도출하도록 구비되는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제7항에 있어서, 상기 불량 도출부는,
초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형의 가중치를 최적화하는 가중치 설정모듈;
상기 최적화된 각 불량 유형의 가중치와 각 불량 유형에 대한 학습값을 곱한 후 합산하여 각 채널의 각 불량 유형에 대한 불량 학습값을 출력하는 연산모듈; 및
각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 최종 불량 판정모듈을 포함하는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제8항에 있어서, 상기 가중치 설정모듈은
각 채널의 최종 불량 유형의 검출 확률을 연산하고 최종 불량 유형의 검출 확률로 각 채널의 각 불량 유형의 가중치를 최적화하도록 구비되는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템. - 제6항 내지 제9항 중 한 항에 있어서, 상기 다수의 채널의 영상 정보는, 다수의 각도 또는 다수의 조명 조건에서 획득된 다수의 영상 정보인 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템.
- 적어도 하나의 영상 획득 장치로부터 획득된 다수의 채널의 영상 정보에 대해 저해상도로 압축한 다음 관심 영역을 도출하고 도출된 관심 영역에 대한 영상 데이터를 출력하는 전처리단계;
상기 관심 영역의 영상 데이터에 대해 딥러닝 신경망 기반으로 각 채널의 불량 요소를 포함하는 다수의 불량 영상을 검출하는 다수의 사물 검출단계;
상기 각 채널의 각 불량 영상에 대해 딥러닝 신경망 기반으로 각각의 불량 영상에 포함된 다수의 불량 패턴 별 다수의 불량 영상을 추출한 다음 추출된 각각의 불량 패턴의 불량 유형을 분류하고, 분류된 각 불량 유형에 대한 학습값을 출력하는 다수의 시멘틱 세그먼트 분류단계; 및
상기 각 채널 별 각 불량 유형에 대한 학습값에 최적화된 각 채널의 각각의 불량 유형에 대한 가중치를 반영하여 각 채널의 불량 유형에 대한 불량 학습값을 도출하고 도출된 각 불량 유형에 대한 불량 학습값으로 해당 디스플레이 패널의 최종 불량 유형을 판정하는 불량 도출단계를 포함하고,
상기 불량 도출단계는,
초기 동일한 가중치로 도출된 최종 불량 유형에 대한 불량 학습값을 토대로 각 채널의 각 불량 유형의 가중치를 최적화하는 단계;
상기 최적화된 각 채널의 각 불량 유형에 대한 가중치와 각 채널 별 각 불량 유형에 대한 학습값을 곱한 후 합산하여 각 불량 유형에 대한 불량 학습값을 출력하는 단계; 및
각 채널의 각 불량 유형에 대한 불량 학습값 중 최대 불량 학습값을 가지는 불량 유형을 최종 불량 유형으로 판단하는 단계를 포함하는 것을 특징으로 하는 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190009318A KR102342337B1 (ko) | 2019-01-24 | 2019-01-24 | 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190009318A KR102342337B1 (ko) | 2019-01-24 | 2019-01-24 | 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200092143A true KR20200092143A (ko) | 2020-08-03 |
| KR102342337B1 KR102342337B1 (ko) | 2021-12-23 |
Family
ID=72042876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190009318A KR102342337B1 (ko) | 2019-01-24 | 2019-01-24 | 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102342337B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102297232B1 (ko) | 2020-11-18 | 2021-09-03 | 주식회사 파인브이티 | 형태학적 영상처리를 활용한 이상 탐지 방법 |
| CN113592859A (zh) * | 2021-09-26 | 2021-11-02 | 中导光电设备股份有限公司 | 一种基于深度学习的用于显示面板缺陷的分类方法 |
| CN113673594A (zh) * | 2021-08-18 | 2021-11-19 | 浙江工商大学 | 一种基于深度学习网络的瑕疵点识别方法 |
| KR20220071417A (ko) * | 2020-11-24 | 2022-05-31 | 한화솔루션 주식회사 | 태양전지 셀에 대한 이미지 분류 방법 및 장치 |
| KR20220087699A (ko) * | 2020-12-18 | 2022-06-27 | 한국공학대학교산학협력단 | 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치 |
| WO2022255518A1 (ko) * | 2021-06-03 | 2022-12-08 | 주식회사 솔루션에이 | 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치 |
| US11615523B2 (en) | 2021-08-18 | 2023-03-28 | Zhejiang Gongshang University | Methods for recognizing small targets based on deep learning networks |
| KR20230065558A (ko) * | 2021-11-05 | 2023-05-12 | 한국기술교육대학교 산학협력단 | 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160054846A (ko) * | 2014-11-07 | 2016-05-17 | 부산대학교 산학협력단 | 홀 내부의 결함 검출방법 |
| KR20160139207A (ko) * | 2015-05-27 | 2016-12-07 | 한화테크윈 주식회사 | 기판의 결함 검사 방법 |
| KR20180004046A (ko) * | 2017-12-21 | 2018-01-10 | 동우 화인켐 주식회사 | 검사 장치 및 방법 |
| KR20180133040A (ko) * | 2017-06-05 | 2018-12-13 | 충북대학교 산학협력단 | 인쇄 회로 기판의 결함 분류 장치 및 방법 |
-
2019
- 2019-01-24 KR KR1020190009318A patent/KR102342337B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160054846A (ko) * | 2014-11-07 | 2016-05-17 | 부산대학교 산학협력단 | 홀 내부의 결함 검출방법 |
| KR20160139207A (ko) * | 2015-05-27 | 2016-12-07 | 한화테크윈 주식회사 | 기판의 결함 검사 방법 |
| KR20180133040A (ko) * | 2017-06-05 | 2018-12-13 | 충북대학교 산학협력단 | 인쇄 회로 기판의 결함 분류 장치 및 방법 |
| KR20180004046A (ko) * | 2017-12-21 | 2018-01-10 | 동우 화인켐 주식회사 | 검사 장치 및 방법 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102297232B1 (ko) | 2020-11-18 | 2021-09-03 | 주식회사 파인브이티 | 형태학적 영상처리를 활용한 이상 탐지 방법 |
| KR20220071417A (ko) * | 2020-11-24 | 2022-05-31 | 한화솔루션 주식회사 | 태양전지 셀에 대한 이미지 분류 방법 및 장치 |
| WO2022114665A1 (ko) * | 2020-11-24 | 2022-06-02 | 한화솔루션 주식회사 | 태양전지 셀에 대한 이미지 분류 방법 및 장치 |
| KR20220087699A (ko) * | 2020-12-18 | 2022-06-27 | 한국공학대학교산학협력단 | 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치 |
| WO2022255518A1 (ko) * | 2021-06-03 | 2022-12-08 | 주식회사 솔루션에이 | 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치 |
| CN113673594A (zh) * | 2021-08-18 | 2021-11-19 | 浙江工商大学 | 一种基于深度学习网络的瑕疵点识别方法 |
| US11615523B2 (en) | 2021-08-18 | 2023-03-28 | Zhejiang Gongshang University | Methods for recognizing small targets based on deep learning networks |
| CN113592859A (zh) * | 2021-09-26 | 2021-11-02 | 中导光电设备股份有限公司 | 一种基于深度学习的用于显示面板缺陷的分类方法 |
| CN113592859B (zh) * | 2021-09-26 | 2022-01-14 | 中导光电设备股份有限公司 | 一种基于深度学习的用于显示面板缺陷的分类方法 |
| KR20230065558A (ko) * | 2021-11-05 | 2023-05-12 | 한국기술교육대학교 산학협력단 | 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102342337B1 (ko) | 2021-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200092143A (ko) | 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법 | |
| US20230333533A1 (en) | System and method for generating machine learning model with trace data | |
| CN109871895B (zh) | 电路板的缺陷检测方法和装置 | |
| CN112270280B (zh) | 一种基于深度学习的遥感图像中的露天矿场检测方法 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
| EP2959454B1 (en) | Method, system and software module for foreground extraction | |
| CN111507370A (zh) | 获得自动标注图像中检查标签的样本图像的方法和装置 | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| JP7380019B2 (ja) | データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
| CN111758117B (zh) | 检查系统、识别系统以及学习数据生成装置 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN116842379A (zh) | 一种基于DRSN-CS和BiGRU+MLP模型的机械轴承剩余使用寿命预测方法 | |
| CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
| JP2020030138A (ja) | 信号解析装置及び信号解析方法並びに信号解析プログラム | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| KR101736431B1 (ko) | 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법 | |
| Jayanthi et al. | Fruit quality inspection system using image processing | |
| Al-Shammri et al. | A combined method for object detection under rain conditions using deep learning | |
| CN113642473A (zh) | 一种基于计算机视觉的矿下煤机状态识别方法 | |
| CN112508946A (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
| KR102172271B1 (ko) | 머신러닝 기반 고장진단 장치 및 방법 | |
| KR20220164099A (ko) | 딥러닝 신경망 모델을 이용한 검사대상 패널의 결함 판정장치 | |
| CN111291624B (zh) | 一种挖掘机目标识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |