KR20200004825A - 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체 - Google Patents

Abstract

본 출원은 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체를 제공하되, 상기 방법은, 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 디스플레이 장치의 생산라인 상의 영상 수집 설비에 의해 수집된 디스플레이 장치 영상을 포함하는 품질 검사 요청을 수신하는 단계; 상기 디스플레이 장치 영상에 대해 영상 전 처리를 진행하고, 전 처리 후의 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계, 이중 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이고; 상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계를 포함한다. 상기 기술방안에 따른 결함 검사는 정확도가 높고, 시스템 성능이 좋으며, 업무 확장 능력이 높다.

Description

디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체

본 출원은 컴퓨터 기술분야에 관련한 것으로, 구체적으로는 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체에 관련한 것이다.

과학기술이 발전함에 따라 사람들의 생활에서 정보 디스플레이 기술의 역할은 날로 증가하고 있으며, 디스플레이 장치도 그 작은 부피, 경량, 낮은 소비전력, 높은 해상도, 높은 밝기와 기하학적으로 변형하지 않는 여러가지 특징으로 광범위하게 적용되고 있다. 하지만 디스플레이 장치의 생산 과정에서 공정 및 환경의 원인에 의해 예를 들면, 점 결함, 라인 결함과 면 결함 등 디스플레이 장치의 디스플레이 결함이 발생될 수 있다. 그러므로, 디스플레이 장치의 품질 검사는 생산과정에서 중요한 일환이다.

종래 기술에서, 디스플레이 장치의 품질 검사는 주로 인공 검사 또는 기계 보조적인 인공 검사 방법을 사용하고 있다. 구체적으로, 인공 검사 방법은 산업 전문가의 육안으로 생산 환경중에서 수집된 이미지를 관찰하여 판단하는 것을 의미하며, 기계 보조적인 인공 검사 방법은 우선 산업 전문가의 경험이 내장된 품질 검사 시스템을 이용하여 검사하고자 하는 디스플레이 장치의 영상에 대해 검사하고, 그 다음 다시 산업 전문가에 의해 결함이 존재하는 것으로 의심되는 이미지에 대하여 검사하고 판단한다.

하지만, 인공 검사 방법이든 기계 보조적인 인공 검사 방법이든 모두 사람의 주관적인 영향 요소를 비교적 많이 받고, 검사 정확도가 낮으며, 시스템의 성능이 낮고, 업무 확장 능력이 낮다.

본 출원은 종래의 디스플레이 장치의 결함 검사 방법에서 사람의 주관적인 영향 원인으로 검사 정확도가 낮고, 시스템 성능이 낮으며, 서비스 확정 능력이 낮은 문제를 해결하기 위한 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체를 제공한다.

본 출원의 제1 양태에 있어서, 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된, 상기 디스플레이 장치의 생산라인의 영상 수집 설비에 의해 수집된 디스플레이 장치의 영상을 포함하는 품질 검사 요청을 수신하는 단계;

상기 디스플레이 장치 영상에 대해 엣지 컷팅, 전단, 회전, 축소 및 확대 중의 적어도 하나를 포함하는 영상 전 처리를 진행하는 단계;

전 처리한 후의 상기 디스플레이 장치 영상을 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계; 및

상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계를 포함하는 디스플레이 장치 품질 검사 방법을 제공한다.

본 실시예에서, 딥 컨벌루션 뉴럴 네트워크 기반 구조와 인스턴스 분할 알고리즘을 이용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 결함 검사 모델로 전 처리 후의 디스플레이 장치 영상에 대해 결함 검사하여, 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 판단하기에, 결함 검사 모델에 의해 얻은 결함 검사 결과의 분류 정확도가 높으므로, 지능화 능력이 강하고, 시스템 성능이 향상되며, 업무 확장 능력이 높다.

선택적으로, 제1 양태의 한가지 실시 방식에서, 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것으로,

상기 결함 검사 모델은 상기 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여, 상기 후보 영역 손실, 상기 영역 유형 손실, 상기 영역 경계 손실과 상기 픽셀 인스턴스 손실의 총 손실 값이 기 설정된 손실 임계값을 만족하는 결과이고；

이 중, 상기 후보 영역 손실은 상기 과거 결함 디스플레이 장치 영상에서 선정 결함 영역과 실제 결함 영역 사이의 손실 값을, 결함 영역과 실제 결함 영역 사이의 손실 값을, 상기 영역 유형 손실은 상기 선정 결함 영역에서 예측 결함 유형과 실제 결함 유형 사이의 손실 값을, 상기 영역 경계 손실은 상기 선정 결함 영역에서 예측 결함 경계와 실제 결함 경계사이의 손실을, 상기 픽셀 인스턴스 손실은 상기 과거 결함 디스플레이 장치 영상에서 예측 픽셀 인스턴스와 실제 픽셀 인스턴스 사이의 손실을 의미함을 포함한다.

본 실시예에서, 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여 얻은 결함 검사 모델은 분류 정확도가 높기에 검사 시스템의 성능을 향상하였다.

선택적으로, 제1 양태의 다른 한가지 가능한 실시 방식에서, 상기 전 처리한 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계는,

로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정하는 단계;

전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버에서 실행되는 상기 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계를 포함한다.

본 실시예에서, 로드 밸런싱 전략 기반 선택 검사 모델 서버는 서버에서의 로드 밸런싱을 실현하고, 디스플레이 장치 영상의 검사 효율을 향상하고, 디스플레이 장치 품질 검사 시스템의 성능을 향상할 수 있다.

선택적으로, 제1 양태의 또 다른 한가지 가능한 실시 방식에서, 상기 결함 검사 결과는 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 포함하고;

상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계는,

생산 단계 정보 및 상기 결함 검사 결과에 따라, 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계를 포함한다.

본 출원의 실시예에서, 생산 단계 정보를 결합하여 디스플레이 장치 품질의 좋고 나쁨을 확정할 수 있기에 판단 결과가 사람의 주관적 영향을 받는 것을 방지하였고, 일정한 정도에서 검사 정확도를 향상하였다.

선택적으로, 제1 양태의 또 다른 한가지 가능한 실시 방식에서, 상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계후에, 상기 방법은,

상기 디스플레이 장치에 스크린 고장이 발행한 것으로 판단되면,

컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작;

컨트롤러를 통해 상기 결함 검사 결과를 로그로 생산 데이터베이스에 저장하는 조작;

컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작;

상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하도록 하는 조작; 중에서 적어도 한가지 조작을 수행하는 단계를 더 포함한다.

본 출원의 실시예의 디스플레이 장치 품질 검사 방법이 디스플레이 장치의 생산라인에서 일정 시간 동안 실행된 후, 인공으로 생산 데이터베이스의 정보를 통하여, 상기 결함 검사와 결함 위치의 정확도를 재검사할 수 있고, 그 다음 상기 학습 데이터베이스를 업데이트하여, 결함 검사 모델을 다시 학습하여 결함 검사 정확도를 향상할 수 있다.

본 출원 제2 양태에서,

디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 상기 디스플레이 장치의 생산라인의 영상 수집 설비에 의해 수집된 디스플레이 장치의 영상을 포함하는 품질 검사 요청을 수신하는 수신 모듈;

상기 디스플레이 장치 영상에 대해 영상 전 처리를 진행하고, 전 처리한 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 처리 모듈, 이중, 상기 영상 전 처리는 엣지 컷팅, 전단, 회전, 축소 및 확대 중 적어도 한가지를 포함하고, 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이고；

상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 확정 모듈;를 포함하는 디스플레이 장치 품질 검사 장치를 제공한다.

선택적으로, 제2 양태의 한가지 실시 방식에서, 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것은,

상기 결함 검사 모델은 상기 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여, 상기 후보 영역 손실, 상기 영역 유형 손실, 상기 영역 경계 손실과 상기 픽셀 인스턴스 손실의 총 손실 값이 기 설정된 손실 임계값을 만족하는 결과이고；

이 중, 상기 후보 영역 손실은 상기 과거 결함 디스플레이 장치 영상에서 선정 결함 영역과 실제 결함 영역 사이의 손실 값을, 결함 영역과 실제 결함 영역 사이의 손실 값을, 상기 영역 유형 손실은 상기 선정 결함 영역에서 예측 결함 유형과 실제 결함 유형 사이의 손실 값을, 상기 영역 경계 손실은 상기 선정 결함 영역에서 예측 결함 경계와 실제 결함 경계사이의 손실을, 상기 픽셀 인스턴스 손실은 상기 과거 결함 디스플레이 장치 영상에서 예측 픽셀 인스턴스와 실제 픽셀 인스턴스 사이의 손실을 의미함을 포함한다.

선택적으로, 제2 양태의 다른 한가지 가능한 실시 방식에서, 상기 처리 모듈은 구체적으로, 로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정하고, 전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버에서 실행되는 상기 결함 검사 모델에 입력하여 결함 검사 결과를 획득한다.

선택적으로, 제2 양태의 또 다른 한가지 가능한 실시 방식에서, 상기 결함 검사 결과는 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 포함하고;

상기 확정 모듈은 구체적으로, 생산 단계 정보 및 상기 결함 검사 결과에 따라, 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한다.

선택적으로, 제2 양태의 또 다른 한가지 가능한 실시 방식에서, 상기 처리 모듈은 또한, 상기 확정 모듈이 상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한 후, 상기 디스플레이 장치에 스크린 고장이 발생한 것으로 판단되면,

컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작;

컨트롤러를 통해 상기 결함 검사 결과를 로그로 생산 데이터베이스에 저장하는 조작;

컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작;

상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하도록 하는 조작; 중에서 적어도 한가지 조작을 수행한다.

본 출원의 제3 양태에서, 프로세서, 저장 장치, 및 상기 저장장치에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행 시 상기의 제1 양태 및 제1 양태의 각 종 가능한 실시 방식 중의 임의의 한가지 방법을 구현하는 전자 장치를 제공한다.

본 출원의 제4 양태에서, 저장 매체를 제공하되, 상기 저장 매체에는 명령이 저장되고, 상기 명령이 컴퓨터에서 실행될 때, 컴퓨터가 제1 양태 및 제1 양태의 각 종 가능한 실시 방식 중의 임의의 한가지 방법을 실행하도록 한다.

본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체는 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 품질 검사 요청을 수신하고, 해당 디스플레이 장치 영상에 대해 영상 전 처리하고, 전 처리 후의 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하여, 해당 결함 검사 결과에 따라 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하되, 해당 품질 검사 요청에는 디스플레이 장치의 생산라인 상의 영상 수집 설비에 의해 수집된 디스플레이 장치 영상을 포함한다. 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이기에, 해당 결함 검사 모델을 이용하여 얻은 결함 검사 결과는 분류 정확도가 높고, 시스템 성능이 향상되며, 업무 확장 능력이 높으므로, 종래 디스플레이 장치 결함 검사 방법에서 사람의 주관 적인 영향 요소가 비교적 커서 검사 정확도가 낮고, 시스템 성능이 낮으며 업무 확장 능력이 낮은 문제를 해결하였다.

도 1은 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 시스템의 구조를 나타내는 도면이다.
도 2는 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법의 제1 실시예의 흐름도이다.
도 3은 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법의 제2 실시예의 흐름도이다.
도 4는 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 장치의 실시예의 구조를 나타내는 도면이다.

본 발명의 목적, 기술 방안 및 장점을 더욱 명확히 설명하기 위해, 이하에서는 본 발명의 첨부한 도면을 결합하여 본 발명의 기술 방안에 대해 명확하고 완정하게 설명하고자 한다. 다만, 설명되는 실시예는 본 발명의 일부분 실시예이며 모든 실시예인 것은 아니다. 당업자는 본 발명의 실시예를 기반으로 창의적인 노력을 거치지 않고 획득한 다른 모든 실시예는 모두 본 발명의 보호범위에 속한다.

본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법은 디스플레이 장치 품질 검사 시스템에 적용되고, 도 1은 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 시스템의 구조를 나타내는 도면이다. 도 1에 도시된 바와 같이, 상기 디스플레이 장치 품질 검사 시스템은 디스플레이 장치의 생산 라인에 배치된 영상 수집 설비(11), 컨트롤 유닛(12), 서버 세트(13), 컨트롤러(14), 데이터베이스(15)와 학습기(16) 등 복수의 서로 다른 장치를 포함한다.

여기서, 영상 수집 설비(11)는 디스플레이 장치 생산라인의 디스플레이 장치 영상을 수집하고, 컨트롤 유닛(12)은 영상 수집 설비(11)에 의해 수집된 디스플레이 장치 영상을 수신하고, 상기 디스플레이 장치 영상을 서버 세트(13) 중 검사 모델 서버(130)에 발송하고, 검사 모델 서버(130)는 수신된 디스플레이 장치 영상을 자체에서 실행하고 있는 결함 검사 모델에 입력하여 결함 검사 결과을 획득하고, 컨트롤러(14)는 검사 모델 서버(130)의 결함 검사 결과를 수신하고, 생산 단계 정보를 결합하여 서비스 응답을 제공하며, 컨트롤러(14)는 또한, 결함 검사 결과를 로그로 하여 데이터베이스(15)에 저장할 수 있다. 이 외, 영상 수집 설비(11)에 의해 수집된 디스플레이 장치 영상은 결함 검사 모델의 학습된 원시 데이터로서 직접 데이터베이스(15)에 저장할 수도 있다. 학습기(16)는 데이터베이스 중의 과거 결함 디스플레이 장치 영상을 추출한 후, 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 결함 검사 모델을 획득한다.

선택적으로, 상기 데이터베이스(15)는 생산 데이터베이스(151)와 학습 데이터베이스(152)를 포함할 수 있고, 생산 데이터베이스(151)는 컨트롤러(14)에서 발송된 결함 검사 결과 및 영상 수집 설비 (11)에 의해 수집된 디스플레이 장치 영상을 수신하고 저장하며, 학습 데이터베이스(152)는 생산 데이터베이스(151)로부터 추출된 과거 결함 디스플레이 장치 영상과 대응되는 원시 디스플레이 장치 영상을 저장하여, 학습기(16)가 검사 정확도가 높은 결함 검사 모델을 획득할 수 있다.

선택적으로, 본 출원의 실시예의 학습기(16)는 하드웨어 및/또는 소프트웨어 기능으로 구현된 학습 엔진일 수 있고, 결함 검사 모델의 학습 툴로 사용된다.

본 출원의 실시예의 디스플레이 장치 품질 검사 시스템은 프로세서, 저장 장치 등 기타 실체 모듈이 더 포함할 수 있고, 본 실시예는 이에 한정되지 않는다.

아래에서 우선, 본 출원의 실시예가 적용되는 응용 장면에 대하여 간략하게 설명한다.

현 단계에서, 3C산업(3C산업은 컴퓨터, 통신과 소비 전자 3대 과학기술 제품을 결합하여 통합 응용한 정보 가전 산업을 의미함)의 전반적인 지능 자동화 정도가 비교적 낮고, 핸드폰 스크린 등 디스플레이 스크린 산업에 대한 조사 연구 분석으로부터, 대부분 생산업체에서 핸드폰 스크린에 대해 사용하는 검사 방식은 인공 검사 방법과 기계 보조적인 인공 검사 방법인 두가지로 나뉠 수 있음을 알 수 있다.

여기서, 인공 검사 방법은 생산 환경에서 수집된 영상을 산업 전문가의 육안으로 관찰하여 판단하는 것을 의미하며, 상기 방법은 사람의 주관적인 영향 요소를 비교적 크게 받고, 검사 효율이 비교적 낮으며, 사람의 눈에 대한 상해도 비교적 크다. 이외에, 디스플레이 장치의 생산 현장은 통상적으로 클린 환경이고, 직원들이 진입하기 전에 청결준비를 해야 하고, 클린 복장을 착용하여야 하며, 이는 직원들의 건강과 안전에 불리한 영향을 초래할 수도 있다.

기계 보조적인 인공 검사 방법은 액정 모듈 검사 장치 기반의 검사 방법이라고도 부르며, 구체적인 원리는, 우선 일정한 판단 능력을 구비한 품질 검사 시스템에서 결함이 없는 영상을 필터링하고, 산업 전문가가 결함이 있는 것으로 의심되는 영상에 대하여 다시 검사하고 판단하는 것이다. 기계 보조적인 인공 검사 방법에서, 품질 검사 시스템은 전문가 시스템과 특정 공정 시스템으로 부터 발전되어 온 것이 다반이며, 전문가가 경험을 품질 검사 시스템에 포밍시켜 일정한 자동화 능력을 구비하도록 하는 것을 의미한다. 그러므로, 기계 보조적인 인공 검사 방법은 정확도가 낮을 뿐더러, 시스템 성능도 낮기에, 업체의 모든 검사 표준을 커버하지 못할 뿐만 아니라 이런 방법은 효율이 낮고, 누락 판단 혹은 판단 오류가 종종 발생하고, 검사 후의 영상 데이터에도 이차적으로 이용되거나 발굴되기 어렵다. 이외에, 상기 품질 검사 시스템에서 특징과 판단 규정은 모두 산업 전문가의 경험에 따라 기계에 포밍된 것이기에, 업무의 발전에 따라 교체되기 어렵고, 생산 공정의 발전에 따라 품질 검사 시스템의 검사 정밀도도 점점 더 저하될 수 있고, 심지어 완전히 사용할 수 없는 상태로 저하될 수 있다. 나아가, 품질 검사 시스템의 특징은 모두 제3자 공급업체가 사전에 하드웨어에 포밍한 것이기에, 업그레이드 시 생산라인에 대하여 중대한 개조를 해야 할뿐만 아니라 가격이 매우 비싸고, 안전성, 표준화, 확장 가능성 등 방면에서 모두 확실한 부족점이 존재하고, 디스플레이 장치 생산 라인의 최적화 업그레이드, 업무 확장 능력이 저하하다.

상술한 바와 같이, 인공 검사 방법과 기계 보조적인 인공 검사 방법은 모두 효율이 낮을뿐만 아니라, 판단 오류로 쉽게 나타나고, 이런 두가지 방법에 의해 생성된 공업 데이터는 저장, 관리와 이차 발굴하여 이용하기 어렵다.

본 출원의 실시예는 인공 지능 기술의 컴퓨터 비젼에서의 최신 발전을 바탕으로 자동화하고, 고정밀도인 디스플레이 장치 품질 검사 방법을 개발하고, 영상 수집 설비를 이용하여 디스플레이 장치의 생산라인에서 실시간으로 디스플레이 장치 영상을 수집하고, 실시간으로 디스플레이 장치 표면의 품질을 검사 판단하고, 만약 현재 영상 수집 설비에 의해 수집된 디스플레이 장치에 품질 문제가 존재하면 해당 품질 문제가 영상에 위치한 위치, 해당하는 유형 및 유형 인스턴스를 확정한다.

설명해야 할 것은, 본 출원의 실시예는 사람의 눈, 컴퓨터 비전을 사용하여 디스플레이 장치를 검사하는 임의의 장면에 응용할 수 있고, 본 실시예의 디스플레이 장치는 플라즈마 스크린, 액정 디스플레이(liquid crystal display, LCD) 스크린, 발광 다이오드(light emitting diode, LED) 스크린, 유기 발광 다이오드(organic light-emitting diode, OLED) 스크린 등 임의의 한가지를 포함할 수 있다. 본 출원의 실시예는 상기의 몇가지 스크린에 한정되지 않고, 기타 디스플레이 스크린을 포함할 수도 있으며, 여기에서 더 이상 부수적으로 설명하진 않겠다.

선택적으로, 본 출원의 실시예에서 언급된 품질 문제는 도트 결함, 라인 결함, 면 결함과 색차이(mura) 등 서로 다른 유형의 결함 문제를 포함하며, 이에 한정하지 않지 않으며, 여기에서 일일이 소개하지 않는다. 선택적으로, mura는 디스플레이 장치의 밝기가 균일하지 않아 야기되는 각 종 흔적 현상을 의미한다.

아래에는 구체적인 실시예를 통하여 본 출원의 기술 방안에 대하여 상세하게 설명할 것이다. 설명해야 할 것은, 아래 이 몇가지 구체적인 실시예는 서로 결합할 수 있고, 동일하거나 유사한 개념 또는 과정에 대하여 어떤 실시예에서는 중복 설명하진 않겠다.

본 출원의 실시예에서, "복수"는 2개 이상을 의미하고, "및/또는"은 관련 대상의 관련 관계를 설명하며, 예를 들어, A 및/또는 B는 A가 단독적으로 존재, A와 B가 동시에 존개, B가 단독적으로 존재하는 3가지 관계를 표시할 수 있다. "/"부호는 일반적으로 전후 관련 대상의 "혹은"의 관계를 표시한다.

도 2는 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법의 제1 실시예의 흐름도이다. 도 2에 도시된 바와 같이, 본 출원의 실시예에서, 상기 디스플레이 장치 품질 검사 방법은 아래와 같은 단계를 포함한다.

단계(21): 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 품질 검사 요청을 수신하고, 상기 품질 검사 요청에는 디스플레이 장치의 생산라인에 배치된 영상 수집 설비에 의해 수집된 디스플레이 장치 영상을 포함한다.

선택적으로, 본 출원의 실시예에서, 디스플레이 장치의 생산라인에는 영상 수집 설비, 컨트롤 유닛, 서버 세트, 컨트롤러, 데이터베이스 등 복수의 서로 다른 장치가 배치되어 있다. 영상 수집 설비는 고정밀도 영상 수집 카메라일 수 있고, 디스플레이 장치의 생산 과정에서, 영상 수집 설비의 각도, 광선, 필터, 배율, 초점 등을 조정하여 디스플레이 장치의 생산라인에 위치한 복수의 디스플레이 장치에 대응하는 디스플레이 장치 영상을 수집할 수 있다.

디스플레이 장치의 생산라인의 영상 수집 설비에 의해 디스플레이 장치 영상을 수집한 후에, 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛은 디스플레이 장치의 생산라인에 배치된 결함 검사 모델을 구비한 서버 세트에 품질 검사 요청을 발송하여, 서버 세트 중 상기 품질 검사 요청을 수신한 서버가 수신된 디스플레이 장치 영상에 대해 처리하도록 하고, 상기 품질 검사 요청에는 상기 영상 수집 설비에 의해 수집된 디스플레이 장치 영상을 포함한다.

단계(22): 상기 디스플레이 장치 영상에 대하여 엣지 컷팅, 전단, 회전, 축소 및 확대 중 적어도 한가지를 포함하는 영상 전 처리를 진행한다.

선택적으로, 본 출원의 실시예에서, 일반적인 경우, 디스플레이 장치의 생산라인에 배치된 영상 수집 설비는 일반적으로 고정밀도 카메라이기에, 상기 영상 수집 설비를 이용하여 수집된 디스플레이 장치 영상의 사이즈는 크거나 화소가 높거나, 또는 위치가 적절하지 않을 수 있다. 그러므로, 컨트롤 유닛에 의해 발송된 품질 검사 요청 중의 디스플레이 장치 영상을 수신한 후, 실제 상황에 따라 디스플레이 장치 영상에 대해 전 처리해야 한다.

예를 들면, 디스플레이 장치 영상의 경계 영역이 클 때, 디스플레이 장치 영상에 대해 에지 커팅하여 디스플레이 장치 영상의 유용한 부분을 보류하고, 또는 디스플레이 장치 영상의 사이즈가 비교적 클 때, 디스플레이 장치 영상에 대해 전단, 축소 처리하여, 결함 검사 모델에 전달한 디스플레이 장치 영상이 완전하게 검사되도록 하여 디스플레이 장치의 검사 정밀도를 향상할 수 있다. 또는, 디스플레이 장치 영상 중의 어떤 영역에 대해 중점으로 검사해야 할 때, 디스플레이 장치 영상 중의 해당 영역에 대해 확대 등 처리하여 전 처리 후의 디스플레이 장치 영상이 검사 표준에 부합되도록 한다.

본 출원의 실시예의 디스플레이 장치 품질 검사 방법은 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과을 획득하기 전에, 상기 디스플레이 장치 영상에 대하여 엣지 컷팅 및/또는 전단 및/또는 회전 및/또는 축소 및/또는 확대 등 영상 전 처리를 진행하고, 결함 검사 모델에 전달된 디스플레이 장치 영상이 검사 표준에 부합되도록 하여, 후속 디스플레이 장치 영상의 결함 검사를 위해 기반을 마련함으로 디스플레이 장치 품질 검사의 정확도를 향상하였다.

단계(23): 전 처리 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하고, 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이다.

선택적으로, 품질 검사 요청을 수신한 서버는 품질 검사 요청 중의 전 처리 후의 디스플레이 장치 영상을 서버상에서 실행되고 있는 결함 검사 모델에 입력하여 결함 검사 모델에 의해 결함 검사가 수행되어 결함 검사 결과를 획득한다.

여기서 설명해야 할 것은, 서버상에서 실행되는 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이다. 즉, 디스플레이 장치의 생산라인상의 디스플레이 장치 영상은 결함 검사 모델의 입력으로 하고, 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 이용하여 디스플레이 장치 영상 중의 특징(즉, 디스플레이 장치 영상에 존재하는 결함)을 추출하여 결함 검사 모델의 출력으로 하며, 나아가 결함 검사 모델에 대하여 학습한다.

구체적으로, 인스턴스 분할은 기계가 영상에서 타겟 검사 방법을 사용하여 자동으로 서로 다른 인스턴스를 확정하고, 다시 시맨틱 분할 방법을 사용하여 서로 다른 인스턴스 영역 내에서 픽셀마다의 표기를 진행한다. 여기서 설명해야 할 것은, 시맨틱 분할은 동일한 결함 유형에 속하는 서로 다른 인스턴스를 구분하지 않고, 인스턴스 분할은 어떤 픽셀이 구체적으로 어느 유형의 결함의 어느 인스턴스에 속하는지 구분해야 한다. 그러므로 본 출원의 실시예에서, 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 기반 구조와 인스턴스 분할 알고리즘을 사용하여 대량의 과거 결함 디스플레이 장치 영상에 대하여 학습하여 얻은 것이고, 즉, 먼저 과거 결함 디스플레이 장치 영상에 존재하는 서로 다른 결함 인스턴스를 확정하고, 그 다음 픽셀의 각도에서 영상 중의 결합 및 결함이 대응하는 구체적인 인스턴스를 분할하고, 디스플레이 장치 영상에서 표기하여 최종적으로 분류하고 통계하고 조합하고 학습하여 얻는 것이다.

한가지 예시로서, 본 출원의 실시예의 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이고, 아래와 같이 해석할 수 있다.

결함 검사 모델은 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여, 상기 후보 영역 손실, 상기 영역 유형 손실, 상기 영역 경계 손실과 상기 픽셀 인스턴스 손실의 총 손실 값이 기설정 손실 임계값을 만족하도록 하는 결과이다.

여기서, 후보 영역 손실은 과거 결함 디스플레이 장치 영상 중에서 선정 결함 영역과 실제 결함 영역 사이의 손실 값을, 영역 유형 손실은 선정 결함 영역 중 예측 결함 유형과 실제 결함 유형 사이의 손실 값을, 영역 경계 손실은 선정 결함 영역 중 예측 결함 경계와 실제 결함 경계 사이의 손실 값을, 픽셀 인스턴스 손실은 과거 결함 디스플레이 장치 영상 중 예측 픽셀 인스턴스와 실제 픽셀 인스턴스 사이의 손실 값을 의미한다.

본 출원의 실시예에서, 결함 검사 모델은 컨벌루션 뉴럴 네트워크(convolutional neural networks, CNNs) 구조를 바탕으로 하고, 컨벌루션 뉴럴 네트워크의 구조는 주로 컨벌루션 레이어, 풀링 레이어, 풀 연결(Full Connected) 레이어 등으로 구성된다. 컨벌루션 뉴럴 네트워크의 입도와 계층의 선택은 실제 상황에 따라 확정될 수 있고 본 출원의 실시예에서는 이에 대하여 한정하지 않는다. 컨벌루션 레이어의 컨벌루션 조작은 가중치가 서로 다른 컨벌루션 커널을 사용하여 디스플레이 장치 영상 또는 컨벌루션 처리를 적어도 한번 진행하여 얻은 영상 특징맵에 대해 스캔 컨벌루션을 진행하고, 이중에서 각 종 유형의 특징을 추출하며, 다시 하나의 영상 특징맵을 획득하는 과정을 의미한다. 여기서, 컨벌루션 커널은 가중치 행렬이고, 즉, 컨벌루션 시 사용되는 가중치를 하나의 행렬로 나타낸 것이고, 이 행렬과 대응되는 영상 사이즈는 동일하고, 행과 열은 모두 홀수 이며, 가중치 행렬이다. 풀링 레이어의 풀링 조작은 컨벌루션 레이어에서 출력된 특징맵에 대하여 차원 감소 조작을 진행하고 특징맵 중의 주요 특징을 유지하는 것이다. CNN네트워크에서, 풀 연결(Full Connected) 레이어는 컨벌루션 레이어에서 생성된 특징맵을 하나의 고정 길이(일반적으로 입력 영상 데이터 세트 중의 영상 유형 수 임)로 매핑한 특징 백터이고, 이런 특징 백터는 입력 영상의 모든 특징의 조합 정보를 포함하고, 즉, 영상에 포함된 가장 특점이 있는 영상 특징을 보류하여 영상의 분류 임무를 완성한다.

본 출원의 실시예는 이러한 컨벌루션, 풀링, 풀 연결 조작을 구비한 딥 뉴럴 네트워크 모델을 사용하여, 디스플레이 장치의 생산라인 상의 영상 수집 설비에 의해 수집된 디스플레이 장치 영상의 변형, 블러링, 조도 변화 등 특징에 대하여 비교적 높은 강건성을 구비하고, 분류 임무에 대하여 더욱 높은 일반화 가능성을 구비한다.

선택적으로, 본 실시예에서, 인스턴스 분할 알고리즘은 Mask RCNN 알고리즘일 수 있고, 상기 Mask RCNN 알고리즘은 Faster RCNN 알고리즘을 기초로 하여 인스턴스 분할을 추가한 네트워크 브랜치이다. 상기 네트워크 브랜치는 Faster RCNN 알고리즘에 의해 추출된 특징맵에 대해, 다시 바이너리 인터폴레이션 기반 방법으로 특징맵을 디스플레이 장치 영상의 원 이미지 사이즈로 환원하고, 각각의 픽셀에 대하여 그가 속하는 인스턴스를 예측하여 예측 픽셀 인스턴스를 획득한다. 각 픽셀의 예측 결과에 있어서, 실제 픽셀 인스턴스와 크로즈 엔트로피(cross entropy) 연산을 하여 픽셀 인스턴스 손실을 획득한다. 그 다음, 상기 픽셀 인스턴스 손실을 Faster RCNN 알고리즘의 손실과 함께 결합하고 조합 학습하여 결함 검사 모델을 획득한다.

Faster RCNN 알고리즘은 Mask RCNN 알고리즘의 기초이고, 상기 Faster RCNN 알고리즘은 우선 컨벌루션 뉴럴 네트워크 구조의 컨벌루션 조작을 이용하여 특징맵을 획득하고, 그 다음, 디스플레이 장치 영상의 선정 결함 영역 내에 특정 결함이 포함되는지 여부를 다시 계산하고, 만약 결함을 포함하면, 한편으로, 선정 결함 영역과 실제 결함 영역 사이의 손실 값(후보 영역 손실)을 계산할 수 있고, 다른 한편으로, 컨벌루션 뉴럴 네트워크를 이용하여 특징 추출하고, 다음 선정 결함 영역 중의 결함 유형과 결함 경계를 예측할 수 있으며, 나아가 선정 결함 영역중의 예측 결함 유형와 실제 결함 유형 사이의 손실 값( 영역 유형 손실)및 선정 결함 영역 중의 예측 결함 경계와 실제 결함 경계 사이의 손실 값(영역 경계 손실)을 계산해 낼 수 있다. 만약 디스플레이 장치 영상의 선정 결함 영역내에 특정 결함이 포함되지 않으면 분류하지 않는다.

상기 내용으로부터, 결함 검사 모델은 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습한 결과이고, 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실의 손실 함수를 획득할 수 있으며, 상기 손실 함수는 결함 검사 모델의 의 학습 단계에서 컨벌루션 뉴럴 네트워크의 출력 결과와 실제값의 차이를 평가하기 위한 것이고, 그 다음 손실 함수의 값으로 각 신경원 사이의 가중치를 업데이트한다. 컨벌루션 뉴럴 네트워크의 학습 목적은 손실 함수 값을 최소화 하는 것이다.

결함 검사 모델의 출력 결과와 디스플레이 장치 영상 중에 표기한 결함 결과 사이의 오차 값이 기설정 손실 임계값보다 작을 때, 학습을 중지한다. 상기 기설정 손실 임계값은 디스플레이 장치의 업무 요구에 부합하는 값이다.

여기서 설명해야 할 것은, 본 출원의 실시예에서, 서로 다른 생산 장면과 디스플레이 장치 영상의 특점에 대해, 상기 결함 검사 모델을 학습하는데 필요한 딥 컨벌루션 뉴럴 네트워크의 깊이, 각 레이어의 신경원의 수량 및 컨벌루션 레이어, 풀링 레이어의 조직 방식은 서로 다를 수 있고, 실제 상황에 따라 확정할 수 있으며, 본 실시예에서는 이에 대하여 한정하지 않는다.

단계(24): 상기 결함 검사 결과에 따라 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한다.

선택적으로, 본 출원의 실시예에서, 결함 검사 모델에 따라 결함 검사 결과를 획득한 후, 상기 결함 검사 결과를 근거로 하여 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정할 수 있다.

선택적으로, 본 출원의 일 실시예에서, 상기 결함 검사 결과는 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 포함할 수 있다.

선택적으로, 본 실시예에서, 디스플레이 장치 영상에 결함이 존재 시, 상기 결함 검사 모델에 의해 획득할 수 있는 결함 검사 결과에는 결함 유형(디스플레이 장치에 공동으로 존재하는 몇가지 결함), 결함 인스턴스(디스플레이 장치의 결함이 구체적으로 어떤 유형의 결함 중의 어느 하나에 속하는지, 그리고 각 유형의 결함이 구체적으로 몇개 있는지 알 수 있음), 결함 위치(각 결함의 구체 위치)를 포함할 수 있다. 다시 말해서, 본 출원의 실시예의 결함 검사 모델은 디스플레이 장치 영상 중에 몇가지 결함 유형이 존재하는지, 그리고 각 결함의 구체 개수를 검사해 낼 수 있다.

상응하게, 상기 단계(24)(상기 결함 검사 결과에 따라 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정)는 아래와 같은 단계로 대체될 수 있다.

생산 단계 정보 및 상기 결함 검사 결과에 따라, 디스플레이 장치 영상에 대응하는디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계.

구체적으로, 디스플레이 장치의 생산 업체가 다르고, 디스플레이 장치의 생산 환경 및 디스플레이 장치의 유형이 다른 등 여러가지 서로 다른 생산 단계 정보는 모두 디스플레이 장치 품질 검사 과정에서 서로 다른 결함 검사 결과를 얻을 수 있다. 예를 들면, 액정 디스플레이 장치에 있어서, 일반적으로 TFT 가공, 컬러 필터 가공, 유닛 조립과 모듈 조립 등 생산 단계를 거쳐야 한다. LED 스크린에 있어서, 일반적으로 패치, 플러그 인, 웨이브 웰딩, 백워드 웰딩, 테스트, 모듈 조립 등 단계를 거쳐야 한다. 서로 다른 종류의 디스플레이 장치에 있어서, 경과하는 생산 단계는 서로 다르기에, 상기 획득된 결함 검사 결과에 대해 분석할 때, 각 디스플레이 장치의 생산 단계 정보를 결합하여 디스플레이 장치의 품질의 좋고 나쁨을 확정해야 한다.

본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법은, 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 품질 검사 요청을 수신하되, 상기 품질 검사 요청 중에는 디스플레이 장치의 생산라인에 배치된 영상 수집 설비에 의해 수집된 디스플레이 장치 영상을 포함하고, 상기 디스플레이 장치 영상에 대해 영상 전 처리하고, 전 처리 후의 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하고, 상기 결함 검사 결과에 따라 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한다. 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이기에, 상기 결함 검사 모델을 이용하여 획득한 결함 검사 결과의 분류 정확도는 높고, 지능화 능력이 강하고, 시스템 성능이 향상되며, 업무 확장 능력이 높다.

선택적으로, 상기 실시예의 기초상에서, 도 3은 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법의 제2 실시예의 흐름도이다. 도 3에 도시된 바와 같이, 본 실시예에서, 상기 단계(23)(전 처리 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득)는 아래 단계에 의해 실현될 수 있다.

단계(31): 로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정한다.

선택적으로, 본 출원의 실시예에서, 디스플레이 장치의 생산라인에는 서버 세트가 배치되어 있고, 상기 서버 세트의 서버 수량은 복수개일 수 있고, 각 서버에는 모두 결함 검사 모델이 실행된다. 선택적으로, 각 서버상에서 실행되는 결함 검사 모델은 모두 동일하기에, 각 서버는 모두 컨트롤 유닛에 의해 발송된 품질 검사 요청을 수신할 수 있고, 나아가, 자체에 적재된 결함 검사 모델을 이용하여 디스플레이 장치 영상에 품질 검사를 진행할 수 있다.

한가지 예시로서, 디스플레이 장치의 생산라인에 배치된 영상 수집 설비는 실시간으로 디스플레이 장치 영상을 수집하기에, 컨트롤 유닛도 실시간으로 서버 세트 중의 임의의 하나의 서버에 품질 검사 요청을 발송할 수 있다.

선택적으로, 서버 세트 중의 각 서버에서 실행되는 결함 검사 모델은 동일하기에, 서버상의 결함 검사 모델의 검사 효율을 향상하고, 결함 검사 모델의 부하를 균형하도록 확보하기 위하여, 미리 설정된 로드 밸런싱 전략에 따라, 서버 세트 중에서 하나의 처리 자원을 적재하는 검사 모델 서버를 확정하고, 즉, 디스플레이 장치의 생산라인 상의 결함 검사 모델의 배치 상황에 따라 실시간으로 로드 밸런싱과 스케쥴링을 진행한다.

단계(32): 전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버에서 실행되는 결함 검사 모델에 입력하여 결함 검사 결과를 획득한다.

선택적으로, 본 출원의 실시예에서, 서버 세트에서 처리 자원을 적재하는 검사 모델 서버를 확정한 후, 전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버상에서 실행되는 결함 검사 모델에 입력하고, 상기 결함 검사 모델을 이용하여 전 처리 후의 디스플레이 장치 영상 중의 결함을 검사하여, 결함 검사 결과를 획득할 수 있다. 선택적으로, 상기 결함 검사 모델은 학습 모델에 의해 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이다.

본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법은 로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정하고, 전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버 상에서 실행되는 결함 검사 모델에 입력하여 결함 검사 결과를 획득하기에, 서버의 로드 밸런싱을 실현하고, 디스플레이 장치 영상의 검사 효율을 향상하며, 디스플레이 장치 품질 검사 시스템의 성능을 향상할 수 있다.

선택적으로, 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 방법 중에서, 상기 단계(23)(상기 결함 검사 결과에 따라 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정)후에,

상기 디스플레이 장치에 고장이 발생한 것으로 확정되면,

컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작;

컨트롤러를 통해 상기 결함 검사 결과를 로그로하여 생산 데이터베이스에 저장하는 조작;

컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작;

상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하는 조작; 중의 적어도 하나의 조작을 실행하는 단계를 더 포함한다.

선택적으로, 본 출원의 실시예에서, 테스트 인원은 디스플레이 장치의 생산 장면과 생산 단계 정보에 따라 디스플레이 장치에 고장이 발생한 것으로 확정될 때의 해결 방안, 예를 들면, 컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작, 및/또는 컨트롤러를 통해 상기 결함 검사 결과를 로그로 하여 생산 데이터베이스에 저장하는 조작, 및/또는 컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작, 및/또는 상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하는 조작; 등을 미리 설정할 수 있다.

구체적으로, 한가지 예시로서, 상기 결함 검사 결과에 따라 디스플레이 장치 영상에 대응하는 디스플레이 장치에 고장이 발생한 것으로 확정되면, 즉, 디스플레이 장치에 결함이 존재할 때, 경보 정보를 발송하여 생산 관리자가 즉시 결함의 유형과 위치를 확정하고 해결 방안을 제시하도록 할 수 있다.

다른 한가지 예시로서, 상기 결함 검사 결과에 따라 디스플레이 장치에 결함이 존재시, 컨트롤러를 통해 상기 결함 검사 결과를 로그로서 생산 데이터베이스에 저장할 수 있고, 즉, 디스플레이 장치의 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 로그로서 생산 데이터베이스에 저장하고, 나아가 이를 학습 데이터베이스로 선별할 수 있으며, 학습 모듈(학습 엔진 소프트웨어 프로그램 등일 수 있음)에 의해 결함이 존재하는 디스플레이 장치 영상에 따라 상기 결함 검사 모델을 업데이트 할 수 있다.

또 다른 한가지 예시로서, 상기 결함 검사 결과에 따라 디스플레이 장치에 존재하는 결함을 확정시, 컨트롤러에 의해 컨트롤 유닛에 생산 제어 명령을 발송하여 결합을 제거할 수 있다. 즉, 결함 검사 모델을 적재하는 검사 모델 서버는 컨트롤러를 통해 결함이 나타난 원인을 확정할 수 있고, 나아가 관련되는 생산 프로세스를 조정하여, 즉 검사 모델 서버가 컨트롤러를 통하여 컨트롤 유닛에 생산 제어 명령을 발송하여 디스플레이 장치에 발생한 결함을 제거하여 고장난 스크린이 나타날 확율을 감소할 수 있다.

또 다른 한가지 예시로서, 상기 결함 검사 결과에 따라 디스플레이 장치에 결함이 존재하는 것으로 확정시, 상기 디스플레이 장치 영상과 상기 결함 검사 결과를 직접 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화 할 수 있고, 즉, 고장난 스크린에 대응하는 디스플레이 장치 영상을 직접 결함 검사 모델의 입력으로 하고, 고장난 스크린의 결함 검사 결과를 결함 검사 모델의 출력으로 하여, 상기 결함 검사 모델을 최적화함으로써, 결함 검사 모델의 검사 정확도를 더 향상할 수 있다.

여기서 설명해야 할 것은, 본 출원의 실시예는 디스플레이 장치가 고장난 스크린일 때, 검사 모델 서버가 실행할 수 있는 상기 적어도 한가지 조작에 한정되지 않고, 실제 상황에 따라 확정할 수 있으며, 여기에서는 중복 설명은 하진 않겠다.

선택적으로, 디스플레이 장치의 생산라인에 배치된 영상 수집 설비, 컨트롤 유닛, 서버 세트, 컨트롤러, 데이터베이스 등 복수의 서로 다른 장치에 있어서, 디스플레이 장치 품질 검사 방법이 대응하는 조작 단계는 상기 복수의 서로 다른 장치에 분산시켜 실행할 수 있다. 예를 들면, 영상 수집 설비는 디스플레이 장치 영상을 수집하고, 컨트롤 유닛은 로드 밸런싱 전략에 따라, 영상 수집 설비에 의해 수집된 디스플레이 장치 영상을 서버 세트 중 검사 모델 서버에 발송하여, 검사 모델 서버상에서 실행되는 결함 검사 모델이 디스플레이 장치 영상에 대해 기설정된 전 처리를 진행한 후 결함 검사를 진행하고, 결함 검사 결과를 제시한다. 검사 모델 서버는 결함 검사 결과를 컨트롤러에 발송할 수 있고, 한편으로는 컨트롤러에 의해 실제 업무 장면을 결합하여 업무 수요를 바탕으로 상기 결함 검사 결과에 따라 실제 업무 장면 요구에 부합하는, 예를 들면, 경보, 로그 저장, 생산 제어 명령을 제어 등 응답을 제시하고, 다른 한편으로는 컨트롤러는 결함 검사 결과 및 상기 응답의 처리 행위를 로그로서 생산 데이터베이스에 저장하여, 학습 모듈이 학습 데이터베이스 중의 디스플레이 장치 영상과 결함 검사 결과에 따라 상기 획득된 결함 검사 모델을 업데이트 할 수도 있고, 상기 학습 데이터베이스에 저장된 것은 생산 데이터베이스에 의해 선정된 결함이 있는 디스플레이 장치 영상과 대응하는 결함 검사 결과 등 데이터이다.

여기서 설명해야 할 것은, 매번 최적화된 결함 검사 모델은 작은 량으로 론칭하는 방식으로 점차적으로 서버상에서 실행되고 있는 결함 검사 모델을 대체하여, 결함 검사 모델이 업무 환경과 생산 단계 정보에 따라 동적으로 확장되고 일반화되는 목적을 달성하도록 한다. 본 출원의 실시예의 디스플레이 장치 품질 검사 방법은 디스플레이 장치의 생산라인에서 일정시간 실행한 후, 인공으로 생산 데이터베이스 중의 정보를 이용하여, 상기 결함 검사와 결함 위치의 정확도를 재 검사하여, 상기 학습 데이터베이스를 업데이트하고, 결함 검사 모델을 다시 학습하여, 결함 검사 정확도를 향상할 수 있다.

아래는 본 출원의 방법 실시예를 실행하는데 사용할 수 있는 본 출원의 장치 실시예이다. 본 출원의 장치 실시예에서 개시하지 않은 세부 사항에 있어서, 본 출원의 방법 실시예를 참조하도록 한다.

도 4는 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 장치의 실시예의 구조를 나타내는 도면이다. 도 4에 도시된 바와 같이, 본 출원의 실시예에 따른 디스플레이 장치 품질 검사 장치는, 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 상기 디스플레이 장치의 생산라인의 영상 수집 설비에 의해 수집된 디스플레이 장치의 영상을 포함하는 품질 검사 요청을 수신하는 수신 모듈(41)과,

상기 디스플레이 장치 영상에 대해 영상 전 처리하고, 전 처리한 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 처리 모듈(42)과,

상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 확정 모듈(43)을 포함하되,

여기서, 상기 영상 전 처리는 엣지 컷팅, 전단, 회전, 축소 및 확대 처리중 적어도 한가지를 포함하고, 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이다.

선택적으로, 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것은,

상기 결함 검사 모델은 상기 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여, 상기 후보 영역 손실, 상기 영역 유형 손실, 상기 영역 경계 손실과 상기 픽셀 인스턴스 손실의 총 손실 값이 기 설정된 손실 임계값을 만족하는 결과이고,

이 중, 상기 후보 영역 손실은 상기 과거 결함 디스플레이 장치 영상에서 선정 결함 영역과 실제 결함 영역 사이의 손실 값을 의미하고, 상기 영역 유형 손실은 상기 선정 결함 영역에서 예측 결함 유형과 실제 결함 유형 사이의 손실 값을 의미하고, 상기 영역 경계 손실은 상기 선정 결함 영역에서 예측 결함 경계와 실제 결함 경계사이의 손실을 의미하고, 상기 픽셀 인스턴스 손실은 상기 과거 결함 디스플레이 장치 영상에서 예측 픽셀 인스턴스와 실제 픽셀 인스턴스 사이의 손실을 의미함을 포함한다.

선택적으로, 본 출원의 한가지 가능한 실시 방식에서, 상기 처리 모듈(42)은 구체적으로, 로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정하고, 전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버에서 실행되는 상기 결함 검사 모델에 입력하여 결함 검사 결과를 획득한다.

선택적으로, 본 출원의 다른 한가지 가능한 실시 방식에서, 상기 결함 검사 결과는 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 포함한다.

상기 확정 모듈(43)은 구체적으로, 생산 단계 정보 및 상기 결함 검사 결과에 따라, 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한다.

선택적으로, 본 출원의 다른 한가지 가능한 실시 방식에서, 상기 처리 모듈(42)은 또한, 상기 확정 모듈(43)이 상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한 후, 상기 디스플레이 장치 스크린 고장으로 판단되면,

컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작;

컨트롤러를 통해 상기 결함 검사 결과를 로그로 생산 데이터베이스에 저장하는 조작;

컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작;

상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하도록 하는 조작; 중에서 적어도 한가지 조작을 수행한다.

본 실시예의 디스플레이 장치 품질 검사 장치는 도 2와 도 3에 도시된 방법 실시예의 구현 방안을 실행할 수 있고, 구체적인 구현 방안과 기술효과는 유사함으로 여기에서는 중복적으로 설명하진 않겠다.

본 출원의 실시예는 프로세서, 저장 장치, 및 상기 저장장치에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행 시 상기 도 2와 도 3에 도시된 바와 같은 방법 실시예에 도시된 디스플레이 장치 품질 검사 방법의 각 단계를 실행할 수 있는 전자 장치를 더 제공한다.

본 출원은 또한 저장 매체를 더 제공하되, 상기 저장 매체에는 명령이 저장되고, 컴퓨터에서 실행될 때, 컴퓨터로 하여금 도 2와 도 3에 도시된 방법 실시예의 방법을 실행하도록 한다.

본 출원 프로그램 제품을 더 제공하되, 상기 프로그램 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 저장 매체에 저장되어 있다. 디스플레이 장치 품질 검사 장치의 적어도 하나의 프로세서는 저장 매체로부터 상기 컴퓨터 프로그램을 판독하여 적어도 하나의 프로세서는 상기 컴퓨터 프로그램을 실행하여 디스플레이 장치 품질 검사 장치로 하여금 도 2와 도 3에 도시된 방법 실시예의 방법을 실행하도록 한다.

당해 보통 기술자는, 상기 각 방법 실시예의 전부 또는 부분 단계를 실현은 프로그램 명령과 관련된 하드웨어를 통하여 완성할 수 있다는 것을 이해할 수 있을 것이다. 상기한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 프로그램을 실행할 때, 상기 각 방법 실시예를 포함하는 단계를 실행하고, 상기의 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등 각종 프로그램 코드를 저장할 수 있는 매체를 포함한다.

마지막으로, 상기 각 실시예는 단지 본 출원의 기술 방안을 설명하기 위한 것으로서 본 출원을 한정하는 것이 아니며, 비록 상기 각 실시예를 참조하여 본 출원에 대해 상세하게 설명하였지만, 본 발명의 기술 분야의 통상의 지식을 가진 자라면 상기 각 실시예에서 설명 된 기술 방안에 대해 수정하거나 일부분 또는 모든 기술적 특징에 대해 균등한 대체를 실시할 수 있으며, 상기와 같은 수정 또는 대체는 상응 기술 방안의 본질이 본 출원의 각 실시예의 기술방안의 범위로부터 벗어나지 않는다는 것을 이해할 수 있을 것이다.

11: 영상 수집 설비 12: 컨트롤 유닛
13: 서버 세트 14: 컨트롤러
15: 데이터 베이스 16: 학습기
130: 검사 모델 서버 151: 생산 데이터베이스
152: 학습 데이터베이스 41: 수신 모듈
42: 처리 모듈 43: 확정 모듈

Claims (12)

1. 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 상기 디스플레이 장치의 생산라인의 영상 수집 설비에 의해 수집된 디스플레이 장치의 영상을 포함하는 품질 검사 요청을 수신하는 단계;
   상기 디스플레이 장치 영상에 대해 엣지 컷팅, 전단, 회전, 축소 및 확대 중의 적어도 하나를 포함하는 영상 전 처리를 진행하는 단계;
   전 처리한 후의 상기 디스플레이 장치 영상을 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계; 및
   상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 방법.
   
2. 제1항에 있어서,
   상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것은,
   상기 결함 검사 모델은 상기 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여, 상기 후보 영역 손실, 상기 영역 유형 손실, 상기 영역 경계 손실과 상기 픽셀 인스턴스 손실의 총 손실 값이 기 설정된 손실 임계값을 만족하는 결과이고;
   이 중, 상기 후보 영역 손실은 상기 과거 결함 디스플레이 장치 영상에서 선정 결함 영역과 실제 결함 영역 사이의 손실 값을 의미하고, 상기 영역 유형 손실은 상기 선정 결함 영역에서 예측 결함 유형과 실제 결함 유형 사이의 손실 값을 의미하고, 상기 영역 경계 손실은 상기 선정 결함 영역에서 예측 결함 경계와 실제 결함 경계사이의 손실을 의미하고, 상기 픽셀 인스턴스 손실은 상기 과거 결함 디스플레이 장치 영상에서 예측 픽셀 인스턴스와 실제 픽셀 인스턴스 사이의 손실을 의미하는 것을 포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 방법.
   
3. 제1항에 있어서,
   상기 전 처리한 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계는,
   로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정하는 단계;
   전 처리 후의 상기 디스플레이 장치 영상을 상기 검사 모델 서버에서 실행되는 상기 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 방법.
   
4. 제1항 내지 제3항 중 임의의 한 항에 있어서,
   상기 결함 검사 결과는 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 포함하고;
   상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계는,
   생산 단계 정보 및 상기 결함 검사 결과에 따라, 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 방법.
   
5. 제1항 내지 제3항 중 임의의 한 항에 있어서,
   상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 단계 후에,
   상기 디스플레이 장치 스크린 고장으로 판단되면,
   컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작;
   컨트롤러를 통해 상기 결함 검사 결과를 로그로 생산 데이터베이스에 저장하는 조작;
   컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작; 및
   상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하도록 하는 조작; 중에서 적어도 한가지 조작을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 방법.
   
6. 디스플레이 장치의 생산라인에 배치된 컨트롤 유닛으로부터 발송된 상기 디스플레이 장치의 생산라인의 영상 수집 설비에 의해 수집된 디스플레이 장치의 영상을 포함하는 품질 검사 요청을 수신하는 수신 모듈;
   상기 디스플레이 장치 영상에 대해 엣지 컷팅, 전단, 회전, 축소 및 확대 처리에서 적어도 한가지 처리를 포함하는 영상 전 처리를 진행하고, 전 처리한 후의 상기 디스플레이 장치 영상을 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 처리 모듈, 이중 상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것이고；
   상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 확정 모듈;포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 장치.
   
7. 제6항에 있어서,
   상기 결함 검사 모델은 딥 컨벌루션 뉴럴 네트워크 구조와 인스턴스 분할 알고리즘을 사용하여 과거 결함 디스플레이 장치 영상에 대해 학습하여 얻은 것은,
   상기 결함 검사 모델은 상기 과거 결함 디스플레이 장치 영상의 후보 영역 손실, 영역 유형 손실, 영역 경계 손실과 픽셀 인스턴스 손실에 대해 조합 학습하여, 상기 후보 영역 손실, 상기 영역 유형 손실, 상기 영역 경계 손실과 상기 픽셀 인스턴스 손실의 총 손실 값이 기 설정된 손실 임계값을 만족하는 결과이고；
   이 중, 상기 후보 영역 손실은 상기 과거 결함 디스플레이 장치 영상에서 선정 결함 영역과 실제 결함 영역 사이의 손실 값을 의미하고, 상기 영역 유형 손실은 상기 선정 결함 영역에서 예측 결함 유형과 실제 결함 유형 사이의 손실 값을 의미하고, 상기 영역 경계 손실은 상기 선정 결함 영역에서 예측 결함 경계와 실제 결함 경계사이의 손실을 의미하고, 상기 픽셀 인스턴스 손실은 상기 과거 결함 디스플레이 장치 영상에서 예측 픽셀 인스턴스와 실제 픽셀 인스턴스 사이의 손실을 의미하는 것을 포함하는 것을 특징으로 하는 디스플레이 장치 품질 검사 장치.
   
8. 제6항에 있어서,
   상기 처리 모듈은 구체적으로 로드 밸런싱 전략에 따라 처리 자원을 적제하는 검사 모델 서버를 확정하고,
   상기 디스플레이 장치 영상상기 검사 모델 서버에서 실행되는 상기 결함 검사 모델에 입력하여 결함 검사 결과를 획득하는 것을 특징으로 하는 디스플레이 장치 품질 검사 장치.
   
9. 제6항 내지 제8항 중 임의의 한 항에 있어서,
   상기 결함 검사 결과는 결함 유형 및/또는 결함 인스턴스 및/또는 결함 위치를 포함하고;
   상기 확정 모듈은 구체적으로 생산 단계 정보 및 상기 결함 검사 결과에 따라, 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정하는 것을 특징으로 하는 디스플레이 장치 품질 검사 장치.
   
10. 제6항 내지 제8항 중 임의의 한 항에 있어서,
    상기 처리 모듈은 또한,
    상기 확정 모듈상기 결함 검사 결과에 따라 상기 디스플레이 장치 영상에 대응하는 디스플레이 장치의 품질의 좋고 나쁨을 확정한 후에, 상기 디스플레이 장치 스크린에 고장이 발생한 것으로 판단되면,
    컨트롤러를 통해 생산 관리자에게 경보 정보를 전송하는 조작;
    컨트롤러를 통해 상기 결함 검사 결과를 로그로 생산 데이터베이스에 저장하는 조작;
    컨트롤러를 통해 상기 컨트롤 유닛에 생산 제어 명령을 발송하여 결함을 제거하도록 하는 조작;
    상기 디스플레이 장치 영상과 상기 결함 검사 결과를 상기 결함 검사 모델에 입력하여 상기 결함 검사 모델을 최적화하도록 하는 조작; 중에서 적어도 한가지 조작을 수행하는 것을 특징으로 하는 디스플레이 장치 품질 검사 장치.
    
11. 프로세서, 저장 장치, 및 상기 저장장치에 저장되고 프로세서에서 실행 가능한 컴퓨터 프로그램을 포함하는 전자 장치에 있어서,
    상기 프로세서가 상기 프로그램을 실행 시 제1항 내지 제 5항 중 임의의 한 항의 방법을 구현하는 것을 특징으로 하는 전자 장치.
    
12. 저장 매체에 있어서,
    상기 저장 매체에 명령이 저장되고, 컴퓨터상에서 실행될 때, 컴퓨터가 제1항 내지 제5항 중 임의의 한 항의 방법을 실행하도록 하는 것을 특징으로 하는 저장 매체.

Images