KR20220111214A

KR20220111214A - 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램

Info

Publication number: KR20220111214A
Application number: KR1020220014338A
Authority: KR
Inventors: 전재영
Original assignee: 주식회사 동일비전
Priority date: 2021-02-01
Filing date: 2022-02-03
Publication date: 2022-08-09

Abstract

인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램이 제공된다. 상기 전자장치에 의해 수행되어, 인공지능 기반 제품의 결함 검사를 수행하는 방법은, 인공지능 기반 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장하는 단계; 대상 제품의 구성부품에 대한 이미지 데이터를 수신하는 단계; 상기 대상 제품의 구성부품에 대한 결함 검사를 수행하는 단계; 및 상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어하는 단계를 포함하는 것을 특징으로 한다.

Description

인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR INSPECTION OF PRODUCT BASED ON ARTIFICIAL INTELLIGENCE}

본 개시는 제품 결함 검사에 관한 것으로, 보다 상세하게는 인공지능 기반 학습 모델을 이용하여 정상 제품을 학습하고, 대상 제품의 구성부품에 대한 결함 검사를 수행하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

종래 컴퓨터 비전 검사 방식은 검사 대상의 구성 부품의 종류 및 위치를 모두 직접 입력한 후, 이를 기반으로 개별 검사를 종합하여 대상 제품에 대한 양품 여부를 판단하였다.

따라서, 상기 입력한 검사 규칙은 비록 유사한 검사 대상이라고 하더라도 그대로 이용할 수 없으며, 해당 검체에 대한 구성부품의 종류와 위치를 반복하여 직접 입력하여야 하기 때문에 검사 규칙 입력의 반복에 따른 번거로움이 있고, 그 과정에서 입력 오류 가능성이 있어 문제점이 있다.

이러한 문제점은 유사한 검사체를 혼용하여 검사하는 경우에도, 지속적으로 설정을 반복하여야 하는 문제점도 유발한다.

대한민국 등록특허공보 제10-2249836호 (2021.05.03)

본 개시가 해결하고자 하는 과제는, 인공지능 기반으로 정상 제품에 대해 학습하여 자동으로 검사 규칙을 생성한 후에, 대상 제품의 구성부품 결함 여부를 자동으로 간편하고 빠르게 수행하는 결함 검사 수행 방법, 장치 및 시스템을 제공하는 것이다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 전자장치에 의해 수행되어, 인공지능 기반 제품의 결함 검사를 수행하는 방법은, 인공지능 기반 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장하는 단계; 대상 제품의 구성부품에 대한 이미지 데이터를 수신하는 단계; 상기 대상 제품의 구성부품에 대한 결함 검사를 수행하는 단계; 및 상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어하는 단계를 포함할 수 있다.

본 개시의 일 면에 따른 인공지능 기반 제품의 결함 검사를 수행하는 장치는, 메모리; 및 상기 메모리와 통신하는 프로세서를 포함하되, 상기 프로세서는, 인공지능 기반 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장하고, 대상 제품의 구성부품에 대한 이미지 데이터가 수신되면, 상기 대상 제품의 구성부품에 대한 결함 검사를 수행하고, 상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어할 수 있다.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.

본 개시의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 개시에 따르면, 다음과 같은 효과들을 가질 수 있다.

본 개시에 따르면, 인공지능 기반 정상 제품 학습 결과에 기초하여 자동으로 검사 규칙을 생성하여, 대상 제품의 구성부품 결함 여부 검사를 자동으로 간편하게 수행할 수 있는 효과가 있다.

본 개시에 따르면, 결함 여부뿐만 아니라 결함 위치나 결함 구성부품을 간편하고 직관적으로 식별할 수 있어 빠르게 대응할 수 있는 효과가 있다.

본 개시에 따르면, 결함 검사에 대한 신뢰도를 높일뿐만 아니라 상기 결함 검사 후에 결함에 관한 피드백 데이터를 생성하여 검사 시스템의 효율성을 높이고 결함 예방의 효과도 가질 수 있다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 개시의 일 실시 예에 따른 인공지능 기반 제품의 결함 검사 시스템을 설명하기 위해 도시한 도면이다.
도 2는 상기 도 1의 전자 장치의 구성 블록도이다.
도 3은 상기 도 2의 프로세서의 구성 블록도이다.
도 4는 상기 도 3의 학습 모듈의 구성 블록도이다.
도 5는 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사 방법을 설명하기 위해 도시한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사를 위한 학습 모델 구축 및 저장 방법을 설명하기 위해 도시한 흐름도이다.
도 7과 8은 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사 과정을 설명하기 위해 도시한 도면이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

본 명세서에서 기술되는 '이미지 또는 이미지 데이터(image data)'는 카메라 센서를 포함한 이미지 센서 등을 통해 얻어진 정지영상(still image) 데이터나 동영상(video) 데이터를 나타낼 수 있다. 또한, 상기 이미지는 X-ray 튜브나 X-ray 디텍터를 통해 대상체(object)에 대한 X-ray 이미지일 수도 있다. 이 때, 상기 X-ray 이미지는 예를 들어, 2D(Dimensional) 이미지와 연속적인 2D 이미지 집합(image aggregation)으로부터 재구성(reconstruction)된 CT(Computed Tomography) 이미지, 재구성된 CT 볼륨(volume) 데이터의 단면(slice) 이미지를 포함할 수 있다.

또한, 본 명세서에서 기술되는 '결함'이라 함은, 일반적으로 결함의 의미도 포함하나 특히, 본 발명에서는 미리 정의된 제품(정상품 또는 양품)의 구성부품과 대비하여, 그 배치(또는 위치)가 상이하거나 어떤 구성부품이 비존재, 다른 구성부품이 존재 등을 나타내는 것으로 사용한다. 결함 여부의 판단은 이미지 자체로 판단하거나 이미지와 이미지 내 텍스트(구성부품 시리얼 넘버와 같은 식별번호 등) 조합으로 판단할 수 있다. 상기에서, 이미지 자체로 판단하는 경우에는 크기 비교도 포함될 수 있다. 한편, 상기 결함 여부 판단은 두 가지 방식 중 어느 하나만 이용하거나 상기 언급된 두 가지 방식을 모두 이용할 수 있다. 예를 들어, 1차로 이미지 자체만으로 배치 등 오류가 있거나 있는 것으로 추정되는 부분을 식별하고, 2차로 전체 부분이나 상기 식별된 부분만 재차 검증하는 방식이 이용될 수도 있다.

이하 본 명세서에서 기술되는 결함 검사 대상 제품은 문맥의 의미에 따라 제품뿐만 아니라 해당 제품의 구성부품을 의미하는 것으로 사용될 수도 있다.

본 개시의 일실시예에 따른 결함 검사 방법은, 기본적으로 영상 획득 장치(150)를 통해 여러 종류의 양품(정상 제품)에 대한 이미지 데이터를 획득하고, 이렇게 획득된 이미지 데이터에 기초하여 인공지능 기반으로 구성부품 종류, 위치 등에 대한 검사 규칙을 자동으로 생성할 수 있다. 따라서, 메모리(210)에는 다양한 양품에 대해 학습된 구성부품에 대한 데이터(구성부품 리스트 또는 도 8에 도시된 파트 리스트 등)가 저장되어 있을 수 있다.

본 개시의 일 실시예에 따른 결함 검사 장치는, 사용될 수 있는 모든 부품에 대한 빅데이터(big data)를 구성하여, 상기 구성부품들의 모양에 대하여 인공지능으로 학습하여 검사 규칙을 자동으로 생성할 수도 있다. 이러한 과정을 주기/비주기로 반복함으로써, 데이터양을 늘려서 결함 식별성을 증대시켜, 결함 검사 시스템의 신뢰도 향상시킬뿐만 아니라 시스템 효율도 증대시킬 수 있다. 한편, 상기 빅 데이터를 구성함에 있어서, 표준부품 지능화일이 참조될 수 있다.

이후, 결함 검사 장치는 검사하고자 하는 검사체 즉, 제품에 대한 이미지 데이터가 입력되면, 먼저 상기 검사체가 어떤 제품에 해당하는지 식별할 수 있다. 이후에 식별된 제품의 구성부품에 대해 저장된 데이터(예를 들어, 검사 규칙)를 활용하여, 검사체의 영역들 즉, 구성부품들에 대한 영역에 대하여 자동으로 결함 검사를 수행할 수 있다.

이와 같이, 본 발명에 따른 결함 검사 장치는, 인공지능 기반으로 제품을 먼저 식별하고, 식별된 제품의 구성부품에 대해 미리 자동 생성된 검사 규칙을 이용하여 대상 구성부품의 종류, 위치 등에 대하여 판단할 수 있다. 한편, 상기 결함 검사 장치는 부품의 종류, 위치 등 검사 규칙에 기초하여 원본 내의 구역을 추정하여 검사할 수 있다.

도 1 은 본 개시의 일 실시 예에 따른 인공지능 기반 제품의 결함 검사 시스템을 설명하기 위해 도시한 도면이다. 도 2는 상기 도 1의 전자 장치(100)의 구성 블록도이다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사 시스템은, 전자 장치(100)와 영상 획득 장치(150)를 포함하여 구성될 수 있다. 다만, 본 개시는 이에 한정되는 것은 아니며, 도 1에 도시된 전자 장치(100)와 영상 획득 장치(150) 외에 본 개시에 다양한 실시예에 따른 따른 동작 수행과 관련하여 하나 또는 그 이상의 구성요소가 추가되어 구성될 수도 있고, 그 반대일 수도 있다.

본 개시의 다른 실시예에 따른 인공지능 기반 제품 결함 검사 장치는, 도 1에 도시된 전자 장치(100)와 영상 획득 장치(150)가 결합되어 하나의 구성요소로 구현될 수도 있다.

본 개시의 또 다른 실시예에 따른 인공지능 기반 제품 결함 검사 장치는, 도 1의 영상 획득 장치(150)가 전자 장치(100)의 일 구성요소로 구성되거나 상기 전자 장치(100)의 구성요소인 제어모듈, DB 및 인공지능 엔진이 상기 영상 획득 장치의 일 구성요소 형태로 구성될 수도 있다.

도 2를 참조하면, 본 개시에 따른 전자 장치(100)는 메모리(memory)(210)와 프로세서(processor)(220)를 포함하여 구성될 수 있다.

이 때, 상기 메모리(210)는 도 1에 도시된 데이터베이스(DB)에 대응되거나 그를 포함할 수 있다.

상기 프로세서(220)는 제어모듈과 인공지능 엔진 중 적어도 하나를 포함할 수 있다. 상기 인공지능 엔진은 딥러닝 네트워크(deep learning network)를 포함할 수 있으나, 이에 한정되는 것은 아니다.

전자 장치(100)는, 영상 획득 장치(150)와 네트워크를 통해 연결되어 제품또는/및 상기 제품의 구성부품에 대한 이미지 데이터를 수신할 수 있다. 여기서, 상기 제품 또는/및 제품의 구성부품에 대한 이미지 데이터는 정상 제품(즉, 양품)과 대상 제품의 이미지 데이터를 포함할 수 있다. 한편, 상기 대상 제품이라 함은, 본 개시에 따른 학습의 대상인 정상 제품과 동종, 동일 제품으로서 결함 검사의 대상인 제품을 나타낼 수 있다.

전자 장치(100)는 단말(미도시)의 어플리케이션이나 단말을 통해 제공되는웹 서비스를 통해 결함 검사 대상 제품을 선택받을 수 있다. 이 때, 전자 장치(100)는 결함 검사 대상 제품 선택 신호가 수신되면, 데이터베이스(DB)에 상기 수신된 선택 신호의 결함 검사 대상 제품에 해당하는 학습 결과 데이터가 기 저장되어 있으면, 이를 단말을 통해 제공하여 선택 또는 갱신할 수 있도록 할 수 있다.

영상 획득 장치(150)는 전술한 바와 같이, 카메라 센서를 포함한 이미지 센서를 통하여 결함 검사 대상 제품에 대한 이미지 데이터를 획득할 수 있다. 본 발명의 다른 실시예에 따르면, 상기 영상 획득 장치(150)는 디텍터(detector), 엑스레이 튜브(X-ray tube), 광원(lighting source) 등 중 적어도 하나 이상을 포함하여 구성될 수도 있다. 이 때, 상기 디텍터는 2D 디텍터와 3D 디텍터 중 적어도 하나일 수 있다. 상기에서, 디텍터 및 엑스레이 튜브는 각각 대상체에 대한 엑스레이 영상 획득 장치로, 이는 기존의 공지된 구성으로 이루어질 수 있다. 이외에도,　상기 영상 획득 장치(150)는 이동 대상체의 움직임(motion)을 촬영할 수 있는 장치 및　CT　디텍터를　추가로 구비할 수도 있다. 한편, 상기 광원은 투과성 광원인 테라헤르츠(terahertz) 등을 포함할 수 있다.

전자 장치(100)의 일 구성요소로서, 제어모듈은 전자 장치(100)에서 수행되는 동작을 제어하며, 데이터베이스(DB)는 영상 획득 장치(150)로부터 수신되는 결함 검사 대상 제품(예를 들어, 정상 제품과 대상 제품 등)의 이미지, 상기 결함 검사 대상 제품의 결함 검사에 이용되는 학습 데이터셋(learning dataset), 상기 학습 데이터셋에 대응되는 학습 모델(learning model) 등 전자 장치(100)에 의해 수신, 처리 등이 이루어지는 데이터를 저장한다. 상기에서 학습 데이터셋은 표준부품 지능화일을 포함할 수 있다.

제어모듈은 결함 검사 대상 제품의 이미지 데이터를 입력으로 데이터베이스(DB)에 저장된 학습 모델을 통해 상기 결함 검사 대상 제품(또는 그 구성부품이나 구성부품의 그룹)의 카테고리를 결정(classification)(또는 분류)하고, 결함 검사의 대상인 상기 결함 검사 대상 제품의 이미지 데이터에 대한 결함 검사 동작 모드를 특정하고, 상기 특정된 결함 검사 동작 모드에 대응되는 적어도 하나의 학습 모델을 선택하여, 선택된 학습 모델에 기초하여 상기 결함 검사 대상 제품의 이미지 데이터로부터 결함 검사를 수행하는 다양한 기계학습 모델(Machine Learning model)의 알고리즘 및 관련 애플리케이션을 수행하는 연산 능력이 있는 하드웨어 유닛(hardware unit)을 포함할 수 있다.　예를 들어,　제어모듈은 중앙처리장치(CPU: Central Processing Unit),　마이크로 프로세서(microprocessor)　및 그래픽 프로세서(GPU: Graphic Processing Unit)　중 적어도 하나를 포함할 수 있다.　또한,　제어모듈은 기계 학습 모델 알고리즘 또는 애플리케이션을 저장하는 별도의 메모리(미도시)를 더 포함할 수 있다.

전자 장치(100)는 결함 검사 대상 제품에 대한 이미지 데이터를 학습시켜서, 인공지능 엔진에 입력하여 (고화질 또는 개선된) 결함 검사 대상 제품의 이미지 데이터를 획득할 수 있다. 이 때, 인공지능 엔진을 통해 획득된 이미지는 일반적인 의미에서 영상 획득 장치(150)로부터 입력된 대상체 이미지 데이터보다 전체적으로 고화질이거나 개선된 이미지 데이터뿐만 아니라 인공지능 기반으로 결함 검사 대상 제품에 대한 비파괴 검사시 결함 검사의 관점에서 전부 또는 일부 개선된 또는 새로운 이미지 데이터를 나타낼 수 있다.

따라서, 본 개시와 관련하여 전자 장치(100)로 입력되는 대상체의 이미지는 검사 장비 예를 들어, 반도체 불량 검출, PCB 기판 불량 검출, 식품 및 제약 분야의 이물질 검출 등의 다양한 분야의 검사에 활용될 수 있다.

도 3은 상기 도 2의 프로세서(220)의 구성 블록도이다. 도 4는 상기 도 3의 학습 모듈(320)의 구성 블록도이다. 도 5는 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사 방법을 설명하기 위해 도시한 흐름도이다. 도 6은 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사를 위한 학습 모델 구축 및 저장 방법을 설명하기 위해 도시한 흐름도이다. 도 7과 8은 본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사 과정을 설명하기 위해 도시한 도면이다.

도 3을 참조하면, 프로세서(220)는 학습을 위한 표준부품 지능화일, 양품 이미지, 대상 제품 이미지 등을 입력받는 입력부(310), 상기 대상 제품의 이미지에 대한 결함을 검사하는 결함검사부 및 결함 검사 결과를 출력하는 출력부(340)를 포함하여 구성될 수 있다. 이 때, 상기 결함검사부는 도 6에 도시된 바와 같은 양품에 대한 이미지 학습을 통하여 자동으로 검사 규칙을 생성하는 학습 모듈(320)과 학습 결과 생성된 검사 규칙을 대상 제품의 구성부품에 적용하여 결함 검사를 위한 비교 동작을 수행하는 비교 모듈(330)을 포함하여 구성될 수 있다. 한편, 도 4를 참조하면, 상기 학습 모듈(320)은 입력받는 데이터로부터 데이터를 추출하는 데이터추출모듈(410), 추출된 데이터를 학습을 위한 데이터로 전처리하는 전처리모듈(420) 및 전처리된 데이터로부터 특징을 추출하는 특징추출모듈(430)을 포함하여 구성될 수 있다. 상기 도 3과 도 4의 구성요소 중 일부는 생략되거나 하나로 통합될 수도 있고 그 반대일 수도 있다. 또한, 본 개시의 실시예에 따라 일부 구성요소는 동작 수행을 하지 않을 수도 있다.

이하 도 3과 4의 구성요소들의 동작 내지 기능에 대하여, 도 5 내지 8과 함께 설명한다.

본 개시의 일 실시예에 따른 인공지능 기반 제품 결함 검사 방법은, 다음과 같이 수행될 수 있다.

도 5를 참조하면, 동작 11에서, 프로세서(220)는 제품의 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장할 수 있다.

동작 12에서, 프로세서(220)는 단말로부터 영상 획득 장치(150)를 통해 획득한 상기 제품의 검사 대상 구성부품에 대한 이미지 데이터를 수신할 수 있다.

동작 13에서, 프로세서(220)는 상기 제품의 검사 대상 구성부품에 대한 결함 검사를 수행할 수 있다.

동작 14와 15에서, 프로세서(220)는 상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어할 수 있다.

도 6은, 도 5의 인공지능 기반 제품 결함 검사 이전 과정에서 특히, 상기 동작 11 즉, 결함 검사 학습 모델을 구축하고 저장하는 것에 대한 과정에 대한 것일 수 있다. 따라서 도 6은 프로세서(220)에서 특히, 학습 모듈(320)을 참조하여 설명한다.

동작 21에서, 학습 모듈(320)은 제품의 구성부품에 대한 제1 이미지 데이터를 수신할 수 있다.

동작 22에서, 학습 모듈(320)은 미리 생성된 학습 모델을 이용하여 상기 동작 21에서 수신한 제1 이미지 데이터를 학습할 수 있다.

동작 23에서, 학습 모듈(320)은 상기 제1 이미지 데이터로부터 구성부품 정보를 추출하고 추출된 구성부품 정보에 대한 리스트를 생성할 수 있다.

동작 24에서, 학습 모듈(320)은 생성된 리스트를 저장할 수 있다.

상기 학습 모듈(320)은 도 6의 과정을 통하여 다양한 제품과 해당 제품의 구성부품에 대한 리스트를 생성할 수 있으며, 이 과정에서 학습 모델을 생성, 갱신, 저장 등을 수행할 수 있다.

본 개시의 다른 일 실시예에 따른 결함 검사 수행 방법을 살펴보면, 다음과 같을 수 있다.

프로세서(220)는 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장하고, 상기 제품의 검사 대상 구성부품에 대한 이미지 데이터가 수신되면, 상기 제품의 검사 대상 구성부품에 대한 결함 검사를 수행하여, 상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어할 수 있다. 이 때, 상기 훈련 데이터셋에는 표준부품 데이터가 포함되도록 할 수 있다.

상기 프로세서(220)는 상기 제품의 구성부품에 대한 레퍼런스 이미지 데이터를 수신하되, 상기 레퍼런스 이미지 데이터에는, 상기 저장된 결함 검사 학습 모델의 학습 대상이 되는 구성부품 이미지 데이터, 상기 단말에 의해 입력된 제품의 검사 대상 구성부품의 비교 원본 이미지, 및 결함이 없는 것으로 판정된 상기 제품의 구성부품 이미지 데이터 중 적어도 하나가 포함될 수 있다. 상기 프로세서(220)는 상기 저장된 결함 검사 학습 모델에 기초하여 수신되는 상기 제품의 구성부품에 대한 레퍼런스 이미지 데이터를 학습하여 해당 제품의 구성부품 정보를 추출할 수 있다. 상기 프로세서(220)는 추출된 상기 해당 제품의 구성부품 정보에 기초하여 구성부품 리스트를 생성하되, 상기 생성되는 구성부품 리스트는 상기 제품 내 구성부품의 위치 기반으로 구분된 파트 단위로 작성될 수 있으며, 상기 개별 파트에는, 해당 파트에 속한 개별 구성부품에 대한 식별 정보, 수량 정보, 위치 정보 및 참조 정보 중 적어도 하나가 포함될 수 있다. 또는 상기 생성되는 구성부품 리스트에는, 상기 제품 내 구성부품 중 미리 설정된 구성부품에 대한 정보만 포함될 수도 있다. 상기 프로세서(220)는, 상기 검사 수행 결과 데이터에는, 결함으로 판정된 구성부품 정보 및 해당 구성부품이 속한 파트 정보, 결함 여부 판정이 보류된 구성부품 정보 및 해당 구성부품이 속한 파트 정보, 및 미리 정의된 단위 기준 시간당 결함 빈도 또는 발생율 정보가 포함되도록 제어할 수 있다.

우선 제품으로부터 구성부품이 존재하는 영역들을 복수 개로 구분할 수 있다. 이 때, 상기 결함 검사는 상기 복수 개로 구분된 영역들 전체를 한 번에 수행할 수 있다.

상기 복수 개로 구분된 영역들 중에서 중요 영역과 비중요 영역으로 구분하고, 결함 검사는 i) 상기 중요 영역에 대해서만 수행, ii) 상기 중요 영역과 비중요 영역 모두에 대해 수행, iii) 임의의 선택 영역에 대해서만 수행할 수 있다.

상기 ii)의 경우, 상기 중요 영역과 비중요 영역에 대한 결함 검사는 a) 동시에 수행, b) 상기 중요 영역에 대해 1차로 수행하고, 상기 1차 수행 결과 중요 영역에서 결함이 발견되지 않은 경우에만 상기 비중요 영역에 대한 검사 수행할 수도 있다.

상기 iii)의 경우에는 예를 들어, 긴급으로 임시 검사가 요구되는 경우에 적용될 수 있다. 또는 상기 iii)의 경우에는 임의의 적어도 하나의 선택 영역에 대해서 결함 검사 수행 결과 만약 문제가 없다면 다음으로 사용자의 선택에 따라 추가 검사 또는 검사 종료가 될 수 있다.

본 개시의 일 실시예에 따른 결함 검사 장치(100)는 상기 각 영역에 대해 순차 또는 동시 검사 수행 중 적어도 하나의 영역 검사 결과에서 결함이 검출되었다고 하더라도, 다른 모든 영역들에 대한 검사 결과가 수신될 때까지 검사를 종료하지 않고 대기할 수 있다.

본 개시의 일 실시예에 따른 결함 검사 장치(100)는 상기 각 영역에 대해 순차 또는 동시 검사 수행 중 적어도 하나의 영역 검사 결과에서 결함이 검출되었다고 하더라도, 해당 영역에서 검출된 결함이 임의의 개수 미만이면 다른 모든 영역들에 대한 검사 결과가 수신될 때까지 검사를 종료하지 않고 대기하고, 그렇지 않은 경우에는 다른 영역에 대한 검사 결과 수신과 무관하게 즉시 검사를 종료할 수 있다.

본 개시의 다른 일 실시예에 따른 결함 검사 장치(100)는 상기 각 영역에 대해 순차 또는 동시 검사 수행 중 적어도 하나의 영역 검사 결과에서 결함이 검출되면, 다른 영역(들)에 대한 검사 결과가 수신 전이라고 하더라고 검사를 종료할 수 있다.

본 발명의 결함 검사 결과 보고서는 예를 들어, 결함으로 판명된 구성부품, 상기 구성부분이 포함된 파트, 상기 파트가 속한 영역, 결함의 원인, 결함 해결 방법 등 중 적어도 하나 이상을 포함하여 작성될 수 있다.

본 발명에 따라 작성된 결함 검사 결과 보고서에 기초하여, 결함 검사 결과 데이터와 함께 피드백 데이터가 제공될 수 있다. 이 때, 상기 피드백 데이터에는, 해당 제품의 결함율, 주요 구성부품의 결함율, 주요 결함 위치, 결함 발생 빈도가 임계치 이상인 위치와 구성부품, 이전 검사 결과 대비 결함율 대비 정보 등 중 적어도 하나 이상이 포함될 수 있다.

도 7과 8을 참조하면, 결함 검사 장치(100)는 양품 검사 대상을 촬영하여 미리 학습된 인공지능 모델을 이용하여 제품의 개별 구성부품을 인식하고, 구성품 리스트를 검사 규칙으로 구성할 수 있다. 이 때, 상기 구성품 리스트에는 도 8에 도시된 파트 리스트(part list)(815,825)가 포함될 수 있다. 그리고 상기 구성품 리스트 또는 파트 리스트에는 해당 구성부품 또는 파트의 구성부품의 종류와 위치가 기록될 수 있다.

도 7을 참조하면, 결함 검사 장치(100)는 표준부품 지능화일을 참고하여 양품에 대해 학습하여 구성품 리스트를 생성하고, 이를 대상체의 이미지에 적용하여 결함 구성부품 리스트를 생성하여 제공할 수 있다.

도 8을 참조하면, 결함 검사 장치(100)에서 부품을 빅데이터화 하고 빅데이터에 기반하여 인공지능 지능화를 통해 자동으로 제품의 구성부품에 대한 검사 규칙(파트 단위 리스트)(815,825)을 생성하여 저장하고, 이후 대상 제품의 제1 파트 이미지(810)가 수신되면 제1 부품 파트 리스트(815)에 기반하여 결함 여부를 검사하고, 제2 파트 이미지(820)가 수신되면 제2 부품 파트 리스트(825)에 기반하여 결함 여부를 검사하여, 전체 결함 리스트를 생성하여 제공할 수 있다. 이 때, 상기 결함 검사 장치(100)는 해당 파트 이미지가 어떤 제품의 어떤 파트에 대한 이미지인지 먼저 식별 동작을 수행할 수 있다.

이상 상술한 본 발명의 실시예에 따르면, 인공지능 기반 정상 제품 학습 결과에 기초하여 자동으로 검사 규칙을 생성하여, 대상 제품의 구성부품 결함 여부 검사를 자동으로 간편하게 수행할 수 있을뿐만 아니라 수동 입력에 따른 번거로움과 입력 오류에 따른 문제점을 없애거나 최소화할 수 있다. 또한, 결함 여부뿐만 아니라 결함 위치나 결함 구성부품에 대한 정보를 간편하고 직관적으로 식별할 수 있도록 하여, 그에 따른 대응을 빠르게 할 수 있도록 할 수도 있다. 이러한 이유로, 결함 검사에 대한 신뢰도를 높일 수 있을뿐만 아니라 상기 결함 검사 후에 결함에 관한 피드백 데이터를 생성하여 검사 시스템의 효율성을 높이고 결함 예방 효과를 높일 수도 있다.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 전자 장치
150 : 영상 획득 장치
210 : 메모리
220 : 프로세서
310 : 입력부
320 : 학습모듈
330 : 비교모듈
340 : 출력부
410 : 데이터추출모듈
420 : 전처리모듈
430: 특징추출모듈

Claims

전자장치에 의해 수행되어, 인공지능 기반 제품의 결함 검사를 수행하는 방법에 있어서,
인공지능 기반 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장하는 단계;
대상 제품의 구성부품에 대한 이미지 데이터를 수신하는 단계;
상기 대상 제품의 구성부품에 대한 결함 검사를 수행하는 단계; 및
상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어하는 단계를 포함하는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제1항에 있어서,
상기 훈련 데이터셋은,
표준부품 데이터를 포함하여 구성되는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제2항에 있어서,
상기 제품의 구성부품에 대한 레퍼런스 이미지 데이터를 수신하는 단계를 더 포함하되,
상기 레퍼런스 이미지 데이터에는,
상기 저장된 결함 검사 학습 모델의 학습 대상이 되는 구성부품 이미지 데이터, 상기 단말에 의해 입력된 제품의 검사 대상 구성부품의 비교 원본 이미지, 및 결함이 없는 것으로 판정된 상기 제품의 구성부품 이미지 데이터 중 적어도 하나가 포함되는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제3항에 있어서,
상기 저장된 결함 검사 학습 모델에 기초하여 수신되는 상기 제품의 구성부품에 대한 레퍼런스 이미지 데이터를 학습하여 해당 제품의 구성부품 정보를 추출하는 단계를 더 포함하는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제4항에 있어서,
추출된 상기 해당 제품의 구성부품 정보에 기초하여 구성부품 리스트를 생성하는 단계를 더 포함하는,
인공지능 기반 대상체의 결함 여부 검사 수행 방법.
제5항에 있어서,
상기 생성되는 구성부품 리스트는,
상기 제품 내 구성부품의 위치 기반으로 구분된 파트 단위로 작성되되,
상기 개별 파트에는,
해당 파트에 속한 개별 구성부품에 대한 식별 정보, 수량 정보, 위치 정보 및 참조 정보 중 적어도 하나가 포함되는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제5항에 있어서,
상기 생성되는 구성부품 리스트에는,
상기 제품 내 구성부품 중 미리 설정된 구성부품에 대한 정보만 포함되는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제5항에 있어서,
상기 검사 수행 결과 데이터에는,
결함으로 판정된 구성부품 정보 및 해당 구성부품이 속한 파트 정보, 결함 여부 판정이 보류된 구성부품 정보 및 해당 구성부품이 속한 파트 정보, 및 미리 정의된 단위 기준 시간당 결함 빈도 또는 발생율 정보가 포함되는,
인공지능 기반 제품 결함 여부 검사 수행 방법.
제1항 내지 제8항 중 어느 한 항에 의한 인공지능 기반 제품의 결함 검사 수행 방법이 컴퓨터 판독이 가능한 기록매체에 저장된 컴퓨터 프로그램.
인공지능 기반 제품의 결함 검사를 수행하는 장치에 있어서,
메모리; 및
상기 메모리와 통신하는 프로세서를 포함하되, 상기 프로세서는,
인공지능 기반 구성부품의 결함 검사를 위한 훈련 데이터셋과 상기 훈련 데이터셋 기반 결함 검사 학습 모델을 생성하여 저장하고, 대상 제품의 구성부품에 대한 이미지 데이터가 수신되면, 상기 대상 제품의 구성부품에 대한 결함 검사를 수행하고, 상기 검사 수행 결과 데이터를 생성하고, 생성된 상기 검사 수행 결과 데이터가 단말의 화면상에 출력되도록 제어하는,
인공지능 기반 제품 결함 여부 검사 수행 장치.