KR102175286B1

KR102175286B1 - 결함 검출 장치 및 방법

Info

Publication number: KR102175286B1
Application number: KR1020180120853A
Authority: KR
Inventors: 송덕왕; 이재민; 추연학; 이석중
Original assignee: 라온피플 주식회사
Priority date: 2018-10-11
Filing date: 2018-10-11
Publication date: 2020-11-06
Also published as: CN109916906A; CN109916906B; TWI718573B; KR20200046137A; TW202014985A

Abstract

결함 검출 장치 및 방법을 제시하며, 일 실시예에 따르면 결함 검출 장치는, 미리 정해진 하나의 기준이미지와, 검사대상을 촬영하여 획득된 적어도 하나의 촬영이미지를 저장하는 저장부, 그리고 기준이미지와 각각의 촬영이미지의 차이를 연산하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하고, 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 합성하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하며, 생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 제어부를 포함할 수 있다.

Description

결함 검출 장치 및 방법{APPARATUS AND METHOD FOR INSPECTING FOR DEFECTS}

본 명세서에서 개시되는 실시예들은 결함 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 검사대상의 촬영이미지를 이용하여 검사대상에 포함된 결함을 검출함에 있어서, 결함의 검출 성능을 향상시킬 수 있는 이미지 처리 방법을 이용하여 결함 훈련 및 검출을 수행하는 결함 검출 장치 및 방법에 관한 것이다.

동일한 품질을 갖도록 대량 생산되는 제조물에 대하여 불량 여부를 검출하는 다양한 방식이 시도되고 있다. 포장지나 라벨지 등의 인쇄물, 또는 인쇄 회로 기판이나 조립 완료된 회로 등 전자제품 생산 공정상의 중간 또는 최종 생산물과 같이, 실질적으로 동일한 모양이나 형상을 갖도록 생산되는 제조물에 대해서는, 불량 검출에 소요되는 시간과 노력을 최소화하고 동시에 검출 품질을 높이기 위해 이미지 분석 기술이 적극적으로 활용되고 있다.

특히 최근에는 인공지능의 이미지 분석 기술을 이용하여 제품의 불량을 검출함으로써 오검 또는 과검률을 현저히 낮추는 등의 기술적 성과를 거두고 있다.

이와 같이 인공지능의 이미지 분석 기술을 이용하여 제조물의 결함을 검출하는 통상적인 방법으로는, 충분한 수의 정상 및/또는 불량 제조물의 이미지를 이용하여 결함을 판정하기 위한 모델을 학습시킨 후, 학습된 모델을 이용하여 검사대상의 이미지의 정상 또는 불량 여부를 판정하는 방법이 있다. 그러나 이러한 종래의 결함 훈련 및 검출 방식에 의하면, 다양한 종류의 결함을 모두 인식하기 어렵기 때문에 전체적인 결함 검출 성능이 좋지 않다는 문제가 있었다.

예를 들어, 종래의 인쇄 회로 기판의 결함 검출 방법에 의하면, 도 1에 도시된 바와 같이 생산된 인쇄 회로 기판을 촬영하여 획득한 촬영이미지(10)를 이용하여 모델을 학습시키되, 이때 결함(11)의 위치를 라벨링하여 결함이 있는 영역과 배경 영역을 훈련하도록 한다. 그에 따라 결함 검출 모델은 결함이 없는 배경 영역과 결함이 있는 영역을 학습함으로써 추후 검사대상의 촬영이미지가 입력되었을 때, 해당 촬영이미지에 대한 결함 포함 여부를 출력할 수 있다.

그러나 이러한 종래의 인쇄회로기판에 대한 결함 검출 방법에서는 오픈(OPEN; 회로 패턴이 연결되어야 할 영역의 연결이 끊어져 발생하는 결함) 또는 쇼트(SHORT; 서로 연결되지 않아야 할 회로 패턴이 서로 연결되어 발생하는 결함) 등과 같은 구조적 결함의 검출률이 높지 않다는 문제가 있고, 홀(HOLE)이 형성되어야 할 위치에 홀이 누락되어 발생하는 결함이나 회로 패턴과 패턴 사이의 간격이 충분히 유지되지 못하여 발생하는 스페이스(SPACE) 미달 결함 등은 검출하기 어렵다는 문제가 있다.

인공지능의 이미지 분석 기술을 이용하여 제조물의 결함을 검출하는 또 다른 방법으로는, 충분한 수의 정상 및/또는 불량 제조물의 촬영이미지와, 미리 설정된 기준이미지를 이용하여 디퍼런스(Difference)이미지를 생성하고, 디퍼런스 이미지를 이용하여 모델을 학습시킨 후 학습된 모델을 이용하여 검사대상의 이미지의 정상 또는 불량 여부를 판정하는 방법도 있다. 하지만 이러한 방식에 의하더라도 구조적 결함의 검출률이 충분히 향상되지 못하였으며, 디퍼런스 이미지의 일부 영역이 배경이나 엣지 부분과 유사한 색상이나 명도를 가짐으로써 결함 검출률이 저하된다는 문제점이 있었다.

관련하여 선행기술 문헌인 한국등록특허 제 10-1128322호는 인쇄회로기판의 광학 검사 장치 및 방법에 대한 것으로서, 기준 PCB 패턴 이미지와 촬영된 PCB 패턴 이미지를 비교하여 불량 여부를 판정하는 기술에 대해 기재하고 있다. 그러나 선행기술은 단지 기준 이미지와 촬영된 이미지의 밝기 패턴을 수치값으로 비교하여 정상 또는 불량 여부를 판정하는데 불과하여, 섬세한 결함 검출이 어려울 뿐 아니라 결함의 종류나 정확한 위치의 판별도 불가능하다. 따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 명세서에서 개시되는 실시예들은 결함 검출 장치 및 방법을 제시하는 데 목적이 있다.

또한 본 명세서에서 개시되는 실시예들은 3채널의 컬러 이미지를 이용함으로써 검사대상의 결함의 검출 성능을 향상시키는데 목적이 있다.

또한 본 명세서에서 개시되는 실시예들은 검출된 결함의 유형을 학습함으로써 결함의 유형을 판정할 수 있도록 하는데 목적이 있다.

또한 본 명세서에서 개시되는 실시예들은 결함의 위치에 따라 별개로 학습된 결함 검출 모델을 이용함으로써, 결함 검출 및 분류 정확성을 높이는데 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면 검사대상의 결함을 검출하기 위한 장치로서, 미리 정해진 하나의 기준이미지와, 검사대상을 촬영하여 획득된 적어도 하나의 촬영이미지를 저장하는 저장부, 및 상기 기준이미지와 각각의 촬영이미지의 차이를 연산하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하고, 상기 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 합성하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하며, 생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 제어부를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 다른 실시예에 따르면 결함 검출 장치에 의해 수행되는 검사대상의 결함을 검출하는 방법으로서, 검사대상을 촬영하여 생성된 적어도 하나의 촬영이미지를 획득하는 단계, 각각의 촬영이미지와 미리 정해진 하나의 기준이미지의 차이를 이용하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하는 단계, 상기 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 합성하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하는 단계, 그리고 생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 단계를 포함할 수 있다.

나아가 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 다른 실시예에 따르면 결함 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체에서, 상기 결함 검출 방법은, 검사대상을 촬영하여 생성된 적어도 하나의 촬영이미지를 획득하는 단계, 각각의 촬영이미지와 미리 정해진 하나의 기준이미지의 차이를 이용하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하는 단계, 상기 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 합성하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하는 단계, 그리고 생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 단계를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 다른 실시예에 따르면 결함 검출 장치에 의해 수행되며, 결함 검출 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램에서, 상기 결함 검출 방법은, 검사대상을 촬영하여 생성된 적어도 하나의 촬영이미지를 획득하는 단계, 각각의 촬영이미지와 미리 정해진 하나의 기준이미지의 차이를 이용하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하는 단계, 상기 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 합성하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하는 단계, 그리고 생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 단계를 포함할 수 있다.

전술한 과제 해결 수단 중 어느 하나에 의하면 결함 검출 장치 및 방법을 제시할 수 있다.

전술한 과제 해결 수단 중 어느 하나에 의하면 3채널의 컬러 이미지를 이용함으로써 검사대상의 결함의 검출 성능을 향상시킬 수 있다.

또한 전술한 과제 해결 수단 중 어느 하나에 의하면 검출된 결함의 유형을 학습함으로써 결함의 유형을 판정할 수 있도록 하는 결함 검출 장치 및 방법을 제시할 수 있다.

그리고 전술한 과제 해결 수단 중 어느 하나에 의하면 결함의 위치에 따라 별개로 학습된 결함 검출 모델을 이용함으로써, 결함 검출 및 분류 정확성을 높일 수 있다.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 결함 위치가 라벨링된 인쇄회로기판의 촬영이미지의 일례를 도시한 예시도이다.
도 2는 일 실시예에 따른 결함 검출 장치의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 결함 검출 장치에서 결함 검출을 위해 사용되는 기준이미지와, 촬영이미지, 그리고 디퍼런스이미지의 일례를 도시한 예시도이다.
도 4는 일 실시예에 따른 결함 검출 장치에서 기준이미지와, 촬영이미지, 그리고 디퍼런스이미지를 이용하여 생성하는 컬러이미지의 일례를 도시한 예시도이다.
도 5는 일 실시예에 따른 결함 검출 장치에서 검출된 결함의 유형을 학습하는 과정을 설명하기 위한 예시도이다.
도 6 및 도 7은 일 실시예에 따른 결함 검출 방법을 단계적으로 도시한 흐름도이다.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.

다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.

이하에서 ‘촬영이미지’는 검사대상을 직접 촬영하여 획득한 이미지이다. 이때 ‘검사대상’은 이하에서 인쇄회로기판을 예로 들어 설명하겠으나, 전자제품의 중간 또는 최종 생산물, 또는 포장지나 라벨지 등의 인쇄물과 같이 미리 정해진 일정한 패턴을 갖도록 대상 생산되는 제조물이라면 어떤 것이든 될 수 있다. 그리고 촬영이미지는 단순히 가시광선을 이용하여 촬영된 이미지만으로 한정되는 것은 아니고, 검사대상의 종류나 성질에 따라 X-ray나 적외선 등과 같은 다양한 광학적 촬영 방식을 이용하여 획득한 이미지가 될 수 있다.

‘기준이미지’는 검사대상이 가져야 할 이상적인 패턴을 도시한 이미지로서, 각각의 검사대상의 촬영이미지들의 실질적인 기준이 되며, 모든 검사대상의 촬영이미지들은 기준이미지와 함께 후술할 디퍼런스이미지를 생성하는데 사용된다.

‘디퍼런스이미지’는 상술한 촬영이미지와 기준이미지를 이용하여 생성되는 이미지로서, 촬영이미지와 기준이미지의 차를 이용하여 연산된다. 예를 들어, 이진 이미지에 대해서 디퍼런스이미지는 단순히 두 이미지의 각 픽셀값들의 차를 이용하여 생성될 수 있으며, 비이진 이미지에 대해서는 각 픽셀값들의 차를 그대로 이용하거나 임계값과 비교한 결과를 이용하여 얻을 수 있다. 여기서 픽셀값은, 이미지에 포함된 각 픽셀의 밝기값으로서 8비트의 값, 즉 0 내지 255 중 하나의 값을 가질 수 있다. 다만 디퍼런스이미지는 상술한 바와 같은 단순한 뺄셈 연산만에 의해서 획득되는 것만은 아니고, 필요에 따라 촬영이미지 또는 기준이미지의 값에 가중치를 부여하거나, 각 픽셀값의 차를 둘 이상의 임계값을 이용하여 복수의 레벨 값으로 변환함으로써 획득될 수도 있다. 이와 같이 일 실시예에서 디퍼런스이미지는, 종래의 디퍼런스이미지 연산 방식 중 검사대상의 종류나 성질에 적절하게 보완된 것이라면 어떤 연산 방식에 의한 것이라도 될 수 있다. 나아가 디퍼런스이미지의 획득을 위해 촬영이미지와 기준이미지 중 적어도 하나에 대한 전처리 과정을 거칠 수 있다.

이때 촬영이미지가 복수인 경우 디퍼런스이미지는 각 촬영이미지에 대응하여 촬영이미지와 동일한 수로 생성된다.

한편 이하에서 ‘컬러이미지’는 촬영이미지, 기준이미지, 그리고 디퍼런스이미지를 각각 컬러 채널로 갖는 이미지이다. 이때 컬러이미지를 형성하기 위해 각각 이미지 채널을 형성하는 촬영이미지, 기준이미지, 그리고 디퍼런스이미지는 각각 8비트 그레이이미지로 형성될 수 있다. 이를 위해 필요한 경우 후술할 결함 검출 장치는 촬영이미지, 기준이미지, 그리고 디퍼런스이미지가 8비트 그레이이미지가 아닌 경우, 8비트 그레이이미지로 변환할 수 있다. 이때 8비트 그레이이미지는 각 픽셀값이 8비트의 값, 즉 0 내지 255 중 하나의 밝기값을 갖는 1채널 이미지를 의미한다. 즉 컬러 채널 없이 0내지 255 중 하나의 밝기값을 갖는 픽셀들로 구성되는 이미지이다.

한편 컬러이미지는 상술한 8비트 그레이이미지로 형성되는 촬영이미지, 기준이미지, 그리고 디퍼런스이미지를 각각 다른 컬러 채널로 갖는 3채널 24비트 이미지로 형성될 수 있다. 예를 들어, 기준이미지가 레드(RED) 채널, 촬영이미지가 그린(GREEN) 채널, 그리고 디퍼런스이미지가 블루(BLUE) 채널을 형성할 수 있고, 각각의 채널의 각 픽셀값은 컬러이미지의 각 픽셀의 해당 컬러의 밝기값을 나타낼 수 있다. 이때 촬영이미지가 복수이므로, 컬러이미지는 각각의 촬영이미지와 디퍼런스이미지 쌍에 대해 대응하여 생성될 수 있다.

이때 컬러이미지는 일 실시예에 의한 결함 검출 장치와 방법에서 결함 검출 모델을 학습시키는데 이용된다. 이뿐 아니라 검사대상의 촬영이미지를 이용하여 최종 생성된 컬러이미지는, 학습된 결함 검출 모델을 이용하여 실제 검사대상의 결함 검출을 수행할 때에도 이용된다.

위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.

도 2는 일 실시예에 따른 결함 검출 장치의 구성을 설명하기 위한 블록도이다.

결함 검출 장치(100)는 검사대상의 결함 검출을 위한 학습, 그리고 학습된 모델을 이용한 결함 검출을 수행하는 장치이다.

이러한 결함 검출 장치(100)는 전자단말기로 구현될 수 있거나 또는 서버-클라이언트 시스템(또는 클라우드 시스템)으로 구현될 수 있으며, 상기 시스템은 사용자와의 인터랙션을 위한 온라인 서비스용 애플리케이션이 설치된 전자단말기를 포함할 수 있다.

이때 전자단말기(10)는 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.

일 실시예에 따른 결함 검출 장치(100)는 입출력부(110), 저장부(120), 통신부(130), 그리고 제어부(140) 중 적어도 일부를 포함할 수 있다.

입출력부(110)는 검사대상의 결함 검출을 위한 학습 과정 또는 결함 검출 과정에서 필요한 사용자 입력을 획득하거나 필요한 파일을 선택받기 위해 필요한 입력부와, 작업의 수행 결과 또는 결함 검출 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.

구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.

그리고 결함 검출 장치(100)는 저장부(120)를 포함할 수 있다. 저장부(120)는 결함 검출 모델을 학습시키는데 필요한 복수의 촬영이미지와 기준이미지를 적어도 일시적으로 저장할 수 있고, 이들을 이용하여 생성된 디퍼런스이미지를 적어도 일시적으로 저장할 수 있다. 나아가 다시 촬영이미지와 기준이미지, 그리고 디퍼런스이미지를 이용하여 획득되는 컬러이미지를 적어도 일시적으로 저장할 수 있다. 그리고 저장부(120)는 컬러이미지를 이용하여 결함 검출 모델을 학습시키는 과정에서 학습된 모델을 학습이 수행될 때마다 갱신하여 저장할 수 있다. 이때 저장부(120)는 각 결함 검출 모델을 각각 별개의 검출 파일로 구분하여 저장할 수 있다.

이때 저장부(120)가 저장하는 컬러이미지에는 결함위치가 라벨링될 수 있으며, 이는 학습 과정에서 이용될 수 있다.

한편 결함 검출 장치(100)는 추가적으로 통신부(130)를 더 포함할 수 있다.

통신부(130)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.

통신부(130)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.

특히 통신부(130)는 촬영장치(200)와 통신하여, 촬영장치(200)로부터 촬영이미지를 수신할 수 있다. 이때 촬영장치(200)는 예를 들어, 카메라와 같은 광학기기를 구비한 장치일 수 있다. 이때 촬영장치(200)는 가시광선 스펙트럼 내의 파장의 빛만 촬영할 수 있는 장치일 수도 있고, 적외선이나 X-ray 등과 같은 다른 파장의 빛을 촬영할 수 있는 장치일 수도 있다.

제어부(140)는 결함 검출 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(140)는 예를 들어, 입출력부(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 결함 검출 장치(100)에 포함된 다른 구성들을 제어할 수 있다.

예를 들어, 제어부(140)는 저장부(120)에 저장된 프로그램을 실행시키거나, 저장부(120)에 저장된 파일을 읽어오거나, 새로운 파일을 저장부(120)에 저장할 수도 있다.

본 명세서에 기재된 일실시예에 따르면 제어부(140)는 촬영이미지를 획득할 수 있다. 촬영이미지는 상술한 바와 같이 검사대상을 촬영하여 획득된 이미지로서 상술한 촬영장치(200)에 의해 생성되어 결함 검출 장치(100)로 전달된 것일 수 있다. 이때 촬영이미지는 복수의 검사대상을 각각 촬영한 복수의 이미지를 포함할 수 있다.

그리고 제어부(140)는 도 3에 도시된 바와 같이 기준이미지(a)와 각각의 촬영이미지(b)를 이용하여 각각의 촬영이미지에 대응하는 디퍼런스이미지(c)를 생성할 수 있다. 여기서 디퍼런스이미지(c)는 상술한 바와 같이 제어부(140)가 촬영이미지(b)와 기준이미지(a)의 차이를 이용하여 연산함으로써 산출될 수 있다.

예를 들어, 기준이미지(a)는 미리 8비트의 그레이이미지로 저장부(120)에 저장될 수 있고, 제어부(140)는 각각의 촬영이미지(b)를 8비트의 그레이이미지로 변환할 수 있다. 그리고 제어부(140)는 기준이미지(a)의 각 픽셀값에서 각각의 촬영이미지(b)의 각 픽셀값을 뺄셈 연산함으로써 산출되는 각각의 값을 픽셀값으로 갖는 8비트 그레이이미지를 디퍼런스이미지(c)로 생성할 수 있다.

물론 제어부(140)는 단순 뺄셈 연산 이상의 추가적인 연산, 예를 들어 기준이미지(a)나 촬영이미지(b)의 픽셀값에 기설정된 가중치를 부여하거나, 뺄셈 연산으로 산출된 값을 하나 이상의 임계값과 비교하여 각 픽셀값을 복수의 기설정된 레벨 값에 대응시키는 등의 연산을 수행하여 디퍼런스이미지(c)를 생성할 수도 있다.

이어서 제어부(140)는 도 4에 도시된 바와 같이 상술한 과정에 의해 생성된 기준이미지(a), 각각의 촬영이미지(b), 그리고 각각의 촬영이미지(b)에 대응하는 디퍼런스이미지(c)를 이용하여 컬러이미지(d)를 획득할 수 있다. 이때 컬러이미지(d)도 물론 각각의 촬영이미지(b)에 대응하는 수로 생성될 수 있다.

구체적으로 제어부(140)는 기준이미지(a), 각각의 촬영이미지(b), 그리고 각각의 촬영이미지(b)에 대응하는 디퍼런스이미지(c)를 각각 컬러 채널로 갖는 3채널의 컬러이미지(d)를 생성할 수 있다. 이때 각각의 촬영이미지(b), 기준이미지(a) 그리고 각각의 촬영이미지에 대응하는 디퍼런스이미지(c)는 상술한 바와 같이 8비트 그레이이미지로 형성될 수 있고, 이 중 일부가 8비트 그레이이미지에 해당하지 않는 경우 제어부(140)는 8비트 그레이이미지로 변환하여 컬러이미지(d)를 생성하기 위한 준비를 할 수 있다.

이어서 제어부(140)는 각각의 8비트 그레이이미지를 각각 레드, 그린, 블루 채널로 갖는 3채널 24비트 컬러이미지(d)를 생성할 수 있다. 그에 따라 생성되는 컬러이미지(d)는 각각의 촬영이미지(b), 기준이미지(a) 그리고 각각의 촬영이미지(b)에 대응하는 디퍼런스이미지(c)의 각 픽셀값들을 컬러이미지(d)의 각 픽셀의 레드, 그린, 블루 컬러의 밝기값으로 갖는 이미지가 될 수 있다. 물론 실시예에 따라, 기준이미지(a), 각각의 촬영이미지(b), 그리고 각각의 촬영이미지(b)에 대응하는 디퍼런스이미지(c)를 포함하는 3개의 이미지가 상술한 레드, 그린, 블루와는 다른 순서로 각각 서로 다른 컬러 채널을 형성할 수도 있다.

그리고 제어부(140)는 상술한 바와 같이 생성된 하나 이상의 컬러이미지(d)를 이용하여 결함 검출 모델의 학습을 수행할 수 있다. 이때 제어부(140)는 우선 컬러이미지(d)에서 일차적으로 결함 의심 위치를 검출할 수 있도록 결함 검출 모델의 학습을 수행할 수 있다.

이때 제어부(140)가 결함 검출 모델의 학습을 수행하기 위해 이용할 학습 대상 컬러이미지(d) 각각에는 결함이 있는 결함 위치가 라벨링될 수 있다. 이를 위해 결함 검출 장치(100)는 학습 대상인 각각의 컬러이미지(d)에 포함된 결함의 위치에 대한 정보를 사용자로부터 입출력부(110)를 통해 입력받거나, 또는 이미 결함의 위치가 라벨링된 컬러이미지(d)를 타 장치로부터 통신부(130)를 통해 수신할 수 있다.

제어부(140)는 결함 위치가 라벨링된 학습 대상 컬러이미지(d)를 학습하여 일차적으로 결함 의심 위치를 판별하는 학습을 수행할 수 있다. 구체적으로 제어부(140)는 결함 의심 위치를 판별하기 위한 결함 검출 모델을 학습시킬 수 있는데, 예를 들어, 제어부(140)는 머신러닝, 더 구체적으로는 예를 들어 딥러닝 기술을 이용하여 인공신경망으로 구성되는 결함 검출 모델을 학습시킬 수 있다. 제어부(140)는 3채널 24비트의 컬러이미지(d)의 각 픽셀값을 입력변수로 갖고, 결함 의심 위치에 대한 정보를 결과값으로 갖는 결함 검출 모델의 상수값들을 구하는 과정을 통해 결함 검출 모델을 학습시킬 수 있다.

그에 따라 결함 검출 모델은 컬러이미지(d)에서 결함 의심 위치를 찾도록 학습될 수 있다.

이때 제어부(140)에 의해 학습된 결함 검출 모델은 예를 들어, RGB값이 특정 범위내로 한정되는 이웃한 픽셀들이 이루는 모양, 면적, 주변 픽셀값들과의 상대적인 관계 등에 따라 결함 의심 위치를 검출하는 특성을 가질 수 있다. 예를 들어 도 4에 도시된 예시에서, 컬러이미지(d)에 포함된 노란색 점 각각을 결함 위치로 라벨링한 후 이러한 이미지들을 이용하여 결함 검출 모델을 학습시킬 수 있다. 이때 노란색 점은 예를 들어 인쇄회로기판에서 홀 누락 결함을 나타낼 수 있는데, 결함 검출 모델은 학습을 통해 이러한 홀 누락 결함들의 공통적인 색상, 크기, 모양, 위치 특성 등을 학습할 수 있다. 나아가 홀 누락 결함 외의 다른 유형의 결함들을 포함하는 복수의 컬러이미지(d)를 학습하면 결함 검출 모델은 다양한 유형의 결함들에 대해 학습함으로써 결함 의심 위치를 검출할 수 있도록 학습될 수 있다.

그리고 제어부(140)는 결함 의심 위치를 중심으로 일정 영역을 잘라 만든 크롭이미지를 이용하여 결함 검출 모델을 추가적으로 학습시킬 수 있다.

예를 들어 도 5에 도시된 바와 같이 제어부(140)는 컬러이미지(d)의 일정 영역을 잘라내어 크롭이미지(e)를 생성할 수 있다. 이때 크롭이미지(e)는 예를 들어, 결함 의심 위치를 중심으로 하는 기설정된 크기의 영역의 이미지일 수 있다.

그리고 제어부(140)는 결함을 포함한 학습 대상 컬러이미지(d)에서 결함 위치를 중심으로 크롭이미지(e)를 획득한 후, 해당 크롭이미지(e)를 이용하여 결함 검출 모델을 학습시킬 수 있다. 이때 크롭이미지(e)에는 결함 여부 및/또는 결함 유형이 라벨링될 수 있다. 구체적으로는 도 5에 도시된 바와 같이 사용자로 하여금 해당 크롭이미지(e)의 결함이 과검출된 비결함인 경우, ‘0. Pass’를 선택하도록 하고, 결함인 경우에는 해당하는 결함 유형에 따라 ‘1. RC’, ‘2. 돌기’, ‘3. 쇼트’ 등과 같은 복수의 결함 유형 선택 버튼(CLS) 중 하나를 선택하도록 함으로서, 크롭이미지(e)의 결함 여부 또는 결함 유형이 라벨링되도록 할 수 있다. 그리고 이와 같이 결함 여부나 결함 유형이 라벨링된 크롭이미지(e)를 이용하여 결함 검출 모델을 추가적으로 학습시킬 수 있다.

그에 따라 결함 검출 모델은 결함 여부를 보다 정확하게 판정하도록 학습될 수 있을 뿐 아니라, 결함 유형도 판별할 수 있도록 학습될 수 있다.

도 5에 도시된 예에서는, 크롭이미지(e)에 포함된 결함이 홀 누락 결함이므로 사용자는 ‘9. 홀 누락’ 버튼을 선택할 수 있고, 그에 따라 제어부(140)는 해당 크롭이미지(e)를 홀 누락으로 라벨링하여 결함 검출 모델을 학습시킬 수 있다.

이때 결함 의심 위치를 검출하기 위해 컬러이미지를 학습하는 결함 검출 모델과, 결함 여부 및/또는 결함 유형을 검출하기 위해 크롭이미지를 학습하는 결함 검출 모델은 각각 별개의 검출 모델로 구성될 수 있다.

그리고 일 실시예에 의한 결함 검출 장치(100)는 결함 의심 위치에 따라 다른 검출 기준을 갖도록 결함 검출 모델을 학습시킬 수 있다. 예를 들어 인쇄회로기판의 결함을 검출하는 경우, 인쇄회로기판의 외곽에 대해서는 어느 정도의 결함이 허용되는 한편, 회로 영역에서는 엄격한 기준으로 결함을 판별해야 한다.

따라서 제어부(140)는 컬러이미지(d)에 대응하는 인쇄회로기판의 실제 구성에 근거하여 컬러이미지(d)를 복수의 영역으로 구분할 수 있다. 예를 들어 외곽, 메쉬(Mesh), 회로, 본딩, 볼패드 등으로 컬러이미지(d)의 영역을 미리 구분한 후, 검출된 결함 의심 위치가 어느 영역에 해당하는지 판별할 수 있다. 이때 제어부(140)는 구분되는 각 영역별로 결함 검출 기준이 다르게 설정될 수 있도록, 각 영역별로 서로 다른 검출 모델을 학습시킬 수 있으며, 각각의 영역별로 다른 검출 모델은 서로 다른 검출 파일 형태로 저장부(120)에 저장될 수 있다.

그리고 제어부(140)는 결함 의심 위치의 크롭이미지(e)를 이용하여 해당 결함 의심 위치가 포함된 영역에 대응하는 결함 검출 모델을 학습시킬 수 있다.

이에 따르면 결함 의심 위치가 포함된 영역이 어떤 영역에 해당하는지에 따라 다른 결함 검출 모델이 학습되므로, 결함 의심 위치에 따라 다른 검출 기준이 설정될 수 있다.

한편 제어부(140)는 상술한 바와 같이 학습된 결함 검출 모델을 이용하여 결함 검출을 수행할 수 있다. 이를 위해 결함 검출 장치(100)는 실제 결함 여부를 판별하기 위한 검사대상을 촬영한 촬영이미지(b)를 획득할 수 있다. 그리고 결함 검출 장치(100)는 다시 도 3에 예시된 바와 같이, 획득된 촬영이미지(b)와 기준이미지(a)와의 차이를 이용하여 디퍼런스이미지(c)를 생성할 수 있다.

또한 결함 검출 장치(100)는 도 4에 예시된 바와 같이 각각 촬영이미지(b), 기준이미지(a), 그리고 디퍼런스이미지(c)를 RGB채널로 갖는 3채널 24비트의 컬러이미지(d)를 생성할 수 있다.

이어서 제어부(140)는 이미 학습된 결함 검출 모델을 이용하여, 컬러이미지(d)에 포함된 결함 여부 및 결함 유형을 판별할 수 있다. 이때 제어부(140)는 우선적으로 컬러이미지(d)에서 결함 의심 위치를 추출할 수 있다. 이때에는 결함 의심 위치의 검출을 위해 컬러이미지들을 학습한 결함 검출 모델을 이용할 수 있다.

이어서 제어부(140)는 결함 검출 위치가 검출된 경우, 해당 결함 검출 위치를 중심으로 크롭이미지(e)를 획득할 수 있다. 그리고 제어부(140)는 결함 검출 모델을 이용하여 크롭이미지(e)의 결함 여부 및/또는 결함 유형을 판별할 수 있다. 이때에는 결함 여부 및/또는 결함 유형을 판별할 수 있도록 크롭이미지들을 학습한 결함 검출 모델이 이용될 수 있다.

나아가 결함 의심 위치가 포함된 영역에 따라 달리 학습된 복수의 검출 모델이 각각의 검출 파일로서 따로 저장된 경우 제어부(140)는 검출된 결함 의심 이취에 대응하는 검출 모델을 이용하여 크롭이미지(e)를 판독할 수도 있다.

그에 따라 결함의 유무나 결함 유형을 보다 정확히 판별할 수 있으며, 위치에 따른 상대적인 기준에 의거하여 검사대상의 결함 유무를 세밀하게 분류할 수 있다.

도 6 내지 도 7은 일 실시예에 따른 결함 검출 방법을 설명하기 위한 순서도이다.

도 6 내지 도 7에 도시된 실시예에 따른 결함 검출 방법은 도 1 또는 도 2에 도시된 결함 검출 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 또는 도 2에 도시된 결함 검출 장치(100)에 관하여 이상에서 기술한 내용은 도 6 내지 도 7에 도시된 실시예에 따른 결함 검출 방법에도 적용될 수 있다.

도 6에 도시된 바와 같이 일 실시예에 의한 결함 검출 방법에서 결함 검출 장치(100)는 검사대상을 직접 촬영하여 얻은 촬영이미지를 획득할 수 있다. 결함 검출 장치(100)가 직접 촬영수단을 포함함으로써 촬영이미지를 획득하거나 촬영수단을 포함한 다른 촬영장치(200)로부터 촬영이미지를 수신할 수 있다(S610).

그리고 결함 검출 장치(100)는 기준이미지와 촬영이미지의 차이를 산출함으로써 디퍼런스이미지를 획득할 수 있다(S620).

이어서 결함 검출 장치(100)는 기준이미지와 각각의 촬영이미지, 그리고 각 촬영이미지에 대응하는 디퍼런스이미지를 각각 8비트 그레이이미지로 변환할 수 있다(S630). 물론 기준이미지, 촬영이미지, 디퍼런스이미지 중 적어도 일부가 이미 8비트 그레이이미지로 생성되거나 변환된 상태이면 해당 이미지에 대해서는 변환 절차를 수행하지 않아도 된다. 예를 들어 기준이미지는 이미 8비트 그레이이미지로 저장되어 있을 수 있고, 촬영이미지도 촬영장치(200)에서 이미 8비트 그레이이미지로 변환하여 전달될 수 있다.

나아가 기준이미지와 촬영이미지가 이미 8비트 그레이이미지인 상태에서 연산이 이루어짐으로써, 디퍼런스이미지도 8비트 그레이이미지로 생성될 수 있다. 그러한 경우 S630단계는 생략될 수 있다.

이어서 결함 검출 장치(100)는 각각의 그레이이미지를 레드, 그린, 블루 채널로 갖는 3채널 24비트의 컬러이미지를 생성할 수 있다(S640). 예를 들어, 촬영이미지가 컬러이미지의 레드 채널, 기준이미지가 그린 채널, 디퍼런스이미지가 블루 채널을 형성할 수 있고, 그에 따라 컬러이미지는 각 픽셀에 대해 레드, 그린, 블루 밝기값을 모두 갖는 이미지로 형성될 수 있다.

그리고 결함 검출 장치(100)는 이와 같이 생성된 컬러이미지를 이용하여 결함 검출 모델을 학습시키거나, 이미 학습된 결함 검출 모델에 해당 컬러이미지를 입력함으로써 결함 여부를 검출할 수 있다(S650).

이와 같이 레드, 그린, 블루 3채널을 이용한 컬러이미지로 결함 여부를 판정함으로써, 그레이이미지를 통해 결함 여부를 판정하면서 결함과 배경간의 밝기차가 크지 않아 정확한 판독이 어려운 문제점을 해소할 수 있다.

한편 상술한 결함 검출 방법에서, 결함 검출 성능을 보다 향상시키기 위한 구체적인 학습 또는 결함 검출 방법으로서 다른 실시예에 의한 결함 검출 방법에서 결함 검출 장치(100)는 우선 컬러이미지에서 결함 의심 위치를 확인할 수 있다(S710). 이를 위해 각각의 학습 대상 컬러이미지에는 결함 의심 위치가 라벨링될 수 있으며, 컬러이미지를 이용하여 결함 검출 모델이 결함 의심 위치를 검출하도록 학습될 수 있다.

그리고 결함 검출 장치(100)는 결함 의심 위치에 대응하는 크롭이미지를 획득할 수 있다(S720). 결함 검출 모델을 학습시키는 경우, 크롭이미지는 컬러이미지에서 사용자에 의해 선택된 영역으로 설정될 수 있다. 또는 미리 결함 의심 위치를 검출하도록 학습된 결함 검출 모델을 이용하여 결함 의심 위치를 먼저 검출한 후, 결함 의심 위치를 중심으로 크롭이미지가 획득될 수도 있다.

이어서 결함 검출 장치(100)는 획득된 크롭이미지를 이용하여 결함 여부나 유형을 학습하거나, 또는 결함을 검출할 수 있다.

이를 위해 실시예에 따라 결함 검출 장치(100)는 결함 위치에 대응하는 검출 파일을 선택할 수 있다(S730). 영역별로 다른 검출 모델이 이용되는 경우, 결함 검출 장치(100)는 결함 위치가 속한 영역에 대응하는 검출 모델이 저장된 검출 파일을 불러오고, 불러들인 검출 파일의 검출 모델을 이용하여 크롭이미지를 학습하거나 크롭이미지를 분석하여 결함을 판정할 수 있다(S740).

결함 검출 모델을 학습시키는 경우에 결함 검출 장치(100)는 결함 의심 위치에 대응하는 검출 모델을 이용하여 결함 의심 위치에 대응하는 크롭이미지를 학습한다. 이때 각 크롭이미지에는 결함 여부 및/또는 결함 유형이 라벨링될 수 있고, 이에 기초하여 해당 결함 의심 위치에 대응하는 검출 모델은 결함 여부나 유형을 학습할 수 있다.

그리고 결함 검출 모델을 이용하여 검사대상의 결함을 판정하는 경우 결함 검출 장치(100)는, 결함 의심 위치에 대응하는 검출 파일을 불러와 결함 여부를 판정하되, 결함 의심 위치를 중심으로 획득한 크롭이미지를 결함 검출 모델에 입력하여 결함 여부나 결함 유형을 판정하도록 할 수 있다.

이와 같이 결함 검출 장치(100)는 컬러이미지를 이용하여 결함 의심 위치를 검출하는 학습을 수행하며, 결함 의심 위치를 중심으로 획득되는 크롭이미지를 이용하여 구체적인 결함 여부나 유형을 학습하는 2단계의 학습을 수행할 수 있다. 그리고 결함을 검출할 때에도 결함 검출 장치(100)는 컬러이미지를 이용하여 우선적으로 결함 의심 위치를 추출한 후, 추출된 결함 의심 위치를 중심으로 크롭이미지를 획득하여 구체적인 결함 여부나 유형을 판정하는 2단계의 검출 과정을 수행할 수 있다.

이때 나아가 결함 검출 장치(100)는 결함 위치에 따라 다른 검출 모델을 학습시킴으로써, 인쇄회로기판 등과 같은 검사대상의 특성을 반영하여 결함 의심 위치마다 다른 판정 기준을 수립하고, 이를 이용해 보다 유연하고 타당한 결함 검출을 수행할 수 있다.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.

도 6 및 도 7을 통해 설명된 실시예에 따른 결함 검출 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.

또한 도 6 및 도 7을 통해 설명된 실시예에 따른 결함 검출 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 도 6 및 도 7을 통해 설명된 실시예에 따른 결함 검출 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.

100: 결함 검출 장치
110: 입출력부
120: 저장부
130: 통신부
140: 제어부
200: 촬영장치

Claims

검사대상의 결함을 검출하기 위한 장치로서,
미리 정해진 하나의 기준이미지와, 검사대상을 촬영하여 획득된 적어도 하나의 촬영이미지를 저장하는 저장부; 및
상기 기준이미지와 각각의 촬영이미지의 차이를 연산하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하고, 상기 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 이용하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하며, 생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 제어부를 포함하는, 결함 검출 장치.
제1항에 있어서,
상기 제어부는,
상기 기준이미지와 상기 각각의 촬영이미지, 그리고 상기 각각의 촬영이미지에 대응하여 생성된 디퍼런스이미지를 8비트 그레이이미지로 형성하는, 결함 검출 장치.
제2항에 있어서,
상기 제어부는,
8비트 그레이이미지로 형성된 상기 기준이미지와 상기 각각의 촬영이미지, 그리고 상기 각각의 촬영이미지에 대응하여 생성된 디퍼런스이미지를 이용하여 형성되는 서로 다른 3개의 컬러 채널을 갖는 3채널 24비트 컬러이미지를 생성하는, 결함 검출 장치.
제 1 항에 있어서,
상기 제어부는,
상기 컬러이미지를 이용하여 결함 검출 모델의 학습을 수행하는 경우, 상기 컬러이미지에서 결함 의심 위치를 검출하도록 결함 검출 모델을 1차 학습시키고, 결함 의심 위치의 일정 영역의 이미지를 잘라 획득한 크롭이미지를 이용하여 결함 여부 또는 결함 유형을 판별하도록 결함 검출 모델을 2차 학습시키는, 결함 검출 장치.
제4항에 있어서,
상기 저장부는,
위치에 따라 다른 결함 검출 모델을 학습시키기 위한 각각의 검출 파일을 저장하고,
상기 제어부는,
상기 컬러이미지의 결함 의심 위치에 대응하는 검출 파일을 이용하여 상기 크롭이미지의 학습을 수행하는, 결함 검출 장치.
제1항에 있어서,
상기 제어부는,
상기 컬러이미지를 이용하여 결함 검출을 수행하는 경우, 상기 컬러이미지에서 결함 의심 위치를 검출하고, 검출된 결함 의심 위치의 일정 영역의 이미지를 잘라 획득한 크롭이미지를 이용하여 결함 여부 또는 결함 유형의 판정을 수행하는, 결함 검출 장치.
제6항에 있어서,
상기 저장부는,
위치에 따라 다른 결함 검출 모델을 이용하여 결함 검출을 수행하기 위한 각각의 검출 파일을 저장하고,
상기 제어부는,
검출된 결함 의심 위치에 대응하는 검출 파일을 이용하여, 상기 크롭이미지의 결함 여부 또는 결함 유형을 판정하는, 결함 검출 장치.
결함 검출 장치에 의해 수행되는 검사대상의 결함을 검출하는 방법으로서,
검사대상을 촬영하여 생성된 적어도 하나의 촬영이미지를 획득하는 단계;
각각의 촬영이미지와 미리 정해진 하나의 기준이미지의 차이를 이용하여 각각의 촬영이미지에 대응하는 디퍼런스이미지를 생성하는 단계;
상기 기준이미지, 각각의 촬영이미지, 그리고 각각의 디퍼런스이미지를 이용하여 각각의 촬영이미지에 대응하는 적어도 하나의 컬러이미지를 생성하는 단계; 그리고
생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 단계를 포함하는 결함 검출 방법.
제8항에 있어서,
상기 컬러이미지를 생성하는 단계는,
상기 기준이미지와 상기 각각의 촬영이미지, 그리고 상기 각각의 촬영이미지에 대응하여 생성된 디퍼런스이미지를 각각 8비트 그레이이미지로 형성하는 단계; 그리고
8비트 그레이이미지로 형성된 상기 기준이미지와 상기 각각의 촬영이미지, 그리고 상기 각각의 촬영이미지에 대응하여 생성된 디퍼런스이미지를 이용하여 형성되는 서로 다른 3개의 컬러 채널을 갖는 3채널 24비트 컬러이미지를 생성하는 단계를 포함하는, 결함 검출 방법.
제9항에 있어서,
생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 단계는,
상기 컬러이미지에서 결함 의심 위치를 검출하는 단계;
검출된 결함 의심 위치의 일정 영역의 이미지를 잘라 크롭이미지를 획득하는 단계;
상기 크롭이미지를 이용하여 결함 여부 또는 결함 유형의 학습 또는 판정을 수행하는 단계를 포함하는, 결함 검출 방법.
제10항에 있어서,
생성된 컬러이미지를 이용하여 결함 검출 모델의 학습 또는 결함 검출 중 적어도 하나를 수행하는 단계는,
상기 컬러이미지를 이용하여 결함 의심 위치를 검출하기 위한 학습을 수행하는 단계를 포함하는, 결함 검출 방법.
제10항에 있어서,
상기 결함 검출 방법은,
위치에 따라 다른 결함 검출 모델을 유지하는 단계를 더 포함하고,
상기 크롭이미지를 이용하여 결함 여부 또는 결함 유형의 학습 또는 판정을 수행하는 단계는,
검출된 결함 의심 위치에 대응하는 결함 검출 모델을 이용하여 상기 크롭이미지를 이용한 결함 여부 또는 결함 유형의 학습 또는 판정을 수행하는 단계를 포함하는, 결함 검출 방법.
제8항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
결함 검출 장치에 의해 수행되며, 제8항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.