KR20190072020A - 결함 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 측정 물체의 결합을 검출하는 방법 및 장치를 개시한다.
본 발명에 따른 물체의 결함 검출 방법은 디지털 홀로그래픽 현미경을 이용하여 측정하고자 하는 물체의 보상된 홀로그램을 계산하는 단계; 상기 물체의 홀로그램에서 3차원 위상정보를 추출하는 단계; 및 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

결함 검출 방법 및 장치{Apparatus and Method For Detecting Defects}

본 발명은 결함 검출 방법 및 장치에 관한 것이다.

좀 더 구체적으로, 본 발명은 홀로그래픽 복원 장치 및 방법을 이용하여 획득한 물체의 3차원 형상 정보 및 정량적인 두께 정보를 이용하여 결함을 검출하는 방법 및 장치에 관한 것이다.

종래 기술의 한 장의 물체 홀로그램 영상을 사용하는 원샷 방식의 디지털 홀로그래피 복원 시 요구되는 복잡한 광학 장치 구조 및 그에 따른 상당한 고가의 비용 문제를 해결할 수 있으며, 간단한 구조 및 저가의 비용으로 홀로그래픽 복원을 통해 결함 검출이 가능하고, 종래 기술의 반사형 및 투과형 홀로그램 복원 장치에 모두 적용될 수 있는 범용성을 가지며, 특히 홀로그램 복원 시 기준광의 사용이 불필요하고, 실시간으로 측정 대상 물체의 정량적인 3차원 영상 복원이 가능하여, TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능하다.

디지털 홀로그래피 현미경이란 디지털 홀로그래피 기술을 활용하여 물체의 형상을 측정하는 현미경을 말한다.

일반적인 현미경이 통상 일반 광원을 물체에 비추어 물체로부터 반사 또는 투과되는 빛의 세기를 측정함으로 물체의 형상을 측정하는 장치라면, 디지털 홀로그래피 현미경은 빛이 물체에 비추어졌을 경우 일어나는 빛의 간섭과 회절현상을 측정하고 이를 디지털 방식으로 기록하여, 이들 정보로부터 물체의 형상정보를 복원하는 장치이다.

즉, 디지털 홀로그래피 기술은 레이저와 같은 단일 파장의 빛을 생성하고, 이를 광분할기를 이용하여 2개의 빛으로 분할하여, 하나의 빛은 이미지 센서에 직접 비추고(기준광이라 한다), 다른 빛은 측정 대상 물체에 비추어 상기 측정 대상 물체로부터 반사되는 빛을 이미지 센서에 비추면(물체광이라 한다), 이미지 센서에서 상기 기준광과 물체광이 간섭현상을 일으키게 되는데, 이러한 빛의 간섭무늬 정보를 디지털 이미지 센서로 기록하고, 상기 기록된 간섭무늬 정보를 가지고 컴퓨터를 활용하여 측정 대상 물체의 형상을 복원하는 기술이다. 그리고 이때 상기 기록되는 간섭무늬 정보를 통상 홀로그램이라고 지칭한다.

한편, 디지털 홀로그래피가 아닌 기존의 광학적 홀로그래피 기술의 경우는, 상기 빛의 간섭무늬 정보를 특수 필름으로 기록하고, 상기 측정 대상 물체의 형상을 복원하기 위하여 상기 기준광을 간섭무늬가 기록된 특수필름에 비추면 본래 측정 대상 물체가 위치하던 자리에 가상의 측정 대상 물체의 형상이 복원되는 방식이다.

디지털 홀로그래피 현미경은 기존의 광학적 홀로그래피 방식과 비교하였을 때, 빛의 간섭무늬 정보를 디지털 이미지 센서로 측정하고 디지털 방식으로 저장하고, 상기 저장된 간섭무늬 정보를 광학적 방식이 아닌 컴퓨터 장치 등을 이용한 수치연산 방식을 통하여 가공해서 측정 대상 물체의 형상을 복원한다는 점에서 차이가 있다.

기존의 디지털 홀로그래피 현미경으로는 먼저 단일 파장의 레이저 광원을 사용하는 경우가 있다. 그러나 단일 레이저 광원을 사용하는 경우는 물체의 측정 해상도, 즉 최소측정 단위가 사용하는 레이저 광원의 파장으로 제한된다는 문제점이 있다. 또한 기존의 디지털 홀로그래피 현미경 중 2파장 또는 다중 파장의 레이저 광원을 사용하는 경우는, 서로 다른 파장을 가지는 광원들을 사용함으로 비용이 증가하거나, 또는 서로 다른 파장의 광원을 이용하여 홀로그램 영상을 순차적으로 획득하기 때문에 측정하고자 하는 물체의 3차원적인 변화정보를 실시간으로 측정하기 어려운 문제점이 있다.

또한, 상술한 종래 디지털 홀로그래피 기술에서는 측정 대상 물체의 형상을 복원하기 위해 컴퓨터로 CGH(Computer Generated Hologram)을 생성한 후 이를 공간광변조기(Spatial Light Modulator: SLM) 상에 디스플레이한 후 기준광을 비추면, 기준광의 회절에 의해 물체의 3차원 홀로그램 영상이 얻어진다. 이 경우, 고가(수천만원 이상)의 공간광변조기(SLM)의 사용이 요구되므로, 실용화에 상당한 어려움이 있다.

상술한 종래 디지털 홀로그래피 기술의 문제점을 해결하기 위한 방안의 하나로, 예를 들어, 2014년 9월 5일자로 김은수 등에 의해 디지털 홀로그래피 현미경 및 디지털 홀로그램 영상 생성 방법이라는 발명의 명칭으로 대한민국 특허출원번호 제10-2014-0119395호 출원되어, 2016년 3월 15일자로 공개된 대한민국 공개특허 제10-2016-0029606호(이하 "공개된 종래 기술"이라 함)에 구체적으로 예시되어 있다.

도 1은 공개된 종래 기술에 따른 2파장 디지털 홀로그래피 현미경 장치를 상세히 도시한 블록도이다.

도 1을 참조하면, 공개된 종래 기술의 2파장 디지털 홀로그래피 현미경 장치는 혼합광원부(100), 파장분할부(200), 간섭무늬획득부(300), 대물부(400), 이미지센서부(500), 이미지저장부(600), 제어부(700), 물체형상복원부(800)을 포함한다.

혼합광원부(100)는 혼합광원발광부(110)와 광원부렌즈(120)를 포함한다. 이러한 혼합광원발광부(110)는 단일하지 아니한 여러 대역에 분포된 파장대역을 가지는 혼합광을 발광한다. 광원부렌즈(120)는 상기 혼합광원발광부(110)에서 생성된 혼합광을 광학적으로 조절하고, 이를 파장분할부(200)에 입사시킨다.

파장분할부(200)는 제1광분할기(210)와 제1여광판(220) 및 제2여광판(230)와 제1반사체(240)를 포함한다. 제1광분할기(210)는 혼합광원부(100)로부터 입사된 혼합광을 입력받아 2개의 광으로 분할한다. 이때 제1광분할기(210)는 입사받은 혼합광을 서로 다른 방향으로 나누어 진행시키는 역할을 수행한다. 제1여광판(220)은 제1광분할기(210)에서 분할된 광들 중 하나의 광을 입력받아 미리 정해진 단일파장을 가지는 제1광선을 획득한다. 여기서 제1여광판(220)에 입력되는 광은 제1여광판(220)을 통과하면서 필터링되고, 제1여광판(220)의 특성에 따라 정해진 단일한 파장을 가지는 제1광선이 획득된다. 제2여광판(230)은 제1여광판(220)과 동일한 방식으로, 제1광분할기(210)에서 분할된 광들 중 나머지 하나의 광을 입력받아, 제1광선의 파장과 다른 파장을 가지는 제2광선을 획득한다. 그리고 제2광선은 간섭무늬획득부(300)로 보내진다. 제1반사체(240)는 제1여광판(220)에서 획득된 제1광선을 입사받아 간섭무늬획득부(300)로 반사하는 역할을 한다.

간섭무늬획득부(300)는 제2광분할기(310)와 제3광분할기(320)와 제2반사체(330)와 제3여광판(340)과 제3반사체(350)를 포함한다. 제2광분할기(310)는 파장분할부(200)로부터 입력된 제1광선을 입력받아 제1물체광과 제1기준광으로 분할한다. 이때 제2광분할기(210)는 입사받은 제1광선을 서로 다른 방향으로 나누어 진행시키는 역할을 수행한다. 제3광분할기(320)도 제2광분할기(310)와 동일한 방식으로 제2광선을 입력받아 제2물체광과 제2기준광으로 분할한다. 제2반사체(330)는 제1기준광을 입사받고, 이를 반사한 제1반사기준광을 제2광분할기(310)로 보낸다. 제3여광판(340)은 제2광분할기(310)에서 분할된 제1기준광을 입사받아 제2반사체(330)로 보내고, 반사되는 제1반사기준광을 입사받아 제2광분할기로 보낼 수 있다. 또한 제3여광판(340)은 제2물체광이 제2광분할기(310)에 이르러 광분할되어 일부가 제2반사체(330) 방향으로 진행할 때 제2반사체(330)에 도달하지 못하도록 진행을 막는다. 이를 위하여 제3여광판(340)은 광을 투과시킴에 있어서 제1여광판(220)과 동일한 특성을 가지는 여광판으로 한다. 제3반사체(350)는 제2기준광을 입사받고, 이를 반사한 제2반사기준광을 제3광분할기(320)로 보내는데, 여기서 제2반사체(330) 및 제3반사체(350)는 제어부(700)의 제어에 따라 각도 조절이 가능하도록 구성하여, 탈축(off-axis) 홀로그램을 구현할 수 있다.

한편, 상술한 바와 같이 획득된 제1물체광, 제2물체광은 다음과 같은 과정을 거쳐 각 제1반사물체광과 제2반사물체광으로 변환되어 이미지센서부(500)로 보내진다. 제2광분할기(310)는 이상과 같이 분할한 제1물체광을 대물부(400)에 거치되어 있는 측정 대상 물체에 입사시키고, 또한 제3광분할기(320)로부터 분할되어 보내지는 제2물체광을 상기 측정 대상 물체에 입사시킨다. 이 경우, 측정 대상 물체에서 입사받은 제1물체광을 반사한 반사광을 제1반사물체광이라 한다. 또한 측정 대상 물체에서 입사받은 제2물체광을 반사한 반사광을 제2반사물체광이라 한다. 제2광분할기(310)는 이상과 같이 반사된 제1반사물체광과 제2반사물체광을 입력받아 이를 제3광분할기(320)로 보낸다. 제3광분할기(320)는 이상과 같이 입력받은 제1반사물체광과 제2반사물체광을 다시 이미지센서부(500)로 보낸다.

또한, 상술한 바와 같이 획득된 제1반사기준광, 제2반사기준광은 다음과 같은 과정을 거쳐 이미지센서부(500)로 보내진다. 구체적으로, 제2광분할기(310)는 제2반사체(330)에서 반사되어 온 제1반사기준광을 입력받아 제3광분할기(320)로 보낸다. 제3광분할기(320)는 이상과 같이 제2광분할기(310)에서 보내진 제1반사기준광과, 제3반사체(350)에서 반사되어 온 제2반사기준광을 입력받아 다시 이미지센서부(500)로 보낸다. 그에 따라, 제3광분할기(320)에서 제1반사물체광과 제1반사기준광과 제2반사물체광과 제2반사기준광이 모두 동일하게 이미지센서부(500) 방향으로 보내진 후, 상호 간섭하여 간섭무늬가 생성된다.

한편, 제2반사체(330)와 제3반사체(350)는 서로 다른 파장의 광선이 서로 다른 간섭무늬를 형성하게 하는 탈축(off-axis) 시스템을 구성하기 위하여 제어부(700)의 제어에 따라 각도를 다방향으로 조절할 수 있는 것을 특징으로 한다. 즉, 제2반사체(330)와 제3반사체(350)의 각도가 서로 상이하게 됨에 따라, 제2반사체(330)로부터 반사되는 제1반사기준광과 제3반사체(350)로부터 반사되는 제2기준광의 방향에 이격이 발생하게 되어, 제1반사기준광과 제2반사기준광이 이미지센서부(500)에 도달한 제1반사물체광과 제2반사물체광과 합쳐져 간섭무늬를 형성할 때에, 각 파장 별로 상이하게 탈축된 간섭무늬를 형성하게 된다.

대물부(400)는 물체거치대(410)와 대물렌즈(420)를 포함한다. 물체거치대(410)는 측정 대상 물체를 거치대에 고정시켜 측정되도록 하고, 대물렌즈(420)는 측정 대상 물체에 입사되는 제1물체광과 제2물체광을 광학적으로 조절한다.

이미지센서부(500)는 간섭무늬획득부(300)에서 획득된 상기 간섭무늬를 디지털 이미지 센서에 투영시키고, 상기 투영된 간섭무늬를 상기 디지털 이미지 센서를 이용하여 측정하고, 그 측정값을 이산신호로 변환한다. 통상 상기 간섭무늬를 기록한 것을 홀로그램이라고 한다. 이러한 디지털 이미지 센서로는 CCD 등 다양한 이미지센서들이 사용될 수 있다.

이미지저장부(600)는 이미지센서부(500)에서 이산신호로 변환된 간섭무늬 정보를 메모리나 디스크장치 등과 같은 다양한 저장매체에 저장한다.

제어부(700)는 상술한 탈축(off-axis) 시스템을 구현하고 간섭무늬를 획득하기 위하여 제2반사체(330)와 제3반사체(350)의 위치와 각도를 조절하는 등 간섭무늬획득부(300)를 제어하고, 측정 대상 물체에 입사되는 제1물체광과 제2물체광을 조절하기 위하여 대물렌즈(420)를 조절하는 등 대물부(400)를 제어하고, 상기 간섭무늬가 측정되어 그에 대한 정보가 이산신호로 변환되도록 하기 위하여 이미지센서부(500)를 제어하고, 이산신호로 변환된 간섭무늬 정보를 저장하기 위하여 이미지저장부(600)를 제어한다.

물체형상복원부(800)는 위상정보획득부(810)와 두께정보획득부(820)와 형상복원부(830)을 포함한다. 위상정보획득부(810)은 상기 간섭무늬 정보를 이용하여 상기 제1광선에 대한 간섭무늬의 위상정보와 상기 제2광선에 대한 간섭무늬의 위상정보를 각각 획득하고, 두께정보획득부(820)은 상기 위상정보들을 이용하여 측정 대상 물체의 두께정보를 획득하고, 형상복원부(830)은 상기 두께정보를 이용하여 측정 대상 물체의 실시간 3차원 형상을 복원한다. 이때 측정 대상 물체의 두께정보는 상기 물체광과 기준광이 각각 진행한 경로의 차이 정보를 포함한다. 이와 같은 상기 물체광과 기준광의 광 경로차 때문에 상기 물체광과 기준광이 중첩되었을 때 상기 간섭무늬가 형성된다.

상술한 공개된 종래 기술에서는 측정 대상 물체의 측정 해상도를 높이고, 시간이 흐름에 따라 변화하는 측정 대상 물체에 대한 홀로그램을 실시간으로 측정 및 기록하여 측정 대상 물체의 3차원 형상 정보를 실시간으로 복원하는 효과가 달성되지만, 여전히 다음과 같은 문제점이 발생한다.

좀 더 구체적으로, 공개된 종래 기술에서는 단일하지 않은 여러 대역에 분포된 파장 대역을 가지는 혼합 광원이 사용되므로, 적어도 2개 이상의 단일 파장을 얻기 위해 파장분할부(200)가 파장이 서로 상이한 제1광선 및 제제2광원을 분할하기 위해 제1여광판(220), 제2여광판(230), 및 제1반사체(240)를 사용하여야 한다. 또한, 간섭무늬획득부(300)가 제2광원을 분할하기 위한 제3광분할기(320), 제2광원을 반사시키기 위한 제3반사체(350), 및 제2광원이 제2반사체(330)로 입사되는 것을 차단하기 위한 제3여광판(340)을 추가로 사용하여야 한다. 따라서, 장치 전체의 구조가 복잡해지고, 전체 제조 비용이 고가라는 문제점이 여전히 존재한다.

따라서, 단일 파장의 광원을 사용하면서도 상술한 문제점을 해결할 수 있을 뿐만 아니라, TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능한 새로운 방안이 요구된다.

1. 대한민국 공개특허 제10-2016-0029606호 2. 대한민국 공개특허 제10-2010-0095302호 3. 대한민국 공개특허 제10-2012-0014355호 4. 대한민국 특허 제10-1139178호 5. 대한민국 특허 제10-1441245호 6. 미국 특허 제7,649,160호

본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로, 한 장의 물체 홀로그램 영상만을 획득하고, 기준 홀로그램 영상을 사용하지 않고 획득된 물체 홀로그램 영상 및 상기 획득된 물체 홀로그램으로부터 생성된 디지털 기준광 만을 이용하여 물체의 3차원 형상 정보 및 정량적인 두께 정보를 복원함으로써, 종래 기술의 한 장의 물체 홀로그램 영상을 사용하는 원샷 방식의 디지털 홀로그래피 복원 시 요구되는 복잡한 광학 장치 구조 및 그에 따른 상당한 고가의 비용 문제를 해결할 수 있으며, 간단한 구조 및 저가의 비용으로 홀로그래픽 복원이 가능하고, 종래 기술의 반사형 및 투과형 홀로그램 복원 장치에 모두 적용될 수 있는 범용성을 가지며, 특히 홀로그램 복원 시 기준 홀로그램의 사용이 불필요하고, 실시간으로 측정 대상 물체의 정량적인 3차원 영상 복원이 가능하여, TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능한 개선된 홀로그래픽 복원 장치를 이용하여 획득한 물체의 3차원 형상 정보 및 정량적인 두께 정보를 이용하여 결함을 검출하는 방법 및 장치를 제공하기 위한 것이다.

본 발명의 제1 특징에 따른 측정 물체의 결함을 검출하는 방법은, 디지털 홀로그래픽 현미경을 이용하여 측정하고자 하는 물체의 보상된 홀로그램을 계산하는 단계; 상기 물체의 홀로그램에서 3차원 위상정보를 추출하는 단계; 및 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 제2 특징에 따른 측정 물체의 결함을 검출하는 장치는, 측정하고자 하는 물체의 홀로그램 데이터를 측정하는 홀로그램 측정부; 및 상기 물체의 보상된 홀로그램을 계산하고, 상기 물체의 홀로그램에서 3차원 위상정보를 추출하고, 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 제어부를 포함하는 것을 특징으로 한다.

상술한 본 발명에 따른 측정 물체의 결함을 검출하는 장치 및 방법을 사용하면 다음과 같은 장점이 달성된다.

1. 종래 기술의 한 장의 물체 홀로그램 영상을 사용하는 원샷 방식의 디지털 홀로그래피 복원 시 요구되는 복잡한 광학 장치 구조 및 그에 따른 상당한 고가의 비용 문제를 해결할 수 있다.

2. 간단한 구조 및 저가의 비용으로 홀로그래픽 복원이 가능하다.

3. 종래 기술의 반사형 및 투과형 홀로그램 복원 장치에 모두 적용될 수 있는 범용성을 가진다.

4. 특히 홀로그램 복원 시 기준 홀로그램 영상이 불필요하며, 실시간으로 측정 대상 물체의 정량적인 3차원 영상 복원이 가능하다.

5. TFT 및 반도체와 같은 초미세 구조의 결함 검출용 장치, 정밀한 3차원 영상의 표시가 요구되는 의료 기기, 및 기타 렌즈와 같은 투명한 물체의 굴절률 에러 검출 등을 포함한 다양한 분야의 검출, 확인 또는 표시용 장치에 적용이 가능하다.

6. 물체의 횡방향(Lateral) 및 종방향(Axial) 결함(3차원 결함) 모두 검출 가능하다.

7. 결함 검출의 자동화가 가능하므로, 제조사의 제조 원가 절감, 및 이를 통한 소비자의 비용 부담 인하 효과를 가져올 수 있을 것으로 예상된다.

본 발명의 추가적인 장점은 동일 또는 유사한 참조번호가 동일한 구성요소를 표시하는 첨부 도면을 참조하여 이하의 설명으로부터 명백히 이해될 수 있다.

도 1은 공개된 종래 기술에 따른 따른 2파장 디지털 홀로그래피 현미경 장치를 상세히 도시한 블록도이다.
도 2은 본 발명의 홀로그램 측정부에 속하는 디지털 홀로그래픽 현미경을 도시하는 도면이다.
도 3는 본 발명의 실시예에 따른 결함 검출방법의 순서도이다.
도 4은 본 발명의 실시예에 따른 위상 이미지 결함 검출 합성곱 신경망 구현을 통한 불량 여부 결정하는 방법을 도시하는 도면이다.
도 5는 본 발명의 실시예에 따른 결함 검출 장치의 내부 구조를 도시하는 블록도이다.

본 명세서에서 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.

이하에서 본 발명의 실시예 및 도면을 참조하여 본 발명을 상세히 기술한다.

도 2는 본 발명의 홀로그램 측정부에 속하는 디지털 홀로그래픽 현미경을 도시하는 도면 이다.

상기 디지털 홀로그래픽 현미경은 단일 파장 광을 방출하는 광원부(210); 상기 광원부(210)에서 방출된 단일 파장 광을 시준하기 위한 시준기(220); 상기 시준기(220)를 통과한 상기 단일 파장 광을 물체광(O) 및 기준광(R)으로 분할하는 광 분할기(230); 상기 광 분할기(230)에 의해 분할된 상기 물체광(O)을 통과시키는 물체광 대물 렌즈(240); 상기 광 분할기(230)에 의해 분할된 상기 기준광(R)을 통과시키는 기준광 대물 렌즈(260); 상기 기준광 대물 렌즈(60)를 통과한 상기 기준광(R)을 반사시키는 광학 거울(270); 상기 물체광 대물 렌즈(240)를 통과하여 측정 대상 물체(250)의 표면에서 반사된 물체광(O) 및 상기 광학 거울(270)에 의해 반사된 기준광(R)이 각각 상기 물체광 대물 렌즈(240) 및 기준광 대물 렌즈(260)를 통과하여 상기 광 분할기(230)로 전달되어 형성되는 간섭 무늬를 기록하는 기록 매체(280); 및 상기 기록 매체(280)에서 상기 간섭무늬를 변환하여 생성된 이미지 파일을 수신하여 저장하는 프로세서(290)를 포함할 수 있다.

그리고 상기 프로세서(290)는 상기 이미지 파일로부터 획득된 물체 홀로그램으로부터 상기 물체 홀로그램의 기준광 정보를 추출하여 디지털 기준광을 생성하고, 상기 물체 홀로그램과 상기 디지털 기준광을 이용하여 보상된 물체 홀로그램을 계산하고 상기 보상된 물체 홀로그램의 위상 정보를 추출하여 상기 측정 대상 물체(250)의 3차원 정보를 복원할 수 있다.

그리고 상기 현미경의 측정 대상이 되는 물체(250)은 이동레일(255)을 통해서 상기 현미경에 의해 측정될 수 있다. 상기 프로세서(290)과 연결된 결함 판단부(295)에서 보상된 물체의 홀로그램을 이용하여 상기 물체의 결함 여부를 판단할 수 있다.

상기 프로세서(290)는 예를 들어, 마이크로프로세서, PC(Personal Computer) 등의 산술 연산이 가능한 장치로 구현되고, 또한 기록 매체(80)는 예를 들어 CCD(Charge Coupled Device), CMOS(Complimentary Metal-Oxide Semiconductor) 등의 이미지 센서로 구현될 수 있다.

또한, 상기 프로세서(290)에 의해 획득되는 물체 홀로그램의 정보는 물체의 파장 및 위상 정보, 및 물체광 대물 렌즈(240)의 수차를 포함하고, 노이즈(예를 들어, 레이저의 광자(photon) 사용에 따른 스펙클 노이즈(speckle noise) 등)를 추가적으로 포함할 수 있다. 그리고 상기 프로세서(290)에 의해 획득된 물체 홀로그램은 복소 공액 홀로그램으로, 하기의 식 1과 같이 표현될 수 있다.

식 1: |U _o (x,y,0)|²= |O(x,y)|²+|R(x,y)|²+ O ^*(x,y)R(x,y)+O(x,y)R ^* (x,y)

상기 식 1에서 x와 y는 공간 좌표를 나타내고, U _o (x,y,0)는 획득된 물체 홀로그램을 나타내며, O(x,y) 및 R(x,y)는 각각 물체광(O)과 기준광(R)을 나타내고, O ^*(x,y) 및 R ^* (x,y)는 각각 물체광(O)과 기준광(R)의 복소 공액을 나타낸다.

이하에서는 상기 획득된 물체 홀로그램으로부터 디지털 기준광 및 보상된 물체 홀로그램을 생성하는 구체적인 방법을 기술하기로 한다.

먼저, 상기 프로세서(290)는 상기 기록 매체(280)에 기록된 상기 간섭 무늬의 이미지 파일로부터 물체 홀로그램을 획득한다. 상기 획득된 물체 홀로그램은 물체의 위상 정보를 가지고 있는 물체광(O)과 물체의 위상 정보가 없는 기준광(R)의 간섭무늬로 이루어져 있다.

그 후, 획득된 물체 홀로그램에서 물체의 위상 정보가 없는 기준광(R)의 정보를 추출하기 위해 획득된 물체 홀로그램에 대해 2차원 푸리에 변환(2D Fourier Transform)을 수행한다. 2차원 푸리에 변환으로 얻어진 물체 홀로그램의 주파수 스펙트럼은 실상 좌표(Real image spot-position)를 포함하는 스펙트럼 정보, 허상 좌표(Imaginary image spot-position)를 포함하는 스펙트럼 정보, 및 직류 정보(Direct Current: DC)를 포함하는 스펙트럼 정보로 각각 분리된다. 상기 주파수 스펙트럼에서 자동 실상 좌표 정보 추출 알고리즘(Automatic real image spot-position extraction algorithm)을 이용하여 상기 분리된 실상 좌표 정보만을 추출한다. 추출된 실상 좌표 정보를 이용하여 상기 획득된 물체 홀로그램의 기준광 정보를 추출한다.

그 후, 상기 프로세서(290)의 추출된 기준광 정보는 광의 파동성으로 인하여 2π마다 위상 끊김 현상이 발생할 수 있으며, 이러한 위상 끊김 현상을 보상하기 위해 공지의 파수 벡터 알고리즘(Wavenumber algorithm)을 이용하여 추출된 기준광 정보의 파수 벡터 상수를 계산한다. 계산된 파수 벡터 상수를 이용하여 추출된 기준광 정보의 보상 항(Term)을 계산한다. 파수 벡터 상수로부터 계산된 추출된 기준광 정보의 보상 항은 상기 획득된 물체 홀로그램의 켤레항(Conjugate)이다. 이렇게 추출된 기준광 정보의 계산된 보상 항은 디지털 기준광이라 지칭되며, 이를 수식으로 나타내면 하기의 식 2와 같다.

식 2: R _c (x,y)= conj[R(x,y)]

상기 식 2에서,R _c (x,y)는 디지털 기준광이고, R(x,y)는 획득된 물체 홀로그램의 기준광 정보이며, conj는 복소수의 켤레 항(Conjugate)을 구하는 함수이다.

그 후, 상기 프로세서(290)은 물체 홀로그램을 획득할 때 사용했던 물체광 대물 렌즈(240)의 곡률 수차(Curvature aberration)를 보상하기 위해 물체 홀로그램에서 수차 정보를 추출한다. 그 후, 프로세서(290)는 자동 주파수 곡률 수차 보상 알고리즘(Automatic frequency curvature compensation algorithm)을 이용하여 곡률 수차 정보 보상 항을 생성한다. 여기서, 곡률 수차 정보 보상 항을 디지털 곡률로 지칭하기로 한다.

그 후, 프로세서(290)는 추출된 기준광 정보의 보상 항을 상기 획득된 물체 홀로그램에 곱하여 보상된 물체 홀로그램을 계산한다. 이를 식으로 나타내면 식 3과 같다.

식 3: U _C (x,y,0)=O(x,y)R ^*(x,y)R _C (x,y)R _CA (x,y)

상기 식 3에서, U _C (x,y,0)는 보상된 물체 홀로그램이고, O(x,y) 및 R ^*(x,y)는 각각 획득된 물체 홀로그램의 물체광 및 기준광이며, R _C (x,y)는 디지털 기준광이고, R _CA (x,y)는 디지털 곡률을 나타낸다.

그 후, 프로세서(290)는 보상된 물체 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환한다. 여기서, 복원 영상면이란 프로세서(290)에 의해 측정 대상 물체(250)와 기록 매체(280) 사이의 거리에 대응하는 거리만큼의 가상적인 영상 표시 평면을 의미하는 것으로, 프로세서(290)에 의해 계산 및 시뮬레이션될 수 있다. 프로세서(90)는 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 통해 보상된 물체 홀로그램의 위상 정보를 추출한다. 이러한 방식으로 추출된 위상 정보에서는 획득된 물체 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되므로, 추출된 보상된 물체 홀로그램의 위상 정보는 물체의 위상 정보만을 포함하고 있다는 점에 유의하여야 한다.

그 후, 프로세서(290)는 보상된 물체 홀로그램의 추출된 위상 정보를 이용하여 측정 대상 물체(250)의 정량적인 두께 정보를 계산한다. 이 경우, 프로세서(290)는 보상된 물체 홀로그램의 추출된 위상 정보가 예를 들어, 레이저의 광자(photon) 사용에 따른 스펙클 노이즈(speckle noise) 등과 같은 미세 노이즈를 추가적으로 포함할 수 있으므로, 측정 대상 물체(250)의 정량적인 두께 정보를 계산하기 전에 이러한 미세 노이즈를 미리 제거할 수 있다. 구체적으로, 프로세서(290)는 2차원 위상 펼침 알고리즘(2D phase unwrapping algorithm)을 이용하여 보상된 물체 홀로그램의 추출된 위상 정보로부터 미세 노이즈 및 위상 접힘(Wrapped phase) 현상에 기인한 왜곡된 위상 정보를 보상할 수 있다. 이러한 미세 노이즈 및 위상 접힘(Wrapped phase) 현상에 기인한 왜곡된 위상 정보가 제거된 경우 보상된 물체 홀로그램의 위상 정보에 기초하여 측정 대상 물체(250)의 정량적인 두께 정보를 더욱 정밀하게 계산할 수 있다. 상술한 방식으로 계산된 측정 대상 물체(50)의 정량적인 두께 정보는 하기 식 4와 같이 표시된다.

식 4: △L = λ△φ(x,y)/2π△n( x,y )

상기 식 4에서, △L은 측정 대상 물체(50)의 정량적인 두께 정보, λ는 물체 홀로그램 획득 시 사용한 광원부(210)의 파장, φ(x,y)는 상기 보상된 물체 홀로그램의 위상 정보, △n( x,y )는 배경과 (또는 공기와) 측정 대상 물체(250) 간의 굴절률 차이를 의미한다. 프로세서(290)는 상기 식 4에 따라 계산된 측정 대상 물체(250)의 정량적인 두께 정보를 이용하여 측정 대상 물체(250)의 3차원 형상을 상술한 복원 영상면 상에 복원할 수 있다.

상기의 프로세서(290)은 후술하는 도 5의 제어부(530)에 보상 홀로그램 계산부(531) 및 3차원 위상 정보 추출부(532)에 대응될 수 있다.

도 3는 본 발명의 실시예에 따른 결함 검출방법의 순서도이다.

우선, S310 단계에서 결함 검출 장치는 측정하고자 하는 물체의 보상된 홀로그램을 계산할 수 있다. 상기 장치는 상기 도 2의 디지털 홀로그래픽 현미경을 이용하여 상기 물체의 보상 전 홀로그램을 측정할 수 있다.

구체적으로, 본 발명의 결함 검출 장치는 상기 물체의 홀로그램으로부터 기준광 정보를 추출하고, 상기 기준광 정보의 파수 벡터 상수를 계산하고, 계산된 상기 파수 벡터 상수를 이용하여 상기 기준광 정보의 보상 항을 계산하여 디지털 기준광을 생성할 수 있다. 그리고 상기 장치는 상기 물체 홀로그램에서 수차 정보를 추출한 후, 상기 추출된 수차 정보에 기초하여 수차를 보상한 디지털 곡률을 생성하고, 상기 기준광 정보의 상기 보상 항을 상기 물체의 홀로그램에 곱하여 보상된 물체 홀로그램을 계산할 수 있다.

그리고 S320 단계에서, 결함 검출 장치는 상기 보상된 홀로그램에서 3차원 위상정보를 추출할 수 있다. 구체적으로, 상기 결함 검출 장치는 상기 보상된 물체 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환하고, 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 이용하여 상기 보상된 물체 홀로그램의 위상 정보를 추출할 수 있다.

추출된 상기 위상정보는 상기 물체의 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되어, 상기 물체의 위상정보만을 포함한다.

그후, S330 단계에서, 결함 검출 장치는 추출된 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정할 수 있다.

본 발명에 따른 결함 검출 장치는 불량 여부를 결정하기 앞서, 상기 합성곱 필터(convolutional filter)를 군집화할 수 있다. 우선, 본 발명의 결함 검출 장치는 측정하고자 하는 물체의 설계 데이터를 입력 받을 수 있다. 상기 설계 데이터는 상기 물체의 3차원 크기 데이터를 의미하며, 횡방향(xy평면) 및 종방향(두께 또는 z축)의 위치 데이터일 수 있지만, 이러한 위치 데이터로 한정되는 것은 아니며, 부피, 곡률 등과 같은 다양한 데이터를 포함할 수 있다.

또한, 본 발명의 결함 검출 장치는 실제로 양품 또는 불량품 판정을 받은 복수 개의 실제 데이터를 입력 받을 수 있다. 상기 설계 데이터에 상응하는 양품 또는 불량품의 실제 수치값을 입력 받을 수 있다. 예를 들어 설계 데이터가 3차원 크기 데이터인 경우, 실제 데이터도 양품 또는 불량품의 3차원 크기 데이터(횡방향 및 종방향 위치 데이터)를 입력 받을 수 있다. 그리고 상기 실제 데이터는 양품과 불량품 각각에 대해 적어도 5000개 이상을 입력 받을 수 있지만, 이에 제한되는 것은 아니다. 본 발명의 결함 검출 장치의 사용자는 상기 설계 데이터에 기반하여 생산된 물건의 기능이 정상 작동하는지 여부로 상기 양품과 불량품을 구분할 수 있다.

또한, 현재 측정하고자 하는 물체의 불량 여부가 판단된 뒤에는 본 발명의 결함 검출 장치가 상기 실제 데이터에 상기 물체의 데이터를 포함시켜 상기 실제 데이터를 갱신할 수 있다. 이 경우, 불량 여부의 판단 횟수가 증가할수록 획득되는 실제 데이터의 개수도 증가되므로, 추후 측정 물체의 불량 여부 판단의 정확성이 높아질 수 있다.

또한, 본 발명의 결함 측정 장치는 상기 설계 데이터와 상기 실제 데이터 각각을 비교하여 유사도를 계산할 수 있다. 본 발명의 결함 측정 장치는 Correlation 함수를 이용하여 상기 설계 데이터와 상기 실제 데이터의 전체적인 유사도를 계산할 수 있다. 상기 유사도 값은 동일할 경우 1로 표현되고, 유사하지 않을수록 감소하여 0에 수렴한다.

또한, 본 발명의 결함 측정 장치는 상기 유사도가 임의의 오차 범위를 벗어나는 픽셀의 좌표값을 확인할 수 있다. 상기 좌표값은 특성 판단 위치 좌표를 의미한다. 구체적으로, 상기 오차 범위를 벗어나고도 양품 판정을 받은 경우, 특성 판단 위치 좌표는 상기 오차 범위를 벗어난 픽셀의 좌표이다. 이후 측정하고자 하는 물체가 상기 특성 판단 위치 좌표에 해당될 경우, 오차 범위를 벗어난 경우에도 양품 판정을 받을 확률이 높다.

반대로, 상기 오차 범위를 벗어나고 불량품 판정을 받은 경우에도 특성 판단 위치 좌표는 상기 오차 범위를 벗어난 픽셀의 좌표이다. 이후 측정하고자 하는 물체가 상기 특성 판단 위치 좌표에 해당될 경우, 불량품 판정을 받을 확률이 높다.

또한, 본 발명의 결함 측정 장치는 상기 특성 판단 위치 좌표에 있는 정보를 이용하여 합성곱 필터(convolutional filter)를 결정할 수 있다. 구체적으로, 본 발명의 결함 측정 장치는 상기 특성 판단 위치 좌표에 있는 정보를 횡방향 및 종방향으로 카테고리화하여 일정한 크기의 합성곱 필터를 결정할 수 있다. 상기 합성곱 필터의 크기는 3 x 3 매트릭스 일 수 있으며, 본 발명의 결함 측정 장치는 각각 5000개 이상의 양품과 불량품에 대한 실제 데이터를 이용하여, 각각의 합성곱 필터를 결정할 수 있다. 상기 합성곱 필터는 양품 또는 불량품이 갖는 특성을 포함하므로, 이러한 합성곱 필터의 값은 상기 특성을 반영하여 결정될 수 있다.

상기 합성곱 필터 모두를 상기 3차원 위상정보에 적용하여도 상기 물건의 불량 여부를 알 수 있다. 다만, 판단의 정확성을 높이기 위하여 상기 실제 데이터 개수가 많아지면 본 발명의 결함 측정 장치의 연산량이 급격하게 증가되어 연산 속도가 느려지는 단점이 존재한다. 따라서, 본 발명의 결함 측정 장치는 상기 합성곱 필터가 유사한 특성을 갖는 필터끼리 군집화 할 수 있다. 상기 군집화 과정은 합성곱 신경망에서 사용되는 일반적인 알고리즘으로 구현 가능하다. 상술한 군집화를 활용하여 본 발명의 결함 측정 장치가 효율적으로 합성곱 필터를 적용하여 불량 여부를 판단할 수 있다.

본 발명의 결함 측정 장치는 상기 위상정보를 상기 유사한 특징으로 군집화된 필터에 적용할 수 있다. 그리고 본 발명의 결함 측정 장치는 상기 필터가 적용된 값 각각을 ReLu 함수에 적용하여 합성곱 레이어(convolution layer)를 생성할 수 있다. 합성곱 레이어는 상기 합성곱 필터에 상기 위상정보를 적용한 값들로 이루어지며, 상기 값들은 각각 양품 또는 불량품의 특성을 나타낼 수 있다. 상기 ReLu 함수는 하기의 식 5와 같이 나타낼 수 있다.

식 5:

또한, 본 발명의 결함 측정 장치는 상기 합성곱 레이어와 Softmax 함수를 결합하여 상기 물체의 불량 여부를 결정할 수 있다. 상기 Softmax 함수는 하기의 식 6과 같이 나타낼 수 있다.

식 6:

상기 Softmax 함수의 입력은 상기 합성곱 레이어의 값들이고, N은 출력의 개수이다. 상기 Softmax 함수는 입력된 값들의 빈도를 확률로 나타낼 수 있으므로, 본 발명의 결함 측정 장치는 상기 함수의 결과값 중 최대값에 해당하는 특성을 기준으로 불량 여부를 결정할 수 있다. 이러한 불량 여부 결정 과정은 하기의 도 4에서 자세히 설명된다.

또한, 상기 위상정보를 군집화된 합성곱 필터에 적용하여 합성곱 레이어를 생성하고, 상기 합성곱 레이어에 Softmax 함수를 적용하여 구현된 신경망(Neural Network)을 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network) 이라고 한다.

본 발명의 결함 측정 장치는 상기 신경망을 통해서 3차원 물체의 불량 여부를 결정할 수 있다. 기존의 장치들은 2차원 평면에서만 불량 여부를 판단할 수 있는 것에 반하여, 본원발명은 3차원 홀로그램을 이용하므로, 측정하고자 하는 물체의 3차원 결함을 검출할 수 있다.

도 4는 본 발명의 실시예에 따른 위상 이미지 결함 검출 합성곱 신경망 구현을 통한 불량 여부 결정하는 방법을 도시하는 도면이다.

본 발명의 결함 검출 장치에서는, 위상 이미지 결함 검출 합성곱 신경망에 3차원 위상정보(410)를 입력할 수 있다. 상기 위상정보(410)은 상기 S320 단계에서 보상된 홀로그램으로부터 추출될 수 있다. 본원발명은 종래의 2차원 이미지가 아니라 3차원 이미지를 이용하여 결함을 검출할 수 있으므로, 특히 종방향(물체의 높이, 또는 두께)의 결함을 검출해 낼 수 있다.

상기 위상정보(410)이 합성곱 신경망(440)에 입력되면, 본 발명의 결함 측정 장치는 측정한 물체의 결함 여부를 결정할 수 있다. 구체적으로, 본 발명의 결함 측정 장치는 상기 위상정보(410)에 유사한 특징으로 군집화된 합성곱 필터를 적용할 수 있다. 그리고 장치는 상기 필터가 적용된 값 각각에 ReLu 함수에 적용하여 합성곱 레이어(convolution layer, 420)를 생성할 수 있다. 상기 장치는 상기 합성곱 레이어와 Softmax 함수를 결합하여 신경망(430)을 구현하여 상기 물체의 결함 여부를 결정할 수 있다. 상기 합성곱 레이어(420)에 Softmax 함수를 결합하여 구현된 신경망(430)을 포괄하여 합성곱 신경망(440)이라고 할 수 있으며, 이러한 합성곱 신경망(440)을 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)이라고 한다. 상기 위상 이미지 결함 검출 합성곱 신경망의 생성 방법은 상기 도 3의 S330 단계에 포함될 수 있다.

상기 신경망을 이용해 불량 여부를 결정하는 방법은 하기와 같다. 상기 합성곱 레이어의 결과는 ReLu 함수에 의해 모두 양수이다. 상기 결과값은 양품 또는 불량품의 특성을 표현하는 숫자이다. 그리고 상기 결과값을 모두 Softmax 함수에 입력하게 되면, 양품의 특성을 갖는 결과값들의 확률과 불량품의 특성을 갖는 결과값들의 확률을 알 수 있다.

상기 신경망에 의해 결정되는 결과는 양품 또는 불량품 두 가지이며, 각각 확률로 표현된다. 예를 들어, 양품일 확률 0.8, 불량품일 확률 0.2인 경우, 본 발명의 결함 측정 장치가 측정한 물체는 양품으로 결정될 수 있다.

도 5은 본 발명의 실시예에 따른 결함 검출 장치의 내부 구조를 도시하는 블록도이다. 하기에 상세히 기술되는 바와 같이, 본 발명의 결함 검출 장치는 홀로그램 측정부(510), 표시부(520), 및 제어부(530)을 포함할 수 있다.

본 발명의 결함 측정 장치의 홀로그램 측정부(510)는 측정하고자 하는 물체의 홀로그램을 측정할 수 있다. 이러한 홀로그램의 측정을 위하여 상기 홀로그램 측정부(510)은 디지털 홀로그래픽 현미경을 포함할 수 있으며, 디지털 홀로그래픽 현미경에 대하여는 도 2를 참조하여 상기에서 이미 자세히 설명되었으므로, 그 구체적인 설명은 생략하기로 한다.

본 발명의 결함 측정 장치의 표시부(520)은 상기 물체의 특성 정보와 상기 물체의 불량 여부를 표시할 수 있는 디스플레이를 포함할 수 있다.

본 발명의 결함 측정 장치의 제어부(530)은 상기 결함 측정 장치의 전반적인 동작을 제어할 수 있다. 상기 제어부(530)은 상기 홀로그램 측정부(510)에서 측정된 물체의 홀로그램으로부터 보상 홀로그램을 계산할 수 있는 보상 홀로그램 계산부(531), 상기 보상 홀로그램에서 3차원 위상정보를 추출할 수 있는 3차원 위상정보 추출부(532), 설계 데이터와 적어도 하나 이상의 양품 또는 불량품에 대한 실제 데이터에 기반하여 합성곱 필터를 결정하고, 유사한 특성끼리 군집화하는 합성곱 필터 군집화부(533) 및 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)을 이용하여 상기 물체의 불량 여부를 결정할 수 있는 불량 여부 결정부(534)를 포함할 수 있다.

상기 보상 홀로그램 계산부(531)는 상기 홀로그램 측정부(510)에서 측정된 물체의 홀로그램으로부터 보상 홀로그램을 계산할 수 있다. 보상 홀로그램 계산 방법은 상술한 도 2와 관련하여 상세히 설명하였다.

상기 3차원 위상정보 추출부(532)는 상기 보상 홀로그램에서 3차원 위상정보를 추출할 수 있다. 3차원 위상정보를 상기 보상 홀로그램에서 추출하기 위하여 상기 3차원 위상정보 추출부(532)는 2차원 푸리에 변환(2D Fourier Transform)을 수행할 수 있다. 상세한 추출 방법은 상기 도 2와 관련하여 상세히 설명하였다.

상기 합성곱 필터 군집화부(533)는 설계 데이터와 적어도 하나 이상의 양품 또는 불량품에 대한 실제 데이터에 기반하여 합성곱 필터를 결정하고, 유사한 특성끼리 군집화 할 수 있다. 이러한 합성곱 필터 군집화부(533)은 상기 측정하고자 하는 물체의 불량 여부가 판단되면, 상기 물체의 측정 데이터에 기반하여 합성곱 필터를 결정할 수 있고, 상기 결정된 합성곱 필터를 상기 군집화된 합성곱 필터에 추가할 수 있다. 따라서, 본 발명의 결함 측정 장치가 결함 여부를 결정하면, 상기 군집화된 합성곱 필터가 갱신될 수 있다.

상기 합성곱 필터를 결정하고, 군집화 하는 방법은 상술한 도 3의 S330 단계에서 상세히 설명하였다.

불량 여부 결정부(534)는 상기 군집화된 합성곱 필터를 상기 위상정보에 적용하여 합성곱 레이어를 생성하고, 위상 이미지 결함 검출 합성곱 신경망을 구현하여 상기 물체의 불량 여부를 결정할 수 있다. 상기 불량 여부 결정부(534)는 상기 위상정보에 상기 합성곱 필터가 적용된 값 각각에 ReLu 함수를 적용하여 합성곱 레이어(convolution layer)를 생성하고, 상기 합성곱 레이어와 Softmax 함수를 결합하여 위상 이미지 결함 검출 합성곱 신경망을 구현할 수 있다.

상기 물체의 불량 여부 결정 방법은 상술한 도 3의 S340 단계와 도 4를 참조하여 자세히 설명하였다.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (15)

1. 측정 물체의 결함을 검출하는 방법에 있어서,
   디지털 홀로그래픽 현미경을 이용하여 측정하고자 하는 물체의 보상된 홀로그램을 계산하는 단계;
   상기 물체의 홀로그램에서 3차원 위상정보를 추출하는 단계; 및
   상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 물체의 보상된 홀로그램을 계산하는 단계는,
   상기 물체의 홀로그램을 획득하는 단계;
   상기 물체의 홀로그램으로부터 기준광 정보를 추출하는 단계;
   상기 기준광 정보의 파수 벡터 상수를 계산하고, 계산된 상기 파수 벡터 상수를 이용하여 상기 기준광 정보의 보상 항을 계산하여 디지털 기준광을 생성하는 단계;
   상기 물체 홀로그램에서 수차 정보를 추출한 후, 수차를 보상한 디지털 곡률을 생성하는 단계; 및
   상기 기준광 정보의 상기 보상 항을 상기 물체의 홀로그램에 곱하여 보상된 물체 홀로그램을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
3. 제1항에 있어서, 상기 3차원 위상정보를 추출하는 단계는,
   상기 보상된 물체 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환하는 단계; 및
   역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 이용하여 상기 보상된 물체 홀로그램의 위상 정보를 추출하는 단계를 포함하고,
   상기 위상정보는 상기 물체의 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되어, 상기 물체의 위상 정보만을 포함하는 것을 특징으로 하는 방법.
4. 제 1항에 있어서, 상기 물체의 불량 여부 결정하는 단계는,
   군집화된 합성곱 필터를 생성하는 단계;
   상기 위상정보를 상기 군집화된 합성곱 필터에 적용하는 단계;
   상기 군집화된 합성곱 필터가 적용된 값에 ReLu 함수를 적용하여 합성곱 레이어(convolution layer)를 생성하는 단계; 및
   상기 합성곱 레이어에 Softmax 함수를 적용하여 상기 물체의 불량 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
5. 제 4항에 있어서, 상기 군집화된 합성곱 필터를 생성하는 단계는,
   상기 물체의 기준이 되는 설계 데이터를 입력받는 단계;
   사전에 양품 또는 불량품 판정을 받은 적어도 하나 이상의 물체의 실제 데이터를 입력받는 단계;
   상기 설계 데이터와 상기 실제 데이터를 비교하여 유사도를 계산하는 단계;
   상기 유사도가 미리 정해진 오차 범위를 벗어난 특성 판단 위치 좌표를 확인하는 단계;
   상기 특성 판단 위치 좌표에 기반하여 상기 실제 데이터 각각에 대한 합성곱 필터(convolutional filter)를 결정하는 단계; 및
   상기 합성곱 필터를 유사한 성질을 갖도록 군집화하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 제 4항에 있어서,
   상기 물체의 불량 여부가 판단되면, 상기 물체의 측정 데이터에 기반하여 결정된 합성곱 필터를 상기 군집화된 합성곱 필터에 추가하여, 상기 군집화된 합성곱 필터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
7. 제 1항에 있어서,
   상기 물체의 특징 정보와 상기 물체의 불량 여부를 디스플레이(display)에 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
8. 측정 물체의 결함을 검출하는 장치에 있어서,
   측정하고자 하는 물체의 홀로그램 데이터를 측정하는 홀로그램 측정부; 및
   상기 물체의 보상된 홀로그램을 계산하고, 상기 물체의 홀로그램에서 3차원 위상정보를 추출하고, 상기 위상정보를 합성곱 필터(convolutional filter)가 군집화된 위상 이미지 결함 검출 합성곱 신경망(Phase image defect detection Convolutional Neural Network)에 적용하여 상기 물체의 불량 여부를 결정하는 제어부를 포함하는 것을 특징으로 하는 장치.
9. 제8항에 있어서, 상기 홀로그램 측정부는,
   상기 물체의 홀로그램을 측정하는 디지털 홀로그래픽 현미경을 더 포함하는 것을 특징으로 하는 장치.
10. 제8항에 있어서, 상기 제어부는,
    상기 물체의 홀로그램을 획득하고, 상기 물체의 홀로그램으로부터 기준광 정보를 추출하고, 상기 기준광 정보의 파수 벡터 상수를 계산하고, 계산된 상기 파수 벡터 상수를 이용하여 상기 기준광 정보의 보상 항을 계산하여 디지털 기준광을 생성하고, 상기 물체 홀로그램에서 수차 정보를 추출한 후, 수차를 보상한 디지털 곡률을 생성하고, 상기 기준광 정보의 상기 보상 항을 상기 물체의 홀로그램에 곱하여 보상된 물체 홀로그램을 계산하는 보상 홀로그램 계산부를 더 포함하는 것을 특징으로 하는 장치.
11. 제8항에 있어서, 상기 제어부는,
    상기 보상된 물체 홀로그램을 각 스펙트럼 확산 알고리즘(Angular Spectrum Propagation algorithm)을 이용하여 복원 영상면(Reconstruction image plane)의 정보로 변환하고, 역 2차원 푸리에 변환(Inverse 2D Fourier transform)을 이용하여 상기 보상된 물체 홀로그램의 위상 정보를 추출하는 3차원 위상정보 추출부를 더 포함하고,
    상기 위상정보는 상기 물체의 홀로그램에서 광의 정보 및 대물 렌즈의 수차 정보가 제거되어, 상기 물체의 위상 정보만을 포함하는 것을 특징으로 하는 장치.
12. 제 8항에 있어서, 제어부는,
    군집화된 합성곱 필터를 생성하고, 상기 위상정보를 상기 군집화된 합성곱 필터에 적용하고, 상기 군집화된 합성곱 필터가 적용된 값에 ReLu 함수를 적용하여 합성곱 레이어(convolution layer)를 생성하고, 상기 합성곱 레이어에 Softmax 함수를 적용하여 상기 물체의 불량 여부를 결정하는 불량 여부 결정부를 더 포함하는 것을 특징으로 하는 장치.
13. 제 8항에 있어서, 제어부는,
    측정 대상 물체의 기준이 되는 설계 데이터를 입력받고, 사전에 양품 또는 불량품 판정을 받은 적어도 하나 이상의 물체의 실제 데이터를 입력받으며, 상기 설계 데이터와 상기 실제 데이터를 비교하여 유사도를 계산하고, 상기 유사도가 미리 정해진 오차 범위를 벗어난 특성 판단 위치 좌표를 확인하고, 상기 특성 판단 위치 좌표에 기반하여 상기 실제 데이터 각각에 대한 합성곱 필터(convolutional filter)를 결정하고, 상기 합성곱 필터를 유사한 성질을 갖도록 군집화하는 합성곱 필터 군집화부를 더 포함하는 것을 특징으로 하는 장치.
14. 제 12항에 있어서, 상기 합성곱 필터 군집화부는,
    상기 물체의 불량 여부가 판단되면, 상기 물체의 측정 데이터에 기반하여 결정된 합성곱 필터를 상기 군집화된 합성곱 필터에 추가하여, 상기 군집화된 합성곱 필터를 갱신하는 것을 특징으로 하는 장치.
15. 제 8항에 있어서,
    상기 물체의 특징 정보와 상기 물체의 불량 여부를 표시하는 표시부(또는 디스플레이부)를 더 포함하는 것을 특징으로 하는 장치.

Images