KR102512873B1 - 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법 - Google Patents

인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법 Download PDF

Info

Publication number
KR102512873B1
KR102512873B1 KR1020200147724A KR20200147724A KR102512873B1 KR 102512873 B1 KR102512873 B1 KR 102512873B1 KR 1020200147724 A KR1020200147724 A KR 1020200147724A KR 20200147724 A KR20200147724 A KR 20200147724A KR 102512873 B1 KR102512873 B1 KR 102512873B1
Authority
KR
South Korea
Prior art keywords
image
measurement
deep learning
resolution
learning
Prior art date
Application number
KR1020200147724A
Other languages
English (en)
Other versions
KR20220061590A (ko
Inventor
윤지영
이수웅
박준규
조한철
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200147724A priority Critical patent/KR102512873B1/ko
Publication of KR20220061590A publication Critical patent/KR20220061590A/ko
Application granted granted Critical
Publication of KR102512873B1 publication Critical patent/KR102512873B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02001Interferometers characterised by controlling or generating intrinsic radiation properties
    • G01B9/0201Interferometers characterised by controlling or generating intrinsic radiation properties using temporal phase variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instruments For Measurement Of Length By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 인공 지능을 이용한 딥러닝을 통해 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높인 결과 이미지를 예측할 수 있는 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법에 관한 것으로서, 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력하는 입력부와, 상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 상기 입력부로부터 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하는 처리부 및 상기 처리부에서 예측된 상기 제 2 이미지를 출력 데이터로 출력하는 출력부를 포함할 수 있다.

Description

인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법{Moire interferometer measurement system and moire interferometer measurement method using artificial intelligence}
본 발명은 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법에 관한 것으로서, 더 상세하게는 더 상세하게는 인공 지능을 이용한 딥러닝을 통해 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높인 결과 이미지를 예측할 수 있는 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법에 관한 것이다.
모아레 간섭법은 3차원 형상 측정법 중의 하나로, 측정 분해능이 마이크로 단위이며, 반도체 패키징의 변형 측정 분야에 많이 사용되고 있다. 이러한, 모아레 간섭법을 이용한 형상 측정에서 측정 분해능이 높아질수록 측정의 정확도가 향상될 수 있는데, 일반적으로, 위상 천이법(Phase shifting method)을 사용하여 측정 분해능을 나노 단위까지 높일 수 있다.
그러나, 종래의 위상 천이법을 사용하여 측정 분해능을 높일 수 있는 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법은, 위상 천이법을 이용하기 위해 추가적으로 이상기(Phase shifter)를 이용하여 다양한 위상에 대한 측정 이미지와 이미지 프로세싱(Image processing) 기술이 필요하여 추가적인 실험 비용이 들고, 측정 시간이 오래 걸리는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 인공 지능을 이용한 딥러닝(Deep learning)을 통해 위상 천이법 과정의 수행 없이 모아레 간섭계 측정 시스템을 이용하여 측정한 결과로부터 측정 분해능이 향상된 결과로 예측이 가능하여, 모아레 간섭법을 이용한 3차원 형상 측정의 효율성을 높일 수 있는 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 인공 지능을 이용한 모아레 간섭계 측정 시스템이 제공된다. 상기 인공 지능을 이용한 모아레 간섭계 측정 시스템은, 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력하는 입력부; 상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 상기 입력부로부터 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하는 처리부; 및 상기 처리부에서 예측된 상기 제 2 이미지를 출력 데이터로 출력하는 출력부;를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 처리부는, 소정 형상의 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지 및 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장하는 정보 저장부; 및 상기 학습 데이터로 저장된 상기 측정 이미지 및 상기 결과 이미지의 상관 관계를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는 딥러닝부;를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 정보 저장부는, 서로 다른 형상으로 형성되는 복수의 상기 학습 대상물에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고, 상기 딥러닝부는, 복수개의 상기 학습 데이터를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출할 수 있다.
본 발명의 일 실시예에 의하면, 상기 처리부는, 상기 딥러닝부에서 도출된 상기 딥러닝 모델의 오류 발생을 최소화시킬 수 있도록, 상기 딥러닝 모델을 최적화시키는 최적화부;를 더 포함할 수 있다.
본 발명의 일 실시예에 의하면, 상기 최적화부는, 상기 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지에 상기 딥러닝 모델을 적용하여 상기 측정 분해능을 높인 상기 결과 이미지를 예측한 결과인 예측 이미지와, 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 관측 이미지를 비교하여, 상기 관측 이미지 대비 상기 예측 이미지의 오차의 합을 손실 함수(Loss function)로 도출하는 비교 학습부; 및 상기 비교 학습부에서 도출된 상기 손실 함수를 고려하여 상기 예측 이미지의 오차를 최소화하기 위한 최적화 결과를 상기 딥러닝부의 상기 딥러닝 모델에 반영하는 보정부;를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 인공 지능을 이용한 모아레 간섭계 측정 방법이 제공된다. 상기 인공 지능을 이용한 모아레 간섭계 측정 방법은, 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력하는 입력 단계; 상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 상기 입력 단계에서 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하는 처리 단계; 및 상기 처리 단계에서 예측된 상기 제 2 이미지를 출력 데이터로 출력하는 출력 단계;를 포함할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 처리 단계는, 소정 형상의 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지 및 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장하는 정보 저장 단계; 및 상기 학습 데이터로 저장된 상기 측정 이미지 및 상기 결과 이미지의 상관 관계를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는 딥러닝 단계;를 포함할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 정보 저장 단계는, 서로 다른 형상으로 형성되는 복수의 상기 학습 대상물에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고, 상기 딥러닝 단계는, 복수개의 상기 학습 데이터를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 처리 단계는, 상기 딥러닝 단계에서 도출된 상기 딥러닝 모델의 오류 발생을 최소화시킬 수 있도록, 상기 딥러닝 모델을 최적화시키는 최적화 단계;를 더 포함할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 최적화 단계는, 상기 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지에 상기 딥러닝 모델을 적용하여 상기 측정 분해능을 높인 상기 결과 이미지를 예측한 결과인 예측 이미지와, 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 관측 이미지를 비교하여, 상기 관측 이미지 대비 상기 예측 이미지의 오차의 합을 손실 함수(Loss function)으로 도출하는 비교 학습 단계; 및 상기 비교 학습 단계에서 도출된 상기 손실 함수를 고려하여 상기 예측 이미지의 오차를 최소화하기 위한 최적화 결과를 상기 딥러닝 단계의 상기 딥러닝 모델에 반영하는 보정 단계;를 포함할 수 있다.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 위상 천이법을 이용하여 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높인 결과 이미지들을 인공 지능으로 학습하여 도출된 딥러닝 모델을 통해, 위상 천이법 과정의 수행 없이 모아레 간섭계를 이용하여 측정한 측정 이미지로부터 측정 분해능이 향상된 결과 이미지를 용이하게 예측할 수 있다.
이에 따라, 측정 이미지의 측정 분해능을 높이기 위한 위상 천이법의 수행 과정을 생략함으로써, 3차원 형상의 측정 시간을 크게 줄여 모아레 간섭법을 이용한 3차원 형상 측정의 효율성을 증가시킬 수 있으며, 또한, 딥러닝 모델을 통한 측정 분해능의 향상으로 모아레 간섭계의 측정 범위가 확대 되고, 측정의 정확도를 향상시킬 수 있는 효과를 가지는 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 종래의 모아레 간섭계를 개략적으로 나타내는 단면도이다.
도 2는 본 발명의 일 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템을 개략적으로 나타내는 블록도이다.
도 3은 도 2의 인공 지능을 이용한 모아레 간섭계 측정 시스템의 처리부를 개략적으로 나타내는 블록도이다.
도 4는 위상 천이법을 이용한 측정 분해능의 향상 결과를 개략적으로 나타내는 이미지이다.
도 5는 본 발명의 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템을 개략적으로 나타내는 블록도이다.
도 6은 본 발명의 또 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법을 순서대로 나타내는 순서도이다.
도 7은 도 6의 인공 지능을 이용한 모아레 간섭계 측정 방법을 이용하여 측정 분해능을 높이는 과정을 개략적으로 나타내는 이미지이다.
도 8은 본 발명의 또 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법을 순서대로 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 종래의 모아레 간섭계를 개략적으로 나타내는 단면도이다. 도 2는 본 발명의 일 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템(1000)을 개략적으로 나타내는 블록도이고, 도 3은 도 2의 인공 지능을 이용한 모아레 간섭계 측정 시스템(1000)의 처리부(200)를 개략적으로 나타내는 블록도이며, 도 4는 위상 천이법을 이용한 측정 분해능의 향상 결과를 개략적으로 나타내는 이미지이다.
도 1에 도시된 바와 같이, 위상 천이법을 사용하여 측정 분해능을 높일 수 있는 모아레 간섭계 측정 시스템은, 영사격자의 투영을 위한 영사시스템(10)과, 투영된 격자이미지의 결상을 위한 결상시스템(20)으로 구성될 수 있다.
더욱 구체적으로, 영사시스템(10)의 광원(11)으로는 일반적으로 백색광이 사용되고, 광원(11)과 투영격자(13)의 사이에는 광원의 빛을 격자면에 균일하게 집광하기 위한 집광렌즈(12)가 배치될 수 있다. 이때, 한 쌍의 같은 피치를 가지는 동일한 직선격자가 각각 투영격자(13)와 기준격자(17)로 사용될 수 있으며, 이들 두 격자(13, 17)는 두 광축(21, 22)에 대해서 수직인 임의의 한 평면(23) 상에 서로 대칭적으로 위치할 수 있다.
집광렌즈(12)를 통과한 균일한 빛에 의해서 조명된 투영격자(13)는 투영렌즈(14)에 의해서 측정대상물체(15)에 투영될 수 있다. 이렇게 투영된 직선형태의 격자는 측정대상물체(15)의 높낮이에 따라서 변형되고, 이 변형된 격자는 다시 결상렌즈(16)에 의해서 기준격자(17) 상에 결상될 수 있다. 이때, 모아레무늬는 기준격자(17) 상에 형성되고 최종적으로 릴레이렌즈(18)에 의해서 수광소자(19)에 결상될 수 있다.
이러한, 모아레 측정계에서 모아레무늬의 등차수면(Equi-order plane)이 평면으로 형성되기 위해서는 영사시스템(10)의 광축(21)과 결상시스템(20)의 광축(22)이 평행해야 하고 두 렌즈는 두 광축에 수직인 한 평면(24) 상에 위치해야할 수 있다. 즉, 영사시스템(10)과 결상시스템(20)에서 격자와 렌즈가 광축과 평행한 임의의 한 축에 대해서 대칭적으로 구성될 수 있다.
이와 같은, 모아레 측정계에서 위상 천이법(Phase shifting method)의 적용은, 영사격자(13)와 기준격자(17) 사이의 상대변위를 인위적으로 인가함으로써 가능할 수 있다.
그러나, 이러한 위상 천이법을 이용하여 측정 분해능을 향상시키는 모아레 측정계는, 위상 천이법을 이용하기 위해 추가적으로 이상기(Phase shifter)를 이용하여 다양한 위상에 대한 측정 이미지와 이미지 프로세싱(Image processing) 기술이 필요하여 추가적인 실험 비용이 들고, 측정 시간이 오래 걸릴 수 있다.
이에 따라, 본 발명은, 위상 천이법을 이용하여 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높인 결과 이미지들을 인공 지능으로 학습하여 도출된 딥러닝 모델을 통해, 위상 천이법 과정의 수행 없이 모아레 간섭계를 이용하여 측정한 측정 이미지로부터 측정 분해능이 향상된 결과 이미지를 용이하게 예측할 수 있는 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법을 제공하고자 한다.
먼저, 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템(1000)은, 크게, 입력부(100)와, 처리부(200) 및 출력부(300)를 포함할 수 있다.
도 2에 도시된 바와 같이, 입력부(100)는, 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력할 수 있다. 또한, 처리부(200)는, 상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 입력부(100)로부터 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하고, 예측된 상기 제 2 이미지를 출력부(300)를 통해 출력 데이터로 출력할 수 있다.
더욱 구체적으로, 도 3에 도시된 바와 같이, 처리부(200)는, 소정 형상의 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지 및 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장하는 정보 저장부(210) 및 상기 학습 데이터로 저장된 상기 측정 이미지 및 상기 결과 이미지의 상관 관계를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는 딥러닝부(220)를 포함할 수 있다.
예컨대, 처리부(200)의 정보 저장부(210)는, 서로 다른 형상으로 형성되는 복수의 상기 학습 대상물에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고, 딥러닝부(220)는, 복수개의 상기 학습 데이터를 인공 지능을 이용한 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출할 수 있다.
더욱 구체적으로, 처리부(200)의 정보 저장부(210)는, 도 4의 (a) 및 (b)에 도시된 바와 같이, 반도체 패키징의 칩과 기판을 결합하기 위한 솔더볼의 용융 전후의 상태를 상기 모아레 간섭계를 이용하여 측정된 측정 이미지와, 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장할 수 있다.
이때, 처리부(200)는, 가능한 많은 종류의 상기 학습 모델을 학습하면, 예측 정확도가 더욱 높은 상기 딥러닝 모델을 도출할 수 있다.
이에 따라, 처리부(200)의 정보 저장부(210)는, 다양한 형태의 솔더볼 및 배치에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고, 딥러닝부(220)는 복수개의 상기 학습 데이터를 인공 지능을 이용한 딥러닝 기반의 분석을 통해 학습함으로써, 예측 정확도가 높은 상기 딥러닝 모델을 도출할 수 있다. 본 실시예에서는, 반도체 패키징의 형상 측정을 예로 들었지만, 반드시 도 4에 국한되지 않고, 다양한 분야의 3차원 형상을 측정할 수 있다.
따라서, 본 발명의 일 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템(1000)은, 위상 천이법을 이용하여 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높인 결과 이미지들을 인공 지능으로 학습하여 도출된 상기 딥러닝 모델을 통해, 위상 천이법 과정의 수행 없이 상기 모아레 간섭계를 이용하여 측정한 측정 이미지로부터 측정 분해능이 향상된 결과 이미지를 용이하게 예측할 수 있다.
그러므로, 측정 이미지의 측정 분해능을 높이기 위한 위상 천이법의 수행 과정을 생략함으로써, 3차원 형상의 측정 시간을 크게 줄여 모아레 간섭법을 이용한 3차원 형상 측정의 효율성을 증가시킬 수 있으며, 또한, 딥러닝 모델을 통한 측정 분해능의 향상으로 모아레 간섭계의 측정 범위가 확대 되고, 측정의 정확도를 향상시킬 수 있는 효과를 가질 수 있다.
도 5는 본 발명의 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템(2000)을 개략적으로 나타내는 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템(2000)의 처리부(200)는, 딥러닝부(220)에서 도출된 상기 딥러닝 모델의 오류 발생을 최소화시킬 수 있도록, 상기 딥러닝 모델을 최적화시키는 최적화부를 더 포함할 수 있다.
더욱 구체적으로, 상기 최적화부는, 비교 학습부(230)에서, 상기 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지에 상기 딥러닝 모델을 적용하여 상기 측정 분해능을 높인 상기 결과 이미지를 예측한 결과인 예측 이미지와, 별도의 관측부(400)에서 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높여 도출한 관측 이미지를 비교하여, 상기 관측 이미지 대비 상기 예측 이미지의 오차의 합을 손실 함수(Loss function)로 도출할 수 있다.
이어서, 상기 최적화부의 보정부(240)는, 비교 학습부(230)에서 도출된 상기 손실 함수를 고려하여 상기 예측 이미지의 오차를 최소화하기 위한 최적화 결과를 도출하고, 상기 최적화 결과를 처리부(200)의 딥러닝부(220)에 저장된 상기 딥러닝 모델에 반영함으로써, 상기 딥러닝 모델의 오류 발생을 최소화할 수 있도록 최적화를 진행할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 시스템(2000)은, 훈련된 딥러닝 모델의 최적화를 통해 오류 발생을 최소화함으로써, 위상 천이법 과정의 수행 없이 상기 모아레 간섭계를 이용하여 측정한 측정 이미지로부터 측정 분해능이 향상된 결과 이미지를 더욱 정확하게 예측하는 효과를 가질 수 있다.
이하에서는 상술한 인공 지능을 이용한 모아레 간섭계 측정 시스템(1000, 2000)을 이용한 모아레 간섭계 측정 방법에 대해서 상세하게 설명하도록 한다.
도 6은 본 발명의 또 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법을 순서대로 나타내는 순서도이고, 도 7은 도 6의 인공 지능을 이용한 모아레 간섭계 측정 방법을 이용하여 측정 분해능을 높이는 과정을 개략적으로 나타내는 이미지이다.
도 6 및 도 7을 참조하면, 인공 지능을 이용한 모아레 간섭계 측정 방법은, 크게, 입력 단계(S100)와 처리 단계(S200) 및 출력 단계(S300) 순으로 진행될 수 있다.
먼저, 입력 단계(S100)에서, 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력할 수 있다.
이어서, 처리 단계(S200)에서, 상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 상기 입력 단계(S100)에서 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하고, 출력 단계(S300)를 통해, 처리 단계(S200)에서 예측된 상기 제 2 이미지를 출력 데이터로 출력할 수 있다.
예컨대, 처리 단계(S200)는, 소정 형상의 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지 및 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장하는 정보 저장 단계(S210) 및 상기 학습 데이터로 저장된 상기 측정 이미지 및 상기 결과 이미지의 상관 관계를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는 딥러닝 단계(S220)를 포함할 수 있다.
이러한, 처리 단계(S200)는, 가능한 많은 종류의 상기 학습 모델을 학습하면, 예측 정확도가 더욱 높은 상기 딥러닝 모델을 도출할 수 있다.
이에 따라, 처리 단계(S200)의 정보 저장 단계(S210)는, 서로 다른 형상으로 형성되는 복수의 상기 학습 대상물에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고, 딥러닝 단계(S220)는, 복수개의 상기 학습 데이터를 딥러닝 기반의 분석을 통해 학습함으로써, 예측 정확도가 높은 상기 딥러닝 모델을 도출할 수 있다.
따라서, 본 발명의 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법은, 위상 천이법을 이용하여 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높인 결과 이미지들을 인공 지능으로 학습하여 도출된 상기 딥러닝 모델을 통해, 위상 천이법 과정의 수행 없이 상기 모아레 간섭계를 이용하여 측정한 측정 이미지로부터 측정 분해능이 향상된 결과 이미지를 용이하게 예측할 수 있다.
그러므로, 측정 이미지의 측정 분해능을 높이기 위한 위상 천이법의 수행 과정을 생략함으로써, 3차원 형상의 측정 시간을 크게 줄여 모아레 간섭법을 이용한 3차원 형상 측정의 효율성을 증가시킬 수 있으며, 또한, 딥러닝 모델을 통한 측정 분해능의 향상으로 모아레 간섭계의 측정 범위가 확대 되고, 측정의 정확도를 향상시킬 수 있는 효과를 가질 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법을 순서대로 나타내는 순서도이다.
도 8에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법의 처리 단계(S200)는, 딥러닝 단계(S220)에서 도출된 상기 딥러닝 모델의 오류 발생을 최소화시킬 수 있도록, 상기 딥러닝 모델을 최적화시키는 최적화 단계를 더 포함할 수 있다.
더욱 구체적으로, 상기 최적화 단계는, 보정 단계(S240)를 통해, 상기 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지에 상기 딥러닝 모델을 적용하여 상기 측정 분해능을 높인 상기 결과 이미지를 예측한 결과인 예측 이미지와, 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 관측 이미지를 비교하여, 상기 관측 이미지 대비 상기 예측 이미지의 오차의 합을 손실 함수(Loss function)으로 도출할 수 있다.
이어서, 보정 단계(S240)를 통해, 비교 학습 단계(S230)에서 도출된 상기 손실 함수를 고려하여 상기 예측 이미지의 오차를 최소화하기 위한 최적화 결과를 딥러닝 단계(S220)의 상기 딥러닝 모델에 반영함으로써, 상기 딥러닝 모델의 오류 발생을 최소화할 수 있도록 최적화를 진행할 수 있다.
따라서, 본 발명의 또 다른 실시예에 따른 인공 지능을 이용한 모아레 간섭계 측정 방법은, 훈련된 딥러닝 모델의 최적화를 통해 오류 발생을 최소화함으로써, 위상 천이법 과정의 수행 없이 상기 모아레 간섭계를 이용하여 측정한 측정 이미지로부터 측정 분해능이 향상된 결과 이미지를 더욱 정확하게 예측하는 효과를 가질 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 입력부
200: 처리부
210: 정보 저장부
220: 딥러닝부
230: 비교 학습부
240: 보정부
300: 출력부
1000, 2000: 인공 지능을 이용한 모아레 간섭계 측정 시스템

Claims (10)

  1. 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력하는 입력부;
    상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 상기 입력부로부터 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하는 처리부; 및
    상기 처리부에서 예측된 상기 제 2 이미지를 출력 데이터로 출력하는 출력부;를 포함하고,
    상기 처리부는,
    소정 형상의 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지 및 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장하는 정보 저장부;
    상기 학습 데이터로 저장된 상기 측정 이미지 및 상기 결과 이미지의 상관 관계를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는 딥러닝부; 및
    상기 딥러닝부에서 도출된 상기 딥러닝 모델의 오류 발생을 최소화시킬 수 있도록, 상기 딥러닝 모델을 최적화시키는 최적화부;를 포함하고,
    상기 최적화부는,
    상기 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지에 상기 딥러닝 모델을 적용하여 상기 측정 분해능을 높인 상기 결과 이미지를 예측한 결과인 예측 이미지와, 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 관측 이미지를 비교하여, 상기 관측 이미지 대비 상기 예측 이미지의 오차의 합을 손실 함수(Loss function)로 도출하는 비교 학습부; 및
    상기 비교 학습부에서 도출된 상기 손실 함수를 고려하여 상기 예측 이미지의 오차를 최소화하기 위한 최적화 결과를 상기 딥러닝부의 상기 딥러닝 모델에 반영하는 보정부;를 포함하고,
    상기 정보 저장부는,
    서로 다른 형상으로 형성되는 복수의 상기 학습 대상물에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고,
    상기 딥러닝부는,
    복수개의 상기 학습 데이터를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는, 인공 지능을 이용한 모아레 간섭계 측정 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 소정 형상의 측정 대상물을 모아레 간섭계로 측정한 제 1 분해능을 가지는 제 1 이미지를 입력 데이터로 입력하는 입력 단계;
    상기 모아레 간섭계로 측정한 측정 이미지의 측정 분해능을 높일 수 있도록, 위상 천이법(Phase shifting method)을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 적어도 하나의 결과 이미지를 딥러닝하여 도출된 딥러닝 모델을 사전에 저장하고, 상기 입력 단계에서 입력된 상기 제 1 이미지에 상기 딥러닝 모델을 적용하여 상기 제 1 분해능을 가지는 상기 제 1 이미지로부터 상기 제 1 분해능 보다 높은 제 2 분해능을 가지는 제 2 이미지에 대한 결과를 예측하는 처리 단계; 및
    상기 처리 단계에서 예측된 상기 제 2 이미지를 출력 데이터로 출력하는 출력 단계;를 포함하고,
    상기 처리 단계는,
    소정 형상의 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지 및 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 상기 결과 이미지를 학습 데이터로 저장하는 정보 저장 단계;
    상기 학습 데이터로 저장된 상기 측정 이미지 및 상기 결과 이미지의 상관 관계를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는 딥러닝 단계; 및
    상기 딥러닝 단계에서 도출된 상기 딥러닝 모델의 오류 발생을 최소화시킬 수 있도록, 상기 딥러닝 모델을 최적화시키는 최적화 단계;를 포함하고,
    상기 최적화 단계는,
    상기 학습 대상물을 상기 모아레 간섭계로 측정한 상기 측정 이미지에 상기 딥러닝 모델을 적용하여 상기 측정 분해능을 높인 상기 결과 이미지를 예측한 결과인 예측 이미지와, 상기 위상 천이법을 이용하여 상기 측정 이미지의 상기 측정 분해능을 높인 관측 이미지를 비교하여, 상기 관측 이미지 대비 상기 예측 이미지의 오차의 합을 손실 함수(Loss function)으로 도출하는 비교 학습 단계; 및
    상기 비교 학습 단계에서 도출된 상기 손실 함수를 고려하여 상기 예측 이미지의 오차를 최소화하기 위한 최적화 결과를 상기 딥러닝 단계의 상기 딥러닝 모델에 반영하는 보정 단계;를 포함하고,
    상기 정보 저장 단계는,
    서로 다른 형상으로 형성되는 복수의 상기 학습 대상물에 대한 상기 측정 이미지 및 상기 결과 이미지를 상기 학습 데이터로 복수개 저장하고,
    상기 딥러닝 단계는,
    복수개의 상기 학습 데이터를 딥러닝 기반의 분석을 통해 학습하여 상기 딥러닝 모델을 도출하는, 인공 지능을 이용한 모아레 간섭계 측정 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200147724A 2020-11-06 2020-11-06 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법 KR102512873B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200147724A KR102512873B1 (ko) 2020-11-06 2020-11-06 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200147724A KR102512873B1 (ko) 2020-11-06 2020-11-06 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법

Publications (2)

Publication Number Publication Date
KR20220061590A KR20220061590A (ko) 2022-05-13
KR102512873B1 true KR102512873B1 (ko) 2023-03-23

Family

ID=81583204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147724A KR102512873B1 (ko) 2020-11-06 2020-11-06 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법

Country Status (1)

Country Link
KR (1) KR102512873B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739861B (zh) * 2024-02-20 2024-05-14 青岛科技大学 一种基于深度学习的改进单模式自解相条纹投影三维测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006504092A (ja) 2002-10-28 2006-02-02 テヴエト プロセス コントロール テクノロジーズ リミテッド 複雑な層構造の厚さ分析のための方法および装置
CN109253708A (zh) 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
JP2019196985A (ja) 2018-05-10 2019-11-14 株式会社荏原製作所 検査装置及び検査方法
US20200167914A1 (en) 2017-07-19 2020-05-28 Altius Institute For Biomedical Sciences Methods of analyzing microscopy images using machine learning
CN111523618A (zh) 2020-06-18 2020-08-11 南京理工大学智能计算成像研究院有限公司 一种基于深度学习的相位展开方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326165B1 (ko) * 2017-08-23 2021-11-16 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006504092A (ja) 2002-10-28 2006-02-02 テヴエト プロセス コントロール テクノロジーズ リミテッド 複雑な層構造の厚さ分析のための方法および装置
US20200167914A1 (en) 2017-07-19 2020-05-28 Altius Institute For Biomedical Sciences Methods of analyzing microscopy images using machine learning
JP2019196985A (ja) 2018-05-10 2019-11-14 株式会社荏原製作所 検査装置及び検査方法
CN109253708A (zh) 2018-09-29 2019-01-22 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN111523618A (zh) 2020-06-18 2020-08-11 南京理工大学智能计算成像研究院有限公司 一种基于深度学习的相位展开方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhang Qinnan 외 7인, Deep Phase Shifter for Quantitative Phase Imaging., 2020 년 03월 공개*

Also Published As

Publication number Publication date
KR20220061590A (ko) 2022-05-13

Similar Documents

Publication Publication Date Title
JP6664000B2 (ja) 較正装置、較正方法、光学装置、撮影装置、および投影装置
US20190073795A1 (en) Calibration device, calibration method, optical device, photographing device, projecting device, measurement system, and measurement method
US10070117B2 (en) Three-dimensional measuring apparatus
US9605961B2 (en) Information processing apparatus that performs three-dimensional shape measurement, information processing method, and storage medium
JP6217227B2 (ja) 校正装置、方法及びプログラム
JP2014178265A (ja) 校正装置、方法及びプログラム
CN102576410B (zh) 图像处理算法的评估
EP3951314B1 (en) Three-dimensional measurement system and three-dimensional measurement method
JP4533158B2 (ja) 画像処理装置、画像処理プログラムおよび屈折率分布測定装置
KR102512873B1 (ko) 인공 지능을 이용한 모아레 간섭계 측정 시스템 및 모아레 간섭계 측정 방법
US9910371B2 (en) Exposure apparatus, exposure method, and device manufacturing method
CN109541891B (zh) 计算方法、曝光方法、存储介质以及曝光装置
Im et al. A solution for camera occlusion using a repaired pattern from a projector
CN114764823A (zh) 自校正的深度计算方法、系统、介质及深度图像处理设备
KR102631111B1 (ko) 디바이스 오버레이 에러 감소 방법
WO2022254854A1 (ja) 3次元計測装置
JP6732680B2 (ja) マップ作成方法、マスク検査方法およびマスク検査装置
CN110209016B (zh) 曝光装置、曝光方法和制造物品的方法
CN115493511A (zh) 基于超表面全息投影的三维成像方法
WO2016186211A1 (ja) 3次元計測システム、3次元計測方法及び3次元計測プログラム
CN112258635A (zh) 基于改进双目匹配sad算法的三维重建方法及装置
JP2006126103A (ja) 非球面形状測定方法
JP7341033B2 (ja) 視差検出装置、撮像装置、視差検出方法、及びプログラム
CN113358056B (zh) 工件表面形貌的扫描方法、扫描系统及存储介质
US11199394B2 (en) Apparatus for three-dimensional shape measurement

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)