KR20220097823A

KR20220097823A - 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치

Info

Publication number: KR20220097823A
Application number: KR1020200189823A
Authority: KR
Inventors: 안정훈; 조용성; 박상일
Original assignee: 파크시스템스 주식회사
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2022-07-08
Also published as: JP2022105284A; KR102554224B1; US11761981B2; JP7355982B2; US20220206039A1

Abstract

본 발명의 실시예에 따른 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 원자 현미경에서 시료 위치를 인식하기 위한 방법은, 비전부를 통해 대상 시료가 포함된 비전 영상을 수신하는 단계; 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 예측 모델을 이용하여, 비전 영상 내에서 대상 시료 영역을 결정하는 단계; 대상 시료 영역에 기초하여 상기 대상 시료의 위치를 결정하는 단계를 포함한다.

Description

원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFING SAMPLE POSITION IN ATOMIC FORCE MICROSCOPE}

본 발명은 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치에 관한 것이다.

일반적으로 주사 프로브 현미경(Scanning Probe Microscope, SPM)은 캔틸레버(cantilever)와 캔틸레버에 달린 프로브를 포함하는 프로브(probe)를 통해 대상 시료인 시료의 표면을 스캔(scan)하여 프로브가 시료 표면에 근접할 때 시료와 프로브 사이에 상호작용하는 물리량을 측정하는 장치를 의미한다.

이러한 주사 프로브 현미경은 주사 터널 현미경(Scanning Tunneling Microscope, STM) 및 원자힘 현미경(Atomic Force Microscope, AFM)(이하, '원자 현미경'이라고 함)을 포함할 수 있다.

여기서, 원자 현미경은 원자 현미경에 구비된 광학부의 레이저 광이 캔틸레버의 프로브에 대응하는 위치에 조사되고, 이로 인해 캔틸레버가 휘어짐에 따라 프로브가 시료의 표면을 스캔함으로써, 시료 표면의 형상(또는 굴곡)을 이미지화한 시료 영상을 획득할 수 있다.

이와 같이 원자 현미경을 구동하기 위해서 사용자는 매뉴얼을 이용하여 원자 현미경을 구동하기 위한 다양한 설정값 중 하나로 시료의 측정 위치가 설정될 수 있다. 이때, 시료가 변경되더라도 동일한 피쳐(feature)를 반복하여 측정하는 경우가 많기 때문에, 자동적으로 측정 위치를 인식하는 것이 필요하다.

따라서, 원자 현미경에서 시료 위치를 정확하게 인식하기 위한 방법 및 장치가 요구된다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.

본 발명의 발명자들은 사용자가 측정위치를 수동으로 확인하고 팁을 이동시키는 것이 원자현미경의 사용성을 저하시킨다는 사실을 인식하였다.

특히, 본 발명의 발명자들은 원자 현미경의 캘리브레이션(calibration) 단계에서 자동으로 샘플의 위치를 인식하여 캘리브레이션을 수행하는 것이 사용성 증대에 도움이 된다는 점을 인지할 수 있었다.

이를 해결하기 위한 방안으로, 본 발명의 발명자들은 시료의 위치를 머신러닝된 모델, 나아가 식별 인자를 이용하여 정확하게 인식할 수 있는 방법 및 장치를 발명하였다.

이에, 본 발명이 해결하고자 하는 과제는 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치가 제공된다.

본 발명의 실시예에 따른 원자 현미경에서 시료 위치를 인식하기 위한 방법은, 원자 현미경의 제어부에 의해서 수행되는 시료 위치를 인식하기 위한 방법으로, 비전부를 통해 대상 시료가 포함된 비전 영상을 수신하는 단계, 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 예측 모델을 이용하여, 비전 영상 내에서 대상 시료 영역을 결정하는 단계, 대상 시료 영역에 기초하여 대상 시료의 위치를 결정하는 단계를 포함한다.

본 발명의 다른 실시예에 따른 원자 현미경에서 시료 위치를 인식하기 위한 방법은, 비전부의 촬영 앵글 내에 식별 인자를 배치하는 단계, 식별 인자와 이격된 영역에 대상 시료를 배치하는 단계, 비전부를 통해 상기 식별 인자를 인식하는 단계, 및 식별 인자에 기초하여 상기 대상 시료의 위치를 결정하는 단계를 포함한다.

본 발명의 또 다른 실시예에 따른 원자 현미경에서 시료 위치를 인식하기 위한 장치는, 비전부를 통해 대상 시료가 포함된 비전 영상을 획득하는 비전부, 및 비전부와 동작 가능하게 연결된 제어부를 포함한다. 이때, 제어부는, 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 예측 모델을 이용하여, 비전 영상 내에서 대상 시료 영역을 결정하고, 대상 시료 영역에 기초하여 대상 시료의 위치를 결정하도록 구성된다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 원자 현미경을 구동하기 위해 사용자가 시료의 위치를 별도로 설정할 필요 없이 원자 현미경이 시료 위치를 자동으로 인식하여 설정할 수 있다.

또한, 본 발명은 시료 위치를 인식하기 위해 인공신경망 모델을 이용함으로써, 시료 위치를 인식하기 위한 연산 속도를 빠르게 하여 원자 현미경의 인식 성능을 향상시킬 수 있다.

보다 구체적으로, 비전 영상의 대조도, 조도, 채도 등의 속성이 변화하거나 시료의 패턴의 일부가 변화하더라도 패턴 인식 기반 인공 신경망 모델에 의해 시료 위치가 높은 정확도로 결정될 수 있다.

나아가, 매우 작은 크기의 시료에 대한 정확한 위치 파악이 가능할 수 있다.

즉, 시료 위치 인식 방법 및 장치의 제공에 따라 사용자는 시료의 위치를 정확하게 모르더라도 인공신경망 모델에 의해 시료의 위치 설정이 가능함에 따라 원자 현미경을 손쉽게 구동시킬 수 있다.

특히, 본 발명은, 시료의 정확한 위치 설정이 중요한 원자 현미경의 캘리브레이션(calibration) 단계에 적용될 수 있다. 이에, 사용자는 용이하게 원자 현미경의 구동을 위한 캘리브레이션을 수행할 수 있다.

본 발명에 따른 효과는 이상에서 예시한 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1a, 도 1b 및 도 1c는 본 발명의 실시예에 따른 원자 현미경을 설명하기 위한 개략도들이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따라 대상 시료의 비전 영상을 이용하여 시료의 위치를 인식하는 방법을 설명하기 위한 예시도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 시료의 위치를 인식하기 위해 이용되는 예측 모델을 이용한 시료 영역 결정 단계를 설명하기 위한 예시도이다.
도 6a 내지 도 6d는 본 발명의 실시예에 따른 시료의 위치를 인식하기 위해 이용되는 예측 모델의 학습 데이터 및 평가 결과를 나타낸 것이다.
도 7 및 도 8은 본 발명의 실시예에 따른 원자 현미경에서 시료의 위치를 인식하기 위한 방법을 이용한 원자 현미경의 캘리브레이션 절차를 설명하기 위한 예시도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 원자 현미경에서 시료의 위치를 인식하기 위한 방법의 절차를 설명하기 위한 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서에서 영상(image)은 정지 화상(still image) 및/또는 동영상(video)일 수 있으나, 이에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1a, 도 1b 및 도 1c는 본 발명의 실시예에 따른 원자 현미경을 설명하기 위한 개략도들이다. 제시된 실시예에서는 XY 스캐너와 Z 스캐너가 분리된 원자 현미경을 설명하도록 한다.

도 1a 및 도 1b를 참조하면, 원자 현미경(100)은 시료의 표면적 특성을 원자 단위로 이미지화하여 분석 및 관찰할 수 있도록 하기 위한 현미경 장치로, 팁(tip)과 캔틸레버(cantilever)를 포함하는 프로브(110), Z 스캐너(122) 및 프로브 암(probe arm)(124)를 포함하는 헤드(120), 레이저 광을 프로브(110)의 캔틸레버 표면에 조사하는 광학부(126), 캔틸레버 표면에서 반사된 레이저 광의 위치를 검출하는 광학 검출부(128), 시료(132)가 장착되고, 시료(132)를 이동시키는 XY 스캐너(130), 시료(132) 및 XY 스캐너(130)를 이동시키는 XY 스테이지(140), 헤드(120)를 이동시키는 Z 스테이지(150), 고정 프레임(160), 프로브(110) 및/또는 시료(132)의 표면을 보여주는 비전부(vision unit)(170) 및 이들을 제어하는 제어부(180)를 포함한다.

먼저, 프로브(110)는 팁과 캔틸레버를 구비하고, 팁이 시료(132)의 표면을 접촉 또는 비접촉 상태로 따르도록 구성될 수 있다. 프로브(110)는 제조사, 모델, 및/또는 버전 등에 따라 다양한 형태의 팁으로 구성될 수 있으나, 이에 한정되지 않는다.

헤드(120)에 포함되는 Z 스캐너(122)는 프로브 암(124)을 통해 프로브(110)와 연결되어 프로브 암(124)을 Z 방향(예: 상하)로 변위시킴으로써, 프로브(110) 또한 Z 방향으로 이동시킬 수 있다.

Z 스캐너(122)의 구동은, 예를 들어 압전 엑츄에이터(piezoelectric actuator)에 의해 수행될 수 있으나, 이에 한정되지 않으며, XY 스캐너(130)와 분리된 경우 적층된 압전 구동기(staced piezo)에 의해서 수행될 수 있다. 다양한 실시예에서 프로브(110)의 높이를 이동시키기 위해 튜브 스캐너(tube scanner, 미도시)가 이용될 수도 있다.

헤드(120)에 포함되는 프로브 암(124)은 단부에 프로브(110)가 고정된다.

광학부(126)는 캔틸레버 상면에서 프로브(110)에 대응하는 목표 위치에 레이저 광을 조사한다. 목표 위치에 조사된 레이저 광에 의해 캔틸레버가 휘어지거나 뒤틀리게 되어 프로브(110)가 대상 시료의 표면을 스캔하게 된다.

캔틸레버로부터 반사된 레이저 광은 PSPD(Position Sensitive Position Detector)와 같은 광학 검출부(128)에 맺히게 된다. 캔틸레버의 휘어짐 또는 뒤틀림에 따라 광학 검출부(128)에 맺힌 레이저 광의 스팟 움직임이 검출되고, 이를 통해 시료(132)상에 배치된 시료에 대한 표면 정보가 획득될 수 있다.

XY 스캐너(130)는 프로브(110)가 시료(132)의 표면에 대해 적어도 제1 방향으로 상대 이동하도록, 시료(132)를 이동시킬 수 있다. 구체적으로, XY 스캐너(130)는 시료(132)를 XY 평면에서 X 방향 및 Y 방향으로 스캔할 수 있다.

XY 스테이지(140)는 시료(132) 및 XY 스캐너(130)를 상대적으로 큰 변위로 X 방향 및 Y 방향으로 이동시킬 수 있다. 이러한 XY 스테이지(140)는 고정 프레임(160)이 고정될 수 있다.

Z 스테이지(150)는 헤드(120)를 상대적으로 큰 변위로 Z 방향으로 이동시킬 수 있다.

고정 프레임(160)은 XY 스테이지(140) 및 Z 스테이지(150)를 고정시킬 수 있다.

비전부(170)는 프로브(110) 또는 시료(132)를 보여줄 수 있다. 이러한 비전부(170)는 경통, 대물렌즈, 광공급장치 및 CCD 카메라를 포함하고, 광공급장치로부터 광을 공급받아 대물렌즈에 의해 확대되어진 화상이 CCD 카메라에 시인 가능하게 변환되어 별도의 표시 장치를 통해 표시될 수 있다. 비전부(170)의 구체적인 구성은 공지의 구성이므로, 도시 생략하였음에 유의해야 한다.

다양한 실시예에서 비전부(170)는 시료(132) 표면의 시료 영상을 촬영할 수 있는 on Axis 카메라일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 비전부(170) 는 on Axis 카메라보다 낮은 배율(또는, 시야)의 영상을 촬영할 수 있는 off Axis 카메라일 수도 있다.

다양한 실시예에서 비전부(170)는 촬영 앵글 내에 미리 배치된 식별 인자를 인식하고, 식별 인자에 기초하여, 식별 인자와 이격된 영역에 미리 배치된 대상 시료에 대한 비전 영상을 획득할 수 있다.

이때, 식별 인자는 QR 코드, 바코드, NFC 태그, RFID 태그 및 OCR 코드 중 적어도 하나일 수 있으나, 이에 제한되는 것은 아니며, 문자, 도형 등의 표지일 수도 있다.

다양한 실시예에서 비전부(170)는 Z 축으로 이동될 수 있으며, 이를 통해 시료(132)의 표면을 확대시켜 보여줄 수 있다. 이때, 비전부(170)의 초점은 Z 축을 따라 변경될 수 있다.

다양한 실시예에서 비전부(170)는 고정 프레임(160)에 고정될 수 있으나, 이이 한정되지 않으며, 다른 부재에 고정될 수 있다.

제어부(180)는 헤드(120), 광학부(126), 광학 검출부(128), XY 스캐너(130), Z 스테이지(150), 및 비전부(170)와 연결되어 이들의 구동을 제어할 수 있다. 이러한 제어부(180)는 원자 현미경에 구비되거나, 별도의 장치로서 구현될 수 있으나, 이에 한정되지 않으며, 상술한 구성요소들을 제어하기 위해 다양하게 구현될 수 있다.

구체적으로, 제어부(180)는 광학 검출부(128)로부터 얻어진 신호를 기초로 캔틸레버의 휘어짐 및/또는 뒤틀림 등의 정도를 결정할 수 있다. 또한, 제어부(180)는 XY 스캐너(130)가 대상 시료를 XY 방향으로 스캔하기 위한 구동 신호를 XY 스캐너(130)로 전달할 수 있다. 제어부(180)는 캔틸레버가 일정 정도의 휘어짐을 유지하거나, 캔틸레버가 일정한 진폭으로 진동하도록 Z 스캐너(122)를 제어할 수 있다. 제어부(180)는 Z 스캐너(122)의 길이를 측정하거나, Z 스캐너(122)에 사용된 엑츄에이터에 인가되는 전압 등을 측정함으로써, 대상 시료의 표면을 형상화한 대상 시료 데이터(예: 토포그래피(topography))를 획득할 수 있다.

한편, 원자 현미경(110)을 구동하기 위해 사용자는 원자 현미경(110)을 구동하기 위한 다양한 설정값 중 하나로 시료의 측정 위치를 입력할 필요가 있다. 이러한 시료의 측정 위치는 원자 현미경을 구동하여 시료를 측정하거나, 구동 전 캘리브레이션 단계에서 정확하게 설정될 필요가 있다.

시료(132) 표면 상의 대상 시료의 위치를 정확하게 인식하기 위해 제어부(180)는 비전부(170)를 통해 대상 시료에 관한 비전 영상을 획득하고, 획득된 비전 영상을 기반으로 대상 시료의 영역을 결정할 수 있다. 보다 구체적으로, 제어부(180)는 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 예측 모델을 이용하여, 비전 영상 내에서 대상 시료 영역을 결정하고, 대상 시료 영역에 기초하여 대상 시료의 위치를 결정하도록 구성될 수 있다.

일 실시예로, 제어부(180)는 패턴을 학습하여 대상 시료의 영역을 출력하도록 학습된 예측 모델을 이용하여, 기판 상의 도형 또는 문자의 집합인 패턴을 갖는 대상체로 정의되는 대상 시료의 위치를 결정할 수 있다.

이때, 제어부(180)는 예측 모델을 이용하여, 패턴에 대한 특징(feature)을 추출하고, 특징에 기초하여 대상 시료의 영역을 결정할 수 있다.

보다 구체적으로, 제어부(180)는 시료(132)를 다양한 환경에서 촬영한 복수의 참조 영상(또는 학습 영상)을 기초로 대상 시료를 인식하도록 학습된 예측 모델을 이용하여 시료의 위치를 인식할 수 있다. 여기서, 복수의 참조 영상은 대상 시료 주변의 조명 세기 및/또는 비전부(170)의 초점 거리(즉, 카메라 및/또는 대물렌즈의 초점 거리) 등을 일정하게 변화시키면서 대상 시료를 촬영한 영상일 수 있다.

이때, 대상 시료는 기판 상의 도형 또는 문자의 집합인 패턴을 갖는 대상체로서, 사용자가 자주 이용하는 시료, 또는 캘리브레이션을 위해 미리 결정된 패턴을 갖는 시료일 수 있다. 그러나, 대상 시료의 종류는 이에 제한되는 것은 아니다.

한편, 예측 모델은 복수의 참조 영상을 미리 학습하고, 새롭게 입력되는 비전 영상으로부터 대상 시료 영역을 인식하도록 구성된 인공신경망 모델일 수 있다. 다양한 실시예에서 예측 모델은 미리 학습된 합성곱 신경망(CNN: Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다. 미리 학습된 합성곱 신경망은 입력된 입력 값에 대해 합성곱(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성될 수 있으며, 입력값으로부터 합성곱 연산을 수행하여 출력값을 추론할 수 있다. 예를 들어, 미리 학습된 합성곱 신경망은 복수의 인공신경망 스테이지에서 분류(classification) 동작, 객체(즉, 대상 시료)의 경계를 포함하는 바운딩 박스(bounding box)를 설정(또는 조정)하기 위한 회귀(bounding box regression) 동작, 및 객체와 객체가 아닌 배경을 분할(segmentation)하기 위한 바이너리 마스킹(binary masking) 동작을 병행하는 Mask R-CNN(Regions with Convolutional Neural Network)일 수 있으나, 이에 한정되지 않고, 비전 영상 내에서 대상 시료 영역을 분할할 수 있는 다양한 영역 분할 알고리즘에 기초할 수 있다. 예를 들어, 예측 모델은, RetinaNet 기반의 인공신경망 모델 또는 Faster R-CNN 기반의 인공신경망 모델일 수 있다.

이러한 예측 모델은 하나의 스테이지가 분류 동작 및 회귀 동작을 수행하여 분류 결과를 나타내는 분류 데이터 및 바운딩 박스 데이터를 출력하고, 다른 하나의 스테이지가 바이너리 마스킹 동작을 수행하여 분할 데이터를 출력할 수 있다.

다양한 실시예에서, 제어부(180)는 예측 모델을 이용하여 캘리브레이션 시료 영역을 인식하고, 이를 기초로 캘리브레이션 시료 위치를 결정하고, 시료 위치가 결정되면 원자 현미경(100)을 캘리브레이션할 수 있다.

즉, 사용자가 캘리브리에션 시료를 배치하면, 제어부(180)에 의해 시료 영역이 인식되고, 시료의 위치가 결정되어, 캘리브레이션 시료의 위치가 설정된다. 그 다음, 캘리브레이션이 수행될 수 있다.

한편, 제어부(180)는 예측 모델에 의해 결정된 대상 시료 영역의 중심 좌표를 산출하고, 이를 기초로 대상 시료의 위치를 결정할 수 있다.

다양한 실시예에서, 제어부(180)는 비전부(170)의 촬영 앵글 내에 미리 배치된 식별 인자에 기초하여 대상 시료의 위치를 결정할 수 있다.

보다 구체적으로, 비전부(170)에 의해 식별 인자가 인식되고, 식별 인자 인근에 배치된 대상 시료에 대한 비전 영상이 획득되면, 제어부(180)는 비전 영상을 이용하여 시료의 위치를 결정할 수 있다.

도 1c를 참조하면, 원자 현미경(100)은 프로브(110), Z 스캐너(122) 및 프로브 암(probe arm)(124)를 포함하는 헤드(120), 광학부(126), 광학 검출부(128), 시료(132)가 장착되는 XY 스캐너(130), XY 스테이지(140), Z 스테이지(150), 고정 프레임(160) 및 비전부(170)를 포함하고, 이들을 제어하기 위한 전자 장치(200)가 별도로 구비될 수 있다.

전자 장치(200)는 원자 현미경(100)을 제어하고, 시료의 위치를 인식하기 위한 태블릿 PC(Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.

이러한 전자 장치(200)는 원자 현미경(100)으로부터 비전부(170)를 통해 획득된 시료(132) 표면 상의 대상 시료에 대한 비전 영상을 수신하고, 수신된 비전 영상을 기반으로 시료의 영역을 결정하고, 결정된 대상 시료 영역에 기초하여 시료의 위치를 결정할 수 있다.

이를 통해 본 발명은 원자 현미경의 시료 위치를 인식함으로써, 사용자가 시료 위치를 설정하지 않고 원자 현미경을 구동시킬 수 있다.

하기에서는 도 2를 참조하여 전자 장치(200)에 대해서 보다 구체적으로 설명하도록 한다.

도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.

도 2를 참조하면, 전자 장치(200)는 통신부(210), 표시부(220), 저장부(230) 및 제어부(240)를 포함한다.

통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 원자 현미경(100)과 연결되어 원자 현미경(100)의 구동 및 제어에 관련된 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 원자 현미경(100)의 각 구성요소의 구동 및 제어를 위한 지시를 전달하거나, 비전부(170)를 통해 획득된 비전 영상을 수신할 수 있다.

표시부(220)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부(220)는 원자 현미경 (100)으로부터 수신된 대상 시료 데이터를 표시할 수 있다.

다양한 실시예에서 표시부(220)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.

저장부(230)는 원자 현미경(100)의 구동 및 제어하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

제어부(240)는 통신부(210), 표시부(220), 및 저장부(230)와 동작 가능하게 연결되며, 원자 현미경(100)을 제어하고, 시료의 위치를 인식하기 위한 다양한 명령들을 수행할 수 있다.

제어부(240)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공신경망 프로세서(NPU)(245) 중 적어도 하나를 포함하도록 구성될 수 있다.

구체적으로, 제어부(240)는 통신부(210)를 통해 원자 현미경(100)으로부터 시료(132)에 대한 비전 영상을 수신하고, 수신된 비전 영상을 기반으로 대상 시료의 영역을 결정하고, 결정된 대상 시료 영역을 기초로 시료의 위치를 결정할 수 있다. 이에 대한 구체적인 동작은 도 1a 및 도 1b에서 설명한 제어부(180)의 동작과 동일할 수 있다.

다양한 실시예에서, 대상 시료를 인식하기 위한 예측 모델, 특히 대상 시료의 패턴을 인식하기 위한 예측 모델과 같은 인공신경망 모델은 외부의 서버에 저장될 수 있다. 이러한 경우 제어부(240)는 통신부(210)를 통해 외부의 서버로 비전 영상을 송신하고, 외부의 서버에서 산출된 결과 데이터(즉, 시료의 영역을 인식한 결과 데이터)를 수신할 수도 있다.

이와 같이 인공신경망 모델을 이용하는 동작들은 NPU(245)에 의해서 수행될 수 있으며, NPU(245)는 도 1b에서 설명한 NPU(182)와 동일한 동작을 수행할 수 있다.

하기에서는 대상 시료의 비전 영상을 이용하여 시료의 위치를 인식하기 위한 방법을 도 3 내지 도 5를 참조하여 구체적으로 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따라 대상 시료의 비전 영상을 이용하여 시료의 위치를 인식하는 방법을 설명하기 위한 예시도이다. 도 4 및 도 5는 본 발명의 실시예에 따른 시료의 위치를 인식하기 위해 이용되는 예측 모델을 이용한 시료 영역 결정 단계를 설명하기 위한 예시도이다. 후술하는 동작들은 전술한 도 1b의 제어부(180) 또는 도 2의 제어부(240)에 의해서 수행될 수 있다.

먼저, 도 3을 참조하면 시료 위치를 인식하기 위해, 비전부를 통해 대상 시료가 포함된 비전 영상이 수신되고(S310), 예측 모델에 의해 비전 영상 내에서 대상 시료 영역이 결정되고(S320), 대상 시료 영역에 기초하여 대상 시료의 위치가 결정된다(S330).

본 발명의 일 실시예에 따르면, 비전 영상이 수신되는 단계(S310)에서, 기판 상의 도형 또는 문자의 집합인 패턴을 갖는 대상체인 대상 시료에 대한 비전 영상이 획득될 수 있다.

본 발명의 다른 실시예에 따르면, 비전 영상이 수신되는 단계(S310)에서, on Axis 카메라의 비전부로부터 획득된 on Axis 카메라 영상이 수신될 수 있다.

본 발명의 또 다른 실시예에 따르면, 비전 영상이 수신되는 단계(S310)에서, 수신되는 비전 영상은 캘리브레이션 시료에 대한 영상일 수 있다. 또한, 비전 영상은 식별 인자를 포함할 수도 있다. 즉, 비전부는 식별 인자를 인식하여 대상 시료가 포함된 비전 영상을 촬영할 수 있다.

이때, 식별 인자는 대상 시료에 대한 정보, 예를 들어 사용자에 의해 미리 매핑된 대상 시료의 이름, 나아가 프로브의 종류, 스캔 파라미터 등의 특징을 포함할 수 있다.

다음으로, 대상 시료 영역이 결정되는 단계(S320)에서, 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 인공신경망 기반의 예측 모델에 의해 시료 영역이 결정된다.

예를 들어, 도 4를 함께 참조하면, 대상 시료 영역이 결정되는 단계(S320)에서, RetinaNet 기반의 복수의 인공신경망으로 이루어진 예측 모델(400)에 의해 비전 영상 내에서 대상 시료 영역이 결정된다. 이때, 제시된 실시예에서 예측 모델(400)은 도 1a 및 도 1b에서 전술한 예측 모델을 의미할 수 있다.

이때, RetinaNet 기반의 예측 모델(400)은 비전 영상(410)을 입력 받아 심층 특징 추출(deep feature extraction)을 수행하는 ResNet(415), 입력된 단일 해상도의 비전 영상(410)에 대한 풍부한 다중 스케일 특징 피라미드(multi-scale feature pyramid)를 구성하는 특징 피라미드 네트워크(feature pyramid network, FPN)(420)의 백본(backbone)을 포함한다. 이때, ResNet(415)는 50 개의 레이어로 이루어진 Resnet50일 수 있으나 이에 제한되는 것은 아니다. 나아가, 특징 피라미드 네트워크(420) 상에 클래스 분류(classification) 및 박스 회기(box regression)를 각각 수행하는 두 개의 서브네트워크(425)가 형성된다.

보다 구체적으로, 대상 시료 영역이 결정되는 단계(S320)에서, 패턴을 갖는 대상 시료가 포함된 비전 영상(410)이 ResNet(415)에 입력되면 패턴에 기초하여 심층 특징이 추출된다. 그 다음, 특징 피라미드 네트워크(420)의 수평 연결 네트워크에 의해 풍부한 다중 스케일 특징 피라미드가 구축된다. 그 다음, 서브네트워크(425) 중 클래스 분류 서브네트워크(class subnet)에 의해 대상 시료의 영역에 따라 결정된 앵커 박스(anchor box)의 클래스가 분류된다. 동시에, 박스 회기 서브네트워크(box subnet)에 의해 앵커 박스와 실제 대상 시료의 영역에 대응하는 오브젝트 박스의 거리가 예측된다. 최종적으로, 대상 시료 영역(430)이 결정된다. 이때, 선택적으로 클래스 분류 확률, 즉 결정된 대상 시료 영역에 대한 대상 시료일 확률이 함께 출력될 수 있다.

한편, 본 발명의 다른 특징에 따르면, 대상 시료 영역이 결정되는 단계(S320)에서, Mask R-CNN 기반의 예측 모델이 이용될 수 있다.

예를 들어, 도 5를 함께 참조하면, 대상 시료 영역이 결정되는 단계(S320)에서, Mask R-CNN 기반의 복수의 인공신경망으로 이루어진 예측 모델(500)에 의해 비전 영상 내에서 대상 시료 영역이 결정된다. 이때, 제시된 실시예에서 예측 모델(500)은 도 1a 및 도 1b에서 설명한 예측 모델을 의미할 수 있다.

이때, Mask R-CNN 기반의 예측 모델(500)은, 합성곱 신경망(515), 영역 제안 신경망(Region Proposal Network)(525), 관심 영역 정렬 신경망(ROI(Region Of Interest) Align Network)(540) 및 복수의 전결합 신경망(Fully Connected Network)(550, 555)를 포함할 수 있다. 여기서, 복수의 전결합 신경망은 제1 전결합 신경망(550) 및 제2 전결합 신경망(555)을 포함한다.

보다 구체적으로, 대상 시료 영역이 결정되는 단계(S320)에서, 비전부를 통해 획득된, 패턴이 형성된 대상 시료의 비전 영상(510)이 예측 모델(500)의 입력값으로서 입력되면 예측 모델(500)은 비전 영상(510)에서 특징을 추출하기 위한 합성곱 연산을 수행하는 합성곱 신경망(515)을 통해 특징 데이터(Feature Map)(520)를 획득할 수 있다. 이때, 특징 데이터(520)는 대상 시료의 패턴에 따라 다양한 값을 가질 수 있다.

이러한 특징 데이터(520)는 대상 시료가 포함된다고 예상되는 후보 영역을 제안하기 위한 영역 제안 신경망(525)으로 입력된다. 예측 모델(500)은 영역 제안 신경망(525)을 통해 특징 데이터(520)에서 대상 시료가 포함된다고 예상되는 후보 영역(Region Proposal) 및 이에 대한 점수(objectness score)를 포함하는 데이터(530)를 획득할 수 있다.

합성곱 신경망(515)을 통해 출력된 특징 데이터(520) 및 영역 제안 신경망(525)을 통해 출력된 데이터(530)에 기반하여 후보 영역 데이터(535)가 획득될 수 있다. 여기서, 후보 영역 데이터(535)는 특징 데이터(520)에서 시료 홀더, 특히 시료 홀더 상의 대상 시료가 포함된다고 예상되는 적어도 하나의 후보 영역에 대응하여 추출된 데이터일 수 있다. 적어도 하나의 후보 영역은 예측된 객체의 형태에 따라 다양한 크기를 가질 수 있다.

이러한 후보 영역 데이터(535)는 선형 보간(linear interpolation)을 이용하여 고정된 크기로 변환시키기 위한 관심 영역 정렬 신경망(540)으로 입력된다. 여기서, 고정된 크기는 n x n 형태일 수 있으나(n>0), 이에 한정되지 않는다.

예측 모델(500)은 관심 영역 조정 신경망(540)을 통해 n x n 형태의 관심 영역 데이터(545)를 출력할 수 있다. 이때, 관심 영역 데이터(545)는 선형 보간을 이용하여 후보 영역 데이터(335)를 고정된 크기로 정렬시킨 데이터일 수 있으나, 이에 한정되지 않는다.

이러한 관심 영역 데이터(545)는 제1 전결합 신경망(550) 및 제2 전결합 신경망(555) 각각에 입력된다. 여기서, 제1 전결합 신경망(550)은 복수의 전결합 층(Fully Connected Layer)를 포함할 수 있으나, 이에 한정되지 않는다. 제2 전결합 신경망(555)은 오토 인코더(Auto Encoder) 구조가 추가된 마스크 브랜치 네트워크(mask branch network) 또는 적어도 하나의 전결합층(또는 합성곱층)일 수 있으나, 이에 한정되지 않는다. 여기서 이용된 오토 인코더는 입력 데이터에 노이즈(noise)를 추가한 후 노이즈가 없는 원본 입력을 재구성하여 출력하도록 학습된 인코더로서, 예측 모델(500)의 분할 성능을 향상시킬 수 있다.

예측 모델(500)은 제1 전결합 신경망(550)을 통해 분류 데이터(560) 및 바운딩 박스 데이터(565)를 출력하고, 제2 전결합 신경망(555)을 통해 분할 데이터(570)를 결과 데이터로서 출력할 수 있다. 예를 들어, 분류 데이터(560)는 대상 시료 영역에 대한 클래스 분류 결과(시료)를 나타내는 결과 데이터이고, 바운딩 박스 데이터(565)는 대상 시료 영역 주위에 형성된 바운딩 박스(575)를 나타내는 결과 데이터이고, 분할 데이터(570)는 대상 시료 영역(580), 및 대상 시료 영역이 아닌 배경을 나타내는 결과 데이터일 수 있다.

다양한 실시예에서 인공신경망 예측 모델(500)의 인식 정확도를 향상시키기 위해 결과 데이터의 주변을 클러스터링(clustering)하는 후처리 방식(post processing)이 이용될 수 있다. 예를 들어, 클러스터링 방식은 CRF(Conditional Random Field) 및/또는 Chan-Vese 알고리즘 등이 이용될 수 있으나, 이에 한정되지 않는다.

이와 같이 출력된 분류 데이터(560) 및 분할 데이터(570)는 대상 시료 영역을 결정하기 위해 이용될 수 있다.

즉, 다시 도 4를 함께 참조하면, 대상 시료 영역이 결정되는 단계(S320)의 결과로, 다양한 영역 분할 알고리즘 기반의 예측 모델에 의해 대상 시료 영역이 획득될 수 있다.

한편, 대상 시료 영역이 결정되는 단계(S320)에서, 예측 모델에 의해 영역(또는 위치)가 결정되는 대상 시료는, 예측 모델의 학습 데이터의 종류에 따라 다양하게 설정될 수 있다. 특정한 실시예에서, 대상 시료는 사용자에 의해 빈번하게 이용되는 패턴을 갖는 시료일 수 있으나, 이에 제한되는 것은 아니다.

다음으로, 대상 시료의 위치가 결정되는 단계(S330)에서, 대상 시료 영역에 기초하여 대상 시료의 정확한 위치가 결정된다.

본 발명의 일 실시예에 따르면, 대상 시료의 위치가 결정되는 단계(S330)에서, 대상 시료 영역의 중심 좌표가 산출되고, 중심 좌표에 기초하여 대상 시료의 위치가 결정된다.

그러나, 이에 제한되는 것이 아니며 대상 시료의 모양에 따라 다양한 산출 방법에 의해 대상 시료의 위치가 결정될 수 있다. 예를 들어, 다각형의 대상 시료의 경우, 대상 시료의 각 꼭지점에 해당하는 좌표에 기초하여 대상 시료의 위치가 결정될 수 있다.

이와 같이 본 발명은 인공신경망을 이용하여 시료 위치를 인식함으로써, 원자 현미경의 시료 위치를 인식하기 위한 연산 속도를 빠르게 하여 원자 현미경의 인식 성능을 향상시킬 수 있다.

특히, 본 발명은 원자 현미경을 구동하기 위해 사용자가 빈번하게 사용하는 시료의 위치를 별도로 설정할 필요 없이 원자 현미경이 시료 위치를 자동으로 인식하여 설정할 수 있다.

또한, 비전 영상의 대조도, 조도, 채도 등의 속성이 변화하거나 시료의 패턴의 일부가 변화하더라도 패턴 인식 기반 인공 신경망 모델에 의해 시료 위치가 높은 정확도로 결정될 수 있다.

본 발명의 다양한 실시예에 따른 시료의 위치 인식 방법은, 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

하기에서는, 도 6a 내지 6d를 참조하여 본 발명의 다양한 실시예에 따른 예측 모델의 학습 및 검증을 설명한다.

도 6a 내지 도 6d는 본 발명의 실시예에 따른 시료의 위치를 인식하기 위해 이용되는 예측 모델의 학습 데이터 및 평가 결과를 나타낸 것이다.

먼저 도 6a를 참조하면, 예측 모델의 학습 및 평가를 위해 100 개의 시료 패턴 영상이 이용되었다. 이때, 시료 패턴 영상은 각각 대조 정도 및 패턴 상태, 및 시료의 위치가 다를 수 있다. 한편, 예측 모델의 학습 및 평가에 이용된 시료는, 웨이퍼(wafer) 상에 소자가 패턴화된 시료일 수 있으나 이에 제한되는 것은 아니다. 예를 들어, 대상 시료는, 다양한 패턴을 갖고 위치 설정 대상이 되는 모든 시료를 아우를 수 있다. 나아가, 예측 모델은 RetinaNet 기반의 인공신경망 모델, 또는 Faster R-CNN 기반의 인공신경망 모델, 또는 Mask R-CNN 기반의 인공신경망 모델일 수 있으나 이에 제한되는 것은 아니다. 예를 들어, Resnet50, Resnet-v2, Resnet101, Inception-v3, 또는 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN, SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다.

이때, 도 6b를 참조하면, 예측 모델의 학습을 위해 패턴의 실제 위치가 정답으로서 라벨링되었다.

도 6c의 (a), (b) 및 (c), 도 6d의 (a), (b), (c) 및 (d)를 참조하면, 예측 모델은, 비전 영상의 대조 정도가 변화하거나, 비전 영상 내에서 시료의 위치가 변화하거나, 패턴의 상태가 변경되어도 정확하게 대상 시료 영역을 인식 하는 것으로 나타난다.

즉, 본 발명의 예측 모델 기반의 시료 위치 인식 방법에 따라, 대상 시료 영역이 예측되고, 이의 위치가 최종적으로 결정됨에 따라, 사용자는 대상 시료의 위치를 설정하지 않고도 원자 현미경을 구동할 수 있다.

한편, 본 발명의 다양한 실시예에 따른 시료 위치 인식 방법에 따라, 원자 현미경의 캘리브레이션이 자동으로 수행될 수 있다.

도 7 및 도 8은 본 발명의 실시예에 따른 원자 현미경에서 시료의 위치를 인식하기 위한 방법을 이용한 원자 현미경의 캘리브레이션 절차를 설명하기 위한 예시도이다.

먼저, 도 7을 참조하면 시료 위치를 인식하기 위해, 비전부를 통해 캘리브레이션 시료가 포함된 비전 영상이 수신되고(S710), 예측 모델에 의해 비전 영상 내에서 캘리브레이션 시료 영역이 결정되고(S720), 캘리브레이션 시료 영역에 기초하여 캘리브레이션 시료의 위치가 결정된다(S730). 그 다음, 캘리브레이션 시료의 위치에 기초하여 원자 현미경이 캘리브레이션된다(S740).

본 발명의 일 실시예에 따르면, 캘리브레이션 시료에 대한 비전 영상이 수신되는 단계(S710)에서, 기판 상의 도형 또는 문자의 집합인 패턴을 갖는 대상체인 캘리브레이션 시료에 대한 비전 영상이 획득될 수 있다.

예를 들어, 도 8의 (a) 및 (b)를 참조하면, 캘리브레이션 시료는 특정 위치(예를 들어, 디스크 또는 웨이퍼의 특정 영역)에 배치되어, 밝은 영역 또는 보다 어두운 영역의 밝기가 상이한 영역과, 라인 형상 또는 도트 형상의 패턴 형상이 상이한 복수의 패턴 영역으로 이루어질 수 있다. 그러나, 캘리브레이션 시료는 이에 제한되는 것이 아니며 단일 패턴으로 이루어질 수 있다.

본 발명의 다른 실시예에 따르면, 비전 영상이 수신되는 단계(S710)에서, on Axis 카메라의 비전부로부터 획득된 캘리브레이션 시료가 포함된 on Axis 카메라 영상이 수신될 수 있으나 이에 제한되는 것은 아니다.

다시 도 7을 참조하면, 캘리브레이션 시료 영역이 결정되는 단계(S720)에서, 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 인공신경망 기반의 예측 모델에 의해 캘리브레이션 시료 영역이 결정된다.

예를 들어, 캘리브레이션 시료 영역이 결정되는 단계(S720)에서, 도 8의 (a) 및 (b)에서 도시된 캘리브레이션 시료의 4 개의 패턴 영역이 결정되거나, 4 개의 패턴 영역 중 하나의 패턴 영역이 결정될 수 있다. 이는, 예측 모델의 학습 데이터에 따라 다양하게 설정될 수 있다.

그 다음, 캘리브레이션 시료의 위치가 결정되는 단계(S730) 에서, 캘리브레이션 시료 영역에 기초하여 캘리브레이션 시료의 정확한 위치가 결정된다.

본 발명의 일 실시예에 따르면, 캘리브레이션 시료의 위치가 결정되는 단계(S730)에서, 예측 모델에 이해 결정된 캘리브레이션 시료 영역의 중심 좌표가 산출되고, 중심 좌표에 기초하여 캘리브레이션 시료의 위치가 결정된다.

그러나, 이에 제한되는 것이 아니며 캘리브레이션 시료의 모양에 따라 다양한 산출 방법에 의해 캘리브레이션 시료의 위치가 결정될 수 있다. 예를 들어, 다각형의 캘리브레이션 시료의 경우, 캘리브레이션 시료의 각 꼭지점에 해당하는 좌표에 기초하여 캘리브레이션 시료의 위치가 결정될 수 있다.

다음으로, 원자 현미경이 캘리브레이션되는 단계(S740)에서, 캘리브레이션 시료의 위치, 예를 들어, 복수의 캘리브레이션 시료 패턴 중 사용자에 의해 선택된 캘리브레이션 패턴의 위치에 기초하여, 원자 현미경의 Z 스캐너(122), XY 스캐너(130), XY 스테이지(140), Z 스테이지(150)의 기준을 맞출 수 있다. 나아가, 원자 현미경이 캘리브레이션되는 단계(S740)에서, 대상 시료의 성질 분석의 기준을 설정하기 위한 보다 다양한 캘리브레이션이 수행될 수 있다.

즉, 본 발명의 다양한 실시예에 따른 시료 위치 인식 방법에 따라, 사용자가 캘리브레이션 시료를 랜덤하게 배치하더라도 자동으로 시료의 위치가 결정되어, 보다 용이하게 원자 현미경에 대한 캘리브레이션이 수행될 수 있다.

하기에서는, 도 9 및 도 10을 참조하여 식별 인자에 기초한 시료 위치 측정 방법에 대하여 구체적으로 설명한다.

먼저, 도 9를 참조하면 시료의 위치 측정을 위해, 비전부의 촬영 앵글 내에 식별 인자가 배치되고(S910), 식별 인자와 이격된 영역에 측정 시료가 배치된다(S920). 그 다음, 비전부에 의해 식별 인자가 인식되고(S930), 최종적으로 측정 시료의 위치가 결정된다(S940).

보다 구체적으로, 식별 인자가 배치되는 단계(S910)에서, QR 코드, 바코드, NFC 태그, RFID 태그 및 OCR 코드 중 적어도 하나의 식별 인자가 디스크 또는 시료 홀더 상에 배치될 수 있다. 이때, 식별 인자는 전술한 것에 제한되는 것이 아니며 특정한 도형, 또는 문자일 수도 있다.

그 다음, 측정 시료가 배치되는 단계(S920)에서, 대상 시료가 식별 인자 인근 영역에 배치될 수 있다.

예를 들어, 도 10을 함께 참조하면, 식별 인자가 배치되는 단계(S910)에서 디스크 상에 복수의 QR 코드가 배치되고, 측정 시료가 배치되는 단계(S920)에서 복수의 QR 코드 사이에 대상 시료가 배치될 수 있다.

본 발명의 다양한 실시예에서, 식별 인자가 배치되는 단계(S910) 이후에 QR 코드와 같은 식별 인자와 대상 시료의 이름이 매핑될 수 있다.

이때, 원자 현미경이 구동되고 시료에 대한 성질 분석이 수행된 이후에, 대상 시료의 위치, 적용 프로브의 종류, 스캔 파라미터 및 대상 시료에 대한 비전 영상 정보 등이 식별 인자에 매핑될 수 있다.

즉, 비전부에 의해 식별 인자가 인식되는 단계(S930)에서, 기 측정된 대상 시료에 대하여 미리 배치된 식별 인자가 비전부를 통해 인식되면, 식별 인자를 통해 매핑된 대상 시료에 대한 정보들이 나타날 수 있다.

나아가, 본 발명의 다양한 실시예에서 측정 시료의 위치가 결정되는 단계(S940) 이후에, 기 측정된 대상 시료의 위치가 결정되고 원자 현미경이 구동되어 대상 시료에 대한 추가 분석이 수행될 수 있다. 그 다음, 분석 결과에 기초하여, 대상 시료에 대한 정보가 식별 인자에 업데이트될 수 있다.

이에, 식별 인자에 기초한 대상 시료의 위치 인식 방법에 따라, 사용자는 자주 사용하는 대상 시료에 대하여 이의 위치를 용이하게 인지할 수 있다. 나아가, 사용자는 식별 인자를 통해 대상 시료에 대한 정보를 용이하게 확인할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 원자 현미경
110: 프로브
120: 헤드
122: Z 스캐너
124: 프로브 암
126: 광학부
128: 광학 검출부
130: XY 스캐너
132: 시료
140: XY 스테이지
150: Z 스테이지
160: 고정 프레임
170: 비전부
180: 제어부

Claims

원자 현미경의 제어부에 의해서 수행되는 시료 위치를 인식하기 위한 방법에 있어서,
비전부를 통해 대상 시료가 포함된 비전 영상을 수신하는 단계;
상기 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 예측 모델을 이용하여, 상기 비전 영상 내에서 상기 대상 시료 영역을 결정하는 단계; 및
상기 대상 시료 영역에 기초하여 상기 대상 시료의 위치를 결정하는 단계를 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제1항에 있어서,
상기 대상 시료는 기판 상의 도형 또는 문자의 집합인 패턴을 갖는 대상체로 정의되고,
상기 예측 모델은, 상기 패턴을 학습하여 대상 시료의 영역을 출력하도록 학습된 모델인, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제2항에 있어서,
상기 대상 시료 영역을 결정하는 단계는,
상기 예측 모델을 이용하여, 상기 패턴에 대한 특징(feature)을 추출하는 단계, 및
상기 특징에 기초하여 상기 대상 시료의 영역을 결정하는 단계를 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제1항에 있어서,
상기 대상 시료는,
상기 원자 현미경의 캘리브레이션(calibration)을 위한 캘리브레이션 시료이고,
상기 대상 시료의 위치를 결정하는 단계 이후에,
상기 캘리브레이션 시료의 위치에 기초하여 상기 원자 현미경을 캘리브레이션하는 단계 더 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제1항에 있어서,
상기 위치를 결정하는 단계는,
상기 대상 시료 영역의 중심 좌표를 산출하는 단계, 및
상기 중심 좌표에 기초하여 상기 대상 시료의 위치를 결정하는 단계를 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제1항에 있어서,
상기 비전부는 on Axis 카메라이고,
상기 비전 영상은 on Axis 카메라 영상인, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제1항에 있어서,
상기 수신하는 단계 이전에,
상기 비전부의 촬영 앵글 내에 식별 인자를 배치하는 단계;
상기 식별 인자와 이격된 영역에 상기 대상 시료를 배치하는 단계를 더 포함하고,
상기 비전 영상을 수신하는 단계는,
상기 비전부를 통해 상기 식별 인자를 인식하는 단계, 및
상기 식별 인자에 기초하여 상기 대상 시료에 대한 비전 영상을 수신하는 단계를 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제7항에 있어서,
상기 식별 인자는 상기 대상 시료에 대한 정보를 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제7항에 있어서,
상기 식별 인자는, QR 코드, 바코드, NFC 태그, RFID 태그 및 OCR 코드 중 적어도 하나인, 원자 현미경의 시료 위치를 인식하기 위한 방법.
비전부의 촬영 앵글 내에 식별 인자를 배치하는 단계;
상기 식별 인자와 이격된 영역에 대상 시료를 배치하는 단계;
상기 비전부를 통해 상기 식별 인자를 인식하는 단계, 및
상기 식별 인자에 기초하여 상기 대상 시료의 위치를 결정하는 단계를 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제10항에 있어서,
상기 위치를 결정하는 단계 이후에,
상기 대상 시료의 위치, 미리 결정된 프로브의 종류, 미리 결정된 스캔 파라미터 및 상기 대상 시료의 종류 중 적어도 하나의 상기 대상 시료의 정보, 및 상기 식별 인자를 매핑하는 단계를 더 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
제10항에 있어서,
상기 위치를 결정하는 단계 이후에 원자 현미경을 구동하는 단계,
상기 대상 시료에 대한 분석을 수행하는 단계, 및
분석 결과에 기초하여, 상기 대상 시료의 정보를 업데이트하는 단계를 더 포함하는, 원자 현미경의 시료 위치를 인식하기 위한 방법.
비전부를 통해 대상 시료가 포함된 비전 영상을 획득하는 비전부, 및
상기 비전부와 동작 가능하게 연결된 제어부를 포함하고,
상기 제어부는,
상기 비전 영상을 입력으로 하여 대상 시료 영역을 출력하도록 구성된 예측 모델을 이용하여, 상기 비전 영상 내에서 상기 대상 시료 영역을 결정하고,
상기 대상 시료 영역에 기초하여 상기 대상 시료의 위치를 결정하도록 구성된, 원자 현미경의 시료 위치를 인식하기 위한 장치.
제13항에 있어서,
상기 대상 시료는 기판 상의 도형 또는 문자의 집합인 패턴을 갖는 대상체로 정의되고,
상기 예측 모델은, 상기 패턴을 학습하여 대상 시료의 영역을 출력하도록 학습된 모델인, 원자 현미경의 시료 위치를 인식하기 위한 장치.
제14항에 있어서,
상기 제어부는,
상기 예측 모델을 이용하여, 상기 패턴에 대한 특징(feature)을 추출하고,
상기 특징에 기초하여 상기 대상 시료의 영역을 결정하도록 구성된, 원자 현미경의 시료 위치를 인식하기 위한 장치.
제13항에 있어서,
상기 대상 시료는,
상기 원자 현미경의 캘리브레이션(calibration)을 위한 캘리브레이션 시료이고,
상기 제어부는,
상기 캘리브레이션 시료의 위치에 기초하여 상기 원자 현미경을 캘리브레이션하도록 더 구성된, 원자 현미경의 시료 위치를 인식하기 위한 장치.
제13항에 있어서,
상기 제어부는,
상기 대상 시료 영역의 중심 좌표를 산출하고,
상기 중심 좌표에 기초하여 상기 대상 시료의 위치를 결정하도록 더 구성된, 원자 현미경의 시료 위치를 인식하기 위한 장치.
제13항에 있어서,
상기 비전부는 on Axis 카메라이고,
상기 비전 영상은 on Axis 카메라 영상인, 원자 현미경의 시료 위치를 인식하기 위한 장치.
제13항에 있어서,
상기 비전부는,
상기 비전부의 촬영 앵글 내에 미리 배치된 식별 인자를 인식하고,
상기 식별 인자에 기초하여, 상기 식별 인자와 이격된 영역에 미리 배치된 대상 시료에 대한 비전 영상을 획득하도록 구성된, 원자 현미경의 시료 위치를 인식하기 위한 장치.