KR102465302B1 - 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 원자 현미경에서 프로브 종류를 인식하기 위한 장치는, 측정 대상의 표면의 특성을 획득하기 위해 상기 표면을 따르도록 구성된 프로브(probe); 상기 프로브에 대한 비전 영상을 획득하는 비전부; 및 상기 프로브 및 상기 비전부와 동작 가능하게 연결된 제어부를 포함하고, 상기 제어부는, 상기 획득된 비전 영상을 기반으로 상기 프로브의 형태를 결정하고, 상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하고, 상기 산출된 특징 데이터를 기초로 상기 프로브의 종류를 결정하도록 구성된다.

Description

원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법{APPARATUS AND METHOD FOR IDENTIFING PROBE TYPE IN ATOMIC FORCE MICROSCOPE}

본 발명은 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법에 관한 것이다.

일반적으로 주사 탐침 현미경(Scanning Probe Microscope, SPM)은 캔틸레버(cantilever)와 캔틸레버에 달린 탐침을 포함하는 프로브(probe)를 통해 측정 대상인 시료의 표면을 스캔(scan)하여 탐침이 시료 표면에 근접할 때 시료와 탐침 사이에 상호작용하는 물리량을 측정하는 장치를 의미한다.

이러한 주사 탐침 현미경은 주사 터널 현미경(Scanning Tunneling Microscope, STM) 및 원자힘 현미경(Atomic Force Microscope, AFM)(이하, '원자 현미경'이라고 함)을 포함할 수 있다.

여기서, 원자 현미경은 원자 현미경에 구비된 광학부의 레이저 광이 캔틸레버의 탐침에 대응하는 위치에 조사되고, 이로 인해 캔틸레버가 휘어짐에 따라 탐침이 시료의 표면을 스캔함으로써, 시료 표면의 형상(또는 굴곡)을 이미지화한 시료 영상을 획득할 수 있다.

이와 같이 원자 현미경을 구동하기 위해서 사용자는 매뉴얼을 이용하여 원자 현미경을 구동하기 위한 다양한 설정값 중 하나로 프로브의 종류를 입력할 수 있다. 이러한 프로브 종류는 원자 현미경의 스캔 파라미터를 튜닝하거나, 시료 측정을 위해 사용되는 프로브 데이터(예: 프로브의 길이, 너비, 공명 주파수, 및/또는 스프링 상수(spring constant) 등)를 획득하기 위해 이용되므로, 사용자는 프로브의 종류를 정확하게 설정할 필요가 있다.

따라서, 원자 현미경에서 프로브 종류를 정확하게 인식하기 위한 장치 및 방법이 요구된다.

본 발명의 발명자들은 사용자가 프로브의 종류를 구분하지 못하여 설정값을 잘못 입력하거나, 프로브의 종류를 모를 경우 원자 현미경을 정확하게 구동하지 못할 수 있다는 사실을 인식하였다.

나아가, 본 발명의 발명자들은 프로브의 종류를 머신러닝된 모델 또는 결정 알고리즘을 이용하여 정확하게 인식할 수 있는 장치 및 방법을 발명하였다.

이에, 본 발명이 해결하고자 하는 과제는 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법을 제공하는 것이다.

구체적으로, 본 발명이 해결하고자 하는 과제는 제조사, 모델 및/또는 모델에 따라 프로브 종류를 정확하게 인식하기 위한 장치 및 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법이 제공된다.

본 발명의 실시예에 따른 원자 현미경에서 프로브 종류를 인식하기 위한 장치는, 측정 대상의 표면의 특성을 획득하기 위해 상기 표면을 따르도록 구성된 프로브(probe); 상기 프로브에 대한 비전 영상을 획득하는 비전부; 및 상기 프로브 및 상기 비전부와 동작 가능하게 연결된 제어부를 포함하고, 상기 제어부는, 상기 획득된 비전 영상을 기반으로 상기 프로브의 형태를 결정하고, 상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하고, 상기 산출된 특징 데이터를 기초로 상기 프로브의 종류를 결정하도록 구성된다.

본 발명의 실시예에 따른 원자 현미경의 제어부에 의해서 수행되는 프로브 종류를 인식하기 위한 방법은, 비전부를 통해 측정 대상의 표면의 특성을 획득하기 위해 상기 표면을 따르도록 구성된 프로브(probe)에 대한 비전 영상을 획득하는 단계; 상기 획득된 비전 영상을 기반으로 상기 프로브의 형태를 결정하는 단계; 상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하는 단계; 및 상기 산출된 특징 데이터를 기초로 상기 프로브의 종류를 결정하는 단계를 포함한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 원자 현미경을 구동하기 위해 사용자가 프로브의 종류를 별도로 설정할 필요 없이 원자 현미경이 프로브 종류를 자동으로 인식하여 설정할 수 있다.

또한, 본 발명은 프로브 종류를 인식하기 위해 인공신경망 모델을 이용함으로써, 프로브 종류를 인식하기 위한 연산 속도를 빠르게 하여 원자 현미경의 인식 성능을 향상시킬 수 있다.

또한, 본 발명은 사용자가 프로브의 종류를 모르더라도 원자 현미경을 손쉽게 구동시킬 수 있다.

본 발명에 따른 효과는 이상에서 예시한 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1a, 도 1b 및 도 1c는 본 발명의 실시예에 따른 원자 현미경을 설명하기 위한 개략도들이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따라 프로브의 비전 영상을 이용하여 프로브의 종류를 인식하는 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 외곽선 데이터를 이용하여 프로브의 종류를 인식하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 프로브의 종류를 인식하기 위해 이용되는 인공신경망 모델을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 원자 현미경에서 프로브의 종류를 인식하기 위한 방법을 설명하는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서에서 영상(image)은 정지 화상(still image) 및/또는 동영상(video)일 수 있으나, 이에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1a, 도 1b 및 도 1c는 본 발명의 실시예에 따른 원자 현미경을 설명하기 위한 개략도들이다. 제시된 실시예에서는 XY 스캐너와 Z 스캐너가 분리된 원자 현미경을 설명하도록 한다.

도 1a 및 도 1b를 참조하면, 원자 현미경(100)은 시료의 표면적 특성을 원자 단위로 이미지화하여 분석 및 관찰할 수 있도록 하기 위한 현미경 장치로, 탐침과 캔틸레버(cantilever)를 포함하는 프로브(110), Z 스캐너(122) 및 프로브 암(probe arm)(124)를 포함하는 헤드(120), 레이저 광을 프로브(110)의 캔틸레버 표면에 조사하는 광학부(126), 캔틸레버 표면에서 반사된 레이저 광의 위치를 검출하는 광학 검출부(128), 측정 대상(예: 시료)(132)이 장착되고, 측정 대상(132)을 이동시키는 XY 스캐너(130), 측정 대상(132) 및 XY 스캐너(130)를 이동시키는 XY 스테이지(140), 헤드(120)를 이동시키는 Z 스테이지(150), 고정 프레임(160), 프로브(110) 및/또는 측정 대상(132)을 보여주는 비전부(vision unit)(170) 및 이들을 제어하는 제어부(180)를 포함한다.

먼저, 프로브(110)는 탐침(또는 팁(tip))과 캔틸레버를 구비하고, 탐침은 측정 대상(132)의 표면을 접촉 또는 비접촉 상태로 따르도록 구성될 수 있다. 프로브(110)는 제조사, 모델, 및/또는 버전 등에 따라 다양한 형태의 탐침 또는 캔틸레버로 구성될 수 있으나, 이에 한정되지 않는다.

헤드(120)에 포함되는 Z 스캐너(122)는 프로브 암(124)을 통해 프로브(110)와 연결되어 프로브 암(124)을 Z 방향(예: 상하)로 변위시킴으로써, 프로브(110) 또한 Z 방향으로 이동시킬 수 있다.

Z 스캐너(122)의 구동은, 예를 들어 압전 엑츄에이터(piezoelectric actuator)에 의해 수행될 수 있으나, 이에 한정되지 않으며, XY 스캐너(130)와 분리된 경우 적층된 압전 구동기(staced piezo)에 의해서 수행될 수 있다. 다양한 실시예에서 프로브(110)의 높이를 이동시키기 위해 튜브 스캐너(tube scanner, 미도시)가 이용될 수도 있다.

헤드(120)에 포함되는 프로브 암(124)은 단부에 프로브(110)가 고정된다.

광학부(126)는 캔틸레버 상면에서 탐침에 대응하는 목표 위치에 레이저 광을 조사한다. 목표 위치에 조사된 레이저 광에 의해 캔틸레버가 휘어지거나 뒤틀리게 되어 탐침이 측정 대상의 표면을 스캔하게 된다.

캔틸레버로부터 반사된 레이저 광은 PSPD(Position Sensitive Position Detector)와 같은 광학 검출부(128)에 맺히게 된다. 캔틸레버의 휘어짐 또는 뒤틀림에 따라 광학 검출부(128)에 맺힌 레이저 광의 스팟 움직임이 검출되고, 이를 통해 측정 대상(132)의 표면 정보가 획득될 수 있다.

XY 스캐너(130)는 탐침이 측정 대상(132)의 표면에 대해 적어도 제1 방향으로 상대 이동하도록, 측정 대상을 이동시킬 수 있다. 구체적으로, XY 스캐너(130)는 측정 대상(132)을 XY 평면에서 X 방향 및 Y 방향으로 스캔할 수 있다.

XY 스테이지(140)는 측정 대상(132) 및 XY 스캐너(130)를 상대적으로 큰 변위로 X 방향 및 Y 방향으로 이동시킬 수 있다. 이러한 XY 스테이지(140)는 고정 프레임(160)이 고정될 수 있다.

Z 스테이지(150)는 헤드(120)를 상대적으로 큰 변위로 Z 방향으로 이동시킬 수 있다.

고정 프레임(160)은 XY 스테이지(140) 및 Z 스테이지(150)를 고정시킬 수 있다.

비전부(170)는 프로브(110) 또는 측정 대상(132)을 보여줄 수 있다. 이러한 비전부(170)는 경통, 대물렌즈, 광공급장치 및 CCD 카메라를 포함하고, 광공급장치로부터 광을 공급받아 대물렌즈에 의해 확대되어진 화상이 CCD 카메라에 시인 가능하게 변환되어 별도의 표시 장치를 통해 표시될 수 있다. 비전부(170)의 구체적인 구성은 공지의 구성이므로, 도시 생략하였음에 유의해야 한다.

다양한 실시예에서 비전부(170)는 고정 프레임(160)이 고정될 수 있으나, 이이 한정되지 않으며, 다른 부재에 고정될 수 있다.

다양한 실시예에서 비전부(170)는 Z 축으로 이동될 수 있으며, 이를 통해 프로브(110) 및/또는 측정 대상(132)의 표면을 확대시켜 보여줄 수 있다. 이때, 비전부(170)의 초점은 Z 축을 따라 변경될 수 있다.

제어부(180)는 헤드(120), 광학부(126), 광학 검출부(128), XY 스캐너(130), Z 스테이지(150), 및 비전부(170)와 연결되어 이들의 구동을 제어할 수 있다. 이러한 제어부(180)는 원자 현미경에 구비되거나, 별도의 장치로서 구현될 수 있으나, 이에 한정되지 않으며, 상술한 구성요소들을 제어하기 위해 다양하게 구현될 수 있다.

구체적으로, 제어부(180)는 광학 검출부(128)로부터 얻어진 신호를 기초로 캔틸레버의 휘어짐 및/또는 뒤틀림 등의 정도를 결정할 수 있다. 또한, 제어부(180)는 XY 스캐너(130)가 측정 대상(132)을 XY 방향으로 스캔하기 위한 구동 신호를 XY 스캐너(130)로 전달할 수 있다. 제어부(180)는 캔틸레버가 일정 정도의 휘어짐을 유지하거나, 캔틸레버가 일정한 진폭으로 진동하도록 Z 스캐너(122)를 제어할 수 있다. 제어부(180)는 Z 스캐너의 길이를 측정하거나, Z 스캐너에 사용된 엑츄에이터에 인가되는 전압 등을 측정함으로써, 측정 대상의 표면을 형상화한 측정 대상 데이터(예: 토포그래피(topography))를 획득할 수 있다.

이처럼 원자 현미경(100)을 구동하기 위해 사용자는 원자 현미경(100)을 구동하기 위한 다양한 설정값 중 하나로 프로브의 종류를 입력할 필요가 있다. 이러한 프로브 종류는 원자 현미경의 스캔 파라미터를 튜닝하거나, 시료 측정을 위해 사용되는 프로브 데이터(예: 프로브의 길이, 너비, 공명 주파수, 및/또는 스프링 상수(spring constant) 등)를 획득하기 위해 이용되므로, 사용자는 프로브의 종류를 정확하게 설정할 필요가 있다.

일반적으로, 프로브는 제조사에 따라 다양한 형태를 가질 수 있으나, 다른 제조사인 경우라도 유사한 형태(예: 삼각형, 사각형, 오각형 및/또는 육각형 등의 다각형)을 가질 수 있다.

그러나, 서로 다른 제조사의 프로브가 유사한 형태를 가지거나, 동일 제조사에서 제조한 서로 다른 모델 및/또는 버전의 프로브들이 유사한 형태인 경우 사용자는 이러한 프로브들을 서로 다른 모델 및/또는 버전으로 구분하기 어려울 수 있다. 뿐만 아니라, 동일 제조사의 프로브인 경우라도 모델 및/또는 버전에 따라 서로 다른 형태를 가질 수 있으므로, 사용자는 서로 다른 형태의 프로브를 동일 제조사로 구분하기 어려울 수 있다. 이러한 경우, 사용자는 프로브의 종류를 구분하지 못하여 설정값을 잘못 입력할 수 있고, 프로브의 종류를 모를 경우 프로브의 종류를 정확하게 설정하지 못하여 원자 현미경을 정확하게 구동하지 못할 수 있다.

따라서, 원자 현미경에서 프로브의 종류를 제조사, 모델 및/또는 버전에 따라 정확하게 인식하기 위한 방법이 요구된다.

프로브(110)의 종류를 정확하게 인식하기 위해 제어부(180)는 비전부(170)를 통해 프로브(110)에 관한 비전 영상을 획득하고, 획득된 비전 영상을 기반으로 프로브(110)의 형태를 결정할 수 있다. 제어부(180)는 결정된 형태의 프로브(110)에 대한 특징 데이터를 산출하고, 산출된 특징 데이터를 기초로 프로브(110)의 종류를 결정할 수 있다. 여기서, 특징 데이터는 디멘션(dimension) 정보로서, 프로브(110)의 전체 길이, 끝단을 이루는 꼭지점들 사이의 거리, 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 포함할 수 있으나, 이에 한정되지 않는다. 제시된 실시예에서는 프로브(110)가 프로브 암(124)과 연결되는 부분을 프로브(110)의 상단으로, 그 반대 부분을 프로브(110)의 끝단으로 설명하도록 한다.

이처럼 프로브(110)의 종류를 인식하기 위해 제어부(180)는 다음의 방식을 이용할 수 있다.

일 실시예로, 제어부(180)는 비전 영상을 이용하여 프로브(110)의 종류를 인식할 수 있다.

구체적으로, 제어부(180)는 비전 영상에 대한 영상 처리를 수행하여 비전 영상으로부터 프로브(110)의 외곽선을 추출하고, 추출된 외곽선에 기반하여 프로브(110)의 형태를 결정할 수 있다. 다시 말해서, 제어부(180)는 추출된 외곽선을 기초로 프로브(110)의 형태가 다각형 중 어떠한 형태(예: 삼각형, 사각형, 오각형 또는 육각형 등)인지를 결정할 수 있다.

제어부(180)는 결정된 형태의 프로브를 제조하는 제조사를 해당 프로브의 제조사로서 결정할 수 있다. 예를 들어, 프로브(110)의 형태가 오각형으로 결정되면 제어부(180)는 오각형의 프로브를 제조하는 제조사를 해당 프로브(110)의 제조사로서 결정할 수 있다.

제어부(180)는 추출된 외곽선을 이용하여 프로브(110)의 특징 데이터를 산출하고, 산출된 특징 데이터를 이용하여 프로브(110)의 종류를 결정할 수 있다.

이처럼 프로브(110)의 종류를 결정하기 위해 각 제조사에 해당하여 기 설정된 기준 데이터가 이용될 수 있다. 여기서, 기준 데이터는 해당 제조사의 모델별 및/또는 버전별로 기 설정된 특징 데이터를 의미할 수 있다. 예를 들어, 기준 데이터는 특정 제조사의 모델 또는 버전에 따라 기 설정된 '프로브의 전체 길이, 프로브의 끝단을 이루는 꼭지점들 사이의 거리, 및/또는 끝단을 이루는 선과 선 사이의 각도 등'을 포함할 수 있으나, 이에 한정되지 않는다.

제어부(180)는 추출된 외곽선을 이용하여 프로브의 전체 길이, 끝단을 이루는 꼭지점들 사이의 거리, 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 포함하는 특징 데이터를 산출할 수 있다. 예를 들어, 제어부(180)는 추출된 외곽선을 다각형(polygon)으로 근사하여 다각형을 이루는 꼭지점을 추출하고, 추출된 꼭지점들을 이용하여 프로브의 전체 길이, 끝단을 이루는 꼭지점들 사이의 거리, 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 산출할 수 있으나, 이에 한정되지 않는다.

제어부(180)는 산출된 특징 데이터와 결정된 제조사에 해당하는 기준 데이터를 비교하여 특징 데이터와 서로 일치하는 기준 데이터를 결정할 수 있다. 일치하는 기준 데이터가 결정되면 제어부(180)는 결정된 기준 데이터에 대응하는 모델 및/또는 버전을 프로브(110)의 종류로서 결정할 수 있다.

다양한 실시예로, 제어부(180)는 프로브(110)를 다양한 환경에서 촬영한 복수의 참조 영상(또는 학습 영상)을 기초로 프로브(110)를 인식하도록 학습된 인식 모델을 이용하여 프로브(110)의 종류를 인식할 수 있다. 여기서, 복수의 참조 영상은 프로브(110) 주변의 조명 세기 및/또는 비전부(170)의 초점 거리(즉, 카메라 및/또는 대물렌즈의 초점 거리) 등을 일정하게 변화시키면서 제조사, 모델 및/또는 버전 등에 따라 프로브를 촬영한 영상일 수 있다.

인식 모델은 복수의 참조 영상을 미리 학습하고, 새롭게 입력되는 비전 영상으로부터 프로브(110)를 인식하도록 구성된 인공신경망 모델일 수 있다. 다양한 실시예에서 인식 모델은 미리 학습된 합성곱 신경망(CNN: Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다. 미리 학습된 합성곱 신경망은 입력된 입력 값에 대해 합성곱(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성될 수 있으며, 입력값으로부터 합성곱 연산을 수행하여 출력값을 추론할 수 있다. 예를 들어, 미리 학습된 합성곱 신경망은 복수의 인공신경망 스테이지에서 분류(classification) 동작, 객체(즉, 프로브)의 경계를 포함하는 바운딩 박스(bounding box)를 설정(또는 조정)하기 위한 회귀(bounding box regression) 동작, 및 객체와 객체가 아닌 배경을 분할(segmentation)하기 위한 바이너리 마스킹(binary masking) 동작을 병행하는 Mask R-CNN(Regions with Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다.

이러한 인식 모델은 하나의 스테이지가 분류 동작 및 회귀 동작을 수행하여 분류 결과를 나타내는 분류 데이터 및 바운딩 박스 데이터를 출력하고, 다른 하나의 스테이지가 바이너리 마스킹 동작을 수행하여 분할 데이터를 출력할 수 있다.

이러한 인식 모델을 처리하기 위해 제어부(180)는 뉴럴 프로세싱 유닛(Neural Processing Unit, NPU)(182)을 포함할 수 있다. NPU(182)는 AI 칩셋(또는 AI 프로세서) 또는 AI 가속기(AI accelerator)일 수 있다. 다시 말해서, NPU(182)는 인공신경망 수행에 최적화된 프로세서 칩에 해당할 수 있다.

제어부(180)는 이와 같이 출력된 데이터 중 분류 데이터를 이용하여 프로브(110)의 형태를 결정하고, 분할 데이터를 이용하여 프로브(110)의 특징 데이터를 산출한 후 산출된 특징 데이터를 이용하여 프로브(110)의 종류를 결정할 수 있다.

구체적으로, 제어부(180)는 분류 데이터를 이용하여 프로브(110)가 어떠한 형태를 가지는지를 추론할 수 있으며, 추론된 형태의 프로브(110)가 어떠한 그룹(예: 제조사)에 해당하는지를 결정할 수 있다. 예를 들어, 분류 데이터는 프로브(110)의 형태가 다각형(polygon) 중 어떠한 형태(예: 삼각형, 사각형, 오각형, 또는 육각형 등)인지 분류된 결과를 나타내는 결과 데이터일 수 있다.

프로브(110)의 형태가 오각형으로 분류된 경우 제어부(180)는 오각형의 프로브를 제조하는 제조사를 프로브(110)의 제조사로서 결정할 수 있다. 예를 들어, 오각형의 프로브를 제작하는 제조사가 나노 센서스(Nanosensors™) 또는 올림푸스(Olympus Corp.)인 경우 제어부(180)는 해당 프로브(110)의 제조사를 나노 센서스 또는 올림푸스로 결정할 수 있다.

이후 제어부(180)는 분할 데이터를 이용하여 프로브(110)의 외곽선을 추출하고, 추출된 외곽선을 이용하여 프로브(110)의 특징 데이터를 산출할 수 있다. 여기서, 특징 데이터를 산출하는 방식은 앞서 설명한 외곽선을 이용한 방식이 이용될 수 있다.

구체적으로, 제어부(180)는 추출된 외곽선을 이용하여 프로브의 전체 길이, 다각형의 끝단을 이루는 꼭지점들 사이의 거리 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 포함하는 특징 데이터를 산출할 수 있다. 제어부(180)는 산출된 특징 데이터와, 결정된 제조사에 해당하는 기준 데이터를 비교하여 특징 데이터와 서로 일치하는 기준 데이터를 결정할 수 있다. 일치하는 기준 데이터가 결정되면 제어부(180)는 결정된 기준 데이터에 대응하는 모델 및/또는 버전을 프로브의 종류로서 결정할 수 있다.

다양한 실시예에서 제어부(180)는 비전 영상을 입력으로 프로브(110)를 인식하고, 인식된 프로브(110)를 제조사, 모델 및/또는 버전에 따라 분류하기 위한 복수의 인공신경망 모델을 이용하여 프로브(110)의 종류를 결정할 수 있다. 여기서, 복수의 인공신경망 모델은 비전 영상을 입력으로 프로브(110)를 인식하기 위한 인식 모델 및 인식된 프로브(110)를 제조사, 모델 및/또는 버전에 따라 분류하기 위한 분류 모델을 포함할 수 있다. 인식 모델 및 분류 모델은 프로브(110)를 인식하고, 인식된 프로브(110)를 제조사, 모델 및/또는 버전에 따라 분류하기 위한 다양한 종류의 인공신경망 모델이 이용될 수 있다.

다양한 실시예에서 인식 모델은 비전 영상을 입력으로 프로브(110)를 제조사, 모델 및/또는 버전에 따라 분류하기 위해 학습된 인공신경망 모델일 수 있다. 이러한 인공신경망 모델은 프로브의 제조사, 모델 및/또는 버전에 따라 다양한 환경에서 촬영된 영상을 참조 영상으로서 미리 학습된 모델일 수 있다. 제어부(180)는 이러한 인공신경망 모델을 이용하여 비전 영상으로부터 프로브를 제조사, 모델 및/또는 버전에 따라 분류할 수 있다.

도 1c를 참조하면, 원자 현미경(100)은 프로브(110), Z 스캐너(122) 및 프로브 암(probe arm)(124)를 포함하는 헤드(120), 광학부(126), 광학 검출부(128), 측정 대상(132)이 장착되는 XY 스캐너(130), XY 스테이지(140), Z 스테이지(150), 고정 프레임(160) 및 비전부(170)를 포함하고, 이들을 제어하기 위한 전자 장치(200)가 별도로 구비될 수 있다.

전자 장치(200)는 원자 현미경(100)을 제어하고, 프로브(110)의 종류를 인식하기 위한 태블릿 PC(Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.

이러한 전자 장치(200)는 원자 현미경(100)으로부터 비전부(170)를 통해 획득된 프로브(110)에 대한 비전 영상을 수신하고, 수신된 비전 영상을 기반으로 프로브(110)의 형태를 결정하고, 결정된 형태의 프로브(110)에 대한 특징 데이터를 산출하고, 산출된 특징 데이터를 기초로 프로브(110)의 종류를 결정할 수 있다.

이를 통해 본 발명은 원자 현미경의 프로브 종류를 인식함으로써, 사용자가 프로브 종류를 설정하지 않고 원자 현미경을 구동시킬 수 있다.

하기에서는 도 2를 참조하여 전자 장치(200)에 대해서 보다 구체적으로 설명하도록 한다.

도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.

도 2를 참조하면, 전자 장치(200)는 통신부(210), 표시부(220), 저장부(230) 및 제어부(240)를 포함한다.

통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 원자 현미경(100)과 연결되어 원자 현미경(100)의 구동 및 제어에 관련된 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 원자 현미경(100)의 각 구성요소의 구동 및 제어를 위한 지시를 전달하거나, 비전부(170)를 통해 획득된 비전 영상을 수신할 수 있다.

표시부(220)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부(220)는 원자 현미경(100)으로부터 수신된 측정 대상 데이터를 표시할 수 있다.

다양한 실시예에서 표시부(220)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.

저장부(230)는 원자 현미경(100)의 구동 및 제어하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

제어부(240)는 통신부(210), 표시부(220), 및 저장부(230)와 동작 가능하게 연결되며, 원자 현미경(100)을 제어하고, 프로브(110)의 종류를 인식하기 위한 다양한 명령들을 수행할 수 있다.

제어부(240)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공신경망 프로세서(NPU)(245) 중 적어도 하나를 포함하도록 구성될 수 있다.

구체적으로, 제어부(240)는 통신부(210)를 통해 원자 현미경(100)으로부터 프로브(110)에 대한 비전 영상을 수신하고, 수신된 비전 영상을 기반으로 프로브(110)의 형태를 결정하고, 결정된 형태의 프로브(110)에 대한 특징 데이터를 산출하고, 산출된 특징 데이터를 기초로 프로브(110)의 종류를 결정할 수 있다. 이에 대한 구체적인 동작은 도 1a 및 도 1b에서 설명한 제어부(180)의 동작과 동일할 수 있다.

다양한 실시예에서, 프로브(110)를 인식하기 위한 인식 모델 및/또는 제조사, 모델 및/또는 버전 등에 따라 프로브를 분류하기 위한 분류 모델 등과 같은 인공신경망 모델은 외부의 서버에 저장될 수 있다. 이러한 경우 제어부(240)는 통신부(210)를 통해 외부의 서버로 비전 영상을 송신하고, 외부의 서버에서 산출된 결과 데이터(즉, 프로브의 종류를 인식한 결과 데이터)를 수신할 수도 있다.

이와 같이 인공신경망 모델을 이용하는 동작들은 NPU(245)에 의해서 수행될 수 있으며, NPU(245)은 도 1b에서 설명한 NPU(182)와 동일한 동작을 수행할 수 있다.

하기에서는 프로브(110)의 비전 영상을 이용하여 프로브(110)의 종류를 인식하기 위한 방법을 도 3 및 도 4를 참조하여 구체적으로 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따라 프로브의 비전 영상을 이용하여 프로브의 종류를 인식하는 방법을 설명하기 위한 예시도이다. 후술하는 동작들은 도 1b의 제어부(180) 또는 도 2의 제어부(240)에 의해서 수행될 수 있다. 제시된 실시예에서는 편의상 도 1b의 제어부(180)에서 수행되는 것으로 설명하도록 한다.

도 3을 참조하면, 제어부(180)는 비전부(170)를 통해 도 3의 (a)와 같은 비전 영상(즉, 컬러 영상)을 획득하고, 획득된 비전 영상을 도 3의 (b)와 같은 회색조 영상으로 변환할 수 있다. 예를 들어, 회색조 영상은 RGB 3채널의 영상을 단일 채널의 영상으로 변환하는 영상 처리 알고리즘을 통해 획득될 수 있으나, 이에 한정되지 않는다.

제어부(180)는 회색조 영상을 이진화하여 도 3의 (c)와 같은 이진화 데이터를 생성하고, 생성된 이진화 데이터에서 외곽선을 추출하여 도 3의 (d)와 같이 외곽선 데이터를 획득할 수 있다. 예를 들어, 제어부(180)는 회색조 영상에서 각 화소의 화소값이 임계값 이상이면 해당 화소값을 '255(흰색)'으로 변환하고, 각 화소의 화소값이 임계값 미만이면 해당 화소값을 '0(검은색)'으로 변환함으로써, 이진화를 수행할 수 있다. 또한, 이진화 데이터에서 외곽선 추출을 위해 이진화 데이터에서 흰색의 객체를 검출하고, 검출된 객체에서 외곽선을 추출하는 방식이 이용될 수 있으나, 이에 한정되지 않는다.

하기에서는 획득된 외곽선 데이터를 이용하여 프로브(110)의 종류를 인식하기 위한 제어부(180)의 동작을 도 4를 참조하여 구체적으로 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 외곽선 데이터를 이용하여 프로브의 종류를 인식하는 방법을 설명하기 위한 예시도이다.

도 4를 참조하면, 제어부(180)는 추출된 외곽선의 형상을 다각형(polygon)(400)으로 근사할 수 있다. 다각형 근사를 위해 더글라스-패커 (Douglas-Peucker) 알고리즘이 이용될 수 있으나, 이에 한정되지 않는다.

제어부(180)는 다각형(400)에서 꼭지점(p1, p2, p3, p4, p5)을 추출하고, 추출된 꼭지점(p1, p2, p3, p4, p5)에 기반하여 프로브(110)의 형태를 결정할 수 있다. 제시된 실시예에서는 추출된 꼭지점의 개수가 5개인 경우를 설명하도록 한다. 이러한 경우 제어부(180)는 프로브(110)의 형태를 오각형으로 결정할 수 있다.

제어부(180)는 추출된 꼭지점(p1, p2, p3, p4, p5)의 좌표값을 이용하여 다각형(400)의 전체 길이(h), 꼭지점과 꼭지점 사이의 거리(s1, s2, s3, s4, s5), 및/또는 꼭지점들이 이루는 선과 선 사이의 각도(a1, a2, a3, a4, a5)를 산출할 수 있다. 제어부(180)는 이 중 다각형(400)의 전체 길이(h), 다각형(400)의 끝단을 이루는 꼭지점들 사이의 거리(s1, s2), 및/또는 끝단을 이루는 선과 선 사이의 각도(a1, a2, a3) 등을 프로브(110)의 특징 데이터로서 결정할 수 있다.

다각형(400)의 끝단을 이루는 꼭지점들 사이의 거리 및/또는 끝단을 이루는 선과 선 사이의 각도를 프로브(100)의 특징 데이터로서 결정하기 위해 제어부(180)는 꼭지점들이 이루는 선과 선 사이의 각도(a1, a2, a3, a4, a5) 중 기 설정된 임계 각도보다 작은 각도를 갖는 제1 각도(a1), 및 제1 각도(a1)와 인접한 각도들(a2, a3)에 대응하는 꼭지점들(p1, p2, p3)이 포함된 부분을 다각형(400)의 끝단으로 결정할 수 있으나, 이에 한정되지 않으며, 다각형(400)의 끝단을 결정하기 위한 다양한 방식이 이용될 수 있다.

제어부(180)는 결정된 특징 데이터와, 오각형의 프로브를 제조하는 제조사의 기준 데이터를 비교하여 특징 데이터와 서로 일치하는 기준 데이터를 결정할 수 있다. 여기서, 기준 데이터는 해당 제조사의 모델별 및/또는 버전별 기 설정된 프로브의 전체 길이, 끝단을 이루는 꼭지점들 사이의 거리, 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 포함할 수 있으며, 이는 미리 저장될 수 있다. 예를 들어, 제어부(180)는 도 4에서 산출된 '전체 길이(h), 끝단을 이루는 꼭지점들 사이의 거리(s1, s2), 및/또는 끝단을 이루는 선과 선 사이의 각도(a1, a2, a3) 등'이 모두 일치하는 기준 데이터를 결정할 수 있다.

이와 같이 일치하는 기준 데이터가 결정되면 제어부(180)는 결정된 기준 데이터에 대응하는 모델 및/또는 버전을 프로브(110)의 종류로서 결정할 수 있다.

하기에서는 다른 실시예에 따른 인공신경망 모델을 이용하여 프로브(110)의 종류를 인식하기 위한 방법을 도 5를 참조하여 구체적으로 설명하도록 한다.

도 5는 본 발명의 실시예에 따른 프로브의 종류를 인식하기 위해 이용되는 인공신경망 모델을 설명하기 위한 예시도이다.

도 5를 참조하면, 인공신경망 모델(500)은 복수의 인공신경망 스테이지를 포함할 수 있다. 제시된 실시예에서 인공신경망 모델(500)은 도 1a 및 도 1b에서 설명한 인식 모델을 의미할 수 있다.

구체적으로, 인공신경망 모델(500)은 합성곱 신경망(515), 영역 제안 신경망(Region Proposal Network)(525), 관심 영역 정렬 신경망(ROI(Region Of Interest) Align Network)(540) 및 복수의 전결합 신경망(Fully Connected Network)(550, 555)를 포함할 수 있다. 여기서, 복수의 전결합 신경망은 제1 전결합 신경망(550) 및 제2 전결합 신경망(555)을 포함한다.

비전부(170)를 통해 획득된 프로브(110)의 비전 영상이 인공신경망 모델(500)의 입력값으로서 입력되면 인공신경망 모델(500)은 비전 영상에서 특징을 추출하기 위한 합성곱 연산을 수행하는 합성곱 신경망(515)을 통해 특징 데이터(Feature Map)(520)를 획득할 수 있다.

이러한 특징 데이터(520)는 프로브(110)가 포함된다고 예상되는 후보 영역을 제안하기 위한 영역 제안 신경망(525)으로 입력된다. 인공신경망 모델(500)은 영역 제안 신경망(525)을 통해 특징 데이터(520)에서 프로브(110)가 포함된다고 예상되는 후보 영역(Region Proposal) 및 이에 대한 점수(objectness score)를 포함하는 데이터(530)를 획득할 수 있다.

인공신경망 모델(300)은 합성곱 신경망(515)을 통해 출력된 특징 데이터(520) 및 영역 제안 신경망(525)을 통해 출력된 데이터(530)에 기반하여 후보 영역 데이터(535)를 획득할 수 있다. 여기서, 후보 영역 데이터(535)는 특징 데이터(520)에서 프로브(110)가 포함된다고 예상되는 적어도 하나의 후보 영역에 대응하여 추출된 데이터일 수 있다. 적어도 하나의 후보 영역은 예측된 객체의 형태에 따라 다양한 크기를 가질 수 있다.

이러한 후보 영역 데이터(535)는 선형 보간(linear interpolation)을 이용하여 고정된 크기로 변환시키기 위한 관심 영역 정렬 신경망(540)으로 입력된다. 여기서, 고정된 크기는 n x n 형태일 수 있으나(n>0), 이에 한정되지 않는다.

인공신경망 모델(500)은 관심 영역 조정 신경망(540)을 통해 n x n 형태의 관심 영역 데이터(545)를 출력할 수 있다. 이때, 관심 영역 데이터(545)는 선형 보간을 이용하여 후보 영역 데이터(335)를 고정된 크기로 정렬시킨 데이터일 수 있으나, 이에 한정되지 않는다.

이러한 관심 영역 데이터(545)는 제1 전결합 신경망(550) 및 제2 전결합 신경망(555) 각각에 입력된다. 여기서, 제1 전결합 신경망(550)은 복수의 전결합 층(Fully Connected Layer)를 포함할 수 있으나, 이에 한정되지 않는다. 제2 전결합 신경망(555)은 오토 인코더(Auto Encoder) 구조가 추가된 마스크 브랜치 네트워크(mask branch network) 또는 적어도 하나의 전결합층(또는 합성곱층)일 수 있으나, 이에 한정되지 않는다. 여기서 이용된 오토 인코더는 입력 데이터에 노이즈(noise)를 추가한 후 노이즈가 없는 원본 입력을 재구성하여 출력하도록 학습된 인코더로서, 인공신경망 모델(500)의 분할 성능을 향상시킬 수 있다.

인공신경망 모델(500)은 제1 전결합 신경망(550)을 통해 분류 데이터(560) 및 바운딩 박스 데이터(565)를 출력하고, 제2 전결합 신경망(555)을 통해 분할 데이터(570)를 결과 데이터로서 출력할 수 있다. 예를 들어, 분류 데이터(560)는 프로브(110)의 형태에 대한 분류 결과를 나타내는 결과 데이터이고, 분할 데이터(570)는 프로브(110)와, 프로브(110)가 아닌 배경을 나타내는 결과 데이터(예: 영상)일 수 있다.

다양한 실시예에서 인공신경망 모델의 인식 정확도를 향상시키기 위해 결과 데이터의 주변을 클러스터링(clustering)하는 후처리 방식(post processing)이 이용될 수 있다. 예를 들어, 클러스터링 방식은 CRF(Conditional Random Field) 및/또는 Chan-Vese 알고리즘 등이 이용될 수 있으나, 이에 한정되지 않는다.

이와 같이 출력된 분류 데이터(560) 및 분할 데이터(570)는 프로브(110)의 종류를 결정하기 위해 이용될 수 있다.

구체적으로, 제어부(180)는 분류 데이터(560)를 기반으로 프로브(110)의 형태를 결정할 수 있다. 예를 들어, 분류 데이터(560)는 프로브의 형태를 삼각형, 사각형, 오각형 및 육각형 등 중 어느 하나로 분류한 결과를 나타내는 결과 데이터일 수 있다.

제어부(180)는 분할 데이터를 이진화하여 이진화 데이터를 생성할 수 있다. 예를 들어, 제어부(180)는 분할 데이터에서 프로브(110)를 나타내는 참(True)값을 가지는 화소의 화소값을 '255'로 변환하고, 프로브(110)를 제외한 객체, 즉 배경을 나타내는 거짓(false)값을 가지는 화소의 화소값을 '0'으로 변환함으로써, 이진화를 수행할 수 있다.

제어부(180)는 생성된 이진화 데이터에서 외곽선을 추출하고, 추출된 외곽선에 기반하여 프로브의 종류를 인식할 수 있다. 외곽선을 추출하기 위해 제어부(180)는 캐니 에지 검출 알고리즘(Canny Edge) 및/또는 OpenCV의 findcontour 함수를 이용할 수 있으나, 이에 한정되지 않는다.

이와 같이 외곽선을 추출하고, 추출된 외곽선에 기반하여 프로브의 종류를 인식하는 방식은 도 3 및 도 4에서 설명한 방식이 이용될 수 있다.

이와 같이 본 발명은 인공신경망을 이용하여 프로브 종류를 인식함으로써, 원자 현미경의 프로브 종류를 인식하기 위한 연산 속도를 빠르게 하여 원자 현미경의 인식 성능을 향상시킬 수 있다.

하기에서는 도 6을 참조하여 원자 현미경(100)에서 프로브(110)의 종류를 인식하기 위한 방법을 설명하도록 한다.

도 6은 본 발명의 실시예에 따른 원자 현미경에서 프로브의 종류를 인식하기 위한 방법을 설명하는 흐름도이다. 하기에서 서술하는 동작들은 도 1b의 제어부(180) 또는 도 2의 제어부(240)에 의해서 수행될 수 있다. 하기에서는 도 1b의 제어부(180)에서 수행되는 것으로 설명하도록 한다.

도 6을 참조하면, 제어부(180)는 비전부(170)를 통해 측정 대상(132)의 표면의 특성을 획득하기 위해 측정 대상(132)의 표면을 따르도록 구성된 프로브(110)에 대한 비전 영상을 획득한다(S600).

제어부(180)는 획득된 비전 영상을 기반으로 프로브(110)의 형태를 결정하고(S610), 결정된 형태의 프로브(110)에 대한 특징 데이터를 산출한 후(S620) 산출된 특징 데이터를 기초로 프로브(110)의 종류를 결정한다(S630).

구체적으로, 제어부(180)는 비전 영상에서 프로브(110)에 대응하는 외곽선을 추출하고, 추출된 외곽선을 다각형으로 근사하여 해당 다각형에서 꼭지점을 추출할 수 있다. 제어부(180)는 추출된 꼭지점에 기반하여 프로브(110)의 형태를 결정할 수 있다.

제어부(180)는 추출된 꼭지점을 이용하여 다각형의 전체 길이, 다각형의 끝단을 이루는 꼭지점들 사이의 거리 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 포함하는 특징 데이터를 산출하고, 산출된 특징 데이터 및 결정된 형태의 프로브를 제조하는 제조사의 기준 데이터를 이용하여 프로브(110)의 종류를 결정할 수 있다. 예를 들어, 제어부(180)는 산출된 특징 데이터와 일치하는 기준 데이터가 존재하는지 결정하고, 특징 데이터와 일치하는 기준 데이터에 해당하는 모델 및/또는 버전을 프로브(110)의 종류로서 결정할 수 있다.

다른 실시예로, 제어부(180)는 비전 영상을 기초로 프로브(110)를 인식하도록 학습된 인공신경망 모델(즉, 인식 모델)을 이용하여 비전 영상으로부터 프로브(110)를 인식한 결과 데이터를 획득할 수 있다. 여기서, 결과 데이터는 프로브(110)의 형태를 분류(또는 추론)한 결과(예: 삼각형, 사각형, 오각형 및 육각형 등 중 어느 하나로 분류(또는 추론)한 결과)를 나타내는 분류 데이터, 및 프로브와, 프로브가 아닌 객체를 분할한 분할 데이터를 포함할 수 있다.

제어부(180)는 분류 데이터를 이용하여 프로브(110)의 형태를 결정하고, 분할 데이터에서 프로브(110)에 대응하는 외곽선을 추출하고, 추출된 외곽선을 다각형으로 근사하여 해당 다각형에서 꼭지점을 추출할 수 있다.

제어부(180)는 추출된 꼭지점을 이용하여 다각형의 전체 길이, 다각형의 끝단을 이루는 꼭지점들 사이의 거리 및/또는 끝단을 이루는 선과 선 사이의 각도 등을 포함하는 특징 데이터를 산출하고, 산출된 특징 데이터 및 결정된 형태의 프로브를 제조하는 제조사의 기준 데이터를 이용하여 프로브(110)의 종류를 결정할 수 있다.

이를 통해서 본 발명은 원자 현미경의 프로브 종류를 정확하게 인식할 수 있다. 또한, 본 발명은 원자 현미경의 프로브 종류를 정확하게 인식하여 사용자가 프로브 종류를 설정할 필요 없이 손쉽게 원자 현미경을 구동시킬 수 있다.

본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 원자 현미경
110: 프로브
120: 헤드
122: Z 스캐너
124: 프로브 암
126: 광학부
128: 광학 검출부
130: XY 스캐너
132: 측정 대상
140: XY 스테이지
150: Z 스테이지
160: 고정 프레임
170: 비전부
180: 제어부

Claims (18)

1. 측정 대상의 표면의 특성을 획득하기 위해 상기 표면을 따르도록 구성된 프로브(probe);
   상기 프로브에 대한 비전 영상을 획득하는 비전부; 및
   상기 프로브 및 상기 비전부와 동작 가능하게 연결된 제어부를 포함하고,
   상기 제어부는,
   상기 획득된 비전 영상을 기반으로 상기 프로브의 형태를 결정하고,
   상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하고,
   상기 산출된 특징 데이터를 기초로 상기 프로브의 종류를 결정하도록 구성되며,
   상기 제어부는,
   상기 프로브의 형태를 결정하기 전에,
   상기 프로브를 인식하도록 학습된 인식 모델에 상기 획득된 비전 영상을 입력으로 하여 상기 프로브의 다각형 형태에 대한 분류 결과를 나타내는 분류 데이터(label data), 및 상기 프로브와 상기 프로브가 아닌 객체를 분할한 분할 데이터(segmentation data)를 포함하는 결과 데이터를 획득하고,
   상기 획득된 분류 데이터를 기초로 상기 프로브의 형태를 결정하며,
   상기 획득된 분할 데이터를 기초로 상기 특징 데이터를 산출하도록 구성되며,
   상기 인식 모델은,
   촬영된 영상을 기초로 추출되는 특징 데이터 맵을 입력으로 하여 상기 프로브를 포함하는 것으로 예상되는 적어도 하나의 후보 영역에 대한 후보 영역 데이터를 출력하도록 구성된 영역 제안 신경망 계층,
   상기 후보 영역 데이터를 입력으로 하여 미리 설정된 크기의 데이터로 정렬시킨 관심 영역 데이터를 출력하도록 구성된 관심 영역 조정 신경망 계층,
   상기 관심 영역 데이터를 입력으로 하여 상기 분류 데이터를 출력하도록 구성된 제1 전결합 신경망 계층, 및
   상기 관심 영역 데이터를 입력으로 상기 분할 데이터를 출력하도록 구성된 제2 전결합 신경망 계층, 을 포함하도록 구성된, 원자 현미경의 프로브 종류를 인식하기 위한 장치.
2. 제1항에 있어서, 상기 특징 데이터는,
   상기 프로브의 전체 길이, 상기 프로브의 끝단을 이루는 꼭지점들 사이의 거리, 및 상기 끝단을 이루는 선과 선 사이의 각도 중 적어도 하나를 포함하는, 원자 현미경의 프로브 종류를 인식하기 위한 장치.
3. 제2항에 있어서, 상기 제어부는,
   상기 획득된 비전 영상에 기반하여 상기 프로브의 외곽선을 추출하고,
   상기 추출된 외곽선에 기반하여 상기 프로브의 형태를 결정하도록 구성되는, 원자 현미경의 프로브 종류를 인식하기 위한 장치.
4. 제3항에 있어서, 상기 제어부는,
   상기 추출된 외곽선을 이용하여 상기 프로브의 특징 데이터를 산출하도록 더 구성되고,
   상기 산출된 특징 데이터와, 상기 결정된 형태의 프로브를 제조하는 제조사의 기 설정된 기준 데이터를 비교하여 상기 특징 데이터와 서로 일치하는 기준 데이터를 결정하고,
   상기 결정된 기준 데이터에 대응하는 모델 및 버전 중 적어도 하나를 상기 프로브의 종류로서 결정하도록 더 구성되는, 원자 현미경의 프로브 종류를 인식하기 위한 장치.
5. 제4항에 있어서, 상기 기준 데이터는,
   상기 제조사의 모델별 또는 버전별로 기 설정된 특징 데이터인, 원자 현미경의 프로브 종류를 인식하기 위한 장치.
6. 삭제
7. 삭제
8. 삭제
9. 제1항에 있어서, 상기 제어부는,
   상기 인식 모델을 통해 획득된 분할 데이터를 이용하여 상기 프로브의 외곽선을 추출하고,
   상기 추출된 외곽선을 이용하여 상기 프로브의 특징 데이터를 산출하도록 더 구성되고,
   상기 산출된 특징 데이터와, 상기 결정된 형태의 프로브를 제조하는 제조사의 기 설정된 기준 데이터를 비교하여 상기 특징 데이터와 서로 일치하는 기준 데이터를 결정하고,
   상기 결정된 기준 데이터에 대응하는 모델 및 버전 중 적어도 하나를 상기 프로브의 종류로서 결정하도록 더 구성되는, 원자 현미경의 프로브 종류를 인식하기 위한 장치.
10. 원자 현미경의 제어부에 의해서 수행되는 프로브 종류를 인식하기 위한 방법에 있어서,
    비전부를 통해 측정 대상의 표면의 특성을 획득하기 위해 상기 표면을 따르도록 구성된 프로브(probe)에 대한 비전 영상을 획득하는 단계;
    상기 획득된 비전 영상을 기반으로 상기 프로브의 형태를 결정하는 단계;
    상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하는 단계; 및
    상기 산출된 특징 데이터를 기초로 상기 프로브의 종류를 결정하는 단계를 포함하고,
    상기 프로브의 형태를 결정하는 단계 이전에,
    상기 프로브를 인식하도록 학습된 인식 모델에 상기 획득된 비전 영상을 입력으로 하여 상기 프로브의 다각형 형태에 대한 분류 결과를 나타내는 분류 데이터(label data), 및 상기 프로브와 상기 프로브가 아닌 객체를 분할한 분할 데이터(segmentation data)를 포함하는 결과 데이터를 획득하는 단계, 를 더 포함하고,
    상기 프로브의 형태를 결정하는 단계는, 상기 획득된 분류 데이터를 기초로 상기 프로브의 형태를 결정하는 단계이고,
    상기 프로브에 대한 특징 데이터를 산출하는 단계는, 상기 획득된 분할 데이터를 기초로 상기 특징 데이터를 산출하는 단계이며,
    상기 인식 모델은,
    촬영된 영상을 기초로 추출되는 특징 데이터 맵을 입력으로 하여 상기 프로브를 포함하는 것으로 예상되는 적어도 하나의 후보 영역에 대한 후보 영역 데이터를 출력하도록 구성된 영역 제안 신경망 계층,
    상기 후보 영역 데이터를 입력으로 하여 미리 설정된 크기의 데이터로 정렬시킨 관심 영역 데이터를 출력하도록 구성된 관심 영역 조정 신경망 계층,
    상기 관심 영역 데이터를 입력으로 하여 상기 분류 데이터를 출력하도록 구성된 제1 전결합 신경망 계층, 및
    상기 관심 영역 데이터를 입력으로 상기 분할 데이터를 출력하도록 구성된 제2 전결합 신경망 계층, 을 포함하도록 구성된, 원자 현미경의 프로브 종류를 인식하기 위한 방법.
11. 제10항에 있어서, 상기 특징 데이터는,
    상기 프로브의 전체 길이, 상기 프로브의 끝단을 이루는 꼭지점들 사이의 거리, 및 상기 끝단을 이루는 선과 선 사이의 각도 중 적어도 하나를 포함하는, 원자 현미경의 프로브 종류를 인식하기 위한 방법.
12. 제11항에 있어서, 상기 프로브의 형태를 결정하는 단계는,
    상기 획득된 비전 영상에 기반하여 상기 프로브의 외곽선을 추출하는 단계; 및
    상기 추출된 외곽선에 기반하여 상기 프로브의 형태를 결정하는 단계를 포함하는, 원자 현미경의 프로브 종류를 인식하기 위한 방법.
13. 제12항에 있어서, 상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하는 단계는,
    상기 추출된 외곽선을 이용하여 상기 프로브의 특징 데이터를 산출하는 단계; 를 더 포함하며,
    상기 프로브의 종류를 결정하는 단계는,
    상기 산출된 특징 데이터와, 상기 결정된 형태의 프로브를 제조하는 제조사의 기 설정된 기준 데이터를 비교하여 상기 특징 데이터와 서로 일치하는 기준 데이터를 결정하는 단계; 및
    상기 결정된 기준 데이터에 대응하는 모델 및 버전 중 적어도 하나를 상기 프로브의 종류로서 결정하는 단계를 더 포함하는, 원자 현미경의 프로브 종류를 인식하기 위한 방법.
14. 제13항에 있어서, 상기 기준 데이터는,
    상기 제조사의 모델별 또는 버전별로 기 설정된 특징 데이터인, 원자 현미경의 프로브 종류를 인식하기 위한 방법.
15. 삭제
16. 삭제
17. 삭제
18. 제10항에 있어서, 상기 획득된 분할 데이터를 이용하여 상기 결정된 형태의 프로브에 대한 특징 데이터를 산출하는 단계는,
    상기 인식 모델을 통해 획득된 분할 데이터를 이용하여 상기 프로브의 외곽선을 추출하는 단계; 및
    상기 추출된 외곽선을 이용하여 상기 프로브의 특징 데이터를 산출하는 단계; 를 더 포함하고,
    상기 프로브의 종류를 결정하는 단계는,
    상기 산출된 특징 데이터와, 상기 결정된 형태의 프로브를 제조하는 제조사의 기 설정된 기준 데이터를 비교하여 상기 특징 데이터와 서로 일치하는 기준 데이터를 결정하는 단계; 및
    상기 결정된 기준 데이터에 대응하는 모델 및 버전 중 적어도 하나를 상기 프로브의 종류로서 결정하는 단계를 더 포함하는, 원자 현미경의 프로브 종류를 인식하기 위한 방법.

Images