KR102509460B1

KR102509460B1 - 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법

Info

Publication number: KR102509460B1
Application number: KR1020200160530A
Authority: KR
Inventors: 안정훈; 조용성; 박상일
Original assignee: 파크시스템스 주식회사
Priority date: 2020-11-25
Filing date: 2020-11-25
Publication date: 2023-03-14
Also published as: KR20220072963A

Abstract

본 발명의 실시예에 따른 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 원자 현미경의 목표 위치를 인식하기 위한 장치는, 탐침이 배치되도록 구성된 캔틸레버(Cantilever); 상기 캔틸레버의 상면을 촬영하는 촬영부; 및 상기 캔틸레버, 상기 구동부 및 상기 촬영부와 동작 가능하게 연결된 제어부를 포함하고, 상기 제어부는, 상기 촬영부를 통해서 촬영된 영상을 기초로 상기 캔틸레버를 인식하도록 학습된 인식 모델을 이용하여 상기 영상으로부터 상기 캔틸레버를 인식한 결과 데이터를 획득하고, 상기 획득된 결과 데이터를 이용하여 상기 캔틸레버에서 목표 위치를 산출하도록 구성되고, 상기 결과 데이터는, 상기 캔틸레버의 경계를 포함하는 바운딩 박스(bounding box)를 나타낸 바운딩 박스 데이터, 및 상기 캔틸레버와 상기 캔틸레버가 아닌 객체를 분할한 분할 데이터(segmentation data) 중 적어도 하나를 포함한다.

Description

원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법{APPARATUS AND METHOD FOR IDENTIFING TARGET POSITION IN ATOMIC FORCE MICROSCOPE}

본 발명은 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법에 관한 것이다.

일반적으로 주사 탐침 현미경(Scanning Probe Microscope, SPM)은 캔틸레버(cantilever)라고 하는 작은 막대에 달린 나노 크기의 탐침(probe)이 시료 표면에 근접할 때 시료와 탐침 사이에 상호작용하는 물리량을 측정하는 장치를 의미한다. 이러한 주사 탐침 현미경은 주사 터널 현미경(Scanning Tunneling Microscope, STM) 및 원자힘 현미경(Atomic Force Microscope, AFM)(이하, '원자 현미경'이라고 함)을 포함할 수 있다.

여기서, 원자 현미경은 원자 현미경에 구비된 광학부의 레이저 광이 캔틸레버의 탐침에 대응하는 위치에 조사되고, 이로 인해 캔틸레버가 휘어짐에 따라 탐침이 시료의 표면을 스캔(scan)함으로써, 시료 표면의 형상(또는 굴곡)을 이미지화한 시료 이미지를 획득할 수 있다.

이와 같이 시료 이미지를 획득하기 위해서는 캔틸레버가 시료를 스캔하기 적합한 목표 위치를 정확하게 인식할 필요가 있으나, 캔틸레버의 제조사에 따라 크기와 모양이 다양하여 이러한 목표 위치를 정확하게 인식하기 어렵다는 문제점이 있다.

따라서, 원자 현미경에서 목표 위치를 정확하게 인식하기 위한 장치 및 방법이 요구된다.

본 발명이 해결하고자 하는 과제는 원자 현미경에서 목표 위치를 산출하기 위한 장치 및 방법을 제공하는 것이다.

구체적으로, 본 발명이 해결하고자 하는 과제는 캔틸레버의 크기와 모양에 상관없이 목표 위치를 정확하게 인식하기 위한 장치 및 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법이 제공된다.

본 발명의 실시예에 따른 원자 현미경에서 목표 위치를 인식하기 위한 장치는, 탐침이 배치되도록 구성된 캔틸레버(Cantilever); 상기 캔틸레버의 상면을 촬영하는 촬영부; 및 상기 캔틸레버, 상기 구동부 및 상기 촬영부와 동작 가능하게 연결된 제어부를 포함하고, 상기 제어부는, 상기 촬영부를 통해서 촬영된 영상을 기초로 상기 캔틸레버를 인식하도록 학습된 인식 모델을 이용하여 상기 영상으로부터 상기 캔틸레버를 인식한 결과 데이터를 획득하고,상기 획득된 결과 데이터를 이용하여 상기 캔틸레버에서 목표 위치를 산출하도록 구성되고, 상기 결과 데이터는, 상기 캔틸레버의 경계를 포함하는 바운딩 박스(bounding box)를 나타낸 바운딩 박스 데이터, 및 상기 캔틸레버와 상기 캔틸레버가 아닌 객체를 분할한 분할 데이터(segmentation data) 중 적어도 하나를 포함한다.

본 발명의 실시예에 따른 원자 현미경의 제어부에 의해서 수행되는 목표 위치를 인식하기 위한 방법은, 촬영부를 통해서 탐침이 배치되도록 구성된 캔틸레버(Cantilever)의 상면을 촬영하는 단계; 상기 촬영부를 통해서 촬영된 영상을 기초로 상기 캔틸레버를 인식하도록 학습된 인식 모델을 이용하여 상기 영상으로부터 상기 캔틸레버를 인식한 결과 데이터를 획득하는 단계; 및 상기 획득된 결과 데이터를 이용하여 상기 캔틸레버에서 목표 위치를 산출하는 단계를 포함하고, 상기 결과 데이터는, 상기 캔틸레버의 경계를 포함하는 바운딩 박스(bounding box)를 나타낸 바운딩 박스 데이터, 및 상기 캔틸레버와 상기 캔틸레버가 아닌 객체를 분할한 분할 데이터(segmentation data) 중 적어도 하나를 포함한다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 원자 현미경의 캔틸레버를 인식하도록 학습된 인공신경망 모델을 이용함으로써, 캔틸레버의 크기와 모양에 상관없이 목표 위치를 정확하게 인식할 수 있다.

또한, 본 발명은 상술한 인공신경망 모델을 이용함으로써, 탐침의 위치에 대응하는 목표 위치를 인식하기 위한 연산 속도를 빠르게 하여 원자 현미경의 인식 성능을 향상시킬 수 있다.

또한, 본 발명은 원자 현미경의 탐침 위치에 대응하는 목표 위치를 인식하여 광학부의 레이저 광이, 캔틸레버가 시료를 스캔하기 적합한 목표 위치에 조사되도록 캔틸레버의 위치를 자동적으로 조정할 수 있다.

본 발명에 따른 효과는 이상에서 예시한 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1a 및 도 1b는 본 발명의 실시예에 따른 원자 현미경 시스템을 설명하기 위한 개략도들이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따라 캔틸레버의 위치를 인식하기 위해 이용되는 학습된 인식 모델을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 바운딩 박스 데이터를 이용하여 목표 위치를 산출하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 분할 데이터를 이용하여 목표 위치를 산출하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 원자 현미경 시스템에서 캔틸레버의 목표 위치를 산출하기 위한 방법을 설명하기 위한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1a 및 도 1b는 본 발명의 실시예에 따른 원자 현미경 시스템을 설명하기 위한 개략도들이다. 제시된 실시에에서 도 1a는 원자 현미경 시스템이 일체화된 경우를 설명하기 위한 개략도이고, 도 1b는 원자 현미경 시스템이 원자 현미경 및 이를 구동 및 제어하는 전자 장치를 포함하는 경우를 설명하기 위한 개략도이다.

먼저, 원자 현미경 시스템이 일체화된 경우를 도 1a를 참조하여 설명하도록 한다.

도 1a를 참조하면, 원자 현미경 시스템(100)은 시료의 표면적 특성을 원자 단위로 이미지화하여 분석 및 관찰할 수 있도록 하기 위한 현미경 장치로, 하면에 탐침(115)이 배치된 캔틸레버(110), 캔틸레버(110)를 움직이도록 구동하는 제1 구동부(120), 탐침(115)에 대응하는 캔틸레버(110) 상면의 위치에 레이저 광을 조사하는 광학부(130), 조사된 위치에서 반사된 레이저 광의 위치를 검출하는 광학 검출부(140), 시료(155)가 장착되고, 시료(155)를 스캔하도록 구동하는 제2 구동부(150), 캔틸레버(110)의 상면을 촬영하기 위한 촬영부(160), 이들을 제어하는 제어부(170) 및 시료(155)의 표면 특성을 나타낸 시료 이미지를 표시하는 표시부(180)를 포함한다.

원자 현미경 시스템(100)의 제어부(170)는 제2 구동부(150)를 통해 시료(155)를 스캔하면서, 적층된 피에조(stacked piezo)와 같은 Z 스캐너(미도시) 또는 튜브 스캐너(tube scanner, 미도시)를 통해 캔틸레버(110) 하면에 배치된 탐침(115)이 시료(155) 표면을 추종하면서 스캔하도록 한다. 탐침(115)이 시료(155) 표면을 스캔하는 동안 탐침(115)과 시료(155) 표면 사이의 원자 간 상호작용이 일어나게 되고, 탐침(115)을 시료(155) 표면쪽으로 끌어당기는 인력 및/또는 밀어내는 척력이 발생되어 캔틸레버(110)가 위아래로 휘어지게 된다.

여기서, 제1 구동부(120)는 후술할 바와 같이 캔틸레버(110) 표면에 맺히는 레이저 광의 스팟의 위치를 변경시킬 수 있도록, 캔틸레버(110)를 이동시키는 구동부이다. 제1 구동부(120)는 상술한 미도시된 Z 스캐너나 튜브 스캐너와 별도로 구비되는 것이 일반적이지만, 통합적으로 구성되는 것을 배제하는 것은 아니다. 또한, 제1 구동부(120), 미도시된 Z 스캐너나 튜브 스캐너 이외에 상대적으로 큰 변위로 촬영부(160)와 캔틸레버(110) 간의 위치를 변동시킬 수 있는 Z 스테이지(미도시)가 더 구비될 수 있다.

한편, 제1 구동부(120)는 도 1a 및 도 1b에서는 캔틸레버(110)에 직접 연결되는 것으로 도시되나, 이는 설명의 편의를 위한 것으로 다른 구성을 매개하여 캔틸레버(110)와 연결될 수 있다.

광학부(130)는 캔틸레버(110) 상면에서 탐침(115)에 대응하는 목표 위치에 레이저 광을 조사하고, 이에 따라 캔틸레버(110)로부터 반사된 레이저 광은 PSPD(Position Sensitive Position Detector)와 같은 광학 검출부(140)에 맺힌다. 이에 따라 캔틸레버(110)의 휘어짐 또는 뒤틀림은 광학 검출부(140)에 맺힌 레이저 광의 스팟의 움직임을 검출함으로써 측정될 수 있으며, 시료(155) 표면의 정보가 얻어질 수 있다. 제어부(170)는 이와 같이 생성된 시료 이미지를 표시부(180)를 통해 표시할 수 있다.

여기서, 목표 위치는 캔틸레버(110)가 시료를 스캔하기 위해 적합하게 구동될 수 있는 위치일 수 있다. 예를 들어, 목표 위치는 캔틸레버(110)의 하면에 배치된 탐침(115)의 위치에 대응하는 상면의 위치, 캔틸레버(110)가 시료를 스캔하기 위해 적합하게 구동될 수 있는 기 설정된 위치 또는 원하는 위치일 수 있으나, 이에 한정되지 않는다. 원자 현미경의 제조사에 따라 광학부에서 조사되는 레이저 광의 스팟 모양 또는 스팟 크기가 다양하고, 캔틸레버의 구동을 위해 레이저 광이 조사되는 위치가 다양할 수 있으므로, 상술한 목표 위치는 이를 바탕으로 다양한 위치가 될 수 있다.

이처럼 시료 이미지를 획득하기 위해서는 광학부(130)의 레이저 광이 탐침(115)에 대응하는 목표 위치에 정확하게 조사될 필요가 있으며, 이를 위해 캔틸레버(110) 상면에서 탐침(115)에 대응하는 목표 위치를 인식할 필요가 있다. 그러나, 캔틸레버(110)는 제조사에 따라 또는 측정 용도에 따라 다양하게 구비될 수 있으므로, 이를 정확하게 인식하기 위한 방법이 요구된다.

탐침(115)에 대응하는 캔틸레버(110) 상면의 위치를 정확하게 인식하기 위해 제어부(170)는 촬영부(160)를 통해 캔틸레버(110)의 상면을 촬영하고, 촬영부(160)를 통해서 촬영된 영상에 기반하여 캔틸레버(110)를 인식할 수 있다.

여기서, 촬영부(160)는 대물렌즈, 경통 및 CCD 카메라가 포함되어 구성될 수 있으며, 대물렌즈 및 CCD 카메라는 경통에 결합됨으로써 대물렌즈에 의해 광학적으로 확대된 상이 CCD 카메라에 의해 촬영될 수 있도록 구성될 수 있다. 이러한 구체적 구성은 공지의 구성으로서, 도 1a 및 1b에서는 도시 생략하였음에 유의해야 한다.

구체적으로, 촬영된 영상에 기반하여 캔틸레버(110)를 인식하기 위해 제어부(170)는 캔틸레버(110)를 다양한 환경에서 촬영한 복수의 참조 영상(또는 학습 영상)을 기초로 캔틸레버(110)를 인식하도록 학습된 인식 모델을 이용할 수 있다. 여기서, 복수의 참조 영상은 캔틸레버(110) 주변의 조명 세기, 및/또는 촬영부(160)의 초점 거리(즉, 카메라 및/또는 대물렌즈의 초점 거리) 등의 일정하게 변화시키면서 촬영된 영상일 수 있다.

인식 모델은 복수의 참조 영상을 미리 학습하고, 새롭게 입력되는 영상으로부터 캔틸레버를 인식하도록 구성된 인공신경망 모델일 수 있다. 다양한 실시예에서 인식 모델은 미리 학습된 합성곱 신경망(CNN: Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다. 미리 학습된 합성곱 신경망은 입력된 입력 값에 대해 합성곱(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성될 수 있으며, 입력값으로부터 합성곱 연산을 수행하여 출력값을 추론할 수 있다. 예를 들어, 미리 학습된 합성곱 신경망은 복수의 인공신경망 네트워크 스테이지에서 분류(classification) 동작, 객체의 경계를 포함하는 바운딩 박스(bounding box)를 설정(또는 조정)하기 위한 회귀(bounding box regression) 동작, 및 객체와 객체가 아닌 배경을 분할(segmentation)하기 위한 바이너리 마스킹(binary masking) 동작을 병행하는 Mask R-CNN(Regions with Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다.

이러한 인식 모델은 하나의 스테이지가 분류 동작 및 회귀 동작을 수행하여 클래스 라벨(class label) 데이터 및 바운딩 박스 데이터를 출력하고, 다른 하나의 스테이지가 바이너리 마스킹 동작을 수행하여 분할 데이터를 출력할 수 있다.

제어부(170)는 이와 같이 출력된 데이터 중 바운딩 박스 데이터 및 분할 데이터를 이용하여 캔틸레버(110) 상면에서 탐침(115)에 대응하는 위치를 산출할 수 있다.

제어부(170)는 광학부(130)의 레이저 광이 산출된 위치에 조사되도록 캔틸레버(110) 및/또는 광학부(130)의 위치를 조정할 수 있다. 여기서, 캔틸레버(110)의 위치는 제1 구동부(120)에 의해 조정될 수 있고, 광학부(130)의 위치 조정을 위해서 별도의 구동 장치가 더 구비될 수 있다.

이러한 인식 모델을 처리하기 위해 제어부(170)는 뉴럴 프로세싱 유닛(Neural Processing Unit, NPU)(175)을 포함할 수 있다. NPU(175)는 AI 칩셋(또는 AI 프로세서) 또는 AI 가속기(AI accelerator)일 수 있다. 다시 말해서, NPU(175)는 인공신경망 수행에 최적화된 프로세서 칩에 해당할 수 있다.

다양한 실시예에서 캔틸레버(110)를 인식하기 위해 합산기, 누산기, 메모리 등이 NPU(175)에 하드웨어적으로 구현될 수 있다. 또한, NPU(175)는 원자 현미경 시스템(100)과 독립된(stand-alone) 장치로서 구현될 수 있으나, 이에 한정되지 않는다.

도 1b를 참조하면, 원자 현미경 시스템(100)은 탐침(115)이 배치된 캔틸레버(110), 제1 구동부(120), 광학부(130), 광학 검출부(140), 시료(155)가 장착되는 제2 구동부(150), 및 촬영부(160)를 포함하고, 이들을 제어하기 위한 전자 장치(200)가 별도로 구비될 수 있다.

전자 장치(200)는 원자 현미경 시스템(100)을 제어하고, 캔틸레버(110)의 탐침(115) 위치를 인식 및 조정하기 위한 태블릿 PC(Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.

이러한 전자 장치(200)는 캔틸레버(110)의 탐침(115)이 배치된 위치에 광학부(130)의 레이저 광이 조사되도록 촬영부(160)를 통해서 캔틸레버(110) 상면을 촬영한 영상을 수신하고, 수신된 영상을 기초로 캔틸레버(110)를 인식할 수 있다. 캔틸레버(110)를 인식하기 위해 상술한 인식 모델을 이용할 수 있으나, 이에 한정되지 않는다.

전자 장치(200)는 인식된 캔틸레버(110)에서 탐침(115)에 대응하는 위치를 산출하고, 산출된 위치에 광학부(130)의 레이저 광이 조사되도록 하기 위한 지시를 원자 현미경 시스템(100)으로 전달할 수 있다.

이를 통해 본 발명은 원자 현미경의 캔틸레버를 인식하도록 학습된 인공신경망 모델을 이용함으로써, 캔틸레버의 크기와 모양에 상관없이 목표 위치를 정확하게 인식할 수 있고, 원자 현미경의 빔 정렬(beam alignment)을 자동화할 수 있다.

하기에서는 도 2를 참조하여 전자 장치(200)에 대해서 보다 구체적으로 설명하도록 한다.

도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.

도 2를 참조하면, 전자 장치(200)는 통신부(210), 표시부(220), 저장부(230) 및 제어부(240)를 포함한다.

통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 원자 현미경 시스템(100)과 연결되어 원자 현미경 시스템(100)의 구동 및 제어에 관련된 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 원자 현미경 시스템(100)의 제1 구동부(120), 광학부(130), 광학 검출부(140), 제2 구동부(150), 및 촬영부(160)의 구동 및 제어를 위한 지시를 전달하거나, 촬영부(160)를 통해 촬영된 영상을 수신할 수 있다. 또한, 통신부(210)는 원자 현미경 시스템(100)으로부터 시료 이미지를 수신할 수 있다.

표시부(220)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부(220)는 원자 현미경 시스템(100)으로부터 수신된 시료 이미지를 표시할 수 있다.

다양한 실시예에서 표시부(220)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.

저장부(230)는 원자 현미경 시스템(100)의 구동 및 제어하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

제어부(240)는 통신부(210), 표시부(220), 및 저장부(230)와 동작 가능하게 연결되며, 원자 현미경 시스템(100)을 제어하고, 캔틸레버(110)의 목표 위치를 인식하기 위한 다양한 명령들을 수행할 수 있다.

제어부(240)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공신경망 프로세서(NPU)(245) 중 적어도 하나를 포함하도록 구성될 수 있다.

구체적으로, 제어부(240)는 통신부(210)를 통해 원자 현미경 시스템(100)의 촬영부(160)를 통해 캔틸레버(110)의 상면을 촬영한 영상을 수신하고, 수신된 영상을 기초로 인식 모델을 이용하여 영상으로부터 캔틸레버(110)를 인식할 수 있다. 다시 말해서, 제어부(240)는 인식 모델을 통해서 인식된 캔틸레버(110)에 관한 결과 데이터를 획득할 수 있다. 이러한 결과 데이터는 상술한 바와 같이 바운딩 박스 데이터 및 분할 데이터를 포함할 수 있다.

다양한 실시예에서, 인식 모델은 외부의 서버에 저장되어 제어부(240)는 통신부(210)를 통해 서버로 영상을 송신하고, 외부의 서버에서 산출된 결과 데이터를 수신하도록 구성될 수도 있다.

제어부(240)는 바운딩 박스 데이터 및 분할 데이터 중 적어도 하나를 이용하여 목표 위치를 산출하고, 산출된 목표 위치에 레이저 광이 조사되도록 캔틸레버(110) 및/또는 광학부(130)의 구동을 조정하기 위한 지시를 원자 현미경 시스템(100)으로 전달할 수 있다.

이와 같이 인식 모델을 이용하여 캔틸레버(110)를 인식하는 동작은 NPU(245)에 의해서 수행될 수 있다.

하기에서는 도 3 내지 도 5를 참조하여 캔틸레버(110)를 인식하고, 인식 결과에 따라 캔틸레버(110)의 탐침(115) 위치를 산출하기 위한 방법을 구체적으로 설명하도록 한다.

도 3은 본 발명의 실시예에 따라 캔틸레버의 위치를 인식하기 위해 이용되는 학습된 인식 모델을 설명하기 위한 예시도이다.

도 3을 참조하면, 학습된 인식 모델(300)은 복수의 인공신경망 스테이지를 포함할 수 있다.

구체적으로, 학습된 인식 모델(300)은 합성곱 신경망(315), 영역 제안 신경망(Region Proposal Network)(325), 관심 영역 정렬 신경망(ROI(Region Of Interest) Align Network)(340) 및 복수의 전결합 신경망(Fully Connected Network)(350, 355)를 포함할 수 있다. 여기서, 복수의 전결합 신경망은 제1 전결합 신경망(350) 및 제2 전결합 신경망(355)을 포함한다.

촬영부(160)를 통해 촬영된 캔틸레버(110)의 영상(310)이 인식 모델(300)의 입력값으로서 입력되면 인식 모델(300)은 영상에서 특징을 추출하기 위한 합성곱 연산을 수행하는 합성곱 신경망(315)을 통해 특징 데이터(Feature Map)(320)를 획득할 수 있다.

이러한 특징 데이터(320)는 캔틸레버(110)가 포함된다고 예상되는 후보 영역을 제안하기 위한 영역 제안 신경망(325)으로 입력된다. 인식 모델(300)은 영역 제안 신경망(325)을 통해 특징 데이터(320)에서 캔틸레버(110)가 포함된다고 예상되는 후보 영역(Region Proposal) 및 이에 대한 점수(objectness score)를 포함하는 데이터(330)를 획득할 수 있다.

인식 모델(300)은 합성곱 신경망(315)을 통해 출력된 특징 데이터(320) 및 영역 제안 신경망(325)을 통해 출력된 데이터(330)에 기반하여 후보 영역 데이터(335)를 획득할 수 있다. 여기서, 후보 영역 데이터(335)는 특징 데이터(320)에서 캔틸레버(110)가 포함된다고 예상되는 적어도 하나의 후보 영역에 대응하여 추출된 데이터일 수 있다. 적어도 하나의 후보 영역은 예측된 객체의 형태에 따라 다양한 크기를 가질 수 있다.

이러한 후보 영역 데이터(335)는 선형 보간(linear interpolation)을 이용하여 고정된 크기로 변환시키기 위한 관심 영역 정렬 신경망(340)으로 입력된다. 여기서, 고정된 크기는 n x n 형태일 수 있으나(n>0), 이에 한정되지 않는다.

인식 모델(300)은 관심 영역 조정 신경망(340)을 통해 n x n 형태의 관심 영역 데이터(345)를 출력할 수 있다. 이때, 관심 영역 데이터(345)는 선형 보간을 이용하여 후보 영역 데이터(335)를 고정된 크기로 정렬시킨 데이터일 수 있으나, 이에 한정되지 않는다.

이러한 관심 영역 데이터(345)는 제1 전결합 신경망(350) 및 제2 전결합 신경망(355) 각각에 입력된다. 여기서, 제1 전결합 신경망(350)은 복수의 전결합 층(Fully Connected Layer)를 포함할 수 있으나, 이에 한정되지 않는다. 제2 전결합 신경망(355)은 오토 인코더(Auto Encoder) 구조가 추가된 마스크 브랜치 네트워크(mask branch network) 또는 적어도 하나의 전결합층(또는 합성곱층)일 수 있으나, 이에 한정되지 않는다. 여기서 이용된 오토 인코더는 입력 데이터에 노이즈(noise)를 추가한 후 노이즈가 없는 원본 입력을 재구성하여 출력하도록 학습된 인코더로서, 인식 모델(300)의 분할 성능을 향상시킬 수 있다.

인식 모델(300)은 제1 전결합 신경망(350)을 통해 분류 데이터(360) 및 바운딩 박스 데이터(365)를 출력하고, 제2 전결합 신경망(355)을 통해 분할 데이터(370)를 출력할 수 있다. 예를 들어, 바운딩 박스 데이터(365)는 캔틸레버를 포함하는 바운딩 박스를 나타내는 이미지이고, 분할 데이터(370)는 캔틸레버와, 캔틸레버가 아닌 배경을 나타내는 이미지일 수 있다.

이와 같이 출력된 바운딩 박스 데이터(365) 및 분할 데이터(370)는 캔틸레버(110)의 탐침(115) 위치를 산출하기 위해 이용될 수 있다.

다양한 실시예에서 인식 모델의 인식 정확도를 향상시키기 위해 결과 데이터의 주변을 클러스터링하는 후처리 방식(post processing)이 이용될 수 있다. 예를 들어, 클러스터링 방식은 CRF(Conditional Random Field) 및/또는 Chan-Vese 알고리즘 등이 이용될 수 있으나, 이에 한정되지 않는다.

이와 같이 학습된 인식 모델을 이용함으로써, 본 발명은 탐침의 위치를 인식하기 위한 연산 속도를 빠르게 하여 원자 현미경의 인식 성능을 향상시킬 수 있다.

하기에서는 도 4를 참조하여 바운딩 박스 데이터를 이용하여 캔틸레버(110)의 목표 위치를 산출하기 위한 방법을 구체적으로 설명하도록 한다.

도 4는 본 발명의 실시예에 따른 바운딩 박스 데이터를 이용하여 캔틸레버의 목표 위치를 산출하는 방법을 설명하기 위한 예시도이다. 제시된 실시예에서 방법은 도 1a의 제어부(170) 또는 도 2의 제어부(240)에 의해서 수행될 수 있다. 하기에서는 도 1a의 제어부(170)에서 수행되는 것으로 설명하도록 한다.

도 4를 참조하면, 바운딩 박스 데이터(400)는 캔틸레버(410)를 포함하는 직사각형의 바운딩 박스(420)를 포함한다. 바운딩 박스(420)의 좌측 상단의 제1 꼭지점(430) 좌표 (x1, y1) 및 우측 하단의 제2 꼭지점(440) 좌표 (x2, y2)는 목표 위치를 산출하기 위해 이용될 수 있다.

구체적으로, 제어부(170)는 목표 위치(450)를 나타내는 좌표 (x, y)를 산출하기 위해 x를 산출하기 위한 수식 '(x1+x2)/2' 및 y를 산출하기 위한 수식 'y1 + (y2 - y1) * ratio'를 이용할 수 있다(0<ratio<1, default ratio = 4/5).

이와 같이 좌표 (x, y)가 산출되면 제어부(170)는 산출된 좌표 (x, y)에 광학부(130)의 레이저 광이 조사되도록 캔틸레버(110) 및/또는 광학부(130)의 위치를 조정할 수 있다.

이를 통해 본 발명은 원자 현미경의 빔 정렬을 자동화할 수 있다.

하기에서는 도 5를 참조하여 분할 데이터를 이용하여 캔틸레버(110)의 목표 위치를 산출하기 위한 방법을 구체적으로 설명하도록 한다.

도 5는 본 발명의 실시예에 따른 분할 데이터를 이용하여 캔틸레버의 목표 위치를 산출하는 방법을 설명하기 위한 예시도이다. 제시된 실시예에서 방법은 도 1a의 제어부(170) 또는 도 2의 제어부(240)에 의해서 수행될 수 있다. 하기에서는 도 1a의 제어부(170)에서 수행되는 것으로 설명하도록 한다.

도 5의 (a)를 참조하면, 분할 데이터(500)는 캔틸레버를 나타내는 참(True)값 및 캔틸레버를 제외한 객체, 즉 배경을 나타내는 거짓(false)값을 포함할 수 있다.

제어부(170)는 참값 및 거짓값을 기반으로 분할 데이터(500)를 이진화하여 도 5의 (b)와 같이 이진화 데이터(510)를 생성할 수 있다.

제어부(170)는 도 5의 (c)와 같이 이진화 데이터(510)에서 외곽선(520)을 추출할 수 있다. 외곽선을 추출하기 위해 제어부(170)는 캐니 에지 검출 알고리즘(Canny Edge) 및/또는 OpenCV의 findcontour 함수를 이용할 수 있으나, 이에 한정되지 않는다.

제어부(170)는 추출된 외곽선(520)에 기반하여 도 5의 (d)와 같이 바운딩 박스(530)를 생성할 수 있다. 바운딩 박스(530)는 추출된 외곽선이 포함되도록 직사각형의 형태로 생성될 수 있다.

제어부(170)는 생성된 바운딩 박스(530) 좌측 상단의 제1 꼭지점의 좌표 및 우측 상단 제2 꼭지점의 좌표를 이용하여 탐침의 위치를 산출할 수 있으며, 구체적인 산출 방법은 도 4에서 설명한 바와 같이 수행될 수 있다.

하기에서는 도 6을 참조하여 원자 현미경 시스템에서 캔틸레버의 목표 위치를 산출하기 위한 방법을 설명하도록 한다.

도 6은 본 발명의 실시예에 따른 원자 현미경 시스템에서 캔틸레버의 목표 위치를 산출하기 위한 방법을 설명하기 위한 흐름도이다. 하기에서 서술하는 동작들은 도 1a의 제어부(170) 또는 도 2의 제어부(240)에 의해서 수행될 수 있다. 하기에서는 도 1a의 제어부(170)에서 수행되는 것으로 설명하도록 한다.

도 6을 참조하면, 제어부(170)는 촬영부(160)를 통해 탐침(115)이 배치된 캔틸레버(110)를 촬영하고(S600), 촬영된 영상을 기초로 캔틸레버(110)를 인식하도록 학습된 인식 모델을 이용하여 영상으로부터 캔틸레버(110)를 인식한 결과 데이터를 획득한다(S610). 여기서, 결과 데이터는 캔틸레버(110)의 경계를 포함하는 바운딩 박스를 나타낸 바운딩 박스 데이터, 및 캔틸레버(110)와 캔틸레버(110)가 아닌 객체(예: 배경)를 분할한 분할 데이터를 포함할 수 있다.

제어부(170)는 획득된 결과 데이터를 이용하여 캔틸레버(110)에서 목표 위치를 산출한다(S620). 구체적으로, 제어부(170)는 바운딩 박스 데이터를 이용하여 목표 위치를 산출하거나, 분할 데이터를 이용하여 목표 위치를 산출할 수 있다.

바운딩 박스 데이터를 이용하는 경우 제어부(170)는 바운딩 박스를 이루는 복수의 꼭지점에 대한 좌표값을 이용하여 목표 위치를 산출할 수 있다.

분할 데이터를 이용하는 경우 제어부(170)는 분할 데이터를 이진화하여 이진화 데이터를 획득하고, 획득된 이진화 데이터를 이용하여 캔틸레버(110)의 외곽선을 검출할 수 있다. 제어부(170)는 검출된 외곽선을 포함하는 바운딩 박스를 생성하고, 생성된 바운딩 박스를 이루는 복수의 꼭지점에 대한 좌표값을 이용하여 목표 위치를 산출할 수 있다.

이와 같이 목표 위치가 산출되면 제어부(170)는 목표 위치에 광학부(130)의 레이저 광이 조사되도록 제1 구동부(120)를 통해 캔틸레버(110)의 위치를 조정할 수 있다. 또한, 별도의 구동장치에 의해 광학부(130)의 위치가 조정될 수도 있다.

이를 통해서 본 발명은 원자 현미경의 캔틸레버를 인식하도록 학습된 인공신경망 모델을 이용함으로써, 캔틸레버의 크기와 모양에 상관없이 캔틸레버가 시료를 스캔하기 적합한 목표 위치를 정확하게 인식할 수 있다.

본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 원자 현미경 시스템 170: 제어부
110: 캔틸레버 175: NPU
115: 탐침 180: 표시부
120: 제1 구동부 200: 전자 장치
130: 광학부 210: 통신부
140: 광학 검출부 220: 표시부
150: 제2 구동부 230: 저장부
155: 시료 240: 제어부
160: 촬영부 245: NPU

Claims

탐침이 배치되도록 구성된 캔틸레버(Cantilever);
상기 캔틸레버의 상면을 촬영하는 촬영부; 및
상기 캔틸레버 및 상기 촬영부와 동작 가능하게 연결된 제어부를 포함하고,
상기 제어부는,
상기 촬영부를 통해서 촬영된 영상을 기초로 상기 캔틸레버를 인식하도록 학습된 인식 모델을 이용하여 상기 영상으로부터 상기 캔틸레버를 인식한 결과 데이터를 획득하고,
상기 획득된 결과 데이터를 이용하여 상기 캔틸레버에서 목표 위치를 산출하도록 구성되고,
상기 획득된 결과 데이터는, 상기 캔틸레버의 경계를 포함하는 바운딩 박스(bounding box)를 나타낸 바운딩 박스 데이터, 및 상기 캔틸레버와 상기 캔틸레버가 아닌 객체를 분할한 분할 데이터(segmentation data) 중 적어도 하나를 포함하며,
상기 인식 모델은,
상기 촬영된 영상을 기초로 추출되는 특징 데이터를 입력으로 하여 상기 캔틸레버를 포함하는 것으로 예상되는 적어도 하나의 후보 영역에 대한 후보 영역 데이터를 출력하도록 구성된 영역 제안 신경망 계층,
상기 후보 영역 데이터를 입력으로 하여 미리 설정된 크기의 데이터로 정렬시킨 관심 영역 데이터를 출력하도록 구성된 관심 영역 조정 신경망 계층,
상기 관심 영역 데이터를 입력으로 하여 상기 바운딩 박스 데이터를 출력하도록 구성된 제1 전결합 신경망 계층, 및
상기 관심 영역 데이터를 입력으로 상기 분할 데이터를 출력하도록 구성된 제2 전결합 신경망 계층, 을 포함하도록 구성되는, 원자 현미경의 목표 위치를 인식하기 위한 장치.
제1항에 있어서, 상기 캔틸레버의 표면에 레이저 광을 조사하도록 구성된 광학부; 및
상기 캔틸레버의 위치를 조정하도록 구성된 구동부를 더 포함하고,
상기 제어부는, 상기 산출된 목표 위치에 상기 광학부의 레이저 광이 조사되도록 상기 구동부를 통해 상기 캔틸레버의 위치를 조정하도록 구성되는, 원자 현미경의 목표 위치를 인식하기 위한 장치.
제1항에 있어서, 상기 캔틸레버의 표면에 레이저 광을 조사하도록 구성된 광학부를 더 포함하고,
상기 제어부는, 상기 산출된 목표 위치에 상기 광학부의 레이저 광이 조사되도록 상기 광학부의 위치를 조정하도록 구성되는, 원자 현미경의 목표 위치를 인식하기 위한 장치.
제1항에 있어서, 상기 인식 모델은,
상기 캔틸레버의 주변 환경에 관한 복수의 참조 영상을 이용하여 상기 캔틸레버를 인식하도록 학습된 인공신경망 모델인, 원자 현미경의 목표 위치를 인식하기 위한 장치.
제4항에 있어서, 상기 복수의 참조 영상은,
상기 캔틸레버 주변의 조명 세기, 및 상기 촬영부의 초점 거리 중 적어도 하나를 변화시키면서 촬영된 영상인, 원자 현미경의 목표 위치를 인식하기 위한 장치.
제1항에 있어서, 상기 제어부는,
상기 바운딩 박스를 이루는 복수의 꼭지점에 대한 좌표값을 이용하여 상기 목표 위치를 산출하도록 구성되는, 원자 현미경의 목표 위치를 인식하기 위한 장치.
제1항에 있어서, 상기 제어부는,
상기 분할 데이터를 이진화하여 이진화 데이터를 획득하고, 상기 획득된 이진화 데이터를 이용하여 상기 캔틸레버의 외곽선을 검출하고, 상기 검출된 외곽선을 포함하는 바운딩 박스를 생성하고, 상기 생성된 바운딩 박스를 이루는 복수의 꼭지점에 대한 좌표값을 이용하여 상기 목표 위치를 산출하도록 구성되는, 원자 현미경의 목표 위치를 인식하기 위한 장치.
원자 현미경의 제어부에 의해서 수행되는 목표 위치를 인식하기 위한 방법에 있어서,
촬영부를 통해서 탐침이 배치되도록 구성된 캔틸레버(Cantilever)의 상면을 촬영하는 단계;
상기 촬영부를 통해서 촬영된 영상을 기초로 상기 캔틸레버를 인식하도록 학습된 인식 모델을 이용하여 상기 영상으로부터 상기 캔틸레버를 인식한 결과 데이터를 획득하는 단계; 및
상기 결과 데이터를 이용하여 상기 캔틸레버에서 상기 목표 위치를 산출하는 단계를 포함하고,
상기 획득된 결과 데이터는, 상기 캔틸레버의 경계를 포함하는 바운딩 박스(bounding box)를 나타낸 바운딩 박스 데이터, 및 상기 캔틸레버와 상기 캔틸레버가 아닌 객체를 분할한 분할 데이터(segmentation data) 중 적어도 하나를 포함하며,
상기 인식 모델은,
상기 촬영된 영상을 기초로 추출되는 특징 데이터를 입력으로 하여 상기 캔틸레버를 포함하는 것으로 예상되는 적어도 하나의 후보 영역에 대한 후보 영역 데이터를 출력하도록 구성된 영역 제안 신경망 계층,
상기 후보 영역 데이터를 입력으로 하여 미리 설정된 크기의 데이터로 정렬시킨 관심 영역 데이터를 출력하도록 구성된 관심 영역 조정 신경망 계층,
상기 관심 영역 데이터를 입력으로 하여 상기 바운딩 박스 데이터를 출력하도록 구성된 제1 전결합 신경망 계층, 및
상기 관심 영역 데이터를 입력으로 상기 분할 데이터를 출력하도록 구성된 제2 전결합 신경망 계층, 을 포함하도록 구성되는, 목표 위치를 인식하기 위한 방법.
제8항에 있어서,
상기 산출된 목표 위치에 광학부의 광이 조사되도록 상기 캔틸레버의 위치를 조정하는 단계를 더 포함하는, 목표 위치를 인식하기 위한 방법.
제8항에 있어서,
상기 산출된 목표 위치에 광학부의 광이 조사되도록 상기 광학부의 위치를 조정하는 단계를 더 포함하는, 목표 위치를 인식하기 위한 방법.
제8항에 있어서, 상기 인식 모델은,
상기 캔틸레버의 주변 환경에 관한 복수의 참조 영상을 이용하여 상기 캔틸레버를 인식하도록 학습된 인공신경망 모델인, 목표 위치를 인식하기 위한 방법.
제11항에 있어서, 상기 복수의 참조 영상은,
상기 캔틸레버 주변의 조명 세기, 및 상기 촬영부의 초점 거리 중 적어도 하나를 변화시키면서 촬영된 영상인, 목표 위치를 인식하기 위한 방법.
제8항에 있어서, 상기 획득된 결과 데이터를 이용하여 상기 캔틸레버에서 상기 목표 위치를 산출하는 단계는,
상기 바운딩 박스를 이루는 복수의 꼭지점에 대한 좌표값을 이용하여 상기 목표 위치를 산출하는 단계인, 목표 위치를 인식하기 위한 방법.
제8항에 있어서, 상기 획득된 결과 데이터를 이용하여 상기 캔틸레버에서 상기 목표 위치를 산출하는 단계는,
상기 분할 데이터를 이진화하여 이진화 데이터를 획득하는 단계;
상기 획득된 이진화 데이터를 이용하여 상기 캔틸레버의 외곽선을 검출하는 단계;
상기 검출된 외곽선을 포함하는 바운딩 박스를 생성하는 단계; 및
상기 생성된 바운딩 박스를 이루는 복수의 꼭지점에 대한 좌표값을 이용하여 상기 목표 위치를 산출하는 단계를 포함하는, 목표 위치를 인식하기 위한 방법.