KR20230103393A - 선택적 z축 스캐닝을 포함하는 슬라이드 이미징 장치 및 방법 - Google Patents

Abstract

본 발명은 선택적 Z축 스캐닝을 포함하는 슬라이드 이미징 장치 및 방법을 제공한다. 상기 슬라이드 이미징 방법은 XY 스테이지를 초기 위치로 이동하는 단계; 슬라이드 또는 샘플을 저배율 촬영하는 단계; 상기 XY 스테이지를 다음 위치로 이동하고 저배율 촬영이 종료하는 지를 판단하는 단계; 상기 저배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 저배율 촬영하는 단계로 되돌아가는 단계; 상기 저배율 촬영이 종료하였으면, 고배율 촬영 유무 판단 네트워크를 이용하여 고배율 촬영 유무를 판단하는 단계; 고배율 촬영이 필요하면, 상기 XY 스테이지를 초기 위치로 이동하는 단계; 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계; 상기 XY 스테이지를 다음 위치로 이동하고 고배율 촬영이 종료하는 지를 판단하는 단계; 상기 고배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계로 되돌아가는 단계; 및 상기 고배율 촬영이 종료하였으면, 이미지들의 정합을 수행하여 전체 슬라이드 이미지를 생성하는 단계를 포함할 수 있다.

Description

선택적 Z축 스캐닝을 포함하는 슬라이드 이미징 장치 및 방법{ Slide imaging apparatus and method including selective Z-axis scanning}

본 발명은 병리 슬라이드 전체 영역을 초고해상도 디지털 이미지로 변환하는 전체 슬라이드 이미징(WSI: whole slide imaging) 장치에 관한 것으로, 상세하게는 세포 또는 조직의 두께가 대물렌즈의 초점 심도를 벗어날 경우 발생하는 아웃-포커스 문제를 효율적으로 해결하는 방법에 관한 것이다.

병리학(pathology)은 세포 또는 조직의 시각적 해석을 기반으로 병변을 진단하는 학문분야이며, 주로 광학 현미경으로 세포 또는 조직을 육안 검사하여 병의 원인을 분석/판별한다. 병리학에서 사용하는 광학 현미경은 세포 또는 조직을 고분해능을 촬영하기 위해 10배율 이상의 고배율 대물렌즈(objective lens)를 사용한다.

대물렌즈의 배율 증가는 샘플의 고분해능 이미지 촬영을 가능하게 하지만, 증가 비율만큼 시야각(FOV: field of view)이 좁아지기 때문에 사용자는 샘플의 일부분만을 관찰할 수 있다. 최근 슬라이드 전체 영역을 “자동으로” 촬영하는 전체 슬라이드 이미징(WSI: whole slide imaging) 장치가 광학 현미경을 대신할 병리학 분야의 영상 촬영 기기로 각광받고 있다.

전체 슬라이드 이미징 장치는 XY 스테이지를 통해 슬라이드 전체 영역을 자동으로 스캔하고 정합(stitching)하여 한 장의 고분해능 디지털 슬라이드 이미지를 생성한다. 시야각 문제 해결을 위해 고안된 전체 슬라이드 이미징 장치는 아날로그(병리 슬라이드)를 디지털 이미지로 전환하는 디지털 병리학의 핵심 기술 중 하나로 손꼽히며, 이런 이유로 인해 최근 다양한 제품들이 소개되고 있다.

고배율 대물렌즈를 사용하는 (광학 현미경을 포함해서) 전체 슬라이드 이미징 장치는 광학적 한계(대물렌즈의 초점 심도)로 인해 검사 대상인 세포 또는 조직의 두께가 두꺼운 경우 해당 영역이 흐릿하게 촬영되는 문제점이 있다.

흐릿하게 촬영되는 아웃-포커스 문제를 해결하기 위해 기존 제품들은 “Z-Stack” 기능을 제공한다. Z-Stack 기능은 Z축 스테이지를 통해 미리 정의된 초점 범위를 스캔하며 촬영한 N개의 전체 슬라이드 이미지를 사용자에게 제공한다. N개의 이미지는 초점 범위 내에서 서로 다른 초점 위치에서 촬영한 이미지를 제공하기 때문에 초점 심도 확장 효과를 제공한다.

Z-Stack 기능은 아웃-포커스 문제 해결에 효과적이지만, 촬영해야 할 초점 범위에 비례해서 스캔 시간과 파일 용량(저장 공간)이 증가하는 문제점을 가지고 있다. 스캔 시간 증가는 시간 당 스캔할 수 있는 슬라이드 수가 줄어들기 때문에 생산성 저하의 원인이 되고, 파일 용량 증가는 슬라이드 하나 당 차지하는 데이터 공간이 늘어나기 때문에 데이터 유지비용 증가의 원인이 된다.

결론적으로 대물렌즈의 초점 심도 한계로 인해 흐릿하게 촬영되는 아웃-포커스를 해결하면서 동시에 스캔 시간과 저장 공간을 최소화할 수 있는 방법이 필요하다.

본 발명은 선택적 Z축 스캐닝을 통해 아웃-포커스 문제 해결과 동시에 스캔 시간 및 저장 공간을 최소화하는 방법에 관한 것으로, 초점 심도가 상대적으로 깊은 저배율 대물렌즈를 통해 전체 영역을 촬영한 후 필요한 영역에 대해서만 고배율 대물렌즈와 Z축 스캐닝을 통해 정밀 촬영을 진행하는 방법을 제공한다.

본 발명의 일 실시예에 따른 슬라이드 이미징 방법은 XY 스테이지를 초기 위치로 이동하는 단계; 슬라이드 또는 샘플을 저배율 촬영하는 단계; 상기 XY 스테이지를 다음 위치로 이동하고 저배율 촬영이 종료하는 지를 판단하는 단계; 상기 저배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 저배율 촬영하는 단계로 되돌아가는 단계; 상기 저배율 촬영이 종료하였으면, 고배율 촬영 유무 판단 네트워크를 이용하여 고배율 촬영 유무를 판단하는 단계; 고배율 촬영이 필요하면, 상기 XY 스테이지를 초기 위치로 이동하는 단계; 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계; 상기 XY 스테이지를 다음 위치로 이동하고 고배율 촬영이 종료하는 지를 판단하는 단계; 상기 고배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계로 되돌아가는 단계; 및 상기 고배율 촬영이 종료하였으면, 이미지들의 정합을 수행하여 전체 슬라이드 이미지를 생성하는 단계를 포함할 수 있다.

상기 고배율 촬영 유무 판단 네트워크는 상기 저배율 촬영된 이미지가 입력되는 입력층, 고배율 촬영이 필요한 지의 여부를 판단하는 복수개의 콘볼루션 블록, 및 상기 고배율 촬영 여부 판단 결과가 출력되는 출력되는 출력층을 포함할 수 있다.

상기 복수개의 콘볼루션 블록 각각은 콘볼루션(convolution) 연산부, 배치 정규화(Batch Normalization) 연산부, 및 ReLU(Rectified Linear Unit) 연산부를 포함할 수 있다.

상기 고배율 촬영 여부 판단 결과는 NxM 크기 배열 또는 매트릭스 형태를 가지며, 상기 배열 또는 매트릭스의 요소는 고배율 촬영이 필요하면 1의 값을 가지고, 고배율 촬영이 필요하지 않으면 0의 값을 가질 수 있다.

본 발명의 일 실시예에 따른 슬라이드 이미징 장치는 저배율로 슬라이드를 확대하는 제1 대물렌즈; 고배율로 상기 슬라이드를 확대하는 제2 대물렌즈; X축 및 Y축으로 상기 슬라이드를 선형 이동하도록 구동되는 XY 스테이지; Z축으로 상기 제2 대물렌즈를 선형 이동하도록 구동되는 Z축 스테이지; 슬라이드 이미징 방법을 수행하기 위한 하나 이상의 루틴을 저장하는 메모리; 및 상기 메모리 내에 저장된 하나 이상의 루틴을 실행하도록 구성된 처리 구성요소를 포함하고, 상기 하나 이상의 루틴은 상기 처리 구성요소에 의해 실행될 때, XY 스테이지를 초기 위치로 이동하는 동작, 슬라이드 또는 샘플을 저배율 촬영하는 동작, 상기 XY 스테이지를 다음 위치로 이동하고 저배율 촬영이 종료하는 지를 판단하는 동작, 상기 저배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 저배율 촬영하는 단계로 되돌아가는 동작, 상기 저배율 촬영이 종료하였으면, 고배율 촬영 유무 판단 네트워크를 이용하여 고배율 촬영 유무를 판단하는 동작, 고배율 촬영이 필요하면, 상기 XY 스테이지를 초기 위치로 이동하는 동작, 상기 슬라이드 또는 샘플을 고배율 촬영하는 동작, 상기 XY 스테이지를 다음 위치로 이동하고 고배율 촬영이 종료하는 지를 판단하는 동작, 상기 고배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계로 되돌아가는 동작, 상기 고배율 촬영이 종료하였으면, 이미지들의 정합을 수행하여 전체 슬라이드 이미지를 생성하는 동작이 수행되도록 할 수 있다.

본 발명에 따르면, 저배율 대물렌즈와 고배율 대물렌즈를 동시에 활용하는 전체 슬라이드 이미징 기술을 제공함으로써, 모든 영역이 아닌 필요한 영역에 대해서만 Z축 스캐닝을 수행하기 때문에 아웃-포커스 문제 해결뿐만 아니라 스캔 시간을 최소화할 수 있으며, 필요한 영역에 대해서만 Z축 스캔 이미지를 저장하기 때문에 저장공간 역시 최소화할 수 있는 장점이 있다.

도 1은 본 발명에 따른 선택적 Z축 스캐닝을 포함하는 슬라이드 이미징 장치의 기본 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 슬라이드 이미지를 생성하는 방법에 대한 순서도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 고배율 촬영 유무 판단 네트워크의 개략도(schematic drawing)를 도시한다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

이하, 첨부된 도면을 바탕으로 본 발명에 의한 코인 적립 시스템의 바람직한 실시예에 대해 설명한다.

도 1은 본 발명에 따른 선택적 Z축 스캐닝을 포함하는 전체 슬라이드 이미징 장치의 기본 구성을 나타낸 도면이다.

슬라이드 이미징 장치(100)는 슬라이드 상에 배치된 샘플(세포 또는 조직)의 하나 이상의 이미지를 생성할 수 있다.

도 1을 참조하면, 슬라이드 이미징 장치(100)는 크게 저배율 대물렌즈(110), 고배율 대물렌즈(120), Z축 스테이지(130), XY 스테이지(140)로 구성된다. 또한, 슬라이드 이미징 장치(100)는 본 발명의 슬라이드 이미징 방법을 수행하기 위한 하나 이상의 루틴을 저장하는 메모리 및 상기 메모리 내에 저장된 하나 이상의 루틴을 실행하도록 구성된 처리 구성요소를 포함할 수 있다.

저배율 대물렌즈(110)는 저배율로 슬라이드를 확대할 수 있다. 고배율 대물렌즈(120)는 고배율로 슬라이드를 확대할 수 있다. XY 스테이지(140)는 X축 및 Y축으로 슬라이드를 선형 이동하도록 구동될 수 있다. Z축 스테이지(130)는 Z축으로 고배율 대물렌즈(120)를 선형 이동하도록 구동될 수 있다.

대물렌즈(110, 120)는 관찰하고자 하는 샘플(세포 또는 조직)을 확대해서 보여주는 역할을 수행한다. 일 실시예에서 저배율 대물렌즈(110)는 10배율 대물렌즈로 구현될 수 있으며, 고배율 대물렌즈(120)는 40배율 대물렌즈로 구현될 수 있다. 특정 실시예에서, 샘플은 병리학 또는 조직학 기술을 사용하여 분석을 위한 조직 샘플과 같은 생물학적 샘플일 수도 있다. 다른 경우에, 샘플은 집적 회로칩 또는 마이크로전기기계 시스템(MEMS)과 같은 산업용 물품일 수도 있다. 예로서, 이러한 샘플은 약 5 미크론 내지 약 7 미크론으로 평균화하는 두께를 가질 수도 있고, 수 미크론만큼 변동할 수도 있다. 이러한 샘플의 예는 또한 대략 15 mm×15 mm의 측면 표면적을 가질 수 도 있다.

저배율 대물렌즈(110)는 전체 슬라이드 영역을 보다 빠르게 촬영하기 위해 사용된다. 고배율 대물렌즈(120)는 보다 정밀한 샘플 촬영을 위해 사용될 수 있다.

예컨대, 10배율 대물렌즈(110) 및 40배율 대물렌즈(120)를 비교하면, 10배율 대물렌즈(110)로 촬영한 이미지의 시야각이 40배율 대물렌즈(120)로 촬영한 이미지의 시야각과 비교해서 약 16배(가로 4배, 세로 4배) 넓기 때문에 저배율 대물렌즈(110)를 통해 대략 16배 빠르게 전체 영역을 촬영할 수 있다. 또한, 10배율 대물렌즈(110)로 촬영한 이미지의 한 픽셀이 40배율 대물렌즈(120)로 촬영한 이미지의 4x4 픽셀과 동일한 범위를 촬영하기 때문에 16배(가로 4배, 세로 4배) 정밀하게 촬영할 수 있다.

XY 스테이지(140)는 대물렌즈의 한계점 중 하나인 시야각을 확장하기 위해 사용하며, 슬라이드 전체 영역을 자동으로 스캔하기 위해 세포 또는 조직이 도포된 병리 슬라이드를 X축 또는 Y축으로 이동하는 역할을 수행한다. Z축 스테이지(130)는 고배율 대물렌즈의 한계점인 초점 범위 확장을 위해 사용하며, 대물렌즈의 초점 위치를 이동하는 역할을 수행한다.

또한, 슬라이드 이미징 장치(100)는 도시되지 않았지만, 슬라이드 상에 위치한 샘플의 이미지를 생성하는 이미지 센서 또는 카메라 및 Z축 스테이지(130) 및 XY 스테이지(140)의 위치를 조정하는 위치 제어기 또는 구동부를 포함할 수 있다.

이미지 센서 또는 카메라는 이미지가 취득될 때에 각각의 시야에 대응하는 샘플의 하나 이상의 이미지를 생성한다. 특정 실시예에서, 이미지 센서는 상업적으로 입수 가능한 전하 결합 소자(CCD)와 같은 임의의 적합한 디지털 이미징 장치일 수도 있다.

위치 제어기는 샘플과 관련하여 다수의 이미지의 순차적인 취득을 허용하기 위해, 압전 액추에이터로 구현될 수 있다. 위치 제어기는 미세한 모터 제어를 가지며 저배율 대물렌즈(110) 또는 고배율 대물렌즈(120)에 대한 신속한 작은 시야 조정을 제공하고 그리고/또는 슬라이드 또는 슬라이드가 위치되는 XY 스테이지의 위치를 조정할 수 있다. 또한, 위치 제어기는 Z축으로 고배율 대물렌즈(120)의 위치를 조정할 수 있다.

일 실시예에서, 고배율 대물렌즈(120)는 약 200 미크론 내지 약 수 밀리미터의 범위의 거리만큼 Z-방향으로 샘플로부터 이격될 수도 있다. 이해될 수 있는 바와 같이, 용례에 따라, 작업 거리, 시야, 및 초점 평면은 슬라이드 이미징 장치(100)의 구성 및/또는 이미징된 샘플의 특성에 따라 다양할 수도 있다.

샘플은 커버 슬립과 슬라이드 사이에 배치될 수 있다. 샘플, 커버 슬립, 및 슬라이드는 XY 스테이지(140) 상에 위치된다. 커버 슬립 및 슬라이드는 유리와 같은 투명 재료로 제조될 수도 있다. 특정 실시예에서, 슬라이드 이미징 장치(100)는 자동화 슬라이드 스캔 시스템의 부분일 수도 있고, 이미징을 위해 슬라이드를 이송하여 로딩하는 것이 가능한 자동화 슬라이드 이송기를 포함할 수도 있다.

한편, 슬라이드 이미징 장치(100)는 고속 이미징 장치로서 구성될 수도 있다. 이러한 고속 이미징 장치는 샘플의 더 많은 수의 디지털 이미지를 신속하게 캡처하도록 구성될 수도 있고, 각각의 이미지는 샘플의 특정 시야에 대응한다. 특정 용례에서, 이미지와 연계된 특정 시야는 전체 샘플의 단지 제한된 분율만을 표현할 수도 있다. 또한, 이미지의 시퀀스와 연계된 각각의 시야는 서로 인접할 수도 있고 또는 서로 중첩할 수도 있다. 이러한 실시예의 예에서, 슬라이드(28)는 인접한 또는 중첩하는 영역에서 반복적으로 이미징되고 또는 이미지 취득 영역, 즉 시야를 통해 주사 스윕(scanning sweep)으로 통과된다. 이러한 실시예에서, 이미지가 취득되고, XY 스테이지(140)는 인접한 또는 중첩 영역이 시야 내로 이동되는 위치로 X 및 Y방향으로 진행되고, 다른 이미지가 취득될 수 있다.

도 2는 본 발명에 따른 2개의 대물렌즈(110, 120)와 XY 스테이지(130), Z축 스테이지(140)를 활용하여 전체 슬라이드 이미지를 생성하는 방법에 대한 순서도를 보여준다.

본 발명의 일 실시예에 따른 슬라이드 이미지 생성 방법은 크게 저배율 대물렌즈(110)로 전체 영역을 대략적으로 빠르게 촬영하는 단계들과 고배율 대물렌즈(120)와 Z축 스캐닝으로 필요한 영역을 정밀 촬영하는 단계들로 구성된다. 상기 슬라이드 이미지 생성 방법은 전체 영역 중 필요한 영역에 대해서만 정밀 촬영을 진행하며, 진행 여부 판단을 위해 고배율 촬영 유무 평가 단계를 포함할 수 있다.

구체적으로 도 2를 참조하면, 슬라이드 상에 배치된 샘플 또는 슬라이드의 전체 영역을 대략적으로 빠르게 촬영하기 위해, 단계 211에서 저배율 대물렌즈(110)를 통해 샘플의 초기 위치를 촬영할 수 있게 XY 스테이지(140)를 이동한다. 초기 위치의 일예는 슬라이드의 좌상단 또는 우상단이 될 수 있다.

이어서, 단계 212에서 초기 위치에서 샘플의 이미지를 촬영한다. 그런 다음, 단계 213에서 저배율 대물렌즈(110)를 통해 샘플의 다음 위치를 촬영할 수 있게 XY 스테이지(140)를 이동한다. 그에 따라, XY 스테이지(140) 상의 슬라이드가 이동하여, 샘플의 다음 위치를 촬영할 수 있게 된다.

단계 214에서 샘플에 대한 저배율 촬영이 종료되는 지를 판단하고, 저배율 촬영이 종료되지 않았으면 단계 212로 되돌아가 샘플의 이미지를 촬영한다.

이러한 방식으로 저배율로 전체 슬라이드 영역을 촬영할 수 있도록 저배율 촬영이 종료될 때까지 XY 스테이지(140)의 이동(단계 213)과 슬라이드의 촬영(단계 212)을 반복적으로 수행한다. 만약 슬라이드 전체 영역에 대한 저배율 촬영이 완료되면 단계 220로 진행한다.

단계 220에서는 고배율 촬영 유무가 평가된다. 구체적으로, 저배율 촬영이 완료된 후 촬영된 이미지 중 고배율 대물렌즈(120)와 Z축 스테이지(130)를 통해 정밀 촬영이 필요한지 판단할 수 있다. 만약 정밀 촬영이 필요한 샘플 또는 슬라이드의 영역이 있다고 판단되면, 해당 영역에 대해 고배율 촬영을 진행할 수 있다.

구체적으로, 고배율 촬영이 필요하다고 판단되면, 단계 231에서 샘플 또는 슬라이드의 초기 위치로 XY 스테이지(140)를 이동한다. 그런 다음, 단계 232에서 해당 위치에 대한 고배율 촬영이 필요한 지를 확인한다.

슬라이드 또는 샘플의 해당 위치에서의 고배율 촬영이 필요하다고 판단되면, 단계 S233에서 Z축 스테이지(140)를 이용하여 미리 정의된 초점 범위 내에서 여러 장의 이미지를 순차적으로 촬영한다.

그런 다음, 단계 234에서 고배율 대물렌즈(120)를 통해 샘플의 다음 위치를 촬영할 수 있게 XY 스테이지(140)를 이동한다. 그에 따라, XY 스테이지(140) 상의 슬라이드가 이동하여, 샘플의 다음 위치를 촬영할 수 있게 된다.

단계 235에서 샘플에 대한 고배율 촬영이 종료되는 지를 판단하고, 고배율 촬영이 종료되지 않았으면 단계 32로 되돌아간다.

이러한 방식으로 고배율로 슬라이드 또는 샘플의 전체 영역을 촬영할 수 있도록 고배율 촬영이 종료될 때까지 XY 스테이지(140)의 이동(단계 233)과 슬라이드의 촬영(단계 234)을 반복적으로 수행한다. 만약 슬라이드 또는 샘플에 대한 고배율 촬영이 완료되면 단계 236으로 진행한다. 슬라이드 전체 영역에 대한 영상 촬영이 완료되면 단계 236에서 이미지들의 정합이 수행되며, 그에 따라 단계 237에서 전체 슬라이드 이미지가 생성될 수 있다.

한편, 고배율 촬영 유무 판단을 위해 다양한 스캔환경에서 수집된 학습 데이터로부터 네트워크를 트레이닝(training)할 수 있다.

도 3은 본 발명의 일 실시예에 따른 고배율 촬영 유무 판단 네트워크의 개략도(schematic drawing)를 도시한다.

도 3을 참조하면, 고배율 촬영 유무 판단 네트워크(300)는 이미지 분류에 사용되는 합성공 신경망(CNN: convolutional neural network) 구조를 가진다. 고배율 촬영 유무 판단 네트워크(300)는 크게 입력층(310)과 출력층(320) 그리고 N개의 콘볼루션 블록(330)으로 구성된다.

각각의 콘볼루션 블록(330)은 콘볼루션(convolution layer, Conv) 연산부, 배치 정규화(Batch Normalization)(BN) 연산부, ReLU 연산부으로 구성된다.

고배율 촬영 유무 판단 네트워크(300)는 저배율 대물렌즈(110)로 촬영한 이미지를 입력층(310)을 통해 입력받고, 입력 이미지에 대해 고배율 촬영해야 하는 지를 판단하고 판단 결과를 출력한다. 예컨대, 판단 결과는 고배율 촬영이 필요하면 1의 값을 가지고, 고배율 촬영이 필요하지 않으면 0의 값을 가질 수 있다.

출력층(320)은 구체적으로 NxM 크기 배열 또는 매트릭스를 출력하며, 배열 또는 매트릭스의 각 요소(elememt)는 입력 이미지의 일부 영역을 고배율 촬영해야 하는지를 나타낸다. 예를 들어, 10배율 대물렌즈(저배율)과 40배율 대물렌즈(고배율)을 사용할 경우 4x4 크기의 배열을 출력할 수 있다.

고배율 촬영 유무 판단 네트워크(300)의 출력값은 Z축 스캔 이미지 저장 유무를 나타내기 때문에 전체 슬라이드 이미지와 함께 파일로 저장하며 이미지 뷰어 소프트웨어를 통해 전체 슬라이드 이미지를 시각화할 때 같이 사용한다. 이미지 뷰어 소프트웨어에서 Z축 스캔 이미지가 저장된 위치에서 마우스 휠과 같은 입력이 주어졌을 때 해당 초점에 대한 이미지를 사용자에게 제공할 수 있다.

이와 같이, 본 발명은 저배율 대물렌즈와 고배율 대물렌즈를 동시에 활용하는 전체 슬라이드 이미징 기술을 소개하였으며, 모든 영역이 아닌 필요한 영역에 대해서만 Z축 스캐닝을 수행하기 때문에 아웃-포커스 문제 해결뿐만 아니라 스캔 시간을 최소화할 수 있으며, 필요한 영역에 대해서만 Z축 스캔 이미지를 저장하기 때문에 저장공간 역시 최소화할 수 있는 장점이 있다.

이와 같이, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 슬라이드 이미징 장치
110: 저배율 대물렌즈
120: 고배율 대물렌즈
130: Z축 스테이지
140: XY 스테이지

Claims (5)

1. XY 스테이지를 초기 위치로 이동하는 단계;
   슬라이드 또는 샘플을 저배율 촬영하는 단계;
   상기 XY 스테이지를 다음 위치로 이동하고 저배율 촬영이 종료하는 지를 판단하는 단계;
   상기 저배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 저배율 촬영하는 단계로 되돌아가는 단계;
   상기 저배율 촬영이 종료하였으면, 고배율 촬영 유무 판단 네트워크를 이용하여 고배율 촬영 유무를 판단하는 단계;
   고배율 촬영이 필요하면, 상기 XY 스테이지를 초기 위치로 이동하는 단계;
   상기 슬라이드 또는 샘플을 고배율 촬영하는 단계;
   상기 XY 스테이지를 다음 위치로 이동하고 고배율 촬영이 종료하는 지를 판단하는 단계;
   상기 고배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계로 되돌아가는 단계;
   상기 고배율 촬영이 종료하였으면, 이미지들의 정합을 수행하여 전체 슬라이드 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 슬라이드 이미징 방법.
2. 제1항에 있어서,
   상기 고배율 촬영 유무 판단 네트워크는
   상기 저배율 촬영된 이미지가 입력되는 입력층,
   고배율 촬영이 필요한 지의 여부를 판단하는 복수개의 콘볼루션 블록, 및
   상기 고배율 촬영 여부 판단 결과가 출력되는 출력되는 출력층을 포함하는 것을 특징으로 하는 슬라이드 이미징 방법.
3. 제2항에 있어서,
   상기 복수개의 콘볼루션 블록 각각은 콘볼루션(convolution) 연산부, 배치 정규화(Batch Normalization) 연산부, 및 ReLU(Rectified Linear Unit) 연산부를 포함하는 것을 특징으로 하는 슬라이드 이미징 방법.
4. 제3항에 있어서,
   상기 고배율 촬영 여부 판단 결과는 NxM 크기 배열 또는 매트릭스 형태를 가지며,
   상기 배열 또는 매트릭스의 요소는 고배율 촬영이 필요하면 1의 값을 가지고, 고배율 촬영이 필요하지 않으면 0의 값을 가지는 것을 특징으로 하는 슬라이드 이미징 방법.
5. 슬라이드 이미징 장치에 있어서,
   저배율로 슬라이드를 확대하는 제1 대물렌즈;
   고배율로 상기 슬라이드를 확대하는 제2 대물렌즈;
   X축 및 Y축으로 상기 슬라이드를 선형 이동하도록 구동되는 XY 스테이지;
   Z축으로 상기 제2 대물렌즈를 선형 이동하도록 구동되는 Z축 스테이지;
   슬라이드 이미징 방법을 수행하기 위한 하나 이상의 루틴을 저장하는 메모리; 및
   상기 메모리 내에 저장된 하나 이상의 루틴을 실행하도록 구성된 처리 구성요소를 포함하고,
   상기 하나 이상의 루틴은 상기 처리 구성요소에 의해 실행될 때,
   XY 스테이지를 초기 위치로 이동하는 동작,
   슬라이드 또는 샘플을 저배율 촬영하는 동작,
   상기 XY 스테이지를 다음 위치로 이동하고 저배율 촬영이 종료하는 지를 판단하는 동작,
   상기 저배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 저배율 촬영하는 단계로 되돌아가는 동작,
   상기 저배율 촬영이 종료하였으면, 고배율 촬영 유무 판단 네트워크를 이용하여 고배율 촬영 유무를 판단하는 동작,
   고배율 촬영이 필요하면, 상기 XY 스테이지를 초기 위치로 이동하는 동작,
   상기 슬라이드 또는 샘플을 고배율 촬영하는 동작,
   상기 XY 스테이지를 다음 위치로 이동하고 고배율 촬영이 종료하는 지를 판단하는 동작,
   상기 고배율 촬영이 종료하지 않았으면 상기 슬라이드 또는 샘플을 고배율 촬영하는 단계로 되돌아가는 동작,
   상기 고배율 촬영이 종료하였으면, 이미지들의 정합을 수행하여 전체 슬라이드 이미지를 생성하는 동작이 수행되도록 하는 슬라이드 이미징 장치.

Images