KR101781670B1 - 현미경 슬라이드 좌표 시스템 등록 - Google Patents

Abstract

다양한 이미징 스테이션의 좌표를 매핑하는 시스템, 방법 및 컴퓨터 프로그램 제품들이 개시된다. 일부 실시 예에서, 생물학적 시료(specimen)(112)의 세포들(예를 들어, 적혈구들)은 이미징 스테이션들(120a, 120b) 간의 매핑 정보를 결정하기 위해 사용될 수 있다. 이러한 세포들의 사용은 하나의 이미징 스테이션(120b)에 의해 얻은 타겟(target) 이미지(예를 들어, 생물학적 시료(specimen) 의 세포들의 서브-영역(sub-region)의 이미지)를 다른 이미징 스테이션(120a)에 의해 얻은 참조 이미지(예를 들어, 상기 서브-영역 또한 포함하는 생물학적 시료의 세포들의 보다 큰 영역을 보여주는 이미지)에 패턴 매칭되도록 한다. 상기 타겟 이미지가 참조 이미지와 매칭되면, 타겟 이미지와 참조 이미지 간의 점대점(point by point) 대응(그리고 이에 따른 좌표)은 이미징 스테이션들을 매핑하기 위하여 좌표 변환을 계산하기 위해 설정될 수 있다.

Description

현미경 슬라이드 좌표 시스템 등록{MICROSCOPE SLIDE COORDINATE SYSTEM REGISTRATION}

본 출원의 주제는 일반적으로 이미지 처리에 관련되어 있다.

현미경 광학 장비(microscope optics), 카메라, 동력 스테이지 및 컴퓨터 제어 시스템을 포함하는 자동화된 이미징 시스템은 현미경 슬라이드에 놓여진 생물학적 시료로부터 세포들의 이미지들을 자동적으로 획득할 수 있다. 그리고 시스템은 관심 세포들을 인식하기 위하여 이러한 이미지들을 처리할 수 있다. 이러한 세포들은, 예를 들면, 수동 검토를 위한 특정 관심 세포들을 제공하기 위하여 또는 그러한 세포들의 보다 높은 배율의 이미지를 획득하기 위하여, 추후에 다시 찾아지는 것이 필요할 수 있다. 이렇게 다시 찾는 것은 별개의 이미징 스테이션에서 자주 발생한다. 제1 이미징 스테이션에서 발견된 관심 세포들에 대응되는 스테이지 위치들에 대하여, 제2 이미징 스테이션은 추후의 검토를 위하여 바로 그 세포들을 재배치 하여야 한다.

두 이미징 스테이션의 좌표 시스템이 동일하면, 제2 스테이션은 자신의 스테이지를 제1 이미징 스테이션상의 세포에 대하여 보고된 스테이지 위치로 간단히 이동할 수 있고, 상기 세포는 제2 이미징 스테이션의 시계 영역(field of view)의 중앙에 위치할 수 있다. 그러나, 스테이지와 스테이지간 차이 또는 특정 이미징 스테이션에 슬라이드가 어떻게 장착되고(loaded) 고정되는(secured) 지에 따른 부정확에 따라, 두 상이한 이미징 스테이션의 동일한 스테이지 좌표들은 이미징 스테이션 광학 장비(optics)의 시계 영역내에 제공된 시료의 서로 상이한 지역에 빈번히 대응된다. 이미징 스테이션의 이동가능한 스테이지에 위치한 슬라이드가 조금 기울어지거나(skewed) 또는 슬라이드 홀더에 적절히 넣어지지 않았을 때 에러가 발생할 수 있다. 더하여, 상기 스테이지의 공칭 영 위치(nominal zero position)가 스테이지 홈 스위치들의 불일치에 기인하여 날마다 서서히 변할 때 에러는 발생할 수 있다. 제2 이미징 스테이션에서의 높은 배율의 시계 영역은 시료 전역에 걸쳐 밀리미터의 10분의 1보다 작을 수 있기 때문에 이러한 종류의 작은 에러들은 극적인 효과를 가진다. 그러한 양의 절반 조차의 에러도 이미지에서 관심 세포를 이탈시키는데(displace) 충분하다. 따라서, 슬라이드의 포지셔닝에 관한 어떠한 에러라도 측정하고 바로잡는 것은 각 슬라이드에 대하여 유용하다.

전통적으로, 이미징 시스템에 사용되거나 수동 검토에 사용되는 현미경 슬라이드는 스테이지에 독립적인 슬라이드를 위한 표준 좌표 시스템을 설정하는 그들에 표시된 “기점 마크(fiducial marks)”를 하나 또는 그 이상 가진다. 각각의 이미징 스테이션에서, 이미징 시스템은 그 마크들을 슬라이드에 위치시키고 그들의 좌표의 차이는 제1 이미징 스테이션의 좌표들을 제2 이미징 스테이션의 좌표들로 전환하는데 적용될 수 있는 변환을 결정하는데 사용된다. 이러한 방법은 효과적이나, 슬라이드에 프린트된 특별한 마크를 필요로 하고 이는 슬라이드의 생산 가격을 잠재적으로 증가시킨다. 게다가, 기점 마크가 이미지에 위치하기 이전에 몇몇의 위치를 찾는 것이 필연적이기 때문에 이러한 방법은 시간 소모적이다. 이것은 시계 영역이 저 배율을 사용하는 이미징 스테이션에 비교하여 작기 때문에 고 배율에서 특히 어렵다. 따라서, 현미경 슬라이드 상에 미리 표시된 기점 마크의 사용 없이 하나의 이미징 스테이션의 시계 영역 또는 관심 목표에 대한 스테이지 좌표를 다른 이미징 스테이션에 대한 좌표로 옮기는 방법 및 시스템에 대한 요구가 존재한다.

미국 등록특허공보 US 6489625(2002.12.03 등록) 미국 등록특허공보 US 7940998(2011.05.10 등록)

둘 또는 이상의 이미징 스테이션의 스테이지 좌표들 사이의 좌표 변환을 결정하기 위해 기판(substrate)에 놓여진 생물학적 샘플의 세포들을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품들이 설명되어 있다.

특정 에러 소스를 최소화 하기 위한 목적으로 가능한 후보들의 보다 큰 셋에서 참조 이미지들을 선택하기 위한 방법 또한 제공된다.

더하여, 제2 이미지를 참조 이미지에 효과적으로 매칭하기 위한 방법이 개시된다.

상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 방법은 제 1 이미징 스테이션에서의 관심 오브젝트(Object of interest)를 위한 좌표에 기반하여 제2 이미징 스테이션에서의 관심 오브젝트를 재위치시키는 방법으로서, 상기 방법은 상기 제1 이미징 스테이션 상의 시료(specimen)의 참조 이미지 및 상기 제2 이미징 스테이션 상의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계; 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식(identifying)하는 단계; 상기 참조 이미지가 획득된 스테이지 좌표들에서 상기 제1 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 상기 제2 이미지가 획득된 스테이지 좌표들에서 상기 제2 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 및 상기 제1 이미징 스테이션의 상기 스테이지 좌표들을 상기 제2 이미징 스테이션의 상기 스테이지 좌표들로 변환하는 아핀 변환(affin transformation)을 계산하는 단계를 포함한다.

상기 방법은 상기 제1 이미징 스테이션에서 획득된 참조 이미지 및 상기 제2 이미징 스테이션에서 획득된 제2 이미지를 포함하는 제2 쌍의 이미지들을 획득하는 단계; 상기 제2 쌍의 이미지들에 대해, 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식하는 단계; 상기 제1 이미징 스테이션 및 상기 제2 이미징 스테이션의 제2 쌍의 이미지들에 관련된 상기 세포 그룹의 상기 스테이지 좌표들을 결정하는 단계; 및 상기 제1 및 제2쌍 이미지들에 기반하여 상기 아핀 변환을 계산하는 단계를 더 포함할 수 있다.

상기 제1 쌍의 이미지들을 획득하는 단계는, 상기 제1 이미징 스테이션에서 상기 시료를 스캔하는 동안 얻어진 복수의 참조 이미지 후보(candidate)에서 상기 참조 이미지를 선택하는 단계를 포함할 수 있다.

상기 방법은 복수의 참조 이미지 후보 각각에 적합 점수(suitability score)를 부여하는 단계; 및 가장 높은 적합 점수를 가진 참조 이미지 후보를 상기 참조 이미지로 선택하는 단계를 더 포함할 수 있다.

상기 적합 점수를 부여하는 단계는, 상기 참조 이미지 내에서 얻어진 미리 설정된 크기의 이미지가 유일하게 인식될 수 있는 세포들을 포함하는 확률에 대응하는 점수를 부여하는 단계를 포함할 수 있다.

상기 적합 점수를 부여하는 단계는, 각각의 참조 이미지 후보를 복수의 이미지 영역(image areas)으로 나누는 단계; 각각의 이미지 영역에서 세포가 없는 영역의 개수를 인식하는 단계; 및 상기 인식된 개수에 기반하여 상기 적합 점수를 부여하는 단계를 포함할 수 있다.

상기 방법은 상기 제 1 이미징 스테이션에서, 상기 스캔 중에 얻어진 상기 시료의 스캔 영역(scan area) 내의 각각의 복수의 미리 설정된 영역(regions)에서 상기 복수의 참조 이미지 후보를 획득하는 단계를 더 포함할 수 있다.

상기 방법은 상기 복수의 미리 설정된 영역을 인식하는 단계를 더 포함하고, 상기 복수의 미리 설정된 영역을 인식하는 단계는, 상기 시료의 상기 스캔 영역을 동일한 쐐기 부분(wedge segment)으로 분할하는 단계; 및 각각의 쐐기 부분에서 상기 스캔 영역의 중심 부분을 제거하는 단계를 포함할 수 있다.

상기 제2 이미지가 상기 참조 이미지에서 인식되는 상기 세포 그룹을 포함하지 않는 경우 상기 제2 이미지에 가까운 위치들의 상기 제2 이미징 스테이션에서 적어도 하나의 추가적 이미지를 획득하는 단계를 더 포함할 수 있다.

상기 참조 이미지 및 상기 제2 이미지 모두에 나타나는 세포 그룹을 인식하는 단계는, 상기 제2 이미지로부터 세포 중심점들(cell center points)의 배열을 인식하는 단계; 및 상기 제2 이미지로부터의 상기 세포 중심점들의 배열을 상기 참조 이미지에서의 세포 중심점들의 배열과 비교하는 단계를 더 포함할 수 있다.

상기 방법은 상기 제2 이미지로부터 배경 한 가운데의 점들(deep background point)의 배열을 인식하는 단계; 및 상기 제2 이미지로부터의 배경 한 가운데의 점들(deep background point)의 배열을 상기 참조 이미지에서의 배경 한 가운데의 점들의 배열과 비교하는 단계를 더 포함할 수 있다.

상기 제2 이미지에서의 세포 중심점들 및 배경 한 가운데의 점들의 배열을 상기 참조 이미지와 비교하는 단계는, 상기 세포 중심점들 및 배경 한 가운데의 점들의 배열들을 상기 참조 이미지에 대하여 적어도 두개의 오프셋(offset)에 위치시키는 단계; 상기 적어도 두개의 오프셋 각각에 대해 매칭 점수(matching score)를 계산하는 단계; 및 상기 매칭 점수에 기반하여 오프셋에 대해 매칭을 결정하는 단계를 포함할 수 있다.

각각의 오프셋에 대한 매칭 점수를 계산하는 단계는, 상기 참조 이미지의 거리 변환을 계산하는 단계; 상기 세포 중심점들의 배열에 대한 거리 변환 값들의 제1 합계를 계산하는 단계; 상기 배경 한 가운데의 점들의 배열에 대한 거리 변환 값들의 제2 합계를 계산하는 단계; 및 상기 매칭 점수를 계산하기 위해 상기 제1 합계에서 상기 제2 합계를 감산하는 단계를 포함할 수 있다.

또한, 상기한 문제를 해결하기 위한 본 발명의 일 실시 예들에 따른 시스템은 데이터 처리 장치; 및 상기 데이터 처리 장치와 데이터 통신을 하고 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 저장하는 메모리를 포함하며, 상기 실행시 상기 데이터 처리 장치가, 제1 이미징 스테이션 상의 시료(specimen)의 참조 이미지 및 제2 이미징 스테이션 상의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계; 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식(identifying)하는 단계; 상기 참조 이미지가 획득된 스테이지 좌표들에서 상기 제1 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표를 결정하는 단계; 상기 제2 이미지가 획득된 스테이지 좌표들에서 상기 제2 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 및 상기 제1 이미징 스테이션의 상기 스테이지 좌표들을 상기 제2 이미징 스테이션의 상기 스테이지 좌표들로 변환하는 아핀 변환(affin transformation)을 계산하는 단계를 포함하는 동작을 수행하게 한다.

상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행시 상기 데이터 처리 장치가, 상기 제1 이미징 스테이션에서 획득된 참조 이미지 및 상기 제2 이미징 스테이션에서 획득된 제2 이미지를 포함하는 제2 쌍의 이미지들을 획득하는 단계; 상기 제2 쌍의 이미지들에 대해, 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식하는 단계; 상기 제1 이미징 스테이션 및 상기 제2 이미징 스테이션의 제2 쌍의 이미지들에 관련된 상기 세포 그룹의 상기 스테이지 좌표를 결정하는 단계; 및 상기 제1 쌍 및 제2 쌍의 이미지들에 기반하여 상기 아핀 변환을 계산하는 단계를 포함하는 동작을 수행하게 할 수 있다.

상기 명령어들은 상기 데이터 처리 장치가 상기 제1 이미징 스테이션에서 상기 시료의 스캔 중에 얻어진 복수의 참조 이미지 후보에서 상기 참조 이미지를 획득하게 할 수 있다.

상기 메모리는 상기 데이터 처리 장치에 의해 수행될 수 있는 명령어들을 더 포함하고, 이러한 실행시 상기 데이터 처리 장치가 복수의 참조 이미지 후보 각각에 적합 점수(suitability score)를 부여하는 단계; 및 가장 높은 적합 점수를 가진 참조 이미지 후보를 상기 참조 이미지로 선택하는 단계를 포함하는 동작을 수행하게 할 수 있다.

상기 적합 점수는 상기 참조 이미지 내에서 얻어진 미리 설정된 크기의 이미지가 유일하게 인식될 수 있는 세포들을 포함하는 확률에 대응하는 점수를 포함할 수 있다.

상기 명령어들은 상기 데이터 처리 장치가 각각의 참조 이미지 후보를 복수의 이미지 영역(image areas)으로 나누고, 각각의 이미지 영역에서 세포가 없는 영역의 개수를 인식하고, 상기 인식된 개수에 기반하여 상기 적합 점수를 부여하게 할 수 있다.

상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가 상기 제 1 이미징 스테이션에서, 상기 스캔 중에 얻어진 상기 시료의 스캔 영역(scan area) 내의 각각의 복수 미리 설정된 영역에서 상기 복수의 참조 이미지 후보를 획득하는 단계를 포함하는 동작을 수행하게 할 수 있다.

상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가 상기 복수의 미리 설정된 영역을 인식하는 단계를 포함하는 동작을 수행하게 하며, 상기 복수의 미리 설정된 영역을 인식하는 단계는, 상기 시료의 상기 스캔 영역을 동일한 쐐기 부분(wedge segment)으로 분할하는 단계; 및 각각의 쐐기 부분에서 상기 스캔 영역의 중심 부분을 제거하는 단계를 포함할 수 있다.

상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가 상기 제2 이미지가 상기 참조 이미지에서 인식되는 상기 세포 그룹을 포함하지 않는 경우 상기 제2 이미지에 가까운 위치들의 상기 제2 이미징 스테이션에서 적어도 하나의 추가적 이미지를 획득하는 단계를 포함하는 동작을 수행하게 할 수 있다.

상기 명령어들은 상기 데이터 처리 장치가, 상기 제2 이미지로부터 세포 중심점들(cell center points)의 배열을 인식하고, 상기 제2 이미지로부터의 상기 세포 중심점들의 배열을 상기 참조 이미지에서의 세포 중심점들의 배열과 비교하는 동작을 수행하게 할 수 있다.

상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가 상기 제2 이미지로부터 배경 한 가운데의 점들(deep background point)의 배열을 인식하는 단계; 및 상기 제2 이미지로부터의 배경 한 가운데의 점들(deep background point)의 배열을 상기 참조 이미지에서의 배경 한 가운데의 점들의 배열과 비교하는 단계를 포함하는 동작을 수행하게 할 수 있다.

상기 명령어들은 상기 데이터 처리 장치가, 상기 세포 중심점들 및 배경 한 가운데의 점들의 배열들을 상기 참조 이미지에 대하여 적어도 두개의 오프셋(offset)에 위치시키고, 상기 적어도 두개의 오프셋 각각에 대해 매칭 점수(matching score)를 계산하고, 상기 매칭 점수에 기반하여 오프셋에 대해 매칭을 결정하는 동작을 수행하게 할 수 있다.

상기 명령어들은 상기 데이터 처리 장치가, 상기 참조 이미지의 거리 변환을 계산하고, 상기 세포 중심점들의 배열에 대한 거리 변환 값들의 제1 합계를 계산하고, 상기 배경 한 가운데의 점들의 배열에 대한 거리 변환 값들의 제2 합계를 계산하며 상기 매칭 점수를 계산하기 위해 상기 제1 합계에서 상기 제2 합계를 감산하는 동작을 수행하게 할 수 있다.

또한 상기한 문제를 해결하기 위한 본 발명의 일 실시 예에 따른 컴퓨터로 읽을 수 있는 매체는 저장된 명령어들을 가지는 컴퓨터로 읽을 수 있는 매체에 있어서, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서들이; 제1 이미징 스테이션 상의 시료(specimen)의 참조 이미지 및 상기 제2 이미징 스테이션 상의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계; 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식(identifying)하는 단계; 상기 참조 이미지가 획득된 스테이지 좌표들에서 상기 제1 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 상기 제2 이미지가 획득된 스테이지 좌표들에서 상기 제2 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 및 상기 제1 이미징 스테이션의 상기 스테이지 좌표들을 상기 제2 이미징 스테이션의 상기 스테이지 좌표들로 변환하는 아핀 변환(affin transformation)을 계산하는 단계를 포함하는 동작을 수행하게 한다.

둘 또는 이상의 이미징 스테이션의 스테이지 좌표들 사이의 좌표 변환을 결정하기 위해 기판(substrate)에 놓여진 생물학적 샘플의 세포들을 사용하여 현미경 슬라이드 상에 미리 표시된 기점 마크의 사용 없이 하나의 이미징 스테이션의 시계 영역 또는 관심 목표에 대한 스테이지 좌표를 다른 이미징 스테이션에 대한 좌표로 옮길 수 있다.

도 1a는 생물학적 시료 이미징 시스템의 예를 도시한다.
도 1b는 복수의 기점 마크들을 가지는 현미경 슬라이드의 확대도를 도시한다.
도 2는 두 상이한 이미징 스테이션에 의해 세포들의 동일 영역에서 획득된 이미지를 도시한다.
도 3a는 저 배율에서 취득된 이미지의 예를 도시한다.
도 3b는 고 배율에서 취득된 이미지의 예를 도시한다.
도 3c는 다양한 영역에 고 배율로 취득된 이미지가 오버레이된 저 배율로 취득된 이미지를 도시한다.
도 3d는 고배율에서 취득된 이미지로 마스크된(masked) 등고선 지도의 세 영역을 도시한다.
도 4a는 두 번째 이미지가 결정될 수 있는 이미지의 예를 도시한다.
도 4b는 도 4a에 나타나는 범위 점수 보다 높은 범위 점수를 가지는 이미지의 예를 도시한다.
도 5a는 하나의 참조 이미지가 각 영역에서 선택될 수 있도록 정의되고 있는 세 구역을 가지는 스캔 영역의 예를 도시한다.
도 5b는 스캔 영역의 중심에서 표시된 영역을 도시한다.
도 6은 제1 이미징 스테이션에 관련된 지도의 좌표를 제2 이미징 스테이션에 관련된 좌표로 좌표 변환을 결정하는 처리의 예를 도시한다.
도 7은 도 1 에 도시된 생물학적 스크리닝 시스템에 부가되거나 일부로 구성될 수 있는 컴퓨팅 장치의 예를 도시한다.
다양한 도면에 있는 비슷한 참조 심볼은 비슷한 요소들을 나타낸다.

둘 또는 이상의 이미징 스테이션의 스테이지 좌표들 사이의 좌표 변환을 결정하기 위해 기판(substrate)에 놓여진 생물학적 샘플의 세포들을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품들이 설명되어 있다. 하나의 슬라이드가 제1 이미징 스테이션에 실린다. 제 1 이미징 스테이션은 세포들의 이미지를 획득하고 참조 이미지들로 사용할 특정 이미지들을 선택한다. 컴퓨터는 참조 이미지를 제1 이미징 스테이션이 참조 이미지들을 획득하는 스테이지 좌표에 따라 저장한다. 그리고 슬라이드는 제 1 이미징 스테이션 보다 고배율의 이미지들을 획득할 수 있는 제2 이미징 스테이션으로 실려진다. 제2 이미징 스테이션은 제1 이미징 스테이션이 참조 이미지를 획득한 스테이지 좌표에서 제2 이미지를 획득한다.

따라서, 두 이미징 스테이션의 스테이지가 완벽하게 일치하면, 제2 이미지는 참조 이미지에서 중앙에 위치한 동일한 세포들의 인근에 중심을 가진다. 보다 일반적으로, 두 스테이지의 좌표 시스템에는 미세한 불일치가 존재하고, 제2 이미지는 참조 이미지의 중심에서 벗어난 어딘가에서 발견되는 세포들의 인근에 중심을 가진다. 참조 이미지의 배율을 알기 때문에, 제1 스테이션의 그러한 세포들의 스테이지 좌표는 결정될 수 있다. 따라서, 제2 시스템의 그러한 세포들의 스테이지 좌표는 그들의 제1 시스템의 스테이지 좌표에 일치된다. 이러한 프로세스는 각각의 참조 이미지에 대해 반복된다. 이러한 방식으로 결정된 대응되는 좌표들의 쌍은 - 예를들면, 관심 세포들의 위치와 같은 - 제1 스테이션의 어떠한 위치도 제2 스테이션의 정확한 위치로 전환할 수학적 변환을 계산하기 위해 사용될 수 있다.

특정 에러 소스를 최소화 하기 위한 목적으로 가능한 후보들의 보다 큰 셋에서 참조 이미지들을 선택하기 위한 방법 또한 제공된다. 이는 제1 이미징 스테이션에 비교하여 높은 배율에서 취득될 경우 공백 제2 이미지의 결과를 낳는 다공질 재료가 없는 큰 패치를 가지지 않은 참조이미지를 인식하는 단계를 포함한다. 더하여, 개시된 방법은 수학적 변환을 가능한 정확하게 하기 위하여 충분히 떨어져 있고 동일 선상에 있지 않는 슬라이드의 영역에서 참조 이미지를 선택한다. 더하여, 제2 이미지를 참조 이미지에 효과적으로 매칭하기 위한 방법이 개시된다.

일부 실시 예에서, 제1 이미징 스테이션의 관심 대상에 대한 좌표에 기반하여 제2 이미징 스테이션의 관심 물체를 재위치 시키는 방법이 제공된다. 상기 방법은 제1 이미징 스테이션의 시료의 참조 이미지 및 제2 이미징 스테이션의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계, 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식하는 단계, 참조 이미지가 획득된 스테이지 좌표에서 제1 이미징 스테이션의 세포 그룹의 스테이지 좌표를 결정하는 단계, 제2 이미지가 획득된 스테이지 좌표에서 제2 이미징 스테이션의 세포 그룹의 스테이지 좌표를 결정하는 단계, 및 제1 이미징 스테이션의 스테이지 좌표를 제2 이미징 스테이션의 스테이지 좌표로 전환하는 아핀 변환(affine transformation)을 계산하는 단계를 포함한다.

일부 실시 예에서, 제1 이미징 스테이션의 시료의 참조 이미지를 획득하는 제1 이미징 스테이션, 제2 이미징 스테이션의 시료의 제2 이미지를 획득하고, 참조 이미지와 제2 이미지 모두에 나타나는 세포 그룹을 인식하고, 참조 이미지가 획득된 스테이지 좌표에서 제1 이미징 스테이션의 상기 세포 그룹의 스테이지 좌표를 결정하고, 제2 이미지가 획득된 스테이지 좌표에서 제2 이미징 스테이션의 상기 세포 그룹의 스테이지 좌표를 결정하고, 제1 이미징 스테이션의 스테이지 좌표를 제2 이미징 스테이션의 스테이지 좌표로 전환하는 아핀 변환을 계산하는 제2 이미징 스테이션을 포함하는 시스템 또한 제공된다.

본 발명의 하나 또는 그 이상의 실시 예의 세부 사항은 이하의 첨부된 도면 및 설명에서 설명된다. 다른 특징, 목적 및 발명의 효과는 설명 및 도면 그리고 청구항으로부터 분명해 진다.

시스템 개관

도 1a는 컴퓨터(130)에 의해 제어되는 생물학적 시료 이미징 시스템(100)의 예를 도시한다. 컴퓨터(130)는 중앙 처리 장치(CPU)(130), 하드 드라이브(134), 메모리(136) 및 종래 알려진 기타 하드웨어 구성 요소(예를들어, 통신 인터페이스들)를 포함한다. 컴퓨터(130)는 컴퓨터와 이미징 스테이션 간의 표준 하드웨어 연결을 사용하여 알고있는 통신 프로토콜을 통해 저 배율 이미징 스테이션(120a) 및 고 배율 이미징 스테이션(120b)와 통신을 할 수 있다. 통신 능력은 컴퓨터(130)가 카메라들(124a 및 124b)에서 캡쳐된 이미지를 수신하고, 현미경 슬라이드(110) 표면에 대해 수직한 축을 따라 위 아래로 대물렌즈들(objective lens)(126a, 126b)을 이동하게 하며, 수평 평면의 상이한 (x, y)위치로 이동하게 스테이지들(128a 및 128b)을 지휘할(command) 수 있다.

시스템(100)은 현미경 슬라이드(110)에 놓여진 생물학적 시료(112)의 이미지를 캡쳐하고 처리할 수 있다. 예를 들어, 생물학적 시료(112)는 슬라이드(110)의 표면에 혈구들(blood cells)의 얇은 단층을 포함할 수 있다. 이미지 캡쳐 단계는 저 전력 대물 렌즈(126a) 아래의 슬라이드(110)에 놓인 시료 전체를 스캐닝하는 제1 이미징 스테이션(120)과 함께 시작한다. 컴퓨터(130)는 시료의 저 배율 스캔에서 얻어진 복수의 참조 이미지를 선택한다. 더하여, 컴퓨터(130)는 제2 이미징 스테이션(120b)에 포함된 것과 같은 고 전력 대물 렌즈(126b) 아래의 이미징을 요구하는 관심 대상들(object)의 인식을 위한 저 배율 이미지들을 처리할 수 있다.

제1 이미징 스테이션(120a)과 관련되어 수행된 스캐닝, 이미지 캡쳐, 및 이미지 처리 단계의 완료 후, 자동화된 운송 시스템(도1에 미도시)이 슬라이드(110)을 고 배율 이미징 스테이션(120b)로 옮긴다. 제1 이미징 스테이션(120a)에서 얻어진 각각의 참조 이미지들에 대해, 고 배율 이미징 스테이션(120b)은 슬라이드(110)를 제1 이미징 스테이션이 참조 이미지를 캡쳐한 스테이지 좌표로 제2 스테이지(128b)을 통하여 옮기고, 제2 이미지를 획득한다. 그리고, 이하 설명되는 것과 같이, 슬라이드(110)에 놓인 시료의 다양한 특성을 사용하여, 컴퓨터(130)는 제2 이미지를 참조 이미지와 매칭하고, 참조 및 제2 이미지들 간의 픽셀 오프셋(pixel offset)을 제1 이미징 스테이션(120a)(제1 스테이지 (128a)) 및 제2 이미징 스테이션(120b)(제2 스테이지 (128b))의 좌표 시스템간의 오프셋 값(offset value)(예를 들어, 미크론(microns))으로 전환한다.

컴퓨터(130)는 참조 및 제2 이미지의 배율 값을 알고 있기 때문에, 오프셋 값을 미크론 단위의 거리로 전환할 수 있다. 한 예를 들면, 시스템(100)은 제1 이미징 스테이션의 스테이지 좌표(54000μm, 18000μm)에 있는 시료(112)의 참조 이미지를 획득한다. 시스템이 제2 이미징 스테이션에서 그러한 동일 좌표의 제2 이미지를 획득하면, 컴퓨터(130)는 제2 이미지가 참조 이미지 위치의 중심에서 200 픽셀 아래이고 200픽셀 오른쪽인 위치와 일치하는지 결정한다.참조 이미지가 픽셀당 0.88 μm의 배율을 가지는 경우, 오프셋은 미크론(예를 들어, 264 μm, 176 μm)으로 변환될 수 있다. 이는 제1 스테이션의 (54000μm, 18000μm) 좌표에 있는 세포들을 이미지 하기 위해, 제2 스테이션은 그의 스테이지를 (54264μm, 18176μm)좌표로 옮겨야만 한다는 것을 의미한다.

시스템(100)은 컴퓨터에 의해 선택된 잔존하는 참조 이미지들에 대해 전술한 처리를 완료하고, 이하에 설명된 바와 같이, 컴퓨터(130)는 제1 좌표 시스템(즉, 제1 이미징 스테이션(120a) 및 제1 스테이지(128a))을 제2 좌표 시스템(예를 들어, 제2 이미징 시스템(120b) 및 제2 스테이지(128b))으로 사상하는(map) 아핀 변환(affin transformation)을 계산한다. 그 후에, 제1 이미징 스테이션에 표시된 좌표를 가진 세포의 이미지를 캡쳐 하는 것이 요구될 때, 시스템(100)은 상기 좌표들에 상기 변환을 제2 이미징 스테이션에서의 동등한 스테이지 좌표를 얻기 위하여 적용한다.

슬라이드 스캐닝 개관

특정 어플리케이션에 있어서, 생물학적 시료(112)는 세포들의 단층과 같이 슬라이드(110)에 놓이고, 예를들어, 그 공개가 그 전체로 여기에 참조로 포함되는, 함께-계류중인(co-pending) 미국 출원 번호 12/430,885, 출원명 “Method of Determining a Complete Blood Count and a White Blood Cell Differential”에서 개시된 시스템의 일실시 예에 의해 준비되고, 세포들의 단층으로 슬라이드(110)에 놓인 혈액 샘플을 포함할 수 있다. 하나 또는 이상의 고정, 착색(staining) , 헹굼(rinsing) 및/또는 건조 단계 이후, 자동화된 운송 시스템 또는 실험실 기술자는 슬라이드(110)를 저 배율 이미징 스테이션(120a)의 제1 스테이지에 장착한다. 그리고 컴퓨터(130)는 시료의 요구되는 위치가 저전력 대물렌즈(126a)의 바로 밑에 위치하도록 슬라이드(110)를 이동하게 제1 스테이지(128a)를 지휘한다.

대물 렌즈(126a)를 통한 카메라(124a)의 “시계 영역”은 카메라(124a)가 하나 또는 이상의 이미지로캡쳐한 슬라이드(110)의 시료의 영역을 포함한다.

시스템(100)의 실시 예에 있어서, 저 전력 대물 렌즈(126a)는 이미지를 그의 원래 사이즈보다 50%줄이는 것이 가능한 카메라(124a) 및 저 전력 대물 렌즈(126a) 사이에 추가적 광학 장비들(미도시) 및 10x 대물렌즈를 포함한다. 카메라(124)는 1624 대 1224 픽셀의 CCD 어레이를 가지고, 어레이의 각 픽셀은 4.4μm 대 4.4μm이다. 따라서, 제1 이미징 스테이션(120a)에 대한 시계 영역의 치수는 다음의 수학식 1과 같이 계산될 수 있다.

표준 현미경 슬라이드는 거의 1인치 대 3인치 또는 25400μm 대 76200μm의 치수를 가진다. 따라서, 이미징 시스템(100)은 생물학적 시료(112)를 수용하는 슬라이드(110) 부분을 다루기 위해 여러 이미지를 획득해야만 한다. 특정 어플리케이션이 시료 전체를 이미징 하는 것을 필요로 하는 상황에서, 스캐닝 프로세스는 저 전력 대물 렌즈(126a) 아래의 생물학적 견본(112)의 구석에 위치하는 제1 스테이지(128a)부터 시작될 수 있다. 그러면, 제1 스테이지(128a)는 카메라(124a)의 시계 영역의 너비(예를 들어, 1429μm)와 동일한 간격들(steps) 만큼 “X” 방향으로 이동할 수 있고, 하나 또는 이상의 이미지들은 각 간격에서 획득될 수 있다. 예를 들어, 각 위치에서, 카메라(124a)는 상이한 중심 높이 및/또는 상이한 조명의 색과 함께 일련의 이미지를 캡쳐할 수 있다. 생물학적 시료(112)의 전체 너비가 캡쳐되면, 제1 스테이지(128a)는 카메라(124a)에 대한 시계 영역의 높이에 동일한 양(예를 들어, 1077 μm) 만큼 “Y”방향으로 이동할 수 있다. 새로운 일련의 이미지 또한 카메라(124a)가 생물학적 시료(112)의 다른 가장자리에 도달할 때 까지 동일한 간격 양만큼 “X”의 반대 방향으로 제1 스테이지(128a)의 움직임을 진행시킴으로써 획득될 수 있다. 시스템(100)은 이러한 프로세스를 카메라(124a)가 슬라이드(100)의 생물학적 시료(112) 전체를 이미징할 때 까지 반복한다.

전술한 스캐닝 프로세스에서, 시스템(100)은 생물학적 시료(112)의 수백개 또는 이상의 이미지를 획득할 수 있다. 이러한 이미지들은 제1 이미징 스테이션(120a)에서 제2 이미징 스테이션(120b)으로 스테이지 좌표를 매핑하기 위한 하나 또는 이상의 참조 이미지를 인식하고, 고 배율 아래에서 다시 찾아지기 위한 특정 관심 세포 또는 시료의 영역을 선택하기 위한 시료의 특정한 측정을 만들기 위해 사용된다. 예를 들어, 시스템(100)은 제1 이미징 스테이션(120a)에서 얻어진 이미지들을 시료의 적 및 백혈구를 세기 위하여 사용할 수 있다. 더하여, 시스템(100)은 추후의 분류를 위해 고 배율 아래에서 다시 찾아지기 위한 백혈구 모집단의 부분을 선택할 수 있다.

슬라이드(110)가 저 배율 이미징 스테이션(120a)에서 스캔되면, 슬라이드(110)은 제2 이미징 스테이션(120b)로 옮겨질 수 있다. 대물(126a)보다 비교적 고 배율인 대물(126b)에 연결된 카메라(124b)는 제1 이미징 스테이션에 카메라(124a)보다 작은 시계 영역을 가지게 된다. 예를 들어, 배율렌즈 (126b)로서 50x 대물렌즈 및 640 대 480 픽셀 CCD를 포함하는 카메라(124b)에 대해, 제2 이미징 스테이션에서의 픽셀 크기는 7.4 μm이다. 따라서, 제2 이미징 스테이션(120b)에서의 시계 영역의 크기는 아래의 수학식 2와 같이 계산될 수 있다.

위에서 논의된 바와 같이, 저 배율 스캔 중에 이미지된 시료(112)상의 하나 또는 그 이상의 관심 세포 또는 위치들은 제2 이미징 스테이션(120b)에서 다시 찾아질 수 있다.

제2 이미징 스테이션(120b)에서의 이미지 획득 프로세스를 빠르게 하기 위해, 컴퓨터(130)는 스테이지(128b)가 슬라이드(110)를 옮기고, 제2 이미징 스테이션(120b)에서 시료 전체의 스캔을 수행하는 것 대신 이미지 캡쳐에 대한 시료(112)의 분명한 위치만을 제공하도록 명령할 수 있다. 따라서, 제2 이미징 스테이션(120b)은 슬라이드(110)를 카메라(124b)의 시계 영역에 관련하여 위치시켜야하고, 카메라(124b)는 제1 이미징 스테이션에서 수행된 스캔 중에 인식된 관심 세포 또는 요구되는 위치의 이미지를 획득한다. 그러한 위치 또는 세포들의 좌표가 제1 이미징 스테이션(120a)의 제1 스테이지(128a)의 좌표 시스템에 알려진 반면에, 시스템은 그러한 정확한 세포들을 정교하게 재이미지하기 위하여 그러한 좌표를 제2 이미징 스테이션(120b)에의 제2 스테이지(128b)의 좌표에 대응시켜야 한다. 따라서, 시스템(100)은 제2 이미징 스테이션에서 선택된 위치를 이미징 할 때 두 좌표 시스템(예를 들어, 제1 이미징 시스템(120a)의 좌표 시스템 및 제2 이미징 시스템(120b)의 그것)간의 차이를 결정하여야 하고, 그러한 차이점을 보고하여야 한다. 다양한 요소들이 이러한 차이점에 영향을 줌에 따라, 차이점은 시스템(100)의 컴퓨터(130)에 제작되고 저장되는 동안 보통 한번 측정될 수 없다. 대신, 시스템(100)은 제1 및 제2 이미징 스테이션(120 및 120b)에서 이미지되는 모든 슬라이드(110)에 대해 새로 차이점을 측정한다. 이러한 측정 프로세스는 보통 시료(112)에 대한 참조 이미지를 선택함으로써 시작된다.

참조 이미지의 선택

컴퓨터(130)는 제1 이미징 스테이션(120a) 및 제2 이미징 스테이션(120b) 사이에서의 스테이지 좌표를 매핑하기 위한 참조 이미지(210)로 사용하기 위해 시료(112)의 저 배율 스캔 동안 획득된 하나 또는 그 이상의 이미지를 선택한다. 충분한 세포의 수를 가지는 참조 이미지들을 선택하는 것은 참조 이미지(210)가 증가된 배율(예를들어, 적어도 세개 또는 네개의 세포들)을 가진 제2 이미징 스테이션(120b)에서 획득된 제2 이미지(220)와 모호하지 않은 매치를 수행하기 위한 충분한 정보를 가지는 것을 보장한다. 더하여, 참조 이미지(210)에 묘사된 시료의 부분은 제1 및 제2 이미징 스테이션(120a 및 120b) 간의 좌표 오프셋 또는 최대 슬라이드 위치 에러 보다, 전부는 아닐지라도, 크다. 예를 들어, 저 배율 시계 영역이 1429μm 대 1077μm이면, 제2 이미징 스테이션에서의 슬라이드 위치는 참조 이미지(210) 내에서 발견된 어떠한 세포들도 포함하지 않도록 참조 이미지 좌표에서 취득된 제2 이미지(220)에 대해 0.5 밀리미터(millimeter)보다 클 필요가 있을 수 있다. 일부 위치 에러가 예상됨에 따라, 제2 이미지(220)는, 실제는, 참조이미지(210)의 어떠한 부분과도 매치될 수 있다.

컴퓨터(130)는 참조 이미지로 사용되기 적합한 이미지인지 아닌지를 생성하기 위해 제1 이미징 스테이션에서 취득된 이미지들에 범위 점수를 할당할 수 있다. 도 4a는 시료(112)의 저 배율 스캔 동안 캡쳐된 참조 이미지 후보(400)를 나타낸다. 이미지(400)는 도 4a에 나타난 이미지에 그리드를 겹쳐 놓음으로써 일련의 보다 작은 영역으로 나누어질 수 있다. 이러한 실시 예에서, 세포의 범위를 평가하기 위한 다른 방법 또는 다른 그리드의 크기가 가능 함에도, 그리드의 크기는 8 대 6 사각형이다. 도 4a는 참조 이미지 후보가 세포를 포함하지 않는 두 그리드 사격형 404a 및 404b와 세포들의 작은 영역 만을 포함하는 세 추가적 그리드 사각형 406a, 406b 및 406c를 포함하는 것을 도시한다. 이러한 실시 예에서, 컴퓨터(130)은 이미지(400)에 -5의 범위점수를 할당하고; 이는 5개의 그리드 사각형이 받아들여질 수 없음을 의미한다.

도 4b는 도 4a에 도시된 이미지보다 높은 범위 점수를 가진 참조 이미지 후보(410)를 묘사한다. 이미지(410)에의 각각의 그리드 사각형은 적어도 소수의 세포를 수용하고, 그에따라, 시스템(100)은 이미지(410)에 0의 범위 점수를 할당한다(즉, 이미지 410은 어떠한 공백 그리드 사각형도 갖지 않는다). 이미지(410)은 이미지(400)보다 높은 범위 점수 값을 가짐에 따라, 시스템(100)은 참조 이미지를 선택할 때 이미지(400)보다 이미지(410)을 선호한다.

이러한 분야의 기술을 가진 자는 참조 이미지 후보들의 세포 범위를 평가하기 위해 다른 점수화 규정 또는 다른 측정 방법이 사용될 수 있음을 알 수 있다. 예를 들어, 시스템(100)은 세포들로 100% 가득찬 영역에 비하여 50% 가득찬 이미지의 영역에 더 높은 점수를 할당할 수 있다. 후자의 영역에서, 세포는 각각의 세포들 사이에서 시스템이 구별할 수 없도록 단단하게 포장될 수 있고, 각각의 세포들은 슬라이드에 놓인 시료 내의 완전한 공백 영역처럼 등록 알고리즘에 있어서 문제가 될 수 있다.

허용 범위에서 참조 이미지를 선택하는 것 뿐만 아니라, 컴퓨터(130)는 선택된 참조 이미지가 다른 것으로부터 충분히 공간을 두고 떨어져 있다는 것 또한 보장할 수 있다. 더하여, 셋 또는 그 이상의 참조 이미지를 선택할 때, 시스템(100)은 시료(112)의 비-동일선상 영역에서 참조 이미지들을 선택할 수 있다. 시스템(100)이 시료(112)의 서로 너무 가까운 지점들에서 참조 이미지들을 선택하면, 참조 이미지 위치의 인근의 바깥쪽 시료 영역으로의 좌표 변환 측정을 추정하는 때에 참조 이미지 위치를 측정에서의 어떠한 작은 부정확성도 확대된다.

제공되는 발명의 실시예는 등록을 위해 평가되는 참조 이미지 후보의 수를 유리하게 최소화하고, 결과적으로, 참조 이미지 후보에 대한 시료(112)의 저 배율 스캔 동안 캡쳐된 이미지들 전부를 저장하는 시스템(100)의 부담을 줄인다. 컴퓨터(130)는 참조 이미지를 인식하기 위한 시료(112)의 특정 스캔 영역을 미리 선택할 수 있다. 이하 설명 되는 바와 같이, 컴퓨터(130)는 시료(112)의 세가지 상이한 구획을 정의할 수 있고, 특정 구획을 가진 어떠한 이미지 위치도 시료(112)의 다른 두 영역 내의 참조 이미지 위치들로부터 충분히 떨어져 있다.

도 5a는 참조 이미지를 인식하기 위해 정의된 세 구획을 가지는 시료(112)의 스캔 영역(scan area)(500)의 예를 도시한다. 스캔 영역(500)은 수백 저 배율 이미지들을 표현할 수 있고, 예를 들면, 스캔 영역(500)은 슬라이드(110)에 놓인 생물학적 시료(112)의 전부 또는 중요한 부분을 다룰 수 있다. 세 라인들, 즉 542a, 542b 및 542c는 스캔 영역(500)을 여섯개의 영역으로 나누고, 세개의 라인들 542a - 542c는 스캔 영역(500)의 모서리를 삼등분한다. 도 5a에 도시되는 바와 같이, 정의된 여섯개의 영역은 스캔 영역(500)의 크기에 상관없이 동일한 면적(area)을 가지게 된다. 예를 들면, 정상 영역(510b)는 기저 길이(base length)가 스캔 영역(500)의 2/3이고 높이가 스캔 영역(500)의 높이의 1/2이고, 면적이

, 또는 스캔 영역(500)의 1/6면적인 삼각형이 될 수 있다. 동일 면적의 교차 영역들 510a, 510b 및 510c을 선택함으로써, 각각 동일한 면적을 가지는 스캔 영역(500)의 세 영역이 얻어질 수 있다. 컴퓨터(130)는 참조 이미지를 선택할 때 시스템이 상이한 음영이 있는 영역 510a, 510b 및 510c에서 세개의 참조 이미지 각각을 선택하도록 시스템(100)을 제한할 수 있다.

그러나, 앞서 말한 프로세스는 시스템(100)이 세 영역 510a, 510b 및 510c가 모여드는 지점에 가장 가까운 스캔 영역(500)의 중심 인근의 참조 이미지를 선택하는 것 때문에 세 개의 참조 이미지가 서로 매우 가까이 선택되는 가능성을 배제하지 않는다. 그에 맞춰 그리고 도 5b에 도시되는 바와 같이, 시스템(100)은 세 영역 510a, 510b 및 510c를 스캔 영역(500)의 모서리에 따른 영역으로 제한하기 위해 스캔 영역(500)의 중심의 영역을 가릴(mask) 수 있다. 가려진 영역(540)이 스캔 영역(500)과 같이 같은 중심을 가지고 같은 종횡비(aspect ratio)를 가지면, 가려진 면적 바깥쪽의 세개의 영역(510)은 여전히 같은 면적을 가진다. 이러한 마스킹 기법(masking technique)은 시스템(100)이 참조 이미지가 충분히 시료(112)의 스캔 영역(500)에서 떨어져 있음을 보장하기 위해 사용하는 하나의 방법이다.

위에서 설명된 저 배율 스캔 동안, 시스템(100)은 각 세 영역 510a-510c에서 가장 높은 범위 점수로 이미지들을 추적할 수 있다. 도 5b에 나타난 것과 같이, 사각형 512a, 512b 및 512c는 전체 스캔 영역(500)에 관한 카메라(124a)의 시계 영역을 표시한다. 새로운 이미지가 시료(112)의 저 배율 스캔 동안 세 영역 510a-510c 중 하나에서 획득될 때, 컴퓨터(130)은 이미지의 범위 점수를 계산한다. 범위 점수가 그 영역의 현재 베스트 이미지보다 좋다면, 시스템(100)은 그 이미지를 새로운 이미지로 교체한다. 이러한 방법으로, 시스템(100)은 저 배율 스캔 동안 획득된 모든 이미지들을 저장하는 대신, 참조 이미지 목적으로 각 영역에서 베스트 이미지의 복사본을 저장하기만 하면 된다. 도 5a 및 도5b에 나타나는 스캔 영역(500)의 분할은 예시적인 것에 불과하고, 참조 이미지를 선택하거나 스캔 영역(500)을 세 영역으로 분리하는 다른 방법들의 사용을 배제하는 것은 아니다.

슬라이드(110)이 저 배율 이미징 스테이션(120a)에서 완전히 스캔되면, 선택된 이미지 및 그들의 각각의 좌표는 고 배율 이미징 스테이션(120b)에서의 이미징 슬라이드(110)의 사용을 위해 메모리(136) 또는 하드 드라이브(134)에 보존될 수 있다.

배치 등록(Constellation Registration)

제2 이미징 스테이션(120b)에서, 컴퓨터(130)는 저 배율 스캔 동안 인식된 참조 이미지 위치들에 대응되는 스테이지 좌표에서 이미지들을 획득하도록 이미징 하드웨어를 지휘한다. 그리고 컴퓨터(130)는 슬라이드(110)에 놓인 시료(112)의 참조 이미지(210) 부분에 고 배율 이미지를 등록하는 매칭 프로세스를 수행한다. 이미지의 매칭 후, 시스템(100)은 제2 이미징 스테이션(120b)의 보다 높은 배율에서 저 배율 스캔 동안 인식된 슬라이드(110)의 선택된 위치들을 이미징할 때 제1 이미징 스테이션(120a) 및 제2 이미징 스테이션(120b)의 두 좌표 시스템 간의 차이를 계산할 수 있고, 그러한 차이를 보고할 수 있다.

고 배율 이미지들을 참조 이미지들에 등록할 때, 본 발명의 실시 예는 이미지된 세포들의 거의 동일한 크기 및 원형 형태를 유리하게 사용할 수 있다. 세포들은 외관에 있어서 유사하고, 세포들의 중심점의 패턴은 세포들의 그룹을 특징 짓기 충분하기 때문이다. 이는 별들간 조금씩 다른 밝기 및 색과 같은 특징들 대신 구성 성분 별들의 배열로 어떻게 친근한 별자리가 분간되는가와 유사하다. 분야의 기술자들은 그러한 점의 패턴을 매칭하는 많은 알고리즘이 존재함을 인식하게 된다. 많은 그러한 것들은 그러한 점들의 작은 변화 및 회전을 만족스럽게 보상한다. 그러나, 도 3에 나타는 것과 같이, 현재의 세포 등록 케이스에서는, 등록되는 이미지는 크게 회전되거나, 왜곡되지 않고, 간단한 알고리즘이 사용될 수 있다.

시스템(100)은 세포들의 중심점(예를들어, 도 3b에서 X로 마크된 342c, 344c, 346c)을 인식하기 위해 고 배율 이미지(340)를 처리하고, 배경 영역의 한 가운데(도 3b에서 O로 마크된 342b, 344b, 346b) 또한 지시한다. 그리고 도 3c에 나타는 바와 같이, 점들의 패턴은 참조 이미지(330)의 다양한 위치에 오버레이 된다. 352a와 같이 제대로 매치가 되는 위치에서, 패턴의 세포 중심점은 참조 이미지의 세포 내에 잘 속하고, 패턴의 배경 점은 참조 이미지의 배경 영역에 있는 세포들의 바깥쪽에 잘 속한다. 352b와 같이 덜 이상적인 위치도 도 3c에 나타나는 바와 같이 배경 영역들 및 세포들의 경계에 보다 가깝지만, 세포들 또는 배경 영역들에 정확히 위치하는 패턴의 점들을 여전히 가진다. 352c와 같은 좋지 못한 매치는 세포와 배경영역에 적절히 위치한 점을 적게 가진다. 참조 이미지(330)에서의 각 가능한 위치에서 점들의 패턴 매칭을 수행함으로써, 시스템은 베스트-매칭 위치를 인식할 수 있거나, 어떤 위치도 좋은 매치가 이루어지지 않아서, 타겟 이미지(340)는 참조 이미지(330)에서 찾아지지 않은 세포들을 포함한다는 것을 결정할 수 있다.

타겟 이미지(340)에서의 점들의 패턴이 참조 이미지(330)의 영역에 얼마나 잘 매치되는지를 평가할 때, 시스템은 세포들 또는 배경 영역들의 경계에 그러한 점들이 얼마나 가까운지에 기반하여 점수를 계산할 수 있다. 참조 이미지(330)에서, 컴퓨터(130)는 세포 경계(예를 들어, 도3b의 342a, 344a, 346a 점 또는 도3c의 이미지 프레임 352b의 X 매칭 표시자)의 점들이 0의 값을 가지고, 세포들 내의 점들은 경계로부터 그들의 거리에 대응되는 값을 가지며, 세포들 밖의 점들은 경계로부터 그들의 거리에 음(negative)인 값을 가지는 거리변환으로 지칭되는 스칼라 필드를 구성한다. 따라서, 셀 중심 점들(예를들어, 도 3c에 도시되는 이미지 프레임 352a의 342c, 344c 및 346c)은 양의 국부 최대값(local maxima)이고, 배경 한 가운데의 점들(deep background points)(예를 들어, 도 3c에 나타나는 이미지 프레임 352a의 342b, 344b 및 346b)은 음의 국부 최소값(local minima)이다. 타겟 이미지(340)에서의 점 패턴이 참조이미지의 다양한 위치들에 오버레이될 때, 도 3d에 나타나는 바와 같이, 좋은 매치를 위한 거리 변환 스칼라 필드는 큰 양의 값을 가진 위치에 각 세포 중심 패턴 점(X) 및 큰 음의 값을 가진 위치에 각 배경 한 가운데의 패턴 점(O)을 가지게 된다. 따라서, 각 위치에 대한 매칭 점수는 세포 중심 패턴 점들의 필드 값을 단순히 더하고 배경 한 가운데의 패턴 점들의 필드 값에서 감하는 것으로 간단히 계산될 수 있다. 도 3d에 도시되는 위치에 대한 점수는 아래의 표 1과 같이 주어진다.

이미지 프레임	X1	X2	X3	O1	O2	O3	총점
352A	14	27	28	-56	-40	-31	196
352B	4	9	11	-46	-18	-42	130
352C	-27	-15	-57	-15	-12	-8	-94

실제로, 타겟 이미지(340)는, 예를 들어, 10에서 40개 세포와 같은 몇 개의 세포를 포함하게 된다. 따라서, 매칭 패턴은 40개와 같이 많은 세포 중심 점과 40개와 같이 많은 배경 한 가운데 점을 수용할 수 있다. 시험된 많은 위치에 대하여, 이러한 모든 위치를 더할 필요는 없다. 단지 각 타입의 가장 중요한 위치 중 몇 개가 먼저 더해지면, 대부분의 위치에 대한 점수는 잔존하는 거리 변환 값을 더하는 것이 필요 없도록 충분히 낮은 것으로 여겨진다. 패턴 점들이 타겟 이미지(340)의 거리 변환의 국소 최대값 및 국소 최소값으로 인식되면, 가장 중요한 점들은 최대 음성 최소값 및 최대 양성 최대값이다. 그렇게 해서, 패턴 매칭 프로세스는 매칭 점수에 의미 없거나 적은 의미를 제공하는 것들을 포함하는, 스캔된 이미지의 점들의 세트(set) 모두에 대한 처리를 필요로 하지 않고 그렇게 함으로써 매칭 점수의 신뢰성에 영향을 미치지 않으면서 패턴 매칭 프로세스의 속도를 향상시킨다

좌표 변환

먼저, 시스템은 제2 이미징 스테이션으로부터의 이미지에 세포를 위치시키고 제1 이미징 스테이션에서 획득된 참조 이미지의 위치에 그러한 셀을 매치하며, 컴퓨터(130)는 제2 이미징 스테이션에서의 그러한 세포들의 좌표를 계산할 수 있다. 컴퓨터는 참조 이미지 내의 픽셀의 알고 있는 크기를, 미크론 단위, 사용함으로써 이러한 계산을 할 수 있다. 모든 참조 이미지 위치에 대해 이러한 처리를 반복하여, 컴퓨터는 동일한 세포들을 두 상이한 이미징 스테이션에 위치시키는 여러 좌표의 쌍을 얻을 수 있다. 그리고 컴퓨터는 제1 이미징 스테이션의 좌표를 제2 이미징 스테이션의 좌표로 매핑하는 아핀 변환(affin transformation)을 계산할 수 있다. 일 실시 예에서, 제1 이미징 스테이션(120a) 및 제2 이미징 스테이션(120b)는 사전에 보정되어(calibrated), 카메라들(124a 및 124b)의 축이 스테이지들(128a 및 128b)의 축에 각각 정렬되어 있다. 그리고 변환은 세포들이 제2 이미징 스테이션에서 찾아질 수 있는 좌표를 얻게 위하여, 그러한 세포가 제1 이미징 스테이션에서 관찰된 좌표에 더해질 수 있는 간단한 상수 오프셋이다.

컴퓨터(130)가 세 상이한 참조 이미지들에 대한 매칭 점으로 결정한 곳의 예에서, 결과는 각각 (firstX, firstY) 및 (secondX, secondY)의 형태를 가지는 스테이지 좌표들의 세 쌍을 포함할 수 있다. 이러한 좌표들의 세 쌍을 사용하여, 좌표들의 하나의 세트를 다른 것으로 매핑하는 변환은 아래의 수학식 4와 같이 주어질 수 있다.

주어진 변환 행렬에서, 제1 스테이지(128a)에서의 좌표 세트는 아래의 수학식 5와 같이 주어진 행렬 곱으로써 제2 스테이지(128b)에 대한 좌표의 세트로 매핑될 수 있다.

예시 프로세스

도 6은 현미경 슬라이드에 놓이고 도1의 이미징 시스템(100)에 대하여 설명된 제2 이미징 스테이션에 관련된 좌표에 제1 이미징 스테이션을 사용하여 이미지된 관심 세포들에 대한 좌표를 등록하기 위한 프로세스(600)의 예를 도시한다. 프로세스(600)는 슬라이드(110)에 놓인 생물학적 시료(112)의 제1 이미징 스테이션에서의 이미지 분석을 수행하기 위해 사용될 수 있고(예를들어, 저 배율 이미징 스테이션(120a)), 제1 스테이지(예를 들어, 저 배율 이미징 스테이션(120a)의 제1 스테이지(128a)) 및 제2 스테이지(예를 들어, 고 배율 이미징 스테이션(120b)의 제2 스테이지(128b))의 좌표 간의 변환을 위한 제1 이미징 스테이션으로부터의 참조 이미지를 사용하여 제2 이미징 스테이션에 선택된 물체를 재위치시킬수 있다(예를 들어, 고 배율 이미징 스테이션(120b)). 이러한 실시 예에서, 시료(112)는 슬라이드(110)에 놓인 혈구의 얇은 단층을 포함한다.

일부 실시 예에서, 제1 이미징 스테이션은 시료(112)를 포함하는 슬라이드(110)를 받는다. 일부 실시 예에서, 이는 자동화된 슬라이드 장착 매커니즘에 의해 수행될 수 있다.

도 6을 참조하면, 602에서, 시료의 참조 이미지를 포함하는 제1 쌍의 이미지들은 제1 이미징 스테이션 상에서 획득될 수 있고, 시료의 제2 이미지는 제2 이미징 스테이션 상에서 획득될 수 있다. 일부 실시 예에서, 제1 이미징 스테이션(120a)의 이미징 하드웨어는 슬라이드의 다수 위치를 스캔하고, 하나 또는 이상의 위치에서의 이미지들은 참조 이미지 후보들로 저장된다. 추후의 논의에서의 숫자를 간략히 하기 위해, 본 실시예의 시스템의 제1 이미징 스테이션(120a)은 1000μm 대 1000 μm의 시계 영역을 가지고, 픽셀 크기는 1 μm이다. 게다가, 시료(112)를 포함하는 슬라이드(110)의 스캔 영역은 5000 μm 대 5000 μm이고, 스캔 영역의 좌측 상단 구석은 μm 단위의 스테이지 좌표(50000, 10000)를 가진다. 시스템(100)이 시료(112)의 제1 이미지를 획득할 때, 제1 이미지는 스테이지 위치(50500, 10500)에 중심을 두어, 제1 이미지의 좌측 상단 구석에의 픽셀(0, 0)은 스테이지 위치(50000, 10000)에 대응되고, 제1 이미지의 우측 하단에의 픽셀(999, 999)는 스테이지 위치(50999, 10999)에 위치한다.

컴퓨터(130)은 제1 스테이지(129a)를 제1 위치로 이동시키는 명령을 보내고 인-포커스(in-focus) 이미지를 획득한다. 그리고 컴퓨터(130)는 백혈구들을 인식하고 위치시키는 반면에 이미지 내의 적혈구의 수를 결정한다. 본 실시 예에서, 시료(112)는 이미지 좌표(200, 800), (500, 400) 및 (900, 700)에 백혈구들을 포함한다. 이러한 이미지 좌표는 고 배율 이미징 스테이션(120b)에서 다시 찾아지기 위한 스테이지 좌표 (50200, 10800), (50500, 10400) 및 (50900, 10700)로의 최종적인 변환을 위해 저장될 수 있다.

참조 이미지는 하나 또는 이상의 참조 이미지 후로의 범위 점수에 기반하여 선택된다. 이전에 설명된 바와 같이, 참조 이미지 후보의 범위는 예를 들어, 이미지에 그리드(grid)를 겹치고(superimposing) 공백 그리드 사각형(empty grid squares)의 수를 셈으로써 평가될 수 있다. 본 실시 예에서, 컴퓨터(130)는 제1 참조 이미지 후보내의 세 그리드 사각형은 공백임을 결정하고, 그 때문에, 컴퓨터(130)은 참조 이미지 후보에 3의 범위 점수를 할당한다. 제1 참조 이미지에 대한 다른 선택이 아직 존재하지 않기 때문에, 참조 이미지 후보 및 범위 점수는 이미지 위치(50500, 10500)와 함께 저장된다.

컴퓨터(130)는 제 1 이미징 스테이션에 이미지된 슬라이드(110)의 다음 위치에 대하여 전술한 프로세스를 반복한다. 샘플이 래스터 패턴(raster pattern)으로 스캔되면, 다음 스테이지 위치는 (51500, 10500)이 될 수 있다. 이미지의 좌측 상단 구석은 이전 위치(50999, 10000)의 우측 상단 구석에 바로 인접한 스테이지 위치(51000, 10000)에 대응될 수 있다. 즉, 두 이미지가 나란히 놓여져 있으면, 두 이미지들은 시료(1120)의 보다 큰 하나의 연속적인 이미지를 형성한다. 이러한 방법으로, 시스템(100)은 시료(112)의 복수의 이미지들을 획득함으로써 스캔 영역 전체를 다룰 수 있다. 이미지 프로세싱 및 범위 분석은 제2 참조 이미지 후보에 대하여 반복될 수 있다. 본 실시 예에서, 제2 참조 이미지 후보는 범위 테스트에서 (제1 참조 이미지 후보에 대한 세개에 비교하여) 오직 두개의 공백 그리드 사각형을 포함한다. 따라서, 제2 참조 이미지 후보는 제1 참조 이미지에 대해 이전의 참조 이미지 후보를 대신하고, 새로운 참조 이미지 위치는 둘의 범위 점수와 함께 (51500, 10500)에 저장될 수 있다. 본 실시 예에 있어서, 전술한 프로세스는 스물 다섯 개의 스캔 위치들 전부에 대하여 반복될 수 있고, 본 프로세스의 마지막에 있어서, 시스템(100)은 참조 이미지들을 인식하기 위하여 선택된 각각의 미리 설정된 스캔 영역당 하나씩 세개의 참조 이미지를 인식한다.

시스템(100)은 슬라이드(110)을 제2 이미징 스테이션으로 옮긴다; 예를 들어, 자동화된 슬라이드 이동 매커니즘을 사용한다. 본 실시 예에서, 제2 이미징 스테이션은 한 픽셀 크기가 0.1 μm인 100 μm 대 100 μm의 시계 영역을 가진다.

제2 이미징 스테이션은 제1 이미징 스테이션이 참조 이미지를 획득한 동일한 스테이지 좌표에서 제2 이미지를 획득한다. 예를 들면, 스테이지는 제1 참조 위치 (51500, 10500)로 옮겨질 수 있다. 이 위치에서, 시스템은 제2 이미지를 얻는다. 그리고 제2 이미지의 중심에서 보여지는 세포들을 위치시키기 위해 참조 이미지를 찾는다. 하나 또는 이상의 추가적 참조 위치가 하나 또는 이상의 제2 이미지를 얻기 위해 스캔될 수 있다.

604에서, 참조 이미지 및 제2 이미지 모두에서 나타나는 세포 그룹이 인식될 수 있다. 일부 실시 예에 있어서, 세포 그룹을 인식하기 위해, 시스템(100)은 제2 이미지에 대한 매칭 지시자(matching indicators)의 세트를 생성한다. 예를 들어, 매칭 지시자의 세트는 제2 이미지에 있는 목적 중심 점(object center point)에 대응되는 제1 매칭 지시자 및 제2 이미지에 있는 배경 중심 점(background center point)에 대응되는 제2 매칭 지시자를 포함한다. 전술한 바와 같이, “X” 매칭 지시자는 참조 이미지에서의 참조 세포들 내의 다양한 위치들을 표현하기 위해 사용될 수 있고, “O” 매칭 지시자는 참조 세포들에 가장 가까운 공백 영역(blank region)을 표현하기 위해 사용될 수 있다.

제2 이미지는 참조 이미지 내의 위치에 매칭될 수 있다. 매치가 발견될 때까지, 시스템은 이미지를 획득하고 획득한 이미지를 참조 이미지의 위치에 매칭하는 것을 시도함으로써 전술한 프로세스를 반복한다. 만약 매칭이 실패한다면, 시스템은, 예를 들어, 나선 패턴(spiral pattern)으로 제1 위치에서부터 스테이지를 바깥쪽으로 움직임으로써 매칭되는 위치가 발견될 때까지 검색을 계속한다.

606에서, 참조 이미지가 획득된 스테이지 좌표에서의 제1 이미징 스테이션에 있는 세포 그룹의 스테이지 좌표는 결정될 수 있다. 유사하게, 608에서, 제2 이미지가 획득된 스테이지 좌표에서의 제2 이미징 스테이션에 있는 세포 그룹의 스테이지 좌표는 결정될 수 있다. 제2 이미징 스테이션에 의해 획득된 제2 이미지가 픽셀 좌표 (900, 300)에 중심을 가지는 참조 이미지의 영역에 매칭된다고 가정하자. 참조 이미지에 있는 한 픽셀이 1 μm임에 따라, 제2 스테이지에 있는 스테이지 좌표 (51500, 10500)는 제1 스테이지에 있는 스테이지 좌표(51900, 10300)에 이와같이 대응된다.

제2 이미지 및 참조 이미지 내의 위치 간의 매칭을 결정한 후, 610에서, 제1 이미징 스테이션의 스테이지 좌표를 제2 이미징 스테이션의 스테이지 좌표로 전환하는 좌표 변환이 계산될 수 있다. 이전에 논의된 바와 같이, 이는 아핀 변환 행렬(affine transformation matrix)을 계산함으로써 수행될 수 있다. 위에 주어진 예를 사용하여, 변환은 제2 스테이지에 있는 동일한 세포의 좌표를 얻기 위해 제1 스테이지의 좌표에 단순히 (-400, 200)을 더할 수 있다.

시스템이 고 배율에서 다시 찾을 것을 필요로하는 저 배율 스캔 동안 인식된 남아있는 위치들에 대하여, 컴퓨터(130)는 제1 이미징 시스템의 좌표를 제2 이미징 시스템의 제2 스테이지의 좌표 시스템으로 변형한다. 예를 들어, 제1 이미지에 있는 백색 세포들은 스테이지 좌표 (50200, 10800), (50500, 10400), 및 (50900, 10700)에 위치한다. 이러한 좌표들은 제2 스테이지의 좌표 시스템 (49800, 11000), (50100, 10600) 및 (50500, 10900)으로 옮겨질 수 있다. 그리고 컴퓨터(130)는 이미징 하드웨어에게 제2 스테이지를 이러한 좌표들 각각으로 이동하도록 지시하고, 또한 다른 이미지들이 저-배율 스캔중에 처리된 때 리스트에 이전에 더해진 다른 것들로 이동하도록 지시할 수 있다. 각 위치에서, 하나 또는 이상의 고-배율 이미지들은 획득될 수 있고, 이미지 프로세싱은 수행될 수 있다. 예를 들어, 저 배율 아래에서 선택된 백색 세포들은 백색 셀들의 각자의 타입을 결정하기 위해 더욱 이미지 되고 분석될 수 있다.

일반적인 컴퓨터 시스템

도 7은 여기에서 논의되는 주제를 구현하기 위한 생물학적 스크리닝 시스템(100)에 부가되거나 일부분으로 구성될 수 있는 컴퓨팅 디바이스(700)의 예를 도시한다. 예를 들어, 각각의 이미징 스테이션(118a/118b), 서버(120) 및 리뷰잉 스테이션(reviewing station, 122)은, 예를 들어, 다양한 명령어 및 루틴들의 실행을 위한 컴퓨팅 디바이스(700)를 포함할 수 있다. 컴퓨팅 디바이스(700)는 랩탑, 데스크탑, 워크스테이션, 휴대 정보 단말기(Personal digital assistant, PDA), 서버, 블레이드 서버(blade servers), 메인프레임 및 기타 적절한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터들을 표현할 수 있다.

도 7에 나타나는 바와 같이, 컴퓨팅 디바이스(700)는 프로세서(702), 메모리(704), 스토리지 디바이스(706), 복수의 고속 확장 포트(710) 및 메모리(704)에 연결된 고속 인터페이스(708) 및 저속 확장 포트(714) 및 스토리지 디바이스(706)에 연결된 저속 인터페이스(712)를 포함할 수 있다.

각각의 프로세서(702), 메모리(704), 스토리지 디바이스(706), 고속 인터페이스(708), 고속 확장 포트(710) 및 저속 인터페이스(712)는 다양한 버스들을 사용하여 서로 연결되어 있고, 보통의 마더보드에 장착되거나 다른 적절한 방법으로 장착될 수 있다. 프로세서(702)는 고속 인터페이스(708)에 연결된 디스플레이(716)과 같은 외부 입/출력 디바이스에의 GUI(graphical user interface)에 대한 그래픽 정보를 디스플레이 하는 스토리지 디바이스(706) 또는 메모리(704)에 저장된 명령어들을 포함하는 컴퓨팅 디바이스(700) 내의 실행을 위한 명령어들을 처리할 수 있다. 다른 실시 예에 있어서, 복수의 프로세서들 및/또는 복수의 버스들이 복수의 메모리들 및 메모리의 타입에 따라 적절하게 사용될 수 있다. 또한, 필요한 작업(예를 들어, 서버 뱅크, 블레이드서버들의 그룹, 또는 멀티-프로세서 시스템)들의 일부를 제공하는 각각의 디바이스와 함께, 복수의 컴퓨팅 디바이스들이 연결될 수 있다.

메모리(704)는 컴퓨팅 디바이스(700) 내에 정보를 저장한다. 일부 실시 예에 있어서, 메모리(704)는 휘발성 유닛 또는 유닛들이다. 일부 실시 예에 있어서, 메모리(704)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(704)는 자기적 또는 광학적 디스크와 같은 컴퓨터로 읽을 수 있는 매체의 다른 형태일 수 있다.

스토리지 디바이스(706)은 컴퓨팅 디바이스(700)에 대용량 스토리지를 제공할 수 있다. 일부 실시 예에 있어서, 스토리지 디바이스(706)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학적 디스크 디바이스, 또는 테이프 디바이스, 플레쉬 메모리 또는 다른 유사한 솔리드 스테이트 메모리 디바이스(solid state memory device), 또는 저장 공간 네트워크(storage area network) 또는 다른 구성을 포함하는 디바이스들의 배열과 같은 컴퓨터로 읽을수 있는 매체이거나 이를 포함할 수 있다. 명령어들은 정보 캐리어에 저장될 수 있다. 하나 또는 이상의 프로세싱 디바이스들(예를 들어, 프로세서(702)에 의해 실행될 때, 명령어들은 위에서 설명된 것과 같은 하나 또는 이상의 방법들을 수행한다. 명령어들은 컴퓨터 또는 기계가 읽을 수 있는 매체(예를 들어, 메모리(704), 스토리지 디바이스(706) 또는 프로세서(702)의 메모리)와 같은 하나 또는 이상의 스토리지 디바이스들에 의해 저장될 수 있다.

저속 인터페이스(712)가 저 대역폭-집중적인 동작들을 관리하는 반면에, 고속 인터페이스(708)는 컴퓨팅 디바이스(700)를 위해 대역폭-집중적인 동작들을 관리한다

일부 실시 예에서, 고속 인터페이스(708)는 메모리(704), 디스플레이(716)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드들(미도시)를 받아들이는 고속 확장 포트(710)에 연결된다. 상기 실시 예에 있어서, 저속 인터페이스(712)는 스토리지 디바이스(706) 및 저속 확장 포트(714)에 연결된다. 다양한 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)을 포함할 수 있는 저속 확장 포트(714)는 키보드 같은 하나 또는 이상의 입/출력 디바이스들, 포인팅 디바이스, 스캐너, 또는 예를 들어 네트워크 어뎁터를 통하여 스위치 또는 라우터와 같은 네트워킹 디바이스들에 연결된다.

컴퓨팅 디바이스(700)은 도면에 나타난 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 이는 스탠다드 서버(720) 또는 그러한 서버들의 복수배의 그룹으로 구현될 수 있다. 게다가, 이는 랩탑 컴퓨터(722)와 같은 개인용 컴퓨터로 구현될 수도 있다. 또한, 이는 랙 서버 시스템(rack server system, 724)의 일 부분으로 구현될 수도 있다. 그대신에, 전체 시스템이 서로 통신하는 복수의 컴퓨팅 디바이스들로 구성될 수도 있다.

여기에 설명된 시스템의 다양한 구현들 및 테크닉들은 디지털 전자 회로, 집적회로, 특히 ASICs(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어(firmware), 소프트웨어, 및/또는 그들의 조합으로 실현될 수 있다. 이러한 다양한 구현들은 스토리지 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로 데이터와 명령어를 전송하고, 데이터와 명령어를 받기 위해 연결된 특수 또는 일반 용도가 일 수 있는 적어도 하나의 프로그램 작동이 가능한 프로세서를 포함하는 프로그램 작동이 가능한 시스템에서 실행하거나 해석되는(interpretable) 하나 또는 이상의 컴퓨터 프로그램들의 구현을 포함할 수 있다.

이러한 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 어플리케이션들 또는 코드들로도 알려져 있다)은 프로그램 작동이 가능한 프로세서를 위한 기계 명령어를 포함하고, 하이-레벨 절차상의(procedural) 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계어로 구현될 수 있다.

여기서 사용된 바와 같이, 기계로 읽을 수 있는 매체 및 컴퓨터로 읽을 수 있는 매체의 용어는 기계로 읽을 수 있는 신호처럼 기계 명령어를 받는 기계로 읽을 수 있는 매체(예를 들어, 비 일시적인 컴퓨터로 읽을 수 있는 매체)를 포함하는 프로그램작동이 가능한 프로세서에 기계 명령어 및/또는 데이터를 제공하기 위해 사용되는 어떠한 컴퓨터 프로그램 제품(예를 들어, 비-일시적인 컴퓨터로 읽을 수 있는 매체), 기구(apparatus) 및/또는 디바이스(예를 들어, 자기 디스크, 광학 디스크, 메모리, 프로그램작동이 가능한 논리 디바이스(Programmable Logic Device; PLDs))를 나타낸다. 기계로 읽을 수 있는 신호의 용어는 기계 명령어 및/또는 데이터를 프로그램작동이 가능한 프로세서에 제공하기 위해 사용되는 어떠한 신호를 나타낸다.

명령어들의 프로그램의 실행에 대한 적합한 프로세서들은, 한 예로써, 일반 및 특수 용도의 마이크로 프로세서 모두와 어떠한 형태의 컴퓨터의 복수의 프로세서 한 개 또는 단독의 프로세서를 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리 또는 랜덤 엑세스 메모리 또는 양쪽 모두에서 명령어 및 데이터를 수신한다. 컴퓨터의 필수적 구성 요소는 명령어를 실행하기 위한 하나의 프로세서, 명령어 및 데이터를 저장하기 위한 하나 또는 그 이상의 메모리들이다. 일반적으로, 컴퓨터는 데이터 파일들을 저장하기 위한 하나 또는 이상의 대용량 스토리지 디바이스를 포함하거나 이와 통신하기 위해 작동에 따라 연결되고, 그러한 디바이스는 내부 하드 디스크 및 이동식 디스크; 자기광학 디스크; 및 광학 디스크와 같은 자기 디스크를 포함한다. 컴퓨터 프로그램 명령어 및 데이터를 명백하게 포함하기에 적합한 스토리지 디바이스는 비-휘발성 메모리의 모든 형태를 포함하고, 이는 한 예로써 EPROM, EEPROM 및 플래쉬 메모리 디바이스와 같은 반도체 메모리 디바이스들; 내부 하드 디스크 및 이동식 디스크와 같은 자기 디스크; 자기광학디스크; 및 CD-ROM 및 DVD-ROM 디스크를 포함한다. 프로세서 및 메모리는 ASICSs(application-specific integrated circuits)에 의해 보충되거나 포함된다.

사용자와의 상호작용을 제공하기 위해, 여기에 설명되어 있는 시스템들 및 기법들은 사용자에게 정보를 디스플레이 하기 위한 디스플레이 디바이스(예를 들어 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력을 제공하기 위해 사용하는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 포함하는 컴퓨터에 구현될 수 있다.

다른 형태의 디바이스들 또한 사용자와의 상호작용을 제공하기 위해 사용될 수 있고, 예를 들어, 사용자에게 제공되는 피드백은 감각의 피드백의 어떠한 형태(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)도 될 수 있으며, 사용자로부터의 입력은 음향적(acoustic), 언어적(speech) 또는 촉각적(tactile) 입력을 포함하는 어떠한 형태로도 받아들여질 수 있다.

여기에 설명된 시스템들 및 기법들은 백-엔드 구성요소(back end component)(예를 들어 데이터 서버), 또는 미들웨어 구성요소(예를 들어, 어플리케이션 서버), 또는 프론트-엔드 구성요소(예를 들어, 사용자가 여기에 설명된 시스템 및 기법들의 구현과 상호작용 할 수 있는 웹 브라우저 또는 그래픽 유저 인터페이스를 가지는 클라이언트 컴퓨터), 또는 그러한 백-엔드, 미들웨어 또는 프론트-엔드 구성요소들의 어떠한 조합을 포함하는 컴퓨팅 시스템에 구현될 수 있다.

시스템의 구성요소들은 미디털 미디어 통신의 매체 또는 어떠한 형태로 서로 연결될 수 있다(예를 들어, 통신 네트워크). 통신 네트워크의 예들은 근거리 통신망(local area network, LAN), 광역 통신망(wide area network) 및 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트 및 서버를 포함한다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있고 일반적으로 통신 네트워크를 사용하여 상호작용을 한다. 클라이언트 및 서버의 관계는 각각의 컴퓨터들에서 실행되고 서로에 대한 클라이언트-서버 관계를 가지는 컴퓨터 프로그램의 능력에 의해 발생한다.

일부 실시 예들이 위에서 상세하게 설명되었지만, 다른 변경들도 가능하다. 예를 들어, 클라이언트 어플리케이션이 대리인(들)에 접속하는 것으로 설명된 반면에, 다른 실시 예에 있어서, 하나 또는 이상의 서버에서 실행되는 어플리케이션과 같이, 대리인(들)은 하나 또는 이상의 프로세서들에 의해 구현되는 다른 어플리케이션들에 의해 사용될 수 있다.

더하여, 도표에 도시된 논리 흐름들은 바람직한 결과를 달성하기 위하여 보여지는 특정 순서 또는 순차적 순서를 필요로 하지 않는다. 더하여, 도시된 흐름에서 다른 단계들이 제공될 수 있고, 단계들은 제거될 수 있으며, 설명된 시스템에 다른 구성 요소들이 더하여 질 수 있고, 제거될 수 있다. 따라서, 다른 실시 예들은 이하의 청구항의 범위 내에 있다.

본 명세가 많은 세부사항을 포함하지만, 이는 청구될 수 있는 것의 범위를 제한하는 것으로 이해되지 않아야 하고, 특정 실시 예를 분명하게 할 수 있는 특징의 서술로 이해되어야 한다. 독립된 실시 예의 맥락에 있어 본 명세서에 있어 설명된 그러한 특징들은 단일 실시 예의 조합으로 구현될 수 있다. 역으로, 단일 실시예의 맥락에 있어서 설명된 다양한 특징들도 또한 독립적인 복수의 구현들 또는 어떠한 적합한 서브컴비네이션으로 구현될 수 있다. 게다가, 특징들은 위와 같이 특정 조합에서 동작하는 것으로 설명될 수 있고 그렇게 최초 청구 될 수 있지만, 청구된 조합에서의 하나 또는 이상의 특징들은 일부 상황에서 조합에서 삭제될 수 있고 청구된 조합은 서브 컴비네이션 또는 서브컴비네이션의 변형에서 유도될 수 있다.

유사하게, 특정 순서에서의 도면에서 동작들이 설명되는 반면에, 바람직한 결과를 달성하기 위해 그러한 동작들이 나타난 특정 순서 또는 순차 순서에서 수행되거나 모든 보여지는 동작들이 수행될 것이 요구된다고 이해되어서는 안될 것이다. 어떤 상황에서, 멀티 태스킹 및 병렬 처리는 유용할 수 있다. 게다가, 위에서 설명된 실시 예의 다양한 시스템 구성 요소의 분리는 모든 실시 예에 있어서 그러한 분리가 요구되는 것으로 이해되어서는 안된다.

본 발명의 다수의 실시 예가 설명되었다. 그럼에도 불구하고, 다양한 변경들이 본 발명의 의미 및 범위에서 벗어나지 않고 만들어질 수 있음이 이해되어야 한다. 따라서, 다른 실시 예들은 이하의 청구항의 범위에 포함된다.

Claims (27)

1. 제 1 이미징 스테이션에서의 관심 오브젝트(Object of interest)를 위한 좌표에 기반하여 제2 이미징 스테이션에서의 관심 오브젝트를 재위치시키는 방법으로서, 상기 방법은
   상기 제1 이미징 스테이션 상의 시료(specimen)의 참조 이미지 및 상기 제2 이미징 스테이션 상의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계;
   상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식(identifying)하는 단계;
   상기 참조 이미지가 획득된 스테이지 좌표들에서 상기 제1 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계;
   상기 제2 이미지가 획득된 스테이지 좌표들에서 상기 제2 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 및
   상기 제1 이미징 스테이션의 상기 스테이지 좌표들을 상기 제2 이미징 스테이션의 상기 스테이지 좌표들로 변환하는 아핀 변환(affin transformation)을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제 1 항에 있어서,
   상기 제1 이미징 스테이션에서 획득된 참조 이미지 및 상기 제2 이미징 스테이션에서 획득된 제2 이미지를 포함하는 제2 쌍의 이미지들을 획득하는 단계;
   상기 제2 쌍의 이미지들에 대해, 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식하는 단계;
   상기 제1 이미징 스테이션 및 상기 제2 이미징 스테이션의 제2 쌍의 이미지들에 관련된 상기 세포 그룹의 상기 스테이지 좌표들을 결정하는 단계; 및
   상기 제1 및 제2쌍 이미지들에 기반하여 상기 아핀 변환을 계산하는 단계를 더 포함하는 방법.
3. 제 1 항에 있어서,
   상기 제1 쌍의 이미지들을 획득하는 단계는,
   상기 제1 이미징 스테이션에서 상기 시료를 스캔하는 동안 얻어진 복수의 참조 이미지 후보(candidate)에서 상기 참조 이미지를 선택하는 단계를 포함하는 방법.
4. 제 3 항에 있어서,
   복수의 참조 이미지 후보 각각에 적합 점수(suitability score)를 부여하는 단계; 및
   가장 높은 적합 점수를 가진 참조 이미지 후보를 상기 참조 이미지로 선택하는 단계를 더 포함하는 방법.
5. 제 4 항에 있어서,
   상기 적합 점수를 부여하는 단계는,
   상기 참조 이미지 내에서 얻어진 미리 설정된 크기의 이미지가 유일하게 인식될 수 있는 세포들을 포함하는 확률에 대응하는 점수를 부여하는 단계를 포함하는 방법.
6. 제 4 항에 있어서,
   상기 적합 점수를 부여하는 단계는,
   각각의 참조 이미지 후보를 복수의 이미지 영역(image areas)으로 나누는 단계;
   각각의 이미지 영역에서 세포가 없는 영역의 개수를 인식하는 단계; 및
   상기 인식된 개수에 기반하여 상기 적합 점수를 부여하는 단계를 포함하는 방법.
7. 제 3 항에 있어서,
   상기 제 1 이미징 스테이션에서, 상기 스캔 중에 얻어진 상기 시료의 스캔 영역(scan area) 내의 각각의 복수의 미리 설정된 영역(regions)에서 상기 복수의 참조 이미지 후보를 획득하는 단계를 더 포함하는 방법.
8. 제 7 항에 있어서,
   상기 복수의 미리 설정된 영역을 인식하는 단계를 더 포함하고,
   상기 복수의 미리 설정된 영역을 인식하는 단계는,
   상기 시료의 상기 스캔 영역을 동일한 쐐기 부분(wedge segment)으로 분할하는 단계; 및
   각각의 쐐기 부분에서 상기 스캔 영역의 중심 부분을 제거하는 단계를 포함하는 방법.
9. 제 1 항에 있어서,
   상기 제2 이미지가 상기 참조 이미지에서 인식되는 상기 세포 그룹을 포함하지 않는 경우 상기 제2 이미지에 가까운 위치들의 상기 제2 이미징 스테이션에서 적어도 하나의 추가적 이미지를 획득하는 단계를 더 포함하는 방법.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 데이터 처리 장치; 및
    상기 데이터 처리 장치와 데이터 통신을 하고 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 저장하는 메모리를 포함하며,
    상기 실행시 상기 데이터 처리 장치가,
    제1 이미징 스테이션 상의 시료(specimen)의 참조 이미지 및 제2 이미징 스테이션 상의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계;
    상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식(identifying)하는 단계;
    상기 참조 이미지가 획득된 스테이지 좌표들에서 상기 제1 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표를 결정하는 단계;
    상기 제2 이미지가 획득된 스테이지 좌표들에서 상기 제2 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 및
    상기 제1 이미징 스테이션의 상기 스테이지 좌표들을 상기 제2 이미징 스테이션의 상기 스테이지 좌표들로 변환하는 아핀 변환(affin transformation)을 계산하는 단계를 포함하는 동작을 수행하게 하는 것을 특징으로 하는 시스템.
15. 제 14 항에 있어서,
    상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행시 상기 데이터 처리 장치가,
    상기 제1 이미징 스테이션에서 획득된 참조 이미지 및 상기 제2 이미징 스테이션에서 획득된 제2 이미지를 포함하는 제2 쌍의 이미지들을 획득하는 단계;
    상기 제2 쌍의 이미지들에 대해, 상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식하는 단계;
    상기 제1 이미징 스테이션 및 상기 제2 이미징 스테이션의 제2 쌍의 이미지들에 관련된 상기 세포 그룹의 상기 스테이지 좌표를 결정하는 단계; 및
    상기 제1 쌍 및 제2 쌍의 이미지들에 기반하여 상기 아핀 변환을 계산하는 단계를 포함하는 동작을 수행하게 하는 것을 특징으로 하는 시스템.
16. 제 14 항에 있어서,
    상기 명령어들은 상기 데이터 처리 장치가 상기 제1 이미징 스테이션에서 상기 시료의 스캔 중에 얻어진 복수의 참조 이미지 후보에서 상기 참조 이미지를 획득하게 하는 것을 특징으로 하는 시스템.
17. 제 16 항에 있어서,
    상기 메모리는 상기 데이터 처리 장치에 의해 수행될 수 있는 명령어들을 더 포함하고, 이러한 실행시 상기 데이터 처리 장치가
    복수의 참조 이미지 후보 각각에 적합 점수(suitability score)를 부여하는 단계; 및
    가장 높은 적합 점수를 가진 참조 이미지 후보를 상기 참조 이미지로 선택하는 단계를 포함하는 동작을 수행하게 하는 것을 특징으로 하는 시스템.
18. 제 17 항에 있어서,
    상기 적합 점수는 상기 참조 이미지 내에서 얻어진 미리 설정된 크기의 이미지가 유일하게 인식될 수 있는 세포들을 포함하는 확률에 대응하는 점수를 포함하는 것을 특징으로 하는 시스템.
19. 제 17 항에 있어서,
    상기 명령어들은 상기 데이터 처리 장치가 각각의 참조 이미지 후보를 복수의 이미지 영역(image areas)으로 나누고, 각각의 이미지 영역에서 세포가 없는 영역의 개수를 인식하고, 상기 인식된 개수에 기반하여 상기 적합 점수를 부여하게 하는 것을 특징으로 하는 시스템.
20. 제 16 항에 있어서,
    상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가 상기 제 1 이미징 스테이션에서, 상기 스캔 중에 얻어진 상기 시료의 스캔 영역(scan area) 내의 각각의 복수 미리 설정된 영역에서 상기 복수의 참조 이미지 후보를 획득하는 단계를 포함하는 동작을 수행하게 하는 것을 특징으로 하는 시스템.
21. 제 20 항에 있어서,
    상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가 상기 복수의 미리 설정된 영역을 인식하는 단계를 포함하는 동작을 수행하게 하며,
    상기 복수의 미리 설정된 영역을 인식하는 단계는,
    상기 시료의 상기 스캔 영역을 동일한 쐐기 부분(wedge segment)으로 분할하는 단계; 및
    각각의 쐐기 부분에서 상기 스캔 영역의 중심 부분을 제거하는 단계를 포함하는 것을 특징으로 하는 시스템.
    
22. 제 14 항에 있어서,
    상기 메모리는 상기 데이터 처리 장치에 의해 실행될 수 있는 명령어들을 더 포함하고, 이러한 실행은 상기 데이터 처리 장치가
    상기 제2 이미지가 상기 참조 이미지에서 인식되는 상기 세포 그룹을 포함하지 않는 경우 상기 제2 이미지에 가까운 위치들의 상기 제2 이미징 스테이션에서 적어도 하나의 추가적 이미지를 획득하는 단계를 포함하는 동작을 수행하게 하는 것을 특징으로 하는 시스템.
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 저장된 명령어들을 가지는 컴퓨터로 읽을 수 있는 매체에 있어서, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서들이;
    제1 이미징 스테이션 상의 시료(specimen)의 참조 이미지 및 제2 이미징 스테이션 상의 시료의 제2 이미지를 포함하는 제1 쌍의 이미지들을 획득하는 단계;
    상기 참조 이미지 및 제2 이미지 모두에 나타나는 세포 그룹을 인식(identifying)하는 단계;
    상기 참조 이미지가 획득된 스테이지 좌표들에서 상기 제1 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계;
    상기 제2 이미지가 획득된 스테이지 좌표들에서 상기 제2 이미징 스테이션 상의 상기 세포 그룹의 스테이지 좌표들을 결정하는 단계; 및
    상기 제1 이미징 스테이션의 상기 스테이지 좌표들을 상기 제2 이미징 스테이션의 상기 스테이지 좌표들로 변환하는 아핀 변환(affin transformation)을 계산하는 단계를 포함하는 동작을 수행하게 하는 컴퓨터로 읽을 수 있는 매체.
    
    

Images