KR20220058603A - 세포 이미지 분할의 사용자-보조 반복 - Google Patents

Abstract

세포 이미지 데이터의 분할은 이미지 창에 디스플레이되는 핵들, 세포질 및 세포막들에 대한 세포 분할 데이터를 획득한다. 세포들에 특정적인 행들 및 세포 속성들에 특정적인 열들이 있는 표를 함유하는 데이터 창이 또한 디스플레이된다. 편집 세션에서, 사용자는 데이터 창 또는 이미지 창으로부터 삭제를 위한 세포들을 선택할 수 있다. 데이터 창을 통한 선택에 응답하여, 이미지 창이 업데이트되고 이미지 창을 통한 선택에 응답하여, 데이터 창이 업데이트된다. 언제든지, 사용자는 편집들을 고려하여 재-분할을 명령할 수 있고, 이는 삭제를 위해 선택된 세포들에 관한 데이터를 제거하기 위해 편집된 이전의 핵 분할 데이터의 버전으로부터 시작하고, 이어서 그로부터 세포질 및 세포막 분할 데이터를 결정한다.

Description

세포 이미지 분할의 사용자-보조 반복

관련 출원들에 대한 상호-참조

본 출원은 2019년 9월 5일에 출원된 “세포 이미지 분할의 사용자-보조 반복”이라는 제목의 유럽 특허 출원 번호 19195666.3호에 대한 우선권을 주장하고 2020년 9월 2일에 출원된 “세포 이미지 분할의 사용자-보조 반복”이라는 제목의 국제 특허 출원 번호 PCT/US2020/049085호의 국내 단계 출원이며, 각각은 전체에 명시된 것처럼 참조로서 본 출원에 통합된다. 또한, 본 출원은 전체에 명시된 것처럼 참조로서 본 출원에 통합되는 하기 출원, 2021년 9월 10일에 출원된 “세포 이미지 분할의 사용자-보조 반복”이라는 제목의 유럽 특허 출원 번호 21196113.9호에 관한 것이다.

기술 분야

본 개시는 세포 이미지들을 분할하기 위한, 특히 자동화된 분할에서 에러들을 정정하기 위한 방법들 및 장치들에 관한 것이다.

세포들 및 그들의 특징들을 식별하기 위한 조직 이미징은 현미경 검사의 중요한 응용이다. 병리학 이미지는 조직을 나타내는 이미지이다. 종래의 가시 광 현미경 검사를 이용하여, 슬라이드 상에 장착된 단일 조직 섹션으로부터 이-차원(2D) 이미지가 획득될 수 있다. 다수의 인접한 조직 섹션들을 합성, 즉 조합하는 것으로부터 2D 이미지를 생성하는 것이 또한 가능하고, 여기서 각각의 섹션은 상이한 세포 유형들 및/또는 세포 특징들을 강조하기 위해 상이하게 착색되거나 형광으로 마킹된다. 종래의 가시 광 현미경 검사로 획득된 다수의 인접한 조직 섹션들로부터 삼-차원(3D) 이미지가 생성될 수 있다. 3D 이미지는 또한 소위 z-스택에서, 작은 초점 심도를 갖는 일련의 수직 오프셋 이미지들을 획득함으로써 생성될 수 있고, 여기서 z-스택의 2D 이미지들은 X-선 컴퓨터 단층 촬영(CT)에서 획득된 슬라이스들과 유사한 3D 이미지를 제공한다. 홀로그래픽 현미경 검사와 같은 다른 본질적 3D 양상들, 예를 들어 US2013/057869A1에 설명된 기술이 3D 데이터 세트들을 획득하기 위해 사용될 수 있다. 3D 데이터 세트는 3D 이미지들이 3D로 분할되는 것을(그리고 2D로 렌더링되어 사용자에게 디스플레이되는 것을) 허용한다. 3D 데이터 세트는 또한 2D 이미지들이 3D 데이터 세트의 슬라이스를 통해 조합함으로써 결정되는 것을 허용하고, 그런 다음 2D 이미지는 분할될 수 있다.

세포 색소들은 통상적으로 세포질 또는 세포핵 또는 세포막과 같은 관심 있는 특정 조직 특징에 대해 선택적이다. 세포질 색소의 예는 헤마톡실린(Hematoxylin) 및 에오신(Eosin)(H&E)이다. 핵 색소의 예는 핵 DNA를 착색하여 핵들의 위치들을 식별하는 DAPI(4',6-디아미디노-2-페닐인돌)이다. 형광 마킹의 예는 디옥시리보핵산(DNA) 또는 리보핵산(RNA)의 특정 서열들의 존재를 검출하는 것을 통해 핵 이상들을 검출, 분석 및 정량화하기 위해 형광 프로브들을 염색체들에 부착하는 것에 기초하는 널리 사용되는 세포 유전학 기술인 형광 인시투 혼성화(Fluorescent in situ Hybridization)(FISH)에 대한 것이다.

본 문서에서, 우리는 고전적인 콘트라스트 색소들은 물론, 형광 마커들 또는 다른 마커들, 예를 들어 방사성 마커들을 포함하기 위해 일반적으로 '색소(stain)'라는 용어를 사용한다. 이 분야에서는, 다른 용어들이 종종 염료들 또는 프로브들과 같은 마커들에 대해 사용되며, 모든 이러한 용어들은 일반적으로 본 문서에서 '색소(stain)'라는 용어로 포괄된다는 것이 이해될 것이다.

전문가 소프트웨어 애플리케이션들이 세포 이미지들을 처리하고 시각화하는 데 사용된다. 이러한 소프트웨어 애플리케이션들은 관심 있는 물체들을 자동적으로 식별하는, 2D 또는 3D 이미지 데이터 세트들에 대한 분할 알고리즘들을 포함한다. 관심 있는 통상적인 물체들은 세포 핵 또는 전체 세포들이고, 세포들의 범위는 세포 세포질('채움(fill)') 또는 원형질 막들('윤곽(outline)'/'경계(boundary)')에 의해 식별될 수 있다. 2D에서, 분할은 전체 세포들 또는 세포 핵과 같은 2D 세포 특징들을, 세포질에 의해 점유되는 영역, 및 핵들 또는 세포막의 경계선을 나타내는 선들과 같은 그들의 영역들 및/또는 경계선들에 의해 식별할 것이다. 2D에 대한 분할 알고리즘들은 영역 기반, 예를 들어 시드로부터의 확장(소위 블롭 분석), 또는 선-기반, 예를 들어 등고선 추적, 또는 이 둘의 조합일 수 있다. 3D에서, 분할은 세포들 또는 세포 핵과 같은 3D 세포 특징들을, 그들의 체적들 및/또는 경계 표면들에 의해, 예컨대 세포질에 의해 점유되는 체적 및 핵 또는 세포의 경계를 나타내는 표면들에 의해 식별할 것이다. 3D에 대한 분할 알고리즘들은 체적-기반, 표면-기반, 또는 이 둘의 조합일 수 있다.

분할에 의해 식별된 물체들은 시각화에서, 예를 들어 그들을 윤곽화하고/하거나 상이한 유형의 물체를 상이한 컬러로 음영화하는 것에 의해 사용자에게 디스플레이될 수 있다. 그러한 소프트웨어 애플리케이션들은 또한 사용자가 연필 또는 다른 도구를 이용하여, 예를 들어 주석들을 추가하기 위해 이미지 상에 그리는 것을 허용하는 수동 그리기 도구들을(예를 들어, 스타일러스를 갖는 그래픽 태블릿을 사용) 포함할 수 있다.

처리 및 시각화 소프트웨어 애플리케이션을 위한 이 분야에서의 통상적인 작업 흐름은 다음과 같다. 사용자는 소프트웨어 애플리케이션을 실행하고 이미지 데이터베이스로부터 관심 레코드를 로드하기 위한 커맨드를 발행한다. 레코드는 하나 이상의 조직 이미지 데이터 세트를 포함한다. 사용자는 그래픽 사용자 인터페이스를 통해, 원하는 대로 이미지 데이터를 디스플레이하도록 소프트웨어 애플리케이션을 구성한다. 디스플레이를 위한 이미지 데이터는 레코드에 함유된 이미지 데이터로부터 선택된다. 예를 들어, 사용자는 디스플레이를 위해 합성될 더 많은 수의 상이하게 착색된 이미지들 중 2개, 예를 들어, 이미지들의 착색 쌍 및 반대 착색 쌍을 선택할 수 있다. 합성은 때때로 융합이라고 지칭된다. 사용자는 그 후 선택된 이미지 데이터에 대해 분할을 수행하기 위한 설정들을 구성한다. 구성 설정들은 상이한 진단 목적들을 위한 사전-설정 조합들을 포함할 수 있다. 사용자는 그 후 사용자-구성된 분할 설정들에 따라 이미지 데이터에 분할 알고리즘을 적용하도록 소프트웨어 애플리케이션에 명령한다. 이어서 소프트웨어 애플리케이션은 선택된 이미지 데이터를 분할 데이터와 함께 디스플레이하고, 분할 데이터는 이미지 데이터 상에 오버레이된다. 예를 들어, 세포 특징들의 윤곽들, 예를 들어 핵 윤곽들 및 세포 윤곽들이 이미지 데이터 상에 오버레이되어 사용자에게 디스플레이될 수 있다.

도 1a는 디스플레이 목적들을 위해 인공 컬러로 각각 마킹된, 상이한 프로브들 또는 색소들로부터의 프로브 채널 이미지들을 함께 융합함으로써 형성된 조직 이미지의 영역 부분을 도시한다. 도 1a로부터 추론될 수 있는 바와 같이, 세포 특징들은 특별히 명확하지는 않다. 도 1b는 핵 및 세포막들이 선들로 마킹되는 도 1a에 도시된 이미지 데이터를 분석함으로써 획득된 분할 데이터로부터 생성된 대응하는 마크-업 오버레이 이미지를 도시하며, 세포질은 핵 외부 표면들과 막 내부 표면들 사이의 영역들을 점유한다.

도 2는 이미지 데이터 및 연관된 분할 데이터를 저장하는 레코드를 도시한다.

도 3a 내지 도 3c는 세포 특징들을 식별하기 위해 분할이 통상적으로 적용되는 방법의 3개의 주요 단계들을 도시한다. 도 3a에 도시된 바와 같이 제 1 단계로서, 핵들이 식별된다. 핵 분할은 핵 색소로 착색된 2D의 픽셀들(또는 3D의 복셀들)을 식별하는 것에 기초할 수 있다. 도 3b에 도시된 바와 같이 제 2 단계로서, 세포질은 제 1 단계에서 식별된 각각의 핵의 경계로부터 성장함으로써 식별된다. 세포질 분할은 세포질 색소로 착색된 2D의 픽셀들(또는 3D의 복셀들)을 식별하는 것에 기초할 수 있다. 도 3c에 도시된 바와 같은 제 3 단계로서, 세포막들은 제 2 단계에서 식별된 세포질 영역의 외주 주위를, 추가적인 분할, 예를 들어 소벨 에지 검출(Sobel edge detection)로 검색함으로써 식별되는데, 이는 하나가 사용되었다면, 막 색소로 착색된 픽셀들 또는 복셀들을 식별하는 것에 기초할 수 있거나, 세포질의 외부 표면, 예를 들어 하나 이상의 픽셀들 또는 복셀들의 두께를 갖는 둘러싸인 표면을 참조하여 세포막들을 정의함으로써 세포질 분할에 기초하는 분할 없이 더 간단하게 달성될 수 있다.

도 4는 공지된 처리 및 시각화 소프트웨어 애플리케이션에 따른 예시적인 작업 흐름을 나타내는 흐름도이다. 도 3a 내지 3c를 참조하여 설명된 세포 분할 단계들은 단계(S1)로서 집합적으로 도시되며, 각각의 하위 단계들(S1.1, S1.2 및 S1.3)은 도 3a, 3b 및 3c에 도시된 단계들에 대응한다. 세포 분할이 수행되면, 단계 (S2)에서, 소프트웨어 애플리케이션은 세포 특징들을 처리하여 분할 결과들로부터 세포-특정 속성 값들을 계산함으로써 상이한 색소들을 정량화하고, 정량화는 세포 특징 내의 색소의 존재 및 그 세포 특징 내의 그 색소의 양을 검출하거나, 단지 세포 면적과 같은 기하학적 파라미터를 계산하는 것을 포함할 수 있다. 이어서, 단계(S3)에서, 사용자에 대한 출력이 준비되고, 이는 분할 데이터가 (고유) 이미지 데이터 상에 오버레이 디스플레이될 방법을 준비하는 것, 일반 출력 파라미터들을 결정하는 것, 및 세포 단위별로 결과 데이터를 결정하는 것을 포함할 수 있다. 단계(S4)에서, 결과들은 이미지 데이터 및 오버레이된 분할 데이터의 표현의 형태로 디스플레이된다. 이어서 분할 데이터는 물론, 단계(S4)에서 이미지가 디스플레이된 방법에 관한 구성 데이터 및 사용자 주석들과 같은 임의의 다른 관련 데이터를 추가하기 위해 레코드가 업데이트, 즉 재-저장된다.

일반적으로, 조직 이미지들의 분할은 사소하지 않은 이미지 처리 작업이다. 이미지 데이터 세트가 완벽한 경우에도, 분할에서 에러들이 발생할 수 있으며, 예를 들어 접촉하고 있는 세포들을 개별적으로 식별하는 것이 어려울 수 있다. 어느 경우에나, 이미지 데이터 세트는 아마도 완벽하지 않을 것이다. 예를 들어, 획득된 이미지들은 샘플 내의 또는 슬라이드 상의 먼지로부터 오는 특징들과 같은 아티팩트들을 포함할 수 있거나, 이미지들은 샘플에 걸쳐 측방으로 변하는 포커싱을 이용하여 획득될 수 있다. 따라서 분할의 결과들은 일반적으로 불완전할 것이고, 따라서 이미지 데이터로부터 의료 진단이 행해져야 하는 경우에 임상 전문가와 같은 전문가에 의해 확인되는 것이 필요할 것이다. 예를 들어, 환자가 화학요법을 겪어야 하는지에 대한 결정은, 이미지 내에서 식별되는 특정 유형의 세포들의 수 또는 그들의 집계 면적 및/또는 세포막들, 세포질 영역들 또는 핵들에 국지화된 것들과 같은 영역들 내에 위치하는 형광 색소의 강도에 의존할 수 있다. 사용자는 전체 분할 결과를 거절한 다음 결과의 품질을 개선하는 것을 목적으로 구성 설정들을 조정한 후에 새로운 분할을 수행하기로 결정할 수 있다. 그러나, 자동화된 분할의 결과들이 주로 수용 가능한 경우, 이미지에 걸친 소수의 격리된 에러들을 줄이기 위해, 이미지 처리 및 시각화 소프트웨어는 수동 개입을 통해 그러한 분할 에러들을 정정하는 데에 사용자를 지원하는 적절한 그래픽 사용자 인터페이스(GUI) 도구들을 구비하는 것이 바람직하다.

본 개시의 일 양태에 따르면, 세포들을 나타내는 이미지 데이터를 처리하는 방법이 제공되고, 방법은 이미지 데이터에 존재하는 복수의 핵 각각을 발견하고 그들의 공간적 범위를 결정하여 핵 분할 데이터를 획득하고 이어서, 핵 분할 데이터에 기초하여, 세포질 분할 데이터 및 세포막 분할 데이터를 결정함으로써 세포 분할 데이터를 획득하기 위해 이미지 데이터의 분할을 수행하는 단계; 디스플레이 상에, 이미지 데이터의 조직 이미지 및 세포 분할 데이터의 분할 이미지로부터의 선택을 포함하는 이미지 창, 및 행들 및 열들의 표를 포함하는 데이터 창을 디스플레이하는 단계- 행들은 세포 분할 데이터에서 식별된 세포들에 특정적이고 열들은 세포 속성들에 특정적임 -; 편집 세션에서 디스플레이와의 사용자 상호작용을 통해 분할 데이터로부터 삭제를 위한 세포들을 선택하는 단계- 세포는 표에서 그 세포에 대한 행을 선택함으로써 데이터 창으로부터 그리고 이미지에서 세포의 분할 데이터를 통해 세포를 선택함으로써 이미지 창으로부터 선택가능함 -; 데이터 창을 통한 선택에 응답하여 선택을 표시하기 위해 이미지 창을 대응적으로 업데이트하고, 이미지 창을 통한 선택에 응답하여 선택을 표시하기 위해 데이터 창을 대응적으로 업데이트하는 단계; 사용자 커맨드에 응답하여 삭제를 위해 선택된 세포들을 고려하여 재-분할을 수행하는 단계- 재-분할은 삭제를 위해 선택된 세포들에 관한 데이터 부분을 제거하기 위해 핵 분할 데이터를 편집하고 이어서, 편집된 핵 분할 데이터에 기초하여, 세포질 분할 데이터 및 세포막 분할 데이터를 재-결정함으로써 진행됨 -; 및 재-분할에 기초하여 이미지 창 및 데이터 창을 디스플레이 상에 재-디스플레이하는 단계를 포함한다.

편집 세션은 분할 데이터에 추가하기 위한 세포들을 식별하기 위해 이미지 창에서 사용자 입력을 수신하는 것을 더 포함할 수 있고, 재-분할은 추가를 위해 식별된 세포들에 관한 추가 데이터 부분을 추가하기 위해 핵 분할 데이터를 편집함으로써 추가를 위해 식별된 세포들을 고려한다. 데이터 창은 표에 세포에 대한 행을 추가함으로써 추가하기 위한 세포를 식별하는 것에 응답하여 업데이트될 수 있거나 업데이트되지 않을 수 있다. 후자의 경우에, 표는 재-분할 후에 재-디스플레이 시에 새로운 행들을 추가하기 위해 먼저 업데이트된다.

따라서, 삭제를 위한 개별 세포 또는 세포들의 그룹을 선택하는 것(및 또한 마음대로 추가될 임의의 세포들을 표시하는 것)은 편집 세션을 먼저 수반한 후에 편집들을 고려하기 위한 재-분할을 수반하는 2-스테이지 처리이다. 따라서, 편집은 잠정적이고, 편집 세션 동안에 행해진 변경들은 재-분할시에만 분할 데이터 내에 고정될 뿐이다.

소정 편집 세션들에서는, 조직 이미지의 특정 면적 내의 하나 이상의 세포들이 삭제를 위해 선택된 후에, 동일 영역에서, 하나 이상의 세포들이 추가를 위해 식별된다. 따라서 사용자는 소거 및 다시 그리기 절차를 이용하여 사용자에 의해 결함 있는 것으로 간주되는 초기 분할의 부분들을 정정한다.

세포들은 둘러싸인 면적을 이미지 창 상에 그림으로써 추가될 수 있다. 이것은 이미지의 디스플레이된 이-차원 표현에서 보이는 세포핵, 또는 세포막 또는 세포 세포질의 경계 주위를 추적함으로써 행해질 수 있다. 대안적으로, 이것은 세포를 함유하는 세포 주위에 국지화된 면적을 마킹한 후에, 예를 들어 침식에 의해, 세포에 대한 분할 데이터를 식별하기 위해 이미지 처리 알고리즘을 적용함으로써, 또는 세포 내의 포인트를 마킹한 후에, 예를 들어 확장에 의해, 세포에 대한 분할 데이터를 식별하기 위해 이미지 처리 알고리즘을 적용함으로써 행해질 수 있다. 우선되는 접근법은 핵 경계를 추적하는 것이다.

이미지 창에 대해, 사용자는 핵 분할 데이터, 세포질 분할 데이터 및 세포막 분할 데이터 각각의 디스플레이의 독립적인 제어를 제공하는 사용자 인터페이스 제어들을 제공받을 수 있다. 따라서 사용자는 예를 들어, 핵 분할 데이터만을 볼 수 있다.

이미지 데이터는 디지털 병리학에 대한 대부분의 경우에 상이한 색소와 각각 연관된 복수의 채널 이미지를 포함할 것이다. 이어서 조직 이미지는 단지 하나의 채널에 대한 것이거나, 함께 융합된 채널 이미지들 중 2개 이상의 합성일 것이다. 상이한 채널들의 취급을 보조하기 위해, 사용자는 어느 채널 이미지들이 조직 이미지에 포함되어야 하는지에 대한 독립적인 제어를 가능하게 하는 사용자 인터페이스 제어들을 제공받을 수 있다. 조직 이미지가 상이한 색소와 각각 연관된 다수의 융합된 이미지들의 합성일 때, 세포 속성은 하나의 특정 색소 또는 색소들의 특정 조합에 특정적일 수 있다. 예를 들어, 하나의 색소가 특정 단백질의 발현을 마킹하는 형광 색소인 경우, 세포 속성은 각각의 세포 내의 또는 각각의 세포의 세포막에 인접한 그 색소의 통합 강도를 측정할 수 있고, 따라서 이러한 세포 속성에 따른 분류는 단지 이러한 색소를 임계값보다 적게 갖는 모든 세포들이 선택되는 것을 허용할 것이다.

편집 및 재-분할은 임의의 횟수만큼 반복적으로 수행될 수 있다. 즉, 재-분할 및 재-디스플레이에 후속하여, 추가 재-분할 및 재-디스플레이에 이어서 추가 편집 세션이 수행될 수 있다.

재-분할이 편집 세션에 의해 영향을 받은 세포들이 위치하는 조직 이미지의 특정 면적으로 제한되는 경우에 계산적으로 더 효율적일 수 있다. 따라서 재-분할은 분할 데이터가 편집된 곳에 근접한 영역들로 국지적으로 한정될 수 있다.

편집 세션은 표를 사용자 인터페이스 제어를 이용하여 열에 의해 분류할 수 있게 하여, 표 내의 행들의 디스플레이를 특정 세포 속성의 값에 의해 순서화하는 것에 도움이 된다. 이러한 분류 특징들은 데이터 창으로부터 공통 속성들 또는 속성 값들을 갖는 세포들의 그룹, 예를 들어 임계치 위 또는 아래의 특정 색소의 통합 강도를 갖는 세포들을 선택하는 것을 용이하게 한다. 전체 세포에 대한 분할 데이터, 또는 단지 세포막의 분할 데이터, 또는 단지 세포 세포질의 분할 데이터, 또는 단지 핵의 분할 데이터를 마킹함으로써 이미지 창에서 세포들이 선택될 수 있다.

데이터 창 내의 표는 세포 라벨에 대한 열을 추가로 포함할 수 있다. 세포 라벨은 임의적일 수 있다. 데이터 창 내의 표는 세포 섬네일 이미지가 디스플레이되는 열을 추가로 포함할 수 있다. 세포 속성은 세포의 한 부분, 예를 들어 핵, 세포질 또는 막에 특정적 수 있거나, 전체 세포, 예컨대 세포 면적에 관련될 수 있다. 하나의 세포 속성은 세포가 분할 또는 사용자 편집 세션으로부터 기원하는지를 나타내는 기원 속성이다.

방법은 재-분할에 의해 결정된 세포 분할 데이터를 저장하는 단계를 더 포함할 수 있다. 초기 분할 및 재-분할은 동일한 세션에서, 또는 상이한 세션들에서 수행될 수 있다. 후자의 경우, 초기 분할은 분할 데이터의 초기 세트를 저장하는 것을 포함하는 제 1 세션에서 수행되고, 재-분할은 이미지 데이터 및 분할 데이터의 초기 세트를 검색하는 것을 포함하는 제2 세션에서 수행된다.

이미지 데이터는 세포들의 이-차원 표현 또는 세포들의 삼-차원 표현을 나타낼 수 있다. 일부 실시예들에서, 이미지 데이터는 슬라이드 상에 장착된 조직 섹션의 종래의 현미경 검사로부터 도출된 것과 같은 2D 이미지 데이터 세트이며, 따라서 이미지 데이터는 세포들의 이-차원 표현을 구성한다. 다른 실시예들에서, 이미지 데이터는 홀로그래픽 현미경 검사 또는 2D 이미지들의 z-스택으로부터 도출된 것과 같은 3D 이미지 데이터 세트이며, 따라서 이미지 데이터는 세포들의 삼-차원 표현을 구성한다.

본 개시의 다른 양태에 따르면, 컴퓨터 장치 상에 로드되어 실행될 때 컴퓨터 장치로 하여금 상기 방법들을 수행하게 하는 기계 판독가능 명령어들을 보유하는 컴퓨터 프로그램 제품이 제공된다.

기계 판독가능 명령어들로 로드되는 컴퓨터 장치가 또한 제공될 수 있다.

또 다른 양태는 전술한 컴퓨터 장치; 레코드들을 저장하도록 구성된 데이터 보관소- 각각의 레코드는 이미지 데이터 및 분할 데이터를 포함하고, 이미지 데이터는 세포들을 나타내고, 분할 데이터는 이미지 데이터에서 식별된 세포 특징들을 나타냄 -; 및 컴퓨터 장치와 데이터 보관소 사이에서 레코드들 또는 레코드들의 부분들의 전송을 가능하게 하는 네트워크 연결들을 포함하는 임상 네트워크에 관한 것이다.

또 다른 양태는 조직 샘플들로부터 세포들을 나타내는 이미지의 이미지 데이터를 2D 또는 3D로 획득하기 위한 이미지 획득 장치에 관한 것이다. 장치는 조직 샘플들의 이미지들을 취득하도록 동작 가능한 현미경 배열; 및 이미지 데이터를 취득하기 위해 현미경 배열을 제어하도록 동작 가능한 제 1 기계 판독 가능 명령어들(예를 들어, 제어 소프트웨어로 구현됨); 및 전술한 방법을 수행하도록 동작 가능한 제 2 기계 판독 가능 명령어들(예를 들어, 이미지 처리 및 시각화 소프트웨어로 구현됨)로 로드되는 컴퓨터 장치를 포함한다.

이하에서, 본 개시는 도면들에 도시된 예시적인 실시예들을 참조하여 단지 예로서 더 설명될 것이다.
도 1a 및 도 1b는 예시적인 조직 이미지 및 조직 이미지의 분할 데이터로부터 생성된 대응하는 마크-업 오버레이 이미지를 도시한다.
도 2는 이미지 데이터 및 분할 데이터를 저장하는 레코드를 도시한다.
도 3a 내지 도 3c는 분할이 세포 특징들을 식별하기 위해 적용될 수 있는 방법의 3개의 주요 단계들을 도시한다.
도 4는 공지된 처리 및 시각화 소프트웨어 애플리케이션에 따른 예시적인 작업 흐름을 나타내는 흐름도이다.
도 5는 본 개시의 실시예의 처리 및 시각화 소프트웨어 애플리케이션에 따른 예시적인 작업 흐름을 도시하는 흐름도이다.
도 6은 도 5의 작업 흐름의 한 부분의 하위-단계들을 도시하는 흐름도이다.
도 7a 내지 도 7d는 도 5의 처리 흐름을 통한 하나의 순회(traverse)에 따른 세포 특징 제거 도구를 이용한 사용자 개입 후에 부분적인 재-분할을 수행하기 위한 작업 흐름의 선택된 단계들을 도시한다.
도 8a 내지 도 8d는 도 5의 처리 흐름의 다른 순회에 따른 세포 특징 추가 도구를 이용한 사용자 개입 후에 부분적인 재-분할을 수행하기 위한 작업 흐름의 선택된 단계들을 도시한다.
도 9a 내지 도 9i는 4개의 이웃 세포들의 그룹에 대한 분할 데이터가 제거된 후에 상이한 형상의 단일 세포에 대한 대체 분할 데이터가 추가되는 예시적인 편집 세션 동안의 이미지 창들의 순서를 도시한다. 도 9j는 분석 중인 기본 이미지 데이터의 이미지를 도시한다.
도 10a 내지 도 10i는 도 9a 내지 도 9i에 도시된 것과 동일한 예시적인 편집 세션 동안의 데이터 창들의 순서를를 도시한다.
도 11은 조직 샘플의 2D 병리학 이미지들을 취득하기에 적합한 예시적인 현미경 시스템의 개략도이다.
도 12는 본 개시의 실시예들과 함께 사용될 수 있는 예시적인 컴퓨터 네트워크를 도시한다.
도 13은 본 개시의 실시예들을 구현하는 데 필요한 이미지 처리를 실천하는 데 사용될 수 있는 컴퓨팅 장치의 블록도이다.

이하의 상세한 설명에서, 제한이 아닌 설명을 위해, 본 개시의 더 나은 이해를 제공하기 위해 특정 상세들이 제시된다. 본 개시는 이러한 특정 상세들로부터 벗어나는 다른 실시예들에서 실시될 수 있다는 것이 당업자들에게 명백할 것이다.

본 문서에서 우리는 관심 있는 세포들 및/또는 세포 특징들을 식별하기 위해 2D 또는 3D 이미지일 수 있는 이미지를 링크된 픽셀들 또는 복셀들의 그룹들로 세분하는 것을 의미하기 위해 분할(segmentation)이라는 용어를 사용한다. (분할은 또한 배경과 같은, 관심 없는 픽셀들 또는 복셀들을 식별할 수 있다.) 분할에 관한 추가 상세가 다음에서 발견될 수 있다.

● Chapter 1 of the textbook Gonzalez and Woods "Digital Image Processing" 3rd edition (2008), pp. 3 to 18, ISBN　013168728 - 그 전체 내용이 본 명세서에 참조로 통합됨.

분할은 임계화, 영역 성장 및/또는 에지 검출에 기초할 수 있다. 분할은 형태학적 연산자들의 적용을 수반할 수 있다. 형태학적 연산자는 형상 분석을 위해, 특히 형상의 표현 및 설명에 유용한 이미지 성분들을 추출하기 위해, 특히 예를 들어 물체의 경계를 계산함으로써 이미지 내의 물체들의 범위를 결정하기 위해 사용되는 수학적 연산자를 의미하는 것으로 이해된다. 2D 또는 3D 병리학 이미지들에 대해, 이것은 핵들과 같은 세포들 또는 세포 요소들의 형상을 의미한다. 예시적인 형태학적 연산자들은 확장, 침식, 개방, 폐쇄이다. 추가 상세들이 다음에서 발견될 수 있다.

● Chapter 9, entitled "Morphological Image Processing", of the textbook Gonzalez and Woods ibid, pp. 627 to 688, ISBN　013168728, 및

● Chapter 14, entitled "Edge Detection in Microscope Images", of the textbook "Image Analysis in Histology" Edited by Richard Wootton, David Springall and Julia Polak (1995), pp. 241-261, ISBN 0521434823

- 그 전체 내용이 본 명세서에 참조로 통합됨.

분할은 예를 들어 앞서 참조된 교과서 챕터들에 설명된 바와 같은, 표준 이미지 처리 기술들의 임의의 조합을 사용하여 수행될 수 있다. 이미지들은 컬러 또는 그레이스케일일일 수 있다. 이미지들은 콘트라스트 향상 필터를 적용하는 것에 의해 수정될 수 있다. 이미지에서 관심 물체들을 식별하기 위한 분할은 하기의 이미지 처리 기술들 중 임의의 것 또는 전부를 수반할 수 있다.

1. 시드 면적들을 식별하기 위한 분산 기반 분석

2. 적응형 임계화

3. 형태학적 연산들

4. 등고선 식별

5. 근접 휴리스틱 규칙들에 기초한 등고선 병합

6. 불변 이미지 모멘트들의 계산

7. 에지 추출(예를 들어, 소벨 에지 검출)

8. 곡률 흐름 필터링

9. 수퍼픽셀 클러스터링

분할을 수행하기 위한 이러한 이미지 처리 단계들은 예시로서 설명되며, 범위를 어떤 식으로든 제한하는 것으로 해석되지 않아야 한다.

도 5는 본 개시의 실시예에 따른 처리 및 시각화 소프트웨어 애플리케이션에 따른 예시적인 작업 흐름을 도시하는 흐름도이다.

작업 흐름은 핵들을 식별하기 위한 하위-단계(S10.1), 세포질 영역들을 성장시키기 위한 하위-단계(S10.2) 및 세포막들을 성장시키기 위한 하위-단계 (S10.3)으로 구성되는 단계 S10에서 분할을 수행함으로써 시작되며, 이러한 3개의 하위-단계는 도 3a, 3b 및 3c의 단계들에 대응한다. 세포 분할이 수행되면, 이어서 단계(S11)에서 다양한 세포 속성들에 대한 세포-특정 파라미터 값들이 계산된다. 일부 속성들은 예를 들어 면적, 형상 또는 최대 치수와 같은 위상(topological) 파라미터들을 결정하기 위해 분할 결과들에만 기초할 것이다. 다른 속성들은 세포 영역 내의 조직 이미지의 특성을 결정하기 위해 분할 결과들을 조직 이미지의 하나 이상의 채널들에 적용하는 것에 기초하며, 예를 들어 하나의 채널이 특정 형광 프로브의 이미지를 나타내는 경우, 예를 들어 특정 단백질의 발현량을 측정하기 위해, 각각의 세포(또는 세포의 일부) 내의 그 프로브의 형광의 통합 강도가 계산될 수 있다. 다른 프로브 또는 마커-특정 속성은 특정 마커가 세포 또는 세포의 일부(예를 들어, 그의 핵들, 세포질 또는 막) 내에 존재하였는지의 여부를 나타내는 이진 속성일 것이다. 일부 예들에서, 속성은 세포 면적 내에 있는 것이 아니라, 예를 들어 세포막들 밖의 영역에서 유한 두께의 해일로(halo)로서 존재할 수 있는 세포막들로부터의 항체 분비를 보여주는 마커를 정량화하기 위해 세포 면적에 인접할 수 있다.

단계(S12)에서의 데이터 창(예를 들어, 표) 및 단계(S13)에서의 이미지 창(예를 들어, 이-차원 표현 또는 삼-차원 표현)의 준비를 포함하는 사용자에 대한 출력이 준비된다.

이미지 창은 다음 3개의 성분: 조직 이미지, 마크-업 오버레이 이미지 및 세포 경계 오버레이 이미지 중 하나 이상을 포함하는 조직 면적의 이미지를 제시한다.

조직 이미지 및 마크-업 오버레이 이미지들은 대안적인 제시들로서 의도되며, 사용자는 비교를 위해 이들 사이에서 토글(toggle)할 것이다. 조직 이미지 및 세포 경계 오버레이 이미지는 융합 이미지에서의 공동-제시를 위해 의도된다.

마크-업 오버레이 이미지는 모든 세포 부분들, 즉 핵, 세포질 및 막에 대한 분할의 결과들을 제시하기 위한 시각화 레이어이며, 통상적으로 세포들 및 그들의 주요 부분들이 강조되도록 선명한 컬러들 및 만화식 설계 접근법들을 사용한다. 마크-업 오버레이 이미지는 또한 분할에 의해 상이한 유형들, 예를 들어 종양 및 비-종양인 것으로 결정된 세포들에 대해 상이한 컬러들을 사용할 수 있다.

세포 경계 오버레이 이미지는 분할의 결과들을 선들로서 그려진 단순한 경계들만으로 제시하기 위한 다른 시각화 레이어이다. 세포 경계 오버레이 이미지는 핵 윤곽들만으로, 세포막 윤곽들만으로, 또는 둘 다로 이루어질 수 있다.

조직 이미지는 현미경(통상적으로 스캐너)으로부터 획득된 이미지들이다. 조직 이미지는 통상적으로 복수의 프로브 채널의 융합, 즉 때때로 착색되지 않은 이미지를 또한 포함하는 특정한 색소에 각각 특정적인 여러 성분 이미지들의 오버레이 또는 다른 조합이다. 이들은 상이하게 착색된 조직의 인접한 슬라이스들로부터의 이미지들일 수 있다. 사용자는 DAPI, 스펙트럼 그린(Spectrum Green), 스펙트럼 오렌지(Spectrum Orange)와 같은 각각의 성분 이미지를 선택하고 선택 해제함으로써 이러한 성분 이미지들 중 어느 것이 융합에 포함되는지를 자유롭게 선택한다. 따라서, 조직 이미지는 그의 전체에서의 또는 선택된 채널 조합들을 갖는 이미지 데이터의 이-차원 표현이다.

이미지 창에서, 사용자는 조직 이미지, 마크-업 오버레이 이미지 및 세포 경계 오버레이 이미지 중 어느 것이 이미지 창에 디스플레이되는지를 자유롭게 선택한다. 사용자에 의한 하나의 흔한 제시는 조직 이미지와 마크-업 오버레이 이미지 사이에서 빠르게 토글하여 2개의 이미지들을 비교하고 따라서 분할의 품질을 판단하는 것이다. 사용자에 의한 다른 흔한 제시는 세포 경계 오버레이 이미지(예를 들어, 핵 경계들의) 및 대응하는 색소(이 예시에서는 핵 색소)에 관련된 채널만을 취하는 조직 이미지의 오버레이를 선택하는 것이고, 이로부터 사용자는 분할이 특정 세포 성분(이 예시에서는 핵)을 얼마나 신뢰성 있게 식별했는지를 알 수 있다.

데이터 창에서, 분할 결과들은 행들 및 열들을 포함하는 표로서 제시된다. 각각의 행은 분할 데이터 내의 세포로서 식별된 세포에 특정적이다. 각각의 열은 특정 색소의 면적 또는 통합 강도와 같은, 특정 세포 속성의 세포-특정 값들을 제공한다. 가장-왼쪽 열은 편리하게도 임의적일 수 있는, 세포 라벨(또는 이름), 예를 들어 조직 이미지 내의 위치에 기초하여 분할 알고리즘에 의해 할당된 번호일 수 있다. 조직 이미지 내의 세포의 섬네일 이미지를 디스플레이하는 열도 포함될 수 있다.

세포-특정 속성들뿐만 아니라, 검출된 핵들의 총 수, 검출된 핵들의 면적, 검출된 핵들 내의 관련 색소들/염료들의 평균 농도, 각각의 관련 구획(구획들은 예를 들어 핵, 세포질, 세포막임) 내의 관련 색소들/염료들의 백분율 면적과 같은 일부 속(generic) 출력 파라미터들이 결정된다.

데이터 창 및 이미지 창은 각각 단계들(S14 및 S15)에서 디스플레이 상에 사용자를 위해 함께 디스플레이된다.

단계(S16 내지 S21)에 기초한 편집 세션에서, 사용자는 이후 데이터 창 및 이미지 창을 통해 분할에서 에러들의 정정을 지원하는 GUI 도구들(예를 들어, 표에서 제거를 위해 하나 이상의 세포들을 마킹하기 위한 제 1 세포 특징 제거 도구. 표현에서 제거를 위해 하나 이상의 세포들을 마킹하기 위한 제 2 세포 특징 제거 도구 및/또는 표 및/또는 표현에서 추가를 위해 하나 이상의 세포들을 마킹하기 위한 세포 특징 추가 도구)을 사용하여 수동으로 개입할 수 있다. 즉, 사용자는 단계들(S16, S17 및 S18)에 도시된 바와 같이 원하는 대로 데이터 창 또는 이미지 창을 통해 분할을 편집하는 옵션을 가진다.

단계(S16)는 사용자가 사용자로 하여금 표 내의 하나 이상의 세포들을 마킹함으로써 분할 데이터의 초기 세트의 부분을 데이터 창으로부터 삭제하기 위해 선택할 수 있게 하는 이미지-기반 세포 특징 제거 도구로 수동 개입하는 것을 포함한다.

단계(S17)는 사용자가 사용자로 하여금 디스플레이 상에서 이미지의 이-차원 표현을 마킹함으로써 분할 데이터의 초기 세트의 부분을 이미지 창으로부터 삭제하기 위해 선택할 수 있게 하는 데이터-기반 세포 특징 제거 도구로 수동 개입하는 것을 포함한다.

단계(S18)는 사용자가 사용자로 하여금 디스플레이 상에서 이미지의 이-차원 표현을 마킹함으로써 분할 데이터의 초기 세트에 새로운 분할 데이터를 추가할 수 있게 하는 세포 특징 추가 도구로 수동 개입하는 것을 포함한다. 이 GUI 도구들의 쌍이 어떻게 구현될 수 있는지의 예들이 하기에 더 설명된다. 세포 또는 세포 핵의 윤곽을 그리는 것과 같은, 이미지 창 내의 사용자 입력은 분할 데이터에 추가할 세포를 식별한다. 데이터 창은 추가할 세포를 식별하는 것에 응답하여 업데이트될 수 있거나 업데이트되지 않을 수 있다. 이 스테이지에서의 데이터 창에 대한 옵션인 업데이트는 표에 새로운 세포에 대한 행을 추가하는 것이지만, 이 스테이지에서는 추가된 세포에 대한 매우 적은 속성 값들만이 알려질 것인데, 이는 대부분의 속성 값들이 재-분할 시에 먼저 계산될 것이기 때문이다. 데이터 창이 단계(S18)에서의 추가의 경우에 단계(S20)에서 업데이트되지 않는 경우, 새로운 세포에 대한 행을 추가하기 위한 표의 업데이트는 다음 재-분할의 결과로서, 즉 단계들(S11 및 S12)의 다음 순회에서 일어날 것이다.

단계(S19)에서, 단계(S16)에서의 데이터 창을 통한 세포 선택에 응답하여, 세포 선택을 표시하기 위해 이미지 창이 업데이트된다.

단계(S20)에서, 단계(S17)에서의 이미지 창을 통한 삭제를 위한 세포 선택(또는 마음대로 단계(S18)에의 이미지 창을 통한 세포 추가)에 응답하여, 데이터 창은 선택(또는 추가)을 보여주도록 업데이트된다.

편집 세션 동안의 하나의 흔하고 유용한 사용 모드는 사용자가 단계(S16 또는 S17)에서 부정확한 분할 데이터를 제거하고 단계(S18)에서 정확한 분할 데이터를 추가함으로써 분할 데이터에서 에러들을 정정하는 것이고, 여기서 '정확한' 및 '부정확한'은 사용자에게 디스플레이된 이미지 데이터의 표현을 참조하여 사용자에 의해 주관적으로 결정되는 것을 의미한다.

단계(S21)에서, 편집 세션은 편집들의 현재 상태를 수용하는 사용자 커맨드의 수신으로 끝난다. 이어서 처리 흐름은 편집들을 고려하여, 즉 일부 세포들이 삭제를 위해 선택되었을 수 있고 다른 세포들(또는 보다 정확하게는 다른 세포들에 대한 분할 데이터)이 추가를 위해 식별되었을 수 있다는 사실을 고려하여, 재-분할을 수행하기 위해 루프백한다. 사용자가 편집 세션에서 편집들의 현재 상태를 수용함으로써 재-분석을 유발할 때, 처리 흐름은 하위-단계(S10.2)(하위-단계 S10.1이 아님)로 복귀한다. 즉 재-분할은 이미지 데이터로부터의 핵들의 애초의(ab initio) 재-분할을 수반하지 않고, 오히려 초기 분할(또는 피드백 루프가 이미 적어도 한 번 순회된 경우에는 이전 분할)로부터의 핵 분할 데이터에서 세포 특징 제거 도구를 사용하여 사용자에 의해 삭제를 위해 선택된 것에 관한 핵 분할 데이터를 뺀 것과 세포 특징 추가 도구를 사용하여 사용자에 의해 추가된 것에 관한 핵 분할 데이터를 더한 것으로 이루어진 수정된 세트를 핵 분할 데이터로서 취한다. 하위-단계(S10.2)로 루프백한 후에, 세포질 영역은 세포 세포질 분할 데이터를 결정하기 위해 핵 분할 데이터의 수정된 세트에 의해 정의된 바와 같이 각각의 핵으로부터 (재)성장된다. 세포질 재성장은 확장 연산자와 같은, 형태학적 연산자를 사용하여 수행될 수 있다. 흐름은 다음에 하위-단계(S10.3)로 진행하여, 세포 세포질 분할 데이터에 기초하여 각각의 세포에 대한 세포막을 식별함으로써, 세포막 분할 데이터를 (재)결정한다. 다음에, 세포 속성들 및 다른 속 파라미터들이 재-계산되고 재-분할의 결과들이 이미지 창 및 데이터 창에 디스플레이된다. 사용자는 이어서 결과들을 검토하고 신선한 편집 세션 및 후속 추가 재-분할을 착수할지를 결정할 수 있다.

가장 최근의 사용자 편집들 및/또는 재-분할 이전에 존재한 바와 같은 분할 데이터로 복귀하기 위한 '실행 취소' 커맨드와 같은 추가의 GUI 컨트롤들이 제공될 수 있다. 다른 하나의 GUI 컨트롤이 모든 존재하는 분할 데이터를 삭제하기 위해 제공될 수 있으며, 따라서 신선한 새로운 분할이 다음에 아마도 상이한 구성 설정들을 사용하여 수행될 수 있다.

처리 흐름의 적절한 포인트에서, 그리고 가장 늦게는 세션을 종료할 때, 레코드는 분할 데이터를 그것의 현재의 형태로, 뿐만 아니라 이미지가 이미지 창 및 데이터 창에서 어떻게 디스플레이되었는지에 관한 구성 데이터, 및 사용자 주석들과 같은 임의의 다른 관련된 데이터를 추가하기 위하여 업데이트, 즉 재-저장된다.

도 5는 단계들이 모두 단일 세션에서 수행되는 것을 암시하지만, 이것은 그럴 필요는 없다. 대안은 자동화된 분할이 전 스테이지에서, 예를 들어 이미지 데이터를 취득한 직후에 이미지 데이터에 대해 실천되고, 그 후 슬라이드 데이터베이스와 같은 데이터 보관소에 레코드로서 저장되는 경우이다. 자동화된 분할로부터의 분할 데이터를 갖는 이미지 데이터는 그 후 사용자가 원래의 자동화된 분할을 검토하고, 필요하다면, 정정 또는 재-실행하는 것을 허용할 목적을 갖는 후속 세션의 시작에서 로드될 수 있다. 도 5에 도시된 작업 흐름을 변경하는 관점에서, 이것은 단계(S10) 후에 중간 저장 단계를 추가하는 것을 의미하고, 그 후 나중의 편집 세션은 레코드로부터 저장된 이미지 데이터 및 분할 데이터를 검색하고 단계(S11)에서 도 5의 작업 흐름에 들어감으로써 시작될 것이다. 이러한 방식으로, 초기 분할 및 재-분할은 상이한 사용자 세션들에서 수행되고, 초기 분할은 이미지 데이터 및 분할 데이터의 초기 세트를 저장하는 것을 포함하는 제 1 사용자 세션에서 수행되고, 재-분할은 이미지 데이터 및 분할 데이터의 초기 세트를 검색하는 것을 포함하는 제 2 세션에서 수행된다.

도 6은 도 5의 작업 흐름의 한 부분의 하위-단계들을 나타내는 흐름도이다. 하위 단계들(S11.1, S11.2 및 S11.3)에서, 색소들은 핵, 세포질 및 막들 각각에 대해 개별적으로 정량화된다. 이러한 3개의 하위-단계들 중 어느 것이 실천되는지는 응용에 특정적이며, 따라서 이러한 옵션들 중 하나 이상의 임의의 조합이 가능하다는 것이 이해될 것이다. 예를 들어, 이러한 하위-단계들 중 어느 것이 관련되는지는 샘플이 어떻게 착색되었는지, 즉 어떤 색소들이 사용되었고 어떤 세포 특징들에 대해 사용되었는지 및 진단 목적에 의존할 것이다.

도 7a 내지 도 7d는 도 5의 단계(S17)에 따른 이미지-기반 세포 특징 제거 도구로 사용자 개입에 의해 보조되는 재-분할을 수행하기 위한 작업 흐름의 선택된 단계들을 개략적으로 도시한다.

도 7a는 초기의, 완전히 자동화된 분할로부터의 오버레이된 분할 데이터와 함께 디스플레이된 세포들의 그룹을 개략적으로 도시한다.

도 7b는 사용자가 삭제를 위해 세포들 중 하나를 선택하기 위해 세포 특징 제거 도구를 이용하여 수동으로 개입할 수 있는 방법을 개략적으로 도시하는데, 선택되는 세포는 사실상 사용자의 이미지 데이터 평가에 따른 이미지 내의 세포가 아니고, 오히려 자동화된 분할이 세포가 존재하지 않을 때 세포가 존재하는 것으로 잘못 간주한 세포이다. 삭제를 위해 선택된 세포 특징은 크로스 심볼로 개략적으로 도시된다. 실제 시스템에서는, 오버레이된 세포 경계 오버레이 이미지, 예를 들어, 핵 경계들과만 조합하여, 핵 색소 채널 이미지를 선택하는 것에 의해서만, 조직 이미지, 예를 들어 핵들을 보여주는 디스플레이 창을 이용하여 편집이 발생하고, 삭제를 위해 세포를 선택하는 동작은 그 세포의 세포 경계를 더 이상 디스플레이하지 않음으로써, 예를 들어, 그 세포의 핵 윤곽을 더 이상 디스플레이하지 않음으로써 시각적으로 표시될 수 있다. 다른 디스플레이 옵션들은 GUI 도구로 삭제를 위해 선택된 세포들 또는 세포 특징들을 그레이 아웃(greying out)하거나 블러링(blurring)하는 것을 포함한다.

도 7c는 재-분할의 중간 결과를 개략적으로 도시하며, 여기서 재-분할은 도 7b로부터 핵들, 즉 원래 발견한 핵들로부터 사용자가 선택해제한 것을 뺀 것을 취함으로써 개시되었다. 도 7c에 도시된 중간 결과는 세포질 영역들을 성장시킨 후에 획득된 것이다. 설명을 위해, 원래 분할에 있었지만, 재-분할에 존재하지 않는 세포는 희미한(즉, 그레이 아웃된) 것으로 도시되지만, 이것은 실제 시스템의 디스플레이에 정상적으로 존재하지 않을 것이다. 세포질 영역들은 경쟁 공간 간을 중재하도록 그들의 각각의 핵들로부터 동시에 성장한다. 즉, 2개(또는 그 이상)의 인접한 핵들이 보통 허용되는 정상 세포 크기보다 서로 더 가까우면, 일부 형태의 중재 또는 협상이 정확한 전체 결과에 도달하기 위해 세포질 분할 계산들에 종합된다. 중재는 세포질을 성장시키거나 달리 결정하면서 세포질 픽셀들(또는 복셀들)의 인식을 고려할 수 있다.

도 7d는 재-분할에 존재하지 않는 세포를 희미하게 다시 도시하는, 도 7c의 중간 결과에 기초하여 세포막들을 결정한 후의 재-분할의 최종 결과를 개략적으로 도시한다.

도 8a 내지 도 8d는 도 5의 단계(S18)에 따라 세포 특징 추가 도구를 이용한 사용자 개입에 의해 보조되는 재-분할을 수행하기 위한 작업 흐름의 선택된 단계들을 도시한다.

도 8a는 초기의 완전히 자동화된 분할로부터의 오버레이된 분할 데이터와 함께 디스플레이된 세포들의 그룹을 개략적으로 도시한다.

도 8b는 사용자가 세포 특징을 추가하기 위해 세포 특징 추가 도구를 사용함으로써 수동으로 개입할 수 있는 방법을 개략적으로 도시하며, 세포 특징은 이미지 데이터에 대한 사용자의 평가에 따라 존재하지만 분할 데이터에 현재 포함되지 않는다. 추가된 세포 특징은 핵으로서 도시된다. 사용자는 사용자가 연필 도구로 이미지 데이터에서 볼 수 있는 핵의 둘레 주위에 윤곽을 그림으로써 표시된 바와 같이, 세포 특징 추가 도구로 디스플레이 상에 새로운 핵을 마킹한다. 연필 도구에 대한 대안으로서, 이 기능을 제공할 수 있는 임의의 다른 마킹 도구가 사용될 수 있다. 선 그리기에 대한 대안으로서, 관심 물체는 디스플레이 상의 영역을 음영화함으로써, 즉 음영화 도구를 사용하여 정의될 수 있다. 다른 대안은 기하학적 형상 선택 및 크기 지정 도구로 물체들을 마킹하는 것이다. 예를 들어, 핵들과 같은 세포 특징들이, 일반적으로 원형이 아닌 경우, 다른 기하학적 형상이 적절하게 사용될 수 있다. 예를 들어, 기하학적 형상은 원, 코드(chord)로 절두된 원, 계란형 또는 타원형, 정사각형, 또는 직사각형 중 하나로부터 선택될 수 있다.

도 8c는 재-분할의 중간 결과를 개략적으로 도시하고, 재-분할은 도 8b로부터의 핵들, 즉 원래 발견된 핵들에 사용자가 추가한 것을 더한 것에 관한 핵 분할 데이터로부터 개시된다. 도 8c에 도시된 중간 결과는 세포질 영역들의 성장 이후이다. 세포질 영역들은 도 7c를 참조하여 더 전술한 바와 같이, 경쟁 공간 간을 중재하기 위해 동시에 그들 각각의 핵으로부터 성장된다.

도 8d는 도 8c의 중간 결과에 기초하여 세포막들을 결정한 후의 재-분할의 최종 결과를 개략적으로 도시한다.

도 7a 내지 도 7d 및 도 8a 내지 도 8d에 각각 도시된 바와 같은 세포들의 제거 및 추가 둘 다를 고려하면, 이러한 GUI 도구들 둘 다를 조합하여 사용하는 것은 사용자에게 강력한 기능성을 제공하는데, 그 이유는 사용자가 먼저 세포 특징 제거 도구를 사용하여 에러들을 포함하는 자동화된 분할 내의 전방 국지화된 면적들로부터 세포 특징들을 삭제하기 위해 선택한 다음, 특히 세포질 영역들 및 세포막들의 부분적 재-분할에 의해 시드로서 이후 사용되는 정확한 핵 분할 데이터를 다시 추가함으로써, 세포 특징 추가 도구를 사용하여 이러한 국지화된 영역들에서 정정 조치를 취할 수 있기 때문이라는 것이 이해될 것이다. 즉, 세포 특징 추가 도구에 의해 추가된 새로운 분할 데이터의 적어도 일부는 세포 특징 제거 도구에 의해 삭제를 위해 선택된 분할 데이터와 일치하는 이미지의 이-차원 표현의 면적과 관련된다.

요약하면, 세포 특징 추가 도구는 사용자가 이미지의 이-차원 표현에서 이미지 데이터로부터 사용자가 볼 수 있지만, 분할 데이터의 초기 세트가 당해 세포 특징을 식별하지 않았기 때문에 또는 사용자가 분할 데이터의 초기 세트가 당해 면적을 잘못-분할했고, 따라서 사용자가 세포 특징 제거 도구로 삭제를 위해 선택함으로써 분할 데이터의 그 부분을 디스플레이로부터 제거했다고 결정했기 때문에, 디스플레이된 분할 데이터에 의해 식별되지 않는 디스플레이된 세포 특징들로서 이미지의 이-차원 표현 상에 마킹하기 위해 사용자에 의해 사용된다. 예를 들어, 흔히 필요한 정정은 초기 분할이 2개의 세포를 하나로 또는 하나의 세포를 2개로 식별할 때일 것이다. 이러한 2개의 예시적인 경우들에서, 사용자는 세포 특징 제거 도구로 디스플레이된 이미지에서의 해당 면적에 관련된 분할 데이터를 삭제하기 위해 선택한 다음, 세포 특징 추가 도구로 정확한 표현을 다시 그릴 것이다. 다시 그리는 것은 사용자가 2개의 핵 또는 하나의 핵에서 각각 그림으로써 행해질 수 있다.

위의 실시예들에서, 이미지 데이터 및 분할 데이터는 도 2에서 도시된 바와 같이, 레코드 내에 저장될 수 있다. 게다가, 이미지 데이터는 분할 데이터 없이 저장될 수 있는데, 이는 분할이 이미지 데이터에 대해 아직 수행되지 않았기 때문이거나, 분할이 항상 즉석으로 행해지고, 레코드에 저장되지 않기 때문이다. 게다가, 레코드 내에 저장될 때의 분할 데이터는 전술한 바와 같이 초기 분할 및/또는 재-분할로부터의 분할일 수 있다.

위의 실시예들에서, 재-분할은 이미지 데이터의 전체 면적 또는 체적에 걸쳐 확장될 수 있다. 그러나, 연산력 및 처리 시간을 절약하기 위한 대안은 분할 데이터가 세포 특징 제거 도구 및/또는 세포 특징 추가 도구에 의해 수정된 곳에 근접한 영역들로 재-분할을 한정하는 것일 것이다. 예를 들어, 세포 삭제를 위해 선택된 각각의 세포 주위의 영역은 이웃 세포들만을 포함하도록 한정될 수 있다. 이웃 세포들은 가장 가까운 이웃들만, 또는 가장 가까운 그리고 그 다음으로 가장 가까운 이웃들일 수 있다. 이웃 세포들의 다른 정의는 삭제를 위해 선택된 세포와 접촉하거나, 그에 매우 근접한 세포들, 선택적으로 접촉 이웃 세포와 접촉하거나, 그에 매우 근접한, 임의의 추가 세포들을 포함하는 세포들일 수 있으며, 따라서 예를 들어, 재-분할은 모든 세포들, 및 세포 집단과 같은 세포 집합체의 일부인 세포들만을 포함할 것이다. 이웃 세포들의 다른 정의는 크기가 삭제를 위해 선택된 세포의 치수들의 특정 배수, 예를 들어, 세포의 최대 측방향 치수의 2, 3, 4, 5, 6, 7, 8, 9 또는 10배, 더하기/빼기 0.5,에 의해 정의되는 영역에 기초한 임의의 기하학적 정의일 수 있다.

위의 실시예들에서, 전술한 GUI 도구들로 수행되는 조치들은 디스플레이 및 사용자 입력 메커니즘, 예를 들어 스타일러스를 갖는 그래픽 태블릿, 터치스크린 디스플레이, 또는 커서를 구동하는 마우스 또는 트랙볼을 갖는 종래의 디스플레이를 포함하는 그래픽 사용자 인터페이스를 통해 제어될 수 있다.

위의 실시예들에서, 세포 특징 추가 도구를 구현하기 위한 다양한 옵션들이 있다. 가장 간단한 구현은 사용자가 디스플레이 상의 이미지의 이-차원 표현 상에 새로운 핵을 마킹할 것으로 예상되도록 세포 특징 추가 도구를 구현하는 것일 것이다. 소프트웨어 애플리케이션은 그 후 사용자가 수정 없이 그린 것을 수용할 수 있거나 분할 계산을 적용하여 윤곽에 근접한 픽셀(또는 복셀) 특성들을 참조하여 사용자가 그린 윤곽을 정제할 수 있다. 대안적인 구현은, 사용자가 핵이 존재하는 것으로 사용자에 의해 정의되는 이미지의 이-차원 표현 상의 포인트를 클릭하고, 분할 계산이 추가될 핵의 범위를 결정하기 위해, 확장 연산자와 같은, 형태학적 연산자에 이어 공급되는 해당 핵의 픽셀들(또는 복셀들)의 정의를 제공하는 것으로서 포인트의 바로 근접(일반적인 핵 크기보다 훨씬 더 작은, 예를 들어, 10배 더 작은 근접)을 취하도록 세포 특징 추가 도구를 구현하는 것일 것이다. 다른 대안은, 사용자가 추가하기를 원하는 핵을 포함하는 것으로 간주되는 더 큰 면적 주위에 사용자가 그리고(draws), 분할 계산이 예를 들어 침식 연산자를 적용하는 것을 통해 핵을 식별하기 위해 이 더 큰 영역 내에서 보도록 세포 특징 추가 도구를 구현하는 것일 것이다. 추가적인 옵션은, 사용자가 세포막을 그릴 것으로 예상되고, 분할 계산이 세포질 분할 데이터를 식별하기 위해, 세포막으로부터 안쪽으로 성장하고, 예를 들어, 침식에 의해, 그 후 세포질 분할 데이터가 추가될 핵에 대한 핵 분할 데이터를 찾기 위한 기초로서 사용되도록 세포 특징 추가 도구를 구현하는 것일 것이다.

전술한 상세한 설명에서, 분할 데이터는 관심 있는 단일 유형의 물체에 대해서만 분할 데이터를 포함하는 것으로 가정되었고, 여기서 예를 들어, 주어진 종류의 샘플에서 발생할 수 있는 복수의 상이한 세포 유형 각각에 대해 하나의 물체 유형이 있을 수 있다. 그러나, 상이한 특징들에 대해 각각, 분할 데이터의 상이한 서브세트들이 있는 것이 가능하다. 예를 들어, 상이한 형광 마커들로 마킹된 특징들 및/또는 세포 윤곽들 및 핵 윤곽들과 같은 이미지 데이터에서 위상학적으로 구별되는 상이한 특징들이 있다. 그러한 경우, 전술한 방법들은 물체 유형별 기반으로 적용되도록 확장될 수 있다는 것이 이해될 것이다.

도 9a 내지 9i는 4개의 이웃 세포들의 그룹에 대한 분할 데이터가 제거된 후에 상이한 형상의 단일 세포에 대한 대체 분할 데이터가 추가되는 예시적인 편집 세션 동안의 이미지 창들의 순서를 도시한다. 도 10a 내지 10i는 도 9a 내지 9i에 도시된 것과 동일한 예시적인 편집 세션 동안의 데이터 창들의 순서를 도시한다. 다시 말해, 도 9a 및 10a는 각각 시각화 애플리케이션의 동일한 디스플레이 내의 이미지 창 및 데이터 창을 도시하는 쌍이다. 이는 도 9b 및 10b 등에서도 그러하다.

이 예시에 대한 시작 포인트는 사용자가 이미 파일 데이터베이스에 접속하였고, 검토할 원하는 이미지 데이터 파일을 발견하였고, 파일을 시각화 애플리케이션 내에 로드한 것이다. 시각화 애플리케이션은 사용자가 분석을 위해 하위-면적을 선택한 이미지를 디스플레이하였다. 하위-면적은 일부 예들에서 전체 슬라이드 이미지일 수 있지만 보통은 선택된 면적 부분일 것이다.

도 9a 및 도 10a는 사용자가 선택된 하위-면적에 걸쳐 초기 분할을 실행한 후의 이미지 및 데이터 창들을 나타낸다. 이미지 창은 3개의 세포 유형들이 상이한 컬러들로 음영화된 것으로 인식된 마크-업 오버레이 이미지를 갖는 이미지를 도시한다. 도 9a(또한 도 9f, 도 9g, 도 9h 및 도 9i)의 단색 표현에서, 3개의 세포 유형들은 밝은 회색, 더 어두운 회색 및 매우 어두운 회색이다. 이 도면들 내의 각각의 세포에 대해, 핵 윤곽뿐만 아니라 세포막 윤곽이 가시적이다. 사용자는 이 뷰와 적합한 GUI 제어를 갖는 조직 이미지의 뷰 사이에서 이미지 창을 빠르게 토글할 수 있다. 데이터 창의 주요 부분은 표이다. 표 행들은 세포 분할 데이터에서 식별된 세포들을 나타낸다. 표 열들은 세포 속성 값들을 나타낸다. 열 헤더들뿐만 아니라, 세포 속성들에 대한 열들로부터 알 수 있는 바와 같이, 세포들의 섬네일 이미지에 대한 열, 순차적인 정수 넘버링 방식에만 기초하는 세포 이름에 대한 열- 번호들은 분할 알고리즘에 의해 자동 할당됨 -, 및 세포의 기원을 나타내는 열도 있다. 세포 기원은 거의 모든 경우에 분할 알고리즘일 것이고, 예외는 세포가 편집 세션에서 사용자에 의해 추가된 것일 때이다. 이 예시에 도시된 예시적인 세포 속성들은 다음과 같다:

● 강한 클래스 핵 내 존재, 예를 들어 강한 형광

● 강한 클래스 세포질 내 존재, 예를 들어 강한 형광

● 미분류 클래스 세포 유형 내 존재

● 핵의 면적

● 핵 구획 내 DAPI 반대 착색의 면적

도 10a로부터 알 수 있는 바와 같이, 데이터 창은 또한 분할에 의해 발견되는 핵들의 총 수, 총 핵 면적 및 핵당 평균 면적과 같은, 분석을 위한 일부 속 데이터를 보여준다.

아마도 조직 이미지(도 1a 참조)와 마크-업 오버레이 이미지를 비교하기 위한 이미지 창의 소정의 토글링을 갖는 도 9a 및 9b의 이미지 및 데이터 창들의 검토에 기초하여, 사용자는 분할이 충분히 양호하지 않은 것으로 결정하고, 따라서 분할을 수정하기 위해 편집 세션에 착수하기를 원한다.

도 9b 및 10b는 사용자가 "세포 삭제 모드"에 들어감으로써 편집 세션을 개시한 이미지 및 데이터 창들을 도시한다. 삭제를 용이하게 하기 위해, 사용자는 DAPI 핵 반대 착색 채널 이미지를 제외한 모든 것을 비활성화하기 위해 이미지 창에 대한 설정들을 조정하였다. 예를 들어, 이미지 데이터 내의 스펙트럼 오렌지 및 스펙트럼 그린 프로브 채널들은 비활성화 되었을 수 있다. 따라서 조직 이미지는 더 이상 함께 융합된 모든 채널 이미지들의 합성이 아니라, 핵들이 강하게 가시적인 하나의 채널만을 나타낸다. DAPI 이미지 내의 핵들의 가시성은 콘트라스트, 밝기, 컬러 맵 등에 대한 다른 이미지 제어들을 조정함으로써 더 향상될 수 있다. 도 9c, 9d 및 9e는 또한 동일한 핵 채널 설정들을 갖는다.

도 9c 및 10c는 사용자가 적절한 GUI 제어를 사용하여 이미지 창을 통해 삭제를 위해 4개의 이웃 세포들을 선택한 "세포 삭제" 모드에 여전히 있는 상황을 도시한다. 이 진술은 사실상 기술적으로 올바르지 않은데, 그 이유는 실제로 사용자가 이러한 4개의 세포에 대한 핵 분할 데이터(조직 이미지 내의 세포 표현들이 아니라)를 선택하였기 때문이다. 다시 말해, 사용자는 삭제를 위해 이러한 세포들을 이들의 분할 데이터, 구체적으로 여기서는 이들의 핵 분할 데이터로부터 선택하였다. 도 9c에서 알 수 있는 바와 같이, 선택된 세포들은 이러한 세포들의 핵 분할 데이터에 대해 상이한 컬러링 또는 다른 시각적 마커를 사용하여 이미지에 강조된다. 도 10c를 참조하면, 이미지 창을 통한 이러한 4개의 세포의 선택에 응답하여 데이터 창이 관련된 4개의 행을 강조함으로써(도면에서는 하나만이 가시적임), 예를 들어 행 그린을 음영화함으로써, 선택을 도시하도록 업데이트되었다는 것을 또한 알 수 있다. 예를 들어, 마우스 또는 트랙볼과 같은 포인팅 디바이스로 세포를 클릭함으로써 또는 박스 내의 하나 이상의 세포들을 선택하기 위해 면적 주위로 박스를 드래그함으로써, 이미지 창에서 세포가 선택될 수 있다. 박스는 직사각형, 원형 또는 임의의 다른 형상일 수 있고, 그의 형상은 사용자 정의 가능할 수 있다. 이미지 창을 통해 세포들을 선택하는 것에 대한 대안으로서, 그들은 대신에 표 내의 그 세포에 대한 행을 선택함으로써 데이터 창으로부터 선택될 수 있다. 표 행을 통해 세포를 선택하는 것은 관련 행을 강조하고, 또한 이미지 창에서 이 세포를 그것이 이미지 창을 통해 선택된 것과 동일한 방식으로 강조하는 결과가 될 것이다. 데이터 창을 통한 세포 선택은 행들을 열에 의해 분류하는 것을 통해 용이하게 될 수 있다. 예를 들어, "핵의 면적" 열의 헤드를 클릭하는 것은 세포들이 면적의 순서(오름차순 또는 내림차순)로 나열되도록 행들을 분류할 수 있다. 따라서 사용자는 소정 면적 위 또는 아래의 모든 세포들의 선택을 차단할 수 있다. 이러한 방식으로, 표 내의 행들의 디스플레이는 임의의 원하는 세포 속성의 값에 의해 순서화될 수 있다.

도 9d 및 10d는 사용자가 도 9c 및 10c에서 삭제를 위해 마킹된 세포들을 삭제한 후의 상황을 나타낸다. 이러한 세포들은 이 시점에서 실제로 삭제되지 않으며, 오히려 이러한 세포들에 대한 분할 데이터만이 이제 이미지 창에 디스플레이되지 않고(도 9d 참조) 삭제된 세포들에 대한 행들은 이제 상이하게 강조되며, 예를 들어 녹색 대신에 적색으로 음영화된다. 다시 말해, 삭제의 조치는 기본 데이터에 영향을 미치는 것이 아니라, 디스플레이에서 사용자에게 제시되는 것에만 영향을 미친다.

도 9e 및 10e는 사용자가 여전히 편집 세션에 있지만, 분할 데이터에 추가하기 위한 세포들을 식별하기 위해 이미지 창에서 사용자 입력을 수신하기 위해 "세포 삭제 모드"로부터 "세포 추가 모드"로 스위치된 상황을 도시한다. 이를 위해, 사용자는 그리기 도구를 이용하여 사용자가 핵에 대응하는 것으로 인식하는 하나 이상의 면적들 주위에 윤곽을 그린다. 도시된 예시에서, 사용자는 3개의 핵을 나타내기 위해 원래의 분할에서 결정된 바와 같은 핵 물질의 면적 주위에 단일 핵을 나타내기 위해 단일 윤곽을 그렸다(도 9a, 9b 및 9c 참조). 도 10e로부터 또한 알 수 있듯이 그리기 도구를 이용하여 추가 위한 세포를 식별하는 것에 응답하여, 데이터 창은 표 내에 새로운 세포에 대한 행을 추가함으로써 업데이트 되었고, 이 새로운 세포는 "사용자 추가"로서 기원 열 내에 라벨되고 강조되어, 예를 들어 녹색으로 음영화 되었다.

이 예에서 이 시점에서, 사용자는 이러한 삭제들 및 추가들이 효력을 발휘하고 세포별 결과들 및 일반 결과들의 신선한 세트를 인출하기로 결정한다. 재분석은 재-분할에 기초하고, 사용자가 "주석들 분석"과 같은 적절한 라벨을 갖는 GUI 버튼을 활성화함으로써 개시된다.

도 9f 및 10f는 재분석의 결과를 나타낸다. 도 9a 및 10a에 도시된 초기 분할에 대해서와 같이, 먼저 디스플레이되는 이미지 창은 마크-업 오버레이 이미지에 대한 것이다. 데이터 창 내의 일반적인 데이터 표를 참조하면, 핵들의 총 수는 이제 재분석 전의 편집 세션의 최종 상태와 일치하는 208, 즉 3개 더 적다는 것을 알 수 있다. 도 5를 참조하면, 재-분할은 편집 세션의 끝으로부터 핵 분할 데이터를 취한 다음에 세포질 및 세포막을 재성장시키기 위해 단계들(S10.2 및 S10.3)을 수행하였다. 특히, 우리는 추가된 세포가 재성장된 세포질 및 세포막과 함께 도 9f에서 가시적인 것을 안다.

도 9g 및 10g는 재분석 후에 사용자가 추가된 세포에 대한 재-분할을 검토하기를 원하는 방법을 나타낸다. 이것은 추가된 세포를 선택함으로써 수행되며, 이는 마크-업 오버레이 이미지 내에 머무르는 동안에 "세포 삭제 모드"(이 시점에서 추가된 세포를 삭제하기 위한 사전 의도가 존재하지 않더라도)에 재-진입함으로써 편리한 방식으로 수행될 수 있다. 선택된 세포는 예를 들어, 그의 행을 녹색으로 음영화함으로써 강조된다. 사용자가 추가된 세포를 인식할 수 있는 것으로 가정하면, 추가된 세포는 "사용자 식별" 세포들을 발견하기 위해 기원 열을 분류함으로써 데이터 창으로부터 또는 이전과 같이 선택에 의해 이미지 창으로부터 편리하게 선택될 수 있다.

도 9h 및 10h는 추가 진행을 도시한다. 사용자는 이제 표 분류 기능을 사용하여 삭제를 위해 여러 개의 세포들을 블록-마크한다(도 9h에서 9개의 세포들이 삭제를 위해 선택된다). 이 특정 예시는 소정 값 아래의 핵 면적을 갖는 모든 세포들을 선택하였다. 도 10h를 참조하면, 이 블록 선택이 "핵의 면적" 열에 대한 이전의 오름차순 분류에 의해 어떻게 용이해졌는지를 알 수 있다. 블록 선택된 세포들은 예를 들어, 그들의 행들을 녹색으로 음영화함으로써 강조된다. 삭제를 위해 선택된 작은 핵 면적 세포들은 표에서 그들의 행들이 강조되며, 그들의 핵 윤곽들이 이미지 창에서 강조된다.

도 9i 및 10i는 (도 9d 및 10d의 의미에서) 도 9h 및 10h에서 삭제를 위해 선택된 세포들이 삭제된 후 그리고 또한 분할을 재실행하기 위한 재분석 후의 다음 스테이지를 도시한다. 도 9i에서 가시적이듯이, 도 9h 및 10h에서 삭제를 위해 선택된 세포들은 이제 재-분할 후에 결여된다. 또한, 분할로부터 소정 세포들을 제거함으로써, 나머지 세포들 중 일부의 기하학적 특성들 및 또한 분류가 변경되었다는 것을 알 수 있다. 도 10i의 속 데이터 표로부터 또한 알 수 있듯이, 핵의 수가 208개에서 158개로 감소되었고, 즉 질량 삭제가 도 9h에서 가시적인 9개뿐만 아니라, 50개의 세포들에 대한 것이었다. 이것은 단지 도 9a 내지 9i의 이미지들이 분석에 의해 커버되는 전체 면적을 포함하지 않으므로, 이들이 개별 세포들을 볼 만큼 충분히 확대될 수 있기 때문이다.

도 9j는 완전성을 위해 포함된다. 이는 이 예시가 기초하는 이미지 데이터의 조직 이미지를 보여주는 도 1a의 재생이며, 조직 이미지는 기본 이미지 데이터에 포함된 모든 프로브 채널들의 융합이다.

현미경 플랫폼

도 11은 조직 섹션 샘플(10)의 2D 병리학 이미지들을 취득하기에 적합한 예시적인 이미지 취득 장치인 예시적인 반사-모드(즉, epi) 형광 현미경 시스템(5)의 개략도이다. 이미지들은 형광 착색될 수 있는데, 예를 들어 FISH 이미지들, 또는 비-형광 색소들로 착색된 샘플들의 이미지들, 또는 착색되지 않은 샘플들의 이미지들일 수 있다. 현미경 시스템(5) 내의 광학 배열은 여기 필터(12)(필터 휠 상의 여러 개의 그러한 필터들 중 하나로서 도시됨), 이색성 거울(15), 현미경 대물렌즈(17)(예를 들어, 60x 내지 100x 이미지 캡쳐 배율), 및 방출 필터(20)(때때로 장벽 필터로도 지칭됨)를 포함한다. 소스(25)로부터의 여기 광은 여기 필터(12)를 통과하고, 이색성 거울(15)에 의해 부분적으로 반사되어 현미경 대물렌즈(17)를 통해 샘플(10)로 진행한다. 샘플을 향해 이동하는 여기 광은 중공 화살표들에 의해 개략적으로 도시된다. 샘플(10)로부터 방출되는 형광 방사선은 다시 대물렌즈(17)를 통과하고, 이색성 거울(15)을 통과하고, 방출 필터(20)를 통과하여 이미지 평면(30)에 이미지를 형성한다. 샘플로부터 멀리 이동하는 형광 광은 실선 흑색 화살표들에 의해 개략적으로 도시된다. 이미지는 CCD(charge-coupled device) 카메라(32)에 의해 디지털화되고, 디지털화된 이미지는 후속 처리를 위해 컴퓨터(35)로 전송된다.

필터들이 단일 통과대역을 가지면, 특정 필터들 및 이색성 거울은 샘플 내의 단일 염료에 특정적이다. 샘플 내의 다른 염료들에 대한 이미지들은 각각의 다른 염료에 대한 여기 및 방출 대역들을 위해 구성되는 광학 요소들을 대체함으로써 취득된다. 이색성 거울 및 방출 필터는 종종 큐브(cube)라고 지칭되는 지지 구조(40)(가상선으로 도시됨)에 통상적으로 견고하게 장착되며, 다수의 큐브들은 광학 경로 내외로 이동가능하다. 반대로 향하는 화살표들(42)은 회전가능한 터렛(turret) 또는 디텐티드 슬라이드 메커니즘(detented slide mechanism)과 같은 적절한 메커니즘을 나타낸다. 다수의 여기 필터들은 회전가능한 필터 휠(도시된 바와 같은) 상에 통상적으로 배치된다. 시스템은 단색 이미지 취득 또는 컬러 이미지 취득을 위한 것일 수 있다. 컬러 취득을 위해, CCD 카메라는 컬러 CCD 카메라이고, 다중대역 여기는 각각의 소스들, 또는 광대역 소스 및 적절한 필터들을 이용하여 3개의 컬러 대역들에서 제공되고, 3개의 방출 대역들 중 하나 내에서만 투과되는 3개의 대응하는 방출 필터들이 제공된다. FISH를 위해 사용되는 예시적인 염료들은 DAPI, FITC(fluorescein isothiocyanate) 및 Cy3, Cy3.5, Cy5, Cy5.5 및 Cy7과 같은 시아닌(cyanine) 염료들을 포함한다.

컴퓨터(35)는 특히 이미지를 취득하기 위해 현미경 배열을 제어하고; 이미지 데이터를 분할하여 이미지 내의 관심 물체를 식별하는 분할 데이터를 생성하기 위해 이미지 세트로 개별적으로 또는 집합적으로 취득된 이미지를 처리하고; 사용자가 전술한 바와 같이 그래픽 사용자 인터페이스를 통한 수동 개입을 통해 분할 데이터를 편집할 수 있게 하기 위해, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현되는 것과 같은 기계 판독가능 명령어들의 다양한 세트로 로드될 수 있다.

컴퓨팅 플랫폼들 및 네트워크 환경

제안되는 이미지 처리 및 GUI 설계는 다양한 컴퓨팅 아키텍처들, 특히 중앙 처리 유닛들(CPUs), GPUs, 필드-프로그래밍 가능 게이트 어레이들(FPGA) 및/또는 주문형 집적 회로(ASIC)에 기초할 수 있는 이미지 처리에 최적화된 아키텍처들 상에서 실천될 수 있다. 일부 실시예들에서, 이미지 처리 소프트웨어는 Tesla K80 GPU와 같은 캘리포니아 산타클라라의 Nvidia 사로부터의 Nvidia GPU들 상에서 실행된다. 다른 실시예들에서, 이미지 처리 소프트웨어는 범용 CPU 들 상에서 실행될 수 있다. 이미지 처리 계산들을 수행하기 위한 목적-설계 프로세서에 의해 더 빠른 처리가 획득될 수 있다.

이미지 처리 소프트웨어를 실행하기 위해 사용되는 연산력은, 그것이 CPU, GPU 또는 소정의 다른 프로세서 유형에 기초하는지에 관계없이, 임상 네트워크, 예를 들어 하기 설명되는 것에서 국지적으로, 또는 데이터 센터에서 원격적으로 호스트될 수 있다는 것이 이해될 것이다.

제안된 컴퓨터-자동화 방법은, 병원 정보 시스템(HIS) 또는 사진 보관 및 통신 시스템(PACS)과 같은, 통상적으로 더 큰 임상 네트워크 환경의 일부인 실험실 정보 시스템(LIS)의 맥락에서 동작한다. LIS에서, 이미지 데이터 파일들은 데이터베이스, 통상적으로 개별 환자들의 전자 의료 레코드들을 함유하는 환자 정보 데이터베이스에 유지될 것이다. 이미지 데이터 파일들은 슬라이드들 상에 장착된 착색된 조직 샘플들로부터 취해질 것이고, 슬라이드들은 이미지 데이터 파일들을 취득하는 현미경들이 바코드 판독기들을 구비하기 때문에, 인쇄된 바코드 라벨들을 보유하며, 이들에 의해 이미지 데이터 파일들은 적합한 메타데이터로 태그된다. 하드웨어 관점에서, LIS는 원하는 대로 유선 및 무선 연결들을 갖는 근거리 네트워크(LAN)와 같은 종래의 컴퓨터 네트워크일 것이다.

도 12는 본 발명의 실시예와 함께 사용될 수 있는 예시적인 컴퓨터 네트워크를 도시한다. 네트워크(150)는 병원(152) 내의 LAN을 포함하며, 즉 임상 네트워크의 일 예시이다. 병원(152)은 각각이 근거리 네트워크를 통해, 연관된 저장 디바이스(158)를 가지는 병원 컴퓨터 서버(156)에 접속할 수 있는 다수의 컴퓨터 워크스테이션(154)을 구비하고 있다. LIS, HIS 또는 PACS 아카이브가 저장 디바이스(158) 상에 저장되며, 따라서 아카이브 내의 데이터가 워크스테이션들(154) 중 임의의 워크스테이션으로부터 접속될 수 있다. 아카이브는 레코드들을 저장하도록 구성된 데이터 보관소이고, 레코드들은 조직 섹션 샘플들의 2D 이미지들의 이미지 데이터 및 관심 물체들의 분할 데이터를 포함한다. 네트워크의 연결들은 워크스테이션들(154) 중 개개의 워크스테이션과 아카이브 간 레코드들 또는 그들의 일부를 전송하는 것을 가능하게 한다. 워크스테이션들(154) 중 하나 이상은 그래픽 카드에 그리고 전술한 바와 같이 이미지들을 생성하는 방법들의 컴퓨터-구현을 위한 소프트웨어에 접속할 수 있다. 소프트웨어는 워크스테이션(154) 또는 각각의 워크스테이션(154)에 국지적으로 저장될 수 있거나, 필요할 때 네트워크(150)를 통해 워크스테이션(154)에 원격적으로 저장되고 다운로드될 수 있다. 다른 예시에서, 방법들은 단말로서 동작하는 워크스테이션들(154)과 함께 컴퓨터 서버 상에서 실행될 수 있다. 예를 들어, 워크스테이션들은 원하는 이미지 데이터 세트를 정의하는 사용자 입력을 수신하고 이미지 처리 분석이 시스템 내의 다른 곳에서 수행되는 동안 결과 이미지들을 디스플레이하도록 구성될 수 있다. 또한, 여러 2D 병리학 이미지 취득 디바이스들 및 다른 의료 이미징 디바이스들(160, 162, 164, 166)이 병원 컴퓨터 서버(156)에 연결된다. 디바이스들(160, 162, 164, 166)로 수집된 이미지 데이터가 저장 디바이스(156) 상의 LIS, HIS 또는 PACS 아카이브에 직접적으로 저장될 수 있다. 이어서 대응하는 2D 이미지 데이터가 기록된 직후 병리학 이미지들이 보고 처리될 수 있다. 근거리 네트워크는 병원 인터넷 서버(170)에 의해 인터넷(168)에 연결되며, 이는 LIS, HIS 또는 PACS 아카이브에의 원격 접속을 가능하게 한다. 이것은, 예를 들어, 환자가 이동되는 경우, 데이터의 원격 접속을 위해 그리고 병원들 간 데이터를 전송하기 위해 사용되거나, 외부 연구가 시행될 수 있게 해준다.

도 13은 본 명세서에 설명된 다양한 실시예들과 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치(500)를 도시하는 블록도이다. 예를 들어, 컴퓨팅 장치(500)는 전술한 LIS 또는 PACS 시스템에서 컴퓨팅 노드, 예를 들어 적합한 CPU 또는 GPU와 함께 2D 병리학 이미지들의 처리가 실천되는 호스트 컴퓨터로서 사용될 수 있다.

컴퓨팅 장치(500)는 서버 또는 임의의 종래의 개인용 컴퓨터, 또는 유선 또는 무선 데이터 통신이 가능한 임의의 다른 프로세서-지원 디바이스일 수 있다. 당업자들에게 명백한 바와 같이, 유선 또는 무선 데이터 통신이 가능하지 않은 디바이스들을 포함하는 다른 컴퓨팅 장치들, 시스템들 및/또는 아키텍처들이 또한 사용될 수 있다.

컴퓨팅 장치(500)는 바람직하게는 프로세서(510)와 같은 하나 이상의 프로세서들을 포함한다. 프로세서(510)는 예를 들어 CPU 또는 GPU 또는 CPU 및 GPU 조합들과 같은 어레이들 또는 이들의 조합들일 수 있다. 입력/출력을 관리하기 위한 보조 프로세서, 텐서 처리 유닛(TPU)과 같은 부동 소수점 수학적 연산들을 수행하기 위한 보조 프로세서, 신호 처리 알고리즘들의 고속 실행에 적합한 아키텍처를 갖는 특수-목적 마이크로프로세서(예를 들어, 디지털 신호 프로세서, 이미지 프로세서), 메인 처리 시스템에 종속된 슬레이브 프로세서(예를 들어, 백-엔드 프로세서), 이중 또는 다중 프로세서 시스템들을 위한 추가적인 마이크로프로세서 또는 제어기, 또는 코프로세서와 같은 추가적인 프로세서들이 제공될 수 있다. 그러한 보조 프로세서들은 별개의 프로세서들일 수 있거나 프로세서(510)와 통합될 수 있다. 컴퓨팅 장치(500)와 함께 사용될 수 있는 CPU들의 예시들은, 펜티엄 프로세서, 코어 i7 프로세서, 및 제온 프로세서이고, 이들 모두는 캘리포니아주 산타클라라의 인텔사로부터 입수 가능하다. 컴퓨팅 장치(500)와 함께 사용될 수 있는 예시적인 GPU는 캘리포니아주 산타클라라의 Nvidia 사의 Tesla K80 GPU이다.

프로세서(510)는 통신 버스(505)에 연결된다. 통신 버스(505)는 컴퓨팅 장치(500)의 저장소와 다른 주변 성분들 사이의 정보 전송을 용이하게 하기 위한 데이터 채널을 포함할 수 있다. 통신 버스(505)는 데이터 버스, 어드레스 버스, 및 제어 버스(미도시)를 포함하는, 프로세서(510)와의 통신을 위해 사용되는 신호들의 세트를 추가로 제공할 수 있다. 통신 버스(505)는, 예를 들어, ISA(industry standard architecture), EISA(extended industry standard architecture), MCA(Micro Channel Architecture), PCI(peripheral component interconnect) 로컬 버스, 또는 IEEE 488 GPIB(general- purpose interface bus), IEEE 696/S-100 등을 포함하는 IEEE(Institute of Electrical and Electronics Engineers)에 의해 공표된 표준들에 따른 버스 아키텍처들과 같은 임의의 표준 또는 비-표준 버스 아키텍처를 포함할 수 있다.

컴퓨팅 장치(500)는 바람직하게는 메인 메모리(515)를 포함하고, 보조 메모리(520)도 포함할 수 있다. 메인 메모리(515)는 전술한 기능들 및/또는 모듈들 중 하나 이상과 같은, 프로세서(510) 상에서 실행되는 프로그램들에 대한 명령어들 및 데이터의 저장을 제공한다. 메모리에 저장되고 프로세서(510)에 의해 실행되는 컴퓨터 판독가능 프로그램 명령어들은 어셈블러 명령어들, 명령어-세트-아키텍처(ISA) 명령어들, 기계 명령어들, 기계 의존 명령어들, 마이크로코드, 펌웨어 명령어들, 상태-설정 데이터, 집적 회로에 대한 구성 데이터, 또는 스몰토크(Smalltalk), C/C++, 자바, 자바스크립트, 펄, 비주얼 베이직, .NET 등을 포함하지만 이에 제한되지 않는 하나 이상의 프로그래밍 언어들의 임의의 조합으로 작성되고/되거나 그로부터 컴파일된 소스 코드 또는 오브젝트 코드일 수 있다는 것이 이해되어야 한다. 메인 메모리(515)는 통상적으로 동적 랜덤-액세스 메모리(DRAM) 및/또는 정적 랜덤-액세스 메모리(SRAM)와 같은 반도체-기반 메모리이다. 다른 반도체-기반 메모리 유형들은 예를 들어, 판독 전용 메모리(ROM)를 포함하여 동기식 동적 랜덤-액세스 메모리(SDRAM), 램버스 동적 랜덤-액세스 메모리(RDRAM), 강유전성(ferroelectric) 랜덤 액세스 메모리(FRAM) 등을 포함한다.

컴퓨터 판독가능 프로그램 명령어들은 전적으로 사용자의 컴퓨터 상에서, 부분적으로 사용자의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터 상에서 그리고 부분적으로 원격 컴퓨터 상에서 또는 전적으로 원격 컴퓨터 또는 서버 상에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 연결은 (예를 들어, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대해 이루어질 수 있다.

보조 메모리(520)는 마음대로 내부 메모리(525) 및/또는 이동식 매체(530)를 포함할 수 있다. 이동식 매체(530)는 임의의 공지된 방식으로 판독 및/또는 기입된다. 이동식 저장 매체(530)는, 예를 들어, 자기 테이프 드라이브, CD(compact disc) 드라이브, DVD(digital versatile disc) 드라이브, 다른 광학 드라이브, 플래시 메모리 드라이브 등일 수 있다.

이동식 저장 매체(530)는 컴퓨터-실행가능 코드(즉, 소프트웨어) 및/또는 데이터를 저장한 비-일시적 컴퓨터-판독가능 매체이다. 이동식 저장 매체(530)에 저장된 컴퓨터 소프트웨어 또는 데이터는 프로세서(510)에 의한 실행을 위해 컴퓨팅 장치(500) 내로 판독된다.

보조 메모리(520)는 컴퓨터 프로그램들 또는 다른 데이터 또는 명령어들이 컴퓨팅 장치(500) 내에 로드되게 하기 위한 다른 유사한 요소들을 포함할 수 있다. 그러한 수단은 예를 들어 외부 저장 매체(545) 및 소프트웨어 및 데이터가 외부 저장 매체(545)로부터 컴퓨팅 장치(500)로 전송되게 하는 통신 인터페이스(540)를 포함할 수 있다. 외부 저장 매체(545)의 예들은 외부 하드 디스크 드라이브, 외부 광학 드라이브, 외부 자기-광학 드라이브 등을 포함할 수 있다. 보조 메모리(520)의 다른 예들은 프로그래밍 가능 판독-전용 메모리(PROM), 소거 및 프로그래밍 가능 판독-전용 메모리(EPROM), 전기적 소거 가능 판독-전용 메모리(EEPROM) 또는 플래시 메모리(EEPROM과 유사한 블록-지향 메모리)와 같은 반도체 기반 메모리를 포함할 수 있다.

앞서 언급된 바와 같이, 컴퓨팅 장치(500)는 통신 인터페이스(540)를 포함할 수 있다. 컴퓨팅 인터페이스(540)는 소프트웨어 및 데이터가 컴퓨터 장치(500)와 외부 디바이스들(예컨대, 프린터들), 네트워크들, 또는 다른 정보 소스들 간에 전송될 수 있게 한다. 예를 들어, 컴퓨터 소프트웨어 또는 실행가능 코드는 통신 인터페이스(540)를 통해 네트워크 서버로부터 컴퓨팅 장치(500)로 전송될 수 있다. 통신 인터페이스(540)의 예시들은 빌트-인 네트워크 어댑터, NIC(network interface card), PCMCIA(Personal Computer Memory Card International Association) 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB(Universal Serial Bus) 네트워크 어댑터, 모뎀, NIC(network interface card), 무선 데이터 카드, 통신 포트, 적외선 인터페이스, IEEE 1394 파이어-와이어, 또는 시스템(550)을 네트워크 또는 다른 컴퓨팅 디바이스와 인터페이싱할 수 있는 임의의 다른 디바이스를 포함한다. 통신 인터페이스(540)는 바람직하게는, 이더넷 IEEE 802 표준들, 파이버(Fibre) 채널, DSL(digital subscriber line), ADSL(asynchronous digital subscriber line), 프레임 릴레이, ATM(asynchronous transfer mode), ISDN(integrated digital services network), PCS(personal communications services), TCP/IP(transmission control protocol/lnternet protocol), SLIP/PPP(serial line Internet protocol/point to point protocol) 등과 같은 산업-공표된 프로토콜 표준들을 구현하지만, 또한 맞춤화된 또는 비-표준 인터페이스 프로토콜들을 구현할 수 있다.

통신 인터페이스(540)를 통해 전송되는 소프트웨어 및 데이터는 일반적으로 전기 통신 신호(555)들의 형태이다. 이들 신호(555)들은 통신 채널(550)을 통해 통신 인터페이스(540)에 제공될 수 있다. 일 실시예에서, 통신 채널(550)은 유선 또는 무선 네트워크, 또는 임의의 다양한 다른 통신 링크들일 수 있다. 통신 채널(550)은 신호(555)들을 운반하고, 몇가지 예를 들자면, 와이어 또는 케이블, 광섬유, 종래의 전화선, 휴대폰 링크, 무선 데이터 통신 링크, RF(radio frequency) 링크, 또는 적외선 링크를 비롯한 각종 유선 또는 무선 통신 수단을 사용하여 구현될 수 있다.

컴퓨터-실행가능 코드(즉, 컴퓨터 프로그램들 또는 소프트웨어)는 메인 메모리(515) 및/또는 보조 메모리(520)에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스(540)를 통해 수신되고 메인 메모리(515) 및/또는 보조 메모리(520)에 저장될 수 있다. 이러한 컴퓨터 프로그램들은, 실행될 때, 컴퓨팅 장치(500)가 본 명세서의 다른 곳에서 설명된 바와 같은 개시된 실시예들의 다양한 기능들을 수행할 수 있게 한다.

본 문서에서, "컴퓨터-판독가능 매체"라는 용어는 컴퓨터-실행가능 코드(예를 들어, 소프트웨어 및 컴퓨터 프로그램들)를 컴퓨팅 장치(500)에 제공하는 데 사용되는 임의의 비-일시적 컴퓨터-판독가능 저장 매체를 지칭하는 데 사용된다. 그러한 매체의 예시들은 메인 메모리(515), 보조 메모리(520)(내부 메모리(525), 이동식 매체(530) 및 외부 저장 매체(545)를 포함함), 및 통신 인터페이스(540)와 통신 가능하게 결합된 임의의 주변 디바이스(네트워크 정보 서버 또는 다른 네트워크 디바이스를 포함함)를 포함한다. 이러한 비-일시적 컴퓨터-판독가능 매체는 실행가능 코드, 프로그래밍 명령어들 및 소프트웨어를 컴퓨팅 장치(500)에 제공하기 위한 수단이다. 소프트웨어를 이용하여 구현되는 일 실시예에서, 소프트웨어는 컴퓨터-판독가능 매체 상에 저장되고, 이동식 매체(530), I/O 인터페이스(535) 또는 통신 인터페이스(540)를 통해 컴퓨팅 장치(500) 내에 로드될 수 있다. 그러한 실시예에서, 소프트웨어는 전기 통신 신호(555)들의 형태로 컴퓨팅 장치(500) 내에 로드된다. 소프트웨어는 프로세서(510)에 의해 실행될 때, 바람직하게는 프로세서(510)로 하여금 본 명세서의 다른 곳에서 설명된 특징들 및 기능들을 수행하게 한다.

I/O 인터페이스(535)는 컴퓨팅 장치(500)의 하나 이상의 성분들과 하나 이상의 입력 및/또는 출력 디바이스들 간에 인터페이스를 제공한다. 예시적인 입력 디바이스들은 키보드들, 터치 스크린들 또는 다른 터치-감지 디바이스들, 생체 인식 감지 디바이스들, 컴퓨터 마우스, 트랙볼들, 펜-기반 포인팅 디바이스들 등을 포함하지만, 이에 제한되지 않는다. 출력 디바이스들의 예시들은 음극선관들(CRTs), 플라즈마 디스플레이들, 발광 다이오드(LED) 디스플레이들, 액정 디스플레이(LCDs), 프린터들, 진공 형광 디스플레이들(VFDs), 표면-전도 전자-이미터 디스플레이들(SEDs), 전계 방출 디스플레이들(FEDs) 등을 포함하지만 이에 제한되지 않는다.

컴퓨팅 장치(500)는 또한 음성 네트워크 및/또는 데이터 네트워크를 통한 무선 통신을 용이하게 하는 무선 통신 옵션 성분들을 포함한다. 무선 통신 성분들은 안테나 시스템(570), 라디오 시스템(565), 및 기저대역 시스템(560)을 포함한다. 컴퓨팅 장치(500)에서, 라디오 주파수(RF) 신호들은 라디오 시스템(565)의 관리 하에서 안테나 시스템(570)에 의해 무선으로 송신 및 수신된다.

안테나 시스템(570)은 하나 이상의 안테나 및 스위칭 기능을 수행하여 안테나 시스템(570)에 송신 및 수신 신호 경로들을 제공하는 하나 이상의 멀티플렉서들(미도시)을 포함할 수 있다. 수신 경로에서, 수신된 RF 신호들은 멀티플렉서로부터, 수신된 RF 신호를 증폭하고 증폭된 신호를 라디오 시스템(565)에 보내는 저잡음 증폭기(미도시)에 결합될 수 있다.

라디오 시스템(565)은 다양한 주파수들을 통해 통신하도록 구성된 하나 이상의 라디오들을 포함할 수 있다. 일 실시예에서, 라디오 시스템(565)은 하나의 집적 회로(IC) 내에 복조기(미도시) 및 변조기(미도시)를 결합할 수 있다. 복조기 및 변조기는 또한 개별 성분들일 수 있다. 착신 경로에서, 복조기는 RF 캐리어 신호를 분해하여, 라디오 시스템(565)으로부터 기저대역 시스템(560)으로 보내지는 기저대역 수신 오디오 신호를 남긴다.

수신된 신호가 오디오 정보를 포함하면, 기저대역 시스템(560)은 신호를 디코딩하고 그것을 아날로그 신호로 변환한다. 그 후 신호는 증폭되고 스피커에 보내진다. 기저대역 시스템(560)은 또한 마이크로폰으로부터 아날로그 오디오 신호들을 수신한다. 이러한 아날로그 오디오 신호들은 디지털 신호들로 변환되고 기저대역 시스템(560)에 의해 인코딩된다. 기저대역 시스템(560)은 또한 송신을 위해 디지털 신호들을 코딩하고 라디오 시스템(565)의 변조기 부분으로 라우팅되는 기저대역 송신 오디오 신호를 생성한다. 변조기는 기저대역 송신 오디오 신호를 RF 캐리어 신호와 혼합하여 안테나 시스템(570)으로 라우팅되고 전력 증폭기(미도시)를 통과할 수 있는 RF 송신 신호를 생성한다. 전력 증폭기는 RF 송신 신호를 증폭하고 이를 안테나 시스템(570)으로 라우팅하며 여기서 신호는 송신을 위해 안테나 포트로 스위칭된다.

기저대역 시스템(560)은 또한 중앙 처리 유닛(CPU)일 수 있는 프로세서(510)와 통신가능하게 결합된다. 프로세서(510)는 데이터 저장 면적들(515 및 520)에 대한 접속을 갖는다. 프로세서(510)는 바람직하게는 메인 메모리(515) 또는 보조 메모리(520)에 저장될 수 있는 명령어들(즉, 컴퓨터 프로그램들 또는 소프트웨어)을 실행하도록 구성된다. 컴퓨터 프로그램들은 또한 기저대역 프로세서(560)로부터 수신되고 메인 메모리(510) 또는 보조 메모리(520)에 저장되거나 수신 시에 실행될 수 있다. 이러한 컴퓨터 프로그램들은, 실행될 때, 컴퓨팅 장치(500)가 개시된 실시예들의 다양한 기능들을 수행할 수 있게 한다. 예를 들어, 데이터 저장 면적들(515 또는 520)은 다양한 소프트웨어 모듈들을 포함할 수 있다.

컴퓨팅 장치는 위에서 참조된 I/0 인터페이스(535)에 연결된 임의의 디스플레이 대신에 또는 그에 추가하여 제공될 수 있는 통신 버스(505)에 직접 부착된 디스플레이(575)를 더 포함한다. 디스플레이(575) 또는 I/O 인터페이스(535)에 연결된 디스플레이는 전술한 이미지 데이터 및 분할 데이터를 디스플레이하기 위해 사용될 수 있다.

다양한 실시예들은 또한, 예를 들어, ASICs(application specific integrated circuits), PLA(programmable logic arrays), 또는 FPGAs(field programmable gate arrays)와 같은 성분들을 사용하여 주로 하드웨어로 구현될 수 있다. 본 명세서에 설명된 기능들을 수행할 수 있는 하드웨어 상태 기계의 구현이 또한 당업자들에게 명백해질 것이다. 다양한 실시예들이 또한 하드웨어와 소프트웨어 둘 다의 조합을 사용하여 구현될 수 있다.

또한, 당업자들은 전술한 도면들 및 본 명세서에서 개시된 실시예들과 관련하여 설명되는 다양한 예시적인 논리 블록들, 모듈들, 회로들 및 방법 단계들이 종종 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들 양자의 조합으로서 구현될 수 있다는 것을 알 것이다. 하드웨어와 소프트웨어의 이러한 교환 가능성을 명확히 설명하기 위해, 다양한 예시적인 성분들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능과 관련하여 전술되었다. 그러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지는 전체 시스템에 부과되는 특정 응용 및 설계 제약들에 의존한다. 통상의 기술자들은 각각의 특정 응용에 대해 다양한 방식으로 설명된 기능을 구현할 수 있지만, 그러한 구현 결정들은 본 개시의 범위로부터 벗어나는 것으로 해석되지 않아야 한다. 또한, 모듈, 블록, 회로 또는 단계 내의 기능들의 그룹화는 설명의 편의를 위한 것이다. 특정 기능들 또는 단계들은 본 개시의 범위로부터 벗어나지 않고 하나의 모듈, 블록 또는 회로로부터 다른 것으로 이동될 수 있다.

더욱이, 본 명세서에서 개시된 실시예들과 관련하여 설명되는 다양한 예시적인 논리 블록들, 모듈들, 기능들 및 방법들은 본 명세서에서 설명되는 기능들을 수행하도록 설계되는 범용 프로세서, 디지털 신호 프로세서(DSP), ASIC, FPGA 또는 다른 프로그래밍 가능 논리 디바이스, 별개의 게이트 또는 트랜지스터 논리, 별개의 하드웨어 성분들, 또는 이들의 임의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안으로서, 프로세서는 임의의 프로세서, 제어기, 마이크로제어기 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 장치들의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 함께인 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다.

부가적으로, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 직접적으로 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 실시될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 네트워크 저장 매체를 포함하는 임의의 다른 형태의 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기입할 수 있도록, 프로세서에 결합될 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 또한 ASIC에 상주할 수 있다.

본 명세서에서 언급되는 바와 같은 컴퓨터 판독가능 저장 매체는 라디오 파들 또는 다른 자유롭게 전파하는 전자기파들, 도파관 또는 다른 전송 매체를 통해 전파하는 전자기파들(예를 들어, 광-섬유 케이블을 통과하는 광 펄스들), 또는 와이어를 통해 전송되는 전기 신호들과 같은 일시적 신호들 자체인 것(per se)으로 해석되어서는 안 된다.

본 명세서에서 설명되는 임의의 소프트웨어 성분은 다양한 형태를 취할 수 있다. 예를 들어, 성분은 독립 소프트웨어 패키지일 수 있거나, 더 큰 소프트웨어 제품 내에 "도구"로서 종합되는 소프트웨어 패키지일 수 있다. 이것은 네트워크로부터, 예를 들어 웹사이트로부터, 독립 제품으로서 또는 기존 소프트웨어 애플리케이션 내의 설치를 위한 애드-인 패키지로서 다운로드 가능할 수 있다. 이것은 또한 클라이언트-서버 소프트웨어 애플리케이션으로서, 웹-지원 소프트웨어 애플리케이션으로서 그리고/또는 모바일 애플리케이션으로서 이용 가능할 수 있다.

실시예들은 실시예들에 따른 방법들, 장치들(시스템들), 및 컴퓨터 프로그램 제품들의 흐름도들 및/또는 블록도들을 참조하여 본 명세서에서 설명된다. 흐름도들 및/또는 블록도들의 각각의 블록, 및 흐름도들 및/또는 블록도들 내의 블록들의 조합들은 컴퓨터 판독가능 프로그램 명령어들에 의해 구현될 수 있다는 것이 이해될 것이다.

컴퓨터 판독가능 프로그램 명령어들은 기계를 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서에 제공될 수 있으며, 따라서 컴퓨터 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서를 통해 실행되는 명령어들은 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능들/조치들을 구현하기 위한 수단을 만든다. 이들 컴퓨터 판독가능 프로그램 명령어들은 또한 컴퓨터, 프로그래밍 가능 데이터 처리 장치, 및/또는 다른 디바이스들에게 특정한 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독가능 저장 매체에 저장될 수 있으므로, 그 안에 저장된 명령어들을 갖는 컴퓨터 판독가능 저장 매체는 흐름도 및/또는 블록도의 블록 또는 블록들에서 특정된 기능/조치의 양태들을 구현하는 명령어들을 포함하는 제조품을 포함한다.

컴퓨터 판독가능 프로그램 명령어들은 또한 컴퓨터, 다른 프로그래밍 가능 데이터 처리 장치, 또는 다른 디바이스 상에 로드되어 일련의 동작 단계들이 컴퓨터, 다른 프로그래밍 가능 장치 또는 다른 디바이스 상에서 수행되어 컴퓨터 구현 처리를 생산하게 할 수 있어, 컴퓨터, 다른 프로그래밍 가능 장치, 또는 다른 디바이스 상에서 실행되는 명령어들은 흐름도 및/또는 블록도의 블록 또는 블록들에 특정된 기능들/동작들을 구현한다.

도시된 흐름도들 및 블록도들은 다양한 실시예들에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도들 내의 각각의 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 명령어들의 모듈, 세그먼트 또는 일부를 나타낼 수 있다. 일부 대안적인 구현예들에서, 블록들에서 기재된 기능들은 도면들에서 기재된 순서와 다르게 발생할 수 있다. 예를 들어, 연속으로 도시된 2개의 블록들은, 사실상 실질적으로 동시에 실행될 수 있거나, 블록들은 때때로 관련된 기능에 따라, 역순으로 실행될 수 있다. 블록도들 및/또는 흐름도의 각각의 블록, 및 블록도들 및/또는 흐름도 내의 블록들의 조합들은 지정된 기능들 또는 조치들을 수행하거나, 특수 목적 하드웨어 및 컴퓨터 명령어들의 조합들을 실천하는 특수 목적 하드웨어 기반 시스템들에 의해 구현될 수 있다는 점에도 또한 유의해야할 것이다.

본 개시의 범위를 벗어나지 않고 전술한 예시적인 실시예에 대해 많은 개선들 및 수정들이 이루어질 수 있다는 것이 당업자에게 명확할 것이다.

Claims (13)

1. 세포들을 나타내는 이미지 데이터를 처리하는 방법으로서,
   상기 이미지 데이터에 존재하는 복수의 핵 각각을 발견하고, 그들의 공간적 범위를 결정하여 핵 분할 데이터를 획득하고 이어서, 상기 핵 분할 데이터에 기초하여, 세포질 분할 데이터 및 세포막 분할 데이터를 결정함으로써 세포 분할 데이터를 획득하기 위해 상기 이미지 데이터의 분할을 수행하는 단계;
   디스플레이 상에, 상기 이미지 데이터의 조직 이미지 및 상기 세포 분할 데이터의 분할 이미지로부터의 선택을 포함하는 이미지 창, 및 행들 및 열들의 표를 포함하는 데이터 창을 디스플레이하는 단계- 상기 행들은 상기 세포 분할 데이터에서 식별된 세포들에 특정적이고 상기 열들은 세포 속성들에 특정적임 -;
   편집 세션에서 상기 디스플레이와의 사용자 상호작용을 통해 상기 분할 데이터로부터 삭제를 위한 세포들을 선택하는 단계- 세포는 상기 표에서 상기 세포에 대한 행을 선택함으로써 상기 데이터 창으로부터 그리고 상기 이미지에서 상기 세포의 분할 데이터를 통해 상기 세포를 선택함으로써 상기 이미지 창으로부터 선택가능함 -;
   상기 데이터 창을 통한 선택에 응답하여 상기 선택을 표시하기 위해 상기 이미지 창을 대응적으로 업데이트하고, 상기 이미지 창을 통한 선택에 응답하여 상기 선택을 표시하기 위해 상기 데이터 창을 대응적으로 업데이트하는 단계;
   사용자 커맨드에 응답하여 삭제를 위해 선택된 상기 세포들을 고려하여 재-분할을 수행하는 단계 - 상기 재-분할은 삭제를 위해 선택된 세포들에 관한 데이터 부분을 제거하기 위해 상기 핵 분할 데이터를 편집하고 이어서, 상기 편집된 핵 분할 데이터에 기초하여, 세포질 분할 데이터 및 세포막 분할 데이터를 재-결정함으로써 진행됨 -; 및
   상기 재-분할에 기초하여 상기 이미지 창 및 상기 데이터 창을 상기 디스플레이 상에 재-디스플레이하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 편집 세션은 상기 분할 데이터에 추가하기 위한 세포들을 식별하기 위해 상기 이미지 창에서 사용자 입력을 수신하는 것을 더 포함하고, 상기 재-분할은 추가를 위해 식별된 세포들에 관한 추가 데이터 부분을 추가하기 위해 상기 핵 분할 데이터를 편집함으로써 추가를 위해 식별된 상기 세포들을 고려하는, 방법.
3. 제2항에 있어서, 상기 편집 세션에서, 상기 데이터 창은 추가할 세포를 식별하는 것에 응답하여 상기 표에 상기 세포에 대한 행을 추가함으로써 업데이트되는, 방법.
4. 제2항 또는 제3항에 있어서, 상기 편집 세션에서, 상기 조직 이미지의 특정 영역 내의 하나 이상의 세포들이 삭제를 위해 선택되고 이어서 동일한 영역에서 하나 이상의 세포들이 추가를 위해 식별되는, 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 이미지 창에 대해, 상기 사용자는 상기 핵 분할 데이터, 상기 세포질 분할 데이터 및 상기 세포막 분할 데이터 각각의 상기 디스플레이의 독립적인 제어를 제공하는 사용자 인터페이스 제어들을 제공받는, 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 이미지 데이터는 상이한 색소와 각각 연관된 복수의 채널 이미지들을 포함하고, 상기 조직 이미지는 상기 채널 이미지들 중 적어도 2개의 채널 이미지가 함께 융합된 합성이거나 상기 채널 이미지들 중 하나이고, 상기 조직 이미지에 대해, 상기 사용자는 어느 채널 이미지들이 상기 조직 이미지에 포함되어야 하는지에 대한 독립적인 제어를 제공하는 사용자 인터페이스 제어들을 제공받는, 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 재-분할 및 재-디스플레이에 후속하여, 추가 편집 세션 및 추가 재-분할 및 재-디스플레이를 수행하는, 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 재-분할은 상기 편집 세션에 의해 영향을 받는 상기 세포들이 위치하는 상기 조직 이미지의 특정 영역으로 제한되는, 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 편집 세션에서, 상기 표는 사용자 인터페이스 제어로 열에 의해 분류 가능하여, 상기 표 내의 행들의 상기 디스플레이를 특정 세포 속성의 값에 의해 순서화하는, 방법.
10. 기계 판독가능 명령어들을 보유하는 컴퓨터 프로그램 제품으로서,
    상기 기계 판독가능 명령어들은 컴퓨터 장치 상에 로드되어 실행될 때 상기 컴퓨터 장치로 하여금 제1항 내지 제9항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 프로그램 제품.
11. 제10항의 기계 판독가능 명령어들로 로드된 컴퓨터 장치.
12. 임상 네트워크로서,
    제11항의 컴퓨터 장치;
    레코드들을 저장하도록 구성된 데이터 보관소- 각각의 레코드는 이미지 데이터 및 분할 데이터를 포함하고, 상기 이미지 데이터는 세포들을 나타내고, 상기 분할 데이터는 상기 이미지 데이터에서 식별된 세포 특징들을 나타냄 -; 및
    상기 컴퓨터 장치와 상기 데이터 보관소 사이에서 상기 레코드들 또는 상기 레코드들의 부분들의 전송을 가능하게 하는 네트워크 연결들을 포함하는, 임상 네트워크.
13. 조직 샘플들로부터 세포들을 나타내는 이미지의 이미지 데이터를 획득하기 위한 이미지 획득 장치로서,
    조직 샘플들의 이미지들을 취득하도록 동작 가능한 현미경 배열; 및
    컴퓨터 장치를 포함하고, 상기 컴퓨터 장치는,
    상기 이미지 데이터를 취득하기 위해 상기 현미경 배열을 제어하도록 동작 가능한 제 1 기계 판독 가능 명령어들; 및
    제1항 내지 제9항 중 어느 한 항의 방법을 수행하도록 동작 가능한 제 2 기계 판독 가능 명령어들로 로드되는, 이미지 획득 장치.

Images