KR20220015368A - 조직학적 이미지 내의 종양 및 수술 후 종양 마진 평가에 대한 컴퓨터 지원 검토 - Google Patents

조직학적 이미지 내의 종양 및 수술 후 종양 마진 평가에 대한 컴퓨터 지원 검토 Download PDF

Info

Publication number
KR20220015368A
KR20220015368A KR1020217020385A KR20217020385A KR20220015368A KR 20220015368 A KR20220015368 A KR 20220015368A KR 1020217020385 A KR1020217020385 A KR 1020217020385A KR 20217020385 A KR20217020385 A KR 20217020385A KR 20220015368 A KR20220015368 A KR 20220015368A
Authority
KR
South Korea
Prior art keywords
tumor
image
tissue
histological
ink
Prior art date
Application number
KR1020217020385A
Other languages
English (en)
Inventor
월터 제오르제스쿠
Original Assignee
라이카 바이오시스템즈 이미징 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이카 바이오시스템즈 이미징 인크. filed Critical 라이카 바이오시스템즈 이미징 인크.
Publication of KR20220015368A publication Critical patent/KR20220015368A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

조직학적 이미지에서의 종양을 식별 및 시각화하고 종양 마진을 측정하기 위한 컴퓨터 장치 및 방법이 제공된다. CNN은 비종양 조직 또는 종양 조직의 하나 이상의 클래스와 관련이 있는지 여부에 따라 이미지 내에서 픽셀을 분류하는 데 사용된다. 세분화는 개별 종양에 의해 차지되는 영역을 표시하는 마스크를 생성하기 위하여 CNN 결과를 기반으로 수행된다. 각 종양에 대한 요약 통계는 중요하지 않은 것으로 간주되는 종양을 필터링함으로써 세분화 마스크를 편집하는 필터에 계산 및 제공된다. 선택적으로, 필터를 통과하는 종양은 예를 들어, 임상 관련성 순서 또는 병리학자에 대한 합리적인 검토 순서을 위해 요약 통계에 따라 순위가 매겨질 수 있다. 시각화 애플리케이션은 세분화 마스크, 요약 통계 및/또는 순위와 관련된 조직학적 이미지를 표시할 수 있다. 절제에 의해 추출된 종양 덩어리는 표면 영역을 강조하기 위해 잉크로 페인트된다. CNN은 종양 및 비종양 조직뿐 아니라 잉크 및 비잉크 조직을 구별하기 위해 학습된다. CNN은 조직 클래스에 할당된 픽셀을 갖는 출력 이미지를 생성하기 위해 조직학적 이미지에 적용된다. 조직 섹션의 종양 마진 상태는 종양-잉크 분류된 픽셀의 존재 또는 부재에 의해 결정된다. 종양 마진 침범 및 종양 마진 거리는 분류-지정 픽셀 사이 거리 매개변수에 기반한 추가 매개변수를 계산함으로써 결정된다.

Description

조직학적 이미지 내의 종양 및 수술 후 종양 마진 평가에 대한 컴퓨터 지원 검토
본 발명은 절제에 의해 환자로부터 제거된 종양 덩어리의 마진(margins)을 평가하는 병리학자에 의한 검토 및 진단을 돕기 위해 컨볼루션 신경망(CNN; convolutional neural network)을 이용한 종양을 포함하는 조직학적 이미지의 이미지 처리에 관한 것이다.
디지털 병리학은 병리학자들이 슬라이드를 보고 진단하는 방식을 지속적으로 변화시키고 있다. 병리학자가 슬라이드를 검사하는 전통적인 방법은 현미경으로 글래스 슬라이드를 관찰하는 것이다. 병리학자는 낮은 배율의 대물 렌즈로 슬라이드를 보는 것으로 시작한다. 잠재적인 진단 가치가 있는 영역이 관찰되면, 병리학자는 해당 영역을 더 자세히 보기 위해 고배율 대물 렌즈로 전환한다. 그 후, 병리학자는 슬라이드의 다른 영역을 계속 검사하기 위해 저배율로 다시 전환한다. 슬라이드에 대해 확실하고 완전한 진단을 할 수 있을 때까지 이러한 저-고-저배율 보기 시퀀스를 슬라이드에서 여러 번 반복할 수 있다.
지난 20년 동안 디지털 스캐너의 도입으로 이러한 워크 플로우가 바뀌었다. 디지털 스캐너는 전체 유리 슬라이드의 이미지인 소위 전체 슬라이드 이미지(WSI; entire glass slide)를 획득하여 병리학자가 필요없는 자동화된 프로세스에서 디지털 이미지 데이터 파일로 저장할 수 있다. 결과 이미지 데이터 파일은 일반적으로 임상 네트워크를 통해 고해상도 디스플레이가 있는 뷰잉 워크 스테이션에서 병리학자에게 제공되는 슬라이드 데이터베이스에 저장되며 워크 스테이션에는 이러한 목적을 위한 시각화 애플리케이션이 존재한다.
병리학의 최근 발달은 CNN 방법이 연구 관심을 증가시키고 있다는 것이다. CNN 방법이 조직학적 이미지에서 종양을 식별하고 진단하는 데 병리학자만큼이나 더 우수하다는 보고가 점점 늘어나고 있다.
Wang et al 2016은 림프절로의 유방암 전이를 검출하기 위한 CNN 접근법을 설명한다.　US 2015/213302 A1은 암 조직 영역에서 세포 유사 분열이 어떻게 검출되는지를 설명한다. CNN을 학습(훈련)한 후, 유사 분열 계수를 수행하는 자동화된 핵 검출 시스템을 기반으로 분류가 수행되고, 이 시스템은 종양 등급을 매기는 데 사용된다.
Hou et al 2016은 뇌 및 폐암 이미지를 처리한다. WSI로부터의 이미지 패치는 패치-수준 CNN에서 제공하는 패치-수준 예측을 만드는 데 사용된다.
Liu et al 2017은 기가 픽셀 유방암 조직학적 이미지에서 추출한 이미지 패치를 CNN으로 처리하여 이미지의 모든 픽셀에 종양 확률을 할당하여 종양을 검출하고 국소화한다.
Bejnordi et al 2017은 헤마톡실린(hermatoxylin) 및 에오신(eosin)(H&E) 염색으로 염색된 유방 조직의 WSI에서 추출한 이미지 패치에서 종양을 분류하기 위해 2개의 적층형 CNN을 적용한다. 성능은 이러한 병리학 이미지에서 물체 감지 및 분할(세분화)에 좋은 것으로 나타났다. 또한 Bejnordi 등은 유방암 샘플에 적용되는 다른 CNN 기반 종양 분류 방법에 대한 개요를 제공한다(참고문헌 10-13 참조).
Esteva et al 2017은 딥(deep) CNN을 적용하여 피부 병변을 분석하고 트리-구조 분류에 따라 병변을 다양한 악성 유형, 비악성 유형 및 악성 유형의 선단흑자성 흑생종(acrolentiginous melanoma), 무색소성 흑생종(amelanotic melano), 흑자 흑생종(lentigo melanoma) 및 비악성 유형의 청색 모반(blue nevus), 후광 모반(halo nevus) 및 몽고 반점(Mongolian spot)을 포함하는 비종양 유형으로 분류한다. 피부 병변(예를 들어, 흑색종)의 이미지는 분류를 수행하기 위해 임상 클래스에 대한 확률 분포로 순차적으로 틀어지게(warped) 만든다.
Mobadersany et al 2017은 뇌종양 진단을 받은 환자의 전체 생존을 예측하기 위해 생존 CNN에 기반한 계산 방법을 공개한다. 조직 생검(조직학학 이미지 데이터)의 병리학 이미지 데이터는 환자 결과를 예측하기 위해 환자별 게놈 바이오 마커뿐만 아니라 모델에 제공된다. 이 방법은 적응형 피드백을 사용하여 환자 결과와 관련된 시각적 패턴 및 분자 바이오 마커를 동시에 학습한다.
종양 절제술은 일반적으로 장기나 샘(gland)의 일부 또는 전부를 제거하여 종양 조직을 제거하는 수술이며, 부분 제거는 분절(segmental) 절제라고 한다. 종양 절제술의 목적은 종양 마진 주변의 소량의 정상 조직과 함께 모든 종양을 포함하는 조직 덩어리를 제거하는 것이다.
절제술로 종양이 완전히 제거되었는지 확인하기 위해 체내 조직 덩어리를 제거한 후 다음과 같은 병리학적 검사를 시행한다. 절제된 조직 덩어리의 표면은 컬러 잉크로 칠해져 있다. 조직 덩어리는 미세한 조직 구조를 보존하기 위해 다양한 방법으로 준비된다. 조직 덩어리는 마이크로톰(microtome)을 사용하여 얇은 섹션으로 슬라이스된다. 슬라이스 후, 현미경 조직 구조에 대한 추가 보존 조치를 수행할 수 있다. 조직 섹션은 슬라이드에 장착된다. 조직 섹션은 일반적으로 세포의 가시성을 향상시키거나 특정 유전자 발현 또는 관련 수용체에 특이적인 마커로 특정 유형의 세포를 식별하기 위해 전문 염색 또는 마커로 염색된다. 유방암 종양의 경우 표적화되는 전형적인 수용체는 ER , ER-, PR+, PR-, HER2+ 및 HER2-이며, 여기서 ER은 에스트로겐 수용체를, PR은 프로게스테론 수용체를, HER2는 인간 표피 성장 인자 수용체 2를 나타낸다.
마진을 평가하는 전통적인 방법은 병리학자가 현미경으로 염색된 슬라이드를 검사하고 종양 세포가 잉크 처리된 표면에 있는지 또는 너무 가까이 있는지 확인하는 것이다. 잉크에서 종양 세포가 발견되면 병리학자는 수술 마진을 양성으로 보고한다(Lester et al. 2009). 양성 마진은 일반적으로 더 많은 조직 덩어리를 제거하기 위해 더 많은 수술이 필요함을 나타낸다. 양성 마진의 경우 병리학자는 마진으로의 침입 정도와 관련된 포컬(focal), 최소(minimal)/중간(moderate) 및 광범위(extensive)와 같은 하위 분류를 사용하여 마진 관련 정도를 보고할 수도 있다. 암세포가 잉크 표면에 가깝지만 완전이 그 위에 있지 않은 경우(약 2 mm 미만), 병리학자는 종양 마진을 '클로즈(close)'라고 보고할 수 있다. 잉크로 도포된 표면에 암세포가 없거나('양성'이 아님) 그것에 가깝지 않은 경우('클로즈'가 아님), 예를 들어 마진이 2 mm 이상인 경우 병리학자는 마진을 '클리어(clear)'라고 보고한다. 클리어 또는 클로즈 마진의 경우, 병리학자는 잉크로 도포된 표면과 잉크로 도포된 표면에 가장 가까운 종양 세포 사이의 거리를 나타내는 마진 거리를 보고할 수도 있다. 양성 마진의 경우, 남은 암 조직을 제거하기 위해 추가 수술을 수행해야 할 수도 있다. 마진 상태를 정확하게 보고하는 것이 후속 암 치료에 중요하지만, 마진 상태 보고의 품질에는 큰 차이가 있다(Persing et al 2011).
따라서, 전술한 바와 같이 종래의 시스템에서 발견되는 이러한 중대한 문제점을 극복할 수 있는 시스템 및 방법이 필요하다.
상술한 문제점을 극복할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 따르면, 조직학적 이미지 (또는 이의 세트)에서 종양을 식별하는 방법이 제공되며, 방법은 다음을 포함한다.
2차원 픽셀 어레이를 포함하는 조직학적 이미지를 수신하는 단계;
상기 조직학적 이미지의 매핑을 갖는 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하기 위해 컨볼루션 신경망(convolutional neural network)을 적용하는 단계에 있어서, 상기 출력 이미지는 복수의 조직 클래스 중 하나를 각 픽셀에 할당함으로써 생성되며, 여기서 상기 복수의 조직 클래스는 비종양 조직을 나타내는 적어도 하나의 클래스 및 종양 조직을 나타내는 적어도 하나의 클래스를 포함하는, 단계;
각 종양에 대한 요약 통계를 계산하는 단계; 및
필터에 따라 종양을 선택 및 선택 해제함으로써 세분화 마스크를 편집하기 위해 각 종양의 요약 통계에 필터를 적용하는 단계.
제안된 접근 방식을 사용하면 이미지에서 잠재적 또는 잠재적으로 중요한 종양이 있는 위치를 병리학자에게 표시하여 병리학자가 해당 영역으로 직접 이동하도록 지시할 수 있다. 이러한 방식으로 병리학자가 종양이 포함된 영역을 놓칠 가능성이 적기 때문에 분석의 신뢰성이 향상될 수 있다. 또한 병리학자가 종양 영역을 찾기 위해 전체 슬라이드 영역을 더 이상 검사할 필요가 없기 때문에 처리량이 증가할 수 있다. 병리학자는 또한 CNN 분석 결과를 기반으로 한 필터링 및 순위 지정을 고려하여 제한된 분석 시간을 할당하여 특정 슬라이드 이미지를 연구하는 데에 병리학자의 시간을 더 잘 할당하도록 암시적으로 독려할 수 있다.
상기 방법은 각 종양에 점수를 부여하기 위해 스코어링 알고리즘에 따라 각 종양에 점수를 매김으로써 확장될 수 있다. 점수를 기반으로 종양의 순위를 매기는 것이 가능하며, 순위 순서는 예를들어 인지된 임상 관련성을 보여주거나 임상의가 종양을 검토하기를 원하는 순서를 예측하기 위해 다양한 유용한 순서를 나타낼 수 있다. 순위는 필터를 적용한 후 남아있는 종양에만 국한될 수 있다. 순위는 예를 들어 저장될 수 있다. 조직학적 이미지와 관련된 추가 메타데이터로 기록에 추가한다. 조직학적 이미지는 가상 슬라이드 라이브러리 또는 다른 데이터베이스에 저장된 기록으로부터 수신될 수 있으며, 또는 디지털 스캐너에 의해 획득된 직후에 수신될 수 있으며,이 경우 방법은 디지털 스캐너 또는 예를 들어 디지털 스캐너 또는 다른 데이터 소스에 연결된 컴퓨터 장치에 의해 수행될 수 있다.
편집된 세분화 마스크와 관련하여 조직학적 이미지의 시각화가 생성될 수 있다. 그 후 시각화는 컴퓨터 장치에서 실행되는 시각화 애플리케이션에 의해 디스플레이에서 사용자에게 표시될 수 있다. 예를 들어, 시각화는 세분화 마스크가 조직 학적 이미지에 오버레이되는 개요 보기 창을 포함할 수 있다. 시각화를 위한 또 다른 옵션은 세분화 마스크와 조직학적 이미지의 일대일 비교를 위해 서로 인접하게(예를 들어, 나란히) 표시되는 각각의 개요 보기 창을 포함하는 것이다. 개요 보기 창(들)은 순위를 기반으로 각 종양에 대한 순위 레이블을 포함할 수 있다. 사용자 인터페이스 종양 선택 제어가 제공되어 사용자가 시각화와 상호 작용하여 편집된 세분화 마스크에서 종양을 선택할 수 있다. 시각화에는 현재 선택된 종양을 확대 한 확대 보기 창이 포함될 수 있다. 종양 선택 컨트롤은 순위 순서대로 편집된 세분화 마스크에서 종양을 훑어보기 위한 스크롤 기능을 통합할 수 있다. 종양 선택 제어는 또한 사용자가 현재 선택된 종양에 대해 추가 계산 진단 프로세스를 실행할 수 있도록 진단 기능을 통합할 수 있다.
가장 단순한 형태로 CNN은 종양성 조직 및 비종양성 조직의 두 가지 조직 클래스만을 가지고 있다. 그러나 종양 조직에 대해 2개 이상의 클래스가 제공될 수 있다. 예를 들어, 종양 조직에 대한 조직 클래스는 침습성 종양과 인 시츄 종양을 구별할 수 있다. 비종양 조직에 대한 조직 부류는 하나만 있을 수도 있고, 예를 들어 다른 조직과 뼈를 구별하기 위해 여러 부류가 있을 수도 있다. 특히 조직 마이크로 어레이 샘플에 유용할 수있는 샘플이 존재하지 않는 전체 슬라이드 이미지의 영역에 대한 비조직 클래스도 있을 수 있다.
상기 방법은 할당 단계 이후, 출력 이미지 패치를 조직학적 이미지 (또는 그 세트)에 대한 확률 맵으로 조립하는 단계를 더 포함 할 수 있다.
상기 방법은 조립 단계 후에, 확률 맵을 예를 들어 데이터 저장소의 기록에 저장하여 확률 맵이 조직학적 이미지 (또는 그 세트)에 연결되도록 하는 단계를 더 포함할 수 있다.
현재 구현에서, 각 연속적인 컨볼루션 단계에서 차원이 감소함에 따라 깊이가 증가하므로 컨볼루션 레이어는 계속해서 깊이가 증가하고 차원이 감소하며, 각 연속적인 전치 컨볼루션 단계에서는 차원이 증가하면 깊이가 감소하므로 디콘볼 루션 레이어의 깊이가 계속 감소하고 차원이 계속 증가한다. 그러면 최종 컨볼루션 레이어는 최대 깊이와 최소 치수를 갖다. 연속적인 깊이 증가 및 감소의 접근 방식이 각각 컨볼루션 및 디컨볼루션 단계를 거치는 대신, 대안은 입력 레이어과 출력 레이어을 제외한 모든 레이어가 동일한 깊이를 갖는 신경망을 설계하는 것이다.
상기 방법은 예를 들어 그 위에 또는 서로 나란히있는 확률 맵과 함께 조직 학적 이미지 (또는 그 세트)를 디스플레이 상에 표시하는 단계를 더 포함할 수 있다. 확률 맵을 사용하여 어떤 면역화학(IHC; immunohistochemistry) 스코어링 알고리즘을 사용하여 점수를 매겨야 하는지 결정할 수 있다. 확률 맵은 또한 디스플레이에 표시될 수 있는 종양 세포 주변의 윤곽 세트를 생성하는 데 사용될 수 있다. 예를 들어 병리학자가 CNN에 의해 생성된 결과를 평가할 수 있다.
특정 실시예에서, 컨볼루션 신경망은 하나 이상의 스킵 연결을 갖는다. 각 스킵 연결은 최종 컨볼루션 레이어보다 더 큰 차원의 컨볼루션 레이어 중 적어도 하나에서 중간 결과를 가져와서, 입력 이미지 패치에 일치하는 크기를 가진 하나 이상의 추가 복구 레이어를 얻기 위해 필요한 만큼 전치 컨볼루션으로 결과를 전달한다. 그런 다음 이들은 각 픽셀에 조직 클래스를 할당하는 상기 단계 전에 위에서 언급한 복구된 레이어와 결합된다. 추가 처리 단계는 확률을 재계산하기 위해 복구된 레이어를 각각의 복구된 레이어와 결합하여 스킵 연결에서 얻은 결과를 고려한다.
특정 실시예에서, 소프트맥스 연산이 확률을 생성하기 위해 사용된다.
조직학적 이미지(들)로부터 추출된 이미지 패치는 이미지(들)의 전체 영역을 덮을 수 있다. 패치는 겹치지 않는 이미지 타일이거나 확률 맵의 스티칭을 돕기 위해 마진에서 겹치는 이미지 타일일 수 있다. CNN은 고정된 크기의 픽셀 배열만 수용하도록 설계되었기 때문에, 각 이미지 패치는 CNN과 일치시킬 수 있는 너비와 높이의 고정된 수를 수의 픽셀 너비와 높이가 있어야 하지만, 이것은 각 이미지 패치가 조직학적 이미지 상의 동일한 물리적 영역과 반드시 대응해야된다는 의미는 아니다. 왜냐하면, 조직학적 이미지의 픽셀은 더 큰 영역을 덮는 저해상도 패치로 결합될 수 있기 때문이며, 예를 들어 인접한 픽셀의 각 2×2 어레이는 하나의 "슈퍼(super)" 픽셀로 결합하여 조직학적 이미지의 기본 분해능에서 추출된 패치의 물리적 영역의 4배를 가진 패치를 형성할 수 있다.
이 방법은 CNN이 학습(훈련)되면 예측을 위해 수행될 수 있다. 학습의 목적은 레이어 간 연결에 적합한 가중치를 할당하는 것이다. 학습을 위해 조직학적 이미지 (또는 그것의 세트)의 각 픽셀을 조직 클래스 중 하나에 할당하는 기초 진실 데이터가 제공된다. 기초 진실 데이터는 충분히 많은 수의 이미지에 주석을 달기 위해 전문 임상의의 사용을 기반으로 한다. 학습은 CNN을 반복적으로 적용하여 수행되며, 각 반복에는 기초 진실 데이터와 출력 이미지 패치를 비교하여 가중치 값을 조정하는 작업이 포함된다. 현재 구현에서 가중치는 경사 하강법에 의해 학습 중에 조정된다.
조직 클래스를 설정하기 위한 다양한 옵션이 있지만, 대부분의 실시 양태는 비종양성 조직과 종양성 조직 사이의 클래스가 구별될 것이라는 공통점을 가질 것이다. 비종양성 조직 클래스는 하나, 둘 또는 그 이상의 부류를 포함 할 수있다. 종양 조직 부류는 또한 하나, 둘 또는 그 이상의 클래스를 포함할 수 있다. 예를 들어, 현재 구현에서 우리는 3개의 조직 클래스를 가지고 있는데, 하나는 비종양 조직을 위한 것이고 2개는 종양 조직을 위한 것이며, 여기서 2개의 종양 조직 클래스는 침습성 종양과 인 시츄 종양을 위한 것이다.
일부 실시예에서 CNN은 한 번에 하나의 조직학적 이미지에 적용된다. 다른 실시예에서, CNN은 조직 영역의 상이하게 염색된 인접 섹션으로부터 취해진 조직학적 이미지 세트를 결합함으로써 형성된 합성 조직학적 이미지에 적용될 수 있다. 또 다른 실시예에서, CNN은 조직 영역의 상이하게 염색된 인접 섹션으로부터 취해진 이미지 세트의 이미지 각각에 병렬로 적용될 수 있다.
CNN의 결과를 사용하여, 확률 맵을 참조하여 해당 클래스에서 정의된 종양 및 픽셀 분류에 기반한 스코어링 프로세스를 포함하도록 방법을 확장할 수 있다. 예를 들어, 방법은 확률 맵에 따라 종양에 대응되는 조직학적 이미지의 영역을 정의하는 단계; 스코어링 알고리즘에 따라 각 종양을 스코어링하여 각 종양에 점수를 할당하는 단계; 및 예를 들어 데이터 저장소의 레코드에 점수를 저장하는 단계를 포함한다. 따라서 스코어링은 조직학적 이미지에서 발생하지만, 확률 맵에 의해 종양 조직을 포함하는 것으로 식별된 영역으로 국한된다.
결과는 임상의에게 디스플레이에 표시될 수 있다. 즉, 조직학적 이미지는 관련된 확률 맵과 함께 예를 들어, 그 위에 또는 서로 나란이 표시될 수 있다. 종양 점수는 또한 일부 편리한 방식으로, 예를 들어 종양 위 또는 종양을 가리키는 텍스트 라벨 또는 이미지 옆에 표시될 수 있다.
컨벌루션 신경망은 완전 컨볼루션 신경망일 수 있다.
본 발명의 다른 측면은 조직학적 이미지 (또는 그 세트)에서 종양을 식별하기 위한 컴퓨터 프로그램 제품에 관한 것으로, 컴퓨터 프로그램 제품은 전술한 방법을 수행하기 위한 기계 판독 가능 명령을 포함한다.
본 발명의 또 다른 측면은 조직학적 이미지 (또는 그 세트)에서 종양을 식별하기 위한 컴퓨터 장치에 관한 것으로, 장치는 다음을 포함한다:
예를 들어, 저장된 기록으로부터 픽셀의 2차원 어레이를 포함하는 조직학적 이미지 (또는 그 세트)를 수신하도록 동작할 수 있는 입력; 및
처리 모듈을 포함하며, 처리 모듈은:
상기 조직학적 이미지의 매핑을 갖는 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하기 위해 컨볼루션 신경망(convolutional neural network)을 적용하도록 구성되며, 상기 출력 이미지는 복수의 조직 클래스 중 하나를 각 픽셀에 할당함으로써 생성되며, 여기서 상기 복수의 조직 클래스는 비종양 조직을 나타내는 적어도 하나의 클래스 및 종양 조직을 나타내는 적어도 하나의 클래스를 포함하고;
개별 종양이 차지하는 영역이 표시되는, 출력 이미지로부터 세분화 마스크를 생성하도록 구성;
각 종양에 대한 요약 통계를 계산하도록 구성; 및
필터에 따라 종양을 선택 및 선택 해제하여 세분화 마스크를 편집하도록, 각 종양의 상기 요약 통계에 상기 필터를 적용하도록 구성된다.
컴퓨터 장치는 출력 이미지 패치를 조직학적 이미지 (또는 그 세트)에 대한 확률 맵으로 조립하도록 구성된 후처리 모듈을 더 포함할 수 있다. 더욱이, 컴퓨터 장치는 확률 맵을 예를 들어 데이터 저장소의 기록에 저장하도록 동작 가능한 출력을 더 포함하여 확률 맵이 조직학적 이미지 (또는 그 세트)에 연결되도록할 수 있다. 장치는 다음을 더 포함할 수 있다: 디스플레이 및 조직학적 이미지 (또는 그것의 세트) 및 확률 맵을 디스플레이에 전송하도록 동작 가능한 디스플레이 출력을 더 포함하여, 조직학적 이미지가 확률 맵과 함께 표시, 예를 들어 그 위에 또는 확률 맵과 함께 표시되도록 한다.
본 발명의 또 다른 측면은 하나 이상의 다른 요소와 결합된 상술한 컴퓨터 장치를 포함하는 시스템에 관한 것이다. 예를 들어, 시스템은 조직학적 이미지 또는 그 세트를 획득하고 그 이미지를 데이터 저장소의 기록에 저장하도록 동작 가능한 현미경과 같은 조직학적 이미지를 획득하도록 동작 가능한 이미지 획득 장치를 포함할 수 있다. 이러한 현미경은 디지털 스캐너에 통합될 수 있다. 시스템은 또한 조직학적 이미지를 포함하는 환자 데이터의 기록을 저장하도록 구성된 데이터 저장소; 및 컴퓨터 장치와 데이터 저장소 사이에서 환자 데이터 기록 또는 그 일부를 전송할 수있는 네트워크 연결을 포함할 수 있다.
요약하면, 조직학적 이미지에서 종양을 식별하고 시각화하기 위한 방법, 컴퓨터 장치, 컴퓨터 프로그램 제품 및 시스템이 제공될 수 있다. 컨볼루션 신경망 (CNN)은 이미지의 픽셀이 비종양 조직과 관련이 있는지 또는 종양 조직을 나타내는 하나 이상의 클래스와 관련이 있는지 여부에 따라 이미지의 픽셀을 분류하는 데 사용된다. CNN 결과를 기반으로 세분화를 수행하여 개별 종양이 차지하는 영역이 표시되는 마스크를 생성한다. 그런 다음 각 종양에 대한 요약 통계가 계산되고 중요하지 않은 것으로 간주되는 종양을 필터링하여 세분화 마스크를 편집하는 필터에 제공된다. 선택적으로, 필터를 통과하는 종양은 요약 통계에 따라, 예를 들어 임상 관련성 순으로 또는 병리학자를 위한 합리적인 검토 순서에 따라 순위가 매겨질 수 있다. 시각화 애플리케이션은 세분화 마스크, 요약 통계 및/또는 순위를 고려하여 조직학적 이미지를 표시 할 수 있다.
조직학적 이미지는 하나 이상의 추가 2차원 픽셀 어레이를 포함할 수 있으며, 예를 들어, 복수의 염색에 대해 하나씩 또는 투명 또는 반투명 유한 깊이의 샘플을 통해 현미경의 초점 평면을 스텝핑함으로써 얻어진 (소위 z-적층의) 샘플에서의 상이한 깊이 각각의 하나와 같은 복수의 2차원 픽셀 어레이를 포함할 수 있다. CNN에 의해 생성된 출력 이미지는 또한 하나 이상의 2차원 픽셀 어레이를 포함하며, 여기서 (입력) 조직학적 이미지와 출력 이미지 사이에 정의된 매핑이 있으며, 이는 일대일(one-to-one) 매핑, 다대일(many-to-one) 매핑 또는 일대다(one-to-many) 매핑일 수 있다. 적어도 일부 실시예에서 조직학적 이미지(들)는 현미경, 특히 통상적인 광학 현미경, 공초점 현미경 또는 염색되지 않은 또는 염색된 조직 샘플의 조직학적 이미지를 얻는 데 적합한 다른 종류의 현미경일 수 있는 광 현미경에 의해 절단된 조직 샘플의 2차원 이미지의 디지털 표현임을 이해할 것이다. 조직학적 이미지 세트의 경우, 이들은 조직 영역의 인접한 섹션(즉, 슬라이스)을 촬영한 일련의 현미경 이미지일 수 있으며, 여기서 각 섹션은 다르게 염색될 수 있다. 단일 조직학적 이미지는 또한 단순 오버레이 또는 워프 변환에 의해 지원되는 오버레이를 사용하여 조직 영역의 서로 다른 염색된 인접 섹션으로부터 얻은 복수의 조직학적 이미지를 병합하여 계산된 합성물 일 수 있다.
일 실시 예에서, CNN은 외과적 절제 후 종양 마진 상태를 자동으로 결정하기위한 컴퓨터 자동화 방법에 적용될 수 있다.
본 개시 내용의 한 측면에 따르면, 종양 덩어리의 마진 상태를 결정하기 위해 조직학적 이미지를 이미지 처리하는 방법이 제공되며, 상기 방법은 다음을 포함한다:
절제에 의해 추출된 종양 덩어리로부터 얻은 조직 샘플 섹션의 조직학적 이미지를 수신하고 그 표면을 강조하기 위해 잉크로 페인트한 2차원 픽셀 어레이를 포함하는 조직학적 이미지를 수신하는 단계;
상기 조직학적 이미지에 매핑된 2차원 픽셀 어레이에 있는 출력 이미지를 생성하도록, 조직 클래스를 구별하도록 학습된 적어도 하나의 신경망을 사용하여 컨벌루션 신경망 프로세스를 적용하는 단계에 있어서, 상기 출력 이미지는 잉크- 비잉크, 종양-비종양을 구분하도록 각 픽셀에 조직 클래스를 할당함으로써 생성되는, 단계;
종양 및 잉크 픽셀의 유무에 따라 각각 양수 또는 음수로 마진 상태를 계산하는 단계; 및
마진 상태를 출력하는 단계.
양성 또는 음성 마진 상태는 종양 및 잉크 픽셀 수가 임계 값 수 이상인지 또는 미만인지에 따라 적어도 부분적으로 계산될 수 있다. 양성 및 음성 상태는 세분화될 수 있다. 여백 상태의 계산은 클로즈 및 클리어 하위 상태 사이의 음성 상태를 세분화할 수 있으며, 여기서 클로즈 및 클리어는 종양 및 비잉크 픽셀과 잉크 및 비종양 픽셀 사이의 거리가 임계치보다 작거나 큰 값으로 구분된다. 마진 상태의 계산은 집합적으로 마진 침범이라 종래에 일컬어지는 복수의 하위 상태 사이에서 양성 상태를 세분화할 수 있다. 마진 침범은 초점, 최소/보통 및 광범위로 분류한다. 마진 침범은 종양 및 잉크 픽셀의 유병률을 기반으로 결정될 수 있으며, 여기서 유병률은 종양-잉크 픽셀 사이의 최대 거리를 계산하는 것에 기반하여 적어도 부분적으로 정량화될 수 있다.
따라서 우리는 종양 마진 상태를 감지하기 위해 딥 러닝을 사용하고 마진 거리와 마진 침범을 보고할 수 있는 이미지 분석 알고리즘을 사용하는 것을 제안한다. 알고리즘은 병리학자가 검토할 수 있는 가상 슬라이드 이미지의 집단(batch)에서 감독없이 실행될 수 있다. 이 컴퓨터 자동화 방법을 통해 병리학자에게 이러한 마진 정보를 제공하면 병리학자 워크플로우의 속도를 높이고 더 높은 품질과 보다 일관된 종양 마진 보고서를 생성할 수 있다.
일 그룹의 실시예에서, 전체 분류를 수행하기 위해 단일 컨볼루션 신경망이 사용된다. 즉, 컨볼루션 신경망 프로세스는 종양 및 잉크, 종양 및 비잉크, 비종양 및 잉크, 비종양 및 비잉크에 대한 조직 클래스를 구별하도록 학습된 하나의 신경망을 적용하는 것을 포함한다.
다른 그룹의 실시 예에서, 하나는 종양 유형을 분류하고 다른 하나는 잉크와 비잉크를 분류하기 위한 별도의 컨볼루션 신경망이 적용되며, 이러한 두 신경망의 결과는 논리적으로 결합되어 클래스의 전체 세트를 생성한다. 즉, 컨볼루션 신경망 프로세스는 종양과 비종양에 대한 조직 클래스를 구별하고 제1출력 이미지를 출력하도록 학습된 제1신경망을 별도로 적용하고 잉크와 비잉크 조직 클래스를 구분하고 제2출력 이미지를 출력하도록 학습된 제2신경망을 별도로 적용하는 것을 포함한다. 상기 출력 이미지는 종양 및 잉크, 종양 및 비잉크, 비종양 및 잉크, 비종양 및 비잉크에 대한 조직 클래스를 할당하기 위해 제1 및 제2 출력 이미지를 결합함으로써 생성된다.
분류 체계에는 종양 조직 유형이 하나만 있을 수도 있고 여러 유형이 있을 수도 있다. 일 실시예에서, 침습성 및 인 시츄 종양에 대한 별도의 종양 조직 유형 및 비종양성 조직에 대한 하나의 클래스가 있으므로, 종양 조직 유형과 평행하게 잉크 및 비잉크 사이에 분할이 있음을 염두에 두고 6개의 클래스 세트가 제공된다.
처리 방법에 의해 수신된 조직학적 이미지는 가상 슬라이드 라이브러리 또는 다른 데이터베이스에 저장된 기록에서 로드될 수 있거나, 디지털 스캐너로 조직학적 이미지를 획득한 후 직접 획득할 수 있으며, 이 경우 방법은 디지털 스캐너 자체 또는 예를 들어 디지털 스캐너 또는 다른 데이터 소스에 연결된 컴퓨터 장치에 의해 수행될 수 있다.
상기 방법은 할당 단계 이후, 출력 이미지를 조직학적 이미지 (또는 그 세트)에 대한 확률 맵으로 조립하는 단계를 더 포함할 수 있다. 상기 방법은 조립 단계 후에, 예를 들어, 조직학적 이미지 데이터에 대한 메타데이터를 구성하는 확률 맵과 함께 공통 기록에, 조직학적 이미지 또는 그 세트에 연결된 확률 맵을 저장하는 단계를 더 포함할 수있다.
현재 구현예에서, 연속적인 각 컨볼루션 단계에서 차원이 감소함에 따라 깊이가 증가하므로, 컨볼루션 레이어는 계속해서 깊이가 증가하고 차원이 감소하며, 각각의 연속적인 전치 컨볼루션 단계에서 차원이 증가하면 깊이가 감소하므로 디콘 볼루션 레이어의 깊이가 계속 감소하고 차원이 계속 증가한다. 그러면 최종 컨볼 루션 레이어는 최대 깊이와 최소 치수를 갖다. 연속적인 깊이 증가 및 감소의 접근 방식이 각각 컨볼루션 및 디컨볼루션 단계를 거치는 대신, 대안으로 입력 계층과 출력 계층을 제외한 모든 계층이 동일한 깊이를 갖는 신경망을 설계하는 것이 있다.
상기 방법은 예를 들어 그 위에 또는 서로 나란히 있는 확률 맵과 함께 조직학적 이미지 또는 그 세트를 디스플레이 상에 표시하는 단계를 더 포함할 수 있다.
특정 실시예에서, 컨볼루션 신경망은 하나 이상의 스킵 연결을 갖는다. 각 스킵 연결은 최종 컨볼루션 레이어보다 더 큰 차원의 컨볼루션 레이어 중 적어도 하나에서 중간 결과를 가져와서, 입력 이미지 패치에 일치하는 크기를 가진 하나 이상의 추가 복구 레이어를 얻기 위해 필요한 만큼 전치 컨볼루션으로 결과를 전달한다. 그런 다음 이들은 각 픽셀에 조직 클래스를 할당하는 상기 단계 전에 위에서 언급한 복구된 레이어와 결합된다. 추가 처리 단계는 확률을 재계산하기 위해 복구된 레이어를 각각의 복구된 레이어와 결합하여 스킵 연결에서 얻은 결과를 고려한다.
특정 실시예에서, 소프트맥스 연산이 확률을 생성하기 위해 사용된다.
조직학적 이미지(들)로부터 추출된 이미지 패치는 이미지(들)의 전체 영역을 덮을 수 있다. 패치는 겹치지 않는 이미지 타일이거나 확률 맵의 스티칭을 돕기 위해 마진에서 겹치는 이미지 타일일 수 있다. CNN은 고정된 크기의 픽셀 배열만 수용하도록 설계되었기 때문에, 각 이미지 패치는 CNN과 일치시킬 수 있는 너비와 높이의 고정된 수를 수의 픽셀 너비와 높이가 있어야 하지만, 이것은 각 이미지 패치가 조직학적 이미지 상의 동일한 물리적 영역과 반드시 대응해야된다는 의미는 아니다. 왜냐하면, 조직학적 이미지의 픽셀은 더 큰 영역을 덮는 저해상도 패치로 결합될 수 있기 때문이며, 예를 들어 인접한 픽셀의 각 2×2 어레이는 하나의 "슈퍼(super)" 픽셀로 결합하여 조직학적 이미지의 기본 분해능에서 추출된 패치의 물리적 영역의 4배를 가진 패치를 형성할 수 있다.
이 방법은 CNN이 학습되면 예측을 위해 수행될 수 있다. 학습의 목적은 레이어 간 연결에 적합한 가중치를 할당하는 것이다. 학습을 위해 조직학적 이미지 (또는 그것의 세트)의 각 픽셀을 조직 클래스 중 하나에 할당하는 기초 진실 데이터가 제공된다. 기초 진실 데이터는 충분히 많은 수의 이미지에 주석을 달기 위해 전문 임상의의 사용을 기반으로 한다. 학습은 CNN을 반복적으로 적용하여 수행되며, 각 반복에는 기초 진실 데이터와 출력 이미지 패치를 비교하여 가중치 값을 조정하는 작업이 포함된다. 현재 구현에서 가중치는 경사 하강법에 의해 학습 중에 조정된다.
별도의 컨볼루션 신경망을 사용하는 실시예에서, 하나는 종양 조직 클래스를 분류하기 위한 것이고 다른 하나는 잉크와 비잉크를 분류하기 위한 것인데, 두 개의 개별 학습 데이터 세트가 사용될 수 있기 때문에 학습 데이터의 공급이 더 간단할 수 있다. 하나는 종양 세분화에만 기반하고 다른 하나는 잉크 경계 세분화에만 기반한다. 따라서 잉크 학습 데이터는 종양 유형 또는 종양 조직 유형의 하위 분류 유형에 대해 비특이적일 수 있다. 또한 종양 학습 데이터는 잉크를 사용한 절제 슬라이드의 이미지가 아닌 적절한 병리 이미지를 사용할 수 있다. 반면에 동일한 컨벌루션 신경망이 4방향, 6방향 또는 더 높은 짝수 분류에 사용되는 경우, 학습 데이터 세트는 적절하게 전문적으로 분석되고 기초 사실 데이터로 보강된 페인트된 절제된 조직 덩어리의 이미지여야 한다.
종양 조직 클래스를 설정하기 위한 다양한 옵션이 있지만, 모든 실시 양태는 아니지만 대부분의 경우 비종양 조직과 종양 조직 사이의 분류에서 구별이 이루어질 것이라는 공통점이 있을 것이다. 비종양 조직 클래스는 하나, 둘 또는 그 이상의 클래스를 포함 할 수있다. 종양 조직 클래스는 또한 하나, 둘 또는 그 이상의 클래스를 포함할 수있다. 예를 들어, 현재 구현에서 우리는 3개의 조직 클래스를 가지고 있는데, 하나는 비종양 조직을 위한 것이고 2개는 종양 조직을 위한 것이며, 여기서 2개의 종양 조직 클래스는 침습성 종양과 인 이슈 종양을 위한 것이다.
일부 실시예에서 CNN은 한 번에 하나의 조직학적 이미지에 적용된다. 다른 실시예에서, CNN은 조직 영역의 상이하게 염색된 인접 섹션으로부터 취해진 조직학적 이미지 세트를 결합함으로써 형성된 합성 조직학적 이미지에 적용될 수 있다. 또 다른 실시예에서, CNN은 조직 영역의 상이하게 염색된 인접 섹션으로부터 취해진 이미지 세트의 각각의 이미지에 병렬로 적용될 수 있다.
결과는 임상의에게 디스플레이에 표시될 수 있다. 즉, 조직학적 이미지는 관련된 확률 맵과 함께, 예를 들어 그 위에 또는 서로 나란히 표시될 수 있다. 종양 점수는 또한 일부 편리한 방식으로, 예를 들어 종양 위 또는 종양을 가리키는 텍스트 라벨 또는 이미지 옆에 표시될 수 있다.
컨벌루션 신경망은 완전 컨볼루션 신경망일 수 있다.
본 발명의 추가 양태는 조직학적 이미지 또는 그 세트에서 종양을 식별하기위한 컴퓨터 프로그램 제품에 관한 것으로, 컴퓨터 프로그램 제품은 전술한 방법을 수행하기 위한 기계 판독 가능 명령을 포함한다.
본 발명의 또 다른 측면은 종양 덩어리의 마진 상태를 결정하기 위해 조직학적 이미지를 이미지 처리하는 컴퓨터 장치에 관한 것으로, 이 장치는 다음을 포함한다:
절제에 의해 추출 된 종양 덩어리로부터 얻은 조직 샘플 섹션의 픽셀의 2차원 어레이를 포함하는 조직학적 이미지를 수신하고 그 표면을 강조하기 위해 잉크로 페인트한 조직학적 이미지를 수신하도록 작동 가능한 입력; 및
조직학적 이미지의 매핑을 갖는 2차원 픽셀 어레이를 가지며 잉크와 비잉크, 종양과 비종양을 구별하기 위해 각 픽셀에 조직 클래스를 할당하여 생성되는 출력 이미지를 생성하기 위해 조직 클래스를 구별하도록 학습된 적어도 하나의 신경망을 포함하는 컨볼루션 신경망 처리 모듈;
출력 이미지에서 종양-잉크 픽셀의 존재 또는 부재에 따라 각각 양성 또는 음성으로 마진 상태를 계산하도록 동작할 수 있는 마진 평가 모듈; 및
마진 상태를 출력할 수있는 출력.
출력은 마진 상태 및 선택적으로 출력 이미지를 레코드에 저장하기 위해 데이터 저장소에 연결될 수 있다. 저장된 출력 이미지는 각 픽셀에 대한 조직 클래스 및/또는 각 픽셀에 대한 확률, 즉 확률 맵을 포함할 수 있다. 출력 이미지를 저장하면 시각화를 구성하는 데 유용할 수 있다. 예를 들어 조직학적 이미지가 조직 클래스 맵이나 확률 맵이 겹쳐진 상태로 표시될 수 있기 때문이다. 기록에 저장되든 아니든, 출력은 조직학적 이미지와 출력 이미지를 디스플레이로 전송하도록 동작할 수 있어서, 조직학적 이미지가 출력 이미지와 함께 표시된다.
본 발명의 또 다른 측면은 임상 네트워크와 같은 시스템에 관한 것으로, 다음 요소 중 하나 이상과 결합하여 상술한 컴퓨터 장치를 포함한다: 조직학적 이미지 또는 그 세트를 획득하도록 동작 가능한 현미경과 같은 이미지 획득 장치; 및 조직학적 이미지 (또는 이들의 세트)를 포함하는 환자 데이터의 기록을 저장하도록 구성된 데이터 저장소를 포함한다. 컴퓨터 장치와 데이터 저장소 사이의 환자 데이터 기록 또는 그 일부의 전송과 같이 데이터 전송을 가능하게 하는 이들 요소들 중 하나 사이에 적절한 네트워크 연결이 제공될 수 있음을 이해할 것이다.
적어도 일부 실시예에서 조직학적 이미지(들)는 현미경, 특히 통상적인 광학 현미경, 공초점 현미경 또는 염색되지 않은 또는 염색된 조직 샘플의 조직학적 이미지를 얻는 데 적합한 다른 종류의 현미경일 수 있는 광 현미경에 의해 절단된 조직 샘플의 2차원 이미지의 디지털 표현이다. 조직학적 이미지 세트의 경우, 이들은 조직 영역의 인접한 섹션(즉, 슬라이스)을 촬영한 일련의 현미경 이미지일 수 있으며, 여기서 각 섹션은 다르게 염색될 수 있다.
본 발명의 다른 특징 및 장점은 이하의 상세한 설명 및 첨부된 도면을 검토한 후 당업자에게 보다 쉽게 명백해질 것이다.　
조직학적 이미지에서 종양을 식별하는 방법 및 시스템을 제공할 수 있다.
본 발명의 구조 및 작용은 이하의 상세한 설명 및 첨부된 도면을 검토함으로써 이해될 수 있을 것이며, 첨부된 도면에서 동일한 도면 부호는 동일한 부분을 지칭한다.
도 1a는 본 발명의 일 실시예에서 사용되는 신경망 아키텍처의 개략도이다.
도 1b는 도 1a의 신경망 아키텍처 내에서 전역적(global) 및 국부적(local) 특징 맵을 결합하여 입력 이미지 패치의 각 픽셀에 대한 개별 클래스를 예측하는 특징 맵을 생성하는 방법을 나타낸다.
도 2a는 컬러 이미지로 동작 중인 로우(raw) 조직학적 패치 이미지를 나타내는 도면이다.
도 2b는 컬러 이미지로 동작 중인 도 2a의 CNN 예측을 나타내는 도면이다. CNN 예측은 컬러 이미지에서 진한 빨간색으로 표시된 예측된 종양 영역을 보여준다.
도 2c는 컬러 이미지로 동작 중의 로우 조직학적 이미지를 나타내는 도면이다. 표식된 로우 조직학 이미지는 병리학자의 손-주석(빨간색) 및 CNN 예측(분홍색 및 노란색)을 보여준다.
도 2d는 컬러 이미지로 동작 중인 CNN 예측을 나타내는 도면이다. CNN 예측 이미지는 비종양 영역(녹색), 침습성 종양 영역(빨간색, 도 2c에서 분홍색에 대응) 및 비침습성 종양(파란색, 도 2c에서 노란색에 대응)을 보여준다.
도 3a는 컬러 이미지로 동작 중인 입력 RGB 이미지 패치의 예를 나타내는 도면이다. 이미지 패치는 침습성 종양(빨간색)에 대한 병리학자의 수동 개요를 나타내고, 추가로 신경망 예측(분홍색 및 노란색)의 오버레이를 나타낸다.
도 3b는 컬러 이미지로 동작 중인 최종 출력 종양 확률 히트 맵을 나타내는 도면이다. 히트(heat) 맵은 신경망 예측의 오버레이(각각 적갈색 및 파란색)를 나타낸다.
도 4는 CNN 학습에 관련된 단계를 나타내는 흐름도이다.
도 5는 CNN을 사용한 예측에 관련된 단계를 나타내는 흐름도이다.
도 6은 마진을 평가하기 위해 학습된 CNN을 사용하는 것과 관련된 단계를 나타내는 흐름도이다.　
도 7은 본 발명의 일 실시예에 따른 방법의 흐름도이다.
도 8은 도 1a 및 도 2b의 신경망 아키텍처를 구현하는 데 관련된 계산을 수행하기 위해 사용될 수있는 TPU의 블록도이다.
도 9는 본 발명의 실시예들과 함께 사용될 수 있는 예시적인 컴퓨터 네트워크를 나타낸다.
도 10은 예를 들어 도 10의 TPU를 위한 호스트 컴퓨터로서 사용될 수 있는 컴퓨팅 장치의 블록도이다.
도 11a는 본 명세서에 설명된 다양한 실시예들과 관련하여 사용될 수 있는 예시적인 프로세서 가능 디바이스(550)를 나타내는 블록도이다.
도 11b는 단일 선형 어레이를 갖는 예시적인 라인 스캔 카메라를 나타내는 블록도이다.
도 11c는 3개의 선형 어레이를 갖는 예시적인 라인 스캔 카메라를 나타내는 블록도이다.
도 11d는 복수의 선형 어레이를 갖는 예시적인 라인 스캔 카메라를 나타내는 블록도이다.
이하의 상세한 설명에서는 제한이 아닌 설명의 목적으로 본 발명의 이해를 돕기 위해 구체적인 내용을 기재한다. 본 개시 내용이 이러한 특정 세부 사항에서 벗어나는 다른 실시예에서 실시 될 수 있다는 것은 당업자에게 명백할 것이다.
암은 북미 여성의 두 번째 주요 사망 원인이다. 여성의 모든 유형의 암 중에서 유방암은 암 사망의 가장 흔하고 두 번째 주요 원인이다. 따라서 유방암 치료의 정확성은 삶의 어느 시점에서 유방암에 걸린 여성의 상당 부분에서 수명과 삶의 질에 큰 영향을 미친다.
특정 유전자의 발현에 따라 유방암은 다양한 분자 하부 유형으로 나눌 수 있다. 일반적으로 사용되는 분류 체계는 다음과 같다.
1. 루미날(Luminal) A: ER+, PR+, HER2-
2. 루미날(Luminal) B : ER+, PR-, HER2+
3. 삼중-음성 유방암(TNBC): ER-, PR-, HER2-
4. HER2-풍부(enriched): HER2+, ER-, PR-
5. 정상(Normal-like).　
ER은 에스트로겐 수용체를 의미한다. PR은 프로게스테론 수용체를 의미한다. HER2는 인간 표피 성장 인자 수용체 2를 나타낸다.
우리는 침습성 및 인 시츄(in situ) 유방암 세포 핵을 자동으로 탐지하고 윤곽을 그리는 컴퓨터 자동 종양 발견 방법을 설명한다. 이 방법은 WSI와 같은 단일 입력 이미지 또는 WSI 세트와 같은 입력 이미지 세트에 적용된다. 각 입력 이미지는 WSI와 같은 디지털화된 조직학적 이미지이다. 입력 이미지 세트의 경우 인접한 조직 섹션의 다른 염색 이미지일 수 있다. 우리는 염색이라는 용어를 광범위하게 사용하여 바이오 마커로 염색하는 것뿐만 아니라 기존의 대비 강화 염색을 사용한 염색을 포함한다.
컴퓨터 자동 종양 윤곽 설정(outlining)은 수동 윤곽 설정보다 훨씬 빠르기 때문에, 이미지에서 추출된 타일에 오직 수동으로 주석을 추가하는 것보다 전체 이미지를 처리할 수 있도록 한다. 따라서 제안된 자동 종양 윤곽 설정은 병리학자가 이미지의 모든 종양 세포에 대한 양성 (또는 음성) 비율을 계산할 수 있어야 하며, 이는 보다 정확하고 재현 가능한 결과를 가져와야 한다.
종양 발견, 윤곽 설정 및 분류를 위한 제안된 컴퓨터 자동화 방법은 컨볼루션 신경망(CNN)을 사용하여 WSI에서 각 핵 픽셀을 찾은 다음 이러한 각 픽셀을 우리의 현재 구현 유방 종양 클래스에서 비종양 클래스 중 하나 및 복수의 종양 클래스 중 하나로 분류한다.
우리가 구현한 신경망은 <http://www.robots.ox.ac.uk/~vgg/research/ very_deep/> 및 Simonyan 및 Zisserman 2014에 설명되어 있는 VGG-16 아키텍처 및 설계와 유사하며, 이들의 전체 내용은 본 명세서에 참조로서 포함된다.
입력 이미지는 이 문서의 다른 곳에서 더 자세히 논의된 바와 같이 몇 가지 기존의 염색 중 하나로 염색된 병리학 이미지이다. CNN의 경우, 이미지 패치는 특정 픽셀 크기(예: 128×128, 256×256, 512×512 또는 1024×1024 픽셀)에서 추출된다. 이미지 패치는 임의의 크기일 수 있고 정사각형일 필요는 없지만 패치의 행과 열에 있는 픽셀의 수는 2n을 따르며, 여기서 n은 양의 정수이다. 그러한 수는 일반적으로 적절한 단일 CPU(중앙 처리 장치), GPU(그래픽 처리 장치) 또는 TPU(텐서 처리 장치) 또는 그 어레이에 의한 직접 디지털 처리에 더 적합하다.
'패치'는 일반적으로 정사각형 또는 직사각형 모양의 WSI에서 가져온 이미지 부분을 나타내는 데 사용되는 기술 용어이다. 이 점에서 WSI는 10억 개 이상의 픽셀(기가 픽셀 이미지)을 포함할 수 있으므로 이미지 처리는 일반적으로 CNN 처리를 위해 관리 가능한 크기(예를 들어, 약 500×500 픽셀)의 패치에 적용된다. 따라서 WSI는 패치로 세분화하고 CNN으로 패치를 분석한 다음 출력 (이미지) 패치를 WSI와 동일한 크기의 확률 맵으로 재조립하는 방식으로 처리된다. 확률 맵은 예를 들어 WSI 또는 그 일부에 반투명하게 오버레이되어 병리 이미지와 확률 맵을 함께 볼 수 있다. 그런 의미에서 확률 맵은 병리 이미지의 오버레이 이미지로 사용된다. CNN에 의해 분석된 패치는 모두 동일한 배율이거나 5×, 20×, 50× 등과 같이 상이한 배율이 혼합되어 있을 수 있으므로 샘플 조직의 상이한 크기의 물리적 영역에 대응된다. 상이한 배율에 의해, 이들은 WSI가 획득된 물리적 배율 또는 더 높은 배율 (즉, 더 높은 해상도) 물리적 이미지를 디지털 방식으로 축소하여 얻은 유효 배율에 대응될 수 있다.
도 1a는 신경망 아키텍처의 개략도이다. 레이어 Cl, C2 ... C1O는 컨볼루션 레이어이다. 레이어 D1, D2, D3, D4, D5 및 D6은 전치(transpose) 컨볼루션 (즉, 디컨볼루션) 레이어이다. 특정 레이어를 연결하는 선은 컨볼루션, C, 레이어와 디컨볼루션, D, 레이어 간의 스킵 연결을 나타낸다. 스킵 연결을 사용하면 더 큰 차원의 얕은 깊이의 레이어("더 큰" 및 "얇은"은 낮은 인덱스의 컨벌루션 레이어를 의미한다)의 국부적 특징(local features)을 마지막 (즉, 가장 작고 가장 깊은) 컨벌루션 레이어의 전역적 특징(global features)과 결합할 수 있다. 이러한 스킵 연결은 보다 정확한 윤곽 설정(outlines)을 제공한다. 패치의 너비와 높이를 2배로 줄이는 데 각각 사용되는 맥스풀(Maxpool) 레이어는 C2, C4 및 C7 레이저 뒤에 존재하지만, 패치의 결과적인 축소 크기를 통해 암시적으로 표시될 뿐 개략도에는 직접 표시되지 않는다. 신경망의 일부 구현에서 맥스풀 레이어는 lxl 컨볼루션으로 대체되어 완전한 컨볼루션 네트워크가 된다.
신경망의 컨볼루션 부분은 다음과 같은 레이저를 순서대로 갖는다: 입력 계층 (RGB 입력 이미지 패치); 두 개의 컨볼루션 레이어, Cl, C2; 제1맥스풀 레이어(미도시); 두 개의 컨볼 루션 레이어 C3, C4; 제2맥스풀 레이어(미도시); 3개의 컨벌루션 레이어, C5, C6, C7 및 제3맥스풀 레이어(미도시). 제2 및 제3맥스풀 레이어의 출력은 각각 레이어 C5 및 C8에 대한 일반 연결 외에도 스킵 연결을 사용하여 디콘볼루션 레이어에 직접 연결된다.
마지막 컨볼루션 레이어인 C1O, 제2맥스풀 레이어(즉, 레이어 C4 이후의 레이어)의 출력 및 제3맥스풀 레이어(즉, 레이어 C7 이후의 레이어)의 출력을 각각 입력 (이미지) 패치와 동일한 크기로 다시 업그레이드하는 별도의 "디컨볼루션 레이어" 시퀀스에 연결, 즉 컨볼루션 특징 맵을 입력 이미지 패치와 동일한 너비 및 높이, 검출할 조직 클래스(즉, 비종향 유형 및 하나 이상의 종양 유형) 수와 동일한 채널의 수(즉, 특징 맵의 수)를 가진 특징 맵으로 변환한다. 제2맥스풀 레이저의 경우, 디컨볼루션의 오직 한 단계만 필요하므로 D6 레이저에 대한 직접 링크가 표시된다. 제3맥스풀 레이저의 경우, D5 레이저에 도달하기 위해 중간 디컨볼루션 레이어 D4를 통해, 두 단계의 디컨볼루션이 필요하다. 가장 깊은 컨볼루션 레이저 C10의 경우 D1 및 D2를 통해 D3 레이어로 디커볼루션의 세 단계가 필요하다. 그 결과 입력 패치와 동일한 크기의 3개의 어레이 D3, D5, D6이 생성된다.
도 1a에 설명된 것의 단순화된 버전은 비록 성능이 떨어질 수 있지만, 이 경우 스킵 연결을 생략할 수 있고 레이어 D4, D5 및 D6은 존재하지 않으며 출력 패치는 레이어 D3에서만 계산된다.
도 1b는 도 1a의 신경망 아키텍처에서 최종 단계가 어떻게 수행되는지 보다 상세히 나타낸다. 즉, 전역적 특징 맵 레이어 D3과 국부적 특징 맵 레이어 D5, D6이 결합되어 입력 이미지 패치의 각 픽셀에 대한 개별 클래스를 예측하는 특징 맵을 생성한다. 구체적으로, 도 1b는 최종 3개의 전치 컨볼루션 레이어 D3, D5, D6이 어떻게 종양 클래스 출력 패치로 처리되는지 나타낸다.
이제 상술한 접근법이 현재 디지털 병리학에서 사용되는 알려진 CNN과 어떻게 다른지에 대해 논의한다. 종래의 CNN은 사용 가능한 여러 클래스에서 선택된 하나의 클래스를 각 이미지 패치에 할당한다. 이러한 유형의 CNN의 예는 Wang et al 2016, Liu et al 2017, Cruz-Roa et al 2017 및 Vandenberghe et al 2017의 논문에 있다. 그러나 방금 설명한 것은 주어진 이미지 패치 내에서 사용 가능한 여러 클래스에서 선택된 하나의 클래스가 각각의 모든 픽셀에 할당된다는 것이다. 따라서 각 이미지 패치에 대해 단일 클래스 레이블을 생성하는 대신 신경망은 주어진 패치의 각 개별 픽셀에 대한 클래스 레이블을 출력한다. 우리의 출력 패치에는 입력 패치와 일대일 픽셀 대 픽셀 대응이 있으므로 출력 패치의 각 픽셀이 여러 사용 가능한 클래스 (비종양, 종양 1, 종양 2, 종양 3) 중 하나를 할당한다.
이러한 종래의 CNN에서, 각 패치에 단일 클래스를 할당하기 위해 일련의 컨볼루션 레이어가 사용된 후 하나 또는 여러 개의 완전 연결 레이어가 사용되며, 그 다음에는 검출할 클래스만큼 많은 값을 갖는 출력 벡터가 뒤따른다. 예측된 클래스는 출력 벡터에서 최대값의 위치에 의해 결정된다.　학습된 CNN은 디지털 슬라이드 이미지에서 픽셀을 입력으로 가져와 각 픽셀에 대한 확률 벡터를 반환한다. (Goodfellow, Bengio 및 Courville 2016) 벡터의 길이는 N이며 여기서 N은 CNN이 검출하도록 학습된 클래스의 수이다. 예를 들어, CNN이 침습성 종양, 현장 종양 및 비 종양의 세 가지 클래스를 구별하도록 학습된 경우 벡터 v는 길이 3이 된다. 벡터의 각 좌표는 픽셀이 특정 클래스에 속할 확률을 나타낸다. 따라서 v[0]은 픽셀이 침습성 종양 클래스에 속할 확률, v[l]은 픽셀이 인 시츄 클래스에 속할 확률 및 v[2]는 비종양 클래스에 속할 확률을 나타낼 수 있다. 각 픽셀의 클래스는 확률 벡터에서 결정된다. 픽셀을 클래스에 할당하는 간단한 방법은 확률이 가장 높은 클래스에 픽셀을 할당하는 것이다.
개별 픽셀의 클래스를 예측하기 위해 CNN은 컨볼루션 레이어를 따르는 다른 아키텍처를 사용한다. 일련의 완전히 연결된 레이어 대신 일련의 전치 컨벌루션 레이어가 있는 컨볼루션 레이어를 따른다. 완전히 연결된 레이저는 이러한 아키텍처에서 제거된다. 각 전치 레이어는 특징 맵의 너비와 높이를 두 배로 늘리는 동시에 채널 수를 절반으로 줄인다. 이러한 방식으로 특징 맵은 입력 패치의 크기로 다시 업 스케일된다.
또한, 예측을 개선하기 위해, 전체 내용이 여기에 참조로 통합된 Long et al 2015에 설명된 대로 스킵 연결을 사용한다.
스킵 연결은 최종 컨볼루션 레이어 C1O로부터의 업 스케일링에 의해 만들어진 대략적인 예측을 개선하기 위해 더 얕은 특징를 사용한다. 도 1a의 레이어 D5 및 D6에 포함된 스킵 연결으로부터의 국부적 특징는 최종 컨볼루션 레이어로부터 도 1a의 레이어 D3에 포함된 전역적 특징를 업 스케일링함으로써 생성된 특징과 연결된다. 전역적 및 국부적 특징 레이어 D3, D5 및 D6은 도 1b에 도시 된 바와 같이 결합된 레이어로 연결된다.
도 1b의 결합된 레이어로부터 (또는 스킵 연결이 사용되지 않는 경우 최종 디컨볼루션 레이어 D3으로부터 직접), 결합된 레이어의 lxl 컨볼루션에 의해 클래스 수와 일치하도록 채널 수가 감소한다. 그런 다음이 분류 레이어에 대한 소프트맥스 연산은 결합된 레이어의 값을 확률로 변환한다. 출력 패치 레이어의 크기는 N×N×K이며, 여기서 N은 입력 패치의 픽셀의 너비와 높이이고 K는 검출되는 클래스 수이다. 따라서 이미지 패치의 모든 픽셀 P에 대해 크기 K의 출력 벡터 V가 있다. 그런 다음 대응 벡터 V에서 최대값의 위치에 따라 각 픽셀 P에 고유한 클래스를 할당할 수 있다.　따라서 CNN은 각 픽셀을 비-암성 또는 여러 다른 암 (종양) 유형 중 하나 이상에 속하는 것으로 표시한다. 특히 관심있는 암은 유방암이지만 방광암, 결장암, 직장암, 신장암, 혈액암 백혈병), 자궁 내막암, 폐암, 간암, 피부암, 췌장암, 전립선암, 뇌암, 척추암, 갑상선암과 같은 기타 암의 조직학적 이미지에도 적용할 수 있다.
우리의 특정 신경망 구현은 특정 고정 픽셀 치수를 갖는 입력 이미지에서 작동하도록 구성된다. 따라서, 학습과 예측 모두를 위한 전처리 단계로서, 원하는 픽셀 치수, 예를 들어, N×N×h 픽셀을 갖는 WSI에서 패치가 추출될 수 있으며, 여기서 각 물리적 위치에 세 가지 기본 색상 - WSI가 종래 가시광 현미경에 의해 획득된 컬러 이미지일 때 일반적으로 RGB와 관련된 세 개의 픽셀이 있는 경우 n=3이다. (아래에서 더 언급하듯이 'h'는 두 개 이상의 컬러 WSI가 결합된 경우 복합 WSI 수의 3배가 될 수 있다.) 또한 'h'는 단일 단색 WSI의 경우 1의 값을 가질 것이다. 학습 속도를 높이기 위해 입력 패치도 이 단계에서 중앙에 배치되고 정규화된다.
우리가 선호하는 접근법은 전체 WSI 또는 적어도 조직을 포함하는 WSI의 전체 영역을 처리하는 것이므로, 우리의 경우 패치는 적어도 WSI의 전체 조직 영역을 덮는 타일이다. 타일은 겹치지 않고 인접하거나, 예를 들어 1, 2, 3, 4, 5, 6, 7, 8, 9 또는 10 픽셀 너비의 겹치는 가장자리 마진 영역을 가질 수 있으므로 CNN의 출력 패치는 불일치를 고려하여 함께 스티칭될 수 있다. 그러나 우리의 접근 방식은 원할 경우 WSI를 통해 기존 기술에서와 같이 배율이 같거나 다른 패치의 무작위 샘플에도 적용되거나 병리학자에 의해 수행될 수 있다.
우리의 신경망은 Simonyan과 Zisserman 2014의 VGG-16 아키텍처와 유사한 설계를 갖는다. 모든 컨벌루션 필터에서 매우 작은 3×3 커널을 사용한다. 최대 풀링(pooling)은 작은 2×2 창과 폭(stride) 2로 수행된다. 컨볼루션 레이어 뒤에 완전히 연결된 일련의 레이어가 있는 VGG-16 아키텍처와 달리, 우리는 세분화 마스크를 생성하기 위해 일련의 "디컨볼루션" (더 정확하게는 전치 컨볼루션)으로 컨볼루션 레이어를 따른다. 의미론적 세분화를 위한 이러한 유형의 업 샘플링은 이전에 Long et al 2015에 의해 자연 이미지 처리에 사용되었으며, 그 전체 내용은 여기에 참조로 포함된다.
각 디컨볼루션 레이어는 너비 및 높이 차원에서 입력 특성 맵을 2배로 확대한다. 이는 맥스풀 레이어의 축소 효과를 막아 입력 이미지와 동일한 크기의 클래스 특징 맵을 생성한다. 각 컨볼루션 및 디컨볼루션 레이어의 출력은 비선형 활성화 레이어에 의해 변환된다. 현재, 비선형 활성화 레이저는 ReLU(x)=max(0, x)ReLU(x)=max(0, x) 정류기 함수를 사용한다. ReLU, Leaky ReLU, eLU 등과 같은 다른 활성화 기능을 원하는대로 사용할 수 있다.
제안된 방법은 원하는 수의 조직 클래스를 수정하지 않고 적용할 수 있다. 제약 조건은 단지 신경망에서 복제하기를 원하는 방식으로 분류된 적합한 학습 데이터의 가용성 뿐이다. 추가 유방 병리의 예는 침습성 소엽 암종 또는 침습성 유관 암종이다. 즉, 이전 예의 단일 침습성 종양 클래스는 여러 침습성 종양 클래스로 대체될 수 있다. 신경망의 정확도는 대부분 각 클래스에 사용할 수 있는 이미지 수, 클래스가 얼마나 유사한지, 메모리 제한에 도달하기 전에 신경망을 얼마나 깊게 만들 수 있는지에 따라 결정된다. 일반적으로 클래스 당 이미지 수가 많고 네트워크가 더 깊으며 클래스가 다르면 네트워크 정확도가 높아진다.
소프트맥스 회귀(regression) 레이어(즉, 다항 로지스틱 회귀 레이어)는 각 채널 패치에 적용되어 특징 맵의 값을 확률로 변환한다.
소프트맥스 회귀에 의한 이러한 최종 변환 후, 최종 특징 맵에서 채널 C의 위치 (x, y)에 있는 값은 입력 이미지 패치에서 채널 C에 의해 검출된 종양 유형에 속하는 입력 이미지 패치에서 위치 (x, y)에 있는 픽셀의 확률 P(x, y)를 포함한다.
컨볼루션 및 디컨볼루션 레이어의 수는 신경망을 실행하는 하드웨어의 메모리 제한 및 원하는 바에 따라 증가 또는 감소될 수 있음을 알 수 있을 것이다.
미니-집단 경사 하강법(mini-batch gradient descent)을 사용하여 신경망을 학습한다. 학습률은 지수 감쇠를 사용하여 초기 속도 0.1에서 감소한다. 우리는 Srivastava et al 2014 [2017]에 의해 설명된 "드롭아웃(dropout)" 절차를 사용하여 신경망 과적합(overfitting)을 방지하며, 이 절차의 전체 내용은 여기에 참조로 포함된다. 네트워크 학습은 사용 가능한 여러 딥 러닝 프레임 워크 중 하나를 사용하여 GPU, CPU 또는 FPGA에서 수행할 수 있다. 현재 구현을 위해 Google Tensorflow를 사용하고 있지만 동일한 신경망이 Microsoft CNTK와 같은 다른 딥 러닝 프레임 워크에서 구현되었을 수 있다.
신경망은 N×N×K 크기의 확률 맵을 출력하는데, 여기서 N은 입력 패치의 픽셀 단위의 너비와 높이이고 K는 검출되는 클래스의 수이다. 이러한 출력 패치는 W×H×K 크기의 확률 맵으로 다시 연결된다. 여기서 W 및 H는 패치로 세분화되기 전에 원래 WSI의 너비와 높이이다.
확률 맵은 레이블 이미지의 각 위치 (x, y)에서 최대 확률로 클래스 인덱스를 기록함으로써 W×H 레이블 이미지로 축소될 수 있다.
현재 구현에서 우리의 신경망은 모든 픽셀을 비종양, 침습성 종양 및 인 시츄 종양의 세 가지 클래스 중 하나에 할당한다.
다중 종양 클래스가 사용되는 경우, 출력 이미지는 비종양 및 종양의 더 간단한 이진 분류로 후처리 될 수 있다. 즉, 다중 종양 클래스가 결합된다. 이진 분류는 기본 데이터에서 이미지를 만들 때 옵션으로 사용할 수 있으며 다중 클래스 종양 분류는 저장된 데이터에 유지된다.
본 발명에 대한 특정 구현에 대한 위의 설명은 CNN을 사용하는 특정 접근 방식에 집중되어 있지만, 우리의 접근 방식은 매우 다양한 유형의 컨볼루션 신경망에서 구현 될 수 있음을 이해할 수 있을 것이다. 일반적으로 컨볼루션을 사용하여 점점 복잡해지는 특징을 감지하고 이후에 전치 컨볼루션("디컨볼루션")을 사용하여 특징 맵을 다시 입력 이미지의 너비와 높이로 업 스케일링하는 모든 신경망이 적합해야 한다.
실시예 1
도 2a 내지 도 2d는 동작 중인 컬러 이미지이며 Camelyon 경쟁을 위한 Google의 CNN 솔루션 (Liu et al. 2017)에 의해 생성된 것과 같은 패치 수준 예측과 현재 설명된 CNN에 의해 생성된 종양 클래스에 대한 픽셀 수준 예측 간의 차이를 보여준다.
도 2a 및 2b는 Liu et al 2017의 도 7에서 복사한 반면, 도 2c 및 도 2d는 클래스 (잉크/비잉크를 포함하지 않는) 종양 조직 클래스 별로 분류하기 위해 적용된 현재 설명된 CNN에 따른 예에 대한 비교 가능한 타일이다.
도 2a는 H&E-염색된 WSI의 패치로, 오른쪽 하단 사분면에 있는 더 크고 진한 보라색 세포 클러스터가 종양이고 더 작은 진한 보라색 세포는 림프구이다.
도 2b는 Liu et al 2017의 CNN에 의해 생성된 종양 확률 히트 맵으로, 저자는 결합 조직과 림프구를 무시하면서 종양 세포를 정확하게 식별한다고 언급한다.
도 2c는 본 발명을 구현하는 CNN 방법이 적용되는 예시적인 WSI의 로우(raw) 이미지 패치이다. 로우 이미지뿐만 아니라, 도 2c는 병리학자가 수동으로 그린 윤곽선을 보여준다(실선의 빨간색 경계선). 또한, 도 2d를 참조하면, 도 2c는 또한 현재 설명된 CNN 방법의 결과를 보여준다 (분홍색 경계선으로 분홍색으로 음영 처리된 제1영역, 즉 도 2d에서 빨간색으로 표시된 종양 유형은 제1종양 유형에 해당한다; 분홍색 경계선이 있는 노란색으로 음영 처리된 제2영역, 즉 도 2d에서 파란색으로 음영 처리된 종양 유형은 두 번째 종양에 해당한다).
도 2d는 우리의 CNN에서 의해 생성된 종양 확률 히트 맵이다. 픽셀 수준 예측에 대한 우리의 접근 방식이 부드러운 경계 윤곽을 가진 영역을 생성하는 방법을 알 수 있다. 히트 맵의 경우 다른 (임의로 선택한) 색상은 다른 클래스를 나타낸다. 즉, 비종양의 경우 녹색, 제1종양 유형의 경우 빨간색, 제2종양 유형의 경우 파란색이다.
실시예 2
도 3a 및 도 3b는 동작 중인 컬러 이미지이며 입력 RGB 이미지 패치(도 3a) 및 최종 출력 종양 확률 히트 맵(도 3b)의 예를 보여준다.
도 3a는 추가적으로 침습성 종양의 병리학자의 수동 윤곽 설정(빨간색 윤곽선) 및 도 3b에 별도로 도시된 우리의 신경망의 예측(분홍색 음영 및 노란색 영역)의 추가 오버레이를 나타낸다.
도 3b는 CNN에 의해 생성된 종양 확률 히트 맵이다. 우리의 히트 맵에 대해, 다른 (임의로 선택한) 색상은 다른 클래스를 나타낸다. 즉, 비 종양의 경우 녹색, 침습성 종양의 경우 적갈색(도 3a에서 분홍색으로 표시), 인 시츄 종양의 경우 파란색(도 3a에서 노란색으로 표시)을 나타낸다. 다시 한번, 픽셀 수준 예측에 대한 우리의 접근 방식이 부드러운 경계 윤곽이 있는 영역을 생성하는 방법을 볼 수 있다. 또한, CNN 예측이 병리학자의 수동 표시와 어떻게 호환되는지 확인할 수 있다. 또한 CNN은 병리학자가 수행하지 않은 침습성 조직과 비 침습성(인 시츄) 조직을 더 구분할 수 있으며, 본질적으로 원하는대로 임상적으로 관련이 있는 상이한 유형의 임의의 수로 조직을 분류하기 위해 프로그래밍하고 학습할 수 있는 다중 채널 CNN 설계의 일부이다.
획득 및 이미지 처리
방법의 시작점은 조직 샘플을 절편화, 즉 슬라이스하고 인접한 절편을 다른 얼룩으로 염색하는 것이다. 인접한 섹션은 섹션이 얇기 때문에 매우 유사한 조직 구조를 갖지만, 다른 층에 있기 때문에 동일하지는 않을 것이다.
예를 들어, ER, PR, p53, HER2, H&E 및 Ki-67과 같이 각기 다른 얼룩이 있는 5개의 인접 섹션이 있을 수 있다. 그 후 각 섹션에서 현미경 이미지를 획득한다. 인접한 섹션은 매우 유사한 조직 형태를 갖지만, 얼룩은 예를 들어, 핵, 세포질, 일반적인 비교 향상에 의한 모든 특징 등의 상이한 특징들이 강조 표시된다. 그런 다음 서로 다른 이미지가 정렬, 틀어짐(warped) 또는 사전 처리되어 하나의 영상의 임의의 주어진 특징의 좌표를 다른 영상의 동일한 특징에 매칭한다. 매핑은 현미경의 슬라이드 정렬 또는 슬라이드에 조직 슬라이스를 장착하는 등의 차이로 인한 약간의 상이한 배율, 배향 차이 등과 같은 요인에 의해 발생한 이미지 사이의 차이를 처리한다.
서로 다른 인접 섹션으로 구성된 세트의 서로 다른 WSI 사이의 좌표 매핑을 통해 WSI를 단일 복합 WSI로 병합할 수 있음에 주목해야 하며, 이러한 복합 패치는 CNN에 의해 처리되도록 추출될 수 있으며, 여기서 복합 패치는 N×N×3m의 치수를 가지며 |m|은 세트를 형성하는 복합 WSI의 수이다.
그런 다음 이미지의 일부 표준 처리가 수행된다. 이러한 이미지 처리 단계는 WSI 수준 또는 개별 이미지 패치 수준에서 수행될 수 있다. CNN이 컬러 이미지가 아닌 흑백에서 작동하도록 구성된 경우 이미지가 컬러에서 그레이 스케일로 변환될 수 있다. 콘트라스트 향상 필터를 적용하여 이미지를 수정할 수 있다. 그런 다음 이미지 세트에서 공통 조직 영역을 식별하거나 단순히 조직과 관련이 없는 배경을 없애기 위해 일부 세분화가 수행될 수 있다. 세분화에는 다음 이미지 처리 기술 중 일부 또는 모두가 포함될 수 있다.
1. 시드 조직 영역을 식별하기 위한 분산(variance) 기반 분석
2. 적응형(adaptive) 임계값 지정
3. 형태학적 작업 (예를 들어, 얼룩 분석)
4. 윤곽 식별
5. 근접 경험적 접근(heuristic) 규칙을 기반으로 한 윤곽 병합
6. 불변 이미지 모멘트 계산
7. 가장자리 추출 (예를 들어, 소벨(Sobel) 가장자리 검출)
8. 곡률 흐름 필터링
9. 직렬 섹션 간의 강도 변화를 제거하기 위한 히스토그램 매칭
10. 다중 해상도 리지드(rigid) / 아핀(affine) 이미지 등록 (경사 하강 최적화 도구)
11. 비-리지드 변형 / 변환
12. 슈퍼 픽셀 클러스터링
또한, 상기 종류의 이미지 처리 단계는 패치 추출 후 WSI 또는 개별 패치에서 수행될 수 있음을 이해할 것이다. 어떤 경우에는 패치 추출 전과 후에 동일한 유형의 이미지 처리를 수행하는 것이 유용할 수 있다. 즉, 각각 CNN 전처리 및 CNN 후처리와 같다. 즉, 패치 추출 전에 WSI에서 일부 이미지 처리가 수행될 수 있고 WSI에서 추출된 후 패치에서 다른 이미지 처리가 수행될 수 있다.
이러한 이미지 처리 단계는 예로서 설명되며 어떤 방식으로든 본 발명의 범위를 제한하는 것으로 해석되어서는 안된다. 예를 들어, 충분한 처리 능력을 사용할 수 있는 경우 CNN은 컬러 이미지로 직접 작업할 수 있다.
학습 및 예측
도 4는 CNN 학습에 관련된 단계를 보여주는 흐름도이다.
단계 S40에서, 종양을 찾고, 윤곽을 설정하고, 분류하기 위해 임상의가 주석을 단 처리를 위한 WSI를 포함하는 학습 데이터를 검색한다. 임상의의 주석은 기초 사실(ground truth) 데이터를 나타낸다.
단계 S41에서, WSI는 CNN에 대한 입력 이미지 패치인 이미지 패치로 세분화된다. 즉, 이미지 패치가 WSI에서 추출된다.
단계 S42에서는 전술한 바와 같이 이미지 패치를 전처리한다. (대안으로 또는 추가로, WSI는 단계 S41 이전에 전술한 바와 같이 전처리될 수 있다.)
단계 S43에서 CNN 가중치, 즉 레이어 간의 가중치에 대한 초기값을 설정한다.
단계 S44에서, 입력 이미지 패치의 집단(batch) 각각은 CNN에 입력되고 처리되어, 도 1a 및 도 1b를 참조하여 더 상술한 바와 같이 픽셀 단위로 패치를 찾고, 윤곽을 잡고 분류한다. 우리의 방법이 각 종양 (또는 종양 유형) 픽셀을 식별하기 때문에 여기서 "윤곽(outline)"이라는 용어는 엄격히 기술적으로 사용하기에 반드시 올바른 용어는 아니므로 CNN이 각 종양 유형에 대한 종양 영역을 결정한다고 말하는 것이 더 정확할 것이다.
단계 S45에서, CNN 출력 이미지 패치를 기초 사실 데이터와 비교한다. 이것은 패치 단위로 수행될 수 있다. 또는 전체 WSI를 커버하는 패치가 추출된 경우, 이는 WSI 수준에서 또는 연속된 패치 집단(예를 들어, WSI의 한 사분면)으로 구성된 WSI의 하위 영역에서 수행될 수 있다. 이러한 변형에서, 출력 이미지 패치는 전체 WSI 또는 그 인접 부분에 대한 확률 맵으로 재조립될 수 있으며 확률 맵은 예를 들어, 확률 맵이 WSI에 반투명 오버레이로 디스플레이에 표시되는 경우 컴퓨터 및 사용자가 시각적으로 기초 사실 데이터와 비교할 수 있다.
단계 S46에서, CNN은 이러한 비교로부터 학습하고 예를 들어 경사 하강 접근법(gradient descent approach)을 사용하여 CNN 가중치를 업데이트한다. 따라서 학습은 처리 흐름에서 리턴 루프에 의해 도 4에 나타낸 바와 같이 학습 데이터의 반복 처리로 피드백되어, CNN 가중치를 최적화할 수 있다.
학습 후, CNN은 기초 사실 데이터와 관계없이, 즉 예측을 위한 실시간 사용에서 WSI에 적용될 수 있다.
도 5는 CNN을 사용한 예측에 관련된 단계를 보여주는 흐름도이다.
단계 S50에서, 하나 이상의 WSI가 예를 들어 실험실 정보 시스템(LIS; laboratory information system) 또는 다른 조직학적 데이터 저장소로부터 처리를 위해 검색된다. WSI는 예를 들어 위에서 설명한 것처럼 사전 처리된다.
단계 S51에서, 또는 각각의 WSI로부터 이미지 패치를 추출한다. 패치는 전체 WSI를 포함하거나 무작위 또는 무작위가 아닌 선택일 수 있다.
단계 S52에서, 이미지 패치는 예를 들어 전술한 바와 같이 전처리된다.
단계 S53에서, 입력 이미지 패치의 집단(batch) 각각은 CNN에 입력되고 처리되어 도 1a 및 도 1b를 참조하여 상술한 바와 같이 픽셀 단위로 패치를 찾고, 윤곽을 그리며 분류한다. 출력 패치는 입력 이미지 패치가 추출된 WSI에 대한 확률 맵으로 재조립될 수 있다. 예를 들어, 확률 맵이 WSI의 반투명 오버레이로 또는 WSI와 함께 디스플레이에 표시되는 경우, 확률 맵은 디지털 처리의 컴퓨터 장치 및 사용자에 의해 시각적으로 WSI와 비교할 수 있다.
단계 S54에서는 가짜(false) 양성일 가능성이 있는 종양, 예를 들어 너무 작은 부위 또는 가장자리 결함일 수 있는 부위를 제외하고 종양 부위를 필터링한다.
단계 S55에서 스코어링 알고리즘을 실행한다. 스코어링은 세포 특이적이며 점수는 각 종양에 대해 집계될 수 있고/있거나 WSI (또는 WSI의 하위 영역)에 대해 추가로 집계될 수 있다.
단계 S56에서, 결과는 진단을 위해 병리학자 또는 다른 관련 숙련된 임상의에게 제시된다. 적절한 고해상도 모니터에 주석이 달린 WSI를 표시한다.
단계 S57에서, CNN의 결과, 즉 확률 맵 데이터 및 선택적으로 병리학자가 추가한 임의의 추가 진단 정보와 함께 CNN 매개 변수와 관련된 메타데이터가 CNN에 의해 처리된 WSI 또는 WSI 세트를 포함하는 환자 데이터 파일과 연결된 방식으로 저장된다. 따라서 LIS 또는 기타 조직학적 데이터 저장소의 환자 데이터 파일은 CNN 결과로 보완된다.
마진 평가
도 6은 CNN을 사용한 예측에 관련된 단계를 나타내는 흐름도이다.　단계 S1에서, 예를 들어 가상 슬라이드 라이브러리 또는 다른 조직학적 데이터 저장소로부터 데이터를 검색하기 위해 실험실 정보 시스템(LIS)을 사용하여 처리를 위해 잉크 및 염색된 조직 샘플의 하나 이상의 WSI가 검색된다.
단계 S2에서, WSI는 예를 들어 전술한 바와 같이 전처리된다.
단계 S3에서, 제1CNN을 적용하여 3-방향 조직 유형 분류(비 종양, 침습성 종양, 인 시츄 종양)를 수행한다. 이미지 패치는 하나 이상의 WSI에서 추출된다. 패치는 전체 WSI를 포함하거나 무작위 또는 무작위가 아닌 선택일 수 있다. 이미지 패치는 예를 들어 전술한 바와 같이 전처리될 수 있다. 입력 이미지 패치의 집단 각각은 CNN에 입력되고 처리되어도 1a 및 도 1b를 참조하여 상술한 바와 같이 픽셀 단위로 패치를 분류한다. 출력 패치는 종양 위치의 확률 맵으로 재조립된다.
단계 S4에서, 잉크 픽셀(잉크, 비잉크)을 인식하기 위해 제2CNN이 이진 분류를 수행하기 위해 적용된다. 단계 S3에 대해 설명된 바와 같이 확률 맵이 생성되며, 이번에는 확률 맵이 잉크 위치, 즉, 조직 덩어리의 경계를 인식한다.
단계 S5에서, 2개의 확률 맵에 대한 일부 후처리를 수행하여 단순 임계값 또는 좀 더 복잡한 수치 처리에 따라 확률값을 필터링한다. 예를 들어, 잉크 경계를 식별하고 그에 따라 잉크 카테고리의 픽셀의 확률값을 조정하기 위해 확률값에 세분화가 적용될 수 있다. 후처리는 또한 세분화를 사용하여 오탐지 가능성이 있는 종양 영역, 예를 들어, 너무 작은 영역 또는 가장자리 결함일 수있는 영역을 제외할 수 있다. 원하는 경우 단계 S3 및 S4에서 출력된 두 개의 확률 맵을 단일 확률 맵으로 병합하거나 결합할 수 있으며 병합된 확률 맵에 적용한 후 처리를 수행할 수 있다.
상술한 바와 같이, 단계 S3 및 S4는 단일 CNN이 6-way 분류를 수행하고 단일 확률 맵을 생성하는 다른 실시예에서 효과적으로 병합되며, 이 경우 단계 S5의 후처리가 단일 확률 맵에서 수행될 것이다. (확률 맵은 또한 예를 들어 도 6의 프로세스 흐름으로부터 출력된 마진 평가 데이터와 함께 병리학자에게 제시될 수 있는 조직학적 이미지에 대한 오버레이로서 뷰잉 애플리케이션에서 시각화를 생성하는 데 사용될 수 있음에 유의한다.)
단계 S6에서는 6개의 클래스 중 하나에 각 픽셀을 할당하여 마스크를 생성한다. (또한 마스크는 예를 들어 잉크 경계 오버레이 또는 종양 픽셀 오버레이와 같은 조직학적 이미지에 대한 하나 이상의 오버레이로서 뷰잉 애플리케이션에서 시각화를 생성하는 데 사용될 수 있다는 점에 유의한다. 이러한 오버레이는 도 6의 프로세스 흐름으로부터 출력된 마진 평가 데이터와 함께 병리학자에게 제시될 수 있다.)
단계 S7에서, 종양 및 잉크 클래스의 픽셀의 임계 개수 이상이 있는지 여부를 판단한다. 만약, '아니오(no)'이면 단계 S8에서 마진 상태를 '음성'으로 설정하고 프로세스 흐름은 마진 거리 계산을 진행하는 반면, '예(yes)'이면 단계 S12에서 마진 상태를 '양성'으로 설정하고 프로세스 흐름은 마진 침범, 종양 조직이 절제 수술에 의해 절제된 조직 덩어리의 경계를 침범한 정도의 계산을 진행한다. 임계값 텍스트는 모든 종양 및 잉크 클래스의 픽셀 합계에 단일 임계값을 적용하거나 각 종양 및 잉크 클래스의 개별 합계에 대해 별도의 임계값을 적용할 수 있다. 예를 들어, 후자의 경우 "침습성 종양 및 잉크" 또는 "잉크 상의 인 시츄 종양" 클래스는 (동일 또는 다를 수 있는) 각각의 임계 값보다 높은 수준에서 검출되면 임계값 테스트 결과는 "예'이고 마진 상태는 "양성"인 반면, 두 임계 값 비교에서 수준이 같거나 낮으면 테스트 결과는 "아니요"이고 마진 상태는 "음성"이다. 임계값(들)은 경험적으로 정의된 값(들) 또는 임의의 다른 적절한 값(들)으로 설정될 수 있다.
음성 브랜치에 이어, 단계 S9에서, 마진 거리가 계산되고, 단계 S10에서 적절한 임계값에 대해 테스트된다. 종양-잉크 클래스의 픽셀이 임계값보다 낮은 수준에서 검출되면 마진이 있으므로 마진 상태는 마진 거리에 따라 "클리어" 또는 "클로즈"이어야 한다. 단계 S11에서, 마진 거리가 임계값 미만이면 상태가 음성/클로즈로 설정된다. 단계 S14에서, 마진 거리가 임계값 미만이면, 상태는 음성/클리어로 설정된다. 마진 거리는 종양 조직과 잉크 표면 사이의 가장 가까운 거리로 정의한다. 모든 종양 픽셀의 좌표 (xt, yt) ∈ R2을 포함하는 S1 세트, 모든 마진 픽셀의 좌표 (xm, ym) ∈ R2을 포함하는 S2 세트를 포함하는 것으로 정의할 수 있다. 따라서, 마진 거리를 계산하는 문제는 두 세트의 평면 점 사이의 최소 거리를 계산하는 문제이다. 이 측정값은 O(nLogn) 시간에 계산될 수 있으므로 큰 점 집합에서도 빠르게 계산할 수 있다(Toussaint 및 Bhattacharya 1983). 마진 거리 Dm이 사용자가 설정할 수 있는 지정된 임계값 θ 미만이면 마진 상태가 "클로즈"로 되돌아 간다. Dm ≥ θ인 경우 마진 상태는 "클리어"로 되돌아 간다. 물론, 실제 계산된 마진 거리가 출력될 수 있다. 이것은 가장 작은 거리를 나타내는 간단한 숫자이거나 최소 및 최대 마진 거리에 대한 개별 거리과 같은 추가 데이터, 평균 마진 거리 및 확률 분포와 같은 통계값(예를 들어, 표준 편차)을 제공하는 더 정교한 출력일 수 있다.　
양성 브랜치에 이어, 단계 S13에서 마진 침범이 계산된다. 종양-잉크 클래스의 픽셀이 임계값 ε 또는 임계값 ε 중 하나 이상의 수준에서 검출되었으므로 종양이 없는 마진, 즉 양성 마진이 없다. 양성 마진의 경우, 마진 침범은 잉크 표면에 있는 종양 세포의 총 길이로 계산될 수 있다. 이는 각 종양에 속하는 두 픽셀 사이의 최대 거리를 찾아 결과를 합산하는 것과 같다. 이 문제는 최소 거리 문제와 동일하므로 O(nLogn) 시간(Vaidya 1989)에서도 해결할 수 있다. 현재 College of American Pathologists 가이드라인은 대략적인 보고 범위만을 요구한다. 총 길이를 기반으로 마진 침범 정도를 분류하는 한 가지 방법은 다음과 같다.
· 단초점: 최대 거리가 예를 들어, < 4 mm의 임계값 미만인 마진에 있는 암종의 단초점 영역
· 다초점: 마진에 두 개 이상의 암종 초점이 있으며, 최대 거리의 합이 단초점 임계값보다 작음
· 최소/보통: 단초점 또는 다초점에 대해서는 최대 거리의 합이 단초점 및 다초점 분류에 사용된 예를 들어 < 5 mm인 임계값보다 큰 두 번째 임계값 미만
· 광범위: 광역 전면(최대 거리의 합 > 5mm)에 걸친 마진에 존재하는 암종
원하는 경우, 단초점 및 다초점은 단일 클래스 표시된 초점으로 병합될 수 있다.
마지막으로, 프로세스 흐름은 마진 상태, 즉 출력이, 예를 들어 디스플레이에 보고 및/또는 파일에 저장함으로써 단계 S15로 종료된다.
요약하면, 우리는 절제에 의해 추출된 종양 덩어리로부터 얻은 조직 섹션의 조직학적 이미지를 이미지 처리하는 컴퓨터 자동화 방법을 설명하고 그 표면 영역을 강조하기 위해 잉크로 페인트했다. 하나 또는 두 개의 컨볼루션 신경망은 잉크와 비잉크, 종양과 비종양을 구별하는 조직 클래스를 구별하도록 학습된다. 학습된 신경망 또는 네트워크를 조직학적 이미지에 적용하여 픽셀이 조직 클래스에 할당된 출력 이미지를 생성한다. 조직 섹션의 양성 또는 음성 마진 상태는 종양 및 잉크 분류 픽셀의 유무에 따라 각각 결정될 수 있다. 또한 분류별 픽셀 간 거리를 기반으로 추가 매개 변수를 계산하여 마진 침범(양성 하위 상태) 및 여백 거리(음성 하위 상태)에 대한 하위 상태를 생성하기 위해 양성 및 음성 여백 상태를 추가로 검사할 수 있다.
종양 영역 필터링 및 순위 설정
도 7은 본 발명의 일 실시예에 따른 흐름도이다.
단계 S71은 슬라이드 스캐너에 의해 생성될 수있는 WSI의 이미지 데이터를 포함하는 이미지 데이터 파일을 제공한다. 이미지 데이터 파일은 예를 들어, 복수의 얼룩 각각에 대해 하나씩, 또는 유한한 깊이의 투명 또는 반투명 샘플을 통해 현미경의 초점면을 스테핑하여 얻은 샘플 (소위 z-스택)의 상이한 깊이의 각각에 대해 하나씩의 다중 이미지를 포함할 수 있다.
단계 S72는 분산 기반 분석, 적응형 임계값 설정, 형태학적 연산 등과 같은, 예를 들어 상술한 바와 같이 일부 CNN 전처리가 수행될 수 있는 선택적 단계이다.
단계 S73은 특히 도 5의 단계 S51 내지 S54를 참조하여 설명된 바와 같이 상술한 CNN을 실행한다. 조직 유형의 픽셀별 분류가 종양 픽셀을 표시하기 위해 수행되고, 이어서 종양(즉, 종양 영역)에 윤곽을 그리기 위한 세분화가 수행된다. 조직 유형은 암종 유형에 따른 분류이다. 세분화의 경우 일반적으로 인접한 종양 픽셀, 즉 서로 접촉하거나 서로 근접한 픽셀이 공통 종양에 속하는 경우이다. 그러나 더 복잡한 세분화 기준은 일반적으로 신뢰도를 향상시키기 위해, 예를 들어 두 개의 상이한 암세포 분류와 관련된 상이한 픽셀 분류의 2개의 접촉하는 종양을 식별하기 위해 포함된다. CNN은 각 픽셀에 확률을 할당하는데, 이는 CNN이 검출하도록 학습된 N개의 클래스 각각에 속하는 픽셀의 확률을 나타내는 확률 벡터이다. 예를 들어, 침습성, 인 시츄 및 비종양 영역을 구분하도록 학습된 CNN의 경우 각 픽셀에 길이 3의 벡터가 할당된다. 위치 k의 픽셀은 픽셀이 침습 영역에 있을 확률이 10%, 인 시츄 영역에 있을 확률이 20%, 비종양 영역에 있을 확률이 70%임을 나타내는 확률 벡터 [0.1, 0.2, 0.7]를 가질 수 있다.
단계 S74에서, 단계 S73에서 종양 발견 CNN에 의해 생성된 데이터, 즉 종양 특정 데이터는 각 종양에 대한 요약 통계 세트를 계산하는 데 사용된다. 예를 들어, 각 종양에 대해 점수는 해당 종양 (영역)에 포함된 모든 픽셀에 대한 위에서 언급한 확률값의 수학적 평균으로 계산될 수 있다. 중앙값, 가중 평균 등과 같은 다른 요약 통계도 점수를 계산하는 데 사용할 수 있다. 예를 들어, 종양의 픽셀 수 또는 종양 영역의 모양에 의해 측정된 종양 영역 또는 침습성 종양 및 인 시츄 종양과 같은 특정 픽셀 분류의 유병률에 의해 측정되는 종양 영역과 같은 종양의 치수 또는 형태학적 속성과 같은 다른 측정이 사용될 수 있다. 일반적으로 각 종양에 대해 종양 확률, 종양 면적 및 종양의 최대 치수 길이의 평균 및 표준 편차가 포함된다. 종양 영역은 반드시 단일 슬라이드에서 가져온 것은 아니다. 이들은 별도의 슬라이드에 속할 수 있다. 예를 들어, 두 슬라이드의 조직 샘플은 서로 다른 염색으로 염색되어 서로 다른 부류의 종양 세포를 강조하여 일부 종양은 첫 번째 슬라이드에서 식별되고 다른 종양은 두 번째 슬라이드에서 식별된다. 선택적으로 더 정교한 점수를 계산할 수 있다. 예를 들어, 조직학적 이미지 데이터 (예를 들어, 이미지 데이터에서 식별된 종양)와 환자별 유전 (예를 들어, 게놈) 데이터의 조합에 대해 학습된 CNN을 사용하여 환자 위험을 예측할 수 있다. 이러한 종류의 CNN은 Mobadersany et al 2018에 설명되어 있다. 다른 구현에서, 점수는 CNN에 의해 식별된 종양에 적용되는 (예를 들어, 세분화와 관련하여 위에 나열된 바와 같이) 전통적인 이미지 처리 기술을 사용하여 계산될 수 있다. 예를 들어, 모양 및 질감 측정값을 유전 데이터와 결합하여 요약 통계에 포함할 일련의 통계 측정값을 만들 수 있다. 서포트 벡터 머신 또는 랜덤 포레스트 알고리즘은 이러한 특징들을 사용하여 전이 위험을 예측할 수 있다. 우리는 전이의 위험이 종양의 세포가 신체의 다른 부분으로 전이될 확률로 정의한다. 어느 쪽이든 전이 위험 점수가 계산되고 각 종양 영역과 연관된다.
단계 S75는 단계 S74에서 계산 및 컴파일된 요약 통계에 기초하여 종양의 필터링을 수행한다. 필터는 요약 통계의 매개 변수 중 하나의 값이나, 요약 통계에 존재하는 매개 변수 중 여러 개를 포함하는 논리 조합 및/또는 공식에서 파생된 복합 값을 임계값과 비교한 후 비교 결과에 기초하여 종양 개체를 제거 또는 유지하는 종양 리스트를 통한 간단한 패스에 의해 작동할 수 있다. 예를 들어, 병리학자에 의해 구성되거나 사전 설정될 수 있는 필터는 임계 값(예를 들어, 100 마이크로미터)을 초과하는 최대 치수를 가지며 임계값(예를 들어, 50%)보다 높은 평균 확률을 가진 종양만 통과하도록 선택할 수 있다. 또 다른 예시적인 필터는 침습성으로 분류된 종양만 통과시키고 침습성 종양 중에서는 평균 확률이 임계값(예를 들어, 80%)을 초과하는 종양만 통과시킬 수 있다.
단계 S76은 단계 S75에서 필터를 통 한 종양 세트를 취하여 순서대로 순위를 매긴다. 그런 다음 요약 통계를 기반으로 하고 일련의 기준을 적용하여 종양의 순위를 지정할 수 있다. 표준 순위 접근 방식의 사전 설정이 사용자에게 제공되어 사용자가 사전 설정 중 하나를 선택할 수 있다. 더욱이, 사용자는 어떤 기준이 적용될지를 정의하기 위한 사용자 인터페이스를 제공받을 수 있다. 예를 들어, 길이 차원 또는 면적 또는 정수 개수(예를 들어, 셀 개수)에 기반한 스칼라 값 기준의 경우, 사용자는 이러한 기준에 대한 임계 값 또는 값 범위를 설정할 수 있다. 순위 순서는 예를 들어, 5년 생존 확률과 같이 환자 생존에 대한 중요성을 나타내는 복합 점수를 기반으로 하거나, 예를 들어 면적 또는 최대 치수와 같은 종양의 크기 매개 변수 또는 진원도(roundness)와 같은 형태학적 매개 변수에 기반한 단순한 단일 매개변수 순위일 수 있다.
단계 S77은 슬라이드 이미지의 시각화를 생성하고 이를 디스플레이 장치의 GUI 윈도우에서 사용자에게 표시한다. 시각화는 필터링과 순위도 고려한다. 특히, WSI에서 가장 중요한 종양으로 간주되는 것은 전체 디스플레이의 일부로 모든 경우에 사용 가능하거나 사용자의 GUI 명령에 선택적으로 응답하는 요약 통계와 함께 임상적으로 관련된 방식으로 표시되며, 예를 들어 WSI에서 관심있는 종양을 커서로 '클릭'하여 해당 종양에 대한 통계를 표 또는 기타 적절한 형태로 보여주는 팝업 윈도우를 생성한다. 이러한 접근 방식은 잠재적으로 중요한 종양을 강조 표시하고 사용자에게 잠재적으로 중요한 종양 간의 순위 정보와 이러한 종양의 통계 요약을 제공하는 방식으로 사용자에게 제공할 수 있다. 통계 요약은 특히 필터링 필터링 및/또는 순위 기준으로 사용되는 개별 매개변수 값 뿐만 아니라 복수의 필터링 및/또는 순위 기준의 공식 및/또는 부울(Boolean) 논리 조합에서 계산되는 순위 번호 또는 유의성 점수와 같은 복합 매개변수를 표시할 수 있다.
일반적으로, 디스플레이되는 이미지는 결합된 오버레이 뷰 또는 다중 타일 뷰의 형태일 것이다. 오버레이 뷰에서 로우 데이터(처리 가능)가 분할 데이터와 함께 상단에 표시되며, 분할 데이터는 시각화를 위해 각 종양의 음영 및/또는 윤곽선으로 변환된다. 음영 또는 윤곽선은 예를 들어 종양 분류에 의해 색으로 구분될 수 있다. 조직의 비-종양 영역은 전혀 표시되지 않거나 높은 투명도의 색상 세척(예를 들어, 파란색 세척)으로 음영 처리될 수 있다. 다중 타일 뷰에서는, 오버레이 뷰의 다른 레이어가 타일로 나란히 표시되므로 로우 이미지 데이터(처리 가능)와 필터링 된 종양 영역의 세분화 데이터를 보여주는 타일이 존재할 것이다. 원하는 경우 각 종양 분류 유형에 대해 별도의 세분화 데이터 타일이 표시될 수 있다. 디스플레이에서 종양 영역의 표시는 단계 S75에서 수행된 필터링 및 바람직하게는 단계 S76에서 수행된 순위를 고려한다. 종양 점수, 분류된 종양 유형 및 종양 영역과 관련된 요약 통계의 기타 매개변수와 같은 요인을 단독으로 사용하거나 조합하여 디스플레이를 구성할 수 있다.
검출, 필러팅 및 순위가 매겨진 종양을 사용자에게 표시하기 위한 몇 가지 옵션이 있다.
WSI 뷰에서, 종양 정보를 디스플레이하는 한 가지 방법은 썸네일(thumbnail) 이미지 및/또는 텍스트 정보를 포함할 수 있는 일련의 마커를 WSI의 저해상도 이미지 위에 오버레이하는 것이다. 마커는 순위별로 정렬하거나 명시적으로 표시할 수 있다. 병리학자에게는 마커를 선택하여 종양을 선택하는 데 적합한 GUI 도구가 제공되며, 선택적으로 순위가 높은 종양에서 순위가 낮은 종양까지 및 다른 방식으로 종양을 탐색하는 데 사용할 수도 있다. 적합한 GUI 도구는 키보드 단축키; 키보드 위/아래 또는 왼쪽/오른쪽, 화살표 키, 키보드 페이지 위/페이지 아래 키, 마우스 탐색 (예를 들어, 스크롤 휠을 사용하여 위아래로 스크롤) 또는 기타 입력 장치 (음성 탐색, 터치 센서의 멀티 터치 제스처 등)를 포함한다. GUI에서 순위 마커를 선택하면 해당 종양의 요약 통계 또는 그 하위 집합이 표시 및/또는 저분해능 이미지에서 종양의 디스플레이에 링크된 팝업 또는 별도의 고해상도 뷰잉 창에서 종양의 고해상도 뷰가 표시될 수 있다. 사용자는 키보드 명령, 마우스 명령(예를 들어, 더블 클릭) 또는 기타 적절한 입력과 같은 적절한 GUI 명령에 의해 종양의 고해상도, 예를 들어 전체 네이티브 해상도 이미지를 표시 할 수 있다. 저해상도 WSI 뷰로 다시 이동하기 위해 해당 GUI 명령이 제공된다. 시각화 애플리케이션은 바람직하게는 사용자가 저해상도 및 고해상도 뷰 모두에서 순위를 매김으로써 종양을 위아래로 이동할 수 있는 GUI 제어를 제공한다.
하나의 예시적인 WSI 뷰는 단계 S76의 필터를 통과한 모든 종양이 순위 마커 라벨 1, 2, 3 등과 함께 표시(즉, 세분화 데이터가 표시)된다. 순위 마커 라벨 (또는 종양) 을 클릭하면 선택된 요약 통계 세트, 특히 필터에 의해 사용되는 통계 및/또는 WSI 뷰보다 높은 해상도에서 종양의 썸네일 뷰를 나열하는 팝업을 생성할 수 있다. 대안적으로, 뷰는 오버레이 이미지 또는 이미지 타일이 화면의 한 부분에 표시되고 필터링된 종양의 표가 화면의 다른 부분에 표시되는 분할-화면 뷰일 수 있다. 테이블은 처음에 순위별로 정렬되어 표시될 수 있지만, GUI에는 다른 열 또는 여러 열의 조합으로 사용자가 재정렬할 수 있는 기능이 있을 수 있다. 다른 열은 요약 통계 또는 종양 영역, 종양 분류, 전이 확률 등과 같은 필터 기준과 같은 어떠한 기준이 될 수 있다. 예를 들어, 정렬은 종양 분류 다음에 종양 영역을 기준으로 할 수 있다. 다중 슬라이드 이미지 파일의 경우 정렬은 슬라이드 번호와 몇몇 다른 매개 변수 순일 수 있다.
일반적으로 다중 해상도 뷰는 WSI를 재생하는 더 낮은 해상도(예를 들어, 10 배 확대)의 하나의 뷰잉 창과 더 높은 해상도(예를 들어, 60× 확대, 즉 10× 보기에 비해 6× 또는 600% 줌)의 다른 뷰잉 창을 포함한다. 예를 들어, 제시된 초기 뷰는 WSI 저해상도 이미지 창과 최상위 순위인 종양 영역을 중심으로 하는 고해상도 이미지 창일 수 있다. 계단식 아래쪽 화살표 (또는 한 쌍의 아래쪽 및 위쪽 화살표) 또는 물리적 또는 가상 스크롤 휠과 같은 다른 적절한 GUI 버튼 또는 버튼 조합을 사용하면 사용자가 하나씩 순위를 매김으로써 필터링된 종양 영역을 단계별로 이동할 수 있다. GUI는 사용자 입력을 통해 고해상도 이미지 창에서 사용자가 해상도를 조정할 수 있도록 할 수 있다. GUI는 또한 고해상도 이미지 창에 대한 초기 해상도를 선택하여 종양이 고해상도 뷰잉 창을 실질적으로 채우도록 크기를 조정할 수 있다.
따라서 시각화 애플리케이션은 사용자에게 표시되는 항목, 세분화 데이터 및 요약 통계로 강조 표시되는 종양, 선택적 뷰의 경우 시간 순서, 즉 사용자에게 표시되는 종양의 순서를 결정할 수 있다.
슬라이드 세트에 특히 적합한 종양 영역을 표시하는 또 다른 방법은 종양의 저해상도 이미지와 요약 통계가 정렬된 타일로 표시되는 몽타주를 만드는 것이다. 정렬은 1차원(ID) 목록 또는 2차원(2D) 그리드를 표시하는 방법일 수 있다. 가상 현실 고글을 사용하여 종양을 3차원으로 배열하는 것도 가능하다. 사용자는 키 입력, 마우스 스크롤 또는 기타 입력 방식 (음성, 터치 등)을 사용하여 ID 목록 또는 2D 타일 어레이를 탐색할 수 있다. 타일이 선택되면 병리학자는 해당 슬라이드에서 종양의 고해상도 버전으로 빠르게 이동하여 요약 통계 및 세분화 데이터에 제시된 CNN 분석 결과와 비교하여 선택적으로 종양을 보다 심층적으로 검증할 수 있으며, 선택적으로 진단에 도움이 될 수 있는 하나 이상의 추가 분석 알고리즘을 종양에 적용하여 종양에 대한 추가 처리를 수행할 수 있다.
단계 S78에서, 병리학자는 필터링되고 등급화된 종양을 본 후 추가 연구를 위해 이들 종양 중 임의의 하나 (또는 등급화된 종양의 하위 세트, 또는 실제로 필터링된 종양의 전체 세트)를 선택할 수 있는 추가 옵션을 갖게 된다.
단계 S79에서, 이러한 추가 연구가 수행된다. 추가 연구는 진단을 돕기 위해 선택된 종양에 대한 추가 정보를 제공하기 위해 하나 이상의 추가 알고리즘을 적용하는 것을 의미한다. 이것은 잠정적 진단을 확인하거나 병리학자가 시작점으로 고려할 초기 진단을 내리는 데 도움이 될 수 있다.
예를 들어, 유방암의 경우 단계 S78에서 병리학자는 침윤성 유방암 종을 포함하는 종양을 선택한 다음 단계 S79에서 종양의 유사 분열수를 계산하는 알고리즘을 적용할 수 있다. 즉, 시각화 응용 프로그램에는 이러한 알고리즘이 포함되어 있다. IHC 염색 슬라이드의 이미지 데이터와 관련된 또 다른 유방암 예는 선택된 종양에서 ER, PR 또는 HER2와 같은 하나 이상의 진단 관련 유전자의 발현에 대한 점수를 계산하는 알고리즘을 적용하는 것이다.
요약하면, 시각화는 잠재적으로 심각한 종양이 있을 수 있는 이미지 영역을 사용자가 검사하는 것을 유도하도록 구성된다. 특히, 기존의 시각화 애플리케이션과 비교할 때 사용자는 잠재적인 종양 영역이 발생할 때마다 저해상도에서 전체 슬라이드 영역에 대해 수동 시각적 스캔을 수행하고 고해상도 뷰를 확대했다 다시 축소할 필요가 없다. 상술한 바와 같이 CNN 지원 필터링 및 순위를 기반으로 병리학자에게 제시된 시각화의 자동화된 전처리는 병리학자가 슬라이드를 검토하고 적절한 진단을 내리는 데 필요한 시간을 줄여줄 뿐만 아니라 중요한 종양이 인간의 실수로 종양이 누락될 가능성을 줄인다.
실시예
일 실시예에서, 조직학적 이미지에서 종양을 식별하기 위한 시스템은 조직학적 이미지에서 종양을 식별하는 방법을 수행하도록 구성된다. 이 방법은 픽셀의 2차원 어레이를 포함하는 조직학적 이미지를 수신하고 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하기 위해 컨볼루션 신경망을 적용하고 출력 이미지의 픽셀을 조직학적 이미지의 픽셀에 매핑하는 단계를 포함한다. 출력 이미지는 복수의 조직 클래스 중 하나를 각 픽셀에 할당함으로써 생성되며, 여기서 복수의 조직 클래스는 비-종양 조직을 나타내는 적어도 하나의 클래스 및 종양 조직을 나타내는 적어도 하나의 클래스를 포함한다.
다음으로, 시스템은 출력 이미지로부터 세분화 마스크를 생성한다. 세분화 마스크는 개별 종양이 차지하는 영역을 식별한다. 시스템은 또한 각 종양에 대한 요약 통계를 계산하고 시스템은 각 종양에 대한 요약 통계에 따라 개별 종양을 선택 및 선택 취소하기 위해 세분화 마스크를 필터링하도록 구성된다. 시스템은 또한 편집된 세분화 마스크에 따라 조직학적 이미지의 시각화를 생성하고 필터링된 세분화 마스크에서 개별 종양의 선택을 수신한 다음 현재 선택된 종양에 대한 추가 계산 진단 프로세스의 실행을 조정하도록 구성된다.
일 실시예에서, 추가 계산 진단 프로세스는 처리 작업을 추가 계산 진단 프로세스로 전송하고 추가 계산 진단으로부터 처리 작업의 결과를 수신하는 단계를 포함한다. 추가 계산 진단 프로세스는 국부적로 실행되거나 데이터 통신 네트워크를 통해 통신적으로 연결된 원격 프로세서 지원 장치에서 실행될 수 있다. 처리 작업의 일부는 조직학적 이미지를 포함할 수 있다. 처리 작업은 또한 조직학적 이미지와 관련된 메타데이터를 포함할 수 있으며, 일부 상황에서 조직학적 이미지와 관련된 메타데이터는 세분화 마스크를 포함할 수 있다. 추가로, 조직학적 이미지와 관련된 메타데이터는 환자 정보, 염색 정보, 염색 프로토콜 정보 및 스캐닝 프로토콜 정보 중 하나 이상을 포함할 수 있다.
CNN 컴퓨팅 플랫폼
제안된 이미지 처리는 다양한 컴퓨팅 아키텍처, 특히 CPU, GPU, TPU, FPGA 및/또는 ASIC에 기반할 수 있는 신경망에 최적화된 아키텍처에서 수행될 수 있다. 일부 실시예에서, 신경망은 Tesla K80 GPU와 같은 캘리포니아 산타 클라라에 있는 Nvidia Corporation의 Nvidia GPU에서 실행되는 Google의 Tensorflow 소프트웨어 라이브러리를 사용하여 구현된다. 다른 실시예에서, 신경망은 일반 CPU에서 실행될 수 있다. 더 빠른 처리는 CNN 계산을 수행하기 위한 목적으로 설계된 프로세서, 예를 들어 전체 내용이 여기에 참조로 통합된 Jouppi et al 2017에 개시된 TPU에 의해 얻어질 수 있다.
도 8은 Jouppi et al 2017의 TPU를 보여주며 Jouppi의 도 1을 단순화한 것이다. TPU(100)는 부호있는 정수 또는 부호없는 정수에 대해 8 비트 곱셈 및 더하기를 수행 할 수있는 256×256 MAC을 포함하는 수축기 행렬 곱셈 유닛(MMU; matrix multiplication unit)(102)을 갖는다. MMU에 대한 가중치는 적절한 메모리 인터페이스(108)를 통해 오프 칩 8GB DRAM의 형태로 메모리(106)로부터 가중치를 판독하는 가중치 FIFO 버퍼(104)를 통해 공급된다. 중간 결과를 저장하기 위해 통합 버퍼(UB)(110)가 제공된다. MMU(102)는 가중치 FIFO 인터페이스(104) 및 UB(110) (수축 데이터 설정 유닛(112)를 통해)로부터 입력을 수신하도록 연결되고 MMU 처리의 16 비트 제품을 누산기 유닛(114)에 출력한다. 활성화 유닛(116)은 누산기(accumulator) 유닛(114)에 보유된 데이터에 대해 비선형 기능을 수행한다. 정규화 유닛(118) 및 풀링 유닛(120)에 의한 추가 처리 후에, 중간 결과는 데이터 설정 유닛(112)을 통해 MMU(102)에 재공급하기 위해 UB(110)로 전송된다. 풀링 유닛(120)은 원하는 대로 최대 풀링(즉, 맥스풀링) 또는 평균 풀링을 수행할 수 있다. 프로그램 가능한 DMA 컨트롤러(122)는 TPU의 호스트 컴퓨터 및 UB(110)로 또는 그로부터 데이터를 전송한다. TPU 명령어는 호스트 인터페이스(124) 및 명령어 버퍼(126)를 통해 호스트 컴퓨터로부터 컨트롤러(122)로 전송된다.
CPU, GPU 또는 TPU 기반이든 아니든 신경망을 실행하는 데 사용되는 컴퓨팅 파워는 예를 들어 후술하는 임상 네트워크에서 국부적로 호스팅되거나 데이터 센터에서 원격으로 호스팅될 수 있음을 이해할 수 있을 것이다.
네트워크, 컴퓨팅 및 스캐닝 환경
제안된 컴퓨터 자동화 방법은 일반적으로 병원 정보 시스템(HIS) 또는 사진 보관 및 통신 시스템(PACS)과 같은 대규모 임상 네트워크 환경의 일부인 실험실 정보 시스템(LIS)의 맥락에서 작동한다. LIS에서, WSI는 일반적으로 개별 환자의 전자 의료 기록을 포함하는 환자 정보 데이터베이스인 데이터베이스에 보관될 것이다. WSI는 WSI를 획득하는 현미경에 바코드 판독기가 장착되어 있기 때문에 WSI에 적합한 메타데이터로 태그를 지정하는 인쇄된 바코드 레이블이 있는 슬라이드에 장착된 염색된 조직 샘플에서 가져올 것이다. 하드웨어 관점에서 LIS는 원하는대로 유선 및 무선 연결을 사용하는 LAN(Local Area Network)과 같은 일반적인 컴퓨터 네트워크가 될 것이다.
도 9는 본 발명의 실시예들과 함께 사용될 수 있는 예시적인 컴퓨터 네트워크를 도시한다. 네트워크(150)는 병원(152)의 LAN을 포함한다. 병원(152)은 각각이 근거리 통신망을 통해 연관된 저장 장치(158)를 갖는 병원 컴퓨터 서버(156)에 액세스하는 다수의 워크 스테이션(154)을 갖추고 있다. LIS, HIS 또는 PACS 아카이브는 저장 장치(158)에 저장되어 아카이브 내의 데이터가 임의의 워크 스테이션(154)으로부터 액세스될 수 있다. 하나 이상의 워크 스테이션(154)은 전술한 바와 같이 이미지를 생성하는 방법의 컴퓨터 구현을 위해 그래픽 카드 및 소프트웨어에 액세스할 수 있다. 소프트웨어는 각 워크 스테이션(154)에 국부적로 저장될 수 있거나 원격으로 저장될 수 있고 필요할 때 네트워크(150)를 통해 워크 스테이션 (154)으로 다운로드될 수 있다. 다른 예에서, 본 발명을 구현하는 방법은 터미널로서 동작하는 워크 스테이션(154)과 함께 컴퓨터 서버에서 실행될 수 있다. 예를 들어, 워크 스테이션은 원하는 조직학적 이미지 데이터 세트를 정의하는 사용자 입력을 수신하고 CNN 분석이 시스템의 다른 곳에서 수행되는 동안 결과 이미지를 표시하도록 구성될 수 있다. 또한, 다수의 조직학적 및 다른 의료 영상 장치(160, 162, 164, 166)가 병원 컴퓨터 서버(156)에 연결된다. 장치(160, 162, 164, 166)로 수집된 이미지 데이터는 저장 장치(156) 상의 LIS, HIS 또는 PACS 아카이브에 직접 저장될 수있다. 따라서, 조직학적 이미지는 해당 조직학적 이미지 데이터가 기록된 직후에 보여지고 처리될 수 있다. 근거리 통신망은 병원 인터넷 서버(170)에 의해 인터넷(168)에 연결되며, 이는 LIS, HIS 또는 PACS 아카이브에 대한 원격 액세스를 허용한다. 이는 예를 들어 환자가 이동하거나 외부 연구를 수행할 수 있도록 하는 경우, 원격 데이터 액세스 및 병원 간 데이터 전송에 사용된다.
도 10은 본 명세서에 설명된 다양한 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치(500)를 예시하는 블록도이다. 예를 들어, 컴퓨팅 장치(500)는 전술한 LIS 또는 PACS 시스템, 예를 들어 적절한 GPU와 함께 CNN 처리가 수행되는 호스트 컴퓨터 또는 도 8에 도시된 TPU에서 컴퓨팅 노드로 사용될 수 있다.
컴퓨팅 장치(500)는 서버 또는 임의의 종래의 개인용 컴퓨터, 또는 유선 또는 무선 데이터 통신이 가능한 임의의 다른 프로세서 가능한 장치일 수 있다. 당업자에게 명백한 바와 같이, 유선 또는 무선 데이터 통신을 할 수 없는 장치를 포함하는 다른 컴퓨팅 장치, 시스템 및/또는 아키텍처가 또한 사용될 수 있다.
컴퓨팅 장치(500)는 바람직하게는 프로세서(510)와 같은 하나 이상의 프로세서를 포함한다. 프로세서(510)는 예를 들어 CPU, GPU, TPU 또는 CPU와 TPU 조합 또는 CPU와 GPU 조합과 같은 어레이 또는 이들의 조합일 수 있다. 입력/출력을 관리하기 위한 보조 프로세서, 부동 소수점 수학적 연산을 수행하는 보조 프로세서(예를 들어, TPU), 신호 처리 알고리즘의 빠른 실행에 적합한 아키텍처를 가진 특수 목적의 마이크로 프로세서(예를 들어, 디지털 신호 프로세서, 이미지 프로세서), 주 처리 시스템에 종속된 슬레이브 프로세서(예를 들어, 백엔드 프로세서), 이중 또는 다중 프로세서 시스템을 위한 추가 마이크로프로세서 또는 컨트롤러 또는 코프로세서(coprocessor)와 같은 추가 프로세서가 제공될 수 있다. 이러한 보조 프로세서는 개별 프로세서이거나 프로세서(510)와 통합될 수 있다. 컴퓨팅 장치(500)와 함께 사용될 수 있는 CPU의 예로는 펜티엄 프로세서, 코어 i7 프로세서 및 제온 프로세서가 있으며, 이들 모두는 캘리포니아 산타클라라에있는 인텔사에서 입수할 수 있다. 컴퓨팅 장치(500)와 함께 사용될 수 있는 예시적인 GPU는 캘리포니아 산타클라라에있는 Nvidia Corporation의 Tesla K80 GPU이다.　프로세서(510)는 통신 버스(505)에 연결된다. 통신 버스(505)는 저장 장치와 컴퓨팅 장치(500)의 다른 주변 구성 요소 사이의 정보 전송을 용이하게하기 위한 데이터 채널을 포함할 수 있다. 통신 버스(505)는 데이터 버스, 주소 버스 및 제어 버스(미도시)를 포함하여 프로세서(510)와의 통신에 사용되는 신호 세트를 더 제공할 수 있다. 통신 버스(505)는 예를 들어 산업 표준 아키텍처(ISA), 확장 산업 표준 아키텍처(EISA), 마이크로 채널 아키텍처(MCA), 주변 부품 상호 연결(PCI) 국부적 버스와 호환되는 버스 아키텍처와 같은 임의의 표준 또는 비표준 버스 아키텍처 또는 IEEE 488 범용 인터페이스 버스(GPIB), IEEE 696/S-100 등을 포함하여 IEEE (Institute of Electrical and Electronics Engineers)에서 발표한 표준을 포함할 수 있다.
컴퓨팅 장치(500)는 바람직하게는 메인 메모리(515)를 포함하고 또한 보조 메모리(520)를 포함할 수있다. 메인 메모리(515)는 위에서 논의된 기능 및/또는 모듈 중 하나 이상과 같은 프로세서(510)에서 실행되는 프로그램에 대한 명령 및 데이터의 저장을 제공한다. 메모리에 저장되고 프로세서(510)에 의해 실행되는 컴퓨터 판독 가능 프로그램 명령어는 어셈블러 명령어, ISA(명령어 세트 아키텍처) 명령어, 머신 명령어, 머신 의존 명령어, 마이크로코드, 펌웨어 명령어, 상태 설정 데이터, 집적 회로에 대한 구성 데이터, 또는 Smalltalk, C/C++, Java, JavaScript, Perl, Visual Basic, NET 및 기타 프로그래밍 언어의 조합으로 작성 및/또는 컴파일된 소스 코드 또는 개체 코드일 수 있다. 주 메모리(515)는 일반적으로 동적 랜덤 액세스 메모리(DRAM) 및/또는 정적 랜덤 액세스 메모리(SRAM)와 같은 반도체 기반 메모리이다. 다른 반도체 기반 메모리 유형에는 예를 들어 동기식 동적 랜덤 액세스 메모리(SDRAM), Rambus 동적 랜덤 액세스 메모리(RDRAM), 강유전성 랜덤 액세스 메모리(FRAM) 등이 포함되며, 읽기 전용 메모리(ROM)도 포함된다.
컴퓨터 판독 가능 프로그램 명령은 전체적으로 사용자의 컴퓨터에서, 부분적으로는 사용자의 컴퓨터에서, 독립형 소프트웨어 패키지로서, 부분적으로는 사용자의 컴퓨터에서, 부분적으로는 원격 컴퓨터에서 또는 전체적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 후자의 시나리오에서 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 모든 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 (예를 들어, ISP(Internet Service Provider)를 사용하는 인터넷을 통해) 연결할 수 있다.　
보조 메모리(520)는 선택적으로 내부 메모리(525) 및/또는 제거 가능한 매체(530)를 포함할 수 있다. 이동식 매체(530)는 임의의 공지된 방식으로 판독 및/또는 기록된다. 이동식 저장 매체(530)는 예를 들어 자기 테이프 드라이브, CD(콤팩트 디스크) 드라이브, DVD(Digital Versatile Disc) 드라이브, 기타 광학 드라이브, 플래시 메모리 드라이브 등일 수 있다.
이동식 저장 매체(530)는 컴퓨터 실행 가능 코드 (즉, 소프트웨어) 및/또는 데이터가 저장된 비-일시적 컴퓨터 판독 가능 매체이다. 이동식 저장 매체(530)에 저장된 컴퓨터 소프트웨어 또는 데이터는 프로세서(510)에 의한 실행을 위해 컴퓨팅 장치(500)로 판독된다.
보조 메모리(520)는 컴퓨터 프로그램 또는 다른 데이터 또는 명령어가 컴퓨팅 장치(500)에 로드되도록 하기 위한 다른 유사한 요소를 포함할 수 있다. 이러한 수단은 예를 들어, 외부 저장 매체(545) 및 통신 인터페이스(540)를 포함할 수 있으며, 이는 소프트웨어 및 데이터가 외부 저장 매체(545)로부터 컴퓨팅 장치(500)로 전송될 수 있게 한다. 외부 저장 매체(545)의 예는 외부 하드 디스크 드라이브, 외부 광 드라이브, 외부 광 자기 드라이브 등을 포함할 수 있다. 보조 메모리(520)의 다른 예는 프로그래밍 가능 읽기 전용 메모리(PROM), 지울 수 있는 프로그래밍 가능 읽기 전용 메모리(EPROM), 전기적으로 지울 수 있는 읽기 전용 메모리 (EEPROM), 또는 플래시 메모리(EEPROM과 유사한 블록 지향 메모리)와 같은 반도체 기반 메모리를 포함할 수 있다.
상술한 바와 같이, 컴퓨팅 장치(500)는 통신 인터페이스(540)를 포함할 수 있다. 통신 인터페이스(540)는 소프트웨어 및 데이터가 컴퓨팅 장치(500)와 외부 장치(예를 들어, 프린터), 네트워크, 또는 다른 정보 소스 사이에서 전송되도록 한다. 예를 들어, 컴퓨터 소프트웨어 또는 실행 가능한 코드는 통신 인터페이스(540)를 통해 네트워크 서버로부터 컴퓨팅 장치(500)로 전송될 수 있다. 통신 인터페이스(540)의 예는 내장 네트워크 어댑터, 네트워크 인터페이스 카드(NIC), PCMCIA(Personal Computer Memory Card International Association) 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB(Universal Serial Bus) 네트워크 어댑터, 모뎀, 네트워크 인터페이스 카드(NIC), 무선 데이터 카드, 통신 포트, 적외선 인터페이스, IEEE 1394 파이어 와이어, 또는 네트워크 또는 다른 컴퓨팅 장치와 시스템(550)을 인터페이스할 수 있는 임의의 다른 장치를 포함한다. 통신 인터페이스(540)는 바람직하게 이더넷 IEEE 802 표준, 파이버 채널, 디지털 가입자 회선(DSL), 비동기 디지털 가입자 회선(ADSL), 프레임 릴레이, 비동기 전송 모드(ATM), 통합 디지털 서비스 네트워크(ISDN), 개인 통신 서비스(PCS), 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP), 직렬 회선 인터넷 프로토콜/포인트 간 프로토콜(SLIP/PPP) 등과 같은 업계에서 발표한 프로토콜 표준으로 구현하지만, 또한 사용자 지정 또는 비표준 인터페이스 프로토콜으로 구현될 수도 있다.
통신 인터페이스(540)를 통해 전송되는 소프트웨어 및 데이터는 일반적으로 전기 통신 신호(555)의 형태이다. 이들 신호(555)는 통신 채널(550)을 통해 통신 인터페이스(540)에 제공될 수 있다. 일 실시예에서, 통신 채널(550)은 유선 또는 무선 네트워크, 또는 임의의 다양한 다른 통신 링크일 수 있다. 통신 채널(550)은 신호(555)를 전달하고 유선 또는 케이블, 광섬유, 기존의 전화선, 휴대폰 링크, 무선 데이터 통신 링크, 무선 주파수("RF") 링크, 또는 적외선 링크 등을 포함하는 다양한 유선 또는 무선 통신 수단을 사용하여 구현될 수 있다.
컴퓨터 실행 가능 코드(즉, 컴퓨터 프로그램 또는 소프트웨어)는 주 메모리 (515) 및/또는 보조 메모리(520)에 저장된다. 컴퓨터 프로그램은 또한 통신 인터페이스(540)를 통해 수신될 수 있고 주 메모리(515) 및/또는 보조 메모리(520)에 저장될 수 있다. 이러한 컴퓨터 프로그램은 실행될 때 컴퓨팅 장치(500)가 본 명세서의 다른 곳에서 설명된 바와 같이 개시된 실시예의 다양한 기능을 수행할 수 있게 한다.
이 문서에서, "컴퓨터 판독 가능 매체"라는 용어는 컴퓨터 실행 가능 코드(예를 들어, 소프트웨어 및 컴퓨터 프로그램)를 컴퓨팅 장치(500)에 제공하기 위해 사용되는 임의의 비-일시적 컴퓨터 판독 가능 저장 매체를 지칭하기 위해 사용된다. 이러한 매체의 예에는 주 메모리(515), (내부 메모리(525), 이동식 매체(530) 및 외부 저장 매체(545) 포함하는) 보조 메모리(520) 및 (네트워크 정보 서버 또는 기타 네트워크 장치를 포함하는) 통신 인터페이스(540)와 통신 가능하게 결합된 임의의 주변 장치가 포함된다. 이러한 비-일시적 컴퓨터 판독 가능 매체는 실행 가능한 코드, 프로그래밍 명령 및 소프트웨어를 컴퓨팅 장치(500)에 제공하기 위한 수단이다. 소프트웨어를 사용하여 구현되는 실시예에서, 소프트웨어는 컴퓨터 판독 가능 매체에 저장되고 이동식 매체(530), I/O 인터페이스(535) 또는 통신 인터페이스(540)를 통해 컴퓨팅 장치(500)에 로드될 수 있다. 이러한 실시예에서, 소프트웨어는 전기 통신 신호(555)의 형태로 컴퓨팅 장치(500)에 로드된다. 소프트웨어는 프로세서(510)에 의해 실행될 때 바람직하게 프로세서(510)가 본 명세서의 다른 곳에서 설명된 특징 및 기능을 수행하게 한다.
I/O 인터페이스(535)는 컴퓨팅 장치(500)의 하나 이상의 구성 요소와 하나 이상의 입력 및/또는 출력 장치 사이의 인터페이스를 제공한다. 예시적인 입력 장치는 키보드, 터치 스크린 또는 기타 터치 감지 장치, 생체 인식 장치, 컴퓨터 마우스, 트랙볼, 펜 기반 포인팅 장치 등을 포함하지만 이에 제한되지는 않는다. 출력 장치의 예에는 음극선관(CRT), 플라즈마 디스플레이, 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프린터, 진공 형광 디스플레이(VFD), 표면 전도 전자 방출기 디스플레이(SED), 전계 방출 디스플레이(FED) 등이 포함되나 이에 제한되지 않다.
컴퓨팅 장치(500)는 또한 음성 네트워크 및/또는 데이터 네트워크를 통한 무선 통신을 용이하게 하는 선택적 무선 통신 구성 요소를 포함한다. 무선 통신 구성 요소는 안테나 시스템(570), 무선 시스템(565) 및 기저 대역 시스템(560)을 포함한다. 컴퓨팅 장치(500)에서, 무선 주파수(RF) 신호는 무선 시스템(565)의 관리 하에 안테나 시스템(570)에 의해 무선으로 송신 및 수신된다.
안테나 시스템(570)은 송신 및 수신 신호 경로를 안테나 시스템(570)에 제공하기 위해 스위칭 기능을 수행하는 하나 이상의 안테나 및 하나 이상의 멀티플렉서(미도시)를 포함할 수 있다. 수신 경로에서, 수신된 RF 신호는 멀티플렉서로부터 수신된 RF 신호를 증폭하고 증폭된 신호를 무선 시스템(565)으로 전송하는 저잡음 증폭기(미도시)로 결합될 수 있다.
무선 시스템(565)은 다양한 주파수를 통해 통신하도록 구성된 하나 이상의 무선 장치를 포함할 수 있다. 일 실시예에서, 무선 시스템(565)은 하나의 집적 회로(IC)에서 복조기(미도시) 및 변조기(미도시)를 결합할 수 있다. 복조기와 변조기는 별도의 구성 요소가 될 수도 있다. 수신 경로에서, 복조기는 무선 시스템(565)에서 기저 대역 시스템(560)으로 전송되는 기저 대역 수신 오디오 신호를 남기고 RF 캐리어 신호를 제거한다.
수신된 신호가 오디오 정보를 포함한다면, 기저 대역 시스템(560)은 신호를 디코딩하여 아날로그 신호로 변환한다. 그런 다음 신호가 증폭되어 스피커로 전송된다. 베이스 밴드 시스템(560)은 또한 마이크로폰으로부터 아날로그 오디오 신호를 수신한다. 이러한 아날로그 오디오 신호는 디지털 신호로 변환되고 기저 대역 시스템(560)에 의해 인코딩된다. 기저 대역 시스템(560)은 또한 전송을 위해 디지털 신호를 코딩하고 무선 시스템(565)의 변조기 부분으로 라우팅되는 기저 대역 전송 오디오 신호를 생성한다. 변조기는 안테나 시스템(570)으로 라우팅되고 전력 증폭기(미도시)를 통과할 수 있는 RF 전송 신호를 생성하는 RF 캐리어 신호와 기저 대역 전송 오디오 신호를 혼합한다. 전력 증폭기는 RF 전송 신호를 증폭하고 신호가 전송을 위해 안테나 포트로 전환되는 안테나 시스템(570)으로 라우팅한다.　기저 대역 시스템(560)은 또한 중앙 처리 장치(CPU)일 수 있는 프로세서(510)와 통신적으로 결합된다. 프로세서(510)는 데이터 저장 영역(515 또는 520)에 대한 액세스를 갖는다. 프로세서(510)는 바람직하게는 주 메모리(515) 또는 보조 메모리(520)에 저장될 수 있는 명령어(즉, 컴퓨터 프로그램 또는 소프트웨어)를 실행하도록 구성된다. 컴퓨터 프로그램은 또한 기저 대역 프로세서(560)로부터 수신되어 주 메모리(510) 또는 보조 메모리(520)에 저장되거나 수신시 실행될 수 있다. 그러한 컴퓨터 프로그램은 실행될 때 컴퓨팅 장치(500)가 개시된 실시예의 다양한 기능을 수행할 수 있게 한다. 예를 들어, 데이터 저장 영역(515 또는 520)은 다양한 소프트웨어 모듈을 포함할 수 있다.
컴퓨팅 장치는 위에서 언급한 I/O 인터페이스(535)에 연결된 임의의 디스플레이 대신에 제공되거나 추가될 수 있는 통신 버스(505)에 직접 부착된 디스플레이(575)를 더 포함한다.
다양한 실시예는 또한 예를 들어 주문형 집적 회로(ASIC), 프로그래밍 가능 논리 어레이(PLA), 또는 필드 프로그래밍 가능 게이트 어레이(FPGA)와 같은 구성 요소를 사용하여 주로 하드웨어로 구현될 수 있다. 본 명세서에 설명된 기능을 수행할 수 있는 하드웨어 상태 머신의 구현은 또한 관련 기술 분야의 숙련자에게 명백할 것이다. 다양한 실시예는 또한 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다.
더욱이, 당업자는 상기 설명된 도면 및 본 명세서에 개시된 실시예와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로 및 방법 단계가 종종 전자 하드웨어, 컴퓨터 소프트웨어 또는 둘의 조합으로 구현될 수 있음을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해 다양한 예시적인 구성 요소, 블록, 모듈, 회로 및 단계가 일반적으로 기능 측면에서 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따라 다르다. 숙련자는 각각의 특정 애플리케이션에 대해 다양한 방식으로 설명된 기능을 구현할 수 있지만, 그러한 구현 결정은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안된다. 또한 모듈, 블록, 회로 또는 단계 내의 기능 그룹은 설명을 쉽게하기 위한 것이다. 특정 기능 또는 단계는 본 발명에서 벗어나지 않고 하나의 모듈, 블록 또는 회로에서 다른 모듈, 블록 또는 회로로 이동할 수 있다.
더욱이, 본 명세서에 개시된 실시예와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 기능 및 방법은 범용 프로세서, 디지털 신호 프로세서(DSP), ASIC, FPGA, 또는 다른 프로그램 가능 논리 장치, 개별 게이트 또는 트랜지스터 논리, 개별 하드웨어 구성 요소, 또는 여기에 설명된 기능을 수행하도록 설계된 이들의 조합으로 구현 또는 실행될 수 있다. 범용 프로세서는 마이크로프로세서가 될 수 있지만 다른 예에서, 프로세서는 임의의 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태 머신이 될 수 있다. 프로세서는 또한 컴퓨팅 장치의 조합, 예를 들어 DSP와 마이크로 프로세서의 조합, 복수의 마이크로 프로세서, DSP 코어와 관련된 하나 이상의 마이크로 프로세서, 또는 임의의 다른 그러한 구성으로 구현될 수 있다.
추가로, 본 명세서에 개시된 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계는 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이 둘의 조합으로 직접 구현될 수있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM 또는 네트워크 저장 매체를 포함한 다른 형태의 저장 매체에 존재할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 프로세서에 결합될 수 있다. 다른 예로서, 저장 매체는 프로세서에 통합될 수 있다. 프로세서와 저장 매체도 ASIC에 존재할 수 있다.
본 명세서에서 언급되는 컴퓨터 판독 가능 저장 매체는 전파 또는 기타 자유롭게 전파하는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파하는 전자기파 (예를 들어, 광섬유 케이블을 통과하는 광 펄스) 또는 와이어를 통해 전송되는 전기 신호와 같은 일시적인 신호로 제한하여 해석되어서는 안된다.
여기에 설명된 모든 소프트웨어 구성 요소는 다양한 형태를 취할 수 있다. 예를 들어, 구성 요소는 독립 실행형 소프트웨어 패키지이거나 더 큰 소프트웨어 제품에서 "도구"로 통합된 소프트웨어 패키지일 수 있다. 그것은 예를 들어 웹사이트, 독립 실행형 제품 또는 기존 소프트웨어 애플리케이션에 설치하기 위한 추가 기능 패키지와 같은 네트워크에서 다운로드할 수 있다. 또한 클라이언트-서버 소프트웨어 애플리케이션, 웹 지원 소프트웨어 애플리케이션 및/또는 모바일 애플리케이션으로 사용할 수 있다.
본 발명의 실시예는 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 예시 및/또는 블록도를 참조하여 본 명세서에서 설명된다. 흐름도 예시 및/또는 블록 다이어그램의 각 블록, 및 흐름도 예시 및/또는 블록 다이어그램의 블록 조합은 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음을 이해할 수 있을 것이다.
컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행되는 명령과 같은 기계를 생성하고, 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에서 지정된 기능/동작을 구현하기 위한 수단을 생성할 수 있다.
컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 기타 프로그래밍 가능 데이터 처리 장치 또는 기타 장치에 로드되어 컴퓨터, 기타 프로그래밍 가능 장치 또는 기타 장치에서 수행되는 일련의 작업 단계를 수행할 수 있으며, 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 실행되는 명령은 순서도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/동작을 구현될 수 있다.
예시된 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록 다이어그램의 각 블록은 모듈, 세그먼트 또는 명령의 일부를 나타낼 수 있으며, 이는 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급 된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 두 블록은 실제로는 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 또한, 블록 다이어그램 및/또는 순서도의 각 블록, 그리고 블록 다이어그램 및/또는 순서도의 블록 조합은 지정된 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현되거나 특수 목적 하드웨어 및 컴퓨터 명령의 조합으로 수행될 수 있다.　본 발명을 구현하는 장치 및 방법은 클라우드 컴퓨팅 환경에서 호스팅되고 이에 의해 전달될 수 있다. 클라우드 컴퓨팅은 구성 가능한 컴퓨팅 리소스(예를 들어, 네트워크, 네트워크 대역폭, 서버, 프로세싱, 메모리, 스토리지, 애플리케이션, 가상 머신 및 서비스)의 공유 풀에 대한 편리한 주문형 네트워크 액세스를 가능하게 하는 서비스 제공 모델이며, 이는 최소한의 관리 노력이나 서비스 제공자와의 상호 작용으로 신속하게 프로비저닝(provisioned) 및 릴리스(released)될 수 있다. 이러한 클라우드 모델에는 최소 5개의 특성, 최소 3개의 서비스 모델 및 최소 4개의 배포 모델이 포함될 수 있다.
특성들은 다음과 같다.
온-디맨드 셀프-서비스(On-demand self-service): 클라우드 소비자는 서비스 제공자와 사람의 상호 작용 없이도 필요에 따라 서버 시간 및 네트워크 스토리지와 같은 컴퓨팅 기능을 일방적으로 프로비저닝할 수 있다.
광범위한 네트워크 액세스: 이 기능은 네트워크를 통해 제공되며 이기종(heterogeneous) 씬(thin) 또는 씩(thick) 클라이언트 플랫폼(예를 들어, 휴대폰, 노트북 및 PDA)의 사용을 촉진하는 표준 메커니즘을 통해 액세스된다.
리소스 풀링: 공급자의 컴퓨팅 리소스는 멀티-테넌트(multi-tenant) 모델을 사용하여 여러 소비자에게 서비스를 제공하기 위해 풀링되며, 다양한 물리적 및 가상 리소스가 수요에 따라 동적으로 할당되고 재할당된다. 소비자는 일반적으로 제공된 리소스의 정확한 위치에 대한 통제나 지식이 없지만 더 높은 수준의 관념(예를 들어, 국가, 주 또는 데이터 센터)에서 위치를 지정할 수 있다는 점에서 위치 독립성이 있다.
빠른 탄력성: 일부 경우에는 자동으로 신속하고 탄력적으로 기능을 프로비저닝하여 신속하게 확장(scale out)하고 빠르게 해제하여 빠르게 축소(scale in)할 수 있다. 소비자에게는 프로비저닝에 사용할 수 있는 기능이 무제한 인 것처럼 보이며 언제든지 수량에 관계없이 구입할 수 있다.
측정된 서비스: 클라우드 시스템은 서비스 유형(예를 들어, 저장, 처리, 대역폭 및 활성 사용자 계정)에 적합한 일부 관념 수준에서 측정 기능을 활용하여 리소스 사용을 자동으로 제어하고 최적화한다. 리소스 사용량을 모니터링, 제어 및 보고할 수 있으므로 활용되는 서비스의 공급자와 소비자 모두에게 투명성을 제공할 수 있다.
서비스 모델은 다음과 같다.
SaaS(Software as a Service): 소비자에게 제공되는 기능은 클라우드 인프라에서 실행되는 공급자의 애플리케이션을 사용하는 것이다. 애플리케이션은 웹 브라우져(예를 들어, 웹 기반 이메일)와 같은 씬 클라이언트 인터페이스를 통해 다양한 클라이언트 장치에서 액세스할 수 있다. 소비자는 제한된 사용자 별 애플리케이션 구성 설정을 제외하고 네트워크, 서버, 운영 체제, 스토리지 또는 개별 애플리케이션 기능을 포함한 기본 클라우드 인프라를 관리하거나 제어하지 않는다.
PaaS(Platform as a Service): 소비자에게 제공되는 기능은 공급자가 지원하는 프로그래밍 언어 및 도구를 사용하여 생성 된 소비자가 생성하거나 획득한 애플리케이션을 클라우드 인프라에 배포하는 것이다. 소비자는 네트워크, 서버, 운영 체제 또는 스토리지를 포함한 기본 클라우드 인프라를 관리하거나 제어하지 않지만 배포 된 애플리케이션 및 가능한 경우 애플리케이션 호스팅 환경 구성을 제어한다.
IaaS(Infrastructure as a Service): 소비자에게 제공되는 기능은 소비자가 운영 체제 및 애플리케이션을 포함할 수 있는 임의의 소프트웨어를 배포하고 실행할 수있는 프로세싱, 스토리지, 네트워크 및 기타 기본 컴퓨팅 리소스를 프로비저닝하는 것이다. 소비자는 기본 클라우드 인프라를 관리하거나 제어하지 않지만 운영 체제, 스토리지, 배포된 애플리케이션을 제어하고 일부 네트워킹 구성 요소(예를 들어, 호스트 방화벽)를 제한적으로 제어할 수 있다.
배포 모델은 다음과 같다.
사설 클라우드: 클라우드 인프라는 조직을 위해서만 운영된다. 조직 또는 제3자가 관리 할 수 있으며 온-프레미스(on-premises) 또는 오프-프레미스(off-premises)에 존재할 수 있다.
커뮤니티 클라우드: 클라우드 인프라구조는 여러 조직에서 공유되며 문제(예를 들어, 미션, 보안 요구 사항, 정책 및 규정 준수 고려 사항)를 공유하는 특정 커뮤니티를 지원한다. 조직 또는 제3자가 관리 할 수 있으며 온-프레미스 또는 오프-프레미스에 존재할 수 있다.
퍼블릭 클라우드: 클라우드 인프라는 일반 대중이나 대규모 산업 그룹이 사용할 수 있으며 클라우드 서비스를 판매하는 조직이 소유한다.
하이브리드 클라우드: 클라우드 인프라는 고유한 엔티티로 남아 있지만 데이터 및 애플리케이션 이식성을 가능하게하는 표준화 또는 독점 기술(예를 들어, 클라우드 간의 로드-밸런싱을 위한 클라우드 버스팅)에 의해 결합된 둘 이상의 클라우드(사설, 커뮤니티 또는 공용)의 구성이다.
클라우드 컴퓨팅 환경은 상태 비저장, 낮은 결합, 모듈성 및 의미론적 상호 운용성에 초점을 맞춘 서비스 지향적이다. 클라우드 컴퓨팅의 핵심은 상호 연결된 노드 네트워크를 포함하는 인프라이다.　본 발명의 범위를 벗어나지 않고 상술한 예시적인 실시예에 대해 많은 개선 및 수정이 이루어질 수 있음은 당업자에게 명백할 것이다.
도 11a는 본 명세서에 설명된 다양한 실시예들과 관련하여 사용될 수 있는 예시적인 프로세서 가능 장치(551)를 나타내는 블록도이다. 당업자에 의해 이해되는 바와 같이 장치(551)의 대안적인 형태가 또한 사용될 수 있다. 예시된 실시예에서, 장치(551)는 하나 이상의 프로세서(556), 하나 이상의 메모리(566), 하나 이상의 모션 컨트롤러(571), 하나 이상의 인터페이스 시스템(576), 하나 이상의 샘플 (590)을 갖는 하나 이상의 유리 슬라이드(585)를 각각 지지하는 하나 이상의 이동 가능한 스테이지(580), 샘플을 비추는 하나 이상의 조명 시스템(595), 광축을 따라 이동하는 광경로(605)를 각각 정의하는 하나 이상의 대물 렌즈(600), 하나 이상의 대물 렌즈 포지셔너(630), 하나 이상의 선택적 에피 조명 시스템(635) (예를 들어, 형광 스캐너 시스템에 포함됨), 하나 이상의 초점 광학 장치(610), 하나 이상의 라인 스캔 카메라(615) 및/또는 각각이 샘플(590) 및/또는 유리 슬라이드(585)에서 별도의 화각(625)을 정의하는 하나 이상의 영역 스캔 카메라(620)를 포함하는 디지털 이미징 장치(본 명세서에서 스캐너 시스템 또는 스캐닝 시스템이라고도 함)로서 제공된다. 스캐너 시스템(551)의 다양한 요소는 하나 이상의 통신 버스(560)를 통해 통신적으로 결합된다. 스캐너 시스템(551)의 다양한 요소들 각각이 하나 이상있을 수 있지만, 이어지는 설명의 단순화를 위해, 이러한 요소들은 적절한 정보를 전달하기 위해 복수로 설명될 필요가 있는 경우를 제외하고 단수로 설명될 것이다.
하나 이상의 프로세서(556)는 예를 들어, 중앙 처리 장치 ("CPU") 및 명령을 병렬로 처리할 수 있는 별도의 그래픽 처리 장치("GPU")를 포함할 수 있으며, 또는 하나 이상의 프로세서(556)는 병렬로 명령을 처리할 수 있는 멀티코어 프로세서를 포함할 수 있다. 특정 구성 요소를 제어하거나 이미지 처리와 같은 특정 기능을 수행하기 위해 별도의 추가 프로세서가 제공될 수도 있다. 예를 들어, 추가 프로세서는 데이터 입력을 관리하는 보조 프로세서, 부동 소수점 수학적 연산을 수행하는 보조 프로세서, 신호 처리 알고리즘(예를 들어, 디지털 신호 프로세서)의 빠른 실행에 적합한 아키텍처를 갖는 특수 목적 프로세서, 메인 프로세서(예를 들어, 백엔드 프로세서)에 종속된 슬레이브 프로세서, 라인 스캔 카메라(615), 스테이지(580), 대물 렌즈(225) 및/또는 디스플레이(미도시)를 제어하기 위한 추가 프로세서를 포함할 수 있다. 이러한 추가 프로세서는 별도의 개별 프로세서이거나 프로세서(556)와 통합될 수 있다.　
메모리(566)는 프로세서(556)에 의해 실행될 수 있는 프로그램에 대한 명령 및 데이터의 저장을 제공한다. 메모리(566)는 데이터 및 명령어를 저장하는 하나 이상의 휘발성 및 영구 컴퓨터 판독 가능 저장 매체, 예를 들어 랜덤 액세스 메모리, 읽기 전용 메모리, 하드 디스크 드라이브, 이동식 저장 드라이브 등을 포함할 수 있다. 프로세서(556)는 메모리(566)에 저장된 명령을 실행하고 스캐너 시스템(551)의 전체 기능을 수행하기 위해 스캐너 시스템(551)의 다양한 요소와 통신 버스(560)를 통해 통신하도록 구성된다.
하나 이상의 통신 버스(560)는 아날로그 전기 신호를 전달하도록 구성된 통신 버스(560)를 포함할 수 있고 디지털 데이터를 전달하도록 구성된 통신 버스(560)를 포함할 수 있다. 따라서, 하나 이상의 통신 버 (560)를 통한 프로세서(556), 모션 컨트롤러(571) 및/또는 인터페이스 시스템(576)으로부터의 통신은 전기 신호 및 디지털 데이터를 모두 포함할 수 있다. 프로세서(556), 모션 컨트롤러(571) 및/또는 인터페이스 시스템(576)은 또한 무선 통신 링크를 통해 스캐닝 시스템(551)의 다양한 요소들 중 하나 이상과 통신하도록 구성될 수 있다.
모션 제어 시스템(571)은 (예를 들어, 대물 렌즈 포지셔너 (630)를 통해) 스테이지(580) 및 대물 렌즈(600)의 XYZ 이동을 정밀하게 제어하고 조정하도록 구성된다. 모션 제어 시스템(571)은 또한 스캐너 시스템(551)에서 임의의 다른 이동 부품의 이동을 제어하도록 구성된다. 예를 들어, 형광 스캐너 실시예에서, 모션 제어 시스템(571)은 에피 조명 시스템(635)에서 광학 필터 등의 움직임을 조정하도록 구성된다.
인터페이스 시스템(576)은 스캐너 시스템(551)이 다른 시스템 및 인간 오퍼레이터와 인터페이스할 수 있게 한다. 예를 들어, 인터페이스 시스템(576)은 정보를 운영자에게 직접 제공하고/하거나 운영자로부터의 직접 입력을 허용하기위한 사용자 인터페이스를 포함할 수 있다. 인터페이스 시스템(576)은 또한 스캐닝 시스템(551) 및 직접 연결된 하나 이상의 외부 장치(예를 들어, 프린터, 이동식 저장 매체) 또는 네트워크(미도시)를 통해 스캐너 시스템(551)에 연결되는 이미지 서버 시스템, 운영자 스테이션, 사용자 스테이션 및 관리 서버 시스템과 같은 외부 장치 간의 통신 및 데이터 전송을 용이하게 하도록 구성된다.
조명 시스템(595)은 샘플(590)의 일부를 조명하도록 구성된다. 조명 시스템은 예를 들어 광원 및 조명 광학계를 포함할 수있다. 광원은 광 출력을 최대화하기 위한 오목 반사 거울과 열을 억제하는 KG-1 필터가 있는 가변 강도 할로겐 광원일 수 있다. 광원은 또한 모든 유형의 아크 램프, 레이저 또는 기타 광원일 수 있다. 일 실시예에서, 조명 시스템(595)은 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)가 샘플(590)을 통해 전송되는 광학 에너지를 감지하도록 전송 모드에서 샘플(590)을 조명한다. 대안적으로 또는 조합하여, 조명 시스템(595)은 또한 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)가 샘플(590)로부터 반사되는 광학 에너지를 감지하도록 반사 모드에서 샘플(590)을 조명하도록 구성될 수 있다. 전반적으로, 조명 시스템(595)은 임의의 알려진 광학 현미경 모드에서 현미경 샘플(590)의 조사에 적합하도록 구성된다.
일 실시예에서, 스캐너 시스템(551)은 형광 스캐닝을 위해 스캐너 시스템(551)을 최적화하기 위해 선택적으로 에피 조명 시스템(635)을 포함한다. 형광 스캐닝은 특정 파장(여기)에서 빛을 흡수 할 수 있는 광자 민감성 분자인 형광 분자를 포함하는 샘플(590)의 스캐닝이다. 이러한 광자에 민감한 분자는 또한 더 높은 파장(방출)에서 빛을 방출한다. 이러한 광 발광 현상의 효율이 매우 낮기 때문에 방출되는 빛의 양이 매우 낮은 경우가 많다. 이러한 적은 양의 방출광은 일반적으로 샘플(590)을 스캐닝하고 디지털화하기 위한 종래의 기술(예를 들어, 투과 모드 현미경)을 방해한다. 유리하게는, 스캐너 시스템(551)의 선택적 형광 스캐너 시스템 실시예에서, 다중 선형 센서 어레이(예를 들어, 시간 지연 통합("TDI") 라인 스캔 카메라)를 포함하는 라인 스캔 카메라(615)의 사용은 라인 스캔 카메라(615)의 다중 선형 센서 어레이 각각에 샘플(590)의 동일한 영역을 노출시킴으로써 라인 스캔 카메라의 광에 대한 감도를 증가시킨다. 이것은 낮은 방출광으로 희미한 형광 샘플을 스캔할 때 특히 유용한다.
따라서, 형광 스캐너 시스템 실시예에서, 라인 스캔 카메라(615)는 흑백 TDI 라인 스캔 카메라인 것이 바람직하다. 유리하게도, 흑백 이미지는 샘플에 존재하는 다양한 채널의 실제 신호를 보다 정확하게 표현하기 때문에 형광 현미경 검사에서 이상적이다. 당업자에 의해 이해되는 바와 같이, 형광 샘플(590)은 "채널"이라고도 하는 상이한 파장에서 광을 방출하는 다중 형광 염료로 라벨링될 수 있다.
또한, 다양한 형광 샘플의 로우 엔드 및 하이 엔드 신호 레벨은 라인 스캔 카메라(615)가 감지할 수 있는 넓은 스펙트럼의 파장을 나타내므로, 라인 스캔 카메라 (615)가 감지할 수있는 로우 엔드 및 하이 엔드 신호 레벨이 유사하게 넓은 것이 바람직하다. 따라서, 형광 스캐너 실시예에서, 형광 스캐닝 시스템(551)에 사용되는 라인 스캔 카메라(615)는 흑백 10 비트 64 선형 어레이 TDI 라인 스캔 카메라이다. 주사 시스템(551)의 형광 스캐너 실시예와 함께 사용하기 위해 라인 스캔 카메라(615)에 대한 다양한 비트 깊이가 사용될 수 있다는 점에 유의해야 한다.
이동 가능한 스테이지(580)는 프로세서(556) 또는 모션 컨트롤러(571)의 제어 하에 정확한 XY 이동을 위해 구성된다. 이동 가능한 스테이지는 또한 프로세서(556) 또는 모션 컨트롤러(571)의 제어 하에 Z에서의 이동을 위해 구성될 수 있다. 이동 가능한 스테이지는 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라에 의한 이미지 데이터 캡처 동안 원하는 위치에 샘플을 배치하도록 구성된다. 이동 가능한 스테이지는 또한 주사 방향으로 샘플(590)을 실질적으로 일정한 속도로 가속한 다음 라인 스캔 카메라(615)에 의한 이미지 데이터 캡처동안 실질적으로 일정한 속도를 유지하도록 구성된다. 일 실시예에서, 스캐너 시스템(551)은 이동 가능한 스테이지(580) 상의 샘플(590)의 위치를 돕기 위해 고정밀하고 긴밀하게 조정된 XY 그리드를 사용할 수 있다. 일 실시예에서, 가동 스테이지(580)는 X 및 Y축 모두에 사용되는 고정밀 인코더를 갖는 선형 모터 기반 XY 스테이지이다. 예를 들어, 매우 정밀한 나노미터 인코더는 스캐닝 방향의 축과 스캐닝 방향에 수직인 방향 및 스캐닝 방향과 동일한 평면에 있는 축에 사용될 수 있다. 스테이지는 또한 샘플(590)이 배치되는 유리 슬라이드(585)를 지지하도록 구성된다.
샘플(590)은 광학 현미경으로 조사할 수 있는 모든 것이 될 수 있다. 예를 들어, 유리 현미경 슬라이드(585)는 조직 및 세포, 염색체, DNA, 단백질, 혈액, 골수, 소변, 박테리아, 비드, 생검 재료 또는 기타 유형의 생물학적 물질 또는 죽었거나 살아있거나, 염색되거나 염색되어 있지 않거나, 라벨링되어 있어서 라벨링되어 있지 않은 물질을 포함하는 표본의 관찰 기판으로 자주 사용된다. 샘플(590)은 또한 일반적으로 마이크로 어레이로 알려진 임의의 및 모든 샘플을 포함하여 임의의 유형의 슬라이드 또는 기타 기질에 침착되는 cDNA 또는 RNA 또는 단백질과 같은 임의의 유형의 DNA 또는 DNA 관련 물질의 어레이일 수 있다. 샘플(590)은 마이크로 타이터(microtitier) 플레이트, 예를 들어 96-웰 플레이트일 수 있다. 샘플(590)의 다른 예는 집적 회로 기판, 전기 영동 기록, 페트리 접시, 필름, 반도체 재료, 법의학 재료 또는 기계 부품을 포함한다.
대물 렌즈(600)는 일 실시예에서 대물 렌즈(600)에 의해 정의된 광축을 따라 대물 렌즈(600)를 이동시키기 위해 매우 정밀한 선형 모터를 사용할 수 있는 대물 포지셔너(630)에 장착된다. 예를 들어, 대물 렌즈 포지셔너(630)의 선형 모터는 50 나노 미터 인코더를 포함할 수 있다. XYZ 축에서 스테이지(580) 및 대물 렌즈(600)의 상대적 위치는 전체 스캐닝 시스템(551) 작동을 위한 컴퓨터-실행 가능한 프로그램 단계를 포함하여 정보 및 명령을 저장하기 위해 메모리(566)를 사용하는 프로세서(556)의 제어 하에 모션 컨트롤러(571)를 사용하여 폐쇄 루프 방식으로 조정 및 제어된다.
일 실시예에서, 대물 렌즈(600)는 원하는 가장 높은 공간 해상도에 대응하는 개구수를 갖는 평면 무색("APO") 무한 보정 대물 렌즈이며, 여기서 대물 렌즈(600)는 투과 모드 조명 현미경, 반사 모드 조명 현미경, 및/또는 에피 조명 모드 형광 현미경(예를 들어, Olympus 40×, 0.75NA 또는 20×, 0.75 NA)에 적합하다. 유리하게는, 대물 렌즈(600)는 색수차 및 구면 수차를 보정할 수 있다. 대물 렌즈(600)가 무한대로 보정되기 때문에, 초점 광학 장치(610)는 대물 렌즈를 통과하는 광 빔이 시준된 광 빔이되는 대물 렌즈(600) 상의 광 경로(605)에 배치될 수 있다. 초점 광학 장치(610)는 대물 렌즈(600)에 의해 포착된 광학 신호를 라인 스캔 카메라(615) 및/또는 영역 스캔 카메라(620)의 광 응답 요소에 초점을 맞추고 필터, 배율 변경 렌즈 등과 같은 광학 부품을 포함할 수 있다. 초점 광학 장치(610)와 결합된 대물 렌즈(600)는 스캐닝 시스템(551)에 대한 총 배율을 제공한다. 일 실시예에서, 초점 광학 장치(610)는 튜브 렌즈 및 선택적인 2× 배율 변경기를 포함할 수 있다. 유리하게는, 2× 배율 변경기는 네이티브 20X 대물 렌즈(600)가 40× 배율로 샘플(590)을 스캔할 수 있도록 한다.
라인 스캔 카메라(615)는 화상 요소("픽셀")의 적어도 하나의 선형 어레이를 포함한다. 라인 스캔 카메라는 흑백 또는 컬러일 수 있다. 컬러 라인 스캔 카메라는 일반적으로 3개 이상의 선형 어레이를 가지고있는 반면, 흑백 라인 스캔 카메라는 단일 선형 어레이 또는 복수의 선형 어레이를 가질 수 있다. 카메라의 일부로 패키징되거나 이미징 전자 모듈에 맞춤 통합된 모든 유형의 단수 또는 복수 선형 어레이도 사용할 수 있다. 예를 들어, 3개의 선형 어레이("적-녹-청" 또는 "RGB") 컬러 라인 스캔 카메라 또는 96개의 선형 어레이 흑백 TDI도 사용할 수 있다. TDI 라인 스캔 카메라는 일반적으로 표본의 이전 이미지 영역에서 강도 데이터를 합산하여 출력 신호에서 실질적으로 더 나은 신호 대 잡음비("SNR")를 제공하여 통합 단계 수의 제곱근에 비례하여 SNR을 증가시킨다. TDI 라인 스캔 카메라는 여러 선형 어레이로 구성된다. 예를 들어 TDI 라인 스캔 카메라는 24, 32, 48, 64, 96 또는 그 이상의 선형 어레이와 함께 사용할 수 있다. 스캐너 시스템(551)은 또한 일부는 512 픽셀, 일부는 1024 픽셀, 다른 일부는 4096 픽셀의 다양한 형식으로 제조된 선형 어레이를 지원한다. 유사하게, 다양한 픽셀 크기를 갖는 선형 어레이가 또한 스캐너 시스템(551)에서 사용될 수 있다. 모든 유형의 라인 스캔 카메라(615)를 선택하기 위한 가장 중요한 요구 사항은 샘플(590)의 디지털 이미지 캡처 중 라인 스캔 카메라(615)에 대해 스테이지(580)가 이동할 수 있도록 스테이지(580)의 움직임을 라인 스캔 카메라(615)의 라인 속도와 동기화될 수 있도록 하는 것이다.
라인 스캔 카메라 (615)에 의해 생성된 이미지 데이터는 메모리(566)의 일부에 저장되고 프로세서(556)에 의해 처리되어 샘플(590)의 적어도 일부의 연속적인 디지털 이미지를 생성한다. 연속적인 디지털 이미지는 프로세서(556)에 의해 추가로 처리될 수 있고 수정된 연속적인 디지털 이미지는 또한 메모리(566)에 저장될 수 있다.
2개 이상의 라인 스캔 카메라(615)가 있는 실시예에서, 라인 스캔 카메라(615) 중 적어도 하나는 이미지 센서로서 기능하도록 구성된 라인 스캔 카메라(615) 중 적어도 하나와 조합하여 작동하는 포커싱 센서로서 기능하도록 구성될 수 있다. 포커싱 센서는 이미징 센서와 동일한 광축 상에 논리적으로 위치할 수 있거나, 포커싱 센서는 스캐너 시스템(551)의 스캐닝 방향에 대해 이미징 센서의 전후에 논리적으로 위치될 수 있다. 포커싱 센서로서 기능하는 적어도 하나의 라인 스캔 카메라(615)를 갖는 이러한 실시예에서, 포커싱 센서에 의해 생성 된 이미지 데이터는 메모리(566)의 일부에 저장되고 하나 이상의 프로세서(556)에 의해 처리되어 초점 정보를 생성하여 스캐너 시스템(551)은 샘플(590)과 대물 렌즈(600) 사이의 상대 거리를 조정하여 스캐닝 동안 샘플에 대한 초점을 유지한다. 추가로, 일 실시예에서, 포커싱 센서로서 기능하는 적어도 하나의 라인 스캔 카메라(615)는 포커싱 센서의 복수의 개별 픽셀 각각이 광학 경로(605)를 따라 상이한 논리적 높이에 위치하도록 배향될 수 있다.
동작 시, 스캐너 시스템(551)의 다양한 구성 요소 및 메모리(566)에 저장된 프로그래밍된 모듈은 유리 슬라이드(585)에 배치된 샘플 (590)의 자동 스캐닝 및 디지털화를 가능하게한다. 유리 슬라이드(585)는 샘플(590)을 스캐닝하기 위해 스캐너 시스템(551)의 이동 가능한 스테이지(580)에 안전하게 배치된다. 프로세서(556)의 제어 하에, 이동식 스테이지(580)는 라인 스캔 카메라(615)에 의한 감지를 위해 샘플(590)을 실질적으로 일정한 속도로 가속시키며, 여기서 스테이지의 속도는 라인 스캔 카메라(615)의 라인 속도와 동기화된다. 이미지 데이터의 스트라이프를 스캔한 후, 이동 가능 스테이지(580)는 감속하고 샘플(590)을 실질적으로 완전한 정지 상태로 만든다. 이동식 스테이지(580)는 이어서 이미지 데이터의 후속 스트라이프, 예를 들어 인접한 스트라이프를 스캐닝하기 위해 샘플(590)을 위치시키기 위해 스캐닝 방향에 직각으로 이동한다. 추가 스트라이프는 샘플(590)의 전체 부분 또는 전체 샘플(590)이 스캔될 때까지 연속적으로 스캔된다.
예를 들어, 샘플(590)을 디지털 스캐닝하는 동안, 샘플(590)의 연속적인 디지털 이미지는 이미지 스트립을 형성하기 위해 함께 결합되는 복수의 연속적인 화각으로 획득된다. 복수의 인접한 이미지 스트립은 유사하게 함께 결합되어 일부 또는 전체 샘플(590)의 연속적인 디지털 이미지를 형성한다. 샘플(590)의 스캐닝은 수직 이미지 스트립 또는 수평 이미지 스트립을 획득하는 것을 포함할 수 있다. 샘플(590)의 스캐닝은 위에서 아래로, 아래에서 위로 또는 둘 다(양방향)일 수 있으며 샘플의 어느 지점에서나 시작할 수 있다. 대안으로, 샘플(590)의 스캐닝은 왼쪽에서 오른쪽, 오른쪽에서 왼쪽 또는 둘 다(양방향)일 수 있으며 샘플의 어느 지점에서나 시작할 수 있다. 또한 인접하거나 연속적인 방식으로 이미지 스트립을 획득 할 필요가 없다. 또한, 샘플(590)의 결과 이미지는 전체 샘플(590)의 이미지이거나 샘플(590)의 일부일 수 있다.
일 실시예에서, 컴퓨터 실행 가능 명령어(예를 들어, 프로그램된 모듈 및 소프트웨어)는 메모리(566)에 저장되고, 실행될 때 스캐닝 시스템(551)이 여기에 설명된 다양한 기능을 수행할 수 있게 한다. 이러한 설명에서, "컴퓨터-판독 가능 저장 매체"라는 용어는 프로세서(556)에 의한 실행을 위해 스캐닝 시스템(551)에 컴퓨터 실행 가능 명령을 저장하고 제공하는데 사용되는 임의의 매체를 지칭하기 위해 사용된다. 이러한 매체의 예는 메모리(566) 및 예를 들어 네트워크(미도시)를 통해 직접 또는 간접적으로 스캐닝 시스템(551)과 통신적으로 결합된 임의의 이동식 또는 외부 저장 매체(미도시)를 포함한다.
도 11b는 전하 결합 장치("CCD") 어레이로서 구현될 수 있는 단일 선형 어레이(640)를 갖는 라인 스캔 카메라를 도시한다. 단일 선형 어레이(640)는 복수의 개별 픽셀(645)을 포함한다. 예시된 실시예에서, 단일 선형 어레이(640)는 4096 픽셀을 갖는다. 대안적인 실시예에서, 선형 어레이(640)는 더 많거나 더 적은 픽셀을 가질 수 있다. 예를 들어, 선형 어레이의 일반적인 형식에는 512, 1024 및 4096 픽셀이 포함된다. 픽셀 645)은 선형 어레이(640)에 대한 화각(625)을 정의하기 위해 선형 방식으로 배열된다. 화각의 크기는 스캐너 시스템(551)의 배율에 따라 달라진다.
도 11c는 각각 CCD 어레이로 구현될 수 있는 3개의 선형 어레이를 갖는 라인 스캔 카메라를 예시한다. 3개의 선형 어레이는 결합하여 컬러 어레이(650)를 형성한다. 일 실시예에서, 컬러 어레이(650)의 각각의 개별 선형 어레이는 예를 들어 적색, 녹색 또는 청색과 같은 상이한 컬러 강도를 검출한다. 컬러 어레이(650)의 각각의 개별 선형 어레이로부터의 컬러 이미지 데이터는 컬러 이미지 데이터의 단일 화각(625)을 형성하도록 결합된다.
도 11d는 복수의 선형 어레이를 갖는 라인 스캔 카메라를 도시한 것으로, 각각은 CCD 어레이로 구현될 수 있다. 복수의 선형 어레이는 결합하여 TDI 어레이(655)를 형성한다. 유리하게는, TDI 라인 스캔 카메라는 이전에 이미지화된 표본 영역의 강도 데이터를 합산하여 출력 신호에서 실질적으로 더 나은 SNR을 제공하여 선형 어레이 수의 제곱근에 비례하는 SNR을 증가(통합 단계라고도 함)시킬 수 있다. TDI 라인 스캔 카메라는 더 많은 수의 선형 어레이를 포함할 수 있으며, 예를 들어 TDI 라인 스캔 카메라의 일반적인 형식은 24, 32, 48, 64, 96, 120 및 훨씬 더 많은 선형 어레이를 포함한다.
개시된 실시예의 상기 설명은 당업자가 본 발명을 제조 또는 사용할 수 있도록 제공된다. 이러한 실시예에 대한 다양한 수정은 당업자에게 명백할 것이며, 여기에 설명된 일반적인 원리는 본 발명의 사상 또는 범위를 벗어나지 않고 다른 실시예에 적용될 수 있다. 따라서, 본 명세서에 제시된 설명 및 도면은 본 발명의 현재 바람직한 실시예를 나타내며 따라서 본 발명에 의해 광범위하게 고려되는 주제를 대표하는 것으로 이해되어야 한다. 또한, 본 발명의 범위는 당업자에게 명백할 수 있는 다른 실시예를 완전히 포함하고 본 발명의 범위는 이에 따라 제한되지 않는다는 것이 이해된다.

Claims (71)

  1. 조직학적 이미지에서 종양을 식별하는 방법에 있어서,
    2차원 픽셀 어레이를 포함하는 조직학적 이미지를 수신하는 단계;
    상기 조직학적 이미지의 매핑을 갖는 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하기 위해 컨볼루션 신경망(convolutional neural network)을 적용하는 단계에 있어서, 상기 출력 이미지는 복수의 조직 클래스 중 하나를 각 픽셀에 할당함으로써 생성되며, 여기서 상기 복수의 조직 클래스는 비종양 조직을 나타내는 적어도 하나의 클래스 및 종양 조직을 나타내는 적어도 하나의 클래스를 포함하는, 단계;
    개별 종양이 차지하는 영역이 표시되는, 상기 출력 이미지로부터 세분화 마스크를 생성하는 단계;
    각 종양에 대한 요약 통계를 계산하는 단계; 및
    필터에 따라 종양을 선택 및 선택 해제함으로써 상기 세분화 마스크를 편집하기 위해 각 종양의 상기 요약 통계에 상기 필터를 적용하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    각 종양에 스코어를 할당하기 위해 스코어링 알고리즘에 따라 각 종양에 점수를 매기는 단계; 및
    스코어에 따라 종양의 순위를 매기는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 순위가 상기 필터를 적용한 후에 남아있는 종양으로 국한되는, 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 순위를 저장하는 단계를 더 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 편집된 세분화 마스크에 관한 상기 조직학적 이미지의 시각화(visualization)를 생성하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서,
    상기 시각화는 상기 세분화 마스크가 상기 조직학적 이미지 상에 오버레이되는 개요 보기 창을 포함하는, 방법.
  7. 제6항에 있어서,
    제2항에 첨부될 때, 상기 개요 보기 창은 각 종양에 대한 순위 라벨을 포함하는, 방법.
  8. 제5항에 있어서,
    상기 시각화는 상기 세분화 마스크 및 상기 조직학적 이미지가 일대일 비교를 위해 서로 인접하게 제공되는 각각의 개요 보기 창을 포함하는, 방법.
  9. 제8항에있어서,
    제2항에 첨부될 때, 상기 세분화 마스크의 상기 개요 보기 창이 각 종양에 대한 순위 라벨을 포함하는, 방법.
  10. 제5항 내지 제9항 중 어느 한 항에 있어서,
    상기 편집된 세분화 마스크에서 종양을 선택하기 위해 사용자가 상기 시각화와 상호 작용할 수 있도록 작동 가능한 사용자 인터페이스 종양 선택 제어를 추가로 포함하는, 방법.
  11. 제10항에 있어서,
    상기 시각화가 현재 선택된 종양을 확대한 확대 보기 창을 포함하는, 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 종양 선택 제어는 순위의 순서대로 상기 편집된 세분화 마스크에서 종양을 훑어보기 위한 스크롤 기능을 갖는, 방법.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 종양 선택 제어는 사용자가 현재 선택된 종양에 대해 추가 계산 진단 프로세스를 실행할 수 있도록 하는 진단 기능을 갖는, 방법.
  14. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 조직 클래스가 종양성 조직에 대한 적어도 2개의 클래스를 포함하는, 방법.
  15. 제14항에 있어서,
    종양성 조직에 대한 상기 조직 클래스는 적어도 침습성 종양에 대한 제1클래스 및 인 시츄(in situ) 종양에 대한 제2클래스를 포함하는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    비종양 조직에 대한 조직 클래스가 하나인, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 시각화를 디스플레이 상에 표시하는 단계를 더 포함하는, 방법.
  18. 제1항에 있어서,
    상기 컨볼루션 신경망을 적용하는 단계는,
    상기 조직학적 이미지로부터 이미지 패치를 추출하는 단계에 있어서, 상기 이미지 패치는 너비 및 높이의 픽셀수에 의해 정의된 크기를 갖는 상기 조직학적 이미지의 영역 부분인, 단계;
    상기 컨벌루션 신경망에 가중치 세트 및 복수의 채널을 제공하는 단계에 있어서, 각 채널은 식별될 복수의 조직 클래스 중 하나에 대응하는, 단계;
    각 이미지 패치를 입력 이미지 패치로 상기 컨볼루션 신경망에 입력하는 단계;
    최소 차원의 최종 컨볼루션 층을 포함시킬 때까지 계속 감소하는 차원의 컨볼루션 층을 생성하도록 다단계 컨볼루션을 수행한 후, 층이 상기 입력 이미지 패치와 크기가 일치되도록 복구될 때까지 계속 증가하는 차원의 디컨볼루션 층을 생성하여 컨볼루션을 역전시키도록 다단계 전치 컨볼루션을 수행하는 단계; 및
    출력 이미지 패치에 도달할 상기 확률에 기초하여 상기 복구된 층의 각 픽셀에 상기 조직 클래스를 할당하는 단계를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 출력 이미지 패치를 상기 조직학적 이미지에 대한 확률 맵으로 어셈블리하는 단계를 더 포함하는, 방법.
  20. 제18항 또는 제19항에 있어서,
    상기 확률 맵에 따라 종양에 대응하는 상기 조직학적 이미지의 영역을 정의하는 단계를 더 포함하는, 방법.
  21. 제18항에 있어서,
    상기 조직학적 이미지에 링크된 상기 확률 맵을 저장하는 단계를 더 포함하는, 방법.
  22. 제18항에 있어서,
    상기 컨볼루션 신경망에 적어도 하나의 스킵 연결을 제공하는 단계에 있어서, 각 연결은 상기 최종 컨볼루션 층보다 더 큰 차원의 상기 컨볼루션 층 중 적어도 하나로부터 중간 결과를 얻고 그 결과를 상기 입력 이미지 패치에 일치하는 크기의 적어도 하나의 추가 복구 층을 획득하기 위하여 0 또는 하나 이상인 필요한 만큼의 전치 컨볼루션으로 적용하는, 단계; 및
    조직 클래스를 각 픽셀에 할당하는 상기 단계 이전에, 적어도 하나의 스킵 연결을 고려하여 상기 확률을 재계산하기 위하여 적어도 하나의 추가 복구 층과 결합하도록 상기 복구 층을 추가로 처리하는 단계를 더 포함하는, 방법.
  23. 제18항에 있어서,
    소프트맥스 연산이 상기 확률을 생성하기 위해 사용되는, 방법.
  24. 제18항에 있어서,
    상기 방법은 예측을 위해 수행되며, 상기 컨벌루션 신경망은 이전 학습동안 할당된 가중치 값을 갖는, 방법.
  25. 제18항에 있어서, 상기 방법은 학습을 위해 수행되며,
    상기 조직학적 이미지의 각 픽셀을 상기 조직 클래스 중 하나에 할당하는 기초 사실(ground truth) 데이터를 제공하는 단계를 더 포함하고,
    상기 방법은 반복적으로 수행되고, 각 반복은 기초 사실 데이터를 상기 출력 이미지 패치와 비교하는 것을 기반으로 상기 컨볼루션 신경망을 위한 가중치를 조절하는 단계를 포함하는, 방법.
  26. 제25항에 있어서,
    학습동안 상기 가중치를 조정하는 단계는 경사 하강법(gradient descent)에 의해 수행되는, 방법.
  27. 제1항 내지 제26항 중 어느 한 항에 있어서,
    상기 조직학적 이미지가 조직 영역의 상이하게 염색된 인접 섹션으로부터 획득된 복수의 조직학적 이미지를 포함하는 합성물인, 방법.
  28. 조직학적 이미지에서 종양을 식별하기 위한 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램 제품은 제1항 내지 제27항 중 어느 한 항의 방법을 수행하기 위한 기계 판독 가능 명령을 포함하는, 컴퓨터 프로그램 제품.
  29. 조직학적 이미지에서 종양을 식별하기 위한 컴퓨터 장치에 있어서,
    2차원 픽셀 어레이를 포함하는 조직학적 이미지를 수신하도록 동작 가능한 입력; 및
    처리 모듈을 포함하며, 상기 처리 모듈은,
    상기 조직학적 이미지의 매핑을 갖는 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하기 위해 컨볼루션 신경망(convolutional neural network)을 적용하도록 구성되며, 상기 출력 이미지는 복수의 조직 클래스 중 하나를 각 픽셀에 할당함으로써 생성되며, 여기서 상기 복수의 조직 클래스는 비종양 조직을 나타내는 적어도 하나의 클래스 및 종양 조직을 나타내는 적어도 하나의 클래스를 포함하고;
    개별 종양이 차지하는 영역이 표시되는, 상기 출력 이미지로부터 세분화 마스크를 생성하도록 구성;
    각 종양에 대한 요약 통계를 계산하도록 구성; 및
    필터에 따라 종양을 선택 및 선택 해제하여 세분화 마스크를 편집하도록, 각 종양의 상기 요약 통계에 상기 필터를 적용하도록 구성된, 컴퓨터 장치.
  30. 제29항에 있어서,
    상기 처리 모듈은 상기 조직학적 이미지의 시각화 및 상기 편집된 세분화 마스크를 생성하도록 추가 구성된, 컴퓨터 장치.
  31. 제29항 또는 제30항에 있어서,
    상기 조직학적 이미지와 함께 메타데이터로서 상기 세분화 마스크를 저장하도록 동작 가능한 출력을 더 포함하는, 컴퓨터 장치.
  32. 제29항 내지 제31항에 있어서,
    상기 조직학적 이미지와 함께 메타데이터로서 상기 요약 통계를 저장하도록 동작 가능한 출력을 더 포함하는, 장치.
  33. 제29항 내지 제32항 중 어느 한 항에 있어서,
    디스플레이; 및
    상기 편집된 세분화 마스크와 함께 상기 조직학적 이미지가 표시되도록 상기 디스플레이에 상기 조직학적 이미지 및 상기 세분화 마스크를 전송하도록 동작 가능한 디스플레이 출력을 더 포함하는, 컴퓨터 장치.
  34. 시스템에 있어서,
    제29항 내지 제33항 중 어느 한 항에 따른 컴퓨터 장치; 및
    조직학적 이미지를 획득하도록 동작 가능한 이미지 획득 장치를 포함하는, 시스템.
  35. 시스템에 있어서,
    제29항 내지 제33항 중 어느 한 항에 따른 컴퓨터 장치;
    조직학적 이미지를 포함하는 환자 데이터의 기록을 저장하도록 구성된 데이터 저장소; 및
    상기 컴퓨터 장치와 상기 데이터 저장소 사이에서 환자 데이터 기록 또는 그 일부를 전송할 수있는 네트워크 연결을 포함하는, 시스템.
  36. 시스템에 있어서,
    제29항 내지 제33항 중 어느 한 항에 따른 컴퓨터 장치;
    조직학적 이미지를 획득하도록 동작 가능한 이미지 획득 장치;
    조직학적 이미지를 포함하는 환자 데이터의 기록을 저장하도록 구성된 데이터 저장소; 및
    상기 컴퓨터 장치와 상기 데이터 저장소 사이에서 환자 데이터 기록 또는 그 일부를 전송할 수 있는 네트워크 연결을 포함하는, 시스템.
  37. 종양 덩어리의 마진 상태를 결정하기 위해 조직학적 이미지를 이미지 처리하는 방법에 있어서,
    절제에 의해 추출된 종양 덩어리로부터 획득되며 그 표면을 강조하기 위해 잉크로 페인팅된, 2차원 픽셀 어레이를 포함하는 조직적 이미지를 수신하는 단계;
    상기 조직학적 이미지에 매핑된 2차원 픽셀 어레이에 있는 출력 이미지를 생성하도록, 조직 클래스를 구별하도록 학습된 적어도 하나의 신경망을 사용하여 컨벌루션 신경망 프로세스를 적용하는 단계에 있어서, 상기 출력 이미지는 잉크-비잉크, 종양-비종양을 구분하도록 각 픽셀에 조직 클래스를 할당함으로써 생성되는, 단계;
    종양 및 잉크 픽셀의 유무에 따라 각각 양성 또는 음성로 마진 상태를 계산하는 단계; 및
    상기 마진 상태를 출력하는 단계를 포함하는, 방법.
  38. 제37항에 있어서,
    상기 컨볼루션 신경망 프로세스는 종양-잉크, 종양-비잉크, 비종양-잉크, 및 비종양-비잉크에 대한 종양 클래스 사이를 구별하도록 학습된 하나의 신경 네트워크를 적용하는 단계를 포함하는, 방법.
  39. 제37항에 있어서,
    상기 컨볼루션 신경망 프로세스는 종양 및 비종양에 대한 조직 클래스를 구별하고 제1출력 이미지를 출력하도록 학습된 제1신경망을 개별적으로 적용하는 단계, 및 잉크 및 비잉크에 대한 조직 클래스를 구별하고 제2출력 이미지를 출력하도록 학습된 제2신경망을 개별적으로 적용하는 단계를 포함하며, 상기 출력 이미지는 종양-잉크, 종양-비잉크, 비종양-잉크 및 비종양-비잉크에 대한 조직 클래스를 할당하기 위해 상기 제1출력 이미지 및 상기 제2출력 이미지를 결합함으로써 생성되는, 방법.
  40. 제1항 내지 제39항 중 어느 한 항에 있어서,
    복수의 종양 조직 유형을 식별하기 위한 클래스가 있는, 방법.
  41. 제40항에 있어서,
    상기 복수의 종양 조직 유형이 침습성 및 인 시츄를 포함하는, 방법.
  42. 제1항 내지 제41항 중 어느 한 항에 있어서,
    마진 상태의 계산은 클로즈 및 클리어 하위 상태 사이의 음성 상태를 세분화하며, 클로즈 및 클리어는 종양-비잉크 픽셀 및 잉크-비종양 픽셀 사이의 거리가 임계값보다 작거나 큰 것에 의해 구별되는, 방법.
  43. 제1항 내지 제42항 중 어느 한 항에 있어서,
    마진 상태의 계산은 종양-잉크 픽셀의 유병률(prevalence)에 기초하여 복수의 하위 상태 사이의 양성 상태를 세분화하는, 방법.
  44. 제43항에 있어서,
    유병률은 종양-잉크 픽셀 사이의 최대 거리를 계산하는 것에 기반하여 적어도 부분적으로 정량화되는, 방법.
  45. 제1항 내지 제44항 중 어느 한 항에 있어서,
    상기 양성 또는 음성 마진 상태는 종양-잉크 픽셀의 수가 임계 수 이상인지 또는 미만인지에 기반하여 적어도 부분적으로 계산되는, 방법.
  46. 제1항 내지 제45항 중 어느 한 항에 있어서, 상기 컨볼루션 신경망 또는 각각의 컨볼루션 신경망을 적용하는 단계는:
    상기 조직학적 이미지로부터 이미지 패치를 추출하는 단계에 있어서, 상기 이미지 패치는 너비 및 높이의 픽셀 수에 의해 정의된 크기를 갖는 상기 조직학적 이미지의 영역 부분인, 단계;
    가중치 세트 및 복수의 채널을 제공하는 단계에 있어서, 각 채널은 식별될 복수의 조직 클래스 중 하나에 대응되는, 단계;
    각 이미지 패치를 입력 이미지 패치로 상기 컨볼루션 신경망에 입력하는 단계;
    최소 차원의 최종 컨볼루션 층을 포함시킬 때까지 계속 감소하는 차원의 컨볼루션 층을 생성하도록 다단계 컨볼루션을 수행한 후, 층이 상기 입력 이미지 패치와 크기가 일치되도록 복구될 때까지 계속 증가하는 차원의 디컨볼루션 층을 생성하여 컨볼루션을 역전시키도록 다단계 전치 컨볼루션을 수행하는 단계; 및
    출력 이미지 패치에 도달할 상기 확률에 기초하여 상기 복구된 층의 각 픽셀에 상기 조직 클래스를 할당하는 단계를 포함하는, 방법.
  47. 제46항에 있어서,
    상기 조직학적 이미지가 조직 영역의 상이하게 염색된 인접 섹션으로부터 획득된 조직학적 이미지의 세트인, 방법.
  48. 제46항 또는 제47항에 있어서,
    상기 출력 이미지 패치를 상기 조직학적 이미지에 대한 확률 맵으로 조립하는 단계를 더 포함하는, 방법.
  49. 제46항 내지 제48항 중 어느 한 항에 있어서,
    상기 조직학적 이미지에 링크된 상기 확률 맵을 저장하는 단계를 더 포함하는, 방법.
  50. 제46항 내지 제49항 중 어느 한 항에 있어서,
    상기 확률 맵을 갖는 상기 조직학적 이미지를 디스플레이 상에 표시하는 단계를 더 포함하는, 방법.
  51. 제46항 내지 제50항 중 어느 한 항에 있어서,
    상기 컨볼루션 신경망 또는 각각의 컨볼루션 신경망에 적어도 하나의 스킵 연결을 제공하는 단계에 있어서, 각 연결은 상기 최종 컨볼루션 층보다 더 큰 차원의 상기 컨볼루션 층 중 적어도 하나로부터 중간 결과를 얻고 그 결과를 상기 입력 이미지 패치에 일치하는 크기의 적어도 하나의 추가 복구 층을 획득하기 위하여 0 또는 하나 이상인 필요한 만큼의 전치 컨볼루션으로 적용하는, 단계; 및
    조직 클래스를 각 픽셀에 할당하는 상기 단계 이전에, 적어도 하나의 스킵 연결을 고려하여 상기 확률을 재계산하기 위하여 적어도 하나의 추가 복구 층과 결합하도록 상기 복구 층을 추가로 처리하는 단계를 더 포함하는, 방법.
  52. 제46항 내지 제51항 중 어느 한 항에 있어서,
    소프트맥스 연산이 상기 확률을 생성하기 위해 사용되는, 방법.
  53. 제46항 내지 제52항 중 어느 한 항에 있어서,
    상기 방법은 학습을 위해 수행되며, 상기 조직학적 이미지의 각 픽셀을 상기 조직 클래스 중 하나에 할당하는 기초 사실(ground truth) 데이터를 제공하는 단계를 더 포함하고,
    상기 방법은 반복적으로 수행되고, 각 반복은 기초 사실 데이터를 상기 출력 이미지 패치와 비교하는 것을 기반으로 상기 컨볼루션 신경망을 위한 가중치를 조절하는 단계를 포함하는, 방법.
  54. 제53항에 있어서,
    학습동안 상기 가중치를 조정하는 단계는 경사 하강법(gradient descent)에 의해 수행되는, 방법.
  55. 조직학적 이미지에서 종양을 식별하기 위한 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램 제품은 제1항 내지 제27항 중 어느 한 항의 방법을 수행하기 위한 기계 판독 가능 명령을 포함하는, 컴퓨터 프로그램 제품.
  56. 종양 덩어리의 마진 상태를 결정하기 위해 조직학적 이미지를 이미지 처리하는 컴퓨터 장치에 있어서,
    절제에 의해 추출된 종양 덩어리로부터 획득되며 그 표면을 강조하기 위해 잉크로 페인팅된, 2차원 픽셀 어레이를 포함하는 조직학적 이미지를 수신하도록 동작 가능한 입력;
    상기 조직학적 이미지에 매핑된 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하도록, 조직 클래스를 구별하도록 학습된 적어도 하나의 신경망을 포함하는 컨벌루션 신경망 프로세스 모듈에 있어서, 상기 출력 이미지는 잉크-비잉크, 종양-비종양을 구분하도록 각 픽셀에 조직 클래스를 할당함으로써 생성되는, 컨볼루션 신경망 프로세스 모듈;
    상기 출력 이미지에서 종양-잉크 픽셀의 존재 또는 부재에 따라 각각 양성 또는 음성으로 마진 상태를 계산하도록 동작 가능한 마진 평가 모듈; 및
    상기 마진 상태를 출력하도록 동작 가능한 출력을 포함하는, 컴퓨터 장치.
  57. 제56항에 있어서,
    상기 출력은 데이터 저장소에 연결되어 상기 마진 상태를 상기 조직학적 이미지와 함께 메타데이터로서 저장하는, 컴퓨터 장치.
  58. 제56항 또는 제57항에 있어서,
    상기 출력은 데이터 저장소에 연결되어 상기 출력 이미지를 상기 조직학적 이미지와 함께 메타데이터로서 저장하는, 컴퓨터 장치.
  59. 제56항 내지 제58항 중 어느 한 항에 있어서,
    상기 출력 이미지는 각 픽셀에 대한 조직 클래스를 포함하는, 컴퓨터 장치.
  60. 제58항에 있어서,
    상기 출력 이미지는 각 픽셀에 대한 확률을 포함하고 따라서 확률 맵을 구성하는, 컴퓨터 장치.
  61. 제56항 내지 제60항 중 어느 한 항에 있어서,
    상기 출력은 상기 조직학적 이미지 및 상기 출력 이미지를 디스플레이로 전송하여, 상기 조직학적 이미지가 상기 출력 이미지와 함께 표시되도록 동작 가능한, 컴퓨터 장치.
  62. 시스템에 있어서,
    제56항 내지 제61항 중 어느 한 항에 따른 컴퓨터 장치;
    조직학적 이미지 또는 그 세트를 포함하는 환자 데이터의 기록을 저장하도록 구성된 데이터 저장소; 및
    상기 컴퓨터 장치와 상기 데이터 저장소 사이에서 환자 데이터 기록 또는 그 일부를 전송할 수 있는 네트워크 연결을 포함하는, 시스템.
  63. 시스템에 있어서,
    제56항 내지 제61항 중 어느 한 항에 따른 컴퓨터 장치; 및
    조직학적 이미지 또는 그 세트를 획득하고 이를 상기 데이터 저장소의 기록에 저장하도록 동작 가능한 이미지 획득 장치를 포함하는, 시스템.
  64. 제63항에 있어서,
    조직학적 이미지 또는 그 세트를 포함하는 환자 데이터의 기록을 저장하도록 구성된 데이터 저장소; 및
    상기 컴퓨터 장치와 상기 데이터 저장소 사이에서 환자 데이터 기록 또는 그 일부를 전송할 수있는 네트워크 연결을 포함하는, 시스템.
  65. 조직학적 이미지에서 종양을 식별하는 방법에 있어서,
    2차원 픽셀 어레이를 포함하는 조직학적 이미지를 수신하는 단계;
    상기 조직학적 이미지의 매핑을 갖는 2차원 픽셀 어레이를 갖는 출력 이미지를 생성하기 위해 컨볼루션 신경망(convolutional neural network)을 적용하는 단계에 있어서, 상기 출력 이미지는 복수의 조직 클래스 중 하나를 각 픽셀에 할당함으로써 생성되며, 여기서 상기 복수의 조직 클래스는 비종양 조직을 나타내는 적어도 하나의 클래스 및 종양 조직을 나타내는 적어도 하나의 클래스를 포함하는, 단계;
    상기 출력 이미지로부터 개별 종양이 차지하는 영역을 식별하는 세분화 마스크를 생성하는 단계;
    각 종양에 대한 요약 통계를 계산하는 단계;
    각 종양에 대한 상기 요약 통계에 따라 개별 종양을 선택 및 선택 해제하기 위해 상기 세분화 마스크를 필터링하는 단계;
    상기 편집된 세분화 마스크에 따라 상기 조직학적 이미지의 시각화를 생성하는 단계; 및
    상기 필터링된 세분화 마스크에서 개별 종양의 선택을 수신하는 단계; 및
    현재 선택된 종양에 대해 추가 계산 진단 프로세스를 실행하는 단계를 포함하는, 방법.
  66. 제65항에 있어서,
    상기 추가 계산 진단 프로세스는 처리 작업을 상기 추가 계산 진단 프로세스로 전송하고 상기 추가 계산 진단으로부터 처리 작업의 결과를 수신하는 단계를 포함하는, 방법.
  67. 제66항에 있어서,
    상기 추가 계산 진단 프로세스는 데이터 통신 네트워크를 통해 통신적으로 결합된 프로세서 가능 장치에서 실행되는, 방법.
  68. 제66항에 있어서,
    상기 처리 작업은 상기 조직학적 이미지를 포함하는, 방법.
  69. 제68항에 있어서,
    상기 처리 작업은 상기 조직학적 이미지와 관련된 메타데이터를 포함하는, 방법.
  70. 제68항에 있어서,
    상기 조직학적 이미지와 관련된 상기 메타데이터는 상기 세분화 마스크를 포함하는, 방법.
  71. 제68항에 있어서,
    상기 조직학적 이미지와 관련된 상기 메타데이터는 환자 정보, 염색 정보, 염색 프로토콜 정보 및 스캐닝 프로토콜 정보 중 하나 이상을 포함하는, 방법.
KR1020217020385A 2019-05-29 2020-05-29 조직학적 이미지 내의 종양 및 수술 후 종양 마진 평가에 대한 컴퓨터 지원 검토 KR20220015368A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962854055P 2019-05-29 2019-05-29
US201962854014P 2019-05-29 2019-05-29
US62/854,014 2019-05-29
US62/854,055 2019-05-29
PCT/US2020/035286 WO2020243545A1 (en) 2019-05-29 2020-05-29 Computer supported review of tumors in histology images and post operative tumor margin assessment

Publications (1)

Publication Number Publication Date
KR20220015368A true KR20220015368A (ko) 2022-02-08

Family

ID=71787097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020385A KR20220015368A (ko) 2019-05-29 2020-05-29 조직학적 이미지 내의 종양 및 수술 후 종양 마진 평가에 대한 컴퓨터 지원 검토

Country Status (6)

Country Link
US (2) US11893732B2 (ko)
EP (1) EP3884465A1 (ko)
JP (1) JP2022534157A (ko)
KR (1) KR20220015368A (ko)
CN (1) CN113366530A (ko)
WO (1) WO2020243545A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893732B2 (en) * 2019-05-29 2024-02-06 Leica Biosystems Imaging, Inc. Computer supported review of tumors in histology images and post operative tumor margin assessment
KR102329546B1 (ko) * 2019-07-13 2021-11-23 주식회사 딥바이오 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
JP2022546595A (ja) * 2019-09-09 2022-11-04 ペイジ．エーアイ インコーポレイテッド デジタル病理学のためのスライドの画像を処理するためのシステムおよび方法
CN111325220B (zh) * 2020-02-17 2023-04-07 腾讯科技（深圳）有限公司 图像生成方法、装置、设备及存储介质
KR102406080B1 (ko) * 2020-09-01 2022-06-07 성균관대학교산학협력단 경계특성 기반의 병변 분석 장치 및 방법
US20220164576A1 (en) * 2020-11-25 2022-05-26 Metal Industries Research & Development Centre Surgical instrument inventory system and surgical instrument inventory method
CN112967267B (zh) * 2021-03-23 2024-01-23 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积溅射计数方法
CN113689376A (zh) * 2021-06-02 2021-11-23 北京信息职业技术学院 基于计算机视觉的病理图像识别方法
FR3126528B1 (fr) * 2021-08-30 2023-12-22 Totalenergies Se Procédé et dispositif électronique de surveillance de la fabrication d’un liquide avec un additif anti-mousse, système de surveillance et programme d’ordinateur associés
WO2023073405A1 (en) * 2021-10-28 2023-05-04 Cloud Pathology Group Srl Digital microscopy tissue image analysis method and system for digital pathology
CN115082718A (zh) * 2022-05-06 2022-09-20 清华大学 基于组织病理图像的胶质瘤分级方法、装置、设备及介质
CN115240000B (zh) * 2022-07-22 2023-05-02 司法鉴定科学研究院 一种用于法医鉴定的糖尿病检测装置及方法
CN115082743B (zh) 2022-08-16 2022-12-06 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN115063425B (zh) * 2022-08-18 2022-11-11 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的结构化检查所见生成方法及系统
CN115294126B (zh) * 2022-10-08 2022-12-16 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN116046647B (zh) * 2023-01-28 2023-06-09 深圳安侣医学科技有限公司 血液成像分析系统和方法
CN116230214B (zh) * 2023-05-08 2023-08-01 浙江大学滨江研究院 Hcc及vetc辅助诊断装置及设备
CN116664722B (zh) * 2023-07-27 2023-10-13 山东新卓诚智慧科技有限公司 一种智慧环保的大数据可视化处理方法及系统
CN117898694B (zh) * 2024-03-18 2024-06-07 华中科技大学同济医学院附属协和医院 基于多重磁标记定位的精准肠管游离位置定位方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
US9430829B2 (en) 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
US10169685B2 (en) * 2014-07-07 2019-01-01 The Regents Of The University Of California Automatic segmentation and quantitative parameterization of brain tumors in MRI
WO2016027895A1 (ja) * 2014-08-22 2016-02-25 国立大学法人名古屋大学 ３次元像構築方法、画像処理装置、および電子顕微鏡
US10705088B2 (en) * 2015-10-23 2020-07-07 Novartis Ag Method of scoring a sample comprising tumor tissue
JP7250793B2 (ja) * 2017-12-07 2023-04-03 ベンタナ メディカル システムズ， インコーポレイテッド 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
US11348239B2 (en) * 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348661B2 (en) * 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US20210142904A1 (en) * 2019-05-14 2021-05-13 Tempus Labs, Inc. Systems and methods for multi-label cancer classification
AU2020274091A1 (en) * 2019-05-14 2021-12-09 Tempus Ai, Inc. Systems and methods for multi-label cancer classification
US11893732B2 (en) * 2019-05-29 2024-02-06 Leica Biosystems Imaging, Inc. Computer supported review of tumors in histology images and post operative tumor margin assessment

Also Published As

Publication number Publication date
US20220076410A1 (en) 2022-03-10
JP2022534157A (ja) 2022-07-28
US11893732B2 (en) 2024-02-06
WO2020243545A1 (en) 2020-12-03
CN113366530A (zh) 2021-09-07
US20240119595A1 (en) 2024-04-11
EP3884465A1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
US11893732B2 (en) Computer supported review of tumors in histology images and post operative tumor margin assessment
US20220076411A1 (en) Neural netork based identification of areas of interest in digital pathology images
US11164316B2 (en) Image processing systems and methods for displaying multiple images of a biological specimen
US20220084660A1 (en) Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology
US10275880B2 (en) Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
Han et al. Histologic tissue components provide major cues for machine learning-based prostate cancer detection and grading on prostatectomy specimens
JP2023530070A (ja) 電子画像を処理して組織マップ可視化を生成するシステム及び方法
Sreelekshmi et al. SwinCNN: An Integrated Swin Trasformer and CNN for Improved Breast Cancer Grade Classification