KR102222796B1 - 디지털 조직병리학 및 현미해부 - Google Patents

디지털 조직병리학 및 현미해부 Download PDF

Info

Publication number
KR102222796B1
KR102222796B1 KR1020197014355A KR20197014355A KR102222796B1 KR 102222796 B1 KR102222796 B1 KR 102222796B1 KR 1020197014355 A KR1020197014355 A KR 1020197014355A KR 20197014355 A KR20197014355 A KR 20197014355A KR 102222796 B1 KR102222796 B1 KR 102222796B1
Authority
KR
South Korea
Prior art keywords
patches
tissue
image
region
interest
Prior art date
Application number
KR1020197014355A
Other languages
English (en)
Other versions
KR20190068607A (ko
Inventor
빙 송
그레고리 추
Original Assignee
난토믹스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 난토믹스, 엘엘씨 filed Critical 난토믹스, 엘엘씨
Publication of KR20190068607A publication Critical patent/KR20190068607A/ko
Application granted granted Critical
Publication of KR102222796B1 publication Critical patent/KR102222796B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법이 제공된다. 그 방법은, 이미지 프로세싱 엔진에 의해, 생물학적 샘플의 디지털 조직 이미지에 대한 액세스를 획득하는 단계; 이미지 프로세싱 엔진에 의해, 디지털 조직 이미지를 이미지 패치들의 집합으로 타일링하는 단계; 이미지 프로세싱 엔진에 의해, 이미지 패치들의 집합 내의 픽셀 컨텐츠의 함수로서 이미지 패치들의 집합으로부터 목표 조직 패치들의 세트를 식별하는 단계; 이미지 프로세싱 엔진에 의해, 목표 조직 패치들의 세트의 각 목표 조직 패치에 목표 조직 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 할당하는 단계로서, 초기 클래스 확률 스코어는 각 목표 조직 패치상에서 실행된 트레이닝된 분류기에 의해 생성되는, 상기 초기 클래스 확률 스코어를 할당하는 단계; 이미지 프로세싱 엔진에 의해, 제 1 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계로서, 조직 영역 시드 패치들의 제 1 세트는 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계; 이미지 프로세싱 엔진에 의해, 제 2 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계로서, 조직 영역 시드 패치들의 제 2 세트는 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계; 이미지 프로세싱 엔진에 의해, 조직 영역 시드 패치들의 제 2 세트의 이웃 패치들의 초기 클래스 확률 스코어들 및 문제 영역 시드 패치들의 제 1 세트 내의 패치들까지의 거리의 함수로서 상기 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를 계산하는 단계; 및 이미지 프로세싱 엔진에 의해, 이웃 패치들을 그들의 관심 영역 스코어들에 기초하여 그룹화함으로써 하나 이상의 관심 영역 형상들을 생성하는 단계를 포함한다.

Description

디지털 조직병리학 및 현미해부
본 출원은 2016 년 10 월 21 일자로 출원된 미국 가출원 제 62/411,290 호와, 2017 년 9 월 12 일자로 출원된 미국 가출원 제 62/557,737 호의 우선권의 이익을 청구한다. 본원에 참조된 이들 및 모든 다른 외래 자료들은 그 전체가 참조로 포함된다.
본 기술은 일반적으로 조직병리학, 조직이 병이 있는지 여부를 결정하고 및/또는 병든 조직을 연구할 목적의 조직의 현미경 검사에 관한 것이다. 조직은 예를 들어, 유방 종괴, 장의 표본들, 신장, 간, 자궁 내막, 폐, 가슴, 림프절, 근육, 신경, 피부, 고환, 갑상선 등을 포함하는 신체의 임의의 부위로부터 제거될 수도 있다.
이 개시된 기술은, 예를 들어, 배경 장면으로부터 전경 오브젝트를 식별하거나, 디지털 조직병리학 이미지 내의 암세포를 식별하는 것과 같이, 디지털 이미지 내의 관심 영역을 식별하는 것에 관한 것이다.
조직은 생검, 수술 또는 부검을 포함하는 다중 설정에서 피검체로부터 수집 될 수도 있다. 피검체로부터 조직들을 제거한 후, 그것들은 조직의 부식을 방지하기 위해 포르말린과 같은 고정제에 넣어 화학적 고정을 위해 준비된다. 조직은 그 후 냉동되거나 녹은 왁스로 경화됩니다. 조직의 섹션은 그 후 잘라내어져 슬라이드들상에 배치된다.
일단 조직 섹션들이 슬라이드상에 있으면, 병리학자는 슬라이드를 현미경으로 관찰하여 조직이 병에 걸렸는지 여부를 결정하고, 병이 있으면 병의 단계를 결정한다. 예를 들어, 병리학자는 유방 종괴가 유방암 세포를 포함하는지 여부를 결정할 수도 있으며, 만일 그렇다면, 병리학자는 암의 등급 및/또는 단계를 결정할 수도 있다. 그러나, 이들 결정들은 종종 신뢰할 수 없고, 비용이 많이 들고, 시간이 많이 걸리고, 일반적으로 위양성 (false positive) 뿐아니라 위음성 (false negative) 을 포함하여 잘못된 결정의 가능성을 최소화하기 위해 여러 병리학자들의 검증을 요구한다는 점에서 이러한 결정들에 기술적인 문제가 있다.
본 발명의 실시형태들은 전술한 기술적 문제를 해결하고 조직이 병에 걸릴 개연성이 있는지 여부를 결정하기 위해 신경망, 및 보다 구체적으로는 콘볼루션 신경망을 사용하는 기술적 해결책을 제공한다.
도 1 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현할 수 있는 분산 컴퓨터 시스템의 블록도를 도시한다.
도 2 는 본 발명의 일 실시형태의 하나 이상의 양태들을 구현할 수 있는 전자 디바이스의 블록도를 도시한다.
도 3 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현할 수 있는 전자 디바이스의 아키텍쳐 다이어그램을 도시한다.
도 4 는 본 발명의 일 실시형태의 하나 이상의 양태들을 구현할 수 있는 전자 디바이스에 의해 수행되는 프로세스를 도시한다.
도 5 는 본 발명의 실시형태와 함께 사용하기 위해 수정된 계층을 갖는 콘볼 루션 신경망의 계층들을 도시한다.
도 6 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현하는 전자 디바이스에 의해 수행되는 프로세스를 도시한다.
도 7 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현하는 전자 디바이스에 의해 프로세싱될 조직의 256x256 화소 패치를 도시한다.
도 8 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현하는 전자 디바이스에 의해 프로세싱될 조직의 400x400 화소 패치를 도시한다.
도 9a 내지 도 9f 는 본 발명의 일 실시형태의 하나 이상의 양태들을 구현하는 전자 디바이스에 의해 프로세싱될 조직의 복수의 패치들을 보여주는 다이어그램들을 도시한다.
도 10 은 대안적인 실시형태에서, 도 6 의 실시형태의 적어도 일부 단계들 대신에 또는 그들에 추가하여 사용될 수 있는 조건부 무작위장 모델을 도시한다.
도 11 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현하는 전자 디바이스에 의해 생성된 관심 영역 경계를 보여주는 다이어그램을 도시한다.
본 발명이 상기 도면들을 참조하여 설명되지만, 도면들은 예시적인 것으로 의도되고, 본 발명은 본 발명의 사상 내의 다른 실시형태들을 고려한다.
이제, 본 발명이 본 발명이 실시될 수도 있는 특정 실시형태들을 예시로써 보여주는 첨부 도면들을 참조하여 이하에서 보다 충분하게 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태로 구현될 수도 있으며, 본 명세서에 제시된 실시형태들에 한정되는 것으로 해석되어서는 안되며; 오히려, 이러한 실시형태들은 본 개시가 철저해지고 완전해 지도록, 그리고 그 본 발명의 범위를 당업자에게 충분히 전달하도록 제공된다. 무엇보다도, 본 발명은 디바이스 또는 방법으로서 구현될 수도 있다. 이에 따라, 본 발명은 전체 하드웨어 실시형태, 전체 소프트웨어 실시형태, 또는 소프트웨어 및 하드웨어 양태들을 결합한 실시형태의 형태를 취할 수도 있다. 따라서, 다음의 상세한 설명은 한정적 의미로 이해되지 않아야 한다.
명세서 및 청구범위 전체에서, 다음의 용어들은 문맥이 명백하게 달리 진술하지 않는 한, 본원에서 명백하게 관련된 의미를 갖는다. 본 명세서에 사용된 바와 같이, "하나의 실시형태에서", "일 실시형태에서" 등과 같은 문구는 반드시 동일한 실시형태를 지칭하는 것은 아니지만, 그럴 수도 있다. 또한, 본 명세서에서 사용되는 "다른 실시형태에서" 라는 문구는 반드시 상이한 실시형태를 참조하는 것은 아니지만, 그럴 수도 있다. 따라서, 이하에서 설명되는 바와 같이, 본 발명의 다양한 실시형태들은 본 발명의 범위 또는 사상을 벗어나지 않고 용이하게 결합될 수도 있다.
또한, 본원에서 사용되는 바와 같이, "또는"이라는 용어는 포괄적인 "또는"연산자이며, 문맥이 명확하게 달리 진술하지 않는 한, 용어 "및/또는"과 동일하다. "~ 에 기초하여" 라는 용어는 배타적인 것이 아니며 문맥이 명확하게 달리 진술하지 않는 한 기술되지 않은 추가 팩터들에 기초하는 것을 허용한다. 또한, 명세서 전체에 걸쳐, "a", "an"및 "the"의 의미는 복수의 참조를 포함한다. "in"의 의미는 "in"및 "on"을 포함한다.
명세서의 설명은 광범위한 개관으로서 의도되지 않고, 이와 같이, 명확성 및 간결성을 위해 개념들이 단순화될 수도 있음을 알아야한다.
본 출원에서 언급된 모든 문헌들은 그 전문이 본원에 참조로 포함된다. 본 출원에 기술된 임의의 프로세스는 임의의 순서로 수행될 수도 있으며 프로세스에서의 단계들 중 임의의 단계를 생략할 수도 있다. 프로세스들은 또한 다른 프로세스들 또는 다른 프로세스들의 단계들과 결합될 수도 있다.
도 1 은 본 발명이 실시될 수도 있는 환경의 하나의 실시형태의 컴포넌트들을 도시한다. 본 발명을 실시하는데 모든 컴포넌트들이 요구되지는 않을 수도 있고, 컴포넌트들의 배열 및 타입의 변형들이 본 발명의 사상 또는 범위를 벗어나지 않고 이루어질 수도 있다. 도시된 바와 같이, 시스템 (100) 은 하나 이상의 로컬 영역 네트워크들 ("LAN 들")/광역 네트워크들 ("WAN 들") (112), 하나 이상의 무선 네트워크들 (110), 하나 이상의 유선 또는 무선 클라이언트 디바이스들 (106), 모바일 또는 다른 무선 클라이언트 디바이스들 (102-106), 서버들 (107-109), 광학 현미경 시스템 (111) 을 포함하고, 하나 이상의 데이터 저장소들 또는 데이터베이스들을 포함하거나 그것들과 통신할 수도 있다. 다양한 클라이언트 디바이스들 (102-106) 은 예를 들어 데스크톱 컴퓨터들, 랩톱 컴퓨터들, 셋톱 박스들, 태블릿들, 셀 폰들, 스마트 폰들 등을 포함할 수도 있다. 서버들 (107-109) 는 예를 들어 하나 이상의 애플리케이션 서버, 콘텐츠 서버, 검색 서버 등을 포함할 수 있다.
광학 현미경 시스템 (111) 은 현미경, 접안렌즈 조립체, 카메라, 슬라이드 플랫폼, 뿐아니라 도 2 에 도시된 바와 같은 전자 디바이스 (200) 의 컴포넌트들을 포함할 수도 있다. 도 2 는 서버 (109) 에 통신 가능하게 커플링된 광학 현미경 시스템 (111) 을 도시하지만, 그것은 서버들 (107-109) 중 임의의 것 또는 전부, 네트워크 (112), 무선 네트워크 (110), 및/또는 임의의 클라이언트 디바이스들 (102-106) 에 커플링될 수도 있다.
도 2 는 본 발명의 하나의 실시형태에 따른 대화형 비디오 생성 및 렌더링을 위한 시스템들 및 방법들의 하나 이상의 양태들을 구현할 수 있는 전자 디바이스 (200) 의 블록도를 도시한다. 전자 디바이스 (200) 의 예들은 서버, 예를 들어 서버 (107-109), 광학 현미경 시스템 (111), 및 클라이언트 디바이스, 예컨대 클라이언트 디바이스 (102-106) 를 포함할 수도 있다. 일반적으로, 전자 디바이스 (200) 는 프로세서/CPU (202), 메모리 (230), 파워 서플라이 (206), 및 입력/출력 (I/O) 컴포넌트들/디바이스들 (240), 예를 들어, 마이크로폰, 스피커, 디스플레이, 터치 스크린, 키보드, 마우스, 키패드, 현미경, GPS 컴포넌트들 등을 포함할 수 있으며, 이들은 예를 들어 그래픽 사용자 인터페이스를 제공하도록 동작가능할 수도 있다.
사용자는 전자 디바이스 (200) 의 터치 스크린을 통해 입력을 제공할 수도 있다. 터치 스크린은 예를 들어 사용자가 그의 또는 그녀의 손가락과 같이 사용자 몸의 일부분으로 터치 스크린을 터치하고 있는지 여부를 결정함으로써 사용자가 입력을 제공하고 있는지를 결정할 수도 있다. 전자 디바이스 (200) 는 또한 전자 디바이스 (200) 의 전술한 요소들을 연결하는 통신 버스 (204) 를 포함할 수 있다. 네트워크 인터페이스들 (214) 은 수신기 및 송신기 (또는 송수신기), 및 무선 통신을 위한 하나 이상의 안테나를 포함할 수 있다.
프로세서 (202) 는 예를 들어 중앙 처리 장치 (CPU), 및 그래픽 처리 장치 (GPU) 와 같은 임의의 유형의 처리 장치 중 하나 이상을 포함할 수 있다. 또한, 예를 들어, 프로세서는 중앙 처리 로직 또는 다른 로직일 수 있고, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합을 포함하여, 하나 이상의 기능 또는 동작을 수행하거나, 하나 이상의 다른 컴포넌트들로부터 하나 이상의 기능 또는 동작을 야기할 수도 있다. 또한, 원하는 어플리케이션 또는 필요에 기초하여, 중앙 처리 로직 또는 다른 로직은 예를 들어, 소프트웨어 제어형 마이크로프로세서, 이산 로직, 예를 들어 ASIC (Application Specific Integrated Circuit), 프로그램 가능한/프로그램되는 논리 디바이스, 명령들을 포함하는 메모리 디바이스 등, 또는 하드웨어로 구현된 조합 로직을 포함할 수도 있다. 더욱이, 로직은 또한 소프트웨어로서 완전히 구현될 수도 있다.
랜덤 액세스 메모리 (RAM) (212) 및 리드 온리 메모리 (ROM) (232) 를 포함할 수 있는 메모리 (230) 는 임의의 유형의 메모리 디바이스, 예를 들어 1 차 (CPU 에 의해 직접 액세스 가능) 또는 2 차 (CPU 에 의해 간접적으로 액세스 가능) 저장 디바이스 (예를 들어, 플래시 메모리, 자기 디스크, 광학 디스크 등) 중 하나 이상에 의해 가능하게 될 수 있다. RAM 은 운영 시스템 (221), 하나 이상의 데이터베이스들을 포함할 수도 있는 데이터 저장 장치 (224), 및 예를 들어, 디지털 조직병리학 및 현미해부 시스템 (223) 의 소프트웨어 양태들을 포함할 수 있는 프로그램들 및/또는 애플리케이션들 (222) 을 포함할 수 있다. ROM (232) 은 또한 전자 디바이스의 BIOS (Basic Input/Output System) (220) 를 포함할 수 있다.
디지털 조직병리학 및 현미해부 시스템 (223) 의 소프트웨어 양태들은 본 발명의 실시형태에 따른 방법 및 시스템을 구현하거나 용이하게 하는데 필요한 모든 프로그래밍, 어플리케이션, 알고리즘, 소프트웨어 및 다른 툴을 광범위하게 포함하거나 나타내도록 의도된다. 대화식 비디오 생성 및 렌더링 프로그램을 위한 시스템 및 방법의 엘리먼트들은 단일 서버 컴퓨터 상에 존재할 수도 있거나, 광고주, 출판사, 데이터 제공자 등을 포함할 수 있는 다수의 컴퓨터, 서버, 디바이스 또는 엔티티 사이에 분산될 수도 있다. 대화식 비디오 생성 및 렌더링 프로그램에 대한 시스템 및 방법이 다수의 컴퓨터들, 서버들, 디바이스들 또는 엔티티들에 분산되어 있는 경우, 그러한 다수의 컴퓨터들은 예를 들어 도 1 에 도시된 바와 같이 통신할 것이다.
파워 서플라이 (206) 는 하나 이상의 전력 컴포넌트를 포함하고, 전자 디바이스 (200) 에 대한 전력의 공급 및 관리를 용이하게 한다.
입력/출력 (I/O) 인터페이스들 (240) 을 포함하는 입력/출력 컴포넌트들은 예를 들어, 전자 디바이스 (200) 의 임의의 컴포넌트들, 외부 디바이스들의 컴포넌트들 (예를 들어, 네트워크 또는 시스템 (100) 의 다른 디바이스들의 컴포넌트들), 및 엔드 유저들 사이의 통신을 용이하게 하는 임의의 인터페이스들을 포함할 수 있다. 예를 들어, 그러한 컴포넌트들은 수신기, 송신기, 송수신기 및 하나 이상의 입력/출력 인터페이스들의 통합일 수도 있는 네트워크 카드를 포함할 수 있다. 예를 들어, 네트워크 카드는 네트워크의 다른 디바이스들과의 유선 또는 무선 통신을 용이하게 할 수 있다. 무선 통신의 경우들에서, 안테나는 그러한 통신을 용이하게 할 수 있다. 또한, 입력/출력 인터페이스들 (240) 의 일부 및 버스 (204) 는 전자 디바이스 (200) 의 컴포넌트들 간의 통신을 용이하게 할 수 있고, 일례로 프로세서 (202) 에 의해 수행되는 프로세싱을 용이하게 할 수 있다.
전자 디바이스 (200) 가 서버인 경우, 그것은 예를 들어 유선 또는 무선 네트워크를 통해 신호들을 전송 또는 수신할 수 있거나, 예를 들어 신호들을 프로세싱하거나 물리적 메모리 상태들로서 메모리에 신호들을 저장할 수 있을 수도 있는 컴퓨팅 디바이스를 포함할 수 있다 . 서버는 네트워크를 통해 다른 디바이스로 하나 이상의 애플리케이션들, 예를 들어, 대화식 비디오 생성 및 렌더링을 위한 시스템 및 방법의 양태들을 제공하는 구성을 포함하는 애플리케이션 서버일 수도 있다. 또한, 애플리케이션 서버는 예를 들어 대화식 비디오 생성 및 렌더링을 위한 시스템 및 방법의 예시적인 양태들의 관리를 위한 사용자 인터페이스를 제공 할 수 있는 웹 사이트를 호스팅할 수도 있다.
유선 및/또는 무선 네트워크를 통해 데이터를 전송, 수신 및 프로세싱할 수 있는 임의의 컴퓨팅 디바이스는 대화형 비디오 생성 및 렌더링을 위한 시스템 및 방법의 구현들의 양태들을 용이하게 하는 것에 있어서와 같이 서버로서 동작할 수도 있다. 따라서, 서버로서 동작하는 디바이스들은 전용 랙-장착 서버, 데스크탑 컴퓨터, 랩탑 컴퓨터, 셋톱 박스, 선행 디바이스들 중 하나 이상을 결합한 통합 디바이스들 등과 같은 디바이스들을 포함할 수도 있다.
서버는 구성 및 능력들면에서 다양할 수도 있지만, 그들은 일반적으로 하나 이상의 중앙 처리 장치, 메모리, 대용량 데이터 저장소, 파워 서플라이, 유선 또는 무선 네트워크 인터페이스, 입력/출력 인터페이스 및 Windows Server, 맥 OS X, 유닉스, 리눅스, FreeBSD 등과 같은 운영 시스템을 포함한다..
서버는 예를 들어 대화형 비디오 생성 및 렌더링을 위한 예시적인 시스템 및 방법의 양태를 용이하게하는 것에 있어서와 같이 하나 이상의 네트워크를 통해 다른 디바이스에 데이터 또는 컨텐츠를 제공하도록 구성되거나 그러한 구성을 포함하는 디바이스를 포함할 수도 있다 . 예를 들어, 하나 이상의 서버들은 웹 사이트 www.microsoft.com 과 같은 웹 사이트를 호스팅함에 있어서 사용될 수도 있다. 하나 이상의 서버는 예를 들어 비즈니스 사이트, 정보 사이트, 소셜 네트워킹 사이트, 교육 사이트, 위키, 금융 사이트, 정부 사이트, 개인 사이트 등과 같은 다양한 사이트를 호스팅할 수도 있다.
또한, 서버는 예를 들어 웹 서비스, 제 3 자 서비스, 오디오 서비스, 비디오 서비스, 전자 메일 서비스, HTTP 또는 HTTPS 서비스, 인스턴트 메시징 (IM) 서비스, SMS (Short Message Service) 서비스, 멀티미디어 메시징 서비스 (MMS) 서비스, FTP (File Transfer Protocol) 서비스, VOIP (Voice Over IP) 서비스, 일정 관리 서비스, 전화 서비스 등과 같은 다양한 서비스들을 제공할 수도 있으며, 이들 모두는 대화형 비디오 생성 및 렌더링을 위한 예시의 시스템 및 방법의 예시적인 양태와 결합하여 작동할 수도 있다. 컨텐츠는 예를 들어 텍스트, 이미지, 오디오, 비디오 등을 포함할 수도 있다.
대화형 비디오 생성 및 렌더링을 위한 시스템 및 방법의 예시의 양태들에서, 클라이언트 디바이스들은 예를 들어 유선 및/또는 무선 네트워크를 통해 데이터를 전송 및 수신할 수 있는 임의의 컴퓨팅 디바이스를 포함할 수도 있다. 이러한 클라이언트 디바이스는 셀룰러 전화, 스마트 폰, 디스플레이 페이저, 무선 주파수 (RF) 디바이스, 적외선 (IR) 디바이스, PDA (Personal Digital Assistant), 핸드 헬드 컴퓨터, GPS 가능 디바이스, 태블릿 컴퓨터, 센서 장착 디바이스, 랩톱 컴퓨터, 셋톱 박스, 웨어러블 컴퓨터, 선행 디바이스들 중 하나 이상을 결합한 통합 디바이스 등과 같은 휴대용 디바이스 뿐만 아니라 데스크탑 컴퓨터를 포함할 수도 있다.
대화형 비디오 생성 및 렌더링을 위한 예시 시스템 및 방법에서 사용될 수도 있는 클라이언트 디바이스는 성능 및 특징 면에서 광범위 할 수도 있다. 예를 들어 셀 폰, 스마트 폰 또는 태블릿은 숫자 키패드와 텍스트만 표시될 수도 있는 몇 줄의 단색 LCD (Liquid Crystal Display) 디스플레이를 가질 수도 있다. 다른 예에서, 웹-가능 클라이언트 디바이스는 물리적 또는 가상 키보드, 데이터 저장 장치 (예를 들어 플래시 메모리 또는 SD 카드), 가속도계, 자이로 스코프, GPS 또는 기타 위치 인식 능력, 및 텍스트와 그래픽이 모두 표시될 수도 있는 2D 또는 3D 터치 감지 컬러 스크린을 가질 수도 있다.
예를 들어, 대화형 비디오 생성 및 렌더링을 위한 예시적인 시스템 및 방법에서 사용될 수 있는 클라이언트 디바이스들 (102-106) 과 같은 클라이언트 디바이스들은 Windows, iOS 또는 Linux와 같은 개인용 컴퓨터 운영 시스템 및 iOS, Android, Windows Mobile 등과 같은 모바일 운영 시스템을 포함하는 다양한 운영 시스템들을 실행할 수도 있다. 클라이언트 디바이스는 데이터 전송하거나 다른 컴퓨팅 디바이스로부터 데이터를 수신하도록 구성되는 하나 이상의 애플리케이션들을 실행하는 데 사용될 수도 있다. 클라이언트 애플리케이션은 텍스트 컨텐츠, 멀티미디어 정보 등을 제공하고 수신할 수도 있다. 클라이언트 애플리케이션은 웹 페이지 검색, 웹 검색 엔진 사용, 스마트 폰에 저장된 다양한 앱과의 상호 작용, 전자 메일, SMS 또는 MMS를 통한 메시지 송수신, 게임 (예를 들어, 판타지 스포츠 리그) 의 플레이, 광고 수신 , 로컬에서 저장되거나 스트리밍된 비디오 관람, 또는 소셜 네트워크에의 참여와 같은 액션들을 수행할 수도 있다.
대화형 비디오 생성 및 렌더링을 위한 시스템 및 방법의 예시적인 양태들에서, 예를 들어 네트워크 (110 또는 112) 와 같은 하나 이상의 네트워크는 서버 및 클라이언트 디바이스를, 클라이언트 디바이스에 무선 네트워크를 통해서를 포함하여, 다른 컴퓨팅 디바이스와 커플링시킬 수도 있다. 네트워크는 하나의 전자 디바이스로부터 다른 전자 디바이스로 정보를 통신하기 위한 임의의 형태의 컴퓨터 판독가능 매체를 사용하는 것이 가능하게 될 수도 있다. 네트워크는 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN), USB (Universal Serial Bus) 포트, 다른 형태의 컴퓨터 판독가능 매체, 또는 이들의 임의의 조합을 통한 직접 접속과 함께 인터넷을 포함할 수도 있다. 서로 다른 아키텍처 및 프로토콜을 기반으로 하는 LAN 을 포함하여 상호 연결된 LAN 세트상에서, 라우터는 LAN 간 링크 역할을 하여 데이터가 서로 전송되는 것을 가능하게 한다.
LAN 내의 통신 링크는 꼬인 전선 쌍 또는 동축 케이블을 포함할 수도 있지만 네트워크 간의 통신 링크는 아날로그 전화선, 케이블 회선, 광 회선, T1, T2, T3 및 T4 를 포함한 전체 또는 부분 전용 디지털 회선, 통합 서비스 디지털 네트워크 (ISDN), 디지털 가입자 회선 (DSL), 위성 링크를 포함하는 무선 링크, 광섬유 링크, 또는 당업자에게 알려진 다른 통신 링크를 이용할 수도 있다. 또한, 원격 컴퓨터 및 기타 관련된 전자 디바이스는 모뎀 및 전화 링크를 통해 LAN 또는 WAN 에 원격으로 연결될 수 있다.
대화형 비디오 생성 및 렌더링을 위한 예시적인 시스템 및 방법에서와 같은, 무선 네트워크 (110) 와 같은 무선 네트워크는 디바이스를 네트워크와 커플할 수도 있다. 무선 네트워크는 독립형 애드혹 네트워크, 메쉬 네트워크, 무선 LAN (WLAN) 네트워크, 셀룰러 네트워크 등을 채용할 수도 있다.
무선 네트워크는 무선 라디오 링크 등에 의해 연결된 단말, 게이트웨이, 라우터 등의 자율 시스템을 더 포함할 수도 있다. 이러한 커넥터는 자유롭게 그리고 무작위로 이동하고 임의로 구성되어 무선 네트워크의 토폴로지가 빠르게 변경될 수 있다. 무선 네트워크는 셀룰러 시스템, WLAN, 무선 라우터 (WR) 메시 등에 대한 제 2 (2G), 제 3 (3G), 제 4 (4G) 세대, LTE (Long Term Evolution) 무선 액세스를 포함하는 복수의 액세스 기술을 더 채용할 수도 있다. 2G, 2.5G, 3G, 4G 및 향후 액세스 네트워크와 같은 액세스 기술은 다양한 정도의 이동성을 갖춘 클라이언트 디바이스와 같은 클라이언트 디바이스에 대해 광범위한 커버리지를 가능하게 할 수도 있다. 예를 들어, 무선 네트워크는 GSM (Global System for Mobile communication), UMTS (Universal Mobile Telecommunications System), GPRS (General Packet Radio Service), EDGE (Enhanced Data GSM Environment), 3GPP 롱 텀 에볼루션 (LTE), LTE 어드밴스드, 광대역 코드 분할 다중 접속 (WCDMA), 블루투스, 802.11b/g/n 등과 같은 무선 네트워크 액세스 기술을 통해 무선 접속을 가능하게 할 수도 있다. 무선 네트워크는 정보가 클라이언트 디바이스와 다른 컴퓨팅 디바이스, 네트워크 등 사이를 이동할 수도 있는 사실상 임의의 무선 통신 메커니즘을 포함할 수도 있다.
인터넷 프로토콜 (IP) 은 참여 디지털 통신 네트워크들의 네트워크를 통해 데이터 통신 패킷들을 송신하는데 사용될 수도 있고, TCP/IP, UDP, DECnet, NetBEUI, IPX, Appletalk 등과 같은 프로토콜들을 포함할 수도 있다. 인터넷 프로토콜의 버전들은 IPv4 및 Ipv6 를 포함한다. 인터넷은 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN), 무선 네트워크 및 로컬 영역 네트워크 간에 패킷이 통신되는 것을 허용할 수도 있는 장거리 공공 네트워크를 포함한다. 패킷들은 네트워크 내의 노드들 사이에서 고유한 로컬 네트워크 어드레스를 각각 갖는 사이트들로 송신될 수도 있다. 데이터 통신 패킷은 인터넷에 접속된 액세스 노드를 통해 사용자 사이트로부터 인터넷을 통해 전송될 수도 있다. 목표 사이트의 사이트 어드레스가 패킷의 헤더에 포함되는 경우, 패킷은 네트워크 노드를 통해 네트워크에 연결된 임의의 목표 사이트로 포워딩될 수도 있다. 인터넷을 통해 통신되는 각 패킷은 ?嗔? 어드레스 및 목표 사이트에 연결하기 위한 네트워크 경로의 가용성에 따라 패킷을 전환하는 게이트웨이 및 서버에 의해 결정된 경로를 통해 라우팅될 수도 있다.
패킷의 헤더는 예를 들어 소스 포트 (16 비트), 목적지 포트 (16 비트), 시퀀스 번호 (32 비트), 확인 응답 번호 (32 비트), 데이터 오프셋 (4 비트), 예비 비트 (16 비트), 체크섬 (16 비트), 긴급 포인터 (16 비트), 옵션 (8 비트 길이의 배수에서의 가변 개수의 비트), 패딩 (모든 0 으로 구성될 수 있으며 헤더가 32 비트 경계에서 종료하도록 다수의 비트를 포함함) 을 포함할 수도 있다. 위의 각각에 대한 비트 수는 또한 더 높거나 낮을 수도 있다.
대화형 비디오 생성 및 렌더링을 위한 예시적인 시스템 및 방법에서 사용될 수 있는 "컨텐츠 전달 네트워크"또는 "컨텐츠 배포 네트워크"(CDN) 는 일반적으로 컨텐츠 제공자를 대신하여 컨텐츠, 스트리밍 미디어 및 애플리케이션의 저장, 캐싱 또는 송신과 같은 다양한 서비스를 용이하게 하기 위해 고안된 소프트웨어, 시스템, 프로토콜 및 기법과 함께 네트워크 또는 네트워크들에 의해 링크된 자율 컴퓨터들의 집합을 포함하는 분산 컴퓨터 시스템을 지칭한다. 이러한 서비스는 "클라우드 컴퓨팅", 분산 저장 장치, DNS 요청 핸들링, 프로비저닝, 데이터 모니터링 및 보고, 컨텐츠 목표 지정, 개인 설정 및 비즈니스 인텔리전스를 포함하지만, 이들에 제한되지 않는 부수적인 기술을 이용할 수도 있다. 또한 CDN 은 제 3자를 대신하여 엔티티가 전체적으로 또는 부분적으로 제 3 자의 웹 사이트 인프라를 운영 및/또는 관리하는 것을 가능하게 할 수도 있다.
P2P (Peer-to-Peer) 컴퓨터 네트워크는 주어진 전용 서버 집합에 집중하기보다는 네트워크의 참가자의 컴퓨팅 성능과 대역폭에 주로 의존한다. P2P 네트워크는 통상적으로 대개 애드혹 연결을 통해 노드들을 연결하는 데 사용된다. 순수한 피어-투-피어 네트워크는 클라이언트 또는 서버의 개념이 없지만 네트워크의 다른 노드에 "클라이언트"와 "서버" 양자 모두로서 동시에 기능하는 동등한 피어 노드들만을 갖는다.
본 발명의 일 실시형태는 디지털 조직병리학 및 현미해부와 관련된 시스템, 방법, 및 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 로직을 유형적으로 저장하는 비일시적 컴퓨터 판독가능 저장 매체 또는 매체들을 포함한다.
위에서 언급했듯이, 조직 샘플 ("샘플") 이 병에 걸렸는지, 또는 특히 암에 걸렸는지를 다수의 병리학자들이 검토하고 결정하도록 요구하는 것은 신뢰할 수 없고, 비싸며, 시간이 오래 걸린다.
본 발명의 일 실시형태는 샘플이 병에 걸렸는지를 결정하는 것을 포함한다. 이하에 기술 된 실시형태는 특히 암을 참조한다. 그러나, 본 발명의 실시형태들은 다른 질병에 대한 결정을 내리기 위해 사용될 수도 있다.
본 발명의 일 실시형태는 컴퓨터 비전을 사용함으로써 샘플이 암에 걸렸는지를 결정하는 것에 관한 것이다. 컴퓨터 비전은 하나 이상의 디지털 이미지에서 유용한 정보를 자동으로 추출, 분석 및 이해하는 것과 관련된다. 예를 들어, 컴퓨터 비전은 디지털 이미지에서 사람의 얼굴의 위치를 결정하고, 그 사람의 눈의 위치를 결정하고, 그 사람의 눈동자 간 거리를 측정함으로써 사진 속의 사람의 나이를 결정하는데 사용될 수도 있다.
기계 학습 분야에서, CNN (Convolutional Neural Network) 은 컴퓨터 비전 분야에서 사용될 수도 있는 인공 신경망이다. Christian Szegedy 외 의한 기사 Rethinking the Inception Architecture for Computer Vision (arXiv : 1512.00567v3 [cs.CV] 11 Dec 2015) 은 컴퓨터 비전에서 CNN 의 사용을 논의한다. CNN 은 도 5 에 도시된 바와 같이 복수의 계층, 및 각 계층 내의 복수의 파라미터들 (입력 사이즈) 을 갖는다. 도 5 는 계층의 타입, 패치 사이즈 및 각 계층의 입력 사이즈에 대한 정보를 포함한다. 파라미터들의 값들은 CNN 의 출력을 결정한다.
CNN 은 조직 샘플의 이미지의 입력을 제공받을 수 있고, CNN 은 상기 이미지가 암인지 비암인지의 확률을 출력으로서 제공할 수도 있다. 조직 샘플의 이미지는 슬라이드 이미지, 특히 디지털 조직병리학 이미지일 수도 있다. 이러한 결정을 내리는 CNN 에 앞서, 본 발명의 일 실시형태에 따르면, CNN 은 관련 이미지 (즉, 암세포의 이미지 및 암세포가 없는 이미지) 를 사용하여 트레이닝될 수도 있다.
도 3 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현할 수 있는 전자 디바이스의 아키텍쳐 다이어그램을 도시한다. 도 3 은 이미지 프로세싱 엔진 (301) 을 포함한다. 이미지 프로세싱 엔진 (301) 은 도 2 의 프로그램들 및/또는 애플리케이션들 (222) 에 의해 구현될 수도 있으며, 그들은 예를 들어, 디지털 조직병리학 및 현미해부 시스템 (223) 의 소프트웨어 양태들을 포함할 수 있다. 이미지 프로세싱 엔진 (301) 은 CNN (315) 을 트레이닝하는 트레이닝 엔진 (302) 을 포함한다.
도 4 는 트레이닝 엔진 (302)에 의해 수행되는 CNN 트레이닝 프로세스를 도시한다. 도 4 에 도시된 바와 같이, 트레이닝 엔진 (302) 에 의한 CNN (315) 의 트레이닝은 다수의 단계를 포함한다. 단계 (401) 에서, CNN (315) 은 상이한 타입들/그룹들의 디지털 조직 이미지들의 복수의 패치들을 수신한다. 복수의 패치들은 예를 들어 복수의 정상 패치 및 복수의 양성 패치 (트레이닝 패치들 302A) 를 포함할 수도 있다. 트레이닝 패치들 (302A) 은 보다 큰 이미지의 부분들이다. 이 경우, 보다 큰 이미지는 양성 및 정상 패치들을 가질 수도 있는 생물학적 샘플의 디지털 이미지일 수도 있다. 트레이닝 패치들은 또한 다수의 보다 큰 이미지들에서 올 수도 있다. 양성 패치는 암인 것으로 알려져있는 패치이며 정상적인 패치는 비암인 것으로 알려져있는 패치이다 (즉, 그것들은 병리학자나 컴퓨터 비전에 의해 암 또는 비암인 것으로 이전에 결정되었을 수도 있음). 암의 타입들은 유방암, 방광암, 뇌암, 폐암, 췌장암, 피부암, 대장암, 전립선 암, 위암, 간암, 자궁 경부암, 식도암, 백혈병, 비호지킨림프종, 신장암, 자궁암, 담도암, 골암, 난소암, 담낭암, 위장암, 구강암, 인후암, 안구암, 골반 암, 척추암, 고환암, 질암, 외음부암, 및 갑상선암을 포함할 수도 있지만 반드시 이들에 제한되지는 않는다.
단계 (401) 에서, 트레이닝 엔진 (302) 은 CNN (315) 의 아직 트레이닝되지 않은 분류기에 대한 입력으로서 다수의 정상 패치 및 다수의 양성 패치 (트레이닝 패치 302A) (예를 들어, 1000, 5000, 10000, 20000 , 30000, 40000, 50000, 75000 또는 100000 개의 양성 패치들 및 동일한 수, 동일하지 않은 수, 또는 실질적으로 유사한 수 (예를 들어, 1 %, 3 %, 5 % 또는 10 % 이내의 수) 의 정상 패치들) 를, 입력 패치들과 유사한 특성들을 갖는 패치들을 인식함에 있어서 CNN (315) 을 트레이닝하기 위해 제공할 수도 있다. 불충분한 수의 고유한 정상 또는 양성 패치들이 존재하는 경우, 트레이닝 엔진 (302) 은 특정 패치 그룹 (즉, 양성 또는 정상) 내의 랜덤하게 선택된 (또는 사용자에 의해 선택된 패치) 기존 트레이닝 패치를 복제하고 그 패치를 수정할 수도 있다 . 예를 들어, 패치는 그것을 90도, 180도 또는 270 도로 회전시켜서 수정될 수도 있고, 및/또는 패치의 컬러 스킴이 수정될 수도 있고 및/또는 패치에 왜곡을 추가할 수도 있고, 및/또는 패치가 그레이스케일로 변환될 수도 있고 및/또는 패치의 일부분이 절단될 수 있고 및/또는 패치가 플립핑 (flipping) 될 수 있고 및/또는 패치가 리사이징 될 수도 있다. 트레이닝 패치들은 다음을 포함할 수 있는 변형을 받을 수 있다: 회전, 스큐잉 (skewing), 아핀 (affine), 병진, 거울 이미지 등. 전술 한 바와 같이, 랜덤 패치가 선택될 수도 있고 그 후 랜덤 수정 방식이 적용될 수도 있다. (회전의 정도와 같은) 변수가 포함된 경우, 변수의 값을 선택하는 데 난수가 사용될 수도 있다.
CNN (315) 의 결과의 훈련된 분류기는 다음의 타입들의 분류기들 중 적어도 하나일 수도 있다: 지원 벡터 머신, 소프트맥스, 결정 트리, 랜덤 포레스트, k 최근 (nearest) 이웃, 선형 및 이차 판별 분석, 릿지 회귀 (Ridge Regression), MLP (MultiLayer Perceptron), 하이퍼-파이프, 베이즈 네트 (Bayes net), k-평균 클러스터링 및/또는 나이브 베이즈.
복수의 정상 패치들 및 양성 패치들을 제공하는 것에 더하여, 각 패치에 대해, 트레이닝 엔진 (302) 은 각 패치에 대한 정확한 출력의 CNN (315) 값들을 제공한다. 예를 들어, 패치가 정상이면 0 이 제공될 수도 있고, 패치가 양성 (즉, 암 또는 다른 질병) 일 경우 1 이 제공된다.
단계 (403) 에서, 트레이닝 엔진 (302) 은, CNN (315) 에서, CNN (315) 아키텍처의 하나 이상의 완전히 연결된 계층들의 입력 사이즈를 새로운 값으로 설정하며, 그 새로운 값은 복수의 패치 내의 패치들의 타입들의 카디널리티에 기초하여 결정된다. 예를 들어, 두 가지 타입의 패치들 (정상 및 양성) 의 경우, 패치들의 타입들의 카디널리티는 2 가 될 것이다. 보다 상세하게는, 도 5 의 마지막 행에 도시된 바와 같은, CNN (315) 의 softmax 계층의 입력 사이즈는 1X1x2 로 설정될 수도 있다.
단계 (405) 에서, 트레이닝 엔진 (302) 은, CNN (315) 에서, 하나 이상의 완전히 연결된 계층들 의 파라미터들 (예를 들어, CNN 파라미터들 (309)) 의 값들의 분포를 팝퓰레이팅한다. 값들의 분포는 가우스 분포, 포아송 분포 또는 사용자 생성 분포일 수도 있다. CNN 파라미터들 (309) 은 CNN 이 그것의 트레이닝에 기초하여 분류하는 방법을 결정한다.
그 후, 복수의 패치가 트레이닝 엔진 (302) 에 의해 CNN (315) 에 입력될 수도 있고, 각 패치의 초기 클래스 확률 스코어들이 CNN (315) 에 의해 생성되어 메모리에 저장된다 (복수의 패치들의 제 1 초기 클래스 확률 스코어들). 초기 클래스 확률 스코어는 (각 패치의 제 1 분류를 행하기 위해) 특정 패치가 정상 패치들의 그룹 또는 양성 패치들의 그룹에 속할 확률을 나타낸다. 단계 (405) 는 그 제 1 분류를 현재의 분류로서 설정한다.
단계 (407) 에서, 트레이닝 엔진 (302) 은, CNN (315) 에서, 하나 이상의 완전히 연결된 계층들의 파라미터들 (309) 의 값들을 조정한다.
단계 (409) 에서, 단계 (407) 에서의 파라미터들의 값들의 조정 후, 복수의 패치들이 트레이닝 엔진 (302) 에 의해 CNN (315) 에 입력되고, (복수의 패치들의 조정된 분류를 행하기 위해) 각 패치의 클래스 확률 스코어들이 조정 후에 결정되고 CNN (315) 에 의해 할당되고 조정된 클래스 확률 스코어들로서 메모리에 저장된다. 조정전 (pre-adjustment) (또는 가장 최근의 조정 이전) 패치의 클래스 확률 스코어는 제 1 초기 클래스 확률 스코어로서 지칭될 수 있고, 조정후 (post-adjustment) 패치의 확률 스코어는 제 2 초기 클래스 확률 스코어로서 지칭될 수도 있다.
그 후, 단계 (411) 에서, 트레이닝 엔진 (302) 은 복수의 패치의 조정된 클래스 확률 스코어들 (때로는 제 1 초기 클래스 확률 스코어들로서 언급됨) 이 복수의 패치들의 현재의 클래스 확률 스코어들 (때로는 제 2 초기 클래스 확률 스코어들로서 언급됨) 보다 더 정확한지 여부를 결정한다. 즉, 단계 (411) 에서, 단계 (407) 에서 조정된 파라미터들이 단계 (407) 에서의 조정 전에 사용된 파라미터 값들보다 더 정확한 확률들을 생성하는지 여부가 결정된다. 단계 (411) 의 결정은 복수의 패치들의 조정된 클래스 확률 스코어들과 복수의 패치들의 정확한 초기 클래스 확률 스코어 사이의 차이의 제곱들의 합이 복수의 패치들의 현재의 클래스 확률 스코어들과 복수의 패치들의 정확한 초기 클래스 확률 스코어 사이의 차이의 제곱들의 합보다 낮다고 결정하는 것을 포함할 수도 있다. 조정된 클래스 확률 스코어들이 현재의 클래스 확률 스코어들보다 더 정확하다고 결정되면, 조정된 분류는 새로운 현재의 분류로 설정된다. 프로세스는 단계 (411) 로부터 단계 (407) 로 되돌아 가서 단계 (407-411) 를 계속 반복한다. 즉, 최상의 파라미터들의 세트를 찾기 위해 파라미터들은 여러 번 조정될 수도 있다.
일단 CNN 이 도 4 의 프로세스에 따라 트레이닝되었고 최적의 파라미터들이 설정/조정된 경우, CNN 은 그 후 확률이 알려지지 않은 생물학적 샘플들의 이미지들의 패치들에 대한 초기 클래스 확률들을 결정하는데 사용될 수도 있다. 즉, 일단 분류기가 트레이닝되면, 그것은 "테스트" 패치들과 함께 사용하기 위해 준비된다. 테스트 패치들은 실제의 살아있는 환자의 조직 샘플에서 얻은 패치들이다.
도 6 은 생물학적 샘플의 디지털 조직 이미지를 수신하고 암을 가질 가능성이 있는 부분들 및 암을 갖는 샘플 내의 특정 영역들의 가능성 (likelihood) 을 결정하기 위한 방법을 도시한다. 이 방법은 트레이닝된 분류기를 사용하여 수행된다.
단계 (601) 에서, 이미지 프로세싱 엔진 (301) 은 생물학적 샘플의 디지털 조직 이미지에 대한 액세스를 획득한다. 디지털 이미지는 예를 들어 SVS, TIFF, VMS, VMU, NDPI, SCN, MRXS, SVSLIDE, BIF, PDF, JPG, BMP, GIF 및 임의의 다른 디지털 이미지 형식과 같은 다양한 형태일 수도 있다. 또한, 디지털 이미지는 서버 (예를 들어, 하나 이상의 서버 (107-109)) 상에 위치될 수도 있고, 그것은 큰 이미지 (크기가 다수의 GB) 일 수 있고, 그 이미지는 클라우드에 저장될 수도 있으며, 도 6 에서의 모든 분석은 클라우드에서 수행될 수도 있다. 클라우드는 서버 (107-109) 를 포함할 수도 있다. 그러나, 도 6 의 단계들은 또한 하나 이상의 클라이언트 디바이스들 (102-106) 또는 서버 (107-109) 및/또는 클라이언트 디바이스들 (102-106) 의 조합에서 수행될 수도 있다. 프로세싱은 병렬이고 여러 개의 서버들에서 발생할 수도 있다.
단계 (603) 에서, 타일 생성 엔진 (303) 은 디지털 조직 이미지를 이미지 패치들 (307) 의 집합으로 타일링한다. 각각의 타일/패치는, 예를 들어, 1000x1000 픽셀 이하, 400x400 픽셀 이하, 256x256 픽셀 이하 또는 임의의 다른 적절한 수의 픽셀들일 수도 있다. 타일링 단계는 하나 이상의 컴퓨터에 의해 반복적으로 또는 병렬로 수행될 수도 있다. 타일링은 균일한 사이즈 및 균일한 형상을 갖는 이미지 패치들을 생성하는 것을 포함할 수도 있다. 패치의 사이즈는 분류기가 트리에닝되었던 방법의 함수일 수도 있다. 예를 들어, 분류기/CNN 이 400x400 패치를 사용하여 트레이닝되었던 경우, 타일 생성 엔진 (303) 은 이미지를 동일 사이즈 (400x400) 패치들로 또는 분류기의 트레이닝에 사용된 패치들의 사이즈의 1 %, 3 %, 5 %, 10 %, 20 %, 25 %, 또는 30 % 내로 타일링할 수도 있다.
단계 (603) 에서, 패치들 (307) 은 일정한 사이즈 및 형상일 수도 아닐 수도 있다. 예를 들어, 한 패치는 400x400 이고 다른 패치는 300x300 또는 300x200 일 수도 있다. 패치들은 또한 정사각형일 필요는 없으며, 그것들은 직사각형, 원형, 타원 또는 더 복잡한 형상들일 수도 있다. Penrose 타일링, 벌크 배제 및/또는 바운드 박스들과 같은 타일링을 위한 다양한 프로세스들이 사용될 수도 있다.
단계 (603) 에서, 생성된 패치들은 중첩되거나 중첩되지 않을 수도 있다. 즉, 디지털 이미지의 동일한 영역은 하나보다 많은 타일/패치에 포함되거나 포함되지 않을 수도 있다.
단계 (605) 에서, 패치 식별 엔진 (304) 은 픽셀 컨텐츠의 함수로서 타일링된 패치들로부터 목표 조직 패치들의 세트를 식별/선택한다. 예를 들어, 식별은 이미지 패치들 내의 픽셀들의 컬러 채널들에 기초하여 패치들을 필터링하는 것을 포함할 수도 있다. 예를 들어, 식별은 패치들의 분산의 함수로서 수행될 수도 있다. 패치들의 분산은 특정의 패치에서의 레드 그린 블루 (RGB) 채널들 및/또는 색조, 채도, 값 (HSV) 및/또는 색조 채도 및/또는 휘도 (HLS) 및/또는 색조 채도 강도 (Hue Saturation Intensity: HIS) 의 분산에 기초할 수도 있다. 이 단계는 세포들을 포함하는 패치들만 고려하는 것을 보증하는데 도움이 된다. 일단 단계 (605) 가 완료되면, 세포들을 갖는 패치들만이 식별/선택된다. 그러한 패치들은 도 9a 에 도시된다 (비록 세포들이 도 9a 의 패치들에 도시되지 않지만, 도 9a 는 패치들의 대표적인 다이어그램이며, 도 9a 에서의 각각의 패치는 실제로 복수의 염색된 세포들을 포함하는 것으로 가정된다).
단계 (607) 에서, CNN (315) 에 요청을 보내기 전에, 확률 결정 엔진 (305) 은 디지털 조직 이미지에 결부된 생물학적 샘플 메타데이터에 따라 정의된 분류기 선택 기준들에 따라 CNN (315) 내의 선험적으로 (a priori) 트레이닝된 분류기들로부터의 특정의 트레이닝된 분류기를 선택할 수도 있다. 생물학적 샘플 메타데이터는 다음 중 적어도 하나와 연관된 디지털 정보를 포함한다: 조직 타입, 조직 도너, 스캐너, 스테인 (stain), 염색 기법, 작성자의 식별자, 이미지 사이즈, 샘플 식별자, 추적 식별자, 버전 넘버, 파일 타입, 이미지 날짜, 증상, 진단, 담당 의사의 식별 정보, 조직 도너의 병력, 조직 도너의 인구통계학적 정보, 조직 도너의 가족의 병력, 및 조직 도너의 종. 다중-접종 면역 조직 화학 (IHC) 이 사용될 수도 있다 (예를 들어, PerkinElmer 에 의해 제공된 기술; http://www.perkinelmer.com/lab-solutions 참조). IHC 시스템은 조직들의 매우 복잡한 디지털 이미지들의 생성을 허용한다. IHC 시스템은 서로 다른 유형의 세포에 부착되는 바이오태그 (biotag) 로부터의 다수의 상이한 파장들의 빛의 캡쳐링 (capturing) 을 제공한다. 일단 슬라이드가 스캔되면, 시스템은 원하는 염색된 슬라이드를 종합적으로 재생성할 수 있다. 따라서, 이러한 시스템을 사용하여 바이오태그 사용, 표적 세포의 타입 (예를 들어, 종양 세포, 정상 세포, T 세포, NK 세포, B 세포 등) 에 기초한 빛의 파장에 기초한 트레이닝 데이터를 생성하는 것이 가능하다. 일단 트레이닝되면, CNN (315) 를 사용하여 바이오태그에 기초하여 관심 영역을 식별하는 것이 가능하다.
그 다음, 확률 결정 엔진 (305) 은 도 9a 의 각 패치를 목표 조직 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 할당하라는 요청을 갖는 CNN (315) (이것는 훈련되었고, 따라서 전술한 바와 같이 선험적으로 트레이닝된 분류기들의 데이터베이스를 포함한다) 으로 송신한다. 관심의 클래스는 조직의 다음의 타입들 중 적어도 하나를 포함할 수도 있다: 비정상 조직, 양성 조직, 악성 조직, 뼈 조직, 피부 조직, 신경 조직, 간질 조직, 근육 조직, 결합 조직, 반흔 조직, 림프 조직, 지방, 상피 조직, 신경 조직 및 혈관. 관심의 클래스는 또한 암 또는 비 암 (즉, 양성 또는 정상) 일 수도 있다. 관심의 클래스는 또한 상이한 타입들의 암일 수도 있다. 즉, 입력 패치가 암일 (0 과 1 사이의) 확률 (1 은 패치가 암을 포함할 100 % 가능성이고 0 은 패치가 암을 포함할 0 % 가능성임). CNN (315) 은 확률 결정 엔진 (305) 에 확률을 출력한다. 도 3 은 확률 결정 엔진 (305) 과 CNN (315) 사이의 직접 통신을 보여 주지만, 둘 사이에 다수의 노드가 존재할 수 있고 CNN 은 복수의 서버를, 직렬로 또는 병렬로, 사용하여 요청을 프로세싱할 수도 있다.
도 9b 는 CNN (315) 에 의해 결정되고 CNN (315) 에 의해 확률 결정 엔진 (305) 에 통신된 25 개의 대표적인 패치들 각각의 초기 클래스 확률 스코어들을 나타내는 대표적인 다이어그램이다. 도 9a 내지 도 9f 에서, 단지 참조 및 설명의 용이함을 위해, 열 및 행 번호들이 도면에서 라벨링되어 다음의 표기법을 사용하여 행 및 열 번호를 식별함으로써 각 패치가 참조될 수 있다 : (열 번호, 행 번호). 도시된 바와 같이, 예를 들어, 도 9b 에서, 패치 (1,1) 가 암세포를 포함할 확률은 0.4 이며, 패치 (2, 2) 가 암세포를 포함할 확률은 0.8 이고, 패치 (5,1) 가 암을 포함할 확률은 0.05 이고, 패치 (4, 2) 가 암을 포함할 확률은 0.9 인 등등이다. 이들 확률들은 특정 패치가 암세포를 갖는 것만의 가능성에 기초하고, 특정 패치의 확률을 컴퓨팅함에 있어서 임의의 다른 패치의 확률들을 고려하지 않는다. 각 패치의 초기 클래스 확률은 RAM 또는 다른 메모리에 저장된다.
단계 (609) 에서, 분류 엔진 (311) 은 제 1 시드 영역 기준들을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치를 식별함으로써 조직 영역 시드 위치 패치들의 제 1 세트를 생성한다. 이러한 제 1 시드 영역 기준들은 위치 기준들로 간주될 수도 있다. 예를 들어, 기준들은 0.9 이상의 초기 클래스 확률을 갖는 임의의 패치들을 식별하는 것일 수도 있다. 도 9b 에서 할당된 초기 클래스 확률을 사용하여, 도 9c 는 생성된 조직 영역 시드 패치들의 제 1 세트를 도시한다. 특히, 도 9c 는 생성된 조직 영역 시드 패치들의 제 1 세트가 패치 (2,4), 패치 (3,3), 패치 (3, 4) 및 패치 (4,2) 를 포함하는 것을 도시한다. 생성된 조직 영역 시드 패치들의 제 1 세트는 도 9c 에 패치의 초기 클래스 확률에 밑줄을 붙여 대표적으로 표시되어있다. 조직 영역 시드 패치들의 제 1 세트의 확률들은 RAM 또는 다른 메모리에 저장된다. 시드 패치들은 관심 영역들이 구축되는 초기 시드 위치들로 간주될 수 있다.
단계 (611) 에서, 분류 엔진 (311) 은 제 2 시드 영역 기준들을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 위치 패치들의 제 2 세트를 생성한다. 단계 (611) 의 프로세싱은 단계 (609) 에서 생성된 조직 영역 패치들의 제 1 세트 부근에서만 (즉, 제 1 세트로부터 소정 수의 이웃들 내에서) 수행될 수도 있다. 이러한 제 2 시드 영역 기준들은 형상 기준들로 간주될 수도 있다. 즉, 생성 된 조직 영역 시드 패치들의 제 2 세트는 일반적으로 종종 인접한 형상을 형성할 것이다. 예를 들어, 기준들은 0.5 이상의 초기 클래스 확률을 갖는 임의의 패치들을 식별하는 것일 수도 있다 (제 2 시드 영역 기준들은 일반적으로 제 1 시드 영역 기준들보다 낮고 충족시키기에 더 쉽다). 도 9b 에서 할당된 초기 클래스 확률을 사용하여, 도 9d 는 생성된 조직 영역 시드 패치들의 제 2 세트를 도시한다. 특히, 도 9d 는 생성된 조직 영역 시드 패치들의 제 2 세트가 패치 (1,3), 패치 (2, 2), 패치 (2,3), 패치 (2,4), 패치 (3,2), 패치 (3, 3), 패치 (3, 4), 패치 (4, 2), 패치 (4, 3), 패치 (5,2) 및 패치 (5, 3) 을 포함하는 것을 보여준다. 생성된 조직 영역 시드 패치들의 제 2 세트는 도 9d 에 생성된 패치의 초기 클래스 확률을 더 큰 폰트 크기로 보여줌으로써 대표적으로 표시된다. 조직 영역 시드 패치들의 제 2 세트는 RAM 또는 다른 메모리에 저장된다.
단계 (613) 에서, 분류 엔진 (311) 은 관심 영역들을 결정하고 (단계 611 에서 생성된) 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를, 조직 영역 시드 패치들의 제 2 세트의 이웃 패치들의 초기 클래스 확률 스코어들 및 문제 영역 시드 패치들의 제 1 세트 내의 패치들까지의 거리의 함수로서 계산한다. 이웃 패치들은 제 1 이웃 (인접 이웃들), 제 2 이웃 (제 2 이웃 패치들 사이의 하나의 패치), 제 3 이웃 (제 3 이웃들 사이의 두 개의 패치들) 또는 임의의 다른 레벨 이웃을 지칭할 수도 있다. 거리는 패치 또는 픽셀 단위로 측정될 수도 있다. 이러한 단계에서, 분류 엔진 (311) 은 이웃들에 기초하여 조직 영역 시드 패치들의 제 2 세트 내의 각 패치의 스코어들을 정제하고 있다.
관심 영역 (ROI) (313) 은 하나 이상의 연결된 패치들의 그룹이다. ROI 들 (313) 은 조직 영역 시드 패치의 제 1 세트, 조직 영역 시드 패치의 제 2 세트 또는 조직 영역 시드 패치의 제 1 및 제 2 세트의 조합된 세트에 대해 개별적으로 계산될 수도 있다. 8 개의 이웃들 (정사각형 또는 직사각형 패치를 가정할 때 4 개의 에지 이웃 및 4 개의 코너 이웃) 중 하나가 조직 영역 시드 패치들의 동일한 세트에 있으면 2 개의 패치가 연결된다. 패치들은 또한 정사각형 또는 직사각형 이외의 형상들일 수도 있다. 패치는 예를 들어 다각형, 육각형 (볼록 및 오목), 오각형, 삼각형, 팔각형, 구각형, 원형, 타원형, 사다리꼴, 타원형, 불규칙형 등일 수도 있다. 일단 하나 이상의 ROI 들 (313) 이 결정되면, 각 ROI (313) 에 대한 관심 영역 스코어 ("ROI 스코어") 는 분류 엔진 (311) 에 의해 계산된다. ROI (313) 스코어는 ROI (313) 의 사이즈 (즉, ROI 를 포함하는 패치 또는 픽셀의 수) 의 함수일 수도 있다. 이러한 스코어링 방법은 종양 세포가 그룹으로 존재하는 경향이 있다는 사실을 이용한다. 따라서, 패치가 종양/암을 포함할 확률이 높고 그것의 이웃들 중 일부가 종양을 포함할 확률이 높으면, 이 ROI 가 종양이고 ROI 스코어가 이러한 높은 확률을 반영할 가능성이 크다.
단계 (613) 의 일 실시형태에서, 분류 엔진 (311) 은 연결된 이웃 패치들을 함께 그룹화하고 각 ROI (313) 에 대한 중심을 계산함으로써 조직 영역 시드 패치들의 제 1 세트로부터 ROI 들의 리스트를 생성한다. 이것은 ROI 들의 리스트 L_high 를 야기한다. 분류 엔진 (311) 은 또한 연결된 이웃 패치들을 함께 그룹화하고 각 ROI 에 대한 중심을 계산함으로써 조직 영역 시드 패치들의 제 2 세트로부터 ROI 들의 리스트를 생성한다. 이것은 ROI 들의 리스트 L_low 를 야기한다. L_high 내의 ROI 들 각각은 다음과 같이 스코어가 할당된다. L_high 내의 패치의 사이즈 (패치 수) 가 1 이면 ROI 는 0.2 의 스코어가 할당되고; 사이즈가 2 이면 ROI 는 0.3 의 스코어가 할당되며; 사이즈가 3 이면 ROI 는 0.4 의 스코어가 할당되고; 사이즈가 4 이면 ROI 는 0.5 의 스코어가 할당되며; 사이즈가 5 이면 ROI 는 0.6 의 스코어가 할당되고; 사이즈가 6 인 경우 ROI 는 0.7 의 스코어가 할당되고; 사이즈가 7이면 ROI 는 0.8 의 스코어가 할당되며; 사이즈가 8 인 경우 ROI 는 0.9 의 스코어가 할당되고; 사이즈가 9 이상이면 ROI 는 1.0 의 스코어가 할당된다. 위의 매핑은 예시이며 스코어에 대한 사이즈의 상이한 매핑이 (예를 들어, 패치의 사이즈의 함수로서) 사용될 수도 있다.
일단 상기 초기 스코어링이 수행되면, L_low 내의 ROI 가 L_high 내의 ROI 에 충분히 가까우면, 분류 엔진 (311) 은 L_high 내의 ROI 의 스코어를 부스팅시킨다. 이것은 높은 확률 (예를 들어, 0.9 이상) 을 갖는 패치들이 더 낮지만 여전히 유의할만한 종양 확률 (예를 들어, 0.5 이상) 을 갖는 패치들로 둘러싸여 있는 (또는 그러한 패치들 근처에 있는) 경우에는 L_high 내의 이러한 ROI 가 종양이라는 더 큰 확신을 갖는다는 것을 의미한다. 충분히 가까운 것은 그들의 중심들 (centroids) 사이의 거리가 패치들의 미리 결정된 수, 예를 들어, 5, 또는 6, 또는 7, 또는 8, 또는 9, 또는 10, 또는 11, 또는 12, 또는 13, 또는 14, 또는 15 보다 작은 두 개의 ROI 들로 정의될 수도 있다.
스코어 부스팅은 다음과 같이 계산된다. L_high 내의 ROI 에 충분히 가까운 L_low 내의 ROI 의 사이즈가 5 패치인 경우 L_high 내의 ROI 의 스코어를 0.05 만큼 부스팅하고, 사이즈가 10 패치인 경우 L_high 내의 ROI 의 스코어를 0.10 만큼 부스팅하며, 사이즈가 15 패치인 경우 L_high 내의 ROI 의 스코어를 0.15 만큼 부스팅한다. 5-10 및 10-15 사이의 사이즈들은 정의된 스코어 부스트와 함께 가장 가까운 사이즈로 라운딩된다. 스코어는 (스코어가 1.0 위로 부스팅되는 경우) 1.0 의 상한선을 갖는다. 최종 출력은 중심 위치 및 스코어를 각각 갖는 ROI 들의 리스트 L_high 일 수도 있다. ROI (들) 및 스코어(들) 은 디스플레이 상에 렌더링될 수도 있다.
ROI (들) 은 상이한 타입들의 마스크들의 경계를 정할 수도 있다. ROI (들) 은 이미지들 내의 배경으로부터 전경을 분리하는 데 사용되는 객체 전경 마스크들을 포함할 수도 있다. ROI (들) 은 예를 들어, 조직 마스크를 포함하여, 조직의 영역들의 경계를 정하고 조직이 없는 영역들을 제외할 수도 있다. 이것은 조직 ROI 에 프로세싱 리소스들을 집중시키는 데 사용될 수도 있다. ROI (들) 은 현미해부 마스크를 포함할 수도 있으며, 그것은 추가의 프로세싱을 위해 목표 ROI 를 제거하기 위해 레이저 (또는 다른 유형의) 현미해부를 수행하는데 사용될 수도 있다. 특정 ROI 들만이 ROI 의 사이즈 및 ROI 의 품질에 기초하여 현미해부 마스크로로서 사용될 수도 있다. 즉, 특정 ROI 들은 현미해부에 적합하지 않을 수도 있다 (예를 들어, 전체적으로 너무 작거나 특정 지점에서 너무 좁은 ROI 들).
예를 들어, 도 9e 에 도시된 바와 같이, 패치 (2, 4), 패치 (3, 3), 패치 (3, 4), 및 패치 (4, 2) 를 포함하는 L_high 내의 단일의 ROI 가 존재한다. 도 9f 에 도시된 바와 같이, 패치 (1, 3), 패치 (2, 2), 패치 (2, 3), 패치 (2, 4), 패치 (3, 2), 패치 (3, 3), 패치 (3, 4), 패치 (4, 2), 패치 (4, 3), 패치 (5, 2), 및 패치 (5, 3) 를 포함하는 L_low 내의 단일의 ROI 가 또한 존재한다.
L_high 내의 ROI 의 사이즈 (패치들의 수) 는 4 이므로 초기 ROI 스코어는 0.5 일 것이다. 그러나, 위의 스코어 부스팅 규칙들에 기초하여, L_high 및 L_low 내의 ROI 들의 중심들이 10 개의 패치들 내에 있고 L_low 내의 ROI 의 사이즈가 11 (패치 (1,3), 패치 (2, 2), 패치 (2,3), 패치 (2, 4), 패치 (3,2), 패치 (3,3), 패치 (3, 4), 패치 (4, 2), 패치 (4, 3), 패치 (5, 2) 및 패치 (5, 3)) 이기 때문에, 따라서, 11을 10으로 라운딩 한 후, 스코어는 0.5 에서 0.10 만큼 부스팅되어 최종 스코어가 0.6 이 된다.
대안적으로, 단계 (609, 611 및 613) 에 의해 서빙되는 목적은 도 10 에 도시된 바와 같이, 조건부 무작위장 모델을 사용하여 보다 일반적으로 구현될 수 있다. 조건부 무작위장 모델은 입력 변수들 간의 종속성들이 명시적으로 표현될 필요가 없는 조건부 확률 분포이다. 이는 단계 (609, 611 및 613) 에서 수행된 명시적인 표현과 대조적이다. 조건부 무작위장의 출력은 입력 레이블들 및 초기 클래스 확률 스코어들의 관계 특성을 고려하는 수정된 확률 스코어이다. 구체적으로, 초기 클래스 확률들의 관계 특성은 도 10 에서 k(fi, fj) 에 의해 표현되며, 이것은 예를 들어 입력 데이터 xj 가 위치 (p) 와 특징 (I) 의 면에서 xi 로부터 멀리 떨어져 있을 때 증가할 것이다. 도 10 의 조건부 무작위장 파라미터들의 트레이닝은 라벨 데이터 (μ) 및 p 및 I 에 대한 입력 데이터가 주어지는 경우 파라미터들 (w 및 θ) 에 대해 E(x) 를 최소화함으로써 달성된다. 새로운 데이터에 대한 추론은 반복적인 메시지 전달 알고리즘을 사용하여 달성된다. 수정된 확률 스코어들은 그 후 관심 영역 형상들 및 스코어들을 생성하기 위해 사용될 수 있다. 도 10 에서, 하단 라인의 기호 u ("이웃이 상이한 클래스인 경우 "u = 1 ... ") 는 그 공식에서 μ 를 참조하고 있다. 이 방법은 Philipp Krahenbuhl 등에 의한 "Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials" 에서 더욱 상세히 기술된다. (Advances in Neural Information Processing Systems 24 (2011) 109-117).
단계 (615) 에서, 분류 엔진 (311) 은 이웃 패치들을 그들의 관심 영역 스코어들에 기초하여 그룹화함으로써 관심 영역 형상들을 생성한다.
일단 ROI 들이 계산되면, 분류 엔진 (311) 은 이웃 패치들을 그들의 관심 영역 스코어들에 기초하여 그룹화함으로써 관심 영역 형상들을 생성한다.
일단 ROI 들이 단계들 (609, 611 및 613) 및/또는 조건부 무작위장 모델을 사용하여 "패치 계층"에서 확립되면, 추가적인 프로세싱이 "세포 계층"에서 수행될 수도 있다. 특히, 형상 내의 각 경계 패치 (즉, 조직 영역 시드 패치들의 제 2 세트의 연결된 패치들) 에 대해, CNN (315) 의 트레이닝된 분류기는 세포 레벨에서의 트레이닝 정보가 이용 가능한 경우 (즉, (패치들과는 대조되는) 세포들을 사용하여 트레이닝된 선험적 데이터베이스가 존재하는 경우) CNN (315) 의 분류기를 사용하여 양성 또는 음성으로 패치 내의 각 세포를 분류하는데 사용된다.
특히, CNN (315) 의 분류기가 하나의 세포 패치들 (단일 세포 또는 다른 세포들 및 비세포들의 작은 부분들을 갖는 단일 세포를 포함하는 작은 패치들) 에 대해 트레이닝된 경우, 세포들이 식별되고 단일 세포를 포함하는 패치가 분류를 위해 CNN (315) 의 분류기로 전송되고, 암의 확률이 출력으로서 리턴된다.
대안으로, 완전 콘볼루션 신경망 (FCNN) 이 종양 및 비종양 세포들을 구별하는 정확한 경계선을 식별하기 위해 각 경계 패치에 대해 사용될 수 있다. 특히, FCNN 은 종양을 포함하는 각 픽셀의 확률을 설명하는 픽셀 단위 예측을 출력할 것이다. 트레이닝 동안, FCNN 은 업샘플링 가중치들을 학습하여 활성화들을 픽셀 단위 예측들로 변환할 것이다. 픽셀 단위 예측을 보여주는, 도 1 을 포함하는, Jonathan Long 등에 의한 "Fully Convolutional Networks for Semantic Segmentation" 을 참조하라.
위의 "세포 계층" 프로세싱의 결과로서, 조직 영역 시드 패치들의 제 2 세트의 연결된 패치들을 포함하는 형상의 경계 패치들 중 일부는 더 작아질 것이다. 예를 들어, 도 9f 를 참조하면, 패치 (1, 3) 의 좌측 절반이 비암 세포들을 포함하고 패치 (1, 3) 의 우측 절반이 암세포들을 포함하는 경우, "세포 계층" 프로세싱에 후속하여, 형상이 수축될 것이고 더 이상 패치 (1, 3) 의 왼쪽 절반을 포함하지 않을 것이다. 따라서, ROI 의 형상은 "세포 계층" 프로세싱에 의해 정제될 것이다.
도 11 은 본 발명의 일 실시형태의 하나 이상의 양태들을 구현하는 전자 디바이스에 의해 생성된 관심 영역 경계를 보여주는 다이어그램을 도시한다.
본 발명의 실시형태들의 기술들에 대한 다른 용도들이 존재할 수도 있다. 예를 들어, 하나의 그러한 용도는 배경 객체들과 대비하여 전경을 검축하는 것일 수도 있다. 예를 들어, 그 기술/시스템은 자율 차량 또는 부분 자율 차량에서의 차량 장애물 회피에 사용될 수도 있다. CNN (315) 은 주행 중에 차량에 의해 또는 차량의 근처에서 촬영된 사진들을 사용하여 트레이닝될 수도 있다. 트레이닝은 패치들로 타일링되는 그러한 이미지들을 포함할 것이고 각 트레이닝 패치는 패치가 전경 또는 배경에 있는지 여부에 관한 데이터 (예를 들어, 배경인 경우 1.0, 전경인 경우 0.0) 를 포함할 것이다.
일단 CNN (315) 이 트레이닝되면, 그것은 이동하는 차량에 의해 또는 그 근처에서 촬영된 이미지들의 패치들 내의 오브젝트들이 배경 또는 전경에 있는지 여부를 결정하는데 사용될 수도 있다. 시스템은 차량상에 또는 차량의 근처에 (예를 들어, 표지판, 신호등 등에) 탑재되는 (및 예를 들어 무선 통신을 통해 시스템에 의해 실시간으로 수신되는) 복수의 카메라들을 포함할 수도 있다. 이미지들은 트레이닝된 CNN (315) 의 시스템에 의해 프로세싱되어 이미지들의 패치들이 배경 또는 전경에 있는지를 결정할 수도 있다. 즉, 시스템은 잔디, 하늘, 건물 또는 도로와 같은 특정 물체가 배경에 있음을 인식할 수도 있다. 시스템은 또한 물체가 차량으로부터 멀리 떨어져 있다고 판단할 수도 있다. 한편, 시스템은 근처의 차량, 보행자, 또는 구덩이와 같은 특정 물체가 전경에 있음을 결정할 수도 있다. 전경에 무엇이 있는지 결정하는 것은 차량이 충돌을 피하기 위해 전경의 물체를 피할 필요가 있지만 배경에 있는 물체를 피할 필요가 있다고 결정할 수 있을 것이라는 점에서 유용하다.
전술한 바와 같이, CNN (315) 은 3 개 이상의 클래스들/타입들의 오브젝트들/이미지들에 대해 트레이닝 될 수도 있다. 즉, CNN (315) 을 오직 2 가지 클래스들의 패치들 (예를 들어, 위에서 상세하게 논의된 암/비암) 에 대해 트레이닝하는 대신에, CNN (315)은 예를 들어 암 등급들 (G1, G2, G3, G4...GN) 의 패치들을 사용하여 트레이닝 될 수도 있다. 그러면 CNN (315) 은 패치가 등급들 (G1, G2, G3, G4...GN) 중 하나에 있을 확률을 식별하도록 트레이닝될 것이다. 이것은 2가지 방법들 중 하나에 의해 달성될 수도 있다. 첫째, 이산 출력 방법이 사용될 수도 있다. 이산 출력 방법에서, 패치 레벨 분류를 위한 아키텍처는 도 5 에 도시된 바와 같은, CNN (315) 의 최종 (소프트맥스) 계층이 2 개 클래스들에서 N 개의 클래스들로 변경되어 CNN (315) 이 N 개의 클래스들에 대해 트레이닝되는 것을 허용하는 것을 제외하고는 위에서 설명한 것과 유사하다. N 개의 클래스들이 순서대로 정렬되지 않은 경우 (예를 들어, 클래스들이 개, 고양이, 돼지 등과 같은 동물들인 경우), 시스템은 단계 (607) 에서 N 개의 클래스들 각각에 대한 결과들을 리턴한 다음 N 개의 클래스들 각각에 대해 단계들 (609, 611, 613 및 615) 을 반복할 것이다.
대안적으로, 연속 출력 방법이 사용될 수도 있다. 연속 출력 방법에서는, 회귀가 분류 대신 소프트맥스 계층에서 사용될 수도 있다. 회귀의 예는 최소 제곱 피팅 또는 임의의 곡선 피팅일 수도 있다. 예를 들어, 5 개의 클래스들 (암 등급들 (G1, G2, G3, G4 및 G5) 이 존재하는 경우 클래스들을 나타내는 데 0.0 에서 5.0 의 범위를 사용할 수도 있다. 즉, 예를 들어, CNN (315) 이 패치를 타입 G1 일 가능성이 있다고 결정하면, 1.0 에 가까운 부동 소수점 수를 출력할 수도 있고, CNN (315) 이 패치를 타입 G2 일 가능성이 있다고 결정하면, 2.0 에 가까운 부동 소수점 수를 출력할 수도 있는 등이다. 2.1 과 같은 값은 패치가 2 (G2) 와 연관된 타입일 가능성이 있지만 1.0 (G1) 보다 3.0 (G3) 일 가능성이 높음을 나타낼 것이다. 연속 분류 방법은 순서가 지정된 클래스들에서만 사용된다.
이 시스템은 토지 측량에 사용될 수도 있다. 예를 들어, CNN (315) 은 다양한 토지 및/또는 물 특징들 (예를 들어, 건물, 들판, 강, 호수 등) 의 이미지들/패치들을 사용하여 트레이닝 될 수도 있다. 일단 CNN (315) 이 트레이닝되면, 그것은 복수의 항공 사진을 수신 및 분류하고 이미지들의 특정의 패치들이 호수, 강, 밭, 숲, 도로 등인지 여부를 결정할 수도 있다.
이 시스템은 또한 특정 치아가 충치 및/또는 감염 또는 다른 문제를 포함하는지 여부를 결정하는 데 사용될 수도 있다. 트레이닝 된 CNN (315) 은 하나 이상의 각도로부터의 치아 또는 다수의 치아의 하나 이상의 이미지 및/또는 하나 이상의 각도로부터의 X-레이들을 입력으로서 수신할 수도 있다. 그 다음, 시스템은 트레이닝 된 CNN (315) 을 사용하여 그러한 이미지들 및/또는 X-레이들의 여러 패치들이 충치를 포함할 가능성이 있는지를 결정할 수도 있다.
이 시스템은 또한 X-레이, MRI, CT 등을 분석하는 데 사용될 수도 있다. 예를 들어, 시스템은 골절 대 비골절 뼈들에 대해 트레이닝 될 수도 있고, 예를 들어 X-레이 이미지가 골절 뼈를 포함하는지 여부를 결정할 수도 있다. 이 시스템은 MRI 및/또는 CT 출력에 대해 유사하게 트레이닝 될 수도 있다.
CNN (315) 은 또한 흑색 종과 같은 피부 질환에 대해 트레이닝될 수도 있다. CNN (315) 은 양성 (흑색 종) 및 비 흑색 종 (정상) 패치들로 트레이닝 될 수 있으며, 일단 트레이닝되면 피부 생검 또는 피부 사진의 섹션이 흑색 종을 포함할 가능성이 있는지 여부를 결정할 수도 있다.
CNN (315) 은 또한 비디오 게임들에서의 오브젝트들에 대해 트레이닝될 수도 있다. 렌더링 된 비디오 게임의 각 프레임은 전경 오브젝트 및 배경 장면을 가질 수도 있다. CNN (315) 은, 상술된 바와 같이, 이 둘을 구별하도록 트레이닝 될 수도 있다. 이 시스템은 증강 현실 (AR) 게임을 위한 마스크들을 생성하데도 사용될 수도 있다. 예를 들어, 관심 지점 (예를 들어, 경계표 등) 주변의 영역이 식별될 수도 있다. 그런 다음, 이 영역은 마스킹되고 AR 컨텐츠 또는 다른 오버레이로 대체될 수 있다. 또한, 관심 영역들에 기초하여 게임을 하는 것을 배우는 인공 지능 프로세스가 생성될 수도 있다. AI 프로세스는 그 후 플레이어에게 도전하기 위해 게임에서 비 플레이어 엔티티가 된다.
특정의 예시적인 실시형태들이 본 명세서에 설명되어 있지만, 이들 실시형태들은 제한이 아닌 예로서 만 제공된다는 것을 이해해야한다. 실시형태들이 특별히 도시되고 설명되었지만, 형태 및 세부 사항에서의 다양한 변경이 이루어질 수 있음을 이해할 것이다. 다양한 실시형태들이 특정의 특징들 및/또는 컴포넌트들의 조합들을 갖는 것으로 기술되었지만, 다른 실시형태들이 전술된 바와 같은 실시형태들 중 임의의 것으로부터의 임의의 특징들 및/또는 컴포넌트들의 조합을 갖는 것이 가능하다.

Claims (45)

  1. 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법으로서,
    이미지 프로세싱 엔진에 의해, 생물학적 샘플의 디지털 조직 이미지에 대한 액세스를 획득하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 디지털 조직 이미지를 이미지 패치들의 집합으로 타일링하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 이미지 패치들의 집합 내의 픽셀 컨텐츠의 함수로서 상기 이미지 패치들의 집합으로부터 목표 조직 패치들의 세트를 식별하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 목표 조직 패치들의 세트의 각 목표 조직 패치에 상기 목표 조직 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 할당하는 단계로서, 상기 초기 클래스 확률 스코어는 각 목표 조직 패치상에서 실행된 트레이닝된 분류기에 의해 생성되는, 상기 초기 클래스 확률 스코어를 할당하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 제 1 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계로서, 상기 조직 영역 시드 패치들의 제 1 세트는 상기 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 제 2 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계로서, 상기 조직 영역 시드 패치들의 제 2 세트는 상기 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 조직 영역 시드 패치들의 제 2 세트의 이웃 패치들의 초기 클래스 확률 스코어들 및 문제 영역 시드 패치들의 제 1 세트 내의 패치들까지의 거리의 함수로서 상기 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를 계산하는 단계; 및
    상기 이미지 프로세싱 엔진에 의해, 이웃 패치들을 그들의 관심 영역 스코어들에 기초하여 그룹화함으로써 하나 이상의 관심 영역 형상들을 생성하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    상기 디지털 조직 이미지를 타일링하는 단계는 균일한 사이즈 및 균일한 형상인 이미지 패치들을 생성하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  3. 제 2 항에 있어서,
    균일한 사이즈 및 균일한 형상의 상기 이미지 패치들은 1,000 픽셀 바이 1,000 픽셀 이하의 정사각형 패치들을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  4. 제 3 항에 있어서,
    상기 정사각형 패치들은 400 픽셀 바이 400 픽셀 이하인, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  5. 제 4 항에 있어서,
    상기 정사각형 패치들은 256 픽셀 바이 256 픽셀 이하인, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  6. 제 1 항에 있어서,
    상기 디지털 조직 이미지를 타일링하는 단계는 비균일 사이즈 및 형상인 이미지 패치들을 생성하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  7. 제 1 항에 있어서,
    상기 이미지 패치들의 집합은 비중첩 패치들을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  8. 제 1 항에 있어서,
    상기 목표 조직 패치들의 세트를 식별하는 단계는 상기 이미지 패치들 내의 픽셀들의 컬러 채널들에 기초하여 상기 이미지 패치들의 집합을 필터링하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  9. 제 8 항에 있어서,
    상기 이미지 패치들의 집합의 이미지 패치들을 상기 컬러 채널들에 대한 분산의 함수로서 필터링하는 단계를 더 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  10. 제 1 항에 있어서,
    상기 트레이닝된 분류기는 트레이닝된 신경망을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  11. 제 1 항에 있어서,
    상기 트레이닝된 분류기는 다음의 타입들의 분류기들 중 적어도 하나의 트레이닝된 구현을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법:
    지원 벡터 머신, 소프트맥스, 결정 트리, 랜덤 포레스트, k 최근 이웃, 선형 및 이차 판별 분석, 릿지 회귀, MLP (MultiLayer Perceptron), 하이퍼-파이프, 베이즈 네트 (Bayes net), k-평균 클러스터링 및 나이브 베이즈.
  12. 제 1 항에 있어서,
    컴퓨팅 디바이스로 하여금 디스플레이 상에 상기 관심 영역 형상들을 렌더링하게 하는 단계를 더 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  13. 제 1 항에 있어서,
    상기 관심 영역 형상들은 적어도 하나의 조직 마스크를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  14. 제 13 항에 있어서,
    상기 적어도 하나의 조직 마스크는 현미해부 마스크를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  15. 제 1 항에 있어서,
    상기 관심 클래스는 적어도 하나의 암 클래스를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  16. 제 15 항에 있어서,
    상기 적어도 하나의 암 클래스는 다음의 타입들의 암 중 하나를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법:
    유방암, 방광암, 뇌암, 폐암, 췌장암, 피부암, 대장암, 전립선암, 위암, 간암, 자궁 경부암, 식도암, 백혈병, 비호지킨림프종, 신장암, 자궁암, 담도암, 골암, 난소암, 담낭암, 위장암, 구강암, 인후암, 안구암, 골반암, 척추암, 고환암, 질암, 외음부암, 및 갑상선암.
  17. 제 1 항에 있어서,
    상기 관심 클래스는 다음의 타입들의 조직 중 적어도 하나를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법:
    비정상 조직, 양성 조직, 악성 조직, 뼈 조직, 피부 조직, 신경 조직, 간질 조직, 근육 조직, 결합 조직, 반흔 조직, 림프 조직, 지방, 상피 조직, 신경 조직 및 혈관.
  18. 제 1 항에 있어서,
    상기 디지털 조직 이미지는 조직 샘플 슬라이드의 슬라이드 이미지를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  19. 제 18 항에 있어서,
    상기 슬라이드 이미지는 디지털 조직병리학 이미지를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  20. 제 1 항에 있어서,
    선험적으로 트레이닝된 분류기들의 데이터베이스에 대한 액세스를 획득하는 단계를 더 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  21. 제 20 항에 있어서,
    상기 디지털 조직 이미지에 결부된 생물학적 샘플 메타 데이터에 따라 정의된 분류기 선택 기준들에 따라 상기 선험적으로 트레이닝된 분류기들로부터 상기 트레이닝된 분리기를 선택하는 단계를 더 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  22. 제 21 항에 있어서,
    상기 생물학적 샘플 메타데이터는 다음 중 적어도 하나와 연관된 디지털 정보를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법:
    조직 타입, 조직 도너, 스캐너, 스테인, 염색 기법, 작성자의 식별자, 이미지 사이즈, 샘플 식별자, 추적 식별자, 버전 넘버, 파일 타입, 이미지 날짜, 증상, 진단, 담당 의사의 식별 정보, 조직 도너의 병력, 조직 도너의 인구통계학적 정보, 조직 도너의 가족의 병력, 및 조직 도너의 종.
  23. 제 1 항에 있어서,
    상기 이웃 패치들의 함수로서 상기 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를 계산하는 단계는 상기 이웃 패치들 중 조건부 무작위장 (CRF) 을 계산하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  24. 제 1 항에 있어서,
    상기 이웃 패치들의 함수로서 상기 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를 계산하는 단계는 최근 이웃들을 평가하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  25. 제 1 항에 있어서,
    상기 관심 영역 형상들은 패치들로 이루어진 형상들을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  26. 제 1 항에 있어서,
    상기 관심 영역 형상들은 형상 서브 패치 레벨 특징들을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  27. 제 26 항에 있어서,
    상기 관심 영역 형상들은 세포 레벨에서 서브 패치 레벨 형상들을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  28. 제 26 항에 있어서,
    상기 관심 영역 형상들을 생성하는 단계는 세포 레벨 트레이닝된 신경망에 따라 상기 조직 영역 시드 패치들의 제 2 세트 내의 패치들 내의 세포 타입에 의해 세포들을 분류하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  29. 제 27 항에 있어서,
    상기 관심 영역 형상들을 생성하는 단계는 트레이닝된 완전 콘볼루션 신경망을 통해 세포들 사이의 경계를 묘사하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  30. 제 29 항에 있어서,
    상기 트레이닝된 완전 콘볼루션 신경망은 트레이닝 패치들 내의 기지의 세포 타입들에 대해 패치 레벨에서 트레이닝되는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  31. 제 1 항에 있어서,
    상기 목표 조직 패치의 상기 초기 클래스 확률 스코어를 할당하는 단계는 상기 목표 조직 패치들의 세트 중 임의의 다른 패치의 초기 클래스 확률의 고려없이 수행되는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  32. 제 1 항에 있어서,
    상기 조직 영역 시드 패치들의 제 2 세트의 이웃 패치들은 상기 조직 영역 시드 패치들의 제 2 세트의 적어도 하나의 패치에 인접한 하나 이상의 패치들을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  33. 제 1 항에 있어서,
    콘볼루션 신경망에 의해, 복수의 정상 패치들 및 복수의 양성 패치들을 포함하는, 디지털 조직 이미지들의 복수의 패치들을 수신하는 단계;
    상기 콘볼루션 신경망에 의해, 상기 콘볼루션 신경망의 아키텍처의 하나 이상의 완전히 연결된 계층들의 입력 사이즈를 새로운 값으로 설정하는 단계로서, 상기 새로운 값은 상기 복수의 패치들 내의 패치들의 타입들의 카디널리티에 기초하여 결정되는, 상기 입력 사이즈를 새로운 값으로 설정하는 단계;
    상기 콘볼루션 신경망에 의해, 상기 하나 이상의 완전히 연결된 계층들의 파라미터들의 값들의 분포를 팝퓰레이팅하는 단계;
    상기 콘볼루션 신경망에 의해, 상기 하나 이상의 완전히 연결된 계층들의 상기 파라미터들의 값들을 조정하는 단계;
    상기 콘볼루션 신경망에 의해, 상기 복수의 패치들 각각에 초기 클래스 확률 스코어를 할당하는 단계로서, 상기 초기 클래스 확률 스코어는 상기 목표 조직 패치가 정상 패치들의 그룹 또는 양성 패치들의 그룹 내에 속할 확률을 나타내는, 상기 초기 클래스 확률 스코어를 할당하는 단계; 및
    상기 복수의 패치들의 제 1 초기 클래스 확률 스코어들이 상기 복수의 패치들의 제 2 초기 클래스 확률 스코어들보다 더 정확한지를 결정하는 단계를 포함하는 방법에 의해 상기 트레이닝된 분류기를 트레이닝하는 단계를 더 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  34. 제 33 항에 있어서,
    상기 복수의 디지털 조직 이미지들은 양성 패치들의 카디널리티의 10 % 이내의 수의 정상 패치들의 카디널리티를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  35. 제 33 항에 있어서,
    상기 복수의 패치들의 제 1 초기 클래스 확률 스코어들이 상기 복수의 패치들의 제 2 초기 클래스 확률 스코어들보다 더 정확한지를 결정하는 단계는 상기 복수의 패치들의 상기 제 1 초기 클래스 확률 스코어들과 상기 복수의 패치들의 정확한 초기 클래스 확률 스코어들 사이의 차이의 제곱들의 합이 상기 복수의 패치들의 상기 제 2 초기 클래스 확률 스코어들과 상기 복수의 패치들의 상기 정확한 초기 클래스 확률 스코어들 사이의 차이의 제곱들의 합보다 낮다고 결정하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  36. 제 35 항에 있어서,
    상기 복수의 패치들 중 상기 제 2 초기 클래스 확률 스코어들의 할당은 상기 복수의 패치들 중 상기 제 1 초기 클래스 확률 스코어들의 할당보다 먼저 발생하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  37. 제 33 항에 있어서,
    상기 하나 이상의 완전히 연결된 계층들은 소프트맥스 계층을 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  38. 제 33 항에 있어서,
    패치들의 상기 타입들은 상기 정상 패치들 및 상기 양성 패치들인, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  39. 제 33 항에 있어서,
    상기 새로운 값은 1x1x2 를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  40. 제 33 항에 있어서,
    상기 하나 이상의 완전히 연결된 계층들의 파라미터들의 값들의 분포는 가우시안 분포인, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  41. 삭제
  42. 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법으로서,
    이미지 프로세싱 엔진에 의해, 생물학적 샘플의 디지털 조직 이미지에 대한 액세스를 획득하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 디지털 조직 이미지를 이미지 패치들의 집합으로 타일링하는 단계로서, 상기 이미지 패치들의 집합은 목표 조직 패치들의 세트를 포함하는, 상기 타일링하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 목표 조직 패치들의 세트의 각 목표 조직 패치에 상기 목표 조직 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 할당하는 단계로서, 상기 초기 클래스 확률 스코어는 각 목표 조직 패치상에서 실행된 트레이닝된 분류기에 의해 생성되는, 상기 초기 클래스 확률 스코어를 할당하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 제 1 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계로서, 상기 조직 영역 시드 패치들의 제 1 세트는 상기 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 제 2 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계로서, 상기 조직 영역 시드 패치들의 제 2 세트는 상기 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 조직 영역 시드 패치들의 제 2 세트의 이웃 패치들의 초기 클래스 확률 스코어들 및 문제 영역 시드 패치들의 제 1 세트 내의 패치들까지의 거리의 함수로서 상기 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를 계산하는 단계; 및
    상기 이미지 프로세싱 엔진에 의해, 이웃 패치들을 그들의 관심 영역 스코어들에 기초하여 그룹화함으로써 하나 이상의 관심 영역 형상들을 생성하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  43. 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법으로서,
    이미지 프로세싱 엔진에 의해, 생물학적 샘플의 디지털 조직 이미지에 대한 액세스를 획득하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 디지털 조직 이미지를 이미지 패치들의 집합으로 타일링하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 이미지 패치들의 집합 내의 각각의 패치로부터 복수의 특징들을 획득하는 단계로서, 상기 복수의 특징들은 차원들로서 상기 복수의 특징들을 포함하는 다차원 특징 공간에서 패치 특징 벡터를 정의하는, 상기 복수의 특징들을 획득하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 상기 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 상기 이미지 패치들의 집합 내의 각각의 패치에 할당하는 단계로서, 상기 초기 클래스 확률 스코어는 상기 이미지 패치들의 집합내의 각 패치의 상기 복수의 특징들을 사용하여 상기 이미지 패치들의 집합 내의 각 패치상에서 실행된 트레이닝된 분류기에 의해 생성되는, 상기 할당하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 제 1 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 상기 이미지 패치들의 집합 내의 패치들을 식별함으로써 조직 영역 시드 패치들의 제 1 세트를 생성하는 단계;
    상기 이미지 프로세싱 엔진에 의해, 제 2 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 상기 이미지 패치들의 집합 내의 패치들을 식별함으로써 조직 영역 시드 패치들의 제 2 세트를 생성하는 단계; 및
    상기 이미지 프로세싱 엔진에 의해, 상기 이미지 패치들의 집합 내의 각각의 패치에 대해, 하나 이상의 관심 영역 형상들을 생성하는 단계를 포함하는, 디지털 이미지에서 관심 영역의 적어도 하나의 형상을 생성하는 컴퓨터 구현 방법.
  44. 디지털 이미지 관심 영역 생성 시스템으로서,
    생물학적 샘플의 디지털 조직 이미지를 저장하도록 구성된 데이터베이스;
    이미지 프로세싱 엔진을 포함하고, 상기 이미지 프로세싱 엔진은,
    상기 생물학적 샘플의 상기 디지털 조직 이미지에 대한 액세스를 획득하고;
    상기 디지털 조직 이미지를 이미지 패치들의 집합으로 타일링하며;
    상기 이미지 패치들의 집합 내의 픽셀 컨텐츠의 함수로서 상기 이미지 패치들의 집합으로부터 목표 조직 패치들의 세트를 식별하고;
    상기 목표 조직 패치들의 세트의 각 목표 조직 패치에 상기 목표 조직 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 할당하는 것으로서, 상기 초기 클래스 확률 스코어는 각 목표 조직 패치상에서 실행된 트레이닝된 분류기에 의해 생성되는, 상기 초기 클래스 확률 스코어를 할당하며;
    제 1 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 1 세트를 생성하는 것으로서, 상기 조직 영역 시드 패치들의 제 1 세트는 상기 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 1 세트를 생성하고;
    제 2 시드 영역 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 목표 조직 패치들을 식별함으로써 조직 영역 시드 패치들의 제 2 세트를 생성하는 것으로서, 상기 조직 영역 시드 패치들의 제 2 세트는 상기 목표 조직 패치들의 세트의 서브 세트를 포함하는, 상기 조직 영역 시드 패치들의 제 2 세트를 생성하며;
    상기 조직 영역 시드 패치들의 제 2 세트의 이웃 패치들의 초기 클래스 확률 스코어들 및 문제 영역 시드 패치들의 제 1 세트 내의 패치들까지의 거리의 함수로서 상기 조직 영역 시드 패치들의 제 2 세트 내의 각 패치에 대한 관심 영역 스코어를 계산하고; 및
    이웃 패치들을 그들의 관심 영역 스코어들에 기초하여 그룹화함으로써 하나 이상의 관심 영역 형상들을 생성하도록 구성된, 디지털 이미지 관심 영역 생성 시스템.
  45. 디지털 이미지 관심 영역 생성 시스템으로서,
    생물학적 샘플의 디지털 조직 이미지를 저장하도록 구성된 데이터베이스;
    이미지 프로세싱 엔진을 포함하고,
    상기 이미지 프로세싱 엔진은,
    상기 데이터베이스로부터의 상기 생물학적 샘플의 상기 디지털 조직 이미지에 대한 액세스를 획득하고;
    상기 디지털 조직 이미지를 이미지 패치들의 집합으로 타일링하며;
    상기 이미지 패치들의 집합 내의 각각의 패치로부터 복수의 특징들을 획득하는 것으로서, 상기 복수의 특징들은 차원들로서 상기 복수의 특징들을 포함하는 다차원 특징 공간에서 패치 특징 벡터를 정의하는, 상기 복수의 특징들을 획득하고;
    상기 이미지 패치들의 집합 내의 각각의 패치에 상기 패치가 관심 클래스 내에 속할 확률을 나타내는 초기 클래스 확률 스코어를 할당하는 것으로서, 상기 초기 클래스 확률 스코어는 상기 이미지 패치들의 집합내의 각 패치의 상기 복수의 특징들을 사용하여 상기 이미지 패치들의 집합 내의 각 패치상에서 실행된 트레이닝된 분류기에 의해 생성되는, 상기 초기 클래스 확률 스코어를 할당하며;
    제 1 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 상기 이미지 패치들의 집합 내의 패치들을 식별함으로써 조직 영역 시드 패치들의 제 1 세트를 생성하고;
    제 2 기준을 만족시키는 초기 클래스 확률 스코어들을 갖는 상기 이미지 패치들의 집합 내의 패치들을 식별함으로써 조직 영역 시드 패치들의 제 2 세트를 생성하며; 및
    상기 이미지 패치들의 집합 내의 각각의 패치에 대해, 하나 이상의 관심 영역 형상들을 생성하도록
    구성된, 디지털 이미지 관심 영역 생성 시스템.

KR1020197014355A 2016-10-21 2017-10-23 디지털 조직병리학 및 현미해부 KR102222796B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662411290P 2016-10-21 2016-10-21
US62/411,290 2016-10-21
US201762557737P 2017-09-12 2017-09-12
US62/557,737 2017-09-12
PCT/US2017/057925 WO2018076023A1 (en) 2016-10-21 2017-10-23 Digital histopathology and microdissection

Publications (2)

Publication Number Publication Date
KR20190068607A KR20190068607A (ko) 2019-06-18
KR102222796B1 true KR102222796B1 (ko) 2021-03-03

Family

ID=61971028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197014355A KR102222796B1 (ko) 2016-10-21 2017-10-23 디지털 조직병리학 및 현미해부

Country Status (8)

Country Link
US (3) US10607343B2 (ko)
EP (1) EP3513378B1 (ko)
JP (1) JP6955004B2 (ko)
KR (1) KR102222796B1 (ko)
CN (1) CN110073404B (ko)
AU (1) AU2017345812B2 (ko)
CA (1) CA3040518C (ko)
WO (1) WO2018076023A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607343B2 (en) * 2016-10-21 2020-03-31 Nantomics, Llc Digital histopathology and microdissection
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
JP6931870B2 (ja) * 2017-02-15 2021-09-08 国立研究開発法人理化学研究所 細胞の再プログラム化を検出するための方法及び装置
US10529453B2 (en) * 2017-07-31 2020-01-07 Definiens Gmbh Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score
US10769788B2 (en) * 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
US10846854B2 (en) * 2017-10-13 2020-11-24 Shenzhen Keya Medical Technology Corporation Systems and methods for detecting cancer metastasis using a neural network
JP2021509713A (ja) 2017-12-29 2021-04-01 ライカ バイオシステムズ イメージング インコーポレイテッドＬｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ Ｉｍａｇｉｎｇ， Ｉｎｃ． 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理
US10262235B1 (en) 2018-02-26 2019-04-16 Capital One Services, Llc Dual stage neural network pipeline systems and methods
US10354122B1 (en) * 2018-03-02 2019-07-16 Hong Kong Applied Science and Technology Research Institute Company Limited Using masks to improve classification performance of convolutional neural networks with applications to cancer-cell screening
US10789696B2 (en) * 2018-05-24 2020-09-29 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
KR102172213B1 (ko) * 2018-06-04 2020-10-30 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
KR102215269B1 (ko) * 2018-08-07 2021-02-15 주식회사 딥바이오 진단 결과 생성 시스템 및 방법
KR102151723B1 (ko) * 2018-08-07 2020-09-03 주식회사 딥바이오 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102185893B1 (ko) * 2018-08-07 2020-12-02 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
US11446008B2 (en) 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
EP3844781A4 (en) 2018-08-30 2022-05-11 Applied Materials, Inc. SYSTEM FOR AUTOMATIC DETECTION AND CLASSIFICATION OF TUMORS
EP3620984B1 (en) * 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
CN109427060A (zh) 2018-10-30 2019-03-05 腾讯科技（深圳）有限公司 一种影像识别的方法、装置、终端设备和医疗系统
EP4095797B1 (en) * 2018-11-08 2024-01-24 Augmedics Inc. Autonomous segmentation of three-dimensional nervous system structures from medical images
CN109859159B (zh) * 2018-11-28 2020-10-13 浙江大学 一种基于多模态分割网络的宫颈病变区域分割方法和装置
CN111401107B (zh) * 2019-01-02 2023-08-18 上海大学 基于特征融合神经网络的多模态人脸识别方法
WO2020146037A1 (en) 2019-01-09 2020-07-16 Google Llc Augmented reality laser capture microdissection machine
CN110216082B (zh) * 2019-05-23 2020-07-14 上海交通大学 荧光标记种子动态识别方法和系统
US20220262105A1 (en) * 2019-07-19 2022-08-18 Zongwei Zhou Systems, methods, and apparatuses for the generation of source models for transfer learning to application specific models used in the processing of medical imaging
KR102068279B1 (ko) 2019-10-04 2020-01-20 주식회사 루닛 이미지 분석 방법 및 시스템
KR102068277B1 (ko) 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
CA3162251A1 (en) * 2020-01-06 2021-07-15 Jillian SUE Systems and methods for analyzing electronic images for quality control
JP7382240B2 (ja) * 2020-01-30 2023-11-16 富士フイルムヘルスケア株式会社 医用画像処理装置及び医用画像処理方法
CN111242242B (zh) * 2020-02-27 2022-04-12 武汉大学 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法
CN111524108B (zh) * 2020-04-15 2023-02-10 四川赛康智能科技股份有限公司 一种变电站设备检测方法及设备
US11662938B2 (en) 2020-05-11 2023-05-30 Nantcell, Inc. Object storage and access management systems and methods
WO2022197045A1 (ko) * 2021-03-16 2022-09-22 주식회사 딥바이오 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템
WO2022201417A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援方法、および記録媒体
WO2022201416A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検査支援装置、検査支援方法、および記録媒体
JP7132676B1 (ja) * 2021-04-09 2022-09-07 楽天グループ株式会社 画像生成装置、画像生成方法及びプログラム
US11948687B2 (en) 2021-05-24 2024-04-02 Nantcell, Inc. Deep learning models for region-of-interest determination
US20220392080A1 (en) * 2021-06-03 2022-12-08 Electronics And Telecommunications Research Institute Apparatus and method for supporting attention test based on attention map and attention movement map
KR20230056175A (ko) * 2021-10-20 2023-04-27 주식회사 뷰노 의료 영상 분석 방법
KR20230056174A (ko) * 2021-10-20 2023-04-27 주식회사 뷰노 딥러닝 기반의 의료 영상 분석 방법
KR20230094670A (ko) * 2021-12-21 2023-06-28 주식회사 뷰노 인공 신경망을 이용한 이미지 데이터에 대한 분류 방법 및 이를 위한 장치
WO2023189662A1 (ja) * 2022-03-31 2023-10-05 国立大学法人九州工業大学 画像処理・解析装置および画像処理・解析方法
WO2024128818A1 (ko) * 2022-12-14 2024-06-20 경상국립대학교산학협력단 컴퓨터 비전과 머신러닝을 사용한 폐 검체의 폐질환 정량화 시스템 및 이를 이용한 폐질환 정량화 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075096A1 (en) 2014-11-10 2016-05-19 Ventana Medical Systems, Inc. Classifying nuclei in histology images
WO2019113895A1 (zh) 2017-12-14 2019-06-20 深圳市柔宇科技有限公司 控制方法和电子装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186875A1 (en) 2001-04-09 2002-12-12 Burmer Glenna C. Computer methods for image pattern recognition in organic material
US20040208390A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for processing image data for use in tissue characterization
AU2003270687B2 (en) * 2002-09-13 2008-05-08 Life Technologies Corporation Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications
US7483554B2 (en) * 2003-11-17 2009-01-27 Aureon Laboratories, Inc. Pathological tissue mapping
US20060159367A1 (en) * 2005-01-18 2006-07-20 Trestle Corporation System and method for creating variable quality images of a slide
US8170330B2 (en) * 2007-10-30 2012-05-01 Siemens Aktiengesellschaft Machine learning for tissue labeling segmentation
EP2973397B1 (en) 2013-03-15 2017-08-02 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
US10776606B2 (en) * 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
WO2015113895A1 (en) * 2014-01-28 2015-08-06 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
EP3146463B1 (en) 2014-05-23 2020-05-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
JP2018502275A (ja) 2014-10-17 2018-01-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 分析の最適化および相関性の利用を含む、生体試料の分類方法および分類システム
US10509023B2 (en) * 2014-12-09 2019-12-17 Konica Minolta, Inc. Image processing apparatus and computer readable medium for image processing
CN105574859B (zh) * 2015-12-14 2018-08-21 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
JP6713162B2 (ja) 2016-01-19 2020-06-24 国立大学法人豊橋技術科学大学 画像認識装置、画像認識方法、及び画像認識プログラム
US10667778B2 (en) * 2016-09-14 2020-06-02 University Of Louisville Research Foundation, Inc. Accurate detection and assessment of radiation induced lung injury based on a computational model and computed tomography imaging
US10607343B2 (en) 2016-10-21 2020-03-31 Nantomics, Llc Digital histopathology and microdissection
US10769788B2 (en) 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
WO2020223798A1 (en) * 2019-05-03 2020-11-12 Huron Technologies International Inc. Image diagnostic system, and methods of operating thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075096A1 (en) 2014-11-10 2016-05-19 Ventana Medical Systems, Inc. Classifying nuclei in histology images
WO2019113895A1 (zh) 2017-12-14 2019-06-20 深圳市柔宇科技有限公司 控制方法和电子装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Deep Learning Architecture for Image Representation, Visual Interpretability and Automated Basal-Cell Carcinoma Cancer Detection, 2013.
Efficient inference in fully connected crfs with gaussian edge potentials, 2011.01.
의료영상 분석을 위한 딥러닝 기반의 특징 추출 방법, 대한의학영상정보학회지 2014.*
의료영상에서의 딥 러닝, 2014

Also Published As

Publication number Publication date
JP2020504349A (ja) 2020-02-06
KR20190068607A (ko) 2019-06-18
JP6955004B2 (ja) 2021-10-27
AU2017345812B2 (en) 2019-12-05
CN110073404B (zh) 2023-03-21
US20200151875A1 (en) 2020-05-14
US12002262B2 (en) 2024-06-04
EP3513378A4 (en) 2020-05-06
EP3513378B1 (en) 2021-02-17
US20230129222A1 (en) 2023-04-27
WO2018076023A1 (en) 2018-04-26
US20180114317A1 (en) 2018-04-26
CA3040518C (en) 2023-05-23
EP3513378A1 (en) 2019-07-24
AU2017345812A1 (en) 2019-05-09
US10607343B2 (en) 2020-03-31
CA3040518A1 (en) 2018-04-26
US11682195B2 (en) 2023-06-20
CN110073404A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
KR102222796B1 (ko) 디지털 조직병리학 및 현미해부
US10769788B2 (en) Few-shot learning based image recognition of whole slide image at tissue level
KR102382401B1 (ko) 조직 레벨의 전체 슬라이드 이미지의 적은 수의 사진 학습 기반 이미지 인식
US11526983B2 (en) Image feature recognition method and apparatus, storage medium, and electronic apparatus
TWI755853B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
KR102605969B1 (ko) 이미지 분류 방법, 장치 및 디바이스, 저장 매체, 그리고 의료 전자 디바이스
CN108140032B (zh) 用于自动视频概括的设备和方法
CN113706526A (zh) 内窥镜图像特征学习模型、分类模型的训练方法和装置
CN111833372B (zh) 一种前景目标提取方法及装置
US20240249515A1 (en) Method and apparatus for training image recognition model, device, and medium
CN116797554A (zh) 图像处理方法以及装置
Suchecki et al. Understanding aesthetics in photography using deep convolutional neural networks
Huang et al. TongueMobile: automated tongue segmentation and diagnosis on smartphones
Emam et al. Breast cancer diagnosis using optimized deep convolutional neural network based on transfer learning technique and improved Coati optimization algorithm
KR20230087331A (ko) 상향식 인스턴스 세분화 방법 및 장치
CN116917998A (zh) 用于皮肤异常干预的支持机器学习的系统
Priyanka et al. AN 5G ENVIRONMENT BASED CLB-AODV MULTICAST ROUTING FOR THE ZIGBEE ON WIRELESS SENSOR HETROGENOUS NETWORK

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant