KR102273115B1 - 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템 - Google Patents
현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR102273115B1 KR102273115B1 KR1020167008003A KR20167008003A KR102273115B1 KR 102273115 B1 KR102273115 B1 KR 102273115B1 KR 1020167008003 A KR1020167008003 A KR 1020167008003A KR 20167008003 A KR20167008003 A KR 20167008003A KR 102273115 B1 KR102273115 B1 KR 102273115B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- rules
- module
- particular type
- filters
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001000 micrograph Methods 0.000 title description 8
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 19
- 238000004163 cytometry Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims 4
- 230000000153 supplemental effect Effects 0.000 claims 3
- 238000001514 detection method Methods 0.000 claims 2
- 238000007670 refining Methods 0.000 claims 1
- 210000004027 cell Anatomy 0.000 description 110
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 241000257465 Echinoidea Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004498 neuroglial cell Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19167—Active pattern learning
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
- C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
- C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
- C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/42—Imaging image digitised, -enhanced in an image processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Organic Chemistry (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Biotechnology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Microbiology (AREA)
- Biochemistry (AREA)
- Genetics & Genomics (AREA)
- Analytical Chemistry (AREA)
- Toxicology (AREA)
- Biophysics (AREA)
- Immunology (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Medicinal Chemistry (AREA)
- Sustainable Development (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
이미지 내의 대상을 식별하는 방법 및 시스템에서, 이미지 및 학습 데이터가 수신된다. 학습 데이터는 이미지 내의 특정 타입의 대상과 연관된 픽셀을 식별한다. 이미지의 복수의 필터링된 버전이 생성된다. 학습 데이터 및 이미지의 복수의 필터링된 버전은 특정 타입의 대상과 연관된 픽셀을 분류하기 위한 학습 모델을 생성하기 위해 프로세싱된다. 학습 모델은 이미지 내의 특정 타입의 복수의 대상과 연관된 픽셀을 식별하기 위해 이미지에 적용된다. 대상의 윤곽과 그들의 에지가 더 잘 일치하도록 식별된 픽셀을 더 개선하기 위해 추가적인 이미지 프로세싱 단계가 생성된다.
Description
본 발명은 이미지 프로세싱에 관한 것이고, 더욱 상세하게는 현미경 이미지 내에서 각각의 세포를 식별하는 것에 관한 것이다.
생물학적 샘플의 현미경 이미지는 배경과 대조되는 다양한 세포형(cell type) 및 데브리스(debris)를 포함할 수 있다. 연구원은 현미경 이미지 내에 존재하는 특정 타입의 세포의 통계를 얻고자 원할 수 있다. 이러한 통계는 특정한 세포 타입의 세포가 이미지 내에 존재할 수 있는 개수, 그러한 세포의 크기 범위, 및 그러한 세포의 크기의 평균, 중간값 및 모드를 포함할 수 있다. 임의의 이러한 통계가 계산되기 전에, 현미경 이미지 내의 특정 세포 타입의 세포들이 현미경 이미지 내에 존재하는 다른 세포 타입으로부터 그리고 또한 현미경 이미지 내에 존재하는 임의의 데브리스로부터 식별되어야 한다.
더 나아가, 세포의 크기를 측정하기 위해, 그러한 세포의 경계가 식별되어야 한다. 이미지 내의 특정 타입의 모든 세포의 중심 및 경계를 수동으로 식별하는 것은 시간 소비적이고, 일부의 연구원에게 피로감 및 실수를 야기할 수 있다. 게다가, 복수의 현미경 이미지 내에서 세포를 식별하고 측정하기 위해 요구되는 시간의 양은 비현실적이고, 그러므로 수행될 수 있는 연구의 종류를 제한할 수 있다.
에지 탐지 법(edge detection method)이 이미지 내의 대상의 에지를 식별하기 위해 사용되어 왔다. 그러나, 이러한 방법은 특정 세포 타입의 세포의 이미지인 대상과, 관심없는 세포 타입의 세포 또는 데브리스를 구별할 수 없다. 게다가, 이러한 기술은 합쳐진(즉, 인접하거나 중첩된) 세포군을 포함하는 이미지 내에서 각각의 세포를 식별하는데 효과적이지 않을 수 있다. 이러한 에지 탐지 기술은, 예컨대, 세포 피처(feature)와 배경 간의 대비(contrast)가 충분히 크지 않다면, 세포 피처를 식별하는데 효과적이지 않을 수 있다. 이러한 대비의 부족은, 예컨대, 염료 또는 다른 마커(marker)에 의해 라벨링 되지 않은 세포의 이미지 내에서 문제일 수 있다. 게다가, 에지 탐지 법은 다른 타입의 대상으로부터 세포를 구별하지 못할 수도 있다. 더 나아가, 에지 탐지 법은 대상을 둘러싸고 있는 전체 에지를 탐지하지 않을 수도 있고, 둘러싸인 대상을 대신하여 그 사이에 갭을 가진 에지 부분만 보여주는 결과를 제공할 수 있다.
다른 기술은 특정 크기 및/또는 형상의 "범프(bump)"를 식별하기 위해 이미지를 평가하고, 그러한 범프를 에지 정보와 결합할 수 있다. 그러나, 이러한 기술도 불규칙적인 형상을 식별할 수 없고, 범프와 에지 정보를 결합하는 것은 전형적으로 상당한 추가적인 프로세싱 시간을 필요로 한다. 그래프 컷(graph cut)이 배경으로부터 이미지 내의 대상을 구별하기 위해 사용될 수 있다. 그러나, 이것은 계산 집약적일 수 있고, 현실 이미지의 프로세싱에 특별히 적합하지도 않다.
결과적으로, 현미경 이미지 내의 대상을 식별하고 측정하기 위한 향상된 접근법에 대한 필요성이 존재한다.
본 발명의 하나의 형태에 따른, 이미지 내의 세포를 식별하기 위한 컴퓨터로 구현된 방법은 이미지를 수신하는 단계 및 학습 데이터를 수신하는 단계를 포함한다. 학습 데이터는 이미지 내의 특정 타입의 대상과 연관된 픽셀을 식별한다. 이 컴퓨터로 구현된 방법은 또한 이미지의 복수의 필터링된 버전을 생성하는(develope) 단계, 및 학습 데이터 및 이미지의 복수의 필터링된 버전을 프로세싱하여 특정 타입의 대상과 연관된 픽셀을 분류하기 위한 학습 모델을 생성하는 단계를 포함한다. 게다가, 이 컴퓨터로 구현된 방법은 이미지 내의 특정 타입의 복수의 대상과 연관된 픽셀을 식별하기 위해 이미지에 학습 모델을 적용하는 단계를 포함한다.
본 발명의 다른 형태에 따른 이미지 내의 대상을 식별하기 위한 시스템은 이미지 획득 모듈, 사용자 인터페이스 모듈, 필터링 모듈, 학습 모듈, 및 세포 식별 모듈을 포함한다. 이미지 획득 모듈은 이미지를 수신하고, 사용자 인터페이스 모듈을 학습 데이터를 수신한다. 학습 데이터는 이미지 내의 특정 타입의 대상과 연관된 픽셀을 식별한다. 필터링 모듈은 이미지의 복수의 필터링된 버전을 생성한다. 학습 모듈은 학습 데이터 및 이미지의 복수의 필터링된 버전을 프로세싱하여 특정 타입의 대상과 연관된 픽셀을 분류하기 위한 학습 모델을 생성한다. 세포 식별 모듈은 이미지에 학습 모델을 적용하여 이미지 내의 특정 타입의 복수의 대상과 연관된 픽셀을 식별한다.
도 1은 대상 식별 시스템의 개략적인 도면이다.
도 2 및 도 2b는 도 1의 대상 식별 시스템에 의해 프로세싱될 현미경 이미지의 예이다.
도 3a 및 도 3b는 사용자에 의해 제공된 입력을 보여주는 도 2a 및 2b의 이미지이다.
도 4는 도 1의 시스템을 이용한 도 2a의 이미지를 프로세싱한 결과의 이미지의 예이다.
도 5는 기계 학습 기능을 학습시키기 위해 도 1의 시스템에 의해 수행되는 프로세싱의 흐름도이다.
도 6은 도 5에서 생성된 학습 모델을 이미지에 적용하기 위해 도 1의 시스템에 의해 수행되는 프로세싱의 다른 흐름이다.
도 7은 도 1의 시스템에 의해 발생될 수 있는 그래픽 사용자 인터페이스이다.
도 2 및 도 2b는 도 1의 대상 식별 시스템에 의해 프로세싱될 현미경 이미지의 예이다.
도 3a 및 도 3b는 사용자에 의해 제공된 입력을 보여주는 도 2a 및 2b의 이미지이다.
도 4는 도 1의 시스템을 이용한 도 2a의 이미지를 프로세싱한 결과의 이미지의 예이다.
도 5는 기계 학습 기능을 학습시키기 위해 도 1의 시스템에 의해 수행되는 프로세싱의 흐름도이다.
도 6은 도 5에서 생성된 학습 모델을 이미지에 적용하기 위해 도 1의 시스템에 의해 수행되는 프로세싱의 다른 흐름이다.
도 7은 도 1의 시스템에 의해 발생될 수 있는 그래픽 사용자 인터페이스이다.
도 1을 참조하면, 하나 이상의 현미경 이미지를 프로세싱하기 위한 세포 식별 시스템(100)은 이미지 소스(103)로부터 이미지를 획득하는 이미지 획득 모듈(102)을 포함한다. 이미지 소스(103)는, 예컨대, 현미경, 디지털 카메라, 또는 이전에 획득 이미지의 저장소일 수 있다. 이미지 획득 모듈(102)은 획득 이미지를 이미지 저장소(104)에 저장한다.
사용자 인터페이스 모듈(106)은 세포 식별 시스템(100)의 사용자에 의해 작동되는 컴퓨터(108)상에 이미지를 디스플레이한다. 이러한 컴퓨터(108)는 세포 식별 시스템(100)으로부터 컴퓨터로 전송된 정보 및 이미지를 디스플레이하기 위한 디스플레이를 포함한다. 컴퓨터(108)는 또한 세포 식별 시스템(100)에 사용자 선택을 제공하기 위한 하나 이상의 입력 장치를 포함한다. 이러한 입력 장치는 키보드, 마우스, 및 터치 스크린 등 중 하나 이상을 포함한다.
사용자는 컴퓨터(108)의 입력 장치를 이용하여 특정 세포 타입의 적어도 하나의 본보기(exemplary) 세포와 연관된 디스플레이된 이미지의 하나 이상의 영역을 식별한다. 이러한 식별은 세포 중심 및/또는 세포 경계와 연관된 디스플레이된 이미지의 픽셀을 선택하고 표시하는 것을 포함한다. 게다가, 사용자는 컴퓨터(108)의 입력 장치를 이용하여 임의의 대상을 포함하지 않는 영역(즉, 배경)과 연관된 디스플레이된 이미지의 하나 이상의 영역을 식별할 수 있다. 사용자는 또한 컴퓨터(108)의 입력 장치를 이용하여 특정 타입의 세포와 연관되지 않은 대상, 예컨대, 데브리스와 연관된 디스플레이된 이미지의 하나 이상의 영역을 식별할 수 있다.
하나의 실시예에서, 사용자는 특정 타입의 하나의 세포와 연관된 디스플레이된 이미지 내의 모든 픽셀을 식별한다. 다른 실시예에서, 사용자는 특정 타입의 세포 중 일부(예컨대, 세포 중심 또는 세포 경계)와 연관된 픽셀을 식별한다. 사용자가 세포와 연관된 모든 픽셀을 식별한다면, 사용자 인터페이스 모듈(106)은 세포의 경계에 속하는 식별된 픽셀의 최외각 픽셀 부근의 픽셀들을 자동으로 연관지을 수 있다. 몇몇 예에서, 사용자 인터페이스 모듈(106)은 세포 내부의 픽셀을 제1 색상으로 강조하고, 세포 경계의 픽셀을 제2 색상으로 강조한 이미지를 디스플레이하고, 그러한 식별이 정확한지 사용자로부터 확인을 요청한다. 사용자는 식별이 정확하다고 인정하거나 또는 세포 경계와 연관된 픽셀을 선택함으로써 식별된 세포 경계를 조절할 수 있다.
사용자 인터페이스 모듈(106)은 컴퓨터(108)로부터 선택을 수신하고, 학습 데이터를 생성하고, 그 학습 데이터를 학습 데이터 저장소(109)에 저장한다. 하나의 실시예에서, 학습 데이터는 픽셀 좌표의 목록, 및 그러한 좌표와 연관된 대상 범주(object classification)를 포함한다. 이러한 대상 범주는, 예컨대, 세포 중심, 세포 에지, 및 "원하지 않는 것" 등 중 하나일 수 있다.
학습 데이터와 더불어, 이미지 분류 시스템(100)은 획득 이미지의 필터링된 버전을 생성한다. 더욱 상세하게는, 필터링 모듈(110)은 획득 이미지 저장소(104)에 저장된 획득 이미지를 판독하고, 획득 이미지에 하나 이상의 이미지 필터를 적용한다. 획득 이미지에 적용될 수 있는 필터들은 에지 탐지기, 피크 탐지기, 및 평탄화 오퍼레이터(smoothing operator) 등을 포함한다. 획득 이미지 및 획득 이미지의 필터링된 버전은 필터링된 이미지 저장소(112)에 저장된다.
또한, 필터링 모듈(110)은 이미지를 서브샘플링(subsample)하는 하나 이상의 필터를 적용할 수 있다. 게다가, 필터링 모듈(110)은 필터링된 이미지 저장소(112)에 저장되는 필터링된 이미지를 생성하기 위해 이미지에 복수의 필터를 특정 순서로 적용할 수 있다. 예를 들어, 필터링 모듈(110)은 서브샘플링 필터를 적용한 후, 서브샘플링된 이미지에 에지 탐지 필터를 적용하고, 최종적인 에지 탐지되고 서브샘플링된 이미지를 필터링된 이미지 저장소(112)에 저장할 수 있다.
학습 모듈(114)은 기계 학습 기술과 함께 학습 데이터, 획득 이미지 및 획득 이미지의 필터링된 버전을 이용하여 학습 모델을 생성하고, 이 학습 모델은 학습 모델 저장소(116)에 저장된다. 학습 모델은, 예컨대, 세포, 세포 에지, 및 배경 등 중 하나 이상과 연관된, 획득 이미지 내의 픽셀을 구별하기 위해 사용될 수 있는 한 세트의 규칙들을 포함한다. 이러한 학습 모델은 획득 이미지 내의 픽셀을 분류하기 위해 획득 이미지 및 그 필터링된 버전에 적용될 수 있다. 하나의 실시예에서, 학습 모듈(114)은 학습 모델을 생성하기 위해 지도학습(supervised learning)을 이용한다. 학습 모델을 생성하는 다른 방법이 당업자들에게 명백할 수 있다.
하나의 실시예에서, 학습 데이터 내의 각각의 좌표에 대하여, 학습 모듈(114)은 그러한 좌표와 연관된 필터링된 이미지 저장소(112) 내의 각각의 이미지의 픽셀의 강도(intensity) 또는 피처 강도(stength of feature)를 평가한다. 예를 들어, 학습 모듈(114)은 학습 데이터 내의 세포 중심으로 식별된 좌표가 제1의 획득 이미지의 필터링된 버전 내의 대응 픽셀의 제1 특정 강도 및 제2의 획득 이미지의 필터링된 버전 내의 대응 픽셀의 제2 강도와 연관되어 있는지 판정할 수 있다. 이와 유사하게, 학습 모듈(114)은 획득 이미지의 배경 부분이 제1의 획득 이미지의 필터링된 버전 내의 제3 강도 및 제2의 획득 이미지의 필터링된 버전 내의 제4 강도와 연관되어 있는지 판정할 수 있다. 다른 예에서, 학습 모듈(114)은 학습 데이터 내의 세포의 경계와 연관된 좌표가 획득 이미지의 에지 탐지 필터링된 버전 내의 특정한 에지 방향 또는 에지 강도와 연관되어 있는지 판정할 수 있다.
이러한 방식으로, 학습 모듈(114)은 획득 이미지 및 필터링된 이미지를 분석하여 학습 모델 내의 대상 범주를 획득 이미지 및/또는 필터링된 이미지 내의 피처의 지시(indication) 또는 강도(strength)와 연관짓고, 이미지 내의 픽셀을, 예컨대, 세포 중심, 세포 에지, 및 배경 등으로 분류하기 위해 이미지에 적용될 수 있는 한 세트의 규칙을 포함하는 학습 모델을 생성한다. 이러한 규칙은 학습 모델 저장소(116)에 학습 모델로 저장된다. 몇몇 실시예에서, 학습 모듈(114)은 그 규칙들을 평가하여 그것의 유효성(effectiveness)을 판정한다. 학습 모듈(114)은 학습 데이터에 각각의 규칙을 적용하고, 그러한 규칙을 이용하여 정확하게 식별된 학습 데이터 내의 픽셀의 백분율을 판정한다. 몇몇 실시예에서, 생성된 모든 규칙으로부터, 학습 모듈(114)은 획득 이미지 내에서 적어도 사전 결정된 백분율의 픽셀을 정확하게 분류할 수 있는 한 세트의 규칙들을 식별할 수 있다. 이러한 규칙 세트는 학습 모델로서 학습 모델 저장소(116)에 저장되고, 나머지 규칙들은 폐기된다. 하나의 실시예에서, 사전 결정된 백분율은 95 퍼센트이다. 다른 사전 결정된 백분율이 분류될 이미지의 타입에 따라 또는 사용자에 의해 선택될 수 있다.
학습 모듈(114)이 그와 같이 생성된 임의의 규칙을 폐기한다면, 오직 폐기된 규칙에 의해서만 사용되는 임의의 필터링된 버전의 이미지들은 다른 이미지가 학습 모델을 이용하여 프로세싱될 때 생성될 필요가 없다. 몇몇 실시예에서, 학습 모듈(114)은 불필요한 필터가 적용되지 않도록 후속 이미지에 필터링 모듈에 의해 적용될 필터를 조절한다. 몇몇 실시예에서, 학습 모듈(114)은 학습 데이터의 픽셀을 분류하기 위해 규칙에 의해 사용되는 필터링된 이미지를 판정하고, 그에 따라 필터링 모듈(110)에 의해 사용되는 필터 세트를 조절할 수 있다. 더욱 상세하게는, 필터링 모듈(110)이 그러한 규칙에 의해 사용되는 필터링된 이미지와 연관된 이러한 필터들만 후속 획득 이미지에 적용하도록 필터 세트가 조절된다. 필터링 모듈(110)에 의해 적용되는 필터 세트의 이러한 조절은 이미지를 프로세싱하기 위해 필요한 시간량을 줄일 수 있다.
하나의 실시예에서, 학습 모듈(114)은 그것에 의해 생성된 학습 모델을 획득 이미지(및 필터링된 버전)에 적용하여 획득 이미지의 분류된 버전을 생성한다. 획득 이미지의 분류된 버전은 특정 타입의 세포의 중심 및 경계와 연관될 것으로 학습 모듈에 의해 판정된 픽셀을 (예컨대, 상이한 색상을 이용하여) 식별한다. 획득 이미지의 분류된 버전은 컴퓨터(108) 상에 디스플레이되고, 사용자는 임의의 정정을 할 것인지 질문받게 된다. 이러한 정정은 학습 데이터를 수정하기 위해 사용되고, 학습 모듈(114)은 학습 모델을 개선(refine)하기 위해 수정된 학습 데이터를 이용한다. 몇몇 실시예에서, 시스템(100)은 수정된 학습 데이터로부터 새로운 학습 모델을 생성할 수 있다. 이러한 방식으로, 시스템(100)은 사용자가 만족할 때까지 학습 모델을 개선하기 위해 반복적으로 동작한다.
학습 모델이 생성되고 학습 모델 저장소(116)에 저장된 후, 학습 모델은 이미지 획득 모듈(102)에 의해 획득되어 획득 이미지 저장소(104)에 저장된 추가 이미지에 적용될 수 있다. 필터링 모듈(110)은 학습 모델 저장소(116)에 저장된 학습 모델을 포함하는 규칙이 필요로 하는 상기 추가 이미지의 필터링된 버전을 생성한다. 세포 식별 모듈(또는 대상 식별 모듈)(118)은 상기 추가 이미지 및 추가 이미지의 필터링된 버전에 학습 모델을 적용하여, 추가 이미지의 픽셀을 분류한다. 세포 식별 모듈(118)은 세포의 다른 부분과 연관된 픽셀들이 식별되는 상기 추가 이미지의 일 버전을 생성할 수 있다. 이러한 이미지는 그것에 의해 사용되는 컴퓨터(108) 상으로 사용자에게 보여질 수 있다. 몇몇 실시예에서, 세포 식별 모듈(118)은 상기 추가 이미지의 식별된 분류된 픽셀을 가지는 버전을 세포 측정 모듈(120)에 제공할 수 있다. 세포 측정 모듈(120)은 추가 이미지 내에 존재하는 세포의 개수, 그러한 세포의 크기, 및 그러한 세포와 연관된 통계를 생성하기 위해 당업자들에게 자명한 기술들을 이용할 수 있다.
하나의 실시예에서, 세포 측정 모듈(120)은 하나의 세포에 속하는 것으로 분류되었던 인접한 픽셀 그룹(이하, "시드"라 함)을 선택한다. 그 다음, 세포 측정 모듈(120)은 성장된 시드가 그 세포와 연관된 모든 픽셀을 포함한다고 세포 측정 모듈(120)이 판정할 때까지, 시드에 추가 픽셀을 추가함으로써 시드를 성장시킨다. 하나의 실시예에서, 후보 픽셀들이 시드에 추가되어야 하는지 판정하기 위해, 세포 측정 모듈(120)은 오리지널 시드로부터의 후보 픽셀의 거리와 통제 인자(regulation factor)를 곱하고 그 결과물에 오리지널 시드와 후보 픽셀 사이의 픽셀들과 오리지널 시드 사이의 강도 변화의 절댓값의 누적 합을 더함으로써 점수를 계산한다. 그 점수가 사전 결정된 임계값을 초과한다면, 그 픽셀은 시드에 추가되지 않는다.
통제 인자는 강도 변화 대 거리의 중요도의 균형을 맞추도록 선택된다. 획득 이미지가 강한 에지를 가지고 잡음을 전혀 또는 거의 가지지 않는다면, 시드에 픽셀을 추가하는 것을 멈추는 판정은 주로 에지와 연관된 후보 픽셀을 만나는 것(즉, 후보 픽셀과 시드 내의 나머지 픽셀 간의 강도 변화의 상당한 차이)을 기초로 할 수 있다. 그러나, 획득 이미지가 약한 에지를 가지거나 상당한 양의 잡음을 가진다면, 성장된 시드의 크기가 추가적인 픽셀이 시드에 추가될지 여부를 제어하도록 통제 인자가 선택된다. 세포 측정 모듈(120)은 사용자에 의해 제공된 학습 데이터를 분석하여 학습 데이터 내에 제공된 세포 경계 또는 세포 크기와 일치하도록 시드를 가장 잘 성장시키는 통제 인자를 판정한다. 통제 인자를 선택하는 다른 방법들이 당업자들에게 명백할 것이다.
제1 세포 및 제2 세포와 연관된 제1 시드 및 제2 시드가 상술한 바와 같이 성장되고 후보 픽셀이 양 시드와 이어질 수 있다고 식별되면, 제1 시드 및 제2 시드와 연관된 제1 점수 및 제2 점수가 상술한 바와 같이 계산된다. 후보 픽셀은 더 낮은 점수와 연관된 시드에 추가된다. 제1 점수가 제2 점수보다 낮기 때문에, 후보 픽셀이 제1 시드에 추가된다고 가정한다. 제1 시드에 추가될 추가적인 후보 픽셀에 대한 계산된 점수가 사전 결정된 임계값보다 낮아질 때까지, 제1 시드는 상술한 바와 같이 계속 성장할 수 있다. 이러한 방식으로, 제2 시드에 미리 추가된 픽셀들은 상술한 점수 계산에 따라 제2 시드로부터 제거되고 제1 시드에 추가될 수 있다. 이러한 방식으로 두 세포 사이의 평형점에 있는 픽셀이 두 세포 사이의 경계에 속하는 픽셀에 대한 최선의 후보로서 식별된다. 뿐만 아니라, 두 세포 각각은 자신의 독자성(identity)을 유지한다.
몇몇 실시예에서, 학습 모듈(114) 및 세포 식별 모듈(118)은 당업자들에게 명백한 랜덤 포레스트 디시전 트리 기술(Random Forest Decision Tree technique)을 이용하여 구현될 수 있다. 다른 실시예에서, 학습 모듈(114) 및 세포 식별 모듈(118)은, 예컨대, 신경망(neural network), 서포트 벡터 머신(support vector machine), 및 k-민즈 클러스터링(k-means clustering) 등을 포함하는 다른 기계 학습 기술을 이용하여 구현될 수 있다.
몇몇 실시예에서, 사용자가 세포 중심만 분류했다면, 학습 모델이 적용된 후 세포 중심만 식별될 수 있다. 이러한 경우에, 세포 식별은 각각의 식별된 세포의 세포 중심 정보를 이용하고, 당업자들에게 명백한 세포 성장 기술(cell growing technique)을 이용하여 그 또한 그러한 세포를 포함하는 이웃 세포를 선택할 수 있다.
도 2a는 현미경 이미지(200)의 한 예를 도시한다. 현미경 이미지(200)의 A 부분(202)은 도 2b에 확대되어 도시되어 있다. 도 2b를 참조하면, 그 부분(202)은 세포(204)를 포함한다.
도 3a 및 3b는 사용자가 현미경 이미지(200) 내의 예시적인 대상을 식별한 후의 현미경 이미지(200)를 보여주는 예시적인 이미지(300) 및 이미지의 일부분(302)을 도시한다. 사용자는 세포(204)의 세포 중심(304) 및 세포 경계(306), 및 배경 영역(308)을 식별하였다. 상술한 바와 같이, 세포 경계(306)는 사용자가 세포(204)의 전체를 식별한다면 시스템(100)에 의해 자동으로 도출될 수 있다.
도 4는 이미지(200)가 상술한 바와 같이 프로세싱된 후의 결과인 이미지(400)를 도시한다. 명백하게도, 이미지(400) 전체의 세포(402)가 식별되었다.
도 5는 이미지 내의 픽셀들을 분류하기 위해 사용될 수 있는 학습 모델을 생성하기 위해 시스템(100)에 의해 수행되는 프로세싱의 흐름도(500)이다. 단계(502)에서, 이미지 획득 모듈(102)은 이미지를 획득하고 그 이미지를 저장한다. 단계(504)에서, 사용자 인터페이스 모듈(106)은 획득 이미지를 디스플레이한다. 단계(506)에서, 사용자 인터페이스 모듈은 사용자가 사용하는 컴퓨터(108)로부터 적어도 하나의 세포로 식별된 디스플레이 이미지 내의 픽셀들의 식별정보를 획득하고, 학습 데이터를 생성한다. 단계(508)에서, 필터링 모듈(110)은 획득 이미지의 필터링된 버전을 발생시킨다. 단계(510)에서, 학습 모듈(114)은 단계(506)에서 생성된 학습 데이터 및 단계(508)에서 발생된 획득 이미지의 필터링된 버전을 이용하여 학습 모델을 생성한다. 하나의 실시예에서, 학습 모델은 획득 이미지의 획득된 및 필터링된 버전으로부터 학습 데이터를 예측하는 최적의 판정 트리를 식별하기 위해 랜덤 포레스트 디시전 트리 기술을 이용하여 생성된다. 몇몇 실시예에서, 학습 모듈(114)은 생성된 학습 모델이 어떤 필터링된 버전을 이용하는지 판정하기 위해 학습 모델을 평가할 수 있다. 이러한 실시예에서, 필터링 모듈(110)의 파라미터들은 후속 이미지의 불필요한 필터링된 버전이 생성되지 않도록 학습 모듈(114)에 의해 단계(512)에서 갱신된다.
도 6은 이미지 내의 픽셀을 분류하기 위해 훈련된 모델을 이용하고 이미지 내의 세포의 통계를 생성하기 위해 그러한 범주를 이용하기 위해 시스템(100)에 의해 수행되는 프로세싱의 흐름도(600)를 도시한다. 단계(602)에서, 세포 식별 모듈(118)은 도 5의 단계(510)에서 생성된 학습 모델을 로딩(load)한다. 단계(604)에서, 이미지 획득 모듈(102)은 분류될 이미지를 획득한다. 단계(606)에서, 필터링 모듈(110)은 분류될 이미지의 필터링된 버전을 생성한다. 단계(608)에서, 세포 식별 모듈(118)은 이미지 내의 픽셀들을 분류하기 위해, 분류될 이미지의 필터링된 버전 및 학습 모델을 이용한다. 단계(610)에서, 세포 측정 모듈(120)은 단계(608)에서 세포 중심을 카운트하기 위해 생성된 픽셀 범주를 이용한다. 게다가, 몇몇 실시예에서, 세포 중심만 식별된다면, 세포 측정 모듈(120)은 (612)에서 그 또한 세포에 속하는 세포 중심 주변의 픽셀들을 분류할 수 있다.
단계(614)에서, 세포 측정 모듈은 세포 중심의 개수 및 획득 이미지의 세포들이 식별되어 있는 이미지를 출력한다. 단계(616)에서, 이미지 획득 모듈(102)은 분류될 임의의 추가적인 이미지가 존재하는지 판정하고, 그러하다면, 프로세싱은 추가 이미지를 로딩하기 위해 단계(604)로 진행한다. 그렇지 않다면, 시스템(100)은 종료한다.
도 7을 참조하면, 이미지 분류 시스템(100)은 컴퓨터(107)의 디스플레이상에 그래픽 사용자 인터페이스(700)를 생성할 수 있다. 그래픽 사용자 인터페이스(700)는 획득 이미지가 디스플레이되는 영역(702), 소프트 버튼(704, 706, 708 및 710)을 포함한다. 예시적인 그래픽 사용자 인터페이스(700)에서, 사용자가 소프트 버튼(704)을 선택한 후 영역(702) 내에 디스플레이된 이미지의 픽셀을 선택한다면, 그러한 픽셀은 세포 내부와 연관될 것이다. 이와 유사하게, 사용자가 소프트 버튼(706)을 선택한 후 영역(702) 내에 디스플레이된 이미지의 픽셀을 선택한다면, 선택된 픽셀은 디스플레이된 이미지의 배경 또는 다른 무관심 영역과 연관될 것이다. 사용자가 이미지의 선택된 픽셀을 부가적인 픽셀과 연관짓는 것을 가능하게 하기 위해, 부가적인 소프트 버튼이 그래픽 사용자 인터페이스(700)에 포함될 수 있음이 명백할 것이다. 또한, 소프트 버튼(704 또는 706)이 사용자가 피처(세포 중심, 세포 타입, 세포 에지, 및 데브리스 등)를 식별할 수 있게 하기 위한 팝업 메뉴와 연관될 수 있고, 이미지 내의 후속하여 선택된 임의의 픽셀들이 식별된 피처와 연관됨이 명백할 것이다.
사용자가 소프트 버튼(708)을 선택한 후 디스플레이된 이미지의 하나 이상의 픽셀을 선택한다면, 임의의 선택된 픽셀과 이전에 연관된 임의의 피처들은 제거될 것이다. 사용자에 의한 소프트 버튼(710)의 선택은 사용자가 그러한 픽셀을 피처와 연관짓지 않고 이미지 내의 픽셀을 선택할 수 있도록, 버튼(704, 706 및 708)의 이의의 선택을 해제(clear)시킨다.
소프트 버튼(712, 714 및 716)은 사용자가 선 굵기를 선택하는 것을 가능하게 한다. 예를 들어, 사용자가 소프트 버튼(712)을 선택한다면, 영역(702) 내의 임의의 후속 선택은, 예컨대, 하나의 픽셀을 선택할 수 있다. 사용자가 소프트 버튼(714)을 선택한다면, 영역(702) 내의 임의의 후속 선택은, 예컨대, 3개의 픽셀을 선택할 수 있다. 사용자가 소프트 버튼(716)을 선택한다면, 영역(702) 내의 임의의 후속 선택은, 예컨대, 5개의 픽셀을 선택할 수 있다.
그래픽 사용자 인터페이스(700)는 또한 소프트 버튼(718)을 포함하고, 그 버튼의 선택은 영역(702) 내에 디스플레이된 이미지의 픽셀과 소프트 버튼(704 및 706)을 이용하여 선택된 피처 사이에서 사용자가 만들었던 임의의 연관을 해제시킨다.
사용자가 영역(702) 내에 디스플레이된 이미지의 픽셀과 피처를 연관짓는 것을 완료한 후, 사용자는 소프트 버튼(720)을 선택하여 그러한 연관을 사용자 인터페이스 모듈(106)에 제출함으로써 학습 데이터를 생성하고 학습 데이터 저장소(109)에 저장한다. 몇몇 실시예에서, 사용자 인터페이스(700)는 저장된 학습 데이터로부터 학습 모델의 생성을 시작하기 위해 학습 모듈(114)을 호출한다.
시스템(100)은 투과 광, 형광 이미지, 차등 간섭 대비(differential interference contrast), 위상차, 및 명시야 이미징(brightfield imaging) 등을 포함하는 상이한 양식들을 이용하여 획득 이미지 내의 대상을 식별하기 위해 사용될 수 있다. 시스템(100)은 마커(marker)로 라벨링된 세포 및 라벨링 되지 않은 세포의 이미지와 함께 사용될 수 있다. 또한, 학습 모델은 하나의 양식을 이용하여 획득 이미지를 이용하여 생성될 수 있고, 학습 모델은 상이한 양식을 이용하여 획득 이미지에 후속하여 적용될 수 있다.
시스템(100)은, 예컨대, 성게알을 분리시키고 카운팅 하기 위해, 대축척 이미지 내의 대상들을 식별하고 나누기 위해 사용될 수 있다.
시스템(100)은 또한, 예컨대, 미토콘드리아 등에 대응하는 이미지의 픽셀을 분류하기 위해, 이미지 내의 세포를 나누기 위해 사용될 수 있다. 시스템(100)은 또한, 예컨대, 교질 세포와 연관된 픽셀로부터 신경과 연관된 픽셀을, 또는 죽은 세포와 연관된 픽셀로부터 살아있는 세포와 연관된 픽셀을 구별하기 위해, 이미지 내의 상이한 세포군에 대응하는 픽셀들을 분류 및 구별하기 위해 사용될 수 있다. 시스템(100)은 동일한 이미지 내의 합쳐진 상이한 세포군 또는 동일한 군과 연관된 픽셀들을 식별하기 위해 사용될 수 있다.
앞서 시스템(100)이 이미지 내의 세포를 식별하는 맥락에서 서술되어 있으나, 이러한 시스템은 이미지 내의 임의의 타입의 대상을 식별하기 위해 사용될 수 있다. 시스템(100)은, 배경으로부터, 이미지 내의 분리된 대상 뿐만 아니라, 이미지 내의 합쳐진(또는 접촉된) 대상을 식별하기 위해 사용될 수 있다. 게다가, 시스템(100)은 이미지 내의 다양한 타입의 대상에 대응하는 픽셀을 분류하기 위해 사용될 수도 있다.
도 1-7과 관련하여 서술된 하나 이상의 모듈, 프로세스, 서브 프로세스 및 프로세스 단계들이 하나 이상의 전자 또는 디지털 제어식 장치상에서 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 수행될 수 있음이 이해될 것이다. 소프트웨어는 도 1-7에 개략적으로 도시된, 예컨대, 하나 이상의 기능적 시스템, 컨트롤러, 장치, 컴포넌트, 모듈, 또는 서브 모듈과 같은 적절한 전자 프로세싱 컴포넌트 또는 시스템 내의 소프트웨어 메모리(도시되지 않음) 내에 상주(reside)할 수 있다. 소프트웨어 메모리는 논리 기능(즉, 디지털 회로 또는 소스 코드와 같은 디지털 형태로 또는 아날로그 전기, 소리, 또는 비디오 신호와 같은 아날로그 소스와 같은 아날로그 형태로 구현될 수 있는 "로직")을 구현하는 실행 가능한 명령어의 정렬된 목록을 포함할 수 있다. 명령어는, 예컨대, 하나 이상의 마이크로프로세서, 범용 프로세서, 프로세서 조합, 디지털 신호 처리기(DSP), 현장 프로그래밍 가능한 게이트 어레이(FPGA: field programmable gate array) 또는 주문형 반도체(ASIC: application-specific integrated circuit)를 포함하는, 프로세싱 모듈 또는 컨트롤러(예컨대, 이미지 획득 모듈(102), 사용자 인터페이스 모듈(106), 필터링 모듈(110), 학습 모듈(114), 세포 식별 모듈(118) 및 세포 측정 모듈(12)을 통해 실행될 수 있다. 또한, 개략적인 도면은 그 기능의 아키텍처 또는 물리적 레이아웃에 의해 제한되지 않는 물리적(하드웨어 및/또는 소프트웨어) 구현을 가진 기능의 논리적 분할을 설명한다. 본 출원에 서술된 예시적인 시스템은 다양한 구성으로 구현될 수 있고, 단일 하드웨어/소프트웨어 유닛, 또는 개별 하드웨어/소프트웨어 유닛 내의 하드웨어/소프트웨어 컴포넌트로서 동작할 수 있다.
실행 가능한 명령어는 전자 시스템의 프로세싱 모듈에 의해 실행될 때, 자 시스템이 명령어를 수행하게 하는, 저장된 명령어를 가진 컴퓨터 프로그램 프로덕트로 구현될 수 있다. 컴퓨터 프로그램 프로덕트는 명령어 실행 시스템, 장치, 또는 디바이스로부터 명령어를 선택적으로 불러들이고(fetch) 그 명령어를 실행할 수 있는 전자식 컴퓨터 기반 시스템, 프로세서 내장 시스템, 또는 다른 시스템과 같은, 명령어 실행 시스템, 장치, 또는 디바이스에 의해, 또는 이들에 연결되어 사용하기 위한 임의의 비일시적(non-transitory) 컴퓨터 판독 가능한 저장 매체에 선택적으로 내장될 수 있다. 본 명세서의 맥락에서, 컴퓨터 판독 가능한 저장 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 이들에 연결되어 사용하기 위한, 프로그램을 저장할 수 있는 임의의 비일시적 수단이다. 비일시적 컴퓨터 판독 가능한 저장 매체는 선택적으로, 예컨대, 전자, 자성, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스일 수 있다. 비일시적 컴퓨터 판독 가능한 매체의 더 구체적인 예의 개괄적인 목록은 하나 이상의 와이어를 가진 전기적 연결(전자), 휴대용 컴퓨터 디스켓(자성); 랜덤 액세스, 즉, 휘발성 메모리(전자), 판독 전용 메모리(전자), 예컨대, 플래시 메모리와 같은 삭제 가능하고 프로그래밍 가능한 판독 전용 메모리(전자), 예컨대, CD-ROM, CD-R, CD-RW와 같은 컴팩트 디스크 메모리(광), 및 디지털 다기능 디스크 메모리, 즉, DVD(광)를 포함한다. 프로그램이, 예컨대, 종이 또는 다른 매체의 광 스캐닝을 통해 전자적으로 캡처 된 후, 컴파일되거나, 해석되거나, 또는 필요하다면 적절한 방식으로 프로세싱된 다음 컴퓨터 메모리 또는 기계 메모리에 저장될 수 있으므로, 비일시적 컴퓨터 판독 가능한 저장 매체가 심지어 그 위에 프로그램이 인쇄될 수 있는 종이 또는 다른 적절한 매체일 수도 있음을 이해해야 한다.
또한, 본 명세서에서 사용된 데이터의 수신 및 전달은 2 이상의 시스템, 장치, 컴포넌트, 모듈, 또는 서브 모듈이 몇몇 타입의 신호 경로를 상으로 전달되는 신호를 통해 서로 통신할 수 있음을 의미한다는 것이 이해될 것이다. 이러한 신호들은 제1 및 제2 시스템, 장치, 컴포넌트, 모듈, 또는 서브 모듈 간의 신호 경로를 따라 제1 시스템, 장치, 컴포넌트, 모듈, 또는 서브 모듈로부터 제2 시스템, 장치, 컴포넌트, 모듈, 또는 서브 모듈로 정보, 파워, 또는 에너지를 전달할 수 있는 통신, 파워, 데이터, 또는 에너지 신호일 수 있다. 신호 경로는 물리적, 전기적, 자성, 전자기적, 전기화학적, 광, 유선 또는 무선 연결을 포함할 수 있다. 신호 경로는 또한 제1 및 제2 시스템, 장치, 컴포넌트, 모듈, 또는 서브 모듈 사이에 추가 시스템, 장치, 컴포넌트, 모듈, 또는 서브 모듈을 포함할 수도 있다.
본 발명에 대한 다양한 수정이 앞선 설명을 본 당업자들에게 명백할 것이다. 여기 서술된 방법 및 시스템은 다양한 조명 상태하에서 그리고 상이한 현미경 기술들을 이용하여 획득 이미지 내에서 대상, 특히, 세포를 식별하기 위해 사용될 수 있다. 따라서, 본 설명은 단지 예시로서 해석되어야 하고, 당업자들이 본 발명을 구현 및 사용하고 본 발명을 수행하는 최선의 모드를 교시할 수 있도록 하고자 하는 목적으로 제공된 것이다. 첨부된 청구항의 범위 내에 속하는 모든 수정에 대한 배타적 권리가 보장된다.
Claims (20)
- 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법으로서,
이미지를 수신하는 단계;
상기 이미지 내의 특정 타입의 대상과 연관된 픽셀을 식별하는 학습 데이터를 수신하는 단계;
상기 이미지의 하나 이상의 필터링된 버전을 생성하기 위해 상기 이미지에 제1 세트의 필터를 적용하는 단계;
상기 특정 타입의 대상과 연관된 픽셀을 분류하기 위한 제1 세트의 규칙을 생성하기 위해 상기 학습 데이터 및 상기 이미지의 하나 이상의 필터링된 버전을 프로세싱하는 단계;
상기 제1 세트의 규칙의 각각의 규칙을 상기 이미지에 적용하는 단계;
상기 특정 타입의 대상과 연관된 픽셀을 식별하는 데 상기 제1 세트의 규칙의 각각의 규칙의 유효성을 판정하는 단계;
제2 세트의 규칙을 생성하기 위해 상기 제1 세트의 규칙으로부터 하나 이상의 규칙을 선택하는 단계로서, 상기 선택된 규칙의 각각은 상기 이미지 내에서 적어도 사전 결정된 백분율의 픽셀을 정확하게 식별할 수 있는 것인 단계;
상기 제2 세트의 규칙과 연관된 필터만을 포함하는 제2 세트의 필터를 식별하는 단계; 및
상기 이미지 내의 상기 특정 타입의 대상과 연관된 픽셀을 식별하기 위해 상기 이미지에 상기 제2 세트의 규칙의 각각의 규칙을 적용하는 단계;를 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법. - 제 1 항에 있어서, 상기 이미지에 상기 제2 세트의 규칙의 각각의 규칙을 적용하는 단계는 상기 이미지 내의 상기 특정 타입의 합쳐진 대상 간의 경계와 연관된 픽셀을 식별하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 1 항에 있어서, 상기 특정 타입은 생물학적 세포이고, 상기 제2 세트의 규칙의 각각의 규칙을 적용하는 단계는 상기 이미지 내의 합쳐진 생물학적 세포 간의 경계와 연관된 픽셀을 식별하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 3 항에 있어서, 추가 이미지를 수신하는 단계, 및 상기 추가 이미지 내의 복수의 세포와 연관된 픽셀을 식별하기 위해 상기 추가 이미지에 상기 제2 세트의 규칙의 각각의 규칙을 적용하는 단계를 더 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 4 항에 있어서, 상기 추가 이미지에 상기 제2 세트의 규칙의 각각의 규칙을 적용하는 단계는 상기 추가 이미지의 하나 이상의 필터링된 버전을 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 5 항에 있어서,
상기 이미지의 상기 하나 이상의 필터링된 버전 각각을 생성하는 단계는 상기 제1 세트의 필터 중 선택된 필터를 적용하는 단계를 포함하고;
상기 추가 이미지의 상기 하나 이상의 필터링된 버전 각각을 생성하는 단계는 상기 제2 세트의 필터 중 선택된 필터를 적용하는 단계를 포함하고; 그리고
상기 제1 세트의 필터와 상기 제2 세트의 필터는 동일하지 않은 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법. - 제 3 항에 있어서, 상기 제1 세트 및 제2 세트의 규칙을 적용하는 단계는 랜덤 포레스트 디시전 트리 알고리즘(Random Forest Decision Tree algorithm), 신경망, 서포트 벡터 머신(support vector machine) 및 k-민즈 클러스터링 알고리즘(k-means clustering algorithm) 중 하나를 이용하는 단계를 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 3 항에 있어서, 상기 이미지의 필터링된 버전을 생성하는 단계는 에지 탐지 필터, 피크 탐지 필터, 서브 샘플링 필터, 및 평탄화 오퍼레이터(smoothing operator) 중 하나를 적용하는 단계를 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 3 항에 있어서, 상기 이미지 내의 복수의 세포와 연관된 상기 식별된 픽셀에 의해 표현되는 세포들의 개수를 판정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 제 3 항에 있어서, 상기 세포와 연관된 추가 픽셀을 선택하기 위해 식별된 세포의 식별된 부분을 성장시키거나 개선(refining)하는 단계를 더 포함하는 것을 특징으로 하는 이미지 내의 대상과 연관된 픽셀을 분류하는 컴퓨터로 구현된 방법.
- 이미지 내의 대상을 식별하는 시스템으로서, 상기 시스템은 하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서에 의해 작동되고, 이미지 소스로부터 이미지를 수신하는 이미지 획득 모듈;
상기 하나 이상의 프로세서에 의해 작동되고, 상기 이미지 내의 특정 타입의 대상과 연관된 픽셀을 식별하는 학습 데이터를 생성하는 사용자 인터페이스 모듈;
상기 하나 이상의 프로세서에 의해 작동되고, 상기 이미지의 하나 이상의 필터링된 버전을 생성하는 필터링 모듈;
상기 하나 이상의 프로세서에 의해 작동되고,
상기 특정 타입의 대상과 연관된 픽셀을 분류하기 위한 제1 세트의 규칙을 생성하기 위해 상기 학습 데이터 및 상기 이미지의 상기 복수의 필터링된 버전을 프로세싱하고,
상기 특정 타입의 대상과 연관된 픽셀을 식별하는 데 상기 제1 세트의 규칙의 각각의 규칙의 유효성을 판정하고,
제2 세트의 규칙을 생성하기 위해 상기 제1 세트의 규칙으로부터 하나 이상의 규칙을 선택하는 것으로, 상기 선택된 규칙의 각각은 상기 이미지 내에서 적어도 사전 결정된 백분율의 픽셀을 정확하게 식별할 수 있고,
상기 제2 세트의 규칙과 연관된 필터만을 포함하는 제2 세트의 필터를 식별하도록
구성된 학습 모듈; 및
상기 하나 이상의 프로세서에 의해 작동되고, 상기 이미지 내의 상기 특정 타입의 대상과 연관된 픽셀을 식별하기 위해 상기 이미지에 상기 제2 세트의 규칙을 적용하는 대상 식별 모듈;을 포함하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템. - 제 11 항에 있어서, 상기 대상 식별 모듈은 상기 특정 타입의 합쳐진 대상 간의 경계와 연관된 픽셀을 식별하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 11 항에 있어서, 상기 특정 타입은 생물학적 세포이고, 상기 대상 식별 모듈은 상기 이미지 내의 합쳐진 생물학적 세포 간의 경계와 연관된 픽셀을 식별하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 13 항에 있어서, 상기 이미지 획득 모듈은 추가 이미지를 수신하고, 상기 대상 식별 모듈은 상기 추가 이미지에 상기 제2 세트의 규칙을 적용하여 상기 추가 이미지 내의 복수의 세포와 연관된 픽셀을 식별하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 14 항에 있어서, 상기 필터링 모듈은 상기 추가 이미지의 필터링된 버전을 생성하고, 상기 대상 식별 모듈은 상기 추가 이미지의 필터링된 버전을 이용하여 상기 추가 이미지 내의 복수의 세포와 연관된 픽셀을 식별하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 15 항에 있어서, 상기 필터링 모듈은 상기 이미지의 복수의 필터링된 버전을 생성하기 위해 제1 세트의 필터를 이용하고, 상기 추가 이미지의 복수의 필터링된 버전을 생성하기 위해 제2 세트의 필터를 이용하고, 상기 제1 세트의 필터와 상기 제2 세트의 필터는 동일하지 않은 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 13 항에 있어서, 상기 대상 식별 모듈은 랜덤 포레스트 디시전 트리 알고리즘(Random Forest Decision Tree algorithm), 신경망, 서포트 벡터 머신(support vector machine) 및 k-민즈 클러스터링 알고리즘(k-means clustering algorithm) 중 하나를 이용하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 13 항에 있어서, 상기 필터링 모듈은 상기 이미지에 에지 탐지 필터, 피크 탐지 필터, 서브 샘플링 필터, 및 평탄화 오퍼레이터(smoothing operator) 중 하나를 적용하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 13 항에 있어서, 상기 이미지 내의 복수의 세포와 연관된 상기 식별된 픽셀에 의해 표현되는 세포들의 개수를 판정하는 세포 측정 모듈을 더 포함하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
- 제 13 항에 있어서, 상기 이미지 내의 복수의 세포와 연관된 통계를 계산하는 세포 측정 모듈을 더 포함하는 것을 특징으로 하는 이미지 내의 대상을 식별하는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361896282P | 2013-10-28 | 2013-10-28 | |
| US61/896,282 | 2013-10-28 | ||
| PCT/US2014/060417 WO2015065697A1 (en) | 2013-10-28 | 2014-10-14 | Method and system for classifying and identifying individual cells in a microscopy image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160078955A KR20160078955A (ko) | 2016-07-05 |
| KR102273115B1 true KR102273115B1 (ko) | 2021-07-06 |
Family
ID=53004937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167008003A KR102273115B1 (ko) | 2013-10-28 | 2014-10-14 | 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9830502B2 (ko) |
| EP (1) | EP3063289B1 (ko) |
| JP (1) | JP6619732B2 (ko) |
| KR (1) | KR102273115B1 (ko) |
| CN (1) | CN105849274B (ko) |
| WO (1) | WO2015065697A1 (ko) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11222413B2 (en) * | 2016-11-08 | 2022-01-11 | Samsung Electronics Co., Ltd. | Method for correcting image by device and device therefor |
| KR102359391B1 (ko) * | 2016-11-08 | 2022-02-04 | 삼성전자주식회사 | 디바이스가 이미지를 보정하는 방법 및 그 디바이스 |
| KR101883350B1 (ko) * | 2016-11-22 | 2018-08-02 | (주) 테크로스 | 샘플수 분석장치 및 방법 |
| KR101844928B1 (ko) * | 2016-11-24 | 2018-04-03 | (주) 테크로스 | 샘플수 분석장치 및 방법 |
| GB201705876D0 (en) * | 2017-04-11 | 2017-05-24 | Kheiron Medical Tech Ltd | Recist |
| GB201705911D0 (en) | 2017-04-12 | 2017-05-24 | Kheiron Medical Tech Ltd | Abstracts |
| JP7030423B2 (ja) | 2017-04-27 | 2022-03-07 | シスメックス株式会社 | 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法 |
| CN107729932B (zh) * | 2017-10-10 | 2019-07-26 | 杭州智微信息科技有限公司 | 骨髓细胞标记方法和系统 |
| CN107977684B (zh) * | 2017-12-20 | 2018-10-23 | 杭州智微信息科技有限公司 | 一种快速修正骨髓有核细胞分类的交互方法 |
| KR102072445B1 (ko) * | 2018-01-30 | 2020-02-03 | 서강대학교 산학협력단 | 마이크로웰 어레이의 이미지 분석을 위한 분석 알고리즘 형성방법 |
| KR102237288B1 (ko) * | 2018-02-07 | 2021-04-07 | 울산과학기술원 | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 |
| US10586129B2 (en) | 2018-02-21 | 2020-03-10 | International Business Machines Corporation | Generating artificial images for use in neural networks |
| US11798662B2 (en) * | 2018-03-07 | 2023-10-24 | Verdict Holdings Pty Ltd | Methods for identifying biological material by microscopy |
| JP2019195304A (ja) | 2018-05-10 | 2019-11-14 | 学校法人順天堂 | 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 |
| JP6627069B2 (ja) * | 2018-06-01 | 2020-01-08 | 株式会社フロンティアファーマ | 画像処理方法、薬剤感受性試験方法および画像処理装置 |
| CN108961301B (zh) * | 2018-07-12 | 2021-11-02 | 中国海洋大学 | 一种基于无监督逐像素分类的角毛藻图像分割方法 |
| US10853943B2 (en) * | 2018-07-31 | 2020-12-01 | Element Ai Inc. | Counting objects in images based on approximate locations |
| EP3608701A1 (de) * | 2018-08-09 | 2020-02-12 | Olympus Soft Imaging Solutions GmbH | Verfahren zur bereitstellung wenigstens einer auswertemethode für proben |
| EP3629242B1 (de) * | 2018-09-28 | 2024-07-03 | Siemens Healthcare Diagnostics Inc. | Verfahren zum konfigurieren einer bildauswerteeinrichtung sowie bildauswerteverfahren und bildauswerteeinrichtung |
| DE102018217901A1 (de) * | 2018-10-18 | 2020-04-23 | Leica Microsystems Cms Gmbh | Optimierung von Arbeitsabläufen von Mikroskopen |
| CA3118950C (en) * | 2018-11-07 | 2024-01-09 | Trustees Of Tufts College | Atomic-force microscopy for identification of surfaces |
| KR102084682B1 (ko) | 2019-01-07 | 2020-03-04 | 기초과학연구원 | 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치 |
| CN113632138A (zh) | 2019-03-29 | 2021-11-09 | 富士胶片株式会社 | 图像处理装置、图像处理装置的工作方法及图像处理装置的工作程序 |
| JP7138780B2 (ja) | 2019-04-02 | 2022-09-16 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム、運用装置とその作動方法および作動プログラム、並びに機械学習システム |
| CN113678142A (zh) * | 2019-04-11 | 2021-11-19 | 安捷伦科技有限公司 | 基于深度学习的经由回归层的实例分割训练 |
| JP7381003B2 (ja) | 2019-04-26 | 2023-11-15 | 学校法人順天堂 | 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム |
| KR102338050B1 (ko) * | 2019-08-30 | 2021-12-13 | 포항공과대학교 산학협력단 | 주사투과전자현미경 이미지에서의 원자 구조 해석 방법 |
| JP7242882B2 (ja) | 2019-09-27 | 2023-03-20 | 富士フイルム株式会社 | 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム |
| JP7545202B2 (ja) | 2019-11-29 | 2024-09-04 | シスメックス株式会社 | 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム |
| CN116324879A (zh) * | 2020-09-21 | 2023-06-23 | 分子装置有限公司 | 用于开发成像配置以优化显微镜系统的性能的方法和系统 |
| CN116431597A (zh) * | 2021-12-31 | 2023-07-14 | 戴尔产品有限公司 | 用于训练数据分类模型的方法、电子设备和计算机程序产品 |
| CN114418995B (zh) * | 2022-01-19 | 2023-02-03 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于显微镜图像的级联藻类细胞统计方法 |
| WO2024137382A1 (en) * | 2022-12-21 | 2024-06-27 | Nanostring Technologies, Inc. | Systems and methods utilizing improved definition of cell boundaries in biological images |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010244446A (ja) * | 2009-04-09 | 2010-10-28 | Nikon Corp | データ処理装置、データ処理方法およびプログラム |
| US20130044940A1 (en) * | 2011-08-15 | 2013-02-21 | Molecular Devices, Llc | System and method for sectioning a microscopy image for parallel processing |
| US20130071003A1 (en) | 2011-06-22 | 2013-03-21 | University Of Florida | System and device for characterizing cells |
| US20150371115A1 (en) | 2013-09-11 | 2015-12-24 | Digitalglobe, Inc. | Classification of land based on analysis of remotely-sensed earth images |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5978497A (en) * | 1994-09-20 | 1999-11-02 | Neopath, Inc. | Apparatus for the identification of free-lying cells |
| WO1996009594A1 (en) * | 1994-09-20 | 1996-03-28 | Neopath, Inc. | Apparatus for automated identification of thick cell groupings on a biological specimen |
| US20060269135A1 (en) | 2005-03-15 | 2006-11-30 | Ramsay Thomas E | System and method for identifying objects of interest in image data |
| WO2006114003A1 (en) * | 2005-04-27 | 2006-11-02 | The Governors Of The University Of Alberta | A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images |
| WO2009058915A1 (en) * | 2007-10-29 | 2009-05-07 | The Trustees Of The University Of Pennsylvania | Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri) |
| US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
| US8175369B2 (en) * | 2008-12-12 | 2012-05-08 | Molecular Devices, Llc | Multi-nucleated cell classification and micronuclei scoring |
| US8483488B2 (en) * | 2009-08-07 | 2013-07-09 | Medinol Ltd. | Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images |
| CN102175625A (zh) * | 2010-11-29 | 2011-09-07 | 樊潮 | 一种癌细胞识别方法 |
| US8705834B2 (en) | 2011-11-08 | 2014-04-22 | Perkinelmer Cellular Technologies Germany Gmbh | Methods and apparatus for image analysis using threshold compactness features |
| EP2776975A1 (en) | 2011-11-08 | 2014-09-17 | Perkinelmer Cellular Technologies Germany GmbH | Methods and apparatus for image analysis using profile weighted intensity features |
| US20130138352A1 (en) * | 2011-11-30 | 2013-05-30 | Molecular Devices, Llc | System and method for determining a baseline measurement for a biological response curve |
| CN102682305B (zh) * | 2012-04-25 | 2014-07-02 | 深圳市迈科龙医疗设备有限公司 | 宫颈液基细胞学自动筛查方法和系统 |
| US20130329987A1 (en) * | 2012-06-11 | 2013-12-12 | Genesis Group Inc. | Video segmentation method |
-
2014
- 2014-10-14 WO PCT/US2014/060417 patent/WO2015065697A1/en active Application Filing
- 2014-10-14 US US15/031,523 patent/US9830502B2/en active Active
- 2014-10-14 JP JP2016522089A patent/JP6619732B2/ja active Active
- 2014-10-14 CN CN201480059295.8A patent/CN105849274B/zh active Active
- 2014-10-14 EP EP14857738.0A patent/EP3063289B1/en active Active
- 2014-10-14 KR KR1020167008003A patent/KR102273115B1/ko active IP Right Grant
-
2017
- 2017-10-25 US US15/793,547 patent/US10061974B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010244446A (ja) * | 2009-04-09 | 2010-10-28 | Nikon Corp | データ処理装置、データ処理方法およびプログラム |
| US20130071003A1 (en) | 2011-06-22 | 2013-03-21 | University Of Florida | System and device for characterizing cells |
| US20130044940A1 (en) * | 2011-08-15 | 2013-02-21 | Molecular Devices, Llc | System and method for sectioning a microscopy image for parallel processing |
| US20150371115A1 (en) | 2013-09-11 | 2015-12-24 | Digitalglobe, Inc. | Classification of land based on analysis of remotely-sensed earth images |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105849274B (zh) | 2020-01-21 |
| KR20160078955A (ko) | 2016-07-05 |
| JP6619732B2 (ja) | 2019-12-11 |
| WO2015065697A1 (en) | 2015-05-07 |
| US10061974B2 (en) | 2018-08-28 |
| US9830502B2 (en) | 2017-11-28 |
| EP3063289A1 (en) | 2016-09-07 |
| JP2016534709A (ja) | 2016-11-10 |
| EP3063289A4 (en) | 2017-06-21 |
| CN105849274A (zh) | 2016-08-10 |
| EP3063289B1 (en) | 2020-01-08 |
| US20160259963A1 (en) | 2016-09-08 |
| US20180165509A1 (en) | 2018-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102273115B1 (ko) | 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템 | |
| Mehta et al. | Apple Leaf Disease Recognition: A Robust Federated Learning CNN Methodology | |
| Versari et al. | Long-term tracking of budding yeast cells in brightfield microscopy: CellStar and the Evaluation Platform | |
| US11645752B2 (en) | Image analysis system and method of using the image analysis system | |
| US9940545B2 (en) | Method and apparatus for detecting anatomical elements | |
| WO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10706259B2 (en) | System and method for image analysis of multi-dimensional data | |
| Abrams et al. | Habitat-Net: Segmentation of habitat images using deep learning | |
| CN108475429B (zh) | 三维显微镜图像的分割的系统和方法 | |
| US20240037724A1 (en) | Plant detection and display system | |
| CN108629378A (zh) | 图像识别方法和设备 | |
| US20180128734A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| Borianne et al. | GT-RootS: an integrated software for automated root system measurement from high-throughput phenotyping platform images | |
| WO2018041900A1 (en) | Method, system and computer program product for determining the presence of microorganisms and identifying said microorganisms | |
| JP2019091308A (ja) | 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ | |
| JP7148776B2 (ja) | コロニー識別システム、コロニー識別方法およびコロニー識別プログラム | |
| KR20230011012A (ko) | 그림을 이용한 아동정서, 심리, 행동 사전 점검 및 치유 솔루션 시스템 및 이를 이용한 아동정서, 심리, 행동 사전 점검 및 치유 방법 | |
| Kania et al. | Gimme my vegetation map in an hour! Towards operational vegetation classification and mapping: an automated software workflow | |
| JP7085909B2 (ja) | 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム | |
| Mehfar | SEGMENTATION OF ANTI-NUCLEAR ANTIBODY IMAGES BASED ON WATERSHEDS AND FAST REGION MERGING |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20160325 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20191014 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20201228 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210601 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210629 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210630 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240522 Start annual number: 4 End annual number: 4 |