KR102589666B1 - Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템 - Google Patents

Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템 Download PDF

Info

Publication number
KR102589666B1
KR102589666B1 KR1020200177241A KR20200177241A KR102589666B1 KR 102589666 B1 KR102589666 B1 KR 102589666B1 KR 1020200177241 A KR1020200177241 A KR 1020200177241A KR 20200177241 A KR20200177241 A KR 20200177241A KR 102589666 B1 KR102589666 B1 KR 102589666B1
Authority
KR
South Korea
Prior art keywords
machine learning
tumor
dapi
image
learning unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200177241A
Other languages
English (en)
Other versions
KR20220086964A (ko
Inventor
강호철
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020200177241A priority Critical patent/KR102589666B1/ko
Publication of KR20220086964A publication Critical patent/KR20220086964A/ko
Application granted granted Critical
Publication of KR102589666B1 publication Critical patent/KR102589666B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템은 DAPI 염색된 세포 영상을 촬영하는 촬영부; 상기 촬영부에 의하여 촬영된 세포 영상을 1차적으로 처리하여 영상의 특징점을 감소시키는 제1차 머신러닝부; 및 상기 제1차 머신러닝부에 의하여 도출된 결과를 입력값으로 하여 상기 세포 영상으로부터 종양의 판별여부를 출력하는 제2차 머신러닝부;를 포함한다.
본 발명에 따르면 DAPI로 세포를 염색을 하여 종양으로 의심되는 부위가 밝게 염색되도록 하고, 이러한 영상을 머신러닝을 통하여 종양의 존재 여부를 판단함으로써 종양의 악성/양성 여부에 따라 암발생 여부를 진단할 수 있으며, 염색 영상을 입력으로 하여 머신러닝을 통하여 종양의 여부를 판별함에 있어서 1차적인 머신러닝을 통하여 특징점을 감소시키고 2차적인 머신러닝을 통하여 종양의 여부를 판별함으로써 종양의 판정을 효율적으로 수행할 수 있다.

Description

DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템{Machine learning system for cell image classification based on DAPI staining}
본 발명은 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템에 관한 것으로서 보다 상세하게는 조직검사를 통하여 얻은 세포 영상을 이용한 종양 여부를 판단하는 시스템에 관한 것이다.
질병들을 분류하기 위한 많은 방법들이 있지만, 지난 2세기에 걸쳐서 정상 조직의 형태학 및 기능이 동일한 조직의 다양한 질병을 정의하기 위한 참고점으로서 성공적으로 이용되어 왔으며, 이러한 시도를 사용하여 림프종 및 백혈병과 같은 조혈성 종양을 효과적으로 분류하여 왔다.
조혈성 악성 종양을 합리적으로 분류하여 치료하는 데 있어서의 주요 성공에도 불구하고, 고형 종양의 다른 유형을 분류하기 위한 정상 세포형의 사용은 광범위하게 모방되지 않아 왔다. 이의 주요 이유는 대부분의 고형 조직에서 세포형의 다양성의 이해의 결여에 있다.
한편, DAPI(4',6-diamidino-2-phenylindole, Dihydrochloride)란 주로 세포 영상을 염색할 때 사용하는 물질을 말한다. DAPI 염색(DAPI staining)은 형광 stain인 DAPI(4',6-diamidino-2-phenylindole)를 이용한 DNA 염색 방법을 말하는 것으로 푸른색의 형광을 검출(detection)하여 염색된 부위를 알 수 있다.
본 발명은 DAPI 염색을 통한 영상 분석을 통하여 종양을 검출할 수 있는 수단을 제공하는 데 그 목적이 있다.
본 발명에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템은 DAPI 염색된 세포 영상을 촬영하는 촬영부; 상기 촬영부에 의하여 촬영된 세포 영상을 1차적으로 처리하여 영상의 특징점을 감소시키는 제1차 머신러닝부; 및 상기 제1차 머신러닝부에 의하여 도출된 결과를 입력값으로 하여 상기 세포 영상으로부터 종양의 판별여부를 출력하는 제2차 머신러닝부;를 포함한다.
또한 상기 제1차 머신러닝부는 오토 인코더(auto encorder) 머신러닝 기법을 이용할 수 있다.
또한 상기 제2차 머신러닝부는 SVM(support vector machine) 머신러닝 기법을 이용할 수 있다.
또한 상기 제2차 머신러닝부는 정상 세포의 DAPI 염색 영상과 종양 세포의 DAPI 염색 영상을 동일 비율의 수로 입력받아 지도학습을 미리 수행할 수 있다.
본 발명에 따르면 DAPI로 세포를 염색을 하여 종양으로 의심되는 부위가 밝게 염색되도록 하고, 이러한 영상을 머신러닝을 통하여 종양의 존재 여부를 판단함으로써 종양의 악성/양성 여부에 따라 암발생 여부를 진단할 수 있다.
또한 본 발명에 따르면 염색 영상을 입력으로 하여 머신러닝을 통하여 종양의 여부를 판별함에 있어서 1차적인 머신러닝을 통하여 특징점을 감소시키고 2차적인 머신러닝을 통하여 종양의 여부를 판별함으로써 종양의 판정을 효율적으로 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 프로세스를 설명하기 위한 순서도이다.
도 3은 DAPI 염색에 따른 세포 영상의 일 예를 나타내는 사진이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 특별한 정의나 언급이 없는 경우에 본 설명에 사용하는 방향을 표시하는 용어는 도면에 표시된 상태를 기준으로 한다. 또한 각 실시예를 통하여 동일한 도면부호는 동일한 부재를 가리킨다. 한편, 도면상에서 표시되는 각 구성은 설명의 편의를 위하여 그 두께나 치수가 과장될 수 있으며, 실제로 해당 치수나 구성간의 비율로 구성되어야 함을 의미하지는 않는다.
도 1 내지 도 3을 참조하여 일 실시예에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템 및 그에 따른 프로세스를 설명한다. 도 1은 본 발명의 일 실시예에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템을 나타내는 블록도이고, 도 2는 일 실시예에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 프로세스를 설명하기 위한 순서도이며, 도 3은 DAPI 염색에 따른 세포 영상의 일 예를 나타내는 사진이다.
본 발명의 일 실시예에 따른 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템은 도 1에 도시된 바와 같이 촬영부(100), 제1차 머신러닝부(200) 및 제2차 머신러닝부(300)를 포함한다.
촬영부(100)는 DAPI 염색된 세포 영상을 촬영하는 구성부이고, 제1차 머신러닝부(200)는 촬영부(100)에 의하여 촬영된 세포 영상을 1차적으로 머신러닝을 통하여 영상의 특징점을 감소시다. 제2차 머신러닝부(300)는 제1차 머신러닝부(200)에 의하여 도출된 결과를 입력값으로 하여 세포 영상으로부터 종양의 판별여부를 출력한다. 이하 각 구성부에 대하여 구체적으로 설명한다.
먼저 세포 DAPI 염색을 수행한다(S100). DAPI는 세포막을 투과하여 DNA와 결합 하게 되고, 이때 358nm(Max.) 정도 파장대의 빛을 흡수하여 블루(blue) 내지 시안(cyan) 계통의 형광을 발한다.
DAPI가 DNA에 결합하는 원리는 아래와 같이 크게 두가지로 볼 수 있다. 주로 AT rich region에 작용하는 약한 groove-binding와 GC 또는 AT/GC가 섞인 DNA sequence에 작용하는 intercalative binding이다. 이들 중에서 DNA strands 사이에 끼어 결합하는 경우가 대부분을 차지하며, DAPI가 DNA와 결합하게 되면 DAPI의 방향성 고리 구조에 변형이 일어나 흡수 파장대가 가시광선 영역으로 변하게 된다.
이후 촬영부에서 염색 세포를 촬영한다(S200). 촬영된 염색 세포의 일 예를 도 3에 나타내었다. 도 3에서 좌측은 염색전의 상태를 나타내고, 우측은 DAPI 염색 후 촬영된 영상을 나타낸다.
DAPI로 염색하면 세포의 핵 부분이 염색이 되는데 이 핵의 염색된 패턴에 따라 악성과 양성으로 나뉜다. 악성인 경우 암으로 판단할 수 있는데 이를 자동으로 판단하기 위하여 다음과 같이 머신러닝 기법을 이용한다.
먼저 제1차 머신러닝부가 제1차 머신러닝을 수행한다(S300). 제1차 머신러닝 단계에서는 오토 인코더(auto encorder) 머신러닝 기법을 이용할 수 있으며, 별도의 지도학습을 수행하지 않는다. 오토 인코더는 이미지의 특징을 추출하기 위한 것으로서, 입력과 출력이 같고 보통 가운데의 히든 레이어가 줄어들어야 한다.
제2차 머신러닝부는 SVM(support vector machine) 머신러닝 기법을 이용하여 머신러닝을 수행한다(S400). 제2차 머신러닝부는 정상 세포의 DAPI 염색 영상과 종양 세포의 DAPI 염색 영상을 동일 비율의 수로 입력받아 지도학습을 미리 수행할 수 있다.
이와 같이 컴퓨터의 암 발생 예측 정확도를 높이기 위해 오토인코더(AE, auto encoder)와 서포트 벡터 머신 (SVM, support vector machine) 등 머신러닝 기법을 사용한다. 영상을 불필요한 부분을 제외하여 압축하기 위하여 오토인코더를 사용하여 영상으로 부터 특징점(feature)를 추출하고, SVM(support vector machine)을 이용하여 이진 분류에 따른 종양의 판단 결과를 출력하게 된다.
즉 오토인코더 머신러닝 방식을 통하여 영상의 중요한 정보를 최대한 보존하며 영상을 압축하고 압축된 데이터가 영상의 특징점으로서 출력되며, 이를 SVM입력으로 사용한다. SVM 머신러닝 단계에서는 정상 영상으로 부터 추출한 특징점을 SVM 입력으로 넣고 출력으로 이 데이터는 정상(0)이라는 값을 넣어 학습을 시키고, 종양 영상으로 부터 추출한 특징점을 SVM 입력으로 넣고 출력으로 이 데이터는 종양(1)이라는 값을 넣어 학습을 시킨다. 이러한 과정을 반복하하여 SVM 안에 있는 여러 매개변수들이 학습된다. 학습에 사용되는 데이터가 100개라면 50개는 정상, 50개는 종양 데이터로 학습을 진행한다.
학습이 끝나면 정상과 종양을 분류할 수 있는 모델이 완성이 되고 새로운 환자의 새로운 DAPI세포 영상을 획득하면 이 영상을 제1차 머신러닝과 제2차 머신러닝을 통하여 특징점을 추출한 후 출력으로 0 혹은 1이 판정받는다. 이 수치를 통하여 0이면 정상, 1이면 종양이라고 판단하게 된다.
이상 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명의 기술적 사상이 상술한 바람직한 실시예에 한정되는 것은 아니며, 특허청구범위에 구체화된 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양하게 구현될 수 있다.
100: 촬영부
200: 제1차 머신러닝부
300: 제2차 머신러닝부

Claims (4)

  1. DAPI 염색된 세포 영상을 촬영하는 촬영부;
    상기 촬영부에 의하여 촬영된 세포 영상을 1차적으로 처리하여 영상의 특징점을 감소시키는 제1차 머신러닝부; 및
    상기 제1차 머신러닝부에 의하여 도출된 결과를 입력값으로 하여 상기 세포 영상으로부터 종양의 판별여부를 출력하는 제2차 머신러닝부;를 포함하고,
    상기 제1차 머신러닝부는 오토 인코더(auto encorder) 머신러닝 기법을 이용하며,
    상기 제2차 머신러닝부는 SVM(support vector machine) 머신러닝 기법을 이용하고,
    상기 제2차 머신러닝부는 정상 세포의 DAPI 염색 영상과 종양 세포의 DAPI 염색 영상을 동일 비율의 수로 입력받아 지도학습을 미리 수행하며,
    상기 제2차 머신러닝부는 상기 제1차 머신러닝부에 의하여 정상 영상으로 부터 추출한 특징점을 SVM 입력으로 넣고 출력으로 이 데이터는 정상(0)이라는 값을 넣어 학습을 시키고, 상기 제1차 머신러닝부에 의하여 종양 영상으로 부터 추출한 특징점을 SVM 입력으로 넣고 출력으로 이 데이터는 종양(1)이라는 값을 넣어 학습을 시키되, 상기 정상 영상에 의한 학습수와 상기 종양 영상에 의한 학습수를 1 대 1의 비율로 수행하는 DAPI 염색 기반 세포 영상 분류를 위한 머신러닝 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
KR1020200177241A 2020-12-17 2020-12-17 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템 Active KR102589666B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177241A KR102589666B1 (ko) 2020-12-17 2020-12-17 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177241A KR102589666B1 (ko) 2020-12-17 2020-12-17 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템

Publications (2)

Publication Number Publication Date
KR20220086964A KR20220086964A (ko) 2022-06-24
KR102589666B1 true KR102589666B1 (ko) 2023-10-13

Family

ID=82215734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177241A Active KR102589666B1 (ko) 2020-12-17 2020-12-17 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템

Country Status (1)

Country Link
KR (1) KR102589666B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240083820A (ko) 2022-12-05 2024-06-12 가톨릭대학교 산학협력단 종양미세환경 내 세포에 대한 어노테이션을 수행하는 전자 장치 및 그의 어노테이션 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517459A (ja) * 2010-01-12 2013-05-16 ライジェル ファーマシューティカルズ， インコーポレイテッド 作用機序スクリーニング法
WO2018181458A1 (ja) * 2017-03-29 2018-10-04 シンクサイト株式会社 学習結果出力装置及び学習結果出力プログラム
WO2020006129A1 (en) 2018-06-28 2020-01-02 The Regents Of The University Of California Producing a composite image of a stained tissue sample by combining image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517459A (ja) * 2010-01-12 2013-05-16 ライジェル ファーマシューティカルズ， インコーポレイテッド 作用機序スクリーニング法
WO2018181458A1 (ja) * 2017-03-29 2018-10-04 シンクサイト株式会社 学習結果出力装置及び学習結果出力プログラム
WO2020006129A1 (en) 2018-06-28 2020-01-02 The Regents Of The University Of California Producing a composite image of a stained tissue sample by combining image data

Also Published As

Publication number Publication date
KR20220086964A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
US10621412B2 (en) Dot detection, color classification of dots and counting of color classified dots
EP2156370B1 (en) Compartment segregation by pixel characterization using image data clustering
US20140030729A1 (en) Detection of circulating tumor cells using imaging flow cytometry
US20050266395A1 (en) Method and system for morphology based mitosis identification and classification of digital images
Lahrmann et al. Semantic focusing allows fully automated single-layer slide scanning of cervical cytology slides
Nandy et al. Automatic segmentation and supervised learning‐based selection of nuclei in cancer tissue images
WO2021133984A1 (en) Systems and methods for designing accurate fluorescence in-situ hybridization probe detection on microscopic blood cell images using machine learning
Xu et al. A lightweight and robust framework for circulating genetically abnormal cells (CACs) identification using 4-color fluorescence in situ hybridization (FISH) image and deep refined learning
Vogado et al. Unsupervised leukemia cells segmentation based on multi-space color channels
KR102589666B1 (ko) Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템
Mahale et al. Image inconsistency detection using local binary pattern (LBP)
US9070006B2 (en) Method and system for processing an image of a biological specimen
WO2019226851A1 (en) Predicting cancer recurrence from spatial multi-parameter cellular and subcellular imaging data.
Fouad et al. Human papilloma virus detection in oropharyngeal carcinomas with in situ hybridisation using hand crafted morphological features and deep central attention residual networks
Calvo-Almeida et al. Multichannel fluorescence microscopy images CTC detection: A deep learning approach
Sabino et al. Toward leukocyte recognition using morphometry, texture and color
KR102835715B1 (ko) 다중 실체학습 기반 dapi 염색 기반 세포 영상 분류 시스템
Choi et al. Segmentation and fuzzy-logic classification of M-FISH chromosome images
KR20230092289A (ko) 다중 실체학습 기반 dapi 염색 기반 세포 영상 분류 시스템
KR20240107724A (ko) Dapi 염색 기반 세포 영상으로 부터 종양 인식을 위한 데이터 증강 시스템
Hattori et al. Tumor-identification method for predicting recurrence of early-stage lung adenocarcinoma using digital pathology images by machine learning
Savadikar et al. Towards designing accurate FISH probe detection using 3D U-nets on microscopic blood cell images
Awan et al. Deep Learning based Prediction of MSI using MMR Markers in Colorectal Cancer
Yu et al. Dual resolution detection and identification of circulating cancer cells from immunofluorescence microscopy
CN118781594B (zh) 基于sam的胸腹水细胞分割与分类方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201217

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221116

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230523

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20221116

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20230912

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20230824

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20230523

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231011

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231011

End annual number: 3

Start annual number: 1

PG1601 Publication of registration