KR20200142929A - 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치 - Google Patents

3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치 Download PDF

Info

Publication number
KR20200142929A
KR20200142929A KR1020190070491A KR20190070491A KR20200142929A KR 20200142929 A KR20200142929 A KR 20200142929A KR 1020190070491 A KR1020190070491 A KR 1020190070491A KR 20190070491 A KR20190070491 A KR 20190070491A KR 20200142929 A KR20200142929 A KR 20200142929A
Authority
KR
South Korea
Prior art keywords
refractive index
blood
image
cancer
cell
Prior art date
Application number
KR1020190070491A
Other languages
English (en)
Other versions
KR102280764B1 (ko
Inventor
박용근
류동훈
김영서
홍기현
민현석
Original Assignee
주식회사 토모큐브
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토모큐브, 한국과학기술원 filed Critical 주식회사 토모큐브
Priority to KR1020190070491A priority Critical patent/KR102280764B1/ko
Priority to US16/900,364 priority patent/US11410304B2/en
Publication of KR20200142929A publication Critical patent/KR20200142929A/ko
Application granted granted Critical
Publication of KR102280764B1 publication Critical patent/KR102280764B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/021—Interferometers using holographic techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453—Holographic interferometry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치가 제시된다. 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 장치는, 슬라이드 유리에 환자의 혈액(골수, 기타 체액 포함)을 도말한 혈액도말표본(천자, 생검 절편 포함)의 형태로 3차원 굴절률 영상을 촬영하여, 상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 3차원 굴절률 세포 영상 측정부; 상기 3차원 굴절률 슬라이드 이미지를 통해 상기 혈액도말표본에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI(Region of Interest) 패치들로 결정하는 ROI 검출부; 딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 검체의 질(quality)을 평가하고 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 및 분류 결과를 생성하는 진단부를 포함하여 이루어질 수 있다.

Description

3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치{METHOD AND APPARATUS FOR RAPID DIAGNOSIS OF HEMATOLOGIC MALIGNANCY USING 3D QUANTITATIVE PHASE IMAGING AND DEEP LEARNING}
아래의 실시예들은 3차원 정량 위상 영상 측정과 딥러닝을 이용하여 염색이나 표지 등의 추가 과정 없이 백혈병 및 림프종을 포함하는 혈액암을 신속하고 정확하게 진단하는 비표지 혈액암 진단 방법 및 장치에 관한 것이다.
급성백혈병은 아형에 따라 치료방법과 예후가 다른 질환이다. 예를 들어, 급성전골수구백혈병(Acute promyelocytic leukemia; APL)의 경우, 두개 내 출혈 등의 합병증으로 인해 조기사망률이 10% 이상인 고위험군으로 알려져 있으나, 조기에 표적항암제 all-trans retinoic acid(ATRA)와 더불어 antracycline을 기반으로 하는 복합항암치료요법으로 치료하면 다른 급성골수성백혈병에 비해 예후가 좋은 것으로 알려져 있다. 따라서 급성백혈병의 치료효과를 높이고 사망률을 감소시키기 위해서는 급성백혈병의 신속한 진단 및 분류가 중요하다. 또 다른 대표적인 예로, 인체의 림프계(lymph node)에서 발생하는 혈액암인 림프종(Lymphoma)이 있다. 림프종은 어느 장기에서 발생할 수 있고, 결국에는 골수에도 침범하여 백혈병과 유사한 증상을 보이는데, 그 종류가 매우 다양하여 면밀한 진단 및 분류가 필요하다. 현재 급성백혈병을 진단하고 분류하기 위해 일반적으로 형태학적, 세포화학적검사, 면역표현형검사, 세포유전학적 및 분자유전학적 검사를 이용한다. 형태학적 검사는 혈액도말(말초혈액, 골수천자 포함), 생검 및 절편에 Wright 염색이나 H&E 염색을 시행하여 염색된 세포의 특징에 따라 형태학적으로 분류하여 세포 수(또는 세포 비율, 세포충실도를 포함)를 산정하는 방식이다. 따라서 염색과정에서 시간과 비용이 소요되고, 염색과정으로 인한 세포의 변형이 불가피하며 사용자의 경험과 상태에 기반하기에 주관적이고 일정하지 않다는 등의 근본적인 문제가 있다. 뿐만 아니라, 급성백혈병을 분류하기 위해서는 면역표현형검사, 세포유전학적검사(karyotyping, fluorescence in-situ hybridization(FISH) 등)와 분자유전학적검사(RT-PCR 등)를 추가로 시행해야 한다. 면역표현형검사는 암세포에 특이적으로 존재하는 항원과 결합하는 항체를 이용하여 암세포를 검출하는 방식이다. 이 항체에 형광 물질이나 자성 물질을 부착하여 특정 암세포를 검출하고 분류할 수 있게 된다. 그러나 이러한 추가 검사의 시행은 전체적인 검사 비용을 증가시킬 뿐만 아니라, 급성백혈병을 진단하고 분류하기까지 소요되는 시간을 증가시키게 된다. 이로 인해 신속한 치료가 요구되는 급성백혈병의 아형의 진단 및 치료의 지연이 불가피한 실정이다.
Kim, K., et al. (2016). "Optical diffraction tomography techniques for the study of cell pathophysiology." arXiv preprint arXiv:1603.00592. Wolf, E. (1969). "Three-dimensional structure determination of semi-transparent objects from holographic data." Optics Communications 1(4): 153-156.
실시예들은 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치에 관하여 기술하며, 보다 구체적으로 염색이나 표지 등의 추가 과정 없이 백혈병 및 림프종을 포함한 혈액암을 신속하고 정확하게 진단하고 분석하는 기술을 제공한다.
실시예들은 염색이나 표지 없이 암세포의 형태학적 특징을 3차원 굴절률(refractive index)을 측정하고, 이를 기반으로 한 암세포의 세부 분류 및 진단을 위해 딥러닝(deep learning) 알고리즘을 적용함으로써 백혈병 및 림프종을 포함한 혈액암을 신속하게 진단하는 비표지 혈액암 진단 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 장치는, 슬라이드 유리에 환자의 혈액(또는 골수 및 기타 체액까지 포함)을 도말한 혈액도말표본의 형태로 3차원 굴절률 영상을 촬영하여, 상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 3차원 굴절률 세포 영상 측정부; 상기 3차원 굴절률 슬라이드 이미지를 통해 상기 혈액도말표본에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI(Region of Interest) 패치들로 결정하는 ROI 검출부; 딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 진단부를 포함하여 이루어질 수 있다.
빛을 상기 혈액도말표본에 입사시키는 광원; 상기 혈액도말표본에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득하는 간섭계; 및 상기 다수의 2차원 홀로그램을 이용하여 상기 혈액도말표본의 3차원 굴절률 분포를 측정하는 측정부를 포함하고, 상기 혈액도말표본에 입사되는 빛의 각도를 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 혈액도말표본의 3차원 굴절률 분포를 측정할 수 있다.
상기 3차원 굴절률 세포 영상 측정부는, 슬라이드 유리에 혈액을 도말한 상기 혈액도말표본의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하는 3차원 패치 영상 촬영부; 및 한번에 촬영된 상기 3차원 굴절률 영상을 연결하여 상기 3차원 굴절률 슬라이드 이미지를 생성하는 패치 영상 연결부를 포함할 수 있다.
상기 ROI 검출부는, 상기 혈액도말표본 전체의 3차원 굴절률 영상인 상기 3차원 굴절률 슬라이드 이미지에서 의심 세포 부분을 추출하는 세포 영역 추출부; 추출된 상기 의심 세포 부분을 샘플링 하여 패치를 생성하는 세포 패치 샘플링부; 및 비정상 세포로 판단된 세포를 ROI 패치들로 결정하는 관심 영역 결정부를 포함할 수 있다.
상기 진단부는, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 검체의 질(quality)을 평가하고, 각 암세포 세부 분류 별 개수[세포 비율(percentage, M/E ratio), 세포충실도, tumor burden]를 포함하는 혈액암 진단 결과를 생성할 수 있다.
상기 암세포 세부 분류 구별 모델은, 측정된 상기 3차원 굴절률 영상이 입력된 상기 딥러닝 알고리즘의 결과를 확률 기반으로 융합하여, 입력으로 들어온 상기 ROI 패치에 해당하는 암세포의 세부 분류를 구별할 수 있다.
다른 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 방법은, 슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본의 형태로 3차원 굴절률 영상을 촬영하여, 상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 단계; 상기 3차원 굴절률 슬라이드 이미지를 통해 상기 혈액도말표본에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI 패치들로 결정하는 단계; 및 딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 단계를 포함하여 이루어질 수 있다.
상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 단계는, 슬라이드 유리에 혈액을 도말한 상기 혈액도말표본의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하는 단계; 및 한번에 촬영된 상기 3차원 굴절률 영상을 연결하여 상기 3차원 굴절률 슬라이드 이미지를 생성하는 단계를 포함할 수 있다.
상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 단계는, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 각 암세포 세부 분류 별 개수를 포함하는 혈액암 진단 결과를 생성할 수 있다. 여기서, 상기 암세포 세부 분류 구별 모델은, 측정된 상기 3차원 굴절률 영상이 입력된 상기 딥러닝 알고리즘의 결과를 확률 기반으로 융합하여, 입력으로 들어온 상기 ROI 패치에 해당하는 암세포의 세부 분류를 구별할 수 있다.
실시예들에 따르면 염색이나 표지 등을 전혀 사용하지 않고, 면역표현형검사를 추가하지 않고도 살아있는 암세포의 3차원 굴절률 측정을 이용하여 암세포의 세부 종류를 구별함으로써 신속한 치료가 요구되는 혈액암의 아형을 분류하는 비표지 혈액암 진단 방법 및 장치를 제공할 수 있다. 또한, 유전학적 검사를 추가하지 않고도 살아있는 암세포의 3차원 굴절률 측정을 이용하여 암세포의 세부 종류를 구별함으로써 비표지 혈액암 진단 방법 및 장치를 제공할 수 있다.
실시예들에 따르면 염색 및 표지를 사용하지 않고 암세포의 형태학적 특징을 추출함으로써 염색 및 표지를 위한 전처리 시간이 들지 않아 신속한 분석 및 진단이 가능할 뿐만 아니라, 염색 및 표지의 주관적 판단에 의한 영향을 받지 않으므로 일관적이고 안정적인 분석 및 진단이 가능한 비표지 혈액암 진단 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 장치를 설명하기 위한 블록도이다.
도 2a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 2b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 3차원 굴절률 세포 영상 측정부를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 ROI 검출부를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 진단부를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 암세포 세부 분류 구별 모델을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 염색이나 표지 등의 추가 과정 없이 백혈병(급성백혈병 포함) 및 림프종을 포함한 혈액암을 신속하고 정확하게 진단하고 분석하는 기술에 관한 것으로, 염색이나 표지 등을 전혀 사용하지 않고, 살아있는 암세포의 3차원 굴절률 측정을 이용하여 암세포의 세부 종류를 구별함으로써 신속한 치료가 요구되는 혈액암의 아형을 분류하는 기술을 제공할 수 있다.
세포의 3차원 굴절률을 측정하고 이 측정값 분석에 딥러닝 알고리즘을 적용하여 혈액암에 관련된 암세포의 종류를 간단하면서도 정확하게 구분할 수 있다. 세포 내 3차원 굴절률 분포는 세포 내 소기관(subcellular organelle)의 구성과 형태와 밀접한 관련이 있다. 또한 굴절률 값 자체는 세포 내 주요 구성성분인 단백질의 농도와 비례한다. 따라서, 세포의 3차원 굴절률 정보를 측정한다는 것은 세포와 세포 내 소기관의 형태적인 특성(morphological characteristics)뿐만 아니라 생화학적인 특성(biochemical characteristics) 정보를 반영한 데이터를 생성한다는 것이다. 따라서 3차원 굴절률 분포를 이용하면 암세포 종류 특이적인 형태적, 생화학적 특성을 이용하여 암세포의 세부 종류를 구분할 수 있게 된다. 이러한 암세포의 세부 종류 구분 및 분석 결과를 기반으로 시간과 진단 성능 일관성에 영향을 미칠 수 있는 염색 및 표지를 사용하지 않고 신속한 진단을 제공할 수 있다.
도 1은 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 장치(100)는 환자의 혈액(골수 및 기타 체액을 포함함.)을 도말한 혈액도말표본(생검, 절편 슬라이드 포함함.)(101)을 입력 받아 환자의 혈액암 진단 결과(102)를 출력할 수 있다. 이러한 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 장치(100)는 3차원 굴절률 세포 영상 측정부(110), ROI 검출부(120) 및 진단부(130)를 포함하여 이루어질 수 있다.
3차원 굴절률 세포 영상 측정부(110)는 세포의 3차원 굴절률 분포를 광학적으로 측정할 수 있으며, 예컨대 3차원 굴절률 세포 영상 측정부(110)는 광원과 카메라 등으로 구성되는 광학계로 이루어질 수 있으며, 반사형, 투과형과 같이 다양한 형태로 구성 가능하다.
3차원 굴절률 세포 영상 측정부(110)는 슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본(101)의 형태 또는 체외 슬라이드 유리 상에서 단일 또는 복수의 층(수겹의 층)을 이루는 형태로 3차원 굴절률 영상을 촬영하여, 혈액도말표본(101)의 3차원 굴절률 슬라이드 이미지를 생성할 수 있다. 보다 구체적으로, 3차원 굴절률 세포 영상 측정부(110)는 3차원 패치 영상 촬영부 및 패치 영상 연결부를 포함할 수 있다. 3차원 패치 영상 촬영부는 슬라이드 유리에 혈액을 도말한 혈액도말표본(101)의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하고, 패치 영상 연결부는 한번에 촬영된 3차원 굴절률 영상을 연결하여 3차원 굴절률 슬라이드 이미지를 생성할 수 있다.
이러한 3차원 굴절률 세포 영상 측정부(110)는 광원, 간섭계, 및 측정부를 포함하여 이루어질 수 있다.
광원은 빛을 혈액도말표본(101)에 입사시킬 수 있다. 즉, 광원은 혈액도말표본(101)(즉, 세포)에 빛을 조사할 수 있다. 예를 들어 레이저(laser)가 광원으로 이용될 수 있으며, 광원은 측정하고자 하는 혈액도말표본(101) 등의 샘플에 레이저 빔을 조사할 수 있다. 여기에서 혈액도말표본(101)은 측정하고자 하는 대상을 나타내는 샘플로 표현될 수 있으며, 혈액도말표본(101)은 혈액뿐 아니라 골수 및 기타 체액까지 포함하며, 세포 또는 미생물 등을 포함할 수 있다. 사용되는 광원은 단일 파장 레이저를 이용할 수 있다. 또한 광원은 여러 파장 레이저를 이용하여 각 파장에서 3차원 굴절률을 측정함으로써 더 많은 양의 정보를 세포의 구분에 활용할 수도 있다.
간섭계는 광원으로부터 입사된 빛이 혈액도말표본(101)에 입사된 후, 혈액도말표본(101)에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득할 수 있다. 여기에서 간섭계는 빛의 간섭 현상을 이용한 측정기로서, 동일한 광원에서 나오는 빛을 두 갈래 이상으로 나누어 진행 경로에 차이가 생기도록 한 후 빛이 다시 만났을 때 일어나는 간섭 현상을 관찰하는 기구이다.
측정부는 간섭계에서 획득한 다수의 2차원 홀로그램을 이용하여 혈액도말표본(101)의 3차원 굴절률 분포를 측정할 수 있다. 예를 들어 측정부로는 영상을 촬영하는 촬영 장치인 카메라가 이용될 수 있다.
이러한 3차원 굴절률 세포 영상 측정부(110)는 광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 혈액도말표본(101)의 3차원 굴절률 분포를 측정할 수 있다. 3차원 굴절률 세포 영상 측정부(110)는 혈액도말표본(101)에 입사되는 빛의 각도를 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 혈액도말표본(101)의 3차원 굴절률 분포를 측정할 수 있다. 또한, 3차원 굴절률 세포 영상 측정부(110)는 혈액도말표본(101)을 직접 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 혈액도말표본(101)의 3차원 굴절률 분포를 측정할 수도 있다.
ROI 검출부(120)는 3차원 굴절률 슬라이드 이미지를 통해 혈액도말표본(101)에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI 패치들로 결정할 수 있다. 보다 구체적으로, ROI 검출부(120)는 혈액도말표본(101) 전체의 3차원 굴절률 영상인 3차원 굴절률 슬라이드 이미지에서 의심 세포 부분을 추출하는 세포 영역 추출부와, 추출된 의심 세포 부분을 샘플링 하여 패치를 생성하는 세포 패치 샘플링부, 그리고 비정상 세포로 판단된 세포를 ROI 패치들로 결정하는 관심 영역 결정부를 포함할 수 있다.
진단부(130)는 3차원 굴절률 세포 영상 측정부(110)에서 측정된 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 알고리즘을 적용하여 비염색 비표지로 세포의 종류를 구분할 수 있다. 보다 구체적으로, 진단부(130)는 딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과(102)를 생성할 수 있다. 이때, 진단부(130)의 혈액암 진단 및 분류 결과(102)는 각 암세포 세부 분류 별 개수[세포 비율(percentage, M/E ratio), 세포충실도, tumor burden]를 포함할 수 있다.
여기서, 암세포 세부 분류 구별 모델은 측정된 3차원 굴절률 영상이 입력된 딥러닝 알고리즘의 결과를 확률 기반으로 융합하여, 입력으로 들어온 ROI 패치에 해당하는 암세포의 세부 분류를 구별할 수 있다.
따라서 염색이나 표지 등의 추가 과정 없이 혈액암을 신속하고 정확하게 진단하고 분석할 수 있으며, 특히 염색이나 표지 없이 암세포의 형태학적 특징을 3차원 굴절률(refractive index) 현미경으로 측정하고, 이를 기반으로 한 암세포의 세부 분류 및 진단을 위해 딥러닝(deep learning) 알고리즘을 적용함으로써 혈액암을 신속 진단할 수 있다. 더욱이, 면역표현형검사를 추가하지 않거나 유전학적 검사를 추가하지 않고도 살아있는 암세포의 3차원 굴절률 측정을 이용하여 암세포의 세부 종류를 구별함으로써 혈액암을 진단할 수 있다.
아래에서 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 장치(100)를 더 구체적으로 설명하기로 한다.
도 2a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다. 그리고, 도 2b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 2a 및 도 2b를 참조하면, 가능한 다양한 측정 광학 구현을 나타낸다. 모든 물체는 굴절률 분포를 가지고 있다. 굴절률은 빛이 그 물질을 지날 때 얼마나 속도가 감속하는지를 기술하는 물질 자체의 고유한 광학적 물리량이다. 세포(201)의 3차원 굴절률을 측정하기 위해서는 광학 회절 단층 촬영법(optical diffraction tomography) 또는 광학 투영 단층 촬영법(optical projection tomography, tomographic phase microscopy, 3D digital holographic microscopy)을 사용할 수 있다(비특허문헌 1). 여기서 세포(201)는 혈액도말표본을 의미할 수 있다.
도 2a에 도시된 바와 같이, 광학 회절 단층 촬영법과 광학 투영 단층 촬영법은 같은 광학 구현을 이용할 수 있다(비특허문헌 2). 광원(light source, 210)에서 나온 빛을 세포(201)에 입사시켜, 세포(201)에서 회절된 투과광을 간섭계(220)를 이용해서 그 홀로그램을 측정할 수 있다. 이때 세포(201)에 입사되는 각도를 회전(스캔)하면서 측정된 여러 장의 2차원 홀로그램을 이용하여, 세포(201)의 3차원 굴절률 분포를 측정(240)할 수 있다. 다만, 회절 단층 촬영법과 투영 단층 촬영법 차이는 시편에서의 빛의 회절 유무를 고려하는 복원 알고리즘(230)에 있다.
도 2b을 참조하면, 도 2a에서 설명한 입사광 회전 방식을 이용한 세포(201)의 3차원 굴절률 분포를 측정하는 방법에서 입사광을 회전시키는 대신, 세포(201)를 직접 회전시켜 3차원 굴절률 분포를 측정(240)하는 것도 가능하다.
한편, 세포(201)를 측정하는 방식은 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포(201)들이 낮은 농도로 놓여진 형태, 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포(201)들이 높은 농도로 단일 또는 수 겹의 층을 이루고 있는 형태, 생체 조직 슬라이드를 5 마이크로 미터에서 50 마이크로 미터 사이의 두께로 자른 조직 슬라이드 형태, 및 체외(in vitro)에서 고속대량 스크리닝(high-throughput screening)을 위해 미소 유체관(microfluidic channel)을 지나는 형태로 이루어질 수 있다.
도 3은 일 실시예에 따른 3차원 굴절률 세포 영상 측정부를 설명하기 위한 도면이다.
3차원 굴절률 영상 촬영은 슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본(301)의 형태로 촬영할 수 있다. 한번에 찍을 수 있는 영역보다 혈액도말표본(301)이 크기 때문에, 도 3에 도시된 바와 같이, 한번에 찍은 3차원 영상을 연결하여 3차원 굴절률 슬라이드 이미지(302)를 생성할 수 있다.
3차원 굴절률 세포 영상 측정부(300)는 3차원 패치 영상 촬영부(310) 및 패치 영상 연결부(320)를 포함할 수 있다. 3차원 패치 영상 촬영부(310)는 슬라이드 유리에 혈액을 도말한 혈액도말표본(301)의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하고, 패치 영상 연결부(320)는 한번에 촬영된 3차원 굴절률 영상을 연결하여 3차원 굴절률 슬라이드 이미지(302)를 생성할 수 있다.
도 4는 일 실시예에 따른 ROI 검출부를 설명하기 위한 도면이다.
도 4를 참조하면, 3차원 굴절률 세포 영상 측정부에서 생성된 슬라이드 이미지는 혈액도말표본 전체의 3차원 영상이다. 혈액암 진단을 위해서는 이 혈액도말표본에서 특정 암세포들의 수와 세포간 비율이 중요하다. 이를 위해서 의심 세포의 영역에 대한 패치를 생성할 수 있다. 의심 세포 부분을 샘플링 후 적혈구 등 정상 세포가 아닌 세포를 ROI 패치들(401)로 결정할 수 있다.
ROI 검출부(400)는 세포 영역 추출부(410), 세포 패치 샘플링부(420) 및 관심 영역 결정부(430)를 포함할 수 있다. 세포 영역 추출부(410)는 3차원 굴절률 슬라이드 이미지(302)에서 의심 세포 부분을 추출하고, 세포 패치 샘플링부(420)는 추출된 의심 세포 부분을 샘플링 하여 패치를 생성할 수 있다. 그리고 관심 영역 결정부(430)는 비정상 세포로 판단된 세포를 ROI 패치들(401)로 결정할 수 있다.
도 5는 일 실시예에 따른 진단부를 설명하기 위한 도면이다.
도 5를 참조하면, 평가 데이터 셋(501) 및 학습 데이터 셋(502)을 이용하여 딥러닝을 통해 암세포의 종류를 구분할 수 있다. 진단부(500)는 3차원 굴절률 세포 영상 측정부 및 ROI 검출부에서 기술한 방법을 이용하여, 이미 그 종류가 구분이 되어있는 암세포들의 3차원 굴절률 영상을 측정할 수 있다.
이 때, 암세포 세부 분류 모델 구축부(510)는 각 종류 별로 많은 수(>100)의 시편을 측정한 뒤 딥러닝 알고리즘을 이용하여 각 암세포 세부 분류를 구별할 수 있는 암세포 세부 분류 구별 모델(511)을 구축할 수 있다. 암세포 세부 분류 구별 모델(511)은 미리 종류가 구분되어 있는 암세포들의 3차원 굴절률 영상을 측정하되, 각 종류 별로 기설정된 수 이상의 암세포들의 3차원 굴절률 영상을 측정하고, 측정된 상기 3차원 굴절률 영상을 기반으로 딥러닝 알고리즘을 이용하여 각 암세포의 세부 분류를 구별할 수 있다.
암세포 세부 분류 구별부(520)는 이렇게 구축된 암세포 세부 분류 구별 모델(511)을 기반으로 ROI 검출부에서 추출된 각 ROI 패치(401)에 해당하는 암세포의 세부 분류를 구별할 수 있고, 진단 결과 생성부(530)는 분류된 결과를 취합하여 혈액암 진단 결과(503)를 생성할 수 있다. 혈액암 진단 결과(503)는 각 암세포 세부 분류 별 개수를 포함할 수 있다.
도 6은 일 실시예에 따른 암세포 세부 분류 구별 모델을 설명하기 위한 도면이다.
도 6을 참조하면, 암세포 세분 분류 모델(600)은 측정된 3차원 굴절률 정보를 기반으로 딥러닝 알고리즘을 이용할 수 있다. 이때 신경망(neural network) 알고리즘, 즉 딥러닝 알고리즘(610)에 입력되는 정보는 각 세포들의 3차원 굴절률 정보이며, 이를 통해 결과로 나오는 예측치는 입력으로 들어온 ROI 패치(401)에 해당하는 암세포의 세부 분류 정보가 된다.
안정적인 예측 성능을 유지하기 위해 하나 이상의 딥러닝 알고리즘(610) 기반의 암세포 세부 분류 모델을 학습하고, 그 결과를 확률 기반 융합부(620)에서 통계적으로 융합하여 암세포 세부 분류(601)에 사용할 수 있다. 이를 통해 암세포 세부 분류 내에서 발생할 수 있는 다양한 변형에 강인한 예측 값을 제공할 수 있다.
도 7은 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 방법은, 슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본의 형태로 3차원 굴절률 영상을 촬영하여, 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 단계(S110), 3차원 굴절률 슬라이드 이미지를 통해 혈액도말표본에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI 패치들로 결정하는 단계(S120), 및 딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 단계(S130)를 포함하여 이루어질 수 있다.
아래에서 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 방법을 하나의 예를 들어 보다 상세히 설명한다.
일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 방법은 도 1에서 설명한 일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 장치를 이용하여 설명할 수 있다.
일 실시예에 따른 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 장치(100)는 3차원 굴절률 세포 영상 측정부(110), ROI 검출부(120) 및 진단부(130)를 포함하여 이루어질 수 있다.
단계(S110)에서, 3차원 굴절률 세포 영상 측정부(110)는 슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본(101)의 형태로 3차원 굴절률 영상을 촬영하여, 혈액도말표본(101)의 3차원 굴절률 슬라이드 이미지를 생성할 수 있다. 보다 구체적으로, 3차원 굴절률 세포 영상 측정부(110)는 3차원 패치 영상 촬영부 및 패치 영상 연결부를 포함할 수 있다. 3차원 패치 영상 촬영부는 슬라이드 유리에 혈액을 도말한 혈액도말표본(101)의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영할 수 있다. 이후, 패치 영상 연결부는 한번에 촬영된 3차원 굴절률 영상을 연결하여 3차원 굴절률 슬라이드 이미지를 생성할 수 있다.
단계(S120)에서, ROI 검출부(120)는 3차원 굴절률 슬라이드 이미지를 통해 혈액도말표본(101)에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI 패치들로 결정할 수 있다. 보다 구체적으로, ROI 검출부(120)는 세포 영역 추출부에서 혈액도말표본(101) 전체의 3차원 굴절률 영상인 3차원 굴절률 슬라이드 이미지에서 의심 세포 부분을 추출하고, 세포 패치 샘플링부에서 추출된 의심 세포 부분을 샘플링 하여 패치를 생성할 수 있다. 이후, 관심 영역 결정부에서 비정상 세포로 판단된 세포를 ROI 패치들로 결정할 수 있다.
단계(S130)에서, 진단부(130)는 3차원 굴절률 세포 영상 측정부(110)에서 측정된 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 알고리즘을 적용하여 비염색 비표지로 세포의 종류를 구분할 수 있다. 보다 구체적으로, 진단부(130)는 딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과(102)를 생성할 수 있다. 이때, 진단부(130)의 혈액암 진단 결과(102)는 각 암세포 세부 분류 별 개수를 포함할 수 있다.
여기서, 암세포 세부 분류 구별 모델은 측정된 3차원 굴절률 영상이 입력된 딥러닝 알고리즘의 결과를 확률 기반으로 융합하여, 입력으로 들어온 ROI 패치에 해당하는 암세포의 세부 분류를 구별할 수 있다.
이상과 같이, 실시예들에 따르면 기존 급성백혈병 진단 기술과 비교하여 신속하고 일관성 있는 급성백혈병 분석 및 진단 결과를 제공할 수 있다. 실시예들은 염색 및 표지를 사용하지 않고 암세포의 형태학적 특징을 추출할 수 있어 염색 및 표지를 위한 전처리 시간이 들지 않아 신속한 분석 및 진단이 가능하고, 또한 염색 및 표지의 주관적 판단에 의한 영향을 받지 않으므로 일관적이고 안정적인 분석 및 진단이 가능하다. 이를 통하여 증세 악화가 매우 빠른 급성백혈병에 신속한 치료가 가능하여 그 급성백혈병 환자의 생존율을 획기적으로 높이고, 저렴한 진단 비용과 빠른 진단을 통해 병원 시스템의 효율화에 기여할 수 있다. 더욱이, 실시예들은 급성백혈병뿐만 아니라 백혈병 및 림프종을 포함하는 혈액암의 신속한 분석 및 진단이 가능하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 장치에 있어서,
    슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본의 형태 또는 체외 슬라이드 유리 상에서 단일 또는 복수의 층을 이루는 형태로 3차원 굴절률 영상을 촬영하여, 상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 3차원 굴절률 세포 영상 측정부;
    상기 3차원 굴절률 슬라이드 이미지를 통해 상기 혈액도말표본에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI(Region of Interest) 패치들로 결정하는 ROI 검출부;
    딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 진단부
    를 포함하는, 비표지 혈액암 진단 장치.
  2. 제1항에 있어서,
    빛을 상기 혈액도말표본에 입사시키는 광원;
    상기 혈액도말표본에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득하는 간섭계; 및
    상기 다수의 2차원 홀로그램을 이용하여 상기 혈액도말표본의 3차원 굴절률 분포를 측정하는 측정부
    를 포함하고,
    상기 혈액도말표본에 입사되는 빛의 각도를 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 혈액도말표본의 3차원 굴절률 분포를 측정하는 것
    을 특징으로 하는, 비표지 혈액암 진단 장치.
  3. 제1항에 있어서,
    빛을 상기 혈액도말표본에 입사시키는 광원;
    상기 혈액도말표본에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득하는 간섭계; 및
    상기 다수의 2차원 홀로그램을 이용하여 상기 혈액도말표본의 3차원 굴절률 분포를 측정하는 측정부
    를 포함하고,
    상기 혈액도말표본을 직접 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 혈액도말표본의 3차원 굴절률 분포를 측정하는 것
    을 특징으로 하는, 비표지 혈액암 진단 장치.
  4. 제1항에 있어서,
    상기 3차원 굴절률 세포 영상 측정부는,
    슬라이드 유리에 혈액을 도말한 상기 혈액도말표본의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하는 3차원 패치 영상 촬영부; 및
    한번에 촬영된 상기 3차원 굴절률 영상을 연결하여 상기 3차원 굴절률 슬라이드 이미지를 생성하는 패치 영상 연결부
    를 포함하는, 비표지 혈액암 진단 장치.
  5. 제1항에 있어서,
    상기 ROI 검출부는,
    상기 혈액도말표본 전체의 3차원 굴절률 영상인 상기 3차원 굴절률 슬라이드 이미지에서 의심 세포 부분을 추출하는 세포 영역 추출부;
    추출된 상기 의심 세포 부분을 샘플링 하여 패치를 생성하는 세포 패치 샘플링부; 및
    비정상 세포로 판단된 세포를 ROI 패치들로 결정하는 관심 영역 결정부
    를 포함하는, 비표지 혈액암 진단 장치.
  6. 제1항에 있어서,
    상기 진단부는,
    상기 ROI 패치들의 세부 분류된 결과를 취합하여 각 암세포 세부 분류 별 개수를 포함하는 혈액암 진단 결과를 생성하는 것
    을 특징으로 하는, 비표지 혈액암 진단 장치.
  7. 제1항에 있어서,
    상기 암세포 세부 분류 구별 모델은,
    측정된 상기 3차원 굴절률 영상이 입력된 상기 딥러닝 알고리즘의 결과를 확률 기반으로 융합하여, 입력으로 들어온 상기 ROI 패치에 해당하는 암세포의 세부 분류를 구별하는 것
    을 특징으로 하는, 비표지 혈액암 진단 장치.
  8. 3차원 정량 위상 영상 측정과 딥러닝을 이용한 비표지 혈액암 진단 방법에 있어서,
    슬라이드 유리에 환자의 혈액을 도말한 혈액도말표본의 형태 또는 체외 슬라이드 유리 상에서 단일 또는 복수의 층을 이루는 형태로 3차원 굴절률 영상을 촬영하여, 상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 단계;
    상기 3차원 굴절률 슬라이드 이미지를 통해 상기 혈액도말표본에서 의심 세포 부분을 샘플링 후, 비정상 세포로 판단된 세포를 ROI 패치들로 결정하는 단계; 및
    딥러닝(deep learning) 알고리즘에 기반하여 구축된 암세포 세부 분류 구별 모델을 이용하여 각 ROI 패치에 해당하는 암세포의 세부 분류를 구별하고, 상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 단계
    를 포함하는, 비표지 혈액암 진단 방법.
  9. 제8항에 있어서,
    상기 혈액도말표본의 3차원 굴절률 슬라이드 이미지를 생성하는 단계는,
    슬라이드 유리에 혈액을 도말한 상기 혈액도말표본의 형태로 한번에 촬영 가능한 3차원 굴절률 영상을 촬영하는 단계; 및
    한번에 촬영된 상기 3차원 굴절률 영상을 연결하여 상기 3차원 굴절률 슬라이드 이미지를 생성하는 단계
    를 포함하는, 비표지 혈액암 진단 방법.
  10. 제8항에 있어서,
    상기 ROI 패치들의 세부 분류된 결과를 취합하여 혈액암 진단 결과를 생성하는 단계는,
    상기 ROI 패치들의 세부 분류된 결과를 취합하여 각 암세포 세부 분류 별 개수를 포함하는 혈액암 진단 결과를 생성하고,
    상기 암세포 세부 분류 구별 모델은,
    측정된 상기 3차원 굴절률 영상이 입력된 상기 딥러닝 알고리즘의 결과를 확률 기반으로 융합하여, 입력으로 들어온 상기 ROI 패치에 해당하는 암세포의 세부 분류를 구별하는 것
    을 특징으로 하는, 비표지 혈액암 진단 방법.
KR1020190070491A 2019-06-14 2019-06-14 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치 KR102280764B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190070491A KR102280764B1 (ko) 2019-06-14 2019-06-14 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치
US16/900,364 US11410304B2 (en) 2019-06-14 2020-06-12 Method and apparatus for rapid diagnosis of hematologic malignancy using 3D quantitative phase imaging and deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190070491A KR102280764B1 (ko) 2019-06-14 2019-06-14 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200142929A true KR20200142929A (ko) 2020-12-23
KR102280764B1 KR102280764B1 (ko) 2021-07-22

Family

ID=73745130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190070491A KR102280764B1 (ko) 2019-06-14 2019-06-14 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치

Country Status (2)

Country Link
US (1) US11410304B2 (ko)
KR (1) KR102280764B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282453A1 (ko) * 2021-07-09 2023-01-12 주식회사 넥스트앤바이오 가상 오가노이드를 이용한 촬영 이미지 데이터 생성 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508418A (zh) * 2019-03-13 2021-10-15 唐摩库柏公司 使用三维定量相位成像识别微生物
EP4028750A1 (en) * 2019-09-13 2022-07-20 Celly.Ai Artificial intelligence (ai) powered analysis of objects observable through a microscope
US11663838B2 (en) * 2020-10-29 2023-05-30 PAIGE.AI, Inc. Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR101805152B1 (ko) * 2016-06-14 2017-12-06 조선대학교산학협력단 동적 셀파라미터 기반 적혈구 세포막 변동률 검사방법 및 이에 사용되는 디지털 홀로그래픽 현미경

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004020997A1 (en) * 2002-08-30 2004-03-11 Medical Research Council Optical projection tomography
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010017092A (ko) * 1999-08-07 2001-03-05 김판구 혈구세포의 형태 자동 분석 및 카운트 방법
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR101805152B1 (ko) * 2016-06-14 2017-12-06 조선대학교산학협력단 동적 셀파라미터 기반 적혈구 세포막 변동률 검사방법 및 이에 사용되는 디지털 홀로그래픽 현미경

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Kim, K., et al. (2016). "Optical diffraction tomography techniques for the study of cell pathophysiology." arXiv preprint arXiv:1603.00592.
Kim, K., et al., "Optical diffraction tomography techniques for the study of cell pathophysiology", J of Biomedical Photonics & Eng 2(2), (2016.06.14.)* *
Wolf, E. (1969). "Three-dimensional structure determination of semi-transparent objects from holographic data." Optics Communications 1(4): 153-156.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023282453A1 (ko) * 2021-07-09 2023-01-12 주식회사 넥스트앤바이오 가상 오가노이드를 이용한 촬영 이미지 데이터 생성 방법

Also Published As

Publication number Publication date
US20200394794A1 (en) 2020-12-17
US11410304B2 (en) 2022-08-09
KR102280764B1 (ko) 2021-07-22

Similar Documents

Publication Publication Date Title
US11842483B2 (en) Systems for cell shape estimation
KR102280764B1 (ko) 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치
JP6800152B2 (ja) 組織学画像中の核の分類
US20200388033A1 (en) System and method for automatic labeling of pathology images
US10083340B2 (en) Automated cell segmentation quality control
EP1504405B1 (en) Method for automatically detecting cells with molecular marker compartmentalization associated with disease
CN111417958A (zh) 用于生物图像中的联合细胞和区域分类的深度学习系统和方法
CN111448584A (zh) 计算肿瘤空间和标记间异质性的方法
US11972859B2 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
JP2019512697A (ja) デジタルホログラフィ顕微鏡検査および無傷の（ｕｎｔｏｕｃｈｅｄ）末梢血白血球を用いる高精度の５部鑑別（５−ｐａｒｔ Ｄｉｆｆｅｒｅｎｔｉａｌ）
KR101927852B1 (ko) 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치
CA2955156A1 (en) Systems and methods for generating fields of view
KR20140043128A (ko) 스펙트럼 이미징에 의해 생물학적 표본을 분석하는 방법
JP7011035B2 (ja) 染色された標本画像内で細胞を検出するための自動化された方法およびシステム
US20180357816A1 (en) Automated Method of Predicting Efficacy of Immunotherapy Approaches
KR102500220B1 (ko) 3차원 굴절률 영상과 인공지능을 이용한 세포의 세부 분류 구분 방법 및 장치
JP7011067B2 (ja) 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法
Valentino et al. Beyond conventional microscopy: Observing kidney tissues by means of fourier ptychography
US20230162485A1 (en) Digital analysis of preanalytical factors in tissues used for histological staining
JP2004529360A (ja) 生物標本の解析方法
Borrelli et al. AI-aided holographic flow cytometry for label-free identification of ovarian cancer cells in the presence of unbalanced datasets
KR101888926B1 (ko) 3차원 굴절률 측정을 이용한 정자 세포 상태 분석 방법 및 장치
Al-Qaysi Profiling Effusion Cells by Quantitative Analysis of Morphology and Diffraction Imaging Patterns
JP7431753B2 (ja) デジタルパソロジーのための感度分析
WO2023119267A1 (en) Method and system for visualization of the structure of biological cells

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)