KR101927852B1 - Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm - Google Patents

Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm Download PDF

Info

Publication number
KR101927852B1
KR101927852B1 KR1020160072538A KR20160072538A KR101927852B1 KR 101927852 B1 KR101927852 B1 KR 101927852B1 KR 1020160072538 A KR1020160072538 A KR 1020160072538A KR 20160072538 A KR20160072538 A KR 20160072538A KR 101927852 B1 KR101927852 B1 KR 101927852B1
Authority
KR
South Korea
Prior art keywords
refractive index
cell
dimensional
cell type
dimensional refractive
Prior art date
Application number
KR1020160072538A
Other languages
Korean (ko)
Other versions
KR20170140473A (en
Inventor
박용근
Original Assignee
주식회사 토모큐브
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토모큐브, 한국과학기술원 filed Critical 주식회사 토모큐브
Priority to KR1020160072538A priority Critical patent/KR101927852B1/en
Publication of KR20170140473A publication Critical patent/KR20170140473A/en
Application granted granted Critical
Publication of KR101927852B1 publication Critical patent/KR101927852B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/4133Refractometers, e.g. differential
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453Holographic interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치가 제시된다. 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법은 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계; 및 측정된 상기 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 알고리즘 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 상기 세포의 종류를 구분하는 단계를 포함할 수 있다. A method and apparatus for classifying non-stained non-labeled cells using 3D refractive tomography and dip learning are presented. The method of distinguishing non-stained non-labeled cells using a three-dimensional refractive tomogram and a deep-running method comprises: optically measuring a three-dimensional refractive index distribution of a cell; And classifying the type of the cell with an un-stained non-label by applying a deep learning algorithm or a convolutional neural network algorithm using the measured three-dimensional refractive index distribution .

Description

3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치{Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm}TECHNICAL FIELD The present invention relates to a method and apparatus for distinguishing non-stained non-labeled cells using three-dimensional refractive index tomograms and deep-

아래의 실시예들은 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치에 관한 것으로, 더욱 상세하게는 염색이나 표지를 사용하지 않고 살아있는 세포의 3차원 굴절률 측정을 이용하여 세포의 종류를 구분하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치에 관한 것이다. The following examples relate to a method and apparatus for distinguishing non-stained non-labeled cells using three-dimensional refractive tomograms and dip-runs, and more particularly, The present invention relates to a method and an apparatus for classifying non-stained non-labeled cells using a three-dimensional refractive tomogram and a deep-run.

세포의 종류 구분은 생명과학과 의학에서 매우 중요한 문제이다. 예를 들어 백혈구의 아류형(subtype)인 B 세포(cell), T 세포(cell)의 구분은 면역 치료에 필수적인 과정이다. Cell sorting is a very important issue in life sciences and medicine. For example, the division of B cells and T cells, which are subtypes of white blood cells, is an essential process for immunotherapy.

현재 세포의 종류를 구분하기 위해 일반적으로 세포 염색(cell staining) 또는 세포 특이적 항원항체반응 등을 사용하고 있다. 세포 염색 방법은 형광단백질이나 염료, 양자점 등을 이용하여 세포 내 특정 소기관 등을 염색하여 시각화하고, 사용자의 경험에 기반하여 세포를 구분하는 방식이다. 따라서 염색 과정에서 시간과 비용이 소요되고, 염색 과정으로 인한 세포의 변형이 불가피하여 세포를 다시 체내에 주입하지 못하는 등의 근본적인 문제가 있다. 또한 사용자의 경험에 기반하여 세포를 구분하기 때문에 정확도가 떨어지는 문제가 있다. Currently, cell staining or cell-specific antigen-antibody reactions are generally used to distinguish the types of cells. The cell staining method uses a fluorescent protein, a dye, a quantum dot, etc. to visualize and visualize specific organelles in the cell, and to identify cells based on the user's experience. Therefore, it takes time and expense in the dyeing process, and there is a fundamental problem that the cells are not able to be injected into the body again due to the inevitable deformation of the cells due to the dyeing process. There is also a problem of poor accuracy because cells are identified based on user experience.

그리고, 세포 특이적 항원항체반응을 이용하는 방식은 세포 별로 세포막 등에 특이적으로 존재하는 단백질과 결합할 수 있는 항체를 이용하는 방식이다. 측정과 구분을 위해 항체에 형광 물질이나 자성 물질을 이용하여 특정 세포를 인식할 수 있게 된다. The method using the cell-specific antigen-antibody reaction is a method of using an antibody capable of binding to a protein specifically present in a cell membrane or the like. For the purpose of measurement and discrimination, it becomes possible to recognize a specific cell using a fluorescent substance or a magnetic substance in the antibody.

하지만 항체를 생산하는 과정이 매우 고비용이고, 외부에서 추가적인 형광/자성 물질이 세포에 부착되기 때문에 다시 체내로 주입해야 하는 면역 치료 또는 줄기세포 분야에서는 생체적합성(biocompatibility) 문제가 제기되었다.However, the process of producing antibodies is very expensive, and biocompatibility issues have been raised in immunotherapy or stem cell applications where additional fluorescent / magnetic substances attach to the cells from the outside and must be injected back into the body.

한국공개특허 10-2012-0087165호는 이러한 표적화된 나노입자 및 그것의 자기 특성을 사용하는 암 및 다른 생물학적 물질과 같은 세포의 검출, 측정 및 이미징에 관한 것으로, 표적화된 자기 나노입자 및 특수 자기 시스템을 사용하여, 대상체의 생체내에서 심지어 매우 낮은 농도로 존재하는 세포 또는 물질을 검출하고, 측정하거나 위치결정하기 위한 방법 및 장치에 관한 기술을 기재하고 있다. Korean Patent Laid-Open Publication No. 10-2012-0087165 relates to the detection, measurement and imaging of cells such as cancer and other biological materials using such targeted nanoparticles and their magnetic properties, in which targeted magnetic nanoparticles and special magnetic systems Describes techniques and apparatuses for detecting, measuring, or locating cells or materials that are present in a subject even at a very low concentration in vivo.

1. Kim, K., et al. (2016). "Optical diffraction tomography techniques for the study of cell pathophysiology." arXiv preprint arXiv:1603.00592.1. Kim, K., et al. (2016). "Optical diffraction tomography techniques for the study of cell pathophysiology." arXiv preprint arXiv: 1603.00592. 2. Lee, K., et al. (2013). "Quantitative phase imaging techniques for the study of cell pathophysiology: from principles to applications." Sensors 13(4): 4170-4191.2. Lee, K., et al. (2013). "Quantitative phase imaging techniques for the study of cell pathophysiology: from principles to applications." Sensors 13 (4): 4170-4191. 3. Wolf, E. (1969). "Three-dimensional structure determination of semi-transparent objects from holographic data." Optics Communications 1(4): 153-156.3. Wolf, E. (1969). "Three-dimensional structure determination of semi-transparent objects from holographic data." Optics Communications 1 (4): 153-156. 4. Krizhevsky, A., et al. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems.4. Krizhevsky, A., et al. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems.

실시예들은 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치에 관하여 기술하며, 보다 구체적으로 염색이나 표지를 사용하지 않고 살아있는 세포의 3차원 굴절률 측정을 이용하여 세포의 종류를 구분하는 기술을 제공한다. Embodiments describe methods and apparatus for differentiating non-stained non-stained cells using three-dimensional refractive tomograms and dip-runs, and more specifically, using three-dimensional refractive index measurements of living cells without using staining or labeling, Provides a technique for classifying.

실시예들은 세포의 3차원 굴절률(refractive index) 분포를 광학적으로 측정하고, 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 생체 세포의 종류를 구분하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치를 제공하는데 있다. The embodiments optically measure the three-dimensional refractive index distribution of cells and apply deep learning or convolutional neural network algorithms to classify the types of living cells with non-staining non-labeling The present invention also provides a method and apparatus for classifying non-stained non-labeled cells using a three-dimensional refractive index tomogram and a deep running.

일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법은 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계; 및 측정된 상기 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 알고리즘 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 상기 세포의 종류를 구분하는 단계를 포함한다. A method for distinguishing un-stained unlabeled cell types using three-dimensional refractive index tomograms and dip-runs according to an embodiment includes: optically measuring a three-dimensional refractive index distribution of cells; And applying a deep learning algorithm or a convolutional neural network algorithm using the measured three-dimensional refractive index distribution to classify the type of the cell with an un-stained non-labeling.

상기 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는, 광원에서 나온 빛을 상기 세포에 입사시키는 단계; 상기 세포에서 회절된 투과광을 간섭계로 측정하여 다수의 2차원 홀로그램을 획득하는 단계; 및 상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정하는 단계를 포함할 수 있다. The step of optically measuring the three-dimensional refractive index distribution of the cell may include the steps of: injecting light from the light source into the cell; Measuring a transmitted light diffracted by the cell with an interferometer to obtain a plurality of two-dimensional holograms; And measuring the three-dimensional refractive index profile of the cell using the plurality of two-dimensional holograms.

상기 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는, 상기 세포에 입사되는 빛의 각도를 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정할 수 있다. The step of optically measuring the three-dimensional refractive index profile of the cell comprises rotating the angle of light incident on the cell and measuring the three-dimensional refractive index profile of the cell using the plurality of two-dimensional holograms measured by the interferometer .

상기 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는, 상기 세포를 직접 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정할 수 있다. The step of optically measuring the three-dimensional refractive index profile of the cell may be performed by directly rotating the cell and measuring the three-dimensional refractive index profile of the cell using the plurality of two-dimensional holograms measured by the interferometer.

상기 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는, 광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 상기 세포의 3차원 굴절률 분포를 측정할 수 있다. The step of optically measuring the three-dimensional refractive index profile of the cell can measure the three-dimensional refractive index profile of the cell through optical measurement of at least one of optical diffraction tomography and optical projection tomography.

상기 세포의 종류를 구분하는 단계는, 측정된 상기 3차원 굴절률 분포를 이용하여 상기 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 단계; 및 추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 분류(classification) 단계를 포함할 수 있다. The step of classifying the cell types may include extracting a refractive index characteristic specific to a cell type through the convolutional neural network algorithm using the measured three-dimensional refractive index distribution; And a classification step of classifying the cell type and species according to the refractive index characteristic specific to the extracted cell type.

상기 세포의 종류를 구분하는 단계는, 측정된 상기 3차원 굴절률 분포를 이용하여 상기 딥러닝 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 단계; 및 추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 분류(classification) 단계를 포함할 수 있다. The step of classifying the cell type may include extracting a refractive index characteristic specific to a cell type through the depth learning algorithm using the measured three-dimensional refractive index distribution; And a classification step of classifying the cell type and species according to the refractive index characteristic specific to the extracted cell type.

다른 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치는 세포의 3차원 굴절률 분포를 광학적으로 측정하는 3차원 굴절률 측정부; 및 측정된 상기 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 상기 세포의 종류를 구분하는 세포 종류 판단부를 포함한다. A non-stained non-labeled cell sorting apparatus using a three-dimensional refractive index tomogram and a dip running according to another embodiment includes a three-dimensional refractive index measuring unit for optically measuring a three-dimensional refractive index distribution of a cell; And a cell type determination unit for classifying the type of the cell by non-staining non-labeling by applying a deep learning or a convolutional neural network algorithm using the measured three-dimensional refractive index distribution.

상기 3차원 굴절률 측정부는, 빛을 세포에 입사시키는 광원; 상기 세포에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득하는 간섭계; 및 상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정하는 측정부를 포함하고, 상기 3차원 굴절률 측정부는 광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 상기 세포의 3차원 굴절률 분포를 측정할 수 있다. The three-dimensional refractive index measuring unit may include: a light source that causes light to enter the cell; An interferometer for measuring transmitted light diffracted in the cell to obtain a plurality of two-dimensional holograms; And a measuring unit for measuring a three-dimensional refractive index distribution of the cell using the plurality of two-dimensional holograms, wherein the three-dimensional refractive index measuring unit measures the refractive index of the cell by using at least one of optical diffraction tomography and optical projection tomography The three-dimensional refractive index distribution of the cell can be measured.

상기 세포 종류 판단부는, 측정된 상기 3차원 굴절률 분포를 이용하여 상기 딥러닝 알고리즘 또는 상기 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 특성 추출부; 및 추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 분류(classification)부를 포함할 수 있다. The cell type determination unit may include a characteristic extraction unit that extracts a refractive index characteristic specific to a cell type through the deep learning algorithm or the convolutional neural network algorithm using the measured three- ; And a classification unit for classifying the cell type and species according to the refractive index characteristic specific to the extracted cell type.

실시예들에 따르면 세포의 3차원 굴절률(refractive index) 분포를 광학적으로 측정하고, 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 생체 세포의 종류를 구분하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치를 제공할 수 있다. According to the embodiments, the refractive index distribution of the three-dimensional cell is optically measured, and deep learning or convolutional neural network algorithm is applied to determine the type of living cells And a method and apparatus for distinguishing non-stained non-labeled cell types using deep running.

실시예들에 따르면 세포에 염색 또는 표지를 사용하지 않고 세포의 종류를 구분함으로써, 세포 생물학 분야 특히 세포 분석(cytometry) 분야에서 널리 활용될 수 있을 뿐 아니라, 의학 분야 내 감염 내과에도 적용 가능한 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치를 제공할 수 있다.  According to the embodiments, classification of cells without using dyeing or labeling can be widely used in the field of cell biology, particularly in the field of cytometry, A method and apparatus for classifying non-stained non-labeled cells using a refractive index tomogram and a deep running can be provided.

도 1은 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치를 설명하기 위한 도면이다.
도 3a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 3b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 데이터 셋을 이용한 딥러닝과 세포 종류 구분을 설명하기 위한 도면이다.
도 5 내지 도 7은 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법을 설명하기 위한 흐름도이다.
FIG. 1 is a view for explaining a method of distinguishing non-stained non-labeled cells using a three-dimensional refractive index tomogram and a deep running according to an embodiment.
FIG. 2 is a view for explaining an un-stained unlabeled cell sorting apparatus using a three-dimensional refractive index tomogram and a dip running according to an embodiment.
3A is a view for explaining a method of measuring a three-dimensional refractive index of a cell using an incident light rotation method according to an embodiment.
FIG. 3B is a view for explaining a method of measuring the three-dimensional refractive index of cells using the cell rotation method according to one embodiment.
FIG. 4 is a diagram for explaining deep learning using a data set according to an embodiment and cell type classification. Referring to FIG.
FIGS. 5 to 7 are flowcharts for explaining an unoccluded unlabeled cell sorting method using a three-dimensional refractive index tomogram and dip learning according to an embodiment.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, embodiments will be described with reference to the accompanying drawings. However, the embodiments described may be modified in various other forms, and the scope of the present invention is not limited by the embodiments described below. In addition, various embodiments are provided to more fully describe the present invention to those skilled in the art. The shape and size of elements in the drawings may be exaggerated for clarity.

아래의 실시예들은 염색이나 표지 등의 추가 과정 없이 살아있는 세포의 종류를 구분할 수 있는 방법을 제공한다. 더 구체적으로, 실시예들은 세포의 3차원 굴절률(refractive index) 분포를 광학적으로 측정하고, 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 생체 세포의 종류를 구분할 수 있다. The following examples provide a way to distinguish the types of living cells without additional steps such as staining or labeling. More specifically, the embodiments optically measure the three-dimensional refractive index distribution of a cell, apply deep learning or a convolutional neural network algorithm, Can be distinguished.

예컨대 광원에서 세포(샘플)로 레이저가 조사될 때 레이저 빔이 돌아가면서 다수의 2D 이미지를 획득할 수 있으며, 분석을 통해 토모그램을 하여 3D 흡수도를 획득함으로써 3차원 영상을 획득할 수 있다. 이에 따라 세포를 염색하지 않고도 3차원 영상을 획득할 수 있다. 기존에 세포의 3차원 영상을 확인하는 경우 세포를 염색해야 하나, 세포의 염색 후에는 체내로 주입하기 어려워 다양한 분야에 적용이 어렵다는 문제점이 있다.
For example, when a laser beam is irradiated from a light source to a cell (sample), a plurality of 2D images can be obtained while the laser beam is turned on, and a 3D image can be obtained by obtaining a 3D absorbance by performing a tomogram through analysis. Thus, three-dimensional images can be obtained without staining the cells. In the case of confirming 3-dimensional images of cells, it is necessary to stain the cells, but it is difficult to inject into the body after staining of the cells, which makes it difficult to apply to various fields.

도 1은 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법을 설명하기 위한 도면이다. FIG. 1 is a view for explaining a method of distinguishing non-stained non-labeled cells using a three-dimensional refractive index tomogram and a deep running according to an embodiment.

본 실시예들은 염색이나 표지 등을 전혀 사용하지 않고 살아있는 세포의 3차원 굴절률 측정을 이용하여 세포의 종류를 구분하는 방법을 제공한다. The present embodiments provide a method of classifying a cell type using a three-dimensional refractive index measurement of living cells without using dyeing or marking.

세포 내 3차원 굴절률 분포는 세포 내 소기관(subcellular organelles)의 구성과 형태와 밀접한 관련이 있다. 또한, 굴절률 값 자체는 세포 내 주요 구성 성분인 단백질의 농도와 비례한다. 따라서 세포의 3차원 굴절률 정보를 측정하는 것은 세포와 세포 내 소기관의 형태적인 특성(morphological characteristics) 뿐만 아니라 생화학적인 특성(biochemical characteristics) 정보를 반영한다. The intracellular 3D refractive index distribution is closely related to the composition and morphology of subcellular organelles. In addition, the refractive index value itself is proportional to the concentration of protein, which is a major component in the cell. Thus, measuring the three-dimensional refractive index information of a cell reflects not only morphological characteristics of cells and intracellular organelles but also biochemical characteristics information.

이에 따라 3차원 굴절률 분포를 이용하는 경우 세포 종류의 특이적인 형태적 특성 및 생화학적 특성을 이용하여 세포의 종류를 구분할 수 있게 된다.Accordingly, when the three-dimensional refractive index distribution is used, it is possible to classify the types of cells using specific morphological characteristics and biochemical characteristics of the cell types.

세포의 3차원 굴절률을 측정하고 이 측정값을 기계학습 알고리즘에 적용한 결과, 살아있는 세포의 종류를 간단하면서도 정확하게 구분할 수 있다.By measuring the three-dimensional refractive index of a cell and applying the measured value to a machine learning algorithm, the kind of living cell can be easily and accurately distinguished.

도 1을 참조하면, 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법은 세포들의 3차원 굴절률 영상을 측정(110)하고 이를 이용하여 세포 종류를 파악(120)할 수 있다. 이때 각 종류 별로 많은 수(>100)의 시편을 측정한 후, 딥러닝 알고리즘을 이용하여 기저장된 세로 라이브러리(111)를 참조하여 세포 종류에 특이적인 굴절률 특성(feature)을 추출(112)할 수 있다. 이후 추출된 특성에 따라 세포의 종류와 종을 구분하는 분류(classification)함으로써 세포 종류를 파악(120)할 수 있다. Referring to FIG. 1, a non-stained non-labeled cell type classification method using a three-dimensional refractive tomogram and a deep learning according to an embodiment measures a three-dimensional refractive index image of cells (110) 120). At this time, a large number of specimens (> 100) are measured for each type, and a refractive index characteristic (112) specific to the cell type can be extracted (112) by referring to the pre-stored vertical library 111 using a deep learning algorithm have. The type of the cell can then be identified 120 by classifying the cell type and species according to the extracted characteristics.

아래에서 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치에 대해 더욱 상세하게 설명한다.
Hereinafter, a method and an apparatus for distinguishing un-stained unlabeled cell types using a three-dimensional refractive index tomogram and a dip running according to one embodiment will be described in more detail.

도 2는 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치를 설명하기 위한 도면이다. FIG. 2 is a view for explaining an un-stained unlabeled cell sorting apparatus using a three-dimensional refractive index tomogram and a dip running according to an embodiment.

도 2를 참조하면, 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치(200)는 3차원 굴절률 측정부(210) 및 세포 종류 판단부(220)를 포함하여 이루어질 수 있다. Referring to FIG. 2, an apparatus for classifying non-stained unlabeled cell using a three-dimensional refractive index tomogram and a deep running according to an embodiment includes a three-dimensional refractive index measurement unit 210 and a cell type determination unit 220 .

여기에서 3차원 굴절률 측정부(210)는 광원, 간섭계, 및 측정부를 포함하여 이루어질 수 있다. 또한, 세포 종류 판단부(220)는 특성 추출부 및 분류부를 포함하여 이루어질 수 있다. Here, the three-dimensional refractive index measuring unit 210 may include a light source, an interferometer, and a measuring unit. The cell type determination unit 220 may include a characteristic extraction unit and a classification unit.

3차원 굴절률 측정부(210)는 세포의 3차원 굴절률 분포를 광학적으로 측정할 수 있다. The three-dimensional refractive index measuring unit 210 can optically measure the three-dimensional refractive index distribution of the cell.

예컨대 3차원 굴절률 측정부(210)는 광원과 카메라 등으로 구성되는 광학계가 될 수 있으며, 반사형, 투과형과 같이 다양한 형태로 구성 가능하다. For example, the three-dimensional refractive index measurement unit 210 may be an optical system including a light source and a camera, and may have various shapes such as a reflection type and a transmission type.

3차원 굴절률 측정부(210)는 광원, 간섭계, 및 측정부를 포함하여 이루어질 수 있다. The three-dimensional refractive index measurement unit 210 may include a light source, an interferometer, and a measurement unit.

광원은 빛을 세포에 입사시킬 수 있다. 즉, 광원은 세포에 빛을 조사할 수 있다. 예를 들어 레이저(laser)가 광원으로 이용될 수 있으며, 광원은 측정하고자 하는 세포 등의 샘플에 레이저 빔을 조사할 수 있다. The light source can cause light to enter the cell. That is, the light source can irradiate cells with light. For example, a laser can be used as a light source, and a light source can irradiate a laser beam onto a sample such as a cell to be measured.

여기에서 세포는 측정하고자 하는 대상을 나타내는 샘플(sample)로 표현될 수 있으며, 세포뿐 아니라 세균 또는 미생물 등이 될 수 있으며 세포 등을 포함하고 있는 대상물이 될 수도 있다. Here, the cell may be represented by a sample representing an object to be measured, and it may be a bacterium or a microorganism as well as a cell, and may be an object including a cell or the like.

사용되는 광원은 단일 파장 레이저를 이용할 수 있다. 또한 광원은 여러 파장 레이저를 이용하여 각 파장에서 3차원 굴절률을 측정함으로써 더 많은 양의 정보를 세포의 구분에 활용할 수도 있다. The light source used may utilize a single wavelength laser. In addition, the light source can utilize a larger amount of information to differentiate cells by measuring the refractive index of three dimensions at each wavelength using a multi-wavelength laser.

간섭계는 광원으로부터 입사된 빛이 세포에 입사된 후, 세포에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득할 수 있다. The interferometer can acquire a plurality of two-dimensional holograms by measuring the transmitted light diffracted by the cell after the light incident from the light source is incident on the cell.

여기에서 간섭계는 빛의 간섭 현상을 이용한 측정기로서, 동일한 광원에서 나오는 빛을 두 갈래 이상으로 나누어 진행 경로에 차이가 생기도록 한 후 빛이 다시 만났을 때 일어나는 간섭 현상을 관찰하는 기구이다. Here, the interferometer is a measuring device using the interference phenomenon of light, which divides the light emitted from the same light source into two or more beams to make a difference in the propagation path, and then observes the interference phenomenon occurring when the light meets again.

측정부는 간섭계에서 획득한 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수 있다. 예를 들어 측정부로는 영상을 촬영하는 촬영 장치인 카메라가 이용될 수 있다.The measuring unit can measure the three-dimensional refractive index distribution of the cell using a plurality of two-dimensional holograms obtained from the interferometer. For example, a camera, which is a photographing apparatus for photographing an image, may be used as the measuring unit.

이러한 3차원 굴절률 측정부(210)는 광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 세포의 3차원 굴절률 분포를 측정할 수 있다. The three-dimensional refractive index measuring unit 210 can measure the three-dimensional refractive index distribution of the cell through optical measurement of at least one of optical diffraction tomography and optical projection tomography.

3차원 굴절률 측정부(210)는 세포에 입사되는 빛의 각도를 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수 있다. The three-dimensional refractive index measuring unit 210 may measure the three-dimensional refractive index distribution of the cell using a plurality of two-dimensional holograms measured in the interferometer by rotating the angle of light incident on the cell.

예를 들어 파면 제어기를 사용하여 세포에 입사되는 각도를 회전시키면서 여러 장의 2차원 홀로그램을 측정하고 측정된 홀로그램 정보를 알고리즘을 통해 분석하면 세포의 3차원 굴절률 분포를 측정할 수 있다. 특히, 파면 제어기 중 하나인 디지털 마이크로미러 소자(Digital Micromirror Device)를 이용하여 초고속 3차원 광 단층 촬영할 수 있다. For example, by using a wavefront controller to measure the angle of incidence on a cell while measuring several pieces of two-dimensional holograms, and analyzing the measured hologram information through an algorithm, a three-dimensional refractive index distribution of the cell can be measured. In particular, a high-speed three-dimensional optical tomography can be performed using a digital micromirror device, which is one of wavefront controllers.

또한, 3차원 굴절률 측정부(210)는 세포를 직접 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수도 있다. The three-dimensional refractive index measuring unit 210 may also measure the three-dimensional refractive index distribution of the cells using a plurality of two-dimensional holograms measured in the interferometer by directly rotating the cells.

한편, 세포를 측정하는 방식은 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포들이 낮은 농도로 놓여진 형태, 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포들이 높은 농도로 단일 또는 수 겹의 층을 이루고 있는 형태, 생체 조직 슬라이드를 5 마이크로 미터에서 50 마이크로 미터 사이의 두께로 자른 조직 슬라이드 형태, 및 체외(in vitro)에서 고속대량 스크리닝(high-throughput screening)을 위해 미소 유체관(microfluidic channel)을 지나는 형태로 이루어질 수 있다.On the other hand, the method of measuring cells is a method in which cells are placed at a low concentration on an in vitro slide glass, a form in which cells are concentrated at a high concentration on an in vitro slide glass, Layered forms, tissue slides in which biopsy slides are cut to a thickness of between 5 micrometers and 50 micrometers, and microfluidic channels for high-throughput screening in vitro ). ≪ / RTI >

세포 종류 판단부(220)는 3차원 굴절률 측정부(210)에서 측정된 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 세포의 종류를 구분할 수 있다. The cell type determination unit 220 applies deep learning or a convolutional neural network algorithm using the three-dimensional refractive index distribution measured by the three-dimensional refractive index measurement unit 210, The type of cells can be distinguished.

세포 종류 판단부(220)는 특성 추출부 및 분류부를 포함하여 이루어질 수 있다. The cell type determination unit 220 may include a characteristic extraction unit and a classification unit.

특성 추출부는 측정된 3차원 굴절률 분포를 이용하여 딥러닝 알고리즘 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출할 수 있다. The characteristic extracting unit can extract a refractive index characteristic specific to a cell type through a depth learning algorithm or a convolutional neural network algorithm using the measured three-dimensional refractive index distribution.

분류(classification)부는 특성 추출부에서 추출된 세포 종류에 특이적인 굴절률 특성에 따라 세포의 종류와 종을 구분할 수 있다. The classification unit can classify the cell type and species according to the refractive index characteristic specific to the cell type extracted from the characteristic extracting unit.

실시예들에 따르면 염색이나 표지를 사용하지 않고 살아있는 세포의 3차원 굴절률 측정을 이용하여 세포의 종류를 구분하는 기술을 제공할 수 있다. According to the embodiments, it is possible to provide a technique of sorting cells by using a three-dimensional refractive index measurement of living cells without using dyeing or labeling.

실시예들에 따르면 세포의 3차원 굴절률(refractive index) 분포를 광학적으로 측정하고, 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 생체 세포의 종류를 구분할 수 있다. According to the embodiments, the refractive index distribution of the three-dimensional cell is optically measured, and deep learning or convolutional neural network algorithm is applied to determine the type of living cells .

아래에서 광학적 측정을 통해 세포의 3차원 굴절률 분포를 측정하는 방법에 대해 더 구체적으로 설명하기로 한다.
Hereinafter, a method of measuring the three-dimensional refractive index distribution of a cell through optical measurement will be described in more detail.

도 3a은 일 실시예에 따른 입사광 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다. 3A is a view for explaining a method of measuring a three-dimensional refractive index of a cell using an incident light rotation method according to an embodiment.

모든 물체는 굴절률 분포를 가지고 있다. 굴절률은 빛이 그 물질을 지날 때 얼마나 속도가 감속하는지를 기술하는 물질 자체의 고유한 광학적 물리량이다. 세포의 3차원 굴절률을 측정하기 위해서는 광학 회절 단층 촬영법(optical diffraction tomography) 또는 광학 투영 단층 촬영법(optical projection tomography, tomographic phase microscopy, 3D digital holographic microscopy)을 사용할 수 있다[비특허문헌 1, 2]. All objects have a refractive index distribution. The refractive index is the intrinsic optical quantity of the material itself, which describes how much the velocity slows down as the light passes through it. Optical diffraction tomography or optical projection tomography (tomographic phase microscopy, 3D digital holographic microscopy) can be used to measure the three-dimensional refractive index of cells [Non-Patent Documents 1 and 2].

도 3a을 참조하면, 광학 회절 단층 촬영법과 광학 투영 단층 촬영법은 같은 광학 구현을 이용할 수 있다[비특허문헌 3]. 결맞음 광원(310)(coherent light source)에서 나온 빛을 세포(300)에 입사시켜, 세포(300)에서 회절된 투과광을 간섭계(320)를 이용해서 그 홀로그램을 측정할 수 있다. Referring to FIG. 3A, the optical diffraction tomography and the optical projection tomography can use the same optical implementation (Non-Patent Document 3). The light emitted from the coherent light source 310 may be incident on the cell 300 and the transmitted light diffracted by the cell 300 may be measured using the interferometer 320. [

이때, 세포(300)에 입사되는 각도를 회전(스캔)하면서 측정된 여러 장의 2차원 홀로그램을 이용하여, 세포(300)의 3차원 굴절률 분포(340)를 측정할 수 있다. 여기에서 광학 회절 단층 촬영법과 광학 투영 단층 촬영법의 차이는 시편에서의 빛의 회절 유무를 고려하는 복원 알고리즘(330)에 있다. At this time, the three-dimensional refractive index profile 340 of the cell 300 can be measured using several pieces of two-dimensional holograms measured while rotating the angle of incidence on the cell 300. Here, the difference between the optical diffraction tomography and the optical projection tomography is in the reconstruction algorithm 330 considering the diffraction of light in the specimen.

한편, 세포(300)를 측정하는 방식은 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포들이 낮은 농도로 놓여진 형태, 체외(in vitro) 슬라이드 유리(slide glass) 상에서 세포들이 높은 농도로 단일 또는 수 겹의 층을 이루고 있는 형태, 생체 조직 슬라이드를 5 마이크로 미터에서 50 마이크로 미터 사이의 두께로 자른 조직 슬라이드 형태, 및 체외(in vitro)에서 고속대량 스크리닝(high-throughput screening)을 위해 미소 유체관(microfluidic channel)을 지나는 형태로 이루어질 수 있다.On the other hand, the method of measuring the cell 300 may include a method in which cells are placed at low concentration on an in vitro slide glass, a method in which the cells are singly or in a high concentration on an in vitro slide glass, Multi-layered forms, tissue slides in which biopsy slides are cut to a thickness of between 5 micrometers and 50 micrometers, and microfluidic tubes for high-throughput screening in vitro (microfluidic channel).

그리고 사용되는 광원(310)은 단일 파장 레이저를 이용할 수 있다. 또한, 광원(310)으로 여러 파장 레이저를 이용하여 각 파장에서 3차원 굴절률을 측정(340)함으로써 더 많은 양의 정보를 세포(300)의 구분에 활용할 수도 있다. And the light source 310 used may utilize a single wavelength laser. Further, by measuring the three-dimensional refractive index (340) at each wavelength by using the multiple wavelength laser as the light source 310, a larger amount of information can be utilized for the classification of the cells 300.

도 3b은 일 실시예에 따른 세포 회전 방식을 이용한 세포의 3차원 굴절률을 측정하는 방법을 설명하기 위한 도면이다. FIG. 3B is a view for explaining a method of measuring the three-dimensional refractive index of cells using the cell rotation method according to one embodiment.

도 3b을 참조하면, 도 3a에서 설명한 일 실시예에 따른 입사광 회전 방식을 이용한 세포(300)의 3차원 굴절률을 측정하는 방법에서 입사광을 회전시키는 대신, 세포(300)를 직접 회전시켜 3차원 굴절률을 측정(340)하는 것도 가능하다.
Referring to FIG. 3B, in the method of measuring the three-dimensional refractive index of the cell 300 using the incident light rotation method according to the embodiment described with reference to FIG. 3A, instead of rotating the incident light, (340).

도 4는 일 실시예에 따른 데이터 셋을 이용한 딥러닝과 세포 종류 구분을 설명하기 위한 도면이다. FIG. 4 is a diagram for explaining deep learning using a data set according to an embodiment and cell type classification. Referring to FIG.

도 3에서 설명한 방법을 이용하여 이미 그 종류가 구분이 되어있는 세포들의 3차원 굴절률 영상을 측정할 수 있다. 이때, 도 4에 도시된 바와 같이, 각 종류 별로 많은 수(>100)의 시편을 측정한 후, 딥러닝 알고리즘을 이용하여 세포 종류에 특이적인 굴절률 특성(feature)을 추출(410)할 수 있다.The three-dimensional refractive index images of the cells already classified by the method shown in FIG. 3 can be measured. At this time, as shown in FIG. 4, a large number of (> 100) specimens may be measured for each type, and a refractive index characteristic specific to the cell type may be extracted 410 using a deep learning algorithm .

더 구체적으로, 측정된 3차원 굴절률 정보를 바탕으로 컨볼루셔널 신경망(convolutional neural network) 알고리즘[비특허문헌 4]을 이용할 수 있다. 이때 신경망(neural network) 알고리즘에 입력되는 정보는 각 세포들의 3차원 굴절률 정보이며, 이를 통해 머신러닝의 결과로 나오는 예측치는 세포의 종류 또는 종(species)이 된다. More specifically, based on the measured three-dimensional refractive index information, a convolutional neural network algorithm (Non-Patent Document 4) can be used. In this case, the information input to the neural network algorithm is three-dimensional refractive index information of each cell, and the predicted value resulting from the machine learning becomes the kind or species of the cell.

세포의 3차원 굴절률 토모그램 데이터(400)에서 컨볼루션(convolution)과 서브샘플링(subsampling)의 순차적인 단계별 적용을 통해 우선 특이적 성질을 추출하고(feature extraction)(410), 이후 추출된 특성에 따라 세포의 종류와 종을 구분하는 분류(classification) 단계(420)를 거칠 수 있다. First, a characteristic extraction is performed (step 410) by sequential stepwise application of convolution and subsampling in the three-dimensional refractive index tomogram data 400 of the cell, Followed by a classification step 420 for classifying the species and species of the cells.

이때 3차원 형태로 구성된 굴절률 정보를 n(x, y, z)라고 하면, 이를 3차원 매트릭스 형태로 특이적 성질을 바로 추출할 수 있으며, 선형 매핑(linear mapping)을 통해 n(x, y, z)를 n(k, l) 또는 n(m)과 같이 2차원 또는 1차원 벡터 형태로 변형한 뒤 특이적 성질을 추출할 수 있다. 푸리에(Fourier) 변형 등을 이용해서 위치 공간 location (x, y, z)를 공간 주파수 location (kx, ky, kz)로 변형하여 사용할 수도 있다.In this case, if the refractive index information composed of the three-dimensional shape is n (x, y, z), it can extract the specific property directly in the form of a three-dimensional matrix. z) can be transformed into a two-dimensional or one-dimensional vector form such as n (k, l) or n (m), and specific properties can be extracted. The position space location (x, y, z) can be transformed into the spatial frequency location (kx, ky, kz) by using Fourier transformation or the like.

위 방법을 이용하여 획득된 세포 종류의 특이적 특성을 활용하여 특정 세포의 3차원 굴절률 분포에 적용함으로써 세포의 종류를 파악할 수 있다.By using the specific characteristics of the cell type obtained by the above method, the kind of the cell can be grasped by applying it to the three-dimensional refractive index distribution of a specific cell.

이때, 물질 내 빛의 감속에 관련된 굴절률의 실수부와 빛의 흡수에 관련된 굴절률의 허수부를 모두 사용하여 딥러닝의 효율을 증가시킬 수 있다.
At this time, it is possible to increase the efficiency of the deep run by using both the real part of the refractive index related to the deceleration of light in the material and the imaginary part of the refractive index related to the absorption of light.

도 5 내지 도 7은 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법을 설명하기 위한 흐름도이다.FIGS. 5 to 7 are flowcharts for explaining an unoccluded unlabeled cell sorting method using a three-dimensional refractive index tomogram and dip learning according to an embodiment.

도 5를 참조하면, 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법은 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계(510), 및 측정된 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 알고리즘 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 세포의 종류를 구분하는 단계(520)를 포함하여 이루어질 수 있다. Referring to FIG. 5, a method of distinguishing un-stained unlabeled cells using a three-dimensional refractive index tomogram and a deep run according to an embodiment includes a step 510 of optically measuring a three-dimensional refractive index distribution of a cell, (520) of applying a deep learning algorithm or a convolutional neural network algorithm using the 2D refractive index distribution to classify the type of cells into an un-stained unlabeled cell.

그리고, 도 6을 참조하면 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는, 광원에서 나온 빛을 세포에 입사시키는 단계(511), 세포에서 회절된 투과광을 간섭계로 측정하여 다수의 2차원 홀로그램을 획득하는 단계(512), 및 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정하는 단계(513)를 포함할 수 있다. 6, the step of optically measuring the three-dimensional refractive index distribution of the cell includes a step 511 of introducing the light emitted from the light source into the cell, a step 511 of measuring the transmitted light diffracted by the cell using an interferometer, (Step 512) of obtaining a three-dimensional refractive index profile of the cell, and measuring a three-dimensional refractive index distribution of the cell using a plurality of two-dimensional holograms (step 513).

또한, 도 7을 참조하면 세포의 종류를 구분하는 단계는, 측정된 3차원 굴절률 분포를 이용하여 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 단계(521), 및 추출된 세포 종류에 특이적인 굴절률 특성에 따라 세포의 종류와 종을 구분하는 분류(classification) 단계(522)를 포함할 수 있다. In addition, referring to FIG. 7, the step of sorting the cells may include extracting a refractive index characteristic specific to a cell type through a convolutional neural network algorithm using the measured three-dimensional refractive index distribution Step 521, and a classification step 522 for classifying the cell type and species according to the refractive index characteristic specific to the extracted cell type.

실시예들에 따르면 세포의 3차원 굴절률(refractive index) 분포를 광학적으로 측정하고, 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 생체 세포의 종류를 구분하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치를 제공할 수 있다. According to the embodiments, the refractive index distribution of the three-dimensional cell is optically measured, and deep learning or convolutional neural network algorithm is applied to determine the type of living cells And a method and apparatus for distinguishing non-stained non-labeled cell types using deep running.

아래에서 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법을 하나의 실시예를 이용하여 더 구체적으로 설명한다.
Hereinafter, a non-stained non-labeled cell sorting method using a three-dimensional refractive index tomogram and a deep running according to one embodiment will be described in more detail using one embodiment.

일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법은 도 2에서 설명한 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치를 이용하여 더 구체적으로 설명할 수 있다. 일 실시예에 따른 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치는 3차원 굴절률 측정부 및 세포 종류 판단부를 포함하여 이루어질 수 있다. 여기에서 3차원 굴절률 측정부는 광원, 간섭계, 및 측정부를 포함하여 이루어질 수 있다. 또한, 세포 종류 판단부는 특성 추출부 및 분류부를 포함하여 이루어질 수 있다. The non-stained non-labeled cell type classification method using the three-dimensional refractive tomogram and the dip running according to one embodiment can be classified into a non-staining non-labeled cell type classification using the three-dimensional refractive tomogram and the deep running according to the embodiment described in FIG. More specifically, it can be explained using a device. The non-stained non-labeled cell sorting apparatus using the three-dimensional refractive index tomogram and the dip running according to one embodiment may include a three-dimensional refractive index measuring unit and a cell type determining unit. Here, the three-dimensional refractive index measuring unit may include a light source, an interferometer, and a measuring unit. The cell type determining unit may include a characteristic extracting unit and a classifying unit.

단계(510)에서, 3차원 굴절률 측정부는 세포의 3차원 굴절률 분포를 광학적으로 측정할 수 있다.In step 510, the three-dimensional refractive index measuring unit may optically measure the three-dimensional refractive index distribution of the cell.

더 구체적으로, 세포의 3차원 굴절률 분포를 광학적으로 측정하기 위해 단계(511)에서 광원은 빛을 세포에 입사시킬 수 있다. 그리고 단계(512)에서 간섭계는 광원으로부터 입사된 빛이 세포에 입사된 후, 세포에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득할 수 있다. 이후, 단계(513)에서 측정부는 간섭계에서 획득한 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수 있다. More specifically, in step 511, the light source may cause light to enter the cell to optically measure the three-dimensional refractive index profile of the cell. Then, in step 512, the interferometer can acquire a plurality of two-dimensional holograms by measuring the transmitted light diffracted by the cells after the light incident from the light source is incident on the cells. Thereafter, in step 513, the measuring unit can measure the three-dimensional refractive index distribution of the cell using a plurality of two-dimensional holograms obtained in the interferometer.

이러한 3차원 굴절률 측정부는 광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 세포의 3차원 굴절률 분포를 측정할 수 있다. The three-dimensional refractive index measuring unit can measure the three-dimensional refractive index distribution of the cell through optical measurement of at least one of optical diffraction tomography and optical projection tomography.

3차원 굴절률 측정부는 세포에 입사되는 빛의 각도를 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수 있다. The three-dimensional refractive index measuring unit can measure the three-dimensional refractive index distribution of a cell using a plurality of two-dimensional holograms measured in the interferometer by rotating the angle of light incident on the cell.

또한, 3차원 굴절률 측정부는 세포를 직접 회전시켜 간섭계에서 측정된 다수의 2차원 홀로그램을 이용하여 세포의 3차원 굴절률 분포를 측정할 수도 있다. In addition, the 3D refractive index measuring unit can directly measure the three-dimensional refractive index distribution of the cells using a plurality of two-dimensional holograms measured in the interferometer by rotating the cells directly.

단계(520)에서, 세포 종류 판단부는 3차원 굴절률 측정부에서 측정된 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 세포의 종류를 구분할 수 있다. In step 520, the cell type determination unit applies deep learning or a convolutional neural network algorithm using the three-dimensional refractive index measured by the three-dimensional refractive index measuring unit, The types of cells can be distinguished.

단계(521)에서, 특성 추출부는 측정된 3차원 굴절률 분포를 이용하여 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출할 수 있다. In step 521, the characteristic extractor may extract a refractive index characteristic specific to the cell type through a convolutional neural network algorithm using the measured three-dimensional refractive index distribution.

또한, 특성 추출부는 측정된 3차원 굴절률 분포를 이용하여 딥러닝 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출할 수도 있다. In addition, the characteristic extracting unit may extract a refractive index characteristic specific to a cell type through a depth learning algorithm using the measured three-dimensional refractive index distribution.

단계(522)에서, 분류(classification)부는 특성 추출부에서 추출된 세포 종류에 특이적인 굴절률 특성에 따라 세포의 종류와 종을 구분할 수 있다. In step 522, the classification unit may classify the cell type and species according to the refractive index characteristic specific to the cell type extracted from the characteristic extraction unit.

실시예들에 따르면 세포에 염색 또는 표지를 사용하지 않고 세포의 종류를 구분할 수 있다. 이는, 세포 생물학 분야 특히 세포 분석(cytometry) 분야에서 널리 활용될 수 있다. According to the embodiments, the types of cells can be distinguished without using dyeing or labeling in the cells. This can be widely used in the field of cell biology, particularly in the field of cytometry.

예를 들어 줄기세포가 분화 후 어떤 종류의 세포가 되었는지를 비표지 비염색 방식으로 확인할 수 있기 때문에, 종류가 확인된 세포를 바로 체내에 주입해도 문제가 없다. 다른 예로, 암 환자의 혈액에서 추출한 특정 백혈구 종류를 선택적으로 배양하여 재주입하는 면역 치료(immunotherapy) 분야에 본 발명이 적용되는 경우, 종래에 사용하고 있던 자성물질기반 세포 구분(MACS, magnetic-assisted cell cytometry)의 고비용 문제를 효과적으로 해결할 수 있다. For example, since a stem cell can be identified by a non-labeled non-staining method, it can be injected into the body immediately. As another example, when the present invention is applied to the field of immunotherapy in which a specific type of leukocyte extracted from blood of a cancer patient is selectively cultured and re-infused, the conventional magnetic cell-based cell sorting (MACS, magnetic-assisted cell cytometry can be effectively solved.

또한, 의학 분야 내 감염 내과에도 적용 가능하다. 예를 들어 박테리아의 종류를 빠르고 정확하게 구분할 수 있게 됨으로써, 감염질환 환자에게 신속하고 효과적인 항생제 등의 의학적 처방이 가능할 수 있다. 다른 예로, 무기용으로 전용될 수 있는 독성균(예, 탄저균, anthrax)을 신속하고 정확하게 가려낼 수도 있기 때문에 대테러 분야에도 활용 가능하다.
It is also applicable to medical infections in medicine. For example, by making it possible to quickly and accurately distinguish between bacterial species, a medical prescription, such as antibiotics, can be made quickly and effectively for infected patients. Another example is the ability to quickly and accurately screen toxic fungi (eg, anthrax) that can be dedicated to weapons, and thus can be used in counter-terrorism applications.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing apparatus may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (10)

비염색 비표지 상태인 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계; 및
측정된 상기 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 알고리즘 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 상기 세포의 종류를 구분하는 단계
를 포함하고,
상기 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는,
광원에서 나온 빛을 상기 세포에 입사시키는 단계;
상기 세포에서 회절된 투과광을 간섭계로 측정하여 다수의 2차원 홀로그램을 획득하는 단계; 및
상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정하는 단계를 포함하며,
초고속 3차원 광 단층 촬영을 위해 디지털 마이크로미러 소자(Digital Micromirror Device)를 이용하여 상기 세포에 입사되는 빛의 각도를 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정하고,
상기 세포의 종류를 구분하는 단계는,
측정된 상기 3차원 굴절률 분포를 상기 딥러닝 알고리즘 또는 상기 컨볼루셔널 신경망 알고리즘에 입력하여 세포의 형태적 특성 및 화학적 특성을 기반으로 세포 종류에 특이적인 굴절률 특성(feature)을 추출하고, 추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 것
을 특징으로 하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법.
Optically measuring a three-dimensional refractive index profile of cells that are unstained and unlabeled; And
Dividing the cell type into non-staining non-labeling by applying a deep learning algorithm or a convolutional neural network algorithm using the measured three-dimensional refractive index distribution
Lt; / RTI >
The step of optically measuring the three-dimensional refractive index profile of the cell comprises:
Introducing light from the light source into the cell;
Measuring a transmitted light diffracted by the cell with an interferometer to obtain a plurality of two-dimensional holograms; And
Measuring a three-dimensional refractive index profile of the cell using the plurality of two-dimensional holograms,
Dimensional ultrasound image by rotating a angle of light incident on the cell using a digital micromirror device to measure a three-dimensional (3D) image of the cell using the plurality of two-dimensional holograms measured in the interferometer, The refractive index distribution is measured,
The step of sorting the cells includes:
The measured three-dimensional refractive index distribution is input to the deep learning algorithm or the convolutive neural network algorithm to extract refractive index characteristics specific to the cell type based on morphological and chemical characteristics of the cell, Classifying the cell type and species according to the refractive index characteristic specific to the cell type
A method of distinguishing non - stained non - labeled cells using three - dimensional refractive tomograms and deep - running.
삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 세포의 3차원 굴절률 분포를 광학적으로 측정하는 단계는,
광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 상기 세포의 3차원 굴절률 분포를 측정하는 것
을 특징으로 하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법.
The method according to claim 1,
The step of optically measuring the three-dimensional refractive index profile of the cell comprises:
Measuring the three-dimensional refractive index distribution of the cell through optical measurement of at least one of optical diffraction tomography and optical projection tomography
A method of distinguishing non - stained non - labeled cells using three - dimensional refractive tomograms and deep - running.
제1항에 있어서,
상기 세포의 종류를 구분하는 단계는,
측정된 상기 3차원 굴절률 분포를 이용하여 상기 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 단계; 및
추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 분류(classification) 단계
를 포함하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법.
The method according to claim 1,
The step of sorting the cells includes:
Extracting a refractive index characteristic specific to a cell type through the convolutional neural network algorithm using the measured three-dimensional refractive index distribution; And
A classification step of classifying the cell type and species according to the refractive index characteristic specific to the extracted cell type;
A method of distinguishing non - stained non - labeled cells using three - dimensional refractive tomograms and deep - running.
제1항에 있어서,
상기 세포의 종류를 구분하는 단계는,
측정된 상기 3차원 굴절률 분포를 이용하여 상기 딥러닝 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 단계; 및
추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 분류(classification) 단계
를 포함하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법.
The method according to claim 1,
The step of sorting the cells includes:
Extracting a refractive index characteristic specific to a cell type through the depth learning algorithm using the measured three-dimensional refractive index distribution; And
A classification step of classifying the cell type and species according to the refractive index characteristic specific to the extracted cell type;
A method of distinguishing non - stained non - labeled cells using three - dimensional refractive tomograms and deep - running.
비염색 비표지 상태인 세포의 3차원 굴절률 분포를 광학적으로 측정하는 3차원 굴절률 측정부; 및
측정된 상기 3차원 굴절률 분포를 이용하여 딥러닝(deep learning) 또는 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 적용하여 비염색 비표지로 상기 세포의 종류를 구분하는 세포 종류 판단부
를 포함하고,
상기 3차원 굴절률 측정부는,
빛을 세포에 입사시키는 광원;
상기 세포에서 회절된 투과광을 측정하여 다수의 2차원 홀로그램을 획득하는 간섭계; 및
상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정하는 측정부를 포함하며,
초고속 3차원 광 단층 촬영을 위해 디지털 마이크로미러 소자(Digital Micromirror Device)를 이용하여 상기 세포에 입사되는 빛의 각도를 회전시켜 상기 간섭계에서 측정된 상기 다수의 2차원 홀로그램을 이용하여 상기 세포의 3차원 굴절률 분포를 측정하고,
상기 세포 종류 판단부는,
측정된 상기 3차원 굴절률 분포를 상기 딥러닝 알고리즘 또는 상기 컨볼루셔널 신경망 알고리즘에 입력하여 세포의 형태적 특성 및 화학적 특성을 기반으로 세포 종류에 특이적인 굴절률 특성(feature)을 추출하고, 추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 것
을 특징으로 하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치.
A three-dimensional refractive index measuring unit for optically measuring a three-dimensional refractive index distribution of cells that are unstained and unlabeled; And
A cell type determination unit for classifying the type of the cell with an un-stained non-label by applying deep learning or a convolutional neural network algorithm using the measured three-dimensional refractive index distribution,
Lt; / RTI >
Wherein the three-dimensional refractive index measuring unit comprises:
A light source for introducing light into the cell;
An interferometer for measuring transmitted light diffracted in the cell to obtain a plurality of two-dimensional holograms; And
Dimensional hologram, and measuring a three-dimensional refractive index distribution of the cell using the plurality of two-dimensional holograms,
Dimensional ultrasound image by rotating a angle of light incident on the cell using a digital micromirror device to measure a three-dimensional (3D) image of the cell using the plurality of two-dimensional holograms measured in the interferometer, The refractive index distribution is measured,
The cell type determination unit may determine,
The measured three-dimensional refractive index distribution is input to the deep learning algorithm or the convolutive neural network algorithm to extract refractive index characteristics specific to the cell type based on morphological and chemical characteristics of the cell, Classifying the cell type and species according to the refractive index characteristic specific to the cell type
And a non-staining non-labeled cell type discriminating device using a depth learning.
제8항에 있어서,
상기 3차원 굴절률 측정부는,
광학 회절 단층 촬영법 및 광학 투영 단층 촬영법 중 적어도 어느 하나의 광학적 측정을 통해 상기 세포의 3차원 굴절률 분포를 측정하는 것을 특징으로 하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치.
9. The method of claim 8,
Wherein the three-dimensional refractive index measuring unit comprises:
Dimensional refractive index distribution of the cell is measured by optical measurement of at least one of an optical diffraction tomography and an optical projection tomography, and a non-stained non-labeled cell type discrimination device using a deep- .
제8항에 있어서,
상기 세포 종류 판단부는,
측정된 상기 3차원 굴절률 분포를 이용하여 상기 딥러닝 알고리즘 또는 상기 컨볼루셔널 신경망(convolutional neural network) 알고리즘을 통해 세포 종류에 특이적인 굴절률 특성(feature)을 추출하는 특성 추출부; 및
추출된 상기 세포 종류에 특이적인 굴절률 특성에 따라 상기 세포의 종류와 종을 구분하는 분류(classification)부
를 포함하는 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 장치.
9. The method of claim 8,
The cell type determination unit may determine,
A characteristic extractor for extracting a refractive index characteristic specific to a cell type through the depth learning algorithm or the convolutional neural network algorithm using the measured three-dimensional refractive index distribution; And
A classification unit for classifying the type of the cell and the species according to the refractive index characteristic specific to the extracted cell type;
And a non-staining non-labeled cell type discriminating device using a depth learning.
KR1020160072538A 2016-06-10 2016-06-10 Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm KR101927852B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160072538A KR101927852B1 (en) 2016-06-10 2016-06-10 Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160072538A KR101927852B1 (en) 2016-06-10 2016-06-10 Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm

Publications (2)

Publication Number Publication Date
KR20170140473A KR20170140473A (en) 2017-12-21
KR101927852B1 true KR101927852B1 (en) 2018-12-13

Family

ID=60936157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072538A KR101927852B1 (en) 2016-06-10 2016-06-10 Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm

Country Status (1)

Country Link
KR (1) KR101927852B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091027A1 (en) * 2019-11-05 2021-05-14 주식회사 토모큐브 Unlabeled three-dimensional molecular image generation method and device using three-dimensional refractive index image and deep learning

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926181B1 (en) * 2018-08-01 2018-12-06 (주)한그린테크 Apparatus and method for measuring freshness based on machine-learning
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
KR102246439B1 (en) * 2020-02-19 2021-04-30 주식회사 토모큐브 Method and apparatus for performing rapid regularization of tomographic imaging using machine learning algorithm
WO2021167371A1 (en) * 2020-02-20 2021-08-26 주식회사 토모큐브 Electronic device for detection of immune state on basis of refractive index of immune cell and operation method therefor
CN111680741B (en) * 2020-06-04 2022-09-20 南京理工大学 Automatic debugging method of computer-aided interferometer based on deep learning
WO2022195754A1 (en) * 2021-03-17 2022-09-22 株式会社エビデント Data processing method, data processing device, three-dimensional observation device, learning method, learning device, and recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210465A (en) * 2008-03-05 2009-09-17 Yamaguchi Univ Method of classifying cancer cell, device for classifying cancer cell, and program for classifying cancer cell
US20150177133A1 (en) * 2007-07-10 2015-06-25 Massachusetts Institute Of Technology Tomographic phase microscopy

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114277B2 (en) * 1991-10-08 2000-12-04 株式会社日立製作所 Construction method of automatic cell classification logic
KR20010017092A (en) * 1999-08-07 2001-03-05 김판구 Method for counting and analyzing morphology of blood cell automatically
JP2004340738A (en) * 2003-05-15 2004-12-02 Sysmex Corp Apparatus, system and method for classifying cells

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150177133A1 (en) * 2007-07-10 2015-06-25 Massachusetts Institute Of Technology Tomographic phase microscopy
JP2009210465A (en) * 2008-03-05 2009-09-17 Yamaguchi Univ Method of classifying cancer cell, device for classifying cancer cell, and program for classifying cancer cell

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091027A1 (en) * 2019-11-05 2021-05-14 주식회사 토모큐브 Unlabeled three-dimensional molecular image generation method and device using three-dimensional refractive index image and deep learning

Also Published As

Publication number Publication date
KR20170140473A (en) 2017-12-21

Similar Documents

Publication Publication Date Title
KR101927852B1 (en) Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm
JP7361149B2 (en) High-precision 5-part Differential using digital holography microscopy and untouched peripheral blood leukocytes
US10025271B2 (en) Method and system for detecting and/or classifying cancerous cells in a cell sample
Baczewska et al. Refractive index changes of cells and cellular compartments upon paraformaldehyde fixation acquired by tomographic phase microscopy
CN104136907B (en) Analyzing and sorting influent objects
US9013692B2 (en) Flow cytometer apparatus for three dimensional difraction imaging and related methods
CN105228749B (en) Portable blood cell count monitor
KR102280764B1 (en) Method and apparatus for rapid diagnosis of hematologic malignancy using 3d quantitative phase imaging and deep learning
Mihailescu et al. Automated imaging, identification, and counting of similar cells from digital hologram reconstructions
KR102302333B1 (en) Method and Apparatus for Generating 3D Fluorescent Label Image of Label-Free using 3D Refractive Index Tomography and Deep Learning
Ekman et al. Mesoscale imaging with cryo‐light and X‐rays: Larger than molecular machines, smaller than a cell
KR102500220B1 (en) Method and apparatus for classifying of cell subtype using three-dimensional refractive index tomogram and machine learning
CN109844542A (en) The device and method of rotation imaging bioassay for multiplexing
Pirone et al. Beyond fluorescence: advances in computational label-free full specificity in 3D quantitative phase microscopy
Gangadhar et al. Deep learning assisted holography microscopy for in-flow enumeration of tumor cells in blood
Borrelli et al. AI-aided holographic flow cytometry for label-free identification of ovarian cancer cells in the presence of unbalanced datasets
Shen et al. Functional proteometrics for cell migration
KR101888926B1 (en) Method and Apparatus for Analyzing Sperm Cells Using 3D Refractive Index Tomogram
Delikoyun et al. 2 Deep learning-based cellular image analysis for intelligent medical diagnosis
Gangadhar et al. Staining-free, in-flow enumeration of tumor cells in blood using digital holographic microscopy and deep learning
EP4293342A1 (en) Automatic analyzer and method for optically analyzing a biological sample
Al-Qaysi Profiling Effusion Cells by Quantitative Analysis of Morphology and Diffraction Imaging Patterns
EP4374342A1 (en) Computer-implemented method and corresponding apparatus for identifying subcellular structures in the non-chemical staining mode from phase contrast tomography reconstructions in flow cytometry
Abrahamsson Three dimensional tracking of multiple objects using digital holographic microscopy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant