KR20210111068A - 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 - Google Patents
인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20210111068A KR20210111068A KR1020200026121A KR20200026121A KR20210111068A KR 20210111068 A KR20210111068 A KR 20210111068A KR 1020200026121 A KR1020200026121 A KR 1020200026121A KR 20200026121 A KR20200026121 A KR 20200026121A KR 20210111068 A KR20210111068 A KR 20210111068A
- Authority
- KR
- South Korea
- Prior art keywords
- cell
- region
- neural network
- information
- tracking map
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 44
- 210000004413 cardiac myocyte Anatomy 0.000 title claims description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 71
- 239000013598 vector Substances 0.000 claims abstract description 41
- 210000004027 cell Anatomy 0.000 claims description 347
- 238000012806 monitoring device Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010009 beating Methods 0.000 abstract description 2
- 210000004165 myocardium Anatomy 0.000 abstract 3
- 230000002107 myocardial effect Effects 0.000 description 73
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000009087 cell motility Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000000917 particle-image velocimetry Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000010261 cell growth Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법은 세포 이미지를 신경망에 입력하는 단계, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하는 단계, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하는 단계, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하는 단계, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하는 단계, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하는 단계 및 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하는 단계를 포함한다.
Description
본 발명은 심근 세포 모니터링 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 인공신경망을 이용하여 심근 세포의 수축성 패턴 모니터링 하는 방법 및 그 장치에 관한 것이다.
심근 세포의 운동을 정량화 하기 위해서는 심근 세포의 모션 벡터를 이용하였다. 하지만, 심근 세포의 모션 벡터를 특정 방향으로 투영하기 위하여는 전문가의 수작업에 의하여 기준점이 설정되어야 한다는 문제가 존재한다. 전문가에 의해 심근 세포의 운동 데이터를 측정하는 경우 시간과 비용의 낭비가 심하며, 특히 상술한 심근 세포의 운동 데이터를 활용하는 다양한 분석 데이터의 오류율이 높아질 수 있다. 따라서 전문가의 개입 없이 심근 세포의 운동을 정확하게 측정할 수 있는 기술의 제공이 요구된다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 실시예들은 전문가의 수작업 없이 세포 이미지를 신경망에 입력하여 심근 세포의 박동을 정확하게 모니터링 하는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 심근 세포 모니터링 방법은 세포 이미지를 신경망에 입력하는 단계, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하는 단계, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하는 단계, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하는 단계, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하는 단계, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하는 단계 및 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하는 단계를 포함할 수 있다.
일 실시예에서 상기 신경망은, 적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망일 수 있다.
일 실시예에서 상기 세포 영역을 검출하는 단계는, 상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하는 단계를 포함하고, 상기 세포 영역은, 세포를 포함하는 ROI(Region Of Interest) 영역일 수 있다.
일 실시예에서 상기 세포 중심 정보는, 상기 세포의 무게 중심을 기초로 정해질 수 있다.
일 실시예에서 상기 세포의 운동 추적 지도를 생성하는 단계는, 복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성하는 단계를 포함할 수 있다.
일 실시예에서 상기 세포의 운동 추적 지도를 생성하는 단계는, 상기 세포 영역에 포함된 타겟 영역을 지정하는 단계 및 상기 타겟 영역에 대한 운동 추적 지도만 생성하는 단계를 포함할 수 있다.
일 실시예에서 상기 운동 추적 지도에 방사상 벡터를 투영하는 단계는, 상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 심근 세포 모니터링 장치는 프로세서를 포함하고, 상기 프로세서는, 세포 이미지를 신경망에 입력하고, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하고, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하고, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하고, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하고, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하고, 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득할 수 있다.
일 실시예에서 상기 신경망은, 적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망일 수 있다.
일 실시예에서 상기 프로세서는, 상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하고, 상기 세포 영역은, 세포를 포함하는 ROI(Region Of Interest) 영역일 수 있다.
일 실시예에서 상기 세포 중심 정보는, 상기 세포의 무게 중심을 기초로 정해질 수 있다.
일 실시예에서 상기 프로세서는, 복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성할 수 있다.
일 실시예에서 상기 프로세서는, 상기 세포 영역에 포함된 타겟 영역을 지정하고, 상기 타겟 영역에 대한 운동 추적 지도만 생성할 수 있다.
일 실시예에서 상기 프로세서는, 상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 심근 세포 모니터링 장치의 하드웨어 구성 및 동작을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따라 세포 마스트 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신경망의 학습 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 세포 마스크 데이터를 이용하여 세포 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 세포의 운동을 측정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 세포 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 세포의 운동을 추적하고 심근 세포의 수축성 패턴을 획득하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 심근 세포 모니터링 장치의 하드웨어 구성 및 동작을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따라 세포 마스트 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신경망의 학습 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 세포 마스크 데이터를 이용하여 세포 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 세포의 운동을 측정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 세포 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 세포의 운동을 추적하고 심근 세포의 수축성 패턴을 획득하는 방법을 설명하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
본 발명에서 개시하는 인공 지능(artificial intelligence, AI)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미할 수 있고, 기계 학습(machine learning)은 인공지능 기술의 한 분야로서 컴퓨팅 장치가 데이터를 통해 학습하여 특정 대상 혹은 조건을 이해할 수 있게 하거나 데이터의 패턴을 찾아내 분류하는 기술적 방식으로써 컴퓨터가 데이터를 분석할 수 있게 하는 알고리즘일 수 있다. 본 발명에서 개시하는 기계 학습은 인공지능 모델을 학습하기 위한 동작 방법을 포함하는 의미로서 이해될 수 있다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 예를 도시한 도면이다.
심근 세포의 운동을 정량적으로 측정하기 위하여는 심근 세포의 모션 벡터를 측정해야 한다. 다만 심근 세포의 모션 벡터를 방사상 방향으로 투영하기 위하여는 기준점이 필요하고, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 신경망을 이용하여 심근 세포를 검출하고, 검출된 심근 세포를 이용하여 소정의 조건에 따라 심근 세포의 움직임 측정에 기준점이 되는 세포 중심 정보를 획득할 수 있다.
즉, 종래 기술의 경우 심근 세포의 경계 및 세포 중심을 사용자가 직접 수동으로 설정해야 하는 한계가 있다. 하지만 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 방법을 이용하면 사용자의 수작업 없이 심근 세포와 관련된 다양한 정보를 획득할 수 있다. 이는 인적 오류를 줄이고 전문가 없이도 심근 세포에 대한 다양한 정보를 정확하게 측정할 수 있게 한다. 또한, 본 발명의 몇몇 실시예에 따른 신경망은 픽셀 레벨의 분류를 진행할 수 있으므로, 세포 성장 단계의 다양한 형태에서도 정확한 세포 영역 추출을 할 수 있다. 즉, 본 발명의 몇몇 실시예에 따르면, 수동 분할방식에 의존하는 기존 방식에서 소모되는 연구자의 작업시간을 현저히 줄이고 분석 시간을 줄이며 측정 정확도를 높일 수 있다.
일 실시예에 다른 심근 세포 모니터링 장치는 획득한 세포 이미지(a)를 신경망(b)에 입력할 수 있고, 검출된 세포 영역(c)을 기준으로 세포의 방사형 운동을 정량화 하여 측정할 수 있으며, 정량화된 세포의 방사형 운동 데이터를 이용하여 심근 세포의 수축성 패턴(d)을 도출할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 먼저 획득한 세포 이미지(a)를 CNN(Convolutional Neural Network) 기반의 신경망(b)에 입력하여 세포 마스크 데이터를 획득할 수 있다. 세포 마스크 데이터는 심근 세포의 ROI(Region Of Interest) 영역을 포함할 수 있다. 이후, 심근 세포 모니터링 장치는 세포 이미지와 세포 마스크 데이터를 이용하여 세포 영역(c)을 검출할 수 있다. 세포 영역은 세포 이미지 중 세포 영역을 중심으로 추출된 이미지일 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 검출된 세포 영역을 기초로 세포 정보를 획득할 수 있고, 세포 마스크 데이터를 이용하여 세포 정보를 획득할 수도 있다. 상술한 세포 정보는 세포의 형태학적 정보를 포함한다. 예를 들어 세포 정보는 세포의 직경, 세포의 면적 및 세포 중심 정보 중 적어도 하나를 포함할 수 있다. 이후, 심근 세포 모니터링 장치는 획득한 세포 정보 및 세포 영역을 기초로 세포의 운동 추적 지도를 생성할 수 있다. 일 실시예에서 세포의 운동 추적 지도는 시간의 흐름에 따라 심근 세포의 움직임 정보를 포함하는 데이터일 수 있다. 따라서, 본 발명의 몇몇 실시예에 따르면 상기 운동 추적 지도를 이용하여 세포의 방사상 운동의 정량화 데이터를 추출할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 운동 추적 지도에 방사 방향으로 방사상 벡터를 투영할 수 있고, 투영된 방사상 벡터를 기초로 세포의 움직임을 정량화할 수 있다. 일 예로 심근 세포 모니터링 장치는 심근 세포의 방사상 벡터를 이용하여 해당 심근 세포의 수축성 패턴(d)을 도출할 수 있다.
이하 도 2를 참조하여 심근 세포 모니터링 장치의 구성 및 동작에 대하여 상세히 설명한다.
일 실시예에서 심근 세포 모니터링 장치(100)는 메모리(110), 프로세서(120), 입출력 인터페이스(130) 및 통신 모듈(140)을 포함할 수 있다. 메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 심근 세포 모니터링 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 카메라 영상, 그리고 물체의 포즈 데이터가 일시적 또는 영구적으로 저장될 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 모듈(140)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 본 발명의 일 실시예에 따른 심근세포 모니터링 장치(100)의 프로세서(120)는 세포 이미지를 신경망에 입력하고, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하고, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하고, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하고, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하고, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하고, 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득할 수 있다.
통신 모듈(140)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 심근 세포 모니터링 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(140)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈을 통해 심근 세포 모니터링 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(140)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 컨텐츠나 파일 등은 심근 세포 모니터링 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
또한, 통신 모듈(140)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.
또한, 입출력 인터페이스(130)는 사용자의 입력을 수신하고, 출력 데이터를 디스플레이 할 수 있다. 일 실시예에 따른 입출력 인터페이스(130)는 사용자로부터 가상 블록의 크기에 대한 정보를 입력 받을 수 있고, 디스플레이에 가상 블록을 오버레이(overlay) 하여 표시할 수 있다.
또한, 다른 실시예들에서 심근 세포 모니터링 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 심근 세포 모니터링 장치(100)는 심근 세포 모니터링 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 순서도이다.
단계 S110에서 심근 세포 모니터링 장치는 세포 이미지를 신경망에 입력할 수 있다. 세포 이미지는 세포를 촬영한 이미지로 다양한 포맷일 수 있으며, 일 실시예에서 심근 세포 모니터링 장치는 세포의 현미경 이미지를 획득할 수 있다. 또한, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 시간의 흐름에 따른 세포의 운동을 정량화 하여 측정할 수 있으므로 시간의 흐름에 따른 복수의 연속적인 세포 이미지를 획득할 수도 있다.
또한, 본 발명의 몇몇 실시예에 따른 신경망은 CNN 구조의 신경망으로 세포 영역이 표시된 복수의 세포 이미지를 이용하여 기 학습된 신경망일 수 있다. 다만 이는 신경망 구조의 일 예시일 뿐, 본 발명의 몇몇 실시예에 따른 신경망의 구조나 형태가 이에 한정되는 것은 아님에 유의한다.
단계 S120에서 심근 세포 모니터링 장치는 신경망을 이용하여 세포 이미지와 대응되는 세포 마스크 데이터를 획득할 수 있다. 일 실시예에서 세포 마스크 데이터는 세포 이미지에 포함된 세포를 추출한 이미지일 수 있다. 또한 일 실시예에서 심근 세포 모니터링 장치는 세포 마스크에 포함된 노이즈(예를 들어, small island)를 제거할 수 있다. 일 실시예에서 단계 S110 에서 복수의 세포 이미지가 획득된 경우, 심근 세포 모니터링 장치는 상기 복수의 세포 이미지 각각에 대응되는 복수의 세포 마스크 데이터를 획득할 수 있다.
이후, 단계 S130에서 심근 세포 모니터링 장치는 세포 마스크 데이터를 이용하여 세포 영역을 검출할 수 있다. 일 실시예에서 세포 영역은 심근 세포의 ROI 영역일 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 세포 마스크 데이터와 세포 이미지를 중첩하여 세포 영역을 지정할 수 있다. 일 실시예에서 단계 S120에서 복수의 세포 마스크 데이터를 획득한 경우, 심근 세포 모니터링 장치는 복수의 세포 이미지와 상기 복수의 세포 이미지 각각에 대응되는 세포 마스크 데이터를 중첩하여 복수의 세포 영역을 획득할 수 있다.
단계 S140에서 심근 세포 모니터링 장치는 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득할 수 있다. 본 발명의 몇몇 실시예에 따른 세포 정보는 세포의 형태학적 정보일 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 단계 S130에서 획득한 세포 영역 정보를 기초로 세포 정보를 획득할 수도 있고, 다른 실시예에서 심근 세포 모니터링 장치는 단계 S120에서 획득한 세포 마스크 데이터를 이용하여 세포 정보를 획득할 수도 있다. 일 실시예에서 세포의 직경, 세포 면적은 상술한 세포 영역 또는 세포 마스크 데이터를 이용하여 추정할 수 있다. 일 실시예에서 세포의 중심 정보는 상술한 세포 영역 또는 세포 마스크 데이터를 기초로 연산한 세포의 무게 중심과 대응될 수 있다. 다만, 본 발명의 몇몇 실시에에 따른 세포 정보에 포함된 세포 중심 정보는 세포 영역의 중심점일 수도 있으며, 외부 서버 또는 사용자 입력을 통해 지정될 수도 있다.
단계 S150에서 심근 세포 모니터링 장치는 세포 정보 및 상기 검출된 세포 영역을 이용하여 운동 추적 지도를 생성할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 세포 영역에서 발생한 움직임을 추적한 운동 추적 지도를 생성할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 입자 영상 유속계 (Particle Image Velocimetry, PIV)를 이용하여 유동 가시화(flow visualization)를 통해 운동 추적 지도를 생성할 수 있다. 일 실시예에서 시간의 흐름에 따른 복수의 세포 영역과 관련된 데이터가 획득된 경우, 심근 세포 모니터링 장치는 상술한 복수의 세포 영역과 관련된 데이터를 기초로 시간의 흐름에 따른 세포의 운동과 관련된 운동 추적 지도를 생성할 수 있다.
단계 S160에서 심근 세포 모니터링 장치는 운동 추적 지도에 방사상 벡터를 투영할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 단계 S140에서 획득한 세포 중심 정보를 기준으로 속도 벡터를 방사 방향으로 투영(projection)할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 세포 영역을 지정된 간격의 섹터로 나눈 후, 각 섹터에서의 속도 벡터를 획득할 수 있다. 이후, 각각의 속도 벡터를 방사형 기준 벡터에 투영시킬 수 있다. 그리고 각각의 섹터에 대응되는 방사 속도 벡터를 획득할 수 있다.
단계 S170에서 심근 세포 모니터링 장치는 방사상 벡터를 기초로 상기 세포의 수축성 패턴을 획득할 수 있다. 본 실시예에서 심근 세포 모니터링 장치는 투영된 벡터의 합을 이용하여 심근 세포의 수축성 패턴을 획득할 수 있다. 이후, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 획득한 심근 세포의 수축성 패턴을 기초로 심근 세포의 운동을 정량화 할 수 있고, 이를 통해 다양한 상황에서의 심근 세포의 운동의 특징을 추출할 수 있다.
도 4는 본 발명의 일 실시예에 따라 세포 마스크 데이터를 획득하는 방법을 설명하기 위한 도면이다.
세포 이미지(a)는 세포를 촬영한 이미지로 다양한 포맷일 수 있으며, 일 실시예에서 심근 세포 모니터링 장치는 세포의 현미경 이미지를 획득할 수 있다. 예를 들어 상기 세포 이미지(a)는 심근 세포의 박동을 촬영한 동영상으로부터 획득한 프레임 이미지일 수 있다. 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 시간의 흐름에 따른 세포의 운동을 정량화 하여 측정할 수 있으므로 시간의 흐름에 따른 복수의 연속적인 세포 이미지를 획득할 수도 있다.
본 발명의 몇몇 실시예에 따라 세포 이미지(a)를 이용하여 세포 마스크 데이터(c)를 추출하는 신경망은 CNN 기반의 시맨틱 세그멘테이션 알고리즘을 포함할 수 있다. 보다 상세한 설명은 이하 도 5를 참조하여 설명한다.
본 발명의 일 실시예에 따른 심근 세포 모니터링 장치는 세포 마스크 데이터(c) 및/또는 세포 영역과 관련된 정보를 이용하여 세포 정보(d)를 획득할 수 있다. 본 실시예에서 세포 정보는 세포의 형태학적 정보를 포함할 수 있으며, 본 발명의 몇몇 실시예에 따른 세포 정보는 세포의 직경, 세포의 면적 및 세포의 무게 중심 중 적어도 하나를 포함할 수 있다. 보다 상세한 설명은 도 6을 참조하여 후술한다.
도 5는 본 발명의 일 실시예에 따른 신경망 학습 방법을 설명하기 위한 도면이다. 본 실시예에 따른 신경망은 CNN(Convolutional Neural Network) 기반의 시맨틱 세그멘테이션(Semantic Segmentation) 알고리즘을 이용할 수 있다. 따라서 상술한 신경망은 다운-샘플링(down-sampling)을 수행하는 적어도 하나의 컨벌루션 레이어(convolution layer) 및 업-샘플링(up-sampling)을 수행하는 적어도 하나의 디 컨벌루션 레이어(Deconvolution Layer)를 포함할 수 있다.
또한, 본 발명의 몇몇 실시예에 따라 세포 마스크 데이터를 추출하는 신경망(c)은 복수의 세포 이미지(a) 및 복수의 세포 마스크 데이터(b)를 이용하여 지도 학습(supervised training)이 수행된 신경망일 수 있다.
도 6은 본 발명의 일 실시예에 따라 세포 마스크 데이터를 이용하여 세포 정보를 획득하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따라 신경망을 이용하여 획득된 세포 마스크 데이터(a)는 다양한 노이즈를 포함할 수 있다. 따라서 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 세포를 명확히 검출하기 위해 세포 마스크 데이터에 포함된 노이즈 제거를 수행할 수 있다. 예를 들어 심근 세포 모니터링 장치는 경계에 대한 smoothing 및/또는 small island 제거를 수행할 수 있다. 이후 심근 세포 모니터링 장치는 노이즈 제거가 수행된 세포 마스크 데이터(b)를 이용하여 세포 정보(c)를 획득 할 수 있다. 본 발명의 몇몇 실시예에 따른 세포 정보는 세포의 형태학적 정보일 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 세포 마스크 데이터를 이용하여 세포 정보를 획득할 수 있다. 일 실시예에서 세포의 직경, 세포 면적은 상술한 세포 마스크 데이터를 이용하여 추정될 수 있다. 일 실시예에서 세포의 중심 정보는 상술한 세포 영역 또는 세포 마스크 데이터를 기초로 획득한 세포의 무게 중심과 대응될 수 있다. 다만, 본 발명의 몇몇 실시에에 따른 세포 정보에 포함된 세포 중심 정보는 세포 영역의 중심점일 수도 있으며, 외부 서버 또는 사용자 입력을 통해 지정될 수도 있다.
도 7은 본 발명의 일 실시예에 따라 세포의 운동을 측정하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 심근 세포 모니터링 장치는 세포 정보(a)에 포함된 세포 중심 정보 및 운동 추적 지도(b)를 이용하여 세포의 운동을 정량화 하여 측정할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 세포 영역에서 발생한 움직임을 추적한 운동 추적 지도를 생성할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 입자 영상 유속계(PIV)를 이용하여 유동 가시화를 통해 운동 추적 지도를 생성할 수 있다. 일 실시예에서 시간의 흐름에 따른 복수의 세포 영역과 관련된 데이터가 획득된 경우, 심근 세포 모니터링 장치는 상술한 복수의 세포 영역과 관련된 데이터를 기초로 시간의 흐름에 따른 세포의 운동과 관련된 운동 추적 지도를 생성할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동추적지도를 생성할 수 있다. 또한 다른 실시예에서 심근 세포 모니터링 장치는 세포 영역 중 심근 세포 ROI 영역에 대응되는 타겟 영역을 더 지정할 수 있고, 해당 타겟 영역에 대한 심근 세포의 운동 추적 지도를 생성할 수 있다.
한편, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 세포 이미지와 세포 마스크 데이터를 이용하여 획득한 세포 영역(c)을 기초로 심근 세포의 수축성 패턴(d)을 획득할 수 있다. 이에 대한 보다 상세한 설명은 이하 도 9에서 후술한다.
도 8은 본 발명의 일 실시예에 따라 세포 영역을 검출하는 방법을 설명하기 위한 도면이다.
본 발명의 몇몇 실시예에 따른 세포 영역은 세포 이미지에 포함된 심근 세포의 관심 영역(ROI)을 포함할 수 있다. 본 실시예에 따른 심근 세포 모니터링 장치는 세포 이미지(a) 및 신경망을 통해 획득한 세포 마스크 데이터(b)를 중첩하여 세포 영역(d)이 표시된 세포 이미지(c)를 획득할 수 있다. 이 경우, 일 실시예에서 심근 세포 모니터링 장치는 하나의 세포 이미지에 복수개의 심근 세포(또는 세포 군집)이 검출된 경우, 상술한 복수개의 심근 세포를 동시에 검출하고, 복수개의 심근 세포 영역을 세포 이미지에 표시할 수 있다. 이 경우, 각각의 세포를 구별하기 위해 세포 이미지에 각각의 세포 영역을 상이한 그래픽을 이용하여 표시할 수 있다.
도 9는 본 발명의 일 실시예에 따라 세포의 운동을 추적하고 심근 세포의 수축성 패턴을 획득하는 방법을 설명하기 위한 도면이다.
일 실시예에서 심근 세포 모니터링 장치는 세포 중심 정보를 기준으로 속도 벡터를 방사 방향으로 투영(projection)할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 세포 영역(a)을 지정된 간격의 섹터(b)로 나눈 후, 각 섹터에서의 속도 벡터를 획득할 수 있다. 이후, 각각의 속도 벡터를 방사형 기준 벡터에 투영시킬 수 있다. 그리고 각각의 섹터에 대응되는 방사 속도 벡터를 획득할 수 있다. 예를 들어 심근 세포 모니터링 장치가 세포 영역을 세포 중심 정보를 기준으로 8개의 섹터로 나눈 경우, 각각의 섹터에 대응되는 방사상 벡터가 8개 획득될 수 있다.
심근 세포 모니터링 장치는 방사상 벡터를 기초로 상기 세포의 수축성 패턴(c)을 획득할 수 있다. 본 실시예에서 심근 세포 모니터링 장치는 투영된 벡터의 합을 이용하여 심근 세포의 수축성 패턴을 획득할 수 있다. 이후, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 획득한 심근 세포의 수축성 패턴을 기초로 심근 세포의 운동을 정량화 할 수 있고, 이를 통해 다양한 상황에서의 심근 세포의 운동의 특징을 추출할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (15)
- 세포 이미지를 신경망에 입력하는 단계;
상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하는 단계;
상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하는 단계;
상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하는 단계;
상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하는 단계;
상기 생성된 운동 추적 지도에 방사상 벡터를 투영하는 단계; 및
상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하는 단계;
를 포함하는 심근 세포 모니터링 방법.
- 제1 항에 있어서,
상기 신경망은,
적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망인,
심근 세포 모니터링 방법.
- 제1 항에 있어서,
상기 세포 영역을 검출하는 단계는,
상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하는 단계를 포함하고,
상기 세포 영역은,
세포를 포함하는 ROI(Region Of Interest) 영역인,
심근 세포 모니터링 방법.
- 제1 항에 있어서,
상기 세포 중심 정보는,
상기 세포의 무게 중심을 기초로 정해진,
심근 세포 모니터링 방법.
- 제1 항에 있어서,
상기 세포의 운동 추적 지도를 생성하는 단계는,
복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성하는 단계를 포함하는,
심근 세포 모니터링 방법.
- 제1 항에 있어서,
상기 세포의 운동 추적 지도를 생성하는 단계는,
상기 세포 영역에 포함된 타겟 영역을 지정하는 단계; 및
상기 타겟 영역에 대한 운동 추적 지도만 생성하는 단계를 포함하는,
심근 세포 모니터링 방법.
- 제1 항에 있어서,
상기 운동 추적 지도에 방사상 벡터를 투영하는 단계는,
상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영하는 단계를 포함하는,
심근 세포 모니터링 방법.
- 프로세서; 를 포함하고,
상기 프로세서는, 세포 이미지를 신경망에 입력하고, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하고, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하고, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하고, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하고, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하고, 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하는,
심근 세포 모니터링 장치.
- 제8 항에 있어서,
상기 신경망은,
적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망인,
심근 세포 모니터링 장치.
- 제8 항에 있어서,
상기 프로세서는,
상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하고,
상기 세포 영역은,
세포를 포함하는 ROI(Region Of Interest) 영역인,
심근 세포 모니터링 장치.
- 제8 항에 있어서,
상기 세포 중심 정보는,
상기 세포의 무게 중심을 기초로 정해진,
심근 세포 모니터링 장치.
- 제8 항에 있어서,
상기 프로세서는,
복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성하는,
심근 세포 모니터링 장치.
- 제8 항에 있어서,
상기 프로세서는,
상기 세포 영역에 포함된 타겟 영역을 지정하고, 상기 타겟 영역에 대한 운동 추적 지도만 생성하는,
심근 세포 모니터링 장치.
- 제8 항에 있어서,
상기 프로세서는,
상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영하는,
심근 세포 모니터링 장치.
- 컴퓨터를 이용하여 제1항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200026121A KR102499070B1 (ko) | 2020-03-02 | 2020-03-02 | 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 |
| PCT/KR2021/000028 WO2021177584A1 (ko) | 2020-03-02 | 2021-01-04 | 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200026121A KR102499070B1 (ko) | 2020-03-02 | 2020-03-02 | 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210111068A true KR20210111068A (ko) | 2021-09-10 |
| KR102499070B1 KR102499070B1 (ko) | 2023-02-13 |
Family
ID=77612751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200026121A KR102499070B1 (ko) | 2020-03-02 | 2020-03-02 | 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102499070B1 (ko) |
| WO (1) | WO2021177584A1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040050445A (ko) * | 2002-12-10 | 2004-06-16 | 한국전자통신연구원 | 세포 영상 분석 시스템에서의 세포 영상 분할 방법 |
| KR20150113043A (ko) | 2013-01-21 | 2015-10-07 | 크로노스 테라퓨틱스 리미티드 | 세포 노화를 평가하는 방법 |
| JP2019024495A (ja) * | 2017-07-31 | 2019-02-21 | 静岡県公立大学法人 | 心筋細胞型判定システム、心筋細胞型判定方法 |
| KR20190091298A (ko) * | 2016-12-01 | 2019-08-05 | 버클리 라잇츠, 인크. | 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140062374A (ko) * | 2012-11-14 | 2014-05-23 | 삼성전자주식회사 | 움직임 정보를 추정하는 방법 및 이를 이용하여 영상을 생성하는 장치 |
| US20170091948A1 (en) * | 2015-09-30 | 2017-03-30 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for automated analysis of cell images |
-
2020
- 2020-03-02 KR KR1020200026121A patent/KR102499070B1/ko active IP Right Grant
-
2021
- 2021-01-04 WO PCT/KR2021/000028 patent/WO2021177584A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040050445A (ko) * | 2002-12-10 | 2004-06-16 | 한국전자통신연구원 | 세포 영상 분석 시스템에서의 세포 영상 분할 방법 |
| KR20150113043A (ko) | 2013-01-21 | 2015-10-07 | 크로노스 테라퓨틱스 리미티드 | 세포 노화를 평가하는 방법 |
| KR20190091298A (ko) * | 2016-12-01 | 2019-08-05 | 버클리 라잇츠, 인크. | 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 |
| JP2019024495A (ja) * | 2017-07-31 | 2019-02-21 | 静岡県公立大学法人 | 心筋細胞型判定システム、心筋細胞型判定方法 |
Non-Patent Citations (2)
| Title |
|---|
| EZAT AHMADZADEH 외, Biomedical Optics Express 2020.03.01., Vol.11, No.3, pp.1501-1516. * |
| Junmin Lee 외, ACS Nano, 2019.11.26., Vol.13, No.11, pp.12525-12539. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021177584A1 (ko) | 2021-09-10 |
| KR102499070B1 (ko) | 2023-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10740652B2 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
| CN105628951B (zh) | 用于测量对象的速度的方法和装置 | |
| JP6065427B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
| KR101969623B1 (ko) | 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식 | |
| KR102328198B1 (ko) | 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치 | |
| KR102198920B1 (ko) | 온라인 학습을 이용한 객체 트래킹을 위한 방법 및 시스템 | |
| CN110827320B (zh) | 基于时序预测的目标跟踪方法和装置 | |
| KR20210046217A (ko) | 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 | |
| EP3376468A1 (en) | Object detection device and object detection method | |
| KR102186875B1 (ko) | 움직임 추적 시스템 및 방법 | |
| KR101470367B1 (ko) | 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법 | |
| Zhang et al. | Tracking-assisted weakly supervised online visual object segmentation in unconstrained videos | |
| KR102499070B1 (ko) | 인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치 | |
| KR101834084B1 (ko) | 다중 객체 추적 방법 및 장치 | |
| JP2009171369A (ja) | 画像データ処理装置及びプログラム | |
| Gong et al. | Visual object tracking | |
| KR102368031B1 (ko) | 인공신경망을 이용한 슬라브 길이 인식 방법 및 그 장치 | |
| Draganov et al. | Object motion detection in video by fusion of RPCA and nmf decompositions | |
| KR102637343B1 (ko) | 오브젝트 추적 방법 및 장치 | |
| KR102671699B1 (ko) | 신장암의 진단에 필요한 정보를 제공하는 방법 및 장치 | |
| KR102247057B1 (ko) | 인공신경망을 이용한 슬라브 길이 연산 방법 및 그 장치 | |
| KR20190070235A (ko) | 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 | |
| EP4181065A2 (en) | Method and device with sensing data processing | |
| US20240177342A1 (en) | Information processing device, information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |