KR102578264B1 - 호흡기도 섬모세포 운동성 측정 방법 및 장치 - Google Patents

호흡기도 섬모세포 운동성 측정 방법 및 장치 Download PDF

Info

Publication number
KR102578264B1
KR102578264B1 KR1020210105944A KR20210105944A KR102578264B1 KR 102578264 B1 KR102578264 B1 KR 102578264B1 KR 1020210105944 A KR1020210105944 A KR 1020210105944A KR 20210105944 A KR20210105944 A KR 20210105944A KR 102578264 B1 KR102578264 B1 KR 102578264B1
Authority
KR
South Korea
Prior art keywords
interest
vibration frequency
region
ciliary
frames
Prior art date
Application number
KR1020210105944A
Other languages
English (en)
Other versions
KR20230024465A (ko
Inventor
김준기
최우준
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단, 중앙대학교 산학협력단 filed Critical 재단법인 아산사회복지재단
Priority to KR1020210105944A priority Critical patent/KR102578264B1/ko
Priority to US17/811,769 priority patent/US20230052716A1/en
Publication of KR20230024465A publication Critical patent/KR20230024465A/ko
Application granted granted Critical
Publication of KR102578264B1 publication Critical patent/KR102578264B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Otolaryngology (AREA)
  • Chemical & Material Sciences (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

호흡기도 섬모세포 운동성 측정 방법 및 장치를 제공한다. 상기 방법은, 호흡기도 오가노이드의 복수의 프레임을 포함하는 영상 데이터를 획득하는 단계, 상기 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 위치를 파악하는 단계, 상기 섬모세포의 위치와 관련한 관심영역(ROI, region of interest)이 선택될 경우, 복수의 프레임 간 상호 상관성(cross-correlation)을 이용하여 상기 선택된 관심영역에 포함된 섬모의 운동성과 관련한 섬모진동주파수(CBF, ciliary beat frequency)를 측정하는 단계 및 상기 측정된 섬모진동주파수의 크기에 기초하여 상기 관심영역에 포함된 섬모를 기 설정된 표시 방식으로 표현하는 단계를 포함한다.

Description

호흡기도 섬모세포 운동성 측정 방법 및 장치{METHOD AND APPARATUS FOR MEASURING MOTILITY OF CILIATED CELLS IN RESPIRATORY TRACT}
본 발명은 호흡기도 섬모세포 운동성 측정 방법 및 장치에 관한 것이다.
기도 상피(airway epithelium)의 주요 기능 중 하나는 흡기시 들어온 이물질(먼지, 세균, 공해 물질)을 점액섬모운동을 통해 기도 밖으로 배출하는 청소기능 (mucociliary clearance)이다. 이는 호흡기의 중요한 일차 방어기전이다.
만약 선천적 또는 후천적으로 이러한 섬모운동에 장애가 생기면 이물질 이송 효율이 저하되기 때문에 염증성 호흡기 질환 등의 원인이 될 수 있다. 따라서 기도 건강 및 폐 기능 상태를 빠르게 파악하기 위해서는 섬모상피세포의 활동성을 선별적으로 평가하는 것이 중요하다.
일반적인 섬모의 움직임이 진자운동과 유사하기 때문에 초당 진동 횟수인 섬모진동주파수(CBF, ciliary beat frequency)를 측정함으로써 섬모의 활동성을 평가할 수 있다.
현재까지 가장 광범위하게 사용되고 있는 CBF 측정 방법은 고속 디지털 카메라 영상 분석법으로, 운동하는 섬모의 영상을 기록한 뒤 비디오 영상의 픽셀 별 신호 세기 프로파일에 고속 푸리에 변환(FFT, fast Fourier transform)을 적용하여 시변 신호의 주파수 분포를 구한 후, 크기가 제일 큰 주파수를 섬모 움직임에 의한 CBF로 평가한다.
그러나 호흡기도의 경우 하나의 섬모 상피내에 섬모세포가 높은 밀도로 모여 있고 이웃 섬모세포들과 운동 경로가 서로 중첩될 수 있어 싱글 픽셀 기반 FFT를 사용할 경우 여러 개의 고차 주파수가 생성될 수 있기 때문에 주파수 분석이 모호해져서 실제 CBF를 결정하기가 어렵다는 문제가 있다.
또한 호흡기도 섬모는 길이가 5~7μm인 얇은 머리카락 형태로 상피점막 위에 수직으로 배열되어 있어 섬모세포에 의한 산란광 신호 세기가 주변 상피조직보다 상대적으로 미약하다. 따라서 일반 반사형 혹은 투과형 현미경 카메라 이미지에서 섬모의 모습이나 위치를 육안으로 파악하기가 매우 어렵기 때문에 타겟 섬모세포의 CBF 측정 시, 사용자의 주관적인 판단에 의해 관심영역 (ROI, region of interest)이 설정될 수 있어 CBF 측정에 상당한 오차가 발생할 수 있다.
공개특허공보 특1999-0039172호, 1999.06.05.
본 발명이 해결하고자 하는 과제는 호흡기도 섬모세포 운동성 측정 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 호흡기도 섬모세포 운동성 측정 방법은, 호흡기도 오가노이드의 복수의 프레임을 포함하는 영상 데이터를 획득하는 단계, 상기 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 위치를 파악하는 단계, 상기 섬모세포의 위치와 관련한 관심영역(ROI, region of interest)이 선택될 경우, 복수의 프레임 간 상호 상관성(cross-correlation)을 이용하여 상기 선택된 관심영역에 포함된 섬모의 운동성과 관련한 섬모진동주파수(CBF, ciliary beat frequency)를 측정하는 단계 및 상기 측정된 섬모진동주파수의 크기에 기초하여 상기 관심영역에 포함된 섬모를 기 설정된 표시 방식으로 표현하는 단계를 포함하고, 상기 섬모진동주파수 측정 단계는, 상기 복수의 프레임 중 기준 프레임과 나머지 프레임 간의 이미지 유사성을 상관계수(correlation coefficient)로 수치화하여 상기 섬모진동주파수를 측정하는 것이다.
본 발명에서, 상기 위치 파악 단계는, 상기 영상 데이터에 포함된 데이터 성분 중에서 섬모세포의 움직임에 따른 동적(dynamic) 신호 성분을 추출하여, 상기 섬모세포의 위치를 파악하는 것일 수 있다.
본 발명에서, 상기 관심영역의 개수가 복수인 경우, 상기 섬모진동주파수 측정 단계는, 상기 복수의 관심영역 각각에 대해 섬모진동주파수를 측정하고, 상기 기 설정된 표시 방식으로 표현 단계는, 상기 복수의 관심영역 각각에 대해 측정된 각각의 섬모진동주파수의 크기에 해당하는 색상으로 각각 표현할 수 있다.
본 발명에서, 상기 상관계수는, 기 설정된 주기로 진동하는 파형의 형태를 가질 수 있다.
본 발명에서, 상기 섬모진동주파수 측정 단계는, 상기 파형의 피크(peak)의 개수를 상기 섬모진동주파수로 산출하는 것일 수 있다.
본 발명에서, 현미경의 초점이 깊이 방향으로 이동된 경우에도 상기 섬모진동주파수 측정 단계에서 측정되는 섬모진동주파수는 동일할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 호흡기도 섬모세포 운동성 측정 장치는, 통신부, 호흡기도 섬모세포 운동성 측정을 위한 적어도 하나의 프로세스를 저장하고 있는 메모리 및 상기 프로세스에 따라 동작하는 프로세서를 포함하고, 상기 프로세서는, 상기 프로세스를 기반으로, 호흡기도 오가노이드의 복수의 프레임을 포함하는 영상 데이터를 획득하고, 상기 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 위치를 파악하고, 상기 섬모세포의 위치와 관련한 관심영역(ROI, region of interest)이 선택될 경우, 복수의 프레임 간 상호 상관성(cross-correlation)을 이용하여 상기 선택된 관심영역에 포함된 섬모의 운동성과 관련한 섬모진동주파수(CBF, ciliary beat frequency)를 측정하고, 상기 측정된 섬모진동주파수의 크기에 기초하여 상기 관심영역에 포함된 섬모를 기 설정된 표시 방식으로 표현하며, 상기 프로세서는, 상기 섬모진동주파수 측정 시에, 상기 복수의 프레임 중 기준 프레임과 나머지 프레임 간의 이미지 유사성을 상관계수(correlation coefficient)로 수치화하여 상기 섬모진동주파수를 측정하는 것일 수 있다.
본 발명에서, 상기 프로세서는, 상기 섬모세포의 위치 파악 시에, 상기 영상 데이터에 포함된 데이터 성분 중에서 섬모세포의 움직임에 따른 동적(dynamic) 신호 성분을 추출하여, 상기 섬모세포의 위치를 파악하는 것일 수 있다.
본 발명에서, 상기 관심영역의 개수가 복수인 경우, 상기 프로세서는, 상기 섬모진동주파수 측정 시에, 상기 복수의 관심영역 각각에 대해 섬모진동주파수를 측정하고, 상기 기 설정된 표시 방식으로 표현 시에, 상기 복수의 관심영역 각각에 대해 측정된 각각의 섬모진동주파수의 크기에 해당하는 색상으로 각각 표현할 수 있다.
본 발명에서, 상기 상관계수는, 일정 주기로 진동하는 파형의 형태를 가질 수 있다.
본 발명에서, 상기 프로세서는, 상기 섬모진동주파수 측정 시에, 상기 파형의 피크(peak)의 개수를 상기 섬모진동주파수로 산출하는 것일 수 있다.
본 발명에서, 상기 프로세서는, 현미경의 초점이 깊이 방향으로 이동된 경우에도 상기 섬모진동주파수 측정 시에 동일한 섬모진동주파수를 측정할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 발명에 따르면, 모션 콘트라스트 이미징과 이미지 상관법을 이용함으로써 기존 방법의 기술적인 이슈를 완전히 해결할 수 있는 새로운 방식의 고속 자동화 CBF 측정 기술을 제공한다.
구체적으로, 모션 콘트라스트 이미징을 통해 현미경 이미지 내 개별 섬모상피의 섬모세포들의 위치를 정확히 파악할 수 있다. 따라서 사용자에게 정확한 ROI설정을 위한 가이드 맵을 제공해줄 수 있다.
또한, 이미지 상관법 기반의 CBF 분석을 통해 외부 잡음과 초점에 영향을 받지 않고 개별 섬모상피의 섬모세포의 CBF를 매우 정확히 평가할 수 있다.
또한, 일반 생체 현미경 및 의료용 현미경, 고분해능 현미경과 쉽게 연동이 가능하며 데이터 수집 즉시 현장에서 실시간으로 CBF 측정이 가능하고 조작이 쉽고 이미징 영역 전체에 대한 CBF 맵핑이 가능하기 때문에 동물 실험 및 임상 연구, 수술 중, 수술 후 사용이 가능하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 호흡기도 섬모세포 운동성 측정 장치의 개략적인 블록도이다.
도 2는 본 발명에 따른 호흡기도 섬모세포 운동성 측정 방법의 순서도이다.
도 3은 본 발명에 따른 호흡기도 섬모세포 운동성 측정을 위한 전체적인 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 관심영역이 복수개인 경우를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 현미경 내의 오가노이드가 복수개 관찰되는 경우를 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명에 따른 현미경의 초점 이동이 발생한 경우의 섬모진동주파수 측정을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
본 명세서에서 '장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 장치는 유선 및 무선통신이 가능한 컴퓨터 및 이동 단말기 형태가 될 수 있다. 상기 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버 형태가 될 수 있다. 또한, 컴퓨터에는 시퀀싱을 수행하는 시퀀싱 장치가 해당될 수 있다. 상기 이동 단말기는 휴대폰, 스마트 폰(smart phone), PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 노트북 PC, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
도 1은 본 발명에 따른 호흡기도 섬모세포 운동성 측정 장치의 개략적인 블록도이다.
도 2는 본 발명에 따른 호흡기도 섬모세포 운동성 측정 방법의 순서도이다.
도 3 은 본 발명에 따른 호흡기도 섬모세포 운동성 측정을 위한 전체적인 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 관심영역이 복수개인 경우를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 현미경 내의 오가노이드가 복수개 관찰되는 경우를 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명에 따른 현미경의 초점 이동이 발생한 경우의 섬모진동주파수 측정을 설명하기 위한 도면이다.
이하에서 도 1을 참조하여, 본 발명에 따른 호흡기도 섬모세포 운동성 측정 장치(10)(이하, 장치)에 대해서 설명하도록 한다.
본 발명에 따른 장치(10)는 외부 장치(미도시)로부터 호흡기도 오가노이드의 영상 데이터를 획득하고, 이를 분석하여 호흡기도의 섬모세포 운동성을 측정할 수 있다.
여기서, 영상 데이터는 복수의 프레임을 포함할 수 있다. 예를 들어, 영상 데이터는 300개의 프레임을 포함할 수 있다. 이때, 영상 데이터의 초당 프레임 수가 300fps(frames per second)인 경우, 영상 데이터는 1초 길이의 데이터일 수 있다.
여기서, 외부 장치(미도시)는 현미경일 수 있다. 즉, 사용자는 현미경을 통해 호흡기도의 오가노이드를 일정 시간 동안 관찰하면, 일정 시간(예를 들어 1초) 동안 관찰된 오가노이드의 영상 데이터가 장치(10)로 제공될 수 있다.
장치(10)는 획득된 일정 시간 동안(예를 들어, 1초)의 영상 데이터를 초당 프레임 수(예를 들어, 300fps)에 기초한 개수(예를 들어, 300개)의 프레임으로 이미지 캡쳐링할 수 있다.
장치(10)는 복수의 프레임을 포함하는 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 정확한 위치를 파악하고, 해당 위치가 파악된 데이터를 사용자에게 제공하여 사용자가 보다 객관적으로 관심영역(ROI, region of interst)을 설정할 수 있도록 한다.
장치(10)는 사용자로부터 관심영역을 선택받으면, 프레임의 전체 영역 중에서 선택된 관심영역에 대해서만, 프레임 간 상호 상관성(cross-correlation)을 이용하여 관심영역에 포함된 섬모의 섬모진동주파수(CBF, ciliary beat frequency)를 측정할 수 있다.
장치(10)는 측정된 섬모진동주파수에 따라 관심영역 내의 섬모를 기 설정된 표시 방식으로 표현하여 사용자에게 제공할 수 있다.
이러한 장치(10)는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
여기서, 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 상기 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 스마트 글래스 (smart glass)나 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, 증강현실 및 가상현실 구현 장치가 컴퓨터가 될 수 있다.
그리고, 장치(10)는 통신부(12), 메모리(14) 및 프로세서(16)를 포함할 수 있다. 프로세서(16)는 모션 콘트라스트 이미징 수행부(162), 섬모진동주파수 측정부(164) 및 영상 처리부(166)를 포함할 수 있다. 여기서, 장치(10)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수 있다.
통신부(12)는 장치(10)와 외부장치(미도시) 사이, 장치(10)와 외부서버(미도시) 사이 또는 장치(10)와 통신망(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
여기서, 통신망(미도시)은 장치(10), 외부장치(미도시) 및 외부서버(미도시) 간의 다양한 정보를 송수신할 수 있다. 통신망(미도시)은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.
한편, 통신망(미도시)은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
통신부(12)는 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
메모리(14)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(14)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 적어도 하나의 프로세스, 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(14)에 저장되고, 장치(10) 상에 설치되어, 프로세서(16)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
프로세서(16)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(16)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(14)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(16)는 메모리(14)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(16)는 상기 응용 프로그램의 구동을 위하여, 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
또한, 프로세서(16)에 포함된 모션 콘트라스트 이미징 수행부(162), 섬모진동주파수 측정부(164) 및 영상 처리부(166)는 상술한 바와 같이 각각의 기능을 수행할 수 있다. 모션 콘트라스트 이미징 수행부(162)는 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행할 수 있다. 섬모진동주파수 측정부(164)는 상호 상관성(cross-correlation)을 이용하여 관심영역에 포함된 섬모의 섬모진동주파수(CBF, ciliary beat frequency)를 측정할 수 있다. 영상 처리부(166)는 측정된 섬모진동주파수의 크기에 따라 영상 데이터 내의 섬모를 다양한 방식으로 표현할 수 있다. 각 구성요소에 대한 구체적인 설명은 상술한 바와 중복되므로 생략하도록 한다.
이하에서는 도 2 내지 도 6a 및 도 6b를 참조하여, 프로세서(16)가 호흡기도 섬모세포의 운동성을 측정하는 방법을 설명하도록 한다. 여기서, 프로세서(16)의 동작은 장치(10)에서 수행 가능할 수 있다.
도 2를 참조하면, 프로세서(16)는 호흡기도 오가노이드의 복수의 프레임을 포함하는 영상 데이터를 획득할 수 있다(S210).
상술한 바와 같이, 프로세서(16)는 외부장치(미도시)로부터 호흡기도 오가노이드의 영상 데이터를 획득하고, 이를 분석하여 호흡기도의 섬모세포 운동성을 측정할 수 있다.
여기서, 영상 데이터는 복수의 프레임을 포함할 수 있다. 예를 들어, 영상 데이터는 300개의 프레임을 포함할 수 있다. 이때, 영상 데이터의 초당 프레임 수가 300fps(frames per second)인 경우, 영상 데이터는 1초 길이의 데이터일 수 있다.
도 3을 참조하면, 프로세서(16)는 획득된 일정 시간 동안(예를 들어, 1초)의 영상 데이터를 초당 프레임 수(예를 들어, 300fps)에 기초한 개수(예를 들어, 300개)의 프레임으로 이미지 캡쳐링할 수 있다.
이미지 캡쳐링이 완료되면, 프로세서(16)는 복수의 프레임을 포함하는 영상 데이터에 대해 이미지 강화(image enhancement) 및 이미지 정합(image registration)을 통해 전처리를 수행할 수 있다. 이는 전처리를 수행을 통해 영상 기록 도중에 발생할 수 있는 모션 인공물을 최소화하고 분석에 사용될 데이터의 품질을 높임으로써 이후 데이터 분석의 정확도를 높이기 위함이다.
다시 도 2를 참조하면, 프로세서(16)는 상기 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 위치를 파악할 수 있다(S220).
구체적으로, 프로세서(16)는 획득된 영상 데이터에 포함된 데이터 성분 중에서 섬모세포의 움직임에 따른 동적(dynamic) 신호 성분을 추출하고, 추출된 동적 신호 성분에 기초하여 상기 섬모세포의 위치를 파악할 수 있다.
도 3을 참조하면, 시계열의 복수의 프레임을 이용하여 모션 콘트라스트 이미징을 수행하면, 영상 데이터의 전체 영역 중에서 특정 부분들에서 동적 신호 성분을 추출할 수 있고, 해당 특정 부분들을 특정 색상으로 구분하여 표시함으로써, 섬모세포의 위치를 파악할 수 있다. 여기서, 동적 신호의 세기에 따라 각각의 위치는 상이한 색상으로 표현될 수 있다. 모션 콘트라스트 생성 방법은 매우 다양하며, 예를 들어 프레임간 신호 차이의 절대값, 프레임간 신호들의 교차상관, 프레임간 신호들의 표준 편차, 프레임간 신호들의 분산, 프레임간 신호들의 고유값 분해를 이용한 방법들이 포함될 수 있다.
다시 도 2를 참조하면, 프로세서(16)는 사용자로부터 상기 섬모세포의 위치와 관련한 관심영역(ROI, region of interest)을 선택받을 수 있다(S230).
여기서, 관심영역은, 상기 사용자에 의해 크기 및 개수가 설정될 수 있다.
다음으로, 프로세서(16)는 상기 관심영역에 대해 복수의 프레임 간 상호 상관성(cross-correlation)을 이용하여 상기 관심영역에 포함된 섬모의 운동성과 관련한 섬모진동주파수(CBF, ciliary beat frequency)를 측정할 수 있다(S240).
구체적으로, 프로세서(16)는 복수의 프레임 중 기준 프레임과 나머지 프레임 간의 이미지 유사성을 상관계수(correlation coefficient)로 수치화하여 상기 섬모진동주파수를 측정할 수 있다. 이때, 이미지 유사성을 판단하는 대상은 관심영역에 해당하는 부분으로서, 프로세서(16)는 프레임 전체 영역 중에서 관심영역에 해당하는 부분만 추출하여, 프레임 간 이미지 유사성을 판단할 수 있다.
예를 들어, 프레임의 개수가 3개라면, 첫번째 프레임을 기준 프레임으로 하여 첫번째 프레임과 두번째 프레임 간의 이미지 유사성을 통해 상관계수를 산출하고, 첫번째 프레임과 세번째 프레임 간의 이미지 유사성을 통해 상관계수를 산출할 수 있다.
이렇게 기준 프레임과 나머지 프레임 간의 이미지 유사성을 수치화한 상관계수는, 만약 실리아 모션이 정상적일 경우, 도 3에 도시된 그래프와 같이 일정 주기로 진동하는 파형의 형태를 갖게 될 수 있다.
그리고, 프로세서(16)는 상기 파형의 피크(peak)(파형의 마루)의 개수를 상기 섬모진동주파수로 산출할 수 있다. 도 3에 도시된 그래프를 참조하면, 파형의 피크의 개수가 8개이므로 섬모진동주파수는 8Hz로 산출되게 된다.
이렇게 산출된 섬모진동주파수는 관심영역 내 섬모세포들의 움직임을 나타내며, 하나의 섬모상피의 섬모들은 비교적 일정한 주파수로 움직이기 때문에, 산출된 섬모진동주파수는 개별 섬모의 섬모진동주파수로 생각할 수 있다.
본 발명의 측정 방식은 픽셀 신호의 주파수 분석을 이용하는 기존 방식과 달리, 이미지 패턴의 유사성에 기반을 두기 때문에 주파수 분석 상 모호성이 발생되지 않는다. 또한, 영상 초점이 다소 흐려도 섬모진동주파수 결정에 크게 지장을 주지 않기 때문에 섬모세포 영상 기록 시 정밀하게 초점을 맞춰야만 하는 번거로움을 줄일 수 있다. 이에 관한 설명은 후술하도록 한다.
다시 도 2를 참조하면, 프로세서(16)는 상기 측정된 섬모진동주파수의 크기에 기초하여 상기 관심영역에 포함된 섬모를 기 설정된 표시 방식으로 표현할 수 있다(S250).
여기서 기 설정된 표시 방식은, 상기 관심영역에 포함된 섬모에 적용될 색상, 테두리 두께, 3D 깊이값 중 적어도 하나를 포함할 수 있다.
일 예로, 상기 색상과 관련된 표시 방식으로서, 상기 프로세서(16)는 측정된 섬모진동주파수의 크기에 해당하는 색상을 파악하고, 상기 섬모를 상기 파악된 색상으로 표현할 수 있다. 예를 들어, 상기 관심영역에 대해 측정된 섬모진동주파수가 8Hz이고, 8Hz에 해당하는 색상이 주황이라면, 상기 관심영역에 포함된 섬모는 주황색으로 맵핑되어 표현될 수 있다.
다른 예로, 상기 테두리 두께와 관련된 표시 방식으로서, 상기 프로세서(16)는 측정된 섬모진동주파수의 크기에 해당하는 테두리 두께를 파악하고, 상기 섬모의 테두리를 상기 파악된 테두리 두께로 표현할 수 있다.
또 다른 예로, 상기 3D 깊이값과 관련된 표시 방식으로서, 상기 영상 데이터는 상기 섬모의 3D 표시를 위한 좌안 및 우안 영상 데이터를 포함하고, 상기 프로세서(16)는 상기 좌안 및 우안 영상 데이터를 이용하여 상기 섬모를 3D 형태로 표시 가능하고, 상기 측정된 섬모진동주파수의 크기에 해당하는 3D 깊이값을 파악하고, 상기 섬모를 상기 파악된 3D 깊이값을 적용하여 3D 형태로 표현할 수 있다.
상기와 같이, 본 발명은 다양한 표시 방식으로 영상 데이터 내에서 섬모의 섬모진동주파수를 표현함에 따라, 사용자는 상기 표시 방식을 통해서 영상 데이터 내의 섬모의 섬모진동주파수의 크기를 육안으로 빠르게 파악할 수 있고, 이로 인해 섬모진동주파수의 크기와 연관된 호흡기 질병을 빠르게 예측할 수 있는 것이다.
이하에서는 도 4를 참조하여, 관심영역의 개수가 복수인 경우에 호흡기도 섬모세포의 운동성을 측정하는 방법을 설명하도록 한다.
프로세서(16)는 관심영역의 개수가 복수인 경우, 즉, 단계 S230에서 사용자로부터 복수의 관심영역을 선택받은 경우, 단계 S240에서 복수의 관심영역 각각에 대해 섬모진동주파수를 측정할 수 있다.
이때, 복수의 관심영역의 크기는 사용자의 설정에 따라 서로 다를 수 있다.
구체적으로, 단계 S230에서 프로세서(16)는 상기 복수의 관심영역 각각에 대해 섬모진동주파수를 측정할 수 있다.
예를 들어, 관심영역이 2개인 경우, 프로세서(16)는 프레임의 전체 영역 중에서 제1 관심영역에 해당하는 부분만 추출하여 프레임 간 유사성을 판단함으로써 제1 관심영역에 대한 섬모진동주파수를 측정하고, 프레임의 전체 영역 중에서 제2 관심영역에 해당하는 부분만 추출하여 프레임 간 유사성을 판단함으로써 제2 관심영역에 대한 섬모진동주파수를 측정할 수 있다.
그리고 단계 S240에서 프로세서(16)는 상기 복수의 관심영역 각각에 대해 측정된 각각의 섬모진동주파수의 크기에 해당하는 표시 방식으로 각각 표현할 수 있다.
예를 들어, 색상 관련 표시 방식을 사용하는 경우, 제1 관심영역에 대한 섬모진동주파수가 6Hz로 측정되고, 제2 관심영역에 대한 섬모진동주파수가 7Hz로 측정되었다면, 제1 관심영역에 포함된 섬모는 6Hz에 해당하는 연두색으로 표현되고, 제2 관심영역에 포함된 섬모는 7Hz에 해당하는 노란색으로 표현될 수 있다.
도 4를 참조하면, 7개의 관심영역에 대해 각각 측정된 섬모진동주파수의 크기에 따라 7개의 관심영역 각각에 포함된 섬모가 다른 색상으로 표현되었다.
이와 같이, 반복적인 관심영역 설정을 통해 서로 다른 개별 섬모상피의 섬모진동주파수들을 자동적으로 측정할 수 있으며, 최종적으로 이미지 내 모든 섬모진동주파수를 컬러맵으로 표현할 수 있어, 이미지 전체에 걸쳐 배열된 섬모세포들의 섬모진동주파수의 분포를 한눈에 파악할 수 있고 보다 정량적이고 통계적인 분석을 가능하게 할 수 있다.
이하에서는, 도 5를 참조하여, 현미경 내의 오가노이드가 복수개 관찰되는 경우에 호흡기도 섬모세포의 운동성을 측정하는 방법을 설명하도록 한다.
도 5에 도시된 바와 같이, 현미경 내의 오가노이드가 3개(#1, #2, #3) 발견되었다면, 각각의 오가노이드에 대해 단계 S210 내지 단계 S240를 개별적으로 수행하여야 한다. 이에 따라, #1, #2, #3 각각에 대해 최종 결과 데이터(예를 들어, 컬러맵)가 생성될 수 있다. 이에 대한 자세한 설명은 상술한 바와 중복되므로 생략하도록 한다.
이하에서는, 도 6a 및 도 6b를 참조하여, 현미경의 초점 이동이 발생한 경우에 호흡기도 섬모세포의 운동성을 측정하는 방법을 설명하도록 한다.
구체적으로, 사용자가 현미경을 통해 오가노이드를 관찰하는 중에 초점 이동이 발생한 경우, 초점 이동이 발생하기 전의 영상 데이터를 이용하여 측정한 섬모진동주파수와, 초점 이동이 발생한 후의 영상 데이터를 이용하여 측정한 섬모진동주파수는 동일하게 측정될 수 있다.
도 6a는 초점 내의(초점 이동 전) 영상 데이터에 대해 단계 S220 및 단계 S240를 수행한 결과를 도시한다. 도 6b는 초점으로부터 깊이 방향으로 10μm 이상 이동한(초점 이동 후) 영상 데이터에 대해 단계 S220 및 단계 S240를 수행한 결과를 도시한다. 이때, 두 개의 영상 데이터에서 동일한 위치를 관심영역으로 하여 분석을 수행한다.
도 6a 및 도 6b에 도시된 바와 같이, 초점 이동 전이나 후나 모두 섬모진동주파수는 7Hz로 동일하게 측정되었다. 즉, 현미경의 초점이 깊이 방향으로 이동된 경우에도 상기 섬모진동주파수 측정 단계에서 측정되는 섬모진동주파수는 동일하게 측정될 수 있다.
도 2는 단계 S210 내지 단계 S250을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S210 내지 단계 S250 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 장치(10)일 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 및 고급 프로그래밍 언어인 매트랩(Matlab), 랩뷰(Labview), 파이썬(Python) 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 장치
12: 통신부
14: 메모리
16: 프로세서
162: 모션 콘트라스트 이미징 수행부
164: 섬모진동주파수 측정부
166: 영상 처리부

Claims (13)

  1. 장치에 의해 수행되는 호흡기도 섬모세포 운동성 측정 방법에 있어서,
    호흡기도 오가노이드의 복수의 프레임을 포함하는 영상 데이터를 획득하는 단계;
    상기 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 위치를 파악하는 단계;
    상기 섬모세포의 위치와 관련한 관심영역(ROI, region of interest)이 선택된 경우, 상기 관심영역에 대한 상기 복수의 프레임 간 상호 상관성(cross-correlation)을 이용하여 상기 관심영역에 포함된 섬모의 운동성과 관련한 섬모진동주파수(CBF, ciliary beat frequency)를 측정하는 단계; 및
    상기 측정된 섬모진동주파수의 크기에 기초하여 상기 관심영역에 포함된 섬모를 기 설정된 표시 방식으로 표현하는 단계;를 포함하고,
    상기 섬모진동주파수 측정 단계는,
    상기 관심영역에 대해서 상기 복수의 프레임 간의 이미지 유사성을 상관계수(correlation coefficient)로 수치화하여 상기 섬모진동주파수를 측정하는 것이고,
    크기가 다른 제1 관심영역 및 제2 관심영역이 포함된 복수의 관심영역이 선택된 경우, 상기 섬모진동주파수 측정 단계는,
    상기 제1 관심영역에 대한 상기 복수의 프레임 간 상기 상호 상관성을 이용하여 제1 섬모진동주파수를 측정하고, 상기 제2 관심영역에 대한 상기 복수의 프레임 간 상기 상호 상관성을 이용하여 제2 섬모진동주파수를 측정하고,
    상기 기 설정된 표시 방식으로 표현 단계는,
    상기 제1 관심영역에 포함된 섬모를 상기 제1 섬모진동주파수의 크기에 해당하는 제1 색상으로 표현하고, 상기 제2 관심영역에 포함된 섬모를 상기 제2 섬모진동주파수의 크기에 해당하는 제2 색상으로 표현하는, 방법.
  2. 제1 항에 있어서,
    상기 위치 파악 단계는,
    상기 영상 데이터에 포함된 데이터 성분 중에서 섬모세포의 움직임에 따른 동적(dynamic) 신호 성분을 추출하여, 상기 섬모세포의 위치를 파악하는 것인, 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기 상관계수는, 기 설정된 주기로 진동하는 파형의 형태를 갖는, 방법.
  5. 제4 항에 있어서,
    상기 섬모진동주파수 측정 단계는,
    상기 파형의 피크(peak)의 개수를 상기 섬모진동주파수로 산출하는 것인, 방법.
  6. 제1 항에 있어서,
    현미경의 초점이 깊이 방향으로 이동된 경우에도 상기 섬모진동주파수 측정 단계에서 측정되는 섬모진동주파수는 동일한, 방법.
  7. 하드웨어인 컴퓨터와 결합되어, 제1 항, 제2 항, 제4 항 내지 제6 항 중 어느 한 항의 방법을 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램.
  8. 호흡기도 섬모세포 운동성 측정 장치에 있어서,
    통신부;
    호흡기도 섬모세포 운동성 측정을 위한 적어도 하나의 프로세스를 저장하고 있는 메모리; 및
    상기 프로세스에 따라 동작하는 프로세서;를 포함하고,
    상기 프로세서는, 상기 프로세스를 기반으로,
    호흡기도 오가노이드의 복수의 프레임을 포함하는 영상 데이터를 획득하고,
    상기 영상 데이터에 대해 모션 콘트라스트 이미징(motion-contrast imaging)을 수행하여 섬모세포의 위치를 파악하고,
    상기 섬모세포의 위치와 관련한 관심영역(ROI, region of interest)이 선택될 경우, 상기 관심영역에 대한 상기 복수의 프레임 간 상호 상관성(cross-correlation)을 이용하여 상기 선택된 관심영역에 포함된 섬모의 운동성과 관련한 섬모진동주파수(CBF, ciliary beat frequency)를 측정하고,
    상기 측정된 섬모진동주파수의 크기에 기초하여 상기 관심영역에 포함된 섬모를 기 설정된 표시 방식으로 표현하며,
    상기 프로세서는,
    상기 섬모진동주파수 측정 시에,
    상기 관심영역에 대해서 상기 복수의 프레임 간의 이미지 유사성을 상관계수(correlation coefficient)로 수치화하여 상기 섬모진동주파수를 측정하는 것 것이고,
    크기가 다른 제1 관심영역 및 제2 관심영역이 포함된 복수의 관심영역이 선택된 경우, 상기 제1 관심영역에 대한 상기 복수의 프레임 간 상기 상호 상관성을 이용하여 제1 섬모진동주파수를 측정하고, 상기 제2 관심영역에 대한 상기 복수의 프레임 간 상기 상호 상관성을 이용하여 제2 섬모진동주파수를 측정하고,
    상기 제1 관심영역에 포함된 섬모를 상기 제1 섬모진동주파수의 크기에 해당하는 제1 색상으로 표현하고, 상기 제2 관심영역에 포함된 섬모를 상기 제2 섬모진동주파수의 크기에 해당하는 제2 색상으로 표현하는, 장치.
  9. 제8 항에 있어서,
    상기 프로세서는,
    상기 섬모세포의 위치 파악 시에,
    상기 영상 데이터에 포함된 데이터 성분 중에서 섬모세포의 움직임에 따른 동적(dynamic) 신호 성분을 추출하여, 상기 섬모세포의 위치를 파악하는 것인, 장치.
  10. 삭제
  11. 제8 항에 있어서,
    상기 상관계수는, 일정 주기로 진동하는 파형의 형태를 갖는, 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 섬모진동주파수 측정 시에,
    상기 파형의 피크(peak)의 개수를 상기 섬모진동주파수로 산출하는 것인, 장치.
  13. 제8 항에 있어서,
    상기 프로세서는,
    현미경의 초점이 깊이 방향으로 이동된 경우에도 상기 섬모진동주파수 측정 시에 동일한 섬모진동주파수를 측정하는, 장치.
KR1020210105944A 2021-08-11 2021-08-11 호흡기도 섬모세포 운동성 측정 방법 및 장치 KR102578264B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210105944A KR102578264B1 (ko) 2021-08-11 2021-08-11 호흡기도 섬모세포 운동성 측정 방법 및 장치
US17/811,769 US20230052716A1 (en) 2021-08-11 2022-07-11 Method and apparatus for measuring motility of ciliated cells in respiratory tract

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210105944A KR102578264B1 (ko) 2021-08-11 2021-08-11 호흡기도 섬모세포 운동성 측정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230024465A KR20230024465A (ko) 2023-02-21
KR102578264B1 true KR102578264B1 (ko) 2023-09-20

Family

ID=85176784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210105944A KR102578264B1 (ko) 2021-08-11 2021-08-11 호흡기도 섬모세포 운동성 측정 방법 및 장치

Country Status (2)

Country Link
US (1) US20230052716A1 (ko)
KR (1) KR102578264B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101582735B1 (ko) * 2014-02-25 2016-01-06 서영준 섬모의 운동 궤적에 따른 섬모의 운동성 측정 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244033B1 (ko) 1997-11-11 2000-02-01 민양기 세포의섬모운동분석시스템
KR100517120B1 (ko) * 2002-11-21 2005-09-27 이원진 디지털 영상을 이용한 기도 섬모파의 무질서도 계측 방법
SG11201503293VA (en) * 2012-10-30 2015-05-28 California Inst Of Techn Fourier ptychographic imaging systems, devices, and methods
US9483685B2 (en) * 2014-04-28 2016-11-01 University Of Pittsburgh - Of The Commonwealth System Of Higher Education System and method for automated identification of abnormal ciliary motion
GB2578040B (en) * 2017-05-23 2022-12-07 Emulate Inc Advanced pulmonary models
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101582735B1 (ko) * 2014-02-25 2016-01-06 서영준 섬모의 운동 궤적에 따른 섬모의 운동성 측정 방법

Also Published As

Publication number Publication date
KR20230024465A (ko) 2023-02-21
US20230052716A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
Niehorster et al. The impact of slippage on the data quality of head-worn eye trackers
US11908188B2 (en) Image analysis method, microscope video stream processing method, and related apparatus
EP3748649A1 (en) Method for evaluating multi-modal emotional understanding capability of patient with autism spectrum disorder
Griffith et al. GazeBase, a large-scale, multi-stimulus, longitudinal eye movement dataset
CN107680088A (zh) 用于分析医学影像的方法和装置
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
US10123747B2 (en) Retinal scan processing for diagnosis of a subject
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
US10127664B2 (en) Ovarian image processing for diagnosis of a subject
Dagnes et al. Optimal marker set assessment for motion capture of 3D mimic facial movements
US20180144470A1 (en) Digital Data Processing for Diagnosis of a Subject
Kist et al. Rethinking glottal midline detection
CN111080624B (zh) 精子运动状态的分类方法、装置、介质及电子设备
US20220375606A1 (en) Systems and methods for machine learning (ml) model diagnostic assessments based on digital pathology data
US20180140256A1 (en) Brain Wave Processing for Diagnosis of a Subject
KR20230054286A (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
Meng et al. Deep Learning-based Trichoscopic Image Analysis and Quantitative Model for Predicting Basic and Specific Classification in Male Androgenetic Alopecia
KR102578264B1 (ko) 호흡기도 섬모세포 운동성 측정 방법 및 장치
CN112801940B (zh) 模型评测方法、装置、设备及介质
KR20210033902A (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
Monini et al. Validation of the objective assessment of facial movement with a new software-based system
KR102551815B1 (ko) 머신 러닝 모델을 이용하는 두피 분석에 필요한 데이터를 생성하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Liu et al. Computer-aided detection and quantification of endolymphatic hydrops within the mouse cochlea in vivo using optical coherence tomography
Li et al. Learning image-derived eye movement patterns to characterize perceptual expertise
CN210776809U (zh) 一种望诊图像质量评价系统、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant