KR102705807B1 - 유전영동을 이용한 다중 세포 추적 방법 - Google Patents

유전영동을 이용한 다중 세포 추적 방법 Download PDF

Info

Publication number
KR102705807B1
KR102705807B1 KR1020210117565A KR20210117565A KR102705807B1 KR 102705807 B1 KR102705807 B1 KR 102705807B1 KR 1020210117565 A KR1020210117565 A KR 1020210117565A KR 20210117565 A KR20210117565 A KR 20210117565A KR 102705807 B1 KR102705807 B1 KR 102705807B1
Authority
KR
South Korea
Prior art keywords
cell
interest
region
equation
image
Prior art date
Application number
KR1020210117565A
Other languages
English (en)
Other versions
KR20230035169A (ko
Inventor
양세정
이상우
이현우
이세나
최승엽
Original Assignee
연세대학교 원주산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 원주산학협력단 filed Critical 연세대학교 원주산학협력단
Priority to KR1020210117565A priority Critical patent/KR102705807B1/ko
Publication of KR20230035169A publication Critical patent/KR20230035169A/ko
Application granted granted Critical
Publication of KR102705807B1 publication Critical patent/KR102705807B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Immobilizing And Processing Of Enzymes And Microorganisms (AREA)

Abstract

본 발명은 유전영동을 이용한 다중 세포 추적 방법에 관한 것으로, 이미지의 전처리 및 관심 영역 추출을 통하여, 개별 세포 단위에서 세포 유전영동의 이동성을 측정하는 새로운 자동 추적 방법에 따라, 다중 세포의 유전영동 이동성을 자동으로 추적할 수 있고, 수천 프레임, 수백 개의 개별 세포에 대한 이동 궤적을 얻을 수 있으며, 단일 세포 포획, 점유율 예측이 가능한 다중 세포 추적 방법에 관한 것이다.

Description

유전영동을 이용한 다중 세포 추적 방법 {Multiple cell tracking method using dielectrophoresis}
본 발명은 유전영동을 이용한 다중 세포 추적 방법에 관한 것으로, 이미지의 전처리 및 관심 영역 추출을 통하여, 개별 세포 단위에서 세포 유전영동의 이동성을 측정하는 새로운 자동 추적 방법을 통한 다중 세포 추적 방법에 관한 것이다.
20세기 중반의 세포 내부의 불균일한 전기장과 쌍극자 사이의 상호 작용에 의해 유도된 세포 운동에 대한 첫 보고이후, 유전영동(Dielectrophoresis)라고 하는 특성은 세포조작, 세포특성화, 세포검출, 세포식별, 미세유체장치 내부의 약물/표현형 스크리닝 등 다양한 응용 분야에서 실질적으로 널리 사용되었다. 예를 들어, 유전영동 힘에 의한 세포 이동은 단일세포의 유연한 트랩핑/조작, 단일세포 분리/포획의 다처리, 단일세포의 정확한 제어 등에 사용되었다. 또한, 유전영동 힘은 극성(polarity), 정전용량(capacitance), 컨덕턴스(conductance) 및 전기화학적 활동과 같은 세포 특성을 특성화 하는데에도 사용되었다. 나아가, 암세포, 마이코박테이룸 세메그마티스 단일세포(mycobacterium semegmatis singe cells) 및 인간 배아 줄기 세포의 검출 및 식별; 항진균제, 항생제 약물 및 표현형의 스크리닝의 경우에도 유전영동 힘 이동 기술에 의해 달성되었다. 이러한 응용 분야에서, 원하는 목적을 달성하기 위해서는 미세 유체 장치 내부에서 유연한 방향으로 세포를 정확하고 이동하고, 세포 이동 이미지 시퀀스를 기록할 때, 세포의 궤적을 정확하게 추적해야할 필요성이 있다. 세포의 정확한 움직임을 달성하기 위해, 많은 연구자들이 미세 유체 장치 내부의 불균일한 전기장을 정확하고 유연하게 제어할 수 있도록 유전영동 힘으로 이어지는 불균일한 장을 생성하는 전극의 구조를 수정하였다. 이러한 수정의 예로, 코플래너 전극(coplanar electrode), 인터디지테이트 전극 어레이(interdigitated electrode array), 바이폴라 전극(bipolar electrode), 사중극자 전극(quadrupole electrode)가 개발되었으며, 나아가 광학유도전극(optically induced electrode)가 개발되었습니다. 미세 유체 장치의 이러한 구조 수정은 해당 분야에서 상당한 진전과 많은 성과가 있었다.
다만, 세포의 궤적을 추적하는 것은 많은 양의 유전영동 실험을 수행하는데 중요한 역할을 하나 중요하게 고려되지 않았다는 문제가 있다. 예를 들어, 세포가 유전영동 힘 하에서 움직이는 동안, 제한된 시야로 인해 단일세포만 추적되고 각 타입랩스 이미지(time-lapse image)에 기록되어, 기록된 영역은 관심있는 하나의 세포 주변에만 있게 된다. 이러한 접근법에서는 각 이미지에 세포가 하나만 존재하기 때문에 이미지 스택(image stack)에서 셀룰러 궤도(cellular trajectory)를 쉽게 조사하고 추적할 수 있다. 그럼에도, 세포 특성의 특성화에 사용되기 위해서는 통계적으로 신뢰할 수 있는 궤적 데이터를 얻기 위해서는 엄청난 수의 이미지가 필요하다. 또한, 특정 세포 유형 특성을 일반화하기 위해서는 최소한 100개 이상의 세포를 관찰해야할 필요가 있다. 즉, 각 타입랩스 이미지에서 단일세포의 추적 및 기록 방법은 상당한 비용 및 노력을 초래할 수 밖에 없다. 이러한 비용 및 노력을 방지하기 위해 개별 세포로 분할된 타임-랩스 이미지에 여러 셀 궤적을 기록하고, ImageJ 및 Cell Profiler와 같은 이미지 처리 소프트웨어 및 맞춤형 분할 알고리즘을 사용하여 각 분할된 이미지에 대한 단일세포 궤적을 조사하는 방안으로 접근하는 방식이 시도되었다. 이로 인해, 단일세포만 있는 이미지에서 단일세포 궤적을 검사하면 비용을 크게 줄일 수 있다. 다만, 세포 궤적조사에서 다음과 같은 문제가 여전히 남아있다:
- 세포는 투명하며 이상적인 구(sphere)가 아니기 때문에 세포 궤적을 추적하는 데 사용되는 명시야(bright-field) 현미경 관측에서 세포이미지의 경계선은 부분적으로 뚜렷하지 않고 흐려서 배경과 구분할 수 없는 한계점이 있음.
- 기판에서 투명한 세포영역이 전극 패턴이 겹치면서 발생하는 픽셀 밝기 강도 변화로 인하여 세포의 경계 분할이 왜곡되고 추적 정확도가 떨어짐.
- 유체내 유전영동 힘 하에서 많은 세포가 이동하는 동안 인접한 세포 사이의 충돌 및 분리가 자주 발생함. 이러한 충돌 및 분리는 세포 궤적을 정확하게 추적하기 위해 고속으로 촬영한 이미지들의 연속 분석에서 고려되어야 함.
이러한 단점으로 인해 각 이미지에서 몇 개의 세포만 추적되고 자동으로 강력하고 효율적이며 정확한 방식으로 병렬 단일세포 궤적을 동시에 추적하는데 장애가 된다. 결과적으로 미세 유체 장치에서 유전영동 힘 하에서 움직이는 다수의 세포에 대한 정확한 분할 및 추적 알고리즘이 부족하다.
이에 본 발명자는 미세 유체 장치 내부의 세포에 작용하는 유전영동 힘에 의해 유도된 다중 단일세포 궤적에 대한 새로운 자동 분할 및 추적 방법을 발견함에 본 발명을 완성하였다.
본 발명에서는 다중 세포 추적 시 발생하는 문제인 현미경 이미지의 명 시야 에서의 낮고 흐린 대비 경계에 따른 다수의 노이즈, 전극 패턴 겹침에 따른 세포 분할 왜곡과 추적 정확도 하락, 인접 세포 사이의 충돌과 분리 등의 문제를 해결하고자 한다.
상기 목적을 달성하기 위하여, 본 발명은
(1) 세포 현미경 이미지를 수집하는 단계;
(2) 상기 단계 (1)의 이미지를 전처리하는 단계;
(3) 상기 단계 (2)의 전처리된 이미지를 통해 관심 영역(ROI)을 추출하는 단계; 및
(4) 세포 단위 관심 영역 및 프레임 별 세포 중심점 간 연결성을 자동계산하는 단계;를 포함하는 다중 세포 추적 방법을 제공한다.
본 발명의 일 양태에서, 상기 단계 (1)의 세포 현미경 이미지는 유전영동 힘에 의한 세포 움직임을 사용하여 수집된 것이다.
본 발명의 일 양태에서, 상기 단계 (1)의 세포 현미경 이미지는 타임-랩스(time-lapse) 이미지이다.
본 발명의 일 양태에서, 상기 단계 (2)의 전처리는 2차원 대역 정지 필터를 사용하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 2차원 대역 정지 필터는 특정 식을 사용하여 전처리하는 것이다. (구체적인 식은 발명을 실시하기 위한 구체적인 내용에서 식 1 내지 4로 후술한다)
본 발명의 일 양태에서, 상기 단계 (3)의 관심 영역(ROI)은 세포 위치 정보로부터 추출하는 것이다.
또한, 본 발명의 일 양태에서, 상기 단계 (3)의 관심 영역 추출은 (I) 최초 프레임 관심 영역을 추출하는 단계; 및 (II) 이후 프레임 관심 영역을 추출하는 단계;를 포함한다.
구체적인 본 발명의 일 양태에서, 상기 단계 (I) 최초 관심 영역 추출은 (a) 전처리된 이미지에서 최초 세포 위치 정보를 수득하는 단계; (b) 세포를 분류하여 각 세포 번호 및 위치 정보를 수득하는 단계; (c) 최초 관심 영역을 선택하는 단계; 및 (d) 선택된 최초 관심 영역을 재분할하는 단계;를 포함한다.
구체적인 본 발명의 일 양태에서, 상기 단계 (a)의 최초 세포 위치 정보를 수득하는 단계는 K-평균(K-means) 클러스터링 알고리즘 및 그래프 컷(graph-cut) 알고리즘을 적용하여 세포 위치 정보를 수득할 수 있다.
구체적인 본 발명의 일 양태에서, 상기 K-평균(K-means) 클러스터링 알고리즘은 비유클리드 방법에 의해 비선형 구조를 식별하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 그래프 컷 알고리즘은 특정 식에 의해 적용되는 것이다. (구체적인 식은 발명을 실시하기 위한 구체적인 내용에서 식 5로 후술한다)
구체적인 본 발명의 일 양태에서, 상기 단계 (b)의 세포를 분류하여 각 세포 번호 및 위치 정보를 수득하는 단계는, 바이너리(binary) 이미지를 수득하고, CHT(Circle Hough Transform) 알고리즘을 적용하여 수득하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 단계 (c)의 최초 관심 영역은 특정 식 에 의해 관심 영역 마스크로 정의되는 것이다. (구체적인 식은 발명을 실시하기 위한 구체적인 내용에서 식 6으로 후술한다)
구체적인 본 발명의 일 양태에서, 상기 단계 (d)의 선택된 최초 관심 영역을 재분할하는 단계는, 관심 영역 마스크에 전경 바이너리 이미지 마스크를 생성하고, 세포 중심 위치 및 반경을 결정하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 전경 바이너리 이미지 마스크는 K-평균(K-means) 클러스터링 알고리즘을 적용하여 생성된 것이다.
구체적인 본 발명의 일 양태에서, 상기 세포 반경은 유클리드 거리 기법에 의해 측정되고, 유클리드 거리 기법은 특정 식에 의해 적용되는 것이다. (구체적인 식은 발명을 실시하기 위한 구체적인 내용에서 식 7로 후술한다)
구체적인 본 발명의 일 양태에서, 상기 단계 (II) 이후 관심 영역을 추출은 (e) 관심 영역을 선택하는 단계; 및 (f) 선택된 관심 영역을 재분할하는 단계;를 포함한다.
구체적인 본 발명의 일 양태에서, 상기 단계 (e)에서 관심 영역 선택은 특정 식에 의해 관심 영역 마스크로 정의되고, 여기에서 세포 중심 위치 및 반경은 이전프레임에서 촬영한 (i-1) 번째에서 결정된 세포 중심 및 반경을 사용하는 것이다. (여기에서, i는 현재 분석하는 프레임 번호이며, 최초관심영역(i=1)에서 관심영역 추출 이후로 본 단계가 진행되므로 i>1이고, 구체적인 식은 이하 발명을 실시하기 위한 구체적인 내용에서 식 6-2로 후술한다)
구체적인 본 발명의 일 양태에서, 상기 단계 (f)에서 선택된 관심 영역을 재분할하는 단계는, 관심 영역 마스크에 전경 바이너리 이미지 마스크를 생성하고, 세포 중심 위치 및 반경을 결정하는 것이다.
본 발명은 다중 세포의 유전영동 이동성을 자동으로 추적할 수 있고, 미세한 세포 영역을 분할할 수 있어 수천 프레임, 수백 개의 개별 세포에 대한 이동 궤적을 얻을 수 있다는 이점이 있다.
도 1은 이미지 기반 유전영동 세포 실험 워크플로우를 나타낸 도이다.
도 2는 주기적 전극 배열에서 다중 세포를 자동으로 감지하는 방법의 워크플로우를 나타낸 도이다.
도 3은 세포 분할 시스템 출력결과를 나타낸 도이다.
(A: 음의 유전영동 힘(위) 또는 양의 유전영동 힘(아래)에 의해 유도된 MCF-7 세포를 포함하는 유전영동 칩 어레이의 원 명시야(bright field, 브라이트 필드) 이미지)
(B: FFT-밴드-스톱 필터링 및 적응형 히스토그램 평활화의 적용)
(C: 최종 세포 분할 결과)
(D: 세포 바이너리 이미지의 유클리드 거리 변환 형태)
도 4는 본 발명 평가 결과를 나타낸 도이다.
(A: 주파수 변환 속도가 0.8 kHz/s인 입력 AC 전압 및 주파수 파형 / 육안 검사와 비교하여 각 프레임의 추적 정확도 / 세포 추적을 측정한 각 프레임에서의 실행 시간 (D-i 및 D-ii는 각각 1,400번째 및 2,100번째 프레임을 의미함))
(B: 검출된 세포 번호에 대한 2,800번째 프레임 이상의 총 실행 시간)
(C: 성공적으로 추적되거나, 손실된 세포의 비율)
(D: 1,400번째 및 2,100번째 프레임에서 추적된 세포 위치 정보를 기반으로 하는 세포 수의 정밀도, 재현율 및 f-측정 평가)
도 5는 유전영동 적용에 대한 매개 변수의 자동 특성화를 나타낸 도이다.
(A: nDEP 트랩(1,400번째 프레임) 및 pDEP(2,100번째 프레임)에서 트랩된 세포를 선택하기 위한 프로세스 평가)
(B: 필드 내의 시야에서의 세포 수와 관련된 단일 세포 포획 효율 진행도)
도 6은 단일 세포의 측정된 교차주파수(f co_effective)의 특성화를 나타낸 도이다.
(A: 주파수의 증가 및 감소 하에서의 MCF-7 세포의 교차주파수)
(B: 유전영동 입력 프로토콜)
(C: 세포의 유전영동 이동성 특성화를 위한 대량의 교차주파수 분석)
이하, 본 발명을 상세히 설명한다.
본 발명에서, 하기 용어가 의미하는 바에 대해서 설명한다. 이는 발명을 이해하기 위한 것으로, 용어의 의미는 설명되는 바에 의해 제한되지 않고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하는 용어의 의미를 포함한다.
본 발명에서, “유전영동(Dielectrophoresis, DEP)”은 극성이 없는 입자가 불균일한 교류 전기장에 노출되었을 때 쌍극성(dipole)이 입자에 유도되며, 유도된 입자와 전기장 사이의 상호작용으로 인해 힘이 발생하며, 발생된 힘을 통해 세포가 분극화(polarization)되는 것을 말한다. 분극성(polarizability)이 입자 주위를 둘러싼 용액의 분극성보다 클 경우 입자는 전기장이 강한 곳으로 이동하고(양의 유전영동, positive DEP). 반대로 입자의 분극성이 용액의 분극성보다 작을 경우에 입자는 전기장의 세기가 약한 방향으로 이동한다(음의 유전영동, negative DEP).
본 발명에서, “K-평균(K-means) 클러스터링 알고리즘”은 비지도 학습 알고리즘의 하나로, 주어진 데이터를 k개의 클러스터로 묶는 알고리즘을 의미한다.
본 발명에서, “그래프 컷(graph-cut) 알고리즘은 각각의 픽셀을 정점으로 정의하고, 정점을 하위 두 집합으로 나누는 알고리즘을 의미한다.
본 발명에서, “CHT(Circle Hough Transform)”은 원 후보에서 Hough 매개 변수 공간에서 투표(voting)한 다음 누산기 행렬(accumulator matrix)에서 최대값을 선택하여 생성하는 것을 의미한다.
본 발명은
(1) 세포 현미경 이미지를 수집하는 단계;
(2) 상기 단계 (1)의 이미지를 전처리하는 단계;
(3) 상기 단계 (2)의 전처리된 이미지를 통해 관심 영역(ROI)을 추출하는 단계; 및
(4) 세포 단위 관심 영역 및 프레임 별 세포 중심점 간 연결성을 자동계산하는 단계;를 포함하는 다중 세포 추적 방법에 관한 것이다.
본 발명에서, 세포 현미경 이미지는 유전영동 칩 위에 저수조를 올려둔 뒤, 세포를 포함하는 용액을 넣은 후 CCD 카메라를 이용하여 유전영동 칩 위에 올려진 세포를 관찰하는 방법으로 진행될 수 있다. 또한, 상기 저수조는 폴리디메틸실록산(Polydimethylsiloxane, PDMS)로 만들어진 것일 수 있다. 다만, 이러한 방법은 유전영동 힘에 따른 세포 움직임을 사용한 이미지 수집을 설명하기 위한 일 예로, 상기 저수조, 카메라 등의 종류는 이에 제한되는 것은 아니다.
본 발명의 일 양태에서, 상기 단계 (1)의 세포 현미경 이미지는 유전영동 힘에 의한 세포 움직임을 사용하여 수집된 것이다.
본 발명의 일 양태에서, 상기 단계 (1)의 세포 현미경 이미지는 일정한 시간(예를 들어, 0.1초에 1장)마다 촬영한 타임-랩스(time-lapse) 이미지이다.
본 발명에서, 유전영동 힘은 입력 전압/주파수를 변환시킴에 따라 힘을 발생시킬 수 있다. 또한, 인가하는 주파수는 교류주파수일 수 있고, 교류주파수의 조건을 계속 유지하여 세포의 움직임을 촬영하여 인가전압을 정할 수 있다. 여기에서, 인가전압은 세포가 전압에 약 2시간동안 노출된 이후 살아있는 세포들의 수가 약 90% 이상인지 여부, 세포의 모양이 눈에 띄게 변화하지 않는지 여부, 유전영동힘의 방향과 크기에 따라 세포가 잘 이동하는지 여부에 따라 인가전압을 정할 수 있다.
예를 들어, 인가 주파수를 1 kHz에서 41 kHz로 변화시키면 버퍼의 전도도, 세포의 상태 등에 따라 양의 유전영동힘에 의한 세포 이동성이 발생할 수 있고, 41 kHz에서 1 kHz로 변화시키면 버퍼의 전도도, 세포의 상태 등에 따라 음의 유전영동힘에 의한 세포 이동성이 발생할 수 있다.
본 발명의 일 양태에서, 상기 단계 (2)의 전처리는 2차원 대역 정지 필터를 사용하는 것이다.
본 발명의 일 양태에서, 상기 2차원 대역 정지 필터는 하기 식 1 및 식 2를 사용하여 전처리하는 것이다.
식 1:
식 2:
상기 식에서, f(m, n)은 식 1에 의해 공간주파수 영역 F(u, v)로 변환되는 것이고,
u는 공간주파수 영역의 가로축 이고,
v는 공간주파수 영역의 세로축 이며,
M은 원본 이미지의 높이이며,
N은 원본 이미지의 너비이다.
또한, 본 발명의 일 양태에서, 상기 2차원 대역 정지 필터는 하기 식 3을 사용하여 전처리하는 것이다.
식 3:
상기 식에서,
x는 2차원 대역 정지 필터의 가로축이고,
y는 2차원 대역 정지 필터의 세로축이며,
k는 필터링 영역 저장 상수이고,
N/2는 소수점 뒤의 첫 번째 숫자로 반올림 된 N/2이며,
g는 0.02 × M이고,
r은 (M-g)/2이다.
구체적인 본 발명의 일 양태에서, 상기 2차원 대역 정지 필터는 하기 식 4를 사용하여 전처리하는 것이다.
식 4:
상기 식에서,
F(u, v)shifted 및 Maskhorz는 각각 하기 식 2 및 식 3에 의해 계산되며;
식 2는 이고,
여기에서, M은 원본 이미지의 높이이며, N은 원본 이미지의 너비이고;
식 3은 이며,
여기에서, k는 필터링 영역 저장 상수이고,
N/2는 소수점 뒤의 첫 번째 숫자로 반올림 된 N/2이며,
g는 0.02 × M이고,
r은 (M-g)/2이다.
본 발명의 일 양태에서, 상기 단계 (3)의 관심 영역(ROI)은 세포 위치 정보로부터 추출하는 것이다.
또한, 본 발명의 일 양태에서, 상기 단계 (3)의 관심 영역 추출은 (I) 최초 프레임 관심 영역을 추출하는 단계; 및 (II) 이후 프레임 관심 영역을 추출하는 단계;를 포함한다.
본 발명에서, 최초 프레임 관심 영역을 추출함에 따라 측정되는 세포 위치 정보 및 반경을 이용하여 이후 프레임 관심 영역을 추출하므로, 자동으로 다중 세포를 추적할 수 있다.
구체적으로, 본 발명에서, 상기 단계 (I) 최초 관심 영역 추출은 (a) 전처리된 이미지에서 최초 세포 위치 정보를 수득하는 단계; (b) 세포를 분류하여 각 세포 번호 및 위치 정보를 수득하는 단계; (c) 최초 관심 영역을 선택하는 단계; 및 (d) 선택된 최초 관심 영역을 재분할하는 단계;를 포함할 수 있다.
본 발명의 일 양태에서, 상기 단계 (a)의 최초 세포 위치 정보를 수득하는 단계는 K-평균(K-means) 클러스터링 알고리즘 및 그래프 컷(graph-cut) 알고리즘을 적용하여 세포 위치 정보를 수득하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 K-평균(K-means) 클러스터링 알고리즘은 비유클리드 방법에 의해 비선형 구조를 식별하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 단계 그래프 컷 알고리즘은 하기 식 5에 의해 적용되는 것이다.
식 5:
상기 식에서,
λ는 인덱싱 함수(λ: p ∈Ω → λ(p) ∈ L c,b )이며,
L c,b 는 유한 영역 인덱스 집합(finite set of region indeces)이고,
Nreg는 모든 인접 픽셀 쌍을 포함하는 인접 세트이며,
Ip는 특정 픽셀(pixel)에 대한 밝기 값(intensity)이고,
μ l 는 K-평균(K-means)에 의해 유도된 영역 매개 변수이며,
α는 양의 요인(positive factor)이고,
s는 데이터 텀(data term)이며,
d는 평활도 텀(smoothness term)이고,
p, q는 서로 다른 픽셀의 인덱스(index)이다.
더 구체적인 본 발명의 일 양태에서, 상기 식 5의 F K ({μ l }, λ)는 1 ≤ l ≤ Nreg에 대한 영역 매개 변수 μl 와 관측치 사이의 커널 유도 비유클리드 거리이고, 여기에서, μ l 는 K-평균(K-means) 클러스터링 알고리즘에 의해 유도된 각 군집()에 대한 영역 매개 변수이며, R l 은 각 군집의 영역이며, Nreg는 모든 인접 픽셀 쌍을 포함하는 인접 세트이다.
본 발명의 일 양태에서, 상기 단계 (b)의 세포를 분류하여 각 세포 번호 및 위치 정보를 수득하는 단계는, 바이너리(binary) 이미지를 수득하고, CHT(Circle Hough Transform) 알고리즘을 적용하여 수득하는 것이다.
본 발명의 일 양태에서, 상기 단계 (d)의 최초 관심 영역은 하기 식 6에 의해 관심 영역 마스크로 정의된다.
식 6:
상기 식에서,
m은 세포 번호 순서이고,
Cx는 세포의 중심 위치 x이며,
Cy는 세포의 중심 위치 y이고,
CR은 세포의 반경이다.
본 발명의 일 양태에서, 상기 단계 (d)의 선택된 최초 관심 영역을 재분할하는 단계는, 관심 영역 마스크에 전경 바이너리 이미지 마스크를 생성하고, 세포 중심 위치 및 반경을 결정하는 것이다.
구체적인 본 발명의 일 양태에서, 상기 전경 바이너리 이미지 마스크는 K-평균(K-means) 클러스터링 알고리즘을 적용하여 생성된 것이다.
본 발명에서, 전경은 세포영역을 의미하고, 전경 바이너리 이미지 마스크는 전경 부분은 1로, 나머지 부분은 0으로 할당되어 표현될 수 있다.
본 발명의 일 양태에서, 상기 세포 반경은 유클리드 거리 기법에 의해 측정되고, 유클리드 거리 기법은 하기 식 7으로 표현된다.
식 7:
상기 식에서,
D(p)는 픽셀 p 위치에서 가장 가까운 전경 가장자리까지 최단거리이고,
x, y는 가장자리로부터 유클리드 거리를 계산하려는 전경(세포영역) 내 각 픽셀들의 좌표이며,
xedge 및 yedge는 상기 전경 바이너리 이미지 마스크의 경계 픽셀이다.
세포 반지름은 전경 내 픽셀들의 각 좌표에서 계산된 유클리드 거리가 최대인 값을 선택한다.
또한, 구체적으로, 상기 단계 (II) 이후 관심 영역을 추출은 (e) 관심 영역을 선택하는 단계; 및 (f) 선택된 관심 영역을 재분할하는 단계;를 포함한다.
본 발명의 일 양태에서, 상기 단계 (e)에서 관심 영역 선택은 하기 식 6-2에 의해 관심 영역 마스크로 정의되고, 여기에서 세포 중심 위치 및 반경은 이전 프레임에서 촬영한 (i-1) 번째에서 결정된 세포 중심 및 반경을 사용하는 것이다.
(여기에서, i는 현재 분석하는 프레임 번호이며, 최초관심영역(i=1)에서 관심영역 추출 이후로 본 단계가 진행되므로 i>1이다)
식 6-2:
상기 식에서,
m은 세포 번호 순서이고,
Cx는 세포의 중심 위치 x이며,
Cy는 세포의 중심 위치 y이고,
CR은 세포의 반경이다.
본 발명의 일 양태에서, 상기 단계 (f)에서 선택된 관심 영역을 재분할하는 단계는, 관심 영역 마스크에 전경 바이너리 이미지 마스크를 생성하고, 세포 중심 위치 및 반경을 결정하는 것이다.
본 발명 다중 세포 추적 방법은 상기 알고리즘을 통해, 전극 어레이 내의 부분 중첩 또는 유전영동 힘에 의해 유도된 인접한 세포의 충돌에 의한 문제를 해결할 수 있다. 또한, 세포 수와 총 실행 시간 사이의 선형 관계를 나타내어 높은 세포 추적 정확도 및 낮은 세포 손실 비율을 나타낼 수 있다. 나아가 모든 세포 농도에서 70% 이상의 높은 포획효율을 달성할 수 있고, 세포 농도 증가에 따라 점유율이 증가하는 선형 관계를 확인하여 점유율을 예측할 수 있다.
이하, 본 발명을 실시예 및 실험예에 의해 상세히 설명한다.
단, 하기 실시예 및 실험예는 본 발명을 예시하는 것일 뿐, 본 발명의 내용이 하기 실시예 및 실험예에 한정되는 것은 아니다.
<실험예> 유전영동 칩을 통한 세포 이동성 측정을 위한 전산 이미지 처리 실험 전체적인 과정
유전영동(dielectrophoresis, DEP) 힘 하에서 세포의 움직임을 활용하는 세포 유전 특성 연구를 위하여 현미경 기술 및 이미지 처리 분석을 모듈로 사용하였다.
살아있는 세포를 멀티 웰 플레이트(multiwell plate)에서 수득하였다. 그 후, 현미경 이미지 수집, AC 전기 주파수(electric frequency)와 AC 전압(electric voltage)을 동시에 변조할 수 있는 LabVIEW 기반 자동화 유전영동 시스템을 사용하여, 세포의 유전영동 행동을 관찰하였다.
상기 시스템에서 유전영동 신호 변조(즉, AC 주파수 및 전압) 동안 움직이는 세포의 자동 이미지 수집을 상단 뷰(view) 영역에서 수행되었다. 타임-랩스(time-lapse) 현미경 실험 후, 이미지 처리 기술을 사용하여 획득한 이미지 시퀀스에서 수많은 세포 중심 위치와 반경 크기를 추출하였다.
마지막으로, 적용된 AC 신호 하에서 세포 이동 경로가 갑자기 변경될 때 개별 세포의 fco를 추정하였다.
본 발명, 상기 워크플로우(work flow)는 도 1에 나타난 바와 같다.
<실험예 1> 세포 및 칩 준비
세포
인간 유방암 세포주 MCF-7 세포를 다중 단일세포궤적 자동 분할 및 자동 추적을 위한 알고리즘의 성능을 평가하는데 사용하였다. MCF-7 세포는 10% FBS(fetal bovine serum, Gibco, Gaithersburg, MD, USA) 및 1% 페니실린-스트렙토마이신(penicillin-streptomycin, Gibco)를 포함하는 DMEM(Dulbecco’s modified Eagle’s medium, Lonza, Walkersville, MD, USA)에서 37.5 ℃, 5% CO2 습한 대기에서 유지되었다.
이미징 기반 유전영동 세포 실험을 미세 유체 DEP 칩 내부에서 수행하기 전, 트립신/EDTA 용액으로 세포를 수득하고, 8.6%(w/w) 수크로스(sucrose), 0.3%(w/w) D-글루코스(glucose), 0.20% (v/v) 인산염 완충 식염수(phosphate-buffered saline, PBS; ×1) (Gibco), 및 1.0 mg/mL BSA(bovine serum albumin, Bovogen Biologicals, Essendon, VIC, Australia)로 세척한 후, 3회 원심 분리하고 버퍼 용액으로 옮겼다. 유전영동 실험 버퍼의 컨덕던스(conductivity)는 60 μS/cm으로 측정되었다.
칩
아세톤과 메탄올 용액으로 SiO2 웨이퍼를 세척한 다음 피라냐 용액(H2O2/H2SO4 = 1 : 3)으로 세척한 후, 1 ㎛ 두께의 탈 이온수(DI)로 세척하였다. 그 후, 포토레지스트(photoresist) 필름을 웨이퍼에 적용하였다.
다음, 웨이퍼를 서로 맞물린 패턴의 마스크 아래에서 자외선에 노출시키고, 현상하고, 열 증발기를 사용하여 0.1 ㎛ 크롬 층으로 코팅한 다음 리프트 오프(lift-off) 공정을 거쳤다.
마지막으로, 플라즈마 강화 화학 기상 증착(plasma-enhanced chemical vapor deposition)을 이용하여 Cr 패턴의 SiO2 웨이퍼에 0.8 ㎛ SiO2 층을 증착한 후, SiO2 웨이퍼에 원형 홀 어레이를 기존 습식 에칭 공정을 통해 생성하였다. 습식 에칭 공정은 폴카-닷 패턴(polka-dot pattern)의 마스크를 사용하는 상기 포토리소그래피 공정(photolithographic process)을 반복하고, 6 : 1 버퍼 산화물 에칭 용액(JT Baker, Fisher Scientific)에서 노출된 패턴을 제거하는 공정을 거쳤다.
<실험예 2> 유전영동 실험 시스템
자동 유전영동 시스템에 연결된 맞춤형 프로브 스테이션(Modusystems, Inc., Hanam, Republic of Korea)을 사용하여, 칩의 접촉 패드에 AC 신호를 적용하였다. 자동 유전영동 시스템은 관찰 모듈, 측정 모듈 및 제어 모듈로 구성되었다.
제어 모듈은 관찰 모듈과 측정 모듈을 동기화하기 위해 맞춤형으로 설계된 소프트웨어(LabVIEW, National Instruments, Austin, TX, USA)로 제어되었고, 소프트웨어는 임의 함수 발생기(arbitrary function generator, NI PCI-5421, National In- strument, Austin, TX, USA)를 통해 일련의 입력 AC 전압과 AC 주파수를 제어하였다 (제어 모듈).
입력 전압의 진폭(amplitude)과 주파수(frequency)를 오실로스코프(oscilloscope, Wavesurfer 432, Teledyne Lecroy Corp., Chestnut Ridge, NY, USA)로 모니터링하였다 (측정 모듈).
유전영동 칩이 작동하는 동안 세포 움직임은 프레임 그래버(frame grabber, NI PCIe-1429, National Instrument, Austin, TX, USA)를 통해 제어 모듈에 연결된 전하 결합 장치 카메라(Motionscope M3, Redlake, San Diego, CA)를 사용하여 기록되었다 (관찰 모듈).
유전영동 칩에 적용되는 입력은 하기 도 4A 및 도 6B에 나타난 바와 같다.
<실험예 3> 유전영동 칩의 세포의 이동성 측정을 위한 전산 이미지 처리
사용자 편의를 고려하여, 다양한 이미지 처리 기술을 결합하고 최적화하는 MATLAB®2019a(MathWorks, Natick, MA, USA)에서, 이미징 기반 유전영동-세포 실험을 위한 전반적인 액세스 도구를 제공하는 그래픽 사용자 인터페이스(GUI)를 개발하였다.
분석 방법은 줄무늬 및 원형 영역이 있는 주기적 전극 패턴에서 미세 세포 영역(30 x 30 픽셀 미만)을 분할할 수 있으며, 타임-랩스 이미지 세트에서 각 세포의 궤적을 얻었다.
본 발명에서 컴퓨터 이미지 처리는 (1) 원 이미지 데이터의 전처리; (2) 잠재적 관심 영역(region of interest, ROI) 추출; 및 (3) 관심 영역(ROI)에서 단일 세포 감지;로 구성되었다. 각 처리 모듈은 도 2에 나타난 바와 같다.
첫 번째로, 주기적 배경 패턴에서 클러스터된 세포를 세분화하였다. 세포와 유사한 전극 모양은 오인 가능성이 있으나, 상기 알고리즘에서 노이즈 제거 기법의 일종인 푸리에 영역 필터링을 적용하여 해결하였다. 촬영한 공간 이미지에서 나타나는 전극 이미지의 주기적 패턴들의 반복은 푸리에 주파수 영역 이미지에서 높은 피크 강도로 변환된다. 이에 따라, 전처리 단계에서 푸리에 주파수 이미지에서 공간 이미지에서의 노이즈 형태에 따른 주파수 이미지에서의 높은 강도 위치의 값을 제거하는 대역 정지 필터링을 사용한 후, 역 푸리에 변환을 수행하여 공간 도메인에서 결과 이미지를 얻었다.
두 번째로, 접촉 세포 사이에서 각 세포를 식별하였다. 이는 관심 영역(ROI) 로컬라이제이션(localization) 기술을 적용하여 시행하였다. 여기에서, 그래프 컷(graph-cut) 및 K-평균(K-means) 클러스터링 알고리즘(clustering algorithm)을 함께 사용하여 전처리된 이미지의 초기 셀 위치를 대략적으로 정의하여, 관심 단일 세포와 그 주변 영역을 손상되지 않고 그대로 유지되었다. 다수의 세포가 배치된 캡처 이미지에서 각 ROI를 자동으로 감지한 후, 최적의 클러스터링 솔루션(즉, 세포 영역)이 각 ROI 내에서 K-평균(K-means) 클러스터링 알고리즘에 의해 생성되었다.
마지막으로, 세포의 유전영동 이동성을 확인하기 위하여, 상기 클러스터링 솔루션에서 세포 위치와 크기를 추출하였다. 여기에서, 유전영동 이동성의 특성화를 위한 관심 세포는 첫 번째 프레임에서 식별된 세포 중 하나로 식별하였다. 세포가 분할되고 첫 번째 프레임에서 감지되면, 선택된 세포가 ROI 추출 및 단일 세포 감지 프로세스를 통해 전체 프레임 구간에서 지속적으로 추적하였다.
<실험예 4> 전처리 단계
푸리에 도메인의 전극 패턴에 해당하는 특정 주파수를 감쇠시켜 이미지의 주기적 모양을 감소시키는 2차원 대역 정지 필터(two-dimensional band-stop filter)를 사용하여 배경 제거(background subtraction)을 수행하였다.
식 1:
식 2:
원본 이미지 f(m, n)은 2차원 이산 푸리에 변환(식 1)을 사용하여 주파수 영역에서 이미지 F(u, v)로 변환되었다(여기에서, M, N은 각각 원본 이미지의 높이 및 너비). 이 후, 식에 나타난 바와 같이 제로 주파수 성분을 시프트하기 위해 시프팅을 수행하였다(식 2).
주파수 영역에서 수평 라인 패턴을 필터링하기 위한 Maskhorz는 하기와 같이 정의되었다(식 3):
식 3:
여기에서, k는 필터링 영역을 저장하는 상수이고, N/2는 소수점 뒤의 첫 번째 숫자로 반올림 된 N/2를 의미한다. 본 실험에서 k는 4이고, g는 0.02 × M이며, r은 (M-g)/2이다.
필터링 프로세스 Filthorz 는 하기와 같이 정의되었다(식 4):
식 4:
그 후, 후속 세포 분할 작업을 용이하게 하기 위한 주파수 도메인 필터링 결과, 이미지 대비 향상 프로세스를 적용하였다. 캡처 이미지는 불균일한 조명과 쓸모없는 정보가 있는 큰 배경영역(예, 시야 주변의 어두운 영역(도 2A 부분)이 존재한다. 이러한 이미지 대비 개선을 위하여, 적응형 히스토그램 평활화(adaptive histogram equlization) 단계를 수행하여, 각 세포 영역과 윤곽선의 대비를 향상시켰다. 전처리를 수행한 후의 결과는 도 2C에 나타난 바와 같다.
<실험예 5> 입자 중심 위치 파악 단계
입자 중심 위치 파악 단계는 그래프 컷(graph-cut)과 K-평균(K-means) 클러스터링 알고리즘을 함께 사용하여, 전처리된 이미지에서 초기 세포 위치를 대략적으로 결정하였다. 이후, 각 ROI 영역 내에서 K-평균(K-means) 클러스터링 알고리즘으로 세포 영역을 세분화한 다음 세분화된 세포 영역으로 세포 위치와 크기를 계산하였다.
<실험예 5-1> 개별 세포의 초기 ROI 위치 결정
초기 ROI 위치와 크기를 결정하기 위하여는 세포 위치 정보가 요구된다. 전처리 이미지의 각 세포 영역에서 형태학적 세포 특징(에, 세포 원형도, 크기)과 높은 유사성 및 이미지 강도 대비(예, 배경보다 상대적으로 어두운 밝기)를 우선적으로 하였다. 따라서, 그래프 컷(graph-cut) 알고리즘을 전처리 이미지에 적용하여 높은 유사성과 이미지 강도 대비를 기반으로 ROI 후보 영역을 얻었다. (경계 표현에 대한 이러한 암시적 접근 방식은 높은 정확도와 낮은 계산 비용을 가지고 있으며, 수많은 세포를 식별할 수 있는 방법으로 검증된 상기 방법에 해당함. 또한, 그래프 컷(graph-cut) 기반 분할은 에너지 모델의 데이터 텀(d)과 평활도 텀(s)을 모두 고려함)
식 5:
여기에서, λ는 인덱싱 함수(λ: p ∈Ω → λ(p) ∈ L c,b )이며, L c,b 는 유한한 영역 인덱스 집합(finite set of region indeces)(본 발명의 경우, 세포 및 배경이 두 인덱스)이고, α는 양의 요인(positive factor)이다. 그 후, 다음 두 가지 정보(s 및 d)를 조사하여 최소 컷을 찾았다. 이 컷을 통해 대상과 배경을 구분하는 분할을 달성하였다. 본 발명에서 그래프 컷(graph-cut) 알고리즘은 커널 K-평균(K-means) 클러스터링 알고리즘 이후에 적용되었으며, 그래프 컷(graph-cut) 알고리즘은 이전 작업을 기반으로 수행되었다.
커널 K-평균(K-means) 클러스터링 알고리즘은 비유클리드 방법인 커널을 사용하므로, 비선형 구조를 식별할 수 있다. 초기 레이블은 커널 기반 분할을 수행하여 자동으로 최소화되었다. F K ({μ l }, λ)는 1 ≤ l ≤ Nreg에 대한 영역 매개 변수 μl 와 관측치 사이의 커널 유도 비유클리드 거리를 의미한다. 여기에서, μ l 는 K-평균(K-means)에 의해 유도된 영역 매개 변수이고, R l 은 영역이며, Nreg는 모든 인접 픽셀 쌍을 포함하는 인접 세트이다.
그 후, 상기 식 5의 최적화를 위하여 상호형(interactive) 2단계 최적화 전략을 적용하였다. 상호형 2단계 최적화 전략은 영역 매개 변수의 업데이트와 그래프 절단 최적화를 사용한 파티션 업데이트로 구성되었다. 그래프 컷(graph-cut) 프로세스는 최적의 최소 비용을 찾고, 세포와 배경 간의 의미 분할을 완료하여 바이너리(binary) 이미지를 생성하였다. 그 결과는 도 2D에 나타난 바와 같다.
세포의 바이너리 이미지를 얻은 후, 바이너리 세포 마스크의 더 둥근 모양을 형성하기 위하여 확장된 형태학적 작업을 수행하였다. 순차적으로 분리되고 중첩된 원형 물체의 탐지 및 측정은 Circle Hough Transform(CHT)를 바이너리 세포 마스크에 적용하여 각 세포 번호 및 위치 정보를 얻었다. 그 결과는 도 2E에 나타난 바와 같다(도 2E의 주황색 원이 ROI로 정의되어 CHT 기법을 적용한 후 개별 세포에 해당함)
<실험예 5-2> 각 ROI 마스크에서 단일 세포 윤곽 정제
초기 ROI로 여러 세포의 위치와 크기를 정확하게 결정하기 전, 전경 개체(foreground object)의 재분할을 위하여 다음 절차를 수행하였다.
첫 번째로, 각 ROI 위치와 크기는 CHT 기술에 의해 감지된 각 원의 중심과 반경에 따라 설정되었다. ROI 마스크는 하기와 같이 정의되었다(식 6).
식 6:
여기에서, 세포 번호 m은 CHT 기술에 의해 감지된 순서이고, Cx, Cy 및 CR은 각각 세포의 중심 위치 x, y 및 반경에 해당한다.
일반적으로 ROI 마스크에는 이미지 강도 분포가 세포 외부 영역(배경) 보다 더 뚜렷한 단일 세포가 있다. 그에 따라 각 세포 이미지 강도에 대한 최적의 임계값을 정의하는 K-평균(K-means) 클러스터링 알고리즘이 사용되었다. 그 후, 그 임계값을 사용하여 전경 바이너리 이미지 마스크를 생성하였다(여기에서, 전경영역은 1이고, 다른 영역은 0).
다음, 최적의 세포 중심과 반경을 결정하기 위해, 픽셀과 가장 가까운 전경 경계 사이의 거리를 계산하는 유클리드 거리 기법(식 7)에 대한 전경영역이 적용되었다.
식 7:
여기에서, D(p)는 픽셀 p의 전경 가장자리로부터의 거리이고, xedge 및 yedge는 1 픽셀 위치 (xp, yp)에서 가장 가까운 경계 픽셀이다.
마지막으로, 픽셀 위치와 최대 D(p) 값을 계산하여 현재 이미지(i 번째 프레임)에서 세포 중심과 세포 반경의 x, y 좌표를 결정하였다. 분할 오류를 최소화하기 위해, 각 알고리즘에 의해 결정된 세포 반경은 알고리즘 수행 이전에 처음 설정한 최소 반경과 최대 반경 사이인지 여부를 먼저 확인하고 선택하여, 특정 세포 지역 정보를 저장하였다. 현재 이미지(i 번째 프레임)의 세포 정보(즉, i 번째 프레임의 세포 중심 위치 및 세포 반경)은 세포의 유전영동 이동성을 관찰하기 위해 MATLAB m-file(*.m)에 기록되었고, 순차적으로 다음 (i+1) 번째 프레임 이미지의 초기 ROI 위치를 결정하는데 활용되었다. 그 결과, 실제로 첫 번째 프레임에서 세포의 위치가 감지되면 다음 프레임에 대한 초기 ROI 영역은 이전 세포 정보에 의해 결정될 수 있었다.
<실험예 6> 유전영동 세포 이동성 연구를 위한 세포 추적
정량적 유전영동 세포 이동성 추적을 가능하게 하기 위하여 세포 추적 처리가 수행되었다. 이는 유전영동 신호 변조에 의존하는 최적의 세포를 선택하는 절차가 요구되었으며, 해당 절차는 하기와 같이 수행되었다.
(1) 오름차순 프레임 순서의 다중 세포 정보가 세포 궤적 분석을 위한 세포 라벨링 순서(cell ID)로 재배열; (2) 유전영동 신호가 칩에 적용됨에 따라 전체 프레임 순서에서 검출된 손상되지 않은 세포에 초점 맞추기. (즉, 칩 기판에 세포 운동을 기록하는 동안 시야각 안팎으로 이동한 세포를 제외함)
<실험결과>
1. DEP 칩에서 세포 분할에 대한 결과
세포 유전영동 행동을 특성화하기 위한 주요 목표는 제작된 유전영동 칩에서 촬영된 타입-랩스 광학 이미지에서 MCF-7 암 세포의 수를 정확하게 식별하고 계산하는 것으로 평가되었다.
세포 분할은 패턴이 있는 줄무늬 및 원형 영역이 있는 주기적 전극으로 구성된 칩에서, 세포가 이동함에 따라 배경 패턴의 간섭으로 인한 세포 이미지 강도의 동적 변화를 설명한다.
본 발명 실험 결과는 도 3에 나타난 바와 같으며, 도 3A는 서로 다른 유전영동 힘에 의해 분리된 세포를 보여준다(상단: 음의 유전영동 힘 / 하단: 양의 유전영동 힘). 또한, 도 3A에서 자홍색 사각형으로 둘러쌓인 세포는 일반적으로 서로 유산 이미지 강도를 가진 원형의 모양을 가지고 있는 것을 보여준다. 다만, 원형 전극 어레이 내에 위치하는 다른 세포가 전극 영역의 부분 중첩으로 인하여, 이질적인 이미지 강도를 나타내는 영역이 나타난 바 있다(도 3A 하단). 또한, 양의 유전영동 힘은 인접한 세포에 충돌을 유도하여, 서로 접촉하는 세포를 형성함에 따라 이전 프레임에서 식별된 세포를 놓치게 하는 것이 확인되었다.
상기 문제는 알고리즘을 통해 해결하였다. 구체적으로, 도 3A에서 각 정사각형 라인은 ROI 후보 영역을 의미하며 첫 번째 입력 이미지에서 식별된 것을 나타낸다. 현재 이미지의 세포 영역만 분할하기 위해 캡처된 이미지 세트에 상기 실험예 4에 따른 전처리 알고리즘을 적용하였고, 그 결과는 도 3B에 나타난 바와 같다. 원 이미지는 원형 전극에 걸린 세포의 경우 불균일한 이미지 강도를 보여주나, 전처리를 한 경우 배경 이미지와 구별되는 세포 모양을 보여주는 것을 확인하였다.
또한, 그 후 상기 실험예 5에 따른 입자 중심 위치 파악 단계를 통해 세포 분할 프로세스를 실행하였으며, 그 결과는 도 3C 자홍색 및 청록색 영역에 나타난 바와 같다. 도 3C에 나타난 바와 같이 세포 특성을 성공적으로 감지하였다.
세포 분할 프로세스가 종료될 때, 세포 영역에 1, 그 외 영역에 0이 할당되어 바이너리 이미지 마스크를 수득하였다. 바이너리 이미지 마스크를 사용하여 유클리드 거리 변환 방법을 통해 세포의 중심과 반경을 계산하였다. 그 결과는 도 3D에 나타난 바와 같다. 도 3D에서 중심점을 이미지에서 점의 최대 거리로 정의되었고(분홍색 점), 해당 결과를 통해 세포의 중심과 반경을 확인한 것을 확인하였다.
2. DEP 칩에서 세포 분할 성능 평가
상기 실험예를 검증하기 위하여 9개의 독립적인 유전영동 세포 실험에 기록된 이미지 세트의 분석 시간을 계산하였다. 계산에서 2,800 프레임이 기록된 이미지 세트를 사용하였고, 여기에서 0 및 2V peak-to-peak / 1 내지 41 kHz 주파수를 적용하였다. 측정결과는 도 4에 나타난 바와 같다.
도 4A에 나타난 바와 같이, 프레임 당 실행 시간은 세포가 이동하기 시작하고 주파수 변조를 증가시켜 유도된 양의 유전영동 힘에 의해 원형 전극 내에 머무르는 1,470번째 프레임 이후 증가하는 경향을 나타내었다. 증가된 실행 시간은 전극 영역을 부분적으로 겹침으로써 이질적인 이미지 강도의 증가에 기인하고, 결과적으로 최상의 클러스터 영역을 선택하기 위하여 더 많은 작업이 요구되는 것을 나타낸다.
또한, 도 4B에 나타난 바와 같이, 세포 수와 총 실행 시간 사이의 선형 관계를 나타내는 것을 확인하였다. 선형 회귀 모델로 t=0.089s+41.51 (여기에서, t는 총 실행 시간, s는 감지된 영역 수)를 나타내는 것을 확인하였다. 회귀선의 t-절편은 총 이미지 세트(2,800 프레임)에 대한 읽기 시간 및 필요한 총 전처리 실행 시간의 합계를 나타내며, 회귀선의 기울기는 ROI 이미지 세트에서 하나의 세포를 추적하기 위한 총 실행 시간을 나타내었다. 즉, 감지된 영역이 추가되면 기울기 계수에 따라 총 실행 시간이 ~0.089분(= 5.34초) 증가하여, 2,800 프레임에서 하나의 세포를 추적하는 것을 확인하였다.
도 4C에 나타난 바와 같이, 각 프레임에서 정확하게 추적된 세포 수와 검출된 세포 수의 비율을 나타내는 세포 추적 정확도를 확인하였다. 이를 통해, 대부분의 세포가 프레임 순서에 따른 알고리즘에 의해 성공적으로 추적되었음을 확인하였다. 또한, 도 4C에서 마지막 프레임에서 추적의 성공 비율(육각형)과 캡처 이미지의 경계에 있는 세포로 인한 손실 비율(삼각형)을 계산하여 몇 개의 세포가 누락되었는지를 확인하였다. 그 결과, 9개의 독립적인 실험에서 0.89±0.015의 평균 추적 정확도, 0.04±0.014의 평균 누락 비율을 산출하여 우수한 추적 정확도 및 낮은 누락 비율을 나타내는 것을 확인하였다.
또한, 도 4D에 나타난 바와 같이, 1,400번째와 2,100번째에서 분할된 세포 이미지 수에 따라 정밀도, 재현율 및 f 측정값을 사용하여 실제 세포 실현 가능성을 확인하였다.
따라서, 본 발명을 통해 세포 추적 정확도와 세포 계수 능력이 전체 세포 수의 최소 90%에 도달할 수 있어 세포 이동성을 검사하는 데 우수한 것을 확인하였다.

Claims (22)

  1. (1) 세포 현미경 이미지를 수집하는 단계;
    (2) 상기 단계 (1)의 이미지를 하기 식 1 및 식 2를 사용하여 2차원 대역 정지 필터로 전처리하는 단계;
    (3) 상기 단계 (2)의 전처리된 이미지를 통해 관심 영역(ROI)을 추출하는 단계; 및
    (4) 세포 단위 관심 영역 및 프레임 별 세포 중심점 간 연결성을 자동계산하는 단계;를 포함하는 다중 세포 추적 방법:
    식 1:
    식 2:
    상기 식에서, f(m, n)은 식 1에 의해 공간주파수 영역 F(u, v)로 변환되는 것이고,
    u는 공간주파수 영역의 가로축 이고,
    v는 공간주파수 영역의 세로축 이며,
    M은 원본 이미지의 높이이며,
    N은 원본 이미지의 너비이다.
  2. 제1항에 있어서,
    상기 단계 (1)의 세포 현미경 이미지는 유전영동 힘에 의한 세포 움직임을 사용하여 수집된 것인, 다중 세포 추적 방법.
  3. 제1항에 있어서,
    상기 단계 (1)의 세포 현미경 이미지는 타임-랩스(time-lapse) 이미지인, 다중 세포 추적 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 2차원 대역 정지 필터는 하기 식 3을 사용하여 전처리하는 것인, 다중 세포 추적 방법:
    식 3:
    상기 식에서,
    x는 2차원 대역 정지 필터의 가로축이고,
    y는 2차원 대역 정지 필터의 세로축이며,
    k는 필터링 영역 저장 상수이고,
    N/2는 소수점 뒤의 첫 번째 숫자로 반올림 된 N/2이며,
    g는 0.02 × M이고,
    r은 (M-g)/2이다.
  7. 제1항에 있어서,
    상기 2차원 대역 정지 필터는 하기 식 4를 사용하여 전처리하는 것인, 다중 세포 추적 방법:
    식 4:
    상기 식에서,
    F(u, v)shifted 및 Maskhorz는 각각 하기 식 2 및 식 3에 의해 계산되며;
    식 2는 이고,
    여기에서, M은 원본 이미지의 높이이며, N은 원본 이미지의 너비이고;
    식 3은 이며,
    여기에서, k는 필터링 영역 저장 상수이고,
    N/2는 소수점 뒤의 첫 번째 숫자로 반올림 된 N/2이며,
    g는 0.02 × M이고,
    r은 (M-g)/2이다.
  8. 제1항에 있어서,
    상기 단계 (3)의 관심 영역(ROI)은 세포 위치 정보로부터 추출하는 것인, 다중 세포 추적 방법.
  9. 제1항에 있어서,
    상기 단계 (3)의 관심 영역 추출은
    (I) 최초 프레임 관심 영역을 추출하는 단계; 및
    (II) 이후 프레임 관심 영역을 추출하는 단계;를 포함하는 것인, 다중 세포 추적 방법.
  10. 제9항에 있어서,
    상기 단계 (I) 최초 관심 영역 추출은
    (a) 전처리된 이미지에서 최초 세포 위치 정보를 수득하는 단계;
    (b) 세포를 분류하여 각 세포 번호 및 위치 정보를 수득하는 단계;
    (c) 최초 관심 영역을 선택하는 단계; 및
    (d) 선택된 최초 관심 영역을 재분할하는 단계;를 포함하는 것인, 다중 세포 추적 방법.
  11. 제10항에 있어서,
    상기 단계 (a)의 최초 세포 위치 정보를 수득하는 단계는 K-평균(K-means) 클러스터링 알고리즘 및 그래프 컷(graph-cut) 알고리즘을 적용하여 세포 위치 정보를 수득하는 것인, 다중 세포 추적 방법.
  12. 제11항에 있어서,
    상기 K-평균(K-means) 클러스터링 알고리즘은 비유클리드 방법에 의해 비선형 구조를 식별하는 것인, 다중 세포 추적 방법.
  13. 제11항에 있어서,
    상기 그래프 컷 알고리즘은 하기 식 5에 의해 적용되는 것인, 다중 세포 추적 방법:
    식 5:
    상기 식에서,
    FK ({μ l }, λ)는 1 ≤ l ≤ Nreg에 대한 영역 매개 변수 μl 와 관측치 사이의 커널 유도 비유클리드 거리이고,
    λ는 인덱싱 함수(λ: p ∈Ω → λ(p) ∈ Lc,b )이며,
    Lc,b 는 유한 영역 인덱스 집합(finite set of region indeces)이고,
    Rl 은 각 군집의 영역이며,
    Nreg는 모든 인접 픽셀 쌍을 포함하는 인접 세트이며,
    Ip는 특정 픽셀(pixel)에 대한 밝기 값(intensity) 이고,
    μ l 는 K-평균(K-means) 클러스터링 알고리즘에 의해 유도된 각 군집()에 대한 영역 매개 변수이며,
    α는 양의 요인(positive factor)이고,
    s는 데이터 텀(data term)이며,
    d는 평활도 텀(smoothness term)이고,
    p, q는 서로 다른 픽셀의 인덱스(index)이다.
  14. 삭제
  15. 제10항에 있어서,
    상기 단계 (b)의 세포를 분류하여 각 세포 번호 및 위치 정보를 수득하는 단계는, 바이너리(binary) 이미지를 수득하고, CHT(Circle Hough Transform) 알고리즘을 적용하여 수득하는 것인, 다중세포 추적 방법.
  16. 제10항에 있어서,
    상기 단계 (c)의 최초 관심 영역은 하기 식 6에 의해 관심 영역 마스크로 정의되는 것인, 다중 세포 추적 방법:
    식 6:
    상기 식에서,
    m은 세포 번호 순서이고,
    Cx는 세포의 중심 위치 x이며,
    Cy는 세포의 중심 위치 y이고,
    CR은 세포의 반경이다.
  17. 제10항에 있어서,
    상기 단계 (d)의 선택된 최초 관심 영역을 재분할하는 단계는, 관심 영역 마스크에 전경 바이너리 이미지 마스크를 생성하고, 세포 중심 위치 및 반경을 결정하는 것인, 다중 세포 추적 방법.
  18. 제17항에 있어서,
    상기 전경 바이너리 이미지 마스크는 K-평균(K-means) 클러스터링 알고리즘을 적용하여 생성된 것인, 다중 세포 추적 방법.
  19. 제17항에 있어서,
    상기 세포 반경은 유클리드 거리 기법에 의해 측정되고, 유클리드 거리 기법은 하기 식 7인, 다중 세포 추적 방법:
    식 7:
    상기 식에서,
    D(p)는 픽셀 p 위치에서 가장 가까운 전경 가장자리까지 최단거리이고,
    x, y는 가장자리로부터 유클리드 거리를 계산하려는 전경(세포영역)내 각 픽셀들의 좌표이며,
    xedge 및 yedge는 상기 전경 바이너리 이미지 마스크의 경계 픽셀이다. 세포 반지름은 전경내 픽셀들의 각 좌표에서 계산된 유클리드 거리가 최대인 값을 선택한다.
  20. 제9항에 있어서,
    상기 단계 (II) 이후 관심 영역을 추출은
    (e) 관심 영역을 선택하는 단계; 및
    (f) 선택된 관심 영역을 재분할하는 단계;를 포함하는 것인, 다중 세포 추적 방법.
  21. 제20항에 있어서,
    상기 단계 (e)에서 관심 영역 선택은 하기 식 6-2에 의해 관심 영역 마스크로 정의되고, 여기에서 세포 중심 위치 및 반경은 (i-1) 번째 프레임에서 결정된 세포 중심 및 반경을 사용하는 것인, 다중 세포 추적 방법:
    식 6-2:
    상기 식에서,
    m은 세포 번호 순서이고,
    Cx는 세포의 중심 위치 x이며,
    Cy는 세포의 중심 위치 y이고,
    CR은 세포의 반경이다.
  22. 제20항에 있어서,
    상기 단계 (f)에서 선택된 관심 영역을 재분할하는 단계는, 관심 영역 마스크에 전경 바이너리 이미지 마스크를 생성하고, 세포 중심 위치 및 반경을 결정하는 것인, 다중 세포 추적 방법.
KR1020210117565A 2021-09-03 2021-09-03 유전영동을 이용한 다중 세포 추적 방법 KR102705807B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210117565A KR102705807B1 (ko) 2021-09-03 2021-09-03 유전영동을 이용한 다중 세포 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117565A KR102705807B1 (ko) 2021-09-03 2021-09-03 유전영동을 이용한 다중 세포 추적 방법

Publications (2)

Publication Number Publication Date
KR20230035169A KR20230035169A (ko) 2023-03-13
KR102705807B1 true KR102705807B1 (ko) 2024-09-11

Family

ID=85513765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117565A KR102705807B1 (ko) 2021-09-03 2021-09-03 유전영동을 이용한 다중 세포 추적 방법

Country Status (1)

Country Link
KR (1) KR102705807B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001517521A (ja) * 1997-10-01 2001-10-09 アプライド スペクトラル イメージング リミテッド 眼のスペクトル生物画像診断
JP2007327843A (ja) 2006-06-07 2007-12-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2016133314A (ja) * 2015-01-15 2016-07-25 学校法人立命館 誘電泳動法を用いた細胞の判別方法及び装置、並びに、細胞の評価方法及び装置
WO2019244917A1 (ja) * 2018-06-19 2019-12-26 学校法人帝京大学 細胞の挙動の解析方法、およびその利用
WO2020218393A1 (ja) * 2019-04-26 2020-10-29 株式会社ニコン 細胞トラッキング方法、画像処理装置、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001517521A (ja) * 1997-10-01 2001-10-09 アプライド スペクトラル イメージング リミテッド 眼のスペクトル生物画像診断
JP2007327843A (ja) 2006-06-07 2007-12-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2016133314A (ja) * 2015-01-15 2016-07-25 学校法人立命館 誘電泳動法を用いた細胞の判別方法及び装置、並びに、細胞の評価方法及び装置
WO2019244917A1 (ja) * 2018-06-19 2019-12-26 学校法人帝京大学 細胞の挙動の解析方法、およびその利用
WO2020218393A1 (ja) * 2019-04-26 2020-10-29 株式会社ニコン 細胞トラッキング方法、画像処理装置、及びプログラム

Also Published As

Publication number Publication date
KR20230035169A (ko) 2023-03-13

Similar Documents

Publication Publication Date Title
Araújo et al. Deep learning for cell image segmentation and ranking
US10671833B2 (en) Analyzing digital holographic microscopy data for hematology applications
US12039796B2 (en) Method for classifying cells
CN107169556A (zh) 基于深度学习的干细胞自动计数方法
CN105825169B (zh) 一种基于道路影像的路面裂缝识别方法
US11488401B2 (en) Prostate cancer tissue image classification with deep learning
EP4248357A1 (en) Method for classifying cells
Mao et al. Iteratively training classifiers for circulating tumor cell detection
Rumetshofer et al. Human-level protein localization with convolutional neural networks
Arya et al. Cervical cancer detection using segmentation on pap smear images
Ersoy et al. Segmentation and classification of cell cycle phases in fluorescence imaging
KR102705807B1 (ko) 유전영동을 이용한 다중 세포 추적 방법
Kachouie et al. Watershed deconvolution for cell segmentation
Tikkanen et al. Training based cell detection from bright-field microscope images
Choi et al. A novel automatic segmentation and tracking method to measure cellular dielectrophoretic mobility from individual cell trajectories for high throughput assay
Schüffler et al. Computational TMA analysis and cell nucleus classification of renal cell carcinoma
Wang et al. A modified watersheds image segmentation algorithm for blood cell
Othman et al. Segmentation and feature extraction of lymphocytes WBC using microscopic images
Stoklasa et al. Automated cell segmentation in phase-contrast images based on classification and region growing
CN107798690A (zh) 用于活细胞中囊泡运动追踪的方法
Kachouie et al. Stem-cell localization: A deconvolution problem
Shirazi et al. A novel method for scanning electron microscope image segmentation and its application to blood cell analysis
Tello-Mijares Abnormal cervical cell nuclei identification using Spatial-Context-Saliency regions and two-level cascade classifiers
Mohammed et al. Advanced Convolutional Neural Network Approach for Fabric Defect Detection
KR20230106629A (ko) 생물학적 시료의 이미지를 분석하기 위한 계산 모델

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210903

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240318

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240829

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240906

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240906

End annual number: 3

Start annual number: 1

PG1601 Publication of registration