KR101928209B1 - 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체 - Google Patents

3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체 Download PDF

Info

Publication number
KR101928209B1
KR101928209B1 KR1020170105956A KR20170105956A KR101928209B1 KR 101928209 B1 KR101928209 B1 KR 101928209B1 KR 1020170105956 A KR1020170105956 A KR 1020170105956A KR 20170105956 A KR20170105956 A KR 20170105956A KR 101928209 B1 KR101928209 B1 KR 101928209B1
Authority
KR
South Korea
Prior art keywords
image
images
cell clusters
outline
cell
Prior art date
Application number
KR1020170105956A
Other languages
English (en)
Inventor
최수미
최예준
윤여진
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020170105956A priority Critical patent/KR101928209B1/ko
Application granted granted Critical
Publication of KR101928209B1 publication Critical patent/KR101928209B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06K9/00127—
    • G06K9/3233—
    • G06T5/006—
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체가 개시된다. 개시된 단말 장치는, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구현되는 프로세서:를 포함하되, 상기 프로세서는, 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받고, 상기 복수의 입력 영상을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하고, 상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 영상을 생성한다.

Description

3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체{Terminal apparatus, method and recording medium for restoring image of cell arranged in three dimensions, and a recording medium}
본 발명의 실시예들은 고가의 장비없이 빠르게 3차원으로 배치된 세포의 영상을 복원할 수 있는 단말 장치 및 방법과, 상기의 방법을 수행하는 기록 매체와 관련된 것이다.
최근 3차원으로 세포를 배양할 수 있게 됨으로써, 세포의 3차원 이동 경로나 부피를 관찰해야 될 필요성이 생겼다. 이를 관찰하기 위해서는 공초점 현미경이나 전자 현미경 등과 같이 단층 촬영이 가능한 특수한 현미경을 사용해야 된다.
하지만, 상기한 현미경들은 비용이 고가이며, 촬영에 시간이 오래 걸리는 단점이 있다. 반면, 일반적인 광학 현미경들은 촬영 시간이 적게 소모되지만, 단층 촬영이 불가능하기 때문에 3차원으로 배양된 세포의 이동 경로, 형태 내지 부피를 관찰할 수가 없는 단점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 고가의 장비없이 빠르게 3차원으로 배치된 세포의 영상을 복원할 수 있는 단말 장치 및 방법과, 상기의 방법을 수행하는 기록 매체를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구현되는 프로세서:를 포함하되, 상기 프로세서는, 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받고, 상기 복수의 입력 영상을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하고, 상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 영상을 생성하는 것을 특징으로 하는 단말 장치가 제공된다.
상기 프로세서는, 상기 복수의 출력 영상을 생성하기 위해, 상기 복수의 입력 영상 내의 세포 군집들의 외곽선을 산출하고, 상기 세포 군집들의 외곽선에 기초하여 상기 세포 군집의 높이의 중심 및 상기 세포 군집의 3차원 공간상의 위치를 추정하기 위한 상기 세포 군집들의 초점 추정값을 산출할 수 있다.
상기 프로세서는, 상기 세포 군집들의 외곽선 및 상기 세포 군집들의 초점 추정값을 이용하여, 상기 복수의 입력 영상 내의 상기 세포 군집들 각각에 대해 상기 세포 군집에 대한 외곽선 중 일부의 외곽선을 제거하거나 상기 세포 군집에 대한 외곽선의 길이를 조절함으로써 상기 복수의 출력 영상을 생성할 수 있다.
상기 프로세서는, 상기 복수의 입력 영상 내의 상기 세포 군집들의 추정 위치와 대응되는 관심 영역들이 표현된 하나의 관심 영역 영상을 생성하고, 상기 관심 영역 영상을 상기 복수의 입력 영상에 적용하며, 상기 복수의 입력 영상에 표현된 상기 관심 영역들을 이용하여 상기 세포 군집들의 외곽선을 추출할 수 있다.
상기 프로세서는, 상기 복수의 입력 영상 각각에 대해 정초점(in-focus)인 영상 부분을 추출하고, 상기 복수의 입력 영상 각각의 상기 정초점(in-focus)인 영상 부분을 결합하여 하나의 결합 영상을 생성하고, 상기 결합 영상에 대해 Circular Hough Transform 알고리즘을 적용하여 상기 관심 영역 영상을 생성할 수 있다.
상기 프로세서는, 상기 하나의 결합 영상에 대해 Canny Edge Detection 알고리즘 및 hole filling 알고리즘을 순차적으로 적용한 후에 상기 Circular Hough Transform 알고리즘을 적용하여 상기 관심 영역 영상을 생성할 수 있다.
상기 프로세서는, 상기 복수의 입력 영상 각각의 색상을 반전하고, 상기 색상이 반전된 복수의 입력 영상에 대해 상기 관심 영역 영상을 적용할 수 있다.
상기 프로세서는, 상기 관심 영역이 표현된 복수의 입력 영상에 대해 노이즈를 제거한 후에 상기 세포 군집들의 외곽선을 추출하되, Morphological Closing 알고리즘 및 Anisotropic Diffusion 알고리즘 중 적어도 하나를 이용하여 노이즈를 제거할 수 있다.
상기 프로세서는, 상기 복수의 입력 영상에 표현된 상기 관심 영역 각각에 대해, 상기 관심 영역의 중앙으로부터 광선을 전방향으로 방사하여 기 설정된 대역폭에 해당하는 기울기(gradient)의 코사인의 절대값의 평균값을 산출하고, 상기 절대값의 평균값 중 가장 높은 값을 가지는 평균값과 대응되는 영상 부분을 상기 세포 군집들의 외곽선으로 산출할 수 있다.
상기 프로세서는, 아래의 수학식으로 표현되는 MSBF(Modified Sliding Band Filter)를 적용하여 상기 관심 영역에서 상기 세포 군집들의 외곽선을 산출할 수 있다.
Figure 112017081012903-pat00001
여기서, x는 가로축의 인덱스, y는 세로축의 인덱스, N는 상기 광선의 개수, i는 상기 광선의 인덱스, Rmin는 상기 광선의 최소 방사 범위, Rmax는 상기 광선의 최대 방사 범위, d은 상기 대역폭의 범위,
Figure 112017081012903-pat00002
는 상기 기울기의 코사인의 절대값, m는 상기 광선의 범위의 어느 한 지점, n는 m에서 시작된 대역폭 안의 어느 한 지점, θ는 상기 광선 중 i번째 광선의 m 지점에 해당하는 영상의 기울기 값을 각각 의미함.
상기 초점 추정값은 상기 세포 군집들의 외곽선 성분을 산출하기 위한 기울기의 코사인의 절대값을 이용하여 산출될 수 있다.
상기 초점 추정값은 아래의 수학식과 같이 표현될 수 있다.
Figure 112017081012903-pat00003
여기서, FE(x, y)는 상기 초점 추정값, x는 가로축의 인덱스, y는 세로축의 인덱스, N는 상기 광선의 개수, i는 상기 광선의 인덱스, d은 상기 대역폭, m는 상기 광선의 범위의 어느 한 지점, nmax는 상기 대역폭에 포함되는 모든 픽셀의 기울기 크기와 상기 기울기의 코사인의 절대값의 곱에 대한 평균값이 최대인 대역폭의 중심, θ는 상기 광선 중 i번째 광선의 m 지점에 해당하는 영상의 기울기 값,
Figure 112017081012903-pat00004
는 상기 광선 중 i번째의 m지점에 해당하는 영상의 기울기의 크기,
Figure 112017081012903-pat00005
는 상기 기울기의 코사인의 절대값을 각각 의미함.
상기 프로세서는, 상기 복수의 입력 영상 각각의 상기 세포 군집의 초점 추정값 중 최대의 초점 추정값을 산출하고, 상기 최대의 초점 추정값을 가지는 세포 군집의 외곽선은 유지하고, 상기 최대의 초점 추정값보다 기 설정된 비율로 작은 초점 추정값을 가지는 세포 군집의 외곽선은 제거하고, 상기 기 설정된 비율보다 큰 초점 추정값을 가지는 세포 군집의 외곽선의 길이를 조절하되, 상기 하나의 입력 영상에 상기 세포 군집의 3차원의 중심이 존재할 수 있다.
상기 프로세서는, 아래의 수학식을 이용하여 상기 세포 군집의 외곽선의 길이를 조절할 수 있다.
Figure 112017081012903-pat00006
여기서, dxy는 상기 길이가 조절된 세포 군집의 외곽선의 x축/y의 길이의 증가치, dz는 상기 다초점 영상에 대한 상기 광학 현미경의 렌즈의 초점 길이의 증가치, θ는 상기 광학 현미경의 렌즈의 굴절 각도를 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 프로세서가 포함된 장치에서 수행되는 3차원 배양 세포에 대한 복원 영상을 생성하는 방법에 있어서, 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받는 단계; 상기 복수의 입력 영상을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하는 단계; 및 상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 영상을 생성하는 단계;를 포함하는 특징으로 하는 3차원 배양 세포에 대한 복원 영상 생성 방법이 제공된다.
또한, 본 발명의 또 다른 실시예에 따르면, 3차원 배양 세포에 대한 단층 영상 및 세포의 3차원 모델을 생성하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받는 단계; 상기 복수의 입력 영상을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하는 단계; 및 상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 모델을 생성하는 단계;를 수행하는 프로그램이 기록된 기록매체가 제공된다.
본 발명에 따르면, 고가의 장비없이 빠르게 3차원으로 배치된 세포의 영상을 복원할 수 있는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원으로 배치된 세포의 영상 복원 방법의 흐름도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원으로 배치된 세포의 영상 복원 방법의 파이프라인을 도시한 도면이다.
도 4 내지 도 12는 본 발명의 일 실시예에 따른 3차원으로 배치된 세포의 영상 복원의 개념을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
"제1", "제2" 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 단말 장치(100)는 입력부(110), 메모리(120), 프로세서(130) 및 디스플레이(140)를 포함한다.
입력부(110)는 사용자로부터 복수의 입력 영상을 입력받기 위한 구성요소이다. 일례로, 입력부(110)는 유선 또는 무선으로 복수의 입력 영상을 입력받을 수 있다. 이 때, 복수의 입력 영상은 아래에서 설명하는 바와 같이 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상(multi-focus images)일 수 있다.
메모리(120)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 단말 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장한다. 특히, 메모리(120)는 광학 현미경을 통해 획득된 복수의 입력 영상으로부터 3차원 배양 세포에 대한 복원 영상을 생성하는 컴퓨터 프로그램에 관계된 명령어 또는 데이터를 저장할 수 있다. 한편, 설명의 편의를 위해 "상기 컴퓨터 프로그램이 메모리(120)에 저장"하는 것으로 기재하였다.
프로세서(130)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서(130)는 단말 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 특히, 프로세서(130)는 상기 컴퓨터 프로그램의 실행에 관계된 명령을 실행할 수 있다.
디스플레이(140)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED) 등으로 구성될 수 있으며, 사용자에게 이미지를 표시할 수 있는 장치이다. 특히, 디스플레이(140)는 프로세서(140)에서 실행되는 상기 컴퓨터 프로그램의 실행 화면을 출력할 수 있다.
한편, 상기한 컴퓨터 프로그램은 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받고, 복수의 입력 영상을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하고, 복수의 출력 영상을 이용하여 3차원 배양 세포에 대한 복원 영상을 생성하는 동작을 수행하는 컴퓨터 프로그램이다.
이하, 도 2 내지 도 12를 참조하여, 단말 장치(100), 특히 프로세서(130)에서 수행되는 동작을 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 단말 장치(100)의 동작인 3차원으로 배치된 세포의 영상 복원 방법의 흐름도를 도시한 도면이다. 그리고, 도 3는 도 2에 도시된 방법에 대한 파이프라인을 도시한 도면이다.
이하, 도 2를 기준으로, 각 단계 별로 수행되는 과정을 상세하게 설명하기로 한다.
단계(202)에서, 입력부(110)는 광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받는다. 이 때, 3차원으로 배양된 세포는 형광 물질을 통해 채색될 수 있다.
즉, 복수의 입력 영상은 광학 현미경을 통해 3차원으로 배양된 세포를 촬영하여 획득된 영상이다. 이 때, 광학 현미경은 초점 거리의 조절이 가능하며, 복수의 입력 영상은 초점 거리가 서로 상이한 영상이다. 즉, 복수의 입력 영상은 광학 현미경의 초점 거리를 변경하면서 촬영한 다초점 영상이다.
도 4에서는 z축으로 초점의 깊이를 5μm씩 증가시키며 촬영한 50개의 x-y 축의 입력 영상을 도시하고 있다.
도 4를 참조하면, 복수의 입력 영상의 각각에는 다수 개의 세포 내지 세포 군집들이 포함될 수 있으며, 각각의 입력 영상에는 정초점(in-focus)인 세포 군집들과, 초점이 맞지 않는(out-focus) 세포 군집들이 포함될 수 있다. 그리고, 세포 군집들을 기준으로 보면, 각각의 하나의 세포 군집은 복수의 입력 영상 중 적어도 일부의 입력 영상에 포함될 수 있으며, 어떤 입력 영상에서는 해당 세포 군집이 정초점으로 표현될 수 있고, 다른 어떤 입력 영상에서는 해당 세포 군집의 초점이 맞지 않을 수 있다.
그리고, 단계(204) 내지 단계(208)는 3차원 배양 세포에 대한 복원 영상을 생성하기 위한 전처리 과정이다. 단계(204) 내지 단계(208)에 대해 상세하게 설명하면 다음과 같다.
단계(204)에서, 프로세서(130)는 복수의 입력 영상 내의 세포 군집들의 추정 위치와 각각 대응되는 관심 영역들(ROI, Region Of Interest)이 표현된 하나의 관심 영역 영상을 생성한다.
이 때, 프로세서(130)는 복수의 입력 영상 각각에 대해 정초점(in-focus)인 영상 부분을 추출하고, 복수의 입력 영상 각각의 정초점인 영상 부분을 결합하여 하나의 결합 영상을 생성하며, 결합 영상에 대해 Circular Hough Transform 알고리즘을 적용하여 하나의 관심 영역 영상을 생성할 수 있다.
보다 상세하게, 상기에서 언급한 바와 같이, 복수의 입력 영상은 기 설정된 깊이 별로 초점 거리를 변경시키며 촬영된 영상이며, 초점 깊이에 따라 블러(blur)가 발생하는 부분들이 존재하며, 원본의 입력 영상들을 그대로 사용하면 세포 군집들이 존재하는 관심 영역들을 정확하게 산출할 수 없다. 따라서, 프로세서(130)는 복수의 입력 영상 각각에 대해 정초점인 영상 부분을 결합하여 하나의 결합 영상을 생성한다. 일례로서, 프로세서(130)는 링 모양의 필터를 이용해 각각의 입력 영상에서 대략적으로 정초점이 된 부분을 추출할 수 있다. 이는 도 5에 도시된 바와 같다.
그 후, 프로세서(130)는 Circular Hough Transform 알고리즘을 적용하여 하나의 결합 영상에서 세포 군집의 추정 위치와 대응되는 복수의 관심 영역을 추출하고, 복수의 관심 영역이 모두 포함된 관심 영역 영상을 산출한다. 이 때, Circular Hough Transform 알고리즘은 당업자에게 자명한 것이므로, 자세한 내용은 생략하기로 한다.
한편, 프로세서(130)는 하나의 결합 영상에 대해 Canny Edge Detection 알고리즘 및 hole filling 알고리즘을 순차적으로 적용한 후에 Circular Hough Transform 알고리즘을 적용하여 관심 영역 영상을 생성할 수 있다. 도 6에서는 결합 영상에 Canny Edge Detection 알고리즘을 수행한 결과와(도 6의 (a)), Canny Edge Detection 알고리즘이 수행된 결합 영상에 hole filling 알고리즘을 수행한 결과와(도 6의 (b)), Canny Edge Detection 알고리즘 및 hole filling 알고리즘을 순차적으로 적용한 후에 Circular Hough Transform 알고리즘을 적용한 결과(도 6의 (c))를 각각 도시하고 있다.
그리고, 단계(206)에서, 프로세서(130)는 관심 영역 영상을 복수의 입력 영상 각각에 적용한다. 관심 영역 영상을 복수의 입력 영상 각각에 적용한 영상을 편의상 "복수의 제1 영상"으로 호칭하기로 한다.
이 때, 아래에서 설명하는 외곽선의 추출을 보다 효과적으로 수행하기 위해, 프로세서(130)는 복수의 입력 영상 각각의 색상을 반전하고, 색상이 반전된 복수의 입력 영상에 대해 관심 영역 영상을 적용하여 복수의 제1 영상을 생성할 수 있다.
그 후, 단계(208)에서, 프로세서(130)는 복수의 제1 영상에 대해 노이즈를 제거한다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 Morphological Closing 알고리즘 및 Anisotropic Diffusion 알고리즘 중 적어도 하나를 이용하여 노이즈를 제거할 수 있다.
보다 상세하게, Morphological Closing 알고리즘은 관심 영역의 형태를 유지하면서 노이즈를 제거하기 위한 기법으로서, 관심 영역에 Morphological Dilation을 적용한 후 Morphological Erosion을 적용함으로써 수행된다. 도 7에서는 Morphological Closing 알고리즘의 원리를 도시한 도면이다.
그리고, 도 8에서는 관심 영역 영상에 Morphological Closing 알고리즘을 적용하기 전(도 8의 (a))과 적용한 후(도 8의 (b))의 결과를 도시하고 있다.
그리고, 도 9을 참조하면, Morphological Closing 알고리즘을 적용한 경우 외부의 노이즈는 제거되었지만(도 9의 (a)), 세포 내부에 경계선이 발생한다. 이를 해결하기 위해, 프로세서(130)는 Anisotropic Diffusion 알고리즘 알고리즘을 이용하여 세포 내의 경계선 부분을 제거한다. 도 10에서는 Morphological Closing 알고리즘을 적용한 영상(도 10의 (a)) 및 Morphological Closing 알고리즘이 적용된 영상에 Anisotropic Diffusion 알고리즘을 적용한 영상(도 10의 (b))을 각각 도시하고 있다.
그리고, Anisotropic Diffusion 알고리즘은 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112017081012903-pat00007
여기서, I는 이미지, ▽는 경사(gradient), △는 가우시안 커널, c는 diffuse coefficient, x는 영상의 가로축의 인덱스, y는 영상의 세로축의 인덱스, t는 Anisotropic Diffusion의 반복 횟수를 각각 의미하며, diffuse coefficient는 아래의 수학식 2와 같이 표현될 수 있다.
Figure 112017081012903-pat00008
여기서, K는 diffuse coefficient의 KAAPA를 의미한다.
한편, 상기에서 언급한 바와 같이, 단계(204) 내지 단계(208)를 통해 영상이 전처리된 후 아래와 같은 단계들이 수행된다.
단계(210)에서, 프로세서(130)는 노이즈가 제거된 복수의 제1 영상에 표현된 관심 영역들을 이용하여 세포 군집들 각각의 외곽선을 산출한다. 복수의 제1 영상에 세포 군집들의 외곽선이 표현된 영상을 편의상 "복수의 제2 영상"으로 호칭하기로 한다.
본 발명의 일 실시예에 따르면, 프로세서(130)는 복수의 제1 영상 각각에 표현된 관심 영역 각각에 대해, 관심 영역의 중앙으로부터 광선(Ray)을 전방향(360°방향)으로 방사하여 기 설정된 대역폭(d)에 해당하는 기울기(gradient)의 코사인의 절대값의 평균값을 산출하고, 상기한 절대값의 평균값 중 가장 높은 값을 갖는 평균값과 대응되는 영상 부분을 세포 군집들의 외곽선으로 산출할 수 있다. 이 때, 프로세서(130)는 복수의 제1 영상으로부터 복수의 제2 영상을 생성할 수 있으며, 복수의 제2 영상 각각에는 상기에서 설명한 세포 군집들의 외곽선이 포함된다. 그리고, 상기한 기울기의 코사인의 절대값의 평균값은 복수의 제1 영상 각각의 convergence factor의 평균값 및 inconvergence factor의 평균값일 수 있다.
일례로서, 프로세서(130)는 복수의 제1 영상에 대해 아래의 수학식 3으로 표현되는 MSBF(Modified Sliding Band Filter)를 적용하여 각각의 관심 영역에서 세포 군집들의 외곽선을 산출할 수 있다.
Figure 112017081012903-pat00009
여기서, x는 영상의 가로축의 인덱스, y는 영상의 세로축의 인덱스, N는 광선의 개수, i는 광선의 인덱스, Rmin는 광선의 최소 방사 범위, Rmax는 광선의 최대 방사 범위, d은 상기 대역폭의 범위,
Figure 112017081012903-pat00010
는 상기 기울기의 코사인의 절대값, m는 광선의 범위의 어느 한 지점, n는 m에서 시작된 대역폭 안의 어느 한 지점, θ는 광선 중 i번째 광선의 m 지점에 해당하는 영상의 기울기 값을 각각 의미한다.
계속하여, 단계(212)에서, 프로세서(130)는 복수의 제2 영상에 표현된 세포 군집들의 외곽선에 기초하여 세포 군집들의 초점 추정값을 산출할 수 있다.
그리고, 단계(214)에서, 프로세서(130)는 세포 군집들의 외곽선 및 세포 군집들의 초점 추정값을 이용하여, 복수의 입력 영상 내의 세포 군집들 각각에 대해 세포 군집에 대한 외곽선 중 일부의 외곽선을 제거하거나 세포 군집에 대한 외곽선의 길이를 조절한다. 이에 따라, 복수의 출력 영상이 생성된다.
보다 상세하게, 초점 추정값은 복수의 제2 영상 내에서 세포 군집들의 높이의 중심 및 세포 군집들의 3차원 공간상의 위치를 추정하기 위한 값으로서, 프로세서(130)는 세포 군집들의 외곽선 성분을 산출하기 위한 기울기의 코사인의 절대값을 이용하여 초점 추정값을 산출될 수 있다.
본 발명의 일 실시예에 따르면, 초점 추정값은 아래의 수학식 4와 같이 표현될 수 있다.
Figure 112017081012903-pat00011
여기서, FE(x, y)는 초점 추정값, nmax는 대역폭에 포함되는 모든 픽셀의 기울기 크기와 상기 기울기의 코사인의 절대값의 곱에 대한 평균값이 최대인 대역폭의 중심,
Figure 112017081012903-pat00012
는 광선 중 i번째의 m지점에 해당하는 영상의 기울기의 크기를 각각 의미한다.
그리고, 상기에서도 설명한 바와 같이, 세포 군집들을 기준으로, 하나의 세포 군집은 복수의 입력 영상(제2 영상) 중 적어도 일부의 입력 영상에 포함될 수 있으며, 적어도 일부의 입력 영상 중 하나의 입력 영상에는 세포 군집의 3차원의 z축의 중심이 존재한다. 따라서, 프로세서(130)는, 복수의 입력 영상 각각의 세포 군집의 초점 추정값 중 최대의 초점 추정값을 산출한다. 이 때, 최대의 값을 갖는 추정 추정값을 포함하는 하나의 입력 영상에 3차원의 z축의 중심이 존재한다.
도 10에서는 입력 영상들에 대한 깊이 파라미터를 산출하여 세포 군집의 중심이 존재하는 하나의 입력 영상을 산출하는 일례를 도시하고 있다. 도 10을 참조하면, 해당 세포 군집의 초점 추정값 중에서 최대값을 가지는 최대인 39번째 입력 영상(제2 영상)에 해당 세포 군집의 중심이 존재하는 것을 확인할 수 있다.
그 후, 프로세서(130)는, 최대의 초점 추정값을 가지는 세포 군집의 외곽선은 유지하고, 최대의 초점 추정값보다 기 설정된 비율로 작은 초점 추정값을 가지는 세포 군집의 외곽선은 제거하고, 상기 기 설정된 비율보다 큰 초점 추정값을 가지는 세포 군집의 외곽선의 길이를 조절할 수 있다.
보다 상세하게, 초점 추정값을 이용하여 해당 세포 군집이 정초점이 된 깊이를 추정한 결과는, 상기 중심인 깊이에서 획득한 세포 군집의 외곽선 및 광학 현미경의 개구수(NA, Numerical Aperture)을 응용하여 세포 군집의 z축 변화에 따른 외곽선의 축소율 예측이 가능하다. 또한, 최대값을 가지는 초점 추정값을 통해 해당 관심 영역 내의 세포 군집의 최대 높이를 확인할 수 있다.
한편, 광학 현미경의 NA는 세포 군집의 외곽선을 줄여나가기 위해 사용될 광학 현미경의 렌즈의 굴절 각도를 구하는 지표로 사용된다. 도 11에서는 광학 현미경의 렌즈의 굴절 각도(θ)에 대해 영상면(image plane)에 상이 어떻게 맺히는지는 설명해 주고 있다. 도 11을 참조하면, 광학 현미경의 렌즈의 굴절 각도(θ)는 미리 설정되어 있는 광학 현미경의 NA를 이용하여 산출한다. 광학 현미경의 NA는 아래의 수학식 5와 같이 표현된다.
Figure 112017081012903-pat00013
여기서, n는 렌즈의 굴절률을 의미한다.
이 때, 렌즈의 굴절 각도(θ)에 따라 초점이 영상면 상에서 멀어질수록 영상면 상에 맺히는 히트 포인트(hit point)와 렌즈의 중앙 선분과의 거리가 멀어지게 된다. 여기서, 히트 포인트는 빛이 렌즈를 거쳐 영상면에 도달하는 지점을 의미한다.
위와 같은 원리로, 물체의 거리에 따라 광학 현미경의 영상에서 블러가 발생한다. 즉, 깊이에 따른 영상면에 맺힌 상의 x축 및 y축을 기준으로, 증가된 수치만큼 이미지의 외곽선(초점 추정값가 최대치인 깊이에 해당 되는 외곽선)을 줄인다면，깊이를 고려한 해당 세포 군집의 외곽선을 획득할 수 있다.
따라서, 광학 현미경의 NA를 알고 있다면，수학식 5를 통해 렌즈의 굴절 각도(θ)를 산출할 수 있고, 산출된 렌즈의 굴절 각도(θ)를 이용하여 수학식 6에 따라 세포 군집의 외곽선의 길이를 조절할 수 있다.
Figure 112017081012903-pat00014
여기서, dxy는 조절된 세포 군집들의 외곽선의 x축 및 y의 길이의 증가치, dz는 다초점 영상에 대한 광학 현미경의 렌즈의 초점 길이의 증가치(일례로, 5μm), θ는 광학 현미경의 렌즈의 굴절 각도를 각각 의미한다.
즉, 수학식 6을 통해 산출된 획득한 dxy를 이용하여 복수의 입력 영상 별로 외곽선의 길이를 조절한다. 이 때, 프로세서(130)는 세포 군집의 3차원의 중심이 존재하는 하나의 입력 영상의 초점 추정값(최대의 초점 추정값)의 기 설정된 비율, 일례로 90% 미만인 초점 추정값을 가진 적어도 하나의 입력 영상에 대한 세포 군집의 외곽선은 제거할 수 있다.
도 12에서는 하나의 세포 군집에 대한 외곽선을 길이를 조절하는 일례를 도시한 도면이다.
마지막으로, 단계(216)에서, 프로세서(130)는 복수의 출력 영상을 이용하여 3차원 배양 세포에 대한 복원 영상을 생성한다.
도 13에서는 복수의 출력 영상을 이용하여 3차원 배양 세포에 대한 복원 영상을 생성하는 일례의 개념을 도시한 도면이다.
도 13을 참조하면, 프로세서(130)는 VTK(Visualization Tool Kit)를 이용하여 50개의 출력 영상으로부터 3차원 배양 세포에 대한 복원 영상을 생성할 수 있다.
먼저, 프로세서(130)는 깊이가 고려된 50개의 입력 영상 각각의 세포 군집의 외곽선 이미지를 vtkImageReader로 읽어드린다. 그리고, 해당 외곽선 이미지 데이터들은 vtkThreadedImageAlgorithm을 통해 3차원으로 가시화하기 위해 사용되는 데이터인 slice data로 변형 시키고 vtkImageData에 저장한다. 이 때, 저장된 이미지 데이터는 x, y, z를 각각 영상을 촬영했을 당시 설정했던 값(1μm, 1μm, 5μm)으로 설정한다.
모델 정보 세팅 부분에서는 획득한 vtkImageData를 이용하여 MarchingCube interpolation을 통해 각 이미지의 stack 사이를 보간한다. 이 후, vtkWindowedSincPolyDataFilter를 통해 앞서 획득한 보간된 데이터를 기반으로 poly data를 생성한다. 이 후, vtkPolyDataNormals와 vtkStripper를 통해 각 normal 정보와 face정보를 생성하고, vtkPolyDataConnectivityFilter를 통해 Poly data를 하나로 연결하여 Rendering에 사용될 vtkMapper에 저장한다.
Rendering 부분에서는 vtkMapper의 데이터를 vtkActor에 저장한 후 최종적으로 Rendering을 한다.
최종 결과인 3차원 형태 복원 결과는 차후 vtkProp에 자동으로 계산되어 저장된 데이터를 기반으로 vertex의 개수뿐만 아니라 voxel기준으로 부피를 구할 수가 있다. 이는 수학식 7과 같이 표현될 수 있다.
Figure 112017081012903-pat00015
이 때, Kx는 (surface의 x normal의 총 개수)/(surface의 모든 normal의 총 개수)이며, ?Volx는 (모델의 triangle당 face의 vertex x좌표들의 합/3)*(face의 면적)*(face의 normal값)이다. Ky, Kz, Voly, Volz는 Kx, Volx과 동일하다. 수학식 7은 VTK의 property에서 자동적으로 구해진다.
정리하면, 본 발명은 일반적으로 사용하는 광학 현미경을 사용하여 초점이 변경되는 복수의 입력 영상, 즉 복수의 다초점 영상을 획득하고, 복수의 다초점 영상을 복수의 단층 영상으로 활용함으로써 3차원 배양 세포에 대한 복원 영상을 생성할 수 있다. 이에 따라 고가의 장비없이 빠르게 3차원으로 배치된 세포의 영상을 복원할 수 있는 장점이 있다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 단말 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및
    상기 명령을 실행하도록 구현되는 프로세서:를 포함하고,
    상기 프로세서는,
    광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상 각각에 대해 상기 입력 영상 내에 세포 군집들의 추정 위치와 대응되는 관심 영역을 표현하며, 상기 복수의 입력 영상에 표현된 상기 관심 영역의 중앙으로부터 광선을 전방향으로 방사하여 기 설정된 대역폭에 해당하는 기울기의 코사인의 절대값의 평균값을 산출하고, 상기 절대값의 평균값 중 가장 높은 값을 가지는 평균값과 대응되는 영상 부분을 상기 세포 군집들의 외곽선으로 산출하고,
    상기 세포 군집들의 외곽선에 기초하여 상기 세포 군집들의 초점 추정값을 추정하고, 상기 세포 군집들의 외곽선 및 상기 세포 군집들의 초점 추정값을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하고, 상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 영상을 생성하는 것을 특징으로 하는 단말 장치.
  2. 제1항에 있어서,
    상기 세포 군집들의 초점 추정값은 상기 세포 군집의 높이의 중심 및 상기 세포 군집의 3차원 공간상의 위치를 추정하기 위한 값인 것을 특징으로 하는 단말 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 세포 군집들의 외곽선 및 상기 세포 군집들의 초점 추정값을 이용하여, 상기 복수의 입력 영상 내의 상기 세포 군집들 각각에 대해 상기 세포 군집에 대한 외곽선 중 일부의 외곽선을 제거하거나 상기 세포 군집에 대한 외곽선의 길이를 조절함으로써 상기 복수의 출력 영상을 생성하는 것을 특징으로 하는 단말 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 복수의 입력 영상 내의 상기 세포 군집들의 추정 위치와 대응되는 관심 영역들이 표현된 하나의 관심 영역 영상을 생성하고, 상기 관심 영역 영상을 상기 복수의 입력 영상에 적용하여 상기 복수의 입력 영상에 상기 관심 영역을 표현하는 것을 특징으로 하는 단말 장치.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 복수의 입력 영상 각각에 대해 정초점(in-focus)인 영상 부분을 추출하고, 상기 복수의 입력 영상 각각의 상기 정초점(in-focus)인 영상 부분을 결합하여 하나의 결합 영상을 생성하고, 상기 결합 영상에 대해 Circular Hough Transform 알고리즘을 적용하여 상기 관심 영역 영상을 생성하는 것을 특징으로 하는 단말 장치.
  6. 제5항에 있어서,
    상기 프로세서는, 상기 하나의 결합 영상에 대해 Canny Edge Detection 알고리즘 및 hole filling 알고리즘을 순차적으로 적용한 후에 상기 Circular Hough Transform 알고리즘을 적용하여 상기 관심 영역 영상을 생성하는 것을 특징으로 하는 단말 장치.
  7. 제4항에 있어서,
    상기 프로세서는, 상기 복수의 입력 영상 각각의 색상을 반전하고, 상기 색상이 반전된 복수의 입력 영상에 대해 상기 관심 영역 영상을 적용하는 것을 특징으로 하는 단말 장치.
  8. 제4항에 있어서,
    상기 프로세서는, 상기 관심 영역이 표현된 복수의 입력 영상에 대해 노이즈를 제거한 후에 상기 세포 군집들의 외곽선을 추출하되, Morphological Closing 알고리즘 및 Anisotropic Diffusion 알고리즘 중 적어도 하나를 이용하여 노이즈를 제거하는 것을 특징으로 하는 단말 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 프로세서는, 아래의 수학식으로 표현되는 MSBF(Modified Sliding Band Filter)를 적용하여 상기 관심 영역에서 상기 세포 군집들의 외곽선을 산출하는 것을 특징으로 하는 단말 장치.
    Figure 112018079070613-pat00016

    여기서, x는 가로축의 인덱스, y는 세로축의 인덱스, N는 상기 광선의 개수, i는 상기 광선의 인덱스, Rmin는 상기 광선의 최소 방사 범위, Rmax는 상기 광선의 최대 방사 범위, d은 상기 대역폭의 범위,
    Figure 112018079070613-pat00017
    는 상기 기울기의 코사인의 절대값, m는 상기 광선의 범위의 어느 한 지점, n는 m에서 시작된 대역폭 안의 어느 한 지점, θ는 상기 광선 중 i번째 광선의 m 지점에 해당하는 영상의 기울기 값을 각각 의미함.
  11. 제10항에 있어서,
    상기 초점 추정값은 상기 세포 군집들의 외곽선 성분을 산출하기 위한 기울기의 코사인의 절대값을 이용하여 산출되는 것을 특징으로 하는 단말 장치.
  12. 제11항에 있어서,
    상기 초점 추정값은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.

    Figure 112017081012903-pat00018


    여기서, FE(x, y)는 상기 초점 추정값, x는 가로축의 인덱스, y는 세로축의 인덱스, N는 상기 광선의 개수, i는 상기 광선의 인덱스, d은 상기 대역폭, m는 상기 광선의 범위의 어느 한 지점, nmax는 상기 대역폭에 포함되는 모든 픽셀의 기울기 크기와 상기 기울기의 코사인의 절대값의 곱에 대한 평균값이 최대인 대역폭의 중심, θ는 상기 광선 중 i번째 광선의 m 지점에 해당하는 영상의 기울기 값,
    Figure 112017081012903-pat00019
    는 상기 광선 중 i번째의 m지점에 해당하는 영상의 기울기의 크기,
    Figure 112017081012903-pat00020
    는 상기 기울기의 코사인의 절대값을 각각 의미함.
  13. 제3항에 있어서,
    상기 프로세서는, 상기 복수의 입력 영상 각각의 상기 세포 군집의 초점 추정값 중 최대의 초점 추정값을 산출하고, 상기 최대의 초점 추정값을 가지는 세포 군집의 외곽선은 유지하고, 상기 최대의 초점 추정값보다 기 설정된 비율로 작은 초점 추정값을 가지는 세포 군집의 외곽선은 제거하고, 상기 기 설정된 비율보다 큰 초점 추정값을 가지는 세포 군집의 외곽선의 길이를 조절하되,
    상기 복수의 입력 영상 중 하나의 입력 영상에 상기 세포 군집의 3차원의 중심이 존재하는 것을 특징으로 하는 단말 장치.
  14. 제13항에 있어서,
    상기 프로세서는, 아래의 수학식을 이용하여 상기 세포 군집들의 외곽선의 길이를 조절하는 것을 특징으로 하는 단말 장치.

    Figure 112017081012903-pat00021


    여기서, dxy는 상기 길이가 조절된 세포 군집의 외곽선의 x축/y의 길이의 증가치, dz는 상기 다초점 영상에 대한 상기 광학 현미경의 렌즈의 초점 길이의 증가치, θ는 상기 광학 현미경의 렌즈의 굴절 각도를 각각 의미함.
  15. 프로세서가 포함된 장치에서 수행되는 3차원 배양 세포에 대한 복원 영상을 생성하는 방법에 있어서,
    광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받는 단계;
    상기 복수의 입력 영상 각각에 대해 상기 입력 영상 내에 세포 군집들의 추정 위치와 대응되는 관심 영역을 표현하는 단계;
    상기 복수의 입력 영상에 표현된 상기 관심 영역의 중앙으로부터 광선을 전방향으로 방사하여 기 설정된 대역폭에 해당하는 기울기의 코사인의 절대값의 평균값을 산출하고, 상기 절대값의 평균값 중 가장 높은 값을 가지는 평균값과 대응되는 영상 부분을 상기 세포 군집들의 외곽선으로 산출하는 단계;
    상기 세포 군집들의 외곽선에 기초하여 상기 세포 군집들의 초점 추정값을 추정하는 단계;
    상기 세포 군집들의 외곽선 및 상기 세포 군집들의 초점 추정값을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하는 단계; 및
    상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 영상을 생성하는 단계;를 포함하는 특징으로 하는 3차원 배양 세포에 대한 복원 영상 생성 방법.
  16. 3차원 배양 세포에 대한 복원 영상을 생성하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    광학 현미경을 통해 획득된 3차원 배양 세포에 대한 다초점 영상인 복수의 입력 영상을 입력받는 단계;
    상기 복수의 입력 영상 각각에 대해 상기 입력 영상 내에 세포 군집들의 추정 위치와 대응되는 관심 영역을 표현하는 단계;
    상기 복수의 입력 영상에 표현된 상기 관심 영역의 중앙으로부터 광선을 전방향으로 방사하여 기 설정된 대역폭에 해당하는 기울기의 코사인의 절대값의 평균값을 산출하고, 상기 절대값의 평균값 중 가장 높은 값을 가지는 평균값과 대응되는 영상 부분을 상기 세포 군집들의 외곽선으로 산출하는 단계;
    상기 세포 군집들의 외곽선에 기초하여 상기 세포 군집들의 초점 추정값을 추정하는 단계;
    상기 세포 군집들의 외곽선 및 상기 세포 군집들의 초점 추정값을 이용하여 복수의 단층 영상과 대응되는 복수의 출력 영상을 생성하는 단계; 및
    상기 복수의 출력 영상을 이용하여 상기 3차원 배양 세포에 대한 복원 영상을 생성하는 단계;를 수행하는 프로그램이 기록된 기록매체.
KR1020170105956A 2017-08-22 2017-08-22 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체 KR101928209B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170105956A KR101928209B1 (ko) 2017-08-22 2017-08-22 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170105956A KR101928209B1 (ko) 2017-08-22 2017-08-22 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체

Publications (1)

Publication Number Publication Date
KR101928209B1 true KR101928209B1 (ko) 2019-02-26

Family

ID=65562491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170105956A KR101928209B1 (ko) 2017-08-22 2017-08-22 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체

Country Status (1)

Country Link
KR (1) KR101928209B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002535717A (ja) * 1999-01-22 2002-10-22 キュー・スリー・ディ・エム・リミテッド・ライアビリティ・カンパニー 高解像度顕微鏡法における連続画像収集に対する自動オン・ザ・フライ焦点合わせ
JP2004054347A (ja) * 2002-07-16 2004-02-19 Fujitsu Ltd 画像処理方法、画像処理プログラムおよび画像処理装置
JP2013050762A (ja) * 2011-08-30 2013-03-14 Mega Chips Corp 線分および円弧検出装置
KR20160025856A (ko) * 2014-08-28 2016-03-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2017090447A (ja) * 2015-11-04 2017-05-25 ▲れい▼達科技股▲ふん▼有限公司Ｌｅａｄｏｔ Ｉｎｎｏｖａｔｉｏｎ， Ｉｎｃ． ３次元外形情報検知システム及び検知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002535717A (ja) * 1999-01-22 2002-10-22 キュー・スリー・ディ・エム・リミテッド・ライアビリティ・カンパニー 高解像度顕微鏡法における連続画像収集に対する自動オン・ザ・フライ焦点合わせ
JP2004054347A (ja) * 2002-07-16 2004-02-19 Fujitsu Ltd 画像処理方法、画像処理プログラムおよび画像処理装置
JP2013050762A (ja) * 2011-08-30 2013-03-14 Mega Chips Corp 線分および円弧検出装置
KR20160025856A (ko) * 2014-08-28 2016-03-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2017090447A (ja) * 2015-11-04 2017-05-25 ▲れい▼達科技股▲ふん▼有限公司Ｌｅａｄｏｔ Ｉｎｎｏｖａｔｉｏｎ， Ｉｎｃ． ３次元外形情報検知システム及び検知方法

Similar Documents

Publication Publication Date Title
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US9082224B2 (en) Systems and methods 2-D to 3-D conversion using depth access segiments to define an object
KR101502362B1 (ko) 영상처리 장치 및 방법
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
US9495755B2 (en) Apparatus, a method and a computer program for image processing
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080225045A1 (en) Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
US20080226181A1 (en) Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images
US20080225042A1 (en) Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
US20080226160A1 (en) Systems and methods for filling light in frames during 2-d to 3-d image conversion
US20080226128A1 (en) System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
US8599199B2 (en) Stereoscopic image generation method of background terrain scenes, system using the same, and recording medium for the same
CN115546371A (zh) 点云优化方法、系统、电子设备及存储介质
KR101928209B1 (ko) 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체
CN113256818A (zh) 基于不连续性检测的可度量细粒度遮挡去除可视化方法
Fernandes et al. Improving focus measurements using logarithmic image processing
CN111260712A (zh) 一种基于重聚焦极线图邻域分布的深度估计方法和装置
Kubota et al. All-focused light field rendering.
Muhammad et al. A novel method for shape from focus in microscopy using Bezier surface approximation
Herling Advanced real-time manipulation of video streams
Voronin et al. Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting
Ahmed et al. Enhancement of depth map through weighted combination of guided image filters in shape-from-focus
Jung et al. All-in-focus and multi-focus color image reconstruction from a database of color and depth image pairs
Benzarti et al. Repairing and Inpainting Damaged Images using Diffusion Tensor