KR101033632B1 - 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법 - Google Patents

그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법 Download PDF

Info

Publication number
KR101033632B1
KR101033632B1 KR1020080096417A KR20080096417A KR101033632B1 KR 101033632 B1 KR101033632 B1 KR 101033632B1 KR 1020080096417 A KR1020080096417 A KR 1020080096417A KR 20080096417 A KR20080096417 A KR 20080096417A KR 101033632 B1 KR101033632 B1 KR 101033632B1
Authority
KR
South Korea
Prior art keywords
electron microscope
image
image data
microscope image
grid
Prior art date
Application number
KR1020080096417A
Other languages
English (en)
Other versions
KR20100046076A (ko
Inventor
최동훈
황순욱
남덕윤
김남규
이준학
조금원
변옥환
신영길
염헌영
이호
김은성
최상수
이현나
권희석
정원구
이지영
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020080096417A priority Critical patent/KR101033632B1/ko
Publication of KR20100046076A publication Critical patent/KR20100046076A/ko
Application granted granted Critical
Publication of KR101033632B1 publication Critical patent/KR101033632B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/04—Arrangements of electrodes and associated parts for generating or controlling the discharge, e.g. electron-optical arrangement or ion-optical arrangement
    • H01J37/147—Arrangements for directing or deflecting the discharge along a desired path
    • H01J37/1471—Arrangements for directing or deflecting the discharge along a desired path for centering, aligning or positioning of ray or beam
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/20—Means for supporting or positioning the object or the material; Means for adjusting diaphragms or lenses associated with the support
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/30—Electron-beam or ion-beam tubes for localised treatment of objects
    • H01J37/304—Controlling tubes by information coming from the objects or from the beam, e.g. correction signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/32—Gas-filled discharge tubes
    • H01J37/32917—Plasma diagnostics
    • H01J37/32926—Software, data control or modelling
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244—Detection characterized by the detecting means
    • H01J2237/2446—Position sensitive detectors
    • H01J2237/2447—Imaging plates

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템 및 방법에 관한 것으로서, 투과전자현미경 영상을 통하여 얻어진 이차원투영 영상을 삼차원 입체 영상으로 가시화하기 위한 그리드 컴퓨팅 기반의 영상 렌더링 시스템 및 그 방법에 관한 것이다.
상기와 같은 본 발명의 목적을 달성하기 위한 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템은, 그리드 컴퓨팅 기반의 렌더링 서버에 접속하여 투과전자현미경 영상의 렌더링을 수행하기 위한 사용자 인터페이스를 포함하는 사용자 단말; 상기 사용자 단말로부터의 작업 요청에 따라 상기 투과전자현미경 영상에 대한 렌더링을 수행하는 그리드 컴퓨팅 기반의 렌더링 서버; 상기 투과전자현미경 영상 데이터를 저장하며, 상기 사용자 단말과 연결되어 상기 투과전자현미경 영상 데이터를 전송하고, 상기 사용자 단말로부터 렌더링된 결과물을 전송받아 저장하는 데이터 그리드; 를 포함하여 구성되는 것을 특징으로 한다.
그리드 컴퓨팅, 영상정렬, 삼차원 재구성, 분할도구, 가시화, 병렬화

Description

그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템 및 방법{System and method for rendering images of a transmission electron microscope using GRID computing architecture}
본 발명은 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 투과전자현미경 영상을 통하여 얻어진 이차원투영 영상을 삼차원 입체 영상으로 가시화하기 위한 그리드 컴퓨팅 기반의 영상 렌더링 시스템 및 그 방법에 관한 것이다.
초고전압 투과전자현미경은 분해능이 매우 뛰어나서 시료를 구성하고 있는 마이크론 이하의 미세 조직까지 수십만 배 이상으로 확대하여 관찰할 수 있는 첨단 영상 기기로 특히 의료 및 생물 분야에서 매우 중요한 위치를 차지하고 있다. 투과전자현미경을 통하여 얻어지는 영상들은 도 1에 도시된 바와 같이 시판의 경사 축을 일정한 간격으로 회전시키고 해당 각도에서 고 전압의 전자 빔이 실험 재료를 투과하게 함으로써 다양한 방향에서 획득된 여러 장의 투영 영상들로 구성된다. 그러나 이러한 투영 영상들만으로는 시료의 입체적인 형태를 직관적으로 해석하기에는 한계를 지니고 있기 때문에 삼차원 재구성 알고리즘을 적용하여 시료의 공간적 인 위치를 파악할 수 있는 단층 영상을 생성하게 된다. 그러나 투과전자현미경 영상은 영상 촬영 시에 일어나는 사용자의 간섭 및 시판 회전 시 일어나는 기계적인 오차로 인해 열화된 단층 영상을 생성할 수 있는 요인들을 가지고 있다. 예를 들어, 시판의 경사 축이 회전할 때마다 시판의 관심 영역이 전자 빔이 노출되는 가시권 범위에 포함 될 수 있도록 사용자는 시판의 위치를 이동하게 될 뿐만 아니라 해당 경사 축에서 관심 영역이 보다 잘 관찰될 수 있도록 현미경 배율을 조절하게 된다. 심지어 시판의 경사 축이 일정한 각도로 회전할지라도 미세한 기계적인 오차가 발생하게 된다. 따라서 정교한 삼차원 단층 영상을 생성하기 위해서는 획득된 투영 영상들을 보정하기 위한 영상 정합 기술이 선행되어야 한다.
또한 적은 수의 투영 영상을 가지고 재구성된 단층 영상은 일부 경계가 끊기거나 모호한 경계가 존재할 수 있기 때문에 사용자는 관심 있는 영역의 윤곽선을 수동으로 분할 한 후에 분할된 관심영역의 윤곽선을 가지고 기존 표면 기반 렌더링 기법을 적용함으로써 삼차원 입체 영상을 가시화하게 된다.
이러한 투과 전자현미경 영상을 위한 영상정렬, 삼차원 재구성, 수작업 분할도구, 가시화 기능 등을 통합한 응용 소프트웨어가 국내외 생의학 영상 관련업체와 대학연구소를 중심으로 개발 및 연구되고 있다. 그러나 이러한 소프트웨어들은 단일 컴퓨터에서 처리하기 때문에 처리속도가 느릴 뿐만 아니라 데이터 크기로 인한 메모리제약이 있으며 사용자와의 빈번한 상호작용을 요구한다. 또한 시스템을 사용하는 사용자들끼리의 정보공유도 원할 하지 않는 단점들이 있다. 이들을 기능적으로 분석하면 다음과 같다.
첫째, 영상정렬 기능은 표식기 기반(marker based) 기법과 비표식기 기반(non-marker based) 기법으로 구분된다. 표식기 기반 기법은 시료에 전자 빔이 투과되지 않는 금가루 등을 첨가한 후에 영상을 촬영함으로써 이 금가루를 표식기로 추출하고 이를 바탕으로 정렬을 시도한다. 이러한 방법들은 비교적 정확한 정합 결과를 제공하기 때문에 투과전자현미경 영상 정렬에서 보편적으로 사용되고 있다. 이러한 표식기 기반 영상정렬 기법은 전체영상의 화소들을 가지고 상호상관 관계 기법을 적용하여 대략적으로 정렬한 후에 사용자가 특정 각도에서 금가루의 위치를 선택한 후에 이 초기 위치를 기반으로 하여 이웃 영상에서 대응되는 금가루의 위치를 추적하게 된다. 대응되는 금가루의 삼차원 위치를 계산하여 정확도를 계산하게 되고 정확도가 임계값 이하인 경우에는 사용자가 다시 금가루의 위치를 미세하게 제어하도록 하여 정합과정을 반복하게 된다. 이러한 접근 기법은 오랜 시간동안 사용자의 빈번한 상호작용(interaction)이 요구되기 때문에 사용자에게 과다한 피로감을 준다. 반면에 비표식기 기반 자동 영상정렬기법은 금가루에 관계없이 전체 영상의 화소들을 가지고 상호상관(cross-correlation) 관계를 계산하여 유사도가 가장 큰 전역 위치를 탐색하는 연구가 진행되었다. 그러나 변환관계를 상하좌우만 고려하기 때문에 정확한 정합보다는 대략적인 초기 정합을 위해 사용된다. 따라서 영상정렬 과정은 시간이 많이 걸리고 까다로운 부분이 되는 만큼 이 부분에 관한 개선이 요구된다.
둘째, 삼차원 재구성 기능 역시 사용자가 재구성하고자 하는 영역을 사용자 입력을 통해 상하좌우 위치를 선택하고 선택된 영역 내에서 삼차원 재구성이 수행 된다. 또한 삼차원 재구성 알고리즘은 영상의 수가 많을수록 보다 정교한 삼차원 재구성이 가능하게 되지만 수행 시간이 오래 걸리는 단점을 가지게 된다. 더욱이 단일 컴퓨터의 메모리 제약으로 인해 재구성할 단면 영상의 개수가 제한된다.
셋째, 표면 기반 렌더링을 이용하여 관심영역 가시화를 위해서는 관심영역의 윤곽선 추출을 위한 정교한 수작업 분할과정이 요구된다. 이러한 수작업 분할 과정은 단일 컴퓨터상에서 사용할 경우 사용자의 상당한 시간과 집중을 요구하고 데이터 공유도 쉽지 않다.
전술한 문제점을 해결하기 위한 본 발명은, 사용자의 빈번한 상호작용이 없고, 신속한 처리속도를 제공하며, 데이터 크기로 인한 메모리 제약이 없고, 사용자들간의 데이터 공유 및 분배로 인하여 작업의 효율성을 제공하는 그리드 컴퓨팅 기반 시스템 및 그 방법을 제공함에 기술적 목적이 있다.
상기와 같은 본 발명의 목적을 달성하기 위한 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템은, 그리드 컴퓨팅 기반의 렌더링 서버에 접속하여 투과전자현미경 영상의 렌더링을 수행하기 위한 사용자 인터페이스를 포함하는 사용자 단말; 상기 사용자 단말로부터의 작업 요청에 따라 상기 투과전자현미경 영상에 대한 렌더링을 수행하는 그리드 컴퓨팅 기반의 렌더링 서버; 상기 투과전자현미경 영상 데이터를 저장하며, 상기 사용자 단말과 연결되어 상기 투과전자현미경 영상 데이터를 전송하고, 상기 사용자 단말로부터 렌더링된 결과물을 전송받아 저장하는 데이터 그리드; 를 포함하여 구성되는 것을 특징으로 한다.
이때, 상기 사용자 인터페이스는, 영상 뷰어, 영상 분할 도구 및 3차원 렌더링 도구를 포함하는 것이 바람직하다.
그리고 상기 렌더링 서버는, 상기 사용자 단말로부터 작업 요청을 전송받고, 상기 요청된 작업을 스케줄링하여 복수의 계산 그리드 컴퓨터에 배분하며, 상기 복수의 계산 그리드 컴퓨터로부터 작업 결과를 전송받아 상기 사용자 단말로 전송하 는 마스터 호스트; 상기 마스터 호스트로부터 배분된 작업을 병렬적으로 수행하고 작업 결과를 상기 마스터 호스트로 전송하는 복수의 계산 그리드 컴퓨터; 상기 마스터 호스트 및 복수의 계산 그리드 컴퓨터와 연결되어 상기 작업을 위한 자료를 전송하고, 전송받은 작업 결과를 저장하는 데이터 호스트; 를 포함하여 구성되는 것이 바람직하다.
한편, 상기 마스터 호스트는 상기 사용자 단말로부터 웹 서비스(Web Service) 형식으로 상기 작업 요청을 전송 받고, 작업 결과를 전송하도록 구성될 수 있다.
한편, 상기와 같은 본 발명의 목적을 달성하기 위한 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 방법은, 사용자 단말이 렌더링 서버에 영상 처리 작업을 요청하는 제1단계; 상기 렌더링 서버에서, 그리드 컴퓨팅 방법으로 상기 요청된 영상 처리 작업을 수행하는 제2단계; 상기 렌더링 서버에서, 상기 영상 처리 작업 결과를 상기 사용자 단말로 전송하는 제3단계; 를 포함하여 구성된다.
이때 상기 제1단계의 수행 전, 상기 사용자 단말이 데이터 그리드로부터 투과전자현미경 영상 데이터를 다운로드하는 단계를 더 포함하며, 상기 제1단계에서 상기 사용자 단말은, 상기 렌더링 서버에 영상 처리 작업 요청시 상기 다운로드된 투과전자현미경 영상 데이터를 전송하도록 구성될 수 있다.
그리고 상기 제3단계의 수행 후, 상기 사용자 단말이, 데이터 그리드로 상기 전송된 작업 결과를 업로드하는 단계를 더 포함하는 것이 바람직하다.
한편, 상기 제2단계는, 상기 렌더링 서버 내의 마스터 호스트에서, 상기 요청된 영상 처리 작업을 스케줄링하여 복수의 계산 그리드 컴퓨터에 배분하는 단계; 상기 렌더링 서버 내의 상기 계산 그리드 컴퓨터에서, 상기 마스터 호스트로부터 배분된 작업을 병렬적으로 수행하고 각 계산 그리드 별 작업 결과를 상기 마스터 호스트로 전송하는 단계; 상기 마스터 호스트에서, 상기 계산 그리드 컴퓨터로부터 전송된 각 계산 그리드 별 작업 결과를 전송받아 하나의 결과 파일을 생성하는 단계; 를 포함하도록 구성될 수 있다.
그리고 상기 제3단계는, 상기 마스터 호스트에서, 상기 생성된 결과 파일의 URL을 상기 사용자 단말로 전송하는 단계; 상기 사용자 단말에서, 상기 URL을 이용하여 상기 결과 파일을 다운로드하는 단계; 를 포함하는 것이 바람직하다.
그리고 상기 제3단계의 수행 후, 상기 사용자 단말이, 데이터 그리드로 상기 전송된 작업 결과를 업로드하는 단계를 더 포함하는 것이 바람직하다.
한편, 상기와 같은 본 발명의 목적을 달성하기 위한 다수의 2차원 영상으로 구성된 투과전자현미경 영상 데이터의 자동 영상정렬 방법은, 렌더링 서버 내의 마스터 호스트에서, 상기 렌더링 서버 내의 가용 계산 그리드 컴퓨터의 수 만큼 상기 투과전자현미경 영상 데이터를 분할하고, 분할된 상기 영상 데이터들을 각 계산 그리드 컴퓨터에 할당하는 제1단계; 상기 각 계산 그리드 컴퓨터에서, 할당된 상기 투과전자현미경 영상 데이터들에 대한 초기 영상정렬을 수행하는 제2단계; 상기 각 계산 그리드 컴퓨터에서, 상기 투과전자현미경 영상 데이터들로부터 금가루의 위치 정보를 추출하는 제3단계; 상기 렌더링 서버 내의 대표 그리드 컴퓨터에서, 상기 제2단계에서 수행된 초기 영상정렬 결과를 통합하는 제4단계; 상기 대표 그리드 컴퓨터에서, 상기 제4단계에서 갱신된 변환벡터를 적용하여 금가루 위치를 갱신하는 제5단계; 상기 대표 그리드 컴퓨터에서, 상기 제5단계에서 갱신된 금가루를 추적하여 인접 영상 간 금가루의 대응관계를 계산하는 제6단계; 상기 제6단계에서 계산된 금가루의 대응관계 정보를 이용하여 상세 영상정렬을 수행하는 제7단계;를 포함하여 구성된다.
이때 상기 투과전자현미경 영상 데이터는, 헤더 정보 및 복수의 2차원 영상 데이터를 포함하도록 구성될 수 있다.
그리고 상기 헤더 정보는, 상기 2차원 영상 데이터의 이미지 크기 정보, 2차원 영상의 장 수, 상기 2차원 영상의 회전각 정보를 포함하는 것이 바람직하다.
한편 상기 제1단계는, 상기 투과전자현미경 영상 데이터를 인접한 영상끼리 순차적으로 분할하되, 분할된 영상의 경계부분이 인접한 영상과 겹쳐지도록 분할하도록 구성될 수 있다.
또한 상기 제2단계는, 상기 각 계산 그리드 컴퓨터에서, 상기 투과전자현미경 영상 데이터에 포함된 상기 2차원 영상 데이터들의 인접 영상간의 변환벡터를 구함으로써 할당된 상기 투과전자현미경 영상 데이터들에 대한 초기 영상정렬을 수행하도록 구성되는 것이 바람직하다.
그리고 상기 제4단계에서의 초기 영상정렬 결과의 통합은 상기 제2단계에서 계산된 변환벡터를 경사 축에 대한 회전각이 0°인 중심 영상으로 누적함으로써 변환벡터를 갱신하는 단계를 포함하여 구성될 수 있다.
한편, 상기 제3단계는, 상기 투과전자현미경 영상 데이터들에 형태학적 필터(Morphological filter)를 적용하여 명암차이가 큰 영역을 추출하는 단계; 상기 투과전자현미경 영상 데이터들에 케니경계검출(Canny edge detection) 기법을 적용하여 케니경계를 추출하는 단계; 상기 형태학적 필터를 적용하여 얻어진 명암차이가 큰 영역과 케니경계 간에 중첩된 위치를 금가루의 경계로 추출하는 단계; 상기 추출된 금가루의 경계에 대하여 허프변환(Hough transform)을 수행하여 금가루의 중심점을 결정하는 단계; 를 포함하는 것이 바람직하다.
한편, 본 발명의 목적을 달성하기 위한 렌더링 서버에서의 그리드 컴퓨팅을 이용한 투과전자현미경 영상 데이터의 3차원 재구성 방법은, 상기 렌더링 서버 내의 마스터 호스트에서, 상기 렌더링 서버 내의 가용 계산 그리드 컴퓨터의 수 만큼 상기 영상 데이터를 분할하고, 각 가용 계산 그리드 컴퓨터에서 생성할 단면 영상의 개수를 설정하는 제1단계; 상기 마스터 호스트에서, 상기 분할된 영상 데이터 및 단면 영상의 개수를 각 가용 계산 그리드 컴퓨터로 할당하는 제2단계; 상기 각 계산 그리드 컴퓨터에서, 할당된 상기 영상 데이터들에 대한 라돈 변형 및 여과 처리를 수행하는 제3단계; 상기 각 계산 그리드 컴퓨터에서, 제3단계에서 라돈 변형 및 여과 처리된 영상 데이터에 대해 역전사 (back-projection) 알고리즘을 수행하는 4단계; 를 포함하여 구성된다.
이때 상기 제1단에서의 각 가용 계산 그리드 컴퓨터에서 생성할 단면 영상의 개수는, 생성할 총 단면 영상의 개수를 가용 계산 그리드 컴퓨터의 개수로 나눔으 로써 얻어진다.
그리고 상기 제2단계에서 각 계산 그리드 컴퓨터로 할당되는 영상 데이터에는 상기 영상 데이터의 인덱스 정보 및 회전각 정보가 포함되는 것이 바람직하다.
본 발명에 의하면, 전술한 영상처리 알고리즘들을 병렬화하여 그리드 컴퓨팅 환경에서 효율적인 처리가 가능하게 함으로써 단일 컴퓨팅에 비해 속도 향상뿐 아니라 실행하는 클라이언트의 메모리 제약 및 성능에 구애 받지 않기 때문에 방대한 데이터 처리가 가능케 한다.
또한 그리드 컴퓨팅을 이용한 영상처리가 비 동기성으로 이루어지기 때문에 하나의 영상처리를 하는 동안 대기 시간 없이 또 다른 영상처리 요청을 할 수 있다.
또한 각 단계별 영상처리 된 결과들이 데이터 그리드에 저장되어 있기 때문에 여러 사용자가 데이터 그리드에 접근하여 데이터를 공유할 수도 있다. 특히 상당한 시간과 집중이 요구되는 수작업 분할 작업을 여러 사람들이 동일 데이터를 공유할 수 있기 때문에 분할과정의 분배가 가능하다.
본 발명의 상기 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의하여 보다 명확하게 이해될 것이다.
본 발명의 설명에 앞서 본 발명과 관련된 공지 기능 또는 구성에 대한 구체 적인 기술은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하기로 한다.
또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자 및 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 그러한 정의는 본 명세서 전반에 걸쳐 기재된 내용을 바탕으로 판단되어야 할 것이다.
먼저, 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템의 전체 구성은 도 2와 같다. 도시된 바와 같이, 상기 시스템은 영상 파일들을 공유해서 사용할 수 있는 파일 저장소인 데이터 그리드와 사용자 인터페이스를 제공하는 사용자 단말, 상기 사용자 단말의 작업 요청을 받고 영상처리 과정을 수행하는 렌더링 서버로 구성된다. 사용자 단말은 다양한 영상 뷰어, 효율적인 편집도구를 이용한 영상 분할 도구, 및 삼차원 렌더링 도구를 포함한다. 렌더링 서버는 그리드 컴퓨팅 기반 자동 영상 정렬 기술 단계 및 그리드 컴퓨팅 기반 단층 영상 생성을 위한 삼차원 재구성 기술 단계를 포함한다.
본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템에서의 계산 그리드 컴퓨터는 Windows XP SP2 컴퓨터로 구성이 되어 있다. 계산 그리드 컴퓨터를 Windows로 구축한 이유는 영상 작업시 주로 Windows에 최적화 되어있는 라이브러리를 사용하기 때문이다. 이 각각의 컴퓨터에는 먼저 작업의 배분과 관리를 위해서 썬 그리드 엔진(Sun Grid Engine)의 Execution Host가 설치되어 있다. Sun Grid Engine은 전체적인 작업 관리 기능을 제공해주는 프로그램으로, Windows에서 원하는 프로그램을 돌리는 것도 가능하게 해 준다. Sun Grid Engine의 설치 및 사용을 위해, Windows Services For Unix를 설치하여 Windows상에서 UNIX관련 환경 및 서비스(NFS 등)를 사용할 수 있도록 구성이 되어 있다. 또한 각 작업의 병렬화를 위해서 WinMPI가 설치되어 있다. WinMPI는 Windows 상에서 MPI를 통해 병렬화를 시킬 수 있도록 해 준다.
이러한 계산 그리드 컴퓨터의 작업 및 자료를 관리하기 위해 추가적으로 두 대의 리눅스 컴퓨터를 사용하고 있다. 한 대는 전체적인 작업을 관리 할 수 있도록 Sun Grid Engine의 마스터 호스트(Master Host)가 설치되어 있고, 또한 작업 요청을 외부에서 웹 서비스(Web Service) 형식으로 받아들일 수 있도록 openDSP가 설치되어 있다. 다른 한 대의 기계에서는 전체적으로 나오는 결과물들을 저장하는 목적으로 쓰이고, NFS를 통해 나머지 컴퓨터와 연결되어 있다. 계산 그리드 컴퓨터에서 작업을 위한 자료를 NFS를 통해서 가져오고, 작업의 결과 역시 NFS를 통해서 저장하게 된다. Master Host 측에서는 NFS를 통해 가져온 자료를 openDSP의 서비스를 통해서 작업의 결과물을 사용자에게 보내주게 된다.
전체적인 시스템 구조는 도 3과 같다. 사용자는 openDSP를 통해서 웹 서비스(web service)형식으로 시스템에 접근한다. 사용자가 사용자 단말을 통하여 명령한 작업은 Sun Grid Engine을 통해서 Windows 컴퓨터들에 적절히 배분되고, 이렇게 명령된 작업은 WinMPI를 통해서 병렬 수행을 한다. 작업이 끝나면, 결과물은 openDSP를 통해 다시 사용자에게 전달된다.
Sun Grid Engine은 오픈소스 형태의 그리드 엔진으로, 사용자가 원하는 작업들을 큐(Queue)에 넣고 순서대로 알맞은 Execution Host에 적절히 실행하고, 실행중인 작업을 중지/재시작 하는 등 다양한 작업 관리 방법을 제공하고 있다. 본 시스템에서는 Linux 상에 Sun Grid Engine의 Master Host가 동작하고 있고, Master Host로부터 요청을 받아서 렌더링 프로그램을 실행하는 여섯 대의 Windows Execution Host가 동작하고 있다. Master Host에서는 sge_qmaster를 통해 전체적인 Sun Grid Engine 시스템을 관리한다. 들어온 작업 요청은 sge_schedd를 통해 스케쥴 되어 실행된다. 실행하려는 작업은 sge_execd를 통해 Execution Host 상에서 실행되게 된다.
openDSP는 사용자가 gSOAP을 통해서 Sun Grid Engine에 작업을 요청할 수 있도록 해주는 프로그램이다. 사용자는 Web Service 형태로 openDSP에 접근해서 작업을 요청하고, 결과를 확인하며, 결과물을 가져올 수 있다. 또한, openDSP에서는 Authorization과 Authentication 기능을 제공하여 인증서를 바탕으로 사용자별 작업 권한을 설정할 수 있다.
WinMPI는 Windows 상에서 MPI 프로그램을 돌릴 수 있도록 해 준다. 렌더링 서버에서 필요한 계산을 위해 프로그램 상에서 MPI를 통해 사용 가능한 Execution Host에 대하여 적절히 프로그램을 분배하여 실행한다. 여기서는 MPICH2의 Windows용 프로그램을 사용한다.
상기 그리드 컴퓨팅 기반의 영상 렌더링 시스템의 사용 시나리오는 다음과 같다. 사용자는 데이터 그리드를 통해서 자신이 사용할 영상 데이터를 다운로드 한다. 이렇게 다운로드한 영상 파일의 처리를 위해서 렌더링 서버에 영상 처리 작업을 요청한다. 렌더링 서버는 이 작업 처리 요청을 받은 후, 이를 적절히 스케줄링 한 후에 실제 작업 처리를 위해서 각 계산 그리드 컴퓨터에 작업을 분산 제출한다. 분산된 작업의 결과가 모두 취합되면 서버는 이 결과 파일에 대한 URL을 사용자에게 알려준다. 사용자는 이 URL을 통해서 렌더링 서버로부터 결과 파일을 다운로드 한다. 사용자는 다운로드한 파일을 사용자 단말의 뷰어를 통해서 살펴보고, 적당한 결과를 얻지 못했으면 새로운 작업을 렌더링 서버에 제출하게 된다. 만약 적절한 결과 영상과 삼차원 영상을 생성했으면, 이를 다른 연구자와 공유를 위해서 데이터 그리드로 업로드 할 수 있다.
첫째, 전술한 렌더링 서버에서의 그리드 컴퓨팅을 이용한 자동 영상정렬 방법을 상세히 설명한다.
영상 정렬 과정은 병렬 처리가 가능한 연산과 불가능한 연산으로 나뉜다. 상세 정렬과 마커 추출은 병렬화가 가능하므로 가용될 그리드의 계산 노드 수만큼 영상들을 그룹으로 나눈 후에 각 계산 노드에 할당된 그룹 영상들에 대한 연산을 수행한다. 하지만 마커 추출 이후의 마커 추적 및 상세 정렬은 그룹영상만을 가지고는 수행될 수 없고 전체 영상을 필요로 하기 때문에 마커 추출까지의 결과를 다시 하나로 통합하여 마커 추적과 상세 정렬을 수행한다. 도 4는 그 과정을 도식으로 나타낸 것이다.
투과전자현미경 영상 데이터는 여러 장의 이차원 영상으로 구성된다. 투과전자현미경 영상 데이터는 데이터에 대한 헤더 정보와 영상 정보를 포함한다. 헤더 정보는 투과전자현미경 영상 데이터는 이차원 영상의 크기(가로, 세로), 이차원 영상의 장 수, z-축에 대한 모든 이차원 영상에 대해 동일한 회전각, 경사 축에 대한 각 이차원 영상마다의 회전각들에 대한 정보를 포함한다. 영상 정보는 각 이차원 영상의 픽셀마다의 밝기 값으로 구성된다. 한 픽셀의 밝기 값은 2바이트로 구성된다.
계산 그리드 정보를 설정하는 작업은 계산 그리드 정보는 가용 계산 그리드의 개수와 인덱스 설정, 대표 그리드를 결정하는 것으로 이루어진다. 가용 그리드의 계산 노드 수만큼 투과전자현미경 영상 데이터를 분할하여 할당된다. 데이터 분할은 순차적인 영상들의 집합으로 이루어지며, 초기 영상정렬단계에서 인접 영상간의 대응관계가 필요하기 때문에 분할된 영상 집합의 경계부분에서 한 장씩 겹쳐지도록 한다. 도 5는 그 예를 보여준다. 가용 그리드의 개수를 n이라 하고 투과전자현미경 영상 데이터가 s개의 이차원 영상으로 구성되었다고 하면, 각 그리드에 할당하는 2차원 영상의 갯수는
Figure 112008068967110-pat00001
의 식으로 구한다. 각 그리드에 할당된 이차원 영상의 인덱스 정보, 경사 축에 대한 회전각 정보를 전달한다.
개별 그리드 컴퓨터로 분할되어 할당된 투과전자현미경 영상 데이터에 대해 영상의 밝기 값을 이용한 초기 영상정렬 작업을 한다. 두 인접 영상을 하나의 쌍으 로 하여 하나의 쌍마다 하나의 변환벡터를 구한다. 변환벡터는 Tx, Ty, Rθ의 이동 벡터와 회전 벡터를 포함한다. 이동 벡터와 회전 벡터의 초기 크기는 모두 0으로 설정한다. 부유영상의 (x, y)좌표를 가진 모든 픽셀을 먼저 중심점(cx F, cy F)을 원점(0, 0)으로 평행 이동시키고, z-축 회전 벡터(θc)와 이동 벡터(tx, ty)만큼 변환한 후 기준영상의 중심점(cx R, cy R)으로 평행 이동시켜 기준영상으로 변환을 수행하게 되고 대응되는 기준영상의 (x', y')좌표를 획득하게 된다.
Figure 112008068967110-pat00002
이 때, (x', y') 좌표는 격자 위치에 정확히 놓이지 않기 때문에 보간 방법을 통하여 기준 영상의 픽셀 밝기 값을 계산한다. 보간 방법으로는 부분용적 보간법을 적용한다.
각 변환에 따라 유사도 평가를 반복하면서 전역 최적의 위치로 빠른 시간 안에 최적 위치의 공간 탐색을 위해 파웰 방향 기법(Powell's direction method)을 적용한다. 파웰 방향 기법은 도 6에서와 같이 변환 벡터들을 일정한 순서를 가지고 탐색을 시도하고 현재 탐색순서인 변환벡터 요소만 변경하고 나머지 변환벡터 요소는 고정한 채 최소인 위치를 탐색하는 방법이다. 또한 현재 탐색순서인 변환 벡터에서 최적 위치의 탐색은 고정된 도약간격을 설정하고 반복이 증가함에 조밀하게 탐색하는 일반적인 방법 대신에 포물선 보간을 적용함으로써 최적 위치를 빠르게 탐색한다. 포물선 보간은 세 점 a, b, c를 설정하고 이 위치에서 계산된 유사도 값을 각각 f(a), f(b), f(c)라 하자. 이 중 f(b)가 초기에 최소값을 가지는 위치로 설정할 수 있도록 a와 c의 위치를 설정한다. 세 점을 지나는 포물선을 생성하고 포물선의 최소 점 위치 x를 아래 식을 이용하여 계산한다.
Figure 112008068967110-pat00003
x 위치에서의 유사도가 세 점 a, b, c에서 계산한 유사도보다 작으면 이 중 최대값을 가지는 점 대신 x위치가 포함되면서 b위치가 최소인 새로운 a, b, c로 갱신하여 탐색공간을 조밀하게 탐색해 나간다. 이런 과정을 반복하여 a와 c의 간격이 일정간격 이하만큼 작아지면 현재 탐색순서에서 최소값인 b인 위치를 현재 탐색순서의 변환 벡터에 갱신하고 다음 탐색순서의 변환벡터도 같은 방법으로 최소인 위치를 탐색한다.
두 영상 간의 유사도를 평가하는 방법으로 정규화 상보정보량(Normalized mutual information) 척도를 이용한다.
Figure 112008068967110-pat00004
f는 변형된 F영상의 임의의 명암이고, r은 R영상의 임의의 명암이다. 두 인접 영상 중에 경사축에 대한 회전각이 0°에 더 근접한 영상을 R영상으로 하고 그렇지 않은 영상을 F영상으로 한다. PF ,α(f)은 변형된 F영상의 히스토그램 상에서 f가 나타날 확률이고, PR ,α(r)은 R영상의 히스토그램 상에서 r이 나타날 확률이다. PFR,α(f, r)은 R영상의 좌표계로 변형된 F 영상이 f를 갖는 위치에서 동시에 R영상이 r을 가질 때의 확률이다.
분할되어 할당된 투과전자현미경 영상 데이터에 대해 개별 그리드에서 금가루(Gold marker)를 추출하는 작업이 이루어진다. 금가루 추출은 모든 이차원 영상에 대해 독립적으로 수행된다.
투과전자현미경은 고 에너지를 갖는 전자선이 시료를 통과하여 시료의 밀도, 두께 등의 차이에 따른 명암상을 얻는다. 상대적으로 밀도가 큰 금가루는 주변 조직에 비해 전자 빔이 투과되지 않기 때문에 금가루가 위치한 화소는 어두운 밝기 값으로 표현된다. 더욱이 형태적으로 비교적 균일한 원 모양의 경계를 지니고 있기 때문에 명암정보와 형태적인 정보를 결합한 혼성 접근 기법을 이용하여 금가루를 자동으로 추출할 수 있다.
형태학적 필터(Morphological filter)를 반복적으로 적용하여 명암차이가 큰 영역을 추출한다. 열림연산(침식연산후, 확장연산)을 반복하게 되면 어두운 밝기 값을 가지는 금가루 영역들은 뚜렷해지고 닫힘연산을 반복하게 되면 금가루 영역들이 제거된다. 따라서 열림연산을 통해 얻어진 영역에서 닫힘연산을 통해 얻어진 영역을 차감하면 금가루 후보 군들을 추출할 수 있다.
투과전자현미경 영상에 케니경계검출(Canny edge detection) 기법을 적용하여 케니경계를 추출하고 형태학적 필터를 통하여 얻어진 영역과 케니경계 간에 중첩된 위치를 최종으로 금가루의 경계로 추출한다. 추출된 경계를 가지고 허프변환(Hough transform)을 수행하여 금가루의 중심점을 결정한다. 금가루의 중심점은 파라미터 공간에서 누적된 양에 따라 결정한다.
도 7은 금가루 추출과정을 도식화한 것이다.
개별 계산 그리드에서 수행된 초기 영상정렬 결과는 인접 영상 간의 변환 벡터를 구한 것이므로 이를 통합하는 과정이 필요하다. 각 계산 그리드에서의 결과를 대표 그리드로 전달한다. 경사 축에 대한 회전각이 0°인 중심 영상을 기준으로 하여 양/음 양방향으로 변환벡터를 누적함으로써 변환벡터가 갱신된다. 금가루 추출 결과도 초기 정렬 전의 투과전자현미경 영상으로 추출한 금가루 위치이기 때문에 갱신된 변환벡터를 적용하여 금가루 위치를 갱신한다.
대표 그리드에서 투과전자현미경 영상의 금가루를 추적한다. 인접 영상 간의 금가루의 대응관계를 구한다. 우선, 초기 영상정렬 전의 영상에서 추출한 금가루 좌표에 초기 영상정렬 결과인 변환벡터를 적용시킨다. 이렇게 정렬된 일련의 현미경 영상에서는 인접 영상 간의 대응 금가루 입자 간의 거리가 크지 않다. 각 입자에 대하여 최소 거리 차이를 갖는 입자를 찾고 이를 대응되는 입자로 결정한다. 경사 축에 대한 회전각이 0°인 중심 영상을 기준으로 하여 양/음 각 방향으로 대응되는 금가루 입자를 결정해나간다.
도 8은 인접 영상간에 대응되는 입자를 찾아나가는 과정을 표현한다. 인접 영상간의 세 금가루 입자의 거리 측정은 아래와 같은 식으로 한다.
Figure 112008068967110-pat00005
여기서
Figure 112008068967110-pat00006
은 각각 Pk -1,n에서 Pk ,i로의 벡터와 Pk ,i에서 Pk +1,m로의 벡터를 나타낸다. ω1은 0.1, ω2은 0.9로 설정하였다.
마커 추적으로 얻은 결과에서 길이가 너무 짧은 연결은 제외하도록 한다. 너무 많은 연결을 이용하면 상세정렬에서 수행시간이 오래 걸리므로 충분한 정렬 결과가 보장되는 범위 내에서 연결의 개수를 줄이는 것이 효율적이다.
대표 그리드에서 투과전자현미경 영상의 금가루의 대응 정보를 이용하여 상세 영상정렬을 수행한다. 현미경 영상을 정렬하는 마지막 단계는 움직임 파라미터(Motion parameter)를 최적화하는 것이다. 아래의 식은 삼차원 공간상의 한 점이 이차원 투영영상으로 투영되는 과정을 표현한 식이다.
Figure 112008068967110-pat00007
si는 확대축소 행렬, Ri α와 Ri β는 회전 행렬을 α는 시판의 회전 각도를 의미하고 β는 시판을 바라볼 때의 회전각도로 일반적으로 0°이다. P는 투영 행렬이며 Mi는 삼차원 공간상의 금가루 위치이고 ti는 이동 행렬이다. mi j는 삼차원 공간상에서 j번째 금가루의 위치가 i번째 투영 영상으로 투영될 때의 금가루의 위치를 의미한다. 이 식을 풀어쓰면 아래 식과 같다.
Figure 112008068967110-pat00008
최적화 기법을 이용하여 위 수식의 파라미터를 변경하고, 각 영상에서 검출된 마커의 위치와 가장 많이 일치할 때를 아래 수식의 최소자승유사도를 통해 최적의 파라미터를 탐색하게 된다.
Figure 112008068967110-pat00009
최적 파라미터를 찾기 위해서는 Levenberg-Marquardt 알고리즘(이하 LM 알고리즘)을 이용한다. LM 알고리즘은 gradient descent 방식과 Guass-Newton 방식의 혼합형 알고리즘으로 반복연산을 통해 최적 파라미터를 찾아간다. LM 알고리즘에서 파라미터 갱신 공식은 아래와 같은 식으로 주어진다.
Figure 112008068967110-pat00010
H는 xi 에서의 헤시안 행렬(Hessian Matrix)를 의미한다.
λ는 gradient descent 방식의 영향력을 결정해주는 가중치 계수로 최소자승유사도가 작아질수록 λ를 줄여나가 gradient descent 요소의 가중치를 줄여준다.
영상 정렬된 데이터는 데이터 그리드에 저장되고 사용자는 사용자 단말을 통하여 데이터 그리드에 접속하여 정렬결과를 다운로드 받고 결과를 확인할 수 있다.
둘째, 전술한 렌더링 서버에서의 그리드 컴퓨팅을 이용한 삼차원 재구성 방법을 상세히 설명한다.
삼차원 재구성은 입력 영상 수와 생성할 단면 영상의 수에 비례하여 수행 시간이 소요된다. 따라서 입력 영상을 분할한 뒤에 각 그리드에 처리하는 방법과 생성할 단면 영상을 분할하고 각 그리드에서 처리하는 방법을 통하여 병렬화할 수 있다. 일반적으로 투과 전자현미경 영상은 입력 데이터 개수가 제한된 회전 각도로 인해 생성할 단면 영상의 개수에 비해 상대적으로 적다. 따라서 생성할 단면 영상 개수를 각 계산 노드 수만큼 나누고 그 크기만큼 개별 그리드에서 할당함으로써 수행시간을 좀 더 감소시킬 수 있다. 먼저 정렬된 투영 영상을 개별 그리드에 전송하고 생성할 단면 영상의 개수를 그리드에 포함된 컴퓨터 개수만큼 나누어 이 크기만큼 할당된다. 개별 그리드에서는 할당된 크기만큼 삼차원 재구성을 수행하고 처리된 결과들을 관리 그리드로 전송한 후 이들 결과들을 모두 병합하여 최종적인 재구성된 결과를 얻는다. 도 9는 그 과정을 도식으로 나타낸 것이다.
계산 그리드 정보를 설정하는 작업에서 삼차원 재구성 병렬화를 위해 필요한가용 계산 그리드의 개수와 재구성할 단면 영상 개수를 설정한다. 각 개별 그리드에서 생성할 단면 영상의 할당 크기는 생성할 단면 영상 개수에 가용 그리드의 개수를 나눔으로써 설정되고 인덱스 정보와 경사 축에 대한 회전각 정보를 전달한다. 또한 데이터 그리드에서 처리할 정렬된 투영 영상 데이터가 각 그리드로 전송된다.
각 개별 계산 그리드에서 입력된 영상 데이터들은 효율적인 좌표 계산을 위해 라돈 변환을 수행하고 경계가 뚜렷한 재구성 영상을 위해 라돈 영상에 여과 처리를 수행한다.
전자장이나 빛이 투과하는 유효거리에서 그 산란율에 해당하는 만큼, 주사강도는 약화된다. 예를 들어 X-ray의 경우 사진에 나온 대비 영상은 산란율에 따라 수학식9와 같이 정의된다.
Figure 112008068967110-pat00011
수학식 9에서 I0는 주사 광선의 강도에 해당하고, L은 주사선의 진행경로이며, u는 L을 따라 진행하는 길이를 의미한다. 수학식9로부터 양변을 정리하면 수학식10과 같이 유도된다.
Figure 112008068967110-pat00012
따라서 삼차원 재구성 영상을 구성한다는 것은 도 10처럼
Figure 112008068967110-pat00013
Figure 112008068967110-pat00014
로부터 삼차원 공간 좌표 f(x, y)를 얻어내는 것을 의미하고 이를 수학적으로 표현하면 (수학식 11)과 (수학식 12)처럼 정의 할 수 있다.
(
Figure 112008068967110-pat00015
Figure 112008068967110-pat00016
)
Figure 112008068967110-pat00017
Figure 112008068967110-pat00018
R은 라돈 변환의 연산자 또는 투영연산자(projection operator)라고 한다. f(x, y)를 라돈 변형한 함수
Figure 112008068967110-pat00019
Figure 112008068967110-pat00020
는 각도가
Figure 112008068967110-pat00021
Figure 112008068967110-pat00022
일 때 f(x, y)의 일차원적으로 전사(projection)한 결과이다. 이것을 (s, u)에 대한 좌표 계로 변형하면 수학식13과 수학식14와 같다.
Figure 112008068967110-pat00023
Figure 112008068967110-pat00024
수학식 13과 14를
Figure 112008068967110-pat00025
Figure 112008068967110-pat00026
에 대입하면 수학식15처럼 유도되며 거리 s, 각도
Figure 112008068967110-pat00027
Figure 112008068967110-pat00028
일 때, 광선의 궤적에 따른 f(x,y)의 합으로 나타낸다. (
Figure 112008068967110-pat00029
Figure 112008068967110-pat00030
)
θ
Figure 112008068967110-pat00031
즉, 라돈 변환이라 함은 입력된 투명영상을 s와 θ 파라미터 공간으로 변환하는 단계이다. 도 11에서 왼쪽 도면에 도시된 바와 같이, 각 투영영상들은
Figure 112008068967110-pat00032
Figure 112008068967110-pat00033
파라미터 좌표로 획득되며, 이 좌표를 s와 θ 파라미터를 기준으로 라돈 영상을 생성하면 도 11의 오른쪽 도면과 같이
Figure 112008068967110-pat00034
Figure 112008068967110-pat00035
파라미터 공간으로 변환할 수 있다. 이 변환된 라돈 좌표를 이용하여 삼차원 재구성 알고리즘을 적용하게 된다.
경계가 뚜렷한 재구성 영상을 위해
Figure 112008068967110-pat00036
Figure 112008068967110-pat00037
파라미터 공간으로 변환된 라돈 영상에 Shepp-Logan 필터처리를 한 여과된 라돈 영상
Figure 112008068967110-pat00038
Figure 112008068967110-pat00039
를 획득한다.
개별 계산 그리드에서
Figure 112008068967110-pat00040
Figure 112008068967110-pat00041
파라미터 좌표로 변환된 라돈 영상에 여과 처리 알고리즘을 적용하여 얻어진 영상 데이터
Figure 112008068967110-pat00042
Figure 112008068967110-pat00043
의 좌표로부터 역전사(back-projection) 알고리즘을 적용한다. 역전사를 통하여 얻어지는 단면 영상 f(x, y)는 역전사 연산자(back-projection operator) B를
Figure 112008068967110-pat00044
Figure 112008068967110-pat00045
에 대입하여 수학식16과 같이 계산된다.
Figure 112008068967110-pat00046
개별 계산 그리드에서 수행된 역전사 결과를 다시 하나의 투과전자현미경 영상 데이터로 합치는 단계를 수행한다. 개별 그리드에서 역전사 과정이 종료되면 생성한 단면 영상과 초기에 부여받은 인덱스 정보를 하나의 대표 그리드 컴퓨터로 전송한다. 그 대표 그리드 컴퓨터는 인덱스 정보를 이용하여 생성한 단면영상의 해당 위치를 식별할 수 있게 된다. 삼차원 재구성된 단면 영상 데이터는 데이터 그리드에 저장되고 사용자는 사용자 단말을 통하여 데이터 그리드에 접속하여 재구성된 단면 영상 결과를 다운로드 받고 결과를 확인할 수 있다.
셋째, 사용자 단말에서의 다양한 뷰어 방법을 상세히 설명한다.
도 12는 사용자 단말에서의 영상 뷰어의 구성을 보여준다.
메뉴창은 버튼으로 구성되어 원하는 작업의 버튼을 마우스로 클릭하면 해당 작업을 수행할 수 있다.
데이터 리스트 창은 데이터의 이름과 상태로 구성된다. 데이터 리스트에서 원하는 데이터 행을 마우스로 클릭함으로써 특정 데이터를 선택할 수 있다. 데이터는 각 작업에 대해 "Not Yet", "Running", "Done"의 세 단계의 상태를 가질 수 있다. "Not Yet"은 작업 전, "Running"은 작업 중, "Done"은 작업 완료를 의미하며 "Running" 중에는 다른 작업을 계속할 수 있다.
영상 데이터를 보여주는 결과 창은 이차원 영상 창과 히스토그램 창을 포함한다. 이차원 영상의 왼편 상단에는 해당 이차원 영상의 경사축에 대한 회전각이 표시된다. 마우스 휠을 조작함으로써 특정 이차원 영상을 선택할 수 있다. 히스토그램 창은 해당 이차원 영상의 히스토그램과 동시에 뷰어의 윈도잉을 포함한다. 결과 창 위에 마우스를 놓고 클릭한 상태로 이동함으로써 뷰어의 윈도잉을 제어한다.
넷째, 사용자 단말에서의 효율적인 편집도구를 이용한 영상 분할 방법을 상세히 설명한다.
삼차원으로 재구성된 결과는 다량의 이차원 단층 영상의 연속이다. 삼차원으로 재구성된 결과를 삼차원으로 가시화하기 위해서 사용자가 관심 있는 대상을 분할하는 작업이 필요하다. 볼륨을 생성하는데 토대가 되는 윤곽선 조각을 얻기 위해 삼차원 재구성된 다량의 이차원 단층 영상에서 사용자가 관심 있는 생물학적 대상 을 선택하여 분할할 수 있도록 하는 수작업 도구를 제공한다.
이 도구는 일반적인 그림 도구와 마찬가지로 마우스 조작을 통해 윤곽선 조각을 선으로 그리거나 그려진 선을 지울 수 있다. 서로 다른 색상으로 선을 그릴 수 있으며 그려진 선의 색상으로 삼차원 가시화함에 따라 가시화 대상의 구분이 용이하도록 하였다. 즉, 하나의 색으로 그려진 윤관선 조각들이 하나의 대상에 대응된다. 또한 다양한 굵기의 선을 제공할 뿐 아니라 윤곽선 조각이 폐곡선을 이루는 경우 그 내부를 채우는 것도 가능하다. 윤곽선 조각을 그릴 때 인접한 단층 영상의 윤곽선을 참조할 수 있도록 인접한 단층 영상의 윤곽선을 현재 단층 영상에 블렌딩(Blending)하여 볼 수 있다.
일련의 이차원 단층 영상에서 윤곽선을 수동으로 분할하는 작업은 많은 시간을 필요로 하는 작업이므로 작업 중간에 그 내용을 저장할 수 있는 기능을 제공한다.
수동 분할된 데이터는 데이터 그리드에 저장되고 사용자가 사용자 단말을 통하여 데이터 그리드에 접속하여 분할 결과를 다른 사용자와 공유가 가능하다. 여러 사용자간 데이터 공유가 용이하기 때문에 작업량의 분배가 가능하다.
다섯째, 사용자 단말에서의 삼차원 렌더링 방법을 상세히 설명한다.
삼차원 렌더링 방법은 일련의 이차원 단층 영상으로부터 렌더링 하고자하는 대상의 볼륨을 생성하고 그 표면을 렌더링하는 작업을 포함한다.
사용자가 관심 있는 대상의 볼륨을 생성하는 작업은 일련의 이차원 단층 영 상에서 분할해낸 윤곽선 조각에 필드 함수
Figure 112008068967110-pat00047
를 적용하는 방식으로 이루어진다. 도 13은 볼륨 생성 과정을 예를 들어 도식화 한 것이다.
Figure 112008068967110-pat00048
재구성된 일련의 이차원 단층 영상안에 사용자가 관심있는 대상이 여러 개 존재할 수 있으므로 각각의 대상을 구분하기 위해서 등치값(Iso-Value)을 0이 아닌 서로 다른 여러 개의 등치값으로 대신한다. 이 때, 등치값들의 간격은 거리지도를 만들고자 하는 최대범위를 고려하여 정한다.
등치값을 이용하여 표면을 생성하는 렌더링 기법인 마칭 큐브 알고리즘은 널리 쓰이는 렌더링 기법으로 간단하면서도 효율적이며, 인접한 이차원 영상에서 윤곽선 조각간의 어떠한 연관성이나 줄기(Branching)문제를 전혀 고려하지 않아도 되는 장점이 있다.
먼저 전체 볼륨을 도 14와 같은 큐브 단위로 나눈다. 각 큐브의 8개의 꼭지점이 표면의 안, 밖 여부를 구분한다. 구분하는 방법은 꼭지점의 값이 등치값보다 작으면 안쪽으로, 등치값보다 크면 바깥쪽으로 구분한다. 도 15는 안, 밖 여부를 구분해놓은 꼭지점 예시를 나타낸다. 표면의 안과 밖이 구분된 큐브 안에서 표면을 생성한다.
하나의 큐브 안에서 표면을 생성할 수 있는 경우의 수는 전체 28=256가지이지만, 이 중에서 대칭인 경우를 제거하면 도 16에서 보여주는 총 15가지 경우만 남는다. 이러한 15가지 큐브 단위의 표면을 연결하여 전체 볼륨에서의 표면이 완성된다.
서로 다른 대상은 다른 색깔로 렌더링 된다. 여러 대상 가운데 특정 대상을 선택적으로 가시화하는 기능을 제공한다. 또한 대상의 자세한 관찰을 돕기 위하여 확대/축소, 회전이 자유롭게 한다.
데이터 그리드에 저장된 분할 결과를 사용자가 사용자 단말을 통하여 다운로드 받아 삼차원 렌더링을 통하여 입체 영상 결과를 확인할 수 있다.
이상, 본 발명의 구체적인 실시 형태에 대하여 상세하게 기술하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서도 다른 구체적인 형태로 실시할 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 본 발명은 본 상세한 설명에 기재된 것에 한정되는 것은 아닌 것으로 이해되어야만 한다. 본 발명의 권리범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 실시형태는 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 투과전자현미경을 이용하여 시판의 경사 축을 일정한 간격으로 회전시키고 해당 각도에서 고 전압의 전자 빔이 실험 재료를 투과하게 함으로써 다양한 방향에서 여러 장의 투영 영상을 획득하는 과정을 예시적으로 나타낸 도면이다.
도 2는 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템의 전체 구성도이다.
도 3은 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템에 있어 렌더링 서버의 상세 구성도이다.
도 4는 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 방법에 있어서, 렌더링 서버에서의 자동 영상정렬 과정을 나타낸 순서도이다.
도 5는 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 방법에 있어서, 다중 그리드 데이터 분할 방법을 예시한 도면이다.
도 6은 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 방법에 있어서, 파웰 방향 기법을 예시한 도면이다.
도 7은 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 방법에 있어서, 현미경 영상에서의 자동 금가루 추출 과정을 나타낸 도면이다.
도 8은 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 방법에 있어서, 인접 영상간 대응되는 입자 탐색과정을 나타낸 도면이다.
도 9는 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상 의 3차원 재구성 방법에 있어서, 렌더링 서버에서의 삼차원 재구성 과정을 나타낸 순서도이 다.
도 10은 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상의 3차원 재구성 방법에 있어서, 투영 영상으로부터 3차원 공간 좌표를 획득하는 과정을 나타낸 도면이다.
도 11은 본 발명에 따른 그리드 컴퓨팅 기반의 투과전자현미경 영상의 3차원 재구성 방법에 있어서, 라돈 변환을 나타낸 도면이다.
도 12는 본 발명에 따른 사용자 단말에서의 영상 뷰어의 구성을 나타낸 도면이다.
도 13은 본 발명에 따른 사용자 단말에서의 영상 분할에 있어, 볼륨 생성 과정을 예시한 도면이다.
도 14는 본 발명에 따른 사용자 단말에서의 영상 분할에 있어, 큐브의 꼭지점의 표면 안,밖 구분의 예시도이다.
도 15는 본 발명에 따른 사용자 단말에서의 영상 분할에 있어, 큐브의 표면이 되는 경우의 수를 나타낸 도면이다.
도 16은 본 발명에 따른 사용자 단말에서의 영상 분할에 있어, 볼륨생성 과정을 나타낸 도면이다.
도 17은 본 발명에 따른 사용자 단말에서의 영상 분할에 있어, 서로 다른 등표면을 레이블링한 예이다.

Claims (19)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 렌더링 서버에서 수행되는, 다수의 2차원 영상으로 구성된 전자현미경 영상 데이터의 자동 영상정렬 방법으로서,
    상기 렌더링 서버 내의 마스터 호스트에서, 상기 렌더링 서버 내의 가용 계산 그리드 컴퓨터의 수 만큼 상기투과전자현미경 영상 데이터를 분할하고, 분할된 상기 영상 데이터들을 각 계산 그리드 컴퓨터에 할당하는 제1단계;
    상기 각 계산 그리드 컴퓨터에서, 할당된 상기 전자현미경 영상 데이터들에 대한 초기 영상정렬을 수행하는 제2단계;
    상기 각 계산 그리드 컴퓨터에서, 상기 전자현미경 영상 데이터들로부터 금가루의 위치 정보를 추출하는 제3단계;
    상기 렌더링 서버 내의 대표 그리드 컴퓨터에서, 상기 제2단계에서 수행된 초기 영상정렬 결과를 통합하는 제4단계;
    상기 대표 그리드 컴퓨터에서, 상기 제4단계에서 갱신된 변환벡터를 적용하여 금가루 위치를 갱신하는 제5단계;
    상기 대표 그리드 컴퓨터에서, 상기 제5단계에서 갱신된 금가루를 추적하여 인접 영상 간 금가루의 대응관계를 계산하는 제6단계;
    상기 제6단계에서 계산된 금가루의 대응관계 정보를 이용하여 상세 영상정렬을 수행하는 제7단계;
    를 포함하는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  11. 제10항에 있어서,
    상기 전자현미경 영상 데이터는,
    헤더 정보 및 복수의 2차원 영상 데이터를 포함하는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  12. 제11항에 있어서,
    상기 헤더 정보는, 상기 2차원 영상 데이터의 이미지 크기 정보, 2차원 영상의 장 수, 상기 2차원 영상의 회전각 정보를 포함하는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  13. 제10항에 있어서,
    상기 제1단계는,
    상기 전자현미경 영상 데이터를 인접한 영상끼리 순차적으로 분할하되, 분할된 영상의 경계부분이 인접한 영상과 겹쳐지도록 분할하는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  14. 제10항에 있어서,
    상기 제2단계는, 상기 각 계산 그리드 컴퓨터에서, 상기 전자현미경 영상 데이터에 포함된 상기 2차원 영상 데이터들의 인접 영상간의 변환벡터를 구함으로써 할당된 상기 전자현미경 영상 데이터들에 대한 초기 영상정렬을 수행하는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  15. 제10항에 있어서,
    상기 제3단계는,
    상기 전자현미경 영상 데이터들에 형태학적 필터(Morphological filter)를 적용하여 명암차이가 큰 영역을 추출하는 단계;
    상기 전자현미경 영상 데이터들에 케니경계검출(Canny edge detection) 기법을 적용하여 케니경계를 추출하는 단계;
    상기 형태학적 필터를 적용하여 얻어진 명암차이가 큰 영역과 케니경계 간에 중첩된 위치를 금가루의 경계로 추출하는 단계;
    상기 추출된 금가루의 경계에 대하여 허프변환(Hough transform)을 수행하여 금가루의 중심점을 결정하는 단계;
    를 포함하는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  16. 제14항에 있어서,
    상기 제4단계에서의 초기 영상정렬 결과의 통합은 상기 제2단계에서 계산된 변환벡터를 경사 축에 대한 회전각이 0°인 중심 영상으로 누적함으로써 변환벡터를 갱신하는 단계를 포함하여 구성되는 것을 특징으로 하는 전자현미경 영상 데이터의 자동 영상정렬 방법.
  17. 삭제
  18. 삭제
  19. 삭제
KR1020080096417A 2008-10-01 2008-10-01 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법 KR101033632B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080096417A KR101033632B1 (ko) 2008-10-01 2008-10-01 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080096417A KR101033632B1 (ko) 2008-10-01 2008-10-01 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법

Publications (2)

Publication Number Publication Date
KR20100046076A KR20100046076A (ko) 2010-05-06
KR101033632B1 true KR101033632B1 (ko) 2011-05-11

Family

ID=42273514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080096417A KR101033632B1 (ko) 2008-10-01 2008-10-01 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법

Country Status (1)

Country Link
KR (1) KR101033632B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723732B1 (ko) * 2015-06-19 2017-04-05 가톨릭대학교 산학협력단 의료 검사를 위한 이미지 분석 관리 방법 및 서버
CN112350732A (zh) * 2020-11-09 2021-02-09 南京师范大学 暗信息的构成方法以及基于暗信息的数据压缩方法
CN118967459A (zh) * 2024-07-16 2024-11-15 中国传媒大学 一种基于网格的多类散点图类级别可抽象方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080018013A (ko) * 2006-08-23 2008-02-27 인하대학교 산학협력단 그리드 자원 관리 시스템 및 방법
KR20090001823A (ko) * 2007-05-25 2009-01-09 건국대학교 산학협력단 협업 가상현실 환경에서의 분자 모델링 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080018013A (ko) * 2006-08-23 2008-02-27 인하대학교 산학협력단 그리드 자원 관리 시스템 및 방법
KR20090001823A (ko) * 2007-05-25 2009-01-09 건국대학교 산학협력단 협업 가상현실 환경에서의 분자 모델링 시스템 및 방법

Also Published As

Publication number Publication date
KR20100046076A (ko) 2010-05-06

Similar Documents

Publication Publication Date Title
Nakane et al. Multi-body refinement of cryo-EM images in RELION
Richter et al. Out-of-core visualization of classified 3d point clouds
Discher et al. A scalable webGL-based approach for visualizing massive 3D point clouds using semantics-dependent rendering techniques
Ross et al. Visualization and parallel I/O at extreme scale
Discher et al. Service-oriented processing and analysis of massive point clouds in geoinformation management
KR101033632B1 (ko) 그리드 컴퓨팅 기반의 투과전자현미경 영상 렌더링 시스템및 방법
Cai et al. Radiative gaussian splatting for efficient x-ray novel view synthesis
Mazouzi et al. A fast and fully distributed method for region-based image segmentation: Fast distributed region-based image segmentation
Böhm et al. The IQmulus urban showcase: Automatic tree classification and identification in huge mobile mapping point clouds
Discher A point-based and image-based multi-pass rendering technique for visualizing massive 3D point clouds in VR environments
Maxim et al. Tomographic reconstruction from Poisson distributed data: a fast and convergent EM-TV dual approach
Nomura et al. Development of training environment for deep learning with medical images on supercomputer system based on asynchronous parallel Bayesian optimization
Manssour et al. Visualizing inner structures in multimodal volume data
Tefera et al. 3DNOW: Image-based 3D reconstruction and modeling via WEB
Teodoro et al. Performance analysis and efficient execution on systems with multi-core CPUs, GPUs and MICs
CN103745495A (zh) 基于医学体数据的体绘制方法
Jacq et al. A direct multi-volume rendering method aiming at comparisons of 3-D images and models
Happ et al. A cloud computing strategy for region-growing segmentation
Kühbach et al. Quantification of 3D spatial correlations between state variables and distances to the grain boundary network in full-field crystal plasticity spectral method simulations
Nagano et al. Massively parallel inverse rendering using Multi-objective Particle Swarm Optimization
Saito et al. Improving active learning with sharp data reduction
Chitwood et al. Topological mapper for 3D volumetric images
Sakurai et al. Flexible fiber surfaces: A Reeb-free approach
Kuder et al. Point-based rendering optimization with textured meshes for fast LiDAR visualization
Tekawade et al. Tomo2Mesh: Fast porosity mapping and visualization for synchrotron tomography

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20081001

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20101025

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110418

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110429

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110502

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140408

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140408

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150427

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20150427

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160406

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160406

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170327

Start annual number: 7

End annual number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190210