KR101908126B1 - 다중 의료영상 분석 시스템 및 방법 - Google Patents

다중 의료영상 분석 시스템 및 방법 Download PDF

Info

Publication number
KR101908126B1
KR101908126B1 KR1020170035515A KR20170035515A KR101908126B1 KR 101908126 B1 KR101908126 B1 KR 101908126B1 KR 1020170035515 A KR1020170035515 A KR 1020170035515A KR 20170035515 A KR20170035515 A KR 20170035515A KR 101908126 B1 KR101908126 B1 KR 101908126B1
Authority
KR
South Korea
Prior art keywords
image
information
image information
data
medical
Prior art date
Application number
KR1020170035515A
Other languages
English (en)
Other versions
KR20180106739A (ko
Inventor
우상근
이용진
강주현
임상무
김욱
Original Assignee
한국원자력의학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력의학원 filed Critical 한국원자력의학원
Priority to KR1020170035515A priority Critical patent/KR101908126B1/ko
Publication of KR20180106739A publication Critical patent/KR20180106739A/ko
Application granted granted Critical
Publication of KR101908126B1 publication Critical patent/KR101908126B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

본 발명은 다중 의료영상 분석 시스템을 개시한다. 보다 상세하게는, 본 발명은 영상 가시화 및 영상처리를 통해 의료장비에서 이용되는 영상에 대한 정량분석을 수행하는 다중 의료영상 분석 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따르면, PET 등의 원 영상에 대하여 원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 그 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 제1 영상정보를 생성하고, 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 선택된 시점에서 바라본 제2 영상정보를 생성하며, 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행함에 따라 의료영상을 분석할 수 있는 유용한 정량 데이터를 검출 및 제공할 수 있다.

Description

다중 의료영상 분석 시스템 및 방법{SYSTEM AND METHOD FOR ANALYZING MULTIMODAL MEDICAL IMAGE}
본 발명은 다중 의료영상 분석 시스템에 관한 것으로, 특히 영상 가시화 및 영상처리를 통해 의료장비에서 이용되는 영상에 대한 정량 분석을 수행하는 다중 의료영상 분석 시스템 및 방법에 관한 것이다.
양전자 단층촬영장치(PET, positron emission tomography)은 양전자를 방출하는 방사성 의약품을 인체 내에 투입하고, 투입된 방사성 의약품 물질이 인체 내에서 사용되는 모양을 전용 촬영장치(Scanner)를 이용하여 3차원 영상으로 재구성하는 핵의학 검사 기술 중에 하나이다.
현재 임상에서 주로 사용되고 있는 단층영상촬영장치 중 CT(Computed Tomography; 전산화단층촬영) 또는 MRI(Magnetic Resonance Imaging; 자기공명영상)의 경우, 높은 해상도를 갖는 해부학적 영상을 제공할 수 있으나, 생화학적 정보는 획득하기가 어렵다는 한계가 있다. 반면, 양전자 단층촬영장치(PET)는 CT 또는 MRI와 같은 높은 해상도를 갖는 해부학적 영상을 제공할 수는 없으나, 생화학적 정보를 제공할 수 있다. 이에 다양한 방사성의약품을 사용하여 분자수준의 생화학적 정보를 획득할 수 있기 때문에, 체내 대사, 암질환, 알츠하이머병, 파킨슨병 등의 진단에 널리 사용되고 있는 추세이다.
특히, 최근 양전자 단층촬영장치(PET)를 이용한 다중 영상화 분야에서는 영상의 움직임의 영향을 받는 부분을 식별하고 잡음을 평가함으로써 진단 성능을 향상시키고자 하는 다양한 시도가 이루어지고 있으며, 양전자 단층촬영장치를 통해 획득한 영상에 대하여 사용자가 필요한 영역에 대한 유효한 정량적 데이터를 추출할 수 있는 분석 장치 및 방법에 대한 개발이 진행되고 있다.
본 발명은 다중 의료영상 분석 시스템 및 방법에 관한 것으로, 양전자 단층촬영기술에서 의료영상 분석을 위해 영상처리과정을 통해 원 영상을 변환하여 영상정보를 획득하고, 그 영상정보에 대하여 특정영역에 대한 데이터를 검출 및 추출함으로써 사용자에게 보다 유용한 의료영상과 관련된 정보를 제공하는 데 그 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 바람직한 실시예에 따른 다중 의료영상 분석 시스템은, 원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 읽은 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 제1 영상정보를 생성하는 영상 시각화부; 상기 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 선택된 시점에서 바라본 제2 영상정보를 생성하는 영상처리부; 및 상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 정량 분석부를 포함할 수 있다.
상기 영상 시각화부는, 상기 원 영상에 포함된 복수의 단면에 대하여 평준화된 3차원 영상의 화소값을 통해 트랜스액셜 뷰 이미지(Transaxial View Image), 새지털 뷰 이미지(Sagittal View Image), 및 코로날 뷰 이미지(Coronal View Image) 중 적어도 하나를 포함하는 제1 영상정보로 변환 및 표시하는 것을 특징으로 한다.
상기 영상처리부는, 상기 영상처리부는, 상기 제1 영상정보에 대하여 스케일링(Scaling), 주밍(Zooming), 로테이션(Rotation), 미러링(Mirroring), 그레이 스케일링(Gray Scaling), 크롭핑(Cropping) 및 쓰레숄딩(Thresholding) 중 적어도 하나를 적용하여 사용자에 의해 선택된 시점에서 바라본 제2 영상정보를 생성하는 것을 특징으로 한다.
상기 정량 분석부는, 상기 제2 영상정보에 대하여 영역 분할(Region Segmentation), 다중모드 이미지 등록(Multimodal Image Registration), 이벤트 데이터 부트스트랩(Event Data Bootstrap), 알오아이 분석(ROI Analysis) 및 폴라리제이션(Polarization) 기법 중 적어도 하나를 적용하여 특정영역에 대한 정량 데이터를 추출하는 것을 특징으로 한다.
상기 상기 영역 분할 기법은, 상기 제2 영상정보의 초기 시드 포인트를 설정하고, 상기 시드 포인트로부터 화소단위로 주변의 유사한 값들로 2차원 방향 또는 3차원 방향으로 탐색을 수행하여 허용오차 범위내의 화소들이 영역내에 포함되었는지 여부에 대한 데이터를 산출하는 것을 특징으로 한다.
상기 다중모드 이미지 등록 기법은, 상기 제2 영상정보와 참조영상을 로딩 및 정합하고, 두 영상 간의 정합도에 따라 보간법을 이용해 변형하여 목표 정합도에 도달할 때까지 반복하여 데이터를 산출하되,상기 참조영상은 상기 제2 영상정보와 동일 위치에 대응하는 MRI 영상인 것을 특징으로 한다.
상기 이벤트 데이터 부트스트랩 기법은, 리스트 모드 파일의 헤더 분석 결과에 기초하여 상기 제2 영상정보에서 유효한 이벤트 타입의 데이터를 선별하여 증가시키는 것을 특징으로 한다.
상기 알오아이 분석 기법은, 상기 제2 영상정보의 화소평균 및 최대값을 계산하여 선택적으로 영역을 이동시키거나 크기를 변경함으로써 데이터를 산출하는 것을 특징으로 한다.
상기 폴라리제이션 기법은, 상기 영역 분할 기법에 의해 추출된 이미지에 대하여, 코로날 뷰 이미지 및 새지털 뷰 이미지 방향으로 'U'자형 모양이 나타나도록 회전시켜 데이터를 산출하는 것을 특징으로 한다.
또한, 전술한 과제를 해결하기 위해, 본 발명의 다른 형태의 실시예에 따른 다중 의료영상 분석 방법은, 원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 읽은 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 제1 영상정보를 생성하는 단계; 상기 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 선택된 시점에서 바라본 제2 영상정보를 생성하는 단계; 및 상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 다중 의료영상 분석 시스템 및 방법은 PET 등의 원 영상에 대하여 의료영상을 분석할 수 있는 유용한 정량적 데이터를 검출 및 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 다중 의료영상 분석 시스템의 구조를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 다중 의료영상 분석 시스템의 영상 시각화부를 구성하기 위한 클래스(Class) 구성도를 나타낸 도면이다.
도 3 내지 도 4b는 본 발명의 실시예에 따른 영상 시각화부의 구성 및 기능을 설명하기 위한 도면이다.
도 5 내지 도 12b는 본 발명의 실시예에 따른 영상 처리부의 구성 및 기능을 설명하기 위한 도면이다.
도 13 내지 도 21b는 본 발명의 실시예에 따른 정량 분석부의 구성 및 기능을 설명하기 위한 도면이다.
도 22는 본 발명의 실시예에 따른 다중 의료영상 분석방법을 나타낸 도면이다.
설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)" 및 "...모듈(Module)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(Unit)", "모듈(Module)", "시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 예를 들어, 프로그램 모듈은 하나의 컴포넌트와 등가 혹은 둘 이상의 컴포넌트의 조합으로 구성될 수 있다. 또한, 본 발명에서는 서버 또는 단말기에서 실행되는 애플리케이션 프로그램 및 하드웨어 모두가 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예에 따른 다중 의료영상 분석 시스템 및 방법을 설명한다.
도 1은 본 발명의 실시예에 따른 다중 의료영상 분석 시스템의 구조를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 다중 의료영상 분석 시스템(100)은, 의료영상 분석 시스템으로서, 원 영상에 대한 시각화 과정을 통해 제1 영상정보를 생성하는 영상 시각화부(110)와, 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 제2 영상정보를 생성하는 영상처리부(120)와, 상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 정량 분석부(130)를 포함할 수 있다.
영상 시각화부(110)는, PET 영상인 원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 그 읽은 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 표시하는 역할을 수행한다. 영상 시각화부(110)는 원 영상에 포함된 복수의 단면에 대하여 평준화된 3차원 영상의 화소값을 통해 트랜스액셜 뷰 이미지(Transaxial View Image), 새지털 뷰 이미지(Sagittal View Image), 및 코로날 뷰 이미지(Coronal View Image) 중 적어도 하나를 포함하는 제1 영상정보로 변환 및 표시할 수 있다.
각 방향에 따른 단면 영상으로서 트랜스액셜 뷰 이미지(Transaxial View Image, 111), 새지털 뷰 이미지(Sagittal View Image, 112), 및 코로날 뷰 이미지(Coronal View Image(113) 중 적어도 하나로 변환되고, 각 단면 영상은 한 화면 내에서 분할된 복수의 창에 각각 표시되며, 각 뷰 이미지의 하단에는 스크롤바가 배치되어 스크롤바의 이동으로 3D 영상에서의 각 단면층이 이동되며 표시될 수 있다.
또한, 영상 시각화부(110)는 음함수 곡면을 렌더링 가능한 폴리곤으로 변환하는 알고리즘을 적용하여, 전술한 뷰 이미지(111 ~ 113)내 객체를 볼륨 뷰 이미지(Volumn View Image)로 변환하여 3차원 이미지로 표시할 수도 있다.
이를 위해, 영상 시각화부(110)는 전술한 뷰 이미지들을 생성하기 위한 유저 인터페이스(UI), 버튼 및 화면창을 생성하는 하나 이상의 프로그램 모듈로 구성될 수 있으며, 각 뷰 이미지 모듈의 기능에 대한 상세한 설명은 후술하도록 한다.
영상 처리부(120)는, 획득한 제1 영상정보에 대하여 다양한 영상처리기법 중의 적어도 하나를 적용하여 다양한 시점 중 사용자에 의해 선택된 시점에서 바라본 영상에 대한 제2 영상정보를 생성하는 역할을 한다. 이러한 영상 처리부(120)가 수행하는 영상처리기법으로는, 스케일링(Scaling, 121), 주밍(Zooming, 122), 로테이션(Rotation, 123), 미러링(Mirroring, 124), 그레이 스케일링(Gray Scaling, 125), 크롭핑(Cropping, 126) 및 쓰레숄딩(Thresholding, 127) 등이 있다.
정량 분석부(130)는, 상기 제2 영상정보를 이용하여 의료정보를 판단하는데 유용한 정량 데이터를 검출하는 역할을 수행한다. 이러한 정량 분석부(130)에 적용되는 영상분석 기법으로는 영역 분할(Region Segmentation, 131), 다중모드 이미지 등록(Multimodal Image Registration, 132), 이벤트 데이터 부트스트랩(Event Data Bootstrap, 133), 알오아이 분석(ROI Analysis, 134) 및 폴라리제이션(Polarization, 135) 중의 적어도 하나가 이용될 수 있다.
상세하게는, Region Segmentation(131)는 영역 기반의 분할 방식으로서, 상기 제2 영상정보의 초기 시드 포인트(Seed point)를 설정하고, 상기 시드 포인트로부터 화소 단위로 주변의 유사한 값들에 대해 2차원 방향 또는 3차원 방향으로 탐색을 수행하여 허용오차 범위내의 화소들이 영역내에 포함되었는지 여부에 기반한 데이터를 산출하는 방식이다.
Multimodal Image Registration(132)는 PET 영상과 MRI 영상을 정합한 영상을 생성하는 것으로서, 대상영상인 제2 영상정보에 MRI 영상인 참조영상을 로딩 및 정합하고, 두 영상간의 정합도에 따라 보간법을 이용하여 변형하되 목표 정합도에 도달할 때까지 반복하여 하나의 데이터를 산출하는 방식이다. 여기서, 참조영상은 대상영상인 제2 영상정보와 동일 위치에 대응하는 MRI 영상이다. 참조영상은 제2 영상정보와 동일한 방향과 시점에서 바라본 MRI 단면 영상인 것이 바람직하다.
Event Data Bootstrap(133)은 리스트(List) 파일의 헤더 분석결과에 기초하여 제2 영상정보에서 유효한 데이터를 선별하여 증가시키는 방식이다.
ROI Analysis(134)는 제2 영상정보의 화소평균 및 최대값을 계산하여 선택적으로 영역을 이동시키거나 크기를 변경함으로써 데이터를 산출하는 방식이다.
Polarization(135)는, 상기 Region Segmentation(131) 기법에 의해 추출된 이미지에 대하여, Coronal View Image 및 Sagittal View Image 방향으로 'U'자형 모양이 나타나도록 회전시켜 데이터를 산출하는 방식이다.
전술한 뷰 이미지 및 영상처리기법에 따른 결과물은 영상정보뿐만 아니라, 그 기법들을 수행하는 프로그램 모듈을 모두 포함하는 개념이다.
이러한 구조에 따라, 본 발명의 실시예에 따른 다중 의료영상 분석 시스템은, PET 영상인 원 영상에 대하여 의료영상을 분석할 수 있는 유용한 데이터를 검출 및 제공할 수 있는 효과가 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 다중 의료영상 분석 시스템의 각 구성부의 기능 및 구조를 보다 상세히 설명한다. 이하의 설명에서는 도 1의 지시부호를 함께 참조하여 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 다중 의료영상 분석 시스템의 영상 시각화부를 구성하기 위한 클래스(Class) 구성도를 나타낸 도면이고, 도 3 내지 도 4b는 본 발명의 실시예에 따른 영상 시각화부의 구성 및 기능을 설명하기 위한 도면이다.
본 발명의 다중 의료영상 분석 시스템에서는, 화면이 크게 좌측의 뷰(View) 영역과, 우측의 기능 버튼과 분석내용 표시창 영역으로 구성될 수 있다. 뷰 영역은 영상을 가시화하여 디스플레이 해주는 창이 4개로 나뉘어 배치될 수 있으며, 우측 상단에 사용자가 원하는 기능을 사용할 수 있도록 영상처리를 위한 버튼들이 배치될 수 있고, 하단에는 영상 처리를 통하여 획득한 값들을 출력하기 위한 창이 배치될 수 있다.
본 발명의 시스템에서는 총 7개의 뷰 클래스(View Class)를 구현하며, 도 2를 참조하면, 도시된 5개의 뷰 클래스는 화면에서 좌측영역 가시화를 위한 화면 구성을 위한 클래스이다. 각 뷰의 공통적인 특성을 사용하기 위해 부모 클래스인 CNIPView Class와, 나머지 CNIPView1 class, CNIPView2 class, CNIPView3 class 및 CResultView Class가 자식클래스로서 부모클래스를 상속받게 된다.
획득한 다중영상은 좌측에 배치된 4개의 뷰에 표시될 수 있다. 좌측 상단 뷰에 Transaxial 영상, 우측 상단 뷰에 Sagittal 영상, 그리고 좌측 하단 뷰에 Coronal 영상의 세 단면 영상이 각각 배치될 수 있다. 그리고 각 뷰 하단에는 스크롤바가 배치되어 이를 이동시키거나 화살표를 누르면 단면이 이동되게 된다.
이를 통해, 영상 시각화부(110)는 의료영상에서 각 단면 영상의 가시화 과정및 변환 과정, 볼륨 렌더링 과정을 통해 회전가능한 3D 객체를 제공할 수도 있다.
먼저, 각 단면 영상의 가시화 과정에서는 각 단면 영상의 가시화를 위해, Transaxial, Sagittal, Coronal View image(111, 112, 113) 모듈은 헤더를 분석하기 위해 설계된 헤더 분석 클래스를 통해 영상의 화소와 크기 등의 정보를 읽고, 정보들에 기초하여 읽은 데이터들을 0부터 255까지 평준화한다. 평준화된 3차원 영상의 화소값을 가지고 있는 이미지 어레이에서 한 축을 고정시켜 2차원 영상을 구성하게 된다. 그리고, Transaxial 단면 영상의 픽셀 값을 가지고 있는 특정 이미지 어레이를 영상의 크기만큼의 반복문을 이용하여 출력한다.
즉, 먼저 3차원 영상의 픽셀 값을 가지고 있는 이미지 어레이에서 한 축을 고정한 후 2차원 영상을 구성한 후, Transaxial 단면 영상의 픽셀 값을 가지고 있는 이미지 어레이를 배열을 영상의 크기만큼 반복시켜 단면 영상을 생성한다.
이에 따라, 도 3에 도시된 바와 같이, Analyze 영상에서 얻은 3차원 데이터들을 Transaxial, Sagittal 그리고 Coronal view image(111, 112, 113) 단면으로 나누어 화면의 각각 좌상단, 우상단 및 좌하단의 순서로 표시하게 된다.
이후, 표시된 영상들에 대한 단면 변환 과정으로서, 영상 영역내의 좌표를 선택하여 단면 변환하는 방법과, 뷰 하단의 스크롤바 및 화살표 버튼을 조작하여 변환하는 방법이 적용될 수 있다.
먼저, 영역내의 좌표를 선택하여 단면 변환하는 방법은 마우스가 클릭되었을때 포인트가 영상내에 존재한다면, 다른 두 단면에서 고정시킨 축 값을 선택한 좌표값에 맞추어서 바꿔준 후 전체 뷰 들을 업데이트하는 방식이다. 스크롤바 이동시에는 현재 위치값을 참조하여 축 값이 변경되고, 화살표를 눌렀을 경우에는 축이 1만큼 이동하게 되며, 이때 현재 위치값을 참조하여 축 값이 변경됨에 따라 단면변환을 수행하게 된다.
즉, 먼저 마우스를 클릭했을 때 포인트가 영상내에 존재하면, 다른 두 단면에서 고정시킨 축 값을 선택한 좌표값에 맞추어 바꿔준 후 전체 뷰들을 업데이트 하고 나서, 각 뷰 하단에 위치한 스크롤 바에서 화살표를 누르게 되면 축이 1만큼 이동하게 되고 바를 이동시키면 현재 위치값을 참조하여 축 값을 바꾸어 단면 변환을 수행한다.
이에 따라, 도 4a를 참조하면, 영상 내의 좌표를 이용한 단면 변환을 확인 할 수 있다. 사용자가 첫 번째 뷰에만 보이는 영상에서 원하는 부분을 마우스로 클릭하면, 그 위치의 값을 이용하여 단면 변환이 수행되며 나머지 뷰들이 업데이트 된다. 여기서, 심근영역이 클릭됨에 따라 3개 뷰가 모두 가시화된 것을 확인할 수 있다. 또한, 도 4b에 나타난 바와 같이, 뷰 아래에 있는 스크롤바를 이동함으로 가시화된 화면을 확인할 수 있다.
한편, 추가적으로, 영상 시각화부(110)는 가시화 및 변환된 영상에 대하여 볼륨 렌더링(Volume Rendering, 114) 과정을 거쳐 3D 영상을 구현할 수도 있다. 이러한 볼륨 뷰 이미지는 마칭 큐브(Marching Cube) 알고리즘이 적용되어 생성될 수 있다. 마칭 큐브 알고리즘은 음함수 곡면을 렌더링 가능한 폴리곤으로 바꿔주는 알고리즘으로서, 심근영역 검출 후 3D 가시화를 위하여 사용된다. 본 발명에서는 제1 영상정보 또는 후술할 정량 분석부(130)의 영역 분할(Region Segmentation, 131)로 검출한 영상을 마칭 큐브 알고리즘으로 표면(surface) 렌더링을 수행하여 STL로 변환할 수 있다. 이후 3D 가시화(3D Visualization) 버튼 중 볼륨 렌더링(114) 기능 또는 버튼을 이용하여 메시랩(Meshlab)으로 가시화하여 3차원 영상으로 표시할 수 있다.
전술한 3D 렌더링 과정에서는 우선 STL로 변환할 영상을 변환하여 준비하되, 이때 복셀(Voxel)은 1x1x1 비율로 맞춰줄 수 있다. 그리고, 마칭 큐브 버튼이 클릭되면, 다이얼로그가 표시된다. 그리고 나서, 오픈할 이미지가 선택되면 볼륨 정보(Volume Information)라는 다이얼로그가 표시되고, 사용자는 그 다이얼로그상에서 파라미터를 입력할 수 있다. 이때, 헤더 사이즈(Header Size)와 쓰레숄드(Threshold)는 0으로 셋팅될 수 있다. 또한, 슬라이스 폭(Slice Width)는 영상의 X사이즈의 2배로 입력될 수 있고, 슬라이스 높이(Slice Height), 슬라이스의 갯수(Number of Slice)는 영상 Y, Z의 사이즈가 입력될 수 있다. 또한, X Scale은 Y, Z Scale의 절반으로 입력될 수 있다. 물론, 입력된 값은 예시로서 환경에 따라 다양한 값이 적절하게 입력될 수 있음은 물론이다.
이때, 스케일이 증가되면 볼륨 데이터의 크기가 커지고, 성공적으로 변환시 영상이 가시화될 수 있다.
한편, 상기 마칭 큐브가 실행되면 STL형식으로 변환된 파일을 얻을 수 있으며, 사용자는 이를 입력영상으로 사용하여 메시랩(Meshlab)으로 가시화된 영상을 보고 다양한 필터를 사용하여 부가적인 비주얼 효과를 추가할 수 있다. 3D 가시화 버튼을 클릭하면 시스템내 메시랩 실행 파일의 경로로 메시랩 실행 파일을 검색한 후, 검색되면 메시랩 실행 파일이 실행될 수 있다.
메시랩 실행 파일이 실행된 후 변환된 STL 파일이 로드되면 3D로 가시화된 객체를 확인할 수 있다. 또한, 마우스 등으로 화면을 드래그하면 객체를 3차원으로 회전시켜서 볼 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 다중 의료영상 분석 시스템에서 영상처리부의 구성을 설명한다.
도 5 내지 도 12b는 본 발명의 실시예에 따른 영상 처리부의 구성 및 기능을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 영상 처리부(120)가 제공하는 메뉴버튼은 영상처리를 수행하기 위한 '스케일링(Scaling, btn1), '줌온(Zoom on, btn2), '로테이션(Rotation, btn3), '미러링(Mirroring, btn4), '그레이 스케일(GrayScale, btn5), '크롭온(Crop on, btn6), '쓰레숄딩(Thresholding, btn7), '마칭 큐브(Marching Cube, btn8) 및 '3D 가시화(3D Visualiztion, btn9) 버튼을 포함할 수 있고, 각 버튼은 본 발명의 영상 처리부(120)의 프로그램 모듈들에 대응하며, 클릭에 따라 해당 영상에 비주얼 효과를 부여하게 된다.
먼저, 'Scaling'(btn1) 기능은, 획득한 영상의 처리를 위하여 일반적으로 필요한 명암대비 조절기능으로서, 해당 버튼을 누르면 명암 조절을 할 수 있는 슬라이더가 있는 다이얼로그를 표시하게 된다. 슬라이더를 움직이면 어떤 슬라이더인지 검사한 후, 슬라이더의 위치 값을 얻어내어 그 값을 이용하여 화소값의 최대값 및 최소값을 변경한 후 전체 뷰를 업데이트 하게 된다. 즉, 슬라이더의 위치 값을 이용하여 픽셀 값의 최대값 및 최소 값을 바꾼 후 전체 뷰를 업데이트하게 된다.
도 6은 전술한 스케일링 기능선택에 따른 설정창의 예를 나타내고 있다. 도 6을 참조하면, 좌측의 히스토그램은 로드된 영상의 화소값들의 분포도를 나타내며, 우측 슬라이더를 조작하면 영상의 명암대비가 조절되게 된다. 두 개의 슬라이더 중 좌측에 있는 것이 최대값을 설정하는 바(bar)이며, 우측에 있는 것이 최소값을 결정하는 바이다. 사용자는 파일을 로드하고 '스케일링(Scaling)' 버튼을 누른 뒤 슬라이더를 아래위로 드래그해서 원하는 밝기로 조정한 후 확인버튼을 누름으로써, 영상의 스케일링 작업을 수행할 수 있다.
다음으로, 'Zoom in'(btn2) 기능은, 마우스의 휠을 이용하여 영상의 확대 및 축소하는 기능이다. 사용자가 마우스 휠을 움직이면 이벤트가 발생하여 각 축에 대한 단면 영상을 입력된 확대 및 축소 배율에 따라 크기를 조정하고 재드로잉을 수행 하게 된다. 여기서, 마우스 휠의 상태를 인식하는 매크로(macro)를 통해 마우스 휠의 움직임을 변수로 받아서 사용자 쪽으로 휠이 움직였을 경우 확대해주고, 마우스 휠이 사용자 반대쪽으로 움직였을 경우 축소해주도록 설정될 수 있다. 본 발명에서는 총 3개의 단면 영상의 크기를 동시에 조절해야 하기 때문에 발생하는 영상이 깜빡거리는 문제에 대하여 순차적으로 바뀐 부분만 드로잉함으로써 문제를 개선한다.
도 7은 PET 영상을 로드하여 확대 및 축소기능을 수행한 예를 나타내고 있다. 'Zoom in'(btn2)버튼이 눌린 상태에서, 한 단면이 선택되고 마우스의 휠이 위로 움직이면 축소가 되고 아래로 움직이면 확대가 된다.
다음으로, 'rotation'(btn3)기능은, 영상을 원하는 축으로 원하는 각도만큼 회전시키는 기능이다. 'rotation'(btn3) 버튼을 누르면 회전을 위한 새로운 대화 상자가 열리게 된다. 사용자는 그 대화상자에서 회전시키기 원하는 각도를 입력한 후, 축을 선택하고 확인버튼을 누르면 원하는 각도만큼 원하는 축을 기준으로 영상이 회전되며, 도 8을 참조하면 사각형의 영역으로 표시된 부분이 각도를 입력하는 부분이다. 각도와 기준축은 각각 상이한 변수에 저장되어 이용되며, 회전에 이용되는 함수를 이용하여 회전시킨 값을 원영상 어레이에 입력한다.
다음으로, 'mirroring'(btn4) 기능은, 사용자가 그 버튼을 클릭하고 반전시킬 기준축만 선택해주면 선택된 축을 기준으로 영상을 반전하는 기능이다. 이러한 반전을 수행하기 위해, 기준 축이 선택되면 vMode라는 변수에 받아내고, 이를 가지고 CImg함수를 사용하여 vMode의 값에 따라 0은 x축, 1은 y축, 2는 z축을 기준으로 이미지를 반전하게 된다.
도 9는 'mirroring'(btn4)의 클릭에 따른 화면을 예시하고 있으며, 본 기능에 따르면 다이얼로그에서 각도는 입력하지 말고 반전하고자 하는 기준축만을 선택해 주게 된다. 도 9에서는 x축을 선택한 경우 x축을 기준으로 반전시킨 결과이미지를 표시하고 있다.
다음으로, 'GrayScale'(btn5)기능은 입력된 영상을 로드하여 그레이 스케일 이미지로 변환시키는 역할을 한다. 도 10을 참조하면, 입력된 이미지는 왼쪽 상단에 뷰에 출력하고, 그레이 스케일로 변환된 이미지는 오른쪽 상단에 출력되게 된다.
다음으로, 'Crop on'(btn6) 기능은, 도 11을 참조하면, 대상 이미지를 로딩하고 크롭온 버튼을 누른 후, 사용자가 조합하기 원하는 부분을 드래그하면 좌측 첫 번째 그림과 같이 메시지 창이 표시되고, 확인을 누른 뒤 다음 창에서 조합할 부분을 드래그하여 선택하면 아래의 오른쪽 끝의 그림과 같이 메시지 창이 표시되게 된다. 이때, '예'를 누르고 새 이미지를 출력하겠다고 하면 크롭된 부분이 새 창에 표시된다. 2개의 이미지 뷰에서 영역을 선택하면 TrackShape class를 상속받은 SelectTracker class를 이용하여 영역을 그리게 된다. Crop버튼을 클릭하면 버튼의 캡션을 "CROP Off"로 바꾸고 crop플래그를 true로 설정할 수 있다. ImageView에서 마우스의 왼쪽버튼을 클릭하면 SelectTracker의 LButtonDown함수를 호출하게 된다. 마우스의 왼쪽버튼이 눌렸는지의 여부에 따라 마우스가 이동하면 OnMouseMove 함수에서 선택영역을 Drawing 하게 된다.
다음으로, 'Thresholding'(btn7) 기능은 도 12a에 나타난 알고리즘을 사용할 수 있도록 하는 것이며, 도 12b는 사진은 영역추출을 목적으로 한 오츠(otsu) 알고리즘을 사용하여 얻어낸 결과를 나타내고 있다. 도 12b의 좌측하단에는 이미지의 히스토그램이 표시되고, 우측에는 알고리즘을 적용한 후 얻어낸 결과가 표시되고 있다. 도시되어 있지는 않지만, 추가 버튼 및 리스트 컨트롤에는 해당 알고리즘을 수행하는데 걸린 시간이나 쓰레숄드 비율 등이 출력되는 창이 더 추가될 수 있다.
도 12a에는 본 발명의 실시예에 적용된 소정의 알고리즘을 예시하고 있으며, 먼저 Mixture Model, Mixture Model 2는 이미지를 가우시안 믹스쳐 모델(Gaussian Mixture Model) 알고리즘으로 처리하는 것이다. 그 목적은 데이터들의 분포 특성을 분석하기 위함이다. 그리고, 오츠(Otsu) 알고리즘은 이진화 작업으로 이미지가 담고 있는 개체들을 분리하는 작업을 수행하게 된다. 또한, 맥스 엔트로피(Max entropy) 알고리즘은 그레이 스케일 이미지의 히스토그램(histogram)에서 최대값을 뽑아낸다.
기타, 'Marching cube'(btn8) 및 '3D visualiztion'(btn9) 기능은 전술한 영상 시각화부(110)에서 이용되는 기능을 선택하기 위한 버튼이다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 다중 의료영상 분석 시스템에서 정량 분석부의 기술적 사상을 설명한다.
도 13 내지 도 21b는 본 발명의 실시예에 따른 정량 분석부의 구성 및 기능을 설명하기 위한 도면이다.
도 13을 참조하면, 본 발명의 정량 분석부(130)의 메뉴버튼(btn_menu)은 'Segmentation'(btn1), 'Registration'(btn2), 'Bootstrap'(btn3), 'ROI On'(btn4) 및 'polarization'(btn5)를 포함할 수 있고, 각 버튼은 본 발명의 정량 분석부(130)의 기능에 대응하며, 클릭에 따라 해당 영상에 대한 정량 분석을 수행하게 된다.
먼저, 'Segmentation'(btn1) 버튼은, 영역 분할(Region Segmentation) 기반 의 분할 기법으로 2차원 및 3차원 분할(Segmentation) 알고리즘이 적용된다. 이는 초기 시드 포인트로부터 화소(pixel)단위로 주변의 유사한 값들로 영역을 확장시키는 알고리즘으로 표적화를 원하는 영역의 한 부분을 시드 포인트로 설정하여 영역 확장 방법을 이용하여 검출하게 된다. 도 14는 영역 분할(Region Segmentation)을 위한 파라미터 다이얼로그 화면의 일 예를 나타내고 있다.
상세하게는, 쓰레숄딩 기법(Thresholding method)과 평균값 기반 기법(Mean based method)를 사용하여 분할작업을 수행하는데, 시드 포인트를 기준으로 영역을 확장할 때에 허용 오차에 따라 범위를 다르게 하는 방법이 쓰레숄딩 기법이다. 허용오차는 다이얼로그에서 입력받은 값(Allowable)을 변수로 받아 사용하고, 2차원은 상하좌우 방향으로 탐색을 수행하면서 허용 오차에 속하는지를 검사할 수 있다. 3차원은 앞뒤양옆과 위아래 방향으로 탐색을 수행한다.
또한, 전술한 평균값 기반 기법은 시드 포인트를 선택한 후 사용자가 입력하는 값에 따라 범위를 다르게 하여 평균값을 구해 시드 포인트의 값과의 차를 구한 뒤 오차 허용치로 사용하는 방법이다. 시드 포인트로부터 좌우와 아래위에 대한 방향을 탐색하면서 오차 허용치에 포함된다면 해당영역으로 포함시킬 수 있다. 여기서, 결과는 새로운 창으로 가시화된다. 지정된 시드 포인트의 값을 가져와서 연결범위만큼의 주변 값들의 평균값을 구할 수 있다. 이 평균값과 현재값의 차를 허용 오차로 변수에 저장하여 사용하며, 2차원일 경우 상하좌우 방향, 3차원일 경우 상하좌우 방향과 위아래 방향까지 탐색을 수행할 수 있다. 탐색을 수행하여 허용오차안의 범위에 있는 값일 경우 같은 영역으로 생각하여 포함시켜서 영역을 확장할 수 있다.
즉, 지정된 시드 포인트에서 값을 가져오고, 주변 값들의 평균값을 구한 후, 허용 오차에 속하는 지를 검사하면서 상하좌우 방향으로 2차원 탐색을 수행한다. 여기서, 허용 오차를 다시 정의하여 평균값과 현재값의 차를 사용할 수 있다. 그리고 나서, 허용 오차에 속하는 지를 검사 하면서 앞뒤양옆과 위아래 방향으로 3차원 탐색을 수행할 수 있다.
도 15는 평균값 기반 기법을 선택하고 연결 범위로 50의 값을 설정한 경우에 볼 수 있는 결과 영상을 나타내고 있다.
다음으로, 'Registration'(btn2) 버튼은 다중모드 이미지 등록(Multimodal Image Registration)을 위한 기능이다. 본 발명의 실시예에 따른 다중 의료영상 분석 시스템에서, 대상영상인 PET 영상과 참조영상인 MRI 영상간의 정합을 위한 소프트웨어의 인터페이스는 MFC 라이브러리를 통하여 구성되고 기본 기능은 윈도우 API를 이용하고 있다. 정합 알고리즘은 ITK 라이브러리를 이용하여 PET 영상과 MRI 영상을 입력으로 하여 구현할 수 있다.
이에 따라, Registration 다이얼로그에서 대상 영상으로 제2 영상정보를, 참조 영상으로 MRI 영상을 사용하고, 두 영상이 모두 로딩된 상태에서 결합(fusion) 버튼이 눌리면 아래의 코드와 같이 새로운 결합 영상을 위한 어레이(Array)를 새로 만들어 주게 된다. 상기 결합 영상이 생성되면 스크롤바를 가운데의 위치로 맞춰주고, MSE(Mean square error)를 산출해서 표시할 수 있다.
여기서, 참조영상은 대상영상인 제2 영상정보와 동일 위치에 대응하는 MRI 영상이다. 참조영상은 제2 영상정보와 동일한 방향과 시점에서 바라본 MRI 단면 영상인 것이 바람직하다.
즉, 대상 영상과 참조 영상이 모두 로딩되면, 결합 영상을 위한 어레이를 생성하고, 결과 영상의 스크롤바의 값을 가운데로 맞춰준 후, 대상 영상과 결과 영상의 각 픽셀의 값의 차를 제곱하고 가산한 후, 대상 영상의 크기로 나누어서 MSE를 산출할 수 있다. 또한, 새로운 결과 영상을 위해 각 어레이에 있는 값들을 삭제하여 기존 데이터를 정리하고, 두 영상의 크기를 고려하여 두 영상이 함께 들어갈 수 있는 공간을 만들고, 두 영상의 값을 합산하여 새로운 영상을 생성하게 된다.
도 16을 참조하면, 사용자가 우측 Registration 버튼을 누르면 Registration을 위한 다이얼로그가 표시되며, PET 영상과 MRI 영상의 결합 또는 정합을 실시하는 화면을 예시하고 있다. 먼저 PET 영상을 로딩한 후, 두 번째 open 버튼을 클릭하여 MRI 영상을 로딩한다. 두 영상이 다 로딩된 후 세 번째에 있는 결합 버튼을 누르면 마지막 3개의 창에서 PET/MRI가 결합(정합)된 이미지가 표시되게 된다.
한편, Registration에서 GVF(Gradient Vector Flow) snake 알고리즘을 함께 처리할 수도 있다. 우선 전처리 과정으로 대상 영상과 참조 영상을 정합 처리하기 위해 2차원 영상으로 변환하여 같은 위치에 있는 한 장의 슬라이스로 저장하게 된다. 이때, Registration버튼을 클릭했을 경우와 GVF snake 버튼을 클릭했을 경우를 나누어 moptflow 함수를 호출해서 사용할 수 있다. GVF snake 버튼이 클릭되지 않은 경우, optmonoflow함수를 호출하여 정합된 이미지의 OpticalFlow와 이미지를 작게 리사이즈(resize)하여 정합된 모습을 표시할 수 있다. 그리고 나서 registration이 완료된 후 MSE 값을 표시하게 된다. GVF snake 버튼이 클릭된 경우에는 GVF snake 함수를 호출하는데, 이때는 에지(edge)를 나타내기 위해 라플라시안(Laplacian) 필터를 사용할 수 있다.
도 17a 및 도 17b는 각각 Registration 다이얼로그의 오른쪽에 있는 옵션 버튼들 중 Registration 버튼을 실행시킨 결과와, GVF(Gradient Vector Flow) snake버튼을 실행시킨 결과를 예시한 도면이다. 정합 알고리즘은 두 입력 영상인 제2 영상정보와 MRI 영상을 각각 대상 영상과 참조 영상으로 지정한 후 두 영상 간의 정합도를 계산하고 보간법을 이용하여 변형시키는 과정을 목표 정합도에 도달할 때까지 반복하여 수행하게 된다. 여기서, Registration 다이얼로그의 영상은 두 영상이 로딩되어 있어야 결과를 확인할 수 있도록 설정되어 있다.
다음으로, '부트스트랩(Bootstrap, btn3) 버튼은 이벤트 데이터 부트스트랩 기능을 수행하는 것으로서, 리스트 모드 파일을 입력으로 받아 헤더를 분석한 뒤 그것을 기반으로 유효한 코인시던스 이벤트(coincidence event) 데이터 타입 또는 싱글 이벤트 데이터 타입의 패킷만을 선별하여 증가시켜주는 방법을 구현한다.
coincidence event 데이터에 대해 간략하게 설명하면 다음과 같다.
리스트 모드 파일은 PET 영상을 구성하는데, 이때 리스트 모드 파일의 패킷데이터는 48 비트(bit)의 사이즈를 가지며, 8 비트의 헤더(header)와 40 비트의 페이로드(payload)를 포함한다. 8 비트의 헤더는 최초 비트는 '0'으로 세팅되어 있으며, 다음의 3 비트는 그레이코드(Gray code)로 구성되고, 나머지 4 비트는 패킷데이터의 타입(Type)정보로 구성된다. 해당 패킷데이터의 타입정보가 16진수 'x0'에서 'x7'에 해당하는 경우 해당 패킷데이터의 타입은 "Coincidence Event"를 의미하고, 패킷데이터의 타입정보가 16진수 'xA'인 경우 해당 패킷데이터의 타입은 "Counter Tag (Time Mar, Singles, etc)"를 의미한다.
PET 영상을 추출하는데 가장 중요한 타입은 "Coincidence Event"와 "Single Event"이므로, 추후 영상을 재생성하기 위해서는 리스트 데이터에서 "Coincidence Event"와 "Single Event" 타입의 패킷만을 따로 추출할 필요가 있다.
도 18a 및 도 18b는 각각 부트스트랩 패킷 분석 실행결과와 부트스트랩 실행 후 생성되는 파일의 표시하는 화면을 예시한 것으로서, 사용자가 프로그램창의 오른쪽에 위치한 버튼 중, 부트스트랩 버튼을 클릭하면 부트스트랩을 위한 다이얼로그가 표시된다. 이 다이얼로그에서 맨 위에 오픈 버튼을 눌러 리스트 모드 파일을 로딩하게 된다. 이후 원하는 옵션을 입력해준 후 왼쪽 맨 아래에 있는 START/END버튼을 눌러 이벤트 데이터 부트스트랩 기능을 실행할 수 있다.
이벤트 데이터 부트스트랩 기능 수행 시 읽어들일 파일의 개수, 랜덤 샘플링(random sampling) 선택 여부, 긱 패킷의 time difference, 출력 파일의 개수를 입력 또는 정의할 수 있다.
도 19는 이벤트 데이터 부트스트랩(Event Data Bootstrap) 파라미터를 위한 다이얼로그의 창을 예시하고 있다. 도면에서 1번은 multi-read로 'of files'에서 입력받을 파일의 개수가 입력된다. 'of buffer'는 읽을 때 사용하는 버퍼의 사이즈를 의미한다. 2번 Sample method는 non-sampling과 random-sampling 으로 나눠지는데, 첫 번째 방법은 원본을 단순히 배수만해서 써주는 샘플링 방법이고, 두 번째 방법은 랜덤 샘플링을 사용하여 배수로 샘플링하는 방법이다. 3번의 Time defference에 해당하는 4개의 빈칸에는 Time defference(td)의 조건을 제한하기 위해 사용한다. 예를 들어 0, 4, 10, 15인 조건을 넣었다면 0≤td≤4 or 10≤td≤15를 만족하는 td만을 샘플링하겠다는 의미로 쓰인다. 만약, 0, 0, 0, 0으로 아무 숫자도 넣지 않을 경우에는 td의 조건을 사용하지 않고 coincidence를 모두 다 사용한다는 의미로 쓰인다. 4번 Multi-write에서 'of files'는 결과 파일을 몇 개나 쓸지를 의미한다. 'of multiple'은 파일에 쓸 때 몇 배의 배수를 적용할지를 의미한다. 1이면 그대로, 10이면 샘플링할 때 10배의 배수를 한다. 'of buffer'는 랜덤 샘플링을 할 경우 Coincidence Event 타입만을 모아서 샘플링을 하게 되는데, 이때 후보가 될 Coincidence Event 타입 데이터의 크기를 결정해 주는 버퍼의 사이즈를 의미한다. 모든 옵션을 설정하였다면 5번의 버튼을 사용하여 샘플링을 시행하게 된다. 한번 더 클릭하면 정지된다.
다음으로, 'ROI On'(btn4) 버튼은 ROI 영역을 분석하기 위한 것으로서, 도 20을 참조하면, 영상에서 ROI 영역을 그리면 그 영역의 픽셀 평균 및 최대값을 계산하여 우측 하단 창에 순서대로 표시하도록 설정되어 있다. 영역의 개수는 제한이 없으며, 좌측 상단에 영역 번호를 각각 지정으로써 영역 간의 구별을 용이하도록 구성되었다. 각 영역을 선택하여 이동시키거나 크기를 변경할 수 있다.
'polarization' 버튼은, 영역 분할(Region Segmentation) 기능으로 추출한 PET 영상의 심근영역 영상을 로딩하고, 추출된 영상의 심근 모양이 coronal과 sagittal방향에서 U자형 모양으로 나타나도록 회전시키는 기능이다.
즉, 다시 설명하면, 먼저 이미지를 리사이즈(resize)하고 링 영역(ring region)으로 샘플링하여 변환하고, 변환된 영역을 2D 가시화 이미지로 다시 바꿔줘 가시화를 위한 전처리 이미지를 만든다. 그 후, 영역 분할 결과로 나온 이미지를 블러(blur) 처리 및 정규화(normalize 처리하여 완성된 결과 이미지를 뷰 업데이트할 수 있다.
도 21a 및 도 21b는 각각 폴라리제이션(Polarization) 실행영상 및 x축 90도 회전, x축 반전 후 폴라리제이션 실행영상을 예시한 도면으로서, Polarization 버튼을 클릭하면 가시화되어 도 21b에 나타난 바와 같이 우측 하단의 4번째 뷰에 이미지로 표시되게 된다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 다중 의료영상 분석방법을 설명한다.
도 22는 본 발명의 실시예에 따른 다중 의료영상 분석방법을 나타낸 도면이다.
도 22를 참조하면, 본 발명의 다중 의료영상 분석방법은, 의료영상 분석 방법으로서, 원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 그 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 제1 영상정보를 생성하는 단계(S100)와, 상기 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 선택된 시점에서 바라본 제2 영상정보를 생성하는 단계(S110)와, 상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 단계(S120)를 포함할 수 있다.
상세하게는, 원 영상에 대한 시각화 과정을 통해 제1 영상정보를 생성하는 단계(S100)로서, 영상 시각화부 및 이에 포함된 프로그램 모듈이 원 영상에 포함된 하나 이상의 단면에 대하여 영상의 화소와 크기 등의 정보들에 기초하여 데이터를 평준화하고, Transaxial, Sagittal 및 Coronal View Image로 변환하여 제1 영상정보를 도출할 수 있으며 이를 화면에 표시할 수 있다. 또한, 추가적으로, 그 변환된 영상에 대하여 3D 객체영상인 볼륨 뷰 이미지(Volumn View Image)로 변환하여 이를 3차원 이미지로 표시할 수도 있다.
이어서, 상기 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 제2 영상정보를 생성하는 단계(S110)로서, 영상 처리부가 제1 영상정보에 Scaling, Zooming, Rotation, Mirroring, Gray Scaling, cropping 및 Thresholding 중의 적어로 하나의 영상처리기법을 적용하여 다양한 형태의 제2 영상정보를 생성 및 표시하는 단계이다.
다음으로, 상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 단계(S120)로서, 정량 분석부가 영역 분할(Region Segmentation), 다중모드 이미지 등록(odal Image Registration), 이벤트 데이터 부트스트랩(Event Data Bootstrap), 알오아이 분석(ROI Analysis) 및 폴라리제이션(Polarization) 중의 적어도 하나의 영상분석 기법을 통해 제2 영상정보에 대하여 의료정보를 판단하는데 유용한 정량 데이터를 검출 및 제공하는 단계이다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
100 : 다중 의료영상 분석 시스템
110 : 영상 시각화부 111 : Transaxial View Image
112 : Sagittal View Image 113 : Coronal View Image
120 : 영상 처리부 121 : Scaling
122 : Zooming 123 : Rotation
124 : Mirroring 125 : Image Gray Scaling
126 : cropping 127 : Thresholding
130 : 정량 분석부 131 : Region Segmentation
132 : Multimodal Image Registration
133 : Event Data Bootstrap 134 : ROI Analysis
135 : Polarization

Claims (10)

  1. 의료영상 분석 시스템으로서,
    원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 읽은 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 제1 영상정보를 생성하는 영상 시각화부;
    상기 제1 영상정보에 스케일링(Scaling), 주밍(Zooming), 로테이션(Rotation), 미러링(Mirroring), 그레이 스케일링(Gray Scaling), 크롭핑(Cropping) 및 쓰레숄딩(Thresholding) 중 적어도 하나를 적용하여 선택된 시점에서 바라본 제2 영상정보를 생성하는 영상처리부; 및
    상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 정량 분석부를 포함하되,
    상기 제1 영상정보는, 각 방향에 따른 단면 영상으로서 트랜스액셜 뷰 이미지, 새지털 뷰 이미지, 및 코로날 뷰 이미지를 포함하고,
    상기 영상 시각화부는, 영상 변환을 위한 유저 인터페이스를 포함하고, 상기 제1 영상정보의 각 뷰 이미지의 하단에 배치된 스크롤바의 이동으로 각 단면층을 이동하여 표시하고, 음함수 곡면을 렌더링 가능한 폴리곤으로 변환하는 알고리즘을 적용하여 상기 제1 영상정보에 포함된 뷰 이미지 내의 객체를 볼륨 뷰 이미지로 변환하여 회전 가능한 3차원 이미지를 더 표시하는 것을 특징으로 하는 다중 의료영상 분석 시스템.
  2. 제 1 항에 있어서,
    상기 영상 시각화부는,
    상기 원 영상에 포함된 복수의 단면에 대하여 평준화된 3차원 영상의 화소값을 통해 트랜스액셜 뷰 이미지(Transaxial View Image), 새지털 뷰 이미지(Sagittal View Image), 및 코로날 뷰 이미지(Coronal View Image) 중 적어도 하나를 포함하는 제1 영상정보로 변환 및 표시하는 것
    을 특징으로 하는 다중 의료영상 분석 시스템.
  3. 제 1 항에 있어서,
    상기 영상처리부는,
    상기 제1 영상정보에 대하여 스케일링(Scaling), 주밍(Zooming), 로테이션(Rotation), 미러링(Mirroring), 그레이 스케일링(Gray Scaling), 크롭핑(Cropping) 및 쓰레숄딩(Thresholding) 중 적어도 하나를 적용하여 사용자에 의해 선택된 시점에서 바라본 제2 영상정보를 생성하는 것
    을 특징으로 하는 다중 의료영상 분석 시스템.
  4. 제 1 항에 있어서,
    상기 정량 분석부는,
    상기 제2 영상정보에 대하여 영역 분할(Region Segmentation), 다중모드 이미지 등록(Multimodal Image Registration), 이벤트 데이터 부트스트랩(Event Data Bootstrap), 알오아이 분석(ROI Analysis) 및 폴라리제이션(Polarization) 중 적어도 하나를 적용하여 특정영역에 대한 정량 데이터를 추출하는 것
    을 특징으로 하는 다중 의료영상 분석 시스템.
  5. 제 4 항에 있어서,
    상기 영역 분할 기법은,
    상기 제2 영상정보의 초기 시드 포인트를 설정하고, 상기 시드 포인트로부터 화소단위로 주변의 유사한 값들로 2차원 방향 또는 3차원 방향으로 탐색을 수행하여 허용오차 범위내의 화소들이 영역내에 포함되었는지 여부에 대한 데이터를 산출하는 것
    을 특징으로 하는 다중 의료영상분석 시스템.
  6. 제 4 항에 있어서,
    상기 다중모드 이미지 등록 기법은,
    상기 제2 영상정보와 참조영상을 로딩 및 정합하고, 두 영상 간의 정합도에 따라 보간법을 이용해 변형하여 목표 정합도에 도달할 때까지 반복하여 데이터를 산출하되,
    상기 참조영상은 상기 제2 영상정보와 동일 위치에 대응하는 MRI 영상인 것
    을 특징으로 하는 다중 의료영상 분석 시스템.
  7. 제 4 항에 있어서,
    상기 이벤트 데이터 부트스트랩 기법은,
    리스트 모드 파일의 헤더를 분석한 후 유효한 코인시던스 이벤트 또는 싱글 이벤트 데이터 타입의 패킷을 선별하고, 선별된 타입의 패킷을 배수하여 상기 리스트 모드 파일의 데이터량을 증가시키는 것을 특징으로 하는 다중 의료영상 분석 시스템.
  8. 제 4 항에 있어서,
    상기 알오아이 분석 기법은,
    상기 제2 영상정보의 화소평균 및 최대값을 계산하여 선택적으로 영역을 이동시키거나 크기를 변경함으로써 데이터를 산출하는 것
    을 특징으로 하는 다중 의료영상 분석 시스템.
  9. 제 4 항에 있어서,
    상기 폴라리제이션 기법은,
    상기 영역 분할 기법에 의해 추출된 이미지에 대하여, 코로날 뷰 이미지 및 새지털 뷰 이미지 방향으로 'U'자형 모양이 나타나도록 회전시켜 데이터를 산출하는 것
    을 특징으로 하는 다중 의료영상 분석 시스템.
  10. 의료영상 분석 방법으로서,
    원 영상을 입력받아 영상의 화소와 크기 등의 정보를 읽고, 읽은 정보들에 기초하여 데이터를 평준화하고 각 방향에 따른 단면 영상으로 변환하여 제1 영상정보를 생성하는 단계;
    상기 제1 영상정보에 적어도 하나 이상의 영상처리기법을 적용하여 선택된 시점에서 바라본 제2 영상정보를 생성하는 단계; 및
    상기 제2 영상정보를 분석하여 특정영역에 대한 정량 데이터 검출을 수행하는 단계를 포함하되,
    상기 제1 영상정보는, 각 방향에 따른 단면 영상으로서 트랜스액셜 뷰 이미지, 새지털 뷰 이미지, 및 코로날 뷰 이미지를 포함하고,
    상기 제1 영상정보를 생성하는 단계는, 영상 변환을 위한 유저 인터페이스를 포함하고, 상기 제1 영상정보의 각 뷰 이미지의 하단에 배치된 스크롤바의 이동으로 각 단면층을 이동하여 표시하고, 음함수 곡면을 렌더링 가능한 폴리곤으로 변환하는 알고리즘을 적용하여 상기 제1 영상정보에 포함된 뷰 이미지 내의 객체를 볼륨 뷰 이미지로 변환하여 회전 가능한 3차원 이미지를 더 표시하는 것을 특징으로 하는 다중 의료영상 분석 방법.
KR1020170035515A 2017-03-21 2017-03-21 다중 의료영상 분석 시스템 및 방법 KR101908126B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170035515A KR101908126B1 (ko) 2017-03-21 2017-03-21 다중 의료영상 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170035515A KR101908126B1 (ko) 2017-03-21 2017-03-21 다중 의료영상 분석 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180106739A KR20180106739A (ko) 2018-10-01
KR101908126B1 true KR101908126B1 (ko) 2018-12-18

Family

ID=63877979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170035515A KR101908126B1 (ko) 2017-03-21 2017-03-21 다중 의료영상 분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101908126B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210087369A (ko) 2020-01-02 2021-07-12 한국원자력의학원 딥러닝을 이용한 방사성의약품 분포영상 생성 시스템 및 방법
KR20220026743A (ko) * 2020-08-26 2022-03-07 서울대학교산학협력단 뇌영상 분석 시스템 및 방법
WO2022239977A1 (ko) * 2021-05-10 2022-11-17 현대자동차주식회사 M2m 시스템에서 데이터를 증강하기 위한 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256345B1 (ko) 2021-02-05 2021-05-28 주식회사 휴런 뉴로멜라닌 영상을 이용한 파킨슨병 정보 제공 장치 및 방법
KR102481191B1 (ko) 2022-03-28 2022-12-26 주식회사 에이비스 딥러닝을 이용한 고속화된 의료 영상 분석 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040165767A1 (en) 2002-09-30 2004-08-26 Gokturk Salih B. Three-dimensional pattern recognition method to detect shapes in medical images
JP2005169070A (ja) * 2003-06-27 2005-06-30 Toshiba Corp 画像処理表示装置及びその制御方法
US20120081362A1 (en) 2010-09-30 2012-04-05 Siemens Corporation Dynamic graphical user interfaces for medical workstations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040165767A1 (en) 2002-09-30 2004-08-26 Gokturk Salih B. Three-dimensional pattern recognition method to detect shapes in medical images
JP2005169070A (ja) * 2003-06-27 2005-06-30 Toshiba Corp 画像処理表示装置及びその制御方法
US20120081362A1 (en) 2010-09-30 2012-04-05 Siemens Corporation Dynamic graphical user interfaces for medical workstations

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
List-event Data Resampling for Quantitative Improvement of PET Image, PROGRESS in MEDICAL PHYSICS Vol.23, No.4(2012)*
Two-dimensional glenoid version measurements vary with coronal and sagittal scapular rotation, The Journal of bone and joint surgery. American volume 92.3(2010)*
통합된 PET/CT와 MRI 영상을 이용한 쥐 심근경색 모델의 평가기술개발, 한국원자력의학원(2012.03.)*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210087369A (ko) 2020-01-02 2021-07-12 한국원자력의학원 딥러닝을 이용한 방사성의약품 분포영상 생성 시스템 및 방법
KR20220026743A (ko) * 2020-08-26 2022-03-07 서울대학교산학협력단 뇌영상 분석 시스템 및 방법
KR102556225B1 (ko) * 2020-08-26 2023-07-18 서울대학교산학협력단 뇌영상 분석 시스템 및 방법
WO2022239977A1 (ko) * 2021-05-10 2022-11-17 현대자동차주식회사 M2m 시스템에서 데이터를 증강하기 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20180106739A (ko) 2018-10-01

Similar Documents

Publication Publication Date Title
KR101908126B1 (ko) 다중 의료영상 분석 시스템 및 방법
Bao et al. Tree filtering: Efficient structure-preserving smoothing with a minimum spanning tree
US7936922B2 (en) Method and apparatus for segmenting images
US8498492B2 (en) Methods of analyzing a selected region of interest in medical image data
US8107700B2 (en) System and method for efficient workflow in reading medical image data
US7512284B2 (en) Volumetric image enhancement system and method
US9349184B2 (en) Method and apparatus for identifying regions of interest in a medical image
CN110678903B (zh) 用于3d图像中异位骨化的分析的系统和方法
Schmidt et al. VAICo: Visual analysis for image comparison
US8150120B2 (en) Method for determining a bounding surface for segmentation of an anatomical object of interest
CN103069432A (zh) 医学图像的非线性分辨率降低方法
Heinzl et al. Processing, analysis and visualization of CT data
US8306354B2 (en) Image processing apparatus, method, and program
GB2468589A (en) Identifying a Region of Interest in a Series ofMedical Images
CN107480673B (zh) 确定医学图像中感兴趣区域的方法、装置及图像编辑系统
Behrenbruch et al. Image filtering techniques for medical image post-processing: an overview
Alshehri et al. Medical image segmentation using multifractal analysis
US8165375B2 (en) Method and system for registering CT data sets
WO2022207238A1 (en) Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information
AU2005299436B2 (en) Virtual grid alignment of sub-volumes
Zheng et al. Super-resolution of mammograms
Gavrilescu Efficient Exploration of 3D Medical Images Using Projected Isocontours
He et al. A new interactive segmentation scheme based on fuzzy affinity and live-wire
Zheng Pixel-level image fusion algorithms for multi-camera imaging system
Li et al. Automatic RGBD object segmentation based on MSRM framework integrating depth value

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant