KR101198608B1 - 가상 내시경 장치, 그의 구동방법 및 검진 장치 - Google Patents

가상 내시경 장치, 그의 구동방법 및 검진 장치 Download PDF

Info

Publication number
KR101198608B1
KR101198608B1 KR1020090085572A KR20090085572A KR101198608B1 KR 101198608 B1 KR101198608 B1 KR 101198608B1 KR 1020090085572 A KR1020090085572 A KR 1020090085572A KR 20090085572 A KR20090085572 A KR 20090085572A KR 101198608 B1 KR101198608 B1 KR 101198608B1
Authority
KR
South Korea
Prior art keywords
image
virtual
virtual endoscope
data
virtual camera
Prior art date
Application number
KR1020090085572A
Other languages
English (en)
Other versions
KR20110027468A (ko
Inventor
김진국
이재연
권성구
Original Assignee
주식회사 인피니트헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피니트헬스케어 filed Critical 주식회사 인피니트헬스케어
Priority to KR1020090085572A priority Critical patent/KR101198608B1/ko
Priority to EP11172987A priority patent/EP2400465A3/en
Priority to PCT/KR2009/007024 priority patent/WO2011030965A1/en
Priority to EP09849282.0A priority patent/EP2389113A4/en
Priority to JP2011537379A priority patent/JP2012509133A/ja
Priority to US13/122,455 priority patent/US20110184710A1/en
Publication of KR20110027468A publication Critical patent/KR20110027468A/ko
Application granted granted Critical
Publication of KR101198608B1 publication Critical patent/KR101198608B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 가상 내시경 장치, 그의 구동방법 및 검진 장치에 관한 것이다.
본 발명에 따른 가상 내시경 장치는 입력되는 검사 대상에 대한 단면 영상 데이터로 가상 내시경 데이터를 생성하는 데이터 처리부 및 가상 내시경 데이터에 따른 영상들을 하나의 화면에 표시하는 표시부를 포함하고, 가상 내시경 데이터에 따른 영상은 적어도 하나의 가상 내시경 영상과, 적어도 하나의 참조 영상을 포함하고, 적어도 하나의 상기 가상 내시경 영상은 카메라를 검사 대상의 내부의 이동경로를 축으로 회전시키면서 검사 대상 내부를 촬영하고, 촬영한 검새 대상의 데이터를 동일 각도에 따라 재구성한 것을 특징으로 한다.

Description

가상 내시경 장치, 그의 구동방법 및 검진 장치{Virtual Endoscopy Apparatus, Method for Driving thereof and Medical Examination Apparatus}
본 발명은 가상 내시경 장치, 그의 구동방법 및 검진 장치에 관한 것이다.
최근 환자의 위, 대장 등의 건강 상태를 살피기 위해 내시경이 사용되고 있다.
내시경으로 환자의 내장의 건강 상태를 관찰하기 위해서는 내시경을 직접 사람의 내장의 내부에 삽입하여 한다.
이러한 경우, 환자는 이물감, 고통 등을 느낄 수 있고, 심지어는 삽입되는 내시경에 의해 환자의 내장이 손상을 입을 수 있는 문제점이 있다.
이러한 문제점을 해결하기 위해 최근에는 일련의 단층 영상을 이용하여 입체적인 영상을 구현하는 방법으로, 실제 내시경이 촬영한 것이 같은 영상을 구현하는 가상 내시경 장치가 개발되고 있다.
본 발명은 가상 내시경 영상의 왜곡을 줄이기 위해 가상의 이동경로를 축으 로 가상 카메라를 회전시키면서 검사 대상의 내부를 촬영하는 가상 내시경 장치를 제공하는데 그 목적이 있다.
아울러, 본 발명은 가상의 이동경로를 축으로 가상 카메라를 회전시키면서 촬영한 검사 대상의 다양한 영상들을 하나의 화면에 표시하는데 그 목적이 있다.
아울러, 본 발명은 상기한 가상 내시경 장치를 구동시키기 위한 구동방법을 제공하는데 그 목적이 있다.
아울러, 본 발명은 상기한 가상 내시경 장치를 포함하는 검진 장치를 제공하는데 그 목적이 있다.
본 발명에 따른 가상 내시경 장치는 입력되는 검사 대상에 대한 단면 영상 데이터로 가상 내시경 데이터를 생성하는 데이터 처리부 및 가상 내시경 데이터에 따른 영상들을 하나의 화면에 표시하는 표시부를 포함하고, 가상 내시경 데이터에 따른 영상은 적어도 하나의 가상 내시경 영상과, 적어도 하나의 참조 영상을 포함하고, 적어도 하나의 상기 가상 내시경 영상은 카메라를 검사 대상의 내부의 이동경로를 축으로 회전시키면서 검사 대상 내부를 촬영하고, 촬영한 검새 대상의 데이터를 동일 각도에 따라 재구성한 것을 특징으로 한다.
또한, 데이터 처리부는 검사 대상에 대한 연속된 단면 영상 데이터로 3차원 위치 함수로 표시되는 볼륨 데이터를 생성하고, 볼륨 데이터에 근거하여 검사 대상 내부의 가상 내시경 데이터를 생성하는 것을 특징으로 한다.
또한, 참조 영상은 검사 대상의 X-Y평면 영상, Y-Z평면 영상 및 X-Z평면 영 상 중 적어도 하나를 포함할 수 있다.
또한, 참조 영상은 가상 카메라의 이동경로에 대한 영상을 포함하는 것을 특징으로 한다.
또한, 이동경로에 대한 영상은 검사 대상의 일부에 대한 이동경로를 표시한 영상인 것을 특징으로 한다.
또한, 이동경로에 대한 영상은 검사 대상의 전체에 대한 이동경로를 표시한 영상인 것을 특징으로 한다.
또한, 표시부에 함께 표시되는 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 어느 하나의 영상의 정보가 변경되는 경우, 나머지 영상들 중 적어도 하나의 영상의 정보가 연동하여 변경되는 것을 특징으로 한다.
또한, 표시부에 함께 표시되는 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 어느 하나의 영상에서 임의의 제 1 부분을 선택하는 경우, 나머지 영상 중 적어도 하나의 영상은 제 1 부분에 해당하는 부분을 표시하는 것을 특징으로 한다.
또한, 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상은 외부로부터 입력되는 명령에 따라 확대 또는 축소되는 것을 특징으로 한다.
또한, 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상은 슬라이드쇼(Slideshow) 방식으로 표시되는 것을 특징으로 한다.
또한, 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어 도 하나의 영상은 파노라마방식(Panoramic)으로 표시되는 것을 특징으로 한다.
또한, 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상에서 임의의 제 1 부분을 관심 부분으로 지정하는 경우, 나머지 영상 중 적어도 하나에서 제 1 부분에 대응되는 부분도 관심 부분으로 지정될 수 있다.
또한, 관심 부분에 대한 영상들은 메모리(Memory)에 저장되는 것을 특징으로 한다.
또한, 관심 부분에 대한 로딩(Loading) 명령이 입력되는 경우, 메모리에 저장된 관심 부분에 대한 영상들을 표시할 수 있다.
또한, 가상 카메라는 이동경로에 수직하게 회전하는 것을 특징으로 한다.
또한, 가상 카메라는 시야각이 60~120°(도)인 것을 특징으로 한다.
또한, 가상 카메라는 이동경로를 축으로 회전하면서 동시에 이동경로를 따라 진행하는 것을 특징으로 한다.
또한, 가상 카메라는 진행이 멈춘 상태에서 회전하는 것을 특징으로 한다.
또한, 카메라의 회전 각도는 360°(도)보다 크거나 같은 것을 특징으로 한다.
또한, 검사 대상의 내부의 이동경로는 상기 단면 영상들의 중심점을 연결한 선인 것을 특징으로 한다.
또한, 단면 영상 데이터는 컴퓨터 단층 촬영기(Computed Topography: CT) 및 자기공명장치(Magnetic Resonance Imaging: MRI) 중 적어도 하나로부터 입력되는 데이터인 것을 특징으로 한다.
또한, 표시부는 동일 각도에 따라 재구성한 검새 대상의 데이터를 가상 카메라의 회전 방향으로 펼쳐 표시하는 것을 특징으로 한다.
또한, 표시부에 표시된 하나의 가상 내시경 영상은 양쪽 끝단이 서로 중첩(Overlap)되는 것을 특징으로 한다.
또한, 표시부에 표시되는 연속된 2개의 가상 내시경 영상은 서로 중첩(Overlap)되는 부분을 포함할 수 있다.
또한, 가상 카메라는 이동경로를 편도(One path)로 이동하는 것을 특징으로 한다.
본 발명에 따른 가상 내시경 장치의 구동방법은 검사 대상에 대한 연속된 단면 영상 데이터를 입력하는 단계와, 단면 영상 데이터로 3차원 위치 함수로 표시되는 볼륨 데이터를 생성하는 단계와, 볼륨 데이터에 근거하여 검사 대상의 가상 내시경 데이터를 생성하는 단계 및 가상 내시경 데이터에 따른 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상을 하나의 화면에 표시하는 단계를 포함하고, 적어도 하나의 가상 내시경 영상은 가상 카메라를 검사 대상의 내부의 이동경로를 축으로 회전시키면서 검사 대상 내부를 촬영하고, 촬영한 검새 대상의 데이터를 동일 각도에 따라 재구성한 것을 특징으로 한다.
또한, 하나의 화면에 함께 표시된 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 어느 하나의 영상의 정보가 변경되는 경우, 나머지 영상들 중 적어도 하나의 영상의 정보를 연동하여 변경하는 단계를 더 포함하는 것을 특징으 로 한다.
또한, 본 발명에 따른 검진 장치는 검사 대상에 대한 연속된 단면 영상 데이터를 생성하는 단면 영상 생성부와, 단면 영상 데이터로 가상 내시경 데이터를 생성하는 데이터 처리부 및 가상 내시경 데이터에 따른 영상들을 하나의 화면에 표시하는 표시부를 포함하고, 가상 내시경 데이터에 따른 영상은 적어도 하나의 가상 내시경 영상과, 적어도 하나의 참조 영상을 포함하고, 적어도 하나의 상기 가상 내시경 영상은 가상 카메라를 검사 대상의 내부의 이동경로를 축으로 회전시키면서 검사 대상 내부를 촬영하고, 촬영한 검새 대상의 데이터를 동일 각도에 따라 재구성한 것을 특징으로 한다.
또한, 단면 영상 생성부는 컴퓨터 단층 촬영기(Computed Topography: CT) 또는 자기공명장치(Magnetic Resonance Imaging: MRI)인 것을 특징으로 한다.
본 발명에 따른 가상 내시경 장치, 그의 구동방법 및 검진 장치는 가상의 이동경로를 축으로 가상 카메라를 회전시키면서 검진 대상의 내부를 촬영함으로써 가상 내시경 영상의 왜곡을 줄일 수 있고, 이에 따라 검진의 정확도를 높이는 효과가 있다.
아울러, 본 발명은 가상의 이동경로를 축으로 가상 카메라를 회전시키면서 검사 대상을 촬영한 다양한 영상들을 하나의 화면에 표시함으로써, 검진의 효율성을 높이는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 가상 내시경 장치, 그의 구동방법 및 검진 장치를 상세히 설명하기로 한다.
도 1 내지 도 6은 본 발명에 따른 검진 장치 및 가상 내시경 장치의 구성 및 동작에 대해 설명하기 위한 도면이다.
먼저, 도 1을 살펴보면 본 발명에 따른 검진 장치(10)는 단면 영상 생성부(100)와 가상 내시경 장치(110)를 포함할 수 있다.
여기서, 단면 영상 생성부(100)는 검사 대상에 대한 연속된 단면 영상 데이터를 생성할 수 있다.
아울러, 가상 내시경 장치(110)는 단면 영상 생성부(100)가 생성한 소정의 검사 대상, 예컨대 사람의 위, 대장 등의 단면 영상 데이터를 이용하여 가상 내시경 영상을 생성 및 표시할 수 있다.
바람직하게는, 가상 내시경 장치(110)는 단면 영상 생성부(100)가 생성한 단면 영상 데이터로 3차원 위치 함수로 표시되는 볼륨 데이터를 생성하고, 볼륨 데이터에 근거하여 가상 내시경 카메라를 검사 대상의 내부의 이동경로를 축으로 회전시키면서 검사 대상 내부를 촬영하여 가상 내시경 데이터를 동일 각도에 따라 생성하는 데이터 처리부(Data Processor : 120) 및 가사 내시경 데이터에 따른 가상 내시경 영상 및 참조 영상을 하나의 화면에 표시하는 표시부(130)를 포함할 수 있다.
아울러, 단면 영상 생성부(100)는 소정의 검사 대상의 단면 영상을 촬영할 수 있는 컴퓨터 단층 촬영기(Computed Topography: CT) 및 자기공명장치(Magnetic Resonance Imaging: MRI) 중 어느 하나인 것이 바람직할 수 있다.
아울러, 도 2와 같이 데이터 처리부(120)는 전처리부(121), 볼륨 데이터 생성부(122), 촬영부(123), 명령 입력부(124), 메모리(125) 및 제어부(126)를 포함할 수 있다.
전처리부(121)는 단면 영상 생성부(100)로부터 입력되는 검사 대상의 단면 영상 데이터를 보간(Interpolation), 분할(Segmentation) 등의 과정을 통해 데이터 처리할 수 있다.
보간은 영상의 해상도를 높이기 위해 연속되는 영상 사이에 현재 시퀀스 영상의 이전과 이후의 차를 구하는 과정으로, 그 차분 영상을 보간할 수 있다.
분할은 3차원 볼륨 데이터를 생성하기 위해 관심부위의 영상의 강도(Intensity)에 해당하는 문턱치(Threshold)를 설정하고, 설정한 문턱치 이상의 값만을 필터링하는 과정일 수 있다.
볼륨 데이터 생성부(122)는 랜더링(Rendering) 기법을 이용하여 단면 영상 생성부(100)가 생성한 단면 영상 데이터로부터 3차원 볼륨 데이터를 생성할 수 있다. 바람직하게는, 볼륨 데이터 생성부(122)는 볼륨 랜더링 기법으로 전처리부(121)가 처리한 영상 데이터를 이용하여 3차원 볼륨 데이터를 생성할 수 있다.
촬영부(123)는 볼륨 데이터 생성부(122)가 생성한 볼륨 데이터에 근거하여 가상 내시경 카메라를 검사 대상의 내부의 이동경로를 축으로 회전시키면서 검사 대상 내부를 촬영할 수 있다.
이와 같은, 방법으로 촬영부(123)가 촬영한 검사 대상 내부의 영상 데이터가 동일 각도에 따른 가상 내시경 데이터로서 출력될 수 있다.
명령 입력부(124)는 외부로부터, 예컨대 사용자로부터 입력되는 제어 명령을 제어부(126)로 입력함으로써, 제어 명령에 데이터 처리부(120)의 동작을 제어할 수 있게 할 수 있다.
메모리(125)는 캡쳐(Capture)된 영상, 관심 부분에 대한 정보 등의 다양한 데이터를 저장할 수 있다.
한편, 촬영 시 가상 카메라는 검사 대상의 내부에 설정된 이동경로를 따라 이동할 수 있다.
아울러, 검사 대상의 내부에 설정된 이동경로는 도 3의 경우와 같이 단면 영상 생성부(100)가 출력한 검사 대상(200)의 단면 영상(300~330)들의 중심점(P1~P4)을 연결한 선일 수 있다.
본 발명에서 검사 대상의 내부에 설정된 이동경로는 단면 영상(300~330)들의 중심점(P1~P4)을 연결한 선인 것에 한정되는 것은 아니다. 경우에 따라, 이동경로는 단면 영상(300~330)들 중 적어도 하나의 중심점(P1~P4)을 지나지 않아도 관계없다.
제어부(126)는 가상 내시경 데이터의 생성 과정을 제어할 수 있다.
제어부(126)의 제어에 따라 촬영부(123)가 출력한 가상 내시경 데이터가 표시부(130)로 전송될 수 있고, 이에 따라 표시부(130)는 가상 내시경 영상을 표시할 수 있는 것이다.
상기에서 설명한 가상 내시경 장치(110)의 동작을 도 4를 참조하여 보다 상세히 설명하면 다음과 같다. 이하에서는 검사 대상을 사람의 대장으로 가정하고 설명하기로 한다. 본 발명이 검사할 수 있는 검사 대상은 사람의 대장 뿐 아니라, 위, 기관지 등 다양할 수 있다.
도 4를 살펴보면, 가상 카메라(220)는 대장(200)의 내부에 설정된 이동경로(210)를 축으로 회전하면서 소정의 시야각(θ1)으로 대장(200)의 내부를 촬영할 수 있다. 여기서, 가상 카메라(220)는 동일한 각도로 회전할 수 있다. 예를 들면, 가상 카메라(220)는 1회에 60°(도)씩 총 6회 회전하면서 대장(200)의 내부를 촬영할 수 있을 것이다.
이에 따라, 가상 카메라(220)를 기준으로 대장(200) 내부의 상부 부분(410)과 하부 부분(420)이 함께 촬영될 수 있다.
예를 들어, 도 5의 경우와 같이 가상 카메라(220)가 원통 형상의 대장(200)의 내부에 설정된 이동경로(210)를 축으로 1회 회전하면서 영상을 촬영을 할 수 있다.
아울러, 도 5와 같은 방식으로 촬영한 가상 내시경 데이터에 따른 가상 내시경 영상을 도 6의 경우와 같이 가상 카메라(220)의 회전 방향, 즉 중심축(210)과 교차하는 방향으로 펼쳐 표시할 수 있다.
상기 도 6과 같이, 가상 카메라(220)로 촬영한 가상 내시경 영상을 가상 카메라(220)의 회전 방향으로 펼쳐서 표시하게 되면, 대장(200) 내벽의 검사가 보다 용이할 수 있다.
예를 들면, 대장의 검사에서는 내장 내벽에 지금 6mm이상의 용종이 형성되어 있는지를 관찰하는 것이 중요할 수 있다. 이러한 용종은 보통 둥근 돌기 형상을 갖고 있다. 그리고 대장에 형성되는 용종은 대장의 주름 사이에 위치할 수 있는데, 이와 같이 대장의 주름 사이에 위치하는 용종은 발견이 쉽지 않을 수 있다.
반면에, 도 5 내지 도 6의 경우와 같이 가상 카메라(220)를 이동경로(210)를 기준으로 회전시키면서 대장(200)의 내벽을 촬영하고, 아울러 촬영한 가상 내시경 영상을 가상 카메라(220)의 회전 방향으로 펼쳐 표시하는 경우에는, 대장(200)의 주름 사이사이를 보다 확실하게 확인할 수 있기 때문에 가상 내시경 영상의 왜곡을 줄일 수 있으며, 이에 따라 용종의 검출이 보다 용이할 수 있는 것이다.
이에 따라, 진단의 정확성 및 속도가 향상될 수 있을 것이다.
아울러, 상기와 같이 가상 카메라(220)를 이동경로(210)를 기준으로 회전시키면서 촬영하기 때문에 가상 카메라(220)는 이동경로(210)를 편도(One path)로 이동하는 것이 가능하다. 이에 따라, 촬영에 소요되는 시간을 줄일 수 있다.
도 7 내지 도 9는 본 발명에 따른 실시예와 비교예를 비교하기 위한 도면이다.
먼저, 도 7을 살펴보면 제 1 비교예에 따른 방법이 도시되어 있다.
제 1 비교예에서는 가상 카메라(220)는 대장(200)의 내부에 설정된 이동경로(210)를 따라 화살표 방향으로 직진하면서 소정의 시야각(θ2)으로 내장(200)의 내부를 촬영할 수 있다.
이러한 제 1 비교예에서 가상 카메라(220)가 촬영 가능한 영역(700)은 상당히 제한적일 수밖에 없다. 그 이유는 가상 카메라(220)가 직진하면서 촬영함에 따라 가상 카메라(220)의 시야에 들어오지 않는 영역(710, 720)이 발생하기 때문이 다.
따라서 제 1 비교예에 따른 방법으로 촬영한 가상 내시경 영상을 표시하는 경우에는 표시된 영상에서 용종을 찾아내기가 어렵고, 아울러 표시된 영상에는 왜곡이 다수 발생함으로써 진단의 정확성이 저하될 수 있다.
한편, 제 1 비교예에서는 용종의 검출 효율을 높이고 진단의 정확성을 높이기 위해 가상 카메라(220)를 왕복 이동(Two Path)하도록 설정할 수 있다. 즉, 가상 카메라(220)가 이동경로(210)를 따라 화살표 방향으로 이동하면서 대장(200)을 촬영하였다가, 다시 화살표와 반대 방향으로 이동하면서 대장(200)을 촬영하는 것이 가능한 것이다.
그러나 이러한 경우에도 가상 카메라(220)가 직진하면서 대장(200)을 촬영하기 때문에 가상 카메라(220)의 시야에서 벗어나는 영역이 존재하며, 이에 따라 화면의 왜곡은 여전히 다수 남아있으며, 또한 가상 카메라(220)의 왕복 이동에 따라 촬영 시간이 길어질 수 있다.
다음, 도 8에는 제 2 비교예에 따른 방법의 경우가 도시되어 있다.
도 8과 같이 제 2 비교예에서는 가상 카메라(220)는 이동경로(210)를 따라 이동하면서 복수의 방향에서 동시에 촬영할 수 있다.
예를 들면, 가상 카메라(220)는 상, 하, 좌, 우, 전, 후의 총 6개의 방향에서 동시에 대장(200)을 촬영할 수 있다.
아울러, 도 8과 같은 방법으로 촬영한 영상을 도 9의 경우와 같이 한꺼번에 펼쳐서 표시할 수 있다.
예를 들면, 대장(200)의 상부 방향을 촬영한 제 1 영상(900)을 화면의 상부에 배치하고, 대장(200)의 하부 방향을 촬영한 제 2 영상(910)을 화면의 하부에 배치하고, 대장(200)의 좌측방향을 촬영한 제 3 영상(920)을 화면의 좌측에 배치하고, 대장(200)이 우측 방향을 촬영한 제 4 영상(930)을 화면의 우측에 배치하고, 대장(200)의 전방 방향을 촬영한 제 5 영상(940)을 화면의 중앙에 배치하고, 대장(200)의 후방 방향을 촬영한 제 6 영상(950)을 제 4 영상(930)의 우측에 배치할 수 있다.
이러한 경우에는, 서로 다른 방향으로 촬영한 영상을 하나의 화면에 표시하기 때문에 각각의 영상(900~950)의 경계부분에서 왜곡이 발생할 수 있다. 이에 따라 진단의 정확성이 저하될 수 있다.
반면에, 앞선 도 6과 같이 본 발명의 실시예와 같이 가상 카메라(220)를 이동경로(210)를 축으로 회전시키면서 대장(200)의 내부를 촬영하고, 촬영한 영상을 가상 카메라(220)의 회전 방향으로 펼쳐 표시한다면 가상 내시경 영상의 왜곡을 줄일 수 있어서 진단의 정확성이 향상될 수 있는 것이다.
따라서 본 발명에 따른 실시예는 비교예 1 및 비교예 2에 비해 진단의 정확성이 높을 수 있다.
도 10 내지 도 12는 가상 내시경 영상의 재구성 방법에 대해 설명하기 위한 도면이다.
먼저, 도 10을 살펴보면 본 발명에서는 가상 카메라(220)가 회전하면서 대장(200)의 가상 내시경 영상을 촬영하고, 촬영한 가상 내시경 영상에 따른 데이터 를 동일 각도에 따라 재구성할 수 있다. 예를 들면, 가상 카메라(220)는 시계 방향(Clockwise)으로 6θ만큼씩 회전하면서 촬영할 수 있다. 아울러, 가상 카메라(220)가 6θ의 각도로 회전하면서 촬영한 영상에 따른 데이터를 θ의 각도에 따라 재구성할 수 있다. 즉, 가상 카메라(220)가 촬영한 가사 내시경 영상을 동일한 각도(θ)에 따라 각각 재구성하는 것이다.
이와 같이, 가상 카메라(220)를 회전시키면서 촬영을 하고, 촬영한 가상 내시경 영상에 따른 데이터를 동일 각도에 따라 재구성하는 경우에는 표시하는 영상들의 경계부분에 왜곡이 발생하는 것을 억제할 수 있다. 이에 따라, 진단의 정확성을 더욱 높일 수 있다.
한편, 본 발명과는 다르게 가상 카메라(220)를 등간격에 따라 재구성하는 방법의 일례가 도 11에 도시되어 있다.
이러한 도 11과 같은 방법에서는 가상 내시경 영상에 따른 데이터를 Image panel에서 동일한 간격에 따라 재구성하여 영상을 얻는 것이다.
즉, 가상 카메라(220)로 제 1 영역(1100)을 촬영할 때 제 1 영역(1100)을 소정의 간격(d)에 따라 복수의 서브 영역으로 구획하고, 구획한 서브 영역들 각각에서 영상을 획득할 수 있다. 아울러, 가상 카메라(220)가 제 2 영역(1110)을 촬영할 때에도 제 2 영역(1110)을 소정의 간격(d)에 따라 복수의 서브 영역으로 구획하고, 구획한 서브 영역들 각각에서 영상을 획득할 수 있는 것이다.
이러한 도 11과 같은 방법으로 동일한 간격에 따라 가상 내시경 데이터를 재구성하여 대장(200) 내부의 가상 내시경 영상을 얻는 것이 가능할 수 있다.
그러나 도 11과 같은 방법을 사용하게 되면, 영상의 경계 부분에서 화면의 왜곡이 증가할 수 있다.
이에 대해 도 12를 참조하여 보다 상세히 살펴보면 다음과 같다.
도 12의 (a)와 같이 가상 카메라(220)가 촬영한 가상 내시경 영상에 따른 데이터를 동일한 간격(d)에 따라 재구성하게 되면, 제 1 영역(1200)의 영상과 제 2 영역(1210)의 영상의 경계 부분이 더 확대되어 보이게 되고, 이에 따라 영상의 왜곡이 발생할 수 있다.
그 이유는, 가상 내시경 데이터를 동일한 간격(d)에 따라 재구성하게 되면, 제 1 영역(1200)과 제 2 영역(1210)의 경계부분(A)에서는 가상 카메라(220)의 시각에서 더 촘촘하게 보이게 되고, 이에 따라 각각의 영상을 화면상에 펼치면 해당 영역(A)이 더 확대되어 보이기 때문이다.
반면에, 도 12의 (b)의 경우와 같이 가상 내시경 데이터를 동일한 각도에 따라 재구성하게 되는 경우에는 아래와 같을 수 있다.
도 12의 (b)의 경우에는 가상 카메라(220)의 시각에서 제 1 영역(1220)과 제 2 영역(1230)의 경계부분(A)과 중앙부분(B)이 실질적으로 동등 수준으로 보일 수 있다.
이에 따라, 도 12의 (b)와 같은 방법으로 재구성한 가상 내시경 데이터에 따른 영상을 표시하였을 경우에 영상의 왜곡이 감소할 수 있는 것이다.
도 13 내지 도 16은 하나의 화면에 가상 내시경 영상과 참조영상을 함께 표시하는 방법의 일례를 설명하기 위한 도면이다.
먼저, 도 13을 살펴보면 하나의 화면에 표시되는 영상 중 적어도 하나는 가상 내시경 영상(1310, 1300)을 포함할 수 있다.
아울러, 적어도 하나의 가상 내시경 영상(1310, 1300) 중 적어도 하나는 가상 카메라를 이동경로를 축으로 회전시키면서 검사 대상을 촬영하고, 촬영한 가상 내시경 데이터를 동일한 각도에 따라 재구성한 것이다.
이하에서는, 가상 카메라를 이동경로를 축으로 회전시키면서 검사 대상을 촬영하고, 촬영한 가상 내시경 데이터를 동일한 각도에 따라 재구성한 가상 내시경 영상(1300)을 Band View 영상(1300)이라 하겠다. 이러한 Band View 영상(1300)에 대해서는 앞서 상세히 설명하였으므로 중복되는 설명을 생략하기로 한다.
도 13에서 또 하나의 가상 내시경 영상(1310)은 앞선 도 7에서 설명한 바와 같은 방법으로 검사 대상을 촬영한 영상일 수 있다.
이와 같이, Band View 영상(1300)이외에 Band View 영상(1300)과 다른 타입의 또 다른 가상 내시경 영상(1310)을 함께 표시하는 경우에는 검사 대상을 다각도로 관찰할 수 있기 때문에 검진의 정확성을 향상시킬 수 있으며, 검진에 소요되는 시간을 더욱 줄일 수 있다.
아울러, Band View 영상(1300)과 함께 참조영상(1320, 1330, 1340)을 하나의 화면에 표시할 수 있다.
이러한 참조영상(1320, 1330, 1340)은 관찰자에게 더욱 상세한 정보를 제공함으로써 검진의 효율을 높일 수 있다.
이러한 참조영상(1320, 1330, 1340) 중 적어도 하나는 가상 카메라의 이동경 로가 표시된 영상(1320)일 수 있다. 이러한 식별번호 1320의 참조영상을 제 1 참조영상이라 하겠다.
제 1 참조영상(1320)을 살펴보면, 검사 대상의 대장이 표시되어 있으며, 대장의 중앙부분에 가상 카메라의 이동경로가 선으로 표시되어 있다.
아울러, 참조영상(1320, 1330, 1340) 중 적어도 하나는 검사 대상의 X-Y평면 영상일 수 있다. 예를 들면, 도 14의 경우와 같이 검사 대상(1400)에서 Z축의 좌표가 동일한 Axial 영상(1410)이 참조영상일 수 있다.
아울러, 참조영상(1320, 1330, 1340) 중 적어도 하나는 검사 대상의 Y-Z평면 영상일 수 있다. 예를 들면, 도 15의 경우와 같이 검사 대상(1400)에서 X축의 좌표가 동일한 Sagittal 영상(1420)이 참조영상일 수 있다.
또한, 참조영상(1320, 1330, 1340) 중 적어도 하나는 검사 대상의 X-Z평면 영상일 수 있다. 예를 들면, 도 16의 경우와 같이 검사 대상(1400)에서 Y축의 좌표가 동일한 Coronal 영상(1430)이 참조영상일 수 있다.
도 13에서 또 다른 가상 내시경 영상(1310)의 가로 방향을 X축이라 하고, 세로 방향을 Y축이라 가정하면, 참조영상(1320, 1330, 1340) 중 제 2 참조영상(1330)은 도 16과 같이 Y축 좌표가 동일한 Coronal 영상(1430)인 것이고, 참조영상(1320, 1330, 1340) 중 제 3 참조영상(1340)은 도 15와 같이 X축 좌표가 동일한 Sagittal 영상(1420)일 수 있다.
아울러, 표시부에 함께 표시되는 적어도 하나의 가상 내시경 영상(1310, 1300)과 적어도 하나의 참조 영상(1320, 1330, 1340) 중 어느 하나의 영상의 정보 가 변경되는 경우, 나머지 영상들 중 적어도 하나의 영상의 정보가 연동하여 변경되는 것이 바람직하다.
예컨대, 도 13에서 사용자가 제 1 참조영상(1320)에서 제 1 지점(S1)을 마우스(Mouse) 등의 명령 입력 수단을 사용하여 선택하는 경우에는, 제 1 지점(S1)에 대응하도록 가상 내시경 영상(1300, 1310)이 표시되고, 아울러, 제 1 지점(S1)에 대응하도록 참조영상(1320, 1330, 1340)이 표시될 수 있다.
이후, 사용자는 제 1 참조영상(1320)에 제 2 지점(S2)을 선택하는 경우에는 가상 내시경 영상(1300, 1310) 및 참조영상(1320, 1330, 1340)이 제 1 지점(S1)에 대응하는 영상에서 제 2 지점(S2)에 대응하는 영상으로 변경될 수 있다.
자세하게는, 앞선 도 2에서 명령 입력부(124)를 통해 제 1 참조영상(1320)에서 제 1 지점(S1)으로부터 제 2 지점(S2)으로 선택하는 위치를 변경한다는 명령이 입력되는 경우에 제어부(126)는 이를 확인하고, 확인 결과에 따라 가상 내시경 영상(1300, 1310) 및 제 2, 3 참조영상(1330, 1340)이 제 2 지점(S2)에 대응되는 영상을 표시하도록 제어할 수 있다.
이와 같이, 화면에 표시된 다양한 영상은 서로 연관되어 있어서, 사용자는 짧은 시간에 마우스 등의 간단한 조작만으로 원하는 부분을 쉽게 관찰할 수 있다. 이에 따라 검진 효율이 향상될 수 있다.
아울러, 본 발명에서는 사용자가 검사 대상의 임의의 부분을 관심부분으로 지정할 수 있다.
예를 들면, 사용자는 제 1 참조영상(1320)에 제 1 지점(S1)을 관심부분으로 지정할 수 있다.
그러면, 제 1 참조영상(1320)에 제 1 지점(S1)을 관심부분으로 표시하기 위한 소정의 마크를 표시할 수 있다.
아울러, 제 2, 3 참조영상(1330, 1340) 및 가상 내시경 영상(1300, 1310)에서도 제 1 지점(S1)에 대한 영상을 관심부분에 대한 데이터로 메모리에 저장할 수 있다.
즉, 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상에서 임의의 제 1 분분을 관심 부분으로 지정하는 경우, 나머지 영상 중 적어도 하나에서 제 1 부분에 대응되는 부분도 관심 부분으로 지정될 수 있는 것이다.
아울러, 관심 부분에 대한 영상들은 메모리에 저장되는 것이다.
이후, 사용자가 미리 지정한 관심 부분에 대한 데이터를 확인하기 위해 로딩(Loading) 명령을 명령 입력부를 통해 입력할 수 있다.
이러한 경우에는, 메모리에 저장된 상기 관심 부분에 대한 영상들을 표시부에 표시할 수 있다.
예를 들면, 도 13의 제 1 참조영상(1320)에서 제 1 지점(S1)을 관심부분으로 지정한 경우, 사용자가 관심부분으로서 제 1 지점(S1)에 데이터를 로딩하는 경우, 제 2, 3 참조영상(1330, 1340) 및 가상 내시경 영상(1300, 1310)의 제 1 지점(S1)에 대한 데이터를 함께 로딩하여 하나의 화면에 표시할 수 있다.
도 17 내지 도 19는 가상 카메라의 이동경로를 표시하는 참조영상에 대해 설 명하기 위한 도면이다.
먼저, 도 17을 살펴보면 이동경로에 대한 참조영상은 검사 대상(1700)의 전체에 대한 이동경로(210)를 표시한 영상일 수 있다. 예컨대, 사람의 대장의 처음부터 끝까지 가상 카메라의 이동경로를 표시하는 것이 가능한 것이다.
이러한 경우, 관찰자는 도 17의 참조영상에서 관찰하기 원하는 부분을 손쉽게 선택할 수 있기 때문에 검진의 효율을 향상시킬 수 있다.
또는, 도 18의 경우와 같이 이동경로에 대한 참조영상은 검사 대상(1700)의 일부에 대한 이동경로(210)를 표시한 영상일 수 있다.
예컨대, 검사 대상(1700) 중 제 1 부분(1710), 제 3 부분(1720), 제 5 부분(1730)은 이동경로(210)를 표시하고, 나머지 제 2 부분(1740), 제 4 부분(1750)은 생략될 수 있다.
즉, 관찰자는 검사 대상(1700) 중 관찰하기 원하는 부분만을 선택하여 이동경로(210)를 표시하고, 아울러 선택한 부분에서만 가상 내시경 영상을 촬영하는 것이 가능한 것이다.
또는, 도 19의 경우와 같이 이동경로(210)의 표시가 생략된 부분에서 추가적으로 이동경로(210)를 복구할 수 있다.
예를 들면, 감사 대상(1700) 중 제 1 부분(1710)과 제 3 부분(1720)의 사이에 배치되는 제 2 부분(1740)이 생략된 상태에서 제 2 부분(1740)을 복구하고자 하는 경우, 관찰자는 제 1 부분(1710)의 종료지점(X1)과 제 3 부분(1720)의 시작지점(1720)을 선택할 수 있다.
이후, 관찰자는 제 1 부분(1710)의 종료지점(X1)과 제 3 부분(1720)의 시작지점(1720)의 사이 부분을 복구하는 명령을 입력할 수 있고, 이러한 경우에 제 2 부분(1740)이 복구되며, 아울러 제 2 부분(1740)에 이동경로(210)가 표시될 수 있다.
도 20 내지 도 24는 본 발명에 따른 가상 내시경 장치의 또 다른 기능의 일례에 대해 설명하기 위한 도면이다.
먼저, 도 20을 살펴보면 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상은 외부로부터 입력되는 명령에 따라 확대 또는 축소될 수 있다. 즉, 본 발명에 따른 가상 내시경 장치는 소정의 영상에서 원하는 부분을 확대 혹은 축소시키는 기능을 갖는 것이다.
예를 들어, 도 20의 (a)와 같이 Band View 영상이 표시된 상태에서, 관찰자가 (a)에서 표시된 부분을 확대하기 원하는 경우에, 관찰자는 표시된 부분을 확대하라는 확대 명령을 입력할 수 있다.
그러면, 도 20의 (b)와 같이 선택된 부분이 확대되어 표시될 수 있는 것이다.
이와 같이, 원하는 부분을 확대시키는 경우에는 좀더 정밀한 검진이 가능해질 수 있고, 이에 따라 검진의 정확성을 향상시키는 것이 가능하다.
또는, 도 21의 경우와 같이 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상은 파노라마방식(Panoramic)으로 표시될 수 있다.
예를 들면, Band View 영상의 일부에 스크롤(Scroll)할 수 있는 기능창(2100, 2110)을 배치할 수 있다. 그리고 관찰자는 기능창(2100, 2110)에 표시된 스크롤바(2120, 2130)를 마우스 등의 명령 입력 수단을 이용하여 이동시킬 수 있다. 그러면, Band View 영상은 관찰자가 입력한 명령에 따라 파노라마방식으로 연속적으로 표시될 수 있는 것이다.
또는, 도 22의 경우와 같이 적어도 하나의 가상 내시경 영상과 적어도 하나의 참조 영상 중 적어도 하나의 영상은 슬라이드쇼(Slideshow) 방식으로 표시될 수 있다.
예를 들면, 슬라이드쇼 명령이 입력되면 연속되는 영상들(a~f)들이 소정의 시간 간격을 두고 차례로 표시될 수 있는 것이다.
또는, 도 23의 경우와 같이 관찰자가 지정한 임의의 부분의 영상이 캡쳐(Capture)되어 메모리에 저장될 수 있다.
예를 들어, 관찰자가 앞선 도 13에서 제 1 참조영상(1320)의 제 1 지점(S1)을 관심 부분으로 지정한 경우에, 이러한 제 1 지점(S1)에 대응되는 가상 내시경 영상(a, b) 및 참조영상(c, d)이 캡쳐될 수 있는 것이다.
이와 같이, 캡쳐된 영상(a~d)은 메모리에 저장될 수 있으며, 아울러 사용자의 로딩 명령에 따라 로딩되어 화면에 함께 표시될 수 있다.
또는, 도 24의 경우와 같이 관찰자가 지정한 관심부분을 화면상에 표시할 수 있다.
예를 들면, 도 24와 같이 검사 대상(1700)의 가상 내시경 영상을 살피다가 의심되는 부분을 찾은 경우, 각각의 부분을 관심 부분으로 지정하여 화면상에 마크로서 표시할 수 있다. 도 24는 관찰자가 지정한 관심부분이 총 8개이고, 이에 대해 ①②③④⑤⑥⑦⑧의 마크로 표시한 경우이다.
이후, 관찰자는 화면에 표시된 마크 중 관찰하기 원하는 적어도 하나를 선택하는 경우에, 그 부분에 해당하는 가상 내시경 영상 또는 참조영상을 화면상에 표시하는 것이 가능하다.
도 25 내지 도 26은 가상 카메라의 회전축에 대해 설명하기 위한 도면이다.
먼저, 도 25를 살펴보면 가상 카메라(220)는 이동경로(210)와 수직하여 회전할 수 있다.
또는, 도 26과 경우와 같이 가상 카메라(220)는 이동경로(210)와 예각 혹은 둔각으로 교차하여 회전하는 것도 가능할 수 있다.
이와 같이, 가상 카메라(220)가 이동경로(210)와 예각 혹은 둔각으로 교차하여 회전하는 경우에는 한 번의 동작으로 보다 넓은 영역을 촬영하는 것이 가능할 수 있다.
도 27은 가상 카메라의 움직임에 대해 설명하기 위한 도면이다.
도 27을 살펴보면, (a)와 같이 가상 카메라(220)는 이동경로(210)를 축으로 회전하면서 동시에 이동경로(210)를 따라 진행하는 것이 가능하다. 이러한 경우에는 가상 카메라(220)의 속도를 향상시키는 것이 가능하다.
또는, (b)와 같이 가상 카메라(220)는 진행이 멈춘 상태에서 회전하는 것이 가능하다. 예를 들면, 가상 카메라(220)는 제 1 영역(1500)에서 회전하여 검진 대 상을 촬영하고, 이후 제 2 영역(1510), 제 3 영역(1520)으로 순차적으로 이동하여 회전함으로서 검진 대상을 촬영할 수 있다.
이러한 (b)와 같은 경우에는 왜곡이 최소화된 가상 내시경 영상의 획득이 용이할 수 있다.
도 28 내지 도 30은 가상 카메라의 시야각에 대해 설명하기 위한 도면이다.
도 28의 데이터는 가상 카메라의 시야각(θ1)이 20°(도)~160°(도)인 경우에 가상 내시경 영상의 분석의 용이성과 가상 내시경 영상의 왜곡을 판단한 결과이다.
자세하게는, 다수의 관찰자가 가상 카메라의 시야각에 따른 가상 내시경 영상을 분석하여, 각자 가상 내시경 영상의 분석의 용이성 및 왜곡에 대한 판단을 하였고, 이러한 다수의 관찰자의 판단 결과를 종합하여 평가하였다.
X표시는 가상 내시경 영상의 분석이 용이하지 않거나 혹은 가상 내시경 영상의 왜곡이 발생하여 매우 불량하다는 것을 나타내고, ○표시는 상대적으로 양호하다는 것을 나타내고, ◎표시는 가상 내시경 영상의 분석이 용이하거나 혹은 가상 내시경의 왜곡이 발생하지 않아 매우 양호함을 나타낸다.
도 28을 살펴보면, 가상 내시경 영상의 왜곡 측면에서는 가상 카메라(220)의 시야각(θ1)이 160°(도)인 경우에 매우 불량함을 알 수 있다.
이러한 경우에는, 도 30의 경우와 같이 가상 내시경 카메라(220)의 시야각(θ1)이 과도하게 넓기 때문에 가상 카메라(220)의 시야각(θ1) 내에서 관찰되지 않는 영역이 발생할 수 있고, 이에 따라 가상 내시경 영상의 왜곡이 발생할 수 있 는 것이다.
반면에, 가상 내시경 영상의 왜곡 측면에서 가상 카메라(220)의 시야각(θ1)이 20°(도)~120°(도)인 경우에는 매우 양호함을 알 수 있다.
이러한 경우에는, 가상 카메라(220)의 시야각(θ1)이 최적화됨으로써 가상 카메라(220)의 시야각(θ1) 내에서 관찰되지 않는 영역이 실질적으로 발생하지 않음으로 인해 가상 내시경 영상의 왜곡을 방지할 수 있다.
아울러, 가상 내시경 영상의 왜곡 측면에서 가상 카메라(220)의 시야각(θ1)이 140°(도)인 경우에는 상대적으로 양호함을 알 수 있다.
이러한 경우에는, 가상 카메라(220)의 시야각(θ1) 내에서 관찰되지 않는 영역이 발생할 수 있으나, 그 정도도가 미미할 수 있다.
한편, 가상 내시경 영상의 분석의 용이성 측면에서는 가상 카메라(220)의 시야각(θ1)이 20°(도)인 경우에 매우 불량함을 알 수 있다.
이러한 경우에는, 도 29의 경우와 같이 가상 내시경 카메라(220)의 시야각(θ1)이 과도하게 좁기 때문에 진단을 위해 필요한 영상의 개수가 과도하게 많아질 수 있다. 이에 따라, 가상 내시경 영상의 분석에 과도하게 긴 시간이 필요할 수 있다.
반면에, 가상 내시경 영상의 분석의 용이성 측면에서 가상 카메라(220)의 시야각(θ1)이 60°(도)~120°(도)인 경우에 매우 양호함을 알 수 있다.
이러한 경우에는, 가상 카메라(220)의 시야각(θ1)이 최적화됨으로써 가상 내시경 영상의 분석에 소요되는 시간이 저감될 수 있다.
아울러, 가상 내시경 영상의 분석의 용이성 측면에서 가상 카메라(220)의 시야각(θ1)이 140°(도)인 경우에는 상대적으로 양호함을 알 수 있다.
이러한 경우에는, 한 장의 영상에 표시되는 대장(200)의 부분이 넓어서 두 개의 영상의 경계 부분에서 분석이 용이하지 않을 수 있으나, 그 정도가 미미할 수 있다.
반면에, 가상 내시경 영상의 분석의 용이성 측면에서 가상 카메라(220)의 시야각(θ1)이 160°(도)인 경우에는 매우 불량함을 알 수 있다.
이러한 경우에는, 가상 카메라(220)의 시야각(θ1)이 과도하게 넓어서 시야각(θ1) 내에서 관찰되지 않는 영역이 발생할 수 있고, 이에 따라 두 개의 영상의 경계부분에서 왜곡이 발생하여 분석이 어렵다.
상기한 데이터를 고려할 때, 가상 카메라(220)는 시야각이 60~120°(도)인 것이 바람직할 수 있다.
도 31 내지 도 32는 가상 카메라의 회전 각도에 대해 설명하기 위한 도면이다.
먼저, 도 31을 살펴보면, (b)와 같이 가상 카메라(220)의 회전 각도는 360°(도)보다 클 수 있다. 또는, (a)와 같이 가상 카메라(220)의 회전 각도는 실질적으로 360°(도)일 수 있다.
(a)와 같이, 가상 카메라(220)의 회전 각도가 실질적으로 360°(도)인 경우에는 가상 카메라(220)의 회전 방향으로 펼쳐서 표시되는 한 장의 가상 내시경 영상은 양쪽 끝단이 일치할 수 있다. 즉, 한 장의 가상 내시경 영상은 양쪽 끝단의 영상이 연속되는 것이다.
또한, (b)와 같이 가상 카메라(220)의 회전 각도가 실질적으로 360°(도)보다 큰 경우에는 가상 카메라(220)의 회전 방향으로 펼쳐서 표시되는 한 장의 가상 내시경 영상은 양쪽 끝단이 서로 중첩(Overlap)될 수 있다. 즉, 한 장의 가상 내시경 영상은 양쪽 끝단의 영상은 실질적으로 동일한 부분을 포함하는 것이다.
예를 들면, 도 32의 경우와 같이 가상 카메라(220)의 회전 방향으로 펼쳐서 표시되는 한 장의 가상 내시경 영상은 중앙영상(2000)과, 중앙영상(2000)의 좌측 끝단에 배치되는 제 1 측면영상(2010)과 중앙영상(2000)의 우측 끝단에 배치되는 제 2 측면영상(2020)을 포함할 수 있다.
여기서, 제 1 측면영상(2010)과 제 2 측면영상(2020)은 제 1 지점(P1)부터 제 2 지점(P2)사이의 영상으로 서로 동일할 수 있는 것이다.
이와 같이 한 장의 가상 내시경 영상의 양쪽 끝단이 서로 중첩되면, 양쪽 끝단의 경계부분에서 영상의 왜곡의 발생을 방지함으로써 진단의 정확성을 더욱 높일 수 있다.
도 33 내지 도 34는 가상 카메라의 진행 거리에 대해 설명하기 위한 도면이다.
먼저, 도 33에서 가상 카메라(220)는 임의의 제 10 지점(P10)에서 촬영한 이후에 제 20 지점(P20)으로 이동하여 촬영하는 것을 가정하여 보자.
이러한 경우, 도 33의 경우와 같이 가상 카메라(220)가 임의의 제 10 지점(P10)에서 촬영할 때의 시야 범위는 제 10 지점(P10)과 연속된 제 20 지점(P20) 에서 촬영할 때의 시야 범위와 일부분(W1)이 중첩될 수 있다.
그러면, 도 34와 같이 연속되는 두 개의 영상은 서로 중첩되는 부분(W1)을 포함할 수 있다. 여기서, 연속되는 두 개의 영상은 가상 카메라(220)의 회전방향으로 펼친 영상일 수 있다.
이와 같이, 연속되는 두 개의 영상이 서로 중첩되는 부분(W1)을 포함하게 되면, 연속되는 두 개의 영상의 경계부분에서 영상의 왜곡의 발생을 방지할 수 있다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1 내지 도 6은 본 발명에 따른 검진 장치 및 가상 내시경 장치의 구성 및 동작에 대해 설명하기 위한 도면.
도 7 내지 도 9는 본 발명에 따른 실시예와 비교예를 비교하기 위한 도면.
도 10 내지 도 12는 가상 내시경 영상의 재구성 방법에 대해 설명하기 위한 도면.
도 13 내지 도 16은 하나의 화면에 가상 내시경 영상과 참조영상을 함께 표시하는 방법의 일례를 설명하기 위한 도면.
도 17 내지 도 19는 가상 카메라의 이동경로를 표시하는 참조영상에 대해 설명하기 위한 도면.
도 20 내지 도 24는 본 발명에 따른 가상 내시경 장치의 또 다른 기능의 일례에 대해 설명하기 위한 도면.
도 25 내지 도 26은 가상 카메라의 회전축에 대해 설명하기 위한 도면.
도 27은 가상 카메라의 움직임에 대해 설명하기 위한 도면.
도 28 내지 도 30은 가상 카메라의 시야각에 대해 설명하기 위한 도면.
도 31 내지 도 32는 가상 카메라의 회전 각도에 대해 설명하기 위한 도면.
도 33 내지 도 34는 가상 카메라의 진행 거리에 대해 설명하기 위한 도면.

Claims (29)

  1. 검사 대상에 대한 단면 영상 데이터를 수신하고, 상기 수신된 상기 단면 영상 데이터를 이용하여 3차원 볼륨 데이터를 생성하는 볼륨 데이터 생성부;
    상기 생성된 상기 3차원 볼륨 데이터에 근거하여 가상 카메라를 상기 검사 대상 내부의 이동 경로로 이동시키고, 상기 이동 경로와의 제1 각도로부터 상기 이동 경로와 수직인 방향을 포함하여 상기 이동 경로와의 제2 각도까지의 상기 검사 대상 내부의 가상 영상을, 상기 가상 카메라를 상기 이동 경로 상의 어느 한 점에서 상기 이동 경로를 축으로 하여 회전시키면서 촬영하는 촬영부; 및
    상기 이동 경로 상의 어느 한 점에서 상기 가상 카메라가 회전하면서 촬영된 상기 가상 영상이 상기 회전 방향으로 펼쳐서 표시될 수 있도록 적어도 하나의 가상 내시경 영상을 재구성하고, 상기 재구성된 적어도 하나의 상기 가상 내시경 영상과 상기 가상 내시경 영상과 관련된 적어도 하나의 참조 영상을 생성하는 데이터 처리부
    를 포함하는 가상 내시경 장치.
  2. 제 1 항에 있어서,
    상기 볼륨 데이터 생성부는
    상기 검사 대상에 대한 연속된 단면 영상 데이터로 3차원 위치 함수로 표시되는 상기 3차원 볼륨 데이터를 생성하는 것을 특징으로 하는 가상 내시경 장치.
  3. 제 1 항에 있어서,
    상기 참조 영상은 상기 검사 대상의 X-Y평면 영상, Y-Z평면 영상 및 X-Z평면 영상 중 적어도 하나를 포함하는 가상 내시경 장치.
  4. 제 1 항에 있어서,
    상기 참조 영상은 상기 가상 카메라의 상기 이동경로에 대한 영상을 포함하는 것을 특징으로 하는 가상 내시경 장치.
  5. 제 4 항에 있어서,
    상기 이동경로에 대한 영상은 상기 검사 대상의 일부에 대한 이동경로를 표시한 영상인 것을 특징으로 하는 가상 내시경 장치.
  6. 제 4 항에 있어서,
    상기 이동경로에 대한 영상은 상기 검사 대상의 전체에 대한 이동경로를 표시한 영상인 것을 특징으로 하는 가상 내시경 장치.
  7. 제 1 항에 있어서,
    상기 데이터 처리부에 의해 생성된 적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상을 하나의 화면에 표시하는 표시부
    를 더 포함하고,
    상기 표시부에 함께 표시되는 적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 어느 하나의 영상의 정보가 변경되는 경우, 나머지 영상들 중 적어도 하나의 영상의 정보가 연동하여 변경되는 것을 특징으로 하는 가상 내시경 장치.
  8. 제 7 항에 있어서,
    상기 표시부에 함께 표시되는 적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 어느 하나의 영상에서 임의의 제 1 부분을 선택하는 경우, 나머지 영상 중 적어도 하나의 영상은 상기 제 1 부분에 해당하는 부분을 표시하는 것을 특징으로 하는 가상 내시경 장치.
  9. 제 1 항에 있어서,
    적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 적어도 하나의 영상은 외부로부터 입력되는 명령에 따라 확대 또는 축소되는 것을 특징으로 하는 가상 내시경 장치.
  10. 제 1 항에 있어서,
    적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 적어도 하나의 영상은 슬라이드쇼(Slideshow) 방식으로 표시되는 것을 특징으로 하는 가상 내시경 장치.
  11. 제 1 항에 있어서,
    적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 적어도 하나의 영상은 파노라마방식(Panoramic)으로 표시되는 것을 특징으로 하는 가상 내시경 장치.
  12. 제 1 항에 있어서,
    적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 적어도 하나의 영상에서 임의의 제 1 부분을 관심 부분으로 지정하는 경우, 나머지 영상 중 적어도 하나에서 상기 제 1 부분에 대응되는 부분도 관심 부분으로 지정되는 가상 내시경 장치.
  13. 제 12 항에 있어서,
    상기 관심 부분에 대한 영상들은 메모리(Memory)에 저장되는 것을 특징으로 하는 가상 내시경 장치.
  14. 제 13 항에 있어서,
    상기 관심 부분에 대한 로딩(Loading) 명령이 입력되는 경우, 상기 메모리에 저장된 상기 관심 부분에 대한 영상들을 표시하는 가상 내시경 장치.
  15. 제 1 항에 있어서,
    상기 가상 카메라는 상기 이동경로에 수직하게 회전하는 것을 특징으로 하는 가상 내시경 장치.
  16. 제 1 항에 있어서,
    상기 가상 카메라는 시야각이 60~120°(도)인 것을 특징으로 하는 가상 내시경 장치.
  17. 제 1 항에 있어서,
    상기 가상 카메라는 상기 이동경로를 축으로 회전하면서 동시에 상기 이동경로를 따라 진행하는 것을 특징으로 하는 가상 내시경 장치.
  18. 제 1 항에 있어서,
    상기 가상 카메라는 진행이 멈춘 상태에서 회전하는 것을 특징으로 하는 가상 내시경 장치.
  19. 제 1 항에 있어서,
    상기 가상 카메라의 회전 각도는 360°(도)보다 크거나 같은 것을 특징으로 하는 가상 내시경 장치.
  20. 제 1 항에 있어서,
    상기 검사 대상의 내부의 이동경로는 상기 단면 영상들의 중심점을 연결한 선인 것을 특징으로 하는 가상 내시경 장치.
  21. 제 1 항에 있어서,
    상기 단면 영상 데이터는 컴퓨터 단층 촬영기(Computed Topography: CT) 및 자기공명장치(Magnetic Resonance Imaging: MRI) 중 적어도 하나로부터 입력되는 데이터인 것을 특징으로 하는 가상 내시경 장치.
  22. 제 7 항에 있어서,
    상기 표시부는 동일 각도 또는 등간격에 따라 재구성한 상기 가상 내시경 영상을 상기 가상 카메라의 회전 방향으로 펼쳐 표시하는 것을 특징으로 하는 가상 내시경 장치.
  23. 제 22 항에 있어서,
    상기 표시부에 표시된 하나의 상기 가상 내시경 영상은 양쪽 끝단이 서로 중첩(Overlap)되는 것을 특징으로 하는 가상 내시경 장치.
  24. 제 22 항에 있어서,
    상기 표시부에 표시되는 연속된 2개의 상기 가상 내시경 영상은 서로 중첩(Overlap)되는 부분을 포함하는 가상 내시경 장치.
  25. 제 1 항에 있어서,
    상기 가상 카메라는 상기 이동경로를 편도(One path)로 이동하는 것을 특징 으로 하는 가상 내시경 장치.
  26. 검사 대상에 대한 연속된 단면 영상 데이터를 수신하는 단계;
    상기 수신된 상기 단면 영상 데이터를 이용하여 3차원 볼륨 데이터를 생성하는 단계;
    상기 생성된 상기 3차원 볼륨 데이터에 근거하여 가상 카메라를 상기 검사 대상 내부의 이동 경로로 이동시키는 단계;
    상기 이동 경로와의 제1 각도로부터 상기 이동 경로와 수직인 방향을 포함하여 상기 이동 경로와의 제2 각도까지의 상기 검사 대상 내부의 가상 영상을, 상기 가상 카메라를 상기 이동 경로 상의 어느 한 점에서 상기 이동 경로를 축으로 하여 회전시키면서 촬영하는 단계; 및
    상기 이동 경로 상의 어느 한 점에서 상기 가상 카메라가 회전하면서 촬영된 상기 가상 영상이 상기 회전 방향으로 펼쳐서 표시될 수 있도록 적어도 하나의 가상 내시경 영상을 재구성하고, 상기 재구성된 적어도 하나의 상기 가상 내시경 영상과 상기 가상 내시경 영상과 관련된 적어도 하나의 참조 영상을 생성하는 단계
    를 포함하는 가상 내시경 장치의 구동방법.
  27. 제 26 항에 있어서,
    하나의 화면에 함께 표시된 적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상 중 어느 하나의 영상의 정보가 변경되는 경우, 나머지 영상들 중 적어도 하나의 영상의 정보를 연동하여 변경하는 단계를 더 포함하는 것을 특징으로 하는 가상 내시경 장치의 구동방법.
  28. 검사 대상에 대한 연속된 단면 영상 데이터를 생성하는 단면 영상 생성부;
    상기 단면 영상 데이터를 수신하고, 상기 수신된 상기 단면 영상 데이터를 이용하여 3차원 볼륨 데이터를 생성하는 볼륨 데이터 생성부;
    상기 생성된 상기 3차원 볼륨 데이터에 근거하여 가상 카메라를 상기 검사 대상 내부의 이동 경로로 이동시키고, 상기 이동 경로와의 제1 각도로부터 상기 이동 경로와 수직인 방향을 포함하여 상기 이동 경로와의 제2 각도까지의 상기 검사 대상 내부의 가상 영상을, 상기 가상 카메라를 상기 이동 경로 상의 어느 한 점에서 상기 이동 경로 축으로 회전시키면서 촬영하는 촬영부;
    상기 이동 경로 상의 어느 한 점에서 상기 가상 카메라가 회전하면서 촬영된 상기 가상 영상이 상기 회전 방향으로 펼쳐서 표시될 수 있도록 적어도 하나의 가상 내시경 영상을 재구성하고, 상기 재구성된 적어도 하나의 상기 가상 내시경 영상과 상기 가상 내시경 영상과 관련된 적어도 하나의 참조 영상을 생성하는 데이터 처리부; 및
    상기 재구성된 적어도 하나의 상기 가상 내시경 영상과 적어도 하나의 상기 참조 영상을 하나의 화면에 표시하는 표시부
    를 포함하는 검진 장치.
  29. 제 28 항에 있어서,
    상기 단면 영상 생성부는 컴퓨터 단층 촬영기(Computed Topography: CT) 또는 자기공명장치(Magnetic Resonance Imaging: MRI)인 것을 특징으로 하는 검진 장치.
KR1020090085572A 2009-09-10 2009-09-10 가상 내시경 장치, 그의 구동방법 및 검진 장치 KR101198608B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020090085572A KR101198608B1 (ko) 2009-09-10 2009-09-10 가상 내시경 장치, 그의 구동방법 및 검진 장치
EP11172987A EP2400465A3 (en) 2009-09-10 2009-11-26 Virtual endoscopy apparatus, method for driving thereof and medical examination apparatus
PCT/KR2009/007024 WO2011030965A1 (en) 2009-09-10 2009-11-26 Virtual endoscopy apparatus, method for driving thereof and medical examination apparatus
EP09849282.0A EP2389113A4 (en) 2009-09-10 2009-11-26 VIRTUAL ENDOSCOPY DEVICE, DRIVE PROCESS THEREFOR, AND MEDICAL EXAMINATION DEVICE
JP2011537379A JP2012509133A (ja) 2009-09-10 2009-11-26 仮想内視鏡装置とその駆動方法及び検診装置
US13/122,455 US20110184710A1 (en) 2009-09-10 2009-11-26 Virtual endoscopy apparatus, method for driving thereof and medical examination apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090085572A KR101198608B1 (ko) 2009-09-10 2009-09-10 가상 내시경 장치, 그의 구동방법 및 검진 장치

Publications (2)

Publication Number Publication Date
KR20110027468A KR20110027468A (ko) 2011-03-16
KR101198608B1 true KR101198608B1 (ko) 2012-11-07

Family

ID=43934282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090085572A KR101198608B1 (ko) 2009-09-10 2009-09-10 가상 내시경 장치, 그의 구동방법 및 검진 장치

Country Status (1)

Country Link
KR (1) KR101198608B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10456112B2 (en) 2014-12-15 2019-10-29 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus, ultrasound diagnosis method and computer-readable storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020138946A1 (ko) * 2018-12-26 2020-07-02 계명대학교 산학협력단 결석 제거 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10456112B2 (en) 2014-12-15 2019-10-29 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus, ultrasound diagnosis method and computer-readable storage medium

Also Published As

Publication number Publication date
KR20110027468A (ko) 2011-03-16

Similar Documents

Publication Publication Date Title
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
US6807292B1 (en) Image displaying method and apparatus
JP5586465B2 (ja) 超音波診断装置
JP4709177B2 (ja) 三次元画像処理装置および方法並びにプログラム
CN100581469C (zh) 图像显示方法及其装置
JP5068516B2 (ja) 医用画像を表示する方法及びシステム
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
RU2419882C2 (ru) Способ визуализации секущих плоскостей для изогнутых продолговатых структур
JP2012187161A (ja) 画像処理装置、方法、及びプログラム
JP2007195970A (ja) 断層撮影システムおよび断層撮影表示の可視化方法
JP5826082B2 (ja) 医用画像診断支援装置および方法並びにプログラム
KR20150090117A (ko) 제 1 랜더링된 투영 및 제 2 랜더링된 투영간의 전이를 사용자에게 디스플레이하는 방법 및 시스템
CN103298407B (zh) 医用图像处理装置以及医用图像诊断装置
JP2011139797A (ja) 医用画像処理装置、及び医用画像処理プログラム
JP2006519631A (ja) 仮想内視鏡法の実行システムおよび実行方法
WO2013125276A1 (ja) Ｘ線ｃｔ装置、画像表示装置、画像表示方法
JP2005322252A (ja) 医用画像表示および画像処理方法、コンピュータ断層撮影装置、ワークステーションおよびコンピュータプログラム製品
JP2013009956A (ja) 医用画像表示装置及び医用画像診断装置
JP5214876B2 (ja) ３次元画像処理装置及び医用画像診断装置
JP5443238B2 (ja) 仮想内視鏡画像処理装置、方法、及びプログラム
JP3683977B2 (ja) 医用画像診断装置
JP4616874B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
KR101230871B1 (ko) 가상 내시경 장치, 그의 구동방법 및 검진 장치
KR101198608B1 (ko) 가상 내시경 장치, 그의 구동방법 및 검진 장치
JP4334037B2 (ja) 医用画像処理装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090910

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20101014

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20090910

Comment text: Patent Application

PG1501 Laying open of application
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120118

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20120830

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120118

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20120830

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20120220

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20121015

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20120917

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20120830

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20120220

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121101

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121101

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151102

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161101

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161101

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20171031

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20181031

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191031

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191031

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20201030

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211025

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20221031

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20231031

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20241031

Start annual number: 13

End annual number: 13