KR20020073841A - 3차원 볼륨-단면 결합 영상 생성 방법 - Google Patents

3차원 볼륨-단면 결합 영상 생성 방법 Download PDF

Info

Publication number
KR20020073841A
KR20020073841A KR1020010013716A KR20010013716A KR20020073841A KR 20020073841 A KR20020073841 A KR 20020073841A KR 1020010013716 A KR1020010013716 A KR 1020010013716A KR 20010013716 A KR20010013716 A KR 20010013716A KR 20020073841 A KR20020073841 A KR 20020073841A
Authority
KR
South Korea
Prior art keywords
image
volume
section
cross
mpr
Prior art date
Application number
KR1020010013716A
Other languages
English (en)
Other versions
KR100420791B1 (ko
Inventor
김근호
권민정
박현욱
나종범
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2001-0013716A priority Critical patent/KR100420791B1/ko
Publication of KR20020073841A publication Critical patent/KR20020073841A/ko
Application granted granted Critical
Publication of KR100420791B1 publication Critical patent/KR100420791B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 3차원 볼륨-단면 결합영상 제공방법에 관한 것으로 3차원 데이터를 2차원으로 가시화(Visualization)하는 쉬어-왑 분해(shear-warp factorization)방법을 이용해 얻은 중간평면상의 볼륨 영상 데이터에, 보기를 원하는 특정부위를 잘라 MPR을 통하여 얻은 단면 영상을 결합하고, 이 결합 영상 전체를 와핑하여 최종 볼륨-단면 결합 영상을 얻는 방법이다. 영상 결합시에는 단면 및 볼륨영상의 깊이정보 및 영역분할정보를 이용한다.
또한, 중간평면상의 볼륨 영상 데이터를 버퍼에 저장하였다가, 관찰자의 시선방향은 변화하지 않고 단지 원하는 단면 영상만이 달라질 경우에는 별도의 볼륨 렌더링 단계없이 저장된 볼륨 영상 데이터를 이용하면 되므로 처리시간을 단축할 수 있다.

Description

3차원 볼륨-단면 결합 영상 생성 방법{Method for generating 3-dimensional volume-section combination image}
본 발명은 3차원 볼륨-단면 결합 영상 생성 방법, 더 상세하게는 대상물의 볼륨(Volume)과 단면 평면 영상을 결합하여 입체적이고 실제적인 영상을 제공하기 위한 시스템 및 방법에 관한 것이다.
컴퓨터단층촬영술(Computer Tomography; CT), 자기공명영상술(Magnetic Resonance Imaging; MRI), 초음파영상술(Ultrasonography)과 같은 대부분의 의료영상기술에 의한 영상은, 슬라이스(slice)라 불리는 일련의 연속된 2차원 영상들로 얻어진다. 이러한 2차원 진단영상들로부터 신체기관을 재구성하는 작업은 관찰자 또는 의사의 훈련과 공간감에 의존하기 때문에 명확하지 않다. 이 문제는 영상의 3차원 가시화 작업 수행을 통해 외과의사나 해부학자에게 눈으로 직접 보는 것과 같은 신체기관의 영상을 보여 줌으로써 극복할 수 있다. 즉, 의료분야에 있어 3차원 가시화의 목적은 관찰자에게 종래의 의료 영상 자료로부터 정밀하고 실제적인 3차원 볼륨 영상을 생성해주는 것이다.
이러한 요구에 맞게, 2차원 영상 데이터를 기반으로 3차원 또는 다른 2차원영상을 재구성(reconstruction)할 수 있으며, 그 대표적인 방법으로는 볼륨 렌더링(volume rendering)과 다중평면 재구성(Multi-Planar Reconstruction; MPR)이 있다.
볼륨 렌더링이란 3차원의 물체를 임의의 방향에서 바라보았을 때의 입체감을 느끼게 하기 위해 2차원 투영화면에 있는 화소(pixel) 각각의 색깔을 만들어주는 체계적인 기법이라 할 수 있다. 볼륨 렌더링 기법은 모든 물체가 3차원 복셀(voxel)로 이루어졌다고 가정하고, 이 복셀들이 화면의 화소에 어떠한 영향을 미치는 것인가를 판단하여 그 결과를 영상화에 고려하게 된다. 즉, 2차원 투영평면의 한 화소의 색깔을 계산하기 위하여 해당하는 화소에 영향을 미치는 복셀을 모두 고려해야 한다.
이러한 볼륨 렌더링에는, 볼륨 데이터를 가로질러 합성(composition)하는 이미지 순회(image-order)방식과, 볼륨 데이터가 결과에 기여하는 정도에 따라 매핑(mapping)하는 객체 순회(object-order)방식 및 혼합 순회방식으로 크게 나눌 수 있다. 현재까지는 주로 이미지 순회방식인 광선추적기법(ray casting)을 이용하였는 데, 이러한 광선추적기법에서는 광선들이 스크린 픽셀(Pixel)을 통과하여 객체를 향해 쏘아지는 것으로 가정되며, 각 광선에 대하여 그 경로에 존재하는 볼륨 복셀(voxel)들을 참조하여 통과한 스크린 픽셀에 나타날 영상 이미지 값을 계산한다. 이러한 광선추적기법을 이용한 볼륨 렌더링에 대해서는 Marc Levoy등이 쓴 논문 "볼륨 렌더링(Volume Rendering; IEEE Computer Graphic & Application, 1988)"에 상세하게 개시되어 있다.
또한, 관찰각도에 따라 볼륨 데이터를 쉬어링(shearing)시킨 후, 쉬어링된 데이터를 수직 광선으로 투영·렌더링하여 중간영상(intermediate image)을 생성하고, 이 중간영상을 와핑(warping)함으로써 원래 각도의 최종 볼륨 영상을 만들어내는 쉬어-왑 분해(shear-warp factorization)방식의 볼륨 렌더링방식이 제시되어 있다. 이러한 쉬어-왑 분해방식의 볼륨 렌더링에 대해서는 제 1999-015144호 한국특허출원 및 Philippe Lacroute 등이 쓴 논문 "Fast Volume Rendering Using a Shear-Warp Factorization of the Viewing Transformation" 등에 상세하게 기재되어 있다.
한편, 볼륨 렌더링을 통하여 처리되는 볼륨 데이터 세트들은 통상 3차원 공간상의 균일한 격자구조로 형성된 스칼라(scalar) 데이터들의 결합체이다. 볼륨 데이터 세트는 의료용 인체데이터 뿐 아니라, 화학 분자구조, 기상관측 데이터 등 여러분야에서 이용되고 있으며, 그 크기는 약 300Kbyte에서 300Mbyte로서 비교적 큰 용량을 차지한다. 이러한 볼륨 데이터 세트들의 렌더링은 표면화된 기본요소(primitive)들의 렌더링을 통하여 화면을 완성하는 다각형 렌더링(polygon rendering)과는 달리 볼륨 데이터 자체가 렌더링을 위한 기본 요소로 사용되므로 연산의 양도 그만큼 많아지게 된다. 따라서, 막대한 양의 볼륨 데이터를 처리하기 위해서는 큰 메모리 용량과 연산속도를 지닌 고성능의 슈퍼컴퓨터, 대규모의 병렬처리 구조를 가지는 시스템, 또는 네트워크로 묶여진 많은 컴퓨터들이 사용되고 있으나, 처리 속도에 한계가 있다.
한편, MPR (multi-planar reconstruction) 기술은 CT 또는 MRI등으로부터 얻어진 2차원 슬라이스형태의 원영상 데이터(original image data)로부터 관상 이미지(coronal image), 시상 이미지(sagittal image), 축상 이미지(axial image), 경사면 이미지(oblique image)를 생성하는 것이다. 즉, 볼륨 데이터로부터 원하는 2차원 또는 3차원 단면 영상을 얻는 기술로서, 예를 들면 제 6016438호 미국특허가 있으며, MPR 기술에 대해서는 William V. Glen 등에 의하여 쓰여진 논문 ""Further investigation and initial clinical use of advanced CT display capability" 및 "Image generation and display techniques for CT scan data" (Investigative Radiology, vol. 10, September/October 1975)에 상세하게 기술되어 있다.
그러나, 볼륨 렌더링에 의해서 얻어지는 영상은 해당 신체구조의 외관(예를 들면, 머리, 배 등)에 한정되기 때문에, 신체 내부의 병변을 진단하기 위해서는 적당하지 않다. 또한, MPR에 의해서 얻어지는 영상은 단면에 국한되기 때문에, 경험자가 아닌 경우에는 실제적으로 신체의 어느 부분인지를 정확하게 판단하기 어렵다.
본 발명은 이러한 단점을 극복하기 위하여 착안된 것으로, 볼륨 렌더링된 볼륨 영상부분에 단면의 영상을 붙여 넣어 볼륨-단면 결합영상을 생성함으로써, 더욱 정밀하고 알기쉬운 의료 영상을 제공하여 의료부분의 진료에 큰 도움을 주고자 하는 것이다.
그러나, 보고자 하는 단면이 변화할 때마다 볼륨 렌더링된 영상을 얻어낸다면 시간의 소모가 매우 심하여 실시간의 처리가 필요한 의사들이 이용하는 데 어려움이 있다. 본 발명은 이러한 단점을 극복하기 위하여 렌더링된 대상물에 대한 중간 볼륨렌더링 영상 정보를 버퍼에 임시로 저장하여 두었다가, 사용자가 원하는 MPR에 의한 단면과 결합할 때 버퍼로부터 꺼내어 사용함으로써 신속하게 볼륨-단면결합 영상을 획득할 수 있도록 한 것이다.
본 발명의 목적은 대상물에 대한 3차원 볼륨 영상과, 일정부분의 단면평면 영상을 결합한 형태의 영상을 제공하기 위한 영상 처리 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 쉬어-왑 방식(shear-warp)의 볼륨 렌더링에 의하여 3차원 볼륨 영상을 생성하고, 사용자가 원하는 부분에 대한 단면의 평면 영상을 MPR(multi-planar reconstruction) 방식에 의하여 형성한 후, 이 둘을 결합하여 와핑(warping)함으로써 볼륨-단면 결합형태의 영상을 생성할 수 있는 영상처리 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 볼륨 영상과 단면영상을 결합할 때 단면 및 볼륨 영상의 깊이정보 및 영역분할정보를 이용하는 방법을 제공하는 것이다.
본 발명의 또다른 목적은 이미 렌더링된 대상물에 대한 3차원 볼륨 정보를 버퍼에 저장하여 두었다가, 사용자가 원하는 MPR에 의한 단면과 결합할 때 버퍼로부터 꺼내어 사용함으로써 신속하게 볼륨-단면 결합형태의 영상을 제공할 수 있는 영상 처리 시스템 및 방법을 제공하는 것이다.
도 1은 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 전체 흐름을 도시한다.
도 2는 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 흐름을 더 세부적으로 도시한 것이다.
도 3은 VR 중간평면영상과 MPR의 단면영상의 결합단계를 세부적으로 도시한 것이다.
도 4는 볼륨렌더링에 의하여 얻은 중간 볼륨 영상(VR 영상)을 버퍼에 저장함으로써 처리속도를 향상시키기 위한 절차를 도시한다.
도 5는 MPR단면영상 추출단계에서 있을 수 있는 두 가지 관찰방법에 대한 기본적인 개념을 도시한다.
도 6과 도 7은 볼륨렌더링을 위하여 일반적으로 사용되는 종래의 레이캐스팅(ray casting) 방법과 본 발명에 이용되는 쉬어-왑 분해(shear-warp factorization)방식이 본 발명에 적용될 경우를 도시한다.
도 8은 깊이정보를 구하는 방법을 도시하는 것으로, 좌측은 종래의 레이 캐스팅방법을 이용하는 경우이고, 우측은 본 발명에 의한 쉬어-왑 방식을 이용하는경우이다.
도 9는 실재 볼륨에 대하여 본 발명이 적용되는 경우를 도시한다.
전술한 바와 같은 목적을 달성하기 위한 본 발명에 의한 영상 처리 방법은 다음과 같은 단계로 이루어진다.
쉬어-왑 알고리즘에 의하여 대상물에 대한 원 영상 데이터를 쉬어링하여 쉬어링 평면에서의 볼륨데이터를 얻은 후, 컴포지팅하여 중간투영평면상에 형성되는 중간 볼륨 영상을 생성하는 볼륨 렌더링단계와, 사용자의 선택 부분에 대한 단면영상을 다중 평면 재구성(MPR)방식에 의하여 생성하고, 중간투영평면에 맞도록 어파인(affine)변환하는 MPR 단면 영상 추출단계와, 볼륨 렌더링단계에서 생성된 중간 볼륨 영상과 MPR 단면영상을 결합하는 영상 결합단계, 및 영상 결합 단계에서 결합된 중간투영평면-MPR단면 결합영상을 와핑(warping)하여 대상물에 대한 최종 볼륨-단면 결합영상을 생성하는 볼륨-단면 결합영상 생성단계로 이루어진다.
또한, 전술한 볼륨렌더링 단계에서 얻어진 중간투영평면상의 중간 볼륨 영상 데이터를 버퍼에 저장하는 단계가 추가될 수 있으며, 이 경우 영상 결합단계 이전에 사용자가 지정한 관찰시선방향이 이전과 동일한 지를 판단하는 단계를 추가적으로 구비한다. 이 경우 상기 영상 결합단계에서는 관찰시선방향이 이미 이전에 한 볼륨 렌더링에서와 동일한 경우에는 버퍼에 저장되어 있는 해당 중간 볼륨 영상 데이터를 추출하여 MPR 단면영상 추출단계에서 추출된 MPR 단면영상을 결합하며, 관찰시선방향이 이전의 것과 다른 경우에 한하여 전술한 볼륨 렌더링 과정에 의하여 새로운 시선방향에 대한 중간투영평면 상의 중간 볼륨 영상 데이터를 얻는다.
볼륨 렌더링단계에서는 볼륨렌더링된 중간 볼륨 영상의 각 위치에서의 깊이정보와, 모든 복셀에 대한 영역분할정보가 저장된다. 중간 볼륨 영상의 깊이정보(depth information)는 이미지 평면으로부터 볼륨렌더링된 영상의 최초 복셀까지, 즉 이미지 평면으로부터 최초로 불투명도(opacity)를 가지는 복셀까지의거리(dVR)로 정의된다. 한편, 사용자가 보고자 하는 단면영상의 깊이정보 또한 저장되는데, 이러한 단면의 깊이(d단면)는 이미지 평면 또는 관찰자로부터 단면까지의 거리로 정의된다.
또한, 모든 복셀에 대한 영역분할정보에는 해당 복셀에 실재 영상이 존재하는지 존재하지 않는지를 판단할 수 있는 정보와 그 복셀의 영상이 나타내는 신체기관에 대한 정보를 포함하고 있다.
전술한 영상 결합단계에서는 사용자가 보고자 하는 단면이 위치하는 복셀의 영역분할정보 및 단면의 깊이정보를 이용하여 볼륨렌더링된 중간 볼륨 영상과 MPR단면영상을 결합한다. 영상결합에 깊이정보 및 영역분할정보를 이용하는 구체적인 방법은 첨부되는 도면을 참고로 아래에서 실시예로 상세하게 설명한다.
와핑(Warping)이란 영상을 늘리거나 크기를 조절하는 기하학적인 처리방법으로, 순수한 스케일링과 달리 크기 변화의 정도가 영상 전체에 대해 균일하지 않게 하는 기법을 의미한다. 또한, 어파인 변환(Affine transform)은 회전, 전이, 크기 변화와 이들의 조합으로 이루어지는 선형 기하 변환을 의미하는 것으로, 전술한 와핑이나 어파인 변환은 영상 처리분야에서 일반적으로 사용되는 기법이므로 그 상세한 설명은 생략한다.
도 1은 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 전체 흐름을 도시한다. 쉬어-왑 분해(shear-warp factorization)을 이용하여 CT, MRI등으로부터 얻은 원 볼륨데이터(original volume data)으로부터 볼륨 렌더링된 중간 볼륨영상(intermediate volume image)을 중간 투영평면(intermediate image plane)상에 생성한다(S11). 그 다음으로 보고자 원하는 부분의 단면영상을 MPR방법에 의하여 추출하고, 앞의 볼륨 렌더링에 의해서 구한 중간 볼륨 영상에 맞도록 하기위하여 단면영상을 어파인(affine) 변환한다(S12). 깊이정보와 영역분할정보를 이용하여 볼륨을 나타내는 중간영상과 단면을 나타내는 MPR단면영상을 결합하고(S13), 결합된 영상을 와핑(warping)함으로써 최종 3차원 볼륨-단면 결합 영상을 얻어낸다(S14). 각 단계는 세부적인 단계로 나누어질수 있으며 이에 대해서는 도 2 내지 3을 참고로 더 상세하게 설명한다.
도 2는 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 흐름을 더 세부적으로 도시한 것이다. 중간투영평면으로의 중간 볼륨 영상 생성단계(즉, 볼륨 렌더링 단계; S11)는 쉬어-왑 분해 방법을 이용하여 원 데이터를 쉬어링하고(S21) 컴퍼지팅(compositing)함으로써 수행된다(S22). 또한, MPR단면영상 생성단계(S12)는 사용자가 보고자 선택한 단면의 위치를 특정하면(S24), MPR 방법에 의하여 원 데이터로부터 해당 단면의 영상을 추출한다(S25). 추출된 단면영상을 어파인 변환함으로써 쉬어-왑 볼륨 렌더링에 의하여 이미 구한 중간 볼륨 영상과 동일한 포맷을 가지게 한다. 이 과정에서 단면과 볼륨렌더링된 중간 볼륨 영상(이하 VR영상이라 한다)의 위치정보(깊이정보 포함) 및 영역분할정보를 구하여 버퍼에 저장하여 둔다.
그 다음으로, 깊이정보와 영역분할정보를 이용하여 VR 영상과 MPR단면영상을 결합하고(S28), 결합된 영상을 와핑함으로써 최종적인 3차원 볼륨-단면 결합영상을얻는다(S29).
도 3은 VR 영상과 MPR 단면영상의 결합단계를 세부적으로 도시한 것이다. VR 영상과 단면영상을 결합할 때 기본적으로는 VR영상 중에서 단면에 해당되는 부분을 제거하고 그부분에 단면영상을 채워넣는다. 그러나, 사용자가 보고자 지정한 단면평면에 실재로 VR 영상이 존재하지 않거나, 대상물의 형태가 복잡하게 생긴 경우에는 단순히 위와 같은 방법으로는 해결할 수 없다.
따라서, 우선 사용자가 보고자 특정한 단면평면에 VR영상이 실재하는 지 판단하여야 한다(S31). 여기서 단면평면이라 함은 깊이를 고려하지 않고 단순히 2차원적 위치만을 고려한 평면이다.
보고자 선택한 단면영역에 해당되는 이미지 평면상에 VR영상이 존재하는 경우와, 존재하지 않는 경우에 따라 처리방법이 달라진다.
1) VR영상이 존재하는 영역에 대해서는(S32), 단면의 깊이정보(d단면)와 VR영상의 깊이정보(dVR)를 비교하여, VR영상의 깊이가 단면의 깊이보다 작은 영역(d단면> dVR인 영역; 도 9a의 R2 및 R3영역)에 대해서는 해당 VR영상을 MPR단면영상으로 대체한다(S33). 이때, d단면> dVR인 영역 중에서 대체할 MPR단면영상이 없는 부분(도 9a, b의 R3, R3'영역; 이하 "단면부존재부분"이라 한다)이 있는지 판단하고(S34), 단면부존재부분이 있는 경우에는 d단면> dVR인 볼륨부분을 제거하고 관찰하였을때 단면부존재부분에 대응되는 새로운 VR영상(도 9b에서 VR'로 표현)이 있는 지 판단한다(S35). 새로운 VR영상(VR')이 있는 경우에 한하여 그 새로운 VR영상(VR')을 단면부존재부분에 대체하고(S36), 새로운 VR영상이 없는 경우에는 단면부존재부분을 공백으로 비워둔다(S37).
물론, VR영상이 없는 영역(도 9a, b의 R4)에 대해서는 공백으로 비워두면 된다(S38).
본 명세서에서 VR영상의 깊이(dVR)는 관찰자 또는 이미지 평면으로부터 최초로 만나는 볼륨부분, 즉 최초로 불투명도를 가지는 복셀까지의 거리로 정의된다.
이렇게 함으로써, 일부에 대한 단면과 중간 볼륨영상이 자연스럽게 합쳐져서 실재감 있는 3차원 볼륨-단면 결합영상을 얻을 수 있다.
도 4는 볼륨렌더링에 의하여 얻은 VR영상을 버퍼에 저장함으로써 처리속도를 향상시키기 위한 절차를 도시한다. 우선, 볼륨렌더링 단계에서 구한 중간 VR영상 정보를 버퍼에 저장하여 둔다. 이 경우 해당 VR영상의 관찰 시선방향 정보를 함께 저장한다.
사용자가 보고자 하는 단면영역을 특정한 경우에, 관찰자의 시선방향을 판단하고(S41), 그 시선방향이 이미 이전에 렌더링된 적이 있는 시선방향과 일치하는 지를 판단한다(S42). 기렌더링된 시선방향인 경우에는 해당되는 VR영상 정보를 버퍼로부터 읽어와서(S43), MPR 단면 영상 추출단계에 의하여 새롭게 추출된 MPR단면영상을 결합하고 와핑하여 최종 영상을 생성한다(S45, 46). 물론, 현재의 관찰 시선방향이 기렌더링된 기존의 시선방향과 일치하지 않는 경우에는 새롭게 볼륨 렌더링과정을 거쳐 중간 볼륨 영상을 생성하여야 한다(S44). 이렇게 함으로써, 매번 새롭게 볼륨 렌더링하지 않고 관찰시선방향이 일치하는 경우에는 이전의 영상정보를 버퍼로부터 단순히 읽어오면 되므로 처리시간을 획기적으로 단축시킬 수 있다.
도 5는 MPR단면영상 추출단계에서 있을 수 있는 두 가지 관찰방법에 대한 기본적인 개념을 도시한다. 좌측의 그림은 직교 단면 관찰(orthogonal view)에 해당되며, 우측은 경사단면 관찰(oblique view)에 대한 것이다.
도 6과 도 7은 볼륨렌더링을 위하여 일반적으로 사용되는 종래의 레이캐스팅(ray casting) 방법과 본 발명에 이용되는 쉬어-왑 분해(shear-warp factorization)방식이 본 발명에 적용될 경우를 도시하는 것이다. 두 도면에서 좌측은 직교관찰, 우측은 경사관찰에 해당된다.
도 6에서의 레이캐스팅 방식에서는, 2차원 슬라이스 형태의 영상 데이터(평행하는 다수의 가는 실선)로부터 사용자가 특정한 단면(굵은 실선)의 MPR 영상과 나머지의 볼륨 영상(VR 영상)을 구하고, 이미지 평면(관찰시선방향에 수직한 평면; 실선)상에서 결합한다.
도 7에서의 쉬어-왑 방식에서는 일단 관찰자의 시선각도에따라 2차원 슬라이스 형태의 영상 데이터를 쉬어링(shearing)하고, 쉬어링된 데이터로부터 VR영상과 MPR영상을 중간평면(intermediate image plane)상에 직투영하여 중간 결합 영상을 형성한다. 이 때, 단면영상을 중간 VR영상과 매칭시키기 위하여 단면영상의 전체 또는 일부분을 어파인 변환하여야 한다. 이렇게 형성된 중간 결합영상을 와핑(warping)함으로써 최종적인 볼륨-단면 결합영상을 얻는다.
도 6 및 도 7에서 알 수 있는 바와 같이, 전술한 MPR단면영상 추출단계는 단면의 형태가 직교단면인 경우에는 직교관찰이 필요하고, 이 경우에는 직교하는 3개면인 축상(axial), 시상(sagittal), 관상(coronal)면의 데이터를 구해야하며, 레이 캐스팅 방식에서는 시상(sagittal) 및 관상(coronal)면 영상을 어파인 변환하여야 하지만(도 6의 좌측), 본 발명에 의한 쉬어-왑 방식을 이용하는 경우에는 깊이방향에 대하여 수직인 관상면 영상은 그대로 그려주고 시상면 영상만 어파인 변환하면 된다(도 7의 좌측).
한편, MPR 단면영상 추출단계에서 생성되는 단면의 형태가 경사단면(Oblique view)인 경우에는 단면의 평면 방정식을 구해야 하며, 아래와 같은 방법을 이용한다.
단면의 법선벡터를 n = (nx, ny, nz)라 하고, 평면 위에 있는 한 점의 좌표를 p = (x0, y0, z0)라 하면 평면의 방정식은 수학식 1과 같다.
그리고 중간영상에 데이터의 공란을 없애기 위하여 다음과 같은 중간영상의 식을 구해야 한다. 중간영상평면의 화소의 지수를 x축으로 i라 하고, y축으로 j라 하며, x 축으로 깊이에 따라 쉬어링되는 정도를 dShearI라 하고 y축으로 쉬어링되는 정도를 dShearJ라 하면 식은 다음과 같이 전개될 수 있다.
위에서 dTransI와 dTransJ를 전환펙터(translation factor)라 하며, 위의 식을 다시 쓰면 아래의 수학식 3과 같이 된다.
위의 식을 평면의 방정식인 수학식 1에 대입하면 다음과 같은 식이 된다.
수학식 4로부터 마지막으로 수학식 5를 유도할 수 있는데, 이 식이 주어진 i, j값으로부터 깊이값을 구하는 방정식으로, 이를 이용하면 수학식 3으로부터 모든 중간영상상의 좌표값에 해당되는 3차원 평면 데이터를 얻을 수 있다.
도 8은 깊이정보를 구하는 방법을 도시하는 것으로, 좌측은 종래의 레이 캐스팅방법을 이용하는 경우이고, 우측은 본 발명에 의한 쉬어-왑 방식을 이용하는 것이다. 레이 캐스팅 방식에서는 단면의 깊이를 구하기 위하여 d2= d단면=(x2+y2+z2)1/2의 식을 이용하여야 하지만, 본 발명에 의한 쉬어-왑 방식을 이용하면 축방향(중간투영평면에 대한 직교방향)으로의 거리가 곧 단면의 깊이정보가 된다. (d1= d단면= z) 따라서 깊이정보의 계산이 간단해짐으로써 처리시간을 단축시킬 수 있다.
도 9는 실재 볼륨에 대하여 본 발명이 적용되는 경우를 도시하는 것으로, 도 9a는 단면부존재부분을 대체할 새로운 VR영상이 존재하지 않는 경우이고, 도 9b는 존재하는 예를 도시한다.
선택된 단면평면 위치에 VR영상이 존재하는지 판단하고, VR영상이 존재하는 영역(R1, R2, R3 또는 R3')과 존재하지 않는 영역(R4)로 나눈다. VR영상이 존재하는 영역에 대해서는 d단면> dVR를 만족하는 영역(R2, R3 또는 R3')에 한하여 해당 VR영상을 MPR영상으로 대체하고(MPR로 표시), 나머지 영역(R1)에 해당되는 VR영상은 그대로 투영시킨다(VR로 표시). 이 때, R3 및 R3'영역은 d단면> dVR를 만족하는 영역 중에서 대체할 MPR 단면영상이 없는 단면부존재부분으로서, 이 경우에는 d단면> dVR인 볼륨부분을 제거하고 관찰하였을 때, 단면부존재부분을 대체할 새로운 VR영상이 있는지 확인한다.
도 9a는 단면부존재영역 R3를 대체할 새로운 VR영상이 없는 경우이기 때문에, R3에 해당되는 부분은 공백으로 비워두게 되지만, 도 9b와 같이 새로운 VR영상이 있는 경우에는 그 새로운 VR영상을 R3'영역에 채워넣게 된다(VR'로 표시).
물론, VR영상이 존재하지 않는 영역(R4)에 대해서는 공백으로 비워두면 된다.
전술한 바와 같은 3차원 볼륨-단면 결합 영상 생성 방법을 수행하기 위한 시스템은 하드웨어적으로는 일반적인 컴퓨터 시스템일 수 있고, 본 발명에 의한 방법을 수행할 수 있는 소프트웨어를 구비한다.
본 발명의 일실시예에 사용된 컴퓨터 시스템은 인텔사의 PentiumII 400MHz의 중앙처리장치(CPU)와 256MByte의 RAM을 구비하는 일반 개인용 컴퓨터이고, 소프트웨어는 C++(MFC)언어를 이용하여 구현되었다. 그러나, 처리되는 데이터의 크기나 사용 용도등에 따라 하드웨어가 변화될 수 있으며, 소프트웨어도 적당한 다른 프로그래밍 언어에 의해서 구현될 수 있다.
본 발명에 의한 3차원 볼륨-단면 결합영상 생성방법을 이용하면, 사용자가 보고자 하는 신체 등의 단면영상이 주위의 관련되는 볼륨 부분과 결합된 결합영상을 제공함으로써, 더욱 정밀하고 알기쉬운 영상을 제공하여 의료상 진료 등의 관련 분야에 큰 도움을 줄 수 있다.
또한, 중간평면상의 볼륨 영상 데이터를 버퍼에 저장하였다가, 관찰자의 시선방향은 변화하지 않고 단지 원하는 단면 영상만이 달라질 경우에는 별도의 볼륨 렌더링 단계없이 저장된 볼륨 영상 데이터를 이용하면 되므로 처리시간을 단축할 수 있다.

Claims (5)

  1. 쉬어-왑 알고리즘에 의하여 대상물에 대한 원 영상 데이터를 쉬어링하여 쉬어링 평면에서의 볼륨데이터를 얻은 후, 컴포지팅하여 중간투영평면상에 형성되는 중간 볼륨 영상을 생성하는 볼륨 렌더링단계;
    사용자의 선택 부분에 대한 단면영상을 다중 평면 재구성(MPR)방식에 의하여 생성하고, 상기 중간투영평면에 맞도록 어파인(affine)변환하는 MPR 단면 영상 추출단계;
    볼륨 렌더링단계에서 생성된 중간 볼륨 영상과 MPR 단면영상을 결합하는 영상 결합단계;
    상기 영상 결합 단계에서 결합된 중간볼륨영상-MPR단면 결합영상을 와핑(warping)하여 대상물에 대한 최종 볼륨-단면 결합영상을 생성하는 볼륨-단면 결합영상 생성단계;로 이루어지는 것을 특징으로 하는 3차원 볼륨-단면 결합영상 생성방법.
  2. 제 1 항에 있어서,
    상기 볼륨렌더링 단계에서 얻어진 중간 볼륨 영상 정보를 해당되는 관찰시선방향 정보와 함께 버퍼에 저장하는 단계가 추가되고,
    상기 영상 결합단계 이전에, 사용자가 현재 지정한 관찰시선방향이 저장되어 있는 것과 동일한 지를 판단하는 단계를 추가적으로 구비하며,
    상기 영상 결합단계에서는 현재의 관찰시선방향이 이미 이전에 한 볼륨 렌더링에서와 동일한 경우에는 버퍼에 저장되어 있는 해당 중간 볼륨 영상 정보를 추출하여 MPR 단면영상 추출단계에서 추출된 MPR 단면영상을 결합하고, 일치하는 이전 관찰시선방향 정보가 없는 경우에 한하여 상기 볼륨 렌더링 과정에 의하여 새로운 시선방향에 대한 중간 볼륨 영상 데이터를 얻고 추출된 MPR 단면을 결합하는 것을 특징으로 하는 3차원 볼륨-단면 결합영상 생성방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 중간 볼륨 영상 및 MPR 단면 영상의 각 위치에서의 깊이정보와, 모든 복셀에 대한 영역분할정보를 산출하여 저장하는 단계를 추가로 포함하며,
    상기 영상 결합 단계에서는 저장되어 있는 깊이정보 및 영역분할 정보를 이용하여 중간 볼륨 영상과 MPR 단면 영상을 결합하는 것을 특징으로 하는 3차원 볼륨-단면 결합영상 생성방법.
  4. 제 3 항에 있어서,
    상기 깊이정보는 관찰자 또는 이미지 평면으로부터 상기 중간투영평면에 수직한 방향(z방향)으로의 거리에 의하여 결정(d = z)됨으로써, 깊이정보의 산출을 간단하게 하는 것을 특징으로 하는 3차원 볼륨-단면 결합영상 생성방법.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 영상 결합단계는,
    사용자가 보고자 특정한 단면 평면 위치에 중간 볼륨 영상(VR 영상)이 실재하는 지 판단하고,
    1) VR영상이 존재하는 영역(R1, R2, R3 또는 R3')에 대해서는
    a) d단면> dVR를 만족하는 영역(R2)의 VR영상을 MPR단면영상으로 대체하고, d단면< dVR를 만족하는 영역(R1)의 VR영상은 그대로 결합영상평면으로 투영하고,
    b) d단면> dVR를 만족하는 영역내에서 대체할 MPR단면영상이 없는 단면부존재부분(R3 또는 R3')이 있는 경우에는, d단면> dVR를 만족하는 볼륨부분을 제거하고 관찰하였을 때 단면부존재부분을 대체할 새로운 VR영상이 있는지 판단하여, 단면부존재부분을 대체할 새로운 VR영상(VR')이 존재하는 경우에는 새로운 VR영상으로 단면부존재부분을 대체하고(R3'), 새로운 VR영상이 존재하지 않는 단면부존재부분은 공백으로 비워두며(R3),
    2) VR영상이 존재하지 않는 영역(R4)은 공백으로 비워두는 것;
    을 특징으로 하는 3차원 볼륨-단면 결합영상 생성방법.
KR10-2001-0013716A 2001-03-16 2001-03-16 3차원 볼륨-단면 결합 영상 생성 방법 KR100420791B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0013716A KR100420791B1 (ko) 2001-03-16 2001-03-16 3차원 볼륨-단면 결합 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0013716A KR100420791B1 (ko) 2001-03-16 2001-03-16 3차원 볼륨-단면 결합 영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20020073841A true KR20020073841A (ko) 2002-09-28
KR100420791B1 KR100420791B1 (ko) 2004-03-02

Family

ID=27697667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0013716A KR100420791B1 (ko) 2001-03-16 2001-03-16 3차원 볼륨-단면 결합 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR100420791B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441082B1 (ko) * 2002-07-31 2004-07-21 학교법인연세대학교 가시 순차적 분할 렌더링 알고리즘을 이용한 3차원 텍스쳐기반의 볼륨 그래픽 구조 및 방법
KR100893286B1 (ko) * 2006-08-23 2009-04-17 주식회사 메디슨 영상 처리 시스템 및 방법
US7693319B2 (en) 2004-12-16 2010-04-06 Electronics And Telecommunications Research Institute Method for carving volume data based on image
KR20140071553A (ko) * 2012-11-23 2014-06-12 고려대학교 산학협력단 쉐어 스큐 와프 볼륨 렌더링 방법
US9489764B2 (en) 2012-04-17 2016-11-08 Samsung Electronics Co., Ltd. Method of generating three-dimensional (3D) volumetric data
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068162A (ko) 2013-12-11 2015-06-19 삼성전자주식회사 3차원 초음파 영상 통합 장치 및 방법
KR102281690B1 (ko) 2014-12-01 2021-07-26 삼성전자주식회사 3 차원 이미지 생성 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204944A (en) * 1989-07-28 1993-04-20 The Trustees Of Columbia University In The City Of New York Separable image warping methods and systems using spatial lookup tables
JPH10124649A (ja) * 1996-10-21 1998-05-15 Toshiba Iyou Syst Eng Kk Ｍｐｒ画像作成装置
KR100316254B1 (ko) * 1999-04-28 2001-12-12 윤덕용 쉬어-왑 분해를 이용한 블록 기반의 볼륨 렌더링 방법
US6407737B1 (en) * 1999-05-20 2002-06-18 Terarecon, Inc. Rendering a shear-warped partitioned volume data set
KR100392516B1 (ko) * 2001-01-02 2003-07-22 주식회사 인피니트테크놀로지 보간되지 않은 볼륨 데이터의 실시간 렌더링 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441082B1 (ko) * 2002-07-31 2004-07-21 학교법인연세대학교 가시 순차적 분할 렌더링 알고리즘을 이용한 3차원 텍스쳐기반의 볼륨 그래픽 구조 및 방법
US7693319B2 (en) 2004-12-16 2010-04-06 Electronics And Telecommunications Research Institute Method for carving volume data based on image
KR100893286B1 (ko) * 2006-08-23 2009-04-17 주식회사 메디슨 영상 처리 시스템 및 방법
US9489764B2 (en) 2012-04-17 2016-11-08 Samsung Electronics Co., Ltd. Method of generating three-dimensional (3D) volumetric data
KR20140071553A (ko) * 2012-11-23 2014-06-12 고려대학교 산학협력단 쉐어 스큐 와프 볼륨 렌더링 방법
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
US11431953B2 (en) 2018-11-27 2022-08-30 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing

Also Published As

Publication number Publication date
KR100420791B1 (ko) 2004-03-02

Similar Documents

Publication Publication Date Title
JP3570576B2 (ja) マルチモダリティに対応した３次元画像合成表示装置
Kruger et al. Clearview: An interactive context preserving hotspot visualization technique
JP4377464B2 (ja) 像表示装置
JP4421016B2 (ja) 医用画像処理装置
US6181348B1 (en) Method for selective volume visualization via texture mapping
Goldwasser et al. Techniques for the rapid display and manipulation of 3-D biomedical data
US20050237336A1 (en) Method and system for multi-object volumetric data visualization
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
US20060203010A1 (en) Real-time rendering of embedded transparent geometry in volumes on commodity graphics processing units
JPH02899A (ja) グラフ表示装置と物体の３次元像を発生する方法
Tran et al. A research on 3D model construction from 2D DICOM
KR100420791B1 (ko) 3차원 볼륨-단면 결합 영상 생성 방법
Williams et al. Volumetric curved planar reformation for virtual endoscopy
Zhang et al. Dynamic real-time 4D cardiac MDCT image display using GPU-accelerated volume rendering
Wilson et al. Interactive multi-volume visualization
Englmeier et al. Hybrid rendering of multidimensional image data
Turlington et al. New techniques for efficient sliding thin-slab volume visualization
Pan et al. Comparison of medical image 3D reconstruction rendering methods for robot-assisted surgery
Kanitsar et al. Diagnostic relevant visualization of vascular structures
Allison et al. Mixr: A standard architecture for medical image analysis in augmented and mixed reality
KR20020031273A (ko) 가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독가능한 기록 매체
Kim et al. Fast surface and volume rendering based on shear-warp factorization for a surgical simulator
Liang et al. Fast hardware-accelerated volume rendering of CT scans
i Bartrolı et al. Visualization techniques for virtual endoscopy
Ghobadi et al. Ray casting based volume rendering of medical images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee