KR100420791B1 - Method for generating 3-dimensional volume-section combination image - Google Patents
Method for generating 3-dimensional volume-section combination image Download PDFInfo
- Publication number
- KR100420791B1 KR100420791B1 KR10-2001-0013716A KR20010013716A KR100420791B1 KR 100420791 B1 KR100420791 B1 KR 100420791B1 KR 20010013716 A KR20010013716 A KR 20010013716A KR 100420791 B1 KR100420791 B1 KR 100420791B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- volume
- section
- cross
- mpr
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000009877 rendering Methods 0.000 claims abstract description 41
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010008 shearing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 14
- 230000008859 change Effects 0.000 abstract description 4
- 238000005266 casting Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2008—Assembling, disassembling
Abstract
본 발명은 3차원 볼륨-단면 결합영상 제공방법에 관한 것으로 3차원 데이터를 2차원으로 가시화(Visualization)하는 쉬어-왑 분해(shear-warp factorization)방법을 이용해 얻은 중간평면상의 볼륨 영상 데이터에, 보기를 원하는 특정부위를 잘라 MPR을 통하여 얻은 단면 영상을 결합하고, 이 결합 영상 전체를 와핑하여 최종 볼륨-단면 결합 영상을 얻는 방법이다. 영상 결합시에는 단면 및 볼륨영상의 깊이정보 및 영역분할정보를 이용한다.The present invention relates to a method for providing a three-dimensional volume-section combined image. The present invention relates to an intermediate plane volume image data obtained by using a shear-warp factorization method of visualizing three-dimensional data in two dimensions. A method of obtaining a final volume-cross-section combined image by cutting a specific portion of a desired portion, combining the cross-sectional images obtained through MPR, and warping the entire combined image. When combining images, depth information and region division information of cross-sectional and volume images are used.
또한, 중간평면상의 볼륨 영상 데이터를 버퍼에 저장하였다가, 관찰자의 시선방향은 변화하지 않고 단지 원하는 단면 영상만이 달라질 경우에는 별도의 볼륨 렌더링 단계없이 저장된 볼륨 영상 데이터를 이용하면 되므로 처리시간을 단축할 수 있다.In addition, if the volume image data of the intermediate plane is stored in the buffer, and the viewer's gaze direction does not change and only the desired cross-sectional image is changed, the stored volume image data may be used without a separate volume rendering step, thereby reducing processing time. can do.
Description
본 발명은 3차원 볼륨-단면 결합 영상 생성 방법, 더 상세하게는 대상물의 볼륨(Volume)과 단면 평면 영상을 결합하여 입체적이고 실제적인 영상을 제공하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a method for generating a three-dimensional volume-section combined image, and more particularly, to a system and method for combining a volume of an object with a cross-sectional planar image to provide a stereoscopic and realistic image.
컴퓨터단층촬영술(Computer Tomography; CT), 자기공명영상술(Magnetic Resonance Imaging; MRI), 초음파영상술(Ultrasonography)과 같은 대부분의 의료영상기술에 의한 영상은, 슬라이스(slice)라 불리는 일련의 연속된 2차원 영상들로 얻어진다. 이러한 2차원 진단영상들로부터 신체기관을 재구성하는 작업은 관찰자 또는 의사의 훈련과 공간감에 의존하기 때문에 명확하지 않다. 이 문제는 영상의 3차원 가시화 작업 수행을 통해 외과의사나 해부학자에게 눈으로 직접 보는 것과 같은 신체기관의 영상을 보여 줌으로써 극복할 수 있다. 즉, 의료분야에 있어 3차원 가시화의 목적은 관찰자에게 종래의 의료 영상 자료로부터 정밀하고 실제적인 3차원 볼륨 영상을 생성해주는 것이다.Most medical imaging techniques, such as Computer Tomography (CT), Magnetic Resonance Imaging (MRI), and Ultrasonography, are a series of images called slices. Obtained with two-dimensional images. The reconstruction of body organs from these two-dimensional diagnostic images is not clear because it depends on the observer's or doctor's training and sense of space. This problem can be overcome by showing the surgeon or anatomist an image of a body organ, such as the eye, directly through a three-dimensional visualization of the image. In other words, the purpose of three-dimensional visualization in the medical field is to provide an observer with accurate and realistic three-dimensional volume images from conventional medical image data.
이러한 요구에 맞게, 2차원 영상 데이터를 기반으로 3차원 또는 다른 2차원영상을 재구성(reconstruction)할 수 있으며, 그 대표적인 방법으로는 볼륨 렌더링(volume rendering)과 다중평면 재구성(Multi-Planar Reconstruction; MPR)이 있다.To meet this demand, three-dimensional or other two-dimensional images can be reconstructed based on two-dimensional image data. Representative methods include volume rendering and multi-plane reconstruction (MPR). There is).
볼륨 렌더링이란 3차원의 물체를 임의의 방향에서 바라보았을 때의 입체감을 느끼게 하기 위해 2차원 투영화면에 있는 화소(pixel) 각각의 색깔을 만들어주는 체계적인 기법이라 할 수 있다. 볼륨 렌더링 기법은 모든 물체가 3차원 복셀(voxel)로 이루어졌다고 가정하고, 이 복셀들이 화면의 화소에 어떠한 영향을 미치는 것인가를 판단하여 그 결과를 영상화에 고려하게 된다. 즉, 2차원 투영평면의 한 화소의 색깔을 계산하기 위하여 해당하는 화소에 영향을 미치는 복셀을 모두 고려해야 한다.Volume rendering is a systematic technique that creates the color of each pixel on a two-dimensional projection screen in order to make the three-dimensional object look in a random direction. The volume rendering technique assumes that all objects are made of three-dimensional voxels, determines how these voxels affect the pixels on the screen, and considers the results in imaging. That is, in order to calculate the color of one pixel in the two-dimensional projection plane, all the voxels affecting the corresponding pixel should be considered.
이러한 볼륨 렌더링에는, 볼륨 데이터를 가로질러 합성(composition)하는 이미지 순회(image-order)방식과, 볼륨 데이터가 결과에 기여하는 정도에 따라 매핑(mapping)하는 객체 순회(object-order)방식 및 혼합 순회방식으로 크게 나눌 수 있다. 현재까지는 주로 이미지 순회방식인 광선추적기법(ray casting)을 이용하였는 데, 이러한 광선추적기법에서는 광선들이 스크린 픽셀(Pixel)을 통과하여 객체를 향해 쏘아지는 것으로 가정되며, 각 광선에 대하여 그 경로에 존재하는 볼륨 복셀(voxel)들을 참조하여 통과한 스크린 픽셀에 나타날 영상 이미지 값을 계산한다. 이러한 광선추적기법을 이용한 볼륨 렌더링에 대해서는 Marc Levoy등이 쓴 논문 "볼륨 렌더링(Volume Rendering; IEEE Computer Graphic Application, 1988)"에 상세하게 개시되어 있다.Such volume rendering involves image-order composition across the volume data, object-order mapping, and blending, depending on how much volume data contributes to the results. It can be divided largely into the traversal method. Until now, ray casting, which is mainly an image traversal method, has been used. In this ray tracing technique, rays are assumed to pass through a screen pixel and are directed toward an object. The image image value to be displayed in the screen pixel that passed is calculated by referring to the existing volume voxels. The volume rendering using the ray tracing technique is described in detail in the article "Volume Rendering (IEEE Computer Graphic Application, 1988)" by Marc Levoy et al.
또한, 관찰각도에 따라 볼륨 데이터를 쉬어링(shearing)시킨 후, 쉬어링된 데이터를 수직 광선으로 투영·렌더링하여 중간영상(intermediate image)을 생성하고, 이 중간영상을 와핑(warping)함으로써 원래 각도의 최종 볼륨 영상을 만들어내는 쉬어-왑 분해(shear-warp factorization)방식의 볼륨 렌더링방식이 제시되어 있다. 이러한 쉬어-왑 분해방식의 볼륨 렌더링에 대해서는 제 1999-015144호 한국특허출원 및 Philippe Lacroute 등이 쓴 논문 "Fast Volume Rendering Using a Shear-Warp Factorization of the Viewing Transformation" 등에 상세하게 기재되어 있다.In addition, after shearing the volume data according to the observation angle, the intermediate image is generated by projecting and rendering the sheared data with a vertical ray, and warping the intermediate image to warp the original angle. A volume rendering method using a shear-warp factorization method for producing a final volume image of is presented. Such volume rendering of the shear-wapping decomposition method is described in detail in Korean Patent Application No. 1999-015144 and Philippe Lacroute et al. "Fast Volume Rendering Using a Shear-Warp Factorization of the Viewing Transformation".
한편, 볼륨 렌더링을 통하여 처리되는 볼륨 데이터 세트들은 통상 3차원 공간상의 균일한 격자구조로 형성된 스칼라(scalar) 데이터들의 결합체이다. 볼륨 데이터 세트는 의료용 인체데이터 뿐 아니라, 화학 분자구조, 기상관측 데이터 등 여러분야에서 이용되고 있으며, 그 크기는 약 300Kbyte에서 300Mbyte로서 비교적 큰 용량을 차지한다. 이러한 볼륨 데이터 세트들의 렌더링은 표면화된 기본요소(primitive)들의 렌더링을 통하여 화면을 완성하는 다각형 렌더링(polygon rendering)과는 달리 볼륨 데이터 자체가 렌더링을 위한 기본 요소로 사용되므로 연산의 양도 그만큼 많아지게 된다. 따라서, 막대한 양의 볼륨 데이터를 처리하기 위해서는 큰 메모리 용량과 연산속도를 지닌 고성능의 슈퍼컴퓨터, 대규모의 병렬처리 구조를 가지는 시스템, 또는 네트워크로 묶여진 많은 컴퓨터들이 사용되고 있으나, 처리 속도에 한계가 있다.Meanwhile, volume data sets processed through volume rendering are typically a combination of scalar data formed in a uniform lattice structure in three-dimensional space. The volume data set is used not only for medical human body data but also for chemical molecular structure and meteorological observation data, and its size is about 300Kbyte to 300Mbyte and occupies a relatively large capacity. The rendering of volume data sets increases the amount of computation because the volume data itself is used as the basic element for rendering, unlike polygon rendering, which completes the screen through rendering of surfaced primitives. . Therefore, in order to process a large amount of volume data, a high performance supercomputer with a large memory capacity and a calculation speed, a system having a large parallel processing structure, or many computers in a network are used, but processing speed is limited.
한편, MPR (multi-planar reconstruction) 기술은 CT 또는 MRI등으로부터 얻어진 2차원 슬라이스형태의 원영상 데이터(original image data)로부터 관상 이미지(coronal image), 시상 이미지(sagittal image), 축상 이미지(axial image), 경사면 이미지(oblique image)를 생성하는 것이다. 즉, 볼륨 데이터로부터 원하는 2차원 또는 3차원 단면 영상을 얻는 기술로서, 예를 들면 제 6016438호 미국특허가 있으며, MPR 기술에 대해서는 William V. Glen 등에 의하여 쓰여진 논문 ""Further investigation and initial clinical use of advanced CT display capability" 및 "Image generation and display techniques for CT scan data" (Investigative Radiology, vol. 10, September/October 1975)에 상세하게 기술되어 있다.On the other hand, MPR (multi-planar reconstruction) technology is coronal image, sagittal image, axial image from two-dimensional slice original image data obtained from CT or MRI ), To create an oblique image. That is, as a technique for obtaining a desired two-dimensional or three-dimensional cross-sectional image from the volume data, for example, there is a U.S. Patent No. 6016438. For the MPR technique, a paper written by William V. Glen et al., "Further investigation and initial clinical use of advanced CT display capability "and" Image generation and display techniques for CT scan data "(Investigative Radiology, vol. 10, September / October 1975).
그러나, 볼륨 렌더링에 의해서 얻어지는 영상은 해당 신체구조의 외관(예를 들면, 머리, 배 등)에 한정되기 때문에, 신체 내부의 병변을 진단하기 위해서는 적당하지 않다. 또한, MPR에 의해서 얻어지는 영상은 단면에 국한되기 때문에, 경험자가 아닌 경우에는 실제적으로 신체의 어느 부분인지를 정확하게 판단하기 어렵다.However, since the image obtained by volume rendering is limited to the appearance of the body structure (for example, head, stomach, etc.), it is not suitable for diagnosing lesions inside the body. In addition, since the image obtained by the MPR is limited to the cross section, it is difficult to accurately determine which part of the body is practically not experienced.
본 발명은 이러한 단점을 극복하기 위하여 착안된 것으로, 볼륨 렌더링된 볼륨 영상부분에 단면의 영상을 붙여 넣어 볼륨-단면 결합영상을 생성함으로써, 더욱 정밀하고 알기쉬운 의료 영상을 제공하여 의료부분의 진료에 큰 도움을 주고자 하는 것이다.The present invention has been conceived to overcome this disadvantage, by creating a volume-section combined image by pasting the cross-sectional image to the volume-rendered volume image portion, providing a more precise and understandable medical image for medical treatment of the medical portion It is a great help.
그러나, 보고자 하는 단면이 변화할 때마다 볼륨 렌더링된 영상을 얻어낸다면 시간의 소모가 매우 심하여 실시간의 처리가 필요한 의사들이 이용하는 데 어려움이 있다. 본 발명은 이러한 단점을 극복하기 위하여 렌더링된 대상물에 대한 중간 볼륨렌더링 영상 정보를 버퍼에 임시로 저장하여 두었다가, 사용자가 원하는 MPR에 의한 단면과 결합할 때 버퍼로부터 꺼내어 사용함으로써 신속하게 볼륨-단면결합 영상을 획득할 수 있도록 한 것이다.However, if a volume-rendered image is obtained every time the section to be viewed changes, it is very time consuming and difficult to use for doctors requiring real-time processing. In order to overcome this disadvantage, the present invention temporarily stores intermediate volume rendering image information about a rendered object in a buffer, and then quickly extracts the volume from the buffer when combined with a cross section by a desired MPR. It is to be able to acquire the image.
본 발명의 목적은 대상물에 대한 3차원 볼륨 영상과, 일정부분의 단면평면 영상을 결합한 형태의 영상을 제공하기 위한 영상 처리 시스템 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing system and method for providing an image of a form in which a three-dimensional volume image of an object and a portion of a section plane image are combined.
본 발명의 다른 목적은 쉬어-왑 방식(shear-warp)의 볼륨 렌더링에 의하여 3차원 볼륨 영상을 생성하고, 사용자가 원하는 부분에 대한 단면의 평면 영상을 MPR(multi-planar reconstruction) 방식에 의하여 형성한 후, 이 둘을 결합하여 와핑(warping)함으로써 볼륨-단면 결합형태의 영상을 생성할 수 있는 영상처리 시스템 및 방법을 제공하는 것이다.It is another object of the present invention to generate a three-dimensional volume image by volume rendering of a shear-warp, and to form a planar image of a cross section of a desired part by a multi-planar reconstruction (MPR) method. Then, the present invention provides an image processing system and method capable of generating an image of a volume-section combination by warping the two.
본 발명의 다른 목적은 볼륨 영상과 단면영상을 결합할 때 단면 및 볼륨 영상의 깊이정보 및 영역분할정보를 이용하는 방법을 제공하는 것이다.Another object of the present invention is to provide a method of using depth information and area segmentation information of cross-sectional and volume images when combining a volume image and a cross-sectional image.
본 발명의 또다른 목적은 이미 렌더링된 대상물에 대한 3차원 볼륨 정보를 버퍼에 저장하여 두었다가, 사용자가 원하는 MPR에 의한 단면과 결합할 때 버퍼로부터 꺼내어 사용함으로써 신속하게 볼륨-단면 결합형태의 영상을 제공할 수 있는 영상 처리 시스템 및 방법을 제공하는 것이다.Another object of the present invention is to store the three-dimensional volume information for the object already rendered in the buffer, and when combined with the cross-section by the MPR desired by the user to quickly take out the image of the volume-section combination type by using the buffer It is to provide an image processing system and method that can be provided.
도 1은 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 전체 흐름을 도시한다.Figure 1 shows the overall flow of the three-dimensional volume-section combined image generation method according to the present invention.
도 2는 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 흐름을 더 세부적으로 도시한 것이다.Figure 2 shows in more detail the flow of the three-dimensional volume-section combined image generation method according to the present invention.
도 3은 VR 중간평면영상과 MPR의 단면영상의 결합단계를 세부적으로 도시한 것이다.Figure 3 illustrates in detail the coupling step of the VR mid-plane image and the cross-sectional image of the MPR.
도 4는 볼륨렌더링에 의하여 얻은 중간 볼륨 영상(VR 영상)을 버퍼에 저장함으로써 처리속도를 향상시키기 위한 절차를 도시한다.4 shows a procedure for improving the processing speed by storing an intermediate volume image (VR image) obtained by volume rendering in a buffer.
도 5는 MPR단면영상 추출단계에서 있을 수 있는 두 가지 관찰방법에 대한 기본적인 개념을 도시한다.5 illustrates the basic concept of two observation methods that may exist in the MPR cross-sectional image extraction step.
도 6과 도 7은 볼륨렌더링을 위하여 일반적으로 사용되는 종래의 레이캐스팅(ray casting) 방법과 본 발명에 이용되는 쉬어-왑 분해(shear-warp factorization)방식이 본 발명에 적용될 경우를 도시한다.6 and 7 illustrate a case where a conventional ray casting method generally used for volume rendering and a shear-warp factorization method used in the present invention are applied to the present invention.
도 8은 깊이정보를 구하는 방법을 도시하는 것으로, 좌측은 종래의 레이 캐스팅방법을 이용하는 경우이고, 우측은 본 발명에 의한 쉬어-왑 방식을 이용하는경우이다.8 illustrates a method of obtaining depth information, the left side of which is a case of using a conventional ray casting method, and the right side of which is a case of using a shear-wapping method according to the present invention.
도 9는 실재 볼륨에 대하여 본 발명이 적용되는 경우를 도시한다.9 shows a case where the present invention is applied to a real volume.
전술한 바와 같은 목적을 달성하기 위한 본 발명에 의한 영상 처리 방법은 다음과 같은 단계로 이루어진다.The image processing method according to the present invention for achieving the above object consists of the following steps.
쉬어-왑 알고리즘에 의하여 대상물에 대한 원 영상 데이터를 쉬어링하여 쉬어링 평면에서의 볼륨데이터를 얻은 후, 컴포지팅하여 중간투영평면상에 형성되는 중간 볼륨 영상을 생성하는 볼륨 렌더링단계와, 사용자의 선택 부분에 대한 단면영상을 다중 평면 재구성(MPR)방식에 의하여 생성하고, 중간투영평면에 맞도록 어파인(affine)변환하는 MPR 단면 영상 추출단계와, 볼륨 렌더링단계에서 생성된 중간 볼륨 영상과 MPR 단면영상을 결합하는 영상 결합단계, 및 영상 결합 단계에서 결합된 중간투영평면-MPR단면 결합영상을 와핑(warping)하여 대상물에 대한 최종 볼륨-단면 결합영상을 생성하는 볼륨-단면 결합영상 생성단계로 이루어진다.A volume rendering step of generating an intermediate volume image formed on an intermediate projection plane by obtaining the volume data on the shearing plane by shearing the original image data of the object by a shear-wapping algorithm; MPR cross-sectional image extraction step for generating a cross-sectional image of the selected portion of the multi-plane reconstruction (MPR) method, and affine transform to fit the intermediate projection plane, and the intermediate volume image generated in the volume rendering step An image combining step of combining the MPR cross-sectional images, and a volume-section combining image generating step of generating a final volume-section combined image of the object by warping the intermediate projection plane-MPR cross-sectional combined images combined in the image combining step. Is made of.
또한, 전술한 볼륨렌더링 단계에서 얻어진 중간투영평면상의 중간 볼륨 영상 데이터를 버퍼에 저장하는 단계가 추가될 수 있으며, 이 경우 영상 결합단계 이전에 사용자가 지정한 관찰시선방향이 이전과 동일한 지를 판단하는 단계를 추가적으로 구비한다. 이 경우 상기 영상 결합단계에서는 관찰시선방향이 이미 이전에 한 볼륨 렌더링에서와 동일한 경우에는 버퍼에 저장되어 있는 해당 중간 볼륨 영상 데이터를 추출하여 MPR 단면영상 추출단계에서 추출된 MPR 단면영상을 결합하며, 관찰시선방향이 이전의 것과 다른 경우에 한하여 전술한 볼륨 렌더링 과정에 의하여 새로운 시선방향에 대한 중간투영평면 상의 중간 볼륨 영상 데이터를 얻는다.In addition, the step of storing the intermediate volume image data on the intermediate projection plane obtained in the above-described volume rendering step to the buffer may be added, in this case, determining whether the observation direction specified by the user before the image combining step is the same as before. It is further provided with. In this case, in the image combining step, when the viewing direction is the same as in the previous volume rendering, the corresponding intermediate volume image data stored in the buffer is extracted to combine the MPR cross-sectional image extracted in the MPR cross-sectional image extracting step. Only when the viewing direction is different from the previous one, the intermediate volume image data on the intermediate projection plane for the new viewing direction is obtained by the above-described volume rendering process.
볼륨 렌더링단계에서는 볼륨렌더링된 중간 볼륨 영상의 각 위치에서의 깊이정보와, 모든 복셀에 대한 영역분할정보가 저장된다. 중간 볼륨 영상의 깊이정보(depth information)는 이미지 평면으로부터 볼륨렌더링된 영상의 최초 복셀까지, 즉 이미지 평면으로부터 최초로 불투명도(opacity)를 가지는 복셀까지의거리(dVR)로 정의된다. 한편, 사용자가 보고자 하는 단면영상의 깊이정보 또한 저장되는데, 이러한 단면의 깊이(d단면)는 이미지 평면 또는 관찰자로부터 단면까지의 거리로 정의된다.In the volume rendering step, depth information at each position of the volume rendered intermediate volume image and region division information for all voxels are stored. Depth information of the intermediate volume image is defined as the distance d VR from the image plane to the first voxel of the volume rendered image, that is, the voxel having the first opacity from the image plane. Meanwhile, depth information of the cross-sectional image that the user wants to see is also stored. The depth (d cross-section ) of the cross section is defined as the distance from the image plane or the viewer to the cross section.
또한, 모든 복셀에 대한 영역분할정보에는 해당 복셀에 실재 영상이 존재하는지 존재하지 않는지를 판단할 수 있는 정보와 그 복셀의 영상이 나타내는 신체기관에 대한 정보를 포함하고 있다.The region division information for all voxels includes information for determining whether or not a real image exists in the corresponding voxel and information about the body organs represented by the image of the voxel.
전술한 영상 결합단계에서는 사용자가 보고자 하는 단면이 위치하는 복셀의 영역분할정보 및 단면의 깊이정보를 이용하여 볼륨렌더링된 중간 볼륨 영상과 MPR단면영상을 결합한다. 영상결합에 깊이정보 및 영역분할정보를 이용하는 구체적인 방법은 첨부되는 도면을 참고로 아래에서 실시예로 상세하게 설명한다.In the above-described image combining step, the volume-rendered intermediate volume image and the MPR cross-sectional image are combined using the region division information of the voxel and the depth information of the cross section where the cross section to be viewed by the user are located. A detailed method of using depth information and region division information for image combining will be described in detail below with reference to the accompanying drawings.
와핑(Warping)이란 영상을 늘리거나 크기를 조절하는 기하학적인 처리방법으로, 순수한 스케일링과 달리 크기 변화의 정도가 영상 전체에 대해 균일하지 않게 하는 기법을 의미한다. 또한, 어파인 변환(Affine transform)은 회전, 전이, 크기 변화와 이들의 조합으로 이루어지는 선형 기하 변환을 의미하는 것으로, 전술한 와핑이나 어파인 변환은 영상 처리분야에서 일반적으로 사용되는 기법이므로 그 상세한 설명은 생략한다.Warping is a geometric processing method that stretches or scales an image. Unlike pure scaling, warping refers to a technique in which the degree of change in size is not uniform for the entire image. In addition, affine transform refers to a linear geometric transformation consisting of rotation, transition, size change, and a combination thereof. The warping or affine transformation described above is a technique commonly used in the field of image processing. Description is omitted.
도 1은 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 전체 흐름을 도시한다. 쉬어-왑 분해(shear-warp factorization)을 이용하여 CT, MRI등으로부터 얻은 원 볼륨데이터(original volume data)으로부터 볼륨 렌더링된 중간 볼륨영상(intermediate volume image)을 중간 투영평면(intermediate image plane)상에 생성한다(S11). 그 다음으로 보고자 원하는 부분의 단면영상을 MPR방법에 의하여 추출하고, 앞의 볼륨 렌더링에 의해서 구한 중간 볼륨 영상에 맞도록 하기위하여 단면영상을 어파인(affine) 변환한다(S12). 깊이정보와 영역분할정보를 이용하여 볼륨을 나타내는 중간영상과 단면을 나타내는 MPR단면영상을 결합하고(S13), 결합된 영상을 와핑(warping)함으로써 최종 3차원 볼륨-단면 결합 영상을 얻어낸다(S14). 각 단계는 세부적인 단계로 나누어질수 있으며 이에 대해서는 도 2 내지 3을 참고로 더 상세하게 설명한다.Figure 1 shows the overall flow of the three-dimensional volume-section combined image generation method according to the present invention. An intermediate volume image, volume-rendered from the original volume data obtained from CT, MRI, etc. using shear-warp factorization, is placed on the intermediate image plane. It generates (S11). Next, the cross-sectional image of the desired portion to be viewed is extracted by the MPR method, and the cross-sectional image is affine transformed to fit the intermediate volume image obtained by the previous volume rendering (S12). By using the depth information and the region division information, the intermediate image representing the volume and the MPR section image representing the cross section are combined (S13), and the final 3D volume-section combined image is obtained by warping the combined image (S14). ). Each step may be divided into detailed steps, which will be described in more detail with reference to FIGS.
도 2는 본 발명에 의한 3차원 볼륨-단면 결합 영상 생성 방법의 흐름을 더 세부적으로 도시한 것이다. 중간투영평면으로의 중간 볼륨 영상 생성단계(즉, 볼륨 렌더링 단계; S11)는 쉬어-왑 분해 방법을 이용하여 원 데이터를 쉬어링하고(S21) 컴퍼지팅(compositing)함으로써 수행된다(S22). 또한, MPR단면영상 생성단계(S12)는 사용자가 보고자 선택한 단면의 위치를 특정하면(S24), MPR 방법에 의하여 원 데이터로부터 해당 단면의 영상을 추출한다(S25). 추출된 단면영상을 어파인 변환함으로써 쉬어-왑 볼륨 렌더링에 의하여 이미 구한 중간 볼륨 영상과 동일한 포맷을 가지게 한다. 이 과정에서 단면과 볼륨렌더링된 중간 볼륨 영상(이하 VR영상이라 한다)의 위치정보(깊이정보 포함) 및 영역분할정보를 구하여 버퍼에 저장하여 둔다.Figure 2 shows in more detail the flow of the three-dimensional volume-section combined image generation method according to the present invention. An intermediate volume image generation step (i.e., volume rendering step; S11) to the intermediate projection plane is performed by shearing the raw data (S21) and compositing (S22) using a shear-wapping decomposition method (S22). In addition, the MPR section image generation step (S12), if the user specifies the position of the section selected to see (S24), and extracts the image of the section from the original data by the MPR method (S25). By affine transforming the extracted cross-sectional image, it has the same format as the intermediate volume image obtained by the shear-wapping volume rendering. In this process, the location information (including depth information) and area division information of the cross-sectional and volume rendered intermediate volume image (hereinafter referred to as VR image) are obtained and stored in a buffer.
그 다음으로, 깊이정보와 영역분할정보를 이용하여 VR 영상과 MPR단면영상을 결합하고(S28), 결합된 영상을 와핑함으로써 최종적인 3차원 볼륨-단면 결합영상을얻는다(S29).Next, the VR image and the MPR cross-sectional image are combined using the depth information and the region division information (S28), and the final 3D volume-section combined image is obtained by warping the combined image (S29).
도 3은 VR 영상과 MPR 단면영상의 결합단계를 세부적으로 도시한 것이다. VR 영상과 단면영상을 결합할 때 기본적으로는 VR영상 중에서 단면에 해당되는 부분을 제거하고 그부분에 단면영상을 채워넣는다. 그러나, 사용자가 보고자 지정한 단면평면에 실재로 VR 영상이 존재하지 않거나, 대상물의 형태가 복잡하게 생긴 경우에는 단순히 위와 같은 방법으로는 해결할 수 없다.3 illustrates in detail the combining step of the VR image and the MPR cross-sectional image. When combining the VR image and the section image, basically, the part corresponding to the section of the VR image is removed and the section image is filled in the portion. However, if the VR image does not actually exist in the section plane designated by the user or the shape of the object is complicated, the above method cannot be solved.
따라서, 우선 사용자가 보고자 특정한 단면평면에 VR영상이 실재하는 지 판단하여야 한다(S31). 여기서 단면평면이라 함은 깊이를 고려하지 않고 단순히 2차원적 위치만을 고려한 평면이다.Therefore, first, it is necessary to determine whether the VR image exists in a specific cross section plane that the user wants to see (S31). Here, the cross-sectional plane is a plane considering only two-dimensional positions without considering depth.
보고자 선택한 단면영역에 해당되는 이미지 평면상에 VR영상이 존재하는 경우와, 존재하지 않는 경우에 따라 처리방법이 달라진다.The processing method differs depending on whether or not the VR image exists on the image plane corresponding to the section area selected by the viewer.
1) VR영상이 존재하는 영역에 대해서는(S32), 단면의 깊이정보(d단면)와 VR영상의 깊이정보(dVR)를 비교하여, VR영상의 깊이가 단면의 깊이보다 작은 영역(d단면dVR인 영역; 도 9a의 R2 및 R3영역)에 대해서는 해당 VR영상을 MPR단면영상으로 대체한다(S33). 이때, d단면dVR인 영역 중에서 대체할 MPR단면영상이 없는 부분(도 9a, b의 R3, R3'영역; 이하 "단면부존재부분"이라 한다)이 있는지 판단하고(S34), 단면부존재부분이 있는 경우에는 d단면dVR인 볼륨부분을 제거하고 관찰하였을때 단면부존재부분에 대응되는 새로운 VR영상(도 9b에서 VR'로 표현)이 있는 지 판단한다(S35). 새로운 VR영상(VR')이 있는 경우에 한하여 그 새로운 VR영상(VR')을 단면부존재부분에 대체하고(S36), 새로운 VR영상이 없는 경우에는 단면부존재부분을 공백으로 비워둔다(S37).1) In the area where the VR image exists (S32), the depth information (d section ) of the cross section is compared with the depth information (d VR ) of the VR image, so that the depth of the VR image is smaller than the depth of the section (d section). In the region of d VR (regions R2 and R3 of FIG. 9A), the corresponding VR image is replaced with an MPR cross-sectional image (S33). At this time, it is determined whether there is a portion of the d- section d VR where there is no MPR cross-sectional image to be replaced (regions R3 and R3 'of FIG. 9A and B; hereinafter referred to as "section-side portion") (S34). If there is, when removing and observing the volume portion of d cross section d VR it is determined whether there is a new VR image (represented as VR 'in Fig. 9b) corresponding to the cross section presence (S35). When there is a new VR image VR ', the new VR image VR' is replaced with the cross-sectional part (S36), and when there is no new VR image, the cross-sectional part is left blank (S37).
물론, VR영상이 없는 영역(도 9a, b의 R4)에 대해서는 공백으로 비워두면 된다(S38).Of course, for the region without the VR video (R4 in Figs. 9A and 9B), it may be left blank (S38).
본 명세서에서 VR영상의 깊이(dVR)는 관찰자 또는 이미지 평면으로부터 최초로 만나는 볼륨부분, 즉 최초로 불투명도를 가지는 복셀까지의 거리로 정의된다.In this specification, the depth d VR of a VR image is defined as a distance from an observer or an image plane to a volume portion that first meets, that is, a voxel having an opacity for the first time.
이렇게 함으로써, 일부에 대한 단면과 중간 볼륨영상이 자연스럽게 합쳐져서 실재감 있는 3차원 볼륨-단면 결합영상을 얻을 수 있다.In this way, the cross-section and the intermediate volume image for a part are naturally merged to obtain a realistic three-dimensional volume-section combined image.
도 4는 볼륨렌더링에 의하여 얻은 VR영상을 버퍼에 저장함으로써 처리속도를 향상시키기 위한 절차를 도시한다. 우선, 볼륨렌더링 단계에서 구한 중간 VR영상 정보를 버퍼에 저장하여 둔다. 이 경우 해당 VR영상의 관찰 시선방향 정보를 함께 저장한다.4 illustrates a procedure for improving a processing speed by storing a VR image obtained by volume rendering in a buffer. First, the intermediate VR image information obtained in the volume rendering step is stored in a buffer. In this case, the observation visual direction information of the corresponding VR image is stored together.
사용자가 보고자 하는 단면영역을 특정한 경우에, 관찰자의 시선방향을 판단하고(S41), 그 시선방향이 이미 이전에 렌더링된 적이 있는 시선방향과 일치하는 지를 판단한다(S42). 기렌더링된 시선방향인 경우에는 해당되는 VR영상 정보를 버퍼로부터 읽어와서(S43), MPR 단면 영상 추출단계에 의하여 새롭게 추출된 MPR단면영상을 결합하고 와핑하여 최종 영상을 생성한다(S45, 46). 물론, 현재의 관찰 시선방향이 기렌더링된 기존의 시선방향과 일치하지 않는 경우에는 새롭게 볼륨 렌더링과정을 거쳐 중간 볼륨 영상을 생성하여야 한다(S44). 이렇게 함으로써, 매번 새롭게 볼륨 렌더링하지 않고 관찰시선방향이 일치하는 경우에는 이전의 영상정보를 버퍼로부터 단순히 읽어오면 되므로 처리시간을 획기적으로 단축시킬 수 있다.In the case where the user wants to see the cross-sectional area, the viewer's gaze direction is determined (S41), and it is determined whether the gaze direction matches the gaze direction that has been previously rendered (S42). In the case of the pre-rendered visual direction, the corresponding VR image information is read from the buffer (S43), and the final image is generated by combining and warping the newly extracted MPR cross-sectional image by the MPR cross-sectional image extraction step (S45, 46). . Of course, if the current viewing line direction does not match the existing rendered line of view, an intermediate volume image must be generated through a new volume rendering process (S44). In this way, if the observation line direction is consistent without newly rendering the volume each time, the previous video information can be simply read from the buffer, thereby significantly reducing the processing time.
도 5는 MPR단면영상 추출단계에서 있을 수 있는 두 가지 관찰방법에 대한 기본적인 개념을 도시한다. 좌측의 그림은 직교 단면 관찰(orthogonal view)에 해당되며, 우측은 경사단면 관찰(oblique view)에 대한 것이다.5 illustrates the basic concept of two observation methods that may exist in the MPR cross-sectional image extraction step. The figure on the left corresponds to the orthogonal view, and the figure to the oblique view.
도 6과 도 7은 볼륨렌더링을 위하여 일반적으로 사용되는 종래의 레이캐스팅(ray casting) 방법과 본 발명에 이용되는 쉬어-왑 분해(shear-warp factorization)방식이 본 발명에 적용될 경우를 도시하는 것이다. 두 도면에서 좌측은 직교관찰, 우측은 경사관찰에 해당된다.6 and 7 illustrate a case in which the conventional ray casting method generally used for volume rendering and the shear-warp factorization method used in the present invention are applied to the present invention. . In both figures, the left side corresponds to the orthogonal observation and the right side corresponds to the oblique observation.
도 6에서의 레이캐스팅 방식에서는, 2차원 슬라이스 형태의 영상 데이터(평행하는 다수의 가는 실선)로부터 사용자가 특정한 단면(굵은 실선)의 MPR 영상과 나머지의 볼륨 영상(VR 영상)을 구하고, 이미지 평면(관찰시선방향에 수직한 평면; 실선)상에서 결합한다.In the raycasting method of Fig. 6, a user obtains an MPR image of a specific cross section (thick solid line) and a remaining volume image (VR image) from image data (parallel thin solid lines) in two-dimensional slice form, and the image plane (Plane perpendicular to the line of sight; solid line).
도 7에서의 쉬어-왑 방식에서는 일단 관찰자의 시선각도에따라 2차원 슬라이스 형태의 영상 데이터를 쉬어링(shearing)하고, 쉬어링된 데이터로부터 VR영상과 MPR영상을 중간평면(intermediate image plane)상에 직투영하여 중간 결합 영상을 형성한다. 이 때, 단면영상을 중간 VR영상과 매칭시키기 위하여 단면영상의 전체 또는 일부분을 어파인 변환하여야 한다. 이렇게 형성된 중간 결합영상을 와핑(warping)함으로써 최종적인 볼륨-단면 결합영상을 얻는다.In the shear-wapping method of FIG. 7, the two-dimensional slice-type image data is sheared according to the observer's eye angle, and the VR image and the MPR image are separated from the sheared data on an intermediate image plane. Projected directly onto to form an intermediate bound image. At this time, in order to match the cross-sectional image with the intermediate VR image, all or part of the cross-sectional image should be affine transformed. The final volume-section combined image is obtained by warping the intermediate combined image thus formed.
도 6 및 도 7에서 알 수 있는 바와 같이, 전술한 MPR단면영상 추출단계는 단면의 형태가 직교단면인 경우에는 직교관찰이 필요하고, 이 경우에는 직교하는 3개면인 축상(axial), 시상(sagittal), 관상(coronal)면의 데이터를 구해야하며, 레이 캐스팅 방식에서는 시상(sagittal) 및 관상(coronal)면 영상을 어파인 변환하여야 하지만(도 6의 좌측), 본 발명에 의한 쉬어-왑 방식을 이용하는 경우에는 깊이방향에 대하여 수직인 관상면 영상은 그대로 그려주고 시상면 영상만 어파인 변환하면 된다(도 7의 좌측).As can be seen in Figures 6 and 7, the above-described MPR cross-sectional image extraction step requires orthogonal observation when the cross-sectional shape is an orthogonal cross section, in which case three orthogonal planes are axial and sagittal ( sagittal, coronal plane data should be obtained, and in the ray casting method, sagittal and coronal plane images should be affine-transformed (left side of FIG. 6), but the shear-wapping method according to the present invention In this case, the coronal plane image perpendicular to the depth direction is drawn as is, and only the sagittal plane image is affine transformed (left side of FIG. 7).
한편, MPR 단면영상 추출단계에서 생성되는 단면의 형태가 경사단면(Oblique view)인 경우에는 단면의 평면 방정식을 구해야 하며, 아래와 같은 방법을 이용한다.On the other hand, if the shape of the cross section generated in the MPR cross-sectional image extraction step is oblique view (oblique view), the plane equation of the cross section is to be obtained, and the following method is used.
단면의 법선벡터를 n = (nx, ny, nz)라 하고, 평면 위에 있는 한 점의 좌표를 p = (x0, y0, z0)라 하면 평면의 방정식은 수학식 1과 같다.If the normal vector of the cross-section is n = (n x , n y , n z ) and the coordinate of a point on the plane is p = (x 0 , y 0 , z 0 ), the equation of the plane is same.
그리고 중간영상에 데이터의 공란을 없애기 위하여 다음과 같은 중간영상의 식을 구해야 한다. 중간영상평면의 화소의 지수를 x축으로 i라 하고, y축으로 j라 하며, x 축으로 깊이에 따라 쉬어링되는 정도를 dShearI라 하고 y축으로 쉬어링되는 정도를 dShearJ라 하면 식은 다음과 같이 전개될 수 있다.And in order to eliminate the blank of data in the intermediate image, the following intermediate image should be obtained. The index of the pixel of the intermediate image plane is called i on the x axis, j on the y axis, dShearI on the x-axis, and shearing on the y-axis is dShearJ. Can be deployed together.
위에서 dTransI와 dTransJ를 전환펙터(translation factor)라 하며, 위의 식을 다시 쓰면 아래의 수학식 3과 같이 된다.In the above, dTransI and dTransJ are referred to as translation factors, and when the above expression is rewritten, Equation 3 below is used.
위의 식을 평면의 방정식인 수학식 1에 대입하면 다음과 같은 식이 된다.Substituting the above equation into Equation 1, which is a plane equation, gives the following equation.
수학식 4로부터 마지막으로 수학식 5를 유도할 수 있는데, 이 식이 주어진 i, j값으로부터 깊이값을 구하는 방정식으로, 이를 이용하면 수학식 3으로부터 모든 중간영상상의 좌표값에 해당되는 3차원 평면 데이터를 얻을 수 있다.Finally, Equation 5 can be derived from Equation 4, which is an equation for obtaining a depth value from a given i and j value. Using this equation, three-dimensional plane data corresponding to coordinate values on all intermediate images from Equation 3 can be obtained. Can be obtained.
도 8은 깊이정보를 구하는 방법을 도시하는 것으로, 좌측은 종래의 레이 캐스팅방법을 이용하는 경우이고, 우측은 본 발명에 의한 쉬어-왑 방식을 이용하는 것이다. 레이 캐스팅 방식에서는 단면의 깊이를 구하기 위하여 d2= d단면=(x2+y2+z2)1/2의 식을 이용하여야 하지만, 본 발명에 의한 쉬어-왑 방식을 이용하면 축방향(중간투영평면에 대한 직교방향)으로의 거리가 곧 단면의 깊이정보가 된다. (d1= d단면= z) 따라서 깊이정보의 계산이 간단해짐으로써 처리시간을 단축시킬 수 있다.8 illustrates a method of obtaining depth information, the left side of which is a case of using a conventional ray casting method, and the right side of which is a shear-wapping method according to the present invention. In the ray casting method, the formula of d 2 = d cross section = (x 2 + y 2 + z 2 ) 1/2 should be used to obtain the depth of the cross section. The distance in the orthogonal direction to the intermediate projection plane is the depth information of the cross section. (d 1 = d cross section = z) Therefore, the calculation of the depth information can be simplified, and the processing time can be shortened.
도 9는 실재 볼륨에 대하여 본 발명이 적용되는 경우를 도시하는 것으로, 도 9a는 단면부존재부분을 대체할 새로운 VR영상이 존재하지 않는 경우이고, 도 9b는 존재하는 예를 도시한다.FIG. 9 illustrates a case in which the present invention is applied to a real volume. FIG. 9A illustrates a case in which no new VR image exists to replace a cross-sectional part, and FIG. 9B illustrates an example in which the present invention is applied.
선택된 단면평면 위치에 VR영상이 존재하는지 판단하고, VR영상이 존재하는 영역(R1, R2, R3 또는 R3')과 존재하지 않는 영역(R4)로 나눈다. VR영상이 존재하는 영역에 대해서는 d단면dVR를 만족하는 영역(R2, R3 또는 R3')에 한하여 해당 VR영상을 MPR영상으로 대체하고(MPR로 표시), 나머지 영역(R1)에 해당되는 VR영상은 그대로 투영시킨다(VR로 표시). 이 때, R3 및 R3'영역은 d단면dVR를 만족하는 영역 중에서 대체할 MPR 단면영상이 없는 단면부존재부분으로서, 이 경우에는 d단면dVR인 볼륨부분을 제거하고 관찰하였을 때, 단면부존재부분을 대체할 새로운 VR영상이 있는지 확인한다.It is determined whether the VR image exists at the selected section plane position, and divided into a region (R1, R2, R3 or R3 ') and a region R4 not present. In the region where the VR image exists, the VR image is replaced with the MPR image only in the region (R2, R3 or R3 ') that satisfies the d section d VR (indicated by MPR), and the VR corresponding to the remaining region R1. The image is projected as it is (displayed by VR). At this time, the region R3 and R3 'is a cross-sectional portion having no MPR cross-sectional image to replace among the regions satisfying the cross-section d VR , and in this case, the cross-section portion when the volume portion having the d cross-section d VR is removed and observed. Check if there is a new VR video to replace.
도 9a는 단면부존재영역 R3를 대체할 새로운 VR영상이 없는 경우이기 때문에, R3에 해당되는 부분은 공백으로 비워두게 되지만, 도 9b와 같이 새로운 VR영상이 있는 경우에는 그 새로운 VR영상을 R3'영역에 채워넣게 된다(VR'로 표시).In FIG. 9A, since there is no new VR image to replace the cross sectional area R3, the portion corresponding to R3 is left blank. However, when there is a new VR image as shown in FIG. 9B, the new VR image is R3 '. Is filled in (indicated by VR ').
물론, VR영상이 존재하지 않는 영역(R4)에 대해서는 공백으로 비워두면 된다.Of course, the area R4 where the VR video does not exist may be left blank.
전술한 바와 같은 3차원 볼륨-단면 결합 영상 생성 방법을 수행하기 위한 시스템은 하드웨어적으로는 일반적인 컴퓨터 시스템일 수 있고, 본 발명에 의한 방법을 수행할 수 있는 소프트웨어를 구비한다.The system for performing the three-dimensional volume-section combined image generation method as described above may be a general computer system in hardware, and has software for performing the method according to the present invention.
본 발명의 일실시예에 사용된 컴퓨터 시스템은 인텔사의 PentiumII 400MHz의 중앙처리장치(CPU)와 256MByte의 RAM을 구비하는 일반 개인용 컴퓨터이고, 소프트웨어는 C++(MFC)언어를 이용하여 구현되었다. 그러나, 처리되는 데이터의 크기나 사용 용도등에 따라 하드웨어가 변화될 수 있으며, 소프트웨어도 적당한 다른 프로그래밍 언어에 의해서 구현될 수 있다.The computer system used in the embodiment of the present invention is a general personal computer having an Intel Pentium II 400 MHz central processing unit (CPU) and 256 MBytes of RAM, and the software is implemented using the C ++ (MFC) language. However, hardware may vary depending on the size of the data to be processed, the intended use, and the like, and the software may be implemented by any suitable programming language.
본 발명에 의한 3차원 볼륨-단면 결합영상 생성방법을 이용하면, 사용자가 보고자 하는 신체 등의 단면영상이 주위의 관련되는 볼륨 부분과 결합된 결합영상을 제공함으로써, 더욱 정밀하고 알기쉬운 영상을 제공하여 의료상 진료 등의 관련 분야에 큰 도움을 줄 수 있다.Using the three-dimensional volume-section combined image generation method according to the present invention, by providing a combined image in which the cross-sectional image of the body, such as the body to be viewed by the user combined with the relevant volume portion of the surroundings, providing a more precise and understandable image This can be of great help to related fields such as medical care.
또한, 중간평면상의 볼륨 영상 데이터를 버퍼에 저장하였다가, 관찰자의 시선방향은 변화하지 않고 단지 원하는 단면 영상만이 달라질 경우에는 별도의 볼륨 렌더링 단계없이 저장된 볼륨 영상 데이터를 이용하면 되므로 처리시간을 단축할 수 있다.In addition, if the volume image data of the intermediate plane is stored in the buffer, and the viewer's gaze direction does not change and only the desired cross-sectional image is changed, the stored volume image data may be used without a separate volume rendering step, thereby reducing processing time. can do.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0013716A KR100420791B1 (en) | 2001-03-16 | 2001-03-16 | Method for generating 3-dimensional volume-section combination image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0013716A KR100420791B1 (en) | 2001-03-16 | 2001-03-16 | Method for generating 3-dimensional volume-section combination image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020073841A KR20020073841A (en) | 2002-09-28 |
| KR100420791B1 true KR100420791B1 (en) | 2004-03-02 |
Family
ID=27697667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0013716A KR100420791B1 (en) | 2001-03-16 | 2001-03-16 | Method for generating 3-dimensional volume-section combination image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100420791B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9504450B2 (en) | 2013-12-11 | 2016-11-29 | Samsung Electronics Co., Ltd. | Apparatus and method for combining three dimensional ultrasound images |
| US10419736B2 (en) | 2014-12-01 | 2019-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for generating three-dimensional image |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100441082B1 (en) * | 2002-07-31 | 2004-07-21 | 학교법인연세대학교 | 3D texture-based volume graphic architecture using visibility ordered division rendering algorithm and method of the same |
| KR100669900B1 (en) | 2004-12-16 | 2007-01-17 | 한국전자통신연구원 | Image-based Volume Carving Method |
| EP1892671A3 (en) * | 2006-08-23 | 2009-07-29 | Medison Co., Ltd. | System and method for determining the volume of an object by image processing |
| US9489764B2 (en) | 2012-04-17 | 2016-11-08 | Samsung Electronics Co., Ltd. | Method of generating three-dimensional (3D) volumetric data |
| KR101982633B1 (en) * | 2012-11-23 | 2019-05-27 | 고려대학교 산학협력단 | Method of Shear Skew Warp Volume Rendering |
| KR102644833B1 (en) * | 2016-10-06 | 2024-03-07 | 주식회사 케이티 | Method, and system for compensating delay of virtural reality stream |
| US11006091B2 (en) | 2018-11-27 | 2021-05-11 | At&T Intellectual Property I, L.P. | Opportunistic volumetric video editing |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5204944A (en) * | 1989-07-28 | 1993-04-20 | The Trustees Of Columbia University In The City Of New York | Separable image warping methods and systems using spatial lookup tables |
| US6016438A (en) * | 1996-10-21 | 2000-01-18 | Kabushiki Kaisha Toshiba | MPR image creating apparatus and coaxial tomogram creating method therein |
| KR20000067384A (en) * | 1999-04-28 | 2000-11-15 | 윤덕용 | volume rendering method using shear-warp factorization |
| EP1054353A2 (en) * | 1999-05-20 | 2000-11-22 | Mitsubishi Denki Kabushiki Kaisha | Rendering a shear-warped partitioned volume data set |
| KR20020059138A (en) * | 2001-01-02 | 2002-07-12 | 김보형 | real-time rendering method for noninterpolated volume data |
-
2001
- 2001-03-16 KR KR10-2001-0013716A patent/KR100420791B1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5204944A (en) * | 1989-07-28 | 1993-04-20 | The Trustees Of Columbia University In The City Of New York | Separable image warping methods and systems using spatial lookup tables |
| US6016438A (en) * | 1996-10-21 | 2000-01-18 | Kabushiki Kaisha Toshiba | MPR image creating apparatus and coaxial tomogram creating method therein |
| KR20000067384A (en) * | 1999-04-28 | 2000-11-15 | 윤덕용 | volume rendering method using shear-warp factorization |
| EP1054353A2 (en) * | 1999-05-20 | 2000-11-22 | Mitsubishi Denki Kabushiki Kaisha | Rendering a shear-warped partitioned volume data set |
| KR20020059138A (en) * | 2001-01-02 | 2002-07-12 | 김보형 | real-time rendering method for noninterpolated volume data |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9504450B2 (en) | 2013-12-11 | 2016-11-29 | Samsung Electronics Co., Ltd. | Apparatus and method for combining three dimensional ultrasound images |
| US10419736B2 (en) | 2014-12-01 | 2019-09-17 | Samsung Electronics Co., Ltd. | Method and apparatus for generating three-dimensional image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020073841A (en) | 2002-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kruger et al. | Clearview: An interactive context preserving hotspot visualization technique | |
| JP4377464B2 (en) | Image display device | |
| JP3570576B2 (en) | 3D image synthesis and display device compatible with multi-modality | |
| Zhang et al. | Volume visualization: a technical overview with a focus on medical applications | |
| Stytz et al. | Three-dimensional medical imaging: algorithms and computer systems | |
| JP4421016B2 (en) | Medical image processing device | |
| US6181348B1 (en) | Method for selective volume visualization via texture mapping | |
| JP2007537770A (en) | A dynamic crop box determination method for display optimization of luminal structures in endoscopic images | |
| Goldwasser et al. | Techniques for the rapid display and manipulation of 3-D biomedical data | |
| US20050237336A1 (en) | Method and system for multi-object volumetric data visualization | |
| US20060203010A1 (en) | Real-time rendering of embedded transparent geometry in volumes on commodity graphics processing units | |
| JPH08252217A (en) | Method to simulate endoscope, and virtual inspection system to obtain view of internal cavity of body to be inspected | |
| KR100420791B1 (en) | Method for generating 3-dimensional volume-section combination image | |
| Williams et al. | Volumetric curved planar reformation for virtual endoscopy | |
| Zhang et al. | Dynamic real-time 4D cardiac MDCT image display using GPU-accelerated volume rendering | |
| Wilson et al. | Interactive multi-volume visualization | |
| Englmeier et al. | Hybrid rendering of multidimensional image data | |
| Turlington et al. | New techniques for efficient sliding thin-slab volume visualization | |
| Kanitsar et al. | Diagnostic relevant visualization of vascular structures | |
| Allison et al. | Mixr: A standard architecture for medical image analysis in augmented and mixed reality | |
| KR20020031273A (en) | System and method for displaying a virtual endoscopy and computer readable medium storing thereof | |
| Reitinger et al. | Efficient volume measurement using voxelization | |
| Liang et al. | Fast hardware-accelerated volume rendering of CT scans | |
| i Bartrolı et al. | Visualization techniques for virtual endoscopy | |
| Ghobadi et al. | Ray casting based volume rendering of medical images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130130 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20140128 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20150129 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20160128 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20170125 Year of fee payment: 14 |
|
| LAPS | Lapse due to unpaid annual fee |