KR100669900B1 - 이미지 기반의 볼륨 데이터 제거 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 이미지 기반의 볼륨 데이터 제거 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 3차원 볼륨 데이터의 특정영역을 이미지 기반으로 신속하게 제거할 수 있게 하는, 이미지 기반의 볼륨 데이터 제거 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 볼륨 데이터 제거 방법에 있어서, 입력영상으로부터 제거 대상이 되는 마스크 영상을 생성하는 마스크영상 생성 단계; 상기 마스크 영상의 뷰잉 변환 행렬(viewing transform matrix)을 쉬어 변환 행렬(shear transform matrix)과 왑 변환 행렬(warp transform matrix)로 분할하고, 원근 사영에 의한 뷰잉 광선(viewing ray)의 퍼짐을 보상을 하기 위하여 상기 쉬어 변환 행렬로부터 스케일 계수(scale factor)를 산출하는 행렬 분할/스케일계수 산출 단계; 상기 뷰잉 변환 행렬을 이용하여 상기 마스크 영상을 볼륨 데이터의 축과 평행하도록 변형하는 와핑 단계; 상기 마스크 영상을 이용하여 상기 볼륨 데이터와, 볼륨을 지나가는 뷰잉 광선(Viewing Ray)이 서로 수평이 되도록 볼륨 슬라이스를 이동시키고, 상기 스케일 계수를 이용하여 상기 볼륨 슬라이스의 크기를 조절을 하는 쉬어/스케일 단계; 및 상기 와핑 단계에서 변형된 마스크 영상과 상기 쉬어/스케일 단계에서 이동/크기조절된 각각의 볼륨 슬라이스 간의 연산을 통하여 볼륨 슬라이스의 일부를 제거하는 제거 단계를 포함함.

4. 발명의 중요한 용도

본 발명은 볼륨 데이터 제거 등에 이용됨.

볼륨 데이터, 뷰잉 변환, 뷰잉 변환 행렬, 왑 변환 행렬, 쉬어 변환 행렬, 마스크 영상, 와핑, 스케일 계수, 스케일 변환 행렬

Description

이미지 기반의 볼륨 데이터 제거 방법{Image-based Volume Carving Method}

도 1 은 본 발명에 따른 이미지 기반의 볼륨 데이터 제거 방법에 대한 일실시예 설명도,

도 2 는 본 발명에 따른 이미지 기반의 볼륨 데이터 제거 방법에 대한 일실시예 흐름도,

도 3a 및 도 3b 는 본 발명에 따른 볼륨 제거에 대한 일실시예 설명도,

도 4 는 본 발명에 따른 실루엣 제거를 통한 3차원물체 복원에 대한 일실시예 설명도이다.

* 도면의 주요 부분에 대한 부호의 설명

101: 왑(Warp) 과정 102: 쉬어 및 스케일 과정

103: 슬라이스마다의 AND 연산 과정

본 발명은, 이미지 기반의 볼륨 데이터 제거 방법에 관한 것으로, 더욱 상세하게는 차원 볼륨 데이터의 특정영역을 이미지 기반으로 신속하게 제거할 수 있게 하는, 이미지 기반의 볼륨 데이터 제거 방법에 관한 것이다.

볼륨 데이터는 주로 의료 영상 분야에서 많이 사용하는 데이터로 컴퓨터 단층 촬영기(CT: Computed Tomography)나 2차원 자기공명장치(MRI: Magnetic Resonance Imaging)를 통해 얻어진 일련의 영상들을 집적하여 3차원으로 가시화 하기 위해 만들어 진다. 그 외에 컴퓨터 비젼(Computer Vision) 분야에서는 실사 촬영된 물체를 삼차원으로 복원하기 위한 한 방편으로 공간 및 불체를 볼륨 데이터로 구성하는 방식을 사용하고 있다.

상기에서 설명한 볼륨 데이터를 제거하는 방법은, 의료 영상 분야의 경우 방사선사가 보고자 하는 장기의 외부를 싸고 있는 피부 조직의 제거를 위해 사용이 가능하며, 컴퓨터 비젼의 경우에는 실사에 나타난 물체의 실루엣 정보와 카메라 정보를 이용해 3차원 물체를 복원하는 곳에 사용 가능하다.

종래의 볼륨 제거 방법은 주로 물체 중심의 방법을 사용하였는데, 대표적인 예로, 볼륨 데이터를 구성하는 각각의 복셀(voxel)을 영상에 투사하여, 그 투사된 위치가 물체의 내부에 속하는지 여부로 그 복셀의 제거 여부를 결정하는 방법이 있다.

그러나, 상기와 같은 물체 중심의 종래 방법은 모든 복셀에 대해 위와 같은 과정을 수행해야 하므로 많은 시간이 소요되는 문제점이 있었다. 또한, 종래의 물체 중심의 방법에서 여러 개의 복셀을 묶어서 처리하는 방법을 생각할 수 있으나, 이 방법 역시 효율성이 뛰어나지는 않다는 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 3차원 볼륨 데이터의 특정영역을 이미지 기반으로 신속하게 제거할 수 있게 하는, 이미지 기반의 볼륨 데이터 제거 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 볼륨 데이터 제거 방법에 있어서, 입력영상으로부터 제거 대상이 되는 마스크 영상을 생성하는 마스크영상 생성 단계; 상기 마스크 영상의 뷰잉 변환 행렬(viewing transform matrix)을 쉬어 변환 행렬(shear transform matrix)과 왑 변환 행렬(warp transform matrix)로 분할하고, 원근 사영에 의한 뷰잉 광선(viewing ray)의 퍼짐을 보상을 하기 위하여 상기 쉬어 변환 행렬로부터 스케일 계수(scale factor)를 산출하는 행렬 분할/스케일계수 산출 단계; 상기 뷰잉 변환 행렬을 이용하여 상기 마스크 영상을 볼륨 데이터의 축과 평행하도록 변형하는 와핑 단계; 상기 마스크 영상을 이용하여 상기 볼륨 데이터와, 볼륨을 지나가는 뷰잉 광선(Viewing Ray)이 서로 수평이 되도록 볼륨 슬라이스를 이동시키고, 상기 스케일 계수를 이용하여 상기 볼륨 슬라이스의 크기를 조절을 하는 쉬어/스케일 단계; 및 상기 와핑 단계에서 변형된 마스크 영상과 상기 쉬어/스케일 단계에서 이동/크기조절된 각각의 볼륨 슬라이스 간의 연산을 통하여 볼륨 슬라이스의 일부를 제거하는 제거 단계를 포함한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 이미지 기반의 볼륨 데이터 제거 방법에 대한 일실시예 설명도로서, 3차원 볼륨 데이터의 특정 영역을 제거하는 방법을 나타낸다.

본 발명은 3차원 공간을 나타내는 볼륨 데이터를 임의의 방향에서 바라 본 마스크 이미지(mask image)를 이용해 잘라내는 효율적인 알고리즘에 관한 것이다. 각 마스크 이미지는 원근 투영 방식 카메라의 위치와 방향 등에 대한 정보를 포함하고 있으며, 이 이미지를 볼륨 공간으로 와핑(warping) 및 스케일링(scaling)하고 볼륨을 쉬어링(shearing)한 후 이진(boolean) 연산을 통해 볼륨을 잘라내게 된다.

즉, 본 발명은, 3차원 공간을 구성하고 있는 볼륨 데이터를 임의의 방향에서 바라 본 영상의 정보를 이용하여 편집하는 기술로서, 마스크 영상과 그 영상의 카메라 정보로부터 영상의 변형, 볼륨 데이터의 변형, 둘 사이의 이진 연산 과정을 통해 불필요한 요소를 빠르게 제거하는 기술에 관한 것이다.

먼저, 본 발명의 방법을 대략적으로 구분하면, 다음과 같다.

첫째, 카메라 정보에 해당하는 영상의 뷰잉 변환 행렬(viewing transform matrix)을 이용해 마스크 영상을 볼륨 데이터의 축과 평행하도록 변형을 하고(Warp)(101), 둘째, 카메라 정보로부터 볼륨 데이터를 볼륨을 지나는 광선이 서로 평행이 되도록 이동 및 크기 조절을 수행한다(Shear & Scale)(102). 셋째, 정렬된 각각의 볼륨 슬라이스와 변형된 영상을 AND 연산을 취해 볼륨 슬라이스의 일부를 제거한다(AND operation)(103). 이 때, 변형된 영상은 제거될 부분은 "0", 남아야 할 부분은 "1"을 갖는 마스크 영상이어야 한다.

본 발명은 쉬어-왑 분해(Shear-Warp Factorization) 방법에 근간을 두고 있다. 영상의 카메라 정보를 나타내는 뷰잉 변환 행렬(viewing transform matrix)(M_view)은 다음의 [수학식 1]과 같이, 쉬어 변환 행렬(shear transform matrix)(S)과 왑 변환 행렬(warp transform matrix)(M_WARP)의 곱으로 표현이 가능하다

한편, 쉬어 변환 행렬(shear transform matrix)은 카메라의 사영 방식이 평행인 경우에는 다음의 [수학식 2]와 같다.

여기서, S_x와 S_y는 뷰잉 변환 행렬(viewing transform matrix)로부터 쉽게 얻을 수 있다. 이제 행렬 S를 알고 있으므로, 다음의 [수학식 3]과 같이 왑 변환 행렬(warp transform matrix)을 구할 수 있다.

하지만, 카메라의 사영 방식이 원근 투영(원근 사영)인 경우에는 카메라의 뷰잉 광선(viewing ray)이 퍼지게 되므로, 이들이 수평되도록 하기 위해(즉, 원근 사영에 의한 뷰잉 광선(viewing ray)의 퍼짐을 보상을 하기 위하여) 볼륨 슬라이스의 스케일링이 필요하다. 따라서 아래의 [수학식 4]와 같이, 쉬어 변환 행렬(shear transform matrix)(S_perspective)의 특성을 고려하여, 쉬어 변환 행렬(shear transform matrix)(S_perspective)로부터 순수한 쉬어 변환 행렬(shear transform matrix)(M_shear)과 스케일 변환 행렬(scale transform matrix)(M_scale)을 구한다.

여기서 e_o,x, e_o,y, e_o,z, e_o,w는 각각 물체의 좌표계에서 시점(eye)의 x, y, z, w 좌표를 나타낸다.

도 2 는 본 발명에 따른 이미지 기반의 볼륨 데이터 제거 방법에 대한 일실시예 흐름도이다.

먼저, 입력영상으로부터 제거 대상이 되는 마스크 영상을 생성하고(200), 그 마스크 영상의 뷰잉 변환 행렬(viewing transform matrix)을 쉬어 변환 행렬(shear transform matrix)과 왑 변환 행렬(warp transform matrix)로 분할한 후(202), 원근 사영에 의한 뷰잉 광선(viewing ray)의 퍼짐을 보상을 하기 위하여 쉬어 변환 행렬로부터 스케일 계수(scale factor)를 구한다(204).

그리고 나서, 뷰잉 변환 행렬을 이용하여 마스크 영상을 볼륨 데이터의 축과 평행하도록 변형하는 와핑 과정을 수행한다(206).

또한, 카메라 정보를 이용하여 볼륨 데이터와, 볼륨을 지나가는 뷰잉 광선 (Viewing Ray)이 서로 수평이 되도록 각각의 볼륨 슬라이스를 이동시키고, "204"에서 구한 스케일 계수를 이용하여 각각의 볼륨 슬라이스의 크기를 조절을 하는 쉬어/스케일 과정을 수행한다(208).

상기 와핑 과정(210)에서 변형된 마스크 영상과 쉬어/스케일 과정(208)에서 이동/크기조절된 각각의 볼륨 슬라이스 간에 논리곱(AND) 연산을 수행하여 볼륨 슬라이스의 일부를 제거한다(210).

도 3a 및 도 3b 는 본 발명에 따른 영상에 대한 볼륨 제거에 대한 설명도이다.

도 3a는 의료 영상 분야의 경우, 방사선사가 보고자 하는 장기의 외부를 싸고 있는 피부 조직의 영상을 제거하는 과정을 나타낸다. "301"은 볼륨이 제거되기 전이고, "302"는 볼륨이 제거되는 과정이고, "303"은 볼륨이 제거된 후를 나타낸다.

또한, 도 3b에서의 "311"도 볼륨이 제거되기 전이고, "312"는 볼륨이 제거된 후를 나타낸다.

도 4 는 본 발명에 따른 실루엣 제거를 통한 3차원물체 복원에 대한 설명도로서, 컴퓨터 비젼 등의 경우 실사에 나타난 물체의 실루엣 정보와 카메라 정보를 이용해 3차원 물체를 복원한 예를 나타낸다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 의료 영상 분야에서는 사용자가 원치 않거나 보고자 하는 부분을 가리는 피부 조직 등을 제거할 수 있으며, 또한 영상으로부터 삼차원 물체를 복원하는 기술에도 사용할 수 있는 효과가 있다.

즉, 본 발명은, 의료 영상 분야의 경우, 방사선사가 보고자 하는 장기의 외부를 싸고 있는 피부 조직의 제거를 위해 사용이 가능하며, 컴퓨터 비젼의 경우는 실사에 나타난 물체의 실루엣 정보와 카메라 정보를 이용해 삼차원 물체를 복원할 수 있게 하는 효과가 있다.

또한, 본 발명은, 하나의 복셀에 대해 단 한번의 AND 연산만 수행하므로 많은 시간을 절약할 수 있는 효과가 있다.

Claims (4)

1. 이미지 기반의 볼륨 데이터 제거 방법에 있어서,

   입력 영상으로부터 제거 대상이 되는 마스크 영상을 생성하는 마스크영상 생성 단계;

   상기 마스크 영상의 뷰잉 변환 행렬(viewing transform matrix)을 쉬어 변환 행렬(shear transform matrix)과 왑 변환 행렬(warp transform matrix)로 분할하고, 원근 사영에 의한 뷰잉 광선(viewing ray)의 퍼짐을 보상을 하기 위하여 상기 쉬어 변환 행렬로부터 스케일 계수(scale factor)를 산출하는 행렬 분할/스케일계수 산출 단계;

   상기 뷰잉 변환 행렬을 이용하여 상기 마스크 영상을 볼륨 데이터의 축과 평행하도록 변형하는 와핑 단계;

   상기 마스크 영상을 이용하여 상기 볼륨 데이터와, 볼륨을 지나가는 뷰잉 광선(Viewing Ray)이 서로 수평이 되도록 볼륨 슬라이스를 이동시키고, 상기 스케일 계수를 이용하여 상기 볼륨 슬라이스의 크기를 조절하는 쉬어/스케일 단계; 및

   상기 와핑 단계에서 변형된 마스크 영상과 상기 쉬어/스케일 단계에서 이동/크기조절된 각각의 볼륨 슬라이스 간의 연산을 통하여 볼륨 슬라이스의 일부를 제거하는 제거 단계

   를 포함하는 이미지 기반의 볼륨 데이터 제거 방법.
2. 제 1 항에 있어서,

   상기 행렬 분할/스케일계수 산출 단계에서의 스케일 계수 산출 과정은,

   카메라의 사영 방식이 원근 사영인 경우에는 상기 쉬어 변환 행렬의 특성을 고려하여, 상기 쉬어 변환 행렬(shear transform matrix)로부터 스케일 변환 행렬(scale transform matrix)(M_scale)을 구하는 것을 특징으로 하는 이미지 기반의 볼륨 데이터 제거 방법
3. 제 2 항에 있어서,

   상기 스케일 변환 행렬은,

   아래의 [수학식 1]과 같은 행렬 관계로부터, 상기 쉬어 변환 행렬의 특성을 고려하여, 상기 쉬어 변환 행렬(S_perspective)을 순수한 쉬어 변환 행렬(M_shear)과 스케일 변환 행렬(M_scale)로 분리함으로써 산출하는 것을 특징으로 하는 이미지 기반의 볼륨 데이터 제거 방법.

   [수학식 1]

   

   (여기서, e_o,x, e_o,y, e_o,z, e_o,w는 각각 물체의 좌표계에서 시점(eye)의 x, y, z, w 좌표를 나타냄)
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 제거 단계에서의 연산 과정은,

   논리곱(AND) 연산을 수행하는 것을 특징으로 하는 이미지 기반의 볼륨 데이터 제거 방법.

Images