본 실시예에 설명된 방법 및 시스템은 검사를 하고자 하는 임의의 물체, 바 람직한 실시예에서는 인체의 기관 특히 결장을 검사하는 데 사용될 수 있다. 결장은 길게 꾜여 있어, 환자에게 경비를 절약하고 불편과 물리적 프로브에 의한 위험을 경감시키는 가상 검사에 특히 적합하다. 검사할 수 있는 다른 장기로는 폐, 위와 위장관의 일부, 심장 및 혈관 등이 있다.
도 1은 볼륨 가시화 기술(volume visualization techniques)을 이용하여 가상의 결장경을 실시하는 데 필요한 단계를 나타낸다. 단계 101은 의사 또는 특정 스캐닝 장치에 의해 필요한 경우에 검사를 위한 관찰을 목적으로 스캔되는 결장을 준비하는 단계이다.
이러한 준비에는 경구 섭취하여 위를 통과한 후 결장으로 유입되는 "칵테일" 또는 액체로 결장을 세척하는 것을 포함할 것이다. 칵테일은 환자로 하여금 결장 내에 존재하는 노폐물을 배출하도록 한다. 사용된 물질 중의 일례로는 골리테리(Golytely)가 있다. 또한, 결장의 경우, 결장을 스캔하고 검사하는 데 용이하도록 결장을 팽창시키기 위해 공기 또는 CO2를 결장에 주입시킬 수도 있다. 이것은 작은 관을 직장에 넣고 약 1000cc의 공기를 주입하여 결장을 팽창시킴으로써 달성된다. 사용된 스캐너의 종류에 따라서는, 환자로 하여금 바륨과 같은 조영제(contrast substance)를 마시도록 하여, 제거되지 않은 스툴(stool)을 코팅함으로써 결장벽와 결장에 있는 노폐물을 구분할 수 있도록 할 수도 있다. 이와 달리, 결장의 가상 검사법으로 본 명세서에서 후에 기술할 가상 검사 동안 또는 이전에 가시적인 노폐물을 제거할 수도 있다. 단계 101은 도 1에서 점선으로 표시된 바와 같이 모든 검사에서 꼭 실시할 필요는 없다.
단계 103은 검사하고자 하는 장기를 스캔한다. 스캐너는 본 기술 분야에 잘 알려져 있는 장치이며, 예를 들면 결장을 스캐닝하는 데 사용되는 나선형의 CT-스캐너, 또는 제논 가스로 표식되는 폐를 스캐닝하는 데 사용되는 Zenita MRI 장치가 있다. 스캐너는 숨을 참고 있는 동안 신체 주위의 상이한 위치에서 다수의 영상을 찍어서 볼륨 가시화에 필요한 데이터를 생성할 수 있다. 단일 CT-영상의 예로는 5㎜ 폭, 1:1 내지 2:1의 피치, 40㎝ 시계의 X-선 빔을 사용하여 결장에의 나선형 조직의 상부에서 직장까지에 대하여 실시될 수 있다.
상기 물체의 불연속적인 데이터 표시는 스캐닝 외의 다른 방법으로도 생성될 수 있다. 본 명세서에서 인용된 1988년 7월 26일에 출원하여 1991년 8월 8일 등록된 Kaufman의 "Method of Converting Continuous Three-Dimensional Geometrical Representations into Discrete Three-Dimensional Voxel-Based Representation Within a Three-Dimensional Voxel-Based System"이라는 명칭을 갖는 미국 특허 제5,038,302호에 기재된 기술에 따라 기하학적 모델로부터 물체를 표현하는 복셀 데이터를 얻을 수 있다. 또한, 3차원 복셀로 전환시킬 수 있는 컴퓨터 모델의 영상에 의해 데이터를 생성할 수도 있다. 이러한 종류의 데이터의 일례로는 우주왕복선(space shuttle craft) 주변의 요동에 대한 컴퓨터 시뮬레이션이 있다.
단계 104는 스캔된 영상을 3차원의 입체적 성분(Voxels)으로 변환하는 단계이다. 결장을 검사하는 바람직한 실시예에서, 1㎜ 또는 2.5㎜에서 증가시켜 5㎜ 두께의 슬라이스로 스캔 데이터를 재조정하고, 512 ×512 픽셀의 매트릭스로 각 슬 라이스를 표현한다. 이것으로, 약 1㎣의 복셀이 만들어진다. 따라서 다수의 2D 슬라이스가 스캔의 길이에 따라 만들어진다. 일련의 2D 슬라이스는 이후 3D 복셀로 재형성된다. 스캐너에서 얻은 2D 영상을 3D의 복셀로 변화하는 방법은 스캐닝 장치 자체로 실시하거나 또는 공지된 방법에 따라 컴퓨터와 같은 별도의 장치에 의해 실시할 수 있다(예를 들면 본 명세서에서 인용된 "Method and Apparatus for Storing, Accessing, and Processing "Voxel-based Data"의 명칭을 갖는 Kaufman 등의 미국 특허 제4,985,856호; 1988년 11월 11일 출원, 1991년 1월 15일 등록, 참조).
단계 105는 조작자가 선택된 기관의 검사하고자 하는 일부를 결정하는 단계이다. 의사는 폴립으로 전개될 것 같은 결장의 특정 부위에 관심을 가질 것이다. 의사는 검사하고자 하는 부분을 표시하는 개략적인 2차원 슬라이스를 볼 수 있다. 관찰하고자 하는 경로의 시작점과 종료 지점을 의사/조작자에 의해 표시할 수 있다. 종래의 컴퓨터와 컴퓨터 인터페이스(예를 들면 키보드, 마우스 또는 스페이스볼)를 사용하여 살펴보고자 하는 결장의 일부를 지정한다. 좌표를 가진 그리드 시스템(grid system)을 키보드 입력으로 사용하거나, 또는 의사/조작자가 원하는 지점을 클릭하여 사용할 수 있다. 전체 결장의 영상을 원하는 경우 관찰할 수도 있다.
단계 107은 검사되는 가상의 기관에 대한 계획 또는 유도 네비게이션 조작을 수행하는 단계이다. 유도 네비게이션 조작을 수행하는 것은 언제라도 조작자에 의해 수동으로 조정할 수 있는 예정되거나 또는 자동적으로 미리 결정된 이동 경로를 따르는 환경을 통해 네비게이션하는 것으로 정의된다. 스캔 데이터를 3D 복셀로 변화시킨 후, 기관의 내부는 선택된 출발 지점에서 선택된 종료 지점으로 이동해야 한다. 가상 검사는 종료 지점을 향하는 렌즈에 의해 가상 공간을 이동하는 소형 카메라를 갖는 것으로서 모델링된다. 유도 네이게이션 기술은 어느 정도의 카메라와의 상호작용을 제공하여, 조작자의 상호작용이 없는 경우에 카메라가 가상 환경을 자동적으로 네비게이트할 수 있고, 동시에 조작자가 필요한 경우 카메라를 조작할 수도 있다. 유도 네비게이션을 달성할 수 있는 바람직한 실시예는 카메라의 이동을 제어하기 위해 전위계(포텐셜 필드 : potential field)를 채용하는 물리적 기반의 카메라 모델을 사용하며, 이에 대한 상세한 내용은 도 2 및 3에 도시되어 있다.
단계 109는 단계 107과 동시에 실시될 수 있는 것으로 유도 네비게이션 동작의 선택된 경로를 따라 카메라 모델의 시점에서 기관의 내부를 표시한다. 마칭 큐브 기술(marching cubes technique)과 같은 종래에 알려진 기술을 이용하여 3차원 표시를 실현할 수 있다. 그러나, 결장을 실시간으로 나타내기 위해서, 가상의 기관을 보여주는 데 필요한 데이터의 광대한 연산을 감소시키는 기술이 필요하다. 도 9에서 이러한 표시 단계를 보다 상세하게 도시하고 있다.
도 1에 나타난 방법은 신체의 여러 기관을 동시에 스캐닝하는 데에 적용할 수도 있다. 예를 들면, 환자는 결장과 폐 모두에서 암 종양에 대해 검사될 수도 있다. 도 1의 방법은 단계 103에서 관심 영역 모두를 스캔하고 단계 105에서 검사하고자 하는 현 기관을 선택하는 것으로 수정될 수 있을 것이다. 예를 들면, 의사 /조작자는 가상적으로 탐색하고자 하는 결장을 먼저 선택하고 후에 폐를 탐색할 수 있다. 이와 달리, 2명의 다른 전문 분야의 의사가 각각의 분야와 관련된 상이한 스캐닝된 기관을 가상적으로 탐색할 수도 있다. 단계 109후, 검사하고자 하는 다음 기관을 선택하고, 그 일부를 결정하여 탐색한다. 이러한 동작은 검사하고자 하는 모든 기관이 처리될 때까지 지속된다.
도 1과 관련되어 설명된 단계들은 볼륨 성분으로 표현될 수 있는 모든 물체의 탐색에 적용할 수도 있다. 예를 들면 아키텍쳐 구조 또는 움직이지 않는 대상을 동일한 방법으로 나타내거나 탐색할 수 있다.
도 2는 단계 107의 유도 네비게이션 기술(guided navigation technique)을 수행하는 "서브마린" 카메라 제어 모델을 나타낸 것이다. 유도 네비게이션 동안에 조작자 제어가 없는 경우, 디폴트(default) 네비게이션은 카메라가 이동 경로를 따라 결장에 대해 선택된 한 끝에서 다른 끝으로 자동으로 향하는 계획 네비게이션(planned navigation)과 유사하다. 계획 네비게이션 단계 동안에는 더 나은 결장 표면의 영상(views)을 얻기 위해 카메라가 결장의 중앙부에 머무른다. 관심 대상의 영역을 만나면, 유도 네비게이션을 사용하는 가상 카메라의 조작자는 대화식으로 카메라를 특정 영역에 근접시킬 수 있고, 본의 아니게 결장벽와 부딪치는 일없이 관심 영역을 자세히 조사하기 위해 카메라의 움직임(motion)과 각도를 지시할 수 있다. 조작자는 키보드, 마우스와 같은 표준 인터페이스 장치를 갖거나 스페이스볼(space ball)과 같은 비표준 장치에 의해 카메라를 제어할 수 있다. 가상 환경에서 카메라를 전체적으로 동작시키기 위하여, 카메라에 대해 6 자유도(six degrees of freedom)가 필요하다. 카메라를 이동시켜 가상 환경의 모든 측면과 각도를 스캔할 수 있도록, 카메라는 다른 3 자유도(축 219)로 회전 가능해야 함은 물론 수평, 수직 및 Z 방향(축 217)으로 움직일 수 있어야 한다. 유도 네비게이션용 카메라 모델은 전위계(215) 하에 놓여 있는 2개의 입자 x1(203)과 x2(205)를 연결하는 확장 불가능한 무중력 로드(weightless lod)(201)를 포함한다. 전위계는 카메라를 기관의 벽부에서 떨어지도록 밀어내기 위하여 기관의 벽부에서 가장 높게 형성된다.
입자들의 위치는 x1과 x2로 주어지고, 이들은 동일한 질량 m을 갖는 것으로 가정한다. 카메라는 그 시야 방향이 x2x1과 일치하는 서브마린 x1(203)의 헤드에 장착된다. 서브마린은 두 입자가 아래에 정의되는 전위계 V(x)로부터의 힘, 임의의 마찰력(friction forces) 그리고 임의의 시뮬레이션된 외부 힘(simulated external forec)에 의해 영향을 받을 때 모델의 질량 x의 중심 주위를 이동 및 회전할 수 있다. x1, x2 및 x의 관계는 다음과 같다:
여기서, r, θ그리고 φ는 벡터 xx1의 극좌표이다.
모델의 운동 에너지 T는 x1과 x2의 움직임에 대한 운동 에너지의 합으로 정의된다:
그런 다음, 서브마린 모델의 움직임에 대한 수학식은 라그랑주 방정식(LaGrange's equation)을 사용하여 얻는다:
여기서, qj는 모델의 일반화된(generalized) 좌표이고, 다음과 같이 시간 t의 변수들로 간주할 수 있다:
Ψ는 본 카메라 시스템의 롤각도(roll angle)를 나타내며, 뒤에서 설명할 것이다. Fi는 일반화된 힘이다. 서브마린의 제어는 x1에 시뮬레이션된 외부 힘을 가함으로써 수행되고,
x1과 x2 모두는 전위계로부터의 힘과 각 입자들의 속도에 대해 반대 방향으로 작용하는 마찰에 의해 영향을 받는 것으로 가정한다. 따라서, 일반화된 힘은 다음과 같은 수식으로 나타내어 진다:
여기서 k는 시스템의 마찰 계수를 가리킨다. 외부 힘 Fext는 도 2에 나타낸 바와 같이, 생성된 이미지에서 조작자가 원하는 방향으로 마우스 버튼을 간단히 클릭함으로써 인가된다. 그러면, 이 카메라 모델은 그 방향으로 이동한다. 이것은 조작자가 마우스 버튼을 한번만 클릭하여 적어도 카메라의 5 자유도를 제어할 수 있도록 한다. 수학식 (2), (3) 그리고 (5)로부터 다음과 같은 서브마린 모델의 가속도에 대한 5개의 파라미터를 생성할 수 있다:
여기서,
과
는 각각 x에 대한 1차 도함수와 2차 도함수를 나타내고,
의 항
과
의 항
은 각각 원심력(centrifugal force)과 콜리올리의 힘(Coriolis force)이라 하며, 서브마린의 각속도를 교환하는 데 관계한다.
모델이 서브마린의 로드에 대해 정의된 관성 모멘트를 갖지 않기 때문에, 이 항은 φ의 수치 계산에 오버플로우(overflow)를 발생시키기 쉽다. 다행히, 이 항들은 서브마린 모델의 각속도가 현저한 경우에만 중요하며, 이것은 본질적으로 카메라가 너무 빨리 움직이는 것을 의미한다. 해당 기관(organ)을 적절히 관찰할 수 없기 때문에 카메라를 매우 빠르게 움직일 수 있게 하는 것은 의미가 없으므로, 이들 항은 본 발명의 구현시에는 오버플로우를 방지하기 위하여 최소화된다.
수학식 (6)의 처음 3개의 수학식으로부터, 아래의 조건을 충족하는 경우 서브마린은 전위계에 대항하는 외부 힘에 의해 추진될 수 없다는 것을 알 수 있다:
본 발명의 구현시에는 서브마린의 속도와 외부 힘 Fext이 상한(upper limits)을 갖기 때문에, 물체의 경계에서 충분히 높은 전위값을 할당함으로써 서브마린이 물체(object) 또는 주변의 벽부에 결코 충돌하지 않게 되는 것을 보증할 수 있다.
앞에서 설명한 바와 같이, 카메라 시스템의 롤 각도 Ψ를 고려해야 할 필요가 있다. 가능한 옵션(option) 중 하나는 조작자가 각도 Ψ를 완전히 제어할 수 있도록 하는 것이다. 그러나, 비록 조작자가 카메라를 모델의 로드 주위에 자유롭게 회전시킬 수는 있지만, 조작자는 방향 감각을 쉽게 잃어버릴 수 있다. 바람직한 기법은 도 3에 도시한 바와 같이 카메의 위쪽 방향이 서브마린의 로드 주위를 자유롭게 회전하는 질량 m2의 진자(301)에 연결되어 있다고 가정하는 것이다. 진자의 방향 r2 는 다음과 같이 표현된다:
서브마린의 이동과 함께 이 진자의 정확한 이동을 계산할 수가 있지만, 이 때문에 시스템 수학식은 너무나 복잡하게 된다. 따라서, 롤각도 Ψ를 제외한 모든 일반화된 좌표가 상수(constants)이고 진자 시스템의 독립적인 운동에너지를 다음과 같이 정의하는 것으로 가정한다:
이것은 롤각도에 대한 모델을 간략화한다. 이 모델에서는 중력
가 질점(mass point) m
2에서 작용한다고 가정하기 때문에, Ψ의 가속도는 다음과 같은 라그랑주의 방정식을 사용하여 유도할 수 있다:
수학식 (6) 및 (7)에서 일반화된 좌표 q(t) 및 이들의 도함수 q(t)를 다음과 같은 테일러 급수(Taylor series)를 이용하여 점근선법으로(asymptotically) 산출하여 서브마린을 자유롭게 이동시킨다:
서브마린의 이동을 원활하게 하기 위하여, 타임 스텝 h는 움직임을 매끄럽게 하도록 가능한 작은 값과 계산 비용을 줄이는 데 필요한 가능한 한 큰 크기 값의 사이의 평형값으로서 선택된다.
전위계의 정의
도 2의 서브마린 모델에서의 전위계는 서브마린 카메라가 벽부나 기타 다른 경계와 충돌하지 않도록 경계에 높은 전위를 할당함으로써 가상 기관 내의 경계(벽부 또는 기타 다른 매질)를 형성한다. 조작자가 카메라 모델을 고전위 영역으로 이동시키려고 해도, 조작자가 예컨대 경계 뒤에 있거나 폴립(polyp) 내에 있는 기관을 조사하기를 원하지 않는다면 카메라 모델은 고전위 영역으로 이동되지 못할 것이다. 가상 결장경 검사를 수행하는 경우에는 볼륨 결장 데이터(볼륨 성분) 각각에 전위계 값이 할당된다. 도 1의 단계 105에서 개시 지점과 종료 지점을 가진 관심 대상의 특정 영역이 지정되면, 종래의 블록킹 조작(blocking operation)을 이용하여 스캔된 결장의 선택 영역 내의 복셀들이 식별된다. 이어서, 다음의 3개의 거리값, 즉 종료 지점으로부터의 거리 dt(x), 결장 표면으로부터의 거리 ds(x), 및 결장 공간의 중앙선으로부터의 거리 dc(x)에 기초하여 선택된 볼륨의 모든 복셀(x)에 전위값이 할당된다. dt(x)는 종래의 성장 전략을 이용하여 계산된다. 결장 표면으로부터의 거리 ds(x)는 표면의 복셀로부터 내측으로 성장시키는 종래 기술을 이용하여 계산된다. dc(x)를 결정하기 위해서 먼저 복셀로부터 결장의 중앙선이 추출되고, 그 다음 결장의 중앙선으로부터 종래의 성장 전략을 이용하여 dc(x)가 계산된다.
사용자 지정 개시 지점과 사용자 지정 종료 지점에 의해 정해진 선택된 결장 영역의 중앙선을 계산하기 위해서 ds(x)의 최대값의 위치를 찾아 dmax의 기호를 붙인다. 그 다음, 관심 대상의 영역 내의 복셀마다 dmax의 코스트값(cost value)이 지정된다. 따라서, 결장면에 가까운 복셀은 높은 코스트값을 갖고, 중앙선에 가까운 복셀은 상대적으로 낮은 코스트값을 갖는다. 그 다음, 코스트 지정에 기초하여 본 기술 분야에 잘 알려져 있는 단일 출발점 최단 경로(single-source shortest path) 기술을 적용하여 출발 지점에서부터 종료 지점까지의 최소 코스트 경로를 효율적으로 계산한다. 이러한 낮은 코스트 라인은 조사하고자 하는 결장 부분의 중앙선 또는 골격을 표시한다. 이러한 중앙선 결정 기술은 본 발명의 바람직한 기술이다.
관심 대상의 영역 내부의 복셀(x)에 대한 전위값 V(x)를 계산하기 위해서 다 음의 수학식이 이용된다.
여기서, C1, C2, μ, 및 ν는 작업을 위해 선택된 상수들이다. 가상 카메라와 가상 결장면 간의 충돌을 피하기 위하여 결장 외부의 모든 지점들에 대해서 충분히 큰 전위값이 할당된다. 그러므로, 전위계의 기울기가 충분히 크게 되어, 서브마린 모델 카메라는 실행되고 있을 때에 결장벽과 절대로 충돌하지 않을 것이다.
결장 내의 경로의 중앙선을 결정하는 다른 기술로는 층박리 기술("peel-layer" technique)로 지칭되는 기술이 있으며, 이에 대해서는 도 4 내지 도 8에 도시되어 있다.
도 4는 볼륨 결장의 2차원 단면을 도시한 것으로 결장의 2개 측벽(401, 403)이 도시되어 있다. 조작자는 조사하고자 하는 결장 부분을 정하기 위하여 2개의 블록킹 벽을 선택한다. 블록킹 벽 너머로는 아무 것도 볼 수 없다. 이것은 가상 표현을 표시할 때에 계산 횟수를 줄이는데 도움이 된다. 측벽과 함께 블록킹 벽은 검사될 결장의 체적 형상을 식별한다.
도 5는 가상 조사의 이동 경로의 두 개의 끝 지점, 즉 개시 볼륨 성분(501)과 종료 볼륨 성분(503)을 도시한 것이다. 개시 지점 및 종료 지점은 도 1의 단계(105)에서 조작자에 의해 선택된다. 개시 지점과 종료 지점 사이의 복셀과 결장 측면은 도 6에서 "x"로 지정된 영역으로 표시된 바와 같이 식별되어 마킹된다. 복셀은 화소의 3차원 표현이다.
그 다음, 도 6에서 식별되어 표기된 복셀에 층박리 기술을 적용한다. 복셀의 내부층이 단 하나만 남겨질 때까지 모든 복셀의 최외곽층(결장벽에 가장 가까운 층)이 단계적으로 박리된다. 달리 설명하자면, 개시 복셀과 종료 복셀 간의 경로의 단절에 이르지 않는다면 중앙선으로부터 가장 벌리 떨어진 복셀이 제거된다. 도 7은 가상 결장 내의 결장 박리를 여러번 반복한 후의 중간 결과를 나타낸 것이다. 결장벽에 가장 가까운 복셀은 제거되었다. 도 8은 박리 반복을 모두 완료한 후의 결장의 중앙 아래의 카메라 모델에 대한 최종 이동 경로를 도시한 것이다. 이것은 기본적으로 결장의 중앙에 골격을 생성하며 카메라 모델의 바람직한 이동 경로가 된다.
Z-버퍼 지원 가시성
도 9는 카메라 모델에 의해서 기관의 가상 3차원 볼륨 표현으로 나타내진 가상 화상의 표시에 대한 실시간 가시성 기술을 설명한 것이다. 도 9는 도 1의 단계 109에 대응하는 변형 Z 버퍼를 이용한 디스플레이 기술을 보여주고 있다. 카메라 모델로부터 보여질 수 있는 복셀의 수는 극히 많다. 계산되어 가시화되어야 하는 성분(즉, 다각형)의 총수가 스캔 환경에서의 전체 복셀 세트로부터 감소되지 않으면, 계산되는 총 횟수는 큰 내부 영역에 대한 가시화 표시 프로세스를 극히 느리게 만들 것이다. 그러나, 본 발명에서는 결장 표면 상에서 보여질 수 있는 화상들만이 표시를 위해 계산될 필요가 있다. 스캔 환경은 더 작은 부분, 즉 셀로 세분될 수 있다. 그러면, Z 버퍼 기술은 카메라로부터 관찰 가능한 셀 부분만을 제공하게 된다. Z 버퍼 기술은 또한 3차원 복셀 표현에 이용된다. 변형 Z 버퍼를 이용하면 계산될 가시 복셀 수가 줄어들고 내과의 또는 의료 기술자가 가상 결장을 실시간으로 조사할 수가 있다.
단계 107에서 중앙선이 계산되었던 관심 영역은 표시 기술을 적용하기 전에 셀로 세분된다. 셀은 가시성 단위가 되는 복셀의 집단적 그룹이다. 각 셀 내의 복셀은 그룹으로서 표시될 것이다. 각 셀은 다른 셀을 관찰할 수 있게 하는 다수의 관문(portal)을 포함한다. 결장은 선택된 개시 지점에서 시작하여 중앙선(1001)을 따라서 종료 지점으로 이동시킴으로써 세분된다. 그 후, 결장은 중앙 경로를 따른 소정의 임계 거리에 도달될 때에 셀(예컨대, 도 10의 셀(1003, 1005, 및 1007))로 구획된다. 임계 거리는 가시화 기술이 수행되는 플랫폼의 스펙과 그 저장 및 처리 능력에 따라 정해진다. 셀 크기는 플랫폼에 의해 저장 및 처리될 수 있는 복셀 수에 직접 관련된다. 임계 거리의 일례는 5 ㎝이지만, 이 거리는 크게 달라질 수 있다. 각 셀은 도 10에 도시된 바와 같이 셀의 외부에서 보기 위한 관문으로서 2개의 단면을 갖고 있다.
도 9의 단계 901은 현재 카메라를 포함하는 선택된 기관 내의 셀을 식별한다. 이 셀은 카메라의 배향이 결정될 시에 보여질 수 있는 다른 모든 셀들과 마찬가지로 표시될 것이다. 단계 903은 (정해진 관문을 통해) 카메라로부터 잠재적으로 보여질 수 있는 셀의 계층적 데이터의 스태브 트리(stab tree)(계통도)를 구축한다. 이에 대해서는 후술한다. 이 스태브 트리는 카메라에게 보여질 수 있는 모든 셀에 대한 노드를 포함한다. 일부 셀은 하나 이상의 셀이 한 방향에서 보여질 수 있도록 어떠한 블록킹 보디도 존재하지 않는 투명 상태로 될 수도 있다. 단계 905는 어느 셀이 보여지는 가를 더욱 효율적으로 결정하기 위하여 인접하는 셀 에지의 교점(intersection)을 포함하는 셀로부터의 복셀의 서브세트를 저장하며, 이들을 스태브 트리의 바깥쪽 에지에 저장한다.
단계 907은 스태브 트리에 루프 노드가 존재하는지를 체크한다. 루프 노드는 하나의 셀의 2 또는 그 이상의 에지 모두가 동일한 근처 셀에 접해 있을 때에 발생한다. 이것은 하나의 셀이 다른 셀에 의해 둘러싸여 있는 경우에 발생할 수도 있다. 스태브 트리에서 루프 노드가 식별되면, 프로세스는 단계 909로 진행하고, 루프 노드가 없다면 프로세스는 단계 911로 진행한다.
단계 909에서는 루프 노드를 구성하는 2개의 셀을 콜랩스(collapse)하여 하나의 대형 노드로 한다. 그 후, 스태브 트리는 적절히 정정된다. 이에 의해 루프 노드 때문에 동일 셀을 두 번 보아야 하는 문제가 제거된다. 이 단계는 모든 식별 루프 노드 상에서 수행된다. 그 후, 프로세스는 단계 911에서 지속된다.
단계 911에서는 Z-버퍼를 가장 큰 Z 값으로 초기화한다. 이 Z 값은 골격 경로(skeleton path)를 따라 카메라에서 멀어지는 거리를 규정한다. 그 후, 트리는 각 노드에서 교점 값을 먼저 체크하도록 횡단된다. 노드의 교점이 커버되면, 즉 현재의 포탈 시퀀스가 차단되면(이것은 Z 버퍼 테스트에 의해 결정), 트리의 현재 브랜치에 대한 횡단은 정지된다. 단계 913에서는 노드가 커버되는 지를 체크하기 위해 각각의 브랜치를 횡단하며, 이들이 커버되지 않으면 이들을 표시한다.
단계 915에서는 합성에 의한 볼륨 렌더링과 같은 본 기술분야에 잘 알려진 다양한 기술 중의 하나를 이용하여 단계 913에서 식별된 가시적인 셀 내의 볼륨 성 분으로부터 조작자 스크린에 표시될 이미지를 구성한다. 표시되는 셀은 보여질 수 있는 것으로서 식별되는 셀이다. 이 기술이 제한하는 것은 실시간 표시를 달성하고 성능이 향상되도록 표시 속도를 증가시키기 위해 계산을 필요로 하는 셀들의 개수이다. 이 기술은 모든 가능한 가시적인 데이터 포인트가 실제로 보여지는 지의 여부에 관계없이 이들을 계산하는 종래 기술에 비해 향상된 것이다.
도 11a는 유도 네비게이션에 의해 조사되고 조작자에게 표시될 필요가 있는 기관의 2차원 표현 도면이다. 기관(1101)은 경로의 중심에 두 개의 측벽(1102)과 물체(1105)를 나타낸다. 기관은 네 개의 셀 A(1151), 셀 B(1153), 셀 C(1155), 그리고 셀 D(1157)로 나눠진다. 카메라(1103)는 셀 D(1157)에 대향하며, 원추형 필드를 식별할 수 있는 비전 벡터(1107, 1108)에 의해 정의되는 비전 필드를 갖는다. 카메라가 볼 수 있는 셀은 셀 B(1153), 셀 C(1155), 그리고 셀 D(1157)이다. 셀 C(1155)는 셀 B로 완전히 둘러싸여져서 노드 루프를 구성한다.
도 11b는 도 11a의 셀들로 이루어지는 스태브 트리를 나타내는 도면이다. 카메라를 포함하는 노드 A(1109)는 트리의 루트에 위치한다. 차단되지 않는 가시 경로인 사이트 라인(시선)이나 사이트 콘은 노드 B(1110)로 유도된다. 노드 B는 가시적인 사이트 라인을 두 개의 노드 C(1112)와 노드 D(1114)로 향하게 하며 접속 화살표에 의해 표시된다. 관찰 카메라 방향에서의 노드 C(1112)의 사이트 라인은 노드 B(1110)와 결합된다. 따라서, 노드 C(1112)와 노드 B(1110)는 콜랩스되어, 도 11c에 도시한 바와 같이 하나의 대형 노드 B'(1122)로 된다.
도 11c는 노드 B'(1122)(두개의 노드 B와 노드 C를 포함)와 노드 D(1114)에 인접한 카메라를 포함하는 노드 A(1109)를 나타낸다. 노드 A, B', 및 D는 적어도 부분적으로 조영자에게 표시된다.
도 12a 내지 12e는 시야를 방해하는 대상물을 포함하는 셀을 갖는 수정된 Z 버퍼의 사용에 대해 나타낸다. 물체는 가상 결장의 일부분 내의 일부 노폐물일 수도 있다. 도 12a는 10개의 가능한 셀, 즉 A(1251), B(1253), C(1255), D(1257), E(1259), F(1261), G(1263), H(1265), I(1267) 및 J(1269)를 갖는 가상 공간을 나타낸다. 일부 셀들은 물체를 포함한다. 카메라(1201)가 셀 I(1267)에 위치되며 비전 벡터(1203)에 의해 표시되는 바와 같이 셀 F(1261) 쪽으로 대향하면, 도 9의 흐름도에 나타낸 기술에 따라 스태브 트리가 생성된다. 도 12b는 도 12a에 도시한 가상 표현용으로 나타내는 교점 노드와 더불어 생성된 스태브 트리를 도시한다. 도 12b는 카메라(1201)를 포함하므로 트리의 루트 노드에서의 셀 I(1267)를 나타낸다. 셀 F가 카메라의 사이트 라인에 바로 접속되므로, 노드 I(1211)는 노드 F(1213)(화살표로 가리키는 바와 같이)로 향한다. 노드 F(1213)는 2개의 노드 B(1215)와 노드 E(1219)로 향한다. 노드 B(1215)는 노드 A(1217)로 향한다. 노드 C(1202)는 카메라(1201)에 의해 사이트의 라인에서 완전히 차단되어서 스태브 트리에 포함되지 않는다.
도 12c는 노드 I(1211)가 조작자에 대해 표시 장치 상에서 렌더링된 후의 스태브 트리를 나타낸다. 노드 I(1211)는 이 노드가 이미 표시되어 있고 노드 F(1213)가 루트가 되므로 스태브 트리에서 제거된다. 도 12d는 노드 F(1213)가 노드 I(1211)와 결합하도록 렌더링되는 것을 나타낸다. 화살표로 접속되는 트리에서 의 다음 노드는 이들이 이미 커버(이미 처리)되었는 지를 알아보도록 체크된다. 이 예에서, 셀 I(1267)에 위치된 카메라로부터의 교차된 노드 전부가 커버되므로, 노드 B(515)(및 그에 따라 종속적인 노드 A)는 표시 장치 상에서 렌더링될 필요가 없다.
도 12e는 교차점이 커버되는 지를 결정하기 위해 체크되는 노드 B(515)를 나타낸다. 노드 A, B 및 E가 가시적이지 않으며 표시될 셀을 가질 필요도 없으므로, 도 12a 내지 12e의 예에서 렌더링되는 노드는 노드 I와 F이다.
도 9에 나타내는 수정된 Z 버퍼 기술은 계산을 줄이므로 다각형 같은 복셀이나 기타 데이터 요소로 표현되는 대상물에 적용할 수 있다.
도 13은 그 벽 중의 하나를 따라 존재하는 대형 폴립을 갖는 결장의 2차원 가상도를 나타낸다. 도 13은 시험될 환자의 결장의 선택된 단면도를 나타낸다. 도 13은 도면부호 1305로 표시되는 종양을 갖는 두 개의 결장 벽(1301, 1303)을 나타낸다. 층(1307, 1309, 1311)은 종양의 내층을 나타낸다. 의사들은 폴립이나 튜머의 층들을 벗겨서 암이나 다른 해로운 물질 덩어리의 내부를 볼 수 있는 것이 바람직하다. 이러한 처리는 그 덩어리를 실제로 자르지 않고도 가상의 생체 검사를 효과적으로 행할 수 있도록 한다. 일단 결장이 복셀에 의해 가상적으로 표현되면, 물체의 층들을 벗겨내는 처리는 도 4내지 도 8을 통해 설명한 것과 마찬가지의 방식으로 쉽게 수행된다. 덩어리는 또한 얇게 벗겨져서 특정 단면이 시험될 수도 있다. 도 13에서, 평면의 절단(1313)이 행해져서 종양의 특정 부분이 시험될 수 있다. 또한, 사용자 지정 슬라이스(1319)는 종양에서 임의의 방식으로 이루어질 수 있다. 복셀(1319)은 아래에 설명하는 바와 같이 벗겨지거나 변형될 수 있다.
전이 기능은 각 복셀에 대해 반투명하게 표현하는 계수를 바꿈으로써 대상물을 투명, 반투명 또는 불투명하게 만드는 교차점 영역에서 각 복셀에 대해 수행될 수 있다. 불투명 계수는 그 밀도에 따라 각 복셀에 할당된다. 그 후, 맵핑 함수는 밀도 값을 그 밀도값의 반투명도를 나타내는 계수로 바꾼다. 고밀도로 스캔된 복셀은 단순히 개방 공간 밖의 벽부나 기타 조밀한 물질을 가리킨다. 그 후, 조작자나 프로그램 루틴은 하나의 복셀이나 복셀 군의 불투명 계수를 바꿔서 이들을 서브마린 카메라 모델에 대해 투명하거나 반투명하게 할 수 있다. 예를 들면, 조작자는 종양 전체의 안이나 밖에 있는 튜머를 볼 수 있다. 다시 말하면 투명 복셀은 도 9의 표시 단계에서 존재하지 않는 것처럼 보여진다. 대상물의 부분의 합성은 그 단면에 있는 복셀의 불투명 계수의 가중 평균을 이용하여 이루어질 수 있다.
의사가 암이 있는 영역을 찾아서 폴립의 여러 층들을 보기를 바란다면, 이것은 제1 층(1307)을 만드는 폴립(1305)의 외층을 제거함으로써 행해진다. 또한, 제1 내층(1307)은 제2 내층(1309)이 보이도록 벗겨질 수 있다. 계속해서 제2 내층은 제3 내층(1311)이 보이도록 벗겨질 수 있다. 의사는 폴립(1305)을 슬라이스로 잘라서 소망 단면 내의 복셀만을 볼 수 있다. 이 슬라이싱 영역은 완전하게 사용자가 정할 수 있다.
불투명 계수의 추가는 가상 시스템의 개발에 도움이 되는 방향으로 사용될 수 있다. 노폐물이 존재하고 이 노폐물이 알려진 특정 범위 내에서 다른 특성의 밀도를 가지면, 이 노폐물은 시험 중에 그 불투명 계수를 바꿈으로써 가상 카메라 에 대해 투명하게 된다. 이로 인해 환자는 절차 전에 창자를 청소할 필요가 없어서 시험을 빠르고 쉽게 할 수 있다. 다른 대상물도 실제 응용에 따라 마찬가지로 사라지게 할 수도 있다. 또한, 폴립과 같은 일부 대상물은 적절한 전이 기능의 사용에 따른 조영제에 의해 전자적으로 화질을 높일 수 있다.
도 14는 본원 명세서에서 설명하는 기술을 사용하여 인간의 기관과 같은 물체의 가상 시험을 수행하는 시스템을 나타낸다. 환자(1401)는 스캐닝 장치(1405)가 시험될 기관이나 기관들을 포함하는 영역을 스캐닝하는 동안에 플랫폼(1402)에 누워있다. 스캐닝 장치(1405)는 환자의 이미지를 실제로 받아들이는 스캐닝부(1403)와 전자부(1406)를 포함한다. 전자부(1406)는 인터페이스(1407), 중앙 처리 장치(1409), 스캐닝 데이터를 임시로 저장하는 메모리(1411), 그리고 데이터를 가상 탐색 플랫폼으로 보내는 제2 인터페이스(1413)를 포함한다. 인터페이스(1407, 1413)는 단일 인터페이스 부품에 포함되거나 동일한 부품일 수 있다. 전자부(1406) 내의 부품들은 종래의 커넥터로써 접속된다.
시스템(1400)에서, 장치의 스캐닝부(1403)로부터의 데이터는 처리부(1405)로 전송되고 메모리(1411)에 저장된다. 중앙처리장치(1409)는 스캐닝된 2D 데이터를 3D 복셀 데이터로 변환하여 메모리(1411)의 다른 부분에 그 결과를 저장한다. 변형예로서, 변환된 데이터는 인터페이스 유닛(1413)으로 직접 전송되어 가상 네비게이션 터미널(1416)로 전송될 수 있다. 또한, 2D 데이터의 변환은 인터페이스(1413)로부터 전송된 후에 가상 네비게이션 터미널(1416)에서 발생할 수도 있다. 바람직한 실시예에서, 조작자가 가상 검진을 수행할 수 있도록 변환된 데이터는 캐 리어(1414)를 거쳐 가상 네비게이션 터미널(1416)로 전달된다. 데이터는 또한 저장 매체에의 데이터 저장 및 터미널(1416)로 혹은 위성 송수신을 사용하여 데이터를 물리적으로 이동시키는 것과 같은 다른 통상적인 방법을 이용하여 이동될 수도 있다.
스캔 데이터는 가시화 렌더링 엔진(visualization rendering engine)이 3D 형태를 요구할 때까지 3D 표현으로 변환되지 않을 수도 있다. 이 것은 컴퓨터의 계산 단계 및 메모리 저장 공간을 절약시켜 준다.
가상 네비게이션 터미널(1416)은 가상 기관(virtual organ) 혹은 다른 스캔 영상을 보기 위한 스크린과, 전자부(1415)와, 키보드, 마우스 혹은 스페이스볼과 같은 인터페이스 제어부(1419)를 포함한다. 전자부(1415)는 인터페이스 포트(1412)와, 중앙 처리 장치(1423)와, 터미널을 구동하는데 필요한 다른 부품(1427) 및 메모리(1425)를 포함한다. 터미널(1416)의 부품들은 통상적인 연결부에 함께 연결된다. 변환된 복셀 데이터는 인터페이스 포트(1421)에서 받아서 메모리(1425)에 저장된다. 중앙 처리 장치(1423)는 가상 표시 형태로 3D 복셀 데이터를 조립하여 가상 검사를 수행하기 위해 도 2 및 도 3에 기술된 바와 같은 서브머린 카메라 모델을 구동시킨다. 서브머린 카메라가 가상 조직을 통해 이동하면, 가상 카메라로부터 보여지는 영역만을 계산하기 위해 도 9에 기술된 바와 같은 가시성 기술(visibility technique)이 사용되어 이를 스크린(1417)에 표시한다. 이러한 표시를 생성하기 위해 그래픽 가속기가 또한 사용될 수 있다. 조작자는 인터페이스 장치(1419)를 사용하여 스캐닝되는 신체의 어떤 부분이 검진되는 것이 바람직 한지를 표시하기 위해 인터페이스 장치(1419)를 사용할 수 있다. 인터페이스 장치(1419)는 도 2 및 그 수반된 기술내용에서 설명한 바와 같이, 원하는 대로 서브머린 카메라를 조절 및 이동시키기 위해서도 사용될 수 있다. 터미널부(1415)는 뉴욕 주립대 스토니 브룩 캠퍼스의 컴퓨터 사이언스과에서 일반적으로 얻을 수 있는 큐브-4 전용 시스템 박스(Cube-4 dedicated system box)일 수 있다.
스캐닝 장치(1405) 및 터미널(1416) 혹은 그 부품은 동일 유닛의 부품일 수도 있다. 단일의 플랫폼이 스캔 영상 데이터를 수신하고, 필요한 경우 이 데이터를 3D 복셀에 연결하고, 유도 네비게이션을 수행하는데 사용될 수 있을 것이다.
시스템(1400)에서의 중요한 특징은, 가상 기관이 환자없이도 추후에 검사될 수 있다는 것이다. 또한, 가상 검진은 환자가 스캐닝되고 있는 동안 발생할 수도 있다. 스캔 데이터는 또한 한 명 이상의 의사가 동시에 조직의 내부를 볼 수 있게 하는 다중 터미널로 보내질 수도 있다. 따라서, 뉴욕의 한 의사는 캘리포니아의 의사와 동시에 환자의 조직의 동일한 부분을 보면서 병상(病狀)에 대해 토론할 수 있다. 변형예로서, 데이터가 상이한 시간에 보여질 수도 있다. 2명 이상의 의사가 어려운 병상에 있어서 동일한 데이터에 대한 각자의 검진을 수행할 수도 있다. 다중 가상 네비게이션 터미널은 동일 스캔 데이터를 보기 위해 사용될 수도 있다. 기관을 이산적인 데이터 세트를 갖는 가상 기관으로서 재현함으로써, 정확성, 비용 및 가능한 데이터 조작(possible data manipulation)과 같은 많은 장점이 존재한다.
상술한 기술은 수정된 장 준비 조작(modified bowel preparation operations) 및 뒤따르는 영상 세그먼트화 조작(image segmentation operations)을 채용하는 개선된 전자 결장 세척 기술(electronic colon cleansing technique)을 사용함으로써 가상 결장경 검사 응용에서 보다 개선되어질 수 있어서, 단층 촬영(CT) 혹은 자기 공명장치(MRI) 촬영 동안 결장에 남아 있는 유체 및 스툴(stool)이 검출되어 가상 결장경 검사 영상으로부터 제거될 수 있다. 이러한 기술을 사용함으로써, 종래의 물리적인 결장의 세척 및 그에 따른 불편함 및 고통이 최소화되거나 혹은 완전히 방지될 수 있다.
도 15를 참조하면, 전자 결장 세척의 제1 단계는 장 준비 단계(단계 1510)이며, 이 단계는 CT 촬영 혹은 MRI 촬영을 수행하기 전에 발생하고, 결장에 잔류하는 스툴 및 유체가 가스가 찬 결장 내부 및 결장벽의 영상의 특성과는 아주 크게 다른 영상 특성을 제공하게 될 것이다. 대표적인 장 준비 조작은 CT 혹은 MRI 스캔의 전날에, 예를 들면 뉴욕 웨스트버리의 E-Z-EM 주식회사에 의해 제조된 것과 같은 2500cc의 2.1%W/V 바륨 황산염을 3회 섭취시키는 단계를 포함한다. 3회의 섭취는 하루 일과 중에 나누어질 필요가 있고, 세 끼의 식사와 함께 각각 섭취될 수도 있다. 바륨 황산염은 결장에 남아있는 스툴의 영상을 향상시키는 기능을 한다. 바륨 황산염의 섭취와 더불어, CT 혹은 MRI 스캔 수행 전날, 유체 흡입이 증가되는 것이 바람직하다. 물을 섭취하는 것도 가능하지만, 크랜베리 쥬스(cranberry juice)가 증가된 장 유체를 제공하는 것이 바람직하다. CT 스캔 전날 저녁 및 CT 스캔 당일날 아침에, 미주리주 세인트 루이스 소재의 멜린칵로프트 주식회사에 의해 제조된 MD-Gastroview와 같이 상업적으로 가용한 60ml의 다이어트리조에이트 메 글루민 및 다이어트리조에이트 소디움 용액(Diatrizoate Meglumine and Diatrizoate Sodium Solution)이 결장 유체의 영상 성질을 향상시키는데 사용될 수 있다. 나트륨 인산염(sodium phosphate)이 또한 용액에 첨가되어 결장의 스툴을 액체화시키는데 사용될 수 있는데, 이것은 잔류하는 결장 유체 및 스툴의 화질을 보다 균일하게 증가시킨다.
상술한 대표적인 예비 장 준비 조작은 CT 스캔 전에 골리텔리 용액(Golytely solution) 1 갤런의 섭취를 요구하는 통상적인 결장 세척 프로토콜에 대한 필요성을 없앨 수 있다.
CT 스캔을 수행하기 직전에, 인디아나주 인디아나폴리스 소재의 엘리 릴리 앤드 컴퍼니(Ely Lily and Company)에 의해 제조된 글루카곤(Glucagon) 1ml의 정맥 주사가 시행되어 결장의 허탈을 최소화할 수 있다. 그 후, 대략 1000cc의 이산화탄소 혹은 실내 공기와 같은 압축 가스를 사용하여 결장을 부풀릴 수 있는데, 이 것은 복귀 튜브를 통해 유입될 수 있다. 이 때, 통상적인 CT 스캔이 결장 영역으로부터 데이터를 얻기 위해 수행된다(단계 1520). 예를 들면, 데이터는 1mm의 슬라이스로 재구성된, 1.5-2.0:1 피치, 5mm의 헬리컬 모드에서 동작하는 GE/CTI 스파이럴 모드 스캐너을 사용하여 얻어질 수 있고, 여기에서 피치는 공지의 방법으로 환자의 키에 따라 조절된다. 120kVp 와 200-280ma의 루틴 촬상 프로토콜이 이러한 조작에 사용될 수 있다. 데이터는 환자의 크기에 따라서는 34cm 내지 40cm의 범위에서 변화하는 시야 중에서 512×512 픽셀 어레이 크기를 갖는 1mm 슬라이스 영상으로서 얻어지거나 재구성될 수 있다. 이러한 슬라이스의 수는 환자의 키에 따라 이러한 상태 하에서 300개 내지 450개로 변하게 된다. 영상 데이터 세트는 볼륨 성분 혹은 복셀로 변환된다(단계 1530).
영상 세그먼트화는 다양한 방법으로 수행될 수 있다. 본 발명의 영상 세그먼트화 방법에서는, 유사한 강도 값에 따라 영상 데이터의 복셀을 분류하는 로컬 네이버 기술(local neighbor technology)이 사용된다. 이 방법에서, 얻어진 영상의 각 복셀은 이웃하는 복셀 그룹에 관련되어 평가된다. 관심 대상의 복셀은 중앙 복셀로서 불려지고 관련된 강도 값을 가진다. 각 복셀에 대한 분류 표시자가 중앙 복셀의 값을 그 이웃하는 것들의 각각과 비교하여 생성된다. 이웃 복셀이 중앙 복셀과 동일한 값을 가지면, 분류 표시자의 값은 증가된다. 그러나, 이웃 복셀이 중앙 복셀과 다른 값을 가지면, 중앙 복셀에 대한 분류 표시자는 감소된다. 그 다음, 중앙 복셀은 지역의 이웃 복셀들 사이에서 가장 균일한 이웃 구성을 의미하는 최대 표시자 값을 갖는 카테고리로 분류된다. 각각의 분류는 구체적인 강도 범위, 즉 관찰되고 있는 하나 이상의 물질 유형을 표시하기 위한 것이다. 이 방법은 얻어진 유사도 분류에 대하여 혼합 확률 함수(mixture probability function)를 채용함으로써 더욱 향상될 수 있다.
영상 세그먼트화의 또 다른 처리는 두 개의 주요한 조작, 즉 저레벨 처리 및 고레벨 특징 추출로서 수행된다. 저레벨 처리 동안, 신체 형상 외측의 영역은 추가 처리로부터 제외되고, 신체 외형 내의 복셀은 강도 특성의 양호하게 규정된 클래스에 따라 개략적으로 분류된다. 예를 들면, 복부 영역은 뚜렷한 강도 분포를 보여주는 경향이 있는 데이터 세트를 생성한다. 도 16의 그래프는 강도 임계치에 따라 분류될 수 있는 4개의 뚜렷한 피크(1602, 1604, 1606, 1608)를 갖는 전형적인 막대 그래프로서 강도 분포를 도시하고 있다.
복부 CT 데이터 세트의 복셀은 강도 임계치에 의해 4개의 클러스터로서 개략적으로 분류된다(단계 1540). 예를 들면, 클러스터 1은 그 강도가 140 이하인 복셀을 포함할 수 있다. 이 클러스터는 가스가 찬 결장의 내부 내의 가장 밀도가 낮은 영역에 대략 상응된다. 클러스터 2는 강도 220을 넘는 복셀을 포함할 수 있다. 이 강도 값들은 뼈와 결장 내의 화질이 높혀진 스툴과 유체에 대응할 수 있다. 클러스터 3은 약 900 내지 약 1080의 범위내의 강도를 갖는 복셀을 포함할 수 있다. 이 강도의 범위는 지방 및 근육과 같이 결장과 결합되지 않는 연조직을 나타낸다. 잔여 복셀은 클러스터 4로서 함께 그룹화되고, 이들 복셀은 결장벽(결장 벽부를 둘러싸는 점막(mucosa) 및 부분 용적 혼합물을 포함)은 물론 폐 조직 및 연골과 결합되지 않는다.
클러스터 1 및 3은 결장 벽을 확인하는데 특별히 중요하지는 않으므로 가상 결장경 검사를 위한 영상 세그먼트화 처리 도중에 실질적으로 처리되지 않는다. 클러스터 2와 결합된 복셀은 스툴과 액체를 결장벽으로부터 분리시키는데 중요하고, 고레벨 특징 추출 작업 도중에 추가로 처리된다. 저레벨 처리는 대응하는 결장 기관과 아주 유사한 제4 클러스터에 집중된다(단계 1550).
제4 클러스터의 각 복셀에 대하여, 강도 벡터는 그 복셀 자체 및 이웃 복셀을 사용하여 발생된다. 강도 벡터는 소정의 복셀에 근접한 이웃 복셀의 강도 변화를 나타낸다. 강도를 설정하는데 사용된 이웃 복셀의 개수는 중요하지 않지만 오 버헤드 처리와 정확도의 양자를 적절하게 조절하는 것을 필요로 한다. 예를 들면, 간단한 복셀 강도 벡터는 7개의 복셀로 설정될 수 있고, 이것은 자신의 전후방 이웃, 자신의 좌우측 이웃 및 자신의 상하측 이웃인 관심 복셀을 포함하며, 이들 모두는 서로 직각을 이루고 있는 3개의 축 상의 관심 복셀을 둘러싼다. 도 17은 선택된 복셀(1702) 및 그 제1, 제2 및 제3 순서의 이웃을 포함하는 25 복셀 강도 벡터 모델 형태인 예시적인 강도 벡터를 예시하는 사시도이다. 선택된 복셀(1702)은 이 모델의 중심점이며, 고정 복셀이라고 한다. 동일 평면 상에 고정 복셀로서 12 이웃을 포함하는 평탄형의 슬라이스 복셀을 고정 슬라이스(1704)라고 한다. 고정 슬라이스에 인접한 평면 상에는 5개의 복셀을 각각 가진 두 개의 가징 근접한 슬라이스(1706)가 위치된다. 하나의 복셀을 각각 갖는 두 개의 제2의 근접한 슬라이스(1708)가 제1의 근접한 슬라이스(1706)에 인접하여 위치된다. 제4 클러스터의 각 복셀에 대한 강도 벡터의 집합을 로컬 벡터 시리즈라고 한다.
복부 영상의 데이터 세트는 일반적으로 각각의 복셀이 결합된 25 복셀 로컬 벡터를 갖는 512×512 복셀 어레이를 가진 300 이상의 슬라이스 영상을 포함하기 때문에, 연산 부담을 감소시키기 위하여 로컬 벡터 시리즈 상에 특징 분석(단계 1570)을 실행하는 것이 바람직하다. 이러한 특징 분석은 주요 구성품 분석(principal component analysis: PCA)이며, 이것이 로컬 벡터 시리즈 및 클러스터(4) 복셀에 대한 직교 변환 매트릭스의 치수를 결정하도록 로컬 특징 벡터 시리즈에 인가될 수 있다.
CT 영상 강도의 그래프(도 16)는 특정의 스캐너, 소정의 동등한 준비 및 스 캐닝 파라미터에 대하여는 이 환자에서 저 환자까지 거의 일정하다는 것으로 판명되었다. 이 관찰에 따라, 직교 변환 매트릭스는 유사한 조건 하에서 동일한 스캐너를 사용하여 얻어진 여러 세트의 트레이닝 데이터를 사용하여 결정된 소정의 매트릭스로 설정될 수 있다. 이 데이터로부터, Karlhunne-Loeve(K-L) 변형과 같은 변환 매트릭스가 공지된 방식으로 생성될 수 있다. 변환 매트릭스가 로컬 벡터 시리즈에 가해져서 특징 벡터 시리즈를 생성시킨다. 일단 특징-벡터 공간 도메인에 위치되는 경우, 벡터 양자화 기술을 사용하여 특징 벡터 시리즈를 분류할 수 있다.
분석, 자체-적응식 연산을 특징 벡터 분류에 사용할 수 있다. 이 연산을 한정하는데 있어서, {Xi∈R4:i = 1,2,3,...,N}을 특징 벡터라고 하고, 여기서 N은 특징 벡터의 개수이고, K는 최대 개수의 계층이며, T는 데이터 세트에 적응가능한 임계치이다. 각 계층에 대하여, 대표적인 원소가 연산에 의하여 생성된다. ak가 계층 k의 대표 원소가 되고, nk가 그 계층 내의 특징 벡터의 수가 된다.
알고리즘의 개요는 다음과 같다:
이 알고리즘에서, dist(x,y)는 벡터 x와 y 사이의 유클리드 거리이며 arc min dj는 dj의 최소값을 실현하는 정수 j를 제공한다.
전술한 알고리즘은 단지 매개변수 T 및 K에 좌우된다. 그러나, 각 복셀 클러스터 내의 계층 개수에 관한 K값은 중요하지 않고 K=18과 같이 일정값으로 설정될 수 있다. 그러나, 벡터 유사성 임계치인 T는 분류 결과에 크게 영향을 미친다. 선택값 T가 너무 큰 경우 단지 하나의 계층만 생성되는 한편, 값 T가 너무 작은 경우 얻어진 계층은 원하지 않는 여분을 나타낸다. 값 T를 특징 벡터 시리즈의 최대 구성품 변수와 동일하게 설정함으로써, 최대 개수의 각기 다른 계층을 얻는다.
초기 분류 프로세스에 따라, 선택된 클러스터 내의 각각의 복셀이 계층에 할당된다(단계 1570). 예시적인 가상 결장경 검사 경우, 클러스터(4) 내에 여러 개의 계층이 있다. 따라서, 다음 작업은 클러스터(4) 내의 여러 개의 계층 중 어느 것이 결장벽에 해당하는가를 결정하는 것이다. 가장 높은 변수를 나타내는 특징 벡터의 좌표인 제1 특징 벡터 좌표는 3D 로컬 복셀 강도의 평균 정보에 영향을 미 친다. 특징 벡터의 잔여 좌표는 로컬 이웃 내의 방향 강도 변화의 정보를 포함한다. 결장 내부의 결장 벽 복셀은 클러스터(1)의 가스 복셀에 근접하는 것이 일반적이기 때문에, 임계 간격은 결장 벽 복셀 후보자를 대체적으로 구별하도록 설정된 일반적인 CT 데이터의 일반적인 결장 벽 강도로부터 선택된 데이터 샘플에 의하여 결정될 수 있다. 각각의 특정 이미지 프로토콜 및 장치에 대하여 특정의 임계치가 선택된다. 다음에 이 임계 간격은 모든 CT 데이터 세트(동일 이미지 프로토콜을 사용하여 동일 기기로부터 얻음)에 인가될 수 있다. 대표적인 요소의 제1 좌표가 임계 간격에 위치된 경우, 대응하는 계층을 결장벽이라 하고, 그 계층의 복셀 모두는 결장 유사-벽부(wall-like)의 복셀로 구분된다.
각각의 결장 유사-벽부 복셀은 결장벽 복셀의 후보가 된다. 결장벽에 속하지 않는 세 가지 가능한 결과가 있다. 제1 경우는 결장 내부의 스툴/액체에 근접한 복셀에 관련된다. 제2 경우는 복셀이 폐 조직 영역에 있을 때 발생한다. 제3 경우는 점막 복셀을 나타낸다. 명백하기로는, 저레벨 분류는 분류의 불확실성 정도를 지지한다. 저레벨 분류 불확실성의 원인은 변한다. 예를 들면, 한 가지 이상의 물질 유형(즉, 액체 및 결장벽)을 포함하는 복셀로부터 얻어진 부분-체적 효과 제1 경우의 불확실성에 이른다. 제2 및 제3 경우의 불확실성은 부분 체적 효과는 물론 차이가 낮은 CT 영상 양자 모두에 기인한다. 불확실성을 해소하기 위하여, 추가의 정보가 필요하다. 따라서, 고레벨 특징 추출 처리를 본 방법에 사용하여 결장벽에 대한 후보를 종래의 CT 영상의 접합 지식에 따라 다른 결장 유사-벽부 복셀로부터 추가로 구별한다(단계 1580).
고레벨 특징 추출 처리의 초기 단계는 저레벨 분류 결과로부터 폐 조직 영역을 제거하는 것일 수 있다. 도 18a는 폐 영역(1802)을 명백하게 예시하는 예시적인 슬라이스 영상이다. 폐 영역(1802)은 도 18b에 예시된 바와 같이 결장 유사-벽부 복셀에 의하여 둘러싸인 일반적으로 연속된 3차원 체적으로 식별될 수 있다. 이 특징을 제공함으로써, 폐 영역은 영역 성장 전략을 사용하여 식별될 수 있다. 이 기술의 제1 단계는 성장 영역 내의 시드 복셀을 찾는 것이다. CT 이미지 스캔을 실행하는 조작자는 CT 스캔의 최상단 슬라이스가 임의의 결장 복셀을 포함하지 않도록 이미지 영역을 설정하는 것이 바람직하다. 폐 내부가 공기로 채워져야 하기 때문에, 시드는 공기 복셀을 간단히 선택함으로써 저레벨 분류에 의하여 제공된다. 도 18b에 도시된 폐 영역이 결정되고 나면, 폐 체적은 영상 슬라이스로부터 제거될 수 있다(도 18c).
고레벨 특징 추출을 실행하는 다음 단계는 클러스터(2)의 향상된 스툴/액체 복셀로부터 뼈 복셀을 분리시키는 것일 수 있다. 뼈 조직 복셀(1902)은 결장벽으로부터 상대적으로 멀리 떨어져서 결장 볼륨 외부에 위치되는 것이 일반적이다. 이와는 반대로, 나머지 스툴(1906, 1904)은 결장 볼륨 내부에 둘러싸인다. 종래의 근접 정보 및 저레벨 분류 프로세스로부터 얻어진 결장벽 정보를 결합함으로써, 대체적인 결장벽 체적이 생성된다, 결장벽 및 결장 볼륨 외부로부터 소정 개수(예를 들면, 3) 이상의 복셀 유닛에 의하여 선택된 임의의 복셀이 뼈로서 분류되어 이 영상으로부터 제거된다. 클러스터(2)의 나머지 복셀은 결장 볼륨 내의 스툴 및 액체를 나타내는 것일 수 있다(도 19a 내지 도 19c 참조).
스툴(1906) 및 유체(1904)로 인식되는 결장 볼륨 내의 복셀은 선명한 결장 내강 및 결장벽 영상을 생성하기 위하여 제거될 수 있다. 일반적으로, 2종류의 스툴/유체 영역이 있다. 하나는 결장벽에 부착되는 작은 스툴(1906)의 여분 영역이다. 다른 하나는 유체(1904)의 큰 볼륨이며, 베이신 형태 콜로닉 폴드(basin-like colonic fold)로 모인다(도 19a 내지 도 19c 참조).
부착된 여분의 스툴 영역(1906)은 로우 레벨 분류 과정 동안에 생성되는 거친 결장 볼륨 내에 있으므로 인식 가능하며 제거될 수 있다. 베이신 형태 결장 폴드 내의 유체(1906)는 일반적으로 중력의 영향으로 수평한 표면(1908)을 갖는다. 표면 상에는 대개 가스층이 있고, 이 가스층은 유체의 세기에 비해 매우 높은 콘트라스트를 나타낸다. 따라서, 유체 영역의 표면의 경계면을 쉽게 구별할 수 있다.
영역 성장 전략(region growing strategy)을 이용하여 부착된 스툴 영역(1906)의 윤곽을 개략적으로 형상화할 수 있으며, 결장벽 볼륨으로부터 이격한 부분을 제거할 수 있다. 유사하게, 유체 영역(1904)의 윤곽을 개략적으로 형상화할 수 있다. 수평 표면(1908)을 제거한 후, 결장벽 윤곽이 나타나고 선명한 결장벽을 얻는다.
점막 복셀(mucosa voxel)과 결장벽 복셀을 구별하는 것은 쉽지 않다. 상기 3차원 처리가 일부 점막 복셀을 제거하더라도 모든 점막 복셀을 제거하는 것은 어렵다. 광학적 결장경의 경우, 의사들은 결장의 점막을 검사하고 점막의 컬러 및 텍스처(color and texture)에 기초하여 손상부위를 찾아낸다. 가상 결장경 검사의 경우, 더 많은 정보를 보존하기 위해 결장벽 상의 대부분의 점막 복셀을 손대지 않 는다. 이것은 3차원 볼륨 렌더링에 매우 유용할 수 있다.
분할된 결장벽의 볼륨으로부터, 내부 표면, 외부 표면 및 결장벽 자체를 추출해서 가상의 물체로서 관찰할 수 있다. 이것은 결장의 내부벽은 물론 외부벽을 조사할 수 있다는 점에서 종래의 광학 결장경 검사에 비하여 뛰어난 이점을 제공한다. 또한, 결장벽과 결장 내강을 분할 영역에서 개별적으로 얻을 수 있다.
결장은 실제로 촬상에 앞서 비워지므로, 보통 직면하는 문제는 결장 내강이 점점이 수축된다는 것이다. 공기 또는 이산화탄소와 같은 압축 가스로 인한 결장의 팽창은 수축 영역의 주파수를 감소시키는 반면, 그러한 영역은 여전히 발생한다. 가상 결장경을 이용하는 경우, 상기 수축 영역을 통과하여 이동 경로를 유지하는 것이 바람직하며 또한 수축 영역 내의 결장 내강을 적어도 부분적으로 재생하도록 스캐닝된 영상 데이터를 이용하는 것이 바람직하다. 상기한 영상 세그먼트화 방법은 결장벽의 외부 및 내부 모두를 효과적으로 유추할 수 있으며, 수축 영역을 통과하는 이동 경로의 생성을 제고하는 데 이러한 정보를 이용할 수 있다.
결장의 수축 영역을 통하여 이동 경로를 확장하거나 결장의 수축 영역을 확대하는 경우, 제1 단계는 수축 영역을 검출하는 것이다. 결장벽 외부의 영상 데이터의 계조값(grayscale value)이 결장벽은 물론 지방, 근육이나 그 밖의 조직의 계조값과는 현저히 변화한다는 전제하에서, 결장 수축 영역을 검출하기 위해 엔트로피 분석을 이용할 수 있다.
계조값의 변화의 정도는, 예를 들면 중심선을 따라서 엔트로피값으로 표현되고 측정될 수 있다. 엔트로피값을 계산하기 위하여, 결장벽의 외부 표면을 선택한 다. 이 점은 상기한 영상 분할 기법으로 인식된다. 관심있는 화소에 집중하여 화소들에 5 ×5 ×5 큐빅창(cubic window)을 적용할 수 있다. 엔트로피 값을 계산하기 이전에 영상 데이터에서 노이즈(noise)를 필터링하기 위하여 작은창(3 ×3 ×3)을 적용할 수 있다. 상기 화소에 대해 선택된 엔트로피 값은 이후 다음의 식으로 결정될 수 있다.
여기서 E는 엔트로피이고 C(i)는 계조 i(i=0, 1, 2,.. 225)를 갖는 창 내의 지점의 수이다. 각각의 창에 대해 계산된 엔트로피값을 소정의 임계값과 이후 비교한다. 엔트로피 값은 공기 영역에 대하여는 조직 영역과 비교할 때 매우 낮을 것이다. 따라서, 엔트로피 값이 증가하거나 소정의 임계값을 초과하는 경우, 결장 내강을 중심선을 따라서 수축 영역이 나타난다. 정확한 임계값은 결정적인 것이 아니며 부분적으로 촬상 프로토콜 및 촬상 장치의 사양에 의존한다.
일단 수축 영역을 검출한 후, 한 개의 복셀 넓이의 네비게이션 라인을 갖는 수축 중심을 꿰뚤어(piercing) 이전에 결정한 중심선 이동 경로를 확장시킬 수 있다.
결장 내강을 통과하는 가상 카메라의 이동 경로를 자동적으로 지속시키는 외에, 수축 영역의 속성을 일부 복원하기 위하여 물리적 모델링 기법을 이용하여 결장 수축 영역을 열 수 있다. 이러한 기법에서, 결장벽의 물리적 속성의 모델이 개발되었다. 이러한 모델에서, 운동, 질량 밀도, 댐핑(damping) 밀도, 뻗기 및 휨 계수(stretching and bending coefficient)는 라그랑주 방정식으로 측정된다. 이 후, 팽창력 모델(즉, 결장으로 펌핑되는 공기와 같은 가스 또는 유체)은 라그랑주 방정식으로 정의되는 바와 같이, 결장의 탄성 속성에 따라 공식화되고 적용되어 결장 영상의 수축 영역은 자연스럽게 재기억된다.
결장을 모델링하기 위하여, 유한 요소(finite-element) 모델을 결장 내강의 수축 또는 차단 영역에 적용할 수 있다. 이는 8개 복셀 블록과 같은 규칙적인 그리드(regular grid)에서 요소를 샘플링한 다음 전통적인 볼륨 렌더링 기법을 적용하여 수행할 수 있다. 이와는 달리, 4면체와 같은 불규칙적인 볼륨 표시 방식(volume representation approach)을 수축 영역에 적용할 수 있다.
결장 모델에 외부력(공기 펌핑)을 인가할 때, 외부력의 크기는 수축된 결장벽 영역의 적절하게 분리하도록 먼저 결정된다. 3차원 성장 모델은 병렬 방식으로 내부 및 외부 결장벽 표면을 추적하는 데 이용될 수 있다. 각각의 표면은 수축 영역의 시점에서 성장 원점(source point)까지 표시되고, 힘 모델(force model)은 자연스럽게 표면을 팽창시키는 데 적용된다. 내부 및 외부 표면 사이의 영역, 즉 결장벽은 공유 영역(sharing region)으로 분류된다. 외부 반발력 모델은 자연스럽게 수축된 결장벽의 분할 영역을 분리시켜 팽창시키기 위하여 이러한 공유 영역에 적용된다.
결장과 같은 가상 물체의 특징을 보다 명확하게 가시화하기 위하여, 가상 검사를 필요로 하고, 다양한 물체의 텍스처에 대한 렌더링을 제공하는 것이 유리하다. 광학 결장경 검사에서 나타난 컬러 영상에서 관찰되는 이러한 텍스처는 CT 영 상 데이터가 제공하는 흑백이나 계조 영상에서 종종 손상된다. 따라서, 가상 검사 중의 텍스처 촬상용 시스템 및 방법이 필요하다.
도 20은 텍스처 요소를 갖는 가상 객체를 생성하는 방법을 나타내는 순서도이다. 이 방법의 목적은 가상 객체를 생성하는 데 이용되는 계조 흑백 CT 영상 데이터 상에 예를 들면 인간의 시각처럼, 적, 녹, 청(RGB)의 컬러 공간에서 광학 결장경으로 획득한 텍스처를 맵핑(mapping)하는 것이다. 광학 결장경 영상은, 비디오 카메라와 같은 카메라에서 아날로그 광 영상을 수신하는 디지털 "프레임 그래버(frame grabber)"에 의하여 상기 영상을 인터페이스 포트(1431)(도 14)를 통하여 CPU(1423)로 제공될 수 있는 디지털 데이터로 변환하는 것과 같은 종래의 디지털 영상 획득 기법으로 획득된다. 이 과정의 제1 단계는 CT 영상 데이터를 세그먼트화하는 것이다(단계 2010). 상기 영상 분할 기법은 뼈, 결장벽 조직, 공기 등과 같은 다양한 조직 형태로 CT 영상을 분류하기 위하여 계조 영상의 세기 임계값을 선택하는 데 적용된다.
CT 영상 데이터에 대하여 영상 분할을 행하는 외에, 광학 여상의 텍스처 특징을 광학 영상 데이터에서 추출할 필요가 있다(단계 2020). 이것을 행하기 위하여, 상기 데이터를 다중 해상도 피라미드(multiresolutional pyramid)로 해제하기 위한 서브 샘플링을 한 후 가우스 필터(gausian filter)를 광학 영상 데이터에 적용할 수 있다. 상기 데이터의 지향성 및 비지향성 특징(oriented and non-oriented feature)을 획득하기 위하여 라플라스 필터(laplcian filter) 및 조절 가능 필터(steerable filter)를 다중 해상도 피라미드에 적용할 수 있다. 상기 방법 이 텍스처의 특징을 추출하고 포착하는 데 유리한 반면, 이러한 접근의 구현은 대용량의 메모리 및 처리 전원을 필요로 한다.
광학 영상에서 텍스처 특징을 추출하는 다른 접근은 웨이블릿 변환(wavelet transform)을 이용하는 것이다. 하지만, 웨이블릿 변환은 일반적으로 컴퓨터로 계산하는 데 유리한 반면, 축(axes)에 나란한 방향을 갖는 특징만을 포착할 수 있고 관심 대상의 영역에는 직접 적용할 수 없다는 점에서 종래의 웨이블릿 변환은 제한적이다. 이러한 제한을 극복하기 위하여, 비분리형 필터를 채용할 수 있다. 예를 들면, 2 단계, 즉 예측 및 갱신 접근을 이용하여 임의의 차원에서 웨이블릿 변환용 필터 뱅크(filter bank)를 구축하기 위하여 리프팅 방식(lifting scheme)을 채용할 수 있다. 다차원 다항식 보간용 부어 롬 연산(Boor-Rom algorithm for multidimensional polynomial interpolation)으로 상기 필터 뱅크를 합성할 수 있다.
텍스처 특징을 광학 영상 데이터로부터 추출한 후, 이러한 특징을 기술하도록 모델을 생성해야 한다(단계 2030). 예를 들면, 자연적인 텍스처에 기인하는 비가우스 분포(non-Gaussian distribution)의 엔트로피를 평가 및 조작하는 것에 기초한 비모수적 다척도(non-parametric multi-scale) 통계 모델을 사용함으로써 이를 수행할 수 있다.
일단 광학 영상 데이터로부터 텍스처 모델을 생성하면, 이들 모델을 분할된 CT 영상 데이터와 서로 관련시키도록 텍스처 매칭을 수행해야 한다(단계 2050). 텍스처가 연속적인 CT 영상 데이터의 영역에서, 텍스처의 상응하는 클래스를 쉽게 일치시킬 것이다. 그러나, 2개 이상의 텍스처 영역의 경계 영역에서, 절차는 복잡하다. 경계 영역 주위의 CT 데이터의 분할은 종종 퍼지(fuzzy) 데이터를 초래한다. 즉, 결과는 각 재료 또는 조직(tissue)에서의 텍스처의 퍼센트를 반영하며, 각각의 다양한 가중치에 따라 변한다. 가중 퍼센트를 매칭 기준의 중요성을 설정하는 데 사용할 수 있다.
비모수적 다척도 통계 모델의 경우에, 경계 영역에서 상이한 텍스처의 분포를 측정하는데 교차 엔트로피(cross entrophy) 또는 쿨백 라이블러(Kullback-Leiber) 발산 알고리즘을 사용할 수 있다.
텍스처 매칭 후, CT 영상 데이터 상에서 텍스처 합성을 수행한다(단계 2050). 광학 영상 데이터로부터의 텍스처를 CT 영상 데이터로 합성함으로써 이를 행한다. 뼈에서 나타나는 것과 같은 등방성 텍스처 패턴에 대해서, 텍스처는 광학 데이터로부터 분할된 CT 영상 데이터로 직접 샘플링될 수 있다. 결장 점막과 같은 이방성 텍스처 영역에 대해서, 다중 분해(multiresolution) 샘플링 절차가 바람직하다. 이 절차에서, 동종 및 이종 영역에 대한 선택적인 재샘플링(re-sampling)이 사용된다.
볼륨 렌더링(volume rendering)
위에서 설명한 영상 분할 및 텍스처 맵핑 외에, 볼륨 렌더링 기술을 가상 결장경 검사(virtual colonoscopy) 처리와 함께 사용하여 결과 영상의 충실도(fidelity)를 더욱 향상시킬 수 있다. 도 21은 본 발명에 따른 볼륨 렌더링을 위해 사용할 수 있는 투시(perspective) 볼륨 광산 투영(ray-casting) 방법을 나타 낸다. 결장 내강 내에서와 같이 선택된 가상 지점, 예를 들면 카메라 위치로부터, 광선이 각각의 가장 가까운 영상 화소를 통해 투영된다(단계 2100). 각 광선에 대해, 제1 샘플링 지점은 광선을 따라 현재 영상 화소로 설정된다(단계 2110). 현재 샘플링 지점과 가장 가까운 결장벽(colon wall) 사이의 거리(d)를 다음에 결정한다(단계 2120). 현재 거리(d)는 미리 결정된 샘플링 간격(i)과 비교된다(단계 2130). 거리(d)가 샘플링 간격(i)보다 크다면, 어떤 샘플링도 일어나지 않고 광선을 따라 다음 샘플링 지점이 광선을 따라 그 거리(d)만큼 비월(jumping)하여 결정된다(단계 2140). 거리가 샘플링 간격(i)보다 같거나 작으면, 이 지점에서 전통적인 샘플링이 수행되고(단계 2150) 다음 샘플링 지점이 샘플링 간격(i)에 따라서 선택된다(단계 2160). 예를 들면, 8개의 이웃하는 복셀의 밀도값 사이의 트라이리니어(trilinear) 보간법을 샘플링 지점에서 새로운 밀도값을 결정하기 위해 수행할 수 있다.
결장벽부로 영상 평면의 광선을 따라 빈 공간을 빠르게 비월하기 위해 공간 도약(space leaping) 기술을 사용할 수 있으므로 도 21의 방법은 효과적으로 광선 투영을 촉진한다. 이 방법에서, 샘플링 지점에서 가장 가까운 결장벽까지의 거리는 각 광선을 따라 결정된다. 거리가 미리 결정된 샘플링 간격(i)보다 크다면, 광선을 따라 다음 샘플링 지점까지의 비월이 수행된다. 가장 가까운 거리 정보는 가상 카메라 제어를 위해 사용하는 전위계로부터 이용할 수 있으므로, 추가적인 거리 코딩 계산이 필요하지 않다. 이 경우에, 표면 렌더링 또는 Z-버퍼 변환도 필요하지 않아서, 전처리 시간 및 메모리 공간을 절약할 수 있다.
다른 방법으로, 공간 도약 방법은 상응하는 표면 렌더링 영상의 Z-버퍼로부터 각 광선에 대한 거리 정보를 유도할 수 있다. 표면 렌더링 영상 및 볼륨 렌더링 영상이 모두 생성되면, 표면 렌더링 방법의 결과로서 Z-버퍼 정보가 제공되므로 이러한 방법은 처리 총부하(overhead burden)를 최소로 한다. 따라서, 이러한 형태의 공간 도약 방법은 영상 공간 도메인에서 실제 공간 도메인으로 길이 변환을 수행하기 위한 추가적인 처리만을 필요로 한다.
단계 2140에서 거리(d)를 가로지른 광선을 따라 있는 영역에 대해, 광선을 따라 있는 영역은 개방 공간(open space)에 상응하고 개방 공간 전달 함수에 따라서 값이 할당될 수 있다. 통상, 개방 공간은 최종 픽셀값에 기여하지 않을 것이다. 샘플링이 일어나는 각 지점에서, 원래 볼륨 데이터의 샘플값의 상이한 범위를 상이한 색깔과 불투명도(opacity) 및 어쩌면 기타 다른 표시 가능한 파라미터에 대하여 맵핑하기 위해 하나 이상의 정의된 전달 함수를 할당할 수 있다. 예를 들면, CT 밀도값의 범위를 각각 0에서 255가지의 범위인 빨강, 초록, 파랑 및 불투명의 지정된 색으로 맵핑하여 상이한 재료를 결정하는데 4개의 독립 전달 함수를 사용하였다.
가상 생체 검사(virtual biopsy)
위에서 설명한 기술은 또한 가요성(flexible) 및 비침입성(non-invasive) 생체 검사를 달성하는데 시험되고 있는 영역의 가상 전자 생체 검사를 수행하기 위한 시스템의 기초를 형성할 수 있다. 위에서 설명한 바와 같이, 볼륨 렌더링 기술은 하나 이상의 정의된 전달 함수를 사용하여 원래 볼륨 데이터의 샘플값의 상이한 범 위를 상이한 색, 불투명도(opacity) 및 네비게이션과 관찰을 위한 기타 다른 표시 가능한 파라미터에 대하여 맵핑한다. 네비게이션하는 동안, 선택된 전달 함수는 일반적으로 최대 불투명도를 결장벽에 할당하므로 외부 표면은 쉽게 관찰된다. 일단 가상 검사 동안 의심스러운 영역이 검출되면, 의사는 볼륨 렌더링 절차동안 할당된 전달 함수를 대화식으로 변경하여, 관찰되는 외부 표면은 실질적으로 투명하게 되고, 영역 정보가 합성되어 영역의 내부 구조를 관찰할 수 있을 것이다. 다수의 미리 결정된 전달 함수를 사용하여, 처리하는 동안 할당된 불투명도를 변경하면서 의심스러운 영역을 다수의 다른 깊이에서 관찰할 수 있다.
폴립 검출(polyp detection)
자동화된 폴립 검출을 수행하는데 이 시스템 및 방법을 사용할 수 있다. 도 13을 참조하여, 예를 들면 결장 내에서 생기는 폴립(1305)은 일반적으로 결장벽(1301)으로부터 연장되는 작은 볼록한 언덕 모양 구조의 형태를 취한다. 이러한 형상은 결장벽의 주름과는 구별된다. 따라서, 결장벽에서 이러한 폴립을 검출하는데 미분 기하 모델(differential geometry model)을 사용할 수 있다.
C-2 평탄 표면 모델(C-2 smoothness surface model) 등을 사용함으로써, 결장 내강의 표면을 3차원 유클리드 공간에서 연속 2차 미분 가능한 표면으로 표현할 수 있다. 이러한 모델은 스프링거 버랙(Springer-Verlag)에서 간행된 비 에이 두브로빈(B. A. Dubrovin) 등의 "현대 기하학 방법 및 응용(Modern Geometry Methods and Applications)"에 기술되어 있으며, 이를 여기에 인용함으로써 기재된 내용을 본 명세서에 포함한다. 이러한 모델에서, 결장 표면 위의 각 복셀은 가우스 곡률 장(Gauss curvature fields)으로 인용되는 가우스 곡률을 가지는 연관된 기하학적 특징을 가진다. 폴립을 나타낼 지도 모르는 표면 위의 볼록한 언덕은 가우스 곡률장에서 독특한 국부적 특징을 가진다. 따라서, 특정의 국부적 특징에 대한 가우스 곡률 길이를 검색함으로써, 폴립을 검출할 수 있다. 일단 검출되면, 의심스러운 폴립은 강조되어서 의사의 주의를 환기시키므로, 의사는 의심스러운 폴립을 평가하고 위에서 설명한 가상 생체 검사 방법을 사용하여 의심스러운 영역을 더욱 조사할 수 있다.
중앙 이동 경로 생성(central fly-path generation)
가상 결장경 검사의 경우에, 결장간을 통한 적당한 항로(navigation line) 또는 이동 경로는 설명한 시스템 및 방법의 중요한 포인트이다. 가상 카메라 모델의 이동 경로를 결정하는 기술을 도 4 내지 8을 참조하여 설명하였지만, 도 22는 결장 내강을 통한 중앙 이동 경로를 생성하는 다른 방법을 나타낸다. 결장벽이 확인된 후, 여기에 설명된 영상 분할 방법 등으로서, 결장 내강의 경향(trend)을 강조하고 결장 볼륨 내의 연속적인 검색 시간을 줄이기 위해 볼륨 수축(volume shrinking) 알고리즘을 사용할 수 있다.
도 23은 다해상도 분석 모델에 기초한 예시적인 볼륨 축소 알고리즘의 단계들을 추가로 예시한다. 이 과정에서, 3차원 볼륨을 동일한 매트릭스 크기를 가지는 2진 영상의 스택으로 나타낸다(단계 2310). 이러한 영상을 모아서 2진 데이터 세트를 형성한다. 이산 웨이브렛(wavelet) 변형을 2진 데이터 세트에 적용할 수 있고, 이로부터 2진 데이터 세트의 서로 다른 시간-주파수 성분을 나타내는 다수의 서브 데이터 세트를 산출한다(단계 2320). 예를 들면, 이산 웨이브렛 변형은 8개의 서브 데이터 세트를 산출할 수 있다. 서브 데이터 세트는 소정의 임계치와 비교되어 최저 주파수 성분을 확인한다(단계 2330). 이러한 성분은 다음의 이산 웨이브렛 변형 및 임계치와의 비교 단계용 이진 데이터 세트를 형성하고, 이것은 되풀이되어 다해상도 구조에 적용된다(단계 2340). 가상 결장경의 경우, 이산 웨이브렛 변형 및 관련 임계치는 최저 주파수 성분(3단계 다해상도 분해)을 나타내는 다음의 서브 데이터 세트에 반복하여 3회 적용될 수 있다.
도 22를 다시 살펴보면, 축소 결장 볼륨 모델로부터 결장의 양단, 예를 들면 직장에서부터 맹장까지의 최소 거리 경로를 구하도록 거리 맵 기술을 채택할 수 있다(단계 2215). 산출된 경로는 결장 내강의 전체 경향 정보를 간직하지만, 국부적으로 접혀 있어서 나타나는 경향은 무시한다. 다음으로 전체 결장 내의 제어 지점들은 최단 거리 경로를 원래의 데이터 공간으로 되돌리도록 맵핑함으로써 결정할 수 있다(단계 2220). 예를 들면, 3단계 다해상도 분해의 경우, 축소된 볼륨은 원래 볼륨 및 이와 밀접한 변형보다 3배 작은데, 여기서 잘 알려진 원래 볼륨 및 이와 밀접한 변형은 축소된 볼륨 모델을 정확히 원래 크기의 볼륨으로 되돌리는 데 사용할 수 있다. 축소치의 최소 거리 경로도 결장내에 제어 지점으로 사용할 수 있는 일련의 점으로서 원래 크기의 볼륨으로 되돌리도록 맵핑할 수 있다.
바람직한 이동 경로는 결장 내강의 중심선 상에 위치한다. 그러나 초기의 제어 지점들은 결장 내강의 중앙에 정확히 위치하지 않아도 된다. 따라서 초기 제어 지점은 양분면(bi-section plane) 알고리즘을 사용하는 식으로 중앙에 배치될 수 있다(단계 2230). 예를 들면, 각 선택된 제어 지점에서, 양분면은 트렌드 방향의 수직면과 결장 내강을 절단하는 면으로 정의할 수 있다. 다음으로 최대 디스크 알고리즘 등의 집중 알고리즘을 각 양분면상에서 실행할 수 있다. 이러한 알고리즘은 본 명세서에 참조되고 있는 "IEEE Transactions on PAMI" 18권 p.1055-1066에 Ge등이 저술한 "이산 유클리드 거리 맵으로부터의 골격 생성"에 설명되어 있다.
제어 지점을 중앙에 배치하는 경우, 이러한 지점들을 연결하는 선을 보간함으로써 이동 경로를 결정할 수 있다(단계 2240). 가상 결장경의 경우, 보간된 이동 경로는 결장 내강 내에 실질적으로 중앙에 배치된 부드러운 곡선 형태를 취한다. 미분 기하학 이론에서 Serret-Frenet 원리에 기초한 속박 입방체 B-스플라인 보간 알고리즘은 1992년 캠브리지 대학 출판사 제2판의 Press 등이 기재한 "C에서의 수리 방법: 과학적 계산의 예술"에 기재한 것처럼 적절하고 부드럽게 휘어진 이동 경로를 확립하는 데 사용할 수 있다.
도 24의 세그먼트화된 결장 내강에 대한 도면 및 도 25의 순서도는 본 발명에 따른 또 다른 이동 경로 생성 방법을 설명한다. 이러한 대안적인 방법에서, 결장 내강(2400)은 결장 내강(2400)의 길이를 따라 다수의 세그먼트(2402a 내지 2402g)로 우선 나누어진다(단계 2510). 각 세그먼트(2402)내에서 대표 지점(2404a 내지 2404g)을 선택한다(단계 2520). 다음으로 각 대표 지점(2404a 내지 2404g)은 그 지점을 대표 세그먼트의 중앙쪽으로 밀도록 사용되는 물리적 기반의 변형가능한 모델(physically based deformable model)을 사용하는 등의 방법으로 결장벽의 중앙에 위치한다(단계 2530). 대표 지점을 중앙에 배치한 후, 가상 카메라 모델용 중심선 이동 경로를 확립하기 위하여 지점을 차례로 연결한다(단계 2540). 길이 상으로 세그먼트가 충분히 작은 경우, 중앙 지점을 직선 세그먼트(2406a 내지 2406f)로 연결할 수 있다. 그러나 선형 곡선 적정화 기술을 중앙 지점 연결에 적용하는 경우, 보다 부드럽고 연속적인 이동 경로를 확립한다.
전술한 각 방법은 CPU(1409) 및 CPU(1423)의 동작을 제어하도록 공급한 독자적 소프트웨어로 도 14에 나타낸 시스템을 사용하여 이행할 수 있다.
개인용 컴퓨터에서의 전개에 적합한 또 다른 하드웨어 실시예를 도 26에 도시한다. 시스템은 고속형 프로세서(2600)를 포함하며, 이는 400MHz를 초과하는 클록 속도로 작동하는 펜티엄 Ⅲ 프로세서 등의 멀티태스킹 프로세서이다. 프로세서(2600)는 고속 병렬 데이터 전송용으로 제공하는 종래의 버스 구조(2620)와 결합된다. 또한 버스 구조(2620)와 결합하는 것은 메인 메모리(2630), 그래픽 카드(2640) 및 볼륨 렌더링 보드(2650)이다. 그래픽 보드(2640)는 Diamond Multimedia systems사에서 제조한 Diamond Viper v770 Ultra 등의 텍스쳐 맵핑을 실행할 수 있는 것이 바람직하다. 볼륨 렌더링 보드(2650)는 여기서 참조로 결합된 미국 특허 제5,760,781호 및 제5,847,711호에 기반을 둔 Mitsubishi Electric사로부터의 VolumePro 보드형을 택할 수 있다. 종래의 SVGA 또는 RGB 모니터 등의 화면 표시 장치(2645)는 영상 데이터를 표시하기 위하여 그래픽 보드(2640)에 결합하여 작동한다. 스캐너 인터페이스 보드(2660)도 MRI 또는 CT 스캐너 등의 영상 스캐너로부터 데이터를 수신하고, 이 데이터를 버스 구조(2620)에 전송하도록 제공된다. 스캐너 인터페이스 보드(2600)는 선택된 영상 스캐너용의 애플리케이션 특 정 인터페이스 제품이 될 수 있거나 일반 목적의 입/출력 카드 형태가 될 수 있다. PC 기반 시스템(2600)은 키보드, 디지털 포인터(예를 들면 마우스) 등의 입출력 장치(2680)를 프로세서(2620)에 연결하기 위한 입출력 인터페이스(2670)를 일반적으로 포함한다. 또는 입출력 인터페이스는 버스(2620)를 경유하여 프로세서(2620)에 연결될 수 있다.
텍스처 합성 및 볼륨 렌더링을 포함하는 3차원 영상의 경우, 수많은 데이터 핸들링 및 처리 동작을 필요로 한다. 큰 데이터 세트에 있어서 결장 내강과 그 주변 영역으로 나타낸 것과 이러한 처리는 시간과 메모리가 많이 소요될 수 있다. 그러나 도 27의 순서도에서 나타낸 처리 방법에 따라 도 26의 형태를 사용하면, 이러한 동작은 비교적 저렴한 PC에서 실행할 수 있다. 영상 데이터를 프로세서(2620)로 수신하고, 스캐너 인터페이스 보드(2660) 및 버스 구조(2620)를 경유하여 메인 메모리(2630)에 저장한다. 영상 데이터(화소)를 볼륨 성분(복셀) 영상으로 변환한다(단계 2710). 메인 메모리(2630)에 저장하는 볼륨 영상을 예를 들면 주요 볼륨축 또는 영상화된 영역의 기타 부분을 따라 얇게 분할한다(단계 2720). 다음으로 볼륨 분할부를 볼륨 렌더링 보드로 전송하여 볼륨 렌더링 동작용 볼륨 렌더링 메모리(2655)에 잠시 저장한다(단계 2730). 전체 볼륨의 각 분할부의 렌더링 동안 데이터가 버스(2620)를 경유하여 교환될 필요가 없기 때문에, 국부적으로 상주하는 볼륨 렌더링 메모리(2655)를 사용하여 볼륨 렌더링시의 속도를 향상시킨다. 볼륨 렌더링을 각 분할부마다 완료하는 경우, 렌더링된 데이터를 메인 메모리(2630)나 연속 버퍼내의 그래픽 보드(2640)로 되돌려 전송한다. 관계된 모든 분 할부를 렌더링한 후, 연속 버퍼의 내용을 표시부(2645)상의 표시용 그래픽 보드(2640)로 처리한다(단계 2750).
전술한 바는 단지 본 발명의 개념을 설명할 뿐이다. 따라서 당업자는 여기서 명백하게 나타내거나 기술하지는 않았지만, 청구항에서 정의한 본 발명의 사상과 범위 내에서 본 발명의 개념을 포함하는 다양한 시스템, 장치 및 방법을 고안할 수 있다.
예를 들면 여기서 기술한 방법과 시스템은 동물, 물고기 또는 무생물 객체를 가상으로 시험하는 데 적용할 수 있다. 의료 분야에서의 전술한 사용 이외에도 열 수 없는 밀봉된 물체의 내부를 탐지하는 데에 기술을 적용할 수 있다. 또한 이 기술은 빌딩, 동굴 등의 건축 구조내에서 사용될 수도 있고 작동자가 구조를 통하여 이동하게 할 수도 있다.