KR20230108198A - 메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치 - Google Patents

메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치 Download PDF

Info

Publication number
KR20230108198A
KR20230108198A KR1020220098787A KR20220098787A KR20230108198A KR 20230108198 A KR20230108198 A KR 20230108198A KR 1020220098787 A KR1020220098787 A KR 1020220098787A KR 20220098787 A KR20220098787 A KR 20220098787A KR 20230108198 A KR20230108198 A KR 20230108198A
Authority
KR
South Korea
Prior art keywords
transformation matrix
matching
determining
mesh model
processor
Prior art date
Application number
KR1020220098787A
Other languages
English (en)
Inventor
김성민
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Publication of KR20230108198A publication Critical patent/KR20230108198A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

일 실시예에 따른 정합을 위한 변환 행렬 결정 장치는, 환자의 신체 부위를 모델링한 메쉬 모델(mesh model)에 대한 제1 사용자 입력에 기초하여, 상기 메쉬 모델의 제1 좌표계를 따르는 제1 위치를 획득하고, 상기 환자의 상기 신체 부위에 대한 제2 사용자 입력의 트래킹(tracking)에 기초하여, 상기 신체 부위에서 제2 좌표계를 따르는 제2 위치를 획득하며, 상기 메쉬 모델로부터 검출된 특징점들(feature points) 중 상기 제1 위치 주변의 특징점들에 기초하여 상기 메쉬 모델에서 후보 영역을 결정하고, 상기 획득된 제1 위치, 상기 획득된 제2 위치, 및 상기 제1 좌표계와 상기 제2 좌표계 간 좌표 변환을 위한 변환 행렬에 기초하여, 상기 결정된 후보 영역 내의 후보 위치 중에서 새로운 제1 위치를 결정하며, 상기 결정된 새로운 제1 위치에 기초하여 상기 변환 행렬을 업데이트하는 프로세서를 포함할 수 있다.

Description

메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING TRANSFORMATION MATRIX FOR IMAGE REGISTRATION THROUGH COORDINATE TRANSFORMATION BETWEEN MESH MODEL AND TRACKING DATA}
이하, 정합을 위한 변환 행렬 결정 방법에 관한 기술이 개시된다.
영상과 실공간 정합(image-physical space registration)은, 수술실(operation room; OR)의 물리적 오브젝트를 이미지 좌표 1-4의 보기(view)와 같이 정렬하는 대응하는 변환(transformation)을 지원하기 때문에, 영상 유도 수술(Image-guided Surgery; IGS)의 절차로서 필수적이다. "보기(view)"는 컴퓨터 단층 촬영(Computer Tomography; CT) 또는 자기 공명 영상(Magnetic Resonance Imaging; MRI) 이미지와 같은 의료 이미지 또는 오브젝트에서 생성되고 3D 슬라이서와 같은 이미징 도구에 표시되는 3D 모델로 정의될 수 있다. 변환을 수행하기 위하여, 이미지 좌표와 환자 좌표로부터의 두 개의 포인트 집합들 간의 정합은 필수적일 수 있다. 기점 마커(fiducial marker)에 의존하는 정합은, 외과의가 영상 데이터와 환자에서 대응하는 쌍을 이루는 포인트들을 쉽게 결정할 수 있기 때문에, 수술 가이드 및 네비게이션에 널리 사용될 수 있다.
일반적인 수술 가이드 절차의 경우, 기점 마커는 일반적으로 외과적 병변(surgical lesion) 주변 표면에 부착될 수 있다. 특히 접착 마커(adhesive marker)는, 수술 가이드 용 기점 마커 중 가장 널리 사용되는 마커로서, 날카로운 돌출부나 모서리 및 거친 표면이 아닌 부드러운 표면에 부착되어 수술 전 영상자료 획득에서부터 수술실에서의 정합 절차까지 움직임 없이 동일한 위치에 유지될 수 있다. 그렇지 않으면, 기점 마커는, 마커와 환자 표면 사이의 약한 접촉으로 인해 원래 위치에서부터 다른 위치로 이동될 수 있다. 이 시나리오는 이미지 데이터 및 환자의 기점 마커 간의 일치의 파괴를 유발하고, 정렬 불량 및 정합 정확도 저하의 원인이 될 수 있다. 잘못된 정합은, 높은 정확도가 요구되는 신경외과 수술에서의 정합 오차로 인해 환자에게 위험한 상황을 초래할 수 있다. 일부 수술들의 경우, 관절 성형술(arthroplasty)이나 정형 외과(orthopedics)의 척추경 나사 배치(pedicle screw placement)와 같이 기점 마커를 적용하는 것이 적절하지 않을 수 있다. 이러한 수술들의 경우, 기점 마커를 사용하여 이미지 데이터와 환자에서 대응하는 쌍을 이루는 포인트들을 구축하고 유지하는 것이 어려울 수 있다. 이러한 경우들에서, 마커리스(markerless) 정합 절차가 필요할 수 있다.
일 실시예에 따른 프로세서에 의하여 수행되는 정합을 위한 변환 행렬을 결정하는 방법은, 환자의 신체 부위를 모델링한 메쉬 모델(mesh model)에 대한 제1 사용자 입력에 기초하여, 상기 메쉬 모델의 제1 좌표계를 따르는 제1 위치를 획득하는 단계, 상기 환자의 상기 신체 부위에 대한 제2 사용자 입력의 트래킹(tracking)에 기초하여, 상기 신체 부위에서 제2 좌표계를 따르는 제2 위치를 획득하는 단계, 상기 메쉬 모델로부터 검출된 특징점들(feature points) 중 상기 제1 위치 주변의 특징점들에 기초하여 상기 메쉬 모델에서 후보 영역을 결정하는 단계, 상기 획득된 제1 위치, 상기 획득된 제2 위치, 및 상기 제1 좌표계와 상기 제2 좌표계 간 좌표 변환을 위한 변환 행렬에 기초하여, 상기 결정된 후보 영역 내의 후보 위치 중에서 새로운 제1 위치를 결정하는 단계, 및 상기 결정된 새로운 제1 위치에 기초하여 상기 변환 행렬을 업데이트하는 단계를 포함할 수 있다.
상기 제1 위치를 획득하는 단계는, 상기 메쉬 모델의 복수의 꼭지점들(vertices) 중에서, 상기 제1 사용자 입력이 지시하는 지점과 가장 가까운 꼭지점의 위치를 제1 위치로 결정하는 단계를 포함할 수 있다.
상기 제1 위치를 획득하는 단계는, 상기 환자의 신체 부위에 대하여 촬영된 CT(Computer tomography) 이미지, MRI(Magnetic Resonance Imaging) 이미지, 및 PET(positron emission tomography) 이미지 중 적어도 하나를 포함하는 상기 입체 이미지 데이터에 나타난 골격 및 장기 중 적어도 하나의 표면(surface)을 표현하는 상기 메쉬 모델을 생성하는 단계 및 상기 생성된 메쉬 모델에 대한 상기 제1 사용자 입력에 기초하여, 상기 제1 위치를 획득하는 단계를 포함할 수 있다.
상기 제2 위치를 획득하는 단계는, 광학 트래킹 시스템(optical tracking system) 및 전자기 트래킹 시스템(electromagnetic tracking system) 중 하나의 트래킹 시스템을 통해, 상기 환자의 골격 및 장기 중 적어도 하나에서 상기 제2 위치를 획득하는 단계를 포함할 수 있다.
상기 새로운 제1 위치를 결정하는 단계는, 상기 획득된 제1 위치 및 상기 획득된 제2 위치의 포인트 쌍(point pair)에 기초하여, 상기 제2 위치를 상기 제2 좌표계로부터 상기 제1 좌표계로 변환하는 상기 변환 행렬을 계산하는 단계를 포함할 수 있다.
상기 변환 행렬을 계산하는 단계는, 상기 제2 위치에 임시 변환 행렬을 적용하여 상기 제1 좌표계를 따르는 위치를 계산함으로써, 상기 제2 위치로부터 변환된 위치를 획득하는 단계 및 상기 제2 위치로부터 변환된 위치 및 상기 제1 위치 간의 차이에 기초하여 상기 임시 변환 행렬을 업데이트함으로써, 상기 차이가 최소화되는 변환 행렬을 계산하는 단계를 포함할 수 있다.
상기 후보 영역을 결정하는 단계는, 상기 제1 위치로부터 미리 결정된 거리 내의 특징점들의 분포의 기하학적 특징(geometrical feature)에 기초하여 상기 후보 영역을 결정하는 단계를 포함할 수 있다.
상기 후보 영역을 결정하는 단계는, 상기 제1 위치로부터 미리 결정된 거리 내의 특징점들에 대하여 수행된 주성분 분석(Principal Component Analysis; PCA)에 기초하여 후보 영역을 결정하는 단계를 포함할 수 있다.
상기 주성분 분석에 기초하여 후보 영역을 결정하는 단계는, 상기 주성분 분석으로부터 획득된 주성분(principal component)에 대한 변동(variation)에 기초하여 결정된 타원체(ellipsoidal solid)의 내부 영역으로 후보 영역을 결정하는 단계를 포함할 수 있다.
상기 주성분 분석에 기초하여 후보 영역을 결정하는 단계는, 상기 주성분 분석으로부터 획득된 복수의 고유 값들(eigen values) 간의 차이가 임계 차이 이하인 것에 기초하여, 상기 제1 위치를 중심으로 하고 상기 미리 결정된 길이 보다 짧은 길이를 반지름으로 하는 구(sphere)의 내부 영역을 후보 영역으로 결정하는 단계를 포함할 수 있다.
상기 새로운 제1 위치를 결정하는 단계는, 상기 제2 위치에 상기 변환 행렬을 적용함으로써 획득된, 상기 제1 좌표계를 따르는 변환된 위치와 가장 가까운 상기 메쉬 모델의 꼭지점을 상기 새로운 제1 위치로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 정합을 위한 변환 행렬 결정 장치는, 환자의 신체 부위를 모델링한 메쉬 모델(mesh model)에 대한 제1 사용자 입력에 기초하여, 상기 메쉬 모델의 제1 좌표계를 따르는 제1 위치를 획득하고, 상기 환자의 상기 신체 부위에 대한 제2 사용자 입력의 트래킹(tracking)에 기초하여, 상기 신체 부위에서 제2 좌표계를 따르는 제2 위치를 획득하며, 상기 메쉬 모델로부터 검출된 특징점들(feature points) 중 상기 제1 위치 주변의 특징점들에 기초하여 상기 메쉬 모델에서 후보 영역을 결정하고, 상기 획득된 제1 위치, 상기 획득된 제2 위치, 및 상기 제1 좌표계와 상기 제2 좌표계 간 좌표 변환을 위한 변환 행렬에 기초하여, 상기 결정된 후보 영역 내의 후보 위치 중에서 새로운 제1 위치를 결정하며, 상기 결정된 새로운 제1 위치에 기초하여 상기 변환 행렬을 업데이트하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 메쉬 모델의 복수의 꼭지점들(vertices) 중에서, 상기 제1 사용자 입력이 지시하는 지점과 가장 가까운 꼭지점의 위치를 제1 위치로 결정할 수 있다.
상기 프로세서는, 상기 환자의 신체 부위에 대하여 촬영된 CT(Computer tomography) 이미지, MRI(Magnetic Resonance Imaging) 이미지, 및 PET(positron emission tomography) 이미지 중 적어도 하나를 포함하는 상기 입체 이미지 데이터에 나타난 골격 및 장기 중 적어도 하나의 표면(surface)을 표현하는 상기 메쉬 모델을 생성하고, 상기 생성된 메쉬 모델에 대한 상기 제1 사용자 입력에 기초하여, 상기 제1 위치를 획득할 수 있다.
상기 프로세서는, 광학 트래킹 시스템(optical tracking system) 및 전자기 트래킹 시스템(electromagnetic tracking system) 중 하나의 트래킹 시스템을 통해, 상기 환자의 골격 및 장기 중 적어도 하나에서 상기 제2 위치를 획득할 수 있다.
상기 프로세서는, 상기 획득된 제1 위치 및 상기 획득된 제2 위치의 포인트 쌍(point pair)에 기초하여, 상기 제2 위치를 상기 제2 좌표계로부터 상기 제1 좌표계로 변환하는 상기 변환 행렬을 계산할 수 있다.
상기 프로세서는, 상기 제2 위치에 임시 변환 행렬을 적용하여 상기 제1 좌표계를 따르는 위치를 계산함으로써, 상기 제2 위치로부터 변환된 위치를 획득하고, 상기 제2 위치로부터 변환된 위치 및 상기 제1 위치 간의 차이에 기초하여 상기 임시 변환 행렬을 업데이트함으로써, 상기 차이가 최소화되는 변환 행렬을 계산할 수 있다.
상기 프로세서는, 상기 제1 위치로부터 미리 결정된 거리 내의 특징점들의 분포의 기하학적 특징(geometrical feature)에 기초하여 상기 후보 영역을 결정할 수 있다.
상기 프로세서는, 상기 제1 위치로부터 미리 결정된 거리 내의 특징점들에 대하여 수행된 주성분 분석(Principal Component Analysis; PCA)에 기초하여 후보 영역을 결정할 수 있다.
상기 프로세서는, 상기 주성분 분석으로부터 획득된 주성분(principal component)에 대한 변동(variation)에 기초하여 결정된 타원체(ellipsoidal solid)의 내부 영역으로 후보 영역을 결정할 수 있다.
상기 프로세서는, 상기 주성분 분석으로부터 획득된 복수의 고유 값들(eigen values) 간의 차이가 임계 차이 이하인 것에 기초하여, 상기 제1 위치를 중심으로 하고 상기 미리 결정된 길이 보다 짧은 길이를 반지름으로 하는 구(sphere)의 내부 영역을 후보 영역으로 결정할 수 있다.
상기 프로세서는, 상기 제2 위치에 상기 변환 행렬을 적용함으로써 획득된, 상기 제1 좌표계를 따르는 변환된 위치와 가장 가까운 상기 메쉬 모델의 꼭지점을 상기 새로운 제1 위치로 결정할 수 있다.
본 명세서에서는, 정합 절차를 수술 환경에 원활하게 적용할 수 있는 추가 절차나 장치 없이, 후보 영역 모델(또는, 동적 터치 가능 영역 모델(dynamic touchable region model)이라고도 표현됨)을 적용함으로써, 마커리스 정합에 대한 정합 정확도를 향상시키기 위한 새로운 정합 프레임워크가 제안될 수 있다. 수술 중 정합을 위해 의사가 자유롭게 터치할 수 있는 후보 영역(또는, 동적 터치 가능 영역(dynamic touchable region; DTR)이라고도 표현됨)을 정의하는 것에 초점이 맞춰질 수 있고, 영역의 크기와 모양이 영역의 분포 패턴에 따라 변경될 수 있다.
도 1은 일 실시예에 따른 메쉬 모델(mesh model)의 제1 좌표계 및 트래킹 데이터(tracking data)의 제2 좌표계 간의 정합(image registration)을 나타낸다.
도 2는 일 실시예에 따른 정합을 위한 변환 행렬을 결정하는 변환 행렬 결정 장치의 블록도를 도시한다.
도 3은 일 실시예에 따른 정합을 위한 변환 행렬을 결정하는 방법을 나타낸다.
도 4는 일 실시예에 따른 제1 위치 및 제2 위치의 포인트 쌍을 획득하는 동작을 나타낸다.
도 5는 일 실시예에 따른 제1 위치에 대응하는 후보 영역의 결정을 나타낸다.
도 6은 일 실시예에 따른 팬텀(phantom)의 메쉬 모델에서의 임시 후보 영역 및 후보 영역의 예시다.
도 7은 일 실시예에 따른 임시 후보 영역의 기하학적 특징에 따른 후보 영역의 결정을 나타낸다.
도 8는 일 실시예에 따른 변환 행렬의 계산 동작을 설명한다.
도 9는 일 실시예 및 비교 실시예에 따른 정합 방법들의 비교를 위한 기하학적 모델(geometrical model)의 예시다.
도 10은 일 실시예에 따른 정합 방법의 평가를 위한 두개골 팬텀의 예시다.
도 11은 일 실시예에 따른 정합 방법의 평가를 위한 척추 팬텀의 예시다.
도 12은 일 실시예에 따른 정합 방법의 평가를 위한 분리 가능한 두개골 팬텀의 예시다.
도 13은 일 실시예에 따른 후보 영역에 대한 평가의 결과를 나타낸다.
도 14는 일 실시예에 따른 임시 후보 영역 및 후보 영역의 예시를 도시한다.
도 15는 일 실시예 및 비교 실시예에 따른 정합 방법들의 두개골 팬텀을 이용한 단일 사용자 연구와 다중 사용자 연구의 실험 조건에서의 FRE와 RRE를 나타낸다.
도 16는 일 실시예 및 비교 실시예에 따른 정합 방법들의 척추 팬텀을 이용한 단일 사용자 연구와 다중 사용자 연구의 실험 조건에서의 FRE와 RRE를 나타낸다.
도 17는 일 실시예 및 비교 실시예에 따른 정합 방법들의2개의 타겟들을 가진 두개골 팬텀을 이용한 실험의 TRE를 나타낸다.
도 18는 일 실시예 및 비교 실시예에 따른 정합 방법들의 3개의 타겟들을 사용하여 척추 팬텀에 대해 평가된 실험의 TRE 결과를 나타낸다.
도 19는 일 실시예 및 비교 실시예에 따른 정합 방법들을 3개의 더 깊은 타겟들을 가지는 분리형 두개골 팬텀에 적용한 실험의 TRE를 나타낸다.
도 20는 일 실시예 및 비교 실시예에 따른 정합 방법들의 단일 사용자 실험에서 척추 팬텀이 사용된 실험의 비교 결과를 나타낸다.
도 21는 일 실시예에 따른 정합 방법의 임시 후보 영역의 반지름의 길이에 따른 실험의 결과를 나타낼 수 있다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 메쉬 모델(mesh model)의 제1 좌표계 및 트래킹 데이터(tracking data)의 제2 좌표계 간의 정합(image registration)을 나타낸다. 정합은, 영상 정합으로도 표현될 수 있다. 도 2는 일 실시예에 따른 정합을 위한 변환 행렬을 결정하는 변환 행렬 결정 장치의 블록도를 도시한다.
일 실시예에 따른 변환 행렬 결정 장치(200)는, 영상 이미지 데이터(예: CT 이미지 데이터, MRI 이미지 데이터, PET 이미지 데이터 등)로부터 생성된 메쉬 모델의 위치들과 트래킹 데이터(tracking data)의 위치들 간의 정합을 위하여 이용될 수 있다. 예를 들어, 사용자(예: 의료인)의 수술(operation)을 보조하기 위하여, 환자의 두개골에 대한 메쉬 모델(또는 영상 이미지 데이터)의 위치들 및 환자의 두개골에서 트래킹에 의하여 획득된 위치들 간의 정합이 수행될 수 있다. 사용자는, 환자의 두개골에 대한 메쉬 모델(또는 영상 이미지 데이터)의 위치들과 환자의 두개골에서 수행되는 트래킹에 기초하여 획득된 위치들 간의 정합을 통하여, 영상 이미지 데이터에서 나타난 병변의 정보(예: 병변의 위치, 병변의 크기 등)를 수술을 위해 효과적으로 이용할 수 있다.
변환 행렬 결정 장치(200)는, 입력 획득부(210), 디스플레이(220), 프로세서(230), 및 메모리(240)를 포함할 수 있다.
변환 행렬 결정 장치(200)는, 메쉬 모델의 제1 좌표계 및 트래킹 데이터의 제2 좌표계 간의 정합을 위한 변환 행렬을 결정할 수 있다.
메쉬 모델은, 환자의 신체 부위(예: 환자의 장기 및 골격 중 적어도 하나)를 모델링한 모델을 나타낼 수 있다. 예를 들어, 메쉬 모델은 3차원으로 모델링된 환자의 신체 부위에 대하여 생성된 복수의 메쉬들(meshes)을 포함할 수 있다. 환자의 신체 부위의 표면(surface)을 형성하는 면에 대하여 다각형 메쉬들이 생성될 수 있다. 메쉬는 면(face), 꼭지점(vertex) 및 엣지(edge)를 포함하는 닫힌 구조를 나타낼 수 있다. 예를 들어, 메쉬는 삼각형으로 이루어질 수 있으며, 다만 이에 한정하는 것은 아니고, 사각형, 오각형 등의 다각형으로 이루어질 수도 있다.
메쉬는, 메쉬의 크기 또는 면적이 주어지면, 모델링된 형상에 따라 수십 개로부터 수천 및 수만 개 정도로 생성될 수 있다. 메쉬 생성은 3차원 형상을 모델링 하는 분야에서 이미 알려져 있는 기법이 적용될 수 있다. 메쉬 데이터는 하나의 메쉬에 대하여 각 꼭지점의 좌표를 포함할 수 있으며, 각 노도의 좌표를 알 수 있다면 각 꼭지점의 좌표를 참조하여 3차원 메쉬 모델을 보는 각도에 따라 디스플레이 하려는 화면에 표시할 수 있다.
메쉬 모델의 꼭지점의 위치는 제1 좌표계에 따라 위치에 대응하는 좌표로 산출될 수 있다. 예를 들어, 복수의 메쉬들이 생성된 후에 각 꼭지점의 위치를 산출함에 있어서 절대 좌표계가 사용될 수 있다. 절대 좌표계의 원점(0, 0, 0)을 기준으로 각 꼭지점들의 위치가 산출되는 경우, 원점으로부터 각 꼭지점 간의 거리가 증가함에 따라 각 꼭지점의 좌표의 절대값은 증가할 수 있다.
트래킹 데이터는, 환자의 신체 부위에 대한 사용자(예: 의료인)의 트래킹에 기초하여 획득된 데이터를 나타낼 수 있다. 예를 들어, 트래킹 데이터는, 트래킹 시스템(tracking system)을 통해 환자의 신체 부위(예: 환자의 골격 및 장기 중 적어도 하나)에 대한 디지타이징 툴(digitizing tool)의 접촉이 발생한 위치를 포함할 수 있다. 예시적으로, 트래킹 시스템은, 광학 트래킹 시스템(optical tracking system), 전자기 트래킹 시스템(electromagnetic tracking system), 또는 기계 기구 형태의 트래킹 시스템(mechanical arm tracking system) 중 하나 또는 둘 이상의 조합을 포함할 수 있다. 디지타이징 툴의 접촉이 발생한 위치는 제2 좌표계에 따라 상기 위치에 대응하는 좌표로 산출될 수 있다.
위치 획득부(210)는, 메쉬 모델에 대한 사용자 입력 및/또는 환자의 신체 부위에서의 트래킹에 의한 사용자 입력을 획득할 수 있다. 일 실시예에 따른 위치 획득부(210)는 메쉬 모델을 표시하는 인터페이스에서 획득된 사용자 입력에 기초하여 메쉬 모델의 위치를 획득하여 프로세서(230)에게 전달할 수 있다. 위치 획득부(210)는, 환자의 신체 부위와 도구(예: 디지타이징 툴)의 접촉이 발생하는 것에 기초하여, 신체 부위에서의 위치를 획득하여 프로세서(230)에게 전달할 수 있다.
출력부(220)는, 메쉬 모델(또는 영상 이미지 데이터) 및/또는 트래킹 데이터를 시각화할 수 있다. 예를 들어, 출력부(220)는 디스플레이를 포함할 수 있다. 프로세서(230)는 디스플레이를 통해 메쉬 모델(또는 영상 이미지 데이터) 및/또는 트래킹 데이터와 함께 획득된 위치를 지시하는 그래픽 표현(graphical representation)을 시각화(예: 오버레이)할 수 있다.
프로세서(230)는, 위치 획득부(210)를 통해 획득된 메쉬 모델의 위치들 및 트래킹 데이터의 위치들 간의 정합을 위한 변환 행렬을 결정할 수 있다. 프로세서(230)는, 메쉬 모델의 위치들 각각에 대하여 후보 영역을 결정할 수 있다. 프로세서(230)는 메쉬 모델의 위치들을 후보 영역 내의 위치(예: 트래킹 데이터로부터 변환된 위치와 더 가까운 위치)로 변경함에 따라, 변환 행렬을 업데이트할 수 있다. 변환 행렬의 결정은 도 3 내지 도 8에서 자세히 설명한다.
메모리(240)는 정합을 위한 변환 행렬을 결정하는 데 요구되는 데이터 및/또는 정보를 임시적으로 및/또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(240)는 메쉬 데이터를 포함하는 메쉬 모델을 저장할 수 있다. 메모리(240)는 메쉬 모델에 대한 사용자 입력에 기초하여 획득된 메쉬 모델의 위치들을 저장할 수 있다. 메모리(240)는 트래킹에 기초하여 획득된 환자의 신체 부위에서의 위치들을 저장할 수 있다. 메모리(240)는 메쉬 모델의 제1 좌표계와 트래킹 데이터의 제2 좌표계 간의 좌표 변환을 위한 변환 행렬을 저장할 수 있다.
도 3은 일 실시예에 따른 정합을 위한 변환 행렬을 결정하는 방법을 나타낸다.
단계(310)에서, 프로세서는 사용자 입력에 기초하여 메쉬 모델의 제1 위치 및 트래킹 데이터의 제2 위치에 대응하는 포인트 쌍(point pair)을 획득할 수 있다. 프로세서는 포인트 쌍의 획득을 반복함으로써, 복수의 포인트 쌍들을 획득할 수 있다. 제1 위치 및 제2 위치의 획득은 도 4에서 후술한다.
단계(320)에서, 프로세서는 메쉬 모델에서 제1 위치에 대응하는 후보 영역을 결정할 수 있다. 후보 영역은 새로운 제1 위치의 후보들을 포함하는 영역을 나타낼 수 있다. 프로세서는, 메쉬 모델로부터 검출된 특징점들(feature points) 중 제1 위치 주변의 특징점들에 기초하여 제1 위치에 대응하는 후보 영역을 결정할 수 있다.
프로세서는 복수의 포인트 쌍들을 획득한 경우, 복수의 제1 위치들 각각에 대응하는 후보 영역을 결정할 수 있다. 예를 들어, 프로세서가 5개의 포인트 쌍들을 획득한 경우, 5개의 후보 영역들을 독립적으로 결정할 수 있고, 후보 영역들 각각은 하나의 제1 위치에 대응할 수 있다. 프로세서는 대상 후보 영역을 결정하기 위하여, 대상 후보 영역에 대응하는 제1 위치의 주변에서 검출된 특징점들에 기초하여 대상 후보 영역을 결정할 수 있다. 제1 위치 주변의 특징점들에 기초한 후보 영역의 결정은 도 5에서 후술한다.
단계(330)에서, 프로세서는 제1 위치, 제2 위치, 및 변환 행렬에 기초하여 새로운 제1 위치를 결정할 수 있다. 변환 행렬은, 메쉬 모델의 제1 좌표계와 트레킹 데이터의 제2 좌표계 간의 좌표 변환을 위한 행렬을 포함할 수 있다. 예를 들어, 변환 행렬은 제1 좌표계를 따르는 위치의 좌표를 제2 좌표계를 따르는 변환된 위치의 좌표로 변환하기 위하여 이용될 수 있다.
프로세서는 새로운 제1 위치를 후보 영역(예: 단계(320)에서 결정된 후보 영역) 중에서 결정할 수 있다. 프로세서는 새로운 제1 위치를 후보 영역에 속하는 하나 이상의 메쉬 모델의 꼭지점들 중에서 결정할 수 있다. 예를 들어, 프로세서는 제2 위치에 변환 행렬을 적용함으로써 제2 위치로부터 변환된 위치를 획득할 수 있다. 제2 위치로부터 변환된 위치는 제1 좌표계를 따를 수 있다. 프로세서는, 후보 영역 내의 꼭지점들 중에서, 변환된 위치와 가장 가까운 메쉬 모델의 꼭지점을 새로운 제1 위치로 결정할 수 있다.
프로세서는, 복수의 포인트 쌍들을 획득한 경우, 복수의 제1 위치들 각각에 대하여 새로운 제1 위치를 결정할 수 있다. 프로세서는, 대상 포인트 쌍의 대상 제1 위치에 대응하는 후보 영역 중에서, 대상 제1 위치에 대하여 새로운 제1 위치를 결정할 수 있다. 프로세서는, 새로운 제1 위치의 결정을 반복함으로써, 복수의 제1 위치들에 대한 새로운 제1 위치들을 결정할 수 있다.
단계(340)에서, 프로세서는 획득된 포인트 쌍에 기초하여 제2 위치를 제2 좌표계로부터 제1 좌표계로 변환하는 변환 행렬을 계산할 수 있다. 전술된 바와 같이, 획득된 포인트 쌍은 메쉬 모델의 제1 좌표계를 따르는 제1 위치 및 트래킹 데이터의 제2 좌표계를 따르는 제2 위치의 포인트 쌍을 나타낼 수 있다.
단계(350)에서, 프로세서는 새로운 제1 위치에 기초하여 변환 행렬을 업데이트할 수 있다. 프로세서는, 새로운 포인트 쌍(예: 새로운 제1 위치 및 제2 위치의 포인트 쌍)에 따라 변환 행렬을 계산할 수 있다. 프로세서는, 기존의 포인트 쌍(예: 기존 제1 위치 및 제2 위치의 포인트 쌍)에 따라 계산된 기존의 변환 행렬을, 새로운 포인트 쌍에 기초하여 계산된 변환 행렬로 업데이트할 수 있다. 단계(340) 및 단계(350)의 변환 행렬의 계산은 도 8에서 후술한다.
도 4는 일 실시예에 따른 제1 위치 및 제2 위치의 포인트 쌍을 획득하는 동작을 나타낸다.
단계(410)에서, 프로세서는 제1 사용자 입력에 기초하여 제1 위치를 획득할 수 있다. 제1 사용자 입력은, 환자의 신체 부위(예: 골격 및 장기 중 적어도 하나)를 모델링한 메쉬 모델에 대한 사용자 입력을 포함할 수 있다. 제1 위치는 메쉬 모델의 제1 좌표계를 따를 수 있다. 프로세서는 메쉬 모델의 복수의 꼭지점들 중에서, 하나의 꼭지점의 위치를 제1 위치로 결정할 수 있다. 예를 들어, 프로세서는 제1 사용자 입력이 지시하는 지점과 가장 가까운 꼭지점의 위치를 제1 위치로 결정할 수 있다. 프로세서는 제1 사용자 입력이 지시하는 지점과 가장 가까운 꼭지점의 위치를 k-d 트리 알고리즘을 이용함으로써 발견할 수 있다.
참고로, 사용자(예: 의료인)는 메쉬 모델과 트래킹 데이터의 정합을 위하여, 환자의 신체 부위에서 특징을 가지는 지점(예: 코너, 엣지, 뿔 등)에 대응하는 사용자 입력을 생성할 가능성이 높을 수 있다. 따라서, 일반적으로, 메쉬 모델에 대한 사용자 입력(예: 단계(410)의 제1 사용자 입력)은, 메쉬 모델에 의하여 모델링된 신체 부위의 표면(surface)에 두드러지는 영역에 속하는 지점에서 발생하는 것이 빈번할 수 있다.
일 실시예에 따르면, 프로세서는 환자의 신체 부위에 대하여 촬영된 입체 이미지 데이터로부터 메쉬 모델(mesh model)을 생성할 수 있다. 예시적으로, 입체 이미지 데이터는, CT(Computer tomography) 이미지, MRI(Magnetic Resonance Imaging) 이미지, 및 PET(positron emission tomography) 이미지 중 적어도 하나를 포함할 수 있다. 프로세서는, 입체 이미지 데이터에 나타난 신체 부위(예: 골격 및 장기 중 적어도 하나)의 표면을 표현하는 메쉬 모델을 생성할 수 있다. 프로세서는, 생성된 메쉬 모델에 대한 제1 사용자 입력에 기초하여 제1 위치를 획득할 수 있다. 여기에서 주로 프로세서가 메쉬 모델을 생성하는 것을 설명하였으나, 이에 한정하는 것은 아니고, 프로세서는 외부 장치에 의하여 생성된 메쉬 모델을 통신부를 통해 수신할 수도 있다.
단계(420)에서, 프로세서는 제2 사용자 입력의 트래킹에 기초하여 제2 위치를 획득할 수 있다. 제2 사용자 입력은, 환자의 신체 부위(예: 골격 및 장기 중 적어도 하나)에 대한 사용자 입력을 포함할 수 있다. 제2 위치는 환자의 신체 부위(예: 골격 및 장기 중 적어도 하나) 상에서 획득된 위치로서, 제2 좌표계를 따를 수 있다. 프로세서는 트래킹 시스템을 통해 환자의 신체 부위(예: 골격 및 장기 중 적어도 하나)에서 제2 위치를 획득할 수 있다. 예시적으로, 트래킹 시스템은 광학 트래킹 시스템(optical tracking system) 및 전자기 트래킹 시스템(electromagnetic tracking system) 중 하나를 포함할 수 있다.
도 5는 일 실시예에 따른 제1 위치에 대응하는 후보 영역의 결정을 나타낸다. 도 6은 일 실시예에 따른 팬텀(phantom)의 메쉬 모델에서의 임시 후보 영역 및 후보 영역의 예시다. 도 7은 일 실시예에 따른 임시 후보 영역의 기하학적 특징에 따른 후보 영역의 결정을 나타낸다.
단계(510)에서, 프로세서는 메쉬 모델의 복수의 꼭지점들 중에서 특징점들을 검출할 수 있다. 특징점들은, 이미지에서 특징이 되는 부분에 대응하는 꼭지점으로서, 예시적으로, 모서리 또는 코너에 대응하는 꼭지점을 포함할 수 있다. 특징점들은, 예시적으로, LSP(Local Surface Patches), ISS(Intrinsic Shape Signatures), KPQ(KeyPoint Quality), HKS(Heat Kernel Signature), LBSS(Laplace-Beltrami Scale-Space), MeshDoG 등을 통해 검출될 수 있다. 예를 들어, 프로세서는 ISS 키 포인트들(Intrinsic Shape Signatures key points)을 메쉬 모델의 특징점들로 결정할 수 있다. ISS는 작은 로컬 메쉬 모델에서 좋은 반복성 및 성능을 가질 수 있다.
본 명세서에서 주로 프로세서가 메쉬 모델의 특징점들을 검출하는 것으로 설명되나, 이에 한정하는 것은 아니고, 프로세서는 메쉬 모델과 함께 외부 장치에 의하여 검출된 특징점들을 통신부를 통해 수신할 수도 있다.
단계(520)에서, 프로세서는 제1 위치를 중심으로 하고 미리 결정된 거리를 반지름으로 하는 구(sphere)의 내부 영역을 임시 후보 영역으로 결정할 수 있다. 예시적으로, 미리 결정된 거리는 10mm일 수 있다. 다만, 이에 한정하는 것은 아니고 설계에 따라 다른 값을 가질 수 있으며, 예시적으로 미리 결정된 거리는 8mm, 12mm, 14mm, 및 15mm 중 하나일 수도 있다.
단계(530)에서, 프로세서는 제1 위치로부터 미리 결정된 거리 내의 특징점들의 분포의 기하학적 특징(geometrical feature)에 기초하여 후보 영역을 결정할 수 있다.
프로세서는 임시 후보 영역 내의 특징점들의 기하학적 특징을 분석하기 위하여, 임시 후보 영역 내의 특징점들에 대하여 주성분 분석을 수행할 수 있다. 예를 들어, 프로세서는 제1 위치로부터 미리 결정된 거리 내의 특징점들에 대하여 주성분 분석을 수행할 수 있고, 수행된 주성분 분석에 기초하여 후보 영역을 결정할 수 있다.
일 실시예에 따르면, 프로세서는, 주성분 분석에 기초하여 결정된 타원체(ellipsoidal solid)의 내부 영역으로 후보 영역을 결정할 수 있다. 메쉬 모델에 대한 사용자 입력이 모서리(예: 2개의 면에 의하여 형성되는 모서리)에 대응하는 경우, 임시 후보 영역 내의 특징점들은 모서리에 집중적으로 분포할 수 있다. 예시적으로, 도 6에서 나타난 바와 같이, 프로세서는 팬텀(phantom)(600)의 모서리에 대응하는 메쉬 모델의 지점에서 사용자 입력이 발생된 경우, 사용자 입력에 대응하는 위치를 중심으로 하는 임시 후보 영역(610)을 결정할 수 있다. 프로세서는, 임시 후보 영역(610)의 특징점들의 기하학적 특징에 기초하여, 모서리의 길이 방향 축을 가장 긴 주축으로 하는 타원체의 내부 영역을 후보 영역(620)으로 결정할 수 있다.
참고로, 사용자 입력이 팬텀(또는 환자의 신체 부위)의 모서리에 대응하는 지점에서 발생한 경우, 사용자가 메쉬 모델에서 선택하고자 의도한 지점은, 모서리 중에서 사용자 입력에 대응하는 하나의 지점보다는, 모서리에 가까운 지점들 중 하나일 가능성이 높은 것으로 해석될 수 있다. 반면, 사용자가 메쉬 모델에서 선택하고자 의도한 지점은, 모서리와 멀리 떨어진 지점(예: 평평한 면에 속하는 지점)일 가능성은 낮은 것으로 해석될 수 있다. 따라서, 프로세서는, 특징점이 특정한 축을 따라 지배적으로 분포하는 경우, 해당 축 방향의 주축 길이는 다른 축 방향의 주축 길이보다 긴 타원체를 후보 영역으로 결정할 수 있다.
프로세서는 주성분에 대한 변동에 기초하여 후보 영역(예: 타원체)의 주축의 길이를 결정할 수 있다. 주성분은 특징점들의 분포의 지배적인 기하학적 특징을 나타내는 벡터를 포함할 수 있다. 예를 들어, 프로세서는 주성분 분석으로부터 획득된 복수의 주성분들(principal components) 각각에 대한 변동(variation)을 계산할 수 있다. 프로세서는 계산된 변동의 최대값을 기준으로 하는, 주성분들 각각에 대한 변동 비(ratio)를 계산할 수 있다. 다시 말해, 대상 주성분에 대한 변동의 비는 계산된 변동들 중 최대값에 대한 변동의 비(ratio)로 계산될 수 있다. 프로세서는, 변동의 비에 기초하여, 복수의 주성분들 각각에 대응하는 주축의 길이를 결정할 수 있다.
일 실시예에 따르면, 프로세서는 주성분 분석으로부터 획득된 주성분들 및 고유값들(eigen values)에 기초하여 후보 영역의 모양 및 크기를 결정할 수 있다. 예를 들어, 프로세서는 다음의 수학식에 따라 후보 영역의 모양 및 크기를 산출할 수 있다:
[수학식 1]
수학식 1은 주성분에 대한 변동을 계산하는 데 이용될 수 있다.
여기서, PCi는 i번째 주성분을 나타낼 수 있고, Eigenvalue for PCi는 i번째 주성분에 대한 고유값을 나타낼 수 있으며, Number sample은 후보 영역 내의 특징점의 개수를 나타낼 수 있고, Variation for PCi는 i번째 주성분에 대한 변동을 나타낼 수 있다. 예시적으로, 제1 좌표계가 3개의 원소를 가지는 좌표로 위치를 표현하는 3차원 좌표계인 경우, i는 0, 1, 및 2일 수 있다.
[수학식 2]
수학식 2은 주성분에 대한 변동 퍼센트(percentage)을 계산하는 데 이용될 수 있다.
여기서, Variation for PCi는 i번째 주성분에 대한 변동을 나타낼 수 있고, Total variation은 주성분에 대한 변동들의 합계(summation)를 나타낼 수 있으며, Variation percentagei는 i번째 주성분에 대한 변동 퍼센트를 나타낼 수 있다.
[수학식 3]
수학식 3은 변동 비(variation ratio)를 계산하는 데 이용될 수 있다.
여기서, Variation percentagei는 i번째 주성분에 대한 변동 퍼센트를 나타낼 수 있고, Maximum variation percentage는 주성분에 대한 변동 퍼센트들 중 최대 값을 나타낼 수 있으며, 는 i번째 주성분에 대한 변동 비를 나타낼 수 있다.
[수학식 4]
수학식 4는 후보 영역의 주축의 길이를 계산하는 데 이용될 수 있다.
여기서, 는 i번째 주성분에 대한 변동 비를 나타낼 수 있고, R은 임시 후보 영역의 반지름을 나타낼 수 있으며, Length of principal axisi는 i번째 주성분에 대응하는 주축의 길이를 나타낼 수 있다.
일 실시예에 따르면, 프로세서는 제1 위치를 중심으로 하는 구의 내부 영역을 후보 영역으로 결정할 수 있다. 예시적으로, 메쉬 모델에 대한 사용자 입력이 뿔(예: 꼭지점을 중심으로 형성되는 뿔)에 대응하는 경우, 임시 후보 영역 내의 특징점들은 뿔의 꼭지점에 집중적으로 분포하고, 뿔의 꼭지점으로부터 멀어질수록 희소적으로 분포할 수 있다.
참고로, 사용자 입력이 팬텀(또는 환자의 신체 부위)의 뿔에 대응하는 지점에서 발생한 경우, 사용자가 메쉬 모델에서 선택하고자 의도한 지점은 꼭지점에 대응하는 지점(예: 꼭지점)일 가능성이 높은 것으로 해석될 수 있다. 반면, 사용자가 메쉬 모델에서 선택하고자 의도한 지점은 꼭지점으로부터 멀리 떨어진 지점일 가능성은 낮은 것으로 해석될 수 있다. 따라서, 프로세서는, 임시 후보 영역 내의 특징점이 특정한 축을 따라 분포하기보다는 고르게 분포하는 경우, 임시 후보 영역의 반지름을 감소시킨 구의 내부 영역을 후보 영역으로 결정할 수 있다.
프로세서는 주성분 분석으로부터 획득된 복수의 고유 값들(eigen values) 간의 차이가 임계 차이 이하인 것에 기초하여, 구의 내부 영역을 후보 영역으로 결정할 수 있다. 프로세서는, 후보 영역의 반지름을 미리 결정된 길이보다 짧은 길이로 결정할 수 있다. 프로세서는, 임시 후보 영역의 반지름보다 짧은 길이(예: 임시 후보 영역의 반지름의 절반)를 후보 영역의 반지름으로 결정할 수 있다.
도 7을 참조하면, 일 실시예에 따른 프로세서는 임시 후보 영역(710)을, 제1 위치(711)를 중심으로 하고 미리 정해진 길이(R)를 반지름으로 하는 구의 내부 영역으로 결정될 수 있다. 프로세서는 임시 후보 영역(710) 내의 특징점들의 분포의 기하학적 특징에 기초하여 후보 영역을 결정할 수 있다.
예를 들어, 프로세서는 중심이 제1 위치(721)이고 주축의 길이들이 서로 다른 타원체를 후보 영역(720)으로 결정할 수 있다. 다른 예를 들어, 프로세서는 중심이 제1 위치(731)이고 주축 중 2개의 길이가 같은 타원체를 후보 영역(730)으로 결정할 수 있다. 또 다른 예를 들어, 프로세서는, 고유 값들의 차이가 임계 차이 이하인 것에 기초하여, 중심이 제1 위치(741)이고 임시 후보 영역(710)의 반지름(R)의 절반(R/2)을 반지름으로 하는 구의 내부 영역을 후보 영역(740)으로 결정할 수 있다.
도 3의 단계(330)에서 전술한 바와 같이, 프로세서는 후보 영역 내의 후보 위치 중에서 새로운 제1 위치를 결정할 수 있다. 일 실시예에 따른 후보 영역 내의 후보 위치는 다음과 같은 조건을 만족할 수 있다:
[수학식 5]
여기서, (x0, y0, z0)은 후보 영역의 중심 좌표(예: 제1 위치)이고, a, b, c는 각각 후보 영역의 주축 길이의 절반을 나타낼 수 있다.
도 8는 일 실시예에 따른 변환 행렬의 계산 동작을 설명한다.
단계(810)에서, 프로세서는 제2 위치에 임시 변환 행렬을 적용하여 변환된 위치를 획득할 수 있다. 변환된 위치는, 제2 위치로부터 변환된 위치로서, 제1 좌표계를 따를 수 있다. 예를 들어, 프로세서는 제2 위치를 나타내는 좌표에 임시 변환 행렬을 곱셈함으로써 변환된 위치를 산출할 수 있다.
단계(820)에서, 프로세서는 제2 위치로부터 변환된 위치 및 제1 위치 간의 차이에 기초하여 임시 변환 행렬을 업데이트할 수 있다. 프로세서는 변환된 위치 및 제1 위치 간의 차이를 최소화되는 변환 행렬을 계산할 수 있다.
일 실시예에 따르면, 프로세서는 사용자 입력에 기초하여 획득된 복수의 포인트 쌍들을 기준으로 변환 행렬을 계산할 수 있다. 본 명세서에서, 사용자 입력에 기초하는 포인트 쌍들을 기준으로 계산된 변환 행렬은, 초기 변환 행렬로도 표현될 수 있다. 다시 말해, 초기 변환 행렬은 새로운 제1 위치를 결정하기 이전의 사용자 입력에 따른 제1 위치에 기초하여 계산된 변환 행렬을 나타낼 수 있다. 변환 행렬은, 초기 변환 행렬에서부터 제1 위치의 변경(예: 새로운 제1 위치의 결정)에 따라 업데이트될 수 있다. 초기 변환 행렬은 페어링된 포인트(paired point)의 정합을 통해 획득될 수 있으며, 예시적으로 다음의 수학식에 따라 계산될 수 있다:
[수학식 6]
여기서, 는 메쉬 모델의 제1 위치(또는 제1 위치의 좌표)를 나타낼 수 있고, 는 트래킹 데이터의 제2 위치(또는 제2 위치의 좌표)를 나타낼 수 있으며, 는 초기 변환 행렬을 나타낼 수 있다. 또한, 는 i번째 포인트 쌍의 제1 위치를 나타낼 수 있고, 는 i번째 포인트 쌍의 제2 위치를 나타낼 수 있으며, 는 초기 변환 행렬과 i번째 포인트 쌍의 제2 위치의 곱셈으로서, i번째 포인트 쌍의 제2 위치로부터 변환된 위치를 나타낼 수 있다. 수학식 6을 통해, 프로세서는 i번째 포인트 쌍의 제2 위치로부터 변환된 위치 및 i번째 포인트 쌍의 제1 위치 간의 차이가 최소화되는 초기 변환 행렬을 획득할 수 있다.
단계(830)에서, 프로세서는 새로운 제1 위치가 결정된 것에 기초하여, 변환 행렬을 업데이트할 수 있다. 프로세서는 제2 위치로부터 변환된 위치 및 새로운 제1 위치 간의 차이가 최소화되도록 변환 행렬을 업데이트할 수 있다.
일 실시예에 따르면, 프로세서는 새로운 제1 위치 및 사용자 입력에 기초하여 획득된 제2 위치의 포인트 쌍들을 기준으로 변환 행렬을 업데이트할 수 있다. 변환 행렬은 페어링된 포인트(paired point)의 정합을 통해 업데이트될 수 있으며, 예시적으로 다음의 수학식에 따라 계산될 수 있다:
[수학식 7]
여기서, 는 트래킹 데이터의 제2 위치(또는 제2 위치의 좌표)를 나타낼 수 있고, 는 초기 변환 행렬을 나타낼 수 있으며, 는 제2 위치로부터 변환된 위치를 나타낼 수 있다.
[수학식 8]
여기서, 는 i번째 포인트 쌍의 새로운 제1 위치(또는 새로운 제1 위치의 좌표)를 나타낼 수 있고, 는 i번째 포인트 쌍의 제2 위치에 초기 변환 행렬을 적용하여 변환된 위치를 나타낼 수 있으며, 는 변환 행렬을 나타낼 수 있다. 또한, 는, 변환 행렬과 i번째 포인트 쌍의 제2 위치로부터 변환된 위치의 곱셈으로서, i번째 포인트 쌍으로부터 변환된 위치()에 기초하여 변환된 위치를 나타낼 수 있다. 수학식 8을 통해, 프로세서는 i번째 포인트 쌍의 제2 위치로부터 변환된 위치 및 i번째 포인트 쌍의 새로운 제1 위치 간의 차이가 최소화되는 변환 행렬을 획득할 수 있다.
이하, 일 실시예에 따른 변환 행렬 결정 방법의 평가를 도 9 내지 도 17에서 설명한다.
일 실시예에 따른 변환 행렬을 이용한 정합 방법(이하, 일 실시예에 따른 정합 방법)의 정확성에 대한 정량적 평가를 위하여, 정합 잔차 오차(registration residual error; RRE)와 타겟 정합 오차(target registration error; TRE)가 계산될 수 있고, 일 실시예에 따른 정합 방법 및 비교 실시예에 따른 정합 방법 간의 비교가 수행될 수 있다. 정합 잔차 오차(RRE)는, 변환 행렬 계산에 이용된 포인트 쌍을 이용하여 계산된 오차를 나타낼 수 있다. 타겟 정합 오차(TRE)는, 변환 행렬 계산에 독립적인(예: 이용되지 않은) 포인트 쌍을 이용하여 계산된 오차를 나타낼 수 있다. 비교 실시예에 따른 정합 방법의 RRE는 기점 정합 오차(fiducial registration error; FRE)로 표시될 수 있다.
비교 실시예에 따른 정합 방법의 FRE는 다음과 같이 제곱 평균 제곱근 오차로 계산될 수 있다:
[수학식 9]
여기서, M은 포인트 쌍의 개수를 나타낼 수 있고, 는 i번째 포인트 쌍의 제1 위치를 나타낼 수 있으며, 는 비교 실시예에 따른 변환 행렬을 나타낼 수 있다. 또한, 는 비교 실시예에 따른 정합 방법을 통해 i번째 포인트 쌍의 제2 위치로부터 변환된 위치를 나타낼 수 있다
일 실시예에 따른 정합 방법의 RRE는 다음과 같이 제곱 평균 제곱근 오차로 계산될 수 있다:
[수학식 10]
여기서, M은 포인트 쌍의 개수를 나타낼 수 있고, 는 i번째 포인트 쌍의 새로운 제1 위치(또는 새로운 제1 위치의 좌표)를 나타낼 수 있고, 는 i번째 포인트 쌍의 제2 위치에 초기 변환 행렬을 적용하여 변환된 위치를 나타낼 수 있으며, 는 일 실시예에 따른 변환 행렬을 나타낼 수 있다.
비교 실시예에 따른 정합 방법의 TRE는 다음과 같이 제곱 평균 제곱근 오차로 계산될 수 있다:
[수학식 11]
여기서, 는 j번째 포인트 쌍의 메쉬 모델의 제1 위치를 나타낼 수 있고, 는 j번째 포인트 쌍의 트래킹 데이터의 제2 위치를 나타낼 수 있으며, 는 비교 실시예에 따른 변환 행렬을 나타낼 수 있다.
일 실시예에 따른 정합 방법의 TRE는 다음과 같이 제곱 평균 제곱근 오차로 계산될 수 있다:
[수학식 12]
여기서, 는 j번째 포인트 쌍의 메쉬 모델의 제1 위치를 나타낼 수 있고, 는 j번째 포인트 쌍의 트래킹 데이터의 제2 위치를 나타낼 수 있으며, 는 일 실시예에 따른 변환 행렬을 나타낼 수 있다.
도 9는 일 실시예 및 비교 실시예에 따른 정합 방법들의 비교를 위한 기하학적 모델(geometrical model)의 예시다.
비교 실시예에 따른 정합 방법 및 일 실시예에 따른 정합 방법의 비교를 위한 실험은 2개의 주요 목적들을 위해 설계될 수 있다. 첫 번째 목적은 후보 영역을 평가하는 것이고, 두 번째 목적은 일 실시예에 따른 정합 방법의 정확성을 확인하는 것일 수 있다. 예시적으로, 후보 영역의 평가를 위하여, 3D CAD 소프트웨어 SolidWorks(Dassault Systems, Velizy-Villacoublay, France) 및 3D 프린터(RSPro 800, UnionTech GmbH, 다름슈타트, 독일)가 설계를 위하여 이용될 수 있다. 도 9에서, 각각 3D CAD 소프트웨어에 의하여 설계된 기하학적 모델(910), 합성 CT 데이터 시뮬레이션에 의하여 구축된 메쉬 모델(920), 및 실제 팬텀(930)의 예시가 도시될 수 있다.
도 10은 일 실시예에 따른 정합 방법의 평가를 위한 두개골 팬텀의 예시다. 도 11은 일 실시예에 따른 정합 방법의 평가를 위한 척추 팬텀의 예시다. 도 12은 일 실시예에 따른 정합 방법의 평가를 위한 분리 가능한 두개골 팬텀의 예시다.
일 실시예에 따른 정합 방법의 평가를 위해, 인체 해부학을 모사한 팬텀이 적용될 수 있고, 두개골 팬텀, 척추 팬텀, 및 분리형 두개골 팬텀이 채택될 수 있다. 예시적으로, 팬텀은 Sawbones(워싱턴주 Vashon의 Pacific Research Laboratories, Inc.의 사업부)의 제품으로 이용될 수 있다.
일 실시예에 따른 정합 방법을 다양한 조건들에서 검증하기 위하여, 도 10에서 나타난 바와 같이, Sawbone에서 제공하는 디지털 제품이 그대로 적용된 두개골 팬텀의 3D 메쉬 모델이 적용될 수 있다. 도 10에서, 레이저 스캔 데이터로 구축된 두개골의 메쉬 모델(1010)이 도시되고, 두개골 팬텀(1020)이 도시된다. 도 11에서, 시뮬레이션된 컴퓨터 단층 촬영으로 모델링된 척추 팬텀의 메쉬 모델(1110)이 도시되고, 척추 팬텀(1120)이 도시된다. 척추 팬텀의 3D 메쉬 모델은, 합성 CT 데이터를 이용하여 생성될 수 있다. 도 12에서, 3D 슬라이서로부터 획득된 위치들(1210), 분리 가능한 두개골 팬텀(1220), 3D 슬라이서에서 분리 가능한 두개골 모델의 내부에 속하는 위치들(1230), 및 분리 가능한 두개골 팬텀에서 내부의 위치들(1240)이 도시된다. 도 12에 도시된 분리 가능한 두개골 팬텀의 3D 메쉬 모델은 팬텀의 실제 CT 데이터로부터 구축될 수 있다.
후보 영역을 평가하기 위하여, 후보 영역의 중심점들은 기하학적 팬텀의 메쉬 모델의 엣지(edge)로 결정되고, 각 엣지 영역에서 후보 영역이 결정될 수 있다. 또한, 두개골 팬텀, 척추 팬텀, 및 분리 가능한 두개골 팬텀 각각의 메쉬 모델에 대해 더 많은 실험들이 수행될 수 있다.
일 실시예에 따른 정합 방법은 수술 환경으로 인해 기점 마커(fiducial marker)를 적용하기에 부적합한 경우에도 높은 정합 정확도를 가질 수 있다. 따라서, 팬텀에는 기점 마커가 설정되지 않을 수 있고, 노치들(notches)은 목표 위치의 설정을 위하여 팬텀에 로컬라이징될 수 있다. 두개골 팬텀은 2개의 타겟들(예: 위치들)을 가지고 있고, 척추 팬텀은 3개의 타겟들(예: 위치들)을 가지고 있으며, 타겟(예: 위치)은 표면 근처에 설정될 수 있다.
또한, 수술 병변이 더 깊은 상태에서의 일 실시예에 따른 정합 방법의 검증에 관하여, 3개의 타겟들(예: 위치들)은, 도 12에서 도시된 분리 가능한 두개골 팬텀에서 깊은 타겟을 구축하기 위하여, 비금속 인공 프리 불투명 CT 마커(non-metallic artificial free opaque CT marker)(CT-23, Suremark company, AZ, USA)를 이용하여 삽입될 수 있다.
정합에 대한 실험은 단일 사용자 연구(single-user study)와 다중 사용자 연구(multi-user study)의 두 그룹으로 조직될 수 있다. 단일 사용자 연구의 각 피험자(subject)는 소스 기점들을 10번 디지털화(예: 팬텀 또는 환자의 신체 부위에서 제2 위치를 위한 사용자 입력을 생성)한 반면, 다중 사용자 연구의 각 피험자는 위치를 한 번 수집할 수 있다. 피험자들은 모두 외과의가 아니라 외과 내비게이션의 초보자를 포함할 수 있다. 동일한 트래킹 시스템, OTS, 및 트래킹 가능한 디지타이저(digitizer)가 실험에 적용될 수 있다. OTS는 트래킹 시스템 역할을 하고, 물리적 공간에서 타겟들 뿐만 아니라 기점의 위치 파악을 지원할 수 있다. 트래킹 시스템 모델은 0.2mm RMS의 정확도를 가진 광학 트래킹 시스템 SAKDI 1(DigiTrack, 대구, 한국)이고, 이 트래킹 모델은, 초당 45프레임으로 500mm에서 1500mm의 오브젝트들을 측정할 수 있다.
실험 절차는 다음의 단계들을 포함할 수 있다: 참석자가 컴퓨터 화면에서 3D Slicer의 타겟 기점들을 관찰하고 디지털화 도구를 사용하여 팬텀의 소스 위치들을 선택하며, 참석자는 9개의 다른 기점들에 대해 동일한 절차를 반복할 수 있다. OTS를 이용하여 디지털화된 위치를 수집하기 위하여, 100개의 위치 데이터 포인트들은 연속적으로 수집될 수 있고 평균 값은 OTS 위치 데이터의 지터링(jittering)을 감소시키기 위하여 적용될 수 있다.
도 13은 일 실시예에 따른 후보 영역에 대한 평가의 결과를 나타낸다.
기하학적 모델의 날카로운 엣지에 있는 3개의 다른 중심 포인트들로부터, 후보 영역이 결정되고, 결과들은 주성분의 변화와 초기 구 영역(예: 임시 후보 영역)에 중첩된 후보 영역으로 표시될 수 있다. 예시(1310)에서, Y축만 변경될 수 있다(예: 하나의 고유 벡터(eigenvector)만 및 Y 방향의 100% 변동으로 변경). 예시(1320)에서, 변화는 X 축과 Z 축에서 각각 13.6%와 86.4%의 값으로 나타날 수 있다. 예시(1330)에서, 변화는, 3개의 축들 모두에서 나타나고, X축, Y축, Z 축은 각각 5.3%, 28.7%, 66.0%의 값의 변화를 가질 수 있다. 예시에 따라 편차의 차이는 있으나, 후보 영역은 실험에서 기하학적 모델의 날카로운 엣지라는 지배적인 특징을 표현할 수 있다.
도 14는 일 실시예에 따른 임시 후보 영역 및 후보 영역의 예시를 도시한다.
도 14에 나타난 바와 같이, 두개골 모델(1410), 척추 모델(1420), 및 분리 가능한 두개골 모델(1430)의 9가지 서로 다른 위치들을 통해 후보 영역의 동적 특성은 검증될 수 있다. 후보 영역들은, 후보 영역에 대응하는 임시 후보 영역의 두드러진 특징들을 보기 위해 결정될 수 있다.
도 15는 일 실시예 및 비교 실시예에 따른 정합 방법들의 두개골 팬텀을 이용한 단일 사용자 연구와 다중 사용자 연구의 실험 조건에서의 FRE와 RRE를 나타낸다.
단일 사용자 연구에 대한 그래프들(1510, 1520)에서 나타난 바와 같이, 단일 사용자 연구는 0.36mm의 RRE 및 1.98mm의 FRE를 가질 수 있다. 10번의 시행들 모두에서, RRE가 FRE보다 더 나은 정확도를 보여줄 수 있다.
다중 사용자 연구에 대한 그래프들(1530, 1540)에서 나타난 바와 같이, 다중 사용자 연구에서도, RRE는 FRE보다 개선될 수 있고, 평균 값은 3.25mm에서 0.57mm로 감소할 수 있다. FRE는 피험자들 간 차이가 큰 반면(예: 최대 4.91mm 및 최소 2.11mm), RRE는 피험자들 간의 낮은 분산을 가질 수 있다(예: 최대 1.28mm 및 최소 0.19mm).
도 16는 일 실시예 및 비교 실시예에 따른 정합 방법들의 척추 팬텀을 이용한 단일 사용자 연구와 다중 사용자 연구의 실험 조건에서의 FRE와 RRE를 나타낸다.
단일 사용자 연구에 대한 그래프들(1610, 1620) 및 다중 사용자 연구에 대한 그래프들(1630, 1640)에서 나타난 바와 같이, 단일 사용자 연구에서 비교 실시예에 따른 정합 방법 및 일 실시예에 따른 정합 방법 간의 잔차 오차를 개선하는 경향은, 다중 사용자 연구에서도 유사하게 나타날 수 있다. 다중 사용자 연구의 RRE는, 단일 사용자 연구의 모든 시험들 및 다중 사용자 연구의 모든 참석자들에 대한 FRE보다 작을 수 있다. 또한, 최고의 개선 사항은 단일 사용자 연구의 3번째 시도(예: FRE에 비해 RRE가 2.21mm 감소)와 다중 사용자 연구의 9번째 참가자(예: RRE가 FRE보다 2.44mm 작음)다.
도 17는 일 실시예 및 비교 실시예에 따른 정합 방법들의2개의 타겟들을 가진 두개골 팬텀을 이용한 실험의 TRE를 나타낸다.
단일 사용자 연구에 대한 그래프들(1710, 1720) 및 다중 사용자 연구에 대한 그래프들(1730, 1740)에서 나타난 바와 같이, 일 실시예에 따른 정합 방법은 비교 실시예에 따른 정합 방법보다 더 우수한 정확도를 가질 수 있다. 일 실시예에 따른 정합 방법은, TRE의 평균을 기준으로, 그래프(1700)에서 나타난 바와 같이, 단일 사용자 연구 및 다중 사용자 연구에서도 약 23% 향상된 정확도를 가질 수 있다. 구체적으로, 단일 사용자의 10번의 시도들에서, 90%의 시도들은 개선된 TRE를 가질 수 있다. 다중 사용자 연구에서도 유사한 관찰이 존재할 수 있다. 거의 모든 시도들에서 일 실시예에 따른 정합 방법이 비교 실시예에 따른 정합 방법보다 더 우수한 정확도를 가질 수 있다.
도 18는 일 실시예 및 비교 실시예에 따른 정합 방법들의 3개의 타겟들을 사용하여 척추 팬텀에 대해 평가된 실험의 TRE 결과를 나타낸다.
단일 사용자 연구에 대한 그래프들(1810, 1820) 및 다중 사용자 연구에 대한 그래프들(1830, 1840)에서 나타난 바와 같이, 일 실시예에 따른 정합 방법은, 비교 실시예에 따른 정합 방법보다 더 나은 정확도를 가질 수 있다. 구체적으로, 일 실시예에 따른 정합 방법을 적용할 때, 단일 사용자 연구의 TRE 평균은 3.21mm이고 다중 사용자 연구의 경우 3.03mm인 반면, 비교 실시예에 따른 정합 방법의 TRE는 단일 사용자 연구의 경우 3.82mm이고 다중 사용자 연구의 경우 3.56mm일 수 있다.
도 19는 일 실시예 및 비교 실시예에 따른 정합 방법들을 3개의 더 깊은 타겟들을 가지는 분리형 두개골 팬텀에 적용한 실험의 TRE를 나타낸다.
단일 사용자 연구에 대한 그래프들(1910, 1920)에서 나타난 바와 같이, 단일 사용자 연구에서, 일 실시예에 따른 정합 방법의 TRE는 모두 비교 실시예에 따른 정합 방법보다 개선된 결과를 가질 수 있다. 다중 사용자 연구에 대한 그래프들(1930, 1940)에서 나타난 바와 같이, 다중 사용자 연구에서, 일 실시예에 따른 정합 방법의 TRE는 비교 실시예에 따른 정합 방법의 TRE보다 더 나은 정확도를 가질 수 있다. 일 실시예에 따른 정합 방법의 단일 사용자 연구 및 다중 사용자 연구의 TRE는, 비교 실시예에 따른 정합 방법보다 각각 11.6% 및 22.8% 만큼 개선될 수 있다.
일 실시예에 따른 동적 터치 가능 영역 및 정합 방법은 팬텀 실험을 통해 분석될 수 있다. 일 실시예에 따른 동적 터치 가능 영역에 대한 면밀한 검사가 논의되고, 그 이후에 일 실시예에 따른 정합 방법의 성능도 논의될 수 있다.
후보 영역의 모든 포인트들을 결정하는 방법은 메쉬 모델에서 실행될 수 있다. 기하학적 팬텀의 경우, 합성 CT 데이터는 CAD 모델이 충분한 꼭지점들을 가지지 않기 때문에, CAD 모델로부터 생성될 수 있다. 불충분한 꼭지점들은, 종종 잘못된 특징점(예: ISS 키포인트) 검출을 유발하고, 좋지 않은 후보 영역의 결정으로 이어질 수 있다. 그리고, 메쉬 모델은, 후보 영역의 좋은 결과를 획득하기에 충분한, CAD 모델보다 3배 많은 꼭지점 데이터를 가지는 합성 CT 데이터로부터 생성될 수 있다.
전술한 도 13 및 도 14에서, 일 실시예에 따른 정합 방법이 모델의 유형에 의존하지 않기 때문에 강건한 것이 검증될 수 있다. 3D 포인트 클라우드로 제시될 수 있는 모든 종류의 메쉬 모델은, 매우 효과적인 특징점 검출법(예: ISS)으로 인해, 후보 영역에 대한 정의와 호환될 수 있다. 전술한 바와 같이, ISS를 정의하는 것은 후보 영역의 후보 위치 수집의 핵심 단계이고, 3D 포인트 클라우드에서 직접 동작하며, 데이터 포인트들의 표면 메싱이나 삼각 측량을 필요로 하지 않을 수 있다. 또한, ISS는 로컬 및/또는 세미-로컬 모양 패치들에 대해 고유하고 매우 구별되는 표현을 정의할 수 있기 때문에, DTR은 3D 메쉬의 강하고 거친 영역에서 획득될 수 있는 반면, 마커 접근 방식은 날카로운 엣지, 코너, 거친 표면으로 인해 적용될 수 없다.
후보 영역은, 특징점(예: ISS 키포인트들) 및 주성분 분석(PCA)를 사용하여 정의될 수 있다. ISS 키포인트는 기하학적 특성을 설명하고, 기점 영역 주변의 특정 표면에서 고유한 포인트들을 발견하며, PCA를 통해 ISS 키포인트의 분포에 기반하여 후보 영역의 가장 중요한 방향 및 크기가 결정될 수 있다. ISS의 방향에서의 분산은, 후보 영역의 계산을 위한 유일한 효과적인 팩터일 수 있다. ISS 연구는, 고유 프레임 및 형상 특징 팩터가 관점과 독립적이고 각각 로컬 및/또는 세미-로컬 3D 형상의 독립적인 표현을 생성할 수 있다. 후보 영역의 결정을 위한 알고리즘은 견고성과 유연성을 제공할 수 있다.
도 20는 일 실시예 및 비교 실시예에 따른 정합 방법들의 단일 사용자 실험에서 척추 팬텀이 사용된 실험의 비교 결과를 나타낸다.
후보 영역의 모양 및 크기가 일 실시예에 따른 정합 방법의 성능에 영향을 미칠 수 있으므로, 간단한 실험이 추가로 수행될 수 있다. 후보 영역의 모양의 영향의 평가를 위해, 일 실시예에 따른 정합 방법 및 비교 실시예에 따른 정합 방법 간의 TRE가 비교될 수 있다. 일 실시예에 따른 정합 방법은, 구 뿐만 아니라 타원체에 기초하는 후보 영역 기반 접근 방식을 포함하고, 비교 실시예에 따른 정합 방법은, 단순 구 전용 방법을 포함할 수 있다.
비교는 일 실시예에 따른 정합 방법이 0.05 미만의 p 밸류로 정확도에서 상당한 개선을 제공하는 것을 보여주고, 일 실시예에 따른 정합 방법은 마커리스 정합 방법에 대해 의미 있는 개선을 가질 수 있다.
도 21는 일 실시예에 따른 정합 방법의 임시 후보 영역의 반지름의 길이에 따른 실험의 결과를 나타낼 수 있다.
일 실시예에 따른 정합 방법에 대한 후보 영역의 크기의 영향을 평가하기 위하여, 다양한 크기들의 후보 영역들(예: 다양한 크기들의 임시 후보 영역)을 가지는 일 실시예에 따른 정합 방법이 비교될 수 있다. 도 21에서, 단일 사용자 연구로 함께 두 개의 타겟 포인트들을 가지는 척추 팬텀을 사용하여 수행된 실험의 결과가 나타날 수 있다. 임시 후보 영역의 반지름은 8mm, 10mm, 12mm, 14mm, 및 15mm일 수 있다. 임시 후보 영역의 크기 변화에 따른 지배적인 경향이 없기 때문에, 임시 후보 영역의 반지름은, 척추 및 두개골 기반 수술을 위한 잠재적인 터치 가능 영역의 모양과 크기를 고려하여, 10mm로 결정될 수 있다.
정합 과정에서 일 실시예에 따른 정합 방법의 성능을 평가하기 위하여, 잔차 오차와 타겟 정합 오차가 정량화될 수 있다. 결과에 따르면, 일 실시예에 따른 변환 행렬의 결정 방법이 정합 프레임워크에 적용될 때, 일 실시예에 따른 정합 방법은 비교 실시예에 따른 정합 방법보다 향상된 성능을 가질 수 있다.
도 15 및 도 16에서 전술한 바와 같이, 일 실시예에 따른 정합 방법 및 비교 실시예에 따른 정합 방법의 잔차 오차는 큰 차이를 가질 수 있다. 수술 중의 포인트들이 메쉬 모델 좌표의 지정된 지점(예: 사용자 입력에 대응하는 제1 위치) 대신에, 후보 영역 내의 모든 위치들 중 하나의 위치로 페어링될 수 있으므로, RRE는 TRE보다 매우 낮을 수 있다. 도 17 내지 도 19에서 전술한 바와 같이, 더 낮은 RRE는 더 높은 정확도의 정합을 보장할 수 없기 때문에, TRE들간의 비교가 수행될 수 있다. 결과는 일 실시예에 따른 정합 방법이 비교 실시예에 따른 정합 방법에 비해 정확도를 크게 향상시키는 것으로 나타날 수 있다. 다양한 팬텀들(예: 두개골 팬텀, 척추 팬텀, 및 분리형 해골 팬텀 등)을 사용한 실험은, 일 실시예에 따른 정합 방법이 비교 실시예에 따른 정합 방법보다 정확도를 일관되게 향상시키는 것을 보여줄 수 있다. 따라서, 일 실시예에 따른 정합 방법은 수술 어플리케이션들의 다양한 조건들에서 개선될 수 있다. 또한, 다중 사용자 연구에서는 일 실시예에 따른 정합 방법이 비교 실시예에 따른 정합 방법에 비해 더 우수한 정확도를 가지므로, 일 실시예에 따른 정합 방법의 정확도가 사용자에 의존하지 않는 것이 나타날 수 있다.
일 실시예에 따른 정합 방법을 통해, 후보 영역 결정 모델이 이용됨으로써, 마커리스 정합 프레임워크에 대한 새로운 접근 방식이 제안될 수 있다. 후보 영역은 메쉬 모델의 좌표계에서 타겟 기점들 및 디지타이징 도구에 의하여 수집된 소스 기점 간의 모든 일치 가능성들을 지원할 수 있다. 포인트 수집 과정에서 마커는 사용되지 않을 수 있다. 일 실시예에 따른 정합 방법의 평가는, 비교 실시예에 따른 정합 방법과 비교하여 수행될 수 있다.
일 실시예에 따른 정합 방법을 통해, 팬텀 위치에 대한 견고성, 유연성, 및 독립성을 갖춘 후보 영역의 결정을 위한 전체 단계 절차가 구축될 수 있다. 또한, 후보 영역을 사용한 마커리스 정합을 위한 새로운 프레임워크가 제안되고 평가될 수 있다. 정합 결과는 일 실시예에 따른 정합 방법이 비교 실시예에 따른 정합 방법에 비해 향상된 정확도를 제공하는 것을 보여줄 수 있다.
또한, 일 실시예에 따른 정합 방법은, 보다 현실적인 팬텀이나 시체를 사용하여 더 많은 연구를 통해 검증될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (23)

  1. 프로세서에 의하여 수행되는 정합을 위한 변환 행렬을 결정하는 방법에 있어서,
    환자의 신체 부위를 모델링한 메쉬 모델(mesh model)에 대한 제1 사용자 입력에 기초하여, 상기 메쉬 모델의 제1 좌표계를 따르는 제1 위치를 획득하는 단계;
    상기 환자의 상기 신체 부위에 대한 제2 사용자 입력의 트래킹(tracking)에 기초하여, 상기 신체 부위에서 제2 좌표계를 따르는 제2 위치를 획득하는 단계;
    상기 메쉬 모델로부터 검출된 특징점들(feature points) 중 상기 제1 위치 주변의 특징점들에 기초하여 상기 메쉬 모델에서 후보 영역을 결정하는 단계;
    상기 획득된 제1 위치, 상기 획득된 제2 위치, 및 상기 제1 좌표계와 상기 제2 좌표계 간 좌표 변환을 위한 변환 행렬에 기초하여, 상기 결정된 후보 영역 내의 후보 위치 중에서 새로운 제1 위치를 결정하는 단계; 및
    상기 결정된 새로운 제1 위치에 기초하여 상기 변환 행렬을 업데이트하는 단계
    를 포함하는 정합을 위한 변환 행렬을 결정하는 방법.
  2. 제1항에 있어서,
    상기 제1 위치를 획득하는 단계는,
    상기 메쉬 모델의 복수의 꼭지점들(vertices) 중에서, 상기 제1 사용자 입력이 지시하는 지점과 가장 가까운 꼭지점의 위치를 제1 위치로 결정하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  3. 제1항에 있어서,
    상기 제1 위치를 획득하는 단계는,
    상기 환자의 신체 부위에 대하여 촬영된 CT(Computer tomography) 이미지, MRI(Magnetic Resonance Imaging) 이미지, 및 PET(positron emission tomography) 이미지 중 적어도 하나를 포함하는 상기 입체 이미지 데이터에 나타난 골격 및 장기 중 적어도 하나의 표면(surface)을 표현하는 상기 메쉬 모델을 생성하는 단계; 및
    상기 생성된 메쉬 모델에 대한 상기 제1 사용자 입력에 기초하여, 상기 제1 위치를 획득하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  4. 제1항에 있어서,
    상기 제2 위치를 획득하는 단계는,
    광학 트래킹 시스템(optical tracking system), 전자기 트래킹 시스템(electromagnetic tracking system), 또는 기계 기구 형태의 트래킹 시스템(mechanical arm tracking system) 중 하나 또는 둘 이상의 조합을 포함하는 트래킹 시스템을 통해, 상기 환자의 골격 및 장기 중 적어도 하나에서 상기 제2 위치를 획득하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  5. 제1항에 있어서,
    상기 새로운 제1 위치를 결정하는 단계는,
    상기 획득된 제1 위치 및 상기 획득된 제2 위치의 포인트 쌍(point pair)에 기초하여, 상기 제2 위치를 상기 제2 좌표계로부터 상기 제1 좌표계로 변환하는 상기 변환 행렬을 계산하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  6. 제5항에 있어서,
    상기 변환 행렬을 계산하는 단계는,
    상기 제2 위치에 임시 변환 행렬을 적용하여 상기 제1 좌표계를 따르는 위치를 계산함으로써, 상기 제2 위치로부터 변환된 위치를 획득하는 단계; 및
    상기 제2 위치로부터 변환된 위치 및 상기 제1 위치 간의 차이에 기초하여 상기 임시 변환 행렬을 업데이트함으로써, 상기 차이가 최소화되는 변환 행렬을 계산하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  7. 제1항에 있어서,
    상기 후보 영역을 결정하는 단계는,
    상기 제1 위치로부터 미리 결정된 거리 내의 특징점들의 분포의 기하학적 특징(geometrical feature)에 기초하여 상기 후보 영역을 결정하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  8. 제1항에 있어서,
    상기 후보 영역을 결정하는 단계는,
    상기 제1 위치로부터 미리 결정된 거리 내의 특징점들에 대하여 수행된 주성분 분석(Principal Component Analysis; PCA)에 기초하여 후보 영역을 결정하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  9. 제8항에 있어서,
    상기 주성분 분석에 기초하여 후보 영역을 결정하는 단계는,
    상기 주성분 분석으로부터 획득된 주성분(principal component)에 대한 변동(variation)에 기초하여 결정된 타원체(ellipsoidal solid)의 내부 영역으로 후보 영역을 결정하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  10. 제8항에 있어서,
    상기 주성분 분석에 기초하여 후보 영역을 결정하는 단계는,
    상기 주성분 분석으로부터 획득된 복수의 고유 값들(eigen values) 간의 차이가 임계 차이 이하인 것에 기초하여, 상기 제1 위치를 중심으로 하고 상기 미리 결정된 길이 보다 짧은 길이를 반지름으로 하는 구(sphere)의 내부 영역을 후보 영역으로 결정하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  11. 제1항에 있어서,
    상기 새로운 제1 위치를 결정하는 단계는,
    상기 제2 위치에 상기 변환 행렬을 적용함으로써 획득된, 상기 제1 좌표계를 따르는 변환된 위치와 가장 가까운 상기 메쉬 모델의 꼭지점을 상기 새로운 제1 위치로 결정하는 단계를 포함하는,
    정합을 위한 변환 행렬을 결정하는 방법.
  12. 하드웨어와 결합되어 제1항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  13. 환자의 신체 부위를 모델링한 메쉬 모델(mesh model)에 대한 제1 사용자 입력에 기초하여, 상기 메쉬 모델의 제1 좌표계를 따르는 제1 위치를 획득하고, 상기 환자의 상기 신체 부위에 대한 제2 사용자 입력의 트래킹(tracking)에 기초하여, 상기 신체 부위에서 제2 좌표계를 따르는 제2 위치를 획득하며, 상기 메쉬 모델로부터 검출된 특징점들(feature points) 중 상기 제1 위치 주변의 특징점들에 기초하여 상기 메쉬 모델에서 후보 영역을 결정하고, 상기 획득된 제1 위치, 상기 획득된 제2 위치, 및 상기 제1 좌표계와 상기 제2 좌표계 간 좌표 변환을 위한 변환 행렬에 기초하여, 상기 결정된 후보 영역 내의 후보 위치 중에서 새로운 제1 위치를 결정하며, 상기 결정된 새로운 제1 위치에 기초하여 상기 변환 행렬을 업데이트하는 프로세서
    를 포함하는 정합을 위한 변환 행렬 결정 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 메쉬 모델의 복수의 꼭지점들(vertices) 중에서, 상기 제1 사용자 입력이 지시하는 지점과 가장 가까운 꼭지점의 위치를 제1 위치로 결정하는,
    정합을 위한 변환 행렬 결정 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 환자의 신체 부위에 대하여 촬영된 CT(Computer tomography) 이미지, MRI(Magnetic Resonance Imaging) 이미지, 및 PET(positron emission tomography) 이미지 중 적어도 하나를 포함하는 상기 입체 이미지 데이터에 나타난 골격 및 장기 중 적어도 하나의 표면(surface)을 표현하는 상기 메쉬 모델을 생성하고,
    상기 생성된 메쉬 모델에 대한 상기 제1 사용자 입력에 기초하여, 상기 제1 위치를 획득하는,
    정합을 위한 변환 행렬 결정 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    광학 트래킹 시스템(optical tracking system), 전자기 트래킹 시스템(electromagnetic tracking system), 또는 기계 기구 형태의 트래킹 시스템(mechanical arm tracking system) 중 하나 또는 둘 이상 조합을 포함하는 트래킹 시스템을 통해, 상기 환자의 골격 및 장기 중 적어도 하나에서 상기 제2 위치를 획득하는,
    정합을 위한 변환 행렬 결정 장치.
  17. 제13항에 있어서,
    상기 프로세서는,
    상기 획득된 제1 위치 및 상기 획득된 제2 위치의 포인트 쌍(point pair)에 기초하여, 상기 제2 위치를 상기 제2 좌표계로부터 상기 제1 좌표계로 변환하는 상기 변환 행렬을 계산하는,
    정합을 위한 변환 행렬 결정 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 제2 위치에 임시 변환 행렬을 적용하여 상기 제1 좌표계를 따르는 위치를 계산함으로써, 상기 제2 위치로부터 변환된 위치를 획득하고,
    상기 제2 위치로부터 변환된 위치 및 상기 제1 위치 간의 차이에 기초하여 상기 임시 변환 행렬을 업데이트함으로써, 상기 차이가 최소화되는 변환 행렬을 계산하는,
    정합을 위한 변환 행렬 결정 장치.
  19. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 위치로부터 미리 결정된 거리 내의 특징점들의 분포의 기하학적 특징(geometrical feature)에 기초하여 상기 후보 영역을 결정하는,
    정합을 위한 변환 행렬 결정 장치.
  20. 제13항에 있어서,
    상기 프로세서는,
    상기 제1 위치로부터 미리 결정된 거리 내의 특징점들에 대하여 수행된 주성분 분석(Principal Component Analysis; PCA)에 기초하여 후보 영역을 결정하는,
    정합을 위한 변환 행렬 결정 장치.
  21. 제20항에 있어서,
    상기 프로세서는,
    상기 주성분 분석으로부터 획득된 주성분(principal component)에 대한 변동(variation)에 기초하여 결정된 타원체(ellipsoidal solid)의 내부 영역으로 후보 영역을 결정하는,
    정합을 위한 변환 행렬 결정 장치.
  22. 제20항에 있어서,
    상기 프로세서는,
    상기 주성분 분석으로부터 획득된 복수의 고유 값들(eigen values) 간의 차이가 임계 차이 이하인 것에 기초하여, 상기 제1 위치를 중심으로 하고 상기 미리 결정된 길이 보다 짧은 길이를 반지름으로 하는 구(sphere)의 내부 영역을 후보 영역으로 결정하는,
    정합을 위한 변환 행렬 결정 장치.
  23. 제13항에 있어서,
    상기 프로세서는,
    상기 제2 위치에 상기 변환 행렬을 적용함으로써 획득된, 상기 제1 좌표계를 따르는 변환된 위치와 가장 가까운 상기 메쉬 모델의 꼭지점을 상기 새로운 제1 위치로 결정하는,
    정합을 위한 변환 행렬 결정 장치.
KR1020220098787A 2022-01-10 2022-08-08 메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치 KR20230108198A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220003545 2022-01-10
KR1020220003545 2022-01-10

Publications (1)

Publication Number Publication Date
KR20230108198A true KR20230108198A (ko) 2023-07-18

Family

ID=87423626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220098787A KR20230108198A (ko) 2022-01-10 2022-08-08 메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230108198A (ko)

Similar Documents

Publication Publication Date Title
US11605185B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
US11210780B2 (en) Automatic image registration of scans for image-guided surgery
Cash et al. Compensating for intraoperative soft-tissue deformations using incomplete surface data and finite elements
US20190156478A1 (en) Multi image fusion based positioning verification
EP3416561B1 (en) Determination of dynamic drrs
EP2081494A2 (en) Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
Modrzejewski et al. An in vivo porcine dataset and evaluation methodology to measure soft-body laparoscopic liver registration accuracy with an extended algorithm that handles collisions
Ionescu et al. Automated registration of ultrasound with CT images: application to computer assisted prostate radiotherapy and orthopedics
US11207137B2 (en) Patient positioning using a skeleton model
Wen et al. In situ spatial AR surgical planning using projector-Kinect system
Shao et al. Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation
Kwartowitz et al. A novel technique for analysis of accuracy of magnetic tracking systems used in image guided surgery
Chen et al. Automated global optimization surface-matching registration method for image-to-patient spatial registration in an image-guided neurosurgery system
KR102084256B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
KR20230108198A (ko) 메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치
KR20230021543A (ko) 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치
Zheng et al. 3-D reconstruction of a surface model of the proximal femur from digital biplanar radiographs
Gomes‐Fonseca et al. Surface‐based registration between CT and US for image‐guided percutaneous renal access–A feasibility study
US20210145372A1 (en) Image acquisition based on treatment device position
US20230237711A1 (en) Augmenting a medical image with an intelligent ruler
Danilchenko Fiducial-based registration with anisotropic localization error
Boussot et al. Statistical model for the prediction of lung deformation during video-assisted thoracoscopic surgery
Nguyen et al. Markerless registration approach using dynamic touchable region model
Wen et al. Intelligent Coordinate Registration Method for Computer-Assisted Surgery
WO2023179875A1 (en) Method for registration of a virtual image in an augmented reality system