KR101767005B1 - 표면정합을 이용한 영상정합방법 및 영상정합장치 - Google Patents

표면정합을 이용한 영상정합방법 및 영상정합장치 Download PDF

Info

Publication number
KR101767005B1
KR101767005B1 KR1020160064865A KR20160064865A KR101767005B1 KR 101767005 B1 KR101767005 B1 KR 101767005B1 KR 1020160064865 A KR1020160064865 A KR 1020160064865A KR 20160064865 A KR20160064865 A KR 20160064865A KR 101767005 B1 KR101767005 B1 KR 101767005B1
Authority
KR
South Korea
Prior art keywords
image
matching
distribution
medical image
point
Prior art date
Application number
KR1020160064865A
Other languages
English (en)
Inventor
박현준
심태용
유학제
윤수현
허현무
문정환
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160064865A priority Critical patent/KR101767005B1/ko
Application granted granted Critical
Publication of KR101767005B1 publication Critical patent/KR101767005B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 표면정합을 이용한 영상정합방법 및 영상정합장치에 관한 것으로서, 본 발명에 따른 표면정합을 이용한 영상정합방법은 수술전 검사대상의 의료영상을 촬영하는 단계, 검사대상의 표면에 대한 표면영상을 촬영하는 단계; 의료영상과 표면영상 사이의 회전오차의 방향을 고려하여 표면영상을 구성하는 점 데이터의 분포를 변형시키는 단계 및 분포가 변형된 표면영상과 의료영상을 표면정합시키는 단계를 포함하는 것을 특징으로 한다.

Description

표면정합을 이용한 영상정합방법 및 영상정합장치{METHOD AND APPARATUS FOR MATCHING IMAGES USING CONTOUR-BASED REGISTRATION}
본 발명은 표면정합을 이용한 영상정합방법 및 영상정합장치에 관한 것으로서, 보다 상세하게는 수술 전에 촬영한 의료영상과 수술 중 실제 환자를 대상으로 촬영한 표면영상을 표면정합 기법을 이용해서 정합시켜 일치시키도록 하는 표면정합을 이용한 영상정합방법 및 영상정합장치에 관한 것이다.
수술용 내비게이션은 수술 도구의 3차원적인 위치를 수술 전에 촬영한 환자의 의료영상 위에 실시간으로 가시화하여 정확한 수술을 수행할 수 있도록 하는 의료기기이다. 수술용 내비게이션에 있어서 가장 중요한 부분은 수술 전에 CT(computed tomography), MRI(magnetic resonance imaging) 등으로 촬영한 의료영상을 수술 중 실제 환자를 대상으로 촬영하여 얻은 해부학적인 정보와 일치시키도록 하는 정합기술이다.
정합 방식은 크게 점정합(paired-point registration)과 표면정합(contour-based registration)으로 분류될 수 있다.
점정합 방식은 정확하고 안정된 결과를 제시하기 때문에 많이 사용되고 있는데, 수술 직전에 추가적인 의료영상의 촬영이 필요하여 방사선 노출 및 추가 의료비용이 발생하며, 영상 획득 후 수술실로 이동하여 정합이 완료될 때까지 표지자 마커들이 환자의 신체부위에 계속 고정되어 있어야만 정확도를 보장할 수 있다는 단점이 있다.
반면에, 표면정합 방식은 추가적인 의료영상 촬영이 필요 없지만 정합이 수행되는 표면부 보다 실제 병변이 존재하는 심층부에서 병변 정합 오차(TRE: target registration error)가 증가하는 단점이 있다. 즉, 실제 수술이 필요한 병변 부위에서 정합의 결과로 얻은 위치 데이터의 정확도가 낮아진다는 문제점이 있다.
이러한 병변 정합 오차는 정합 과정에서 강체 변환이 수행되면서 발생하는 회전 오차에 의해 발생하는 것으로 알려져 있다. 이에 본 발명에서는 표면정합 방법을 이용하되 회전 오차에 의해 발생하는 병변 정합 오차를 최소화하여 정확도를 향상시킬 수 있는 새로운 영상정합방법 및 영상정합장치를 제시하고자 한다.
공개특허 10-2012-0130563
따라서, 본 발명의 목적은 이와 같은 종래의 문제점을 해결하기 위한 것으로서, 수술 전 검사대상을 촬영한 의료영상과 검사대상의 표면을 촬영한 표면영상을 정합하기 전에 회전오차의 방향을 고려하여 표면영상의 점 데이터의 분포를 변형시킨 후 표면정합을 수행함으로써 병변 정합 오차를 줄일 수 있는 표면정합을 이용한 영상정합방법 및 영상정합장치를 제공함에 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적은, 본 발명에 따라, 수술전 검사대상의 의료영상을 촬영하는 단계;
상기 검사대상의 표면에 대한 표면영상을 촬영하는 단계; 상기 의료영상과 상기 표면영상 사이의 회전오차의 방향을 고려하여 상기 표면영상을 구성하는 점 데이터의 분포를 변형시키는 단계; 및 상기 분포가 변형된 표면영상과 상기 의료영상을 표면정합시키는 단계를 포함하는 표면정합을 이용한 영상정합방법에 의해 달성될 수가 있다.
여기서, 3차원의 상기 의료영상으로부터 상기 검사대상의 표면에 대한 의료영상을 추출하는 단계를 더 포함하고, 상기 표면정합시키는 단계는 상기 분포가 변형된 표면영상과 상기 추출된 검사대상의 표면에 대한 의료영상을 표면정합시킬 수가 있다.
여기서, 상기 점 데이터의 분포를 변형시키는 단계는 상기 표면영상의 중심점에서 상기 회전오차의 방향에 위치한 최외각 지점으로부터 근거리일수록 상기 점 데이터의 분포 밀도가 높도록 변형시킬 수가 있다.
여기서, 상기 점 데이터의 분포를 변형시키는 단계는 상기 표명영상을 구성하는 점 데이터로부터 상기 표면영상의 중심점을 산출하는 단계; 상기 중심점으로부터 상기 회전오차의 방향에 위치한 최외각의 지점을 기준점으로 선정하는 단계; 및 상기 표면영상의 각각의 점 데이터에 임의로 부여된 랜덤값과 상기 기준점과 각각의 점 데이터 사이의 거리를 구하여 거리가 가까울수록 높은 값이 부여된 임계값을 비교하여 상기 점 데이터 중 일부를 제외시키는 단계를 포함할 수가 있다.
여기서, 상기 임계값은 가우시안 함수를 이용하여 부여될 수가 있다.
여기서, 상기 회전오차의 방향은 상기 의료영상과 상기 표면영상을 표면정합시키는 단계; 상기 표면정합된 의료영상의 점 데이터와 표면영상의 점 데이터를 각각 주성분분석(PCA: principle component anayisis)을 하여 고유벡터를 산출하는 단계; 및 상기 두 개의 고유벡터로부터 회전오차의 방향을 구하는 단계를 포함할 수가 있다.
여기서, 상기 의료영상은 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나로부터 촬영되는 영상일 수가 있다.
여기서, 상기 표면영상은 3차원 스캐너, 내시경 장치, 광학 카메라, 씨암(C-arm) 장치 및 광간섭단층촬영장치(optical coherence tomography)중 적어도 하나로부터 촬영되는 영상일 수가 있다.
여기서, 상기 표면정합시키는 단계는 ICP(Iterative Closest Point) 알고리즘을 이용하여 표면정합시킬 수가 있다.
또한, 상기 목적은, 본 발명에 따라 수술전 검사대상을 촬영하여 획득한 의료영상과 검사대상의 표면을 촬영하여 획득한 표면영상 사이의 회전오차 방향을 고려하여 상기 표면영상을 구성하는 점 데이터의 분포를 변형시키는 분포 변형부; 상기 분포가 변형된 표면영상과 상기 의료영상을 표면정합시키는 표면정합부; 및 상기 표면정합된 좌표를 기준으로 수술정보를 보여주는 디스플레이부를 포함하는 표면정합을 이용한 영상정합장치에 의해 달성될 수가 있다.
여기서, 3차원의 상기 의료영상으로부터 상기 검사대상의 표면에 대한 의료영상을 추출하는 의료영상 추출부를 더 포함하고, 상기 표면정합부는 상기 분포가 변형된 표면영상과 상기 추출된 검사대상의 표면에 대한 의료영상을 표면정합시킬 수가 있다.
여기서, 상기 분포 변형부는 상기 회전오차의 방향을 구하는 회전오차 계산부를 더 포함하고, 상기 분포 변형부는 표면영상의 중심점에서 상기 회전오차의 방향에 위치한 최외각 지점인 기준점으로부터 근거리일수록 상기 점 데이터의 분포 밀도가 높도록 변형시킬 수가 있다.
여기서, 상기 분포 변형부는 상기 표면영상의 각각의 점 데이터에 임의로 부여된 랜덤값과 상기 기준점과 각각의 점 데이터 사이의 거리를 구하여 거리가 가까울수록 높은 값이 부여된 임계값을 비교하여 상기 점 데이터 중 일부를 제외시켜 상기 분포 밀도를 변형시킬 수가 있다.
여기서, 상기 임계값은 가우시안 함수를 이용하여 부여될 수가 있다.
여기서, 상기 분포 변형부는 상기 회전오차의 방향을 구하는 회전오차 계산부를 더 포함하고, 상기 회전오차 계산부는 상기 의료영상과 상기 표면영상을 표면정합시키고, 상기 표면정합된 의료영상의 점 데이터와 표면영상의 점데이터를 각각 주성분분석(PCA: principle component anayisis)을 하여 고유벡터를 산출하고, 상기 두 개의 고유벡터로부터 회전오차의 방향을 구할 수가 있다.
여기서, 상기 의료영상은 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영될 수가 있다.
여기서, 상기 표면영상은 3차원 스캐너, 내시경 장치, 광학 카메라, 씨암(C-arm) 장치 및 광간섭단층촬영장치(optical coherence tomography)중 어느 하나로부터 촬영될 수가 있다.
여기서, 상기 수술정보는 상기 의료영상 및 수술도구의 위치를 포함할 수가 있다.
여기서, 상기 표면정합부는 ICP(Iterative Closest Point) 알고리즘을 이용하여 표면정합시킬 수가 있다.
상기한 바와 같은 본 발명의 표면정합을 이용한 영상정합방법 및 영상정합장치에 따르면 회전오차에 의해 발생하는 병변 정합 오차를 감소시킬 수가 있다는 장점이 있다.
도 1은 표면정합시 회전오차에 의해 병변 정합 오차가 크게 발생하는 원인을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합방법의 순서도이다.
도 3은 도 2의 표면영상의 점 데이터의 분포를 변형시키는 단계의 세부 순서도이다.
도 4는 본 발명의 일 실시예에 따라 회전오차의 방향을 구하는 순서를 도식적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 기준점이 도시된 표면영상을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 표면영상의 점 데이터의 분포를 변형시키기 위해 가우시안 함수를 이용한 알고리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 표면영상의 점 데이터의 분포가 변형되기 전과 후의 영상을 각각 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합장치의 구성도이다.
도 9는 본 발명에 따라 표면영상의 점 데이터의 분포를 변형시킨 후에 표면정합을 수행하였을 경우 종래의 방법으로 표면정합을 수행하였을 경우와 비교하여 병변 정합 오차가 감소함을 보여주는 그래프이다.
실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다
먼저, 본 발명에 따른 표면정합을 이용한 영상정합방법 및 영상정합장치를 설명하기에 앞서 표면정합을 수행할 때 회전오차에 의해 병변 정합 오차가 크게 발생하는 원인을 설명하기로 한다.
도 1은 표면정합시 회전오차에 의해 병변 정합 오차가 크게 발생하는 원인을 설명하기 위한 도면이다.
표면정합은 서로 다른 장비로부터 획득한 3차원 표면영상의 점 데이터들의 대응점 사이의 오차를 최소화하도록 하여 두 표면의 형상을 최대한 일치시키도록 하는 것이다. 보다 자세히 설명하면, 서로 다른 장비로부터 획득한 영상 데이터의 좌표축은 서로 다른데, 표면영상의 점 데이터들의 대응점 사이의 오차를 최소화하도록 두 표면영상 중 어느 하나의 좌표축을 회전 및 평행이동시켜 두 영상을 최대한 일치시키도록 하는 것이 표면정합이다.
도 1에는 CT(computed tomography) 장치로 촬영한 의료영상에서 추출한 얼굴의 표면 위치정보(○)와 3차원 스캐너 장치에서 촬영하여 얻은 얼굴의 표면 위치정보(X)를 이용하여 표면정합을 수행하였을 때의 결과를 도시한다. 서로 다른 장비로부터 얼굴의 표면 위치정보를 각각 획득하였기 때문에, 이를 구성하는 위치정보 데이터의 좌표축, 개수, 분포, 영역 등이 상이할 수 밖에 없다. 따라서, 표면정합을 수행하더라도 두 위치정보 데이터들은 완벽하게 일치되지 않고 약간의 자세방위(orientation) 차이가 발생하게 된다. 이때, 서로 다른 장비로부터 추출한 머리 내부의 병변의 위치정보(●, ◇)를 비교하면, 도 1에 도시되어 있는 것과 같이 표면정합이 수행된 얼굴 표면과 가까운 위치인 표면부에서 머리 심층부로 갈수록 오차가 커짐을 알 수가 있다. 이는 표면정합에 의해 각각의 위치정보 데이터들을 최대한 일치시키도록 변형했음에도 불구하고 완벽하게 일치하지 못해서 발생하는 회전오차(RRE: residual rotation error) 때문에 발생하게 된다.
이하, 본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합방법을 도면을 참조로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합방법의 순서도이고, 도 3은 도 2의 표면영상의 점 데이터의 분포를 변형시키는 단계의 세부 순서도이고, 도 4는 본 발명의 일 실시예에 따라 회전오차의 방향을 구하는 순서를 도식적으로 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따라 기준점이 도시된 표면영상을 나타내는 도면이고, 도 6은 본 발명의 일 실시예에 따라 표면영상의 점 데이터의 분포를 변형시키기 위해 가우시안 함수를 이용한 알고리즘을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따라 표면영상의 점 데이터의 분포가 변형되기 전과 후의 영상을 각각 도시하는 도면이다.
본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합방법은 수술전 검사대상의 의료영상을 촬영하는 단계(S110), 검사대상의 표면에 대한 표면영상을 촬영하는 단계(S120), 의료영상과 표면영상 사이의 회전오차의 방향을 고려하여 표면영상을 구성하는 점 데이터의 분포를 변형시키는 단계(S130) 및 분포가 변형된 표면영상과 의료영상을 표면정합시키는 단계(S140)를 포함한다.
먼저, 수술전에 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치, 양전자 단층 촬영(positron emission tomography, PET) 장치 등과 같은 의료영상 촬영장치(410)를 이용하여 검사대상에 대해서 3차원의 의료영상을 촬영한다(S110). 이러한 의료영상으로부터 검사대상에서의 병변의 위치 및 형상 등을 파악할 수가 있다. 의료영상 촬영장치(410)는 전술한 장치에 한정되는 것은 아니고 검사대상의 표면뿐만 아니라 내부까지 촬영할 수 있다면 공지된 다른 촬영장치를 사용할 수 있음은 물론이다.
다음, 또 다른 촬영 장치인 3차원 스캐너, 내시경 장치, 광학 카메라, 씨암(C-arm) 장치, 광간섭단층촬영장치(optical coherence tomography) 등과 같은 표면영상 촬영장치(420)를 이용하여 검사대상의 표면에 대한 표면영상을 촬영한다(S120). 표면영상은 실제 수술 중에 환자를 촬영하여 얻는 표면 형상 데이터를 의미한다. 표면영상 촬영장치(420)도 전술한 장치에 한정되는 것은 아니고 검사대상의 표면에 대한 영상을 촬영할 수 있다면 공지된 다른 촬영장치를 사용할 수 있음은 물론이다.
이하, 설명하는 본 발명의 실시예에서는 CT 장치로부터 검사대상인 머리에 대한 의료영상을 획득하고, 3차원 스캐너를 이용하여 검사대상인 머리의 표면영상(얼굴영상)을 촬영하여 각각으로부터 얻은 영상을 정합하는 것을 예를 들어 설명하기로 한다.
물론, 검사대상은 신체 내부의 장기일 수도 있고, 이때에는 내시경 장치 등을 이용하여 내부의 장기에 대한 표면영상을 획득하여 본 발명에 따라 표면정합을 수행할 수가 있다.
다음, 의료영상과 표면영상 사이의 회전오차의 방향을 고려하여 표면영상을 구성하는 점 데이터의 분포를 변형시킨다(S130). 본 발명에서는 표면영상의 중심점에서 회전오차의 방향에 위치한 최외각 지점인 기준점으로부터 근거리일수록 점 데이터의 분포 밀도가 높도록 점 데이터의 분포를 변형시킨다. 이와 관련해서는 도 3 내지 도 7을 참조로 상세히 설명하기로 한다.
상기 S130 단계의 세부 순서도인 도 3을 참조하면, 먼저 표면영상을 구성하는 점 데이터로부터 표면영상의 중심점을 산출한다(S131). 여기서 중심점은 표면영상을 구성하는 각각의 점 데이터들의 3차원 좌표값을 평균하여 구한 좌표값일 수가 있다. 도 5에 도시되어 있는 것과 같이 중심점은 얼굴을 촬영하여 얻은 표면영상의 중심부에 위치하게 된다. 중심점을 구한 다음, 중심점이 원점이 되도록 모든 점 데이터들의 좌표값들을 평행이동시킬 수가 있다.
다음, 회전오차의 방향을 기초로 점 데이터들의 분포를 변형시키기 위한 기준이 되는 기준점을 선정한다(S132). 도 5에 도시된 화살표는 회전오차의 방향을 도시하는데, 본 발명에서는 중심점에서 회전오차의 방향에 위치한 최외각의 지점을 기준점으로 선정할 수가 있다.
회전오차의 방향을 구하는 방법은 도 4를 참조로 설명하기로 한다.
전술한 바와 같이 회전오차는 두 영상 데이터를 이용하여 표면정합을 수행하였을 때 두 영상을 완벽하게 일치시키도록 할 수가 없어서 발생한다. 따라서, 회전오차의 방향을 구하기 위해 먼저 의료영상과 표면영상의 데이터들을 이용하여 종래의 방법으로 표면정합을 수행한다(S210). 즉, S110 단계와 S120 단계에서 각각 획득한 의료영상과 표면영상으로부터 표면영상의 점 데이터들에 대한 분포를 변형시키지 않고 종래의 방법으로 표면정합을 수행한다. 이때, 표면정합을 수행하는 알고리즘으로 ICP(Iterative Closest Point) 알고리즘을 사용할 수가 있다. ICP 알고리즘은 3차원의 영상을 정합시키는 여러 응용분야에서 활용되는 공지의 알고리즘으로, 본 발명에서는 이에 대한 자세한 설명은 생략하기로 한다.
전술한 ICP 알고리즘으로 표면정합을 수행하면 서로 다른 장치로부터 획득한 점 데이터들 중 어느 하나의 장치로부터 획득한 점 데이터들을 평행 또는 회전이동시켜 두 표면영상의 점 데이터들의 분포를 최대한 일치시키도록 할 수가 있다.
다음, 표면정합을 수행한 이후에 각각의 장비로 획득한 점 데이터들의 집합으로부터 각각 주성분분석(PCA: principle component anayisis)을 통해 고유벡터를 산출한다(S220). 즉, 3차원 스캐너로 얼굴을 촬영하여 획득한 표면영상의 점 데이터들에 대해 주성분분석을 수행하여 고유벡터를 산출하고, CT 장치로부터 획득한 얼굴 표면의 점 데이터들에 대해 주성분분석을 수행하여 고유벡터를 각각 산출한다.
다음, 각각의 고유벡터를 이용하여 지역 좌표계를 각각 생성한다(S230). 전술한 바와 같이 표면정합을 수행하여도 두 표면영상의 분포를 완전히 일치시킬 수가 없기 때문에, 각각으로부터 구한 지역 좌표계는 도시되어 있는 것과 같이 완전히 일치하지 않는다.
다음, 각 지역 좌표계에서 얼굴 쪽에서 머리 안쪽으로 향하는 좌표축을 대표로 선정하여 대표 벡터로 선정한다(S240).
다음, 각각의 대표 벡터를 전역 좌표계를 중심으로 하는 벡터 값으로 변형시키고(S250), 두 벡터 사이의 차가 회전 오차의 방향으로 구해질 수가 있다(S260).
이때, 회전오차를 구하는 방법은 도 4를 참조로 전술한 방법에 한정되는 것은 아니다.
다시 도 3을 참조하여 설명을 하면, 기준점을 선정(S132)한 이후에 표면영상을 구성하는 각각의 점 데이터에 난수 발생기를 이용하여 임의로 0~1사이의 랜덤값을 부여한다(S133). 또한, 기준점으로부터 각각의 점 데이터 사이의 거리를 구하고, 거리에 따라서 서로 다른 임계값을 부여하도록 한다(S134). (이때, 설명의 편의를 위해 S133과 S134의 순서로 도시되어 있는데, 각 단계의 순서는 바뀔 수 있다.)
보다 자세히 설명하면, 도 6에 도시되어 있는 것과 같이 가우시안 함수를 이용하여, 기준점으로부터의 거리가 가까운 점 데이터에 대해서는 1에 가까운 큰 임계값을 가지도록 하고 기준점으로부터 거리가 먼 점 데이터에 대해서는 0에 가까운 작은 임계값을 가지도록 설정할 수가 있다. 가우시안 함수는 임계값을 설정하도록 하는 함수의 일 예일 뿐이고, 기준점과의 거리가 멀어질수록 작은 임계값을 가지도록 하는 다른 함수를 사용할 수 있음은 물론이다.
다음, 각각의 점 데이터에 부여된 랜덤값과 임계값을 비교하여 랜덤값이 임계값보다 작은 경우에는 정합에 사용되는 점 데이터로 선정하게 된다(S135). 즉, 기준점과의 거리가 가까운 지점의 점 데이터는 상대적으로 높은 임계값을 가지기 때문에 정합에 사용되는 점 데이터로 선정될 확률이 높아지고, 반대로 기준점과의 거리가 먼 지점의 점 데이터는 상대적으로 낮은 임계값을 가지기 때문에 정합에 사용되는 점 데이터로 선정될 확률이 낮아지게 된다. 따라서, 기준점을 중심으로 가까운 위치의 분포 밀도는 상대적으로 높아지게 되고, 기준점을 중심으로 먼 위치의 분포 밀도는 상대적으로 낮아지게 된다.
이는 도 7에 도시되어 있는데, 도 7의 좌측은 점 데이터의 분포가 변형되기 전의 표면영상이고, 도 7의 우측은 전술한 방법으로 점 데이터의 분포가 변형된 이후의 표면영상을 각각 도시한다. 도시되어 있는 것과 같이 전술한 방법으로 점 데이터의 분포 밀도를 변형시킨 이후에, 기준점에 가까운 위치에 상대적으로 많은 수의 점 데이터가 분포하는 것을 알 수가 있다.
회전오차의 방향으로 상대적으로 더 많은 수의 점 데이터를 분포하도록 한다면, 표면영상의 점 데이터의 분포를 변형시키는 방법은 전술한 방법에 한정되지 않는다.
다시 도 2를 참조하면, 전술한 방법으로 분포가 변형된 표면영상과 의료영상을 표면정합시킨다(S140). 표면정합은 전술한 ICP 알고리즘을 이용하여 수행할 수가 있다. 이때, 표면정합을 시키기 전에 검사대상인 머리를 연속적으로 단층 촬영하여 획득한 3차원의 의료영상으로부터 얼굴 표면의 정보만 추출하도록 한다. 즉, CT 장치를 이용하여 획득한 의료영상은 머리 전체에 대한 3차원영상이다. 실제로 표면정합을 수행하는 의료영상은 얼굴표면에 대한 영상이므로, CT 장치로부터 머리를 촬영하여 획득한 3차원의 의료영상으로부터 얼굴 표면의 의료영상 정보를 추출하는 것이 필요하다. 3차원의 의료영상으로부터 얼굴표면의 의료영상을 추출하는 방법으로 공지된 마칭 큐브 알고리즘(Marching Cube Algorithm)을 이용할 수가 있다. 도 4를 참조로 전술한 S210에서도 상술하지 않았지만, 실제 표면정합을 수행할 때에는 CT로부터 획득한 3차원의 의료영상으로부터 얼굴 표면에 대한 의료영상을 추출한 이후에 표면정합을 수행하는 것이 바람직하다.
이하, 본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합장치를 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 표면정합을 이용한 영상정합장치의 구성도이다.
본 발명에 따른 표면정합을 이용한 영상정합장치(300)는 분포 변형부(310), 표면정합부(320) 및 디스플레이부(330)를 포함하여 구성될 수가 있다.
분포 변형부(310)는 수술전에 의료영상 촬영장치(410)로부터 촬영한 의료영상과 수술 직전에 표면영상 촬영장치로(420)부터 촬영한 표면영상 사이의 회전오차의 방향을 고려하여 표면영상을 구성하는 점 데이터의 분포를 변형시킨다.
이때, 전술한 바와 같이 의료영상 촬영장치(410)는 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나일 수가 있고, 표면영상 촬영장치(420)는 3차원 스캐너, 내시경 장치, 광학 카메라, 씨암(C-arm) 장치 및 광간섭단층촬영장치(optical coherence tomography)중 어느 하나일 수가 있다.
분포 변형부(310)에서 표면영상의 점 데이터의 분포를 변형시키기 위해서는 회전오차의 방향을 구하는 것이 선행되어야 하므로, 분포 변형부(310) 내에는 회전오차 계산부(미도시)가 형성될 수가 있다.
분포 변형부(310)에서는 도 3 내지 도 7을 참조로 전술한 것과 같이 표면영상의 중심점에서 회전오차의 방향에 위치한 최외각 지점인 기준점으로부터의 거리가 가까울수록 점 데이터의 분포 밀도가 상대적으로 높도록 점 데이터의 분포를 변형시킨다. 표면영상의 점 데이터의 분포를 변형시키는 것과 관련된 설명은 전술하였으므로 자세한 설명은 생략하기로 한다.
표면정합부(320)는 분포 변형부(310)에서 분포가 변형된 표면영상과 의료영상을 표면정합시키는데, 표면정합의 알고리즘으로 공지된 ICP 알고리즘을 사용할 수가 있다. 이때, 검사대상에 대한 3차원의 의료영상으로부터 검사대상의 표면에 대한 의료영상을 추출하는 의료영상 추출부(415)를 더 포함할 수가 있는데, 표면정합부(320)는 분포 변형부(310)에서 분포가 변형된 표면영상과 의료영상 추출부(415)에서 추출된 검사대상의 표면에 대한 의료영상을 표면정합시키는 것이 바람직하다.
디스플레이부(330)는 표면정합부(320)에서 표면정합된 좌표를 기준으로 수술정보를 디스플레이 해준다. 디스플레이부(330)에 표시되는 수술정보는 수술 중 실시간으로 환자를 대상으로 촬영되는 촬영영상 정보를 기초로 병변이 표시되는 의료영상 및 3차원의 위치추적장치(430)가 장착된 수술도구의 위치 등이 표시될 수가 있다.
도 9는 머리를 검사대상으로 하여 본 발명에 따라 회전오차를 고려하여 표면영상의 점 데이터의 분포를 변형시킨 이후에 표면정합을 수행하였을 경우와, 표면영상의 점 데이터의 분포를 변형시키지 않고 표면정합을 수행하였을 경우에 병변 정합 오차의 결과를 도시한다. 비교 실험에서 병변 정합 오차를 10회 반복하여 측정하였는데, 본 발명에 따른 경우 평균적으로 10.24% 정도 병변 정합 오차가 감소하는 것을 알 수가 있었다.
본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.
300: 표면정합을 이용한 영상정합장치 310: 분포 변형부
320: 표면정합부 330: 디스플레이부
410: 의료영상 촬영장치 415: 의료영상 추출부
420: 표면영상 촬영장치 430: 3차원 위치추적장치

Claims (19)

  1. 수술전 검사대상의 의료영상을 촬영하는 단계;
    상기 검사대상의 표면에 대한 표면영상을 촬영하는 단계;
    상기 의료영상과 상기 표면영상 사이의 회전오차의 방향을 고려하여 상기 표면영상을 구성하는 점 데이터의 분포를 변형시키는 단계; 및
    상기 분포가 변형된 표면영상과 상기 의료영상을 표면정합시키는 단계를 포함하는 표면정합을 이용한 영상정합방법.
  2. 제 1 항에 있어서,
    3차원의 상기 의료영상으로부터 상기 검사대상의 표면에 대한 의료영상을 추출하는 단계를 더 포함하고,
    상기 표면정합시키는 단계는 상기 분포가 변형된 표면영상과 상기 추출된 검사대상의 표면에 대한 의료영상을 표면정합시키는 표면정합을 이용한 영상정합방법.
  3. 제 1 항에 있어서,
    상기 점 데이터의 분포를 변형시키는 단계는 상기 표면영상의 중심점에서 상기 회전오차의 방향에 위치한 최외각 지점으로부터 근거리일수록 상기 점 데이터의 분포 밀도가 높도록 변형시키는 표면정합을 이용한 영상정합방법.
  4. 제 3 항에 있어서,
    상기 점 데이터의 분포를 변형시키는 단계는
    상기 표면영상을 구성하는 점 데이터로부터 상기 표면영상의 중심점을 산출하는 단계;
    상기 중심점으로부터 상기 회전오차의 방향에 위치한 최외각의 지점을 기준점으로 선정하는 단계; 및
    상기 표면영상의 각각의 점 데이터에 임의로 부여된 랜덤값과 상기 기준점과 각각의 점 데이터 사이의 거리를 구하여 거리가 가까울수록 높은 값이 부여된 임계값을 비교하여 상기 점 데이터 중 일부를 삭제시켜 상기 분포 밀도를 변형시키는 단계를 포함하는 표면정합을 이용한 영상정합방법.
  5. 제 4 항에 있어서,
    상기 임계값은 가우시안 함수를 이용하여 부여되는 표면정합을 이용한 영상정합방법.
  6. 제 1 항에 있어서,
    상기 회전오차의 방향은
    상기 의료영상과 상기 표면영상을 표면정합시키는 단계;
    상기 표면정합된 의료영상의 점 데이터와 표면영상의 점 데이터를 각각 주성분분석(PCA: principle component anayisis)을 하여 고유벡터를 산출하는 단계; 및
    상기 두 개의 고유벡터로부터 회전오차의 방향을 구하는 단계를 포함하는 표면정합을 이용한 영상정합방법.
  7. 제 1 항에 있어서,
    상기 의료영상은 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나로부터 촬영되는 영상인 표면정합을 이용한 영상정합방법.
  8. 제 1 항에 있어서,
    상기 표면영상은 3차원 스캐너, 내시경 장치, 광학 카메라, 씨암(C-arm) 장치 및 광간섭단층촬영장치(optical coherence tomography)중 적어도 하나로부터 촬영되는 영상인 표면정합을 이용한 영상정합방법.
  9. 제 1 항에 있어서,
    상기 표면정합시키는 단계는 ICP(Iterative Closest Point) 알고리즘을 이용하여 표면정합시키는 표면정합을 이용한 영상정합방법.
  10. 수술전 검사대상을 촬영하여 획득한 의료영상과 검사대상의 표면을 촬영하여 획득한 표면영상 사이의 회전오차 방향을 고려하여 상기 표면영상을 구성하는 점 데이터의 분포를 변형시키는 분포 변형부;
    상기 분포가 변형된 표면영상과 상기 의료영상을 표면정합시키는 표면정합부; 및
    상기 표면정합된 좌표를 기준으로 수술정보를 보여주는 디스플레이부를 포함하는 표면정합을 이용한 영상정합장치.
  11. 제 10 항에 있어서,
    3차원의 상기 의료영상으로부터 상기 검사대상의 표면에 대한 의료영상을 추출하는 의료영상 추출부를 더 포함하고,
    상기 표면정합부는 상기 분포가 변형된 표면영상과 상기 추출된 검사대상의 표면에 대한 의료영상을 표면정합시키는 표면정합을 이용한 영상정합장치.
  12. 제 10 항에 있어서,
    상기 분포 변형부는 상기 회전오차의 방향을 구하는 회전오차 계산부를 더 포함하고,
    상기 분포 변형부는 표면영상의 중심점에서 상기 회전오차의 방향에 위치한 최외각 지점인 기준점으로부터 근거리일수록 상기 점 데이터의 분포 밀도가 높도록 변형시키는 표면정합을 이용한 영상정합장치.
  13. 제 12 항에 있어서,
    상기 분포 변형부는
    상기 표면영상의 각각의 점 데이터에 임의로 부여된 랜덤값과 상기 기준점과 각각의 점 데이터 사이의 거리를 구하여 거리가 가까울수록 높은 값이 부여된 임계값을 비교하여 상기 점 데이터 중 일부를 삭제시켜 상기 분포 밀도를 변형시키는 표면정합을 이용한 영상정합장치.
  14. 제 13 항에 있어서,
    상기 임계값은 가우시안 함수를 이용하여 부여되는 표면정합을 이용한 영상정합장치.
  15. 제 10 항에 있어서,
    상기 분포 변형부는 상기 회전오차의 방향을 구하는 회전오차 계산부를 더 포함하고,
    상기 회전오차 계산부는 상기 의료영상과 상기 표면영상을 표면정합시키고, 상기 표면정합된 의료영상의 점 데이터와 표면영상의 점데이터를 각각 주성분분석(PCA: principle component anayisis)을 하여 고유벡터를 산출하고, 상기 두 개의 고유벡터로부터 회전오차의 방향을 구하는 표면정합을 이용한 영상정합장치.
  16. 제 10 항에 있어서,
    상기 의료영상은 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 표면정합을 이용한 영상정합장치.
  17. 제 10 항에 있어서,
    상기 표면영상은 3차원 스캐너, 내시경 장치, 광학 카메라, 씨암(C-arm) 장치 및 광간섭단층촬영장치(optical coherence tomography)중 어느 하나로부터 촬영되는 표면정합을 이용한 영상정합장치.
  18. 제 10 항에 있어서,
    상기 수술정보는 상기 의료영상 및 수술도구의 위치를 포함하는 표면정합을 이용한 영상정합장치.
  19. 제 10 항에 있어서,
    상기 표면정합부는 ICP(Iterative Closest Point) 알고리즘을 이용하여 표면정합시키는 표면정합을 이용한 영상정합장치.
KR1020160064865A 2016-05-26 2016-05-26 표면정합을 이용한 영상정합방법 및 영상정합장치 KR101767005B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064865A KR101767005B1 (ko) 2016-05-26 2016-05-26 표면정합을 이용한 영상정합방법 및 영상정합장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064865A KR101767005B1 (ko) 2016-05-26 2016-05-26 표면정합을 이용한 영상정합방법 및 영상정합장치

Publications (1)

Publication Number Publication Date
KR101767005B1 true KR101767005B1 (ko) 2017-08-09

Family

ID=59652569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064865A KR101767005B1 (ko) 2016-05-26 2016-05-26 표면정합을 이용한 영상정합방법 및 영상정합장치

Country Status (1)

Country Link
KR (1) KR101767005B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096178A (ko) * 2018-02-08 2019-08-19 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치
KR20190102429A (ko) * 2018-02-26 2019-09-04 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 장치
KR20210052270A (ko) * 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20210156703A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605716B2 (ja) 2006-07-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
JP2013031660A (ja) 2011-08-02 2013-02-14 Samsung Electronics Co Ltd 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605716B2 (ja) 2006-07-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
JP2013031660A (ja) 2011-08-02 2013-02-14 Samsung Electronics Co Ltd 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
뉴로내비게이션 시스템 표면정합에 대한 병변 정합 오차의 회전적 특성 분석, 팬텀 연구, 대한의용생체공학회 학회지 제37권2호(2016.04.)*
일차 고유벡터와 히스토그램 분석에 의한 영상 정합, 정보과학회논문지, 소프트웨어 및 응용 제27권10호(2000.10.)*
주성분 분석을 이용한 직선 검출에 대한 분석, 한국정보통신학회 논문지 제19권9호(2015.09.)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096178A (ko) * 2018-02-08 2019-08-19 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치
KR102078737B1 (ko) 2018-02-08 2020-02-19 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치
KR20190102429A (ko) * 2018-02-26 2019-09-04 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 장치
KR102098929B1 (ko) 2018-02-26 2020-04-08 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 장치
KR20210052270A (ko) * 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102433473B1 (ko) * 2019-10-30 2022-08-19 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20210156703A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR102458276B1 (ko) * 2020-06-18 2022-10-25 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법

Similar Documents

Publication Publication Date Title
Leonard et al. Evaluation and stability analysis of video-based navigation system for functional endoscopic sinus surgery on in vivo clinical data
US9240046B2 (en) Method and system to assist 2D-3D image registration
US9715739B2 (en) Bone fragment tracking
WO2013141155A1 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
KR101767005B1 (ko) 표면정합을 이용한 영상정합방법 및 영상정합장치
JP2003265408A (ja) 内視鏡誘導装置および方法
US11547388B2 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
JP6290723B2 (ja) 手術支援装置および手術支援システム
Kurazume et al. 3D reconstruction of a femoral shape using a parametric model and two 2D fluoroscopic images
Wengert et al. Markerless endoscopic registration and referencing
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN112384949A (zh) 较低到较高分辨率的图像融合
Shao et al. Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation
WO2001057805A2 (en) Image data processing method and apparatus
Lai et al. Hand-eye camera calibration with an optical tracking system
Doignon et al. Pose estimation and feature tracking for robot assisted surgery with medical imaging
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
Zhang et al. SIFT algorithm-based 3D pose estimation of femur
Hwang et al. 3d pose estimation of catheter band markers based on single-plane fluoroscopy
Zhang et al. An automatic ICP-based 2D-3D registration method for a high-speed biplanar videoradiography imaging system
CN115105202A (zh) 一种用于腔镜手术中的病灶确认方法及系统
Yano et al. Accuracy verification of knife tip positioning with position and orientation estimation of the actual liver for liver surgery support system
JP2023520618A (ja) 多視点姿勢推定を使用するための方法及びシステム
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant