KR20190096178A - 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치 - Google Patents

수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치 Download PDF

Info

Publication number
KR20190096178A
KR20190096178A KR1020180015796A KR20180015796A KR20190096178A KR 20190096178 A KR20190096178 A KR 20190096178A KR 1020180015796 A KR1020180015796 A KR 1020180015796A KR 20180015796 A KR20180015796 A KR 20180015796A KR 20190096178 A KR20190096178 A KR 20190096178A
Authority
KR
South Korea
Prior art keywords
point data
medical image
data
camera
image point
Prior art date
Application number
KR1020180015796A
Other languages
English (en)
Other versions
KR102078737B1 (ko
Inventor
문정환
심태용
유학제
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180015796A priority Critical patent/KR102078737B1/ko
Publication of KR20190096178A publication Critical patent/KR20190096178A/ko
Application granted granted Critical
Publication of KR102078737B1 publication Critical patent/KR102078737B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명은 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법은, 수술용 내비게이션 장치에 의해 수행되는 수술용 내비게이션의 표면 정합 방법에 있어서, 수술대상 표면에 대한 카메라 영상 데이터에서 카메라 포인트 데이터를 추출하는 단계, 상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 단계, 및 상기 추출된 카메라 포인트 데이터와 상기 생성된 제2 의료영상 포인트 데이터를 표면 정합시키는 단계를 포함한다.

Description

수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치{METHOD FOR SURFACE REGISTRATION OF SURGICAL NAVIGATION AND SURGICAL NAVIGATION APPARATUS}
본 발명은 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치에 관한 것이다.
일반적으로 외과용 내비게이션 수술 시 사용되는 표면 정합은 수술 전 획득한 얼굴 CT(Computerized Tomography) 포인트 데이터(Point data)와 수술 중 획득된 얼굴에 대한 광학 카메라 포인트 데이터들(Optical camera point data)의 포인트들 간 정합을 통해 수행된다. CT와 광학 카메라 포인트 데이터 간 정합을 통해 획득된 정합의 정확도는 정확한 병변의 위치를 파악하여 수술의 성공률을 향상시키기 위한 중요한 지표로 사용될 수 있다. 일반적으로 수술 전 획득되는 CT 데이터의 포인트 수는 일정하게 유지된다.
그러나 수술 중 획득되는 광학 카메라 데이터는 획득시간이나 수술자에 의해 포인트 숫자 및 위치정보가 변화하게 된다. 이러한 광학 카메라 데이터의 포인트 수 및 위치정보의 변화는 CT 데이터 포인트들과의 표면 정합 정확도를 낮출 뿐만 아니라 일관되지 못한 정합 결과를 발생시키게 된다.
일본 등록특허공보 제04938933호 (2012.03.02 등록)
이러한 문제점을 극복하기 위해, 광학 카메라 포인트 데이터를 기반으로 새로운 의료영상(예컨대, CT) 포인트를 선정하고 새로운 의료영상 포인트와 광학 카메라 포인트 데이터 간의 표면 정합을 통해 높은 표면 정합 정확도를 확보할 수 있는 새로운 방법이 필요하다.
이를 위해, 본 발명의 실시 예들은 정합 오차의 정확도를 향상시킬 수 있는 새로운 의료영상 포인트 데이터를 생성함으로써, 외과용 내비게이션 수술에서 사용되는 표면 정합 방법 시 획득된 광학 카메라 데이터에 따라 달라지는 광학 카메라와 의료영상 데이터의 정합 오차의 정확도를 향상시킬 수 있는, 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치를 제공하고자 한다.
본 발명의 실시 예들은 외과용 내비게이션 수술 시 표면 정합에 사용되는 CT 포인트 데이터를 광학 카메라 포인트 데이터의 측면에서 새롭게 생성하여 병변 위치의 정확도를 향상시킬 수 있는, 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치를 제공하고자 한다.
본 발명의 실시 예들은 수술 직전 획득된 광학 카메라 포인트 데이터를 기준으로 최적의 CT 포인트를 1차적으로 선정한 후, 선정된 CT 포인트 데이터와 기존 광학 카메라 포인트들 간 최단거리에 있는 새로운 점을 생성함으로써, 이러한 새로운 CT 포인트 데이터를 통해 병변 위치에 대한 높은 정확도를 획득할 수 있는, 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따르면, 수술용 내비게이션 장치에 의해 수행되는 수술용 내비게이션의 표면 정합 방법에 있어서, 수술대상 표면에 대한 카메라 영상 데이터에서 카메라 포인트 데이터를 추출하는 단계; 상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 단계; 및 상기 추출된 카메라 포인트 데이터와 상기 생성된 제2 의료영상 포인트 데이터를 표면 정합시키는 단계를 포함하는 수술용 내비게이션 방법의 표면 정합 방법이 제공될 수 있다.
상기 방법은, 상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정하는 단계를 더 포함하고, 상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 추출된 카메라 포인트 데이터와 상기 결정된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 적어도 하나의 제1 의료영상 포인트 데이터에서 상기 추출된 카메라 포인트 데이터와 가장 근접된 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 적어도 하나의 제1 의료영상 포인트 데이터의 평균 연산을 통해 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 벡터를 생성하고, 상기 생성된 벡터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 추출된 카메라 포인트 데이터와 상기 생성된 벡터의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 적어도 하나의 평면을 생성하고, 상기 생성된 적어도 하나의 평면을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 추출된 카메라 포인트 데이터와 상기 생성된 적어도 하나의 평면의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 카메라 영상 데이터는, 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터일 수 있다.
상기 의료영상 데이터는, 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터일 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 수술대상 표면에 대한 카메라 영상 데이터 및 의료영상 데이터를 추출하고, 상기 카메라 영상 데이터에서 카메라 포인트 데이터를 추출하는 데이터 추출부; 상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 데이터 생성부; 및 상기 추출된 카메라 포인트 데이터와 상기 생성된 제2 의료영상 포인트 데이터를 표면 정합시키는 표면 정합부를 포함하는 수술용 내비게이션 장치가 제공될 수 있다.
상기 장치는, 상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정하는 데이터 결정부를 더 포함하고, 상기 데이터 생성부는, 상기 추출된 카메라 포인트 데이터와 상기 결정된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 데이터 생성부는, 상기 적어도 하나의 제1 의료영상 포인트 데이터에서 상기 추출된 카메라 포인트 데이터와 가장 근접된 제1 의료영상 포인트 데이터를 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 데이터 생성부는, 상기 적어도 하나의 제1 의료영상 포인트 데이터의 평균 연산을 통해 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 데이터 생성부는, 상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 벡터를 생성하고, 상기 생성된 벡터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 데이터 생성부는, 상기 추출된 카메라 포인트 데이터와 상기 생성된 벡터의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 데이터 생성부는, 상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 적어도 하나의 평면을 생성하고, 상기 생성된 적어도 하나의 평면을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 데이터 생성부는, 상기 추출된 카메라 포인트 데이터와 상기 생성된 적어도 하나의 평면의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
상기 카메라 영상 데이터는, 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터일 수 있다.
상기 의료영상 데이터는, 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터일 수 있다.
본 발명의 실시 예들은 정합 오차의 정확도를 향상시킬 수 있는 새로운 CT 포인트 데이터를 생성함으로써, 외과용 내비게이션 수술에서 사용되는 표면 정합 방법 시 획득된 광학 카메라 데이터에 따라 달라지는 광학 카메라와 CT 데이터의 정합 오차의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들은 외과용 내비게이션 수술 시 표면 정합에 사용되는 CT 포인트 데이터를 광학 카메라 포인트 데이터의 측면에서 새롭게 생성하여 병변 위치의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들은 수술 직전 획득된 광학 카메라 포인트 데이터를 기준으로 최적의 CT 포인트를 1차적으로 선정한 후, 선정된 CT 포인트 데이터와 기존 광학 카메라 포인트들 간 최단거리에 있는 새로운 점을 생성함으로써, 이러한 새로운 CT 포인트 데이터를 통해 병변 위치에 대한 높은 정확도를 획득할 수 있다.
본 발명의 실시 예들은 표면 정합에서 사용되는 CT 포인트와 광학 카메라 포인트들 간 정합 정확도를 향상시키기 위해, 새롭게 생성되는 CT 포인트를 이용함으로써, 종래 방법의 정합 정확도보다 향상되고 일관성을 보장할 수 있는, 새로운 표면 정합 알고리즘을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템의 구성을 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치의 구성을 설명하기 위한 구성도이다.
도 3은 ICP 알고리즘 적용 후의 정확도 측정 방법을 설명하기 위한 설명도이다.
도 4는 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법을 설명하기 위한 설명도이다.
도 5는 본 발명의 일 실시 예에 따른 k-NN 알고리즘을 적용하여 카메라 포인트 데이터와 근접한 CT 데이터의 획득 결과를 설명하기 위한 설명도이다.
도 6은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 k가 2일 경우의 새로운 CT 포인트 데이터의 생성 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 k가 3일 경우의 새로운 CT 포인트 데이터의 생성 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 k가 4일 경우의 새로운 CT 포인트 데이터의 생성 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템에 의해 수행되는 수술용 내비게이션의 표면 정합 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치에 의해 수행되는 수술용 내비게이션의 표면 정합 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시 예에 적용되는 ICP 알고리즘을 설명하기 위한 순서도이다.
도 12a 내지 도 12d는 본 발명의 일 실시 예에 적용되는 ICP 알고리즘을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템의 구성을 설명하기 위한 블록 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템(100)은 카메라 영상 장치(110), 의료영상 장치(120) 및 수술용 내비게이션 장치(130)를 포함한다.
이하, 도 1의 수술용 내비게이션 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
카메라 영상 장치(110)는 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나일 수 있다. 카메라 영상 장치(110)는 카메라 영상 데이터를 획득하여 수술용 내비게이션 장치(130)로 전달한다.
여기서, 카메라 영상 데이터는, 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터일 수 있다.
의료영상 장치(120)는 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나일 수 있다. 의료영상 장치(120)는 의료영상 데이터를 획득하여 수술용 내비게이션 장치(130)로 전달한다.
여기서, 의료영상 데이터는, 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터일 수 있다.
일례로, 수술용 내비게이션 장치(130)는 표면 정합 시 필요로 하는 의료영상(예컨대, CT) 포인트 데이터와 광학 카메라 포인트 데이터를 이용함으로써, 정합 결과를 확인하기 위한 가상의 병변 위치를 산출하게 된다. 수술용 내비게이션 장치(130)는 광학 카메라 포인트를 기준으로 최적의 의료영상(예컨대, CT) 포인트를 생성하고 이를 통해 새로운 의료영상(예컨대, CT) 포인트 데이터를 생성하게 된다. 수술용 내비게이션 장치(130)는 그 생성된 의료영상(예컨대, CT) 포인트 데이터와 광학 카메라 포인트를 ICP 알고리즘에 적용하여 정확성 높은 표면 정합을 수행하게 된다. 표면 정합의 결과는 가상의 병변 위치를 통해 확인하게 된다.
도 2는 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치의 구성을 설명하기 위한 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치(130)는 데이터 추출부(210), 데이터 결정부(220), 데이터 생성부(230) 및 표면 정합부(240)를 포함한다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 수술용 내비게이션 장치(130)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 수술용 내비게이션 장치(130)는 구현될 수 있다.
이하, 도 2의 수술용 내비게이션 장치(130)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
데이터 추출부(210)는 수술대상 표면에 대한 카메라 영상 데이터 및 의료영상 데이터를 획득하고, 카메라 영상 데이터에서 카메라 포인트 데이터를 추출한다.
데이터 결정부(220)는 수술대상 표면에 대한 의료영상 데이터에서, 데이터 추출부(210)에서 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정한다.
데이터 생성부(230)는 데이터 결정부(220)에서 결정된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성한다.
데이터 생성 과정을 구체적으로 살펴보면, 데이터 생성부(230)는, 적어도 하나의 제1 의료영상 포인트 데이터에서, 데이터 추출부(210)에서 추출된 카메라 포인트 데이터와 가장 근접된 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
또한, 데이터 생성부(230)는, 적어도 하나의 제1 의료영상 포인트 데이터의 평균 연산을 통해 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
또한, 데이터 생성부(230)는, 적어도 하나의 제1 의료영상 포인트 데이터로부터 벡터를 생성하고, 그 생성된 벡터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다. 여기서, 데이터 생성부(230)는, 추출된 카메라 포인트 데이터와 생성된 벡터의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
또한, 데이터 생성부(230)는, 적어도 하나의 제1 의료영상 포인트 데이터로부터 적어도 하나의 평면을 생성하고, 그 생성된 적어도 하나의 평면을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다. 여기서, 데이터 생성부(230)는, 데이터 추출부(210)에서 추출된 카메라 포인트 데이터와 생성된 적어도 하나의 평면의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다.
표면 정합부(240)는 데이터 추출부(210)에서 추출된 카메라 포인트 데이터와 데이터 생성부(230)에서 생성된 제2 의료영상 포인트 데이터를 표면 정합시킨다. 표면 정합부(240)는, ICP(Iterative Closest 포인트) 알고리즘을 이용하여 표면 정합시킬 수 있다.
도 3은 ICP 알고리즘 적용 후의 정확도 측정 방법을 설명하기 위한 설명도이다.
도 3에는 ICP(Interactive closest points) 알고리즘을 적용한 후 정확도를 측정할 수 있는 방법이 도시되어 있다.
우선, 정확도 측정 방법은 수술 전인 경우, CT를 통해 얼굴표면 CT 포인트(311)를 획득하고, 그 획득된 얼굴표면 CT 포인트(311)를 기초로 하여 임의의 병변 위치(312)를 확인한다.
그리고 정확도 측정 방법은 수술 중인 경우, 광학식 카메라를 통해 얼굴표면 카메라 포인트(321)를 획득하고, 그 획득된 얼굴표면 카메라 포인트(321)를 기초로 하여 임의의 병변 위치(322)를 확인한다.
이후, 정확도 측정 방법은 얼굴표면 CT 포인트(311)와 얼굴표면 카메라 포인트(321) 간의 정합 정보(331)를 통해 CT 포인트와 카메라 포인트들 간 병변 위치 오차(332)의 비교(Target registration error)를 통해 정합 정확도를 확인할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 수술용 내비게이션 방법에서 표면 정합 방법을 설명하기 위한 설명도이다.
종래의 표면 정합 방법은 수술 전에 얼굴 CT를 촬영한다. 그리고 종래의 표면 정합 방법은 마칭 큐브(Marching cube)를 통해 CT 영상에서 얼굴 표면에 대한 포인트 정보들을 획득한다.
이러한 종래의 표면 정합 방법은 수술 중에 광학식 카메라를 이용하여 수술용 네비게이션을 진행한다. 종래의 표면 정합 방법은 광학식 마커가 부착된 프로브(probe)를 통해 얼굴 표면의 카메라 포인트 정보들을 획득한다.
이후, 정합 단계에서, 종래의 표면 정합 방법은 미리 획득된 얼굴 표면에 대한 CT 포인트 정보들과 카메라 포인트 정보들을 이용하여 ICP(Interactive closest points) 알고리즘을 적용한다.
이와 같은 종래의 표면 정합 방법을 실험한 결과, ICP 알고리즘을 적용한 결과인 TRE(target registration error)(mm)는 2.1mm로 측정되었다.
한편, 도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션 방법에서의 표면 정합 방법은 수술 전에 CT 영상에서 얼굴 표면에 대한 포인트 정보들(411)을 획득한다.
그리고 본 발명의 일 실시 예에 따른 표면 정합 방법은 수술중에 광학식 마커가 부착된 프로브(probe)를 통해 얼굴 표면의 카메라 포인트 정보들(421)을 획득한다.
이후, 본 발명의 일 실시 예에 따른 표면 정합 방법은 ICP 알고리즘 적용 전 새로운 알고리즘 단계를 추가로 수행한다. 즉, 본 발명의 일 실시 예에 따른 표면 정합 방법은 수술 전에 획득된 CT 영상에서 얼굴 표면에 대한 포인트 정보들(411)에서 수술 중에 획득한 광학식 카메라 포인트 정보들(421)을 기초로 근접하는 적어도 하나의 근접한 CT 데이터(431)를 획득한다.
여기서, 본 발명의 일 실시 예에 따른 표면 정합 방법은 k-NN 알고리즘을 적용하여 가장 근접한 CT 데이터를 획득할 수 있다. k-NN 알고리즘에서의 k는 2, 3, 4, 5, 6, … 등의 가까운 점을 몇 개를 선택할 지를 의미한다.
한편, 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법은 마칭 큐브(Marching cube) 방법을 이용해서 CT에서 획득된 데이터를 이용하여 만든 CT 포인트를 획득할 수 있다. 그리고 수술용 내비게이션의 표면 정합 방법은 광학 카메라 이외의 다른 영상 장치를 이용하여 얼굴 표면의 광학 카메라 포인트 데이터를 획득할 수 있다. 이후, 수술용 내비게이션의 표면 정합 방법은 광학 카메라 포인트를 기준으로 최적의 CT 데이터 포인트를 획득할 수 있다.
상기와 같이, 수술용 내비게이션의 표면 정합 방법은 k-nn(k-nearest neighbor) 알고리즘을 적용할 수 있다. 일례로, 수술용 내비게이션의 표면 정합 방법은 k는 2 내지 7 단계의 k-NN 알고리즘을 적용할 수 있다.
이와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치(130)는 외과용 내비게이션 수술 시 의료영상 데이터(예컨대, CT 포인트 데이터)와 카메라 데이터(예컨대, 광학 카메라 데이터들) 간 표면 정합의 정확성을 향상시키기 위한 것이다. 일례로, 본 발명의 일 실시 예에서는 광학 카메라에서 획득되는 광학 포인트 데이터와 CT에서 획득되는 CT 포인트 데이터를 사용하게 된다. 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치(130)는 광학 카메라 포인트를 기준으로 새로운 CT 포인트를 생성한다. 그리고 수술용 내비게이션 장치(130)는 광학 카메라 포인트와 새롭게 생성된 CT 포인트들을 ICP 알고리즘에 적용하여 표면 정합의 정확도를 향상시킬 수 있다.
도 5는 본 발명의 일 실시 예에 따른 k-NN 알고리즘을 적용하여 카메라 포인트 데이터와 근접한 CT 데이터의 획득 결과를 설명하기 위한 설명도이다.
도 5에는 k가 2 내지 7인 경우, 2-NN, 3-NN, 4-NN, 5-NN, 6-NN, 7-NN 알고리즘을 각각 이용하여 새롭게 생성한 CT 포인트들이 나타나 있다. 그러나 k는 2 내지 7과 같이 특정 개수로 한정되지 않는다.
도 6은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 k가 2일 경우의 새로운 CT 포인트 데이터의 생성 방법을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, k가 2일 경우, k-NN으로 획득한 CT 점들을 이용한 새로운 CT 점 생성 방법이 나타나 있다.
k가 2일 경우, 새로운 CT 포인트 데이터의 생성 방법은 벡터를 이용한 방법이다. 새로운 CT 포인트 데이터의 생성 방법은 카메라 포인트 데이터(611)와 제1 CT 포인트 데이터들(621, 622)을 확인한다. 그리고 새로운 CT 포인트 데이터의 생성 방법은 2개의 제1 CT 포인트 데이터들(621, 622) 간의 벡터에 대한 수직 성분을 이용하여 새로운 점인 새로운 제2 CT 포인트데이터(631)를 생성한다. 여기서, 수직인 점은 최단거리를 의미한다.
즉, 새로운 CT 포인트 데이터의 생성 방법은 결정된 CT 포인트 데이터를 기반으로 새로운 CT 포인트 데이터를 생성하는 것이다.
k가 2일 경우, 새로운 CT 포인트 데이터의 생성 방법은 2개의 제1 CT 포인트 데이터(621, 622)를 이용하여 새로운 벡터를 생성한다. 그리고 새로운 CT 포인트 데이터의 생성 방법은 광학 카메라와 가장 근접한 수직인 점 찾음으로써 새로운 CT 포인트 생성할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 k가 3일 경우의 새로운 CT 포인트 데이터의 생성 방법을 설명하기 위한 도면이다.
k가 3 이상일 경우, 새로운 CT 포인트 데이터의 생성 방법은 제1 CT 포인트 데이터들(721 내지 723)로 이루어진 평면과 카메라 포인트 데이터(711)를 이용하여 새로운 CT 포인트 데이터를 생성할 수 있다. 새로운 CT 포인트 데이터의 생성 방법은 3개의 제1 CT 포인트 데이터들(721 내지 723)로 구성된 평면에서 카메라 포인트 데이터(711)와 수직인 점을 찾고, 그 수직인 점에 새로운 제2 CT 포인트 데이터(731)를 생성한다. 여기서, 3개의 제1 CT 포인트 데이터들(721 내지 723)로 구성된 평면에 수직인 점은 카메라 포인트 데이터(711)로부터 평면까지 최단거리를 의미한다.
도 8은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 k가 4일 경우의 새로운 CT 포인트 데이터의 생성 방법을 설명하기 위한 도면이다.
k가 4 이상일 경우, 새로운 CT 포인트 데이터의 생성 방법은 제1 CT 포인트 데이터들(821 내지 823)로 이루어진 제1 평면, 제1 CT 포인트 데이터들(821, 823 및 824)로 이루어진 제2 평면, 및 카메라 포인트 데이터(811)를 이용하여 새로운 CT 포인트 데이터를 생성할 수 있다. 새로운 CT 포인트 데이터의 생성 방법은 제1 평면 및 제2 평면에서 카메라 포인트 데이터(811)와 수직인 점을 찾고, 그 수직인 점까지의 거리가 최단거리인 지점에 새로운 제2 CT 포인트 데이터(831)를 생성한다.
여기서, 카메라 포인트 데이터(811)는 제1 CT 포인트 데이터들(821, 823 및 824)로 이루어진 제2 평면에 비해 제1 CT 포인트 데이터들(821 내지 823)로 이루어진 제1 평면까지의 거리가 최단거리가 된다. 3개의 제1 CT 포인트 데이터들(821 내지 823)로 구성된 제1 평면, 제1 CT 포인트 데이터들(821, 823 및 824)로 이루어진 제2 평면에 수직인 점은 카메라 포인트 데이터(811)로부터 각 평면까지 최단거리를 의미한다.
이와 같이, k 가 3 이상일 경우, 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법은 3개 이상의 포인트를 이용하여 새로운 평면을 생성하고, 광학 카메라와 가장 근접한 지점을 찾음으로써 새로운 제2 CT 포인트를 생성할 수 있다.
따라서 본 발명의 실시 예들에 따른 수술용 내비게이션의 표면 정합 방법은 새롭게 생성한 제2 CT 포인트 데이터와 광학 카메라 데이터를 ICP 알고리즘을 통해 표면 정합을 진행하고, 그 표면 정합된 결과를 토대로 수술용 내비게이션을 진행함으로써, 표면 정합의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들에 따른 수술용 내비게이션의 표면 정합 방법은 광학 카메라 포인트를 기준으로 새로운 제2 CT 포인트 데이터를 생성하여 여러 환자에 대해 일정한 정합 정확도를 확인할 수 있다. 그뿐만 아니라, 본 발명의 실시 예들에 따른 수술용 내비게이션의 표면 정합 방법은 수술 시 가장 중요한 병변 위치에 대해 정확도 향상을 통해 성공된 수술 결과를 제공해줄 수 있다.
한편, 본 발명의 실시 예들에 따른 수술용 내비게이션의 표면 정합 방법을 적용한 실험 결과를 살펴보면 하기의 [표 1]과 같다.
Figure pat00001
본 발명의 실시 예들은 제1 실시 예, 제2 실시 예, 및 제3 실시 예로 나누어질 수 있다.
본 발명의 제1 실시 예는 카메라 포인트 데이터와 가장 근접된 하나의 제1 의료영상 포인트 데이터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다. 본 발명의 제1 실시 예에 대한 실험 결과는 [표 1]의 "k-NN point TRE(mm)"에 대응된다.
본 발명의 제2 실시 예는 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터의 평균 포인트 데이터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다. 본 발명의 제2 실시 예에 대한 실험 결과는 [표 1]의 "k-NN average point TRE(mm)"에 대응된다.
본 발명의 제3 실시 예는 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터에서 카메라 포인트 데이터와 최단거리인 수직 지점을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성할 수 있다. 본 발명의 제3 실시 예에 대한 실험 결과는 [표 1]의 "k-NN projectional point TRE(mm)"에 대응된다. 여기서, 본 발명의 제3 실시 예의 TRE(mm) 값이 제1 및 제2 실시 예의 TRE(mm) 값에 비해 더 작으므로 정확도가 가장 향상된 것을 확인할 수 있다.
본 발명의 제1 실시 예 및 제2 실시 예에서, k가 2인 경우, TRE 값이 1.679585와 1.536642로 가장 정확도가 향상된 것을 [표 1]을 통해 확인할 수 있다. 또한, 본 발명의 제3 실시 예에서, k가 5 내지 7인 경우, TRE 값이 1.5236으로 가장 정확도가 향상된 것을 [표 1]을 통해 확인할 수 있다.
다만, 본 발명의 제1 실시 예 및 제2 실시 예에서, 이러한 k-NN 포인트 TRE 값은 k가 증가할수록 커져 정확도가 감소하는 것을 확인할 수 있다. 그러나 k-NN 포인트 TRE 값은 k가 증가하더라도 종래의 표면 정합 방법의 TRE 값(2.1mm)보다 작기 때문에, 종래의 표면 정합 방법에 비해 정확도가 증가하는 것을 [표 1]을 통해 확인할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템에 의해 수행되는 수술용 내비게이션의 표면 정합 방법을 설명하기 위한 순서도이다.
단계 101에서, 수술용 내비게이션 시스템(100)은 CT(의료영상)을 통한 환자의 얼굴 표면 데이터를 획득하고, 마칭 큐브로 표면 데이터를 포인트 데이터로 변경한다.
단계 102에서, 수술용 내비게이션 시스템(100)은 수술 직전 광학식 카메라를 이용하여 환자의 얼굴 표면 포인트 데이터를 획득한다.
단계 103에서, 수술용 내비게이션 시스템(100)은 획득된 카메라 포인트 데이터에 근접한 CT 포인트 데이터 획득한다. 이때, 수술용 내비게이션 장치(130)는 k-NN 방법을 적용하여 근접한 CT 포인트 데이터 획득할 수 있다.
단계 104에서, 수술용 내비게이션 시스템(100)은 카메라 포인트 데이터에 근접한 CT 포인트 데이터들을 이용하여 새로운 데이터 집단을 만든 후, 카메라 포인트 데이터에 가장 근접한 새로운 CT 포인트 데이터를 생성할 수 있다.
단계 105에서, 수술용 내비게이션 시스템(100)은 새로운 CT 포인트 데이터와 카메라 포인트 데이터 간 ICP 알고리즘을 수행할 수 있다.
단계 106에서, 수술용 내비게이션 시스템(100)은 수술을 진행한다. 이때, 새로운 CT 포인트 데이터와 카메라 포인트 데이터 간 ICP 알고리즘이 수행됨에 따라 병변 위치의 에러율이 낮아질 수 있다.
도 10은 본 발명의 일 실시 예에 따른 수술용 내비게이션 장치에 의해 수행되는 수술용 내비게이션의 표면 정합 방법을 설명하기 위한 순서도이다.
단계 S201에서, 수술용 내비게이션 장치(130)는 수술대상 표면에 대한 카메라 데이터에서 카메라 포인트 데이터를 획득한다.
단계 S202에서, 수술용 내비게이션 장치(130)는 수술대상 표면에 대한 의료영상 데이터에서 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정한다.
단계 S203에서, 수술용 내비게이션 장치(130)는 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성한다.
단계 S204에서, 수술용 내비게이션 장치(130)는 카메라 포인트 데이터와 제2 의료영상 포인트 데이터를 표면 정합시킨다.
도 11은 본 발명의 일 실시 예에 적용되는 ICP 알고리즘을 설명하기 위한 순서도이다.
단계 S301에서, 수술용 내비게이션 장치(130)는 광학 카메라에서 획득된 환자 얼굴 표면의 카메라 데이터의 한 점을 기준으로 CT 데이터의 모든 점들 간 거리를 계산한다.
단계 S302에서, 수술용 내비게이션 장치(130)는 카메라 데이터와 CT 데이터 정보들 중 거리가 가장 가까운 점을 대응점으로 결정한다.
단계 S303에서, 수술용 내비게이션 장치(130)는 카메라 데이터의 모든 점에 대한 CT 대응점이 설정되어 있는지를 확인한다.
단계 S304에서, 상기 확인 결과(S303), 수술용 내비게이션 장치(130)는 카메라 데이터의 모든 점에 대한 CT 대응점이 설정되어 있으면, 모든 대응 관계가 설정된 카메라 데이터와 CT 데이터를 이용하여 두 데이터의 공간 간에 대한 변환행렬을 계산한다.
반면, 상기 확인 결과(S303), 수술용 내비게이션 장치(130)는 카메라 데이터의 모든 점에 대한 CT 대응점이 설정되어 있지 않으면, 단계 S301부터 다시 수행한다.
한편, 단계 S305에서, 수술용 내비게이션 장치(130)는 CT 데이터에 존재하는 초기 위치의 데이터 점들에 대해 계산된 변환행렬을 적용한다.
그리고 단계 S304에서, 수술용 내비게이션 장치(130)는 정합의 정도가 일정 기준을 만족하는지를 확인한다.
상기 확인 결과(S306), 수술용 내비게이션 장치(130)는 정합의 정도가 일정 기준을 만족하면, ICP 알고리즘을 종료한다.
반면, 상기 확인 결과(S306), 수술용 내비게이션 장치(130)는 정합의 정도가 일정 기준을 만족하지 않으면, 단계 S301부터 다시 수행한다.
도 12a 내지 도 12d는 본 발명의 일 실시 예에 적용되는 ICP 알고리즘을 설명하기 위한 도면이다.
도 12a 내지 도 12d에 도시된 바와 같이, 본 발명의 일 실시 예에 적용되는 ICP 알고리즘은 광학식 카메라에서 획득된 얼굴표면의 카메라 포인트들과 CT 포인트들을 서로 일치시키기 위한 변환행렬을 획득하기 위한 것이다.
도 12a에 도시된 바와 같이, ICP 알고리즘은 도 11의 단계 S301과 같이, 환자 얼굴 표면의 카메라 데이터의 한 점(1201)과 CT 데이터의 모든 점을 획득한다.
도 12b에 도시된 바와 같이, ICP 알고리즘은 도 11의 단계 S301과 같이, 환자 얼굴 표면의 카메라 데이터의 한 점(1201)을 기준으로 CT 데이터를 모든 점들 간의 거리를 계산한다. 그리고 ICP 알고리즘은 도 11의 단계 S302와 같이, 카메라 데이터의 한 점(1201)과 CT 데이터 정보들 중 거리가 가장 가까운 점(1211)을 대응점으로 결정한다.
도 12c에 도시된 바와 같이, ICP 알고리즘은 도 11의 단계 S303과 같이, 카메라 데이터의 모든 점(1201 내지 1203)과 CT 데이터 정보들 중 거리가 가장 가까운 점(1211 내지 1213)을 각각 대응점으로 결정한다.
도 12d에 도시된 바와 같이, ICP 알고리즘은 도 11의 단계 S304와 같이, 카메라 데이터의 모든 점(1201 내지 1203)에 대한 CT 대응점(1211 내지 1213)이 설정되어 있으면, 모든 대응 관계가 설정된 카메라 데이터와 CT 데이터를 이용하여 두 데이터의 공간 간에 대한 변환행렬을 계산한다.
본 발명의 일 실시 예에 적용되는 ICP 알고리즘은 카메라 데이터의 모든 점들과 CT 대응점들 간의 1:1 대응을 시키고, 그 선택된 점들 간의 변환행렬을 계산한다.
상술한 본 발명의 실시 예들에 따른 수술용 내비게이션의 표면 정합 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.
본 발명의 실시 예들에 따른 수술용 내비게이션의 표면 정합 방법은, 프로세서에 의해 실행 가능한 명령어들을 포함하는 컴퓨터 판독 가능한 저장 매체로서, 상기 명령어들은 상기 프로세서로 하여금, 수술대상 표면에 대한 카메라 영상 데이터에서 카메라 포인트 데이터를 획득하는 단계, 상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정하는 단계, 상기 결정된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 단계, 및 상기 추출된 카메라 포인트 데이터와 상기 생성된 제2 의료영상 포인트 데이터를 표면 정합시키는 단계를 포함하여 실행하도록 구성되는, 컴퓨터 판독 가능한 저장 매체를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상, 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가될 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 수술용 내비게이션 시스템
110: 카메라 영상 장치
120: 의료영상 장치
130: 수술용 내비게이션 장치
210: 데이터 추출부
220: 데이터 결정부
230: 데이터 생성부
240: 표면 정합부

Claims (20)

  1. 수술용 내비게이션 장치에 의해 수행되는 수술용 내비게이션의 표면 정합 방법에 있어서,
    수술대상 표면에 대한 카메라 영상 데이터에서 카메라 포인트 데이터를 추출하는 단계;
    상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 단계; 및
    상기 추출된 카메라 포인트 데이터와 상기 생성된 제2 의료영상 포인트 데이터를 표면 정합시키는 단계를 포함하는 수술용 내비게이션의 표면 정합 방법.
  2. 제1항에 있어서,
    상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정하는 단계를 더 포함하고,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는, 상기 추출된 카메라 포인트 데이터와 상기 결정된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  3. 제1항에 있어서,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터에서 상기 추출된 카메라 포인트 데이터와 가장 근접된 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  4. 제1항에 있어서,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터의 평균 연산을 통해 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  5. 제1항에 있어서,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 벡터를 생성하고, 상기 생성된 벡터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  6. 제5항에 있어서,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는,
    상기 추출된 카메라 포인트 데이터와 상기 생성된 벡터의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  7. 제1항에 있어서,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 적어도 하나의 평면을 생성하고, 상기 생성된 적어도 하나의 평면을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  8. 제7항에 있어서,
    상기 제2 의료영상 포인트 데이터를 생성하는 단계는,
    상기 추출된 카메라 포인트 데이터와 상기 생성된 적어도 하나의 평면의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션의 표면 정합 방법.
  9. 제1항에 있어서,
    상기 카메라 영상 데이터는,
    광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터인 수술용 내비게이션의 표면 정합 방법.
  10. 제1항에 있어서,
    상기 의료영상 데이터는,
    컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터인 수술용 내비게이션의 표면 정합 방법.
  11. 수술대상 표면에 대한 카메라 영상 데이터 및 의료영상 데이터를 추출하고, 상기 카메라 영상 데이터에서 카메라 포인트 데이터를 추출하는 데이터 추출부;
    상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 데이터 생성부; 및
    상기 추출된 카메라 포인트 데이터와 상기 생성된 제2 의료영상 포인트 데이터를 표면 정합시키는 표면 정합부를 포함하는 수술용 내비게이션 장치.
  12. 제11항에 있어서,
    상기 수술대상 표면에 대한 의료영상 데이터에서 상기 추출된 카메라 포인트 데이터와 근접된 적어도 하나의 제1 의료영상 포인트 데이터를 결정하는 데이터 결정부를 더 포함하고,
    상기 데이터 생성부는, 상기 추출된 카메라 포인트 데이터와 상기 결정된 적어도 하나의 제1 의료영상 포인트 데이터를 기반으로 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  13. 제11항에 있어서,
    상기 데이터 생성부는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터에서 상기 추출된 카메라 포인트 데이터와 가장 근접된 제1 의료영상 포인트 데이터를 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  14. 제11항에 있어서,
    상기 데이터 생성부는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터의 평균 연산을 통해 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  15. 제11항에 있어서,
    상기 데이터 생성부는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 벡터를 생성하고, 상기 생성된 벡터를 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  16. 제15항에 있어서,
    상기 데이터 생성부는,
    상기 추출된 카메라 포인트 데이터와 상기 생성된 벡터의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  17. 제11항에 있어서,
    상기 데이터 생성부는,
    상기 적어도 하나의 제1 의료영상 포인트 데이터로부터 적어도 하나의 평면을 생성하고, 상기 생성된 적어도 하나의 평면을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  18. 제17항에 있어서,
    상기 데이터 생성부는,
    상기 추출된 카메라 포인트 데이터와 상기 생성된 적어도 하나의 평면의 수직 성분을 이용하여 새로운 제2 의료영상 포인트 데이터를 생성하는 수술용 내비게이션 장치.
  19. 제11항에 있어서,
    상기 카메라 영상 데이터는,
    광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터인 수술용 내비게이션 장치.
  20. 제11항에 있어서,
    상기 의료영상 데이터는,
    컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터인 수술용 내비게이션 장치.
KR1020180015796A 2018-02-08 2018-02-08 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치 KR102078737B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180015796A KR102078737B1 (ko) 2018-02-08 2018-02-08 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180015796A KR102078737B1 (ko) 2018-02-08 2018-02-08 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치

Publications (2)

Publication Number Publication Date
KR20190096178A true KR20190096178A (ko) 2019-08-19
KR102078737B1 KR102078737B1 (ko) 2020-02-19

Family

ID=67807237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180015796A KR102078737B1 (ko) 2018-02-08 2018-02-08 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치

Country Status (1)

Country Link
KR (1) KR102078737B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220132727A (ko) * 2021-03-23 2022-10-04 성균관대학교산학협력단 신경망 모델을 이용한 표면 정합 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050096515A1 (en) * 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
JP4938933B2 (ja) 2000-04-05 2012-05-23 ブレインラボ アーゲー 光ポイントの照射による医療用ナビゲーションシステムにおける患者または患者の身体部分の参照または記録
KR20120130563A (ko) * 2011-05-23 2012-12-03 한양대학교 산학협력단 좌표공간 상에서의 영상정합장치 및 영상정합방법
EP2226003B1 (de) * 2009-03-05 2015-05-06 Brainlab AG Medizintechnische Bildregistrierung mittels optischer Kohärenztomographie
KR20160004864A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR101767005B1 (ko) * 2016-05-26 2017-08-09 성균관대학교산학협력단 표면정합을 이용한 영상정합방법 및 영상정합장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4938933B2 (ja) 2000-04-05 2012-05-23 ブレインラボ アーゲー 光ポイントの照射による医療用ナビゲーションシステムにおける患者または患者の身体部分の参照または記録
US20050096515A1 (en) * 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
EP2226003B1 (de) * 2009-03-05 2015-05-06 Brainlab AG Medizintechnische Bildregistrierung mittels optischer Kohärenztomographie
KR20120130563A (ko) * 2011-05-23 2012-12-03 한양대학교 산학협력단 좌표공간 상에서의 영상정합장치 및 영상정합방법
KR20160004864A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR101767005B1 (ko) * 2016-05-26 2017-08-09 성균관대학교산학협력단 표면정합을 이용한 영상정합방법 및 영상정합장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220132727A (ko) * 2021-03-23 2022-10-04 성균관대학교산학협력단 신경망 모델을 이용한 표면 정합 방법 및 장치

Also Published As

Publication number Publication date
KR102078737B1 (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
US11657518B2 (en) Method for deformable 3D-2D registration using multiple locally rigid registrations
US20170084036A1 (en) Registration of video camera with medical imaging
KR101954868B1 (ko) 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법
US20170091919A1 (en) Image registration device, method, and program
EP3564903A1 (en) Lower to higher resolution image fusion
WO2022156425A1 (zh) 一种微创手术器械定位方法和系统
Modrzejewski et al. An in vivo porcine dataset and evaluation methodology to measure soft-body laparoscopic liver registration accuracy with an extended algorithm that handles collisions
US9514384B2 (en) Image display apparatus, image display method and storage medium storing image display program
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
KR102098929B1 (ko) 수술용 내비게이션의 표면 정합 방법 및 장치
CN115734762A (zh) 用于辅助用户将穿透设备放置在组织中的系统
CN108430376B (zh) 提供投影数据集
KR102078737B1 (ko) 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치
Ketcha et al. Automatic masking for robust 3D-2D image registration in image-guided spine surgery
KR102271189B1 (ko) 수술용 내비게이션 시스템에서의 표면 점군집 개선 방법 및 장치
US20230032941A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
JP6820805B2 (ja) 画像位置合わせ装置、その作動方法およびプログラム
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
JP6703315B2 (ja) 組織変形の存在下において手術を支援するためのシステム及び方法
US20170316619A1 (en) Three-dimensional data processing system, method, and program, three-dimensional model, and three-dimensional model shaping device
US10102681B2 (en) Method, system and apparatus for adjusting image data to compensate for modality-induced distortion
KR20180115122A (ko) 이미지 처리 장치 및 이에 의한 가상의 엑스선 이미지 생성 방법
KR101670133B1 (ko) 종양 추적 방법 및 그 장치
US7907761B2 (en) Method for registration and navigation of volumetric scans using energy profiles
KR102042762B1 (ko) 영상정합방법 및 영상정합장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant