KR20200013984A - 3d 영상 정합 제공 장치 및 그 방법 - Google Patents

3d 영상 정합 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR20200013984A
KR20200013984A KR1020180089310A KR20180089310A KR20200013984A KR 20200013984 A KR20200013984 A KR 20200013984A KR 1020180089310 A KR1020180089310 A KR 1020180089310A KR 20180089310 A KR20180089310 A KR 20180089310A KR 20200013984 A KR20200013984 A KR 20200013984A
Authority
KR
South Korea
Prior art keywords
matching
registration
data
image
landmark
Prior art date
Application number
KR1020180089310A
Other languages
English (en)
Other versions
KR102102942B1 (ko
Inventor
이원진
이상정
최민혁
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020180089310A priority Critical patent/KR102102942B1/ko
Priority to US17/264,921 priority patent/US11468577B2/en
Priority to EP18928471.4A priority patent/EP3832599A4/en
Priority to PCT/KR2018/012472 priority patent/WO2020027377A1/ko
Publication of KR20200013984A publication Critical patent/KR20200013984A/ko
Application granted granted Critical
Publication of KR102102942B1 publication Critical patent/KR102102942B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

3D 영상 정합 제공 장치는 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 수집부, 미리 저장된 환자의 3D 의료 영상과 3D 깊이 데이터의 표면 정합을 수행하는 제1 정합부, 정합바디의 영상으로부터 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치 정보의 정합을 수행하는 제2 정합부, 그리고 제1 정합부와 제2 정합부에서 수행한 정합 결과를 이용하여 최종 정합을 수행하는 제3 정합부 를 포함한다.

Description

3D 영상 정합 제공 장치 및 그 방법{DEVICE OF PROVIDING 3D IMAGE REGISTRATION AND METHOD THEREOF}
3D 영상 정합 제공 장치 및 그 방법이 제공된다.
최근에는 이비인후과, 정형외과, 신경외과 그리고 복강경 등의 수술에서 최소침습 내시경 수술 (MIS, minimally invasive endoscopic surgery)가 널리 이용되고 있다. 이러한 내시경 수술은 시야가 제한되는 경우가 많기 때문에 환부나 구조물의 정확한 위치를 인식하는 것이 중요하다.
따라서, 내시경에 3차원 위치추적 장치를 결합한 영상 가이드 수술항법 시스템(Surgical navigation system, 내비게이션 수술)이 꾸준히 연구되고 있다. 이러한 영상 가이드 수술 항법 시스템은 수술의 위험성을 줄이고 위치제어 정확성, 편의성 그리고 안정성을 향상시킨다는 장점을 가지고 있다.
MRI, CT, 초음파 등의 3차원 의료 영상을 이용한 수술 항법 시스템을 활용하는 수술 에서는 수술 전의 환자 영상 좌표계와 위치추적 장치 좌표계간의 정합이 필수적으로 요구된다.
기존에 사용되는 정합 방법은 정합에 사용되는 특징점들을 환자 영상 공간과 환자의 물리적 공간에서 각각 수작업으로 정위하거나 여러 점들을 접촉식으로 스캔하여 획득한다. 그러나 이와 같은 수작업에 의한 정합 방법은 랜드마크 획득 시 환자 또는 수술자의 불편을 초래하고 기술자의 숙련도에 따라, 수술 준비시간이 증가되거나 정합의 정확도가 결정된다. 그리고 물리적 구조물을 이용하여 환자의 정합부위에 접촉하여 접촉식으로 스캔하는 경우 환자 간 교차 감염이 발생할 수 있다.
따라서, 실시간으로 환자의 피부에 접촉하지 않고도 자동으로 3D 영상을 정합하여 제공하는 시스템이 요구된다.
본 발명의 하나의 실시예는 수술 중 위치추적 장치 좌표계와 환자 영상 좌표계의 정합을 실시간으로 자동 정합하여 제공하여 영상 가이드 수술하는 과정에서 활용하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치는 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 수집부, 미리 저장된 환자의 3D 의료 영상과 3D 깊이 데이터의 표면 정합을 수행하는 제1 정합부, 정합바디의 영상으로부터 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치 정보의 정합을 수행하는 제2 정합부, 그리고 제1 정합부와 제2 정합부에서 수행한 정합 결과를 이용하여 최종 정합을 수행하는 제3 정합부를 포함한다.
제1 정합부는, 수술 전 획득한 3D 의료 영상에서 정합하고자 하는 부분을 3D 표면 데이터로 추출하고, 수술 중 수집된 환자의 3D 깊이 데이터를 3D 스캔 데이터로 변환하여, 3D 표면 데이터와 3D 스캔 데이터간에 표면 정합을 수행할 수 있다.
제1 정합부는, SAC-IA 알고리즘을 통해 표면 정합을 수행하여 표면 정합 데이터를 생성하고 표면 정합 데이터와 3D 표면 데이터를 정밀 정합 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계가 일치된 제1 정합 데이터를 생성할 수 있다.
정합바디는, 위치추적 툴이 장착되고, 정합바디와 상이한 색상을 가지는 랜드마크가 부착되며, 수술 전 위치추적 툴을 기준으로 측정된 랜드마크의 상대적인 위치 정보를 저장하는 저장부를 더 포함할 수 있다.
제2 정합부는, 수술 중 수집된 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여, 랜드마크의 위치추적 장치 기준 좌표를 생성할 수 있다.
제2 정합부는, 정합바디의 영상으로부터 정합바디의 칼라 영상 및 정합바디의 3D 깊이 데이터를 추출하고, 칼라 영상에서 상이한 색상 정보를 이용하여 도출된 랜드마크 2차원 위치와 정합바디의 3D 깊이 데이터를 통해 랜드마크의 카메라 기준 3차원 좌표를 도출할 수 있다.
제2 정합부는, 랜드마크의 위치추적 장치 기준 좌표와 랜드마크의 카메라 기준 3차원 좌표간에 일대일로 점대점 정합을 통하여 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계가 일치되도록 제2 정합 데이터를 생성할 수 있다.
제3 정합부는, 제1 정합 데이터와 제2 정합 데이터를 정합하여, 3D 의료 영상의 좌표계와 위치추적 장치의 좌표계가 일치되도록 할 수 있다.
수술 중 상기 환자의 신체 일부분에 기준 추적 툴을 부착하고, 위치추적 장치에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환하는 기준 추적 좌표부를 더 포함할 수 있다.
제3 정합부는, 최종 정합이 수행된 데이터를 기준 추적 툴 좌표계로 변환할 수 있다.
본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치의 정합 방법에 있어서, 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 단계, 수술 전 미리 저장된 환자의 3D 의료 영상과 3D 깊이 데이터의 정합을 수행하여 제1 정합 데이터를 생성하는 단계, 정합바디의 영상으로부터 상기 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 위치추적 툴의 3차원 좌표를 기준으로 기 저장된 랜드마크의 상대적인 위치 정보를 변환하여, 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치 정보의 정합을 수행하여 제2 정합 데이터를 생성하는 단계, 그리고 제1 정합 데이터와 제2 정합데이터를 이용하여 최종 정합을 수행하는 단계를 포함한다.
본 발명의 하나의 실시예는 환자의 피부에 직접적으로 정합바디를 부착하지 않기 때문에, 정합바디를 피부에 부착하여 발생하는 환자간 교차 감염을 최소화할 수 있다.
또한, 본 발명의 하나의 실시예는 실시간으로 3D 영상간의 정합이 자동으로 수행되기 때문에 3D 영상 정합을 위한 기술자의 기술 숙련도에 영향을 받지 않으므로 숙련도 차이에 따른 오류를 최소화하여 일정하게 정확도가 높은 정합결과를 획득할 수 있다.
또한, 본 발명의 하나의 실시예는 전체적인 수술 시간을 감소시키고, 영상 가이드를 통해 수술의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 시스템을 나타내는 구성도이다.
도 2는 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치를 나타낸 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치의 3D 영상을 정합하는 과정을 나타내는 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 제1 정합부의 정합을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 하나의 실시예에 따른 제2 정합부의 정합을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 하나의 실시예에 따른 기준 추적 툴 좌표계를 적용하는 과정을 설명하기 위한 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 도 1를 이용하여 깊이 인식 카메라와 위치추적 장치를 이용하는 3D 영상 정합 제공 시스템에 대해서 상세하게 설명한다.
도 1은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 시스템을 나타내는 구성도이다.
도 1에 도시한 바와 같이, 3D 영상 정합 제공 시스템은 깊이 인식 카메라(100), 3D 영상 정합 제공 장치(200), 위치추적 장치(300) 그리고 데이터베이스(400)을 포함한다.
먼저, 깊이 인식 카메라(100)는 촬영하고자 하는 대상을 촬영하여 칼라 영상의 카메라 화면과 3D 깊이 데이터를 생성한다. 여기서, 깊이 인식 카메라(100)는 삼각측량 방식의 3차원 레이저 스캐너, 내시경 장치, 구조 광선패턴을 이용한 깊이 카메라, 적외선(IR: Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight) 방식의 깊이 카메라, 씨암(C-arm) 장치, 광간섭단층촬영장치(optical coherence tomography)등을 포함하며, 이에 한정되는 것은 아니다. 그리고 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100), 위치추적 장치(300) 그리고 데이터베이스(400)에 저장된 영상을 정합하여 제공한다.
3D 영상 정합 제공 장치(200)는 수술 전에 환자의 3D 의료 영상을 수신하면, 수신된 3D 의료 영상에서 정합부위를 추출하여 추출된 정합 부위의 3D 표면 데이터를 생성할 수 있다. 그리고 3D 영상 정합 제공 장치(200)는 환자의 3D 의료 영상에 대응하는 3D 표면 데이터를 데이터베이스(400)에 저장할 수 있다.
3D 영상 정합 제공 장치(200)는 수술 중에 깊이 인식 카메라(100)의 영상과 위치추적 장치(300)가 획득한 정합바디에 장착된 위치추적 툴의 3차원 좌표를 수신한다. 그리고 3D 영상 정합 제공 장치(200)는 데이터베이스(400)에 저장된 3D 의료 영상과 정합바디에 부착된 랜드마크의 상대적 위치 정보를 수집한다.
그러면, 3D 영상 정합 제공 장치(200)는 3D 의료 영상과 깊이 인식 카메라(100)의 영상간의 제1 정합을 수행하고, 깊이 인식 카메라(100)를 통한 정합바디의 영상과 위치추적 장치(300)의 3차원 좌표를 기준으로 변환된 랜드마크 좌표 값간에 제2 정합을 수행한다.
마지막으로, 3D 영상 정합 제공 장치(200)는 제1 정합 데이터와 제2 정합 데이터를 최종 정합할 수 있다.
이때, 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100)로부터 수신한 영상에 포함된 3D 깊이 데이터와 촬영대상의 카메라 촬영 화면인 칼라 영상을 선택적으로 수집할 수 있다. 예를 들어, 3D 영상 정합 제공 장치(200)는 3D 표면 영상과 정합하고자 하는 경우 깊이 인식 카메라(100)로부터 3D 깊이 데이터만 선택적으로 수집하고, 랜드마크의 위치 좌표와 정합하고자 하는 경우, 깊이 인식 카메라(100)로부터 정합바디를 촬영한 칼라 영상과 정합바디의 3D 깊이 데이터를 수집할 수 있다. 다음으로 위치추적 장치(300)는 위치추적 장치를 기준으로 촬영되는 영상에서 3D 위치 좌표를 생성한다. 위치추적 장치(300)는 위치추적 장치를 기준으로 센서가 장착된 도구의 위치 좌표를 도출하여 제공할 수 있다.
그리고 데이터베이스(400)는 환자의 3D 의료 영상, 랜드마크의 좌표 데이터를 저장한다.
여기서, 3D 의료 영상은 수술 전에 컴퓨터 단층촬영(computed tomography: CT)장치, 자기공명영상(magnetic resonance imaging, MRI) 장치, 양전자 단층 촬영(positron emission tomography, PET) 장치 등과 같은 의료영상 촬영 장치를 이용하여 환자를 촬영한 의료 영상을 나타낸다.
한편, 수술 전 제작되는 정합바디는 3D 의료 영상과 위치추적데이터를 정합하기 위한 기준 좌표를 제공하는 기구로, 적어도 셋 이상의 정합용 랜드마크와 위치추적 툴이 부착될 수 있다.
다시 말해, 정합바디에 부착된 위치추적 툴의 3차원 좌표를 기준으로 랜드마크의 좌표가 추출되면, 3D 영상 정합 제공 장치(200)는 랜드마크의 좌표에 기초하여 깊이 인식 카메라 좌표계 공간과 위치추적 장치 좌표계 공간을 정합 할 수 있다.
따라서, 데이터베이스(400)에는 수술 전에 정합바디의 위치추적 툴을 기준으로 추출된 랜드마크의 좌표가 저장된다.
여기서, 정합용 랜드마크는 셋 이상의 복수개가 정합바디에 부착되며, 정합바디의 색상과 상이한 색상을 가진다. 여기서, 랜드마크와 정합바디의 색상은 색상 차이가 큰 보색 관계의 색상으로 설정될 수 있다.
또한 데이터베이스(400)는 환자 별로 진료 내역들을 함께 저장하고 있을 수 있으며, 각 환자의 개인 정보를 보호하기 위해 암호화되어 저장될 수 있다.
이하에서는 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치에 대해서 상세하게 설명한다.
도 2는 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치를 나타낸 구성도이다.
도 2에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 수집부(210), 제1 정합부(220), 제2 정합부(230) 그리고 제3 정합부(240)를 포함한다.
먼저, 수집부(210)는 수술 중 깊이 인식 카메라(100)로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 칼라 영상 및 정합바디의 3D 깊이 데이터를 획득한다. 그리고 수집부(210)는 수술 중 위치추적 장치(300)로부터 정합바디에 장착된 위치추적 툴의 3차원 위치 정보를 획득한다.
또한, 수집부(210)는 연동된 데이터베이스(400)로부터 미리 저장된 정합 부위의 3D 표면 데이터 및 랜드마크의 상대적인 위치정보를 수집할 수 있다.
다음으로 제1 정합부(220)는 미리 저장된 환자의 3D 의료 영상으로부터 정합 부위의 3D 표면 데이터를 추출하고, 깊이 인식 카메라로부터 수집한 3D 깊이 데이터의 표면 정합을 수행한다.
제1 정합부(220)는 표면 정합을 통해 3D 의료 영상 좌표계 공간과 깊이 인식 카메라 좌표계 공간을 정합 및 변환 식을 생성한다.
이때, 제1 정합부(220)는 수술 전 단계에서 데이터베이스(400)에 저장된 3D 의료 영상을 수신하여 3D 표면 데이터로 변환한 뒤 다시 데이터베이스(400)에 저장할 수 있다.
다음으로 제2 정합부 (230)는 정합바디의 영상으로부터 정합바디의 칼라 영상 및 3D 깊이 데이터를 추출한다. 그리고 제2 정합부(230)는 정합바디의 칼라 영상과 3D 깊이 데이터에 기초하여 랜드마크의 카메라 기준 3차원 좌표를 도출한다.
또한, 제2 정합부(230)는 미리 저장된 랜드마크의 상대적인 위치 정보를 수술 중 수집한 위치추적 툴의 3차원 좌표를 기준으로 변환하여 랜드마크의 위치추적 장치 기준 좌표를 생성한다.
다시 말해, 제2 정합부 (230)는 추출된 랜드마크의 카메라 기준 3차원 좌표 와 랜드마크의 위치추적 장치 기준 좌표를 정합하여 깊이 인식 카메라 좌표계 공간과 위치추적 장치 좌표계 공간의 정합 및 그 변환 식을 생성 할 수 있다.
다음으로 제3 정합부(240)는 제1 정합부(220)와 제2 정합부(230)에서 생성한 정합 변환 식을 통해 3D 의료 영상 좌표계 공간과 위치추적 장치 좌표계 공간과의 최종 정합을 수행 할 수 있다.
그리고 제3 정합부(240)는 수술 중 최종 정합 데이터를 연동된 데이터베이스(400)에 저장할 수 있다.
한편, 3D 영상 정합 제공 장치(200)는 서버, 단말, 또는 이들이 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이하에서는 도 3을 이용하여 3D 영상 정합 제공 장치가 의료 영상 정합하는 과정을 상세하게 설명한다.
도 3은 본 발명의 하나의 실시예에 따른 3D 영상 정합 제공 장치의 3D 영상을 정합하는 과정을 나타내는 순서도이다.
먼저, 본 발명의 실시예에 따른 3D 영상 정합 제공 방법은 수술 전과 수술 중의 과정으로 구분될 수 있다.
여기서, 수술 전이라고 하는 것은 환자가 수술을 위한 진료받는 시점부터 환자가 수술을 하기 위해서 수술실로 입장하기 전 시점을 나타내며, 수술 중이라는 것은 환자가 수술실로 입장한 시점부터 수술이 끝나고 환자가 수술이실 밖으로 이동하는 시점까지를 나타낸다.
수술 전에 환자의 의료 진료 기록에 따라 촬영된 3D 의료 영상이 데이터베이스(400)에 저장되고, 3D 영상 정합 제공 장치(200)는 데이터베이스(400)로부터 3D 의료 영상을 수신할 수 있다.
3D 영상 정합 제공 장치(200)는 수술 전 3D 의료 영상에서 정합하고자 하는 부분을 추출하고, 추출된 정합 부위에 대해서 3D 표면 데이터를 자동 또는 수동으로 생성할 수 있다. 그리고 생성된 3D 표면 데이터는 환자의 3D 의료 영상에 대응하여 데이터베이스(400)에 저장할 수 있다.
또한, 수술 전에 다수의 정합용 랜드마크를 가지고 위치추적 툴을 부착할 수 있는 정합바디를 제작한 후, 위치추적 툴을 기준으로 위치추적 툴로부터 랜드마크의 상대적인 위치 정보를 추출하여 데이터베이스(400)에 저장한다.
이하에서는 수술 중의 수술실에서 3D 영상 정합 제공 장치(200)를 통해 실시간으로 3D 의료 영상의 좌표계와 상기 위치추적 장치의 좌표계가 일치되도록 정합하는 과정에 대해서 상세하게 설명한다.
도 3에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100)로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 칼라 영상 및 정합바디의 3D 깊이 데이터를 획득한다(S310).
3D 영상 정합 제공 장치(200)는 수술실 일측에 설치된 깊이 인식 카메라(100)로부터 수술을 위해 누워 있는 환자의 수술하고자 하는 부위가 촬영된 3D 깊이 데이터를 수신한다. 그리고 3D 영상 정합 제공 장치(200)는 수술실 내부에 배치된 정합바디를 촬영한 영상을 수집할 수 있으며, 이를 통해 정합바디의 칼라 영상과 정합바디의 3D 깊이 데이터를 수신할 수 있다.
다음으로 3D 영상 정합 제공 장치(200)는 위치추적 장치(300)로부터 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득한다(S320).
이때, 3D 영상 정합 제공 장치(200)가 수술 중에서 정합바디를 촬영할 때에는 기존과 같이 환자의 수술부위 또는 수술 부위 주변에 정합바디를 부착하지 않고, 별도로 비접촉식으로 정합바디가 배치된 상태에서 위치추적 툴의 3차원 좌표를 획득할 수 있다.
다음으로 3D 영상 정합 제공 장치(200)는 미리 저장된 3D 의료 영상과 3D 깊이 데이터의 표면 정합을 수행하여 제1 정합 데이터를 생성한다(S330).
여기서, 제1 정합 데이터는 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계를 일치시키기 위한 변환식을 포함한다.
이하에서는 도 4를 이용하여 3D 영상 정합 제공 장치(200)가 3D 영상 데이터를 생성하는 과정에 대해서 상세하게 설명한다.
도 4는 본 발명의 하나의 실시예에 따른 의료 영상 정합하는 과정을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 3D 영상 정합 제공 장치(200)는 연동되는 데이터베이스(400)에 접속하여 미리 저장된 정합 부위의 3D 표면 데이터(A-1)를 수집하고, S310 단계에서 획득한 3D 깊이 데이터를 3D 스캔 데이터(A-2)로 변환할 수 있다.
그리고 3D 영상 정합 제공 장치(200)는 정합 부위의 3D 표면 데이터(A-1)와 3D 스캔 데이터(A-2)를 적어도 두 단계에 거쳐 정합(A)하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계를 일치시킬 수 있다.
먼저, 3D 영상 정합 제공 장치(200)는 정합 부위의 3D 표면 데이터(A-1)와 3D 스캔 데이터(A-2)를 SAC-IA 알고리즘을 통해 정합하여 제1 정합 데이터를 생성할 수 있다. 여기서, SAC-IA 알고리즘은 표면 정합을 수행하는 알고리즘으로 정확도가 높지 않지만 정합 결과가 초기 위치에 대한 영향이 작다는 장점이 있다.
따라서, 3D 영상 정합 제공 장치(200)는 정합 부위의 3D 표면 데이터(A-1)와 3D 스캔 데이터(A-2)를 정합할 때, 서로 대응 되는 지점의 위치가 서로 상이하더라도 효과적으로 정합할 수 있도록 SAC-IA 알고리즘을 이용한다.
그리고 3D 영상 정합 제공 장치(200)는 표면 정합을 통해 표면 정합 데이터를 생성하면, 고정밀한 정합을 위해 표면 정합데이터와 3D 표면 데이터를 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계 공간과 깊이 인식 카메라 좌표계 공간을 정합 할 수 있다.
다시 말해, 3D 영상 정합 제공 장치(200)는 두개의 3D 표면 데이터에 SAC-IA 알고리즘과 ICP 알고리즘을 적용하여 3D 의료 영상 좌표계와(CT) 깊이 인식 카메라 좌표계(CD)간에 변환
Figure pat00001
을 결정할 수 있다.
이와 같은 단계별 정합을 통해 3D 영상 정합 제공 장치(200)는 수술 중에서 수술실에서 촬영되는 3D 표면 데이터에서 의료 영상 정보를 정확하게 확인할 수 있도록 환자의 3D 의료 영상과 수술실의 3D 표면 데이터를 정합한다.
다음으로 3D 영상 정합 제공 장치(200)는 추출된 랜드마크의 카메라 기준 3차원 좌표와 변환된 랜드마크의 위치추적 장치 기준 좌표의 정합을 수행하여 제2 정합 데이터를 생성한다(S340).
여기서 제2 정합 데이터는 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계를 일치시키기 위한 변환식을 포함한다.
3D 영상 정합 제공 장치(200)는 S310 단계에서 획득한 정합바디의 영상에서 추출된 칼라 영상 및 정합바디의 3D 깊이 데이터를 이용하여 영상 처리를 수행할 수 있다.
이때, 정합바디에 부착된 랜드마크들이 용이하게 추출될 수 있도록 정합바디와 부착된 랜드마크들은 서로 상이한 색상으로 제작되므로, 영상 정합 제공 장치(200)는 칼라 영상을 영상처리를 통해 랜드마크들을 2차원 좌표를 추출할 수 있다. 그리고 3D 영상 정합 제공 장치(200)는 2차원 좌표에 대응하는 정합바디의 3D 깊이 데이터를 이용하여 랜드마크의 카메라 기준 3차원 좌표를 생성할 수 있다.
이하에서는 도 5를 이용하여 3D 영상 정합 제공 장치(200)가 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계를 일치시키는 과정에 대해서 상세하게 설명한다.
도 5는 본 발명의 하나의 실시예에 따른 제2 정합부의 정합을 수행하는 과정을 설명하기 위한 도면이다.
도 5의 (a)는 수술 전 상황에서 랜드마크의 상대적인 위치 정보를 측정하는 예시도이고, (B)는 수술 전 측정된 랜드마크의 상대적인 위치 정보를 설명하기 위한 예시도이며, (C)는 수술 중 상황에서 랜드마크의 카메라 기준 3차원 좌표와 랜드마크의 위치추적 장치 기준 좌표를 추출하는 예시도이다.
먼저 도 5의 (a)에 도시한 바와 같이, 수술 전 위치추적 장치(300)를 통해 정합바디(500)의 랜드마크의 3차원 위치를 측정할 수 있다. 다시 말해, 위치추적 장치(300)와 연동되는 도구 센서가 정합바디(500)의 랜드마크를 닿으면, 해당 랜드마크의 위치가 위치추적 툴(510)을 원점으로 하여 자동 추출된다.
그러므로, 수술 전 정합바디의 위치추적 툴(510)을 기준으로 하는 정합바디(500)내 랜드마크의 좌표를 추출할 수 있다.
그리고 도 5의 (b)와 같이, 3D 영상 정합 제공 장치(200)는 위치추적 툴(510)의 3차원 좌표로부터 각각의 랜드마크의 거리인 상대적인 위치 정보(b-1, b-2, b-3,?,b-n)를 별도로 저장할 수 있다. 이러한 랜드마크의 상대적인 위치 정보(b-1, b-2, b-3,?,b-n )는 데이터베이스(400)에 저장되고, 수술 중에 3D 영상 정합 제공 장치(200)에 제공된다.
S310 수집된 칼라 영상에서 정합바디(500)와 상이한 색상 정보에 기초하여 3D 영상 정합 제공 장치(200)는 칼라 영상을 영상 처리를 수행하여 2차원 위치를 추출하면, 정합바디의 3D 깊이 데이터를 이용하여 랜드마크의 카메라 기준 3차원 좌표(
Figure pat00002
)를 도출할 수 있다.
그리고 3D 영상 정합 제공 장치(200)는 수술 중, 위치추적 장치(300)에서 획득되는 정합바디의 위치추적 툴(510)을 기준으로 하는 정합바디(500)내의 위치추적 툴(510)의 3차원 좌표를 수집한다.
그러면, 3D 영상 정합 제공 장치(200)는 미리 저장된 랜드마크의 상대적인 위치 정보(b-1, b-2, b-3,?,b-n)를 수술 중 수집한 위치추적 툴(510)의 3차원 좌표에 적용하여 자동적으로 변환(
Figure pat00003
)할 수 있다.
다시 말해, 3D 영상 정합 제공 장치(200)는 수술 전 측정된 위치추적 툴(510)을 원점으로 하는 랜드마크의 상대적인 위치 정보를 수술 중 수집된 위치추적 툴(510)을 원점으로 하는 랜드마크의 위치추적 장치 기준 좌표로 변환할 수 있다. 그러면 3D 영상 정합 제공 장치(200)는 랜드마크의 카메라 기준 3차원 좌표(
Figure pat00004
)와 랜드마크의 위치추적 장치 기준 좌표(
Figure pat00005
)를 일대일 점대점 매칭을 통하여 정합을 수행한다
Figure pat00006
.
이와 같이, 3D 영상 정합 제공 장치(200)는 실시간으로 점대점 매칭 정합하여 위치추적 장치 좌표계 공간과 깊이 인식 카메라 좌표계를 일치시킨다.
다음으로 3D 영상 정합 제공 장치(200)는 제1 정합 데이터와 제2 정합 데이터를 이용하여 최종 정합을 수행한다(S350).
다시 말해, 3D 영상 정합 제공 장치(200)는 앞서 수행된 두 정합을 기반하여 3D 의료 영상 좌표계 공간과 위치추적 장치 좌표계 공간의 일치시킬 수 있다.
3D 영상 정합 제공 장치(200)는 3D 의료 영상 데이터 좌표계와 위치추적 장치 좌표계 간의 정합을 하기 위해 S330 단계의 제1 정합 데이터
Figure pat00007
와 S340 단계의 제2 정합 데이터
Figure pat00008
를 실시간으로 정합한다.
따라서, 3D 영상 정합 제공 장치(200)는 다음 수학식 1과 같이 최종 정합 영상
Figure pat00009
을 생성할 수 있다.
[수학식 1]
Figure pat00010
한편, 수술 중 상기 환자의 신체 일부분에 기준 추적 툴(600)이 부착된 경우, 3D 영상 정합 제공 장치(200)는 위치추적 장치(300)에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환할 수 있다.
이하에서는 도 6을 이용하여 3D 영상 정합 제공 장치(200)가 최종 정합 영상에 환자의 움직임을 보상하는 과정에 대해서 상세하게 설명한다.
도 6은 본 발명의 하나의 실시예에 따른 기준 추적 툴 좌표계를 적용하는 과정을 설명하기 위한 도면이다.
도 6은 수술 중에서 환자의 신체 일부분에 기준 추적 툴(600)을 부착함으로써, 보다 빠르고 정확하게 환자의 움직임을 감지할 수 있다.
따라서 3D 영상 정합 제공 장치(200)는 수술 직전에 기준 추적 툴(600)을 기준으로 하는 3차원 좌표를 추출하고, 위치추적 장치(300)에 의해 추적된 점을 기준 추적 툴 좌표계로 미리 변환할 수 있다.
그리고 3D 영상 정합 제공 장치(200)는 기준 추적 툴 좌표계(RP)에 따라 3D 영상 데이터와 랜드마크의 3차원 좌표의 정합 결과인 최종 정합 데이터를 변환할 수 있다.
그러므로 3D 영상 정합 제공 장치(200)는 다음 수학식 2와 같이, 환자의 움직임을 보상하는 최종 정합
Figure pat00011
을 수행할 수 있다.
[수학식 2]
Figure pat00012
한편, 3D 영상 정합 제공 장치(200)는 깊이 인식 카메라(100)로부터 데이터를 획득하는 단계(S310)와 위치추적 장치(300)로부터 데이터를 획득하는 단계(S320)의 순서는 고정된 것이 아니고 상황에 따라 S320 단계를 S310 단계보다 먼저 수행되거나 동시에 수행될 수 있다.
이와 마찬가지로, S330 단계와 S340 단계의 순서도 경우에 따라 S340 단계보다 S330 단계가 먼저 수행되거나 동시에 수행될 수 있다.
본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 깊이 인식 카메라 200: 3D 영상 정합 제공 장치
210: 수집부 220: 제1 정합부
230: 제2 정합부 240: 제3 정합부
300: 위치추적 장치 400: 데이터베이스
500: 정합바디 510: 정합바디의 위치추적 툴
600: 기준 추적 툴

Claims (18)

  1. 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 상기 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 수집부,
    미리 저장된 환자의 3D 의료 영상과 상기 3D 깊이 데이터의 표면 정합을 수행하는 제1 정합부,
    상기 정합바디의 영상으로부터 상기 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 상기 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 상기 랜드마크의 상대적 위치 정보를 변환하여 상기 랜드마크의 카메라 기준 3차원 좌표와 변환된 상기 랜드마크의 위치 정보의 정합을 수행하는 제2 정합부, 그리고
    상기 제1 정합부와 상기 제2 정합부에서 수행한 정합 결과를 이용하여 최종 정합을 수행하는 제3 정합부
    를 포함하는 3D 영상 정합 제공 장치.
  2. 제1항에서
    상기 제1 정합부는,
    수술 전 획득한 상기 3D 의료 영상에서 정합하고자 하는 부분을 3D 표면 데이터로 추출하고,
    수술 중 수집된 환자의 상기 3D 깊이 데이터를 3D 스캔 데이터로 변환하여, 상기 3D 스캔 데이터와 상기 3D 스캔 데이터간에 표면 정합을 수행하는 3D 영상 정합 제공 장치.
  3. 제2항에 있어서,
    상기 제1 정합부는,
    SAC-IA 알고리즘을 통해 상기 표면 정합을 수행하여 표면 정합 데이터를 생성하고 상기 표면 정합 데이터와 상기 3D 표면 데이터를 정밀 정합 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계가 일치된 제1 정합 데이터를 생성하는 3D 영상 정합 제공 장치.
  4. 제1항에 있어서,
    상기 정합바디는,
    상기 위치추적 툴이 장착되고, 상기 정합바디와 상이한 색상을 가지는 상기 랜드마크가 부착되며, 수술 전 상기 위치추적 툴을 기준으로 측정된 상기 랜드마크의 상대적인 위치 정보를 저장하는 저장부를 더 포함하는 3D 영상 정합 제공 장치.
  5. 제4항에 있어서,
    상기 제2 정합부는,
    수술 중 수집된 상기 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여, 상기 랜드마크의 위치추적 장치 기준 좌표를 생성하는 3D 영상 정합 제공 장치.
  6. 제5항에 있어서,
    상기 제2 정합부는,
    상기 정합바디의 영상으로부터 상기 정합바디의 칼라 영상 및 상기 정합바디의 3D 깊이 데이터를 추출하고, 상기 칼라 영상에서 상이한 색상 정보를 이용하여 도출된 랜드마크 2차원 위치와 상기 정합바디의 3D 깊이 데이터를 통해 상기 랜드마크의 카메라 기준 3차원 좌표를 도출하는 3D 영상 정합 제공 장치.
  7. 제6항에 있어서,
    상기 제2 정합부는,
    상기 랜드마크의 위치추적 장치 기준 좌표와 상기 랜드마크의 카메라 기준 3차원 좌표간에 일대일로 점대점 정합을 통하여 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계가 일치되도록 제2 정합 데이터를 생성하는 3D 영상 정합 제공 장치.
  8. 제3항 또는 제7항에 있어서,
    상기 제3 정합부는,
    상기 제1 정합 데이터와 상기 제2 정합 데이터를 정합하여, 상기 3D 의료 영상의 좌표계와 상기 위치추적 장치의 좌표계가 일치되도록 하는 3D 영상 정합 제공 장치.
  9. 제8항에 있어서,
    수술 중 상기 환자의 신체 일부분에 기준 추적 툴을 부착하고, 상기 위치추적 장치에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환하는 기준 추적 좌표부를 더 포함하는 3D 영상 정합 제공 장치.
  10. 제9항에 있어서,
    상기 제3 정합부는,
    최종 정합이 수행된 데이터를 상기 기준 추적 툴 좌표계로 변환하는 3D 영상 정합 제공 장치.
  11. 깊이 인식 카메라로부터 정합하고자 하는 부분의 3D 깊이 데이터와 정합바디의 영상을 획득하고, 위치추적 장치로부터 상기 정합바디에 장착된 위치추적 툴의 3차원 좌표를 획득하는 단계,
    수술 전 미리 저장된 환자의 3D 의료 영상과 상기 3D 깊이 데이터의 정합을 수행하여 제1 정합 데이터를 생성하는 단계,
    상기 정합바디의 영상으로부터 상기 정합바디에 부착된 랜드마크의 카메라 기준 3차원 좌표를 추출하고, 상기 위치추적 툴의 3차원 좌표를 기준으로 기 저장된 상기 랜드마크의 상대적인 위치 정보를 변환하여, 상기 랜드마크의 카메라 기준 3차원 좌표와 변환된 상기 랜드마크의 위치 정보의 정합을 수행하여 제2 정합 데이터를 생성하는 단계, 그리고
    상기 제1 정합 데이터와 상기 제2 정합데이터를 이용하여 최종 정합을 수행하는 단계를 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  12. 제11항에서
    상기 제1 정합 데이터를 생성하는 단계는,
    수술 전 획득한 상기 3D 의료 영상에서 정합하고자 하는 부분을 3D 표면 데이터로 추출하는 단계,
    수술 중 수집된 환자의 상기 3D 깊이 데이터를 3D 스캔 데이터로 변환하는 단계,
    상기 3D 표면 데이터와 상기 3D 스캔 데이터간에 표면 정합을 수행하여 표면 정합 데이터를 생성하는 단계, 그리고
    상기 표면 정합 데이터와 상기 3D 표면 데이터를 정밀 정합 ICP 알고리즘에 적용하여 3D 의료 영상 좌표계와 깊이 인식 카메라 좌표계가 일치된 제1 정합 데이터를 생성하는 3D 영상 정합 제공 장치의 정합 방법.
  13. 제11항에 있어서,
    상기 정합바디는,
    상기 위치추적 툴이 장착되고, 상기 정합바디와 상이한 색상을 가지는 상기 랜드마크가 부착되며, 수술 전 상기 위치추적 툴을 기준으로 측정된 상기 랜드마크의 상대적인 위치 정보를 저장하는 저장부를 더 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  14. 제13항에 있어서,
    상기 제2 정합부는,
    수술 중 수집된 상기 위치추적 툴의 3차원 좌표를 기준으로 미리 저장된 랜드마크의 상대적 위치 정보를 변환하여, 상기 랜드마크의 위치추적 장치 기준 좌표를 생성하는 3D 영상 정합 제공 장치의 정합 방법.
  15. 제14항에 있어서,
    상기 제2 정합부는,
    상기 정합바디의 영상으로부터 상기 정합바디의 칼라 영상 및 상기 정합바디의 3D 깊이 데이터를 추출하는 단계,
    상기 칼라 영상에서 상이한 색상 정보를 이용하여 도출된 상기 랜드마크의 2차원 위치와 상기 정합바디의 3D 깊이 데이터를 통해 상기 랜드마크의 카메라 기준 3차원 좌표를 도출하는 단계, 그리고
    상기 랜드마크의 위치추적 장치 기준 좌표와 상기 랜드마크의 카메라 기준 3차원 좌표간에 일대일로 점대점 정합을 통하여 깊이 인식 카메라 좌표계와 위치추적 장치 좌표계가 일치되도록 제2 정합 데이터를 생성하는 단계를 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  16. 제12항 또는 15항에 있어서,
    상기 최종 정합을 수행하는 단계는,
    상기 제1 정합 데이터와 상기 제2 정합 데이터를 정합하여, 상기 3D 의료 영상의 좌표계와 상기 위치추적 장치의 좌표계가 일치되도록 하는 3D 영상 정합 제공 장치의 정합 방법.
  17. 제16항에 있어서,
    수술 중 상기 환자의 신체 일부분에 기준 추적 툴을 부착하고, 상기 위치추적 장치에 의해 추적되는 좌표를 기준 추적 툴 좌표계로 변환하는 단계를 더 포함하는 3D 영상 정합 제공 장치의 정합 방법.
  18. 제17항에 있어서,
    상기 최종 정합을 수행하는 단계는,
    최종 정합이 수행된 데이터를 상기 기준 추적 툴 좌표계로 변환하는 3D 영상 정합 제공 장치의 정합 방법.
KR1020180089310A 2018-07-31 2018-07-31 3d 영상 정합 제공 장치 및 그 방법 KR102102942B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180089310A KR102102942B1 (ko) 2018-07-31 2018-07-31 3d 영상 정합 제공 장치 및 그 방법
US17/264,921 US11468577B2 (en) 2018-07-31 2018-10-22 Device for providing 3D image registration and method therefor
EP18928471.4A EP3832599A4 (en) 2018-07-31 2018-10-22 DEVICE FOR PROVIDING 3D IMAGE TRACKING AND RELATED METHOD
PCT/KR2018/012472 WO2020027377A1 (ko) 2018-07-31 2018-10-22 3d 영상 정합 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180089310A KR102102942B1 (ko) 2018-07-31 2018-07-31 3d 영상 정합 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200013984A true KR20200013984A (ko) 2020-02-10
KR102102942B1 KR102102942B1 (ko) 2020-04-21

Family

ID=69232230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180089310A KR102102942B1 (ko) 2018-07-31 2018-07-31 3d 영상 정합 제공 장치 및 그 방법

Country Status (4)

Country Link
US (1) US11468577B2 (ko)
EP (1) EP3832599A4 (ko)
KR (1) KR102102942B1 (ko)
WO (1) WO2020027377A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096157A (ko) * 2020-12-30 2022-07-07 서울대학교산학협력단 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
WO2022158697A1 (ko) * 2021-01-25 2022-07-28 인제대학교 산학협력단 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US11672607B2 (en) * 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
CN117323007A (zh) * 2021-11-11 2024-01-02 北京歌锐科技有限公司 一种患者手术位置的跟踪方法、设备及装置
CN114587592B (zh) * 2022-03-18 2023-01-17 华科精准（北京）医疗科技有限公司 一种手术导航系统及其使用方法
CN114948221A (zh) * 2022-05-20 2022-08-30 宁波市第六医院 一种rtvit技术辅助手术机器人术中配准方法
CN116687564B (zh) * 2023-05-22 2024-06-25 北京长木谷医疗科技股份有限公司 基于虚拟现实的手术机器人自感知导航方法系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140067526A (ko) * 2012-11-26 2014-06-05 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR20150053202A (ko) * 2013-11-07 2015-05-15 한국전기연구원 수술용 항법 시스템의 교정 방법
KR20160042297A (ko) * 2014-10-08 2016-04-19 울산대학교 산학협력단 의료용 항법 장치
JP2016107059A (ja) * 2014-12-05 2016-06-20 ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ デンタルインプラント施術のための手術ガイドおよび植立物の製造方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
DE602005004332T2 (de) * 2004-06-17 2009-01-08 Cadent Ltd. Verfahren zum Bereitstellen von Daten im Zusammenhang mit der Mundhöhle
US9439627B2 (en) * 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
WO2015193479A1 (en) * 2014-06-19 2015-12-23 KB Medical SA Systems and methods for performing minimally invasive surgery
US10092191B2 (en) * 2015-01-16 2018-10-09 Siemens Healthcare Gmbh Joint visualization of 3D reconstructed photograph and internal medical scan
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US10635930B2 (en) * 2017-02-24 2020-04-28 Siemens Healthcare Gmbh Patient position control for scanning
CA3065436C (en) * 2017-08-11 2023-03-07 Brainlab Ag Video based patient registration and tracking
US10832408B2 (en) * 2017-10-26 2020-11-10 Synaptive Medical (Barbados) Inc. Patient registration systems, devices, and methods for a medical procedure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140067526A (ko) * 2012-11-26 2014-06-05 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR20150053202A (ko) * 2013-11-07 2015-05-15 한국전기연구원 수술용 항법 시스템의 교정 방법
KR20160042297A (ko) * 2014-10-08 2016-04-19 울산대학교 산학협력단 의료용 항법 장치
JP2016107059A (ja) * 2014-12-05 2016-06-20 ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ デンタルインプラント施術のための手術ガイドおよび植立物の製造方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096157A (ko) * 2020-12-30 2022-07-07 서울대학교산학협력단 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
WO2022158697A1 (ko) * 2021-01-25 2022-07-28 인제대학교 산학협력단 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템
KR20220107546A (ko) * 2021-01-25 2022-08-02 인제대학교 산학협력단 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템

Also Published As

Publication number Publication date
EP3832599A1 (en) 2021-06-09
WO2020027377A1 (ko) 2020-02-06
KR102102942B1 (ko) 2020-04-21
US11468577B2 (en) 2022-10-11
EP3832599A4 (en) 2022-04-27
US20210304423A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102102942B1 (ko) 3d 영상 정합 제공 장치 및 그 방법
US10593052B2 (en) Methods and systems for updating an existing landmark registration
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
US9436993B1 (en) System and method for fused image based navigation with late marker placement
US11172184B2 (en) Systems and methods for imaging a patient
CN108701170B (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
US10610172B2 (en) Imaging system and method for enabling instrument guidance
US20160019716A1 (en) Computer assisted surgical system with position registration mechanism and method of operation thereof
US10832408B2 (en) Patient registration systems, devices, and methods for a medical procedure
US20170091939A1 (en) Systems and Methods for See-Through Views of Patients
US20140218366A1 (en) Method and device for displaying an object
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
CN109313698B (zh) 同步的表面和内部肿瘤检测
CN111789621B (zh) 用于患者定位监视的光学相机
CN110547872A (zh) 手术导航注册系统
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
JP2010274044A (ja) 手術支援装置、手術支援方法及び手術支援プログラム
JP7540605B2 (ja) 断層撮影スキャンの画像ベースの計画
WO2017195540A1 (ja) 超音波撮像装置、画像処理装置、及びその方法
EP3151736A2 (en) Computer assisted surgical system with position registration mechanism and method of operation thereof
CN112381750A (zh) 一种超声波图像和ct/mri图像的多模态配准融合方法
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
KR102289327B1 (ko) 엑스선 장치의 캘리브레이션 방법 및 이를 위한 캘리브레이션 장치
KR20160031794A (ko) 병변 검출 장치 및 그 방법
TW201211937A (en) Human face matching system and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant