KR102437616B1 - 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법 - Google Patents

3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법 Download PDF

Info

Publication number
KR102437616B1
KR102437616B1 KR1020200172408A KR20200172408A KR102437616B1 KR 102437616 B1 KR102437616 B1 KR 102437616B1 KR 1020200172408 A KR1020200172408 A KR 1020200172408A KR 20200172408 A KR20200172408 A KR 20200172408A KR 102437616 B1 KR102437616 B1 KR 102437616B1
Authority
KR
South Korea
Prior art keywords
matching
image
surgical
registration
coordinates
Prior art date
Application number
KR1020200172408A
Other languages
English (en)
Other versions
KR102437616B9 (ko
KR20220108833A (ko
Inventor
이원진
이상정
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020200172408A priority Critical patent/KR102437616B1/ko
Publication of KR20220108833A publication Critical patent/KR20220108833A/ko
Application granted granted Critical
Publication of KR102437616B1 publication Critical patent/KR102437616B1/ko
Publication of KR102437616B9 publication Critical patent/KR102437616B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

영상 정합 제공 장치가 수술 정합 장치를 이용하여 영상 좌표를 정합하는 방법으로서, 하나의 기준 마커와 복수의 정합용 특징점들이 수술 정합 장치에 구비되어 있으며, 수술 정합 장치를 착용한 환자를 미리 촬영한 3차원 의료 영상으로부터 상기 복수의 정합용 특징점들 각각의 영상 기준 좌표를 획득한다. 기준 마커와 복수의 정합용 특징점들을 기초로, 수술 정합 장치에 대한 정합 장치 기준 좌표들을 획득하고, 영상 기준 좌표와 정합 장치 기준 좌표를 정합한 정합 오차가 미리 설정한 임계값 이하이면 영상 기준 좌표와 정합 장치 기준 좌표를 최종 정합한다

Description

3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법{3D image registration providing apparatus, image coordinate matching method and surface data acquisition method using the same}
본 발명은 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법에 관한 것이다.
최근 이비인후과 수술, 정형외과 수술, 신경외과 수술 또는 복강경 수술 등 다양한 분야의 수술에서, 최소침습 내시경 수술(MIS: Minimally Invasive Endoscopic surgery)이 널리 이용되고 있다. 내시경을 이용하여 수술할 때, 시야가 제한되는 경우가 많기 때문에 환부나 구조물의 정확한 위치를 인식하는 것이 중요하다.
따라서, 내시경에 3차원 위치추적 장치를 결합한 영상 가이드 수술 항법 시스템(Surgical navigation system)(이하, 설명의 편의를 위하여, '내비게이션 수술'이라 지칭함)이 꾸준히 연구되고 있다. 영상 가이드 수술 항법 시스템은 수술의 위험성을 줄이고, 수술 시 위치 제어의 정확성, 편의성 그리고 안정성을 향상시킨다는 장점을 가지고 있다.
MRI(Magnetic Resonance Imaging), CT(Computed Tomography), 초음파 등의 3차원 의료 영상을 이용한 수술 항법 시스템을 활용하는 수술에서는, 수술 전에 환자 영상의 좌표계와 위치추적 장치의 좌표계간의 정합이 필수적으로 요구된다.
환자 영상의 좌표계와 위치추적 장치의 좌표계를 정합하기 위해, 종래에는 정합에 사용되는 특징점들을 환자 영상 공간과 환자의 물리적 공간에서 각각 수작업으로 정합하였다. 또 다른 방법으로 종래에는 환자의 정합부위에 물리적인 구조물을 접촉하여 여러 점들을 스캔하여 획득하고, 획득한 여러 점들을 환자의 영상 공간에 정합하였다.
수작업에 의한 정합 방법은 특징점 획득 시 환자 또는 수술자의 불편을 초래하고, 기술자의 숙련도에 따라 수술 준비시간이 증가되거나 정합의 정확도가 결정된다. 또한, 물리적 구조물을 이용하여 환자의 정합부위에 접촉하여 접촉식으로 스캔하는 경우 환자 간 교차 감염이 발생할 수 있다.
또한, 일부 수술에서는 환자의 피부 연조직으로 인해 직접적인 정합을 위한 특징점을 획득하기 어렵다. 이러한 이유로, 환자 영상 좌표계와 위치추적 장치 좌표계의 정합이 불가능한 경우도 발생한다.
따라서, 본 발명은 특징점 획득이 어려운 부위에서 정합을 시행하기 위한 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 영상 정합 제공 장치가 수술 정합 장치를 이용하여 영상 좌표를 정합하는 방법으로서,
하나의 기준 마커와 복수의 정합용 특징점들이 수술 정합 장치에 구비되어 있으며, 상기 수술 정합 장치를 착용한 환자를 미리 촬영한 3차원 의료 영상으로부터 상기 복수의 정합용 특징점들 각각의 영상 기준 좌표를 획득하는 단계, 상기 기준 마커와 상기 복수의 정합용 특징점들을 기초로, 상기 수술 정합 장치에 대한 정합 장치 기준 좌표들을 획득하는 단계, 그리고 상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 정합하고, 정합한 정합 오차가 미리 설정한 임계값 이하이면 상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 최종 정합하는 단계를 포함한다.
상기 정합 장치 기준 좌표들을 획득하는 단계는, 상기 기준 마커의 위치를 기준으로 각 특징점의 상대적 좌표를 상기 각 특징점의 장치 기준 좌표들로 획득할 수 있다.
상기 최종 정합하는 단계는, 상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 정합하는 단계, 각 특징점들 중 영상 기준 좌표와 정합 장치 기준 좌표의 오차가 가장 큰 특징점을 제외한 나머지 특징점들에 대한 기준 좌표들로 재 정합하는 단계, 그리고 상기 재 정합한 정합 오차와 상기 임계값을 비교하는 단계를 포함할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 영상 정합 제공 장치가 수술 정합 장치를 이용하여 영상 좌표를 정합하는 방법으로서,
하나의 기준 마커와 복수의 정합용 특징점들이 수술 정합 장치에 구비되어 있으며, 상기 수술 정합 장치를 착용한 환자를 미리 촬영한 3차원 의료 영상으로부터 영상 표면 데이터를 획득하는 단계, 상기 수술 정합 장치에 대한 정합 장치 표면 데이터를 획득하는 단계, 상기 영상 표면 데이터와 상기 정합 장치 표면 데이터를 샘플링하여 복수의 점들로 구성된 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 획득하는 단계, 그리고 상기 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 표면 정합하고, 표면 정합된 정합 오차가 미리 설정한 임계값 이하이면 상기 표면 정합된 결과를 최종 정합하는 단계를 포함한다.
상기 정합 장치 표면 데이터를 획득하는 단계는, 상기 수술 정합 장치를 설계한 3차원 설계 데이터로부터 표면 데이터를 추출하는 단계, 상기 표면 데이터를 샘플링하여 포인트 클라우드로 변환하는 단계, 그리고 상기 수술 정합 장치로부터 획득한 임시 표면 데이터에 상기 변환한 포인트 클라우드를 정합하여, 상기 정합 장치 표면 데이터로 생성하는 단계를 포함할 수 있다.
상기 최종 정합하는 단계는, 상기 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 초기 정합하는 단계를 더 포함하고, 상기 초기 정합은 주 성분 분석을 토대로 정합할 수 있다.
상기 초기 정합하는 단계 이후에, 상기 초기 정합된 포인트 클라우드에 ICP(Iterative Closet Point) 알고리즘과 CPD(Coherent Point Drift) 알고리즘을 순차적으로 적용하는 단계를 포함할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 장치로서,
하나의 기준 마커와 복수의 정합용 특징점들이 구비되어 있으며, 환자가 착용하는 수술 정합 장치, 상기 수술 정합 장치로부터 상기 정합용 특징점들에 대한 정합 장치 기준 좌표를 획득하는 프로브, 그리고 상기 수술 정합 장치를 착용한 환자를 미리 촬영한 3차원 의료 영상으로부터 상기 복수의 정합용 특징점들 각각의 영상 기준 좌표를 획득하고, 상기 프로브를 통해 획득한 상기 정합 장치 기준 좌표와 상기 영상 기준 좌표를 정합하는 영상 정합 제공 장치를 포함한다.
상기 영상 정합 제공 장치는, 상기 기준 마커의 위치를 기준으로 각 특징점의 상대적 좌표를 상기 각 특징점의 장치 기준 좌표들로 획득할 수 있다.
상기 영상 정합 제공 장치는, 상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 정합하고, 각 특징점들 중 영상 기준 좌표와 정합 장치 기준 좌표의 오차가 가장 큰 특징점을 제외한 나머지 특징점들에 대한 기준 좌표들로 재 정합할 수 있다.
상기 프로브는, 상기 환자가 착용한 상기 수술 정합 장치로부터 정합 장치 표면 데이터를 획득할 수 있다.
상기 영상 정합 제공 장치는, 상기 수술 정합 장치를 착용한 환자를 미리 촬영한 3차원 의료 영상으로부터 영상 표면 데이터를 획득하고, 상기 영상 표면 데이터와 상기 정합 장치 표면 데이터를 샘플링하여 복수의 점들로 구성된 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 획득할 수 있다.
상기 영상 정합 제공 장치는, 상기 수술 정합 장치를 설계한 3차원 설계 데이터로부터 표면 데이터를 추출하고, 상기 표면 데이터를 샘플링하여 변환한 포인트 클라우드를 상기 수술 정합 장치로부터 획득한 임시 표면 데이터에 정합하여 상기 정합 장치 표면 데이터로 생성할 수 있다.
상기 영상 정합 제공 장치는, 상기 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 초기 정합하고, 상기 초기 정합된 포인트 클라우드에 ICP (Iterative Closet Point) 알고리즘과 CPD(Coherent Point Drift) 알고리즘을 순차적으로 적용할 수 있다.
본 발명에 따르면, 정합 장치상의 특징점 및 표면 데이터를 획득하여 정합을 수행함으로써, 기존 수작업 정합과 같이 기술자의 기술 숙련도에 영향을 받지 않으며 정확도 높은 정합 결과를 획득할 수 있다.
또한, 환자의 해부학적 특징점 및 연조직 표면을 사용하는 정합보다 정확하게 정합을 시행할 수 있어, 영상 가이드 수술에서 수술의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 영상 정합 제공 장치가 구현된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 영상 가이드 수술 정합 장치의 예시도이다.
도 3은 본 발명의 제1 실시예에 따른 영상 좌표 정합 방법에 대한 흐름도이다.
도 4는 본 발명의 제2 실시예에 따른 영상 좌표 정합 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따라 고해상도 표면 데이터를 획득한 예시도이다.
도 6은 본 발명의 실시예에 따른 영상 정합 제공 장치의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 도면을 참조로 하여 본 발명의 실시예에 따른 영상 가이드 수술 정합 장치 및 그 방법에 대해 설명한다. 본 발명의 실시예에서는 설명의 편의를 위하여 중이염 등 귀 질환을 수술하기 위한 영상 가이드 수술 정합 장치를 예를 들어 설명한다.
도 1은 본 발명의 실시예에 따른 3차원 영상 정합 제공 장치가 구현된 환경의 예시도이다.
도 1에 도시한 바와 같이, 3차원 영상 정합 제공 장치는 환자가 귀에 착용하는 영상 가이드 수술 정합 장치(이하, 설명의 편의를 위하여 '수술 정합 장치'라 지칭함)(100)와 프로브(200), 그리고 영상 정합 제공 장치(300)를 포함한다.
수술 정합 장치(100)는 3D 의료 영상과 위치 추적 데이터를 정합하기 위한 기준 좌표를 제공하는 장치로, 복수의 정합용 특징점들과 각 특징점들의 위치를 추적하기 위한 프로브(200)가 부착될 수 있다. 여기서, 특징점들은 의료진 또는 기술자와 같은 사용자들이 파악하기 쉽도록, 수술 정합 장치(100)의 색상과 색상 차이가 큰 보색 관계의 색상으로 설정될 수 있다.
수술 정합 장치(100)는 수술 전에 제작되는 것으로, 3차원 캐드 소프트웨어를 이용하여 환자의 수술 부위인 귀의 크기에 따라 설계된다. 그리고 3차원 프린터와 같은 장치를 이용하여 3차원 캐드 소프트웨어로 설계된 수술 정합 장치(100)를 제작한다.
의료진 또는 기술자와 같은 사용자들은 프로브(200)를 이용하여, 환자가 착용한 수술 정합 장치(100)에 기 구현되어 있는 복수의 특징점들을 선택하면, 선택된 특징점들의 정합 장치 기준 좌표들이 영상 정합 제공 장치(300)로 전달된다.
또는, 사용자가 프로브(200)를 이용하여 수술 정합 장치(100)의 표면을 일정 속도로 긁으면, 영상 정합 제공 장치(300)는 수술 정합 장치(100)의 표면에 대한 표면 데이터를 수집한다.
환자가 수술 정합 장치(100)를 착용하고 수술 전에 컴퓨터 단층촬영(CT: Computed Tomography)장치, 자기공명영상(MRI: Magnetic Resonance Imaging) 장치, 양전자 단층 촬영(PTE: Positron Emission Tomography) 장치 등과 같은 의료영상 촬영 장치를 이용하여 촬영하면, 3차원 의료 영상이 획득된다. 이때, 3차원 의료 영상에는 수술 정합 장치(100)에 형성되어 있는 복수의 특징점들에 대한 영상 기준 좌표들 함께 획득된다.
영상 정합 제공 장치(300)는 수술 정합 장치(100)를 통해 수집된 정합 장치 기준 좌표들을, 3차원 의료 영상에 설정되어 있는 영상 기준 좌표와 정합한다. 또한, 영상 정합 제공 장치(300)는 3차원 의료 영상을 통해 획득된 기준 표면 데이터와 프로브(200)를 통해 수집된 장치 표면 데이터를 정합한다.
영상 정합 제공 장치(300)는 수술 정합 장치(100)의 정합 장치 기준 좌표들과 영상 기준 좌표를 정합하거나, 기준 표면 데이터들과 장치 표면 데이터들을 정합한 후, 모니터와 같은 디스플레이(400)를 통해 제공한다.
그리고 데이터베이스(500)는 환자의 3차원 의료 영상, 영상 기준 좌표들을 저장한다. 또한, 데이터베이스(500)는 3차원 의료 영상으로부터 획득한 기준 표면 데이터를 저장한다.
또한, 데이터베이스(500)는 환자 별로 진료 내역들을 함께 저장하고 있을 수 있으며, 각 환자의 개인 정보를 보호하기 위해 암호화되어 저장될 수 있다.
이상에서 설명한 환경 중 영상 가이드 수술 정합 장치(100)의 예에 대해 도 2를 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 영상 가이드 수술 정합 장치의 예시도이다.
대부분 연조직으로 이루어진 귀의 해부학적 특성 상, 의료진은 환자의 귀 표면에서 직접 정합을 위한 특징점을 획득하는 것은 어렵다.
따라서, 도 2의 (a)에 도시된 바와 같이, 환자의 귀 모양을 3차원 캐드 소프트웨어를 이용하여 설계한다. 그리고 설계한 귀 모양을 도 2의 (b)에 도시된 바와 같이 3차원 프린터를 이용하여 수술 정합 장치(100)로 생성한다.
여기서, 수술 정합 장치(100)에 복수 개의 특징점들이 표시되어 있다. 본 발명의 실시예에서는 10개의 특징점들이 표시되어 있는 것을 예로 하여 설명한다. 각 특징점은 환자가 수술 정합 장치(100)를 착용한 채로 의료영상 촬영 장치를 이용하여 3차원 의료 영상을 촬영할 때, 3차원 의료 영상에도 특징점이 포함된다.
또한, 수술 정합 장치(100)에는 하나의 기준 마커가 포함되어 있다. 기준 마커는 수술 정합 장치(100)에 구현된 특징점들의 상대적 좌표를 계산하여 영상 기준 좌표를 생성하기 위한 기준점이다. 기준 마커를 생성하는 방법이나 기준 마커를 기초로 특징점들의 상대적 좌표를 계산하는 방법은 다양하게 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
3차원 프린터와 같은 장비를 이용하여 생성된 수술 정합 장치(100)는 환자의 귀 크기에 따라 다양한 크기로 생성될 수 있다. 환자의 귀 모양에 따라 3차원 캐드 소프트웨어를 이용하여 귀 모양을 모사하고 이를 기초로 수술 정합 장치(100)를 생성하는 방법은 다양하게 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
이와 같이 생성한 수술 정합 장치(100)를 이용하여 3차원 의료 영상에 영상 좌표를 정합하는 방법에 대해 도 3 및 도 4를 참조로 설명한다. 본 발명의 실시예에서는 점 기반으로 정합하는 제1 실시예에 따른 방법과 표면 데이터를 이용하여 정합하는 제2 실시예에 따른 방법으로 구분하여 설명한다.
도 3은 본 발명의 제1 실시예에 따른 영상 좌표 정합 방법에 대한 흐름도이다.
도 3에 도시된 바와 같이, 환자가 수술 정합 장치(100)를 착용한 채 의료영상 촬영 장치를 이용하여 3차원 의료 영상을 촬영하면, 영상 정합 제공 장치(300)는 수술 정합 장치(100)를 착용한 환자의 수술 부위에 대한 3차원 의료 영상을 획득한다(S100). 여기서, 3차원 의료 영상에는 수술 정합 장치(100)에 형성되어 있는 복수의 특징점들도 포함된다.
수술 정합 장치(100)를 착용하는 환자의 수술 부위 즉, 귀의 크기와 귀의 모양이 상이하기 때문에, 수술 정합 장치(100)에 인상재를 구비하여 환자의 귀 모양에 맞게 수술 정합 장치(100)를 착용할 수 있도록 한다. 여기서, 인상재의 재질이나 형태를 어느 하나로 한정하지 않는다.
영상 정합 제공 장치(300)는 3차원 의료 영상을 처리하여, 복수의 특징점들 각각에 영상 기준 좌표를 획득한다(S301). 이때, 미리 설정된 기준점을 토대로 각 특징점의 영상 기준 좌표가 계산된다. 특징점의 영상 기준 좌표를 계산하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
특징점의 영상 기준 좌표를 계산하는 하나의 실시예를 들어 설명하면, 영상 정합 제공 장치(300)는 3차원 의료 영상에 마칭 큐브(marching cube) 알고리즘을 적용하여 특징점이 포함된 3차원 표면 데이터로 생성하여 의료진 또는 기술자와 같은 사용자가 확인할 수 있도록 디스플레이한다. 또는 3차원 의료 영상에 레이 케스팅(ray casting) 등의 알고리즘을 적용하여 특징점이 포함된 3차원 볼륨 데이터로 재구성하여 사용자가 확인할 수 있도록 디스플레이할 수도 있다. 사용자가 디스플레이되는 3차원 표면 데이터 또는 3차원 볼륨 데이터의 특징점을 선택 장치(예를 들어, 마우스 등)로 선택하면, 영상 정합 제공 장치(300)는 기준 좌표를 계산할 수 있다.
의료진 또는 기술자와 같은 사용자가 환자가 착용한 수술 정합 장치(100)에 프로브(200)를 이용하여 특징점을 하나씩 선택하면, 영상 정합 제공 장치(300)는 프로브(200)에 의해 선택되는 특징점들의 좌표를 기준 마커에 대한 상대적 좌표로 계산하여 정합 장치 기준 좌표들로 수집한다(S102).
여기서, 정합 기준 마커는 상술한 도 2의 기준 마커의 좌표를 기준으로 하고, 프로브(200)로 각 특징점들이 하나씩 선택될 때 기준 마커에서부터 각 특징점들 사이의 거리와 위치를 토대로 정합 장치 기준 좌표들이 수집된다.
영상 정합 제공 장치(300)는 S101 단계에서 획득한 영상 기준 좌표들과 S102 단계에서 획득한 정합 장치 기준 좌표들을 정합한다(S103). 영상 정합 제공 장치(300)가 두 기준 좌표들을 정합하는 방법은 이미 알려진 것으로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
영상 정합 제공 장치(300)는 두 기준 좌표들을 정합한 후, 두 기준 좌표 사이에 오차가 가장 큰 특징점에 대한 기준 좌표를 제외하고, 나머지 기준 좌표들을 이용하여 재 정합을 수행한다(S104). 그리고 재 정합한 나머지 기준 좌표들의 정합 오차가 미리 설정한 임계값보다 작은지 확인한다(S105).
재 정합한 결과 임계값 보다 오차가 작으면, 영상 정합 제공 장치(300)는 정합 후 기준 좌표들을 좌표계 변환 알고리즘을 통해 변환하여, 수술을 위한 네비게이션으로 사용한다. 그러나, 정합 오차가 임계값보다 크면 획득한 기준 좌표들을 초기화한 후 재 획득하여 S103 단계 이후의 새로운 정합 과정을 실시한다.
도 4는 본 발명의 제2 실시예에 따른 영상 좌표 정합 방법에 대한 흐름도이다.
도 4에 도시된 바와 같이, 환자가 수술 정합 장치(100)를 착용한 채 의료영상 촬영 장치를 이용하여 3차원 의료 영상을 촬영하면, 영상 정합 제공 장치(300)는 수술 정합 장치(100)를 착용한 환자의 수술 부위에 대한 3차원 의료 영상을 획득한다(S200).
영상 정합 제공 장치(300)는 3차원 의료 영상을 처리하여 영상 표면 데이터를 획득한다(S201). 영상 정합 제공 장치(300)가 3차원 의료 영상으로부터 영상 표면 데이터를 획득하는 방법은 이미 알려진 것으로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
의료진 또는 기술자와 같은 프로브(200)를 이용하여 사용자가 환자가 착용한 수술 정합 장치(100)를 스캔하면, 영상 정합 제공 장치(300)는 수술 정합 장치(100)에 대한 정합 장치 표면 데이터를 수집한다(S202).
S201 단계와 S202 단계에서 각각 획득된 영상 표면 데이터와 정합 장치 표면 데이터에는 복수의 점들이 포함되어 있으며, 영상 정합 제공 장치(300)가 표면 데이터를 획득하는 방법은 이후 상세히 설명한다.
영상 정합 제공 장치(300)는 S201 단계에서 획득한 영상 표면 데이터와 S202 단계에서 획득한 정합 장치 표면 데이터를 기초로 정합 절차를 수행한다. 즉, 복수의 점들을 포함하고 있는 영상 표면 데이터와 정합 장치 표면 데이터를 샘플링하여 포인트 클라우드 내 점의 개수를 최적화한다(S203). 이는, 영상 표면 데이터 자체가 포인트 클라우드인데, 영상 표면 데이터의 모든 포인트를 사용하게 되면 포인트 클라우드를 구성하는 점의 수가 과도하게 많아져 정합 소요시간이 오래 걸리게 되기 때문에, 샘플링을 통해 포인트의 수를 최적화 하는 과정이 필요하다.
그리고 영상 정합 제공 장치(300)는 ICP(Iterative Closet Point) 알고리즘과 CPD(Coherent Point Drift) 알고리즘을 순차적으로 포인트 클라우드에 적용하여 고정밀 정합 절차를 수행한다(S204). ICP 알고리즘과 CPD 알고리즘은 모두 3차원 영상의 영상 좌표계와 환자의 물리적인 좌표계 사이의 관계식(transform)을 구하는 알고리즘이다.
두 알고리즘이 포인트 클라우드에 적용되면 CT 영상 좌표계와 영상 정합 제공 장치에 의해 획득된 환자의 물리적 좌표계 사이의 관계식이 결정된다. 본 발명의 실시예에서는 두 가지 알고리즘을 순서에 상관없이 순차적으로 포인트 클라우드에 적용하는데, 이는 한 가지 알고리즘만 사용하게 되면 특정한 경우 정합 오차가 커질 수 있기 때문에, 정합 오차를 최소화하기 위하여 두 알고리즘을 사용하는 것을 예로 하여 설명한다. 여기서, ICP 알고리즘과 CPD 알고리즘은 이미 알려진 정합 알고리즘으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
S204 단계에서 고정밀 정합된 결과를 기초로, 두 표면 데이터들 사이에 정합 오차가 미리 설정한 임계값보다 작은지 확인한다(S205). 고정밀 정합한 결과 임계값 보다 오차가 작으면, 영상 정합 제공 장치(300)는 정합 후 기준 좌표들을 좌표계 변환 알고리즘을 통해 변환하여, 수술을 위한 네비게이션으로 사용한다. 그러나, 정합 오차가 임계값보다 크면 S204 단계 이후의 절차를 반복 수행한다.
즉, 프로브(200)를 통해 획득한 환자의 물리적인 좌표계인 점 좌표에 좌표계 변환 행렬식을 곱하면, 3차원 의료 영상의 영상 좌표계로 변환된다. 정합 오차는 정합에 사용된 점들에 좌표계 변환 행렬식을 곱하고, 이를 통해 3차원 의료 영상의 영상 좌표계로 변환된 점 좌표들과 S201 단계에서 획득한 면 데이터 좌표들 사이의 오차를 계산하며, 이 오차가 임계값 이하일 경우 내비게이션을 진행한다.
여기서, 영상 정합 제공 장치(300)가 수술 정합 장치(100)로부터 정합 장치 표면 데이터를 획득하는 방법에 대해 도 5를 참조로 설명한다.
도 5는 본 발명의 실시예에 따라 고해상도 표면 데이터를 획득한 예시도이다.
의료진이나 기술자의 낮은 기술 숙련도 및 손떨림 등으로 인해, 환자가 착용한 수술 정합 장치(100)에서 획득한 정합 장치 표면 데이터의 정확도가 떨어지는 경우가 발생할 수 있다. 이를 보완하기 위해, 본 발명의 실시예에서는 수술 정합 장치(100)로부터 획득한 정합 장치 표면 데이터를 보정하여, 고해상도 데이터 획득한다.
즉, 도 5의 (a)에 도시된 바와 같이 수술 정합 장치(100)를 구현하기 위해 미리 설계한 3차원 캐드 소프트웨어에서 이미 알려진 기술에 해당하는 표면 가시화 기술을 기반으로 고해상도 표면 데이터(①)를 추출한다. 그리고 영상 정합 제공 장치(300)는 추출한 표면 데이터를 샘플링하여 포인트 클라우드로 변환한다.
영상 정합 제공 장치(300)는 환자가 착용한 수술 정합 장치(100)에서 정합 장치 표면 데이터(②)를 획득한다.
영상 정합 제공 장치(300)는 의료진이나 기술자가 프로브(200)를 이용하여 수술 정합 장치(100)의 표면을 스캐닝하면, 기준 마커를 기준으로 표면의 데이터의 상대적 좌표를 계산하여 수술 정합 장치(100)에서 표면 데이터(②)를 획득한다. 즉, 표면에 있는 각각의 점의 좌표를 표면 데이터 좌표로서 획득하고, 각 점들이 모여 포인트 클라우드를 구성한다. 영상 정합 제공 장치(300)는 이 포인트 클라우드를 이용하여 정합을 수행한다.
이를 위해, 영상 정합 제공 장치(300)는 100개의 점들을 위치 추적 시스템의 프로브를 수술 정합 장치(100)의 표면에 정위한다. 그리고, 5Hz의 속도로 점을 획득하여 초기 정합에 이용한다.
영상 정합 제공 장치(300)는 상술한 ICP 알고리즘이나 CPD 알고리즘과 같이 표면 데이터를 정합하는 알고리즘인 주성분 분석(PCA: Principal component analysis)를 이용하여, 고해상도 표면 데이터(①)와 수술 정합 장치(100)에서 획득한 표면 데이터(②)를 초기 정합하여 정합 장치 표면 데이터로 생성한다. 본 발명의 실시예에서는 영상 정합 제공 장치(300)가 표면 데이터를 정합하기 위해 사용하는 알고리즘을 어느 하나의 알고리즘으로 한정하지 않는다.
다음은, 영상 정합 제공 장치(300)의 구조에 대해 도 6을 참조로 설명한다.
도 6은 본 발명의 실시예에 따른 영상 정합 제공 장치의 구조도이다.
도 6을 참고하면, 적어도 하나의 프로세서에 의해 동작하는 영상 정합 제공 장치(300)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다. 프로그램은 컴퓨터 판독 가능한 저장매체에 저장될 수 있고, 유통될 수 있다.
영상 정합 제공 장치(300)의 하드웨어는 적어도 하나의 프로세서(310), 메모리(320), 스토리지(330), 통신 인터페이스(340)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 영상 정합 제공 장치(300)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(310)는 영상 정합 제공 장치(300)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다.
메모리(320)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(310)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(320)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(330)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(340)는 유/무선 통신 모듈일 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 영상 정합 제공 장치가 수술 정합 장치를 이용하여 영상 좌표를 정합하는 방법으로서,
    하나의 기준 마커와 환자의 귀 표면에 위치하도록 생성된 복수의 정합용 특징점들이 수술 정합 장치에 구비되어 있으며, 상기 수술 정합 장치를 착용한 상기 환자를 미리 촬영한 3차원 의료 영상으로부터 상기 복수의 정합용 특징점들 각각의 영상 기준 좌표들을 획득하는 단계,
    상기 기준 마커의 위치를 기준으로 상기 환자의 귀 표면에서 획득되는 복수의 정합용 특징점들 각각의 상대적 좌표를 계산하고, 계산한 각각의 상대적 좌표를 기초로 상기 수술 정합 장치에 대한 각 특징점의 정합 장치 기준 좌표들을 획득하는 단계, 그리고
    상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 정합하고, 정합한 정합 오차가 미리 설정한 임계값 이하이면 상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 최종 정합하는 단계
    를 포함하는, 영상 좌표 정합 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 최종 정합하는 단계는,
    상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 정합하는 단계,
    각 특징점들 중 영상 기준 좌표와 정합 장치 기준 좌표의 오차가 가장 큰 특징점을 제외한 나머지 특징점들에 대한 기준 좌표들로 재 정합하는 단계, 그리고
    상기 재 정합한 정합 오차와 상기 임계값을 비교하는 단계
    를 포함하는, 영상 좌표 정합 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 환자가 착용하는 수술 정합 장치,
    하나의 기준 마커와 환자의 귀 표면에 위치하도록 생성된 복수의 정합용 특징점들이 구비되어 있는 상기 수술 정합 장치로부터 상기 정합용 특징점들에 대한 정합 장치 기준 좌표를 획득하는 프로브, 그리고
    상기 수술 정합 장치를 착용한 상기 환자를 미리 촬영한 3차원 의료 영상으로부터 상기 환자의 귀 표면에서 획득되는 상기 복수의 정합용 특징점들 각각의 영상 기준 좌표를 획득하고, 상기 프로브를 통해 획득한 상기 정합 장치 기준 좌표와 상기 영상 기준 좌표를 정합하는 영상 정합 제공 장치
    를 포함하는, 3차원 영상 정합 제공 장치.
  9. 제8항에 있어서,
    상기 영상 정합 제공 장치는,
    상기 기준 마커의 위치를 기준으로 각 특징점의 상대적 좌표를 상기 각 특징점의 장치 기준 좌표들로 획득하는, 3차원 영상 정합 제공 장치.
  10. 제9항에 있어서,
    상기 영상 정합 제공 장치는,
    상기 영상 기준 좌표와 상기 정합 장치 기준 좌표를 정합하고, 각 특징점들 중 영상 기준 좌표와 정합 장치 기준 좌표의 오차가 가장 큰 특징점을 제외한 나머지 특징점들에 대한 기준 좌표들로 재 정합하는, 3차원 영상 정합 제공 장치.
  11. 제8항에 있어서,
    상기 프로브는,
    상기 환자가 착용한 상기 수술 정합 장치로부터 정합 장치 표면 데이터를 획득하는, 3차원 영상 정합 제공 장치.
  12. 제11항에 있어서,
    상기 영상 정합 제공 장치는,
    상기 수술 정합 장치를 착용한 환자를 미리 촬영한 3차원 의료 영상으로부터 영상 표면 데이터를 획득하고, 상기 영상 표면 데이터와 상기 정합 장치 표면 데이터를 샘플링하여 복수의 점들로 구성된 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 획득하는, 3차원 영상 정합 제공 장치.
  13. 제12항에 있어서,
    상기 영상 정합 제공 장치는,
    상기 수술 정합 장치를 설계한 3차원 설계 데이터로부터 표면 데이터를 추출하고, 상기 표면 데이터를 샘플링하여 변환한 포인트 클라우드를 상기 수술 정합 장치로부터 획득한 임시 표면 데이터에 정합하여 상기 정합 장치 표면 데이터로 생성하는, 3차원 영상 정합 제공 장치.
  14. 제13항에 있어서,
    상기 영상 정합 제공 장치는,
    상기 영상 포인트 클라우드와 정합 장치 포인트 클라우드를 초기 정합하고, 상기 초기 정합된 포인트 클라우드에 ICP (Iterative Closet Point) 알고리즘과 CPD(Coherent Point Drift) 알고리즘을 순차적으로 적용하는, 3차원 영상 정합 제공 장치.
KR1020200172408A 2020-12-10 2020-12-10 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법 KR102437616B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200172408A KR102437616B1 (ko) 2020-12-10 2020-12-10 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200172408A KR102437616B1 (ko) 2020-12-10 2020-12-10 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법

Publications (3)

Publication Number Publication Date
KR20220108833A KR20220108833A (ko) 2022-08-04
KR102437616B1 true KR102437616B1 (ko) 2022-08-29
KR102437616B9 KR102437616B9 (ko) 2023-03-23

Family

ID=82836891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200172408A KR102437616B1 (ko) 2020-12-10 2020-12-10 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법

Country Status (1)

Country Link
KR (1) KR102437616B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024058562A1 (ko) * 2022-09-16 2024-03-21 주식회사 필드큐어 전극 어레이 위치 및 방향 정보 제공 방법 및 장치
CN117372661B (zh) * 2023-12-07 2024-03-12 华科精准（北京）医疗科技有限公司 一种手术导航系统、手术机器人系统及注册方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018094087A (ja) * 2016-12-13 2018-06-21 株式会社大野興業 テンプレート

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018094087A (ja) * 2016-12-13 2018-06-21 株式会社大野興業 テンプレート

Also Published As

Publication number Publication date
KR102437616B9 (ko) 2023-03-23
KR20220108833A (ko) 2022-08-04

Similar Documents

Publication Publication Date Title
JP7162793B2 (ja) 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム
CN110325141B (zh) 影像整合装置及影像整合方法
US10327624B2 (en) System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
US20160228075A1 (en) Image processing device, method and recording medium
KR102105974B1 (ko) 의료 영상 시스템
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
JP6620252B2 (ja) 超音波融合撮像システムにおけるプローブ誘導変形の補正
KR102437616B1 (ko) 3차원 영상 정합 제공 장치, 이를 이용한 영상 좌표 정합 방법 및 표면 데이터 획득 방법
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
BR102018076393A2 (pt) Mapas faciais codificados por cores com distância entre os ossos do ouvido, nariz e garganta
IL293233A (en) Image registration with a tracking system
CN108430376B (zh) 提供投影数据集
WO2001057805A2 (en) Image data processing method and apparatus
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20160031794A (ko) 병변 검출 장치 및 그 방법
JP2022164785A (ja) 情報処理装置、情報処理方法、及びプログラム
US11910995B2 (en) Instrument navigation in endoscopic surgery during obscured vision
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
KR102184001B1 (ko) 수술용 네비게이션을 위한 영상 정합 장치 및 영상 정합 방법
Dandekar et al. Image registration accuracy with low-dose CT: How low can we go?
EP3459044A1 (en) Motion compensation in hybrid x-ray/camera interventions
KR101492801B1 (ko) Oct 영상과 심장 삼차원 영상의 정합을 통한 심장 수술 내비게이션 시스템 및 방법
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
G170 Re-publication after modification of scope of protection [patent]