KR102593794B1 - 이미지 매칭에 기초하여 수술 경로를 결정하는 방법 및 시스템 - Google Patents

이미지 매칭에 기초하여 수술 경로를 결정하는 방법 및 시스템 Download PDF

Info

Publication number
KR102593794B1
KR102593794B1 KR1020217031085A KR20217031085A KR102593794B1 KR 102593794 B1 KR102593794 B1 KR 102593794B1 KR 1020217031085 A KR1020217031085 A KR 1020217031085A KR 20217031085 A KR20217031085 A KR 20217031085A KR 102593794 B1 KR102593794 B1 KR 102593794B1
Authority
KR
South Korea
Prior art keywords
feature points
dimensional
dimensional feature
patient
coordinate system
Prior art date
Application number
KR1020217031085A
Other languages
English (en)
Other versions
KR20220002877A (ko
Inventor
치 시아오 첸
쿠안 주 왕
Original Assignee
브레인 나비 바이오테크놀러지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브레인 나비 바이오테크놀러지 씨오., 엘티디. filed Critical 브레인 나비 바이오테크놀러지 씨오., 엘티디.
Publication of KR20220002877A publication Critical patent/KR20220002877A/ko
Application granted granted Critical
Publication of KR102593794B1 publication Critical patent/KR102593794B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 개시의 실시예들은 환자에 대한 수술 경로를 결정하는 방법을 기술한다. 이 방법은 환자의 3차원 모델을 구축하는 단계; 환자의 이미지 정보를 획득하는 단계; 3차원 모델에 연관된 2차원 특징 점들의 제1 세트 및 환자의 이미지 정보에 연관된 2차원 특징 점들의 제2 세트를 선택하는 단계; 상기 2차원 특징 점들의 제1 세트를 3차원 특징 점들의 제1 세트로, 상기 2차원 특징 점들의 제2 세트를 3차원 특징 점들의 제2 세트로 각각 변환하는 단계; 상기 3차원 특징 점들의 제1 세트와 상기 3차원 특징 점들의 제2 세트를 정렬시키는 관계를 결정하기 위해 상기 3차원 특징 점들의 제1 세트와 상기 3차원 특징 점들의 제2 세트 사이를 매칭시키는 단계; 및 로봇 암에 연관된 좌표계 내 수술 경로를 결정하는 단계를 포함한다.

Description

이미지 매칭에 기초하여 수술 경로를 결정하는 방법 및 시스템
본 출원은 2019년 3월 19일에 출원된 미국 가출원 제 62/820,804호의 우선의 이익을 주장하고, 그 내용은 전체로서 참조에 의해 이에 통합된다.
본 발명의 실시예들은 전반적으로 수술 경로 상의 하나 또는 그 이상의 점들을 결정하는 방법들 및 시스템들에 관한 것이다.
여기서 달리 지시되지 않는 한, 이 부분에서 설명되는 접근법들은 이 출원에 있어서의 청구항들에 대한 종래 기술은 아니고 또한 이 부분에 포함되는 것에 의해 종래 기술로서 인정되는 것도 아니다.
수술 시, 수술 경로(operation pathway)의 계획은 중요하다. 수술 경로는 안전 점 및 환자로부터 먼 수술 전 점, 환자 조직 상의 진입 점, 및 수술 목표에 있는 목표 점과 같은, 복수의 점들을 포함할 수 있다.
로봇 수술은 수술 경로의 정밀한 제어를 제공할 수 있다. 수술 전에, 환자는 의료용 스캔(예. CT, MRI, PET, 초음파 등)을 받는다. 원하는 해부학적 영역으로의 수술 경로가 계획된다. 인공 지능은 외과의사에게 최소한의 손상을 주는 최적의 경로들을 제안하도록 채용될 수 있다. 수술을 수행하기 위해, 환자의 위치는 계획된 수술 경로를 따라 수술이 정확하게 수행되도록 의료용 스캔의 관점에 매칭될 수 있다. 종래의 접근법들은 널리 채택되지 않았던, 기준 마크들에 접착 또는 나사고정하는 방식에 의존해 왔다.
도 1은 수술 중 직면할 수 있는 수 개의 점들 사이의 공간적 관계들을 보여주는 예시 도면이다.
도 2는 환자에 대한 수술 경로를 결정하기 위한 예시 프로세스를 보여주는 흐름도이다.
도 3은 수술 경로 계산의 일 예를 보여준다.
도 4a는 첫번째에 수집되는 환자에 연관된 2차원 이미지이다.
도 4b는 두번째에 수집되는 환자에 연관된 2차원 이미지이다.
도 5는 2차원 스냅샷의 이미지이다.
도 6은 2차원 얼굴 이미지의 이미지이다.
도 7은 구축된 3차원 모델 좌표계로부터 3차원 카메라 좌표계로의 예시 좌표 변환을 보여준다.
도 8은 좌표들을 변환하는 예시 프로세스를 보여주는 흐름도이다.
도 9는 본 개시의 일부 실시예들에 따라 모두 배치되는, 로봇 암 좌표계에 광학 장치를 등록하는 예시 프로세스를 보여주는 흐름도이다.
이하의 상세한 설명에서, 그 일부를 형성하는, 첨부한 도면들을 참조한다. 도면들에 있어서, 유사한 부호들은 통상 달리 기술하는 내용이 없는 한 유사한 구성요소들을 가리킨다. 상세한 설명에서 기술되는 예시적인 실시예들, 도면들, 및 청구항들은 한정하고자 하는 것은 아니다. 여기에 제시된 주제의 범위 또는 사상을 벗어나지 않으면서, 다른 실시예들이 이용될 수 있고, 또한 다른 변경들이 수행될 수 있다. 여기에 전반적으로 기술되고 또한 도면들에 도시되어 있는 바와 같이, 본 개시의 측면들은 매우 다양한 다른 구성들로 배치, 대체, 결합 및 설계될 수 있고, 이 모두는 여기서 명백하게 고려됨이 쉽게 이해될 것이다.
도 1은 본 개시의 일부 실시예들에 따라 배치되는, 수술 중 직면할 수 있는 수 개의 점들 사이의 공간적 관계들을 보여주는 예시 도면이다. 도 1에 있어서, 수술 경로(110)는 안전 점(safety point, 120), 수술 전 점(preoperative point, 130), 진입 점(entry point, 140), 및 목표 점(target point, 150)을 포함할 수 있다.
도 2는 본 개시의 일부 실시예들에 따라 배치되는, 환자에 대한 수술 경로를 결정하기 위한 예시 프로세스(200)를 보여주는 흐름도이다. 프로세스(200)는 하드웨어, 소프트웨어 및/또는 펌웨어에 의해 수행될 수 있는, 블록들(210, 220, 230, 240, 250, 260, 270, 280, 및/또는 290)에 의해 도시된 바와 같은 하나 또는 그 이상의 동작들, 기능들, 또는 행위들을 포함할 수 있다. 다양한 블록들은 설명되는 실시예들에 한정하고자 하는 것은 아니다. 개략적인 단계들 및 동작들은 단지 예들로서 제공될 뿐이고, 단계들 및 동작들 중 일부는 선택적일 수 있는데, 개시되는 실시예들의 요지로부터 벗어나지 않으면서 더 적은 수의 단계들 및 동작들로 조합되거나, 또는 추가적인 단계들 및 동작들로 확장될 수 있다. 블록들은 순차적인 순서로 도시되어 있지만, 이 블록들은 또한 병렬적으로, 및/또는 여기에 기술된 것과 다른 순서로 수행될 수 있다.
프로세스(200)는 블록(210) "의료용 이미지 스캔에 기초한 3D 모델 구축"에서 시작할 수 있다. 수술이 수행되기 전에, 일부 의료 영상 기술들이 환자 상태의 스냅샷을 캡쳐하기 위해 사용될 수 있는데, 이로써 수술 계획이 수립될 수 있다. 수술 계획은 상기에서 설명된 계획된 수술 경로를 포함할 수 있다. 예를 들어, 외과의사는 수술 목표의 의료용 이미지 스캔(예. CT 또는 MRI)을 지시할 수 있다. 이러한 의료용 이미지 스캔은 수술 며칠(예. 3 내지 5일) 전에 수행될 수 있다. 알려진 접근법들을 이용해 3차원 모델이 의료용 이미지 스캔 데이터에 기초하여 구축될 수 있다. 따라서, 계획된 수술 경로 상의 점들은 3차원 모델에서 확인될 수 있다.
일부 실시예들에 있어서, 인공 지능 엔진이 환자에게 최소한의 신체적 손상을 주는 하나 또는 그 이상의 계획된 수술 경로들을 외과의사에게 제안하도록 채용될 수 있다. 환자의 CT 또는 MRI 스캔에 기초하여, 인공 지능 엔진은 하나 또는 그 이상의 최적화된 계획된 수술 경로들을 제안할 수 있다. 도 3은 본 개시의 일부 실시예들에 따라 배치되는, 목표 점(320)에 도달하기 위해 계획된 수술 경로(310)를 계산하는 일 예를 보여준다. 계산은 표준 뇌-지도 데이터 변환, 및 뇌 영역들을 확인하기 위해 환자 의료용 스캔 이미지들에 이의 등록을 포함할 수 있다. 일부 예시적인 뇌 영역들은 운동 연합 영역(motor association area, 331), 표현 언어 영역(expressive speech area, 332), 상위 정신 기능 영역(higher mental functions area, 333), 운동 영역(motor area, 334), 감각 영역(sensory area, 335), 체성 감각 연합 영역(somatosensory association area, 336), 글로벌 언어 영역(global language area, 337), 시각 영역(vision area, 338), 수용 언어 영역(receptive speech area, 338), 수용 언어 영역(receptive speech area, 339), 연합 영역(association area, 341), 및 소뇌 영역(cerebellum area, 342)을 포함한다. 게다가, 시상하핵과 같은, 공통적인 목표 조직들은, 자동적으로 확인될 수 있다. 이에 더하여, 상기에서 설명된 각각의 뇌 영역은 목표 조직들에 하나 또는 그 이상의 계획된 수술 경로들을 제안하기 위해 인공 지능 엔진을 위한 비용 함수로 할당될 수 있다. 혈관들은 TOF(time-of-flight MRI) 데이터로부터 확인될 수 있다. 외측 뇌 경계 상의 점들은 진입 점에 대한 후보이다.
블록(210) 다음은 블록(220) "2D 스냅샷 생성"이 따를 수 있다. 일부 실시예들에 있어서 2차원 스냅샷은 블록(210)에서 구축된 3차원 모델에 기초하여 생성된다. 일부 실시예들에 있어서, 2차원 스냅샷은 환자의 3차원 모델의 전면도이다. 환자의 전면도는 적어도 환자의 일부 얼굴 특징들을 포함한다.
블록(220) 다음은 블록(230) "환자의 2D 얼굴 이미지를 획득하기 위한 로봇 암 구동"이 따를 수 있다. 일부 실시예들에 있어서, 적어도 2 개의 2차원 광학 장치들(예. 카메라들 및/또는 스캐너들)이 로봇 암 상에 고정된다. 다른 위치들로 로봇 암을 구동시키는 것에 의해, 2 개의 2차원 광학 장치들은 환자와 연관된 서로 다른 이미지들을 캡쳐할 수 있다. 일부 실시예들에 있어서, 2 개의 2차원 광학 장치들 각각은 환자에 연관된 2차원 이미지들을 수집하도록 구성된다. 일부 다른 실시예들에 있어서, 2 개의 2차원 광학 장치들은, 조합되어, 환자에 연관된 깊이 정보를 수집하도록 구성된다. 따라서, 적어도 2 개의 2차원 광학 장치들은 환자에 연관된 2차원 이미지들 또는 환자에 연관된 3차원 이미지들을 수집할 수 있다.
도 4a와 관련하여, 이미지(410)는 첫번째에 수집되는 환자와 연관된 2차원 이미지이다. 이미지(410)는 좌표(X, Y)를 갖는 이미지 중심(411)을 가진다. 인공 지능 엔진은 이미지(410)에서 환자를 확인(identify)하기 위해 채용될 수 있다. 일부 실시예들에 있어서, 인공 지능 엔진은 이미지(410) 내의 프레임(413) 안에서 환자를 확인할 수 있다. 이에 더하여, 인공 지능 엔진은 이미지(410) 내의 환자의 얼굴 중심 점(415)을 확인할 수 있다. 얼굴 중심 점(415)은 좌표(x, y)를 가질 수 있다. 일부 실시예들에 있어서, 로봇 암은 적어도 (X-x)의 제1 오프셋 및 (Y-y)의 제2 오프셋에 기초하여 구동된다.
예를 들어, 첫번째에서, 제1 오프셋 또는 제2 오프셋은 하나 또는 그 이상의 미리 결정된 임계치들보다 더 크고, 로봇 암은 제1 오프셋 및 제2 오프셋을 감소시키기 위해 다른 위치로 구동된다.
일부 실시예들에 있어서, 두번째에서 첫번째 업데이트된 위치로 구동된 로봇 암에 응답하여, 도 4b와 관련하여, 이미지(420)은 로봇 암 상의 2차원 광학 장치들에 의해 수집되는 환자에 연관된 2차원 이미지이다. 이미지(420)는 업데이트된 좌표(X, Y)를 갖는 이미지 중심(421)을 가진다. 인공 지능 엔진은 이미지(420)에서 환자를 확인하기 위해 채용될 수 있다. 일부 실시예들에 있어서, 인공 지능 엔진은 이미지(420) 내의 프레임(423) 안에서 환자를 확인할 수 있다. 이에 더하여, 인공 지능 엔진은 이미지(420) 내의 환자의 얼굴 중심 점(425)을 확인할 수 있다. 얼굴 중심 점(425)은 업데이트된 좌표(x, y)를 가질 수 있다. 일부 실시예들에 있어서, (X-x)의 제1 오프셋 및 (Y-y)의 제2 오프셋 둘 다는 하나 또는 그 이상의 미리 결정된 임계치들보다 작다.
일부 실시예들에 있어서, 세번째에서 첫번째 업데이트된 위치에서, 인공 지능 엔진은 적어도 3 개의 특징 점들(426, 427 및 428)을 확인하기 위해 채용될 수 있다. 2차원 광학 장치들은 환자에 연관된 깊이 정보를 수집하도록 구성된다. 깊이 정보는 특징 점들(426, 427 및 428)에 할당될 수 있는데, 이것들은 3차원 공간 내 제1 평면을 정의할 수 있다. 일부 실시예들에 있어서, 로봇 암은 네번째에서 두번째 업데이트된 위치로 회전하여 움직이도록 구동되어 로봇 암 상의 2차원 광학 장치들은 3차원 공간 내 제1 평면에 실질적으로 평행한 제2 평면 상에 있게 된다. 2차원 광학 장치들의 작동 변수들에 연관된 미리 결정된 범위 내 두번째 업데이트된 위치에서 이미지(420)의 평균 깊이에 응답하여, 이미지(420)는 환자의 2D 얼굴 이미지로서 획득되고 방법(200)은 블록(240)으로 진행한다.
블록(240) "2D 얼굴 이미지 및 2D 스냅샷에서 2D 특징 점들 선택"에서, 인공 지능 엔진은 블록(220)에서 생성된 2차원 스냅샷에서 2차원 특징 점들의 제1 세트를, 그리고 블록(230)에서 획득된 환자의 2차원 얼굴 이미지(예. 이미지(420))에서 2차원 특징 점들의 제2 세트를 선택하도록 채용될 수 있다.
도 5와 관련하여, 이미지(500)는 블록(220)에서 생성된 2차원 스냅샷이다. 일부 실시예들에 있어서, 인공 지능 엔진은 이 점들이 이미지(500) 내에서 확인되기 더 쉽기 때문에, 미간(glabella, 501), 우측 내안각점(right endocanthion, 502) 및 좌측 내안각점(left endocanthion, 503)을 확인하기 위해 채용될 수 있다. 하지만, 미간(501), 우측 내안각점(502) 및 좌측 내안각점(503)은 다양한 인종들에 있어서 동일한 2차원 평면 상에 있지 않을 수 있다. 주어진 이미지(500)가 2차원 스냅샷이면, 미간(501), 우측 내안각점(502) 및 좌측 내안각점(503)은 이미지(500) 상의 2차원 특징 점들에 적절하지 않을 수 있다. 그럼에도 불구하고, 해부학에 기초하여, 다양한 인종들의 얼굴들 상의 작은 영역(510)은 통계적으로 평면이다. 그러므로, 일부 실시예들에 있어서, 인공 지능 엔진은 이 영역(510)에서 교차하고 또한 미간(501), 우측 내안각점(502) 및 좌측 내안각점(503) 각각을 관통하는 3 개의 선들(520, 530 및 540)을 생성하기 위해 채용된다. 일부 실시예들에 있어서, 교차 점(511)은 2차원 특징 점으로서 선택된다. 이에 더하여, 일부 실시예들에 있어서, 선(530) 상의 영역(510) 내 점(512) 및 선(540) 상의 영역(510) 내 점(513) 또한 2차원 특징 점들로서 선택된다. 점들(511, 512 및 513)은 2차원 특징 점들의 제1 세트일 수 있다. 일부 실시예들에 있어서, 영역(510) 내 추가적인 2D 점들이 2차원 특징 점들의 제1 세트의 수를 증가시키기 위해 선택될 수 있다.
도 6과 관련하여, 이미지(600)는 블록(230)에서 획득된 2차원 얼굴 이미지이다. 일부 실시예들에 있어서, 인공 지능 엔진은 이 점들이 이미지(600) 내에서 확인되기 더 쉽기 때문에, 미간(glabella, 601), 우측 내안각점(right endocanthion, 602) 및 좌측 내안각점(left endocanthion, 603)을 확인하기 위해 채용될 수 있다. 하지만, 미간(601), 우측 내안각점(602) 및 좌측 내안각점(603)은 다양한 인종들에 있어서 동일한 2차원 평면 상에 있지 않을 수 있다. 주어진 이미지(600)가 2차원 얼굴 이미지라면, 미간(601), 우측 내안각점(602) 및 좌측 내안각점(603)은 이미지(600) 상의 2차원 특징 점들에 적절하지 않을 수 있다. 유사하게, 해부학에 기초하여, 다양한 인종들의 얼굴들 상의 작은 영역(610)은 통계적으로 평면이다. 그럼에도 불구하고, 일부 실시예들에 있어서, 인공 지능 엔진은 이 영역(110)에서 교차하고 또한 미간(601), 우측 내안각점(602) 및 좌측 내안각점(603) 각각을 관통하는 3 개의 선들(620, 630 및 640)을 생성하기 위해 채용된다. 일부 실시예들에 있어서, 교차 점(611)은 2차원 특징 점으로서 선택된다. 이에 더하여, 일부 실시예들에 있어서, 선(630) 상의 영역(610) 내 점(612) 및 선(640) 상의 영역(610) 내 점(613) 또한 2차원 특징 점들로서 선택된다. 점들(611, 612 및 613)은 2차원 특징 점들의 제2 세트일 수 있다. 일부 실시예들에 있어서, 영역(610) 내 추가적인 2D 점들이 2차원 특징 점들의 제2 세트의 수를 증가시키기 위해 선택될 수 있다.
블록(240) 다음은 블록(250) "2D 특징 점들의 제1 세트의 3D 특징 점들의 제1 세트로의 변환"이 따를 수 있다. 일부 실시예들에 있어서, 블록(250)에서, 2차원 특징 점들(예. 점들(511, 512 및 513)의 제1 세트는 3차원 특징 점들의 제1 세트로 변환된다. 상기에서 설명된 바와 같이, 2차원 특징 점들의 제1 세트는 구축된 3차원 모델에서 생성된 2차원 스냅샷에서 선택된다. 구축된 3차원 모델에서 2차원 스냅샷이 획득되는 알고리즘에 기초하여, 역산(reverse operation)이 2차원 스냅샷(예. 블록(220)에서 생성된 스냅샷) 상의 2차원 특징 점들의 제1 세트를 구축된 3차원 모델(블록(210)에서 생성된 3차원 모델) 내 3차원 특징 점들의 제1 세트로 변환하도록 수행될 수 있다. 일부 실시예들에 있어서, 3차원 특징 점들의 제1 세트는 ICP(iterative closest point) 알고리즘을 이용해 후속하는 매칭을 허용하는 제1 초기 3차원 좌표를 확인할 수 있다.
블록(250) 다음은 블록(260) "2D 특징 점들의 제2 세트의 3D 특징 점들의 제2 세트로의 변환"이 따를 수 있다. 일부 실시예들에 있어서, 블록(260)에서, 2차원 특징 점들(예. 점들(611, 612 및 613)의 제2 세트는 3차원 특징 점들의 제2 세트로 변환된다. 상기에서 설명된 바와 같이, 환자에 연관된 깊이 정보는 2차원 광학 장치들에 의해 수집될 수 있다. 일부 실시예들에 있어서, 깊이 정보는 2차원 특징 점들의 제2 세트를 3차원 특징 점들의 제2 세트로 변환하기 위해 2차원 특징 점들의 제2 세트에 부가될 수 있다. 일부 실시예들에 있어서, 3차원 특징 점들의 제2 세트는 ICP(iterative closest point) 알고리즘을 이용해 후속하는 매칭을 허용하는 제2 초기 3차원 좌표를 확인할 수 있다.
블록(260) 다음은 블록(270) "3차원 특징 점들의 제1 세트와 3차원 특징 점들의 제2 세트 사이의 이미지 매칭 수행"이 따를 수 있다. 일부 실시예들에 있어서, 3차원 특징 점들의 제1 세트와 3차원 특징 점들의 제2 세트는 3차원 특징 점들의 제1 세트와 3차원 특징 점들의 제2 세트를 정렬시키는 관계를 결정하기 위해, 종종 3차원 특징 점들의 2개의 세트들 사이의 차들을 최소화하기 위해 반복적으로 매칭된다.
명확함을 위해, 이하의 설명들은 본 개시의 다양한 실시예들을 설명하기 위해, 주로 2 개의 2차원 광학 장치들(예. 2 개의 2차원 카메라들) 및 2 개의 2차원 광학 장치들과 연관된 3차원 좌표계, 예를 들어 3차원 카메라 좌표계의 한정하지 않는 하나의 예를 사용한다.
블록(270) 다음은 블록(280) "좌표들 변환"이 따를 수 있다. 블록(280)에서, 구축된 3차원 모델 내 3차원 특징 점들의 제1 세트는 원 좌표계(즉, 3차원 모델 좌표계)로부터 2 개의 2차원 광학 장치들(즉, 3차원 카메라 좌표계)에 의해 획득된 이미지들의 좌표들로 변환된다. 변환은 ICP(iterative closest point)와 같은, 이미지 비교 접근법들에 기초할 수 있다. 블록(280)은 추가적인 좌표 변환들을 더 포함할 수 있는데 여기서 3차원 카메라 좌표계 상의 모든 점들은 로봇 암(즉, 로봇 암 좌표계)의 좌표들로 변환된다. 변환 좌표들의 상세사항들은 이하에서 더 설명될 것이다.
블록(280) 다음은 블록(290) "수술 경로 결정"이 따를 수 있다. 블록(290)에서, 3차원 모델 좌표계 내 계획된 수술 경로의 좌표들은 로봇 암 좌표계로 변환될 수 있다. 그러므로 로봇 암은 계획된 수술 경로 상에서 안전 점, 수술 전 점, 진입 점 및/또는 목표 점으로 움직일 수 있다.
일부 실시예들에 있어서, 예시 프로세스(200)는 이에 한정되지는 않지만, 뇌 수술, 신경계 수술, 내분비 수술, 안과 수술, 귀 수술, 호흡기 수술, 순환계 수술, 림프계 수술, 위장 수술, 구강 및 치과 수술, 비뇨기 수술, 생식기 수술, 뼈, 연골 및 관절 수술, 근육/연조직 수술, 유방 수술, 피부 수술 및 기타와 같은, 다양한 종류의 수술들에 적용될 수 있다.
요약하면, 적어도 2 개의 2차원 카메라들 또는 스캐너들이 환자의 얼굴 특징들을 획득하기 위해 사용될 수 있다. 얼굴 특징들은 그후 의료용 이미지 스캔과 연관된 3차원 모델의 2차원 스냅샷과 비교될 수 있다. 2차원 특징 점들의 제1 세트는 2차원 스냅샷에서 선택되고 또한 2차원 특징 점들의 제2 세트는 2차원 카메라들 또는 스캐너들에 의해 획득되는 2차원 환자 얼굴 이미지에서 각각 선택된다. 비교를 위해, 2차원 특징 점들의 제1 세트 및 2차원 특징 점들의 제2 세트는 3차원 모델 내 3차원 특징 점들의 제1 세트 및 3차원 특징 점들의 제2 세트로 각각 변환된다. 일부 실시예들에 있어서, 예시 프로세스(200)는, 뇌 수술, 신경계 수술, 내분비 수술, 안과 수술, 귀 수술, 호흡기 수술, 순환계 수술, 림프계 수술, 위장 수술, 구강 및 치과 수술, 비뇨기 수술, 생식기 수술, 뼈, 연골 및 관절 수술, 근육/연조직 수술, 유방 수술, 피부 수술 및 기타와 같은, 다양한 종류의 수술들에 적용될 수 있다.
도 7은 본 개시의 일부 실시예들에 따라, 구축된 3차원 모델 좌표계로부터 3차원 카메라 좌표계로의 예시 좌표 변환을 보여준다. 이 도면은 도 8과 관련하여 이하에서 더 설명될 것이다.
도 8은 본 개시의 일부 실시예들에 따라, 좌표들을 변환하는 예시 프로세스(800)를 보여주는 흐름도이다. 프로세스(800)는 하드웨어, 소프트웨어 및/또는 펌웨어에 의해 수행될 수 있는, 블록들(810, 820, 830, 및/또는 840)에 의해 도시된 바와 같은 하나 또는 그 이상의 동작들, 기능들, 또는 행위들을 포함할 수 있다. 다양한 블록들은 설명되는 실시예들에 한정하고자 하는 것은 아니다. 개략적인 단계들 및 동작들은 단지 예들로서 제공될 뿐이고, 단계들 및 동작들 중 일부는 선택적일 수 있는데, 개시되는 실시예들의 요지로부터 벗어나지 않으면서 더 적은 수의 단계들 및 동작들로 조합되거나, 또는 추가적인 단계들 및 동작들로 확장될 수 있다. 블록들은 순차적인 순서로 도시되어 있지만, 이 블록들은 또한 병렬적으로, 및/또는 여기에 기술된 것과 다른 순서로 수행될 수 있다.
도 7과 관련하여, 블록(810)에서, 초기 행렬이 획득된다. 일부 실시예들에 있어서, 제1 초기 행렬(TMRI) 및 제2 초기 행렬(Tcamera)이 획득된다. 일부 실시예들에 있어서,
여기서
VectorXx는 VectorX의 x 성분이고, VectorXy는 VectorX의 y 성분이고, VectorXz는 VectorX의 z 성분이다. 유사하게, Vectoryx는 Vectory의 x 성분이고, Vectoryy는 Vectory의 y 성분이고, Vectoryz는 Vectory의 z 성분이다. VectorZx는 VectorZ의 x 성분이고, VectorZy는 VectorZ의 y 성분이고, VectorZz는 VectorZ의 z 성분이다. P1X는 P1의 x 좌표이고, P1y는 P1의 y 좌표이고, P1z는 P1의 z 좌표이다.
일부 다른 실시예들에 있어서,
여기서
VectorX'x는 VectorX'의 x 성분이고, VectorX'y는 VectorX'의 y 성분이고, VectorX'z는 VectorX'의 z 성분이다. 유사하게, Vectory'x는 Vectory'의 x 성분이고, Vectory'y는 Vectory'의 y 성분이고, Vectory'z는 Vectory'의 z 성분이다. VectorZ'x는 VectorZ'의 x 성분이고, VectorZ'y는 VectorZ'의 y 성분이고, VectorZ'z는 VectorZ'의 z 성분이다. P1'X는 P1'의 x 좌표이고, P1'y는 P1'의 y 좌표이고, P1'z는 P1'의 z 좌표이다.
블록(810) 다음은 블록(820) "전환 행렬(conversion matrix) 획득"이 따를 수 있다. 일부 실시예들에 있어서, 전환 행렬은 일 수 있고 P1, P2 및 P3는 에 따라 3차원 카메라 좌표계로 변환된다. P1, P2, 및 P3가 P1transformed, P2transformed, 및 P3transformed로 각각 변환된다고 가정하면, P1transformed과 P1', P2transformed과 P2', 및 P3transformed과 P3' 사이의 차들과 연관된 거리 측정(distance metric)은 실행가능한 ICP 접근법들에 기초하여 계산된다.
블록(820) 다음은 블록(830)이 따를 수 있다. 블록(830)에서, 거리 측정의 변경이 임계치에 도달했는지 여부가 결정된다. 임계치에 도달되지 않으면, 블록(830)은 P1transformed, P2transformed, 및 P3transformed가 Tcamera를 업데이트하여 최종적으로 새로운 전환 행렬 을 획득하도록 선택되는, 블록(820)으로 다시 갈 수 있다. 임계치에 도달되면, 블록(830) 다음은 블록(840)이 따를 수 있다.
블록(840)에서, 변환 행렬은 3차원 카메라 좌표계로부터 로봇 암 좌표계로 점들을 변환하기 위해 획득된다. 일부 실시예들에 있어서, 변환 행렬
(5)
여기서
는 로봇 암 좌표계에서 카메라 중심(예. 카메라 좌표계의 원점)과 연관된 회전 벡터이고;
kx는 의 x 성분이고, ky는 의 y 성분이고, kz는의 z 성분이고; Pcx는 로봇 암 좌표계에서 카메라 중심의 x 좌표이고, Pcy는 카메라 중심의 y 좌표이고, Pcz는 카메라 중심의 z 성분이다. 일부 실시예들에 있어서, 로봇 암 좌표계에서 카메라 중심을 등록하기 위한 예시 접근법들은 도 9와 관련하여 이하에서 더 설명될 것이다.
변환 행렬에 따르면, 3차원 모델 좌표계 내 수술 경로 상의 점들은 로봇 암 좌표계로 변환될 수 있다. 그러므로, 로봇 암은 수술 경로 상의 하나 또는 그 이상의 점들로 움직일 수 있다.
일부 실시예들에 있어서, 도 9는 로봇 암 좌표계에 광학 장치(예, 카메라)를 등록하는 예시 프로세스(900)를 보여주는 흐름도이다. 일부 실시예들에 있어서, 광학 장치는 로봇 암의 플랜지에 장착될 수 있다. 상기에서 설명된 바와 같이 kx, ky, kz, Pcx, Pcy, 및 Pcz로 로봇 암 좌표계 내 광학 장치를 기술하기 위해, 광학 장치와 연관된 점(예, 카메라 좌표계의 원점)은 먼저 프로세스(900)에 따라 로봇 암 좌표계에 등록될 수 있다. 프로세스(900)은 하드웨어, 소프트웨어 및/또는 펌웨어에 의해 수행될 수 있는, 블록들(910, 920, 930, 및/또는 940)에 의해 도시된 바와 같은 하나 또는 그 이상의 동작들, 기능들, 또는 행위들을 포함할 수 있다. 다양한 블록들은 설명되는 실시예들에 한정하고자 하는 것은 아니다. 개략적인 단계들 및 동작들은 단지 예들로서 제공될 뿐이고, 단계들 및 동작들 중 일부는 선택적일 수 있는데, 개시되는 실시예들의 요지로부터 벗어나지 않으면서 더 적은 수의 단계들 및 동작들로 조합되거나, 또는 추가적인 단계들 및 동작들로 확장될 수 있다. 블록들은 순차적인 순서로 도시되어 있지만, 이 블록들은 또한 병렬적으로, 및/또는 여기에 기술된 것과 다른 순서로 수행될 수 있다.
프로세스(900)은 블록(910)으로 시작될 수 있다. 블록(910)에서, 로봇 암은 시작 위치로 움직이도록 구성된다. 일부 실시예들에 있어서, 시작 위치는 로봇 암의 기준 점(예, 로봇 암 베이스)에 인접하고 이를 향한다. 일부 실시예들에 있어서, 시작 위치에서, 광학 장치는 로봇 암의 기준 점의 하나 또는 이상의 이미지들을 캡쳐하도록 구성된다. 캡쳐된 이미지들은 광학 장치의 한 점과 로봇 암의 기준 점 사이의 공간적 관계들과 연관된다.
블록(910) 다음은 블록(920)이 따를 수 있다. 블록(920)에서, 로봇 암의 기준 점의 메쉬(mesh)는 캡쳐된 이미지들에 기초하여 획득된다.
블록(920) 다음은 블록(930)이 따를 수 있다. 블록(930)에서, 로봇 암의 기준 점의 3차원 모델은 로봇 암의 소정의 물리적 정보에 기초하여 구축된다. 일부 실시예들에 있어서, 물리적 정보는 로봇 암의 요소들의 치수, 지향성 및/또는 기하학적 특징들을 포함할 수 있다.
블록(930) 다음은 블록(940)이 따를 수 있다. 블록(940)에서, 획득된 메쉬 및 구축된 3차원 모델이 매칭된다. 기술적으로 실행가능한 접근법들이 매칭을 위해 이용될 수 있고, 예를 들어 주어진 수렴 정밀도(convergence precision)를 만족시키기 위해 ICP(iterative closest points) 접근법이 획득된 메쉬의 점들과 구축된 3차원 모델의 점들을 매칭시키는 데 이용될 수 있다. 주어진 수렴 정밀도가 만족되는 것에 응답하여, 광학 장치의 점과 로봇 암의 기준 점 사이의 공간적 관계들이 계산될 수 있다. 게산에 기초하여, 카메라의 점은 로봇 암 좌표계에 등록되고 또한 변환될 수 있다.
상기의 상세한 설명은 블록도들, 흐름도들, 및/또는 예들을 통해 장치들 및 프로세스들의 다양한 실시예들을 기술한다. 이러한 블록도들, 흐름도들, 및/또는 예들이 하나 또는 그 이상의 기능들 및/또는 동작들을 포함하는 한, 당업자라면 이러한 블록도들, 흐름도들, 또는 예들 내에서의 각각의 기능 및/또는 동작이 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 가상으로, 개별적으로 및/또는 총체적으로 구현될 수 있음이 이해할 것이다. 일부 실시예들에 있어서, 여기에 설명된 주제의 일부 부분들은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(digital signal processor), 또는 다른 통합된 형식들에 의해 구현될 수 있다. 하지만, 당업자라면 여기에 개시된 실시예들의 일부 측면들은, 전체로 또는 부분적으로, 집적 회로들에, 하나 또는 그 이상의 컴퓨터들에서 실행되는 하나 또는 그 이상의 컴퓨터 프로그램들로서(예. 하나 또는 그 이상의 컴퓨터 시스템들에서 실행되는 하나 또는 그 이상의 프로그램들로서), 하나 또는 그 이상의 프로세서들에서 실행되는 하나 또는 그 이상의 프로그램들로서(예. 하나 또는 그 이상의 마이크로프로세서들에서 실행되는 하나 또는 그 이상의 프로그램들로서), 펌웨어로서, 또는 이들의 조합으로 가상으로서, 균등하게 구현될 수 있고, 또한 회로를 설계하거나 및/또는 소프트웨어 및/또는 펌웨어를 위한 코드를 작성하는 것은 본 개시에 비추어 볼 때 당업자의 기술 범위 내에 있을 것임을 인식할 것이다. 이에 더하여, 당업자라면 여기에 설명된 주제의 메카니즘들이 다양한 형태로 프로그램 제품으로서 배포될 수 있고, 또한 여기에 설명된 주제의 예시적인 실시예는 실제로 배포를 수행하는 데 이용되는 특정 종류의 신호 보유 매체에 상관없이 적용됨을 이해할 것이다. 신호 보유 매체의 예들은, 이에 한정되지 않지만, 이하의, 플로피 디스크, 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Versatile Disk), 디지털 테이프, 컴퓨터 메모리 등과 같은 기록가능형 매체를 포함할 수 있다.
상기로부터, 본 개시의 다양한 실시예들이 설명을 목적으로 여기에 기술되었고 다양한 변형들이 본 개시의 범위 및 사상으로부터 벗어나지 않으면서 수행될 수 있음이 이해될 것이다. 이에 따라, 여기에 개시된 다양한 실시예들은 한정하고자 하는 것이 아니다.

Claims (19)

  1. 프로세서에 의한 실행에 응답하여, 상기 프로세서가 환자에 대한 수술 경로를 결정하는 방법을 수행하도록 야기시키는 명령들의 세트를 포함하는 비-일시적 컴퓨터-판독가능 저장 매체에 있어서, 상기 방법은
    환자의 의료용 이미지 스캔에 기초하여 3차원 모델을 구축하는 단계;
    2차원 광학 장치들의 세트로 환자의 이미지 정보를 획득하는 단계;
    3차원 모델에 연관된 2차원 특징 점들의 제1 세트를 선택하는 단계;
    상기 환자의 이미지 정보에 연관된 2차원 특징 점들의 제2 세트를 선택하는 단계;
    상기 2차원 특징 점들의 제1 세트를 3차원 특징 점들의 제1 세트로 변환하는 단계;
    상기 2차원 특징 점들의 제2 세트를 3차원 특징 점들의 제2 세트로 변환하는 단계;
    상기 3차원 특징 점들의 제1 세트와 상기 3차원 특징 점들의 제2 세트를 정렬시키는 관계를 결정하기 위해 상기 3차원 특징 점들의 제1 세트와 상기 3차원 특징 점들의 제2 세트 사이를 매칭시키는 단계;
    상기 관계에 기초하여 상기 3차원 모델에 연관된 제1 좌표계로부터 상기 2차원 광학 장치들의 세트에 연관된 제2 좌표계로 좌표들을 변환하는 단계; 및
    상기 제2 좌표계 내 변환된 좌표들에 기초하여 로봇 암에 연관된 제3 좌표계 내 수술 경로를 결정하는 단계를 포함하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  2. 제 1 항에 있어서, 상기 방법은
    상기 3차원 모델의 2차원 스냅샷을 생성하는 단계; 및
    상기 스냅샷 내에서 상기 2차원 특징 점들의 제1 세트를 선택하는 단계를 더 포함하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  3. 제 2 항에 있어서, 상기 2차원 특징 점들의 제1 세트를 3차원 특징 점들의 제1 세트로 변환하는 단계는 상기 스냅샷에 연관된 역산에 기초하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  4. 제 1 항에 있어서, 상기 환자의 이미지 정보는 환자의 2차원 이미지 정보 및 환자에 연관된 깊이 정보를 포함하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  5. 제 4 항에 있어서, 상기 2차원 특징 점들의 제2 세트는 상기 환자의 2차원 이미지 정보에서 선택되는, 비-일시적 컴퓨터-판독가능 저장 매체.
  6. 제 5 항에 있어서, 상기 2차원 특징 점들의 제2 세트를 상기 3차원 특징 점들의 제2 세트로 변환하는 단계는 상기 깊이 정보에 기초하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  7. 환자에 대한 수술 경로를 결정하는 시스템에 있어서,
    프로세서; 및
    상기 프로세서에 의해 실행될 때, 상기 프로세서가
    환자의 의료용 이미지 스캔에 기초하여 3차원 모델을 구축하고;
    2차원 광학 장치들의 세트로 환자의 이미지 정보를 획득하고;
    3차원 모델에 연관된 2차원 특징 점들의 제1 세트를 선택하고;
    상기 환자의 이미지 정보에 연관된 2차원 특징 점들의 제2 세트를 선택하고;
    상기 2차원 특징 점들의 제1 세트를 3차원 특징 점들의 제1 세트로 변환하고;
    상기 2차원 특징 점들의 제2 세트를 3차원 특징 점들의 제2 세트로 변환하고;
    상기 3차원 특징 점들의 제1 세트와 상기 3차원 특징 점들의 제2 세트를 정렬시키는 관계를 결정하기 위해 상기 3차원 특징 점들의 제1 세트와 상기 3차원 특징 점들의 제2 세트 사이를 매칭시키고;
    상기 관계에 기초하여 상기 3차원 모델에 연관된 제1 좌표계로부터 상기 2차원 광학 장치들의 세트에 연관된 제2 좌표계로 좌표들을 변환하고; 또한
    상기 제2 좌표계 내 변환된 좌표들에 기초하여 로봇 암에 연관된 제3 좌표계 내 수술 경로를 결정하도록 야기시키는 프로그램 코드가 저장되어 있는 비-일시적 컴퓨터-판독가능 저장 매체를 포함하는, 시스템.
  8. 제 7 항에 있어서, 상기 프로그램 코드는 나아가 상기 프로세서에 의해 실행될 때, 상기 프로세서가 상기 3차원 모델의 2차원 스냅샷을 생성하고 또한 상기 스냅샷 내에서 상기 2차원 특징 점들의 제1 세트를 선택하도록 야기시키는, 시스템.
  9. 제 8 항에 있어서, 상기 2차원 특징 점들의 제1 세트를 3차원 특징 점들의 제1 세트로 변환하는 것은 상기 스냅샷에 연관된 역산에 기초하는, 시스템.
  10. 제 7 항에 있어서, 상기 환자의 이미지 정보는 환자의 2차원 이미지 정보 및 환자에 연관된 깊이 정보를 포함하는, 시스템.
  11. 제 10 항에 있어서, 상기 2차원 특징 점들의 제2 세트는 상기 환자의 2차원 이미지 정보에서 선택되는, 시스템.
  12. 제 11 항에 있어서, 상기 2차원 특징 점들의 제2 세트를 상기 3차원 특징 점들의 제2 세트로 변환하는 것은 상기 깊이 정보에 기초하는, 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020217031085A 2019-03-19 2020-03-19 이미지 매칭에 기초하여 수술 경로를 결정하는 방법 및 시스템 KR102593794B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962820804P 2019-03-19 2019-03-19
US62/820,804 2019-03-19
PCT/CN2020/080194 WO2020187289A1 (en) 2019-03-19 2020-03-19 Method and system of determining operation pathway based on image matching

Publications (2)

Publication Number Publication Date
KR20220002877A KR20220002877A (ko) 2022-01-07
KR102593794B1 true KR102593794B1 (ko) 2023-10-26

Family

ID=72518992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217031085A KR102593794B1 (ko) 2019-03-19 2020-03-19 이미지 매칭에 기초하여 수술 경로를 결정하는 방법 및 시스템

Country Status (8)

Country Link
US (1) US20220175454A1 (ko)
EP (1) EP3941379A4 (ko)
JP (1) JP7397092B2 (ko)
KR (1) KR102593794B1 (ko)
CN (1) CN113597288B (ko)
CA (1) CA3134069C (ko)
TW (1) TWI766253B (ko)
WO (1) WO2020187289A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090177081A1 (en) 2005-01-13 2009-07-09 Mazor Surgical Technologies, Ltd. Image guided robotic system for keyhole neurosurgery
US20160157938A1 (en) 2013-08-23 2016-06-09 Stryker Leibinger Gmbh & Co. Kg Computer-Implemented Technique For Determining A Coordinate Transformation For Surgical Navigation
US20170053437A1 (en) 2016-06-06 2017-02-23 Jian Ye Method and apparatus for positioning navigation in a human body by means of augmented reality based upon a real-time feedback
WO2018223925A1 (en) 2017-06-04 2018-12-13 Chen Chieh Hsiao Method and system of determining one or more points on operation pathway

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2014194167A1 (en) * 2013-05-31 2014-12-04 University Of Washington Through Its Center For Commercialization Surgery pathway guidance and boundary system
JP6305250B2 (ja) * 2014-04-04 2018-04-04 株式会社東芝 画像処理装置、治療システム及び画像処理方法
CN104083217B (zh) * 2014-07-03 2016-08-17 北京天智航医疗科技股份有限公司 一种手术定位装置以及机器人手术系统
TWI605795B (zh) * 2014-08-19 2017-11-21 鈦隼生物科技股份有限公司 判定手術部位中探針位置之方法與系統
WO2016192671A1 (en) 2015-06-05 2016-12-08 Chen Chieh Hsiao Intra operative tracking method
CN107468350B (zh) * 2016-06-08 2020-12-08 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位系统及定位方法
EP3375399B1 (en) * 2016-10-05 2022-05-25 NuVasive, Inc. Surgical navigation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090177081A1 (en) 2005-01-13 2009-07-09 Mazor Surgical Technologies, Ltd. Image guided robotic system for keyhole neurosurgery
US20160157938A1 (en) 2013-08-23 2016-06-09 Stryker Leibinger Gmbh & Co. Kg Computer-Implemented Technique For Determining A Coordinate Transformation For Surgical Navigation
US20170053437A1 (en) 2016-06-06 2017-02-23 Jian Ye Method and apparatus for positioning navigation in a human body by means of augmented reality based upon a real-time feedback
WO2018223925A1 (en) 2017-06-04 2018-12-13 Chen Chieh Hsiao Method and system of determining one or more points on operation pathway

Also Published As

Publication number Publication date
CN113597288B (zh) 2024-03-01
TW202040586A (zh) 2020-11-01
CN113597288A (zh) 2021-11-02
JP2022525666A (ja) 2022-05-18
TWI766253B (zh) 2022-06-01
JP7397092B2 (ja) 2023-12-12
KR20220002877A (ko) 2022-01-07
US20220175454A1 (en) 2022-06-09
EP3941379A4 (en) 2023-01-11
EP3941379A1 (en) 2022-01-26
CA3134069C (en) 2023-11-14
WO2020187289A1 (en) 2020-09-24
CA3134069A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US10789739B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
TWI595437B (zh) 術中追蹤方法
KR102493021B1 (ko) 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템
US20190350658A1 (en) Systems and methods for performing intraoperative image registration
US11666387B2 (en) System and methods for automatic muscle movement detection
KR102593794B1 (ko) 이미지 매칭에 기초하여 수술 경로를 결정하는 방법 및 시스템
US20150348311A1 (en) Method and apparatus for determining a surface topography of a body in a coordinate system fixed in space and/or fixed on the body

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right