KR102493021B1 - 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템 - Google Patents

수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템 Download PDF

Info

Publication number
KR102493021B1
KR102493021B1 KR1020197032183A KR20197032183A KR102493021B1 KR 102493021 B1 KR102493021 B1 KR 102493021B1 KR 1020197032183 A KR1020197032183 A KR 1020197032183A KR 20197032183 A KR20197032183 A KR 20197032183A KR 102493021 B1 KR102493021 B1 KR 102493021B1
Authority
KR
South Korea
Prior art keywords
surgery
coordinate system
points
surgical
camera
Prior art date
Application number
KR1020197032183A
Other languages
English (en)
Other versions
KR20200016833A (ko
Inventor
치 시아오 첸
쿠안 주 왕
Original Assignee
브레인 나비 바이오테크놀러지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브레인 나비 바이오테크놀러지 씨오., 엘티디. filed Critical 브레인 나비 바이오테크놀러지 씨오., 엘티디.
Publication of KR20200016833A publication Critical patent/KR20200016833A/ko
Application granted granted Critical
Publication of KR102493021B1 publication Critical patent/KR102493021B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Abstract

본 발명의 구체적인 실시예는 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 방법을 개시한다. 상기 방법은 환자의 의학 영상 스캐닝에 기초하여 3차원 모델을 구축하는 단계; 상기 3차원 모델에 근거하여 수술 경로를 기획하는 단계; 3차원 광학 장치가 획득한 상기 환자의 영상 정보를 캡쳐하는 단계; 상기 3차원 모델 중에서 제1 그룹 포지션 표기점을 선택하는 단계; 상기 캡쳐한 영상 정보 중에서 제2 그룹 포지션 표기점을 선택하는 단계; 상기 제1 그룹 포지션 표기점과 상기 제2 그룹 포지션 표기점을 매칭시키는 단계; 상기 매칭 결과에 근거하여, 좌표를 3차원 모델 좌표계로부터 3차원 광학 장치 좌표계로 전환시키는 단계; 및 로봇팔 좌표계에서, 상기 로봇팔을 상기 수술 경로 상의 상기 하나 또는 다수의 포인트로 구동하는 단계를 포함한다.

Description

수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템
본 출원은 2017년 6월 4일에 출원한 미국 특허 가출원 제62/514,951호, 2018년 1월 2일에 출원한 미국 특허 가출원 제62/612,728호 및 2018년 1월 16일에 출원한 미국 특허 가출원 제62/618,053호에 대한 권리를 주장하며, 그 전체 내용을 참고 방식으로 본 출원에 원용한다.
본 발명의 구체적인 실시예는 일반적으로 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템에 관한 것이다.
본 명세서에서 특별히 설명하지 않는 한, 본 배경기술에서 설명하는 방법은 본 출원의 특허청구범위에 대하여 선행 기술이 아니며, 본 배경기술에 포함되며 선행 기술로 인정되지 않는다.
수술 중, 수술 경로를 기획하는 것은 지극히 중요하다. 상기 수술 경로는 다수의 포인트, 예를 들면 당해 환자와 거리를 가지는 안전 포인트와 수술전 포인트, 환자 조직 상의 진입 포인트와 상기 수술의 상기 목표 위치의 목표 포인트 등을 포함할 수 있다.
로봇 수술은 상기 수술 경로를 정확히 제어할 수 있다. 상기 수술 전, 환자는 의학 스캐닝(예컨대 컴퓨터 단층 촬영(Computed tomography, CT) 또는 자기공명영상(MRI, Magnetic Resonance Imaging))을 받는다. 상기 필요한 해부 영역으로의 상기 수술 경로는 기획을 거친다. 인공 지능을 통해 당해 외과 의사에게 최소 손상의 최적의 경로를 제안할 수 있다. 상기 수술을 진행하기 위하여 상기 환자의 상기 위치와 상기 의료 스캐닝의 상기 투시도를 매칭시켜, 상기 기획된 수술 경로에 따라 정확하게 상기 수술을 진행할 수 있다. 관용적인 방법은 기준 마크(fiducial marks)를 부착하거나 회전 삽입시키는데, 이는 적응 문제가 존재한다.
도 1은 수술 중 봉착할 수 있는 몇 개 포인트 사이의 공간 관계를 나타내는 예시도이며;
도 2는 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 예시적 프로그램을 예시하는 흐름도이며;
도 3은 상기 수술 경로의 연산의 예시를 예시하며;
도 4a 및 도 4b는 의학 영상 스캐닝을 통해 획득한 정보를 처리하는 영상 처리를 예시하며;
도 5a 및 도 5b는 주요(key) 특징을 선택하여 포지션 표기점을 식별하는 얼굴 인식 방법을 예시하며;
도 6은 구축한 3차원 모델 좌표계로부터 3차원 카메라 좌표계로의 좌표 전환을 예시한다.
도 7은 좌표를 전환시키는 예시적 프로그램을 예시하는 흐름도이며;
도 8은 로봇팔 좌표계에서 광학 장치를 기록하는 예시적 프로그램을 예시하는 흐름도이며;
도 9는 로봇팔을 수술 경로 상의 초기 포인트로부터 안전 포인트로 이동시키는 예시적 프로그램을 예시하는 흐름도이며;
도 10은 로봇팔 좌표계에서 로봇팔 플랜지에 부착한 외과 도구를 기록한 시스템을 나타내는 예시도이며;
도 11 및 도 12는 상기 시스템의 제1 카메라와 제2 카메라가 캡쳐하여 로봇팔 좌표계에서 로봇팔 플랜지에 부착된 외과 도구를 기록하기 위한 예시적 영상을 예시하며, 이는 모두 본 발명에 개시된 내용 중의 일부 구체적인 실시예에 따라 설정된다.
아래 실시형태에서는, 그 일부를 구성하는 도면을 참조한다. 이들 도면 중, 본 명세서에서 따로 설명하지 않는 한 유사한 부호는 통상 유사한 컴포넌트로 식별한다. 실시형태, 도면 및 여러 청구항에서 설명한 예시적인 실시예들은 제한하려는 목적이 아니다. 본 명세서에 나타낸 사상 또는 범주를 벗어나지 않는 범위에서 기타 구체적인 실시예를 이용할 수도 있고, 또 기타 변화를 줄 수도 있다. 쉽게 이해할 수 있는 바, 본 명세서의 일반적인 설명 및 이들 도면에 예시한 본 발명에 개시된 내용 중 형태는 광범하고도 다양한 서로 다른 구성으로 설정, 대체, 조합 및 설계를 진행할 수 있으며, 이들은 모두 본 명세서에서 명확히 구상된 바이다.
도 1은 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라 설정한 수술 중 직면할 수 있는 몇 개 포인트 사이의 공간 관계를 나타내는 예시도이다. 도 1에서, 수술 경로(110)는 안전 포인트(120), 수술 전 포인트(130), 진입 포인트(140) 및 목표 포인트(150)를 포함할 수 있다.
도 2는 로봇팔을 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라 설정한 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 예시적 프로그램(200)을 예시하는 흐름도이다. 프로그램(200)은 예컨대 하드웨어, 소프트웨어 및/또는 펌웨어를 통하여 진행하는 블록(210, 220, 230, 240, 250, 260, 270 및/또는 280)에 예시된 하나 또는 다수의 조작, 기능 또는 동작을 포함할 수 있다. 이들 각종 블록은 여기서 설명되는 구체적인 실시예에 한정되는 것은 아니다. 간략하게 설명된 이들 단계와 조작은 예시로 제공할 뿐, 일부 단계와 조작은 수요에 따라, 여기서 개시된 구체적인 실시예의 본질을 흐리지 않으면서, 비교적 적은 단계와 조작으로 조합되거나, 또는 부가적인 단계와 조작으로 확대될 수 있다. 이들 블록들은 서열 순서로 예시되었지만, 이 블록들을 병행 및/또는 본 명세서에서 설명된 내용과 서로 다른 순서로 진행할 수도 있다.
프로그램(200)은 블록(210)인 "의학 영상 스캐닝에 기초하여 3차원 모델을 구축"으로부터 시작될 수 있다. 수술을 진행하기 전, 일부 의학 결상 기술을 사용하여 환자 상태의 스냅 사진을 캡쳐하여, 수술 기획을 정할 수 있다. 상기 수술 기획은 상술한 바와 같은 기획을 거친 수술 경로를 포함할 수 있다. 예를 들면, 상기 외과의사는 상기 수술 목표의 의학 영상 스캐닝(예컨대 CT 또는 MRI)을 부탁할 수 있다. 이러한 의학 영상 스캐닝은 상기 수술을 진행하기 며칠 전(예컨대 3일 내지 5일)에 진행될 수 있다. 일부 종래 방법을 사용하여 상기 의학 영상 스캐닝 데이터에 기초하여 3차원 모델을 구축할 수 있다. 이에 따라, 상기 기획을 거친 수술 경로 상의 포인트는 상기 3차원 모델에서 식별할 수 있다.
블록(210)에 이어서 블록(220)인 "스마트 수술 경로 기획 진행"이 수행될 수 있다. 일부 구체적인 실시예에서, 인공지능 엔진을 사용하여, 상기 환자에 대한 신체 손상이 제일 작은 하나 또는 다수의 경로를 상기 외과의사에게 제안할 수 있다. 상기 환자의 CT 또는 MRI 스캐닝에 근거하여, 상기 인공지능 엔진은 한 가지 또는 여러 가지 최적의 수술 경로를 제안할 수 있다. 도 3은 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라 설정한 목표 포인트(320)에 도달하는 수술 경로(310)의 연산 예를 예시한다. 상기 연산은 표준 뇌 지도 데이터를 전환하여 이를 상기 환자의 의학 스캐닝 영상에 기록하여 상기 뇌 영역을 식별하는 것을 포함할 수 있다. 일부 예시적 뇌 영역은 운동 연합 영역(331), 언어 구사 영역(332), 비교적 높은 정신 기능 영역(333), 운동 영역(334), 감각 영역(335), 체감 연합 영역(336), 글로벌 언어 영역(337), 시각 영역(338), 언어 수용 영역(339), 연합 영역(341) 및 소뇌 영역(342)을 포함한다. 그리고 자동으로 통상의 목표 조직(예컨대 시상하핵)을 식별할 수 있다. 또한, 상술한 각 뇌 영역은 모두 비용 함수를 지정하여, 상기 인공지능 엔진이 상기 목표 조직 도달을 위한 하나 또는 여러 갈래의 경로를 제안하도록 할 수 있다. 이들 혈관은 상기 타임　오브 플라이트(Time-of-flight MRI, TOF) 데이터로부터 식별할 수 있다. 상기 외층 뇌 경계 상의 포인트는 진입 포인트 후보이다.
도 4a 및 도 4b는 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라 설정된 의학 영상 스캐닝을 통해 획득한 정보를 처리하는 영상 처리를 예시한다. 도 4a 및 도 4b를 결합하여 살펴보면, 본 발명에 개시된 내용 중 일부 구체적인 실시예는, 블록(220)에 이어서 블록(230)인 "의학 영상 스캐닝을 통해 획득한 정보 처리"가 수행될 수 있다. 3차원 광학 장치로부터 캡쳐한 영상에서 획득한 포인트는 상기 환자의 외관 정보에만 관련되며, 상기 환자의 피하 정보와는 무관하다. 그러나 의학 영상 스캐닝을 통해 획득한 영상은 통상 상기 외관 및 상기 피하 정보와 모두 관련된다. 영상 처리를 진행하여 상기 의학 영상 스캐닝으로부터 이 피하 정보를 제거한다. 따라서, 블록(260)에서, 상기 3차원 광학 장치가 획득한 외관 포인트와 상기 의학 영상 스캐닝을 통해 획득한 외관 포인트는 3차원 매칭에 사용된다.
도 4a를 살펴보면, 일부 구체적인 실시예에서, 상기 수술 목표가 상기 환자의 머리 안에 있다고 가정하면, 이진법 영상(410)은 상기 환자의 머리로부터 발가락까지의 축방향을 따라 최초 MRI 영상으로부터 도출할 수 있다. 영역(411)은 상기 환자의 두개골로서, 상기 최초 MRI 영상에서 일반적으로 백색으로 표시된다. 영역(411)의 외층 주변(412)은 환자의 외관과 관련되는 환자의 피부를 지칭할 수 있다. 임계치 설정 방법을 이용하여, 상기 두개골 외부(올 블랙)의 영역(413)과 상기 두개골 내부의 영역(415)을 포함하는 영상(410)을 형성할 수 있다. 영상(410)은 추가 처리를 진행하여 영상(420)을 형성할 수 있다. 영상(420) 중, 영역(413)은 흑색 및 백색과 구분되도록 그레이스케일을 지정하여 영역(423)을 형성한다.
도 4b에서, 영상(420)은 추가 처리를 진행하여 영상(430)을 형성할 수 있다. 영상(430) 중, 영역(413)의 그레이스케일 이외의 영역은 흑색으로 지정되어 영역(431)을 형성한다. 영상(430) 중의 영역(423)은 이어서 백색으로 지정되어 영상(440)을 형성할 수 있다. 일부 구체적인 실시예에서, 영상(440) 주변(441)을 따라 포인트를 선택하여, 블록(240)으로부터의 상기 3차원 광학 장치가 촬영한 영상의 포인트에 매칭되도록 제공할 수 있다.
블록(230)에 이어서 블록(240)인 "3차원 광학 장치가 촬영한 환자의 영상 캡쳐"가 수행될 수 있다. 이 "3차원 광학 장치"는 일반적으로 깊이 감지 기술을 사용하는 카메라 또는 스캐너를 지칭할 수 있다. 일부 구체적인 실시예에서, 상기 3차원 광학 장치는, 적어도 2대의 2차원 카메라를 포함할 수 있으나 이에 한정되는 것은 아니다. 일부 기타 구체적인 실시예에서, 상기 3차원 광학 장치는 3차원 깊이 감지 모듈과 2차원 카메라 모듈을 포함할 수 있으나 이에 한정되는 것은 아니다. 일부 구체적인 실시예에서, 상기 3차원 스캐너는 스캔 대상 물체 표면에 기하학적 샘플의 포인트 클라우드를 구축하도록 구성된다. 이들 포인트는 상기 물체의 형상 추정에 사용될 수 있다. 일부 구체적인 실시예에서, 상기 3차원 스캐너는 구강 스캐너일 수 있다.
일부 구체적인 실시예에서, 전통적인 2차원 광학 장치로 획득한 정보 외에, 상기 3차원 광학 장치는 상기 환자의 상기 깊이 정보를 캡쳐할 수 있다. 일부 구체적인 실시예에서, 상기 3차원 광학 장치는 수술실에서 환자의 몸에 외과 절개를 진행하기 전에 즉시 상기 환자의 영상을 촬영하도록 구성될 수 있다. 상기 3차원 광학 장치는 상기 수술실 내의 고정식 장치(예컨대 로봇팔, 수술용 트롤리)에 고정할 수 있다.
블록(240)에 이어서 블록(250)인 "포지션 표기점 선택"이 수행될 수 있다. 일부 구체적인 실시예에서, 블록(210)에서 구축한 상기 3차원 모델과 블록(240)에서 캡쳐한 상기 영상으로부터 하나 또는 다수의 포지션 표기점을 선택할 수 있다. 일부 구체적인 실시예에서, 강렬한 특징을 가지는 3개 또는 다수의 포지션 표기점을 선택한다. 포지션 표기점의 예시는 두 눈 사이, 코끝 또는 입 부분을 포함할 수 있다. 일부 구체적인 실시예에서, 3개 포지션 표기점은 반복 최근점(Iterative closest point, ICP) 알고리즘을 사용하여 후속 매칭을 허용하는 초기 3차원 좌표를 식별할 수 있다. 일부 구체적인 실시예에서, 상기 포지션 표기점은 3차원 광학 장치 스캐닝과 상기 CT/MRI 자료 중에서 모두 동일한 순서(예를 들어: 1. 코끝, 2. 왼쪽 눈, 3. 오른쪽 눈)를 가질 수 있다.
명백하게 표시하기 위하여, 아래의 토론에서는 주로 3차원 광학 장치(예컨대, 3차원 카메라) 및 그 좌표계(예컨대, 3차원 카메라 좌표계)의 비제한적인 예시를 이용하여 본 발명에 개시된 내용의 각종 구체적인 실시예를 설명한다.
일부 구체적인 실시예에서, 도 5a 및 도 5b는 주요 특징을 선택하여, 개시된 내용 중 일부 구체적인 실시예에 따라 설정된 포지션 표기점을 식별하는 얼굴 인식 방법을 예시한다. 환자가 일반적으로 외과 프로그램 기간에 눈을 감기 때문에, 원형 홍채를 이용하여 그 눈을 식별하는 전통적인 얼굴 인식 알고리즘을 사용할 수 없다. 그래서 먼저 환자의 코, 즉 제일 앞쪽의 구조를 선택할 수 있다. 이것은 환자가 일반적으로 동일 위치에 눕기 때문에 가능하다. 소정의 z편차를 가지는 상기 코끝으로부터, 관측하려는 영역(예컨대, 도 5a에 도시한 직사각형)을 정의하여 기타 포지션 표기점(예컨대, 두 눈)을 선택한다. 일부 구체적인 실시예에서, 관측하려는 상기 영역은, 상기 코끝, 상기 두 눈, 이마로 정의된 영역 및 두 눈썹 사이에 있는 영역을 포함할 수 있다. 이에 따라, 일부 구체적인 실시예에서, 횡방향(축방향) 단면으로부터, 3개 또는 다수의 포지션 표기점(예컨대, 코는 비교적 높은 중심 피크 값이고, 두 안구는 비교적 작은 2개의 피크 값이다)을 식별할 수 있다.
블록(250)에 이어서 블록(260)인 "영상 매칭 진행"이 수행될 수 있다. 일부 구체적인 실시예에서, 상기 영상 매칭은 블록(250)에서 선택한 포지션 표기점을 매칭하는 것을 포함한다. 일부 구체적인 실시예에서, 상기 3차원 광학 장치가 촬영한 영상으로부터 선택한 포지션 표기점과 상기 구축한 3차원 모델로부터 선택한 포지션 표기점을 매칭시키고, 때로는 반복하여 진행하여 상기 두 그룹 포지션 표기점 사이의 차이를 최소화한다. 일부 구체적인 실시예에서, 매칭에 사용되는 상기 포지션 표기점은 이용 가능한 모든 표면 데이터를 포함할 수 있다. 기타 구체적인 실시예에서, 매칭에 사용되는 상기 포지션 표기점은 상기 표면 데이터의 선정된 부분 집합일 수 있다. 예를 들어, 매칭에 사용되는 상기 포지션 표기점은, 모든 사용 가능한 표면 데이터로부터 중복 선택하지 않고, 상기 3차원 광학 장치가 촬영한 상기 영상 중 관측하려는 영역(예컨대 도 5a에 도시된 직사각형) 및 상기 구축한 3차원 모델 중 관측하려는 영역으로부터 중복 선택하는 것이 가능하다.
블록(260)에 이어서 블록(270)인 "좌표 전환"이 수행될 수 있다. 블록(270)에서, 상기 구축한 3차원 모델로부터 선택한 포인트(예컨대, P1, P2 및 P3)는 그 최초 좌표계(즉, 3차원 모델 좌표계)로부터 상기 3차원 광학 장치가 촬영한 영상의 좌표(즉, 3차원 카메라 좌표계)로 전환된다. 상기 전환은 일부 영상 비교 방법, 예컨대 반복 최근점(ICP) 방법에 기초할 수 있다. 블록(270)은 부가적 좌표 전환을 더 포함할 수 있다. 그 중, 상기 3차원 카메라 좌표계의 모든 포인트는 상기 로봇팔의 좌표(즉, 로봇팔 좌표계)로 전환된다. 이하, 좌표 전환의 세부 사항을 추가적으로 상세히 설명한다.
블록(270)에 이어서 블록(280)인 "로봇팔을 수술 경로 상의 포인트로 구동"이 수행될 수 있다. 블록(280)에서, 3차원 모델 좌표계 중 상기 기획을 거친 수술 경로의 좌표는 상기 로봇팔 좌표계로 전환될 수 있다. 따라서, 상기 로봇팔은 상기 기획을 거친 수술 경로 상의 상기 안전 포인트, 상기 수술전 포인트, 상기 진입 포인트 및/또는 상기 목표 포인트로 이동할 수 있다.
정리하면, 3차원 카메라 또는 스캐너를 사용하여 환자의 얼굴 특징을 획득할 수 있다. 상기 얼굴 특징은 이어서 의학 영상 스캐닝과 관련되는, 처리된 영상 자료와 비교할 수 있다. 비교를 위하여, 상기 3차원 카메라가 획득한 영상과 의학 영상 스캐닝과 관련되는 영상에서 모두 동일한 서열로 포지션 표기점을 선택한다. 일부 구체적인 실시예에서, 예시적 프로그램(200)은, 예컨대 뇌수술, 신경계 수술, 내분비선 수술, 눈 수술, 귀 수술, 호흡기관 수술, 순환계 수술, 임파선 수술, 위장 수술, 구강 및 치과 수술, 비뇨 수술, 생식기 수술, 골격, 연골과 관절 수술, 근육/연조직 수술, 유방 수술, 피부 수술 등 각종 유형의 수술에 적용될 수 있다.
도 6은 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라 상기 구축한한 3차원 모델 좌표계로부터 상기 3차원 카메라 좌표계로의 예시적 좌표 전환을 예시한다. 이하, 도 7을 결합하여 본 도면을 추가적으로 토론한다.
도 7은 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라, 좌표를 전환하는 예시적 프로그램(700)을 예시한 흐름도이다. 프로그램(700)은 예컨대 하드웨어, 소프트웨어 및/또는 펌웨어를 통하여 진행되는 블록(710, 720, 730 및/또는 740)에 예시된 하나 또는 다수의 조작, 기능 또는 동작을 포함할 수 있다. 상기 각종 블록은 상기 설명한 구체적인 실시예에 한정되는 것은 아니다. 상기 간략히 설명된 단계 및 조작은 예시로만 제공되고, 일부 단계 및 조작은 수요에 따라 비교적 적은 단계와 조작 또는 부가적인 단계와 조작으로 확장될 수 있으며, 상기 개시된 구체적인 실시예의 본질을 흐리지 않는다. 비록 상기 블록들이 서열 순서로 예시되었지만, 이들 블록들은 병행 및/또는 명세서에서 설명된 내용과 서로 다른 순서로 진행될 수도 있다.
도 6을 결합하여 살펴보면, 블록(710)에서 초기 매트릭스를 획득한다. 일부 구체적인 실시예에서, 제1 초기 매트릭스 TMRI와 제2 초기 매트릭스 T카메라를 획득한다. 일부 구체적인 실시예에서,
Figure 112019111120853-pct00001
(1)
그 중
Figure 112019111120853-pct00002
Figure 112019111120853-pct00003
Figure 112019111120853-pct00004
벡터Xx는 벡터X의 x성분이고, 벡터Xy는 벡터X의 y성분이며, 벡터Xz는 벡터X의 z성분이다. 마찬가지로, 벡터Yx는 벡터Y의 x성분이고, 벡터Yy는 벡터Y의 y성분이며, 벡터Yz는 벡터Y의 z성분이다. 벡터Zx는 벡터Z의 x성분이고, 벡터Zy는 벡터Z의 y성분이며, 벡터Zz는 벡터Z의 z성분이다. P1x는 P1의 x좌표이고, P1y는 P1의 y좌표이며, P1z는 P1의 z좌표이다.
기타 일부 구체적인 실시예에서
Figure 112019111120853-pct00005
(2)
그 중
Figure 112019111120853-pct00006
Figure 112019111120853-pct00007
Figure 112019111120853-pct00008
벡터X'x는 벡터X '의 x성분이고, 벡터X'y는 벡터X '의 y성분이며, 벡터X'z는 벡터X '의 z성분이다. 마찬가지로, 벡터Y'x는 벡터Y '의 x성분이고, 벡터Y'y는 벡터Y '의 y성분이며, 벡터Y'z는 벡터Y '의 z성분이다. 벡터Z'x는 벡터Z '의 x성분이고, 벡터Z'y는 벡터Z '의 y성분이며, 벡터Z'z는 벡터Z '의 z성분이다. P1'x는 P1'의 x좌표이고, P1'y는 P1의 y좌표이며, P1'z는 P1'의 z좌표이다.
블록(710)에 이어서 블록(720)인 "환산 매트릭스 획득"이 수행될 수 있다. 일부 구체적인 실시예에서, 상기 환산 매트릭스는
Figure 112019111120853-pct00009
일 수 있으며, P1, P2 및 P3은
Figure 112019111120853-pct00010
에 의하여 상기 3차원 카메라 좌표계로 전환된다. P1, P2 및 P3이 각각 P1전환후, P2전환후 및 P3전환후로 전환되었다고 가설하면, P1전환후와 P1', P2전환후와 P2', 및 P3전환후와 P3' 사이의 차이와 관련되는 거리 메트릭은 실행 가능한 ICP 방법에 근거하여 연산된다.
블록(720)에 이어서 블록(730)이 수행될 수 있다. 블록(730)에서, 상기 거리 메트릭의 변화가 임계치에 도달했는지를 판정한다. 임계치에 도달하지 않았으면, 블록(730)은 블록(720)으로 리턴하여, P1전환후, P2전환후 및 P3전환후를 선택하여
Figure 112019111120853-pct00011
를 업데이트할 수 있으며, 최종적으로 새로운 환산 매트릭스
Figure 112019111120853-pct00012
를 획득할 수 있다. 만약 임계치에 도달하였으면, 블록(730)에 이어서 블록(740)이 수행될 수 있다.
블록(740)에서, 전환 매트릭스를 획득하여 포인트를 상기 3차원 카메라 좌표계로부터 상기 로봇팔 좌표계로 전환시킨다. 일부 구체적인 실시예에서, 상기 전환 매트릭스는
Figure 112019111120853-pct00013
(5)
그 중
Figure 112019111120853-pct00014
(4)
Figure 112019111120853-pct00015
Figure 112019111120853-pct00016
Figure 112019111120853-pct00017
Figure 112019111120853-pct00018
는 상기 로봇팔 좌표계 중의 카메라 중심(예컨대 상기 카메라 좌표계의 원점)과 관련되는 회전 벡터이다.
kx는
Figure 112019111120853-pct00019
의 x성분이고, ky는
Figure 112019111120853-pct00020
의 y성분이며, kz는
Figure 112019111120853-pct00021
의 z성분이다. Pcx는 상기 로봇팔 좌표계 중 상기 카메라 중심의 x좌표이고, Pcy는 상기 카메라 중심의 y좌표이며, Pcz는 상기 카메라 중심의 z좌표이다. 일부 구체적인 실시예에서, 이하 도 8을 결합하여 상기 로봇팔 좌표계에서 상기 카메라 중심을 기록하는 예시적인 방법을 추가적으로 설명한다.
상기 전환 매트릭스에 따르면, 상기 3차원 모델 좌표계 중 상기 수술 경로 상의 포인트는 상기 로봇팔 좌표계로 전환될 수 있다. 따라서, 상기 로봇팔은 상기 수술 경로 상의 하나 또는 다수의 포인트로 이동할 수 있다.
일부 구체적인 실시예에서, 도 8은 상기 로봇팔 좌표계에서 광학 장치(예컨대 카메라)를 기록하는 예시적 프로그램(800)을 예시하는 흐름도이다. 일부 구체적인 실시예에서, 상기 광학 장치는 상기 로봇팔의 플랜지에 장착될 수 있다. 위에서 설명한 kx, ky, kz, Pcx, Pcy 및 Pcz로 상기 로봇팔 좌표계 중의 상기 광학 장치를 설명하기 위해, 먼저 프로그램(800)에 따라 상기 로봇팔 좌표계에서 상기 광학 장치와 관련되는 포인트(예컨대 상기 카메라 좌표계의 원점)를 기록할 수 있다. 프로그램(800)은 하드웨어, 소프트웨어 및/또는 펌웨어를 통하여 진행할 수 있는 블록(810, 820, 830 및/또는 840)에 예시된 하나 또는 다수의 조작, 기능 또는 동작을 포함할 수 있다. 상기 각종 블록은 상기 설명한 구체적인 실시예에 한정되는 것은 아니다. 상기 간략하게 설명된 단계와 조작은 예시로만 제공되며, 일부 상기 단계와 조작은 수요에 따라, 비교적 적은 단계와 조작으로 조합되거나 또는 부가적인 단계와 조작으로 확장되며, 상기 개시된 구체적인 실시예의 본질을 흐리지 않는다. 비록 상기 블록은 서열 순서로 예시되어 있지만, 이 블록들은 병행 및/또는 명세서에서 설명된 내용과 서로 다른 순서로 진행될 수도 있다.
프로그램(800)은 블록(810)으로부터 시작될 수 있다. 블록(810)에서, 상기 로봇팔은 시작 위치로 이동하도록 구성된다. 일부 구체적인 실시예에서, 상기 시작 위치는 상기 로봇팔과 인접하도록 대향하는 기저부이다. 일부 구체적인 실시예에서, 상기 시작 위치에서, 상기 광학 장치는 상기 로봇팔의 상기 기저부의 하나 또는 다수의 영상을 캡쳐하도록 구성된다. 상기 캡쳐된 영상은 상기 광학 장치의 하나의 포인트와 상기 로봇팔의 상기 기저부 사이의 공간적 관계와 관련된다.
블록(810)에 이어서 블록(820)이 수행될 수 있다. 블록(820)에서, 상기 캡쳐된 영상에 기초하여 상기 로봇팔의 상기 기저부의 그리드를 획득한다.
블록(820)에 이어서 블록(830)이 수행될 수 있다. 블록(830)에서, 상기 로봇팔의 일부 엔티티 정보에 기초하여 상기 로봇팔의 상기 기저부의 3차원 모델을 구축한다. 일부 구체적인 실시예에서, 상기 엔티티 정보는 상기 로봇팔의 요소의 치수, 방향 및/또는 기하학적 특징을 포함할 수 있다.
블록(830)에 이어서 블록(840)이 수행될 수 있다. 블록(840)에서, 상기 획득한 그리드를 상기 구축한 3차원 모델에 매칭한다. 상기 매칭은 일부 기술적으로 가능한 방법으로 수행할 수 있다. 예를 들어, 반복 최근점 방법을 상기 획득한 그리드 포인트를 상기 구축한 3차원 모델 포인트에 매칭시키는 데 사용하여, 기설정 수렴 정확도 요구에 부합하도록 할 수 있다. 상기 기설정 수렴 정확도가 요구에 부합하는지에 응답하기 위하여, 상기 광학 장치의 상기 포인트와 상기 로봇팔의 상기 기저부 사이의 공간 관계를 연산할 수 있다. 상기 연산에 근거하여, 상기 로봇팔 좌표계에서 상기 카메라의 상기 포인트를 기록할 수 있다.
도 9는 본 발명에 개시된 일부 구체적인 실시예에 따라, 로봇팔을 수술 경로 상의 초기 포인트로부터 안전 포인트로 이동시키는 예시적 프로그램(900)을 예시하는 흐름도이다. 일부 구체적인 실시예에서, 상기 초기 포인트는 광학 장치를 배치하여 상기 환자의 영상을 촬영한 포인트이다. 일부 구체적인 실시예에서, 상기 초기 포인트와 상기 안전 포인트는 상기 로봇팔 좌표계에 위치한다. 프로그램(900)은 예컨대 하드웨어, 소프트웨어 및/또는 펌웨어를 통하여 진행할 수 있는 블록(910, 920, 및/또는 930)에 예시된 하나 또는 다수의 조작, 기능 또는 동작을 포함할 수 있다. 이들 각종 블록은 이들을 설명하는 구체적인 실시예들에 한정되는 것은 아니다. 상기 간략하게 설명된 단계와 조작은 예시로만 제공되고, 일부 상기 단계와 조작은 수요에 따라 비교적 적은 단계와 조작으로 조합되거나 또는 부가적인 단계와 조작으로 확장되며, 상기 개시된 구체적인 실시예의 상기 본질을 흐리지 않는다. 비록 상기 블록은 서열 순서로 예시되어 있지만, 이 블록들은 병행 및/또는 본 명세서에서 설명된 내용과 서로 다른 순서로 진행할 수도 있다.
블록(910)에서, 상기 로봇팔을 상기 초기 포인트로부터 상기 안전 포인트로 회전시키는 회전 매트릭스를 획득한다. 일부 구체적인 실시예에서, 상기 회전 매트릭스
Figure 112019111120853-pct00022
, 그중
Figure 112019111120853-pct00023
Figure 112019111120853-pct00024
R 1은 상기 초기 포인트에서의 상기 회전 매트릭스이고;
Figure 112019111120853-pct00025
는 상기 초기 포인트에서 Z축을 따라 회전하는 도수이며; 및
Figure 112019111120853-pct00026
는 상기 초기 포인트에서 Y축을 따라 회전하는 도수이다.
블록(910)에 이어서 블록(920)이 수행될 수 있다. 블록(920)에서, 상기 안전 포인트의 좌표를 획득한다. 일부 구체적인 실시예에서, 상기 안전 포인트의 좌표
Figure 112019111120853-pct00027
는,
Figure 112019111120853-pct00028
일 수 있다.
R 1은 상기 초기 포인트에서의 상기 회전 매트릭스;
Figure 112019111120853-pct00029
는 상기 초기 포인트의 좌표;
Figure 112019111120853-pct00030
는 상기 초기 포인트로부터 X축 위에서의 이동 거리;
Figure 112019111120853-pct00031
는 상기 초기 포인트로부터 Y축 위에서의 이동 거리; 및
Figure 112019111120853-pct00032
는 상기 초기 포인트로부터 Z축 위에서의 이동 거리이다.
일부 구체적인 실시예에서,
Figure 112019111120853-pct00033
,
Figure 112019111120853-pct00034
및
Figure 112019111120853-pct00035
는 상기 로봇팔에 부착된 외과 기구의 길이와 관련된다. 일부 구체적인 실시예에서, 상기 외과 기구의 길이 및
Figure 112019111120853-pct00036
,
Figure 112019111120853-pct00037
와
Figure 112019111120853-pct00038
중 어느 하나의 합은, X축, Y축 및 Z축 중 어느 하나의 축에서 상기 로봇팔로부터 상기 환자까지의 각각의 거리보다 작다.
블록(920)에 이어서 블록(930)이 수행될 수 있다. 블록(930)에서, 로봇팔은 블록(910)에서 획득한 회전 매트릭스와 블록(920)에서 획득한 좌표에 따라, 상기 초기 포인트로부터 상기 안전 포인트로 회전하여 이동하도록 구성된다.
일부 구체적인 실시예에서, 도 10의 연산 시스템(1060)은 상술한 프로그램(900)을 진행하도록 구성될 수 있다.
도 10은 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라, 상기 로봇팔 좌표계에서 로봇팔의 플랜지에 부착된 외과 도구를 기록하는 시스템(1000)을 나타낸 예시도이다. 일부 구체적인 실시예에서, 상기 로봇팔은 초기 포인트에 위치한다. 일부 구체적인 실시예에서, 시스템(1000)은 가장자리(1011)를 가지는 로봇팔의 플랜지(1010), 플랜지(1010)에 부착되고 첨단(1021)을 가지는 외과 기구(1020), 제1 광원(1032), 제1 카메라(1042), 제2 광원(1034), 제2 카메라(1044) 및 유선 접속 또는 무선 접속 중 어느 하나를 선택적으로 통하여 상기 로봇팔에 결합되는 연산 시스템(1060)을 포함할 수 있다. 일부 구체적인 실시예에서, 광원(1032)와 광원(1034)은 보드(1050) 위에 수직으로 배치된 역광판일 수 있다. 일부 구체적인 실시예에서, 보드(1050)는 플랜지(1010)에 부착된 표준 탐침을 사용하여, 기술적으로 실행 가능한 교정 방법을 통해 상기 로봇팔 좌표계에 의해 정의된다. 교정 후, 상기 표준 탐침은 플랜지(1010)로부터 분리되고, 이어서 외과 기구(1020)가 플랜지(1010)에 부착될 수 있다. 보드(1050)가 상기 교정을 통해 상기 로봇팔 좌표계에 의해 정의되므로, 도 10에 나타낸 바와 같이, 제1 역광판(1032)은 상기 로봇팔 좌표계의 x와 z 좌표에 의해 정의될 수 있고, 제2 역광판(1034)은 상기 로봇팔 좌표계의 y와 z 좌표를 통해 정의될 수 있다.
일부 구체적인 실시예에서, 광원(1032)와 광원(1034)는 서로 수직으로 배치된다. 기타 일부 구체적인 실시예에서, 제1 카메라(1042)는 보드(1050) 위에 배치되어 제2 광원(1034)에 수직되며, 제2 카메라(1044)는 보드(1050) 위에 배치되어 제1 광원(1032)에 수직된다. 외과 기구(1020)는 제1 광원(1032), 제2 광원(1034), 제1 카메라(1042)와 제2 카메라(1044) 사이에 배치될 수 있다.
일부 구체적인 실시예에서, 제1 광원(1032)은 역광을 생성하도록 구성된다. 상기 역광은 외과 기구(1020)의 본체를 관통하도록 구성된다. 제1 카메라(1042)는 외과 기구(1020)와 관련된 하나 또는 다수의 영상(예컨대, 제1 광원(1032)이 생성한 상기 역광에 기인한 상기 로봇팔 좌표계의 x-z 평면 위의 외과 기구의 투영)을 캡쳐하도록 구성된다.
마찬가지로, 제2 광원(1034)도 역광을 생성하도록 구성된다. 상기 역광은 외과 기구(1020)의 상기 본체를 관통하도록 설치된다. 제2 카메라(1044)는 외과 기구(1020)와 관련된 하나 또는 다수의 영상(예컨대, 제2 광원(1034)이 생성한 상기 역광에 기인한 상기 로봇팔 좌표계의 y-z 평면 위의 외과 기구의 투영)을 캡쳐하도록 구성된다.
도 10, 도 11을 결합하여, 본 발명에 개시된 내용 중 일부 구체적인 실시예에 따라, 제1 카메라(1042)가 캡쳐한 예시적 영상(1101, 1102과 1103)을 예시한다. 상술한 바와 같이, 일부 구체적인 실시예에서, 제1 카메라(1042)는 상기 로봇팔 좌표계의 x-z 평면에서 외과 기구(1020)의 하나 또는 다수의 투영을 캡쳐하도록 구성된다. 상기 로봇팔 좌표계에서 외과 기구(1020)를 기록하여, 제1 상태에 처해 있는 외과 기구(1020)의 제1 x-z 평면 투영에 응답함으로써, 첨단(1021)의 제1 x-z 평면 투영과 영상(1101)의 중심 사이에 거리를 두기 위해, 연산 시스템(1060)은 명령을 생성하여 상기 로봇팔과 플랜지(1010)를 이동시키도록 구성되므로, 외과 기구(1020)는 제2 상태로 이동한다. 상기 제2 상태에 있어서, 외과 기구(1020)의 제2 x-z 평면 투영은 영상(1102)에 표시되며, 그 중 첨단(1021)의 제2 x-z 평면 투영과 영상(1102)의 중심은 서로 일치해진다. 그러나 상기 제2 상태에 있어서, 외과 기구(1020)의 상기 제2 x-z 평면 투영은 상기 로봇팔 좌표계의 z축과 정렬되지 않는다. 이에 대한 응답으로, 연산 시스템(1060)은 명령을 생성하여 상기 로봇팔과 플랜지(1010)를 회전시켜 외과 기구(1020)가 제3 상태로 회전하도록 구성된다. 상기 제3 상태에서, 외과 기구(1020)의 제3 x-z 평면 투영은 영상(1103)에 표시되고, 그 중 첨단(1021)의 제3 x-z 평면 투영은 영상(1103)의 중심과 일치해지며, 외과 기구(1020)의 상기 제3 x-z 평면 투영은 상기 로봇팔 좌표계의 z축과 정렬된다.
위에서 설명한 상기 단계 외에, 도 10, 도 11 및 도 12를 결합하여 본 발명에 개시된 내용 중의 일부 구체적인 실시예에 따라, 제2 카메라 (1044)가 캡쳐한 예시적인 영상(1201, 1202와 1203)을 예시한다. 상술한 바와 같이, 일부 구체적인 실시예에서, 제2 카메라(1044)는 상기 로봇팔 좌표계의 y-z 평면 상에서 외과 기구(1020)의 하나 또는 다수의 투영을 캡쳐하도록 구성된다. 상기 로봇팔 좌표계에서 외과 기구(1020)를 기록하여, 제4 상태의 외과 기구(1020)의 제1 y-z평면 투영에 응답함으로써, 첨단(1021)의 제1 y-z평면 투영과 영상(1201)의 중심 사이에 거리를 두기 위해, 연산 시스템(1060)을 명령을 생성하여 로봇팔과 플랜지(1010)를 이동시켜, 외과 기구(1020)가 제5 상태로 이동하도록 구성된다. 상기 제5 상태에서, 외과 기구(1020)의 제2 y-z평면 투영은 영상(1202)에 표시되며, 그 중 첨단(1021)의 제2 y-z평면 투영은 영상(1202)의 상기 중심과 서로 일치해진다. 그러나, 제5 상태에서, 외과 기구(1020)의 상기 제2 y-z 평면 투영은 상기 로봇팔 좌표계의 z축과 정렬되지 않는다. 이에 대한 응답으로, 연산 시스템(1060)은 명령을 생성하여 상기 로봇팔과 플랜지(1010)를 회전시키도록 구성되며, 이에 따라 외과 기구(1020)는 제6 상태로 회전된다. 제6 상태에서, 외과 기구(1020)의 제3 y-z 평면 투영은 영상(1203) 중에 표시되고, 그 중 첨단(1021)의 제3 y-z 평면투영은 영상(1203)의 상기 중심과 서로 일치해지며, 외과 기구(1020)의 상기 제3 y-z 평면 투영은 z축과 정렬된다.
일부 구체적인 실시예에서, 상기 제6 상태에 있어서, 제1 카메라(1042)는 상기 로봇팔 좌표계의 x-z 평면에서 외과 기구(1020)의 하나 또는 다수의 투영을 캡쳐하도록 구성된다. 상기 제6 상태에 응답하여 실질적으로 영상(1103)와 동일한 x-z 평면 투영을 나타내기 위하여, 연산 시스템(1060)은 초기 포인트가 플랜지(1010)의 가장자리(1011)에 있고 종료 포인트가 첨단(1021)의 외과 기구(1020)에 대응하는 선에 있는지 판정하도록 설치되며, 상기 로봇팔 좌표계에 정의된다. 이에 따라, 상기 로봇팔 좌표계 중의 첨단(1021)의 좌표는 상기 로봇팔 좌표계 중의 가장자리(1011)의 상기 좌표와 외과 기구(1020)의 기하학적 정보(예컨대, 길이)에 근거하여 판정할 수 있다.
반대로, 상기 제6 상태에 응답하여 실질적으로 영상(1103)과 동일하지 않는 x-z 평면 투영을 표시하기 위하여, 위에서 도 11과 도 12에 관해 설명한 하나 또는 다수의 단계를, 상기 제6 상태가 실질적으로 영상(1103)과 동일한 x-z 평면 투영을 표시할 때까지 반복한다.
일부 구체적인 실시예에서, 상기 로봇팔 좌표계 중 첨단(1021)의 좌표를 판정한 다음, 상기 로봇팔은 플랜지(1010)와 외과 기구(1020)를 이동 및/또는 회전시키도록 구성하여, 첨단(1021)을 상기 로봇팔 좌표계에서 이미 알려진 좌표를 가지는 기준점에 접촉시킬 수 있다. 첨단(1021)이 실질적으로 상기 기준점에 접촉하는 것에 응답하기 위하여, 연산 시스템(1060)은 첨단(1021)의 좌표가 검증을 경과했는지를 판정하도록 구성된다. 그렇지 않으면 위에서 상술한 단계를 반복할 수 있다.
상술한 실시형태는 이미 블록도, 흐름도 및/또는 예시를 통하여 상기 장치 및/또는 프로그램의 각종 구체적인 실시예를 상세히 설명하였다. 이러한 블록도, 흐름도, 및/또는 예시가 하나 또는 다수의 기능 및/또는 조작을 함유하는 범위 내에서, 본 분야의 통상의 기술자는 이러한 블록도, 흐름도, 또는 예시 내의 각 기능 및/또는 조작이 모두 광범위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 거의 모든 조합을 통해 개별적으로 및/또는 집체적으로 실행될 수 있음을 이해할 수 있다. 일부 구체적인 실시예에서, 본 명세서에서 설명한 상기 목적의 몇 개 부분은 전용 집적 회로 (Application Specific Integrated Circuit,ASIC), 필드 프로그래머블 게이트 어레이 (Field Programmable Gate Array,FPGA, FPGA), 디지털 신호 프로세서(Digital signal processor,DSP) 또는 기타 집적 형태로 실행될 수 있다. 그러나, 본 분야의 통상의 기술자는 본 명세서에 개시된 구체적인 실시예의 일부 형태는 전체 또는 일부분이 집적 회로에서, 한 대 또는 여러 대의 컴퓨터에서 실행되는 하나 또는 다수의 컴퓨터 프로그램(예컨대, 하나 또는 다수의 컴퓨터 시스템에서 실행되는 하나 또는 다수의 프로그램), 하나 또는 다수의 프로세서에서 실행되는 하나 또는 다수의 프로그램(예컨대, 하나 또는 다수의 마이크로프로세서에서 실행하는 하나 또는 다수의 프로그램), 펌웨어 또는 이들의 거의 모든 조합과 등가적으로 실행되며, 상기 전자 회로 설계 및/또는 상기 소프트웨어의 코딩 및/또는 펌웨어의 코딩은 여기서 개시된 내용에 근거하여 완전히 본 분야의 통상의 기술자의 기술 범위 내에 있음을 이해할 수 있다. 이 외에, 본 분야의 통상의 기술자는, 본 명세서에서 설명한 상기 목적의 매커니즘이 다양한 형식으로 프로그램 상품으로 분산(distributed)될 수 있으며, 또한 본 명세서에서 설명한 상기 목적의 예시적인 구체적 실시예는 실제 판매에 사용하는 신호 탑재 매체의 특정 유형이 무엇이든지 모두 적용됨을 이해할 것이다. 신호 탑재 매체의 예시는, 예컨대 플로피 디스크, 하드 디스크 드라이브, 시디롬(Compact Disc, CD), 디지털 다목적 디스크(Digital Versatile Disk, DVD), 디지털 테이프, 컴퓨터 메모리 등과 같은 기록 가능형 매체; 및 예컨대 디지털 및/또는 아날로그 통신 매체(예컨대, 광섬유 케이블, 도파관, 유선 통신 연결, 무선 통신 연결 등)와 같은 전송 유형 매체를 포함하지만 이에 한정되는 것은 아니다.
상술한 내용으로부터 알 수 있듯이, 본 명세서에서 예시의 목적으로 본 발명에 개시된 내용의 각종 실시예를 설명하였으며, 또한 본 발명에 개시된 내용의 범주 및 사상을 벗어나지 않는 범위 내에서 각종 변형예를 형성할 수 있다. 따라서, 본 명세서에 개시된 각종 구체적인 실시예는 한정성 실시예가 아니다.

Claims (23)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템에 있어서, 상기 시스템은
    로봇팔;
    3차원 광학 장치;
    프로세서;
    제1 광원과 제2 광원; 및
    제1 카메라와 제2 카메라;
    를 포함하며,
    상기 프로세서는,
    환자의 의학 영상 스캐닝에 근거하여 3차원 모델을 구축하고;
    상기 3차원 모델에 근거하여 수술 경로를 기획하고;
    상기 3차원 광학 장치가 획득한 상기 환자의 영상 정보를 캡쳐하고;
    상기 3차원 모델에서 제1 그룹 포지션 표기점을 선택하고;
    캡쳐한 상기 영상 정보에서 제2 그룹 포지션 표기점을 선택하고;
    상기 제1 그룹 포지션 표기점과 상기 제2 그룹 포지션 표기점을 매칭시키고;
    상기 제1 그룹 포지션 표기점과 상기 제2 그룹 포지션 표기점을 매칭시킨 결과에 기초하여, 좌표를 상기 3차원 모델에 관련된 제1 좌표계로부터 상기 3차원 광학 장치에 관련된 제2 좌표계로 전환시키고;
    상기 로봇팔과 관련된 제3 좌표계에서, 상기 로봇팔을 상기 수술 경로 상의 상기 하나 또는 다수의 포인트에로 구동하는 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하도록 구성되고,
    상기 제1 광원과 제2 광원은 서로 수직되게 설치되고, 빛을 생성하여 상기 로봇팔에 부착된 외과 기구의 다수의 투영을 형성하도록 구성되며, 상기 투영은 상기 제3 좌표계로써 설명되고, 그리고
    상기 제1 카메라와 제2 카메라는 서로 수직되게 설치되고, 상기 제1 카메라는 상기 제3 좌표계의 x-z 평면 위 상기 외과 기구의 투영들의 영상을 캡쳐하도록 구성되고, 상기 제2 카메라는 상기 제3 좌표계의 y-z 평면 위 상기 외과 기구의 투영들의 영상을 캡쳐하도록 구성되며, 상기 로봇팔은 상기 제1 카메라에 의해 캡쳐된 영상들 및 상기 제2 카메라에 의해 캡쳐된 영상들을 기초로 상기 외과 기구가 상기 제3 좌표계의 z축과 정렬되도록 이동시키는 시스템.
  15. 제14항에 있어서,
    상기 프로세서는 또한, 상기 의학 영상 스캐닝에 근거하여 하나 또는 다수의 이진법 영상을 생성하도록 구성되고, 그 중 상기 이진법 영상 중 백색 영역은 상기 수술 경로 상의 해부 영역에 대응되는 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템.
  16. 제15항에 있어서,
    상기 프로세서는 또한, 상기 백색 영역에 근거하여 상기 이진법 영상의 제1 영역과 제2 영역을 정의하도록 구성된, 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템.
  17. 제16항에 있어서,
    상기 프로세서는 또한, 상기 제2 영역에서 하나 또는 다수의 포지션 표기점을 선택하도록 구성되고, 그 중 상기 제2 영역은 상기 제1 영역과 서로 다른 그레이스케일 값을 가지는 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템.
  18. 제14항에 있어서,
    상기 프로세서는 또한, 상기 3차원 모델의 관측하려는 제1 영역에서 하나 또는 다수의 포지션 표기점을 일치하게 선택하고, 또한/또는 상기 캡쳐한 영상 정보의 관측하려는 제2 영역에서 하나 또는 다수의 포지션 표기점을 일치하게 선택하도록 구성된, 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템.
  19. 제14항에 있어서,
    상기 프로세서는 또한, 상기 제3 좌표계에서 상기 3차원 광학 장치의 하나의 포인트를 기록하고, 상기 제3 좌표계에서 상기 기록한 포인트에 근거하여, 좌표를 상기 제2 좌표계로부터 상기 제3 좌표계로 전환하도록 구성된, 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 제14항에 있어서,
    상기 시스템은 뇌 수술, 신경계 수술, 내분비 수술, 눈 수술, 귀 수술, 호흡기관 수술, 순환계 수술, 임파선 수술, 위장 수술, 구강 및 치과 수술, 비뇨 수술, 생식기 수술, 골격 수술, 연골 수술, 관절 수술, 근육 수술, 연조직 수술, 유방 수술 및/또는 피부 수술에 사용되도록 구성된. 로봇팔을 수술 경로 상의 하나 또는 다수의 포인트로 구동하는 시스템.
KR1020197032183A 2017-06-04 2018-06-04 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템 KR102493021B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762514951P 2017-06-04 2017-06-04
US62/514,951 2017-06-04
US201862612728P 2018-01-02 2018-01-02
US62/612,728 2018-01-02
US201862618053P 2018-01-16 2018-01-16
US62/618,053 2018-01-16
PCT/CN2018/089769 WO2018223925A1 (en) 2017-06-04 2018-06-04 Method and system of determining one or more points on operation pathway

Publications (2)

Publication Number Publication Date
KR20200016833A KR20200016833A (ko) 2020-02-17
KR102493021B1 true KR102493021B1 (ko) 2023-01-31

Family

ID=64566379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197032183A KR102493021B1 (ko) 2017-06-04 2018-06-04 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템

Country Status (7)

Country Link
US (1) US11648066B2 (ko)
EP (1) EP3586507A4 (ko)
JP (1) JP7095079B2 (ko)
KR (1) KR102493021B1 (ko)
CN (1) CN110494096B (ko)
TW (1) TWI670681B (ko)
WO (1) WO2018223925A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020234305A1 (en) * 2019-03-11 2021-10-07 Intellijoint Surgical Inc. Computer assisted surgery system and method to process and communicate planning data
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
FR3104934B1 (fr) * 2019-12-18 2023-04-07 Quantum Surgical Méthode de planification automatique d’une trajectoire pour une intervention médicale
TW202216076A (zh) * 2020-03-21 2022-05-01 鈦隼生物科技股份有限公司 用以基於影像匹配進行鼻咽採檢之方法與系統
CN113768624B (zh) * 2021-09-28 2023-05-09 杭州柳叶刀机器人有限公司 作业面定位控制方法、装置、计算机设备及可读存储介质
CN114617636B (zh) * 2022-05-11 2022-09-02 杭州键嘉机器人有限公司 确定口腔u型槽夹具和医学影像坐标系转换关系的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110245625A1 (en) * 2008-12-29 2011-10-06 Koninklijke Philips Electronics N.V. Path planning for reducing tissue damage in minimally invasive surgery
WO2016192671A1 (en) * 2015-06-05 2016-12-08 Chen Chieh Hsiao Intra operative tracking method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
JPH0759763A (ja) * 1993-08-25 1995-03-07 Hitachi Gazo Joho Syst:Kk ３次元物体計測装置
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
JP2008526422A (ja) * 2005-01-13 2008-07-24 メイザー サージカル テクノロジーズ リミテッド 鍵穴脳神経外科用画像ガイドロボットシステム
CN1907225B (zh) 2005-08-05 2011-02-02 Ge医疗系统环球技术有限公司 用于脑内出血损伤分割的方法和设备
US20070066881A1 (en) 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
US9782229B2 (en) * 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
JP5283157B2 (ja) 2007-03-20 2013-09-04 国立大学法人静岡大学 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
CN101049248A (zh) * 2007-05-18 2007-10-10 西安工业大学 光磁电复合导航手术定位装置和方法
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8911453B2 (en) * 2010-12-21 2014-12-16 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
CN102727309B (zh) * 2011-04-11 2014-11-26 上海优益基医疗器械有限公司 结合内窥镜影像的外科手术导航系统
US9629523B2 (en) * 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
CN103961178B (zh) 2013-01-30 2016-05-11 深圳先进技术研究院 远程手术规划与导航系统
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
AU2014229201A1 (en) * 2013-03-11 2015-09-10 Tylerton International Inc. Modeling the autonomous nervous system and uses thereof
US9814390B2 (en) * 2013-03-15 2017-11-14 Synaptive Medical (Barbados) Inc. Insert imaging device for surgical procedures
SG11201507610RA (en) * 2013-03-15 2015-10-29 Synaptive Medical Barbados Inc Planning, navigation and simulation systems and methods for minimally invasive therapy
JP5781135B2 (ja) 2013-09-27 2015-09-16 エフ・エーシステムエンジニアリング株式会社 ３ｄナビゲーション映像生成装置
US10231704B2 (en) * 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
TWI548388B (zh) * 2013-12-30 2016-09-11 國立臺灣大學 骨科手術之手持式機器人以及其控制方法
CN106714681A (zh) * 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US9950194B2 (en) 2014-09-09 2018-04-24 Mevion Medical Systems, Inc. Patient positioning system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110245625A1 (en) * 2008-12-29 2011-10-06 Koninklijke Philips Electronics N.V. Path planning for reducing tissue damage in minimally invasive surgery
WO2016192671A1 (en) * 2015-06-05 2016-12-08 Chen Chieh Hsiao Intra operative tracking method

Also Published As

Publication number Publication date
EP3586507A4 (en) 2021-02-24
KR20200016833A (ko) 2020-02-17
TW201907366A (zh) 2019-02-16
WO2018223925A1 (en) 2018-12-13
US11648066B2 (en) 2023-05-16
TWI670681B (zh) 2019-09-01
CN110494096B (zh) 2023-05-05
CN110494096A (zh) 2019-11-22
JP7095079B2 (ja) 2022-07-04
EP3586507A1 (en) 2020-01-01
JP2020522369A (ja) 2020-07-30
US20200008892A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102493021B1 (ko) 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템
US10265854B2 (en) Operating room safety zone
TWI595437B (zh) 術中追蹤方法
US10278787B2 (en) Patient reference tool for rapid registration
JP6159030B2 (ja) 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術
US10144637B2 (en) Sensor based tracking tool for medical components
BR112020026114A2 (pt) Método e sistema que utilizam visualização aumentada
US11666387B2 (en) System and methods for automatic muscle movement detection
JP7397092B2 (ja) 画像マッチングに基づいて手術経路を決定する方法およびシステム
JP7486603B2 (ja) 拡張現実画像上に医用スキャン画像情報を補う方法及びシステム
WO2021213450A1 (en) Method and system to augment medical scan image information on extended reality image

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant