KR20190010860A - 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 - Google Patents
로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190010860A KR20190010860A KR1020187033479A KR20187033479A KR20190010860A KR 20190010860 A KR20190010860 A KR 20190010860A KR 1020187033479 A KR1020187033479 A KR 1020187033479A KR 20187033479 A KR20187033479 A KR 20187033479A KR 20190010860 A KR20190010860 A KR 20190010860A
- Authority
- KR
- South Korea
- Prior art keywords
- physical object
- vision
- virtual
- physical
- virtual object
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
- A61B17/0206—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors with antagonistic arms as supports for retractor elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/17—Guides or aligning means for drills, mills, pins or wires
- A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
- A61B2034/207—Divots for calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mechanical Engineering (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
Abstract
수술 절차 동안 타겟 부위 근처의 물리적 오브젝트를 추적하기 위한 네비게이션 시스템 및 방법. 네비게이션 시스템은 로봇 디바이스 및 로봇 디바이스에 부착가능한 기구를 포함한다. 비전 디바이스는 로봇 디바이스 또는 기구에 부착되고 비전 데이터 세트를 생성한다. 비전 데이터 세트는 물리적 오브젝트의 다수의 관점에서 캡쳐된다. 컴퓨팅 시스템은 비전 데이터 세트에서 식별 가능한 물리적 오브젝트의 하나 이상의 피쳐에 기초하여 가상 오브젝트를 물리적 오브젝트와 연관시킨다. 가상 오브젝트는 기구에 대한 가상 경계를 적어도 부분적으로 정의한다.
Description
관련 출원
본 출원은 2016 년 5 월 23 일자로 출원된 미국 특허 가출원 제 62/340,176호에 대한 우선권 및 이익을 주장하고, 그 전체 개시물 및 내용은 참조로서 본원에 통합된다.
기술 분야
본 개시물은 일반적으로 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법에 관한 것이다.
네비게이션 시스템은 사용자가 오브젝트의 위치를 정확하게 정하는데 도움을 준다. 예를 들어, 네비게이션 시스템은 산업, 항공우주 및 의료 응용에서 사용된다. 의료 분야에서, 네비게이션 시스템은 외과의사가 환자의 타겟 부위에 대하여 수술 기구를 정확하게 배치하는데 도움을 준다. 타겟 부위는 보통 조직 제거와 같은 어떤 형태의 치료를 필요로 한다. 기존의 네비게이션 시스템은 수술 기구와 연관된 위치 및/또는 방위 데이터 및 타겟 부위, 예를 들어, 제거될 뼈의 체적을 제공하는 추적기와 협업하는 로컬라이저를 채용한다. 로컬라이저는 추적기의 시야를 갖도록 보통 배치된다. 추적기는 수술 기구 및 환자와 협력하여 이동하기 위해 수술기구와 환자에 고정되어 있다. 환자에 부착된 추적기는 종종 치료중인 뼈에 부착되며, 이로써 뼈의 강성 성질로 인해 타겟 부위에 대해 강성 관계를 유지한다. 수술 기구 및 환자에 별도의 추적기를 사용함으로써, 수술 기구의 치료 단부가 타겟 부위에 정확하게 배치될 수 있다.
종종, 리트랙터 또는 다른 물리적 오브젝트가 수술 중 피해야 하는 타겟 부위 근처에 위치해 있다. 리트랙터 또는 다른 물리적 오브젝트는 예를 들어 별도의 추적기를 사용하여 수술 기구와 동일한 방식으로 추적될 수 있지만, 리트랙터 또는 다른 물리적 오브젝트에 추적기를 추가하는 것은, 특히 로컬라이저에 의해 추적될 오브젝트의 수를 증가시킴으로써 네비게이션 시스템의 비용 및 복잡성을 크게 증가시킬 수 있다. 더욱이, 이들 물리적 오브젝트는 보통 기구 및 환자와 연관된 추적기에 대해 상대적으로 이동할 수 있기 때문에, 이들 추가 물리적 오브젝트는 그러한 추적기에 쉽게 레퍼런스되지 않는다. 로컬라이저에 부착된 비디오 카메라로 캡쳐된 이미지 또는 이와 달리 로컬라이저와 관련하여 고정된 이미지에서 오브젝트 인식 기술을 사용하여 이들 추가 물리적 오브젝트를 추적하는 것이 제안되었다. 그러나, 이러한 접근법은 계산상으로 비싸고 어려울 수 있다.
로봇 수술 동안, 특히 로봇 디바이스가 자율적으로 동작할 때, 네비게이션 시스템이 타겟 부위 근처의 모든 물리적 오브젝트의 위치를 식별할 수 없는 경우, 그러한 물리적 오브젝트의 회피는 어렵다. 결과적으로, 로봇 디바이스는 이러한 물리적 오브젝트와의 충돌을 모니터링하도록 현재 제어되고, 그리고 예를 들어 충돌을 표시하는 힘/토크 센서의 피드백에 의존하여 충돌시 셧 다운된다. 그러나, 로봇 디바이스를 셧 다운하기 전에 충돌이 발생할 때까지 기다리는 것은 바람직하지 않으며, 공구에 손상을 입히거나 회전 드릴이나 톱이 리트랙터를 때리는 경우와 같은 충돌로 인해 생길 수 있는 파편으로 환자를 위험에 빠뜨릴 잠재력을 초래할 수 있다. 물리적 오브젝트와의 충돌은 수술 절차를 지연시킬 수 있다. 이러한 지연은 환자가 일반 전신 마취를 실시하거나 이와 달리 수술 절차와 연관된 위험을 증가하는 기간을 연장할 수 있다.
따라서, 로봇 수술 동안 물리적 오브젝트의 식별 및 추적을 해결하는 시스템 및 방법에 대한 필요성이 업계에 존재한다.
일 실시형태에서, 네비게이션 시스템은 수술 절차 동안 타겟 부위 근처의 물리적 오브젝트를 추적하기 위해 제공된다. 네비게이션 시스템은, 로봇 디바이스 및 로봇 디바이스에 부착가능한 기구를 포함한다. 비전 디바이스는, 비전 디바이스가 로봇 디바이스와 이동가능하도록 로봇 디바이스 또는 기구 중 하나에 부착된다. 비전 디바이스는 비전 데이터 세트들을 생성하도록 구성된다. 비전 데이터 세트들은, 로봇 디바이스를 이동시킬 때 비전 디바이스가 복수의 자유도에서 이동되는 것에 의해 가능하게 되는 물리적 오브젝트의 다수의 관점에서 캡쳐된다. 컴퓨팅 시스템은 비전 디바이스와 통신한다. 컴퓨팅 시스템은 비전 데이터 세트들에서 식별 가능한 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 가상 오브젝트를 물리적 오브젝트와 연관시키도록 구성된 적어도 하나의 프로세서를 갖는다. 가상 오브젝트는 기구에 대한 가상 경계를 적어도 부분적으로 정의한다.
또 다른 실시형태에서, 물리적 오브젝트를 추적하는 방법이 제공된다. 이 방법은 로봇 디바이스의 이동으로 인한 비전 디바이스의 이동에 응답하여 비전 데이터 세트를 생성하는 단계를 포함한다. 이 이동의 결과로, 비전 데이터 세트는 물리적 오브젝트의 다수의 관점에서 캡쳐된다. 이 방법은 비전 데이터 세트들에서 식별 가능한 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 가상 오브젝트를 물리적 오브젝트와 연관시키는 단계를 더 포함한다. 가상 오브젝트는 기구에 대한 가상 경계를 정의한다.
이 시스템 및 방법은 여러 이점을 제공한다. 예를 들어, 하나 이상의 피쳐들을 포함하는 물리적 오브젝트에 대해 비전 디바이스를 이동시킴으로써, 컴퓨팅 시스템은 물리적 오브젝트를 식별하고 위치를 정할 수 있고 물리적 오브젝트에 대한 기구의 이동을 추적할 수 있다. 어떤 경우에, 비전 디바이스에 의해 촬영된 단일 비전 데이터 세트(예를 들어, 단일 이미지)는 추적 결과를 향상시키는데 유용한 후속 비전 데이터 세트로 물리적 오브젝트의 위치를 추정하는데 충분할 수 있다. 이것은 기구를 이용한 수술 절차 동안 타겟 부위를 치료하면서 물리적 오브젝트를 회피하는데 유용할 수 있다. 또한, 이동 로봇 디바이스 또는 기구에 비전 디바이스를 부착함으로써, 물리적 오브젝트의 상이한 관점에서 다수의 비전 데이터 세트를, 예를 들어, 상이한 관점에서 다중 비디오 프레임를 취하는 것으로부터 혜택을 받는 저비용 비전 디바이스가 이용될 수 있다. 결과적으로, 그러한 물리적 오브젝트는 별도의 고가의 추적기를 요구하지 않고도 추적될 수 있다.
첨부된 도면과 연계하여 고려할 때 하기의 상세한 설명을 참조함으로써 보다 잘 이해되어지는 바와 같이, 이점들이 용이하게 이해될 것이다.
도 1은 로봇 디바이스, 로컬라이저, 및 비전 디바이스를 포함하는 로봇 수술 시스템의 사시도이다.
도 2는 로봇 수술 시스템을 제어하기 위한 제어 시스템의 개략도이다.
도 3은 로봇 수술 시스템에 사용된 좌표계의 사시도이다.
도 4는 비전 디바이스에 의해 시인되는 물리적 오브젝트를 갖는 수술 부위의 도면이다.
도 5는 물리적 오브젝트의 피쳐의 예이다.
도 6은 물리적 오브젝트 상의 피쳐의 또 다른 예이다.
도 7은 코딩된 피쳐를 포함한 피쳐 그룹의 예이다.
도 8은 코딩된 피쳐를 포함한 피쳐 세트의 예이다.
도 9는 물리적 오브젝트와 연관된 가상 오브젝트의 도면이다.
도 10은 방법에 의해 실행된 단계의 흐름도이다.
도 1은 로봇 디바이스, 로컬라이저, 및 비전 디바이스를 포함하는 로봇 수술 시스템의 사시도이다.
도 2는 로봇 수술 시스템을 제어하기 위한 제어 시스템의 개략도이다.
도 3은 로봇 수술 시스템에 사용된 좌표계의 사시도이다.
도 4는 비전 디바이스에 의해 시인되는 물리적 오브젝트를 갖는 수술 부위의 도면이다.
도 5는 물리적 오브젝트의 피쳐의 예이다.
도 6은 물리적 오브젝트 상의 피쳐의 또 다른 예이다.
도 7은 코딩된 피쳐를 포함한 피쳐 그룹의 예이다.
도 8은 코딩된 피쳐를 포함한 피쳐 세트의 예이다.
도 9는 물리적 오브젝트와 연관된 가상 오브젝트의 도면이다.
도 10은 방법에 의해 실행된 단계의 흐름도이다.
도 1에 도시된 바와 같이, 환자(22)를 치료하기 위한 시스템(20)이 도시되어 있다. 시스템(20)은 의료 시설의 수술실과 같은 수술 세팅에 도시되어 있다. 도시된 실시형태에서, 시스템(20) 은 가공 스테이션(24)과 안내 스테이션(26)을 포함한다. 안내 스테이션(26)은 수술실 내의 다양한 오브젝트의 이동을 추적하도록 설정된다. 이러한 오브젝트는 예를 들어 수술 기구(30), 환자의 대퇴골(F) 및 환자의 경골(T)을 포함한다. 안내 스테이션(26)은 상대 위치 및 방위를 사용자에게 표시할 목적으로, 어떤 경우에 대퇴골 타겟 부위(TS)와 같은 타겟 부위에 대한 수술 기구(30)의 이동을 제어 또는 제한할 목적으로 이들 오브젝트를 추적한다. 수술 기구(30)는 가공 스테이션(24)의 일부로서 도시되어 있다.
안내 스테이션(26)은 네비게이션 컴퓨터(34)를 수용하는 네비게이션 카트 조립체(32)를 포함한다. 네비게이션 인터페이스는 네비게이션 컴퓨터(34)와 동작적으로 통신한다. 네비게이션 인터페이스는 무균 필드 밖에 위치되도록 적응된 제 1 디스플레이(36), 및 무균 필드 내부에 위치되도록 적응된 제 2 디스플레이(38)를 포함한다. 디스플레이(36, 38)는 네비게이션 카트 조립체(32)에 조정가능하게 장착된다. 키보드 및 마우스와 같은 제 1 및 제 2 입력 디바이스(40, 42)는 네비게이션 컴퓨터(34)에 정보를 입력하거나 이와 달리 네비게이션 컴퓨터(34)의 어떤 양태들을 선택/제어하기 위해 사용될 수 있다. 터치 스크린(미도시) 또는 음성 활성화를 포함한 다른 입력 디바이스가 고려된다.
로컬라이저(44)는 네비게이션 컴퓨터(34)와 통신한다. 도시된 실시형태에서, 로컬라이저(44)는 광학 로컬라이저이며, 로컬라이저 카메라 유닛(46)을 포함한다. 로컬라이저 카메라 유닛(46)은 하나 이상의 광학 위치 센서(50)를 수용하는 외부 케이싱(48)을 갖는다. 일부 실시형태에서, 적어도 2개, 바람직하게는 3개 이상의 광학 센서(50)가 채용된다. 광학 센서(50)는 3개의 별개의 전하 결합형 디바이스(CCD)일 수 있다. 일 실시형태에서, 3개의 1차원 CCD가 채용된다. 다른 실시형태에서, 각각이 별도의 한 CCD, 또는 2개 이상의 CCD를 갖는 별도의 로컬라이저 카메라 유닛이 수술실 주위에 배열될 수도 있음을 이해해야 한다. CCD는 적외선 신호를 검출한다. 추가하여, 로컬라이저(44)는 상이한 방식을 채용할 수있고 전자기 로컬라이저, RF 로컬라이저, 초음파 로컬라이저, 또는 오브젝트를 추적할 수 있는 임의의 다른 종래의 로컬라이저일 수 있다.
로컬라이저 카메라 유닛(46)은, 이상적으로는 방해가 없는 아래 설명된 추적기의 시야에 광학 센서(50)를 위치시키기 위해 조정가능 암에 장착된다. 일부 실시형태에서, 로컬라이저 카메라 유닛(46)은 회전 조인트에 관하여 회전함으로써 적어도 하나의 자유도에서 조정가능하다. 다른 실시형태에서, 로컬라이저 카메라 유닛(46)은 약 2 이상의 자유도에 관하여 조정가능하다.
로컬라이저 카메라 유닛(46)은 광학 센서(50)로부터 신호를 수신하기 위해 광학 센서(50)와 통신하는 카메라 제어부(52)를 포함한다. 로컬라이저 카메라 제어부(52)는 유선 또는 무선 연결(도시되지 않음)을 통해 네비게이션 컴퓨터(34)와 통신한다. 이러한 한 연결은 고속 통신 및 등시성 실시간 데이터 전송을 위한 직렬 버스 인터페이스 표준인 IEEE 1394 인터페이스일 수 있다. 연결은 또한 회사에 특정한 프로토콜을 사용할 수도 있다. 다른 실시형태에서, 광학 센서(50)는 네비게이션 컴퓨터(34)와 직접 통신한다.
위치 및 방위 신호 및/또는 데이터는 오브젝트를 추적하기 위해 네비게이션 컴퓨터(34)에 전송된다. 네비게이션 카트 조립체(32), 디스플레이(36, 38), 및 로컬라이저 카메라 유닛(46)은 "Suregery System"이라는 명칭으로 2010년 5월 25일 발행된, 본원에 참고로 포함되는 Malackowski 등의 미국 특허 제7,725,162호에 기재된 것과 유사할 수 있다.
네비게이션 컴퓨터(34)는 본원에 기재된 기능의 실행에 필요한 디스플레이(36, 28), 중앙 처리 유닛(CPU) 및/또는 다른 프로세서(62), 메모리(도시되지 않음), 및 스토리지(도시되지 않음)를 갖는다. 네비게이션 컴퓨터(34)에는 이하에서 설명되는 바와 같이 소프트웨어가 로딩된다. 소프트웨어는 로컬라이저 카메라 유닛(46)으로부터 수신된 신호를 로컬라이저에 의해 추적되는 오브젝트의 위치 및 방위를 나타내는 로컬라이저 데이터로 변환한다. 네비게이션 컴퓨터(34)는 컴퓨터 네트워크(예컨대 근거리 통신망 (Local Area Network; LAN) 및/또는 인터넷)와 유선 또는 무선 통신할 수 있다. CD-ROM 또는 SD 카드와 같은 데이터 캐리어를 판독하는 디바이스 또는 범용 직렬 버스(USB) 인터페이스와 같은 하나 이상의 데이터 인터페이스가 네비게이션 컴퓨터(34)에 제공될 수 있다. 내부 스토리지 또는 외부 스토리지 또는 둘 모두는 촬상 디바이스에 의해 촬영된 환자 이미지의 이미지 데이터를 저장하도록 구성될 수 있다. 대안으로, 또는 부가적으로, 그러한 이미지 데이터는 또한 컴퓨터 네트워크를 통해 수신될 수 있다(예를 들어, 다운로드될 수 있다). 또한, 내부 스토리지 또는 외부 스토리지 또는 둘 모두는 본원에 기재된 교정 데이터/정보의 다양한 아이템을 저장하도록 구성될 수 있다. 이러한 교정 데이터/정보는 시스템(20)의 사전 지식을 구성하며, 다양한 교정 데이터의 예가 아래에서 보다 상세히 설명될 것이다. 인식할 수 있는 바와 같이, 시스템(20)의 사전 지식은 대안적으로 또는 부가적으로 정보의 다른 아이템을 포함할 수 있다.
안내 스테이션(26)은 본원에서 추적기로도 지칭되는 복수의 추적 디바이스(54, 56, 58)와 동작할 수 있다. 도시된 실시형태에서, 하나의 추적기(54)는 환자의 대퇴골(F)에 견고하게 고착되고 또 다른 추적기(56)는 환자의 경골(T)에 견고하게 고착된다. 추적기(54, 56)는 뼈의 섹션에 견고하게 고착된다. 추적기(54, 56)는 참고로 본원에 포함되는 미국 특허 제7,725,162호에 나타낸 방식으로 대퇴골(F) 및 경골(T)에 부착될 수 있다. 추적기(54, 56)는 또한 참고로 본원에 포함되는 2014년 1월 16일에 출원되고 발명의 명칭이 "Navigation Systems and Methods for Indicating and Reducing Line-of-Sight Errors"인 미국 특허 출원 제2014/0200621호에 나타낸 것들과 같이 장착될 수도 있을 것이다. 또 다른 실시형태에서, 추적기(54, 56)는 아나토미의 다른 조직에 장착될 수 있다.
기구 추적기(58)는 수술 기구(30)에 견고하게 부착된다. 기구 추적기(58)는 제조 중에 수술 기구(30)에 통합될 수도 있고, 또는 수술 절차를 준비하기 위해 수술 기구(30)에 별도로 장착될 수 있다. 기구 추적기(58)에 의해 추적되고 있는 수술 기구(30)의 치료 단부는 회전 드릴, 전기 삭마 팁, 초음파 팁, 시상(sagittal) 톱날, 또는 다른 타입의 치료 소자를 포함할 수 있다.
추적기(54, 56, 58)는 내부 배터리로 전력이 공급되는 배터리일 수 있고, 또는 로컬라이저 카메라 유닛(46)과 마찬가지로 바람직하게 외부 전력을 수신하는 네비게이션 컴퓨터(34)를 통해 전력을 수신하는 리드를 가질 수 있다.
도시된 실시형태에서, 수술 기구(30)는 가공 스테이션(24)의 조작기(66)에 부착된다. 조작기(66)는 또한 로봇 디바이스 또는 로봇 암으로 지칭될 수도 있다. 이러한 배열은 개시 내용이 본원에 참고로 포함되는, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes" 명칭의 미국 특허 제9,119,655호에 개시되어 있다. 수술 기구(30)는 의료/수술 절차를 수행하는데 유용한 임의의 수술 기구(공구라고도 함)일 수 있다. 수술 기구(30)는 버링(burring) 기구, 전기수술 기구, 초음파 기구, 리머, 임팩터, 시상 톱 또는 다른 기구일 수 있다. 일부 실시형태에서, 다수의 수술 기구는 환자를 치료하기 위해 채용되고, 각각은 로컬라이저(44)에 의해 개별적으로 추적된다.
로컬라이저(44)의 광학 센서(50)는 추적기(54, 56, 58)로부터 광 신호를 수신한다. 예시된 실시형태에서, 추적기(54, 56, 58)는 액티브 추적기이다. 이 실시형태에서, 각각의 추적기(54, 56, 58)는 광 신호를 광학 센서(50)에 전송하기 위한 적어도 3개의 액티브 추적 소자 또는 마커를 갖는다. 액티브 마커는, 예를 들어, 적외선 광과 같은 광을 전송하는 발광 다이오드 또는 LED(60)일 수 있다. 광학 센서(50)는 바람직하게는 100 Hz 이상, 보다 바람직하게는 300 Hz 이상, 가장 바람직하게는 500 Hz 이상의 샘플링 레이트를 갖는다. 일부 실시형태에서, 광학 센서(50)는 8000 Hz의 샘플링 레이트를 갖는다. 샘플링 레이트는 광학 센서(50)가 순차적으로 점화된 LED(60)로부터 광 신호를 수신하는 레이트이다. 일부 실시형태에서, LED(60)로부터의 광 신호는 각 추적기(54, 56, 58)마다 상이한 레이트로 점화된다.
도 2를 참조하면, LED(60) 각각은 네비게이션 컴퓨터(34)에/로부터 데이터를 전송/수신하는 연관된 추적기(54, 56, 58)의 하우징 내에 위치된 추적기 제어부(61)에 연결된다. 일 실시형태에서, 추적기 제어부(61)는 네비게이션 컴퓨터(34)와의 유선 연결을 통해 수 메가바이트/초 정도로 데이터를 전송한다. 다른 실시형태에서, 무선 연결이 사용될 수도 있다. 이들 실시형태에서, 네비게이션 컴퓨터(34)는 추적기 제어부(61)로부터 데이터를 수신하기 위한 트랜시버(도시되지 않음)를 갖는다.
다른 실시형태에서, 추적기(54, 56, 58)는 로컬라이저 카메라 유닛(46)으로부터 방출된 광을 반사하는 리플렉터와 같은 패시브 마커(도시되지 않음)를 가질 수 있다. 그후 반사된 광은 광학 센서(50)에 의해 수신된다. 액티브 및 패시브 배열은 당업계에 잘 알려져 있다.
일부 실시형태에서, 추적기(54, 56, 58)는 또한 참고로 본원에 포함되는, "Navigation System Including Optical and Non-Optical Sensors" 명칭으로 2015년 4월 14일자로 발행된 Wu의 미국 특허 제9,008,757호에 개시된 추적기와 같은, 자이로스코프 센서 및 가속도계를 포함한다.
네비게이션 컴퓨터(34)는 네비게이션 프로세서(62)를 포함한다. 네비게이션 프로세서(62)는 네비게이션 컴퓨터(34)의 동작을 제어하기 위해 하나 이상의 프로세서를 포함할 수 있음을 이해해야 한다. 프로세서는 임의의 유형의 마이크로프로세서 또는 멀티-프로세서 시스템일 수 있다. 용어 프로세서는 임의의 실시형태 범위를 단일 프로세서로 제한하려는 것은 아니다.
로컬라이저 카메라 유닛(46)은 추적기(54, 56, 58)의 LED(60)로부터 광학 신호를 수신하고, 로컬라이저(44)에 대한 추적기(54, 56, 58)의 LED(60)의 위치와 관련된 신호를 네비게이션 프로세서(62)에 출력한다. 수신된 광학 신호(및 일부 실시형태에서는 비-광학 신호)에 기초하여, 네비게이션 프로세서(62)는 예컨대 잘 알려진 삼각측량 방법을 통해 로컬라이저(44)에 대한 추적기(54, 56, 58)의 상대적 위치 및 방위를 나타내는 데이터를 발생시킨다. 일부 실시형태에서, 데이터는 로컬라이저 카메라 제어부(52)에 의해 발생되고, 이후 네비게이션 컴퓨터(34)에 전송된다.
수술 절차의 시작 이전에, 추가의 데이터가 네비게이션 프로세서(62)에 로딩된다. 추적기(54, 56, 58)의 위치 및 방위와 이전에 로딩된 데이터에 기초하여, 네비게이션 프로세서(62)는 수술 기구(30)의 치료 단부의 위치(예를 들어, 수술용 드릴의 중심) 및 대퇴골 타겟 부위(TS)와 같은 치료 단부가 가해질 타겟 부위에 대한 수술 기구(30)의 방위를 결정한다. 일부 실시형태에서, 네비게이션 프로세서(62)는 이들 데이터를 조작기 제어부(64)에 포워딩한다. 그후 조작기 제어부(64)는 개시 내용이 참고로 본원에 포함되는, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes" 명칭의 미국 특허 제9,119,655호에 개시된 바와 같이 조작기(66)를 제어하기 위해 데이터를 사용할 수 있다. 일 실시형태에서, 조작기(66)는 외과의사에 의해 설정된 가상 경계 내에 머물러 있도록 제어된다. 본원에 기재된 실시형태에서, 하나의 이러한 가상 경계는 수술 기구(30)에 의해 제거될 대퇴골(F)의 물질의 체적을 정의한다. 따라서, 가상 경계는 수술 기구(30)의 치료 단부가 내부에 머물러 있는 경계이다. 조작기(66)는, 참고로 본원에 포함되는, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes" 명칭의 미국 특허 제9,119,655호에 개시된 바와 같이, 사용자가 기구(30)를 잡고 조작하여 기구(30)의 이동을 유발하는 동작의 수동 동작 모드로 또는 자동으로 동작하도록 제어될 수 있다.
네비게이션 프로세서(62)는 또한 타겟 부위에 대한 치료 단부의 상대적 위치를 나타내는 이미지 신호를 발생시킨다. 이들 이미지 신호는 디스플레이(36, 38)에 인가된다. 이들 신호에 기초하여, 디스플레이(36, 38)는 외과의사 및 스태프가 타겟 부위에 대한 치료 단부의 상대적 위치를 시각적으로 볼 수 있게 하는 이미지를 발생시킨다. 대부분의 경우, 이미지는 한번에 하나의 타겟 부위에 대한 치료 단부를 나타낸다. 예를 들면, 대퇴골(F) 및 경골(T) 모두가 치료되는 수술 절차에서, 대퇴골 타겟 부위(TS) 및 대퇴골 타겟 부위(TS)에 대한 수술 기구(30)의 치료 단부의 상대 위치는, 물질이 대퇴골(F)로부터 제거되는 동안 시각적으로 나타낼 수 있다. 마찬가지로, 사용자가 대퇴골(F)에서 물질을 제거하여 마무리되고 경골(T)에서 물질을 제거할 준비가 있는 경우, 디스플레이(36, 38)는 경골(T)과 연관된 타겟 부위와 관련하여 수술 기구(30)의 치료 단부의 배치를 단지 나타낼 수도 있다.
도 3을 참조하면, 오브젝트의 추적은 일반적으로 로컬라이저 좌표계(LCLZ)를 참조하여 수행된다. 로컬라이저 좌표계(LCLZ)는 원점과 방위(x, y 및 z 축 세트)를 갖는다. 수술 동안에, 한 가지 목표는 로컬라이저 좌표계(LCLZ)를 알려진 위치에 유지하는 것이다. 로컬라이저 카메라 유닛(46)에 장착된 가속도계(도시되지 않음)는, 로컬라이저 카메라 유닛(46)이 수술 요원에 의해 부주의하게 부딪칠 때 일어날 수도 있는 바와 같이, 로컬라이저 좌표계(LCLZ)의 갑작스러운 또는 예상치 못한 이동을 추적하기 위해 사용될 수 있다.
각각의 추적기(54, 56, 58) 및 추적되는 오브젝트는 또한 로컬라이저 좌표계(LCLZ)와는 별도의 자체 좌표계를 갖는다. 예를 들어, 추적기(54, 56, 58)는 뼈 추적기 좌표계(BTRK1), 뼈 추적기 좌표계(BTRK2), 및 기구 추적기 좌표계(TLTR)를 갖는다.
도시된 실시형태에서, 안내 스테이션(26)은 뼈에 견고하게 부착된 뼈 추적기(54, 56)의 위치를 모니터링함으로써 환자의 대퇴골(F) 및 경골(T)의 위치를 모니터링한다. 대퇴골 좌표계는 FBONE이고 경골 좌표계는 TBONE이며, 이들은 뼈 추적기(54, 56)가 견고하게 부착된 뼈의 좌표계이다.
수술 기구(30)에 의해 치료될 타겟 부위는 가상 오브젝트에 의해 정의된다. 도시된 실시형태에서, 대퇴골 타겟 부위(TS)는 대퇴골(F)과 연관된다. 물론, 경골(T)에 대한 타겟 부위와 같은 여러 다른 타겟 부위도 가능하며, 각각은 그 자신의 별개의 가상 오브젝트에 의해 정의된다. 타겟 부위를 나타내는 가상 오브젝트는 치료될 물질의 체적, 수술 기구(30)에 대한 궤적, 수술 기구(30)에 의해 절단되는 면, 드릴링될 보어 등을 정의하기 위해 사용자에 의해 사전 동작식으로 설정된다. 도시된 실시형태에서, 가상 오브젝트(VB)(도 9 참조)는 대퇴골(F)로부터 제거될 물질의 체적을 정의한다. 어떤 경우에는, 가상 오브젝트가 수술 중에, 즉 수술 절차 동안에 설정되거나 재설정된다. 본원에 설명된 설명은 정형외과 수술 절차에 관한 것이지만, 본원에 기재된 시스템 및 방법은 임의의 유형의 수술 절차에도 마찬가지로 적합하다는 것을 알아야 한다.
절차의 시작 이전에, 대퇴골(F) 및 경골(T)(또는 다른 실시형태에서는 다른 조직 또는 구조)의 수술전의 이미지와 같은 관심있는 아나토미의 수술전 이미지가 발생된다. 이들 이미지는 환자의 아나토미의 MRI 스캔, 방사선 스캔 또는 컴퓨팅된 단층촬영(CT) 스캔을 기반으로 할 수 있다. 이 이미지는 대퇴골(F) 및 경골(T) 및/또는 수술 기구(30)에 의해 치료될 다른 아나토미의 가상 모델과 같은 관심있는 아나토미의 가상 모델을 개발하는데 사용된다. 이러한 가상 모델은 또한 네비게이션 포인터 또는 다른 적합한 디바이스를 사용하여 대퇴골(F) 및 경골(T) 및/또는 치료될 다른 아나토미의 표면 상에 포인트를 캡쳐함으로써 수술 중에 생성될 수 있다. 그러면 포인트가 컴파일되고 가상 모델을 발생시키기 위해 채워지는 포인트 사이의 갭이 컴파일된다. 이러한 포인트 콜렉션은 또한 일반 뼈 모델과 조합하여 일반 뼈 모델을 모핑하여 관심있는 아나토미에 보다 잘 매칭할 수 있다.
종종 가상 모델은 치료중인 전체 아나토미 또는 치료될 아나토미의 적어도 일 부분을 나타내는 데이터 및 타겟 부위를 정의하는 가상 오브젝트를 나타내는 데이터를 포함하는 3-D 모델이다. 도시된 실시형태에서, 대퇴골의 가상 모델(VM)은 대퇴골(F) 및 가상 오브젝트(VB)(도 9 참조)의 일 부분을 나타내는 모델 데이터를 포함하는 3-D 모델이다. 가상 오브젝트(VB)는 외과 절차 동안 대퇴골(F)로부터 제거될 물질의 체적 및 타겟 부위(TS)를 정의한다. 가상 오브젝트는 가상 모델 내에서 정의될 수 있고, 그리고 메시 표면, 보강 고체 지오메트릭(CSG), 복셀로서, 또는 다른 가상 오브젝트 표현 기법을 사용하여 나타낼 수 있다.
수술전 이미지 및/또는 가상 모델은 당업계에 잘 알려진 방법을 사용하여 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)에 매핑된다. 이들 수술전 이미지 및/또는 가상 모델은 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)에 고정된다. 수술전 이미지를 촬영하는 것에 대한 대안으로서, 치료 계획은 키네마틱 연구, 뼈 추적, 및 다른 방법으로부터 수술실(OR)에서 전개될 수 있다. 이들 동일한 방법은 또한 이전에 설명된 3-D 가상 모델을 발생시키는데 사용될 수 있다.
본원에 기재된 절차의 초기 국면 동안, 뼈 추적기(54, 56)는 환자의 뼈에 견고하게 고착된다. 좌표계(FBONE 및 TBONE)의 포즈(위치 및 방위)는 각각 좌표계(BTRK1 및 BTRK2)에 매핑된다. 일 실시형태에서, 자체 추적기(PT)(도 1 참조)를 갖는, 참고로 본원에 포함되는, Malackowski 등의 미국 특허 제7,725,162호에 개시된 바와 같은, 포인터 기구(P)(도 1 참조)는 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)를 뼈 추적기 좌표계(BTRK1 및 BTRK1)에 각각 등록하기 위해 사용될 수 있다. 뼈와 이들의 추적기(54, 56) 사이의 고정된 관계를 고려할 때, 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)에서 대퇴골(F) 및 경골(T)의 위치 및 방위는 뼈 추적기 좌표계(BTRK1 및 BTRK2)로 변환될 수 있으므로 로컬라이저 카메라 유닛(46)은 추적기(54, 56)를 추적함으로써 대퇴골(F) 및 경골(T)을 추적할 수 있다. 이들 포즈-묘사 데이터는 조작기 제어부(64) 및 네비게이션 프로세서(62) 둘 다에 통합된 메모리에 저장된다.
수술 기구(30)의 치료 단부(에너지 애플리케이터의 원위 단부라고도 함)는 자체 좌표계(EAPP)를 갖는다. 좌표계(EAPP)의 원점은, 예를 들어, 수술용 커팅 드릴의 중심을 나타낼 수 있다. 좌표계(EAPP)의 포즈는 절차가 시작되기 전에 기구 추적기 좌표계(TLTR)의 포즈에 고정된다. 따라서, 서로에 대한 이들 좌표계(EAPP, TLTR)의 포즈가 결정된다. 포즈-묘사 데이터는 조작기 제어부(64) 및 네비게이션 프로세서(62)에 통합된 메모리에 저장된다.
도 2를 참조하면, 로컬라이즈 엔진(100)은 네비게이션 시스템(34)의 일부로 간주될 수 있는 소프트웨어 모듈이다. 로컬라이즈 엔진(100)의 컴포넌트는 네비게이션 프로세서(62) 상에서 실행된다. 로컬라이즈 엔진(100)은 조작기 제어부(64) 및/또는 네비게이션 프로세서(62) 상에서 실행될 수 있다.
로컬라이즈 엔진(100)은 로컬라이저 카메라 제어부(52)로부터 광학 기반 신호를, 일부 실시형태에서는, 추적기 제어부(61)로부터 비-광학 기반 신호를, 입력으로서 수신한다. 이들 신호에 기초하여, 로컬라이즈 엔진(100)은 로컬라이저 좌표계(LCLZ)에서 뼈 추적기 좌표계(BTRK1 및 BTRK2)의 포즈를 결정한다. 기구 추적기(58)에 대해 수신된 동일한 신호에 기초하여, 로컬라이즈 엔진(100)은 로컬라이저 좌표계(LCLZ)에서 기구 추적기 좌표계(TLTR)의 포즈를 결정한다.
로컬라이즈 엔진(100)은 추적기(54, 56, 58)의 포즈를 나타내는 신호를 좌표 변환기(102)로 포워딩한다. 좌표 변환기(102)는 네비게이션 프로세서(62) 상에서 실행되는 소프트웨어 모듈이다. 좌표 변환기(102)는 환자의 수술전 이미지 및/또는 가상 모델과 뼈 추적기(54, 56) 사이의 관계를 정의하는 데이터를 참조한다. 또한, 좌표 변환기(102)는 기구 추적기(58)에 대한 수술 기구(30)의 치료 단부의 포즈를 나타내는 데이터를 저장한다. 좌표 변환기(102)는 또한, 가상 모델과 별개인 경우, 가상 오브젝트를 정의하는 데이터를 참조한다.
절차 동안, 좌표 변환기(102)는 로컬라이저(44)에 대한 추적기(54, 56, 58)의 상대적 포즈를 나타내는 데이터를 수신한다. 이들 데이터 및 이전에 로딩된 데이터에 기초하여, 좌표 변환기(102)는 로컬라이저 좌표계(LCLZ)에 대한 좌표계(EAPP) 및 뼈 좌표계(FBONE 및 TBONE) 둘 다의 상대적 위치 및 방위를 나타내는 데이터를 발생시킨다.
결과적으로, 좌표 변환기(102)는 치료 단부가 가해지는 타겟 부위에 대한 수술 기구(30)의 치료 단부의 위치 및 방위를 나타내는 데이터를 발생시킨다. 이들 데이터를 나타내는 이미지 신호는 외과의사 및 스태프가 이 정보를 볼 수 있게 하는 디스플레이(36, 38)에 포워딩된다. 특정 실시형태에서, 이들 데이터를 나타내는 다른 신호는 조작기(66) 및 수술 기구(30)의 대응하는 이동을 안내하기 위해 조작기 제어부(64)에 포워딩될 수 있다. 따라서, 이 데이터는 또한, 다른 가상 오브젝트와 관련하여, 별도의 가상 오브젝트로서, 예를 들면 공구 오브젝트 VI로서 모델링될 수도 있는, 수술 기구(30)의 치료 단부의 가상 위치를 나타낸다.
다시 도 1을 참조하면, 안내 스테이션(26)은 비전 디바이스(72)를 더 포함한다. 도시된 실시형태에서, 비전 디바이스는 수술 기구(30)에 장착된다. 다른 실시형태에서, 비전 디바이스(72)는 로보 암의 원위 단부에서와 같이 로봇 암에 장착될 수 있다. 비전 디바이스(72)는 장애물이 없는 타겟 부위의 시야를 갖도록 배치되는 것이 바람직하다. 비전 디바이스(72)는 네비게이션 컴퓨터(34)와 동작 연통하는 비전 제어부(73)(도 2 참조)를 갖는다. 비전 디바이스(72)는 또한 이미지 디바이스 또는 디지털 이미지 디바이스로 지칭될 수 있다. 비전 디바이스(72)는 외부 하우징(76)을 가지며 하나 이상의 이미지 센서(78)(도 2 참조)를 지원하는 카메라(160)를 포함할 수 있다. 이미지 센서(78)는 CMOS 센서 또는 다른 적합한 센서의 형태일 수 있다.
네비게이션 컴퓨터(34)는 비전 제어부(73)와 통신하여 비전 제어부(73)로부터 카메라(160)의 비전 데이터 세트를 수신한다. 비전 데이터 세트는 비전 좌표계(VIS)(도 3 참조)에 제공된다. 비전 데이터 세트는 카메라(160)가 환자에 대해 이동함에 따라 카메라(160)에 의해 캡쳐되는 비전 좌표계(VIS)에서의 데이터 포인트의 세트일 수 있다. 이들 데이터 포인트는 x, y, z 좌표에 의해 정의된다. 데이터 포인트는 비전 데이터 파일로 세이브되거나 저장될 수 있다.
도 4에 도시된 바와 같이, 대퇴골(F), 경골(T), 및 수술 기구(30) 이외의 물리적 오브젝트는 타겟 부위 근처에 존재한다. 이러한 오브젝트는 리트랙터, 세척/흡입 도구, 수술 가이드, 절개 주위의 피부, 또는 다른 유형의 물리적 오브젝트를 포함할 수 있다. 본원에 기재된 실시형태에서, 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)는 이들 물리적 오브젝트를 식별 및 추적하여 시스템(20)이 수술 기구(30), 대퇴골(F), 경골(T), 및 타겟 부위 근처의 모든 물리적 오브젝트의 상대 위치를 결정할 수 있도록 하며, 예를 들면 그래서 물리적 오브젝트는 수술 절차 동안 수술 기구(30)에 의해 방지될 수 있다. 다른 실시형태에서는, 물리적 오브젝트가 툴 가이드인 경우와 같은 특정 상황에서 수술 기구(30)가 물리적 오브젝트의 하나 이상을 계합할 수 있도록 물리적 오브젝트를 식별 및 추적하는 것이 바람직할 수 있다. 예시할 목적으로, 도시된 물리적 오브젝트는 리트랙터(162)이다.
도 4를 참조하면, 물리적 오브젝트의 각각은 피쳐 세트(170)를 정의하는 다수의 피쳐를 포함하여, 물리적 오브젝트가 카메라(160)를 통해 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)에 의해 수술 절차 동안 식별 및 추적될 수 있도록 한다. 이 피쳐 세트(170)는 카메라(160)에 의해 취해진 비전 데이터 세트에서 식별될 수 있는 다수의 피쳐를 포함한다. 식별할 목적으로, 패턴 인식 기능은 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)에 의해 제공될 수 있다. 시스템(20)은 검출될 피쳐의 배열, 코딩 또는 다른 특성의 사전 지식을 갖는다.
하나 이상의 피쳐는 (예를 들어, 카메라(160)에 의해 검출되는 방사선을 방출하는)액티브 마킹일 수 있다. 추가적으로 또는 대안으로, 하나 이상의 피쳐는 패시브 마킹일 수도 있다. 패시브 마킹은 반사 또는 비반사 특성을 가질 수 있다. 패시브 마킹은 (예를 들어, 절개부 또는 다른 위치를 둘러싸거나 또는 이에 인접하는 환자 피부 상의)물리적 오브젝트의 임의의 강성(예를 들면, 평면형) 또는 가요성 기판 상에의 프린팅, 스티커 등에 의해 실현될 수 있다. 피쳐는 또한 물리적 오브젝트의 표면 상의 코팅에 의해 또는 물리적 오브젝트에서 생성된 표면 거칠기에 의해 정의될 수도 있다. 시스템(20)은 (예를 들어, 교정 정보의 형태의) 피쳐의 사전 지식을 갖는다. 사전 지식은 여러 상이한 유형의 물리적 오브젝트에 대해 피쳐 코딩 방식 및 피쳐의 서로에 대한 위치 중 하나 이상과 관련될 수 있다. 사전에 알려진 피쳐는, 예를 들어, 물리적 오브젝트의 기재 상에 스탬핑 또는 프인팅된 패시브 마킹이거나, 또는 대안으로 액티브 마킹일 수 있다. 절개부를 둘러싼 프린팅된 스티커 또는 다른 패시브 마킹을 사용하는 경우, 사전에 알려진 피쳐는 절개부 개구와 연관되도록 적절하게 이해되는 링 형상 또는 다른 위치에 배치되어 기구(30)가 개구부를 둘러싸는 피부와 다른 조직을 회피하도록 제어될 수 있을 것으로 이해될 수 있다.
카메라(160)는 2 이상의 상이한 관점으로부터 비전 데이터 세트를 취득하여 각각의 비전 데이터 세트가 피쳐 세트(170)의 피쳐 중 적어도 일부를 포함하도록 구성된다. 카메라(160)의 이동은 비전 데이터 세트를 수집할 때 환자에 대한 로봇 디바이스 및/또는 기구(30)의 이동을 초래한다. 이러한 이동은 로봇 디바이스 및/또는 기구(30)의 수동 조작 또는 로봇 디바이스 및/또는 기구(30)의 자율 이동에 의한 것일 수 있다. 일례로서, 카메라(160)는 연속 비디오 데이터 스트림의 형태로 비전 데이터 세트를 제공할 수 있는 비디오 카메라로서(예를 들면, 비디오 프레임으로서) 실현될 수 있다. 일 변형예에서, 카메라(160)는, 카메라(160)가 로봇 디바이스의 자율 이동 중에 로봇 디바이스에 의해 기구(30)와 함께 이동될 수 있도록 기구(30)에 견고하게 장착된다. 다른 변형예에서, 카메라(160)는 로봇 디바이스 및/또는 기구(30)의 수동 조작을 통해 기구(30)와 함께 이동되도록 기구(160)에 견고하게 장착된다. 수술 기구(30)에 장착되는 경우, 카메라(160)는 수술 기구(30)에 의해 타겟팅되는 물리적 오브젝트 및 환자 표면을 포함하는 시야를 갖는다. 일례로서, 수술 기구(30)가 환자를 향하는 종축을 갖는 경우, 시야는 수술 기구(30)의 장축을 따라 연장될 수 있다.
수술 기구(30)에 카메라(160)를 통합하는 것에 의해, 카메라(160)의 비전 좌표계(VIS)가 기구 추적기 좌표계(TLTR)로 쉽게 교정될 수 있음을 이해해야 한다. 이 교정은 제조 동안, 예를 들어 제조 동안 결정된 교정 데이터를 통해 발생할 수 있거나, 또는 종래 교정 방법을 이용하여 절차가 시작되기 이전에 교정될 수 있다. 따라서, 로컬라이저 좌표계(LCLZ)에 대한 비전 좌표계(VIS)의 포즈는 전술한 변형 방법 및 수술 기구(30)와 연관된 기구 추적기(58)의 사용에 기초하여 결정될 수 있다. 결과적으로, 비전 좌표계(VIS)는 또한 로컬라이저 좌표계(LCLZ)로 또는 그 반대로 변형될 수 있다. 포즈-묘사 데이터는 조작기 제어부(64) 및 네비게이션 프로세서(62)에 통합된 메모리에 저장된다.
카메라(160)가 수술 기구(30) 대신에 로봇 디바이스에 장착되는 것과 같은 실시형태에서는, 카메라(160)는 하우징(76)에 견고하게 장착된 비전 디바이스 추적기(도시되지 않음)를 가져 비전 좌표계(VIS)와 로컬라이저 좌표계(LCLZ) 사이의 관계를 확립할 수 있다. 예를 들어, 비전 디바이스 추적기의 좌표계와 비전 좌표계(VIS) 사이의 관계를 정의하는 사전 로딩된 데이터를 사용하여, 좌표 변환기(102)는 로컬라이저 좌표계(LCLZ)에서의 비전 디바이스 추적기의 위치 및 방위에 기초하여, 비전 좌표계(VIS)를 로컬라이저 좌표계(LCLZ)로 변환할 수 있다. 대안으로, 로봇 디바이스가, 예컨대 로봇 디바이스의 베이스에 부착된 로봇 베이스 추적기 및 조인트 인코더(도시되지 않음)를 통해, 로컬라이저 좌표계(LCLZ)에서 별도로 추적되고 있는 경우라면, 카메라(160)는 (예를 들어, 교정 단계를 통해) 로봇 베이스 추적기과 연관되어 카메라(160) 상의 별도의 추적기를 위한 필요성을 제거할 수 있다. 로봇 디바이스의 베이스가 이동하지 않고 로봇 베이스 추적기가 시인되는 한, 로컬라이저(44)는 카메라(160)의 위치 및 방위를 결정할 수 있다.
네비게이션 컴퓨터(34)는 카메라(160)로부터 수신된 비전 데이터 세트를 외부 또는 내부 스토리지에 저장하도록 구성될 수 있다. 상술한 바와 같이, 이들 비젼 데이터 세트는 네비게이션 프로세서(62)에 의해 프로세싱되기 위해 적어도 일시적으로 저장되는 비디오 데이터 스트림의 형태로 수신될 수 있다. 이러한 프로세싱은 예를 들어 수신된 비전 데이터 세트 내의 하나 이상의 피쳐를 식별(예를 들어, 위치 파악 및 디코딩)하기 위한 패턴 인식을 포함할 수 있다.
일 실시형태에서, 패턴 인식 기술을 사용하는 네비게이션 프로세서(62)는 먼저 비전 데이터 세트 내의 다수의 피쳐를 식별하고 비전 좌표계(VIS)에서의 그 좌표를 (예를 들어, 키 포인트 좌표의 형태로) 결정한다. 교정 데이터로서 저장된, 카메라(160)의 투영 모델은 카메라(160)에 의해 제공된 비전 데이터 세트에서 식별된 하나 이상의 피쳐에 대한 카메라(160)의 위치를 결정하는데 사용될 수 있다(예를 들어, 본원에 참고로 통합되는 미국 특허 출원 공개 번호 제 2008/0208041A1호). 특정 투영 모델의 기초가 되는 변환 파라미터는 각각의 카메라 제조자에 의해 또는 시스템(20)의 분배자에 의해 제공될 수 있다. 이들은 또한 현장 교정 픽스쳐(fixture)로 견적을 내거나 특정 카메라 유형에 맞게 표준화될 수 있다. 특정 구현예에서, 변환 파라미터는 (예를 들어, 현재 선택된 줌 레벨에 따라 실시간으로) 카메라(160) 자체에 의해 적절한 인터페이스를 통해 제공될 수 있다.
또한 교정 데이터로서, 예를 들어 네비게이션 시스템(34)의 내부 스토리지에 제공되는 것은 피쳐 세트(170)에 관한 정보이다. 이러한 정보는 피쳐의 상대 위치 및/또는 피쳐의 임의의 적용된 코딩 방식을 포함할 수 있다. 카메라(160)에 의해 (즉, 관련 비전 좌표계(VIS)에서) 취해진 비전 데이터 세트(예를 들어, 이미지)에서의 알려진 피쳐 상대 위치 및 (투영된) 피쳐 상대 위치에 기초하여, 추가 변환의 변환 파라미터는 피쳐 좌표가 제공되는 임의의 참조 좌표계, 예컨대 관심있는 물리적 오브젝트의 물리적 오브젝트 좌표계(POCS) 측을 향한 대응하는 비전 좌표계(VIS)로부터의 배면 투명 관점에 의해 (예를 들어, 실시간으로) 결정될 수 있다(도3 참조). 이것은 카메라(160)에 대한 변환(T1)에 의해 표시된다. 카메라(160)에 대한 변환(T1)의 변환 파라미터는 각각의 개별적인 피쳐(j)에 대한 다음의 등식 시스템을 해결함으로써 계산된다:
Mj,160 = T2·T1-1·Mj,cal,
Mj,160은 비전 좌표계(VIS)에 대한 좌표를 갖는 카메라(160)의 비전 데이터 세트(예를 들어, 비디오 프레임)에서의 이미징된 피쳐(j)이다. Mj,cal은 물리적 오브젝트 좌표계(POCS)에 대한 좌표를 갖는 피쳐(j)(예를 들어, 피쳐(j)의 키 포인트)를 나타내고 교정 데이터로서 제공되며, 그리고 제 2 변환(T2)은 카메라(160)와 그 관련 비전 좌표계(VIS) 사이의 변환 파라미터를 지정한다.
상술된 배면 투영 관점은 때때로 카메라 포즈 추정으로 지칭되거나, 또는 카메라 포즈 추정과 관련하여 수행됨에 유의해야 한다. 도 4에 도시된 실시형태에서, 개별 피쳐는 흑점에 의해 상징화된다. 다수의 코딩된 피쳐도 또한 사용될 수 있다. 각 피쳐는 (개별 피쳐의 오버랩을 허용하는) 고유의 확장된 QR-유형 코딩을 포함하는 2차원 확장을 가질 수 있다. 도 5에서, 개별 확장된 피쳐(170A)는 백색 고리 내에 놓이도록 그래픽으로 도시되고, 여기서 고리의 중심은 피쳐 키 포인트를 정의한다. 일반적으로, 각 확장된 피쳐는 피쳐의 위치 또는 좌표를 나타내는 특정 키 포인트 또는 중심을 정의할 수 있다. 컴퓨터 비전에서, 피쳐라는 용어는 또한 키 포인트 주변(즉, 피쳐 확장의 키 포인트 주변)의 묘사로 지칭된다. 도 6은 고리의 예시적인 형태로 확장된 피쳐에 대한 키 포인트 개념을 개략적으로 도시한다. 키 포인트 개념은 도 5의 피쳐 유형으로 쉽게 확장될 수 있다는 것을 이해할 것이다. 대안적인 실시형태에서, 개별적인 피쳐들이 이와 다르게 정의되고 코딩될 수 있음을 이해할 것이다. 예를 들어, 고리는 도 7의 피쳐(170B)로 도시된 바와 같이 상이한 수의 점선 또는 점선과 점의 조합으로 대시될 수 있다. 또 다른 예로서, 컬러 코딩된 원형 또는 점이 사용될 수 있다. 특정 구현예에서, 개별 피쳐는 플랫(즉, 평면) 표면을 형성하는 작은 지역 내에 물리적 오브젝트 상에서 그룹화될 수 있다. 개별 피쳐의 상대 위치 및 (개별 피쳐의 구별을 가능하게 하는) 그 코딩 방식은 교정 데이터로서 저장될 수 있다.
본 실시형태에서, 물리적 오브젝트 좌표계(POCS)는 도 8에 도시된 바와 같이 물리적 오브젝트의 2차원 표면 상에 제공된 (흑색 및 백색 영역의 조합 형태의) 피쳐(170C)에 의해 정의되거나, 또는 스패닝된다. 이는, 일단 물리적 오브젝트의 표면 상에 정의된 피쳐(추적기 피쳐라고도 함)가 카메라(160)로부터 수신된 비전 데이터 세트에서 식별되고 디코딩되면, 물리적 오브젝트 좌표계(POCS)가 물리적 오브젝트 좌표계(POCS) 내의 이러한 피쳐의 좌표와 함께 결정될 수 있음을 의미한다. 시스템(20)은 또한 전형적으로 물리적 오브젝트 상에 제공된 피쳐의 코딩 및 상대 위치에 관한 (교정 데이터 형태의)사전 지식을 가질 것이다.
추적기 피쳐는 고유할 수 있고 및/또는 네비게이션 시스템(34) 및/또는 조작기 제어부(64)가 피쳐에 기초하여 예컨대 피쳐의 패턴 인식에 의해 또는 피쳐에서의 코딩된 정보에 의해 물리적 오브젝트 또는 물리적 오브젝트에 관한 정보를 식별할 수 있도록 코딩될 수 있다. 이러한 정보는 물리적 오브젝트 식별, 물리적 오브젝트 유형, 물리적 오브젝트 크기, 물리적 오브젝트 치수, 물리적 오브젝트 일련 번호, 또는 물리적 오브젝트 제조자 중 하나 이상을 포함할 수 있다.
도 9를 참조하면, 일단 물리적 오브젝트가 식별되면, 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)는 메모리로부터, 예컨대 물리적 오브젝트의 데이터베이스로부터 물리적 오브젝트 좌표계(POCS) 내의 물리적 오브젝트와 연관된 가상 오브젝트(164)를 검색할 수 있다. 대안적으로, 물리적 오브젝트 상의 피쳐는 가상 오브젝트 식별, 가상 오브젝트 유형, 가상 오브젝트 크기, 또는 가상 오브젝트 치수와 같은 가상 오브젝트에 관한 정보로 코딩될 수 있다. 예를 들어, 네비게이션 컴퓨터(34)에 저장된 물리적 오브젝트의 데이터베이스는 여러 상이한 유형, 및 여러 상이한 크기 및 구성의, 여러 상이한 제조자에 의해 제조된 물리적 오브젝트를 포함할 수 있다. 피쳐에 코딩된 정보는 네비게이션 컴퓨터(34)가 그 특정 물리적 오브젝트의 피쳐에 기초하여 비전 데이터 세트에 시인된 물리적 오브젝트에 대한 특정 상세를 식별할 수 있게 하고, 그리고 또한 그 물리적 오브젝트와 연관된 특정 가상 오브젝트를 검색할 수 있게 한다. 따라서, 예를 들어, 물리적 오브젝트가 특정 크기의 리트랙터인 것으로 식별되면, 연관된 가상 오브젝트는 비교가능한 크기의 것일 수 있다.
가상 오브젝트(164)는, 물리적 오브젝트 좌표계(POCS) 내의 피쳐 좌표의 비전 좌표계(VIS)로의 변환을 통해, 또한 비전 좌표계(VIS)로 변환될 수 있다. 가상 오브젝트(164)는 (도 9에 도시된 바와 같이) 로컬라이저 좌표계(LCLZ)로 더욱 변환되어 수술 기구(30)의 이동이 가상 오브젝트(164)와 관련하여 추적될 수 있게 한다. 이와 관련하여, 가상 오브젝트(164)는 피쳐 좌표와 관련하여 사전 정의될 수 있다. 예를 들어, 리트랙터의 경우, 가상 오브젝트는 리트랙터 상의 피쳐에 대해 확립된 연관 모델 데이터와 리트랙터의 3차원 모델로서 제조 동안 사전 정의되어 가상 오브젝트의 위치와 방위가 물리적 오브젝트 좌표계(POCS)에서 알려져 있다.
대안적인 실시형태에서, 사용자는 수술 기구(30)의 좌표가 알려진 이래로 네비게이션 포인터를 사용하여 또는 수술 기구(30)를 사용하여 가상 오브젝트(164)를 정의할 수 있기 때문에, 물리적 오브젝트와 관련하여 가상 오브젝트(164)의 사전 지식은 필요하지 않다. 결과적으로, 사용자는 네비게이션 포인터로 존을 단순하게 아웃라인함으로써 포인트, 라인, 체적, 영역 등과 같은 "노-플라이(no-fly)" 존을 정의할 수 있다. 이 트레이스/아웃라인된 존은 가상 오브젝트(164)를 추적하는데 사용되는 피쳐(들)와 관련하여 가상 오브젝트(164)를 확립할 것이다.
가상 오브젝트(164)는, 수술 동안 회피될, 리트랙터(162)에 의해 점유된 공간과 같은 체적 또는 영역을 정의할 수 있다. 도 9에 도시된 바와 같이, 가상 오브젝트(164)는 로컬라이저 좌표계(LCLZ)에서 타겟 부위(TS)의 외부에 정의될 수 있다. 다른 실시형태에서, 가상 오브젝트의 부분은 타겟 부위(TS) 내부에 존재할 수 있다. 가상 오브젝트(164)는 디스플레이(36, 38) 상의 사용자에 디스플레이될 네비게이션 프로세서(62)에 의해 프로세싱되어, 사용자가 예를 들어 리트랙터(162)의 가상 오브젝트(164) 및 타겟 부위(TS)에 대한 수술 기구(30)의 위치 및 방위를 시각화할 수 있다. 어떤 경우에, 가상 오브젝트(164)는 3차원 모델, 2차원 표면, 포인트 클라우드, 복셀화된 체적, 표면 메시, 평면, 라인 또는 단일점 중 하나 이상을 포함한다.
리트랙터(162)와 같은 물리적 오브젝트는 타겟 부위(TS) 근처의 조직 중 일부의 탄성 및/또는 유연한 성질로 인해 수술 절차 동안 타겟 부위(TS)에 대해 이동할 수 있음을 주목해야 한다. 결과적으로, 시스템(20)은 로컬라이저 좌표계(LCLZ) 또는 다른 관심 좌표계에서, 가상 오브젝트, 예를 들어 리트랙터(162)와 연관된 가상 오브젝트(164)의 결정된 포즈를 주기적으로 리프레시한다. 가상 오브젝트의 포즈의 이러한 업데이트는, 추적기(54, 56, 58)의 포즈가 로컬라이저에 의해 업데이트되고 있는 것과 동일한 레이트로, 공구 경로를 따른 수술 기구의 각각의 새로운 커맨드된 위치가 조작기 제어부(64)에 의해 계산되는 것과 동일한 레이트로, 또는 임의의 다른 적합한 레이트로 발생할 수 있다. 어떤 경우에, 일부 물리적 오브젝트의 포즈의 업데이트는 다른 것보다 느려질 수 있다. 예를 들어, 수술 기구(30) 위치의 지식이 소정의 경우보다 중요할 수 있기 때문에, 리트렉터(162)의 위치를 업데이트하는 것은 타겟 부위(TS)에 대한 수술 기구(30)의 위치를 업데이트하는 것보다 덜 빈번하게 발생할 수 있다.
일부 실시형태에서, 가상 오브젝트는 다수의 물리적 오브젝트의 위치에 기초하여 생성될 수 있다. 예를 들어, 가상 절개부(168)(도 9 참조)는 도시된 바와 같이 2 이상의 리트랙터(162)의 위치에 의해 정의될 수 있다. 가상 절개부(168)는 이 경우 리트랙터(162)에 의해 아웃라인된 경계를 갖는 가상 개구부일 수 있다. 이와 같이, 리트랙터(162)가 조정됨에 따라, 가상 절개부(168)는 구성을 변경할 수 있다. 다시말해, 가상 절개부(168)는 동적일 수 있고 형상을 변경할 수 있지만, 본원에 기재된 네비게이션 기술로, 가상 절개부(168)는 각각의 새로운 비전 데이터 세트에 의해 계속해서 업데이트될 수 있으며, 그래서 기구(30)는 타겟 부위(TS) 근처의 변화와 무관하게 수술 절차 동안 그러한 물리적 오브젝트와 연관된 가상 오브젝트에 의해 정의된 경계 또는 물리적 오브젝트를 회피할 수 있다.
가상 오브젝트는 회피될 체적 또는 경계를 정의할 수 있고, 따라서 수술 기구(30)의 치료 단부가 진입하지 않게 되는 "노-플라이" 존을 생성할 수 있다. "노-플라이" 존은 타겟 부위 가까에 위치한 민감한 해부학적 구조, 단단한 구조, 보존되어야 할 부드러운 조직과 뼈, 다른 도구 등과 연관될 수 있다. 로컬라이저 좌표계(LCLZ)에서의 가상 오브젝트의 위치의 지식 또는 다른 공통 좌표계로 인해, 조작기(66)가 자율 모드로 동작하는 경우, 조작기(66)는 타겟 부위 가까에 위치한 민감한 해부학적 구조, 단단한 구조, 보존되어야 할 부드러운 조직과 뼈, 다른 도구 등을 피하도록 수술 기구(30)의 포지셔닝을 제어할 수 있다. 로봇 디바이스 및/또는 기구(30)의 수동 조작 동안, 기구(30)로 "노-플라이" 존에 사용자가 진입하는 것을 방지하기 위해 "노-플라이" 존은 사용자에게 햅틱 피드백을 제공하는 햅틱 경계의 역할을 할 수 있을 것이다. 예를 들어, 물리적 오브젝트가 리트랙터인 경우, 물리적 오브젝트의 각각은 리트랙터의 가상 3차원 모델의 형태로 이와 연관된 가상 오브젝트를 갖는다. 물리적 오브젝트는, 카메라(160)에 의해 추적되는 것에 의해, 리트랙터에 대한 수술 기구(30)의 치료 단부의 이동을 추적함으로써 회피될 수 있다. 그후, 조작기 제어부(64)는 리트랙터 중 하나가 공구 경로 내에 포지셔닝되어야 하는 경우 그 공구 경로를 조절하거나 또는 수술 기구(30)의 이동을 정지시킬 수 있다. 대안적으로, 수동 동작 모드에서, 조작기 제어부(64)는 그렇지 않으면 하나 이상의 조인트 모터, 브레이트 등을 능동적으로 작동시킴으로써 리트랙터 중 하나와 로봇 디바이스 및/또는 기구(30)의 충돌을 야기시킬 수도 있는 이동을 제한/정지시켜, 기구(30)가 수동 조작 동안 "노-플라이" 존에 도달하는 경우 사용자에게 햅틱 피드백을 발생시킬 수 있다. 유사하게, 네비게이션 시스템은 리트랙터 중 하나와 같은 물리적 오브젝트가 계획된 공구 경로와 간섭하다고 사용자에게 경고할 수 있고 물리적 오브젝트를 이동시키라고 사용자에게 충고할 수 있다.
도 10을 참조하면, 타겟 부위에 대하여 물리적 오브젝트를 추적하는 방법의 일 실시형태는 자율 모드로 로봇 디바이스를 이용한다. 제 1 단계(300)에서, 타겟 부위를 치료하기 위해 수술 기구(30)가 타겟 부위에 대해 자율적으로 이동되는 것에 의해 카메라(160)는 타겟 부위 근처에서 물리적 오브젝트에 대해 이동된다. 카메라(160)는 또한 물리적 오브젝트에 대해 자율적으로 이동하고 (비록 단일 관점이 충분할지라도) 단계(302)에서 물리적 오브젝트의 다수의 관점으로부터 비전 데이터 세트를 생성한다. 비전 데이터 세트는 비전 좌표계(VIS)에서 정의된다.
하나 이상의 피쳐, 바람직하게 적어도 3 개 또는 4 개의 피쳐는 단계(304)에서 비전 데이터 세트에서 식별된다. 피쳐는 카메라(160)가 단계(306)에서 비전 좌표계(VIS)에서의 각 피쳐의 피쳐 좌표를 결정할 수 있도록 피쳐 세트(170)에서 그룹화될 수 있다. 소정의 실시형태에서 코딩되는 피쳐 또는 다른 시각 식별자는 패턴 인식 기술을 사용하여 인식된다. 이 인식에 기초하여, 물리적 오브젝트에 관한 정보는 단계(310)에서 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)에 의해 캡쳐될 수 있다. 이 정보는 예를 들어 피쳐 좌표에 대한 물리적 오브젝트 좌표계(POCS)의 위치 및 방위를 포함할 수 있다.
단계(312)에서, 물리적 오브젝트 좌표계(POCS)는 그후 좌표 변환기(102)를 통해 비전 좌표계(VIS) 및 로컬라이저 좌표계(LCLZ)로 변환될 수 있다. 단계(314)에서, 가상 오브젝트는 물리적 오브젝트와 연관된다. 가상 오브젝트는 물리적 오브젝트 좌표계(POCS)에서 정의되고, 메모리로부터 검색되고, 그리고 변환으로 인해 비전 좌표계(VIS) 및 후속하여 로컬라이저 좌표계(LCLZ)와 관련하여 정의된다. 단계(316)에서, 조작기 제어부(64)는 이에 부착된 조작기(66) 및 수술 기구(30)의 자율 이동을 정의하여, 수술 기구(30)가 물리적 오브젝트 또는 물리적 오브젝트에 의해 정의된 다른 한정을 회피하도록 한다.
물리적 오브젝트와 연관된 가상 오브젝트가 로컬라이저 좌표계(LCLZ)로 변환되어, 수술 기구(30)의 치료 단부 및 타겟 부위에 대해 추적된다고 하더라도, 임의의 공통 좌표계는 수술 기구(30)의 상대 이동 및 포즈, 타겟 부위, 및 물리적 오브젝트를 추적하도록 사용될 수 있다는 것을 이해해야 하며, 예컨대 조작기 좌표계(MNPL) 또는 다른 좌표계를 들 수 있다.
당업자라면 알 수 있는 바와 같이, 본 실시형태의 양태들은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 하나 이상의 컴퓨터 판독가능 매체(들)로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 본원에 기재된 방법론을 수행하기 위한 명령 또는 코드를 포함하는 컴퓨터 소프트웨어는 하나 이상의 연관된 메모리 디바이스(예를 들어, ROM, 고정식 또는 착탈식 메모리)에 저장될 수 있고, 그리고 이용될 준비가 된 경우, 부분적으로 또는 전체적으로 (예를 들어, RAM으로) 로딩되고 CPU에 의해 구현될 수 있다. 그러한 소프트웨어는 펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함하지만 이에 한정되지는 않는다.
다른 실시형태에서, 물리적 오브젝트의 피쳐 좌표 및 모델은 구조-프롬-모션(SfM) 기술, 동시 로컬화 및 매핑(SLAM) 기술 및 포즈 추정 기술 중 하나 이상을 사용하여 결정될 수 있다. 예를 들어, SLAM은 피쳐 그룹에 적용될 수 있다. 다른 예로서, SfM은 다른 관점으로부터 비전 데이터 세트에서 식별 가능한 개별 피쳐(반드시 피쳐 그룹일 필요는 없음)에 대한 피쳐 트랙을 구축할 수 있다. 상이한 (카메라) 관점을 기반으로 한 삼각 측량은 개별 피쳐 트랙에 적용될 수 있다. 삼각 측량은 (예를 들어, 물리적 오브젝트 좌표계에서) 피쳐 좌표를 3차원으로 재구성하고, 선택적으로 최적화하는데 도움이 될 수 있다.
전술한 설명에서 여러 실시형태가 논의되었다. 그러나, 본원에서 논의된 실시형태는 완전하다거나 또는 본 발명을 임의의 특정한 형태로 제한하려는 것이 아니다. 사용된 용어는 제한보다는 단어가 설명의 성격을 갖게 하려는 것이다. 상기 교시에 비추어 많은 수정 및 변형이 가능하며, 본 발명은 구체적으로 기재된 것과 다르게 실시될 수도 있다.
Claims (28)
- 물리적 오브젝트를 추적하기 위한 네비게이션 시스템으로서,
로봇 디바이스;
상기 로봇 디바이스에 부착 가능한 기구;
비전 디바이스가 상기 로봇 디바이스와 함께 이동 가능하도록 상기 로봇 디바이스 또는 상기 기구 중 하나에 부착된 상기 비전 디바이스로서, 상기 비전 디바이스는 비전 데이터 세트들을 생성하도록 구성되고, 상기 비전 데이터 세트들은 상기 비전 디바이스가 상기 로봇 디바이스를 이동시킬 때 복수의 자유도로 이동되는 것에 의해 가능하게 되는 상기 물리적 오브젝트의 다수의 관점으로부터 캡쳐되는, 상기 비전 디바이스; 및
상기 비전 디바이스와 통신하는 컴퓨팅 시스템으로서, 상기 컴퓨팅 시스템은 상기 비전 데이터 세트들에서 식별 가능한 상기 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 가상 오브젝트를 연관시키도록 구성된 적어도 하나의 프로세서를 갖고, 상기 가상 오브젝트는 상기 기구에 대한 가상 경계를 적어도 부분적으로 정의하는, 상기 컴퓨팅 시스템을 포함하는, 네비게이션 시스템. - 제 1 항에 있어서,
상기 비전 디바이스는 카메라를 포함하는, 네비게이션 시스템. - 제 1 항 또는 제 2 항에 있어서,
상기 컴퓨팅 시스템은 상기 비전 데이터 세트들이 생성되는 상기 비전 디바이스의 각 위치에서 상기 비전 디바이스의 위치 및 방위를 추적하도록 구성되는, 네비게이션 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 컴퓨팅 시스템은 상기 물리적 오브젝트의 상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트의 아이덴티티를 결정하도록 구성되는, 네비게이션 시스템. - 제 4 항에 있어서,
상기 컴퓨팅 시스템은 상기 물리적 오브젝트의 아이덴티티에 기초하여 상기 물리적 오브젝트와 상기 가상 오브젝트를 연관하도록 구성되는, 네비게이션 시스템. - 제 5 항에 있어서,
상기 가상 오브젝트는 3차원 모델, 2차원 표면, 포인트 클라우드, 복셀화된 체적, 표면 메시, 평면, 라인 또는 단일점 중 하나 이상을 포함하는, 네비게이션 시스템. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 하나 이상의 피쳐들은 상기 비전 데이터 세트들에서 식별가능한 피쳐들의 세트를 포함하고, 상기 컴퓨팅 시스템은 상기 물리적 오브젝트와 연관된 제 1 좌표계의 위치 및 방위를 확립하기 위해 상기 피쳐들의 세트의 위치 및 방위를 결정하도록 구성되는, 네비게이션 시스템. - 제 7 항에 있어서,
상기 비전 디바이스는 상기 로봇 디바이스 및 상기 기구 중 상기 하나와 관련하여 고정되어 상기 비전 데이터 세트들이 상기 로봇 디바이스 및 상기 기구 중 상기 하나의 제 2 좌표계로 변환 가능하도록 하는, 네비게이션 시스템. - 제 8 항에 있어서,
상기 컴퓨팅 시스템은 상기 좌표계들 중 하나를 변환하도록 구성된 좌표 변환기를 포함하여 상기 컴퓨팅 시스템이 상기 물리적 오브젝트에 대해 상기 기구의 이동을 추적할 수 있도록 하는, 네비게이션 시스템. - 제 9 항에 있어서,
상기 컴퓨팅 시스템은 상기 물리적 오브젝트와 관련하여 상기 기구의 이동을 추적하는 것에 의해 상기 물리적 오브젝트를 회피하면서 타겟 부위에서의 조직을 치료할 수 있게 상기 기구의 이동을 가능하게 하도록 구성되는, 네비게이션 시스템. - 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 컴퓨팅 시스템은 상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 연관된 정보를 결정하도록 구성되는, 네비게이션 시스템. - 제 11 항에 있어서,
상기 정보는 물리적 오브젝트 식별, 물리적 오브젝트 유형, 물리적 오브젝트 크기, 물리적 오브젝트 치수, 물리적 오브젝트 일련 번호, 물리적 오브젝트 제조자, 가상 오브젝트 식별, 가상 오브젝트 유형, 가상 오브젝트 크기, 또는 가상 오브젝트 치수 중 하나 이상을 포함하는, 네비게이션 시스템. - 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 가상 오브젝트는 네비게이션 포인터 또는 상기 기구 중 적어도 하나에 의해 정의되는, 네비게이션 시스템. - 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 로봇 디바이스는 자율 모드로 동작하도록 구성되어 상기 로봇 디바이스가 상기 자율 모드로 동작할 때 상기 비전 디바이스가 자율적으로 이동하게 하는, 네비게이션 시스템. - 로봇 디바이스, 상기 로봇 디바이스에 부착 가능한 기구, 비전 디바이스, 및 적어도 하나의 프로세서를 갖는 컴퓨팅 시스템을 이용하여 타겟 부위와 관련하여 물리적 오브젝트를 추적하는 방법으로서,
상기 로봇 디바이스의 이동으로부터 초래되는 상기 비전 디바이스의 이동에 응답하여 비전 데이터 세트들을 생성하는 단계; 및
상기 비전 데이터 세트들에서 식별 가능한 상기 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 가상 오브젝트를 연관시키는 단계를 포함하고, 상기 가상 오브젝트는 상기 기구에 대한 가상 경계를 정의하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항에 있어서,
상기 비전 디바이스는 카메라를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항 또는 제 16 항에 있어서,
상기 비전 데이터 세트들이 생성되는 상기 비전 디바이스의 각 위치에서 상기 비전 디바이스의 위치 및 방위를 추적하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 물리적 오브젝트의 상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트의 아이덴티티를 결정하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 18 항에 있어서,
상기 물리적 오브젝트의 아이덴티티에 기초하여 상기 물리적 오브젝트와 상기 가상 오브젝트를 연관시키는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 19 항에 있어서,
상기 가상 오브젝트는 3차원 모델, 2차원 표면, 포인트 클라우드, 복셀화된 체적, 표면 메시, 평면, 라인 또는 단일점 중 하나 이상을 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항 내지 제 20 항 중 어느 한 항에 있어서,
상기 물리적 오브젝트와 연관된 제 1 좌표계의 위치 및 방위를 확립하기 위해 상기 비전 데이터 세트들에서 식별가능한 피쳐들의 세트의 위치 및 방위를 결정하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 21 항에 있어서,
상기 비전 데이터 세트들을 상기 로봇 디바이스 또는 상기 기구 중 하나의 제 2 좌표계로 변환하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 22 항에 있어서,
상기 컴퓨팅 시스템이 상기 물리적 오브젝트에 대해 상기 기구의 이동을 추적할 수 있도록 상기 좌표계들 중 하나를 변환하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 23 항에 있어서,
상기 물리적 오브젝트와 관련하여 상기 기구의 이동을 추적하는 것에 의해 상기 물리적 오브젝트를 회피하면서 타겟 부위에서의 조직을 치료하도록 상기 기구의 이동을 가능하게 하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항 내지 제 24 항 중 어느 한 항에 있어서,
상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 연관된 정보를 결정하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 25 항에 있어서,
상기 정보는 물리적 오브젝트 식별, 물리적 오브젝트 유형, 물리적 오브젝트 크기, 물리적 오브젝트 치수, 물리적 오브젝트 일련 번호, 물리적 오브젝트 제조자, 가상 오브젝트 식별, 가상 오브젝트 유형, 가상 오브젝트 크기, 또는 가상 오브젝트 치수 중 하나 이상을 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항 내지 제 26 항 중 어느 한 항에 있어서,
상기 가상 오브젝트를 네비게이션 포인터 또는 상기 기구 중 적어도 하나로 정의하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법. - 제 15 항 내지 제 27 항 중 어느 한 항에 있어서,
상기 비전 디바이스가 상기 비전 데이터 세트들을 캡쳐하기 위해 자율로 이동하도록 상기 로봇 디바이스를 자율로 이동시키는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662340176P | 2016-05-23 | 2016-05-23 | |
US62/340,176 | 2016-05-23 | ||
PCT/US2017/033962 WO2017205351A1 (en) | 2016-05-23 | 2017-05-23 | Systems and methods for identifying and tracking physical objects during a robotic surgical procedure |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190010860A true KR20190010860A (ko) | 2019-01-31 |
KR102488295B1 KR102488295B1 (ko) | 2023-01-16 |
Family
ID=59021578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187033479A KR102488295B1 (ko) | 2016-05-23 | 2017-05-23 | 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 |
Country Status (8)
Country | Link |
---|---|
US (3) | US10531926B2 (ko) |
EP (2) | EP4186458A1 (ko) |
JP (2) | JP7134872B2 (ko) |
KR (1) | KR102488295B1 (ko) |
CN (2) | CN113616332A (ko) |
AU (2) | AU2017269937B2 (ko) |
CA (1) | CA3025300A1 (ko) |
WO (1) | WO2017205351A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021049761A3 (ko) * | 2019-09-09 | 2021-05-20 | 주식회사 미래컴퍼니 | 서브 블록 단위의 수술 데이터 획득 방법 및 그 장치 |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10799298B2 (en) | 2012-06-21 | 2020-10-13 | Globus Medical Inc. | Robotic fluoroscopic navigation |
US11896446B2 (en) | 2012-06-21 | 2024-02-13 | Globus Medical, Inc | Surgical robotic automation with tracking markers |
US11963755B2 (en) | 2012-06-21 | 2024-04-23 | Globus Medical Inc. | Apparatus for recording probe movement |
US11253327B2 (en) | 2012-06-21 | 2022-02-22 | Globus Medical, Inc. | Systems and methods for automatically changing an end-effector on a surgical robot |
US11045267B2 (en) | 2012-06-21 | 2021-06-29 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
US11786324B2 (en) | 2012-06-21 | 2023-10-17 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
US11399900B2 (en) | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
US12004905B2 (en) | 2012-06-21 | 2024-06-11 | Globus Medical, Inc. | Medical imaging systems using robotic actuators and related methods |
US11864839B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical Inc. | Methods of adjusting a virtual implant and related surgical navigation systems |
US11793570B2 (en) | 2012-06-21 | 2023-10-24 | Globus Medical Inc. | Surgical robotic automation with tracking markers |
US11974822B2 (en) | 2012-06-21 | 2024-05-07 | Globus Medical Inc. | Method for a surveillance marker in robotic-assisted surgery |
US11857266B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | System for a surveillance marker in robotic-assisted surgery |
US11857149B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | Surgical robotic systems with target trajectory deviation monitoring and related methods |
US11864745B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical, Inc. | Surgical robotic system with retractor |
US11298196B2 (en) | 2012-06-21 | 2022-04-12 | Globus Medical Inc. | Surgical robotic automation with tracking markers and controlled tool advancement |
US10624710B2 (en) | 2012-06-21 | 2020-04-21 | Globus Medical, Inc. | System and method for measuring depth of instrumentation |
US11589771B2 (en) | 2012-06-21 | 2023-02-28 | Globus Medical Inc. | Method for recording probe movement and determining an extent of matter removed |
US11317971B2 (en) | 2012-06-21 | 2022-05-03 | Globus Medical, Inc. | Systems and methods related to robotic guidance in surgery |
WO2017028916A1 (en) * | 2015-08-19 | 2017-02-23 | Brainlab Ag | Reference array holder |
US10433921B2 (en) * | 2015-12-28 | 2019-10-08 | Mako Surgical Corp. | Apparatus and methods for robot assisted bone treatment |
EP3777749A3 (en) | 2015-12-31 | 2021-07-21 | Stryker Corporation | System and method for preparing surgery on a patient at a target site defined by a virtual object |
US11883217B2 (en) | 2016-02-03 | 2024-01-30 | Globus Medical, Inc. | Portable medical imaging system and method |
US11064904B2 (en) | 2016-02-29 | 2021-07-20 | Extremity Development Company, Llc | Smart drill, jig, and method of orthopedic surgery |
KR102488295B1 (ko) | 2016-05-23 | 2023-01-16 | 마코 서지컬 코포레이션 | 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 |
ES2899284T3 (es) | 2016-07-15 | 2022-03-10 | Fastbrick Ip Pty Ltd | Vehículo que incorpora una máquina de colocación de ladrillos |
JP7108609B2 (ja) | 2016-07-15 | 2022-07-28 | ファストブリック・アイピー・プロプライエタリー・リミテッド | 材料搬送用ブーム |
JP7170631B2 (ja) | 2016-10-05 | 2022-11-14 | ニューヴェイジヴ,インコーポレイテッド | 外科ナビゲーションシステム及び関連する方法 |
US11065069B2 (en) * | 2017-05-10 | 2021-07-20 | Mako Surgical Corp. | Robotic spine surgery system and methods |
US11033341B2 (en) | 2017-05-10 | 2021-06-15 | Mako Surgical Corp. | Robotic spine surgery system and methods |
CN111095355B (zh) | 2017-07-05 | 2023-10-20 | 快砖知识产权私人有限公司 | 实时定位和定向跟踪器 |
US12011236B2 (en) * | 2017-08-08 | 2024-06-18 | Intuitive Surgical Operations, Inc. | Systems and methods for rendering alerts in a display of a teleoperational system |
CN111226090B (zh) | 2017-08-17 | 2023-05-23 | 快砖知识产权私人有限公司 | 具有改进的横滚角测量的激光跟踪器 |
US11958193B2 (en) | 2017-08-17 | 2024-04-16 | Fastbrick Ip Pty Ltd | Communication system for an interaction system |
EP3672505A4 (en) * | 2017-08-21 | 2021-02-17 | Relign Corporation | ARTHROSCOPY DEVICES AND METHODS |
ES2971624T3 (es) | 2017-10-11 | 2024-06-06 | Fastbrick Ip Pty Ltd | Máquina para transportar objetos |
US11026751B2 (en) * | 2017-12-28 | 2021-06-08 | Cilag Gmbh International | Display of alignment of staple cartridge to prior linear staple line |
US11534242B2 (en) | 2018-02-19 | 2022-12-27 | Mako Surgical Corp. | Surgical systems and methods for identifying tools guided by surgical robots |
WO2019177711A1 (en) * | 2018-03-13 | 2019-09-19 | Intuitive Surgical Operations, Inc. | Methods of guiding manual movement of medical systems |
JP7082090B2 (ja) * | 2018-06-27 | 2022-06-07 | グローバス メディカル インコーポレイティッド | 仮想インプラントを調整する方法および関連する手術用ナビゲーションシステム |
DE102019004235B4 (de) | 2018-07-16 | 2024-01-18 | Mako Surgical Corp. | System und verfahren zur bildbasierten registrierung und kalibrierung |
JP6895128B2 (ja) * | 2018-11-09 | 2021-06-30 | オムロン株式会社 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
US20200205911A1 (en) * | 2019-01-01 | 2020-07-02 | Transenterix Surgical, Inc. | Determining Relative Robot Base Positions Using Computer Vision |
CN118476870A (zh) * | 2019-01-21 | 2024-08-13 | 华科精准(北京)医疗科技有限公司 | 一种手术机器人系统及其使用方法 |
US10959716B2 (en) * | 2019-02-11 | 2021-03-30 | Warsaw Orthopedic, Inc. | Surgical retractor system and method |
CN109758234B (zh) * | 2019-02-15 | 2020-07-31 | 哈尔滨工业大学 | 用于微创手术移动腹腔镜自动控制系统及其控制方法 |
EP3920829A4 (en) * | 2019-02-21 | 2022-11-16 | Extremity Development Company, LLC | INSTRUMENT-BORN OPTICAL KINEMATIC TIME OF FLIGHT POSITIONING SYSTEM FOR PRECISE TARGETING AND OPERATIONAL PROCEDURES |
WO2020190832A1 (en) * | 2019-03-20 | 2020-09-24 | Covidien Lp | Robotic surgical collision detection systems |
EP3711699B1 (en) | 2019-03-21 | 2024-01-03 | Stryker European Operations Limited | Technique for transferring a registration of image data of a surgical object from one surgical navigation system to another surgical navigation system |
US11170526B2 (en) | 2019-03-26 | 2021-11-09 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating tool trajectories |
CN111839619B (zh) * | 2019-04-26 | 2024-04-02 | 华沙整形外科股份有限公司 | 手术牵开器和方法 |
FR3095331A1 (fr) * | 2019-04-26 | 2020-10-30 | Ganymed Robotics | Procédé de chirurgie orthopédique assistée par ordinateur |
WO2020243631A1 (en) | 2019-05-30 | 2020-12-03 | Icahn School Of Medicine At Mount Sinai | Robot mounted camera registration and tracking system for orthopedic and neurological surgery |
WO2020236937A1 (en) * | 2019-05-20 | 2020-11-26 | Icahn School Of Medicine At Mount Sinai | A system and method for interaction and definition of tool pathways for a robotic cutting tool |
US20220079687A1 (en) * | 2019-05-20 | 2022-03-17 | Icahn School Of Medicine At Mount Sinai | Robot mounted camera registration and tracking system for orthopedic and neurological surgery |
CN110251209B (zh) * | 2019-05-24 | 2020-09-15 | 北京贝麦克斯科技有限公司 | 一种校正方法和装置 |
AU2020296088A1 (en) * | 2019-06-18 | 2021-12-23 | Nuvasive, Inc. | Tissue retraction system |
JP7356523B2 (ja) * | 2019-07-03 | 2023-10-04 | ストライカー・コーポレイション | 手術ナビゲーションのための障害物回避技法 |
CN110533702B (zh) * | 2019-08-12 | 2023-04-18 | 上海大学 | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
US11612440B2 (en) | 2019-09-05 | 2023-03-28 | Nuvasive, Inc. | Surgical instrument tracking devices and related methods |
EP4034023A2 (en) | 2019-09-26 | 2022-08-03 | Stryker European Operations Limited | Tracker for a surgical instrument |
EP4034020A2 (en) | 2019-09-26 | 2022-08-03 | Stryker Corporation | Surgical navigation systems |
WO2021084484A2 (en) | 2019-10-29 | 2021-05-06 | Stryker European Operations Limited | Surgical navigation tracker, system, and method |
CN110956633B (zh) * | 2020-02-26 | 2020-11-24 | 南京安科医疗科技有限公司 | 一种基于虚拟立体定位像的快速ct扫描方法及系统 |
CN111388087A (zh) * | 2020-04-26 | 2020-07-10 | 深圳市鑫君特智能医疗器械有限公司 | 手术导航系统及执行手术导航方法的计算机与存储介质 |
CN111513849B (zh) * | 2020-04-30 | 2022-04-19 | 京东方科技集团股份有限公司 | 一种用于穿刺的手术系统、控制方法及控制装置 |
US12089910B2 (en) * | 2020-05-28 | 2024-09-17 | The Chinese University Of Hong Kong | Mobile-electromagnetic coil-based magnetic actuation systems |
US11969218B2 (en) | 2020-07-05 | 2024-04-30 | Asensus Surgical Us, Inc. | Augmented reality surgery set-up for robotic surgical procedures |
CN111906784B (zh) * | 2020-07-23 | 2023-04-07 | 湖南爱米家智能科技有限公司 | 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法 |
US11931113B2 (en) * | 2020-08-03 | 2024-03-19 | Mazor Robotics Ltd. | Systems, devices, and methods for retractor interference avoidance |
CN112155733B (zh) * | 2020-09-29 | 2022-01-28 | 苏州微创畅行机器人有限公司 | 可读存储介质、骨建模配准系统及骨科手术系统 |
CN112402013A (zh) * | 2020-11-20 | 2021-02-26 | 胡颖 | 自动识别超声影像的智能导航系统、电子装置及储存介质 |
US12035979B2 (en) * | 2020-11-30 | 2024-07-16 | Mazor Robotics Ltd. | Autonomous robot tracking |
US20240148447A1 (en) | 2021-03-05 | 2024-05-09 | Stryker European Operations Limited | Systems And Methods For Associating Components Of A Surgical Instrument For Navigation-Assisted Surgery |
CN113509268A (zh) * | 2021-05-12 | 2021-10-19 | 上海交通大学 | 一种混合现实手术导航系统的标定装置及标定方法 |
CN113384347B (zh) * | 2021-06-16 | 2022-07-08 | 瑞龙诺赋(上海)医疗科技有限公司 | 一种机器人标定方法、装置、设备及存储介质 |
US20230020476A1 (en) * | 2021-07-15 | 2023-01-19 | Mazor Robotics Ltd. | Path planning based on work volume mapping |
DE102021126484A1 (de) | 2021-10-13 | 2023-04-13 | B. Braun New Ventures GmbH | Kalibrierungsverfahren zur automatisierten Kalibrierung von Kamera zu medizinischem Roboter und chirurgisches Assistenzsystem |
US20230113312A1 (en) * | 2021-10-13 | 2023-04-13 | Mazor Robotics Ltd. | Systems, methods, and devices for defining a path for a robotic arm |
AU2022370478A1 (en) | 2021-10-18 | 2024-05-02 | Stryker European Operations Limited | Attachment and system for tracking a surgical instrument |
CN114022612A (zh) * | 2021-11-02 | 2022-02-08 | 武汉联影智融医疗科技有限公司 | 模型构建方法、装置、计算机设备和存储介质 |
CN114378825B (zh) * | 2022-01-21 | 2023-05-12 | 四川长虹智能制造技术有限公司 | 一种多相机视觉定位方法、系统及电子设备 |
CN116965937A (zh) * | 2022-04-23 | 2023-10-31 | 深圳市精锋医疗科技股份有限公司 | 手术机器人系统及其控制装置 |
WO2023230349A1 (en) | 2022-05-26 | 2023-11-30 | Stryker Corporation | Alert system behavior based on localization awareness |
WO2023235483A1 (en) | 2022-06-03 | 2023-12-07 | Mako Surgical Corp. | Surgical robotic system with compliance mechanism |
WO2024006578A2 (en) | 2022-07-01 | 2024-01-04 | Stryker Corporation | Methods and systems for zone and implant planning for a surgical procedure |
WO2024052881A1 (en) | 2022-09-08 | 2024-03-14 | Stryker European Operations Limited | Systems and methods for associating components of a surgical instrument for navigation-assisted surgery |
US20240138808A1 (en) * | 2022-10-31 | 2024-05-02 | Procept Biorobotics Corporation | Fiducial systems for probe tracking and identification |
CN116919597B (zh) * | 2023-09-15 | 2023-12-26 | 中南大学 | 基于多视觉融合采集信息的手术导航系统 |
CN118181306B (zh) * | 2024-05-17 | 2024-08-30 | 上海术之道医疗器械有限公司 | 机器人控制方法、装置、控制设备及可读取存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007041267A2 (en) * | 2005-09-30 | 2007-04-12 | Restoration Robotics, Inc. | Automated systems and methods for harvesting and implanting follicular units |
US20140222207A1 (en) * | 2012-08-03 | 2014-08-07 | Stryker Corporation | Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes |
KR20150127031A (ko) * | 2013-03-13 | 2015-11-16 | 스트리커 코포레이션 | 가상 구속 경계들을 확립하기 위한 시스템 |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5662111A (en) | 1991-01-28 | 1997-09-02 | Cosman; Eric R. | Process of stereotactic optical navigation |
US6675040B1 (en) | 1991-01-28 | 2004-01-06 | Sherwood Services Ag | Optical object tracking system |
US5603318A (en) | 1992-04-21 | 1997-02-18 | University Of Utah Research Foundation | Apparatus and method for photogrammetric surgical localization |
US5732703A (en) | 1992-11-30 | 1998-03-31 | The Cleveland Clinic Foundation | Stereotaxy wand and tool guide |
US5682890A (en) | 1995-01-26 | 1997-11-04 | Picker International, Inc. | Magnetic resonance stereotactic surgery with exoskeleton tissue stabilization |
US6167296A (en) | 1996-06-28 | 2000-12-26 | The Board Of Trustees Of The Leland Stanford Junior University | Method for volumetric image navigation |
US5921992A (en) | 1997-04-11 | 1999-07-13 | Radionics, Inc. | Method and system for frameless tool calibration |
US6247812B1 (en) * | 1997-09-25 | 2001-06-19 | Vismed | System and method for diagnosing and treating a target tissue |
US6379302B1 (en) * | 1999-10-28 | 2002-04-30 | Surgical Navigation Technologies Inc. | Navigation information overlay onto ultrasound imagery |
US8239001B2 (en) * | 2003-10-17 | 2012-08-07 | Medtronic Navigation, Inc. | Method and apparatus for surgical navigation |
US20010034530A1 (en) | 2000-01-27 | 2001-10-25 | Malackowski Donald W. | Surgery system |
US6484049B1 (en) | 2000-04-28 | 2002-11-19 | Ge Medical Systems Global Technology Company, Llc | Fluoroscopic tracking and visualization system |
WO2002029700A2 (en) | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
US20030179308A1 (en) * | 2002-03-19 | 2003-09-25 | Lucia Zamorano | Augmented tracking using video, computed data and/or sensing technologies |
US6978167B2 (en) | 2002-07-01 | 2005-12-20 | Claron Technology Inc. | Video pose tracking system and method |
US7155316B2 (en) | 2002-08-13 | 2006-12-26 | Microbotics Corporation | Microsurgical robot system |
US20110015521A1 (en) | 2003-03-27 | 2011-01-20 | Boulder Innovation Group, Inc. | Means of Tracking Movement of Bodies During Medical Treatment |
DE10343826B4 (de) | 2003-09-22 | 2006-02-09 | Plus-Endoprothetik Ag | Knochenfester Lokator und Navigationssystem |
US7623250B2 (en) | 2005-02-04 | 2009-11-24 | Stryker Leibinger Gmbh & Co. Kg. | Enhanced shape characterization device and method |
CA2826925C (en) * | 2005-02-22 | 2017-01-24 | Mako Surgical Corp. | Haptic guidance system and method |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
CA2611404C (en) | 2005-06-09 | 2016-01-12 | Ife Industrielle Forschung Und Entwicklung Gmbh | Device and method for the contactless determination of spatial position/orientation of bodies |
GB2428110A (en) | 2005-07-06 | 2007-01-17 | Armstrong Healthcare Ltd | A robot and method of registering a robot. |
JP4153528B2 (ja) * | 2006-03-10 | 2008-09-24 | ファナック株式会社 | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 |
WO2007113815A2 (en) | 2006-03-30 | 2007-10-11 | Activiews Ltd | System and method for optical position measurement and guidance of a rigid or semi flexible tool to a target |
US9718190B2 (en) * | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
WO2009045827A2 (en) | 2007-09-30 | 2009-04-09 | Intuitive Surgical, Inc. | Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems |
DE102007055203A1 (de) * | 2007-11-19 | 2009-05-20 | Kuka Roboter Gmbh | Einen Roboter aufweisende Vorrichtung, medizinischer Arbeitsplatz und Verfahren zum Registrieren eines Objekts |
US8238631B2 (en) * | 2009-05-13 | 2012-08-07 | Medtronic Navigation, Inc. | System and method for automatic registration between an image and a subject |
DE102010042540B4 (de) | 2010-10-15 | 2014-09-04 | Scopis Gmbh | Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems |
US9370332B2 (en) * | 2010-11-10 | 2016-06-21 | Siemens Medical Solutions Usa, Inc. | Robotic navigated nuclear probe imaging |
US9119655B2 (en) | 2012-08-03 | 2015-09-01 | Stryker Corporation | Surgical manipulator capable of controlling a surgical instrument in multiple modes |
US9921712B2 (en) * | 2010-12-29 | 2018-03-20 | Mako Surgical Corp. | System and method for providing substantially stable control of a surgical tool |
US8601380B2 (en) * | 2011-03-16 | 2013-12-03 | Nokia Corporation | Method and apparatus for displaying interactive preview information in a location-based user interface |
US9572539B2 (en) | 2011-04-08 | 2017-02-21 | Imactis | Device and method for determining the position of an instrument in relation to medical images |
US9188973B2 (en) * | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
US10363102B2 (en) | 2011-12-30 | 2019-07-30 | Mako Surgical Corp. | Integrated surgery method |
CN106923903B (zh) * | 2011-12-30 | 2020-09-29 | 玛口外科股份有限公司 | 用于基于图像的机器人外科手术的系统 |
DE102012208389A1 (de) | 2012-05-18 | 2013-11-21 | Fiagon Gmbh | Registrierverfahren und -vorrichtung für ein Positionserfassungssystem |
US20220346895A1 (en) * | 2012-06-21 | 2022-11-03 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
KR102603224B1 (ko) | 2012-08-03 | 2023-11-16 | 스트리커 코포레이션 | 로봇 수술을 위한 시스템 및 방법 |
US9008757B2 (en) | 2012-09-26 | 2015-04-14 | Stryker Corporation | Navigation system including optical and non-optical sensors |
US8848201B1 (en) * | 2012-10-20 | 2014-09-30 | Google Inc. | Multi-modal three-dimensional scanning of objects |
KR102218244B1 (ko) * | 2012-12-10 | 2021-02-22 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피 |
DE102012025102A1 (de) * | 2012-12-20 | 2014-06-26 | avateramedical GmBH | Endoskop mit einem Mehrkamerasystem für die minimal-invasive Chirurgie |
WO2014113551A2 (en) | 2013-01-16 | 2014-07-24 | Stryker Corporation | Navigation systems and methods for indicating and reducing line-of-sight errors |
CN105377174A (zh) | 2013-02-11 | 2016-03-02 | 尼奥梅德兹有限责任公司 | 用于相对于身体跟踪对象的跟踪设备 |
KR20230173231A (ko) * | 2013-03-11 | 2023-12-26 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
CA2896381C (en) * | 2013-03-15 | 2017-01-10 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
WO2014189969A1 (en) * | 2013-05-21 | 2014-11-27 | Camplex, Inc. | Surgical visualization systems |
US9675419B2 (en) * | 2013-08-21 | 2017-06-13 | Brachium, Inc. | System and method for automating medical procedures |
CN105658167B (zh) | 2013-08-23 | 2018-05-04 | 斯瑞克欧洲控股I公司 | 用来对用于手术导航的坐标转换进行确定的计算机实现技术 |
US10786309B2 (en) | 2013-12-10 | 2020-09-29 | Koninklijke Philips N.V. | Radiation-free registration of an optical shape sensing system to an imaging system |
EP3243476B1 (en) * | 2014-03-24 | 2019-11-06 | Auris Health, Inc. | Systems and devices for catheter driving instinctiveness |
US10912523B2 (en) * | 2014-03-24 | 2021-02-09 | Intuitive Surgical Operations, Inc. | Systems and methods for anatomic motion compensation |
CN111184577A (zh) * | 2014-03-28 | 2020-05-22 | 直观外科手术操作公司 | 器械在视野中的定量三维可视化 |
US20170079723A1 (en) | 2014-05-14 | 2017-03-23 | Brainlab Ag | Method for determining the spatial position of objects |
US9402691B2 (en) | 2014-09-16 | 2016-08-02 | X-Nav Technologies, LLC | System for determining and tracking movement during a medical procedure |
WO2016126914A1 (en) * | 2015-02-05 | 2016-08-11 | Intuitive Surgical Operations, Inc. | System and method for anatomical markers |
US10499996B2 (en) * | 2015-03-26 | 2019-12-10 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
EP3777749A3 (en) * | 2015-12-31 | 2021-07-21 | Stryker Corporation | System and method for preparing surgery on a patient at a target site defined by a virtual object |
KR102488295B1 (ko) | 2016-05-23 | 2023-01-16 | 마코 서지컬 코포레이션 | 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 |
US10398514B2 (en) * | 2016-08-16 | 2019-09-03 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
-
2017
- 2017-05-23 KR KR1020187033479A patent/KR102488295B1/ko active IP Right Grant
- 2017-05-23 EP EP23150744.3A patent/EP4186458A1/en active Pending
- 2017-05-23 EP EP17728712.5A patent/EP3463164B1/en active Active
- 2017-05-23 CN CN202110910973.9A patent/CN113616332A/zh active Pending
- 2017-05-23 JP JP2018561490A patent/JP7134872B2/ja active Active
- 2017-05-23 CN CN201780031879.8A patent/CN109152615B/zh active Active
- 2017-05-23 US US15/602,621 patent/US10531926B2/en active Active
- 2017-05-23 AU AU2017269937A patent/AU2017269937B2/en active Active
- 2017-05-23 WO PCT/US2017/033962 patent/WO2017205351A1/en unknown
- 2017-05-23 CA CA3025300A patent/CA3025300A1/en not_active Abandoned
-
2019
- 2019-12-10 US US16/709,255 patent/US11937881B2/en active Active
-
2022
- 2022-08-31 JP JP2022137689A patent/JP2022169764A/ja active Pending
- 2022-09-16 AU AU2022231780A patent/AU2022231780A1/en active Pending
-
2024
- 2024-01-24 US US18/420,933 patent/US20240156543A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007041267A2 (en) * | 2005-09-30 | 2007-04-12 | Restoration Robotics, Inc. | Automated systems and methods for harvesting and implanting follicular units |
US20140222207A1 (en) * | 2012-08-03 | 2014-08-07 | Stryker Corporation | Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes |
KR20150127031A (ko) * | 2013-03-13 | 2015-11-16 | 스트리커 코포레이션 | 가상 구속 경계들을 확립하기 위한 시스템 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021049761A3 (ko) * | 2019-09-09 | 2021-05-20 | 주식회사 미래컴퍼니 | 서브 블록 단위의 수술 데이터 획득 방법 및 그 장치 |
Also Published As
Publication number | Publication date |
---|---|
AU2022231780A1 (en) | 2022-10-13 |
US20240156543A1 (en) | 2024-05-16 |
JP7134872B2 (ja) | 2022-09-12 |
EP3463164B1 (en) | 2023-01-11 |
KR102488295B1 (ko) | 2023-01-16 |
US11937881B2 (en) | 2024-03-26 |
JP2022169764A (ja) | 2022-11-09 |
AU2017269937B2 (en) | 2022-06-16 |
WO2017205351A1 (en) | 2017-11-30 |
CN109152615B (zh) | 2021-08-17 |
EP4186458A1 (en) | 2023-05-31 |
AU2017269937A1 (en) | 2018-12-06 |
EP3463164A1 (en) | 2019-04-10 |
US20200107887A1 (en) | 2020-04-09 |
CN109152615A (zh) | 2019-01-04 |
US10531926B2 (en) | 2020-01-14 |
CA3025300A1 (en) | 2017-11-30 |
US20170333137A1 (en) | 2017-11-23 |
CN113616332A (zh) | 2021-11-09 |
JP2019523664A (ja) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11937881B2 (en) | Systems and methods for identifying and tracking physical objects during a robotic surgical procedure | |
US11806089B2 (en) | Merging localization and vision data for robotic control | |
US11918305B2 (en) | Systems and methods for establishing virtual constraint boundaries |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |