KR20190010860A - 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 - Google Patents

로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190010860A
KR20190010860A KR1020187033479A KR20187033479A KR20190010860A KR 20190010860 A KR20190010860 A KR 20190010860A KR 1020187033479 A KR1020187033479 A KR 1020187033479A KR 20187033479 A KR20187033479 A KR 20187033479A KR 20190010860 A KR20190010860 A KR 20190010860A
Authority
KR
South Korea
Prior art keywords
physical object
vision
virtual
physical
virtual object
Prior art date
Application number
KR1020187033479A
Other languages
English (en)
Other versions
KR102488295B1 (ko
Inventor
패트릭 뢰슬러
Original Assignee
마코 서지컬 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마코 서지컬 코포레이션 filed Critical 마코 서지컬 코포레이션
Publication of KR20190010860A publication Critical patent/KR20190010860A/ko
Application granted granted Critical
Publication of KR102488295B1 publication Critical patent/KR102488295B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0206—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors with antagonistic arms as supports for retractor elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A61B2034/207—Divots for calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

수술 절차 동안 타겟 부위 근처의 물리적 오브젝트를 추적하기 위한 네비게이션 시스템 및 방법. 네비게이션 시스템은 로봇 디바이스 및 로봇 디바이스에 부착가능한 기구를 포함한다. 비전 디바이스는 로봇 디바이스 또는 기구에 부착되고 비전 데이터 세트를 생성한다. 비전 데이터 세트는 물리적 오브젝트의 다수의 관점에서 캡쳐된다. 컴퓨팅 시스템은 비전 데이터 세트에서 식별 가능한 물리적 오브젝트의 하나 이상의 피쳐에 기초하여 가상 오브젝트를 물리적 오브젝트와 연관시킨다. 가상 오브젝트는 기구에 대한 가상 경계를 적어도 부분적으로 정의한다.

Description

로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
관련 출원
본 출원은 2016 년 5 월 23 일자로 출원된 미국 특허 가출원 제 62/340,176호에 대한 우선권 및 이익을 주장하고, 그 전체 개시물 및 내용은 참조로서 본원에 통합된다.
기술 분야
본 개시물은 일반적으로 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법에 관한 것이다.
네비게이션 시스템은 사용자가 오브젝트의 위치를 정확하게 정하는데 도움을 준다. 예를 들어, 네비게이션 시스템은 산업, 항공우주 및 의료 응용에서 사용된다. 의료 분야에서, 네비게이션 시스템은 외과의사가 환자의 타겟 부위에 대하여 수술 기구를 정확하게 배치하는데 도움을 준다. 타겟 부위는 보통 조직 제거와 같은 어떤 형태의 치료를 필요로 한다. 기존의 네비게이션 시스템은 수술 기구와 연관된 위치 및/또는 방위 데이터 및 타겟 부위, 예를 들어, 제거될 뼈의 체적을 제공하는 추적기와 협업하는 로컬라이저를 채용한다. 로컬라이저는 추적기의 시야를 갖도록 보통 배치된다. 추적기는 수술 기구 및 환자와 협력하여 이동하기 위해 수술기구와 환자에 고정되어 있다. 환자에 부착된 추적기는 종종 치료중인 뼈에 부착되며, 이로써 뼈의 강성 성질로 인해 타겟 부위에 대해 강성 관계를 유지한다. 수술 기구 및 환자에 별도의 추적기를 사용함으로써, 수술 기구의 치료 단부가 타겟 부위에 정확하게 배치될 수 있다.
종종, 리트랙터 또는 다른 물리적 오브젝트가 수술 중 피해야 하는 타겟 부위 근처에 위치해 있다. 리트랙터 또는 다른 물리적 오브젝트는 예를 들어 별도의 추적기를 사용하여 수술 기구와 동일한 방식으로 추적될 수 있지만, 리트랙터 또는 다른 물리적 오브젝트에 추적기를 추가하는 것은, 특히 로컬라이저에 의해 추적될 오브젝트의 수를 증가시킴으로써 네비게이션 시스템의 비용 및 복잡성을 크게 증가시킬 수 있다. 더욱이, 이들 물리적 오브젝트는 보통 기구 및 환자와 연관된 추적기에 대해 상대적으로 이동할 수 있기 때문에, 이들 추가 물리적 오브젝트는 그러한 추적기에 쉽게 레퍼런스되지 않는다. 로컬라이저에 부착된 비디오 카메라로 캡쳐된 이미지 또는 이와 달리 로컬라이저와 관련하여 고정된 이미지에서 오브젝트 인식 기술을 사용하여 이들 추가 물리적 오브젝트를 추적하는 것이 제안되었다. 그러나, 이러한 접근법은 계산상으로 비싸고 어려울 수 있다.
로봇 수술 동안, 특히 로봇 디바이스가 자율적으로 동작할 때, 네비게이션 시스템이 타겟 부위 근처의 모든 물리적 오브젝트의 위치를 식별할 수 없는 경우, 그러한 물리적 오브젝트의 회피는 어렵다. 결과적으로, 로봇 디바이스는 이러한 물리적 오브젝트와의 충돌을 모니터링하도록 현재 제어되고, 그리고 예를 들어 충돌을 표시하는 힘/토크 센서의 피드백에 의존하여 충돌시 셧 다운된다. 그러나, 로봇 디바이스를 셧 다운하기 전에 충돌이 발생할 때까지 기다리는 것은 바람직하지 않으며, 공구에 손상을 입히거나 회전 드릴이나 톱이 리트랙터를 때리는 경우와 같은 충돌로 인해 생길 수 있는 파편으로 환자를 위험에 빠뜨릴 잠재력을 초래할 수 있다. 물리적 오브젝트와의 충돌은 수술 절차를 지연시킬 수 있다. 이러한 지연은 환자가 일반 전신 마취를 실시하거나 이와 달리 수술 절차와 연관된 위험을 증가하는 기간을 연장할 수 있다.
따라서, 로봇 수술 동안 물리적 오브젝트의 식별 및 추적을 해결하는 시스템 및 방법에 대한 필요성이 업계에 존재한다.
일 실시형태에서, 네비게이션 시스템은 수술 절차 동안 타겟 부위 근처의 물리적 오브젝트를 추적하기 위해 제공된다. 네비게이션 시스템은, 로봇 디바이스 및 로봇 디바이스에 부착가능한 기구를 포함한다. 비전 디바이스는, 비전 디바이스가 로봇 디바이스와 이동가능하도록 로봇 디바이스 또는 기구 중 하나에 부착된다. 비전 디바이스는 비전 데이터 세트들을 생성하도록 구성된다. 비전 데이터 세트들은, 로봇 디바이스를 이동시킬 때 비전 디바이스가 복수의 자유도에서 이동되는 것에 의해 가능하게 되는 물리적 오브젝트의 다수의 관점에서 캡쳐된다. 컴퓨팅 시스템은 비전 디바이스와 통신한다. 컴퓨팅 시스템은 비전 데이터 세트들에서 식별 가능한 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 가상 오브젝트를 물리적 오브젝트와 연관시키도록 구성된 적어도 하나의 프로세서를 갖는다. 가상 오브젝트는 기구에 대한 가상 경계를 적어도 부분적으로 정의한다.
또 다른 실시형태에서, 물리적 오브젝트를 추적하는 방법이 제공된다. 이 방법은 로봇 디바이스의 이동으로 인한 비전 디바이스의 이동에 응답하여 비전 데이터 세트를 생성하는 단계를 포함한다. 이 이동의 결과로, 비전 데이터 세트는 물리적 오브젝트의 다수의 관점에서 캡쳐된다. 이 방법은 비전 데이터 세트들에서 식별 가능한 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 가상 오브젝트를 물리적 오브젝트와 연관시키는 단계를 더 포함한다. 가상 오브젝트는 기구에 대한 가상 경계를 정의한다.
이 시스템 및 방법은 여러 이점을 제공한다. 예를 들어, 하나 이상의 피쳐들을 포함하는 물리적 오브젝트에 대해 비전 디바이스를 이동시킴으로써, 컴퓨팅 시스템은 물리적 오브젝트를 식별하고 위치를 정할 수 있고 물리적 오브젝트에 대한 기구의 이동을 추적할 수 있다. 어떤 경우에, 비전 디바이스에 의해 촬영된 단일 비전 데이터 세트(예를 들어, 단일 이미지)는 추적 결과를 향상시키는데 유용한 후속 비전 데이터 세트로 물리적 오브젝트의 위치를 추정하는데 충분할 수 있다. 이것은 기구를 이용한 수술 절차 동안 타겟 부위를 치료하면서 물리적 오브젝트를 회피하는데 유용할 수 있다. 또한, 이동 로봇 디바이스 또는 기구에 비전 디바이스를 부착함으로써, 물리적 오브젝트의 상이한 관점에서 다수의 비전 데이터 세트를, 예를 들어, 상이한 관점에서 다중 비디오 프레임를 취하는 것으로부터 혜택을 받는 저비용 비전 디바이스가 이용될 수 있다. 결과적으로, 그러한 물리적 오브젝트는 별도의 고가의 추적기를 요구하지 않고도 추적될 수 있다.
첨부된 도면과 연계하여 고려할 때 하기의 상세한 설명을 참조함으로써 보다 잘 이해되어지는 바와 같이, 이점들이 용이하게 이해될 것이다.
도 1은 로봇 디바이스, 로컬라이저, 및 비전 디바이스를 포함하는 로봇 수술 시스템의 사시도이다.
도 2는 로봇 수술 시스템을 제어하기 위한 제어 시스템의 개략도이다.
도 3은 로봇 수술 시스템에 사용된 좌표계의 사시도이다.
도 4는 비전 디바이스에 의해 시인되는 물리적 오브젝트를 갖는 수술 부위의 도면이다.
도 5는 물리적 오브젝트의 피쳐의 예이다.
도 6은 물리적 오브젝트 상의 피쳐의 또 다른 예이다.
도 7은 코딩된 피쳐를 포함한 피쳐 그룹의 예이다.
도 8은 코딩된 피쳐를 포함한 피쳐 세트의 예이다.
도 9는 물리적 오브젝트와 연관된 가상 오브젝트의 도면이다.
도 10은 방법에 의해 실행된 단계의 흐름도이다.
도 1에 도시된 바와 같이, 환자(22)를 치료하기 위한 시스템(20)이 도시되어 있다. 시스템(20)은 의료 시설의 수술실과 같은 수술 세팅에 도시되어 있다. 도시된 실시형태에서, 시스템(20) 은 가공 스테이션(24)과 안내 스테이션(26)을 포함한다. 안내 스테이션(26)은 수술실 내의 다양한 오브젝트의 이동을 추적하도록 설정된다. 이러한 오브젝트는 예를 들어 수술 기구(30), 환자의 대퇴골(F) 및 환자의 경골(T)을 포함한다. 안내 스테이션(26)은 상대 위치 및 방위를 사용자에게 표시할 목적으로, 어떤 경우에 대퇴골 타겟 부위(TS)와 같은 타겟 부위에 대한 수술 기구(30)의 이동을 제어 또는 제한할 목적으로 이들 오브젝트를 추적한다. 수술 기구(30)는 가공 스테이션(24)의 일부로서 도시되어 있다.
안내 스테이션(26)은 네비게이션 컴퓨터(34)를 수용하는 네비게이션 카트 조립체(32)를 포함한다. 네비게이션 인터페이스는 네비게이션 컴퓨터(34)와 동작적으로 통신한다. 네비게이션 인터페이스는 무균 필드 밖에 위치되도록 적응된 제 1 디스플레이(36), 및 무균 필드 내부에 위치되도록 적응된 제 2 디스플레이(38)를 포함한다. 디스플레이(36, 38)는 네비게이션 카트 조립체(32)에 조정가능하게 장착된다. 키보드 및 마우스와 같은 제 1 및 제 2 입력 디바이스(40, 42)는 네비게이션 컴퓨터(34)에 정보를 입력하거나 이와 달리 네비게이션 컴퓨터(34)의 어떤 양태들을 선택/제어하기 위해 사용될 수 있다. 터치 스크린(미도시) 또는 음성 활성화를 포함한 다른 입력 디바이스가 고려된다.
로컬라이저(44)는 네비게이션 컴퓨터(34)와 통신한다. 도시된 실시형태에서, 로컬라이저(44)는 광학 로컬라이저이며, 로컬라이저 카메라 유닛(46)을 포함한다. 로컬라이저 카메라 유닛(46)은 하나 이상의 광학 위치 센서(50)를 수용하는 외부 케이싱(48)을 갖는다. 일부 실시형태에서, 적어도 2개, 바람직하게는 3개 이상의 광학 센서(50)가 채용된다. 광학 센서(50)는 3개의 별개의 전하 결합형 디바이스(CCD)일 수 있다. 일 실시형태에서, 3개의 1차원 CCD가 채용된다. 다른 실시형태에서, 각각이 별도의 한 CCD, 또는 2개 이상의 CCD를 갖는 별도의 로컬라이저 카메라 유닛이 수술실 주위에 배열될 수도 있음을 이해해야 한다. CCD는 적외선 신호를 검출한다. 추가하여, 로컬라이저(44)는 상이한 방식을 채용할 수있고 전자기 로컬라이저, RF 로컬라이저, 초음파 로컬라이저, 또는 오브젝트를 추적할 수 있는 임의의 다른 종래의 로컬라이저일 수 있다.
로컬라이저 카메라 유닛(46)은, 이상적으로는 방해가 없는 아래 설명된 추적기의 시야에 광학 센서(50)를 위치시키기 위해 조정가능 암에 장착된다. 일부 실시형태에서, 로컬라이저 카메라 유닛(46)은 회전 조인트에 관하여 회전함으로써 적어도 하나의 자유도에서 조정가능하다. 다른 실시형태에서, 로컬라이저 카메라 유닛(46)은 약 2 이상의 자유도에 관하여 조정가능하다.
로컬라이저 카메라 유닛(46)은 광학 센서(50)로부터 신호를 수신하기 위해 광학 센서(50)와 통신하는 카메라 제어부(52)를 포함한다. 로컬라이저 카메라 제어부(52)는 유선 또는 무선 연결(도시되지 않음)을 통해 네비게이션 컴퓨터(34)와 통신한다. 이러한 한 연결은 고속 통신 및 등시성 실시간 데이터 전송을 위한 직렬 버스 인터페이스 표준인 IEEE 1394 인터페이스일 수 있다. 연결은 또한 회사에 특정한 프로토콜을 사용할 수도 있다. 다른 실시형태에서, 광학 센서(50)는 네비게이션 컴퓨터(34)와 직접 통신한다.
위치 및 방위 신호 및/또는 데이터는 오브젝트를 추적하기 위해 네비게이션 컴퓨터(34)에 전송된다. 네비게이션 카트 조립체(32), 디스플레이(36, 38), 및 로컬라이저 카메라 유닛(46)은 "Suregery System"이라는 명칭으로 2010년 5월 25일 발행된, 본원에 참고로 포함되는 Malackowski 등의 미국 특허 제7,725,162호에 기재된 것과 유사할 수 있다.
네비게이션 컴퓨터(34)는 본원에 기재된 기능의 실행에 필요한 디스플레이(36, 28), 중앙 처리 유닛(CPU) 및/또는 다른 프로세서(62), 메모리(도시되지 않음), 및 스토리지(도시되지 않음)를 갖는다. 네비게이션 컴퓨터(34)에는 이하에서 설명되는 바와 같이 소프트웨어가 로딩된다. 소프트웨어는 로컬라이저 카메라 유닛(46)으로부터 수신된 신호를 로컬라이저에 의해 추적되는 오브젝트의 위치 및 방위를 나타내는 로컬라이저 데이터로 변환한다. 네비게이션 컴퓨터(34)는 컴퓨터 네트워크(예컨대 근거리 통신망 (Local Area Network; LAN) 및/또는 인터넷)와 유선 또는 무선 통신할 수 있다. CD-ROM 또는 SD 카드와 같은 데이터 캐리어를 판독하는 디바이스 또는 범용 직렬 버스(USB) 인터페이스와 같은 하나 이상의 데이터 인터페이스가 네비게이션 컴퓨터(34)에 제공될 수 있다. 내부 스토리지 또는 외부 스토리지 또는 둘 모두는 촬상 디바이스에 의해 촬영된 환자 이미지의 이미지 데이터를 저장하도록 구성될 수 있다. 대안으로, 또는 부가적으로, 그러한 이미지 데이터는 또한 컴퓨터 네트워크를 통해 수신될 수 있다(예를 들어, 다운로드될 수 있다). 또한, 내부 스토리지 또는 외부 스토리지 또는 둘 모두는 본원에 기재된 교정 데이터/정보의 다양한 아이템을 저장하도록 구성될 수 있다. 이러한 교정 데이터/정보는 시스템(20)의 사전 지식을 구성하며, 다양한 교정 데이터의 예가 아래에서 보다 상세히 설명될 것이다. 인식할 수 있는 바와 같이, 시스템(20)의 사전 지식은 대안적으로 또는 부가적으로 정보의 다른 아이템을 포함할 수 있다.
안내 스테이션(26)은 본원에서 추적기로도 지칭되는 복수의 추적 디바이스(54, 56, 58)와 동작할 수 있다. 도시된 실시형태에서, 하나의 추적기(54)는 환자의 대퇴골(F)에 견고하게 고착되고 또 다른 추적기(56)는 환자의 경골(T)에 견고하게 고착된다. 추적기(54, 56)는 뼈의 섹션에 견고하게 고착된다. 추적기(54, 56)는 참고로 본원에 포함되는 미국 특허 제7,725,162호에 나타낸 방식으로 대퇴골(F) 및 경골(T)에 부착될 수 있다. 추적기(54, 56)는 또한 참고로 본원에 포함되는 2014년 1월 16일에 출원되고 발명의 명칭이 "Navigation Systems and Methods for Indicating and Reducing Line-of-Sight Errors"인 미국 특허 출원 제2014/0200621호에 나타낸 것들과 같이 장착될 수도 있을 것이다. 또 다른 실시형태에서, 추적기(54, 56)는 아나토미의 다른 조직에 장착될 수 있다.
기구 추적기(58)는 수술 기구(30)에 견고하게 부착된다. 기구 추적기(58)는 제조 중에 수술 기구(30)에 통합될 수도 있고, 또는 수술 절차를 준비하기 위해 수술 기구(30)에 별도로 장착될 수 있다. 기구 추적기(58)에 의해 추적되고 있는 수술 기구(30)의 치료 단부는 회전 드릴, 전기 삭마 팁, 초음파 팁, 시상(sagittal) 톱날, 또는 다른 타입의 치료 소자를 포함할 수 있다.
추적기(54, 56, 58)는 내부 배터리로 전력이 공급되는 배터리일 수 있고, 또는 로컬라이저 카메라 유닛(46)과 마찬가지로 바람직하게 외부 전력을 수신하는 네비게이션 컴퓨터(34)를 통해 전력을 수신하는 리드를 가질 수 있다.
도시된 실시형태에서, 수술 기구(30)는 가공 스테이션(24)의 조작기(66)에 부착된다. 조작기(66)는 또한 로봇 디바이스 또는 로봇 암으로 지칭될 수도 있다. 이러한 배열은 개시 내용이 본원에 참고로 포함되는, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes" 명칭의 미국 특허 제9,119,655호에 개시되어 있다. 수술 기구(30)는 의료/수술 절차를 수행하는데 유용한 임의의 수술 기구(공구라고도 함)일 수 있다. 수술 기구(30)는 버링(burring) 기구, 전기수술 기구, 초음파 기구, 리머, 임팩터, 시상 톱 또는 다른 기구일 수 있다. 일부 실시형태에서, 다수의 수술 기구는 환자를 치료하기 위해 채용되고, 각각은 로컬라이저(44)에 의해 개별적으로 추적된다.
로컬라이저(44)의 광학 센서(50)는 추적기(54, 56, 58)로부터 광 신호를 수신한다. 예시된 실시형태에서, 추적기(54, 56, 58)는 액티브 추적기이다. 이 실시형태에서, 각각의 추적기(54, 56, 58)는 광 신호를 광학 센서(50)에 전송하기 위한 적어도 3개의 액티브 추적 소자 또는 마커를 갖는다. 액티브 마커는, 예를 들어, 적외선 광과 같은 광을 전송하는 발광 다이오드 또는 LED(60)일 수 있다. 광학 센서(50)는 바람직하게는 100 Hz 이상, 보다 바람직하게는 300 Hz 이상, 가장 바람직하게는 500 Hz 이상의 샘플링 레이트를 갖는다. 일부 실시형태에서, 광학 센서(50)는 8000 Hz의 샘플링 레이트를 갖는다. 샘플링 레이트는 광학 센서(50)가 순차적으로 점화된 LED(60)로부터 광 신호를 수신하는 레이트이다. 일부 실시형태에서, LED(60)로부터의 광 신호는 각 추적기(54, 56, 58)마다 상이한 레이트로 점화된다.
도 2를 참조하면, LED(60) 각각은 네비게이션 컴퓨터(34)에/로부터 데이터를 전송/수신하는 연관된 추적기(54, 56, 58)의 하우징 내에 위치된 추적기 제어부(61)에 연결된다. 일 실시형태에서, 추적기 제어부(61)는 네비게이션 컴퓨터(34)와의 유선 연결을 통해 수 메가바이트/초 정도로 데이터를 전송한다. 다른 실시형태에서, 무선 연결이 사용될 수도 있다. 이들 실시형태에서, 네비게이션 컴퓨터(34)는 추적기 제어부(61)로부터 데이터를 수신하기 위한 트랜시버(도시되지 않음)를 갖는다.
다른 실시형태에서, 추적기(54, 56, 58)는 로컬라이저 카메라 유닛(46)으로부터 방출된 광을 반사하는 리플렉터와 같은 패시브 마커(도시되지 않음)를 가질 수 있다. 그후 반사된 광은 광학 센서(50)에 의해 수신된다. 액티브 및 패시브 배열은 당업계에 잘 알려져 있다.
일부 실시형태에서, 추적기(54, 56, 58)는 또한 참고로 본원에 포함되는, "Navigation System Including Optical and Non-Optical Sensors" 명칭으로 2015년 4월 14일자로 발행된 Wu의 미국 특허 제9,008,757호에 개시된 추적기와 같은, 자이로스코프 센서 및 가속도계를 포함한다.
네비게이션 컴퓨터(34)는 네비게이션 프로세서(62)를 포함한다. 네비게이션 프로세서(62)는 네비게이션 컴퓨터(34)의 동작을 제어하기 위해 하나 이상의 프로세서를 포함할 수 있음을 이해해야 한다. 프로세서는 임의의 유형의 마이크로프로세서 또는 멀티-프로세서 시스템일 수 있다. 용어 프로세서는 임의의 실시형태 범위를 단일 프로세서로 제한하려는 것은 아니다.
로컬라이저 카메라 유닛(46)은 추적기(54, 56, 58)의 LED(60)로부터 광학 신호를 수신하고, 로컬라이저(44)에 대한 추적기(54, 56, 58)의 LED(60)의 위치와 관련된 신호를 네비게이션 프로세서(62)에 출력한다. 수신된 광학 신호(및 일부 실시형태에서는 비-광학 신호)에 기초하여, 네비게이션 프로세서(62)는 예컨대 잘 알려진 삼각측량 방법을 통해 로컬라이저(44)에 대한 추적기(54, 56, 58)의 상대적 위치 및 방위를 나타내는 데이터를 발생시킨다. 일부 실시형태에서, 데이터는 로컬라이저 카메라 제어부(52)에 의해 발생되고, 이후 네비게이션 컴퓨터(34)에 전송된다.
수술 절차의 시작 이전에, 추가의 데이터가 네비게이션 프로세서(62)에 로딩된다. 추적기(54, 56, 58)의 위치 및 방위와 이전에 로딩된 데이터에 기초하여, 네비게이션 프로세서(62)는 수술 기구(30)의 치료 단부의 위치(예를 들어, 수술용 드릴의 중심) 및 대퇴골 타겟 부위(TS)와 같은 치료 단부가 가해질 타겟 부위에 대한 수술 기구(30)의 방위를 결정한다. 일부 실시형태에서, 네비게이션 프로세서(62)는 이들 데이터를 조작기 제어부(64)에 포워딩한다. 그후 조작기 제어부(64)는 개시 내용이 참고로 본원에 포함되는, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes" 명칭의 미국 특허 제9,119,655호에 개시된 바와 같이 조작기(66)를 제어하기 위해 데이터를 사용할 수 있다. 일 실시형태에서, 조작기(66)는 외과의사에 의해 설정된 가상 경계 내에 머물러 있도록 제어된다. 본원에 기재된 실시형태에서, 하나의 이러한 가상 경계는 수술 기구(30)에 의해 제거될 대퇴골(F)의 물질의 체적을 정의한다. 따라서, 가상 경계는 수술 기구(30)의 치료 단부가 내부에 머물러 있는 경계이다. 조작기(66)는, 참고로 본원에 포함되는, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes" 명칭의 미국 특허 제9,119,655호에 개시된 바와 같이, 사용자가 기구(30)를 잡고 조작하여 기구(30)의 이동을 유발하는 동작의 수동 동작 모드로 또는 자동으로 동작하도록 제어될 수 있다.
네비게이션 프로세서(62)는 또한 타겟 부위에 대한 치료 단부의 상대적 위치를 나타내는 이미지 신호를 발생시킨다. 이들 이미지 신호는 디스플레이(36, 38)에 인가된다. 이들 신호에 기초하여, 디스플레이(36, 38)는 외과의사 및 스태프가 타겟 부위에 대한 치료 단부의 상대적 위치를 시각적으로 볼 수 있게 하는 이미지를 발생시킨다. 대부분의 경우, 이미지는 한번에 하나의 타겟 부위에 대한 치료 단부를 나타낸다. 예를 들면, 대퇴골(F) 및 경골(T) 모두가 치료되는 수술 절차에서, 대퇴골 타겟 부위(TS) 및 대퇴골 타겟 부위(TS)에 대한 수술 기구(30)의 치료 단부의 상대 위치는, 물질이 대퇴골(F)로부터 제거되는 동안 시각적으로 나타낼 수 있다. 마찬가지로, 사용자가 대퇴골(F)에서 물질을 제거하여 마무리되고 경골(T)에서 물질을 제거할 준비가 있는 경우, 디스플레이(36, 38)는 경골(T)과 연관된 타겟 부위와 관련하여 수술 기구(30)의 치료 단부의 배치를 단지 나타낼 수도 있다.
도 3을 참조하면, 오브젝트의 추적은 일반적으로 로컬라이저 좌표계(LCLZ)를 참조하여 수행된다. 로컬라이저 좌표계(LCLZ)는 원점과 방위(x, y 및 z 축 세트)를 갖는다. 수술 동안에, 한 가지 목표는 로컬라이저 좌표계(LCLZ)를 알려진 위치에 유지하는 것이다. 로컬라이저 카메라 유닛(46)에 장착된 가속도계(도시되지 않음)는, 로컬라이저 카메라 유닛(46)이 수술 요원에 의해 부주의하게 부딪칠 때 일어날 수도 있는 바와 같이, 로컬라이저 좌표계(LCLZ)의 갑작스러운 또는 예상치 못한 이동을 추적하기 위해 사용될 수 있다.
각각의 추적기(54, 56, 58) 및 추적되는 오브젝트는 또한 로컬라이저 좌표계(LCLZ)와는 별도의 자체 좌표계를 갖는다. 예를 들어, 추적기(54, 56, 58)는 뼈 추적기 좌표계(BTRK1), 뼈 추적기 좌표계(BTRK2), 및 기구 추적기 좌표계(TLTR)를 갖는다.
도시된 실시형태에서, 안내 스테이션(26)은 뼈에 견고하게 부착된 뼈 추적기(54, 56)의 위치를 모니터링함으로써 환자의 대퇴골(F) 및 경골(T)의 위치를 모니터링한다. 대퇴골 좌표계는 FBONE이고 경골 좌표계는 TBONE이며, 이들은 뼈 추적기(54, 56)가 견고하게 부착된 뼈의 좌표계이다.
수술 기구(30)에 의해 치료될 타겟 부위는 가상 오브젝트에 의해 정의된다. 도시된 실시형태에서, 대퇴골 타겟 부위(TS)는 대퇴골(F)과 연관된다. 물론, 경골(T)에 대한 타겟 부위와 같은 여러 다른 타겟 부위도 가능하며, 각각은 그 자신의 별개의 가상 오브젝트에 의해 정의된다. 타겟 부위를 나타내는 가상 오브젝트는 치료될 물질의 체적, 수술 기구(30)에 대한 궤적, 수술 기구(30)에 의해 절단되는 면, 드릴링될 보어 등을 정의하기 위해 사용자에 의해 사전 동작식으로 설정된다. 도시된 실시형태에서, 가상 오브젝트(VB)(도 9 참조)는 대퇴골(F)로부터 제거될 물질의 체적을 정의한다. 어떤 경우에는, 가상 오브젝트가 수술 중에, 즉 수술 절차 동안에 설정되거나 재설정된다. 본원에 설명된 설명은 정형외과 수술 절차에 관한 것이지만, 본원에 기재된 시스템 및 방법은 임의의 유형의 수술 절차에도 마찬가지로 적합하다는 것을 알아야 한다.
절차의 시작 이전에, 대퇴골(F) 및 경골(T)(또는 다른 실시형태에서는 다른 조직 또는 구조)의 수술전의 이미지와 같은 관심있는 아나토미의 수술전 이미지가 발생된다. 이들 이미지는 환자의 아나토미의 MRI 스캔, 방사선 스캔 또는 컴퓨팅된 단층촬영(CT) 스캔을 기반으로 할 수 있다. 이 이미지는 대퇴골(F) 및 경골(T) 및/또는 수술 기구(30)에 의해 치료될 다른 아나토미의 가상 모델과 같은 관심있는 아나토미의 가상 모델을 개발하는데 사용된다. 이러한 가상 모델은 또한 네비게이션 포인터 또는 다른 적합한 디바이스를 사용하여 대퇴골(F) 및 경골(T) 및/또는 치료될 다른 아나토미의 표면 상에 포인트를 캡쳐함으로써 수술 중에 생성될 수 있다. 그러면 포인트가 컴파일되고 가상 모델을 발생시키기 위해 채워지는 포인트 사이의 갭이 컴파일된다. 이러한 포인트 콜렉션은 또한 일반 뼈 모델과 조합하여 일반 뼈 모델을 모핑하여 관심있는 아나토미에 보다 잘 매칭할 수 있다.
종종 가상 모델은 치료중인 전체 아나토미 또는 치료될 아나토미의 적어도 일 부분을 나타내는 데이터 및 타겟 부위를 정의하는 가상 오브젝트를 나타내는 데이터를 포함하는 3-D 모델이다. 도시된 실시형태에서, 대퇴골의 가상 모델(VM)은 대퇴골(F) 및 가상 오브젝트(VB)(도 9 참조)의 일 부분을 나타내는 모델 데이터를 포함하는 3-D 모델이다. 가상 오브젝트(VB)는 외과 절차 동안 대퇴골(F)로부터 제거될 물질의 체적 및 타겟 부위(TS)를 정의한다. 가상 오브젝트는 가상 모델 내에서 정의될 수 있고, 그리고 메시 표면, 보강 고체 지오메트릭(CSG), 복셀로서, 또는 다른 가상 오브젝트 표현 기법을 사용하여 나타낼 수 있다.
수술전 이미지 및/또는 가상 모델은 당업계에 잘 알려진 방법을 사용하여 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)에 매핑된다. 이들 수술전 이미지 및/또는 가상 모델은 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)에 고정된다. 수술전 이미지를 촬영하는 것에 대한 대안으로서, 치료 계획은 키네마틱 연구, 뼈 추적, 및 다른 방법으로부터 수술실(OR)에서 전개될 수 있다. 이들 동일한 방법은 또한 이전에 설명된 3-D 가상 모델을 발생시키는데 사용될 수 있다.
본원에 기재된 절차의 초기 국면 동안, 뼈 추적기(54, 56)는 환자의 뼈에 견고하게 고착된다. 좌표계(FBONE 및 TBONE)의 포즈(위치 및 방위)는 각각 좌표계(BTRK1 및 BTRK2)에 매핑된다. 일 실시형태에서, 자체 추적기(PT)(도 1 참조)를 갖는, 참고로 본원에 포함되는, Malackowski 등의 미국 특허 제7,725,162호에 개시된 바와 같은, 포인터 기구(P)(도 1 참조)는 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)를 뼈 추적기 좌표계(BTRK1 및 BTRK1)에 각각 등록하기 위해 사용될 수 있다. 뼈와 이들의 추적기(54, 56) 사이의 고정된 관계를 고려할 때, 대퇴골 좌표계(FBONE) 및 경골 좌표계(TBONE)에서 대퇴골(F) 및 경골(T)의 위치 및 방위는 뼈 추적기 좌표계(BTRK1 및 BTRK2)로 변환될 수 있으므로 로컬라이저 카메라 유닛(46)은 추적기(54, 56)를 추적함으로써 대퇴골(F) 및 경골(T)을 추적할 수 있다. 이들 포즈-묘사 데이터는 조작기 제어부(64) 및 네비게이션 프로세서(62) 둘 다에 통합된 메모리에 저장된다.
수술 기구(30)의 치료 단부(에너지 애플리케이터의 원위 단부라고도 함)는 자체 좌표계(EAPP)를 갖는다. 좌표계(EAPP)의 원점은, 예를 들어, 수술용 커팅 드릴의 중심을 나타낼 수 있다. 좌표계(EAPP)의 포즈는 절차가 시작되기 전에 기구 추적기 좌표계(TLTR)의 포즈에 고정된다. 따라서, 서로에 대한 이들 좌표계(EAPP, TLTR)의 포즈가 결정된다. 포즈-묘사 데이터는 조작기 제어부(64) 및 네비게이션 프로세서(62)에 통합된 메모리에 저장된다.
도 2를 참조하면, 로컬라이즈 엔진(100)은 네비게이션 시스템(34)의 일부로 간주될 수 있는 소프트웨어 모듈이다. 로컬라이즈 엔진(100)의 컴포넌트는 네비게이션 프로세서(62) 상에서 실행된다. 로컬라이즈 엔진(100)은 조작기 제어부(64) 및/또는 네비게이션 프로세서(62) 상에서 실행될 수 있다.
로컬라이즈 엔진(100)은 로컬라이저 카메라 제어부(52)로부터 광학 기반 신호를, 일부 실시형태에서는, 추적기 제어부(61)로부터 비-광학 기반 신호를, 입력으로서 수신한다. 이들 신호에 기초하여, 로컬라이즈 엔진(100)은 로컬라이저 좌표계(LCLZ)에서 뼈 추적기 좌표계(BTRK1 및 BTRK2)의 포즈를 결정한다. 기구 추적기(58)에 대해 수신된 동일한 신호에 기초하여, 로컬라이즈 엔진(100)은 로컬라이저 좌표계(LCLZ)에서 기구 추적기 좌표계(TLTR)의 포즈를 결정한다.
로컬라이즈 엔진(100)은 추적기(54, 56, 58)의 포즈를 나타내는 신호를 좌표 변환기(102)로 포워딩한다. 좌표 변환기(102)는 네비게이션 프로세서(62) 상에서 실행되는 소프트웨어 모듈이다. 좌표 변환기(102)는 환자의 수술전 이미지 및/또는 가상 모델과 뼈 추적기(54, 56) 사이의 관계를 정의하는 데이터를 참조한다. 또한, 좌표 변환기(102)는 기구 추적기(58)에 대한 수술 기구(30)의 치료 단부의 포즈를 나타내는 데이터를 저장한다. 좌표 변환기(102)는 또한, 가상 모델과 별개인 경우, 가상 오브젝트를 정의하는 데이터를 참조한다.
절차 동안, 좌표 변환기(102)는 로컬라이저(44)에 대한 추적기(54, 56, 58)의 상대적 포즈를 나타내는 데이터를 수신한다. 이들 데이터 및 이전에 로딩된 데이터에 기초하여, 좌표 변환기(102)는 로컬라이저 좌표계(LCLZ)에 대한 좌표계(EAPP) 및 뼈 좌표계(FBONE 및 TBONE) 둘 다의 상대적 위치 및 방위를 나타내는 데이터를 발생시킨다.
결과적으로, 좌표 변환기(102)는 치료 단부가 가해지는 타겟 부위에 대한 수술 기구(30)의 치료 단부의 위치 및 방위를 나타내는 데이터를 발생시킨다. 이들 데이터를 나타내는 이미지 신호는 외과의사 및 스태프가 이 정보를 볼 수 있게 하는 디스플레이(36, 38)에 포워딩된다. 특정 실시형태에서, 이들 데이터를 나타내는 다른 신호는 조작기(66) 및 수술 기구(30)의 대응하는 이동을 안내하기 위해 조작기 제어부(64)에 포워딩될 수 있다. 따라서, 이 데이터는 또한, 다른 가상 오브젝트와 관련하여, 별도의 가상 오브젝트로서, 예를 들면 공구 오브젝트 VI로서 모델링될 수도 있는, 수술 기구(30)의 치료 단부의 가상 위치를 나타낸다.
다시 도 1을 참조하면, 안내 스테이션(26)은 비전 디바이스(72)를 더 포함한다. 도시된 실시형태에서, 비전 디바이스는 수술 기구(30)에 장착된다. 다른 실시형태에서, 비전 디바이스(72)는 로보 암의 원위 단부에서와 같이 로봇 암에 장착될 수 있다. 비전 디바이스(72)는 장애물이 없는 타겟 부위의 시야를 갖도록 배치되는 것이 바람직하다. 비전 디바이스(72)는 네비게이션 컴퓨터(34)와 동작 연통하는 비전 제어부(73)(도 2 참조)를 갖는다. 비전 디바이스(72)는 또한 이미지 디바이스 또는 디지털 이미지 디바이스로 지칭될 수 있다. 비전 디바이스(72)는 외부 하우징(76)을 가지며 하나 이상의 이미지 센서(78)(도 2 참조)를 지원하는 카메라(160)를 포함할 수 있다. 이미지 센서(78)는 CMOS 센서 또는 다른 적합한 센서의 형태일 수 있다.
네비게이션 컴퓨터(34)는 비전 제어부(73)와 통신하여 비전 제어부(73)로부터 카메라(160)의 비전 데이터 세트를 수신한다. 비전 데이터 세트는 비전 좌표계(VIS)(도 3 참조)에 제공된다. 비전 데이터 세트는 카메라(160)가 환자에 대해 이동함에 따라 카메라(160)에 의해 캡쳐되는 비전 좌표계(VIS)에서의 데이터 포인트의 세트일 수 있다. 이들 데이터 포인트는 x, y, z 좌표에 의해 정의된다. 데이터 포인트는 비전 데이터 파일로 세이브되거나 저장될 수 있다.
도 4에 도시된 바와 같이, 대퇴골(F), 경골(T), 및 수술 기구(30) 이외의 물리적 오브젝트는 타겟 부위 근처에 존재한다. 이러한 오브젝트는 리트랙터, 세척/흡입 도구, 수술 가이드, 절개 주위의 피부, 또는 다른 유형의 물리적 오브젝트를 포함할 수 있다. 본원에 기재된 실시형태에서, 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)는 이들 물리적 오브젝트를 식별 및 추적하여 시스템(20)이 수술 기구(30), 대퇴골(F), 경골(T), 및 타겟 부위 근처의 모든 물리적 오브젝트의 상대 위치를 결정할 수 있도록 하며, 예를 들면 그래서 물리적 오브젝트는 수술 절차 동안 수술 기구(30)에 의해 방지될 수 있다. 다른 실시형태에서는, 물리적 오브젝트가 툴 가이드인 경우와 같은 특정 상황에서 수술 기구(30)가 물리적 오브젝트의 하나 이상을 계합할 수 있도록 물리적 오브젝트를 식별 및 추적하는 것이 바람직할 수 있다. 예시할 목적으로, 도시된 물리적 오브젝트는 리트랙터(162)이다.
도 4를 참조하면, 물리적 오브젝트의 각각은 피쳐 세트(170)를 정의하는 다수의 피쳐를 포함하여, 물리적 오브젝트가 카메라(160)를 통해 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)에 의해 수술 절차 동안 식별 및 추적될 수 있도록 한다. 이 피쳐 세트(170)는 카메라(160)에 의해 취해진 비전 데이터 세트에서 식별될 수 있는 다수의 피쳐를 포함한다. 식별할 목적으로, 패턴 인식 기능은 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)에 의해 제공될 수 있다. 시스템(20)은 검출될 피쳐의 배열, 코딩 또는 다른 특성의 사전 지식을 갖는다.
하나 이상의 피쳐는 (예를 들어, 카메라(160)에 의해 검출되는 방사선을 방출하는)액티브 마킹일 수 있다. 추가적으로 또는 대안으로, 하나 이상의 피쳐는 패시브 마킹일 수도 있다. 패시브 마킹은 반사 또는 비반사 특성을 가질 수 있다. 패시브 마킹은 (예를 들어, 절개부 또는 다른 위치를 둘러싸거나 또는 이에 인접하는 환자 피부 상의)물리적 오브젝트의 임의의 강성(예를 들면, 평면형) 또는 가요성 기판 상에의 프린팅, 스티커 등에 의해 실현될 수 있다. 피쳐는 또한 물리적 오브젝트의 표면 상의 코팅에 의해 또는 물리적 오브젝트에서 생성된 표면 거칠기에 의해 정의될 수도 있다. 시스템(20)은 (예를 들어, 교정 정보의 형태의) 피쳐의 사전 지식을 갖는다. 사전 지식은 여러 상이한 유형의 물리적 오브젝트에 대해 피쳐 코딩 방식 및 피쳐의 서로에 대한 위치 중 하나 이상과 관련될 수 있다. 사전에 알려진 피쳐는, 예를 들어, 물리적 오브젝트의 기재 상에 스탬핑 또는 프인팅된 패시브 마킹이거나, 또는 대안으로 액티브 마킹일 수 있다. 절개부를 둘러싼 프린팅된 스티커 또는 다른 패시브 마킹을 사용하는 경우, 사전에 알려진 피쳐는 절개부 개구와 연관되도록 적절하게 이해되는 링 형상 또는 다른 위치에 배치되어 기구(30)가 개구부를 둘러싸는 피부와 다른 조직을 회피하도록 제어될 수 있을 것으로 이해될 수 있다.
카메라(160)는 2 이상의 상이한 관점으로부터 비전 데이터 세트를 취득하여 각각의 비전 데이터 세트가 피쳐 세트(170)의 피쳐 중 적어도 일부를 포함하도록 구성된다. 카메라(160)의 이동은 비전 데이터 세트를 수집할 때 환자에 대한 로봇 디바이스 및/또는 기구(30)의 이동을 초래한다. 이러한 이동은 로봇 디바이스 및/또는 기구(30)의 수동 조작 또는 로봇 디바이스 및/또는 기구(30)의 자율 이동에 의한 것일 수 있다. 일례로서, 카메라(160)는 연속 비디오 데이터 스트림의 형태로 비전 데이터 세트를 제공할 수 있는 비디오 카메라로서(예를 들면, 비디오 프레임으로서) 실현될 수 있다. 일 변형예에서, 카메라(160)는, 카메라(160)가 로봇 디바이스의 자율 이동 중에 로봇 디바이스에 의해 기구(30)와 함께 이동될 수 있도록 기구(30)에 견고하게 장착된다. 다른 변형예에서, 카메라(160)는 로봇 디바이스 및/또는 기구(30)의 수동 조작을 통해 기구(30)와 함께 이동되도록 기구(160)에 견고하게 장착된다. 수술 기구(30)에 장착되는 경우, 카메라(160)는 수술 기구(30)에 의해 타겟팅되는 물리적 오브젝트 및 환자 표면을 포함하는 시야를 갖는다. 일례로서, 수술 기구(30)가 환자를 향하는 종축을 갖는 경우, 시야는 수술 기구(30)의 장축을 따라 연장될 수 있다.
수술 기구(30)에 카메라(160)를 통합하는 것에 의해, 카메라(160)의 비전 좌표계(VIS)가 기구 추적기 좌표계(TLTR)로 쉽게 교정될 수 있음을 이해해야 한다. 이 교정은 제조 동안, 예를 들어 제조 동안 결정된 교정 데이터를 통해 발생할 수 있거나, 또는 종래 교정 방법을 이용하여 절차가 시작되기 이전에 교정될 수 있다. 따라서, 로컬라이저 좌표계(LCLZ)에 대한 비전 좌표계(VIS)의 포즈는 전술한 변형 방법 및 수술 기구(30)와 연관된 기구 추적기(58)의 사용에 기초하여 결정될 수 있다. 결과적으로, 비전 좌표계(VIS)는 또한 로컬라이저 좌표계(LCLZ)로 또는 그 반대로 변형될 수 있다. 포즈-묘사 데이터는 조작기 제어부(64) 및 네비게이션 프로세서(62)에 통합된 메모리에 저장된다.
카메라(160)가 수술 기구(30) 대신에 로봇 디바이스에 장착되는 것과 같은 실시형태에서는, 카메라(160)는 하우징(76)에 견고하게 장착된 비전 디바이스 추적기(도시되지 않음)를 가져 비전 좌표계(VIS)와 로컬라이저 좌표계(LCLZ) 사이의 관계를 확립할 수 있다. 예를 들어, 비전 디바이스 추적기의 좌표계와 비전 좌표계(VIS) 사이의 관계를 정의하는 사전 로딩된 데이터를 사용하여, 좌표 변환기(102)는 로컬라이저 좌표계(LCLZ)에서의 비전 디바이스 추적기의 위치 및 방위에 기초하여, 비전 좌표계(VIS)를 로컬라이저 좌표계(LCLZ)로 변환할 수 있다. 대안으로, 로봇 디바이스가, 예컨대 로봇 디바이스의 베이스에 부착된 로봇 베이스 추적기 및 조인트 인코더(도시되지 않음)를 통해, 로컬라이저 좌표계(LCLZ)에서 별도로 추적되고 있는 경우라면, 카메라(160)는 (예를 들어, 교정 단계를 통해) 로봇 베이스 추적기과 연관되어 카메라(160) 상의 별도의 추적기를 위한 필요성을 제거할 수 있다. 로봇 디바이스의 베이스가 이동하지 않고 로봇 베이스 추적기가 시인되는 한, 로컬라이저(44)는 카메라(160)의 위치 및 방위를 결정할 수 있다.
네비게이션 컴퓨터(34)는 카메라(160)로부터 수신된 비전 데이터 세트를 외부 또는 내부 스토리지에 저장하도록 구성될 수 있다. 상술한 바와 같이, 이들 비젼 데이터 세트는 네비게이션 프로세서(62)에 의해 프로세싱되기 위해 적어도 일시적으로 저장되는 비디오 데이터 스트림의 형태로 수신될 수 있다. 이러한 프로세싱은 예를 들어 수신된 비전 데이터 세트 내의 하나 이상의 피쳐를 식별(예를 들어, 위치 파악 및 디코딩)하기 위한 패턴 인식을 포함할 수 있다.
일 실시형태에서, 패턴 인식 기술을 사용하는 네비게이션 프로세서(62)는 먼저 비전 데이터 세트 내의 다수의 피쳐를 식별하고 비전 좌표계(VIS)에서의 그 좌표를 (예를 들어, 키 포인트 좌표의 형태로) 결정한다. 교정 데이터로서 저장된, 카메라(160)의 투영 모델은 카메라(160)에 의해 제공된 비전 데이터 세트에서 식별된 하나 이상의 피쳐에 대한 카메라(160)의 위치를 결정하는데 사용될 수 있다(예를 들어, 본원에 참고로 통합되는 미국 특허 출원 공개 번호 제 2008/0208041A1호). 특정 투영 모델의 기초가 되는 변환 파라미터는 각각의 카메라 제조자에 의해 또는 시스템(20)의 분배자에 의해 제공될 수 있다. 이들은 또한 현장 교정 픽스쳐(fixture)로 견적을 내거나 특정 카메라 유형에 맞게 표준화될 수 있다. 특정 구현예에서, 변환 파라미터는 (예를 들어, 현재 선택된 줌 레벨에 따라 실시간으로) 카메라(160) 자체에 의해 적절한 인터페이스를 통해 제공될 수 있다.
또한 교정 데이터로서, 예를 들어 네비게이션 시스템(34)의 내부 스토리지에 제공되는 것은 피쳐 세트(170)에 관한 정보이다. 이러한 정보는 피쳐의 상대 위치 및/또는 피쳐의 임의의 적용된 코딩 방식을 포함할 수 있다. 카메라(160)에 의해 (즉, 관련 비전 좌표계(VIS)에서) 취해진 비전 데이터 세트(예를 들어, 이미지)에서의 알려진 피쳐 상대 위치 및 (투영된) 피쳐 상대 위치에 기초하여, 추가 변환의 변환 파라미터는 피쳐 좌표가 제공되는 임의의 참조 좌표계, 예컨대 관심있는 물리적 오브젝트의 물리적 오브젝트 좌표계(POCS) 측을 향한 대응하는 비전 좌표계(VIS)로부터의 배면 투명 관점에 의해 (예를 들어, 실시간으로) 결정될 수 있다(도3 참조). 이것은 카메라(160)에 대한 변환(T1)에 의해 표시된다. 카메라(160)에 대한 변환(T1)의 변환 파라미터는 각각의 개별적인 피쳐(j)에 대한 다음의 등식 시스템을 해결함으로써 계산된다:
Mj,160 = T2·T1-1·Mj,cal,
Mj,160은 비전 좌표계(VIS)에 대한 좌표를 갖는 카메라(160)의 비전 데이터 세트(예를 들어, 비디오 프레임)에서의 이미징된 피쳐(j)이다. Mj,cal은 물리적 오브젝트 좌표계(POCS)에 대한 좌표를 갖는 피쳐(j)(예를 들어, 피쳐(j)의 키 포인트)를 나타내고 교정 데이터로서 제공되며, 그리고 제 2 변환(T2)은 카메라(160)와 그 관련 비전 좌표계(VIS) 사이의 변환 파라미터를 지정한다.
상술된 배면 투영 관점은 때때로 카메라 포즈 추정으로 지칭되거나, 또는 카메라 포즈 추정과 관련하여 수행됨에 유의해야 한다. 도 4에 도시된 실시형태에서, 개별 피쳐는 흑점에 의해 상징화된다. 다수의 코딩된 피쳐도 또한 사용될 수 있다. 각 피쳐는 (개별 피쳐의 오버랩을 허용하는) 고유의 확장된 QR-유형 코딩을 포함하는 2차원 확장을 가질 수 있다. 도 5에서, 개별 확장된 피쳐(170A)는 백색 고리 내에 놓이도록 그래픽으로 도시되고, 여기서 고리의 중심은 피쳐 키 포인트를 정의한다. 일반적으로, 각 확장된 피쳐는 피쳐의 위치 또는 좌표를 나타내는 특정 키 포인트 또는 중심을 정의할 수 있다. 컴퓨터 비전에서, 피쳐라는 용어는 또한 키 포인트 주변(즉, 피쳐 확장의 키 포인트 주변)의 묘사로 지칭된다. 도 6은 고리의 예시적인 형태로 확장된 피쳐에 대한 키 포인트 개념을 개략적으로 도시한다. 키 포인트 개념은 도 5의 피쳐 유형으로 쉽게 확장될 수 있다는 것을 이해할 것이다. 대안적인 실시형태에서, 개별적인 피쳐들이 이와 다르게 정의되고 코딩될 수 있음을 이해할 것이다. 예를 들어, 고리는 도 7의 피쳐(170B)로 도시된 바와 같이 상이한 수의 점선 또는 점선과 점의 조합으로 대시될 수 있다. 또 다른 예로서, 컬러 코딩된 원형 또는 점이 사용될 수 있다. 특정 구현예에서, 개별 피쳐는 플랫(즉, 평면) 표면을 형성하는 작은 지역 내에 물리적 오브젝트 상에서 그룹화될 수 있다. 개별 피쳐의 상대 위치 및 (개별 피쳐의 구별을 가능하게 하는) 그 코딩 방식은 교정 데이터로서 저장될 수 있다.
본 실시형태에서, 물리적 오브젝트 좌표계(POCS)는 도 8에 도시된 바와 같이 물리적 오브젝트의 2차원 표면 상에 제공된 (흑색 및 백색 영역의 조합 형태의) 피쳐(170C)에 의해 정의되거나, 또는 스패닝된다. 이는, 일단 물리적 오브젝트의 표면 상에 정의된 피쳐(추적기 피쳐라고도 함)가 카메라(160)로부터 수신된 비전 데이터 세트에서 식별되고 디코딩되면, 물리적 오브젝트 좌표계(POCS)가 물리적 오브젝트 좌표계(POCS) 내의 이러한 피쳐의 좌표와 함께 결정될 수 있음을 의미한다. 시스템(20)은 또한 전형적으로 물리적 오브젝트 상에 제공된 피쳐의 코딩 및 상대 위치에 관한 (교정 데이터 형태의)사전 지식을 가질 것이다.
추적기 피쳐는 고유할 수 있고 및/또는 네비게이션 시스템(34) 및/또는 조작기 제어부(64)가 피쳐에 기초하여 예컨대 피쳐의 패턴 인식에 의해 또는 피쳐에서의 코딩된 정보에 의해 물리적 오브젝트 또는 물리적 오브젝트에 관한 정보를 식별할 수 있도록 코딩될 수 있다. 이러한 정보는 물리적 오브젝트 식별, 물리적 오브젝트 유형, 물리적 오브젝트 크기, 물리적 오브젝트 치수, 물리적 오브젝트 일련 번호, 또는 물리적 오브젝트 제조자 중 하나 이상을 포함할 수 있다.
도 9를 참조하면, 일단 물리적 오브젝트가 식별되면, 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)는 메모리로부터, 예컨대 물리적 오브젝트의 데이터베이스로부터 물리적 오브젝트 좌표계(POCS) 내의 물리적 오브젝트와 연관된 가상 오브젝트(164)를 검색할 수 있다. 대안적으로, 물리적 오브젝트 상의 피쳐는 가상 오브젝트 식별, 가상 오브젝트 유형, 가상 오브젝트 크기, 또는 가상 오브젝트 치수와 같은 가상 오브젝트에 관한 정보로 코딩될 수 있다. 예를 들어, 네비게이션 컴퓨터(34)에 저장된 물리적 오브젝트의 데이터베이스는 여러 상이한 유형, 및 여러 상이한 크기 및 구성의, 여러 상이한 제조자에 의해 제조된 물리적 오브젝트를 포함할 수 있다. 피쳐에 코딩된 정보는 네비게이션 컴퓨터(34)가 그 특정 물리적 오브젝트의 피쳐에 기초하여 비전 데이터 세트에 시인된 물리적 오브젝트에 대한 특정 상세를 식별할 수 있게 하고, 그리고 또한 그 물리적 오브젝트와 연관된 특정 가상 오브젝트를 검색할 수 있게 한다. 따라서, 예를 들어, 물리적 오브젝트가 특정 크기의 리트랙터인 것으로 식별되면, 연관된 가상 오브젝트는 비교가능한 크기의 것일 수 있다.
가상 오브젝트(164)는, 물리적 오브젝트 좌표계(POCS) 내의 피쳐 좌표의 비전 좌표계(VIS)로의 변환을 통해, 또한 비전 좌표계(VIS)로 변환될 수 있다. 가상 오브젝트(164)는 (도 9에 도시된 바와 같이) 로컬라이저 좌표계(LCLZ)로 더욱 변환되어 수술 기구(30)의 이동이 가상 오브젝트(164)와 관련하여 추적될 수 있게 한다. 이와 관련하여, 가상 오브젝트(164)는 피쳐 좌표와 관련하여 사전 정의될 수 있다. 예를 들어, 리트랙터의 경우, 가상 오브젝트는 리트랙터 상의 피쳐에 대해 확립된 연관 모델 데이터와 리트랙터의 3차원 모델로서 제조 동안 사전 정의되어 가상 오브젝트의 위치와 방위가 물리적 오브젝트 좌표계(POCS)에서 알려져 있다.
대안적인 실시형태에서, 사용자는 수술 기구(30)의 좌표가 알려진 이래로 네비게이션 포인터를 사용하여 또는 수술 기구(30)를 사용하여 가상 오브젝트(164)를 정의할 수 있기 때문에, 물리적 오브젝트와 관련하여 가상 오브젝트(164)의 사전 지식은 필요하지 않다. 결과적으로, 사용자는 네비게이션 포인터로 존을 단순하게 아웃라인함으로써 포인트, 라인, 체적, 영역 등과 같은 "노-플라이(no-fly)" 존을 정의할 수 있다. 이 트레이스/아웃라인된 존은 가상 오브젝트(164)를 추적하는데 사용되는 피쳐(들)와 관련하여 가상 오브젝트(164)를 확립할 것이다.
가상 오브젝트(164)는, 수술 동안 회피될, 리트랙터(162)에 의해 점유된 공간과 같은 체적 또는 영역을 정의할 수 있다. 도 9에 도시된 바와 같이, 가상 오브젝트(164)는 로컬라이저 좌표계(LCLZ)에서 타겟 부위(TS)의 외부에 정의될 수 있다. 다른 실시형태에서, 가상 오브젝트의 부분은 타겟 부위(TS) 내부에 존재할 수 있다. 가상 오브젝트(164)는 디스플레이(36, 38) 상의 사용자에 디스플레이될 네비게이션 프로세서(62)에 의해 프로세싱되어, 사용자가 예를 들어 리트랙터(162)의 가상 오브젝트(164) 및 타겟 부위(TS)에 대한 수술 기구(30)의 위치 및 방위를 시각화할 수 있다. 어떤 경우에, 가상 오브젝트(164)는 3차원 모델, 2차원 표면, 포인트 클라우드, 복셀화된 체적, 표면 메시, 평면, 라인 또는 단일점 중 하나 이상을 포함한다.
리트랙터(162)와 같은 물리적 오브젝트는 타겟 부위(TS) 근처의 조직 중 일부의 탄성 및/또는 유연한 성질로 인해 수술 절차 동안 타겟 부위(TS)에 대해 이동할 수 있음을 주목해야 한다. 결과적으로, 시스템(20)은 로컬라이저 좌표계(LCLZ) 또는 다른 관심 좌표계에서, 가상 오브젝트, 예를 들어 리트랙터(162)와 연관된 가상 오브젝트(164)의 결정된 포즈를 주기적으로 리프레시한다. 가상 오브젝트의 포즈의 이러한 업데이트는, 추적기(54, 56, 58)의 포즈가 로컬라이저에 의해 업데이트되고 있는 것과 동일한 레이트로, 공구 경로를 따른 수술 기구의 각각의 새로운 커맨드된 위치가 조작기 제어부(64)에 의해 계산되는 것과 동일한 레이트로, 또는 임의의 다른 적합한 레이트로 발생할 수 있다. 어떤 경우에, 일부 물리적 오브젝트의 포즈의 업데이트는 다른 것보다 느려질 수 있다. 예를 들어, 수술 기구(30) 위치의 지식이 소정의 경우보다 중요할 수 있기 때문에, 리트렉터(162)의 위치를 업데이트하는 것은 타겟 부위(TS)에 대한 수술 기구(30)의 위치를 업데이트하는 것보다 덜 빈번하게 발생할 수 있다.
일부 실시형태에서, 가상 오브젝트는 다수의 물리적 오브젝트의 위치에 기초하여 생성될 수 있다. 예를 들어, 가상 절개부(168)(도 9 참조)는 도시된 바와 같이 2 이상의 리트랙터(162)의 위치에 의해 정의될 수 있다. 가상 절개부(168)는 이 경우 리트랙터(162)에 의해 아웃라인된 경계를 갖는 가상 개구부일 수 있다. 이와 같이, 리트랙터(162)가 조정됨에 따라, 가상 절개부(168)는 구성을 변경할 수 있다. 다시말해, 가상 절개부(168)는 동적일 수 있고 형상을 변경할 수 있지만, 본원에 기재된 네비게이션 기술로, 가상 절개부(168)는 각각의 새로운 비전 데이터 세트에 의해 계속해서 업데이트될 수 있으며, 그래서 기구(30)는 타겟 부위(TS) 근처의 변화와 무관하게 수술 절차 동안 그러한 물리적 오브젝트와 연관된 가상 오브젝트에 의해 정의된 경계 또는 물리적 오브젝트를 회피할 수 있다.
가상 오브젝트는 회피될 체적 또는 경계를 정의할 수 있고, 따라서 수술 기구(30)의 치료 단부가 진입하지 않게 되는 "노-플라이" 존을 생성할 수 있다. "노-플라이" 존은 타겟 부위 가까에 위치한 민감한 해부학적 구조, 단단한 구조, 보존되어야 할 부드러운 조직과 뼈, 다른 도구 등과 연관될 수 있다. 로컬라이저 좌표계(LCLZ)에서의 가상 오브젝트의 위치의 지식 또는 다른 공통 좌표계로 인해, 조작기(66)가 자율 모드로 동작하는 경우, 조작기(66)는 타겟 부위 가까에 위치한 민감한 해부학적 구조, 단단한 구조, 보존되어야 할 부드러운 조직과 뼈, 다른 도구 등을 피하도록 수술 기구(30)의 포지셔닝을 제어할 수 있다. 로봇 디바이스 및/또는 기구(30)의 수동 조작 동안, 기구(30)로 "노-플라이" 존에 사용자가 진입하는 것을 방지하기 위해 "노-플라이" 존은 사용자에게 햅틱 피드백을 제공하는 햅틱 경계의 역할을 할 수 있을 것이다. 예를 들어, 물리적 오브젝트가 리트랙터인 경우, 물리적 오브젝트의 각각은 리트랙터의 가상 3차원 모델의 형태로 이와 연관된 가상 오브젝트를 갖는다. 물리적 오브젝트는, 카메라(160)에 의해 추적되는 것에 의해, 리트랙터에 대한 수술 기구(30)의 치료 단부의 이동을 추적함으로써 회피될 수 있다. 그후, 조작기 제어부(64)는 리트랙터 중 하나가 공구 경로 내에 포지셔닝되어야 하는 경우 그 공구 경로를 조절하거나 또는 수술 기구(30)의 이동을 정지시킬 수 있다. 대안적으로, 수동 동작 모드에서, 조작기 제어부(64)는 그렇지 않으면 하나 이상의 조인트 모터, 브레이트 등을 능동적으로 작동시킴으로써 리트랙터 중 하나와 로봇 디바이스 및/또는 기구(30)의 충돌을 야기시킬 수도 있는 이동을 제한/정지시켜, 기구(30)가 수동 조작 동안 "노-플라이" 존에 도달하는 경우 사용자에게 햅틱 피드백을 발생시킬 수 있다. 유사하게, 네비게이션 시스템은 리트랙터 중 하나와 같은 물리적 오브젝트가 계획된 공구 경로와 간섭하다고 사용자에게 경고할 수 있고 물리적 오브젝트를 이동시키라고 사용자에게 충고할 수 있다.
도 10을 참조하면, 타겟 부위에 대하여 물리적 오브젝트를 추적하는 방법의 일 실시형태는 자율 모드로 로봇 디바이스를 이용한다. 제 1 단계(300)에서, 타겟 부위를 치료하기 위해 수술 기구(30)가 타겟 부위에 대해 자율적으로 이동되는 것에 의해 카메라(160)는 타겟 부위 근처에서 물리적 오브젝트에 대해 이동된다. 카메라(160)는 또한 물리적 오브젝트에 대해 자율적으로 이동하고 (비록 단일 관점이 충분할지라도) 단계(302)에서 물리적 오브젝트의 다수의 관점으로부터 비전 데이터 세트를 생성한다. 비전 데이터 세트는 비전 좌표계(VIS)에서 정의된다.
하나 이상의 피쳐, 바람직하게 적어도 3 개 또는 4 개의 피쳐는 단계(304)에서 비전 데이터 세트에서 식별된다. 피쳐는 카메라(160)가 단계(306)에서 비전 좌표계(VIS)에서의 각 피쳐의 피쳐 좌표를 결정할 수 있도록 피쳐 세트(170)에서 그룹화될 수 있다. 소정의 실시형태에서 코딩되는 피쳐 또는 다른 시각 식별자는 패턴 인식 기술을 사용하여 인식된다. 이 인식에 기초하여, 물리적 오브젝트에 관한 정보는 단계(310)에서 네비게이션 컴퓨터(34) 및/또는 조작기 제어부(64)에 의해 캡쳐될 수 있다. 이 정보는 예를 들어 피쳐 좌표에 대한 물리적 오브젝트 좌표계(POCS)의 위치 및 방위를 포함할 수 있다.
단계(312)에서, 물리적 오브젝트 좌표계(POCS)는 그후 좌표 변환기(102)를 통해 비전 좌표계(VIS) 및 로컬라이저 좌표계(LCLZ)로 변환될 수 있다. 단계(314)에서, 가상 오브젝트는 물리적 오브젝트와 연관된다. 가상 오브젝트는 물리적 오브젝트 좌표계(POCS)에서 정의되고, 메모리로부터 검색되고, 그리고 변환으로 인해 비전 좌표계(VIS) 및 후속하여 로컬라이저 좌표계(LCLZ)와 관련하여 정의된다. 단계(316)에서, 조작기 제어부(64)는 이에 부착된 조작기(66) 및 수술 기구(30)의 자율 이동을 정의하여, 수술 기구(30)가 물리적 오브젝트 또는 물리적 오브젝트에 의해 정의된 다른 한정을 회피하도록 한다.
물리적 오브젝트와 연관된 가상 오브젝트가 로컬라이저 좌표계(LCLZ)로 변환되어, 수술 기구(30)의 치료 단부 및 타겟 부위에 대해 추적된다고 하더라도, 임의의 공통 좌표계는 수술 기구(30)의 상대 이동 및 포즈, 타겟 부위, 및 물리적 오브젝트를 추적하도록 사용될 수 있다는 것을 이해해야 하며, 예컨대 조작기 좌표계(MNPL) 또는 다른 좌표계를 들 수 있다.
당업자라면 알 수 있는 바와 같이, 본 실시형태의 양태들은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 하나 이상의 컴퓨터 판독가능 매체(들)로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 본원에 기재된 방법론을 수행하기 위한 명령 또는 코드를 포함하는 컴퓨터 소프트웨어는 하나 이상의 연관된 메모리 디바이스(예를 들어, ROM, 고정식 또는 착탈식 메모리)에 저장될 수 있고, 그리고 이용될 준비가 된 경우, 부분적으로 또는 전체적으로 (예를 들어, RAM으로) 로딩되고 CPU에 의해 구현될 수 있다. 그러한 소프트웨어는 펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함하지만 이에 한정되지는 않는다.
다른 실시형태에서, 물리적 오브젝트의 피쳐 좌표 및 모델은 구조-프롬-모션(SfM) 기술, 동시 로컬화 및 매핑(SLAM) 기술 및 포즈 추정 기술 중 하나 이상을 사용하여 결정될 수 있다. 예를 들어, SLAM은 피쳐 그룹에 적용될 수 있다. 다른 예로서, SfM은 다른 관점으로부터 비전 데이터 세트에서 식별 가능한 개별 피쳐(반드시 피쳐 그룹일 필요는 없음)에 대한 피쳐 트랙을 구축할 수 있다. 상이한 (카메라) 관점을 기반으로 한 삼각 측량은 개별 피쳐 트랙에 적용될 수 있다. 삼각 측량은 (예를 들어, 물리적 오브젝트 좌표계에서) 피쳐 좌표를 3차원으로 재구성하고, 선택적으로 최적화하는데 도움이 될 수 있다.
전술한 설명에서 여러 실시형태가 논의되었다. 그러나, 본원에서 논의된 실시형태는 완전하다거나 또는 본 발명을 임의의 특정한 형태로 제한하려는 것이 아니다. 사용된 용어는 제한보다는 단어가 설명의 성격을 갖게 하려는 것이다. 상기 교시에 비추어 많은 수정 및 변형이 가능하며, 본 발명은 구체적으로 기재된 것과 다르게 실시될 수도 있다.

Claims (28)

  1. 물리적 오브젝트를 추적하기 위한 네비게이션 시스템으로서,
    로봇 디바이스;
    상기 로봇 디바이스에 부착 가능한 기구;
    비전 디바이스가 상기 로봇 디바이스와 함께 이동 가능하도록 상기 로봇 디바이스 또는 상기 기구 중 하나에 부착된 상기 비전 디바이스로서, 상기 비전 디바이스는 비전 데이터 세트들을 생성하도록 구성되고, 상기 비전 데이터 세트들은 상기 비전 디바이스가 상기 로봇 디바이스를 이동시킬 때 복수의 자유도로 이동되는 것에 의해 가능하게 되는 상기 물리적 오브젝트의 다수의 관점으로부터 캡쳐되는, 상기 비전 디바이스; 및
    상기 비전 디바이스와 통신하는 컴퓨팅 시스템으로서, 상기 컴퓨팅 시스템은 상기 비전 데이터 세트들에서 식별 가능한 상기 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 가상 오브젝트를 연관시키도록 구성된 적어도 하나의 프로세서를 갖고, 상기 가상 오브젝트는 상기 기구에 대한 가상 경계를 적어도 부분적으로 정의하는, 상기 컴퓨팅 시스템을 포함하는, 네비게이션 시스템.
  2. 제 1 항에 있어서,
    상기 비전 디바이스는 카메라를 포함하는, 네비게이션 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 컴퓨팅 시스템은 상기 비전 데이터 세트들이 생성되는 상기 비전 디바이스의 각 위치에서 상기 비전 디바이스의 위치 및 방위를 추적하도록 구성되는, 네비게이션 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 컴퓨팅 시스템은 상기 물리적 오브젝트의 상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트의 아이덴티티를 결정하도록 구성되는, 네비게이션 시스템.
  5. 제 4 항에 있어서,
    상기 컴퓨팅 시스템은 상기 물리적 오브젝트의 아이덴티티에 기초하여 상기 물리적 오브젝트와 상기 가상 오브젝트를 연관하도록 구성되는, 네비게이션 시스템.
  6. 제 5 항에 있어서,
    상기 가상 오브젝트는 3차원 모델, 2차원 표면, 포인트 클라우드, 복셀화된 체적, 표면 메시, 평면, 라인 또는 단일점 중 하나 이상을 포함하는, 네비게이션 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 하나 이상의 피쳐들은 상기 비전 데이터 세트들에서 식별가능한 피쳐들의 세트를 포함하고, 상기 컴퓨팅 시스템은 상기 물리적 오브젝트와 연관된 제 1 좌표계의 위치 및 방위를 확립하기 위해 상기 피쳐들의 세트의 위치 및 방위를 결정하도록 구성되는, 네비게이션 시스템.
  8. 제 7 항에 있어서,
    상기 비전 디바이스는 상기 로봇 디바이스 및 상기 기구 중 상기 하나와 관련하여 고정되어 상기 비전 데이터 세트들이 상기 로봇 디바이스 및 상기 기구 중 상기 하나의 제 2 좌표계로 변환 가능하도록 하는, 네비게이션 시스템.
  9. 제 8 항에 있어서,
    상기 컴퓨팅 시스템은 상기 좌표계들 중 하나를 변환하도록 구성된 좌표 변환기를 포함하여 상기 컴퓨팅 시스템이 상기 물리적 오브젝트에 대해 상기 기구의 이동을 추적할 수 있도록 하는, 네비게이션 시스템.
  10. 제 9 항에 있어서,
    상기 컴퓨팅 시스템은 상기 물리적 오브젝트와 관련하여 상기 기구의 이동을 추적하는 것에 의해 상기 물리적 오브젝트를 회피하면서 타겟 부위에서의 조직을 치료할 수 있게 상기 기구의 이동을 가능하게 하도록 구성되는, 네비게이션 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 컴퓨팅 시스템은 상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 연관된 정보를 결정하도록 구성되는, 네비게이션 시스템.
  12. 제 11 항에 있어서,
    상기 정보는 물리적 오브젝트 식별, 물리적 오브젝트 유형, 물리적 오브젝트 크기, 물리적 오브젝트 치수, 물리적 오브젝트 일련 번호, 물리적 오브젝트 제조자, 가상 오브젝트 식별, 가상 오브젝트 유형, 가상 오브젝트 크기, 또는 가상 오브젝트 치수 중 하나 이상을 포함하는, 네비게이션 시스템.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 가상 오브젝트는 네비게이션 포인터 또는 상기 기구 중 적어도 하나에 의해 정의되는, 네비게이션 시스템.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 로봇 디바이스는 자율 모드로 동작하도록 구성되어 상기 로봇 디바이스가 상기 자율 모드로 동작할 때 상기 비전 디바이스가 자율적으로 이동하게 하는, 네비게이션 시스템.
  15. 로봇 디바이스, 상기 로봇 디바이스에 부착 가능한 기구, 비전 디바이스, 및 적어도 하나의 프로세서를 갖는 컴퓨팅 시스템을 이용하여 타겟 부위와 관련하여 물리적 오브젝트를 추적하는 방법으로서,
    상기 로봇 디바이스의 이동으로부터 초래되는 상기 비전 디바이스의 이동에 응답하여 비전 데이터 세트들을 생성하는 단계; 및
    상기 비전 데이터 세트들에서 식별 가능한 상기 물리적 오브젝트의 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 가상 오브젝트를 연관시키는 단계를 포함하고, 상기 가상 오브젝트는 상기 기구에 대한 가상 경계를 정의하는, 물리적 오브젝트를 추적하는 방법.
  16. 제 15 항에 있어서,
    상기 비전 디바이스는 카메라를 포함하는, 물리적 오브젝트를 추적하는 방법.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 비전 데이터 세트들이 생성되는 상기 비전 디바이스의 각 위치에서 상기 비전 디바이스의 위치 및 방위를 추적하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 물리적 오브젝트의 상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트의 아이덴티티를 결정하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  19. 제 18 항에 있어서,
    상기 물리적 오브젝트의 아이덴티티에 기초하여 상기 물리적 오브젝트와 상기 가상 오브젝트를 연관시키는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  20. 제 19 항에 있어서,
    상기 가상 오브젝트는 3차원 모델, 2차원 표면, 포인트 클라우드, 복셀화된 체적, 표면 메시, 평면, 라인 또는 단일점 중 하나 이상을 포함하는, 물리적 오브젝트를 추적하는 방법.
  21. 제 15 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 물리적 오브젝트와 연관된 제 1 좌표계의 위치 및 방위를 확립하기 위해 상기 비전 데이터 세트들에서 식별가능한 피쳐들의 세트의 위치 및 방위를 결정하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  22. 제 21 항에 있어서,
    상기 비전 데이터 세트들을 상기 로봇 디바이스 또는 상기 기구 중 하나의 제 2 좌표계로 변환하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  23. 제 22 항에 있어서,
    상기 컴퓨팅 시스템이 상기 물리적 오브젝트에 대해 상기 기구의 이동을 추적할 수 있도록 상기 좌표계들 중 하나를 변환하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  24. 제 23 항에 있어서,
    상기 물리적 오브젝트와 관련하여 상기 기구의 이동을 추적하는 것에 의해 상기 물리적 오브젝트를 회피하면서 타겟 부위에서의 조직을 치료하도록 상기 기구의 이동을 가능하게 하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  25. 제 15 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 하나 이상의 피쳐들에 기초하여 상기 물리적 오브젝트와 연관된 정보를 결정하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  26. 제 25 항에 있어서,
    상기 정보는 물리적 오브젝트 식별, 물리적 오브젝트 유형, 물리적 오브젝트 크기, 물리적 오브젝트 치수, 물리적 오브젝트 일련 번호, 물리적 오브젝트 제조자, 가상 오브젝트 식별, 가상 오브젝트 유형, 가상 오브젝트 크기, 또는 가상 오브젝트 치수 중 하나 이상을 포함하는, 물리적 오브젝트를 추적하는 방법.
  27. 제 15 항 내지 제 26 항 중 어느 한 항에 있어서,
    상기 가상 오브젝트를 네비게이션 포인터 또는 상기 기구 중 적어도 하나로 정의하는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
  28. 제 15 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 비전 디바이스가 상기 비전 데이터 세트들을 캡쳐하기 위해 자율로 이동하도록 상기 로봇 디바이스를 자율로 이동시키는 단계를 포함하는, 물리적 오브젝트를 추적하는 방법.
KR1020187033479A 2016-05-23 2017-05-23 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 KR102488295B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662340176P 2016-05-23 2016-05-23
US62/340,176 2016-05-23
PCT/US2017/033962 WO2017205351A1 (en) 2016-05-23 2017-05-23 Systems and methods for identifying and tracking physical objects during a robotic surgical procedure

Publications (2)

Publication Number Publication Date
KR20190010860A true KR20190010860A (ko) 2019-01-31
KR102488295B1 KR102488295B1 (ko) 2023-01-16

Family

ID=59021578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187033479A KR102488295B1 (ko) 2016-05-23 2017-05-23 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법

Country Status (8)

Country Link
US (3) US10531926B2 (ko)
EP (2) EP4186458A1 (ko)
JP (2) JP7134872B2 (ko)
KR (1) KR102488295B1 (ko)
CN (2) CN113616332A (ko)
AU (2) AU2017269937B2 (ko)
CA (1) CA3025300A1 (ko)
WO (1) WO2017205351A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049761A3 (ko) * 2019-09-09 2021-05-20 주식회사 미래컴퍼니 서브 블록 단위의 수술 데이터 획득 방법 및 그 장치

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
WO2017028916A1 (en) * 2015-08-19 2017-02-23 Brainlab Ag Reference array holder
US10433921B2 (en) * 2015-12-28 2019-10-08 Mako Surgical Corp. Apparatus and methods for robot assisted bone treatment
EP3777749A3 (en) 2015-12-31 2021-07-21 Stryker Corporation System and method for preparing surgery on a patient at a target site defined by a virtual object
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11064904B2 (en) 2016-02-29 2021-07-20 Extremity Development Company, Llc Smart drill, jig, and method of orthopedic surgery
KR102488295B1 (ko) 2016-05-23 2023-01-16 마코 서지컬 코포레이션 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
ES2899284T3 (es) 2016-07-15 2022-03-10 Fastbrick Ip Pty Ltd Vehículo que incorpora una máquina de colocación de ladrillos
JP7108609B2 (ja) 2016-07-15 2022-07-28 ファストブリック・アイピー・プロプライエタリー・リミテッド 材料搬送用ブーム
JP7170631B2 (ja) 2016-10-05 2022-11-14 ニューヴェイジヴ，インコーポレイテッド 外科ナビゲーションシステム及び関連する方法
US11065069B2 (en) * 2017-05-10 2021-07-20 Mako Surgical Corp. Robotic spine surgery system and methods
US11033341B2 (en) 2017-05-10 2021-06-15 Mako Surgical Corp. Robotic spine surgery system and methods
CN111095355B (zh) 2017-07-05 2023-10-20 快砖知识产权私人有限公司 实时定位和定向跟踪器
US12011236B2 (en) * 2017-08-08 2024-06-18 Intuitive Surgical Operations, Inc. Systems and methods for rendering alerts in a display of a teleoperational system
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光跟踪器
US11958193B2 (en) 2017-08-17 2024-04-16 Fastbrick Ip Pty Ltd Communication system for an interaction system
EP3672505A4 (en) * 2017-08-21 2021-02-17 Relign Corporation ARTHROSCOPY DEVICES AND METHODS
ES2971624T3 (es) 2017-10-11 2024-06-06 Fastbrick Ip Pty Ltd Máquina para transportar objetos
US11026751B2 (en) * 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11534242B2 (en) 2018-02-19 2022-12-27 Mako Surgical Corp. Surgical systems and methods for identifying tools guided by surgical robots
WO2019177711A1 (en) * 2018-03-13 2019-09-19 Intuitive Surgical Operations, Inc. Methods of guiding manual movement of medical systems
JP7082090B2 (ja) * 2018-06-27 2022-06-07 グローバス メディカル インコーポレイティッド 仮想インプラントを調整する方法および関連する手術用ナビゲーションシステム
DE102019004235B4 (de) 2018-07-16 2024-01-18 Mako Surgical Corp. System und verfahren zur bildbasierten registrierung und kalibrierung
JP6895128B2 (ja) * 2018-11-09 2021-06-30 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム
US20200205911A1 (en) * 2019-01-01 2020-07-02 Transenterix Surgical, Inc. Determining Relative Robot Base Positions Using Computer Vision
CN118476870A (zh) * 2019-01-21 2024-08-13 华科精准（北京）医疗科技有限公司 一种手术机器人系统及其使用方法
US10959716B2 (en) * 2019-02-11 2021-03-30 Warsaw Orthopedic, Inc. Surgical retractor system and method
CN109758234B (zh) * 2019-02-15 2020-07-31 哈尔滨工业大学 用于微创手术移动腹腔镜自动控制系统及其控制方法
EP3920829A4 (en) * 2019-02-21 2022-11-16 Extremity Development Company, LLC INSTRUMENT-BORN OPTICAL KINEMATIC TIME OF FLIGHT POSITIONING SYSTEM FOR PRECISE TARGETING AND OPERATIONAL PROCEDURES
WO2020190832A1 (en) * 2019-03-20 2020-09-24 Covidien Lp Robotic surgical collision detection systems
EP3711699B1 (en) 2019-03-21 2024-01-03 Stryker European Operations Limited Technique for transferring a registration of image data of a surgical object from one surgical navigation system to another surgical navigation system
US11170526B2 (en) 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
CN111839619B (zh) * 2019-04-26 2024-04-02 华沙整形外科股份有限公司 手术牵开器和方法
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
WO2020243631A1 (en) 2019-05-30 2020-12-03 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
WO2020236937A1 (en) * 2019-05-20 2020-11-26 Icahn School Of Medicine At Mount Sinai A system and method for interaction and definition of tool pathways for a robotic cutting tool
US20220079687A1 (en) * 2019-05-20 2022-03-17 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
CN110251209B (zh) * 2019-05-24 2020-09-15 北京贝麦克斯科技有限公司 一种校正方法和装置
AU2020296088A1 (en) * 2019-06-18 2021-12-23 Nuvasive, Inc. Tissue retraction system
JP7356523B2 (ja) * 2019-07-03 2023-10-04 ストライカー・コーポレイション 手術ナビゲーションのための障害物回避技法
CN110533702B (zh) * 2019-08-12 2023-04-18 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
US11612440B2 (en) 2019-09-05 2023-03-28 Nuvasive, Inc. Surgical instrument tracking devices and related methods
EP4034023A2 (en) 2019-09-26 2022-08-03 Stryker European Operations Limited Tracker for a surgical instrument
EP4034020A2 (en) 2019-09-26 2022-08-03 Stryker Corporation Surgical navigation systems
WO2021084484A2 (en) 2019-10-29 2021-05-06 Stryker European Operations Limited Surgical navigation tracker, system, and method
CN110956633B (zh) * 2020-02-26 2020-11-24 南京安科医疗科技有限公司 一种基于虚拟立体定位像的快速ct扫描方法及系统
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质
CN111513849B (zh) * 2020-04-30 2022-04-19 京东方科技集团股份有限公司 一种用于穿刺的手术系统、控制方法及控制装置
US12089910B2 (en) * 2020-05-28 2024-09-17 The Chinese University Of Hong Kong Mobile-electromagnetic coil-based magnetic actuation systems
US11969218B2 (en) 2020-07-05 2024-04-30 Asensus Surgical Us, Inc. Augmented reality surgery set-up for robotic surgical procedures
CN111906784B (zh) * 2020-07-23 2023-04-07 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
US11931113B2 (en) * 2020-08-03 2024-03-19 Mazor Robotics Ltd. Systems, devices, and methods for retractor interference avoidance
CN112155733B (zh) * 2020-09-29 2022-01-28 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112402013A (zh) * 2020-11-20 2021-02-26 胡颖 自动识别超声影像的智能导航系统、电子装置及储存介质
US12035979B2 (en) * 2020-11-30 2024-07-16 Mazor Robotics Ltd. Autonomous robot tracking
US20240148447A1 (en) 2021-03-05 2024-05-09 Stryker European Operations Limited Systems And Methods For Associating Components Of A Surgical Instrument For Navigation-Assisted Surgery
CN113509268A (zh) * 2021-05-12 2021-10-19 上海交通大学 一种混合现实手术导航系统的标定装置及标定方法
CN113384347B (zh) * 2021-06-16 2022-07-08 瑞龙诺赋(上海)医疗科技有限公司 一种机器人标定方法、装置、设备及存储介质
US20230020476A1 (en) * 2021-07-15 2023-01-19 Mazor Robotics Ltd. Path planning based on work volume mapping
DE102021126484A1 (de) 2021-10-13 2023-04-13 B. Braun New Ventures GmbH Kalibrierungsverfahren zur automatisierten Kalibrierung von Kamera zu medizinischem Roboter und chirurgisches Assistenzsystem
US20230113312A1 (en) * 2021-10-13 2023-04-13 Mazor Robotics Ltd. Systems, methods, and devices for defining a path for a robotic arm
AU2022370478A1 (en) 2021-10-18 2024-05-02 Stryker European Operations Limited Attachment and system for tracking a surgical instrument
CN114022612A (zh) * 2021-11-02 2022-02-08 武汉联影智融医疗科技有限公司 模型构建方法、装置、计算机设备和存储介质
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN116965937A (zh) * 2022-04-23 2023-10-31 深圳市精锋医疗科技股份有限公司 手术机器人系统及其控制装置
WO2023230349A1 (en) 2022-05-26 2023-11-30 Stryker Corporation Alert system behavior based on localization awareness
WO2023235483A1 (en) 2022-06-03 2023-12-07 Mako Surgical Corp. Surgical robotic system with compliance mechanism
WO2024006578A2 (en) 2022-07-01 2024-01-04 Stryker Corporation Methods and systems for zone and implant planning for a surgical procedure
WO2024052881A1 (en) 2022-09-08 2024-03-14 Stryker European Operations Limited Systems and methods for associating components of a surgical instrument for navigation-assisted surgery
US20240138808A1 (en) * 2022-10-31 2024-05-02 Procept Biorobotics Corporation Fiducial systems for probe tracking and identification
CN116919597B (zh) * 2023-09-15 2023-12-26 中南大学 基于多视觉融合采集信息的手术导航系统
CN118181306B (zh) * 2024-05-17 2024-08-30 上海术之道医疗器械有限公司 机器人控制方法、装置、控制设备及可读取存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007041267A2 (en) * 2005-09-30 2007-04-12 Restoration Robotics, Inc. Automated systems and methods for harvesting and implanting follicular units
US20140222207A1 (en) * 2012-08-03 2014-08-07 Stryker Corporation Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes
KR20150127031A (ko) * 2013-03-13 2015-11-16 스트리커 코포레이션 가상 구속 경계들을 확립하기 위한 시스템

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5732703A (en) 1992-11-30 1998-03-31 The Cleveland Clinic Foundation Stereotaxy wand and tool guide
US5682890A (en) 1995-01-26 1997-11-04 Picker International, Inc. Magnetic resonance stereotactic surgery with exoskeleton tissue stabilization
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US5921992A (en) 1997-04-11 1999-07-13 Radionics, Inc. Method and system for frameless tool calibration
US6247812B1 (en) * 1997-09-25 2001-06-19 Vismed System and method for diagnosing and treating a target tissue
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
US8239001B2 (en) * 2003-10-17 2012-08-07 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US20010034530A1 (en) 2000-01-27 2001-10-25 Malackowski Donald W. Surgery system
US6484049B1 (en) 2000-04-28 2002-11-19 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
WO2002029700A2 (en) 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US7155316B2 (en) 2002-08-13 2006-12-26 Microbotics Corporation Microsurgical robot system
US20110015521A1 (en) 2003-03-27 2011-01-20 Boulder Innovation Group, Inc. Means of Tracking Movement of Bodies During Medical Treatment
DE10343826B4 (de) 2003-09-22 2006-02-09 Plus-Endoprothetik Ag Knochenfester Lokator und Navigationssystem
US7623250B2 (en) 2005-02-04 2009-11-24 Stryker Leibinger Gmbh & Co. Kg. Enhanced shape characterization device and method
CA2826925C (en) * 2005-02-22 2017-01-24 Mako Surgical Corp. Haptic guidance system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
CA2611404C (en) 2005-06-09 2016-01-12 Ife Industrielle Forschung Und Entwicklung Gmbh Device and method for the contactless determination of spatial position/orientation of bodies
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
WO2007113815A2 (en) 2006-03-30 2007-10-11 Activiews Ltd System and method for optical position measurement and guidance of a rigid or semi flexible tool to a target
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2009045827A2 (en) 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
DE102007055203A1 (de) * 2007-11-19 2009-05-20 Kuka Roboter Gmbh Einen Roboter aufweisende Vorrichtung, medizinischer Arbeitsplatz und Verfahren zum Registrieren eines Objekts
US8238631B2 (en) * 2009-05-13 2012-08-07 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
DE102010042540B4 (de) 2010-10-15 2014-09-04 Scopis Gmbh Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems
US9370332B2 (en) * 2010-11-10 2016-06-21 Siemens Medical Solutions Usa, Inc. Robotic navigated nuclear probe imaging
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9921712B2 (en) * 2010-12-29 2018-03-20 Mako Surgical Corp. System and method for providing substantially stable control of a surgical tool
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
US9572539B2 (en) 2011-04-08 2017-02-21 Imactis Device and method for determining the position of an instrument in relation to medical images
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US10363102B2 (en) 2011-12-30 2019-07-30 Mako Surgical Corp. Integrated surgery method
CN106923903B (zh) * 2011-12-30 2020-09-29 玛口外科股份有限公司 用于基于图像的机器人外科手术的系统
DE102012208389A1 (de) 2012-05-18 2013-11-21 Fiagon Gmbh Registrierverfahren und -vorrichtung für ein Positionserfassungssystem
US20220346895A1 (en) * 2012-06-21 2022-11-03 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
KR102603224B1 (ko) 2012-08-03 2023-11-16 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
KR102218244B1 (ko) * 2012-12-10 2021-02-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
DE102012025102A1 (de) * 2012-12-20 2014-06-26 avateramedical GmBH Endoskop mit einem Mehrkamerasystem für die minimal-invasive Chirurgie
WO2014113551A2 (en) 2013-01-16 2014-07-24 Stryker Corporation Navigation systems and methods for indicating and reducing line-of-sight errors
CN105377174A (zh) 2013-02-11 2016-03-02 尼奥梅德兹有限责任公司 用于相对于身体跟踪对象的跟踪设备
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
CA2896381C (en) * 2013-03-15 2017-01-10 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
WO2014189969A1 (en) * 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
US9675419B2 (en) * 2013-08-21 2017-06-13 Brachium, Inc. System and method for automating medical procedures
CN105658167B (zh) 2013-08-23 2018-05-04 斯瑞克欧洲控股I公司 用来对用于手术导航的坐标转换进行确定的计算机实现技术
US10786309B2 (en) 2013-12-10 2020-09-29 Koninklijke Philips N.V. Radiation-free registration of an optical shape sensing system to an imaging system
EP3243476B1 (en) * 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US10912523B2 (en) * 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
US20170079723A1 (en) 2014-05-14 2017-03-23 Brainlab Ag Method for determining the spatial position of objects
US9402691B2 (en) 2014-09-16 2016-08-02 X-Nav Technologies, LLC System for determining and tracking movement during a medical procedure
WO2016126914A1 (en) * 2015-02-05 2016-08-11 Intuitive Surgical Operations, Inc. System and method for anatomical markers
US10499996B2 (en) * 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
EP3777749A3 (en) * 2015-12-31 2021-07-21 Stryker Corporation System and method for preparing surgery on a patient at a target site defined by a virtual object
KR102488295B1 (ko) 2016-05-23 2023-01-16 마코 서지컬 코포레이션 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
US10398514B2 (en) * 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007041267A2 (en) * 2005-09-30 2007-04-12 Restoration Robotics, Inc. Automated systems and methods for harvesting and implanting follicular units
US20140222207A1 (en) * 2012-08-03 2014-08-07 Stryker Corporation Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes
KR20150127031A (ko) * 2013-03-13 2015-11-16 스트리커 코포레이션 가상 구속 경계들을 확립하기 위한 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049761A3 (ko) * 2019-09-09 2021-05-20 주식회사 미래컴퍼니 서브 블록 단위의 수술 데이터 획득 방법 및 그 장치

Also Published As

Publication number Publication date
AU2022231780A1 (en) 2022-10-13
US20240156543A1 (en) 2024-05-16
JP7134872B2 (ja) 2022-09-12
EP3463164B1 (en) 2023-01-11
KR102488295B1 (ko) 2023-01-16
US11937881B2 (en) 2024-03-26
JP2022169764A (ja) 2022-11-09
AU2017269937B2 (en) 2022-06-16
WO2017205351A1 (en) 2017-11-30
CN109152615B (zh) 2021-08-17
EP4186458A1 (en) 2023-05-31
AU2017269937A1 (en) 2018-12-06
EP3463164A1 (en) 2019-04-10
US20200107887A1 (en) 2020-04-09
CN109152615A (zh) 2019-01-04
US10531926B2 (en) 2020-01-14
CA3025300A1 (en) 2017-11-30
US20170333137A1 (en) 2017-11-23
CN113616332A (zh) 2021-11-09
JP2019523664A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
US11937881B2 (en) Systems and methods for identifying and tracking physical objects during a robotic surgical procedure
US11806089B2 (en) Merging localization and vision data for robotic control
US11918305B2 (en) Systems and methods for establishing virtual constraint boundaries

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant