KR20220141308A - 의료 시술에서 감각 증강을 위한 시스템 및 방법 - Google Patents

의료 시술에서 감각 증강을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220141308A
KR20220141308A KR1020227030549A KR20227030549A KR20220141308A KR 20220141308 A KR20220141308 A KR 20220141308A KR 1020227030549 A KR1020227030549 A KR 1020227030549A KR 20227030549 A KR20227030549 A KR 20227030549A KR 20220141308 A KR20220141308 A KR 20220141308A
Authority
KR
South Korea
Prior art keywords
marker
user
display device
navigation system
guide
Prior art date
Application number
KR1020227030549A
Other languages
English (en)
Inventor
매튜 윌리엄 라이언
앤드류 필립 하트만
데르 월트 니콜라스 반
조나단 커크 닐슨
Original Assignee
인사이트 메디칼 시스템즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/786,938 external-priority patent/US11071596B2/en
Application filed by 인사이트 메디칼 시스템즈, 인코포레이티드 filed Critical 인사이트 메디칼 시스템즈, 인코포레이티드
Publication of KR20220141308A publication Critical patent/KR20220141308A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A61B17/15—Guides therefor
    • A61B17/154—Guides therefor for preparing bone for knee prosthesis
    • A61B17/155—Cutting femur
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A61B2090/3916—Bone tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure

Abstract

본 명세서에서 수술 동안 사용자가 착용할 머리 착용 디스플레이 디바이스를 포함하는 독립식 수술용 내비게이션 시스템이 개시된다. 시스템은 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기, 및 적어도 하나의 추적 카메라를 갖는 센서 제품군을 포함한다. 시스템은 지원 모듈을 더 포함하고, 지원 모듈은, 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛을 포함한다. 지원 모듈은 머리 착용 디스플레이 디바이스에 전기적으로 결합되어 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공한다. 디스플레이 디바이스 및 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고 시스템의 전체 감지 및 컴퓨팅 기능을 함께 포함한다.

Description

의료 시술에서 감각 증강을 위한 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 특허 협력 조약 출원 번호 제PCT/US2018/18330호(출원일: 2018년 2월 15일)의 일부 계속이고; 둘 다 미국 가출원 일련 번호 제62/375,483호(출원일: 2016년 8월 16일)의 우선권 이득을 주장하는 미국 출원 번호 제15/674,749호(출원일: 2017년 8월 11일) 및 특허 협력 조약 출원 번호 제PCT/US2017/046438호(출원일: 2017년 8월 11일)의 일부 계속인 미국 특허 출원 일련 번호 제16/786,938호(출원일: 2020년 2월 10일)에 대한 우선권을 주장하고, 이의 각각의 내용은 전문이 모든 목적을 위해 참조에 의해 원용된다.
발명의 기술분야
본 발명은 수술, 진단, 치료 및 마취 시술을 포함하지만 이로 제한되지 않는 의료 시술 동안 위치 결정, 로컬화 및 상황 인식을 위한 신규한 시각화 및 감각 증강 디바이스, 시스템, 방법 및 장치에 관한 것이다.
현재의 의료 시술은 전형적으로 환자에게 변화를 주기 위해 요구된 도구 외에 거의 또는 전혀 도움 없이 외과의 또는 의료 전문가에 의해 수행된다. 예를 들면, 정형 외과의는 일부 측정 도구(예컨대, 자 또는 이와 유사한 것) 및 절단 도구(예컨대, 톱 또는 드릴)를 가질 수 있지만, 외과의에 대한 시각, 청각 및/또는 촉각 입력은 지원되지 않는다. 즉, 외과의는 자신이 수술하는 것 외에는 아무것도 보지 않고, 수술실에 있는 다른 참가자와의 정상적인 의사소통 외에는 아무 것도 듣지 않으며, 시술 시에 도구 또는 다른 관심 있는 항목을 파지하는 것으로부터 정상적인 피드백 외에는 아무 것도 느끼지 않는다. 대안적으로, 디스플레이 및 카메라가 외과의로부터 멀리 떨어진 멸균 영역 외부에 위치되는 대형 콘솔 유형 내비게이션 또는 로봇 시스템이 활용된다. 이는 외과의가 수술 부위와 2차원 디스플레이 사이에서 자신의 시선을 반복적으로 이동할 것을 요구한다. 또한, 카메라의 원격 위치는 커튼, 인력 및/또는 기구가 멸균 영역의 마커에 대한 카메라의 시야를 가리고, 카메라의 유리한 지점(vantage point)이 상처 내부의 이미징에 적합하지 않을 때 가시선 문제를 도입한다. 해부학적 등록은 전형적으로, 마커가 카메라에 보이는 방식으로 프로브(probe)에 마커가 있는 스타일러스를 사용하여 수행된다.
본 발명은 외부 화면을 보기 위해 사용자의 머리를 돌리거나 부자연스러운 동작을 요구하지 않는 사용자의 시야에 시술(들)에 필요한 피드백을 시각적으로 투영하는 것을 제공한다. 증강 또는 가상 디스플레이는 사용자의 시각적 인식의 자연스러운 연장 또는 증대로서 사용자에게 나타난다. 게다가, 사용자의 투구에 위치된 센서 및 카메라는 사용자와 동일한 유리한 지점을 갖고, 이는 외부 카메라와 연관된 시야 가림 문제를 최소화한다. 본 발명을 사용한 해부학적 표면 및 특징의 3D 매핑 및 수술 전 스캔으로부터 모델에 이를 매칭하는 것은 더 빠르고 현재의 스타일러스 지점 클라우드 접근 방식보다 수술 동안 해부학적 구조를 등록하기 위해 더 정확한 방식을 표현한다.
본 발명은 일반적으로 의료 시술의 수행을 보조하는 사용자의 시각, 청각, 또는 촉각을 위한 적어도 하나의 증강으로 구성된 신규한 감각 증대 디바이스 또는 장치를 포함한다. 시각적 보조는 증강 현실의 형태로 사용자의 시야에 실시간 시각적 오버레이의 형태로 제공되거나 가상 현실의 형태로 시각적 장면을 대체하는 것으로서 제공될 수 있다. 청각 보조는 단순한 비프음 및 신호음 또는 음성 및 명령어와 같은 더 복잡한 사운드의 형태로 제공될 수 있다. 촉각 보조는 사용자를 안내하는 것을 목표로 단순한 경고 햅틱 피드백 또는 더 복잡한 햅틱 생성의 형태로 제공될 수 있다. 바람직한 실시형태에서, 시각적(증강 또는 가상) 보조는 오디오 또는 촉각 또는 오디오 및 촉각 피드백 둘 다에 의해 보완될 것이다.
본 발명은 수술 동안 사용자(예컨대, 외과의)가 착용할 머리 착용 디스플레이 디바이스(예컨대, 헤드셋 등)를 포함하는 혼합 현실 수술용 내비게이션 시스템을 제공하며, 이는 프로세서 유닛, 디스플레이 생성기, 적어도 하나의 추적 카메라를 갖는 센서 제품군; 및 카메라에 의해 추적 가능하고 수술용 도구에 고정적으로 부착된 적어도 하나의 시각적 마커를 포함하고; 처리 장치는 관심 있는 해부학적 객체의 부분적으로 노출된 표면의 3차원 표면을 센서 제품군으로부터 수신된 데이터와 매핑하고; 처리 장치는 3차원 표면을 해부학적 객체의 3차원 모델에 매칭함으로써 해부학적 객체에 대한 기준 프레임을 확립하고; 처리 장치는 센서 제품군으로부터 수신된 데이터로 수술용 도구의 6 자유도 포즈(위치 및 방향으로 구성됨)를 추적하고; 처리 장치는 수술용 도구의 원하는 특징 및 사용자의 시야에서 해부학적 객체의 원하는 특징의 입체 가상 이미지를 포함하는 혼합 현실 사용자 인터페이스를 제공하기 위해 디스플레이와 통신한다.
본 발명은 또한, (a) (i) 프로세서 유닛을 포함하는 머리 착용 디스플레이 디바이스, 디스플레이, 적어도 하나의 추적 카메라를 갖는 센서 제품군; 및 (ii) 카메라에 의해 추적 가능한 적어도 하나의 시각적 마커를 포함하는 혼합 현실 수술용 내비게이션 시스템을 제공하는 것; (b) 디스플레이 디바이스를 사용자의 머리에 부착하는 것; (c) 마커를 갖는 수술용 도구를 제공하는 것; (d) 해부학적 객체의 원하는 특징의 3차원 표면의 데이터를 얻기 위해 센서 제품군으로 관심 있는 해부학적 객체를 스캐닝하는 것; (e) 해부학적 객체의 원하는 특징의 가상 3차원 모델의 등록을 위해 3차원 표면의 데이터를 프로세서 유닛으로 송신하는 것; (f) 프로세서 유닛으로의 송신을 위한 데이터를 얻기 위해 센서 제품군으로 6 자유도 포즈를 통해 수술용 도구를 추적하는 단계; 및 (g) 사용자의 시야에서 수술용 도구의 특징 및 해부학적 객체의 특징의 입체 가상 이미지를 포함하는 혼합 현실 사용자 인터페이스를 디스플레이하는 것을 포함하는 의료 시술을 위해 혼합 현실 수술용 내비게이션 시스템을 사용하는 방법을 제공한다.
본 발명은 또한, 수술용 도구의 원하는 특징 및 혼합 현실 수술용 내비게이션 시스템에 의해 제공된 사용자의 시야에서 관심 있는 해부학적 객체의 원하는 특징의 입체 가상 이미지를 포함하는 수술용 내비게이션 시스템을 위한 혼합 현실 사용자 인터페이스를 제공하고, 혼합 현실 수술용 내비게이션 시스템은, (i) 프로세서 유닛, 디스플레이, 적어도 하나의 추적 카메라를 갖는 센서 제품군을 포함하는 머리 착용 디스플레이 디바이스; 및 (ii) 카메라에 의해 추적 가능한 적어도 하나의 시각적 마커를 포함하고; 혼합 현실 사용자 인터페이스는, (a) 머리 착용 디스플레이 디바이스를 사용자의 머리에 부착하는 프로세스; (b) 마커를 갖는 수술용 도구를 제공하는 프로세스; (c) 해부학적 객체의 부분적으로 노출된 표면의 3차원 표면의 데이터를 얻기 위해 센서 제품군으로 원하는 해부학적 객체를 스캐닝하는 프로세스; (d) 해부학적 객체의 특징에 대한 가상 3차원 모델의 등록을 위해 3차원 표면의 데이터를 프로세서 유닛으로 송신하는 프로세스; (e) 프로세서 유닛으로의 송신을 위한 데이터를 얻기 위해 센서 제품군으로 6 자유도 포즈를 통해 수술용 도구를 추적하는 프로세스; 및 (f) 사용자의 시야에서 수술용 도구의 특징 및 해부학적 객체의 특징의 입체 가상 이미지를 포함하는 혼합 현실 사용자 인터페이스를 디스플레이하는 프로세스에 의해 얻어진다.
본 발명은 또한, 수술 절차 동안 프로브를 추적하기 위한 방법을 제공한다. 예를 들면, 방법은, 초음파 트랜스듀서를 사용하여 환자의 내부 해부학적 구조에 대한 2차원 이미지를 수신하는 단계; 초음파 트랜스듀서의 위치 및 방향을 추적하는 단계; 환자의 위치 및 방향을 추적하는 단계; 환자의 2차원 이미지를 환자에 대한 초음파 트랜스듀서의 위치 및 방향과 조합하는 단계; 환자의 내부 해부학적 구조의 3차원 이미지를 생성하기 위해 초음파 트랜스듀서의 위치 및 방향과 환자의 위치 및 방향을 사용하여 공통 기준 프레임에서 2차원 이미지를 재구성하는 단계; 프로브의 위치 및 방향을 추적하는 단계; 환자의 내부 해부학적 구조의 3차원 이미지에 대해 프로브의 끝의 축 및 위치를 디스플레이하는 단계; 및 환자의 내부 해부학적 구조에 대한 위치에 기초하여 프로브의 끝을 원하는 위치로 전진시키는 단계를 포함할 수 있다. 방법은 하나 이상의 스테레오 카메라 또는 추적 카메라 또는 초음파 트랜스듀서를 사용하여 환자의 외부 해부학적 구조 또는 외부 표면의 2차원 이미지를 수신하는 단계; 및 재구성된 3차원 이미지와 함께 외부 해부학적 구조의 2차원 이미지를 디스플레이하는 단계를 더 포함할 수 있다. 방법은 핀, 바늘, 나사, 주사 장치, 프로브, 등의 위치, 전진, 후퇴, 등을 모니터링하기 위해 사용될 수 있다. 방법은 본 명세서에서의 어딘가에서 설명된 머리 착용 디스플레이 디바이스 및/또는 혼합 현실 수술용 시스템 중 임의의 것에 의해 수행될 수 있다.
본 발명의 하나의 양태는 독립적인, 머리 착용 수술용 내비게이션 시스템에 관한 것이다. 일부 실시형태에서, 시스템은, 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기, 적어도 하나의 추적 카메라를 갖는 센서 제품군, 및 센서 제품군으로부터 데이터를 수신하고, 그리고 적어도 하나의 추적 카메라의 시야 내에서 적어도 2개의 마커 중 제1 마커의 위치를 결정하고, 사용자를 제1 마커에 대한 적어도 2개의 마커 중 제2 마커의 위치로 지향시키기 위해 디스플레이 디바이스에서 사용자에게 가상 가이드를 디스플레이하며, 가상 가이드로부터의 방향에 기초하여 적어도 하나의 추적 카메라로 제2 마커의 위치를 결정함으로써 적어도 2개의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛을 포함한다.
본 발명의 또 다른 양태는 독립식 수술용 내비게이션 시스템에 관한 것이다. 일부 실시형태에서, 시스템은, 수술 동안 사용자에 의해 착용될 머리 착용 디스플레이 디바이스를 포함하고, 머리 착용 디스플레이 디바이스는, 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기, 및 적어도 하나의 추적 카메라를 갖는 센서 제품군을 포함한다. 시스템은 지원 모듈을 포함하고, 지원 모듈은, 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛을 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은, 디스플레이 디바이스가 안면 가리개 또는 헬멧에 장착되도록, 안면 가리개 및 헬멧 중 하나 이상을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 관심 객체를 추적하기 위해 관심 객체에 부착된 적어도 하나의 마커를 더 포함한다. 일부 이러한 실시형태에서, 적어도 하나의 마커는 프로세서 유닛이 또한: 센서 제품군의 하나 이상의 센서를 사용하여 사용자의 머리의 각도를 추적하도록; 적어도 하나의 마커가 적어도 하나의 추적 카메라의 시야에 배치되었을 때 적어도 하나의 마커의 마지막으로 알려진 위치에 기초하여 적어도 하나의 마커의 상대 위치를 산출하되, 마지막으로 알려진 위치는 머리의 각도에 상대적인, 상기 적어도 하나의 마커의 상대 위치를 산출하도록; 그리고 사용자를 적어도 하나의 마커의 위치로 지향시키기 위해 디스플레이 디바이스에서 사용자에게 가상 가이드를 디스플레이하도록 구성되도록, 적어도 하나의 추적 카메라의 시야 밖에 있다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈은 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 머리 착용 디스플레이 디바이스에 전기적으로 결합된다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈은 사용자의 머리 이외의 위치에서 사용자의 신체에 착용된다.
선행하는 실시형태 중 임의의 것에서, 디스플레이 디바이스 및 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은, 관심 객체를 추적하기 위해 관심 객체에 부착된 적어도 2개의 마커를 더 포함한다. 제1 마커는 적어도 하나의 추적 카메라의 시야 내에 있고 제2 마커는 적어도 하나의 추적 카메라의 시야 밖에 있다. 일부 이러한 실시형태에서, 프로세서 유닛은 적어도 하나의 추적 카메라의 시야 내에서 제1 마커의 위치를 결정하하도록, 사용자를 제1 마커에 대한 제2 마커의 위치로 지향시키기 위해 디스플레이 디바이스에서 사용자에게 가상 가이드를 디스플레이하하도록, 그리고 가상 가이드로부터의 방향에 기초하여 적어도 하나의 추적 카메라로 제2 마커의 위치를 결정하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 시스템은 제1 마커 및 제2 마커의 초기 위치를 획득하는 것; 및 제2 마커가 적어도 하나의 추적 카메라의 시야에 없을 때, 획득된 초기 위치에 기초하여 제1 마커에 대한 제2 마커의 위치를 추정하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 알려진 해부학적 랜드마크에 대한 제1 마커 및 제2 마커의 초기 위치를 획득하는 것; 알려진 해부학적 랜드마크 사이의 거리를 산출하는 것; 및 제2 마커가 적어도 하나의 추적 카메라의 시야에 없을 때, 산출된 거리에 기초하여 제1 마커에 대한 제2 마커의 위치를 추정하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 센서 제품군의 하나 이상의 센서를 사용하여 사용자의 머리의 움직임을 추적하는 것; 및 제2 마커가 적어도 하나의 추적 카메라의 시야 내에 있을 때 제2 마커의 마지막으로 알려진 위치에 기초하여 제2 마커의 위치를 산출하는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 관심 객체를 추적하기 위해 관심 객체에 부착된 적어도 2개의 마커를 더 포함한다. 일부 이러한 실시형태에서, 적어도 2개의 마커 중 하나 또는 둘 다는 프로세서 유닛이 적어도 2개의 마커 사이에 가상 제어부를 디스플레이하도록; 사용자 입력에 기초하여 가상 제어부와 정렬되도록 구성되는 사용자 입력 제어부를 디스플레이하도록; 사용자 입력 제어부를 가상 제어부와 정렬시키기 위해 사용자가 자신의 머리를 돌릴 때 가상 제어부의 위치를 조정하하도록; 그리고 적어도 2개의 마커가 둘 다 적어도 하나의 추적 카메라의 시야에 있을 때 적어도 하나의 추적 카메라의 시야에서 적어도 2개의 마커를 추적하도록 더 구성되도록, 적어도 하나의 추적 카메라의 시야 밖에 있다.
선행하는 실시형태 중 임의의 것에서, 머리 착용 디스플레이 디바이스는 적외선을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 적외선 필터가 가시광선에 결합될 때 가시광선이 적외선을 방출하는 것을 방지하도록, 가시광선 및 가시광선에 결합된 적외선 필터를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 적외선 주위에 배열되고 적외선으로부터의 광이 방출되는 개구를 획정하는 복수의 측벽을 포함하는 덮개를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 적어도 하나의 추적 카메라, 가시광선, 및 적외선은 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 안면 가리개 뒤에 배치된다.
선행하는 실시형태 중 임의의 것에서, 적외선에 의해 방출된 광이 적어도 하나의 추적 카메라 내로 반사되는 것을 방지하고 안면 가리개를 단지 통과하도록 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 복수의 측벽은 안면 가리개와 접촉한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 안면 가리개 및 헬멧을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈의 하우징은 전력을 배터리로부터 프로세서 유닛 및 머리 착용 디스플레이 디바이스로 지향시키기 위해 배열된 회로 기판을 포함하는 베이스를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈의 하우징은 브래킷에 배치될 때 배터리 및 프로세서 유닛을 견고하고 제거 가능하게 구속하도록 구성된 브래킷을 더 포함한다.
본 발명의 또 다른 양태는 헬멧 및 안면 가리개와 함께 사용하기 위해 구성된 독립식 수술용 내비게이션 시스템에 관한 것이다. 일부 실시형태에서, 시스템은 수술 동안 사용자에 의해 착용될 머리 착용 디스플레이 디바이스를 포함하며, 머리 착용 디스플레이 디바이스는, 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기, 적어도 하나의 추적 카메라를 갖는 센서 제품군, 가시광선, 적외선, 및 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛을 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 적외선 주위에 배열되고 적외선으로부터의 광이 방출되는 개구를 획정하는 복수의 측벽을 포함하는 덮개를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 적어도 하나의 추적 카메라, 가시광선, 및 적외선은 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 안면 가리개 뒤에 배치된다.
선행하는 실시형태 중 임의의 것에서, 복수의 측벽은 적외선에 의해 방출된 광이 적어도 하나의 추적 카메라 내로 반사되는 것을 방지하고 안면 가리개를 단지 통과하도록 헬멧에 머리 착용 디스플레이 디바이스가 부착될 때 안면 가리개와 접촉한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 적외선 필터가 가시광선에 결합될 때 가시광선이 적외선을 방출하는 것을 방지하도록, 가시광선에 결합된 적외선 필터를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 시스템은 관심 객체를 추적하기 위해 관심 객체에 부착된 적어도 2개의 마커를 더 포함하고, 제1 마커는 적어도 하나의 추적 카메라의 시야 내에 있고 제2 마커는 적어도 하나의 추적 카메라의 시야 밖에 있다. 일부 이러한 실시형태에서, 프로세서 유닛은 적어도 하나의 추적 카메라의 시야 내에서 제1 마커의 위치를 결정하도록, 사용자를 제1 마커에 대한 제2 마커의 위치로 지향시키기 위해 디스플레이 디바이스에서 사용자에게 가상 가이드를 디스플레이하도록, 그리고 가상 가이드로부터의 방향에 기초하여 적어도 하나의 추적 카메라로 제2 마커의 위치를 결정하도록 더 구성된다.
선행하는 실시형태 중 임의의 것에서, 시스템은 지원 모듈을 더 포함하며, 지원 모듈은 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛을 포함한다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈은 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 머리 착용 디스플레이 디바이스에 전기적으로 결합된다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈은 사용자의 머리 이외의 위치에서 사용자의 신체에 착용된다.
선행하는 실시형태 중 임의의 것에서, 디스플레이 디바이스 및 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함한다.
선행하는 실시형태 중 임의의 것에서, 덮개는 모놀리식 구조를 갖는다.
선행하는 실시형태 중 임의의 것에서, 복수의 측벽에 결합된 전방 표면은 안면 가리개와 접촉하고 안면 가리개의 곡률 반경과 매칭하는 곡률 반경을 갖는다.
선행하는 실시형태 중 임의의 것에서, 복수의 측벽에 결합된 전방 표면은 안면 가리개와 접촉하고 안면 가리개의 곡률 반경과 대략적으로 매칭하는 곡률 반경을 갖는다.
선행하는 실시형태 중 임의의 것에서, 복수의 측벽 중 하나 이상은 적외선의 중심 축에 대해 10 내지 20도의 각을 이룬다.
본 발명의 또 다른 양태는 헬멧 및 안면 가리개와 함께 사용하도록 구성된 독립식 수술용 내비게이션 시스템에 관한 것이다. 일부 실시형태에서, 시스템은 수술 동안 사용자가 착용할 머리 착용 디스플레이 디바이스를 포함하고, 머리 착용 디스플레이 디바이스는, 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기를 포함하며, 디스플레이 디바이스는 수술용 헬멧 및 안면 가리개, 및 적어도 하나의 추적 카메라를 갖는 센서 제품군 중 하나 이상에 장착된다.
선행하는 실시형태 중 임의의 것에서, 시스템은 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및 프로세서 유닛을 포함하는 지원 모듈을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈은 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 머리 착용 디스플레이 디바이스에 전기적으로 결합된다.
선행하는 실시형태 중 임의의 것에서, 지원 모듈은 사용자의 머리 이외의 위치에서 사용자의 신체에 착용된다.
선행하는 실시형태 중 임의의 것에서, 디스플레이 디바이스 및 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함한다.
선행하는 실시형태 중 임의의 것에서, 프로세서 유닛은 센서 제품군으로부터 데이터를 수신하고, 그리고 적어도 하나의 추적 카메라의 시야 내에서 적어도 2개의 마커 중 제1 마커의 위치를 결정하고, 사용자를 제1 마커에 대한 적어도 2개의 마커 중 제2 마커의 위치로 지향시키기 위해 디스플레이 디바이스에서 사용자에게 가상 가이드를 디스플레이하며, 가상 가이드로부터의 방향에 기초하여 적어도 하나의 추적 카메라로 제2 마커의 위치를 결정함으로써 적어도 2개의 마커의 위치 및 방향을 산출하도록 구성된다.
본 발명의 또 다른 양태는 관절 중심을 결정하기 위한 머리 착용 수술용 내비게이션 시스템에 관한 것이다. 본 명세서에서 설명된 머리 착용 수술용 시스템 중 임의의 것은 관절 중심을 결정하기 위해 사용될 수 있다. 시스템은 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기; 적어도 하나의 추적 카메라를 갖는 센서 제품군; 뼈를 추적하기 위해 뼈에 부착된 적어도 하나의 기준 마커로서, 뼈는 뼈가 관절에서 또는 관절에 대해 회전하도록 배치되는, 상기 적어도 하나의 기준 마커; 관절에 대해 실질적으로 고정되도록 배치된 적어도 하나의 고정식 기준 마커(stationary reference marker); 및 프로세서 유닛을 포함할 수 있다. 프로세서 유닛은, 기준 좌표 프레임에서 뼈에 지점을 등록하도록; 등록된 지점에 기초하여 뼈 좌표 프레임을 생성하도록; 기준 좌표 프레임으로부터 뼈 좌표 프레임으로 변환하도록; 획득 동안, 시각적 디스플레이의 적어도 일부의 위치가 머리 착용 수술용 내비게이션 시스템의 움직임과 동시에 이동하도록, 적어도 하나의 추적 카메라를 사용하여, 기준 프레임에서 적어도 하나의 고정식 마커의 지점을 획득하도록; 그리고 뼈 좌표 프레임에서 관절 중심을 결정하도록 구성될 수 있다.
선행하는 실시형태 중 임의의 것에서, 결정하는 것은 뼈 좌표계에서 관절 중심의 위치를 계산하는 것; 관절 중심을 결정하기 위해 최적 추정 필터를 통해 실질적으로 연속적으로 처리하는 것을 포함하고; 결정하는 것은 모든 지점을 획득한 후에, 관절 중심을 결정하기 위한 일괄 처리; 또는 이들의 조합을 포함한다.
선행하는 실시형태 중 임의의 것에서, 뼈는, 대퇴골, 경골, 상완골, 요골, 또는 척추체 중 하나이다.
선행하는 실시형태 중 임의의 것에서, 관절은, 고관절, 무릎, 어깨, 팔꿈치, 발목, 또는 척추체 중 하나이다.
선행하는 실시형태 중 임의의 것에서, 고정식은 관성 공간에 고정된 것을 더 포함한다.
본 발명의 또 다른 양태는 고관절 중심을 결정하기 위한 머리 착용 수술용 내비게이션 시스템에 관한 것이다. 본 명세서에서 설명된 머리 착용 수술용 내비게이션 시스템 중 임의의 것이 사용될 수 있다. 시스템은 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기; 적어도 하나의 추적 카메라를 갖는 센서 제품군; 대퇴골을 추적하기 위해 대퇴골에 부착된 적어도 하나의 기준 마커로서, 대퇴골은 대퇴골이 고관절에서 또는 고관절에 대해 회전하도록 배치되는, 상기 적어도 하나의 기준 마커; 고관절에 대해 실질적으로 고정되도록 배치된 적어도 하나의 고정식 기준 마커; 및 프로세서 유닛을 포함할 수 있다. 프로세서 유닛은 기준 좌표 프레임에서 대퇴골에 지점을 등록하도록; 등록된 지점에 기초하여 대퇴골 좌표 프레임을 생성하도록; 기준 좌표 프레임으로부터 대퇴골 좌표 프레임으로 변환하도록; 적어도 하나의 추적 카메라를 사용하여, 기준 프레임에서 적어도 하나의 고정식 마커의 지점을 획득하되, 획득 동안, 시각적 디스플레이의 적어도 일부의 위치는 머리 착용 수술용 내비게이션 시스템의 움직임과 동기적으로 이동하는, 상기 적어도 하나의 고정식 마커의 지점을 획득하도록; 그리고 대퇴골 좌표 프레임에서 고관절 중심을 결정하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 결정하는 것은 대퇴골 좌표계에서 고관절 중심의 위치를 계산하는 것; 고관절 중심을 결정하기 위해 최적 추정 필터를 통해 실질적으로 연속적으로 처리하는 것; 모든 지점을 획득한 후에, 고관절 중심을 결정하기 위한 일괄 처리; 또는 이들의 조합을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 고정식은 관성 공간에 고정된 것을 더 포함한다.
본 발명의 또 다른 양태는 방법이 본 명세서에서 설명된 머리 착용 수술용 내비게이션 시스템 중 임의의 것에 의해 수행되도록, 절제각을 설정하기 전에 과두 표면(condylar surface)을 등록하는 방법에 관한 것이다. 방법은 프로세서 유닛에 의해 수행되고: 머리 착용 수술용 내비게이션 시스템의 디스플레이에, 하나 이상의 영역을 포함하는 타깃을 디스플레이하는 단계; 디스플레이에서, 실시간으로 과두 가이드(condylar guide)로부터 수신된 하나 이상의 각도를 표현하는 이동 가능한 아이콘을 제공하는 단계; 타깃에서 하나 이상의 영역에 대해 이동 가능한 아이콘의 위치를 조정하기 위해 하나 이상의 사용자 입력을 수신하는 단계; 및 디스플레이에, 시각적으로 마킹된 영역이 캡처된 유효 깊이 기준 지점을 나타내도록, 이동 가능한 아이콘의 위치를 조정하는 동안 이동 가능한 아이콘이 상호 작용하는 타깃의 하나 이상의 영역 중 임의의 것에 대한 시각적 마커를 출력하는 단계를 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 이전에 캡처된 유효 깊이 기준 지점을 기록하는 것을 방지하기 위해 이동 가능한 아이콘의 이동을 제한하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 캡처된 유효 깊이 기준 지점이 저장되는 데이터베이스를 형성하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 타깃은 그리드 또는 불스아이(bullseye)이다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 영역의 각각은 방법이 디스플레이에, 이동 가능한 아이콘이 강조된 영역과 적어도 부분적으로 중첩할 때까지 사용자에게 과두에 대해 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 순차적으로 강조된다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 영역 중 임의의 하나는 방법이 디스플레이에, 이동 가능한 아이콘이 강조된 영역과 적어도 부분적으로 중첩할 때까지 사용자에게 과두에 대해 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 강조된다.
선행하는 실시형태 중 임의의 것에서, 방법은 강조된 영역을 이동 가능한 아이콘과 적어도 부분적으로 중첩시킬 때, 강조된 영역을 비활성화하고 하나 이상의 영역 중 제2 영역을 강조하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 사용자에게 과두 가이드를 제거하고 절단 가이드를 부착하도록 촉구하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 절단 가이드에 의해 획정된 현재 절제 평면으로부터 깊이 기준 평면에 대응하는 유효 깊이 기준 지점 중 하나까지의 거리에 기초하여 절제 깊이를 산출하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 과두 가이드를 제공하는 단계를 더 포함하고, 과두 가이드는, 제1 단부 및 제2 단부를 갖는 본체; 평면 표면이 하나 이상의 대퇴골 과두에 놓이고 절제 깊이를 산출하기 위한 제로 깊이 평면을 구성하도록 구성되게끔, 제1 단부의 적어도 일부의 측면 영역으로부터 연장되는 적어도 하나의 평면 표면; 과두 가이드의 포즈를 추적하기 위해 적어도 하나의 평면 표면에 배치된 적어도 하나의 추적기; 및 본체의 제2 단부로부터 연장되고 절단 가이드에 결합하도록 구성된 연결기를 포함한다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드는 본체의 제1 단부로부터 연장되는 세장형 핸들을 포함한다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드의 본체는 또한, 뼈 내로 삽입하기 위해 개구를 통해 핀을 수용하도록 구성되는 개구를 획정한다.
선행하는 실시형태 중 임의의 것에서, 개구의 직경은 핀이 개구를 통해 삽입될 때 개구가 과두 가이드가 기울어지는 것을 허용하도록 크기가 조정된다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드는 연결기의 반대 방향으로 본체의 제2 단부로부터 연장되는 해제 기구를 더 포함한다. 선행하는 실시형태 중 임의의 것에서, 해제 기구는 절단 가이드를 뼈에 고정하기 전에 과두 가이드를 뼈에 결합하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드의 본체의 제2 단부의 적어도 일부는 연결기 및 해제 기구가 슬라이더의 대향 측면에 삽입되는 슬라이더를 수용하도록 구성된 슬롯을 획정한다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드의 적어도 하나의 평면 표면은 대퇴골 과두에 접하는 평면을 시뮬레이팅하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 방법은 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 하나 이상의 평면 표면에 배치된 하나 이상의 추적기를 사용하여 과두 가이드를 추적하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 절단 가이드에 결합된 과두 가이드를 사용한 후에만 절단 가이드를 고정하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드의 연결기는 제거 가능하다.
본 발명의 또 다른 양태는 방법이 본 명세서에서 설명된 머리 착용 수술용 내비게이션 시스템 중 임의의 것에 의해 수행되도록, 절제각을 설정하기 전에 과두 표면을 등록하는 방법에 관한 것이다. 방법은 프로세서 유닛에 의해 수행되고: 머리 착용 수술용 내비게이션 시스템의 디스플레이에, 하나 이상의 영역을 포함하는 타깃을 디스플레이하는 단계; 디스플레이에서, 실시간으로 과두 가이드로부터 수신된 하나 이상의 각도를 수신하고 디스플레이하는 단계; 타깃에서 하나 이상의 영역에 대해 과두 가이드를 조정하기 위해 하나 이상의 사용자 입력을 수신하는 단계; 및 디스플레이에, 타깃의 하나 이상의 영역 중 임의의 것에 대한 시각적 마커를 출력하는 단계를 포함하고, 시각적으로 마킹된 영역은 캡처된 유효 깊이 기준 지점을 나타낸다.
선행하는 실시형태 중 임의의 것에서, 방법은 이전에 캡처된 유효 깊이 기준 지점을 기록하는 것을 제한하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 캡처된 유효 깊이 기준 지점이 저장되는 데이터베이스를 형성하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 타깃은 그리드 또는 불스아이이다.
선행하는 실시형태 중 임의의 것에서, 하나 이상의 영역의 각각은 방법이 디스플레이에, 과두 가이드의 각도가 강조된 영역을 적어도 부분적으로 중첩할 때까지 사용자에게 과두에 대해 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 순차적으로 강조된다.
선행하는 실시형태 중 임의의 것에서, 방법은 하나 이상의 영역 중 임의의 하나는 방법이 디스플레이에, 과두 가이드의 각도가 강조된 영역을 적어도 부분적으로 중첩할 때까지 사용자에게 과두에 대해 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 강조되는 것을 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 강조된 영역을 과두 가이드의 각도와 적어도 부분적으로 중첩시킬 때, 강조된 영역을 비활성화하고 하나 이상의 영역 중 제2 영역을 강조하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 사용자에게 과두 가이드를 제거하고 절단 가이드를 부착하도록 촉구하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 절단 가이드에 의해 획정된 현재 절제 평면으로부터 깊이 기준 평면에 대응하는 유효 깊이 기준 지점 중 하나까지의 거리에 기초하여 절제 깊이를 산출하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 과두 가이드를 제공하는 단계를 더 포함하고, 과두 가이드는, 제1 단부 및 제2 단부를 갖는 본체; 평면 표면이 하나 이상의 대퇴골 과두에 놓이고 절제 깊이를 산출하기 위한 제로 깊이 평면을 구성하도록 구성되게끔, 제1 단부의 적어도 일부의 측면 영역으로부터 연장되는 적어도 하나의 평면 표면; 과두 가이드의 포즈를 추적하기 위해 적어도 하나의 평면 표면에 배치된 적어도 하나의 추적기; 및 본체의 제2 단부로부터 연장되고 절단 가이드에 결합하도록 구성된 연결기를 포함한다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드는 본체의 제1 단부로부터 연장되는 세장형 핸들을 포함한다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드의 본체는 또한, 뼈 내로 삽입하기 위해 개구를 통해 핀을 수용하도록 구성되는 개구를 획정한다.
선행하는 실시형태 중 임의의 것에서, 본체에 의해 획정된 개구의 직경은 핀이 개구를 통해 삽입될 때 개구가 과두 가이드가 기울어지는 것을 허용하도록 크기가 조정된다.
선행하는 실시형태 중 임의의 것에서, 과두 가이드는 해제 기구가 절단 가이드를 뼈에 고정하기 전에 과두 가이드를 뼈에 결합하도록 구성되도록, 연결기의 반대 방향으로 본체의 제2 단부로부터 연장되는 해제 기구를 포함한다.
선행하는 실시형태 중 임의의 것에서, 본체의 제2 단부의 적어도 일부는 연결기 및 해제 기구가 슬라이더의 대향 측면에 삽입되는 슬라이더를 수용하도록 구성된 슬롯을 획정한다.
선행하는 실시형태 중 임의의 것에서, 적어도 하나의 평면 표면은 대퇴골 과두에 접하는 평면을 시뮬레이팅하도록 구성된다.
선행하는 실시형태 중 임의의 것에서, 방법은 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 하나 이상의 평면 표면에 배치된 하나 이상의 추적기를 사용하여 과두 가이드를 추적하는 단계를 더 포함한다.
선행하는 실시형태 중 임의의 것에서, 방법은 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 절단 가이드에 결합된 과두 가이드를 사용한 후에만 절단 가이드를 고정하는 단계를 더 포함한다.
본 발명의 일부 실시형태는 일례로서 도시되고 첨부 도면의 도면에 의해 제한되지 않으며, 여기서 유사한 참조 번호는 유사한 요소를 나타낼 수 있고 여기서:
도 1은 본 발명의 원리에 따른 증강 시스템의 도식적인 묘사를 도시한 도면.
도 2a는 도 1의 시스템의 디스플레이 디바이스의 도식적인 묘사의 정면 사시도.
도 2b는 도 2a의 디스플레이 디바이스의 배면 사시도.
도 3은 도 1의 시스템의 디스플레이 디바이스의 또 다른 실시형태의 도식적인 묘사를 도시한 도면.
도 4는 도 1의 시스템의 전기적 하드웨어 구성의 개략도.
도 5는 도 1의 시스템의 마커 및 카메라의 도식적인 묘사를 도시한 도면.
도 6은 가상 골반을 보여주는 고관절 교체 시술에서 비구 쉘의 위치 결정 동안 도 1의 시스템에 의해 제공된 혼합 현실 사용자 인터페이스 이미지("MXUI")의 도식적인 묘사를 도시한 도면.
도 7은 가상 골반 및 가상 비구 임팩터를 보여주는 고관절 교체 시술에서 비구 쉘의 위치 결정 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 8은 의료 시술 동안 도 1의 시스템의 동작 프로세스를 보여주는 흐름도.
도 9는 본 발명의 원리에 따라 고관절 교체 시술을 수행하기 위해 도 1의 시스템을 사용하는 방법을 보여주는 흐름도.
도 10은 본 발명의 원리에 따라 일반적인 의료 시술을 수행하기 위해 도 1의 시스템을 사용하는 방법을 보여주는 흐름도.
도 11은 비구 쉘 및 광학 마커를 포함하는 고관절 임팩터 어셈블리의 도식적인 묘사의 사시도.
도 12는 도 11에 도시된 고관절 임팩터 어셈블리의 분해도.
도 13a는 도 1의 시스템에 선택적으로 포함되는 해부학적 구조 마커 어셈블리의 도식적인 묘사의 사시도.
도 13b는 도 13a에 도시된 해부학적 마커의 클램프 어셈블리의 사시도.
도 14는 도 13a에 도시된 해부학적 구조 마커 어셈블리의 분해도.
도 15는 도 1의 시스템에 선택적으로 포함되는 교정 어셈블리의 도식적인 묘사의 사시도.
도 16은 도 15에 도시된 교정 어셈블리의 분해 정면도.
도 17은 도 16에 도시된 교정 어셈블리의 분해 후면도.
도 18은 다양한 교정 단계 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 19는 고관절 교체 시술의 골반 등록 단계 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 20은 고관절 교체 시술의 골반에 핀을 삽입하는 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 21은 고관절 교체 시술의 골반 등록 단계 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 22는 고관절 교체 시술의 대퇴골 등록 단계 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 23은 고관절 교체 시술에서 대퇴골 경부를 절제하는 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 24는 고관절 교체 시술에서 비구 쉘의 위치 결정 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 25는 고관절 교체 시술에서 비구 쉘의 위치 결정 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 26은 고관절 교체 시술에서 대퇴골을 재배치하는 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 27은 고관절 교체 시술 동안 C-암을 사용하는 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 28은 도 1의 시스템이 본 발명의 원리에 따른 수술 절차에서 C-암과 결부하여 사용될 수 있는 방법을 도시하는 흐름도.
도 29는 도 1의 시스템에 선택적으로 포함되는 장비 식별 및 추적 라벨의 도식적인 묘사의 정면도.
도 30은 본 발명의 원리에 따른 도 1의 시스템을 사용하여 의료 장비를 등록, 공유 및/또는 추적하기 위한 방법의 흐름도.
도 31은 척추 유합술 시술에서 초음파 트랜스듀서로 척추를 등록하는 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 32는 개방 척추 유합술 시술에서 스타일러스로 척추를 등록하는 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 33은 도 32의 수술 노출 부분의 확대 정면도.
도 34는 척추 유합술 시술에서 척추경의 드릴링 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 35는 도 34의 가상 드릴 및 타깃 부분의 확대도.
도 36a는 도 1의 시스템의 AR 헤드셋을 착용한 사용자의 도식적인 묘사의 정면 사시도.
도 36b는 보호 안면 가리개를 갖는 도 1의 시스템의 AR 헤드셋을 착용한 사용자의 도식적인 묘사의 후면 사시도.
도 37a는 수술용 헬멧을 갖는 도 1의 시스템의 AR 헤드셋을 착용한 사용자의 도식적인 묘사의 정면 사시도.
도 37b는 도 37a에 도시된 항목의 후면 사시도.
도 38a는 도 1의 시스템의 다양한 구성요소의 도식적인 묘사의 정면 사시도.
도 38b는 도 37a에 도시된 수술용 헬멧의 후면 사시도.
도 39는 도 36a에 도시된 AR 헤드셋의 정면 사시도.
도 40은 도 37a에 도시된 수술용 헬멧의 분해도.
도 41a는 도 40에 도시된 전기기계 결합 플레이트의 하단 사시도.
도 41b는 도 40에 도시된 전기기계 결합 플레이트의 상단 사시도.
도 42는 무릎 교체 시술에서 사용된 도 37a에 도시된 시스템의 구성요소의 정면 사시도.
도 43은 무릎 교체 시술에서 원위 대퇴골을 등록하는 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 44는 무릎 교체 시술에서 절제 평면 계획 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 45는 무릎 교체 시술에서 절단 블록의 위치에 대한 핀의 배치 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 46은 무릎 교체 시술에서 경골 절제 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 47은 무릎 교체 시술 동안 사용 중인 도 1의 시스템에 선택적으로 포함되는 무릎 균형 디바이스의 도식적인 묘사의 정면 사시도.
도 48은 무릎 교체 시술에서 균형 평가 동안 도 1의 시스템에 의해 제공된 MXUI의 도식적인 묘사를 도시한 도면.
도 49는 도 47에 도시된 무릎 균형 디바이스의 정면 사시도.
도 50a는 기준 위치에서 비구 및 근위 대퇴골의 노출된 표면의 도식적인 묘사를 도시한 도면.
도 50b는 변위된 위치에서 비구 및 근위 대퇴골의 노출된 표면의 도식적인 묘사를 도시한 도면.
도 51은 대퇴골 버전을 산출하기 위한 기준 축 및 평면을 보여주는, 고관절 및 다리의 도식적인 묘사를 도시한 도면.
도 52는 이식된 구성요소를 갖는 고관절의 도식적인 묘사를 도시한 도면.
도 53은 고관절 임팩터 및 임팩터에 매핑된 표면을 보여주는 쉘의 도식적인 묘사를 도시한 도면.
도 54는 도 1의 시스템이 본 발명의 원리에 따라 고관절 운동학을 분석하기 위해 사용될 수 있는 방법을 보여주는 흐름도.
도 55는 무릎 교체 시술을 탐색하는 일 예시적인 방법을 보여주는 흐름도.
도 56은 단과상 임플란트를 갖는 무릎의 도식적인 묘사를 도시한 도면.
도 57은 단과상 임플란트를 갖는 경골의 도식적인 묘사를 도시한 도면.
도 58a는 기준 위치에서 표면 매핑을 위한 예시적인 영역을 보여주는 무릎의 도식적인 묘사를 도시한 도면.
도 58b는 변위된 위치에서 표면 매핑을 위한 예시적인 영역을 보여주는 무릎의 도식적인 묘사를 도시한 도면.
도 58c는 표면 매핑을 위한 예시적인 영역을 보여주는 무릎의 도식적인 묘사를 도시한 도면.
도 59는 고관절 교체 시술을 탐색하는 일 예시적인 방법을 보여주는 흐름도.
도 60은 브래킷을 갖는 접안경의 도식적인 묘사를 도시한 도면.
도 61은 도 60에 묘사된 접안경의 분해도.
도 62는 지원 모듈의 분해도.
도 63a는 지원 모듈 회로 기판(6212)의 전기적 하드웨어 구성의 개략도.
도 63b는 지원 모듈의 하나의 실시형태에 대한 회로 기판의 개략도.
도 64는 요구된 마커를 포함하도록 카메라 FOV를 배치하는데 있어서 사용자를 보조하는 특징을 도시하는 MXUI의 도식적인 묘사를 도시한 도면.
도 65는 수술 파라미터를 최적화하는 일 예시적인 방법을 보여주는 흐름도.
도 66은 무릎 수술에서 절제 깊이를 측정하기 위한 시스템의 구성요소를 도시한 도면.
도 67은 대퇴골의 절제 깊이를 측정하는 일 예시적인 방법을 도시하는 흐름도.
도 68a는 조정 가능한 절단 블록의 도식적인 묘사를 도시한 도면.
도 68b는 도 68a에 묘사된 절단 블록의 분해도.
도 69는 도 60에 묘사된 접안경 및 브래킷의 분해도.
도 70은 도 60에 묘사된 접안경 및 브래킷의 측면도.
도 71은 수술용 헬멧에 장착된 도 60에 묘사된 접안경 및 브래킷을 도시한 도면.
도 72a는 수술용 안면 가리개에 대해 장착된 도 60에 묘사된 접안경의 평면도.
도 72b는 수술용 안면 가리개에 대해 장착된 도 60에 묘사된 접안경의 측면도.
도 73a는 도 72a 및 도 72b의 덮개의 확대된 뷰를 도시한 도면.
도 73b는 도 72a 및 도 72b의 덮개의 확대된 정면도.
도 73c는 도 72a 및 도 72b의 덮개의 확대된 평면도.
도 74는 과두 가이드를 조정하도록 사용자를 안내하는 방법의 하나의 실시형태를 도시한 도면.
도 75는 과두 가이드를 조정하도록 사용자를 안내하는 방법의 또 다른 실시형태를 도시한 도면.
도 76은 과두 가이드를 조정하도록 사용자를 안내하는 방법의 또 다른 실시형태를 도시한 도면.
도 77은 과두 표면 매핑 동안 데이터베이스에 기준 깊이를 저장하고 평가하는 방법의 하나의 실시형태를 도시한 도면.
도 78은 과두 표면 매핑 동안 데이터베이스로부터 기준 깊이를 검색하는 방법의 하나의 실시형태를 도시한 도면.
도 79a는 과두 가이드의 하나의 실시형태를 도시한 도면.
도 79b는 도 79a의 과두 가이드의 본체에 의해 획정된 개구의 확대된 뷰를 도시한 도면.
도 80은 절단 가이드의 하나의 실시형태를 도시한 도면.
도 81은 수술 절차를 위한 관절 중심을 결정하는 방법의 하나의 실시형태를 도시한 도면.
도 82는 관성 공간에서 마커의 방향을 결정하는 방법의 하나의 실시형태를 도시한 도면.
도 83은 IMU를 머리 착용 디스플레이 비전 시스템으로 교정하는 방법의 하나의 실시형태를 도시한 도면.
도 84는 시선 제어 방법의 하나의 실시형태를 도시한 도면.
도 85는 음성 인식 및/또는 시선 제어 방법의 하나의 실시형태를 도시한 도면.
도 86a는 머리 착용 내비게이션 시스템을 교정하기 위한 고정구의 하나의 실시형태의 사시도.
도 86b는 도 86a의 고정구의 정면도.
본 명세서에서 사용된 전문 용어는 단지 특정한 실시형태를 설명하는 목적을 위한 것이며 본 발명을 제한하도록 의도되지 않는다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"는 연관된 나열된 항목 중 하나 이상의 모든 조합을 포함한다. 본 명세서에서 사용된 바와 같이, 단수 형태의 표현은, 문맥이 명백하게 달리 나타내지 않는 한, 단수 형태뿐만 아니라, 복수 형태를 포함하도록 의도된다. 본 명세서에서 사용될 때 용어 "포함하다" 및/또는 "포함하는"이 언급된 특징, 단계, 동작, 요소 및/또는 구성요소, 및/또는 이의 그룹의 존재를 명시한다는 것이 또한 이해될 것이다.
달리 정의되지 않는 한, 본 명세서에서 사용된 모든 용어(기술 및 과학 용어를 포함함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 공통적으로 이해되는 것과 동일한 의미를 갖는다. 또한, 공통적으로 사용된 사전에 정의된 것과 같은 용어가 관련 기술 및 본 발명의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며 본 명세서에서 그렇게 명시적으로 정의되지 않는 한 이상화되거나 지나치게 형식적인 의미로 해석되지 않아야 할 것임이 이해될 것이다.
본 발명을 설명함에 있어서, 다수의 기술 및 단계가 개시됨이 이해될 것이다. 이의 각각은 개별적인 이득을 가지며 각각은 또한, 다른 개시된 기술 중 하나 이상, 또는 일부 경우에 모두와 결부하여 사용될 수 있다. 그에 따라, 명확성을 위해, 이 설명은 개별적인 단계의 모든 가능한 조합을 불필요한 방식으로 반복하는 것을 억제할 것이다. 그럼에도 불구하고, 명세서 및 청구항은 이러한 조합이 전적으로 본 발명 및 청구항의 범위 내에 있다는 이해와 함께 판독되어야 한다.
의료 시술을 보조하는 데이터를 제공하기 위한 새로운 감각 증강 디바이스, 장치, 및 방법이 본 명세서에서 논의된다. 다음 설명에서, 설명의 목적을 위해, 본 발명의 완전한 이해를 제공하기 위해 많은 특정 상세가 제시된다. 그러나, 본 발명이 특정한 상세 없이 실시될 수 있음이 당업자에게 명백할 것이다.
게다가, 본 명세서에서 설명된 실시형태 중 임의의 것이 임의의 다른 실시형태와 조합될 수 있다는 것이 당업자에 의해 또한 인식될 것이다. 예를 들면, 안면 가리개, 헬멧, 디스플레이 디바이스, 등의 임의의 조합이 본 명세서에서 고려된다. 게다가, 임의의 프로세서 유닛 실행 가능한 방법은 본 명세서에서 설명되거나 당업계에서 일반적으로 이용 가능한 안면 가리개, 헬멧, 디스플레이 디바이스, 등의 임의의 조합으로 실행될 수 있다.
I. 감각 증강 시스템
도 1, 도 2a 및 도 2b, 및 도 3을 참조하면, 본 발명의 감각 증강 시스템(10)은 의료 시술에서 사용하기 위해 제공된다. 시스템(10)은 하나 이상의 시각적 마커(100, 108, 110), 처리 장치(102), 하나 이상의 추적 카메라(들)(206)를 갖는 센서 제품군(210), 및 사용자(106)가 보기 위해 디스플레이 디바이스(104)에 시각적 디스플레이를 생성하는 디스플레이 생성기(204)를 갖는 디스플레이 디바이스(104)를 포함한다. 디스플레이 디바이스(104)는 디스플레이 디바이스(104)가 이의 시각적 입력을 증강할 수 있도록 사용자(106)에 부착된다. 하나의 실시형태에서, 디스플레이 디바이스(104)는 사용자(106)의 머리에 부착된다. 대안적으로, 디스플레이 디바이스(104)는 여전히 시각적 장면을 증강시키면서, 사용자(106)와 별개로 위치된다. 하나의 실시형태에서, 마커(100, 108, 및 110)의 각각은 시각적으로 서로 구별되고 상이하며 따라서, 이는 카메라(들)(206)에 의해 개별적으로 추적될 수 있다.
도 2a 및 도 2b를 참조하면, 디스플레이 디바이스(104)의 또 다른 예시적인 실시형태는 사용자(106)의 눈에 디스플레이 생성기(204)의 비디오 디스플레이의 집속을 허용하는 광학계(202)를 갖는 바이저 하우징(visor housing)(200)을 포함한다. 센서 제품군(210)은 디스플레이 디바이스(104)에 부착되거나 이의 일부로 만들어진다. 바이저 하우징(200)은 사용자(106)의 시각적 경로에 대한 디스플레이 디바이스(104)의 정렬이 일관되고 반복 가능하도록 사용자(106)의 머리 또는 얼굴에 대한 부착을 허용하는 부착 기구(208)를 포함한다.
도 3을 참조하면, 디스플레이 디바이스(104)의 또 다른 예시적인 실시형태는 디스플레이 생성기(302)로부터 사용자(106)의 눈의 시각적 경로 내에서 데이터 및 이미지를 오버레이하는 가리개(300)로의 투영을 허용하는 투명 안면 가리개(300)를 포함한다. 센서 제품군(306)은 여기에 안면 가리개(300)로서 도시된, 디스플레이 디바이스에 부착되거나 이의 일부로 만들어진다. 안면 가리개(300)는 부착 기구(304)를 더 포함한다. 센서 제품군(306) 및 부착 기구(304)는 상기 설명된 부착 기구(208) 및 센서 제품군(210)과 동일한 기능을 제공한다.
시스템(10)의 전자 하드웨어 구성을 보여주는 도 4를 참조하면, 센서 제품군(210, 306)은 하나 이상의 추적 카메라(402, 404, 406)(206과 동일함)를 포함할 뿐만 아니라, 이는 선택적으로, 관성 측정 유닛("IMU")(408); 다른 센서 또는 제어 유닛과의 통신을 위한 라디오(410); 명확한 시야를 위해 모든 디스플레이된 항목의 제거를 포함하지만, 이로 제한되지 않는 상이한 디스플레이 모드의 음성 활성화를 위한 마이크로폰(416); 청취 가능한 경보 및 다른 목적을 위한 하나 이상의 스피커(418); 및 셰이커 모터, 압전 버저, 또는 다른 실시형태의 형태의 햅틱 피드백(420)을 포함할 수 있다. IMU(408)는 시각적 기반이 아닌 객체에 대한 부가된 방향 및 로컬화 데이터를 제공한다. IMU(408)는 관심 객체의 표면 맵의 생성 및 로컬화를 보조하는 비마커 특정 실내 특징을 결정하도록 카메라 추적 및 IMU(408) 데이터로부터 동시 로컬화 및 매핑("SLAM") 데이터를 생성하기 위해 사용될 수 있지만, 이로 제한되지 않는다. 또한, 센서 제품군(들)(400, 210, 및 306)은 와이어, 라디오, 또는 저장된 메모리에 의해 중계된 바와 같은 외부 데이터(414)를 포함한다. 외부 데이터(414)는 선택적으로, 형광투시 이미지, 컴퓨터 축방향 단층촬영("CAT 또는 CT") 스캔, 양전자 방출 단층촬영("PET") 스캔 및/또는 자기 공명 영상("MRI") 데이터 등의 형태일 수 있다. 이러한 데이터는 센서 제품군(400, 210 및 306)에 의해 수집된 다른 데이터와 조합되어 증강 이미지를 생성할 수 있다.
시스템(10)의 동작 동안, 디스플레이 생성기(412)((204) 및 (302)로도 표시됨) 및 처리 장치(401)((102)로도 표시됨)는 센서 제품군(210, 306)에 대해 상기 설명된 구성요소와 전자 통신한다. 처리 장치(401)는 디스플레이 관리 및 알고리즘 실행을 제어하는 중앙 처리 장치("CPU")이다. 도 4를 참조하면, 시스템(10)은 선택적으로, 하나 이상의 원격 센서 제품군(422)을 포함할 수 있다. 이 원격 센서 제품군(422)은 물리적으로, 디스플레이 디바이스(104)로부터 떨어져 위치된다. 이 원격 센서 제품군(422)의 각각은 센서 제품군(210, 306)에 대해 상기 설명된 구성요소, 예를 들면, (예컨대, 시스템(400)과 데이터를 공유하기 위한) 카메라(425), IMU(427), 라디오(429) 및 케이블(431) 중 일부 또는 전부를 포함한다. 이는 또한 선택적으로, 별개의 및 원격 처리 장치(423)를 포함할 수 있다. 원격 센서 제품군(422)은 원하는 경우 처리 장치(401)에 의해 또한 처리될 수 있는 외부 데이터(414)에 데이터를 제공한다. 또 다른 실시형태에서, 시스템(10)은 사용자(106)에 대한 관련 분야에서 객체를 로컬화하기 위해, 원격 제품군(들)(422)을 사용하여 관련 분야에 위치된 마커뿐만 아니라, 사용자(106)에 의해 착용된 디스플레이 유닛(104)에 부착된 임의의 마커(들)를 추적한다.
하나의 예시적인 실시형태에서, 시스템(10)은 작업 공간에서 객체를 표현하는 데이터의 3차원 지점 클라우드를 생성하기 위해 센서 제품군(들)(422, 210, 306)을 사용한다. 이 데이터는 후속 추적, 시각화, 또는 나중에 재생에 사용하기 위해 이미 모델링된 객체를 생성하거나 이와 매칭시키기 위해 사용될 수 있다.
또한, 시스템(10)은 관심 있는 영역, 항목, 또는 부위를 강조하는데 도움이 되는 시술의 대상이 아닌 노출 주위의 견인기 또는 연조직을 포함하지만, 이로 제한되지 않는 시야에서 객체를 가리기 위해 기술에 개시된 수단을 사용하여 이미지 및 마스크를 선택적으로 오버레이할 수 있다. 하나의 실시형태에서, 외부 이미지는 증강 현실("AR") 모드에서 오버레이로 투영될 수 있다. 또 다른 실시형태에서, 외부 이미지는 무시될 수 있고, 가상 현실("VR") 모드에서 사용자(106)에게 데이터를 디스플레이하기 위해 단지 컴퓨터 생성 그래픽이 사용될 수 있다. VR 모드는 외부 시각 데이터를 차단하기 위해 디스플레이 디바이스(104) 또는 이의 일부가 불투명하게 만들어지는 경우 또는 외부 이미지가 아니라 이미지에 집중해야 한다는 것을 사용자(106)에게 강조하기 위해 일부 다른 방법이 사용되는 경우 지원된다.
디스플레이 디바이스(104)의 다른 대안적인 실시형태는 사용자(106)에 대한 관련 분야로의 홀로그램 또는 의사 홀로그램 디스플레이 투영을 포함하지만, 이로 제한되지는 않을 것이다. 또한, 디스플레이 디바이스는 사용자(106)의 시각적 시야에 대한 최적의 디스플레이된 이미지의 결정을 허용하는 기술에 개시된 눈 추적 수단을 선택적으로 제공할 수 있다.
시스템(10)은 선택적으로, 관심 객체 대 당면한 작업에 중요하지 않은 객체를 구성하는 것을 식별하기 위해 시야의 항목 사이를 구별하는 알고리즘을 사용할 수 있다. 이것은 동일한 관련 분야에서 보이는 연조직 및 도구에도 불구하고 수술 전 스캔과 병합하고 비교 시에 사용하기 위해 고관절 비구의 뼈 랜드마크를 식별하는 것을 포함할 수 있지만, 이로 제한되지 않는다.
도 5를 참조하면, 센서 제품군(400, 422, 210, 및 306)의 하나 이상의 카메라(500, 506) 및 하나 이상의 시각적 마커(502, 504)는 별개의 객체(예컨대, 수술용 도구, 해부학적 객체 내의 원하는 위치, 등)를 시각적으로 추적하고 사용자(106)에 대한 고도, 장소, 방향 및/또는 위치를 결정하기 위해 사용된다. 하나의 실시형태에서, 하나 이상의 마커의 각각은 서로 시각적으로 구별되고 상이하다. 독립형 객체 인식 및 기계 비전 기술은 마커 인식을 위해 사용될 수 있다. 대안적으로, 본 발명은 또한, 마커(502, 504)를 포함하지만, 이로 제한되지 않는 하나 이상의 관심 객체에 대해 IMU(408)를 사용하여 보조 추적을 제공한다. 하나 이상의 카메라(500, 506)가 사용자(106)와 멀리 떨어져 위치되고 추적 및 로컬화를 위한 부가적인 데이터를 제공할 수 있음에 유의한다.
최적 필터링 알고리즘은 관련 분야의 항목에 대한 가장 정확한 위치 및 방향 데이터를 제공하기 위해 모든 이용 가능한 소스로부터의 데이터를 조합하기 위해 선택적으로 사용된다. 이 필터 방식은 카메라(들) 시야(들)의 폐색, 혈액, 조직, 또는 원하는 관심 영역의 다른 유기적 일시적 폐색, 카메라(들)의 시야(들)를 관심 있는 영역으로부터 멀리 이동시키는 머리 움직임 또는 다른 카메라 이동, 데이터 드롭 아웃(data drop outs), 및 배터리/전원 고갈 또는 다른 장비 손실을 포함하지만, 이로 제한되지 않는 이벤트를 수용할 수 있을 것이다.
도 36a 및 도 36b, 도 37a 및 도 37b, 도 38a 및 도 38b, 및 도 39 내지 도 41a 및 도 41b를 참조하면, 디스플레이 디바이스(104)의 또 다른 예시적인 실시형태는 독립식 AR 헤드셋(3600)이다. 이전에 이용 가능한 시스템은 몇몇 기술적인 문제 또는 제한을 겪었다. 예를 들면, 이전에 이용 가능한 시스템은 (1) 사용자가 착용한 디스플레이 디바이스의 전체 동작을 위해 외부 센서, 카메라, 컴퓨터 및/또는 전력원을 요구했고; (2) 전력원 제약으로 인해 시술 동안 이의 유효 수명이 제한되었고/되었거나(예컨대, 전력원은 데이터 손실을 경험하지 않고 시술 동안 용이하게 또는 빠르게 교체 가능할 수 없었음); (3) 독립식 시스템은 다양한 헬멧, 안면 가리개, 또는 후드에 적용 가능하지 않았다. 본 명세서에서 설명된 독립식 AR 헤드셋은 기술 해결책으로 이 기술적 문제를 극복한다. 본 명세서의 어딘가에서 더 상세하게 설명될 바와 같이, 본 발명의 독립식 AR 헤드셋은 (1) 수술 절차를 완전히 실행하기 위해 모든 요구된 센서, 카메라, 컴퓨터 및/또는 전력원(즉, 어떠한 외부 전기 장비도 요구되지 않음); (2) 도구, 래치 조작, 또는 데이터 손실 없이 수술 절차 동안 배터리가 용이하게 교체 가능하도록 하고 따라서 시술이 지연 없이 진행할 수 있게 하는 사용자 교체 가능한 전력원 또는 배터리 또는 모듈식 배터리(즉, 지원 모듈에 구축되어 있지 않지만 지원 모듈로부터 용이하게 제거 가능하고 분리 가능함)를 포함하고; (3) 다양한 수술용 헬멧, 후드 및 안면 가리개에 용이하게 적응 가능하다. 이러한 독립식 AR 헤드셋의 다양한 실시형태가 이제 더 상세하게 설명될 것이다.
AR 헤드셋(3600)은 다양한 무균 수술 절차(예컨대, 척추 유합술, 고관절 및 무릎 관절 성형술, 등)에서 사용된다. AR 헤드셋(3600)은 썸 휠(3606)을 돌림으로써 머리 스트랩(3604)을 조정함으로써 외과의(3602)(즉, 사용자(106))의 머리에 고정된다. 투명한 보호 안면 가리개(3608)는 벨크로 스트립(3610)에 대한 부착에 의해 디바이스(3600)에 선택적으로 부착된다. 대안적으로, 부착은 접착제, 마그네틱, 후크, 또는 다른 기술에 개시된 부착 수단을 통해 이루어질 수 있다. 수술용 헬멧(3700)을 기계적으로 및 전기적으로 AR 헤드셋(3600)에 부착하기 위한 결합 피처(coupling feature)(3612)가 존재한다. 수술용 헬멧(3700)은 선택적으로, 외과의(3602)에게 전신 커버리지를 제공하는 수술용 후드(도시 생략)에 연결된다. 전신 커버리지는 고관절 및 무릎 인공관절 성형술 등과 같은 특정 수술 절차를 위해 유용하다. 수술용 헬멧(3700)이 수술용 후드에 부착되어야 하는 경우, 팬은 수술용 후드를 통해 공기 유입구(3702)로 공기를 흡입하고 수술용 후드 및 헬멧 아래에서 순환되어 외과의(3602)를 냉각시키고 광학 구성요소의 김서림을 방지한다. 턱 부분(3704)은 헬멧(3700)(및 적용 가능한 경우, 부착된 수술용 후드)을 외과의(3602)의 얼굴로부터 이격시킨다. AR 헤드셋(3600)에 대한 수술용 헬멧(3700)의 위치는 외과의(3602) 및 모든 카메라 및 센서에 대한 수술 부위의 방해받지 않는 보기를 허용하도록 설계된다. 수술용 헬멧(3700)은 수술용 후드에 부착되고 이와 인터페이스하기 위해 필요한 피처를 포함한다. 가요성 코드(3706)는 AR 헤드셋(3600)을 지원 모듈(3708)에 연결하며, 지원 모듈은 외과의(3602)의 벨트 또는 외과의의 머리 이외의 외과의의 임의의 다른 위치에 착용될 수 있다. 예를 들면, 지원 모듈은 고관절, 허리, 등 위쪽, 어깨(예컨대, 스트랩을 사용함), 가슴, 허벅지, 손목, 이두근, 등에 착용될 수 있다. 교체 가능한 배터리(3800)는 지원 모듈(3708)에 삽입된다.
도 39를 참조하면, AR 헤드셋(3600)은 시각적 증강을 위한 한 쌍의 투시 광학 디스플레이(3902) 및 2차원 및 3차원 디지털 줌 기능을 포함하는 추적 및 입체 이미징 기능을 수행하기 위한 하나 이상의 추적 카메라(3904)를 갖는 디스플레이 섹션(3900)을 포함한다. 깊이 센서(3906) 및 구조화된 광 프로젝터(3908)는 디스플레이 섹션(3900)에 포함된다. 깊이 센서(3906) 및 프로젝터(3908)가 디스플레이 섹션(3900)의 중앙에 위치되는 것이 바람직하다. 수술용 헤드라이트(3909)는 선택적으로 디스플레이 섹션(3900)에 장착되고 음성 명령에 의한 것을 포함하는 AR 헤드셋(3600)의 소프트웨어에 의해 이의 밝기가 제어되는 것을 허용하기 위해 AR 헤드셋(3600)에 전기적으로 연결될 수 있다. 이 특징은, 예를 들면, 혼합 현실 모드에 있을 때 밝은 배경에 대해 가상 콘텐트를 더 양호하게 시각화하는 것을 허용하도록 수술용 헤드라이트를 어둡게 하거나 끄기 위해 배치될 수 있다. 이는 또한, 타깃의 고 대비 조명에 의해 또는 낮은 주변 조명에 의해 때때로 손상될 수 있는 광학 추적을 최적화하기 위해 조정될 수 있다. 또 다른 예시적인 실시형태에서, 수술실 조명은 동일한 이유로 AR 헤드셋(3600)의 소프트웨어에 의해 무선으로 제어될 수 있다.
도 39 및 도 40를 참조하면, AR 헤드셋(3600)의 후방 섹션(3910)은 마이크로프로세서 및 내부 배터리와 같은 회로망의 발열 및 다른 구성요소를 선택적으로 포함할 수 있다. AR 헤드셋(3600)의 아치형 브리지 섹션(3912) 및 머리 스트랩(3604)은 후방 섹션(3910)을 디스플레이 섹션(3900)에 기계적으로 연결한다. 브리지 섹션(3912)의 일부는 크기 조정을 수용하도록 유연하다. 브리지 섹션(3912)은 디스플레이 섹션(3900)과 후방 섹션(3910) 사이의 전기적 연결을 제공하기 위해 배선 또는 가요성 회로 기판을 포함할 수 있다. 브리지 섹션(3912)은 복수의 위치 결정 구멍(3914)이 있는 강자성 플레이트인 결합 피처(3612)를 포함하고, 이는 개구(3918)를 획정하며 개구는 수술용 헬멧(3700)의 팬에 전력을 공급하기 위해 2개의 전기 접촉부(3916)에 대한 액세스를 제공한다. 대안적인 실시형태에서, 결합 피처(3612)는 벨크로, 래치 또는 나사형 고정 장치 등과 같은 다른 기술에 개시된 수단일 수 있다. 결합 피처(3612)는 추적 성능에 해로울 수 있는 수술용 헬멧(3700)의 팬으로부터 AR 헤드셋(3600)으로의 기계적 잡음의 송신을 최소화하기 위해 진동 격리 마운트를 선택적으로 포함할 수 있다. 팬(4004)은 소프트웨어 제어될 수 있어서, 기계적 잡음의 생성을 최소화하기 위해 팬이 느려지거나 셧다운되는 것을 허용한다. 이는 또한, 음성 명령을 사용하여 외과의(3602)에 의해 제어될 수 있다. 가요성 코드(3706)는 후방 섹션(3910)을 도 38a에 도시된 지원 모듈(3708)에 연결한다.
도 40을 참조하면, 수술용 헬멧(3700)은 팬(4004)이 외과의에게 냉각 공기를 제공하기 위해 쉘의 다양한 벤트를 통해 배출되는 공기를 끌어들이는 중공 쉘(4002)을 포함한다. 경계 통풍구(4006)는 수술용 후드의 바이저 위로 기류를 제공하고 후방 통풍구(4008)는 AR 헤드셋(3600)의 후방 섹션(3910)을 포함하는 후방에 냉각 공기를 제공한다.
도 41a 및 도 41b를 참조하면, 결합 플레이트(3802)는 AR 헤드셋(3600)의 구멍(3914)과 위치를 결정하기 위한 복수의 보스(4102)를 포함한다. 결합 플레이트(3802)는 팬(4004)에 전력을 제공하기 위해 AR 헤드셋(3600)의 전기 접촉부(3916)와 연결되는 스프링 장착 전기 접촉부(4104)를 또한 포함한다. 결합 플레이트(3802)는 결합 플레이트(3802)와 결합 피처(3612) 사이에 기계적 유지력을 제공하는 자석(4106)을 더 포함한다.
도 60을 참조하면, 디스플레이 디바이스의 또 다른 예시적인 실시형태는 머리띠 또는 수술용 헬멧(3700)과 같은 다른 지지 구조에 적응하도록 구성된 모듈식 브래킷(6004)을 포함하는 접안경(6002)에 있다. 복수의 브래킷(6004)은 접안경(6002)을 상이한 유형의 헤드기어에 장착하기 위해 교체될 수 있다. 집속된 스포트라이트 또는 가시광선(6006)은 시술 부위에 조명을 제공하기 위해 통합되고 브래킷에 장착되어 이것이 접안경에 대해 위아래로 회전하는 것을 허용하며, 따라서 접안경 디스플레이 및 스포트라이트 또는 가시광선 둘 다가 서로 관계 없이 각각의 사용자에 대해 정확한 각도로 조정될 수 있다. 이 실시형태에서, 핸들(6008)이 통합되어 사용자가 수술용 후드 아래에 착용된 때에도 디스플레이 디바이스의 위치를 용이하게 조정하는 것을 허용한다.
디스플레이가 초점이 맞춰지도록 하기 위해, 이는 사용자의 눈과 정확한 거리 및 각도에 배치되어야 한다. 사용자마다의 해부학적 변동으로 인해, 각각의 사용자에 대해 접안경(6002)의 위치 및 각도를 조정하는 수단을 제공하는 것이 유리하다. 도 69를 참조하면, 이 조정을 가능하게 하는 접안경(6002) 및 브래킷(6004)의 일부 부가적인 특징이 도시된다. 브래킷(6004)은 나사와 같은 하나 이상의 장착 피처(6902)를 사용하여 접안경(6002)에 장착된다. 브래킷(6004)은 잠금 손잡이(6904)에 의해 연결되는 하부 브래킷(6912) 및 상부 브래킷(6910)을 포함한다. 상부 브래킷(6910)은 이를 머리띠 또는 수술용 헬멧과 같은 지지 구조에 견고하게 연결하도록 구성된 클램프(6908)를 더 포함한다. 이 실시형태에서, 클램프(6908)는 브래킷(6904)을 Stryker Flyte 수술용 헬멧에 장착하도록 구성된다. 하부 브래킷(6912)은 접안경(6002)에 견고하게 결합된다. 상부 브래킷(6910)은 잠금 손잡이(6904)와 인터페이싱하고 잠금 손잡이(6904)가 느슨할 때 하부 브래킷(6912) 및 접안경(6002)이 전방 및 후방으로 미끄러지는 것을 허용하는 슬롯(6906)을 포함한다. 하부 브래킷(6912)은 부가적으로, 잠금 손잡이(6904) 주위를 회전하여 접안경(6002)의 각도를 조정할 수 있다. 수술용 후드(도시 생략) 아래에 장착될 때, 접안경(6002)에 도달하고 이를 조작하기가 어려울 수 있는데, 이는 이것이 반강성 투명 안면 가리개 뒤에 배치되기 때문이다. 이 실시형태에서, 핸들(6008)은 후드 아래에 착용될 때 사용자가 접안경(6002)의 위치 및 각도를 조정하는 것을 가능하게 하기 위해 하부 브래킷(6912)에 통합된다.
도 71을 참조하면, 접안경(6002) 및 브래킷(6004)은 Flyte 수술용 헬멧에 장착된 것으로 도시된다. 헬멧은 브레이스(7106)에 의해 연결된 머리띠(7102) 및 덕트(7104)를 포함한다. 브래킷(6910) 및 클램프(6908)는 브레이스(7106)를 완전히 둘러싸고 브래킷 구성요소(6908, 6910)와 브레이스(7106) 사이의 각운동을 방지하기 위해 이의 측면, 상단, 및 하단에 대해 견고하게 끼워진다. 이 실시형태에서, 클램프(6908)는 덕트(7104) 및 머리띠(7102) 둘 다와 접촉하여 브래킷이 헬멧에 대해 전방 또는 후방으로 이동하는 것을 방지한다. 브래킷(6910) 및 클램프(6908)는 2개의 나사로 함께 단단히 조여져 있다.
도 61을 참조하면, 접안경(6002)의 하나의 실시형태의 구성요소는 광학 디스플레이(3902)를 보호하기 위해 모듈식 투명 바이저(6102) 및 하우징 구성요소(6114, 6116, 및 6118)를 포함한다. 바이저(6102)는 손상되거나 마모된 경우에 용이한 교체를 허용하도록 도구 없이 제거 및 교체될 수 있다. 스프링 탭(6120)은 바이저(6102)를 유지하기 위해 하단 하우징(6114)과 맞물린다. 바이저를 부착하기 위해, 사용자는 바이저를 하단 하우징에 대해 제 위치로 밀어 넣는다. 바이저(61002)는 탭(6120)을 들어 올리고 바이저를 당김으로써 하단 하우징(6114)으로부터 제거될 수 있다. 다양한 크기 및 형상의 복수의 선택적인 바이저(6102)는 처방 안경의 사용, 해부학적 변동, 및 선호도를 고려하여 각각의 사용자에 대해 최적의 맞춤을 허용한다. 하나의 실시형태에서, 바이저(6102)는 광학 디스플레이(3902)에서 정보를 능동적으로 보지 않을 때 사용자(106)가 바이저(6102) 아래를 보는 것을 허용하고 외부 시야를 최소한으로 방해하도록 구성된다. 이것은 사용자(106)의 시야에서 접안경(6002)을 높게 장착함으로써 부가적으로 가능해질 수 있다. 도 61을 또한 참조하면, 접안경(6002)의 이 실시형태는 Intel Realsense D435와 같은 스테레오 카메라 모듈(6106)을 포함한다. 하나의 실시형태에서, 스테레오 카메라 모듈(6106)은 적외선 카메라를 활용하고, 카메라의 시야 축(7002)은 도 70에서 각도(α)로서 도시된 바와 같이, 디스플레이의 중립 시야각(7004)으로부터 20 내지 30도 아래로 기울어져 있다. 이 실시형태에서, 카메라 모듈(6106)은 다른 내부 전기 구성요소의 전방에 배치되어 냉각 공기가 하우징 구성요소 아래(6114) 및 위(6118)의 통풍구를 통해 카메라 모듈 주위를 통과하는 것을 허용한다. 카메라 모듈(6106)을 디스플레이 모듈의 전방에 배치하는 것은 부가적으로, 카메라 모듈을 안면 가리개(3608)(도 36b에 도시됨)로 더 가깝게 이동시키고 안면 가리개(3608)로부터 반사되는 광의 영향을 감소시킨다. 접안경(6002)은 적외선(6108)을 더 포함하여 스테레오 카메라 모듈(6106)에 조명을 제공하여, 주변 방이나 시술 조명과 무관하게 장면 조명을 제어하는 것을 허용한다. 하나의 실시형태에서, 적외선(6108)은 Lumileds L1I0-0850090000000과 같은 하나 이상의 돔 LED 구성요소를 사용한다. 하나의 실시형태는 적외선(6108)으로부터의 광이 방출되고 그 다음, 안면 보호대를 통해 빛나는 개구(7316)을 획정하는 복수의 측벽(7320)을 포함하는 덮개(6104)를 포함한다. 일부 실시형태에서, 복수의 측벽(7320)은 덮개(6104)가 원추형 또는 연속 측벽을 포함하도록 단일 측벽과 유사하다. 덮개(6104)는 적외선(6108)으로부터 카메라 모듈(6106)로의 광의 반사를 최소화하기 위해 안면 가리개(3608)에 꼭 맞도록 구성된다. 덮개(6104)는 경계(7310)에 결합된 전방 표면(7204)으로 형성되거나 이를 포함할 수 있으며 덮개(6104)가 용이하게 교체 가능하거나 제거 가능하도록 모듈식 구조를 포함할 수 있다. 덮개(6104)는 모놀리식 구조를 포함할 수 있다. 대안적으로, 경계(7310) 및 전방 표면(7204)은 함께 결합, 접합, 또는 그렇지 않으면, 고정되어 덮개(6104)를 형성할 수 있다. 덮개(6104)는, 예를 들면, 덮개의 높이, 덮개의 형상(예컨대, 원뿔형, 타원형, 원형, 등), 또는 덮개가 하나 또는 두 대의 추적 카메라의 FOV에 놓이거나 배치되는 방법 중 하나 이상에 기초하여 카메라 모듈(6106)의 시야 내로 연장되는 것을 회피하도록 또한 구성된다. 하나의 실시형태에서, 덮개(6104)는 도구 없이 제거 및 교체될 수 있어서, 사용자(106)가 복수의 덮개(6104)로부터 선택하여 안면 가리개(3608)에 대한 접촉을 최적화하는 것을 가능하게 하고, 이는 상이한 사용자 시력 및 해부학적 구조에 대한 접안경(6002) 위치의 변동을 고려한다. 하나의 실시형태에서, 스포트라이트 또는 가시광선(6006)은 적외선 필터를 포함하여 스포트라이트로부터의 적외선 또는 가시광선이 카메라 모듈(6106)에 도달하는 것을 방지한다. 적외선이 시술 부위를 조명하고 카메라 모듈(6106)에 다시 반사되는 것은 또한, 적외선 필터를 스포트라이트(6006)에 적용함으로써 제한될 수 있어서, 이의 출력이 단지 가시 파장으로 제한됨을 보장한다. 회로 기판(6110)은 카메라 모듈(6106) 및 광학 디스플레이(3902)의 지원 모듈(3708)에 위치된 컴퓨터와의 통신을 조정한다.
안면 가리개(3608)에 대해 설치된 위치에 있는 접안경(6002)(명확성을 위해 투명하게 도시됨)을 도시하는 도 72a 및 도 72b를 참조하면, 덮개의 일부 특징이 도시된다. 도 72a는 시스템의 평면도를 보여주고, 도 72b는 동일한 시스템의 측면도를 도시한다. 접안경(6002)의 구성요소로서 도 61에 도시된 적외선(6108) 및 스테레오 카메라 모듈(6106) 둘 다가 안면 가리개(3608) 뒤에 놓이기 때문에, 적외선(6108)은 안면 가리개(3608)로부터 카메라 모듈(3608)로 반사될 수 있어서, 마커의 추적을 방해한다. 이 문제는 적외선(6108) 주위에서 안면 가리개(3608)까지 연장되는 덮개(6104)를 포함함으로써 완화된다. 일부 실시형태에서, 개구(7316)는 안면 가리개(3608)와 접촉하고; 다른 실시형태에서, 덮개(6104)의 복수의 측벽(7320)의 외주(7324)에 결합되고/되거나 이를 둘러싸는 전방 표면(7204)은 안면 가리개(3608)와 접촉하고, 안면 가리개(3608)에 매우 근접해 있거나(예컨대, 0 내지 5㎜, 0 내지 1㎜ 0 내지 2㎜, 0 내지 3㎜, 0 내지 4㎜, 0 내지 6㎜, 등), 그렇지 않으면 적외선에 의해 방출된 광이 안면 가리개를 통해 단지 빠져나가고 카메라 모듈을 방해하지 않도록 안면 가리개에 인접한다. 덮개(6104)의 임의의 하나 이상의 부분과 안면 가리개(3608) 사이의 접촉 또는 근접성은 덮개(6104)의 복수의 측벽(7320)에 의해 획정된 개구(7316)을 통해 따라서, 안면 가리개(3608)를 통한 것을 제외하고 적외선이 빠져나가는 것을 방지한다. 안면 가리개(3608)로부터의 적외선(6108)의 임의의 반사는 또한, 덮개(6104) 내에 포함되어 카메라 모듈(6106)에 도달하는 것이 방지된다. 덮개(6104)의 복수의 측벽(7320)은 나일론 PA12 또는 Cerakote 세라믹 코팅과 같은, 카메라 모듈(6106)에 대해 식별 가능한 파장의 적외선의 저 반사율을 갖는 물질로부터 구성될 수 있거나, 이를 통합할 수 있거나, 이로 코팅될 수 있거나, 그렇지 않으면 이를 포함할 수 있다. 안면 가리개(3608)가 사용자의 머리에 대해 고정된 위치에 있는 동안, 접안경(6002)은 시력 및 해부학적 구조의 차를 고려하기 위해 전방 또는 후방으로 조정될 수 있으며, 이는 또한 덮개(6104)로부터 안면 가리개(3608)까지의 거리를 감소 또는 증가시킨다. 덮개와 안면 가리개 사이의 갭을 최소화하기 위해, 도 73c에 도시된 바와 같이, 다양한 길이(L6104)의 복수의 덮개(6104)가 제공될 수 있어서, 사용자가 접안경(6002)의 주어진 위치에 대해 안면 가리개 뒤에 맞는 가장 긴 덮개를 선택하는 것을 허용한다. 덮개(6104)는 접안경 하우징의 피처와 짝을 이루는 하나 이상의 가요성 스프링 탭(7202)에 의해 제자리에 유지된다. 덮개(6104)는 제자리에 고정되며 해제하기 위해 스프링 탭(들)을 들어 올림으로써 도구 없이 제거될 수 있다. 최소의 갭을 갖는 안면 가리개(3608)의 만곡된 표면에 따르기 위해, 덮개(6104)는 도 72a에 도시된 바와 같이, 안면 가리개의 곡률 반경과 대략 동일한 곡률 반경을 갖는 전방 표면(7204)을 갖는다. 즉, 덮개(6014)의 전방 표면(7204)의 곡률 반경은 안면 가리개의 곡률 반경과 매칭하거나 대략 매칭한다. 다른 실시형태에서(전방 표면(7204)이 없는 경우), 개구(7316)는 안면 가리개의 곡률 반경과 대략 동일한 곡률 반경을 갖는다. 즉, 덮개(6104)의 개구(7316)의 곡률 반경은 안면 가리개의 곡률 반경과 매칭하거나 대략 매칭한다. 안면 가리개의 반경은 약 제로(평평함), 약 0cm 내지 약 4cm, 약 0cm 내지 약 8cm, 약 0cm 내지 약 10cm, 등일 수 있다.
도 73a 내지 도 73c는 덮개(6104)의 사시도, 정면도, 및 측면도를 각각 도시한다. 도 73a 내지 도 73c에 도시된 바와 같이, 덮개(6104)는 하나 이상의 개구를 획정하는 복수의 측벽을 포함한다. 예를 들면, 복수의 측벽(7320)은 적외선(6108)을 수용하거나 둘러싸는 개구(7316)를 획정한다. 부가적으로, 또는 대안적으로, 제2 복수의 측벽(7322)은 제2 적외선, 카메라 모듈, 광 프로젝터, 또는 다른 구성요소(7330)를 수용하는 제2 개구(7314)를 획정할 수 있다. 개구(7314, 7316)을 포함하는 일 실시형태에서, 제1 및 제2 개구(7314, 7316)는 경계(7310)에 결합된 전방 표면(7204)을 통해 모듈식 구성요소로 조합된다. 전방 표면(7204)은 안면 가리개와 인터페이스한다. 다른 실시형태에서, 덮개(6104)는 제1 및 제2 복수의 측벽(7322, 7320)이 각각 개구(7314, 7316)를 획정하도록 전방 표면(7204)을 포함하지 않는다. 게다가, 복수의 측벽(7320) 중 하나 이상은 적외선(6108)의 중심 축 또는 적외선(6108)에 의해 방출된 원추형 광(예컨대, 원추형이 실질적으로 또는 약 90도일 수 있음)의 중심 축으로부터 측정된 바와 같이 각도(α6104)를 가질 수 있다. 각도(α6104)는 대략 또는 실질적으로: 0 내지 50도, 0 내지 40도, 0 내지 30도, 0 내지 20도, 0 내지 10도, 0 내지 5도, 5 내지 10도, 10 내지 20도, 5 내지 20도, 5 내지 25도, 등일 수 있다. 하나의 실시형태에서, 각도(α6104)는 실질적으로 또는 약 12 내지 약 16도이다. 또 다른 실시형태에서, 각도(α6104)는 실질적으로 또는 약 10 내지 약 18도이다. 일부 실시형태에서, 복수의 측벽의 각각은 동일하거나 실질적으로 동일한 각도로 기울어져 있다. 다른 실시형태에서, 대향하는 측벽은 동일하거나 유사한 각도를 갖는다. 여전히 다른 실시형태에서, 복수의 측벽의 각각은 다른 측벽과 상이한 각도로 기울어져 있다.
지원 모듈(3708)의 일 실시형태의 분해도를 도시하는 도 62를 참조하면, 모든 전자 구성요소는 회로 기판(6212)을 수용하도록 구성된 베이스(6202); 하우징을 의류, 스트랩, 벨트, 등에 결합하도록 구성된 결합기(6204); 및 배터리(3800) 및 프로세서 유닛(6210)을 견고하고 제거 가능하게 구속하도록 구성된 브래킷(6206)을 포함하는 하우징에 포함되거나 장착된다. 배터리(3800)는 고정된 방향으로 하우징에 수용될 수 있고; 다른 실시형태에서, 배터리(3800)는 하나보다 많은 방향으로 하우징에 끼워지도록 구성된다. 교체 가능한 배터리(3800)는 컴퓨터 모듈 또는 프로세서 유닛(6210) 및 AR 접안경(6002) 또는 머리 착용 디스플레이 디바이스에 전력을 공급한다. 브래킷(6206)은 보조자가 도구를 사용하거나 기계적 래치를 조작하지 않고 배터리(6800)를 교체하는 것을 허용하도록 구성된다. 회로 기판(6212)은 배터리(3800)로부터 컴퓨터 모듈 또는 프로세서 유닛(6210) 및 AR 접안경(6002)으로 전력을 지향시키도록 구성된다. 하나의 실시형태에서, USB 연결을 통해 지원 모듈(3708)과 AR 접안경(6002) 또는 머리 착용 디스플레이 디바이스 사이에 전력 및 데이터가 흐른다. 하나의 실시형태에서, 컴퓨터 모듈 또는 프로세서 유닛(6210)은 단일 USB 연결기를 갖는 모바일 전화이다. 하나의 실시형태에서, 컴퓨터 모듈 또는 프로세서 유닛(6210)은 무선 충전기(6208)를 통해 배터리(3800)로부터 전력을 수신하여, 컴퓨터 모듈 또는 프로세서 유닛(6210)의 USB 연결기가 풀타임 전력원으로서 거동하고, 이것이 거동할 가능성을 전력 "싱크(sink)"로서 감소시키는 것을 가능하게 한다.
지원 모듈 회로 기판(6212)에 대한 전기 개략도가 도시되는 도 63a를 참조하면, 배터리 연결기(6302)는 교체 가능한 배터리(3800)로부터 전력을 수신하고 DC/DC 벅 회로(6304)는 전압을 공칭 시스템 전압으로 내린다. DC/DC LDO 레귤레이터(6310)는 전압이 요구된 레벨에 있음을 보장하고 CPU/라디오(6308)에 전력을 전달한다. 전력은 CPU/라디오(6308)에 의해 지시받은 바와 같이 부하 스위치(6314)를 통해 무선 충전기(6312)로 흐른다. 전력은 N-P FET 스위치(6316)를 통해 전화 USB 연결기(6306) 및 헤드셋 USB 연결기(6318) 둘 다로 흐른다. CPU/라디오(6308)는 배터리(3800)의 충전 레벨을 모니터링하고 라디오 송신을 사용하여 컴퓨터 모듈(6210)에 레벨을 보고한다.
지원 모듈 회로 기판(6212)에 대한 전기 개략도가 도시되는 도 63b를 참조하면, USB 연결기(6320)는 헤드셋이 USB 연결기(6320)에 연결될 때 헤드셋에 대한 전력 및 통신원의 역할을 한다. 전화(6322)로부터 헤드셋으로 전달된 전력은 12V 배터리(6324)에 의해 보충된다. 이 경우에, 헤드셋으로부터 전화로의 부하 스위치(6326)는 CPU(6328)에 의해 비활성화될 수 있다. 또 다른 실시형태에서, CPU(6328)는 12V 배터리(6324)가 존재하지 않음을 검출하고 헤드셋(6320)으로부터 전화(6322)로 부하 스위치(6326)를 활성화한다. 이 실시형태에서, 외부 USB 충전기는 USB 연결기(6320)에 부착되고 디바이스가 서로 직접적으로 연결된 것처럼 전화(6322) 배터리를 재충전하기 위해 사용될 수 있다.
일 예시적인 실시형태에서, AR 헤드셋(3600)은 선택적으로, 디바이스 불만 또는 설계 특징 요청을 보고하기 위한 시스템으로서 사용된다. 사용자 인터페이스는 보고가 발생한 시간에 보고를 개시하기 위한 메뉴 옵션 또는 음성 명령을 가질 수 있다. 이것은 문제가 발생하고 있는 동안 사용자(106)가 불만을 캡처하고 3D로 설명하는 것을 허용하는 음성 및 비디오 카메라 녹음을 활성화할 것이다. 사용자(106)는 음성으로 또는 옵션을 선택하여 불만을 종료한다. 불만 기록은 압축되어 인터넷을 통해 회사로 송신되어 불만 취급 직원에게 무선으로 우수한 데이터를 제공하여 더 양호한 진단을 위해 상황을 직접적으로 "재현"할 수 있다. 패턴을 확립하고 통계 분석을 수행하기 위해 인공 지능을 사용하여 불만 자료를 파싱 및 집계할 수 있다. 데이터 스트림이 실시간으로 송신된다는 점을 제외하고 동일한 시퀀스를 사용하여 시술 동안 라이브 기술 지원에 연결할 수 있다.
Ⅱ. 수술 전 시술
본 발명은 수술 전 작업 및 수술 절차를 위해 사용될 수 있다. 예를 들면, 가능한 수술 전 활동을 포함하는 일 대안적인 일반 수술 절차가 이제 설명된다. 먼저, CT 또는 MRI와 같은 환자의 관심 있는 영역에 대한 스캔이 얻어진다. 가능하면, 환자는 수술 동안 위치 결정을 근사화하는 방식으로 배치되어야 한다. 둘째, 스캔 데이터의 분할은 이를: 치아 및 뼈 구조, 관심 있는 정맥 및 동맥, 신경, 땀샘, 종양 또는 종괴, 임플란트 및 피부 표면을 포함하지만 이로 제한되지 않는 관심 있는 항목의 3차원 모델로 변환하기 위해 수행된다. 모델은 이것이 나중에 독립적으로 디스플레이, 라벨링 또는 조작될 수 있도록 분리된다. 이는 수술 전 모델로서 언급될 것이다. 셋째, 수술 전 계획은, 해부학적 기준 프레임, 절제 평면에 대한 타깃, 절제될 체적, 절제를 위한 평면 및 레벨, 사용될 임플란트의 크기 및 최적 위치 결정, 타깃 조직에 액세스하기 위한 경로 및 궤적, 가이드와이어, 드릴, 핀, 나사 또는 기구의 궤적 및 깊이를 포함하지만, 이로 제한되지 않는 항목을 식별하기 위해 모델을 사용하여 수행된다(모델의 시각화 및 조작을 위해 VR을 선택적으로 사용함). 넷째, 수술 이전 또는 수술 시에 모델 및 수술 전 계획 데이터가 디스플레이 디바이스(104)의 메모리에 업로드된다. 이 업로드 프로세스는 라디오를 통해 무선으로 가장 편리하게 수행될 것이다.
다섯째, 환자는 수술을 위해 준비되고 배치된다. 수술 동안, 수술 부위는 후속 등록 목적을 위해 피부 표면의 시각화를 최대화하는 방식으로 이상적으로 드레이핑(draping)된다. 이것은 Ioban을 자유롭게 사용함으로써 성취될 수 있다. 넓은 조명, 지점, 또는 투영된 패턴에서 특정 LED 또는 가시광선 방출기에 의해 타깃될 때 상이하게 형광 또는 반사된 Ioban과 같은 필름을 사용하는 것이 유리할 것이다. 이 필름은 또한, 투구의 광학 카메라에 의한 용이한 인식을 허용한 광학적 특징, 마커, 또는 패턴을 가질 수 있다.
여섯째, 환자가 수술을 위해 준비되고 배치된 후에, 시스템(10)은 (예컨대, AR 헤드셋(3600)을 통해) 현재 피부 외피를 스캐닝하여 이의 현재 윤곽을 확립하고 사용자(106)가 디스플레이 디바이스(104)에서 보기 위해 이용 가능한 수술 전 3D 모델을 생성한다. 바람직한 방법은 알려진 이미지의 산출된 뒤틀림/기울임/스케일로부터 피부 외피의 결정을 허용하는 적외선("IR") 대역의 격자 또는 바둑판 패턴을 투영하는 것이다. 일 대안적인 방법은 마커가 부착된 스타일러스 유형 객체를 노출된 피부를 따라 앞뒤로 이동시켜, 스타일러스의 위치 및 방향 추적과 피부 외피의 후속 생성을 허용하는 것이다. 선택적으로, 피부 모델은 사용자(106)에게 디스플레이되며, 사용자는 그 다음, 스캔된 노출된 피부의 일반적인 영역을 서술한다. 현재 피부 표면과 매칭하도록 수술 전 피부 모델의 최적 위치 및 방향이 산출된다. 적절한 수술 전 모델은 디스플레이 디바이스(104)를 통해 사용자(106)에게 3D로 디스플레이된다. 선택적으로, 사용자(106)는 그 다음, 정확한 추적을 위해 광학 마커를 환자의 뼈에 삽입할 수 있다. 이 마커의 배치는 수술 전 모델의 자신의 시각화에 의해 통지받을 수 있다. 수술 전 모델의 위치 및 방향은 초음파를 포함하지만, 이로 제한되지 않는 대안적인 프로빙 또는 이미징에 의해 또한 개선될 수 있다.
일곱째, 수술 동안, 디스플레이 디바이스(104)가 있는 시스템(10)을 사용하는 사용자(106)는 수술 전 계획 정보를 볼 수 있고 기구 및 임플란트를 추적하며 해부학적 구조에 대한 드릴 또는 나사의 깊이, 기구의 각도, 뼈 절단 각도, 등을 포함하지만, 이로 제한되지 않는 다양한 종류의 수술 중 측정을 제공할 수 있다.
도 8을 참조하면, 시스템(10)을 사용하는 시술 동안의 동작 흐름의 일 예시적인 실시형태가 제공된다. 이 실시형태에서, CPU(401)는 부팅하고(800) 하나 이상의 카메라(402, 404, 406)를 초기화한다(802). 카메라(들)(402, 404, 406)의 시야에 있을 때, 제1 마커(100)가 위치되고 식별되며(804), 후속 마커(108, 110)가 뒤따른다(806). 이 마커(100, 108, 110)의 트랙은 메인 카메라 위치뿐만 아니라, 서로에 대한 위치 및 방향을 제공한다(808). 원격 센서 제품군(422)(810)으로부터의 카메라 및 IMU와 같은 센서로부터의 대안적인 센서 데이터는 선택적으로 데이터 수집에 통합될 수 있다. 게다가, 환자, 타깃, 도구, 또는 환경의 다른 부분에 관한 외부 보조 데이터(812)는 알고리즘에서 사용하기 위해 선택적으로 통합될 수 있다. 본 발명에서 사용된 알고리즘은 특정 시술 및 수집된 데이터에 맞게 조정된다. 알고리즘은 디스플레이 디바이스(816)에서 사용하기 위해 원하는 보조 데이터를 출력한다(814).
III. 고관절 교체 시술
본 발명의 하나의 예시적인 실시형태에서 및 도 6을 참조하면, 시스템(10)은 제1 마커(600)가 고정구(602)를 통해 골반(604)에 부착되고 제2 마커(606)가 임팩터(608)에 부착되는 고관절 교체 수술을 위해 사용된다. 사용자(106)는 디스플레이 디바이스(104)를 통해 도 6에 도시된 혼합 현실 사용자 인터페이스 이미지("MXUI")를 볼 수 있다. MXUI는 고관절 교체 시술 동안 사용자의 시야에서 골반(604) 및 임팩터(604)의 입체 가상 이미지를 제공한다.
이전 처리 및 특정 알고리즘과 조합된, 이 물리적 객체에 대한 마커(600, 606)의 조합은 사용자(106)가 관심 있는 측정치의 산출을 허용하여, 비구 쉘(612)의 정확한 배치를 위해 골반(604)에 대한 임팩터(608)의 실시간 버전 및 경사각을 포함한다. 게다가, 전체 다리 길이의 변화를 포함하지만, 이로 제한되지 않는 수술 전 상태로부터 수술 후 상태까지의 물리적 파라미터의 측정이 제공될 수 있다. 데이터의 표시는 판독 가능한 형태(610) 또는 도구의 3D 표현 또는 다른 안내 형태를 포함하지만, 이로 제한되지 않는 이미지의 형태일 수 있다.
도 7은 가상 타깃(700) 및 가상 도구(702)가 원하는 버전 및 성향을 성취하는데 용이한 사용을 위해 사용자(106)에게 제공되는, 도 6에 이전에 도시된 MXUI의 일 대안적인 도면을 묘사한다. 이 실시형태에서, 가상 현실의 또 다른 조합은 실제 도구(702)가 완전히 보이는 가상 타깃(700) 또는 가상 타깃이 완전히 보이는 가상 도구(도시 생략)를 가짐으로써 사용자에 대한 자연스러운 느낌 경험을 최적화하기 위해 사용된다. 실제 및 가상 이미지의 다른 조합이 선택적으로 제공될 수 있다. 데이터의 표시는 판독 가능한 형태(704) 또는 도구의 3D 표현 또는 다른 안내 형태를 포함하지만, 이로 제한되지 않는 이미지의 형태일 수 있다.
도 9를 참조하면, 본 발명은 또한, 고관절 뼈가 소켓을 제거하고 환자의 다리에 사용하기 위해 교체 컵이 삽입되는 고관절 교체 시술(900)을 수행하기 위해 시스템(10)을 사용하는 방법을 제공한다. 이 실시형태에서, 제1 마커(예컨대, 100, 108 또는 110 등)는 마커에 대해 알려진 치수의 고정구에 설치되고 이 고정구는 환자의 고관절 뼈에 설치된다(902). 제2 별개의 마커(예컨대, 100, 108 또는 110 등)는 제1 마커에 대해 알려진 치수의 포인팅 디바이스에 설치된다(904). 고관절 고정구에 대한 뼈 랜드마크 또는 다른 해부학적 랜드마크 위치 및 방향은 광학 마커 및 고관절과 포인터 사이의 위치/방향 차를 사용하여 등록된다(906). 이 지점은 로컬 좌표계를 결정하기 위해 사용된다(908). 포인터는 대퇴골이 탈구되고 고관절 뼈의 비구가 교체 쉘을 위한 공간을 만들기 위해 넓혀지기 전에 대퇴골의 위치 및 방향을 결정하기 위해 사용된다(910). 교체 쉘이 설치된 임팩터는 임팩터의 알려진 치수와 함께 설치된 제3 별개의 마커를 갖는다(912). 쉘이 있는 임팩터는 고관절 마커에 대해 이전에 설명된 알고리즘에 따라 추적된다(914). 고관절 마커와 임팩터 사이의 상대 위치 및 방향은 AR 또는 VR 디스플레이를 통해 환자의 의료 요구조건에 따라 원하는 위치 및 각도에서 소켓으로의 쉘의 수술용 배치를 안내하기 위해 사용된다(916). 다리 길이의 변화는 또한, 교체된 대퇴골의 마커 위치 및 방향을 사용하여 시술의 이 지점에서 산출될 수 있다(918). 또 다른 실시형태는 구성요소 위치를 결정하기 위해 수술 전 CT 데이터로 이 시술을 보강한다. 또 다른 실시형태는 AR 또는 VR 방식으로 디스플레이 출력을 사용하여 대퇴골두 절단을 결정한다. 또 다른 실시형태는 비구에 나사를 배치하기 위해 데이터를 사용한다.
일부 구현에서 환자가 놓여 있는 테이블 또는 지지대의 좌표 기준 프레임이 바람직하다. 지면, 구체적으로 중력에 대한 테이블 정렬은 다음과 같이 성취될 수 있다. IMU(AR 헤드셋(3600) 내에 위치된 것과 같은 센서 제품군의 각각으로부터의)는 임의의 주어진 순간에 중력에 대한 디스플레이 디바이스(104)의 피치 및 롤 방향을 제공한다. 대안적으로, SLAM 또는 유사한 환경 추적 알고리즘은 이와 연관된 대부분의 벽 및 피처가 중력 벡터에 평행하게 구성된다고 가정할 때, 중력에 대한 디스플레이 디바이스(104)의 피치 및 롤 방향을 제공할 것이다. 디스플레이 디바이스(104)의 중력과의 관계와 별도로, 테이블 방향은 스타일러스를 사용하여 테이블에 세개(3)의 독립적인 지점을 등록함으로써 결정될 수 있다. 디스플레이 디바이스(104) 좌표 프레임에서 선택된 이 3개의 지점으로, 중력에 대한 테이블 롤 및 피치 각도가 그 다음 또한, 결정될 수 있다. 대안적으로, 테이블은 중력에 대한 방향을 결정하기 위해 기계 비전 알고리즘을 사용하여 식별되고 인식될 수 있다. 디스플레이 디바이스(104)에 대한 환자 척추의 정렬, 따라서 피치 및 롤에서, 고관절 마커에 의해 획정되는 것과 같은 임의의 다른 타깃 좌표계가 이제 알려진다. 요 기준을 제공하기 위해, 스타일러스는 고관절 마커와 결부하여 사용되어 환자 머리가 위치되는 곳을 획정할 수 있으며, 이는 환자에 대한 척추의 방향을 제공한다. 대안적으로, 자동 결정을 위해 환자의 머리의 이미지 인식이 사용될 수 있다. 궁극적으로, 테이블 및/또는 환자 척추의 롤, 피치 및 요는 이제, 디스플레이 디바이스(104) 및 모든 관련 좌표계에서 완전히 획정된다.
도 11 및 도 12를 참조하면, 시스템(10)은 고관절 인공관절 시술에서 사용하기 위한 고관절 임팩터 어셈블리(1100)를 선택적으로 포함할 수 있다. 어셈블리는 비구 쉘(1102), 및 비구 임팩터(1106)에 조립된 광학 마커(1104)(상기 설명된 100, 108, 110, 502, 504, 600, 606, 804, 806, 904, 912와 동일함)를 포함한다. 도 12는 인덱싱된 포스트(1200)를 인덱싱된 구멍(1202)에 삽입함으로써 광학 마커(1104)가 임팩터(1106)에 어떻게 재현 가능한 방식으로 부착되는지를 도시하는 어셈블리(1100)의 분해도를 묘사한다. 비구 쉘(1102)은 임팩터의 나사산이 있는 원위 단부(1204)에 나사로 조임으로써 그리고 숄더(1206)에 안착시킴으로써 임팩터(1106)와 재현 가능하게 조립된다. 마커(1104)는 제1 기점(1108), 제2 기점(1110), 및 제3 기점(1112)을 포함하고; 각각은 이의 경계가 교차하는 직선을 형성하는 인접한 흑백 영역을 갖는다. AR 헤드셋(3600)의 알고리즘은 입체 카메라(3904)로부터의 이미지를 처리하여 각각의 기점(1108, 1110, 1112)의 교차 지점을 산출하고 그에 의해, 마커(1104)의 6 자유도 포즈를 결정하기 위해 사용된다. 본 명세서의 목적을 위해, "포즈"는 객체의 위치 및 방향의 조합으로서 획정된다. 기점(1108, 1110, 및 1112)은 접착 스티커에 인쇄함으로써, 백색 플라스틱 재료의 표면에 검은색 영역을 레이저로 에칭함으로써, 또는 대안적인 방법으로 생성될 수 있다. 쉘은 비구의 뼈에 쉘(1102)을 고정하기 위해 나사가 선택적으로 사용되는 고정 구멍(1114)을 포함한다.
또 다른 예시적인 실시형태에서 그리고 도 13a 및 도 13b와 도 14를 참조하면, 시스템(10)은 클램프 어셈블리(1302) 및 광학 마커(1304)를 포함하는 해부학적 구조 마커 어셈블리(1300)를 선택적으로 포함한다. 클램프 어셈블리(1302)는 베이스(1400)를 포함하고, 이는 제1 눈물방울 형상 구멍(1402) 및 제2 눈물방울 형상 구멍(1404)을 획정한다. 뼈에 고정된 고정 핀(도시 생략)은 눈물방울 형상 구멍(1402, 1404)을 통해 삽입되고 클램프 조(clamp jaw)(1406)와 본체(1400) 사이에 고정될 수 있으며, 그에 의해 클램프 어셈블리(1302)를 핀에 따라서, 뼈에 고정한다. 클램프 나사(1408)는 조의 나사산과 맞물리고 핀에 어셈블리(1302)를 조이기 위해 사용된다. 육각형 구멍(1410)은 육각 드라이버가 어셈블리(1302)를 조이기 위해 사용되는 것을 허용한다. 제1 유지 핀(1412) 및 제2 유지 핀(1414)은 클램프 어셈블리(1302)의 분해를 방지한다. 마커 본체(1416)는 제1 위치 결정 포스트(1418), 제2 위치 결정 포스트(1420), 및 제3 위치 결정 포스트(1422)를 갖고, 이는 2개의 위치 설정 포스트를 베이스의 위치 결정 구멍(1424) 및 위치 결정 슬롯(1426)과 맞물림으로써 베이스(1400)에 위치를 제공한다. 설계는 마커(1304)가 최적의 추적을 위해 디스플레이 디바이스(104)(예컨대, AR 헤드셋(3600))에서 카메라(예컨대, 3904)에 대해 지향되는 것을 허용하는 마커(1304)의 2개의 가능한 회전 위치를 제공한다. 마커 본체(1416)는 베이스(1400)에 충분한 유지력을 제공하는 자석(도시 생략)을 캡슐화한다.
도 15 내지 도 17을 참조하면, 시스템(10)은 플레이트(1502) 및 마커(1504)를 함께 결합하기 위한 텅(tongue) 및 홈 어셈블리 피처를 갖는 플레이트(1502) 및 마커(1504)를 포함하는 교정 어셈블리(1500)를 선택적으로 포함할 수 있다. 텅 및 홈 어셈블리 피처는 금속 부품과 열 팽창률이 상이한 플라스틱 부품에 금속 부품을 정밀하게 조립하기 위해 특히 유용하다. 플레이트(1502)는 다양한 임팩터 유형을 수용하기 위해 복수의 나사산 유형을 갖는 복수의 구멍(1506)을 갖는다. 마커(1504)는 등록을 위해 스타일러스의 끝이 삽입될 수 있는 딤플(1508)을 갖는다. 마커(1504)는 복수의 기점(1510)을 갖는다.
도 18은 다양한 교정 단계를 위해 사용되는 교정 어셈블리(1500)를 보여주는 디스플레이 디바이스(104)(예컨대, AR 헤드셋(3600))를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 먼저, 고관절 임팩터 어셈블리(1100)는 플레이트(1502)의 적절한 구멍에 나사로 조여질 수 있어서 어깨(1206)가 플레이트(1502)의 표면에 대해 유격 없이 정사각형으로 안착되게 한다. AR 헤드셋(3600)의 카메라(3904)는 그 다음, 비구 쉘이 안착할 임팩터의 어깨와 고관절 임팩터 어셈블리(1100)의 마커(1104) 사이의 관계를 결정하기 위해 알고리즘에 의해 처리되는 이미지를 캡처할 수 있다. 추적하기 위한 복수의 기점(1802)을 포함하는 스타일러스(1800)가 도시된다. 스타일러스(1800)의 끝(1804)은 스타일러스(1800)의 마커에 대한 끝(1804)의 좌표가 결정되는 것을 허용하는 플레이트(1502)의 딤플(1508)에 삽입될 수 있다. 마커(1504)에 대한 특정 위치에서 사용자(106)의 시야로 투영되는 가상 가이드 지점(1806)이 도시된다. 사용자(106)는 사용자(106)의 깊이 인식에 따라 가상 가이드 지점(1806)이 위치되는 실제 스타일러스(1800)의 끝(1804)을 배치하고, 그에 의해 이의 실제 뷰를 가상 가이드 지점에 의해 표현된 가상 뷰와 연결한다. 알고리즘은 그 다음, 사용자(106)의 안내 거리와 같은 변수를 설명하기 위해 정정 인자를 적용한다. 이것은 도구 또는 임플란트의 정확한 위치를 위해 혼합 현실 상태에서 사용자의 깊이 인식이 의존될 경우에 유용하다.
도 19는 고관절 교체 시술이 시작될 때 환자(1900)의 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 추적하기 위한 복수의 기점(1904)을 갖는 대퇴골 마커(1902)는 Ioban과 같은 접착 테이프로 환자(1900)의 허벅지의 피부에 부착된다. 대안적으로, 대퇴골 마커(1902)는 도 13b에서 묘사된 것과 같은 핀 및 클램프 어셈블리의 사용에 의해 대퇴골의 뼈에 직접적으로 고정될 수 있다. 사용자(106)는 임시 골반 기준 프레임을 확립하기 위해 대퇴골 마커(1902)의 기준 프레임에서 골반의 위치를 결정하도록 스타일러스(1800)의 끝(1804)을 사용하여 골반의 전방 랜드마크를 등록한다. 또 다른 실시형태에서, 이 등록은 환자의 가시적 표면의 SLAM 스캐닝에 의해 획정된 신체 기준 프레임에 있을 수 있다. 또 다른 실시형태에서, 골반의 전방 랜드마크는 SLAM으로 표면 맵을 생성하고 사용자(106)로 하여금 자신의 머리의 동작에 의해 차례로 각각의 랜드마크에 가상 지점(1910)을 배치함으로써 각각의 지점을 식별하게 함으로써 등록될 수 있다. 또 다른 실시형태에서, 단일 기점(1906)은 등록될 위치에 배치될 수 있다. 가상 원(1908)은 위치가 사용자(106)의 시선에 의해 제어되는 마스크를 획정하기 위해 사용될 수 있다. 기계 비전 알고리즘은 단지, 가상 원(1908) 내에서 단일 기점(1906)을 찾는다. 등록 단계는 "등록 지점"과 같은 사용자(106)에 의해 음성 명령으로 트리거링될 수 있다. 사용자(106)는 또한, 슬개골의 중심 또는 내측 및 외측 상과(epicondyle)와 같은 원위 대퇴골을 표현하는 지점을 등록할 수 있다. 각각의 지점이 등록될 때, 작은 구와 같은 가상 마커는 등록 시에 및 더 나아가 사용자(106)에게 사용자(106)에게 시각적 확인을 제공하고 등록 품질을 확인하기 위해 배치되고 끝의 위치에 남아 있을 수 있다.
도 20은 고관절 교체 시술 동안 가상 골반(2000) 및 가상 대퇴골(2002)의 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 환자 특정 모델이 디스플레이 디바이스(104)에 업로드된 경우, 이의 가상 모델은 신경혈관 구조와 같은 관심 있는 임의의 다른 가상 특징과 함께 디스플레이될 것이다. 그렇지 않은 경우, 가상 골반 및 가상 대퇴골은 등록된 랜드마크의 간격과 최상으로 매칭하도록 조정된 성별 특정 모델일 수 있다. 2개의 고정 핀의 각각에 대한 제1 가상 궤적(2004) 및 제2 가상 궤적(2006)이 디스플레이된다. 다른 실시형태에서, 이는 관형 또는 원뿔형일 수 있다. 복수의 표면에 마커를 획정하는 복수의 기점(2010)을 포함하는 드릴(2008)이 도시되고, 이는 다양한 유리한 지점으로부터 이의 포즈가 추적되는 것을 허용한다. 각각의 핀의 삽입은 드릴이 추적되지 않는 경우에 가상 궤적(2004)과 실제 핀(2012)을 정렬함으로써 또는 드릴이 추적되는 경우에 가상 궤적과 가상 핀(도시 생략)을 정렬함으로써 안내될 수 있다. 드릴이 추적되는 경우, 부가적인 증강을 위해 골반 기준 프레임에 대한 드릴의 각도가 수치적으로 디스플레이된다. 가상 텍스트(2014)는 실제 드릴의 표면(2016)에 위치되고 드릴과 함께 이동하여 가상 텍스트에 의해 표현된 각도가 연관되는 객체를 사용자에게 직관적으로 만든다.
도 21은 장골능에 삽입된 핀(2106)에 고정함으로써 환자의 골반에 부착된 해부학적 구조 마커(1300)를 사용한 고관절 교체 시술 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 이 지점에서, 골반을 추적하는 것과 관련된 기준 프레임은 이전 기준 프레임으로부터 해부학적 구조 마커(1300)의 기준 프레임으로 이전된다. 필요에 따라, 골반이 재등록되어 정확도를 증가시킬 수 있다. 사용자(106)는 그 다음, 고관절 및 대퇴골 경부를 노출키기 위해 근육 및 관절 캡슐의 해부 및 절개 위치에 대한 가이드로서 가상 골반(2102), 가상 대퇴골(2104), 및 가상 신경혈관 구조(도시 생략)를 사용하여 절개를 하고 대퇴골을 노출시킨다. 이 시점에서, 사용자(106)는 골반에 대해 대략 중립 외전(neutral abduction), 굴곡 및 회전을 갖는 기준 위치에 다리를 배치한다.
도 22는 고관절 교체 시술의 대퇴골 등록 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 스타일러스(1800)의 끝은 근위 대퇴골의 기준 지점(2200)에 배치된다. 이 시점에서, 마커(1902 및 1300) 사이의 관계에 의해 획정된 바와 같이 골반에 대한 대퇴골의 기준선 방향이 결정되고 기록된다. 게다가, 골반 기준 프레임에서 기준 지점(2200)의 좌표가 기록된다. 기준 지점(2200)은 수술용 펜으로 표시하거나, 뼈에 작은 구멍을 뚫거나 작은 압정을 삽입함으로써 향상될 수 있다. 등록의 정밀도를 개선하기 위해, 도 22에 도시된 바와 같이 스타일러스의 끝을 중심으로 확대된 입체 이미지(2202)가 디스플레이된다. 사용자(106)가 나중에 시술에서 기준 지점을 찾는 것을 돕기 위해, 기준선 이미지, 또는 스타일러스의 지점 주변 영역의 이미지가 등록 시에 기록될 수 있다. 이는 입체 이미지일 수 있다. 사용자(106)는 그 다음, 스타일러스(1800)의 끝(1804)을 사용하여 절단된 대퇴골 경부의 원하는 위치에 지점을 등록한다. 이것은 전형적으로, 대퇴골 경부의 가장 위쪽/외측 지점이다. 적절한 외전 및 버전 각도로 이 지점을 통과하는 최적의 후단면이 산출된다.
도 23은 가상 절제 가이드(2300)를 사용한 고관절 교체 시술의 대퇴골 경부의 절제 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 마커를 획정하는 복수의 기점(2304)를 갖는 시상 톱(2302)이 도시되고, 마커는 시상 톱(2302)의 포즈가 추적되는 것을 허용한다. 대퇴골 경부의 절제는 드릴이 추적되지 않는 경우에, 실제 톱날(2306)을 가상 절제 가이드(2300)와 정렬함으로써, 또는 톱(2302)이 추적되는 경우에 가상의 톱날(도시 생략)을 가상 절제 가이드(2300)와 정렬함으로써 안내될 수 있다. 도 20에 도시된 추적된 드릴과 같이, 톱(2302)이 추적되는 경우, 톱(2302)의 각도가 수치적으로 디스플레이될 수 있다. 이 각도는 골반 기준 프레임 또는 대퇴골 기준 프레임에 대해 디스프레이될 수 있다.
도 24는 비구 임팩터 어셈블리(1100) 및 가상 쉘(2402)을 위한 가상 타깃(2400)이 도시되는 고관절 교체 시술의 비구 쉘의 위치 결정 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 비구 임팩터 어셈블리(1100)의 배치는 가상 타깃(2400)과 정렬되도록 이를 조작함으로써 안내된다. 가상 타깃의 쉘 부분의 후방/외측 사분면은 나사를 비구 내로 안전하게 배치하기 위한 타깃의 경계를 사용자(106)에게 표시하기 위해 상이한 컬러로 디스플레이되거나 그렇지 않으면, 쉘(2402)의 나머지 부분과 시각적으로 구별될 수 있다. 비구 임팩터의 숫자 각도 및 넓혀지거나 넓혀지지 않은 비구에 대한 삽입 깊이는 가상 텍스트(2404)로서 수치적으로 디스플레이된다. 임팩터의 끝을 중심으로 2202와 유사한 확대된 입체 이미지(도시 생략)가 디스플레이될 수 있어서 가상 쉘이 가상 골반(2102)의 비구와 어떻게 인터페이스하는지를 보여준다.
도 25는 고관절 교체 시술의 비구 쉘의 위치 결정 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사하고, 비구 임팩터의 가상 축(2500) 및 가상 타깃(2400)이 도시된다. 비구 임팩터의 배치는 가상 타깃(2400)과 가상 축(2500)을 정렬하도록 이를 조작함으로써 안내된다.
도 26은 고관절 교체 시술의 대퇴골의 재배치 및 등록 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 기준선 대퇴골 등록 동안 골반에 대한 대퇴골의 수술 전 방향을 표현하는 가상 대퇴골 타깃(2600)이 도시된다. 이 가상 대퇴골 타깃의 상위 정점은 근위 대퇴골의 기준 지점 근처에 배치된다. 대퇴골의 현재 방향을 표현하는 가상 대퇴골 프레임(2602)이 도시된다. 대퇴골이 이동됨에 따라, 가상 대퇴골 프레임(2602)은 가상 대퇴골 타깃(2600)의 상위 정점을 중심으로 회전한다. 대퇴골을 기준선 방향으로 재배치하는 것은 외전, 굴곡, 및 회전 시에 가상 대퇴골 프레임(2602)을 가상 대퇴골 타깃(2600)과 정렬하도록 대퇴골을 조작함으로써 성취된다. 대퇴골이 기준선 방향으로 재배치되면, 사용자는 그 다음, 스타일러스(1800)의 끝(1804)을 사용하여 기준선 측정으로부터 다리 길이 및 외측 오프셋의 변화를 결정하기 위해 근위 대퇴골의 기준 지점을 재등록한다. 기준선 대퇴골 등록 동안 더 일찍 기록된 기준선 이미지(2604)는 동일한 기준 지점을 정확하게 재등록하는 것을 보조하기 위해 디스플레이될 수 있다.
IV. 추적 및 관련 방법
일부 적용에서, 추적 정확도를 최대화하기 위해 이용 가능한 픽셀의 크기를 효과적으로 감소시키도록 상대적으로 작은 시야를 갖는 카메라를 사용하는 것이 유리할 수 있다. 결과적으로, 사용자가 카메라(들)를 배치하는 것이 더 어려워지고 따라서, 모든 요구된 마커는 시야 내에 있게 되는데, 특히 이는 어떤 마커가 시야 내부에 있는지의 여부, 또는 모든 요구된 마커를 캡처하기 위해 카메라(들)가 어떤 방향으로 지향되어야 하는지가 사용자에게 명백하지 않을 수 있기 때문이다. 도 64는 모든 요구된 마커를 포함하도록 카메라(들)의 시야를 배치하는데 있어서 사용자를 보조하도록 설계된 피처를 갖는 MXUI의 일 예시적인 실시형태를 묘사한다. 이 실시형태에서, 2개의 마커(6402 및 6408)는 지점을 등록하거나 내비게이션 출력을 산출하기 위해 카메라(들)에 의해 추적되도록 요구된다. 하나의 마커(6402)는 카메라(들)의 시야(6404) 내에 위치된다. 제2 마커(6408)는 카메라(들)의 시야(6404) 밖에 있다. 가상 가이드(6410)(예컨대, 본 명세서의 다른 곳에서 설명된 바와 같이, 머리 고정 객체)는 디스플레이 디바이스(104)에서 사용자(106)에게 디스플레이되어, 누락된 마커(6408)가 발견될 가능성이 있는 방향을 나타낸다. 가상 가이드(6410)는 화살표와 같은 기호, 또는 방향을 나타내는 텍스트일 수 있다. 하나의 실시형태에서, 마커(6408)의 예상된 위치는 마커(6402 및 6408)의 상대적 위치에 기초하고, 이는 마커 둘 다가 가시적일 때 이전에 기록되거나, 전형적인 마커 배치에 기초하여 시스템에 의해 추정된다. 많은 적용에 대해, 마커는 일단 이것이 특정한 시술을 위해 설정된 후에 작은 거리만 이동할 것으로 합리적으로 예상될 수 있다. 예를 들면, 고관절 교체 수술 동안 골반 및 허벅지에 장착된 2개의 마커는 수술 내내 거의 동일한 상대 위치에 유지될 것이다. 이 경우에, 한번에 2개의 마커를 동시에 검출하고(예컨대, 그리고 이는 본 명세서의 어딘가에서 설명된 바와 같이, 관성적으로 고정된 객체임) 이의 상대 위치를 측정하는 시스템은 어느 하나의 마커가 카메라 시야(6404)에 있는 경우 누락된 마커의 방향을 사용자에게 나타낼 수 있다. 유사하게, 전형적인 해부학적 구조에 대한 지식은 마커의 가능한 위치에 관해 시스템에 알린다. 예를 들면, 사용자가 골반의 장골능 및 고관절 교체 환자의 허벅지 앞쪽에 배치한 마커는 항상 거의 같은 거리에 떨어져 있고, 거의 같은 방향에 있을 것이다. 단순한 예에서, 제2 마커(6408)가 대략 제1 마커(6402)의 양의 x축을 따라 배치될 것이라는 가정은 시스템이 사용자가 그 축을 따라 카메라 시야(6404)를 이동하도록 지시하는 유용한 가상 가이드(6410)를 생성하는 것을 가능하게 할 것이다. 또 다른 실시형태에서, 예를 들면, 카메라 시야에 어떠한 마커도 없는 경우, 센서 제품군의 관성 센서는 사용자의 머리의 움직임(예컨대, 머리 각도)을 추적하고 이것이 카메라 시야(6404) 내에 있을 때 마지막으로 알려진 위치(예컨대, 현재 머리 위치 및/또는 각도로부터의)에 기초하여 마커(6408)의 상대 위치를 산출하기 위해 사용된다. 또 다른 실시형태에서, 시스템은 마커(6408)가 시야(6404)에 있고 성공적으로 추적되었을 때 이에 대한 3D 위치 및 방향 값을 계산한다. 시스템은 시각적 관성 주행거리계(VIO), SLAM, 또는 다른 유사한 방법을 사용하여 실내에서 사용자의 위치를 추적할 수 있다. 시스템은 또한, 사용자의 머리의 방향 따라서, 시야(6404)를 추적한다. 마커가 시야(6404)를 벗어나면, 마커(6408)의 마지막으로 알려진 위치는 사용자 위치 및 디스플레이 시야(6404)의 방향에 기초하여 전파될 수 있어서 추정된 위치를 생성한다(그러나 여전히 시야 밖에 있음). 추정된 위치 및 현재 측정된 디스플레이 시야(6404)는 사용자가 시야(6404)에 마커(6408)를 갖기를 원하는 경우 어느 방향으로 회전해야 하는지를 나타내는 표시기를 사용자에게 제공하기 위해 사용된다. 이 접근법은 다수의 추적기를 표현하는 다수의 표시기를 위해 사용될 수 있고, 이는 단일 마커 경우로 제한되지 않는다. 하나의 실시형태에서, 가상 제어부(6406)(예컨대, 본 명세서의 어딘가에서 설명된 바와 같이, 관성 고정 객체)는 사용자의 머리에 장착된 디스플레이 디바이스를 통해 사용자에게 보여진다. 사용자는 고정된 십자선 또는 커서 또는 사용자 입력 제어부(6412)(예컨대, 본 명세서의 어딘가에서 설명된 바와 같이, 머리 고정 객체)를 가상 제어부(6406)와 정렬하기 위해 자신의 머리를 움직임으로써 가상 제어부(6406)를 활성화해야 한다(예를 들면, 지점을 등록하기 위해). 이 실시형태에서, 가상 제어부(6406)는 이것이 2개의 요구된 마커(6402 및 6408) 사이의 중앙에 위치하도록 마커(6402)에 대해 시스템에 의해 배치되고, 사용자 입력 제어부(6412) 및 가상 제어부(6406)가 정렬될 때까지 사용자 입력 제어부를 가상 제어부와 정렬시키기 위해 사용자가 자신의 머리를 돌릴 때 가상 제어부(6406)의 위치가 조정된다. 사용자가 사용자 입력 제어부(6412)와 가상 제어부(6406)를 정렬하기 위해 자신의 머리를 돌릴 때, 카메라 시야(6404)는 마커(6402 및 6408) 둘 다를 포함하도록 이동하거나 조정되고, 그에 의해 카메라의 시야에서 적어도 2개의 마커의 추적을 허용한다.
본 명세서의 어딘가에서 설명된 시스템 및 디바이스 중 임의의 것의 또 다른 실시형태에서, 시스템은 정보 화면을 제공하거나 관성 공간의 위치 및/또는 방향에 고정되는(즉, 관성적으로 고정됨) 콘텐트를 디스플레이한다. 즉, 사용자의 머리가 움직이거나 회전할 때, 콘텐트는 관성 공간에 그대로 유지될 것이고, 이는 콘텐트가 사용자의 시야를 벗어나 더 이상 머리 착용 디스플레이를 통해 보이지 않는 것을 야기할 수 있다. 작업 흐름 변경을 감소시키고 외과의에 의한 더 용이한 사용을 허용하기 위해, 사용자를 위해 디스플레이된 콘텐트의 자동화된 재배치를 허용하기 위한 다수의 방법이 제공된다.
예를 들면, 시스템은 사용자가 미리 결정된 방식으로 자신의 머리를 기울일 때 디스플레이된 콘텐트를 요 방향으로 중앙에 맞출 수 있다. 예를 들면, 머리(및 헤드셋)를 약 -10도(+/- 약 5도) 피치 각도 아래로 기울이는 것은 디스플레이된 콘텐트의 중앙 맞춤을 트리거링할 것이다. 또한, 예를 들면, 사용자가 자신의 귀를 자신의 어깨에 대고 있는 것처럼, 머리(및 헤드셋)를 좌측 또는 우측으로 약 3도(+/- 약 5도) 기울이는 것은 디스플레이된 콘텐트의 중앙 맞춤을 트리거링할 것이다. 또한, 예를 들면, 조합된 제스처에서 머리를 위로 약 10도(+/- 약 5도) 및 좌측 또는 우측으로 약 3도(+/- 약 5도) 기울이는 것은 디스플레이된 콘텐트의 중앙 맞춤을 트리거링할 것이다. 이 머리 기울기는 피치로 제한되지 않으며, 이는 단지 각도로 제한되지 않는다. 헤드셋의 관성 측정 시스템에 의해 해결될 수 있는 임의의 머리 제스처는 이 중앙 맞춤 활동을 트리거링하기 위해 사용될 수 있다.
또한, 예를 들면, 시스템은 추적 마커가 추적 시스템에 의해 식별되고 추적 시스템의 FOV에 있을 때 요 방향으로 디스플레이를 중앙에 맞출 수 있다. 일부 실시형태에서, 요 위치는 마커와 정렬되거나 마커로부터 오프셋될 수 있다.
도 82를 참조하면, 머리 착용 디스플레이 및 내비게이션 시스템을 사용하여 관성 공간에서 마커를 결정하는 방법이 본 명세서에서 또한 제공된다. 예를 들면, 일부 시술(예컨대, 관성 공간에서 방향을 수용하도록 조정된 비구 컵 배치를 보고함)은 관성 공간에 대한 마커의 관계의 측정을 요구한다(즉, 마커 좌표 프레임을 관성 프레임과 관련시킴). 중력에 대한 환자의 고관절에 부착된 기준 마커의 방향의 결정은 환자 또는 마커에 위치되지 않지만 대신에 본 명세서의 어딘가에서 설명된 내비게이션 시스템 및 머리 착용 디스플레이 중 임의의 것에 위치되는 관성 측정 유닛(IMU)으로 측정된다. 이것을 달성하기 위해, 다음을 포함하는 방법이 시스템에 의해 수행될 수 있다: 블록 S8200에서 IMU로부터, 머리 착용 디스플레이 및 내비게이션 시스템으로부터 관성 데이터(예컨대, 가속도 데이터, 레이트 데이터, 등)를 수신하는 단계; 블록 S8210에서 자세 추정기를 사용하여 머리 착용 디스플레이 IMU 기준 프레임에서 중력 벡터의 위치를 결정하는 단계; 블록 S8220에서 하나 이상의 추적 카메라를 사용하여, 카메라 기준 프레임에 대한 기준 마커의 3차원 공간에서의 방향을 획득하는 단계; 블록 S8230에서 중간 프레임 변환을 선택적으로 포함할 수 있는, 기준 카메라 프레임으로부터 IMU 기준 프레임으로의 정적 변환 행렬을 생성하는 단계; 및 블록 S8240에서 IMU에 의해 측정되고 자세 추정치에 의해 형성된, 관성 공간의 Z 방향의 단위 벡터를 IMU 기준 프레임으로부터 마커 기준 프레임으로 변환하는 단계.
본 명세서에서 사용된 바와 같이, "자세 추정기"는 칼만 필터, 보완 필터, 또는 다른 기술을 사용하여 가속도계 및 레이트 센서 데이터를 조합하여 임의의 출력 형태(예컨대, 오일러 각도, 쿼터니언, 또는 이와 유사한 것)일 수 있는 헤드셋에 대한 3D 방향을 생성한다.
일부 실시형태에서, 정적 변환 행렬을 생성하는 단계는 머리 착용 디스플레이, IMU, 및 카메라 교정 절차의 기계적 구성에 기초한다.
일부 실시형태에서, 단위 벡터를 변환하는 단계는 다음을 포함한다:
Figure pct00001
. 결과적인 벡터는 마커 기준 프레임에 표현된 중력 벡터를 표현한다. 예를 들면, 이 벡터는 관성 프레임에서 비구 컵 방향의 실시간 결정을 허용하지만 또한, 달리 관성 프레임에서 임의의 신체 부분, 도구, 뼈의 실시간 방향을 결정하기 위해 사용될 수 있다.
도 50 내지 도 52를 참조하면, 시스템(10)은 해부학적 구조에 고정된 외부 기점 없이 해부학적 구조를 추적하기 위한 수단을 선택적으로 포함할 수 있다. 도 50a 및 도 50b는 대퇴골(5002)이 변위되어, 시스템(10)이 센서 제품군(210)을 사용하여 소전자(5010)의 노출된 표면의 기준 3차원 표면 맵(5014)을 생성하는 것을 허용하는 일 예시적인 실시형태를 묘사한다. 소전자의 표면은 시술 전반에 걸쳐 변경되지 않은 채로 유지되고 시스템(10)에 의해 부가적인 기점 없이 대퇴골을 추적하기 위해 사용될 수 있다. 기준 3차원 표면 맵(5014)의 경계는 사용자의 시선을 추적함으로써 동작할 수 있는 커서 또는 포인팅 디바이스를 사용하여 곡선을 추적함으로써 사용자에 의해 선택적으로 표시될 수 있다. 시스템(10)은 기준 3차원 맵(5014)을 지점 클라우드로서, 수학적 표면으로서, 또는 다른 수단에 의해 저장할 수 있다. 시스템(10)은 센서 제품군(210)에 대한 기준 프레임(5016)을 생성하고 기준 프레임(5016)에 표면 맵(5014)의 초기 포즈를 기록할 수 있다. 사용자(106)는 대퇴골두(5006), 대퇴골 경부(5008), 및 비구(5012)와 같은 동일한 뼈 또는 강체에 부가적인 기준 지점 또는 구조를 등록할 수 있다. 시스템은 대퇴골두, 대퇴골 경부, 및 비구 각각에 대한 부가적인 3차원 표면 맵(5020, 5022, 5024)을 생성할 수 있으며, 이의 포즈는 시스템(10)이 기준 프레임(5016)에 대해 기록한다. 시스템(10)은 센서 제품군(210)을 사용하여, 소전자(5010)를 지속적으로 재스캐닝하고 해부학적 구조의 변위된 3차원 표면 맵(5018)을 생성한다. 그 다음, 변위된 3차원 표면 맵(5018)을 동일한 표면에 대해 생성된 기준 3차원 표면 맵(5014)과 비교하여, 시스템(10)은 최적 맞춤을 위해 변위된 표면 맵(5018) 및 기준 표면 맵(5014)을 정렬하기 위해 요구된 기하학적 회전 및 병진운동을 결정한다. 시스템(10)은 그 다음, 대퇴골(5002)의 강체의 모든 저장된 기준 지점 및 구조에 동일한 회전 및 병진운동을 적용하여 센서 제품군(210)의 기준 프레임에 대한 모든 이러한 지점 및 구조의 현재 포즈를 산출한다. 시스템(10)은 대퇴골두(5006) 또는 비구(5012)의 직경을 산출하고 이를 비구 리머 크기를 선택하기 위한 가이드로서 사용자(106)에게 디스플레이할 수 있다. 시스템(10)은 기준 표면 맵(5014)에 대한 대퇴골두(5006)의 중심을 산출할 수 있다. 시스템(10)은 또한, 골반(5004)에 대한 비구(5012)의 중심의 위치를 산출할 수 있다. 사용자(106)는 그 다음, 부착된 기점(5104)을 갖는 브로치(broach) 또는 리머(5102)를 대퇴골의 관에 삽입하여, 대퇴골 축(5106)을 식별한다. 시스템(10)은 대퇴골두(5006)와 대퇴골 축(5106) 사이의 대퇴골 경부 축(5118)을 산출한다. 무릎(5110)이 대략 90°로 구부러진 상태에서, 카메라(206)는 하부 다리(5112)를 스캐닝하여, 이의 대략적인 중심 축(5114)을 식별하며, 이는 고유의 대퇴골 경부 축(5118)의 버전 각도가 산출되는 기준 평면(5116)을 획정하기 위해 대퇴골 축(5106)과 함께 사용된다. 시술의 과정에서, 고유의 대퇴골두(5006) 및 비구(5012)는 각각 대퇴골 임플란트(5202) 및 비구 임플란트(5204)로 교체된다. 시스템(10)은 이식된 비구 쉘(5204) 및 대퇴골두(5208)의 중심을 검출할 수 있어서, 시스템(10)이 대퇴골 축(5106)으로부터 대퇴골두(5208)까지의 거리 변화(대퇴골 오프셋), 또는 각각의 구조의 각각의 고유하고 이식된 조건 사이의, 비구(5208)의 중심의 위치 변화를 산출하고 디스플레이하는 것을 허용한다. 대퇴골두(5006)의 교체 다음에, 그러나 비구(5012)의 교체 이전에, 시스템(10)은 교체된 대퇴골두(5208)를 사용하여 대퇴골 경부 축(5206)의 새로운 산출에 기초하여 대퇴골 버전을 산출하고 디스플레이할 수 있다. 시스템(10)은 대퇴골 임플란트(5202) 및 비구 임플란트(5204)의 조합된 전경(anteversion)을 위한 타깃을 성취하기 위해 비구 임플란트(5204)에서 요구된 부가적인 전경을 산출하고 디스플레이할 수 있다. 시스템(10)은 시술의 결과로서 발생하는 대퇴골(5002)과 골반(5004) 사이의 거리 변화를 산출하고 디스플레이할 수 있다.
도 53은 보조 기점에 의한 것이 아니라, 고관절 임팩터(5300)의 노출된 표면(5302)의 일부의 3차원 맵을 통해 추적된 고관절 임팩터의 일 예시적인 실시형태를 묘사한다. 시스템(10)은 카메라(206)를 사용하여 쉘(5304) 및 임팩터 표면을 동시에 스캔함으로써 이 표면에 비구 쉘(5304)을 등록할 수 있다.
도 59는 시스템(10) 및 이의 센서 제품군(210)이 고관절 인공관절 시술에서 탐색을 위해 사용될 수 있는 방법을 보여주는 흐름도를 묘사한다. 센서 제품군(210)은 소전자(5010)를 스캔할 수 있다(5902). 이 스캔으로부터, 기준 3차원 표면 맵(5014)이 저장될 수 있다(5904). 시스템(10)은 그 다음, 센서 제품군(210)에 대해 대퇴골(5002)에 대한 기준 프레임(5016)을 확립할 수 있다(5906). 그 다음, 노출된 소전자(5010)를 반복적으로 스캐닝하여, 시스템(10)은 각각의 스캔에 대해 변위된 3차원 표면 맵(5018)을 생성한다(5908). 각각의 연속적인 스캔으로, 시스템은 변위된 표면 맵(5018)을 소전자(5010)의 동일한 영역에 대한 기준 표면 맵(5014)과 비교할 수 있다. 이 비교에 기초하여, 시스템(10)은 변위된 표면 맵(5018)을 기준 표면 맵(5014)과 최상으로 맞추기 위해 요구된 병진운동 및 회전을 결정함으로써 센서 제품군(210)에 대한 대퇴골(5002)의 포즈를 추적할 수 있다(5910).
도 54는 시스템(10) 및 이의 센서 제품군(210)이 고관절 운동학을 분석하기 위해 사용될 수 있는 방법을 보여주는 흐름도를 묘사한다. 센서 제품군(210)은 고유의 대퇴골두(5006) 및 비구(5012)를 포함하는, 환자의 해부학적 구조의 노출된 표면을 스캔할 수 있다(5400). 이 표면으로부터, 각각의 구조의 3차원 맵(5020, 5024)이 저장될 수 있다(5402). 시스템(10)은 그 다음, 서 있는 환자에서 예상된 방향으로 표면을 회전시키고 체중 방향으로 이를 함께 병진운동시킬 수 있다(5404). 시스템(10)은 그 다음, 대략 구 표면의 중심보다 더 적절한 회전 중심일 수 있는 2개의 표면 사이의 접촉 지점 또는 패치를 산출할 수 있다(5406). 대퇴골 임플란트(5202) 및 비구 임플란트(5204)로 고유의 해부학적 구조를 교체한 후에, 시스템(10)은 임플란트에 대한 접촉 지점을 유사하게 식별할 수 있다(5408). 임플란트 기하학적 구조를 사용하여, 시스템(10)은 임플란트 사이, 또는 임플란트와 뼈 사이의 충돌 이전에 각각의 방향으로 허용된 동작의 각도 범위를 산출하기 위해 고관절 각도를 교란시킬 수 있다(5410). 동작의 범위를 제한하는 제1 충돌의 위치는 디스플레이 디바이스(104)에서 강조될 수 있다(5412). 예를 들면, 대퇴골 경부(5008)는 비구(5012)의 노출된 경계, 또는 비구 임플란트(5204)에 충돌할 수 있다. 충돌 표면 중 적어도 하나가 고유의 뼈에 있는 경우, 사용자(106)는 뼈를 트리밍하여 동작 범위를 증가시키기로 선택할 수 있다. 충돌 표면 중 적어도 하나가 임플란트에 있는 경우, 사용자(106)는 임플란트의 위치 또는 각도를 조정하기로 선택할 수 있다.
도 83을 참조하면, 일부 실시형태에서, 예를 들면, 수술 사용 동안 관성 데이터와 광학 추적의 조합이 요구될 때, 필요한 정확도를 제공하기 위해, 관성 및 비전 시스템을 통한 관성 대 마커의 종단 간 교정이 발생할 필요가 있다. 예를 들면, 무릎 시술에서 고관절 중심 결정은 관성 측정 및 광학 추적을 사용하여 외과의에게 데이터를 제공할 수 있는 하나의 상황이다. 또한, 예를 들면, 고관절 비구 컵 배치 동안 관성 공간에서 고관절 기울기 각도 결정은 관성 측정 및 광학 추적을 사용하여 외과의에게 데이터를 제공할 수 있는 또 다른 예이다. 관성 데이터 및 광학 추적을 조합하는, 도 83에 도시된 바와 같은 방법은, 블록 S8300에서 기계적 설계로부터 접안경 회전 행렬(
Figure pct00002
로서 도시됨)에 대한 카메라를 결정하는 단계; 블록 S8310에서 기계적 설계로부터 IMU 회전 행렬(
Figure pct00003
로서 도시됨)에 대한 접안경을 결정하는 단계; 및 블록 S8320에서 마커를 카메라 회전 행렬(
Figure pct00004
로서 도시됨)로 교정하는 단계를 포함한다.
본 명세서에서 사용된 바와 같이, "기계적 설계"는 카메라와 접안경/헤드셋 하우징 사이의 각도가 결정될 수 있도록, 카메라 및/또는 접안경이 어떻게 구축되었는지를 보여주는 도면을 언급한다.
일부 실시형태에서, 교정은 정밀 고정구를 사용하는 것을 포함한다. 게다가, 일부 실시형태에서, 교정은 고정구에 알려진 좌표계를 갖는 기준 마커를 배치하는 것; 시야(FOV)에 있는 기준 마커를 사용하여, 고정구에 접안경을 배치하는 것; 및 예를 들면, 추적을 사용하여 기준 마커로부터 카메라까지의 회전 행렬(
Figure pct00005
)을 획득하는 것을 포함한다. 예를 들면, 추적은 마커를 추적하고 머리 착용 디스플레이 및 내비게이션 시스템을 사용하여 각각의 마커에 대한 위치 및 방향 정보를 수신하는 것을 포함한다. 일부 실시형태에서, 추적은 카메라 회전 행렬에 대한 마커를 획득하기 위해 사용된다.
일부 실시형태에서, 도 83의 방법은 정밀 고정구를 사용하여 IMU를 교정하는 단계를 더 포함한다. 예를 들면, 방법은 두 방향(총 6개 위치)의 모든 3개 직교 위치에서의 정확한 위치 결정을 허용하는 고정구에 머리 착용 시스템을 배치하는 단계; 머리 착용 시스템의 접안경 Z 축이 허용 오차(즉, "앞으로 시선" 위치) 내에서 로컬 중력 벡터와 정렬되도록, 그 안의 시스템과 함께, 평평한 표면에 고정구를 배치하는 단계; IMU 출력의 모든 3개의 축으로부터 가속도계 데이터(A1)를 획득하는 단계; IMU 출력의 모든 3개의 축으로부터 레이트 센서 데이터(G1)를 획득하는 단계; 나머지 5개 위치 모두에 대해(즉, "눈 아래로", "눈 뒤로", "눈 위로", "우측 귀 아래로", "좌측 귀 아래로"에 대응하는 G2, G3, G4, G5 및 G6과 함께 A2, A3, A4, A5, 및 A6을 획득함) 반복하는 단계; 및 다음 방정식 중 하나 이상 또는 대안적으로, 또는 부가적으로, 최소 제곱 또는 다른 접근법을 사용하여 IMU의 바이어스(bias) 및 스케일 인자(scale factor)를 산출하는 단계를 포함할 수 있다:
가속도계 바이어스 X=(A2.x+A4.x)/2
가속도계 스케일 인자 X=(A2.x-A4.x)/2
가속도계 바이어스 Y=(A5.y+A6.y)/2
가속도계 스케일 인자 Y=(A5.y-A6.y)/2
가속도계 바이어스 Z=(A1.z+A3.z)/2
가속도계 스케일 인자 Z=(A1.z-A3.z)/2
방법은 방정식을 사용하여 레이트 센서의 각각에 대한 레이트 센서 바이어스 값을 성취하기 위해 레이트 센서 데이터를 평균화하는 단계를 더 포함할 수 있다:
레이트 바이어스 X=(G1.x+G2.x+G3.x+G4.x+G5.x+G6.x)/6
레이트 바이어스 Y=(G1.y+G2.y+G3.y+G4.y+G5.y+G6.y)/6
레이트 바이어스 Z=(G1.z+G2.z+G3.z+G4.z+G5.z+G6.z)/6
방법은 IMU로부터 관성(
Figure pct00006
로서 도시됨)으로 회전을 제공하는, 교정된 IMU 데이터를 사용하여, 자세 추정치를 형성하는 단계를 더 포함할 수 있다.
이 항목의 교정은 관성으로부터 기준 마커 프레임으로 또는 그 반대로 데이터를 변환할 때 오류의 감소를 허용한다. 관성 변환에 대한 기준 마커(
Figure pct00007
로서 도시됨)는,
Figure pct00008
를 곱한 것으로부터 발견된 조합된 변환 행렬이다. 기준 마커 변환에 대한 관성은
Figure pct00009
또는
Figure pct00010
의 역이다.
도 83에서 사용된 바와 같이, "허용 오차"는 절대 중력 벡터로부터 피치 및/또는 롤 각도의 임계 레벨을 언급한다. 일부 실시형태에서, 허용 오차는 약 1도; 약 0.5도 내지 약 3도; 약 1도 내지 약 2도; 약 0.75도 내지 약 5도; 약 2도 내지 약 4도; 등일 수 있다.
도 86a 및 도 86b를 참조하면, 머리 착용 디스플레이 및 내비게이션 시스템(8610)을 교정하기 위한 고정구(8600)의 일 실시형태. 고정구(8600)는 시스템이 교정될 수 있도록 머리 착용 디스플레이 및 내비게이션 시스템(8610)을 고정하는 기능을 한다. 고정구는 인접한 측벽에 각각 직교하는 복수의 측벽(8620)을 포함한다. 하나의 실시형태에서, 고정구(8600)는 6개의 측벽(8620a, 8620b, 8620c, 8620d, 8620e, 8620f)을 포함하지만; 본 명세서에서는 다른 측벽 번호, 즉, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10이 또한 상정된다. 고정구(8600)는 고정구(8600)가 교정 방법 동안 측벽(8620)의 각각에 놓이도록 이동될 수 있도록, 시스템이 내부에 배치될 때 시스템(8610)에 고정 연결된다. 고정구(8600)의 하나 이상의 측벽(8620), 예를 들면, 측벽(8620e, 8620b 및/또는 8620f)은 케이블(8650)이 시스템(8610)에 연결되지만 고정구(8600)가 이의 측벽(8620) 중 임의의 하나에 놓일 때 고정구가 표면에 수평으로 놓여 있는 것을 방해하지 않을 수 있도록 절개부(8630)를 획정할 수 있다. 측벽(8620) 중 임의의 하나 이상은 고정구(8600)에 배치될 때 시스템(8610)을 볼 수 있고/있거나 이에 액세스 가능한(예컨대, 구성요소, 사용자 입력 요소, 등과 상호 작용하기 위해) 개구(8660, 8670)를 부가적으로 획정할 수 있다.
V. C-암 시스템과 결부한 시스템 사용
도 27은 C-암을 통한 환자의 이미징 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. X선 소스(2702), 이미징 유닛(2704) 및 디스플레이 유닛(2706)을 갖는 C-암 이미징 시스템(2700)이 도시된다. 추적 가능한 라벨(2708)이 C-암(2700)에 부착되었다. 가상 고관절 정렬 가이드(2710) 및 가상 골반 정렬 가이드(2712)가 도시된다. 이는 전방 골반 평면에 수직이며 각각 고관절 및 치골 결합에 걸쳐 중심에 있다. C-암(2700)의 배치는 적절한 가상 정렬 가이드와 정렬되도록 이미징 유닛(2704)의 표면을 조정함으로써 안내된다. C-암(2700)이 추적 가능한 경우, 가상 C-암 정렬 가이드(2714)가 디스플레이될 수 있다. 이 경우에, C-암(2700)의 배치는 가상 C-암 정렬 가이드(2714)를 적절한 가상 정렬 가이드(2710 또는 2712)와 정렬되도록 조정함으로써 안내된다. 타깃에 대한 위치 및 각도 오정렬이 또한, 가상 텍스트(2718)로서 수치적으로 디스플레이될 수 있다.
도 28은 시스템(10) 및 이의 디스플레이 디바이스(104)(예컨대, AR 헤드셋(3600))가 수술 절차에서 C-암(2700)과 결부하여 사용될 수 있는 방법을 보여주는 흐름도를 묘사한다. AR 헤드셋(3600)에 통합된 카메라(3904)(예컨대, 고화질 카메라 등)는 C-암 모니터에 디스플레이된 이미지를 캡처하기 위해 사용될 수 있다(2800). 이미지는 이것이, 카메라(3904)가 모니터의 이미지의 완벽하게 중앙에 있고 수직인 경우 보여질 것과 매칭하도록 "정사각형"으로 조정될 수 있다(2802). 이미징되는 해부학적 구조와 관련된 이미저 및 소스의 위치에 대한 지식은 소스로부터 X선 빔의 발산으로 인한 확대 및 시차 왜곡에 대해 이미지를 정정하기 위해 사용될 수 있다(2804). 정정된 이미지는 그 다음, AR 헤드셋(3600)에 디스플레이될 수 있다(2806). 그 다음, 이것은 사용자(106)가 비구 컵 배치 또는 다리 길이와 같은 시술과 관련된 측정을 하는 것을 허용하기 위해 사용될 수 있다(2808). 다른 이미지는, 적어도 예를 들면, 도 28의 블록 (2810)에 도시된 바와 같이 사용자(106)가 비교를 하는 것을 허용하도록 동시에 디스플레이, 오버레이, 미러링, 또는 다르게는 조작될 수 있다.
또 다른 실시형태에서, 이미지 캡처는 또한, 예를 들면, DICOM 형식의 파일 전송에 의해 C-암(2700)과 AR 헤드셋(3600) 사이의 무선 통신에 의해 성취될 수 있다. 대안적으로, 기계 비전을 통합하는 알고리즘은 비구 쉘의 경사 및 버전과 같은 측정을 자동으로 수행하기 위해 이용될 수 있다. 에지 검출은 쉘의 윤곽을 추적하기 위해 사용될 수 있다. 윤곽선과 최적으로 매칭하는 타원의 파라미터는 최적 타원의 단축 및 장축 길이의 비로부터 쉘의 전향을 산출하기 위해 결정되고 사용될 수 있다. 경사는, 예를 들면, 치골의 가장 아래쪽 측면에 접하는 라인을 배치하고 쉘 타원의 장축과 접선 사이의 각도를 산출함으로써 산출될 수 있다. 유사하게, 대퇴골의 외측 오프셋 및 상대적 다리 길이가 결정될 수 있고 이는 대퇴골의 머리 또는 쉘의 구형 단면의 중심으로부터의 회전 중심을 인식하고 외전 각도와 매칭하도록 이 지점을 중심으로 가상 회전을 수행함으로써 대퇴골의 외전의 변화 또는 차에 대해 정정될 수 있다. 이 유형의 산출은 거의 즉시 수행될 수 있으며 부가적인 방사선 이미지를 촬영할 시간 및 필요성을 절약한다. 추가로, 또 다른 실시형태에서, 알고리즘은 폐쇄기 구멍을 표현하는 방사선 투과 영역의 폭 및 종횡비와 매칭하도록 가상 회전을 수행함으로써 쉘의 겉보기 경사 및 전방에 대한 골반의 잘못된 배치의 영향을 정정할 수 있다.
더욱 또 다른 실시형태에서, C-암 이미징은 골반과 같은 해부학적 구조의 위치를 등록하기 위해 사용될 수 있다. 이를 위해, 해부학적 구조 마커(1300)는 알려진 패턴으로 알려진 기하학적 구조의 방사선 불투과성 특징을 통합할 것이다. C-암 이미지는 알려진 마커 특징에 기초하여 캡처 및 조정되고 AR 헤드셋(3600)에 디스플레이된다. 이전 CT 스캔으로부터 생성된 해부학적 구조의 가상 모델이 사용자(106)에게 디스플레이된다. 사용자(106)는 가상 모델을 조작하여 이의 윤곽이 C-암 이미지와 매칭하는 방식으로 이를 배치할 수 있다. 이 조작은 바람직하게는 SLAM을 사용하여 사용자(106) 손의 위치와 동작을 추적함으로써 수행된다. 대안적으로, 사용자(106)는 물리적 객체와 함께 움직이는 가상 모델과 마커를 통합하는 물리적 객체를 조작할 수 있다. 가상 모델이 C-암 이미지와 올바르게 정렬될 때, 환자의 해부학적 구조와 해부학적 구조 마커(1300) 사이의 관계가 산출될 수 있다. 이 단계 및 조작은 또한, 에지 검출을 사용하고 이를 CT로부터 생성된 모델의 프로파일의 투영과 매칭함으로써 소프트웨어에 의해 계산적으로 수행될 수 있다.
이용 가능한 C-암의 제한된 크기로 인해, 사용자가 관심 있는 전체 해부학적 구조를 이미징하는 것과 같은 방식으로 C-암을 배치하는 것이 어렵거나 불가능할 수 있다. 예를 들면, 사용자는 14인치 너비의 골반 이미지를 캡처하기를 원할 수 있지만, 10인치 직경의 시야를 이미징할 수 있는 C-암에 단지 액세스한다. 이 문제는 C-암 이미지의 에지 근처에서 왜곡으로 인해 더욱 악화되어, 사용 가능한 이미지 크기를 효과적으로 감소시킨다. 각각의 이미지에서 공유된 특징을 식별하고 정렬하는 것에 기초하여 다수의 이미지를 함께 스티칭(stitching)하는 알고리즘이 존재하더라도, 이 기술은 등록을 위한 공유된 특징을 생성하기 위해 이미지 사이의 중첩에 의존한다. 예를 들면, 10인치 C-암을 가진 사용자는 자신의 정확한 해부학적 정렬에서 36인치 떨어져 있는 2개의 해부학적 특징을 보여주는 이미지를 생성하기 위해 적어도 4개의(및 그 이상일 가능성이 높음) 중첩하는 이미지를 획득할 필요가 있을 것이다. 본 발명의 또 다른 실시형태에서, 시스템은 이미지 사이의 중첩 없이 환자(2716)의 더 큰 부분의 이미지를 생성하기 위해 C-암(2700)으로부터의 다수의 이미지를 디지털로 스티칭하기 위해 사용될 수 있다. C-암(2700)에 의해 캡처된 각각의 이미지에 대해, AR 헤드셋(3600)은 라벨(2708)과 같은 추적기를 사용하여 환자(2716)에 대한 C-암(2700)의 대응하는 위치를 측정한다. 시스템은 그 다음, 각각의 이미지가 공통 기준 프레임에 대해 이의 정확한 위치 및 정렬에 있는, 수집된 이미지를 디스플레이(2706) 또는 AR 헤드셋(3600)에 디스플레이하여, 사용자(106)가, 이미지 크기가 완전한 골반의 범위보다 작은 C-암(2700)으로 완전한 골반을 이미징하거나, 해부학적 정렬에서 고관절의 단일 이미지 및 발목의 단일 이미지를 보는 것과 같은, 단일 이미지에 맞춰질 수 있는 것보다 큰 환자(2716)의 부분을 포함하는 가상 이미지를 보고 측정하는 것을 허용한다. 이 특징은 이미징 시스템으로부터의 방사선을 최소화하면서 팔다리, 척추, 등의 정렬 및/또는 길이를 평가하기 위해 유용하다.
VI. 척추 시술
도 31은 초음파를 통한 척추의 등록 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 해부학적 구조 마커(1300)는 수술 부위에 인접한 척추골에 고정된다. 마커를 획정하는 복수의 기점(3106)을 포함하는 초음파 트랜스듀서(3104)가 제공된다. 하나의 실시형태에서, 초음파 트랜스듀서(3104)는 배터리로 동작되고, 무선이며, 라디오를 통해 AR 헤드셋(3600)과 통신할 수 있다. 소프트웨어는 마커(1300)의 위치에 대해 2D 초음파 이미지를 배치하고 조정할 수 있게 하기 위해 필요한 기하학적 구조 및 다른 정보를 갖는다. 초음파 트랜스듀서(3104)는 관심 있는 영역을 스캐닝하기 위해 환자(3100)의 표면 위로 이동된다. 소프트웨어는 2D 이미지 데이터를 해부학적 구조 마커(1300)에 대한 초음파 트랜스듀서(3104)의 6 자유도 포즈 정보와 조합하여 관심 있는 척추골의 표면을 표현하는 가상 모델(3108)을 생성한다. 초음파 트랜스듀서(3104)는 더 완전한 3D 이미지를 얻기 위해 관심 있는 해부학적 구조에 대해 회전될 수 있다. 좌측과 우측 유선 돌기 및 극돌기의 후방 윤곽은 척추골의 CT 생성 3D 모델의 동일한 특징과 매칭되어 혼합 현실 보기에서 척추골의 가상 모델을 등록하고 후속적으로 배치할 수 있다. 대안적으로, 초음파 스캔에서 보이는 임의의 적절한 특징이 활용될 수 있거나 가상 모델의 위치가 SLAM에 의해 결정된 바와 같이 환자의 표면에 상대적일 수 있다. 후자는 관심 있는 환자 해부학적 구조가 시술의 지속기간 동안 고정식이고 마커의 부착이 불필요하게 침습적이거나 부담이 될 시술에 대해 적절하다. 초음파는 뼈 구조, 신경 및 혈관과 같지만, 이로 제한되지 않는 관심 있는 해부학적 구조의 모델을 생성하기 위해 이러한 방식으로 유사하게 사용될 수 있다. 임의의 해부학적 구조의 등록이 성취될 수 있다. 예를 들면, 좌측 및 우측 ASIS와 치골의 근위 정점의 위치를 찾기 위해 초음파를 사용하여 골반 기준 프레임이 확립될 수 있다. 동일한 방법은 도구 또는 임플란트의 위치를 경피적으로 추적하기 위해 사용될 수 있다.
도 32는 스타일러스(1800)로 척추를 등록하는 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 해부학적 구조 마커(1300)는 수술 부위에 인접한 척추골에 고정된다. 수술 전 이미지로부터 생성된 환자의 척추골의 가상 모델(3200)이 디스플레이된다. 이 가상 모델은 제1 랜드마크(3202), 제2 랜드마크(3204), 및 제3 랜드마크(3206)를 포함한다. 도 33은 도 32에 도시된 노출된 해부학적 구조의 확대도를 묘사한다. 환자의 연조직이 충분히 절개되어 3개의 랜드마크를 포함하는 제1 골돌기(3300), 제2 골돌기(3302), 및 제3 골돌기(3304)를 노출시킨다. 사용자(106)는 가상 모델에 보여진 랜드마크의 위치와 최상으로 매칭하는 실제 척추골의 지점에 스타일러스 끝(1804)을 배치함으로써 3개의 랜드마크를 등록한다. 소프트웨어는 그 다음, 이 지점을 최상으로 정렬하기 위해 사용자의 관점에서 가상 모델(3200)을 재배치한다. 사용자(106)는 가상 모델을 척추골의 실제 노출 영역과 비교함으로써 등록 품질을 시각적으로 검증한다. 필요한 경우, 사용자(106)는 가상 모델을 재배치하기 위해 스타일러스(1800)의 끝(1804)을 사용함으로써 조정할 수 있다. 일 대안적인 실시형태에서, 랜드마크는 각각의 돌기의 가장 후방 측면에 걸쳐 추적된 호이다. 또 다른 실시형태에서, 노출된 돌기의 윤곽은 SLAM으로 확립되고, 소프트웨어는 이 윤곽과 매칭하도록 가상 모델의 위치에 대한 최상 맞춤을 수행한다.
도 34는 척추 유합술 시술 동안 디스플레이 디바이스(104)를 통해 사용자(106)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 드릴 비트에 대한 가상 타깃(3400) 및 가상 드릴 비트(3402)가 도시된다. 가상 타깃(3400) 및 가상 드릴 비트(3402)에 대해 투명하도록 렌더링된 가상 척추골(3404)이 도시된다. 드릴 비트의 수치 각도 및 관통 깊이 또는 드릴 비트의 끝으로부터 최대 안전 삽입 깊이까지의 거리는 가상 텍스트(3406)로서 수치적으로 디스플레이된다. 도 35는 도 34에 도시된 가상 타깃(3400) 및 가상 드릴 비트(3402)의 확대도를 묘사한다. 가상 타깃(3400)은 근위 십자선(3502) 및 원위 십자선(3504)이 있는 막대(3500)의 형태로 도시된다. 실제 드릴 비트를 안전한 타깃 궤적으로 유지하기 위해, 사용자는 가상 드릴 비트(3402)가 가상 타깃(3400)의 십자선 둘 다의 링을 통과하는 위치를 유지해야 한다. 이상적인 궤적은 가상 드릴 비트(3402)가 십자선 둘 다의 중심을 통과할 때 성취된다. 실제 드릴 비트가 안전한 타깃 궤적 외부로 이동하면, 가상 타깃(3400)의 컬러가 변경되어 사용자에게 경고하고 청취 가능한 경고가 방출된다. 원위 십자선(3504)은 뼈의 표면의 계획된 시작 지점에 배치된다. 가상 타깃(3400) 및 가상 드릴 비트(3402)의 축방향 길이는 조정되어 드릴이 이의 최대 계획 깊이에 도달할 때 자신의 근위 단부가 일치하게 한다. 가상 드릴 비트(3402)의 변위의 동작에 대한 스케일링은 이것이 가상 타깃(3400)으로부터 멀 때 1:1이지만 더 가까울 때 더 높은 정밀도를 위해 더 높은 배율로 확장되어, 더 큰 정밀도를 허용한다.
이것이 드릴 비트를 통한 드릴링의 맥락에서 설명되더라도, 이 혼합 현실 보기는 척추경을 두드리거나 척추경 나사를 조이거나 추적 가능한 송곳을 사용하여 척추경 나사의 관을 찾는 것을 포함하는 다수의 단계를 위해 사용될 수 있다. 드릴, 탭 또는 나사가 교체될 때 이의 끝의 축방향 위치를 재교정하기 위한 빠른 수단으로서, 사용자는 끝을 마커의 딤플에 놓는다. 임플란트는 AR 안내에 의해 덜 침습적으로 도입될 수 있고 예를 들면, PLIF, XLIF 또는 TLIF 시술 동안 체간 케이지가 배치될 수 있다.
또 다른 실시형태에서, 수술용 드릴은 양방향 통신을 제공하기 위해 헤드셋과 무선으로 통신하도록 구비될 수 있다. 이것은, 예를 들면, 다음을 포함하는 다양한 안전 및 사용성을 향상시키는 특징을 용이하게 할 수 있다: 드릴이 안전한 타깃 궤적 내에 있지 않거나 최대 안전 깊이에 도달하면 드릴을 자동으로 중지하거나 동작을 방지하는 것; 및/또는 토크 제한 적용을 위한 적절한 토크 설정 파라미터를 명시하기 위해 편리한 사용자 인터페이스를 제공하는 것. 예를 들면, 주어진 크기의 척추경 나사에 대한 최대 삽입 토크 또는 척추경 나사의 설정된 나사에 대한 안착 토크. 사용된 실제 값은 문서화 또는 연구 목적 예를 들면, 드릴링 동안 토크 곡선, 척추경 나사 또는 설정된 나사의 최종 안착 토크, 척추경 나사의 이식된 위치, 또는 사용된 특정 임플란트를 위해 환자 기록 내에 기록될 수 있다.
또 다른 실시형태에서, AR 헤드셋(3600)은 특히, XLIF와 같은 최소 침습 시술 동안 사용자(106)(예컨대, 척추 외과의)에게 그의 시야 내에서 실시간 경고 및 측정을 제공하기 위해 신경 모니터링/신경 로컬화 시스템에 무선으로 연결될 수 있다. 게다가, 환자의 실제 신경이 이미징되고 3D 모델로 재구성한 수술 전 이미지와 결부하여 사용될 때, 시스템이 특정한 신경이 자극되었거나 자극 프로브에 의해 접근되고 있음을 검출하는 경우, 그 신경 구조를 표현하는 홀로그램은 신경 구조와의 접촉 또는 이에 대한 손상을 회피하기 용이하게 하기 위해 사용자(106)에게 강조될 수 있다.
VII. 무릎 교체 시술
본 발명의 또 다른 예시적인 실시형태에서 및 도 42를 참조하면, 시스템(10)은 무릎 교체 수술을 위해 사용된다. 무릎 교체 환자의 골반(4202), 대퇴골(4204), 및 경골(4206)이 도 42에 도시되고, 외과의(4208)(즉, 사용자(106))는 AR 헤드셋(3600)을 착용하는 것으로 도시된다. 대퇴골 마커(4210) 및 경골 마커(4212)는 핀으로 각각 대퇴골 및 경골에 고정된다. 대퇴골 마커(4210)의 기준 프레임에서 고관절의 중심에 대한 프록시로서 회전 중심을 결정하기 위해 대퇴골이 동작 범위에 걸쳐 이동된다.
일부 실시형태에서, 본 명세서에서 설명된 머리 착용 디스플레이 디바이스 중 임의의 것은 내비게이션 시스템에 대한 방해물이 회피될 수 있도록 사용자에게 이동하는 능력을 제공한다. 이것은, 예를 들면, 수술실에서 고정된 카메라를 사용하는 정적 내비게이션 시스템에 비해 무릎 교체 시술을 위해 대퇴골에 대해 더 큰 및/또는 상이한 동작 범위를 허용한다. 관절 중심(예컨대, 고관절 중심)을 결정하기 위해, 관성 공간에 고정된 하나 이상의 추적기 및 뼈(예컨대, 대퇴골)에 부착된 하나 이상의 추적기를 요구하는 회전 중심 최소 제곱 맞춤(또는 유사한 것)이 수행될 수 있다. 하나의 예에서, 도 81에 도시된 바와 같이, 머리 착용 디스플레이 및 내비게이션 디바이스를 사용하여 관절 중심을 결정하기 위한 방법은, 블록 S8100에서 하나 이상의 기준 추적기를 뼈 및 관절에 대해 고정되는 고정식 마커에 선택적으로(점선으로서 도시됨) 부착하는 단계; 블록 S8110에서 기준 좌표 프레임에 뼈의 지점을 등록하는 단계; 블록 S8120에서 등록된 지점에 기초하여 뼈 좌표 프레임(예컨대, 대퇴골 좌표 프레임)을 생성하는 단계; 블록 S8130에서 기준 좌표 프레임으로부터 뼈 좌표 프레임으로 변환하는 단계; 블록 S8140에서 머리 고정형 머리 착용 디스플레이 및 내비게이션 시스템을 사용하여 기준 프레임에서 고정식 추적기의 지점을 획득하는 단계; 및 블록 S8150에서 뼈 좌표 프레임에서 관절 중심을 결정하는 단계를 포함한다. 머리 착용 디스플레이 시스템 또는 내비게이션 시스템 중 임의의 것은 도 81의 방법을 위해 본 명세서에서 사용될 수 있다.
일부 실시형태에서, 새로운 지점이 지점의 수를 제한하거나 중복 지점의 수를 제한하기 위해 일부 공칭 거리 또는 다른 측정치에 의해 이전 지점으로부터 분리되는 경우 단지 새로운 지점이 획득된다. 예를 들면, 내비게이션 시스템은 시스템이 임의의 다른 지점으로부터 하나의 지점의 거리를 결정하도록 구성되도록, 각각의 지점에 대한 3차원 위치를 출력한다.
방법의 일부 실시형태에서, 머리 착용 디스플레이 및 내비게이션 시스템은 사용자가 자신의 머리를 움직임으로써 시스템의 시야를 조정할 수 있기 때문에 더 넓은 범위의 동작에 걸쳐 기준 추적기의 추적을 허용하기 위해 획득 동안 이동될 수 있다.
일부 실시형태에서, 지점은 대퇴골 좌표계에서 고관절 중심의 위치를 계산하기 위해 사용된, 대퇴골 좌표계로 변환되고, 고관절 중심을 결정하기 위해 실시간 최적 추정 필터를 통해 실질적으로 지속적으로 처리되고/되거나, 고관절 중심을 결정하기 위해 모든 지점의 최종 획득 후에 일괄 처리로서 처리될 수 있다. 예를 들면, 실시간 추정 필터를 통해 실질적으로 지속적으로 처리하는 것은 사용자 예를 들면, 외과의에게 그가 유효한 해결책에 점점 더 가까워지고 있다는 피드백을 제공할 수 있다. 일부 실시형태에서, 일괄 처리는 다수의 지점이 수집되고 시도된 후에 발생하고, 처리가 불충분하면 사용자에게 다시 시도하도록 촉구한다.
무릎은 그 다음, 무릎의 기준선, 수술 전 굴곡 축을 결정하기 위해 동작 범위를 통해 굴곡된다. 외과의(4208)는 그 다음, 무릎 관절을 노출시키기 위해 절개를 한다. 스타일러스(1800)는 활차 고랑의 가장 원위 지점과 같은, 랜드마크에 기초한 원위 대퇴골 중심의 등록을 위해 사용된다. 경골의 근위 중심은 스타일러스의 끝으로 ACL의 공간을 등록함으로써 획정된다. 특정 최소 침습 시술에 대해, 하나의 포트를 통해 스타일러스를 관절낭으로 삽입하고 제2 포트를 통해 삽입된 관절경(4214)으로 이를 시각화함으로써 뼈의 랜드마크가 관절경적으로 등록될 수 있다. 게다가, 관절경으로부터의 관절경 이미지(4216)는 AR 헤드셋(3600)에 무선으로 전달되고 MRUI의 일부로서 디스플레이될 수 있다. 일 대안적인 실시형태에서, 스타일러스 끝은 추적 가능한 관절경에 통합될 수 있어서, 랜드마크 등록이 단일 포트를 통해 수행되는 것을 허용한다. 스타일러스(1800)는 그 다음, 내측 및 외측 복사뼈를 등록하고 이 지점의 보간에 의해 경골 마커(4212)의 기준 프레임에서 발목의 중심을 결정하기 위해 사용될 수 있다. 이 지점에서, 원위 대퇴골의 중심에 원점을 갖고, 고관절의 중심을 향해 연장되는 제1 축, 무릎의 굴곡 축에 의해 획정된 제2 축과 제1 및 제2 축에 수직인 것으로서 획정된 제3 축을 갖는 대퇴골 기준 프레임이 확립된다. 근위 경골의 중심에 원점을 갖고, 발목의 중심을 향해 연장되는 제1 축, 무릎의 굴곡 축에 의해 획정된 제2 축과 제1 및 제2 축에 수직인 것으로서 획정된 제3 축을 갖는 경골 기준 프레임이 획정된다. 이 기준 프레임은 MRUI에서 가상 이미지로서 제공될 수 있다.
도 43은 무릎이 노출된 무릎 교체 수술 동안 AR 헤드셋(3600)을 통해 외과의(4208)에게 보여진 MXUI의 일 예시적인 실시형태를 묘사한다. 대퇴골 과두(4302) 및 경골 고평부(4304)의 지형도는 AR 헤드셋(3600)의 깊이 센서(3906)로 스캐닝하거나 입체 카메라(3904) 및 SLAM을 사용함으로써 생성될 수 있다. 무릎은 동작 범위에 걸쳐 구부러질 것이고 외과의(4208)는 가능한 한 많은 과두의 시각화를 허용하기 위해 자신의 유리한 지점을 조정할 것이다. 시야의 중심에 있는 원(4306)은 등록 프로세스 동안 과두를 "페인트"하기 위해 외과의(4208)에 의해 사용되며 매핑 알고리즘을 위한 마스크로서 사용된다. 이 원은 매핑의 속도 및 정밀도를 향상시키기 위해 사용된 구조화된 광 프로젝터의 투영 필드와 일치할 수 있다. 표면이 매핑됨에 따라, 매핑된 영역의 가상 3D 메시(4308)가 관절 표면에 투영되어 외과의(4208)를 안내하고 표면 등록의 품질에 대한 시각적 확인을 제공할 수 있다. 알고리즘은 그 다음, 원위 대퇴골 및 근위 경골의 관절 표면에서 가장 낮은 지점을 결정하기 위해 사용되어 원위 대퇴골 및 근위 경골 절제의 깊이를 결정한다. 이상적인 임플란트 크기는 지형도로부터 결정될 수 있다.
또 다른 예시적인 실시형태에서, 시스템(10)은 기점 마커를 뼈(4204, 4206)에 부착하는 대신에 대퇴골(4204) 및 경골(4206)의 지형도를 사용하여 각각의 뼈(4204, 4206)의 포즈를 추적할 수 있다. 하나의 실시형태에서, 사용자(106)는 무릎이 구부러지고 펴질 때 가시적으로 남아 있을 뼈(4204, 4206)의 영역을 선택할 수 있다. 도 58a 내지 도 58c를 참조하면, 사용자(106)는 경골(5808)의 전내측 측면 또는 원위 대퇴골(5806)의 전내측 측면을 매핑하도록 선택할 수 있어서, 기준 3차원 표면 맵(5802 및 5804)을 각각 생성한다. 이 영역은 전형적인 피부 절개를 통해 보여진다. 가시성을 유지하기 위해 관례적인 수축 기구 및 기술이 사용될 수 있다. 시스템(10)은 기준 3차원 맵(5802 및 5804)을 지점 클라우드로서, 수학적 표면으로서, 또는 다른 수단에 의해 저장할 수 있다. 시스템(10)은 센서 제품군(210)에 대한 경골 기준 프레임(5812) 및 대퇴골 기준 프레임(5810)을 생성하고 표면 맵(5802 및 5804)의 초기 포즈를 기준 프레임(5812 및 5810)에 각각 기록할 수 있다. 사용자(106)는 동일한 뼈 또는 강체에 부가적인 기준 지점 또는 구조를 등록할 수 있고, 이의 포즈는 기준 프레임(5812) 또는 기준 프레임(5810)에 대해 시스템(10)이 기록한다. 시스템(10)은 센서 제품군(210)을 사용하여, 해부학적 구조의 동일한 섹션을 지속적으로 재스캐닝하고 경골 및 대퇴골에 대해 변위된 3차원 표면 맵(5816 및 5814)을 각각 생성한다. 그 다음, 각각의 변위된 표면 맵(5816, 5814)을 동일한 표면에 대해 생성된 대응하는 기준 표면 맵(5802, 5804)과 비교하여, 시스템(10)은 최상의 맞춤을 위해 변위된 및 기준 표면 맵을 정렬하기 위해 요구된 기하학적 회전 및 병진운동을 결정한다. 시스템(10)은 그 다음, 대퇴골(4204) 또는 경골(4206)의 강체의 모든 저장된 기준 지점 및 구조에 동일한 회전 및 병진운동을 적용하여, 센서 제품군(210)의 기준 프레임에 대한 모든 이러한 지점 및 구조의 현재 포즈를 산출한다.
도 55는 무릎 교체 시술을 탐색하기 위해 시스템을 사용하기 위한 일 예시적인 방법을 보여주는 흐름도를 묘사한다. 사용자(106)는 먼저, 뼈 해부학적 구조를 시각화하기 위해 무릎을 노출시킨다(5500). 센서 제품군(210)은 그 다음, 원위 대퇴골(5806)의 전내측 측면 및 근위 경골(5808)의 전내측 측면을 스캔한다(5502). 이 표면으로부터, 기준 3차원 표면 맵(5802, 5804)이 저장된다(5504). 시스템은 선택적으로, 대퇴골 과두(5818), 활차(5820), 경골 고평부(5822), 후과(posterior condyle)(5824), 또는 상과(5826)의 더 큰 영역을 스캐닝하고 매핑할 수 있다. 이 확장된 맵(5828, 5830, 5832, 5834, 5836) 각각으로부터, 및 선택적으로 외부 해부학적 데이터를 사용하여, 시스템(10)은 원위 대퇴골(4204)의 중심 및 근위 경골(4206)의 중심을 식별한다(5506). 대퇴골은 매핑된 원위 대퇴골 해부학적 구조(5804)에 대한 고관절의 중심에 대한 프록시로서 고관절 주위의 대퇴골 회전 중심을 결정하기 위해 원위 대퇴골(5806)을 스캐닝하는 동안 동작 범위에 걸쳐 이동된다(5508). 사용자(106)는 그 다음, 대퇴골(4204)에 대략 수직인 하부 다리(5112)를 배열함으로써 무릎을 90° 굴곡으로 배치한다. 무릎이 구부러진 상태에서, 시스템(10)은 이의 센서 제품군(210)을 사용하여 원위 대퇴골(5806) 및 하부 다리(5112)를 스캐닝하여, 이의 대략적인 중심 축(5114)을 식별한다. 대안적으로, 시스템(10)은 무릎의 평균 굴곡 축을 식별하기 위해 무릎이 90도 동작 범위에 걸쳐 굴곡될 때 원위 대퇴골(5806) 및 근위 경골(5808)을 스캐닝하도록 이의 센서 제품군(210)을 사용한다. 시스템(10)은 그 다음, 원위 대퇴골의 중심에 원점을 갖고, 고관절의 중심을 향해 연장되는 제1 축, 하지(5114)의 축에 평행한 제2 축과, 제1 및 제2 축에 수직인 것으로서 획정된 제3 축을 갖는, 센서 제품군(210)에 대해 대퇴골(4204)에 대한 기준 프레임(5810)을 확립한다(5510). 대안적으로, 시스템은 원위 대퇴골의 중심에 원점을 갖고, 고관절의 중심을 향해 연장되는 제1 축, 무릎의 굴곡 축에 평행한 제2 축과, 제1 및 제2 축에 수직인 것으로서 획정된 제3 축을 갖는, 센서 제품군(210)에 대해 대퇴골(4204)에 대한 기준 프레임(5810)을 확립한다. 경골에 대한 후과의 위치가 기록되고, 이 사이에 축이 구성된다. 시스템(10)은 발의 포즈를 추적할 목적을 위해 발의 등쪽 표면의 섹션의 표면 맵을 생성한다. 대안적인 실시형태에서, 발은 피부에 부착된 마커 또는 위에 놓인 드레이프, 포장, 또는 부츠를 통해 추적될 수 있다. 발은 매핑된 근위 경골 해부학적 구조에 대한 발목의 중심에 대한 프록시로서 이의 회전 중심을 결정하기 위해 동작 범위에 걸쳐 이동된다(5512). 경골의 기계적 축은 그 다음, 근위 경골과 발목 중심 사이에 구성되고 근위 경골의 중심에 원점을 갖고, 고관절의 중심을 향해 연장되는 제1 축, 하지(5114)의 축에 평행한 제2 축과, 제1 및 제2 축에 수직인 것으로서 획정된 제3 축을 갖는, 센서 제품군(210)에 대해 경골(4206)에 대한 기준 프레임(5812)을 확립한다(5514). 대안적으로, 시스템은 근위 경골의 중심에 원점, 발목의 중심을 향해 연장되는 제1 축, 무릎의 굴곡 축에 평행한 제2 축과 제1 및 제2 축에 수직인 것으로서 획정된 제3 축을 갖는, 센서 제품군(210)에 대해 경골(4206)에 대한 기준 프레임(5812)을 확립한다. 그 다음, 노출된 원위 대퇴골(5806) 및 근위 경골(5808)을 반복적으로 스캐닝하여, 시스템(10)은 각각의 스캔에 대해 변위된 표면 맵(5814 및 5816)을 생성한다(5516). 각각의 연속적인 스캔으로, 시스템은 변위된 표면 맵(5814 및 5816)을 원위 대퇴골(5806) 및 근위 경골(5808)의 대응하는 영역에 대한 원래의 표면 맵(5804 및 5802)과 각각 비교할 수 있다. 이 비교에 기초하여, 시스템(10)은 변위된 표면 맵(5814 및 5816)을 기준 표면 맵(5804 및 5802)과 정렬하기 위해 요구된 병진운동 및 회전을 결정함으로써 센서 제품군(210)에 대한 대퇴골(4204) 및 경골(4206)의 포즈를 추적할 수 있다(5518). 시스템(10)은 그 다음, 각각의 매핑된 해부학적 표면 및 절단 도구 또는 가이드를 동시에 추적함으로써 원위 대퇴골 및 근위 경골의 절제 각도 및 깊이를 산출하고 디스플레이한다(5520). 시스템(10)은 그 다음, 사용자(106)가 사용자 정의 타깃 각도 또는 깊이와 절단 도구 또는 가이드를 정렬하는 것을 돕기 위해 가상 가이드를 디스플레이할 수 있다(5522). 시스템(10)은 외부 임플란트 데이터에 기초하여 사용자(106)에게 임플란트 크기를 제안할 수 있다(5524). 임플란트 또는 시험 임플란트의 배치 후에, 시스템(10)은 굴곡 범위 전체에 걸쳐 대퇴골 및 경골을 추적하고 예를 들면, 축방향 회전 또는 내반/외반 회전을 표현하는 하나 이상의 축을 중심으로 하는 대퇴골 및 경골의 상대적 회전을 측정할 수 있다(5526).
선택적으로, 시스템(10)은 매핑된 지형을 사용하여 원위 대퇴골(5804)(예컨대, 활차에서 가장 원위 지점 또는 과두의 가장 넓은 부분을 통과하는 라인의 중심을 식별함으로써) 또는 근위 경골(5802)(예컨대, 고평부의 중심을 산출함으로써)의 각각의 중심을 자동으로 결정할 수 있다. 선택적으로, 중심 지점의 식별은 중심이 식별된 해부학적 지형도의 라이브러리와 같은 외부 데이터에 의해 보완될 수 있어서, 시스템(10)이 해부학적 구조가 부분적으로 가려진 경우에 중심 지점을 산출하는 것을 허용하여, 전체 표면의 매핑을 방지한다.
도 56은 이식된 단과상 구성요소를 갖는 무릎을 묘사한다. 대퇴골(5602) 및 경골(5604)의 각각의 하나의 구획이 절제되었다. 대퇴골 임플란트(5606) 및 경골 임플란트(5608)가 이식되었다. 하나의 예시적인 실시형태에서, 시스템(10)은 고유의 대퇴골(5602) 및 경골(5604)의 상대적인 동작을 추적하고 기록한다. 그 다음, 카메라(206)를 사용하여 임플란트(5606, 5608)의 표면을 스캐닝하고 매핑하여, 시스템(10)은 기록된 경골 대퇴골 동작에 따라 임플란트 표면의 경로를 산출할 수 있다. 시스템(10)은 또한, 남아 있는 노출된 뼈(5610)를 매핑하고 임플란트(5606, 5608)와 뼈(5610) 사이의 충돌을 검출할 수 있다. 간섭하는 신체 사이의 중첩을 표현하는 체적이 산출되어 디스플레이 디바이스(104)에서 가상 모델로서 오버레이될 수 있다. 시스템(10)은 또한, 디스플레이 디바이스(104)에서 충돌 부위를 강조할 수 있다. 예를 들면, 대퇴골 임플란트(5606)는 시상 절제면(5610)에 인접한 경골의 융기부에 충돌할 수 있거나, 이 융기는 대퇴골 임플란트(5606)에 인접한 대퇴골에 충돌할 수 있다. 적어도 하나의 접촉 표면이 뼈인 경우, 사용자(106)는 접촉 지점을 변경하기 위해 뼈를 트리밍(trimming)하도록 선택할 수 있다. 적어도 하나의 접촉 표면이 임플란트에 있는 경우, 사용자(106)는 충돌을 감소시키기 위해 임플란트의 위치를 조정하도록 선택할 수 있다.
도 57을 참조하면, 고유의 경골 대퇴골 운동학을 기록한 시스템(10)은 임플란트의 표면에 투영된, 임플란트 간 접촉 지점(5702) 및 미리 정의된 안전 구역(5704)의 궤적을 사용자(106)에게 디스플레이할 수 있다.
도 44를 참조하면, 가상 경골 임플란트(4402) 및 가상 대퇴골 임플란트(4404)는 AR 헤드셋(3600)을 통해 외과의(4208)에게 보여진 MXUI에 디스플레이될 수 있다. 외과의(4208)는 만족될 때까지 크기를 스위칭하고 이 가상 모델의 위치를 조정할 수 있다. 또 다른 실시형태에서, 가상 경골 임플란트는 경골 구성요소의 회전 정렬을 위한 가이드를 제공하기 위해 브로칭하기 위해 경골을 준비하는 동안 디스플레이될 수 있다.
도 45를 참조하면, 경골 절단 블록을 위한 핀의 위치에 대한 가상 가이드(4502)는 AR 헤드셋(3600)을 통해 외과의(4208)에게 보여진 MXUI에 디스플레이된다. 원위 대퇴골 절단 블록을 위한 핀의 위치에 대한 가상 가이드(4504)가 디스플레이된다. 4 in 1 절단 블록을 위한 핀의 위치에 대한 가상 가이드(4506)가 디스플레이된다. 실제 핀의 배치는 이를 가상 가이드(4502, 4504 또는 4506)와 정렬함으로써 안내된다. 대퇴골(4508) 및 경골(4510)은 그 다음, 이 핀에 절단 블록을 배치함으로써 절제될 수 있다.
도 46은 가상 가이드(4602)가 이상적인 절제 평면을 디스플레이하기 위해 사용되며 외과의(4208)가 실제 톱날을 가상 가이드(4602)와 정렬함으로써 뼈를 직접적으로 절제할 수 있는 도 45에 도시된 MXUI의 일 대안적인 실시형태를 묘사한다. 대안적으로, 추적된 톱(4604)의 경우에, 외과의(4208)는 가상 가이드(4602)와의 가상 톱날(4606)의 정렬에 의해 뼈를 절제할 수 있다. 각각의 절제의 내반/외반 각도, 굴곡 각도 및 깊이를 보여주는 가상 텍스트(4608)는 관련될 때 수치적으로 디스플레이될 수 있다.
도 47 및 도 49는 베이스 요소(4702), 스프링(4902), 과두 요소(4904), 및 과두 플레이트(4906)를 갖는 시스템(10)에 선택적으로 포함될 수 있는 무릎 균형 디바이스(4700)를 묘사한다. 베이스 요소(4702)는 핸들(4908), 타깃(4714) 및 경골 플레이트(4910)를 포함한다. 과두 요소(4904)는 핸들(4912) 및 원통형 베어링 구멍(4914)을 포함한다. 과두 플레이트(4906)는 원통형 베어링 샤프트(4916), 타깃(4716), 및 2개의 패들(4706 및 4707)을 포함한다. 과두 플레이트(4906)는 베이스 플레이트(4910)에 대한 과두 플레이트(4906)의 내측/외측 경사를 허용하는 원통형 베어링(4916)을 중심으로 회전한다. 일 대안적인 실시형태에서, 베어링(4916)은 과두 플레이트(4906)의 내측/외측 및 굴곡/신전 경사를 허용하는 볼 유형일 수 있다. 또 다른 실시형태에서, 과두 플레이트(4906)는 경골 임플란트의 지지 표면의 지형과 매칭하도록 윤곽이 형성될 수 있다. 또 다른 실시형태에서, 설계는 각각이 견고하게 통합된 신연 패들(distraction paddle) 및 마커를 갖는 2개의 완전히 독립적인 과두 요소를 포함할 수 있다.
도 47을 참조하면, 경골 플레이트(4910)는 절제된 경골(4704)에 안착되고, 신연 패들(4706 및 4707)은 각각 내측 대퇴골 과두(4708) 및 외측 대퇴골 과두(4712)와의 접촉을 유지한다. 신연 패들(4706 및 4707)은 스프링(4902)에 의해 밀리고 전후 축을 중심으로 회전하여 각각의 대퇴골 과두(4708, 4712)와 경골(4704) 사이에 거의 동일하고 일정한 신연력을 제공한다. 베이스 요소(4702) 및 신연 패들(4706, 4704)은 소프트웨어가 각각의 대퇴골 과두(4708, 4712)의 신연 정도를 측정하는 것을 허용하는 광학 마커(4714, 4716)를 포함한다.
무릎이 동작 범위에 걸쳐 구부러짐에 따라, 각각의 타깃의 위치는 경골 및 대퇴골의 포즈와 마찬가지로 추적된다. 이 데이터는 굴곡 각도의 함수로서 내측 및 외측 이완의 플롯을 생성하기 위해 사용된다. 이 정보는 원위 대퇴골 절단 블록 위치 핀의 이상적인 위치를 산출하여 무릎의 동작 범위에 걸쳐 균형을 성취하거나 골극을 제거하거나 이의 동작 범위에 걸쳐 무릎의 균형을 유지하기 위해 연조직 해제를 수행할 때 사용자를 안내하기 위해 사용된다. 이 플롯은 도 48에 도시된 바와 같이 MXUI에 디스플레이될 수 있고, 여기서 제1 3차원 호(4802)는 내측 이완을 표현하고 제2 3차원 호(4804)는 무릎의 동작 범위에 걸친 외측 이완을 표현한다. 실제 무릎의 현재 굴곡 각도에서의 수치는 가상 텍스트(4806)로서 디스플레이될 수 있다.
도 66a 및 도 66b는 무릎 수술에서 절제 깊이를 측정하기 위해 사용된 시스템(10)의 하나의 실시형태를 묘사한다. 원위 대퇴골(6602)은 과두(6604 및 6606), 및 기계적 축(6614)을 포함한다. 마커(6608 및 6610)는 대퇴골(6602) 및 과두 가이드(6612)에 각각 단단히 고정된다. 마커(6620)는 절단 가이드(6616)에 단단히 고정되어 있다.
절제 깊이를 측정할 때의 문제는 깊이 기준으로서 사용되는 대퇴골 과두가 이의 가장 두드러진 지점이 절제 평면의 각도에 의존하여 변하도록 불규칙적으로 형성된다는 것이다. 공통적인 해결책은 표면에 많은 지점을 등록함으로써 과두 표면을 매핑하는 것이고, 이는 시간이 많이 걸리지만 컴퓨터가 수직 경로를 따라 가장 두드러진 지점까지의 거리를 산출함으로써 특정한 각도에서 깊이를 산출하는 것을 허용한다. 도 67은 과두 표면을 매핑하지 않고 무릎 수술에서 원위 대퇴골의 해부학적 구조를 등록하고 깊이를 측정하기 위해 시스템(10)을 사용하는 방법을 도시하는 흐름도를 묘사한다. 사용자(106)는 과두(6604, 6606)에 과두 가이드(6612)를 안착시킨다(블록 6700). 시스템(10)의 안내에 따라, 사용자(106)는 과두 가이드(6612)와 과두(6604, 6606) 중 적어도 하나 사이의 접촉을 유지하면서 과두 가이드(6612)의 각도를 타깃 절제각으로 조정한다(블록 6702). 시스템(10)은 마커(6608 및 6610)를 추적하기 위해 센서 제품군(210)을 사용하여, 대퇴골(6602)에 대한 과두 가이드(6612)의 포즈를 측정하고 과두(6604 및 6606) 중 하나 이상과 접촉하는 과두 가이드(6612)의 표면과 일치하는 깊이 기준 평면(6618)을 기록한다(블록 6704). 시스템(10)은 그 다음, 기계적 축(6614)과 깊이 기준 평면(6618)의 교차점에서 깊이 기준 지점(6622)을 구성하고 기록한다(블록 6706). 선택적으로, 시스템(10)은 부가적인 깊이 기준 평면(6618) 및 깊이 기준 지점(6622)을 기록하기 위해, 사용자(106)에게 과두 가이드(6612)를 다수의 방향으로 조정하도록 지시할 수 있어서, 과두 가이드(6612)가 과두(6604 또는 6606) 중 적어도 하나와 접촉하는 것을 여전히 유지한다(블록 6708).
일부 실시형태에서, 깊이 기준 지점 캡처를 위해 사용자를 상이한 방향으로 안내하기 위한 부가적이거나 대안적인 방법이 존재한다. 하나의 실시형태에서, 도 74에 도시된 바와 같이, 예를 들면, 하나 이상의 영역(7410)을 포함하는 타깃(7400)(예컨대, 불스아이)은 과두 가이드로부터의 하나 이상의 각도를 표현하는 이동 가능한 아이콘(7412)을 보여주는 것으로 제공된다. 원형 타깃이 도시되더라도, 당업자라면 임의의 스타일 또는 형상(예컨대, 정사각형, 직사각형, 2차원, 3차원, 등)이 본 명세서에 포함된다는 것을 인식할 것이다. 이 실시형태에서, 시스템은 과두에 대해 가이드를 이동시키고 이동 가능한 아이콘(7412)을 사용하여 타깃(7400)을 가상으로 페인팅하거나 표시하거나 강조(7414)하여 유효 깊이 기준 지점을 캡처하라는 명령어를 사용자에게 출력한다. 유효 깊이 기준 지점이 기록되는 각도에서, 시스템은 타깃(페인팅된 영역(7414)으로 도시됨)에 표시기 또는 마커를 디스플레이하거나 출력하여 이것이 그 영역에서 이동 가능한 아이콘을 다시 이동할 필요가 없음을 사용자에게 알리는데, 이는 유효 깊이 기준 지점이 표시된 영역에 대해 획득되었기 때문이다. 다른 실시형태에서, 시스템은 사용자가 이전에 캡처된 유효 깊이 기준 지점을 가상으로 페인팅하는 것을 제한한다. 과두에서 가이드가 이동하는 동안, 절단 단계에서 사용하기 위해 획득된 유효 깊이 기준 지점의 전체 또는 서브세트로부터 데이터베이스가 형성된다.
또 다른 실시형태에서, 도 75에 도시된 바와 같이, 하나 이상의 영역(7510)을 포함하는 그리드(7500)는 과두 가이드로부터의 각도를 표현하는 이동 가능한 아이콘(7512)을 보여주는 것으로 제공된다. 이 실시형태에서, 시스템은 과두에 대해 가이드를 이동시키고 이동 가능한 아이콘(7512)을 사용하여 객체(7500)을 가상으로 페인팅(7514)하라는 명령어를 사용자에게 디스플레이 출력한다. 유효 깊이 기준 지점이 기록되는 각도에서, 시스템은 유효 깊이 기준 지점 데이터가 표시된 영역에 대해 획득되었기 때문에 유효 깊이 기준 지점이 다시 그 영역에서 이동 가능한 아이콘을 다시 이동시킬 필요가 없음을 사용자에게 알리기 위해 타깃(7500)에 표시기 또는 마커(페인팅된 영역(7514)에 의해 도시됨)를 출력하거나 디스플레이한다. 과두에서 가이드가 이동하는 동안, 절단 단계에서 사용하기 위해 획득된 유효 깊이 기준 지점의 전체 또는 서브세트로부터 데이터베이스가 형성된다.
더욱 또 다른 실시형태에서, 도 76에 도시된 바와 같이, 타깃(7600)은 하나 이상의 영역(7602, 7604, 7606, 7608)을 포함하는 것으로 디스플레이된다. 예를 들면, 하나 이상의 영역은 타깃(7600)의 주변(7610) 근처에, 이와 인접하게, 또는 이에 근접하여 배치될 수 있다. 이 외부 영역 중 하나 예를 들면, 영역(7606)은 강조되는 반면(예컨대, 컬러 변경, 활성화됨, 켜짐, 번쩍임 또는 깜박임, 청취 가능한 비프음, 떨림, 등) 다른 영역 예를 들면, 영역(7608)은 비활성화된다(예컨대, 회색으로서 표시됨). 과두 가이드로부터의 각도를 표현하는 이동 가능한 아이콘(7612)이 존재한다. 이 실시형태에서, 시스템은 이동 가능한 아이콘이 강조된 영역(7606)과 적어도 부분적으로 중첩되거나 이의 상단에 적어도 부분적으로 놓일 때까지 과두에 대해 가이드를 이동시키라는 명령어를 사용자에게 출력하거나 디스플레이한다. 이것이 성취될 때, 현재 강조된 영역(7606)이 비활성화되고 다음, 후속, 또는 인접 영역 예를 들면, 영역(7604)이 강조된다. 이것은 모든 영역(7604, 7606, 7608)에 대해 반복되고, 그 다음 시스템은 이동 가능한 아이콘을 타깃(7600)의 중앙에 있는 영역(7602)으로 이동시키라는 명령어를 사용자에게 출력하거나 디스플레이한다. 이 활동 동안, 깊이 기준 지점은 배경에서 획득된다. 과두에서 가이드가 이동하는 동안, 절단 단계에서 사용하기 위해 획득된 모든 지점으로부터 데이터베이스가 형성된다.
더욱 또 다른 실시형태에서, 시스템은 사용자에게 움직이는 타깃을 디스플레이하거나 제공하고 이동 가능한 아이콘이 시스템에 의해 강조된 객체와 적어도 부분적으로 중첩되거나 이의 상단에 놓일 때까지 과두에 대해 가이드를 이동시키라는 명령어를 사용자에게 출력하거나 디스플레이한다. 이동하는 타깃의 속도 및 패턴은 디바이스의 정확도에 우선하는 영역에서 데이터를 획득할 목적으로 소프트웨어에 의해 변경될 수 있다. 과두에 대한 가이드의 이동 동안, 절단 단계에서 사용하기 위해 획득된 모든 지점으로부터 데이터베이스가 형성된다.
사용자(106)는 그 다음, 대퇴골로부터 과두 가이드(6612)를 제거하고 절단 가이드(6616)를 부착하며, 이는 사용자(106)가 대퇴골(6602)에서 이의 각도 및 깊이를 조정하는 것을 허용하도록 구성된다(블록 6710). 절단 가이드(6616)가 조정됨에 따라, 시스템(10)은 각각 추적 마커(6620 및 6608)에 의해 대퇴골(6602)에 대한 절단 가이드(6616)의 위치를 측정한다. 순간 절제 깊이는 절단 가이드(6616)에 의해 획정된 현재 절제 평면으로부터 절단 가이드(6616)의 각도에 가장 거의 평행한 깊이 기준 평면(6618)에 대응하는 깊이 기준 지점(6622)까지의 수직 거리로서 산출된다(블록 6712). 또 다른 실시형태에서, 깊이 기준 평면(6618)에 대응하는 깊이 기준 지점(6622)은 절단 가이드의 현재 방향이 과두 탐색 동안 기록된 것이 아닌 경우 상이한 방향에서 획득된 다른 깊이 기준 지점 및/또는 기준 평면의 보간 또는 외삽을 통해 결정될 수 있다. 사용자(106)는 시스템(10)으로부터의 피드백에 따라, 절단 가이드(6616)를 원하는 절제 각도 및 깊이로 조정한다(블록 6714). 과두의 불규칙한 형상 및 과두 표면에서 가장 두드러진 지점의 식별 시에 불확실성으로 인해, 깊이 기준 평면으로부터의 각도가 증가함에 따라 깊이 측정 정확도가 감소한다. 오정렬로 인한 깊이 오류를 최소화하기 위해, 시스템(10)은 절단 가이드(6616)가 가장 거의 평행한 깊이 기준 평면(6618)으로부터 먼 명시된 각도 제한(예컨대, 1도)보다 큰 경우 깊이 측정을 디스플레이하지 않는다. 일단 절단 가이드(6616)가 원하는 각도 및 깊이에 있는 경우, 사용자(106)는 슬롯을 통해 또는 절단 가이드(6616)의 면에 대해 톱질함으로써 대퇴골을 절제한다(블록 6716). 각도 제한은 원하는 해상도에 기초하여 선택될 수 있다. 예를 들면, 1도 각도 제한은 약 또는 실질적으로 1㎜의 오류를 야기할 수 있다.
일부 실시형태에서, 시스템은 사용자가 수동으로 많은 지점을 선택하도록 강요하지 않고 배경의 다수의 지점에 기준 깊이 지점(즉, 3차원 지점)을 저장할 필요가 있다. 이 기술적 문제를 해결하기 위해, 하나 이상의 기준 깊이가 데이터베이스에 저장, 배열, 및 관련된다. 기준 깊이 지점은 기술적 문제를 해결하기 위해 데이터베이스에 필요한 최소량의 정보이다. 데이터베이스의 하나의 예시적이고, 비제한적인 실시형태는 기준 깊이 지점의 측정된 값 예를 들면, 이에 오버레이된, VV 각도, FE 각도 또는 2.4, 1.7을 각각 표현하는 표시기를 갖는 그리드(예컨대, 양 축에서 약 0.5의 간격으로 약 -3 내지 약 +3)로서 행렬을 포함한다. 데이터베이스는 데이터베이스에서 측정된 값에 가장 가까운 인덱스 또는 알려진 값이 2.5, 1.5라고 결정하거나 보여주며 그 거리를 그 기준 깊이 지점에 대한 성능 지수(FOM)로서 표현하도록 구성될 것이다(sqrt((2.5-2.4)^2+(1.5-1.7)^2 또는 RSS(root-sum-square) 거리로서 산출됨). 즉, RSS 거리는 그 기준 깊이 지점에 대한 FOM이다. 기준 깊이 지점 및 연관된 FOM이 데이터베이스에 저장될 때, 플래그 또는 다른 표시기는 이 예에서 2.5, 1.5인 알려진 값 또는 가장 가까운 인덱스로 데이터베이스 인덱스를 표시한다. 새롭고, 더 낮은 FOM이 새롭게 측정된 기준 깊이 지점에 대해 산출되면, 새로운 더 낮은 FOM 및 새롭게 측정된 깊이 지점은 데이터베이스에서 이전 엔트리를 덮어쓸 것이다. 새롭게 측정된 기준 깊이 지점에 대해 새로운, 동일하거나 더 높은 FOM이 산출되면, 새로운 동일하거나 더 높은 FOM이 데이터베이스에 기록되지 않는다.
하나의 예시적인 실시형태가 도 77에 도시된다. 본 명세서에서 설명된 시스템 중 임의의 것에 의해 수행된 도 77의 방법은, 블록 S7700에서 NxM 엔트리를 포함하는 데이터베이스를 생성하는 단계를 포함한다. 과두 가이드가 사용되기 전에, 시스템은 빈 데이터베이스 또는 2차원 행렬을 생성한다. 데이터베이스는 NxM 엔트리를 포함하고, 여기서 N은 획득될 내반/외반(VV) 각도의 수이고 M은 획득될 굴곡/신전(FE) 각도의 수이다. N 및 M을 결정하는 하나의 방법은 최대 원하는 타깃 각도로부터 최소 원하는 타깃 각도를 감산하고 어레이의 최대 지점을 유지하면서, 정확도를 위해 필요한 분해능으로 나누는 것이다. 내반/외반에 대한 일례는 약 0.5도의 분해능으로 최소 약 -3도, 최대 약 +3도일 것이다. 또한, 예를 들면, VV는 최소 약 -3.5도, 최대 약 +2도이고 분해능은 약 0.25도이어서, 최대 및 최소 종점을 포함하는 24의 N 값을 야기한다. 이것은 최대 및 최소 종점을 포함하는 14의 N 값을 제공할 것이다.
방법은 블록 S7710에서: 타깃 VV 각도, 타깃 FE 각도, 측정된 VV 각도에 대한 임의의 값(예컨대, 특정 단위 없이 임의의 값일 수 있음), 임의의 값(예컨대, 특정 단위 없이 임의의 값일 수 있음) 측정된 FE 각도, 인위적으로 큰 성능 지수(FOM), (0,0,0)의 기준 지점 깊이 벡터, 및 기준 깊이가 이미 거짓으로 설정되어 입력되었음을 나타내는 기준 깊이 유효 플래그(즉, 거짓은 2D 어레이 또는 행렬의 이 지점에서 어떠한 데이터도 저장되지 않았음을 의미함)로 데이터베이스를 초기화하는 단계를 더 포함한다. 블록 S7710은 본 명세서의 어딘가에서 설명된 방법 중 임의의 것을 사용하여 타깃 과두 각도로의 사용자에 의한 과두 가이드의 조정에 기초할 수 있다. 도 74 및 도 75에 도시된 바와 같이, 가상으로 페인팅된 영역(7414, 7514)은 시스템에 저장되는 유효한 플래그를 간접적으로 보여준다.
블록 S7720을 참조하면, 방법은 타깃 과두 각도로 배치된 가이드의 현재 VV 각도 또는 현재 FE 각도 중 하나 또는 둘 다를 출력하는 단계를 포함한다.
일부 실시형태에서, 방법은 블록(S7730)에서, 데이터베이스에서 타깃 VV 각도 및/또는 타깃 FE 각도에 가장 가까운 위치를 결정하는 단계를 포함한다. 예를 들면, 시스템은 블록 S7700에서 산출된 타깃 각도에 대한 현재 VV 및 FE 각도의 RSS(root-sum-square) 거리를 표현하는 성능 지수(FOM)를 계산할 수 있다. 일부 실시형태에서, 이 계산은 이진 검색 또는 선형 방법을 통해 수행될 수 있다. FOM은 SQRT((VV_current-VV_i)^2+(FE_current-FE_j)^2)와 같고, 여기서 i 및 j는 데이터베이스에서 모든 지점에 대한 FOM을 계산하도록 변경된다. 가장 작은 FOM은 기준 깊이 지점이 저장되어야 하는 데이터베이스 또는 2D 어레이 또는 행렬에서 가장 가까운 지점을 표현한다. 데이터베이스의 i 및 j 인덱스는 후속 단계를 위해 저장된다.
방법은 블록 S7740에서, 기준 깊이가 데이터베이스에 이전에 기록되지 않았을 때: FOM, 현재 VV 각도, 현재 FE 각도, 및 이 인덱스에서 데이터베이스에 저장할 깊이 기준 지점을 계산하고 기준 깊이 유효 플래그를 참으로 설정하는 단계를 더 포함한다. 이 플래그는 2D 어레이 또는 행렬의 이 지점에 대한 데이터가 성공적으로 저장되었음을 나타낸다.
대안적으로, 블록 S7750에서, 기준 깊이가 데이터베이스에 이전에 기록되었을 때, 현재 VV 각도에 대한 FOM 또는 현재 FE 각도에 대한 FOM 중 하나 또는 둘 다를 데이터베이스의 FOM과 비교하고, 현재 FOM이 이전에 기록된 기준 깊이보다 작을 때, 데이터베이스에 기준 깊이를 덮어쓴다. 현재 FOM이 저장된 것보다 크면, 기준 깊이를 덮어쓰지 않는다.
절단 가이드가 부착되었고 깊이 산출을 위해 기준 깊이 지점이 요구될 때, 도 78에 도시된 바와 같은 방법은 기준 깊이 지점을 검색하기 위해 사용된다. 도 78에 도시된 바와 같이, 방법은 블록 S7800에서, 원하는 깊이 또는 원하는 각도 중 하나 또는 둘 다에 배치된 절단 가이드의 현재 VV 각도 또는 현재 FE 각도 중 하나 또는 둘 다를 결정하는 단계를 포함한다. 예를 들면, 이것은 대퇴골에 대한 절단 가이드의 사용자 조정에 기초할 수 있다.
도 78의 방법은 블록 S7810에서, 도 77에서 상기 설명된 바와 같이, 데이터베이스의 타깃 VV 각도 또는 타깃 FE 각도 중 하나 또는 둘 다에 가장 가까운 위치를 결정하는 단계를 더 포함한다. 블록 S7810은 데이터베이스의 타깃 각도에 대한 현재 VV 및 FE 각도의 RSS(root-sum-square) 거리를 표현하는 FOM을 산출하는 것을 포함할 수 있다. 일부 실시형태에서, 이것은 이진 검색 또는 선형 방법을 통해 수행될 수 있다. FOM은 SQRT((VV_current-VV_i)^2+(FE_current-FE_j)^2)와 동일하며, 여기서 i 및 j는 데이터베이스의 모든 지점에 대한 FOM을 계산하도록 변경된다. 가장 작은 FOM은 기준 깊이 지점이 저장되어야 하는 데이터베이스 어레이에서 가장 가까운 지점을 표현한다. 데이터베이스의 i 및 j 인덱스는 후속 단계를 위해 저장된다.
일부 실시형태에서, 방법은 블록 S7820에서, 유효한 기준 깊이 지점이 데이터베이스에 기록되지 않거나 유효한 기준 깊이 지점이 보간될 수 없을 때(예컨대, 데이터베이스의 위치 근처의 로컬 기준 지점을 사용하여), 어떠한 기준 지점도 이용 가능하지 않는다는 표시기를 출력하는 단계를 더 포함한다.
대안적으로, 블록 S7830에 도시된 바와 같이, 유효한 기준 깊이 지점이 데이터베이스에 기록되었거나 보간되었을 때, 유효한 기준 지점이 이용 가능하다는 표시기를 출력한다. 블록 S7820 및 S7830의 표시기는 시각적 표시기(예컨대, 머리 착용 디스플레이의 디스플레이에 디스플레이됨, 깜박이는 신호, 점등 표시기, 텍스트 표시기, 팝업, 등), 청취 가능한 표시기(예컨대, 비프음, 특정 톤, 특정 사운드, 등), 또는 햅틱 표시기(예컨대, 머리 착용 디스플레이, 지원 모듈, 헬멧, 등에서의 햅틱 또는 피드백)일 수 있다.
도 79a 및 도 79b는 과두 가이드(6612)의 하나의 실시형태를 묘사한다. 과두 가이드(6612)는 제1 단부(7918) 및 제2 단부(7916)를 갖는 본체(7914)를 포함한다. 세장형 핸들(7902)은 본체(7914)의 제1 단부(7918)로부터 연장된다. 사용자(106)는 핸들(7902)을 보유하여 과두 가이드(6612)의 위치를 제어한다. 핸들(7902)은 사용자(106)가 미세한 각도 조정을 하고 예를 들면, 고정 절단 가이드(6616)로부터 대퇴골(6602)까지 과두 가이드(6612)에 가해지는 외력에 저항하는 것을 허용하도록 적합하게 길게 만들어진다. 과두 가이드(6612)는 제1 단부(7918)의 적어도 일부의 측면 영역(7920)으로부터 연장되는 적어도 하나의 평면 표면(7904)(그러나 일부 실시형태에서 하나보다 많음)을 더 포함한다. 평면 표면(7904)은 하나 이상의 대퇴골 과두(6604, 6606)에 놓이고 절제 깊이를 산출하기 위해 깊이가 제로인 평면을 구성하도록 구성된다. 일부 실시형태에서, 평면 표면은 대퇴골 과두에 접하는 평면을 시뮬레이팅하도록 구성된다. 과두 가이드(7914)는 과두 가이드(6614)의 포즈를 추적하기 위해 평면 표면(7904)에 배치된 적어도 하나의 추적기를 포함한다. 추적기 표시(7906)는 시스템(10)이 과두 가이드(6612)의 포즈를 추적하는 것을 허용하도록 과두 가이드(6612)에 직접적으로 만들어진다. 또 다른 실시형태에서, 추적기 표시(7906)는 과두 가이드(6612)에 견고하게 부착된 별개의 구성요소에 만들어진다. 평면 표면 또는 별개의 구성요소에 배치된 추적기는 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 사용된다.
과두 가이드(6612)는 도 80에 도시된 바와 같이, 본체(7914)의 제2 단부(7916)로부터 연장되는 연결기(7908)를 더 포함하고 절단 가이드(6616)에 결합하도록 구성된다. 일부 실시형태에서, 연결기는 제거 가능하다.
일부 실시형태에서, 본체(7914)는 또한, 뼈 예를 들면, 대퇴골에 삽입하기 위해 개구(7912)를 통해 핀(7922)을 수용하도록 구성되는 개구를 획정한다. 개구(7912)가 구성되거나 개구(7912)의 직경(D2, D3)은 도 79b에 도시된 바와 같이, 개구가 핀(7922)이 개구(7912)을 통해 삽입될 때 과두 가이드(6612)가 기울어지는 것을 허용하도록 크기가 조정된다. 개구(7912)는 핀(7922)이 제자리에 있는 상태에서 과두 가이드(6612)가 기울어지는 것을 허용하도록 크기가 초과된다. 오버사이즈의 양은 핀 축을 중심으로 가이드(6612)의 각도 기울기를 어느 정도 허용하도록 변경될 수 있다. 예를 들면, 제1 위치에서 개구(7912)의 직경(D1)은 핀(7922)의 직경과 실질적으로 같을 수 있다. 제2 및 제3 위치에서 개구(7912)의 직경(D2, D3)은 각각, 약 +/-15도; 약 +/-10도; 약 +/-5도; 약 +/-2도; 등만큼 핀 축(7924)을 중심으로 가이드(6612)의 각도 경사를 허용하는 핀(7922)의 직경보다 클 수 있다.
일부 실시형태에서, 과두 가이드(6612)는 연결기(7908)의 반대 방향으로 본체(7914)의 제2 단부(7916)로부터 연장되는 해제 기구(7910)를 포함한다. 해제 기구(7910)는 절단 가이드(6616)를 뼈에 고정하기 전에 과두 가이드(6612)를 뼈에 결합하고 절단 가이드(6612)가 대퇴골(6602)에 고정된 후에 과두 가이드(6612)를 제거하도록 구성된다.
일부 실시형태에서, 과두 가이드(6612)의 본체(7914)의 제2 단부(7916)의 적어도 일부는 연결기(7908) 및 해제 기구(7910)가 슬라이더(7922)의 반대 측면에 삽입되는 슬라이더(7922)를 수용하도록 구성된 슬롯(7926)을 획정한다. 슬라이더(7922)는 사용자가 가이드(6612)를 정확한 각도로 이동시킨 후에, 절단 블록이 고정하기 이전에 대퇴골과 접촉하도록 이를 향해 후방으로(뒤로) 미끄러지는 것을 허용한다. 대퇴골과의 접촉은 고정하는 동안 절단 가이드(6616)를 지지하고 원하는 각도로부터 멀어지는 이의 경향을 최소화한다.
일부 실시형태에서, 절단 가이드(6616)를 고정하는 것은 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 절단 가이드(6616)에 결합된 과두 가이드(6612)를 사용한 후에 단지 발생한다.
도 68a 및 도 68b는 뼈에 장착된 후에 조정 가능하도록 구성된 절단 가이드(6616)의 하나의 실시형태를 묘사한다. 고정 베이스(6806)는 뼈에 견고하게 부착된다. 이동 가능한 절단 헤드(6802)는 절단 슬롯(6804)을 포함한다. 2개의 외반 조정 나사(6808)는 정면 평면에서 절단 헤드(6802)의 각도를 조정하기 위해 회전될 수 있고, 굴곡 조정 나사(6810)는 수직 평면으로 절단 헤드(6802)의 각도를 조정하기 위해 회전될 수 있다. 외반 조정 나사(6808)는 치합형 나사산에 의해 좌측 및 우측 조정 포스트(6814 및 6816)를 각각 작동시킨다. 이 조정 포스트(6814 또는 6816) 중 하나의 축방향 동작은, 결과적으로 외반 핀(6818) 중 하나를 중심으로 외반 블록(6812) 및 절단 헤드(6802)를 회전시킨다. 하나의 실시형태에서, 외반 핀(6818)은 대퇴골 과두(6604 및 6606)와 대략 동일한 거리로 이격되어, 절단 헤드(6802)가 하나의 과두와 정렬된 축을 중심으로 회전하는 것을 허용하고 따라서, 사용자(106)가 절단 헤드(6802)의 각도를 조정함에 따라 절단 슬롯(6804)으로부터 그 과두까지의 거리가 일정하게 유지된다. 이것은 기존 절단 가이드의 공통적인 문제를 해결하고, 여기서 정면 평면의 가이드의 각도를 조정하는 것은 또한, 하나 또는 두 과두로부터 측정된 절제 깊이를 변경한다. 또한 도 68b를 참조하면, 절단 헤드(6802)는 굴곡 조정 나사(6810)가 회전될 때 굴곡 핀(6820)을 중심으로 외반 블록(6812)에 대해 시상 평면에서 회전하도록 구성되어, 그 안에 통합된 치합형 나사산(6822)을 통해 절단 헤드(6802)를 작동시킨다.
도 80은 과두 가이드(6612)에 견고하게 장착된 절단 가이드(6616)의 뷰를 묘사한다. 근위 표면(7904)은 대퇴골(6602)과 접촉하는 것으로 도시된다. 절단 가이드(6616) 및 과두 가이드(6612)는 근위 표면(7904)과 절단 슬롯(6804) 사이의 거리(8002)가 의도된 대퇴골 임플란트에 대응하는 절제 깊이 예를 들면, 약 9㎜와 매칭하도록 구성된다. 9㎜가 전형적이더라도, 약 7㎜ 내지 약 12㎜의 절제 깊이가 사용될 수 있다. 깊이가 기계적으로 고정되면, 사용자(106)는 대퇴골(6602)에 근위 표면(7904)을 안착시키면서 조립된 절단 가이드(6616) 및 과두 가이드(6612)의 각도를 단지 조정할 필요가 있다. 타깃 각도가 성취될 때, 하나 이상의 핀(8004)은 절단 가이드(6616)를 통해 사용자(106)가 핸들(7902)을 잡고 있는 동안 대퇴골(6602) 내로 삽입되어 고정 동안 과두 가이드(6612)의 각도가 변경되는 것을 방지한다. 과두 가이드(6612)는 그 다음, 제거된다. 대퇴골(6602)에 대한 절단 가이드(6616)의 각도 및 깊이는 절단 가이드(6616)에 여전히 견고하게 장착되는 추적 마커(6620)에 의해 시스템(10)에 의해 여전히 측정 및 보고될 수 있다. 절단 가이드(6616)의 위치가 여전히 허용 가능하다면, 사용자(106)는 그 다음 마커 및 (6620)을 제거하고 슬롯(6804)을 통해 대퇴골(6602)을 절제한다. 고정하는 동안 절단 가이드(6616)가 움직인 경우, 절제 이전에 이의 각도 및/또는 깊이가 조정될 수 있다.
Ⅷ. 다른 의료 시술
도 10을 참조하면, 본 발명은 또한, 다른 수술 절차를 수행하기 위해 시스템(10)을 사용하는 방법을 제공한다(특정 예는 하기에 제공됨). 방법은 시각적 마커 및 IMU의 추적 및 인식을 포함하지만 이로 제한되지 않는 데이터 수집(1000)을 포함한다. 이 데이터는 작업 보기에서 다수의 항목의 상대 및/또는 절대 방향 및 위치를 결정하기(1002) 위해 사용된다. 외부 데이터는 알고리즘으로 이동된다(1004). 알고리즘은 특정 사용 사례에 대한 데이터를 처리하고(1006) 요구된 출력을 결정하기(1008) 위해 사용된다. 이 데이터는 의료 전문가를 보조하기 위해 증강 현실 AR 또는 가상 현실 VR 출력 디스플레이에서 사용된다(1010).
예를 들면, 이 방법은 고관절 전치환술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000) 및 고관절 및 수술용 도구의 위치 및 방향의 결정을 위해 사용된다(1002). 알고리즘(1006)은 구성요소 위치 결정, 대퇴골두 절단, 비구 위치 결정, 나사 배치, 다리 길이 결정, 및 개정 설정을 위해 비구에서 양호한 뼈의 위치 찾기를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 또한, 전체 무릎 인공관절 성형술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000) 및 무릎, 경골, 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 사용된다. 알고리즘(1006)은 경골 절단의 위치, 각도, 및 기울기; 가이드의 배치 및 미세 조정; 골수 내 가이드의 회피; 및/또는 대퇴골 절단의 개선을 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 원위 요골 골절의 부정교합에 대한 교정 절골술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 부정교합 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 데이터와 조합될 수 있다. 알고리즘(1006)은 절골술의 위치, 절단 각도 및 결과 평가를 포함하지만 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 상완골, 원위 상완골, 요골, 및 복잡해지고 각도 및 회전 교정을 포함할 수 있는 골절을 갖는 척골을 포함하는 팔 뼈의 부정교합에 대한 교정 절골술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 부정교합 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 데이터와 조합될 수 있다. 알고리즘(1006)은 절골 부위의 위치, 절단 각도, 교정 정도, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 초기 골관절염 및 부정렬을 교정하기 위해 원위 대퇴골 및 근위 경골 절골술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 절골 위치와 스케일 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 데이터 또는 장다리 X선 이미지와 조합될 수 있다. 알고리즘(1006)은 절골 부위의 위치, 절단 각도, 교정 정도, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 비구 이형성증에 대한 비구 주위 절골술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 절골 위치 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 데이터와 조합될 수 있다. 알고리즘(1006)은 절골 부위의 위치, 굴곡화, 교정 정도, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 이전 실시형태와 유사한 소아 정형외과 절골술을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 절골 위치와 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 데이터와 조합될 수 있다. 알고리즘(1006)은 절골 부위의 위치, 절단 각도, 교정 정도, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 요골 측부 인대 재건(RCL) 및 UCL 재건(토미존)을 포함하지만, 이로 제한되지 않는 팔꿈치 인대 재건을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 인대 재건 및 수술용 도구를 위한 등척성 지점의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 터널 배치의 정확한 로컬화 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 MCL, LCL, ACL, PCL 및 후외측 코너 재건을 포함하지만, 이로 제한되지 않는 무릎 인대 재건을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 인대 재건 및 수술용 도구를 위한 등척성 지점의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 터널 배치의 정확한 로컬화, 터널 깊이, 터널 각도, 이식편 배치, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 불안정성을 정정하기 위한 재건을 포함하지만, 이로 제한되지 않는 발목 인대 재건을 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 인대 재건 및 수술용 도구를 위한 등척성 지점의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 터널 배치의 정확한 로컬화, 터널 깊이, 터널 각도, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 쇄골에 터널을 배치하는 것을 포함하지만, 이로 제한되지 않는 어깨 견봉 쇄골(AC) 관절 재건 수술 절차를 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 인대 재건 및 수술용 도구를 위한 등척성 지점의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 터널 배치의 정확한 로컬화, 터널 깊이, 터널 각도, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 개정 TSA/RSA를 포함하는 해부학적 및 역전 견관절 치환술(TSA 및 RSA) 수술 절차를 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 상완골두, 관련 랜드마크, 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 상완골두 절단 및 관절와 뼈 배치의 정확한 로컬화, 베이스 플레이트 및 나사, 및 관절와 교정을 위한 리밍 각도와 가이드 배치, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 전체 발목 인공관절 수술 절차를 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 경골, 비골, 거골, 주상골 및 다른 관련된 랜드마크 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 경골 머리 절단의 정확한 로컬화, 해부학적 축 결정, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 골반 골절, 경골 고평부, 비구 및 골반에 대한 경피적 나사 배치를 위해 사용될 수 있지만 이 영역으로 제한되지 않는다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 해부학적 및 다른 관련된 랜드마크와 나사를 포함하는 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 나사를 수용하는 뼈의 정확한 로컬화, 회피될 주변 해부학적 구조 및 연조직 특징, 나사의 로컬화, 삽입 각도(예컨대, 주사의), 삽입 깊이(예컨대, 주사의), 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 발목, 무릎, 고관절, 어깨, 및 척추를 포함하지만, 이로 제한되지 않는 영역에 대한 사무실 내 주사를 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 관련된 랜드마크 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 효과를 최대화하고 내부 장기 및 해부학적 구조와의 상호 작용을 최소화하기 위해 주사 위치의 정확한 로컬화, 굴곡화, 및 깊이를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 요추 및 흉추를 포함하는 척추 유합술 시술을 위한 척추경 나사 배치를 위해 사용될 수 있지만 이 영역으로 제한되지는 않는다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 해부학적 및 다른 관련된 랜드마크와 나사를 포함하는 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 알고리즘(1006)은 나사를 수용하는 뼈의 정확한 로컬화, 피질의 개방, 두개골 꼬리 굴곡화 또는 이와 유사한 것, 중외측 경사, 나사 삽입 궤적, 삽입 깊이, 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 적외선, 자외선, 발목, 무릎, 고관절, 어깨, 및 척추를 포함하지만 이로 제한되지 않는 대체 스펙트럼 이미지의 시각화를 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 대체 스펙트럼 감도 및/또는 신경, 종양, 연조직 및 동맥을 포함하는 대체 스펙트럼에서 더 용이하게 보이는 해부학적 특징의 위치, 장소 및 유형과 관련된 랜드마크 및 수술용 도구의 위치 및 방향의 결정(1002)을 위한 환자의 특징의 강조를 위한 주입 염료를 갖는 이중 컬러 카메라(들)를 포함할 수 있지만, 이로 제한되지 않는다. 알고리즘(1006)은 신경, 종양, 관심 있는 연조직, 동맥 및 이 기술로 향상될 수 있는 관심 있는 다른 특징의 정확한 로컬화를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 종양 진단, 병기결정, 및 치료적 수술 절차를 위해 사용될 수 있다. 해부학적 랜드마크 및 도구에 대한 마커(예컨대, 100, 108, 110 등)는 데이터 수집(1000)을 위해 사용되며, 이는 종양 위치 및 수술용 도구의 위치 및 방향의 결정(1002)을 위해 수술 전 CT 스캔 또는 MRI 데이터와 조합될 수 있다. 대안적으로, 진단 수술 동안, 해부학적 랜드마크에 대한 종양의 로컬화가 수행될 수 있다. 알고리즘(1006)은 종양 부위의 위치 및 크기 범위, 제거 안내 및 결과 평가를 포함하지만, 이로 제한되지 않는 해결책을 결정하기 위해 사용된다.
이 방법은 뼈 랜드마크, 신경, 종양, 및 다른 유기 및 무기 객체를 포함하지만, 이로 제한되지 않는 관련 분야의 관심 객체에 가시적이거나 비가시적이지만 카메라 가시광선 지점을 투영하기 위해 사용될 수 있다. 마커(예컨대, 100, 108, 110 등)는 해부학적 데이터에 대한 외부 데이터 세트를 보강하거나 대체하기 위해 사용되며 이전에 설명된 바와 같이 물리적 포인터 또는 도구 대신에 사용될 수 있다. 조명 지점은 사용자의 머리 디스플레이 또는 다른 위치로부터 디스플레이될 수 있다. 조명 지점은 또한, 패턴이나 다른 조명 어레이로서 나타날 수 있다. 이 조명(들)은 관련된 랜드마크 및 수술용 도구의 위치 및 방향의 결정(1002) 뿐만 아니라, 형광투시, CT 스캔 및 MRI 데이터를 포함하지만, 이로 제한되지 않는 데이터 세트의 증강을 위해 환자의 특징을 강조한다. 알고리즘(1006)은 이전에 설명되었지만 대안적이거나 부가된 선택 옵션을 갖는 해결책을 결정하기 위해 사용된다.
이 방법은 임플란트의 최소 침습적 위치 결정 및 잠금 나사를 경피적으로 삽입하기 위해 사용될 수 있다. 마커(예컨대, 100, 108 또는 110 등)는 골수강내 못의 근위 말단에 장착된다. 또 다른 마커(예컨대, 100, 108 또는 110 등)는 십자 나사 삽입 도구에 장착된다. 잠금 십자 나사에 대한 타깃 궤적을 포함하는 못의 가상 모델이 디스플레이된다. 외과의는 가상 십자 나사를 타깃 궤적과 정렬함으로써 십자 나사를 삽입할 수 있다. 또 다른 실시형태에서, 동일한 방법이 외부 고정 플레이트에 적용될 수 있다. 이 경우에, 하나가 각각의 구멍을 위한 것인, 복수의 잠금 나사 궤적을 갖는 가상 잠금 플레이트가 디스플레이될 것이다.
이 방법은 초음파 이미징 데이터의 시각화를 위해 사용될 수 있다. 하나의 적용에서, 시스템은 마취제 주입과 같은 의료 시술 동안 바늘을 안내하는데 도움이 될 수 있다. 초음파 이미징은 바늘 시각화에 도움이 될 수 있지만, 바늘이 조직 내의 초음파 시야에 진입할 때까지는 그렇지 않으며, 이때까지 바늘의 궤적은 이미 확립되고 환자에게 통증을 유발하지 않고 조정될 수 없다. 본 발명의 시스템은 삽입 전후 모두에 바늘을 추적하도록 사용자를 보조할 수 있다. 도 10 및 도 31을 참조하면, 기점(3106)은 초음파 트랜스듀서(3104)에 장착된다. 사용자(106)가 초음파 트랜스듀서를 사용하여 환자의 내부 해부학적 구조의 2D 이미지를 수집함에 따라, 시스템(10)은 초음파 트랜스듀서(3104)의 위치 및 방향을 동시에 추적하고 2D 초음파 이미지(1004)를 수신한다. 시스템(10)은 선택적으로 및/또는 부가적으로, 환자(1900)를 추적할 수 있다. 시스템(10)은 그 다음, 환자의 2D 이미지를 환자에 대한 초음파 트랜스듀서(3104)의 위치 및 방향과 조합하고; 획득된 초음파 트랜스듀서와 환자 위치 및 방향 데이터를 사용하여 공통 기준 프레임에서 2D 이미지를 재구성하며; 재구성된 이미지 또는 3D 이미지를 AR 헤드셋(3600)에서 사용자(106)에게 디스플레이한다. 시스템(10)은 또한, 이미지 분석 알고리즘(1006)을 사용하여 이미징 데이터에서 식별된 해부학적 구조로부터 생성된 표면 또는 고체 모델(1008)을 생성 및 디스플레이할 수 있다. 시스템(10)은 바늘과 같은 하나 이상의 물리적 도구의 추적된 위치에 기초하여 3D 이미징 데이터에 중첩된 가상 도구를 선택적으로 디스플레이할 수 있다. 3차원 재구성의 정확도가 다양한 조직의 음속으로 인한 배율 불일치와 같은 오류의 영향을 받기 때문에, 가상 도구의 상대적인 위치가 불완전할 수 있다. 그러나, 일단 바늘이 초음파 시야에 진입하면, 이의 위치 정확도는 이미지에서 바늘을 직접적으로 시각화함으로써 개선된다. 이 단계에서, 바늘의 3D 재구성은 표준 2D 이미지에서 랜덤의 단면과 구별하기 어려운 바늘 끝의 위치를 결정하는데 가치가 있다. 바늘 끝의 축만이 아니라, 이의 위치를 아는 것은 사용자가 인접한 조직에 손상을 주지 않고 원하는 깊이까지 바늘을 삽입하는데 도움을 준다. 시스템(10)은 프로브의 위치 및 방향(예컨대, 바늘, 주사, 핀, 나사 등)을 계속 추적하고 축(예컨대, 프로브의 축방향 길이를 따름) 및/또는 환자의 내부 해부학적 구조의 3D 이미지에 대한 프로브의 끝의 위치를 디스플레이한다. 축은, 예를 들면, 프로브의 가상 축 또는 프로브의 그래픽 표현일 수 있다. 프로브의 끝은 그 다음, 환자의 내부 해부학적 구조에 대한 위치에 기초하여 원하는 위치로 전진된다. 선택적으로, 도 31에 도시된 바와 같이, 환자의 외부 표면은 스테레오 카메라를 사용하여 매핑되고 환자 및/또는 초음파 트랜스듀서(3104)의 내부 해부학적 구조의 3D 이미지와 결부하여 디스플레이된다.
IX. 추적 가능한 기구 및 장비의 데이터베이스
본 발명은 AR 헤드셋(3600)이 수술 분야 또는 수술실 영역에 존재하는 기구를 식별하는 것을 허용하기 위해 기구 및 장비의 전자 데이터베이스의 구성을 선택적으로 포함한다. 도 29를 참조하면, 직렬화된 추적 라벨(2900)은 이러한 데이터베이스의 구성을 용이하게 하기 위해 시스템에 선택적으로 포함된다. 일련화된 추적 라벨(2900)은 기계 판독 가능한 일련 번호 코드(2902), 사람이 판독 가능한 일련 번호(2904), 및 복수의 기점(2906)과 같은 6 자유도 광학 포즈 추적을 용이하게 하는 광학 피처의 세트를 포함한다. 하나의 실시형태에서, 기계 판독 가능한 번호 코드(2902) 패턴은 AR 헤드셋(3600)의 카메라(들)(3904)에 의해 이미징되고 기계 비전 알고리즘을 사용하여 의료 기구의 포즈 및 위치를 결정하기 위해 단독으로 사용될 수 있다. 또 다른 실시형태에서, 일련 번호 이미지(2904)는 카메라(들)(3904)에 의해 이미징되고 기계 비전 알고리즘을 사용하여 의료 기구의 포즈 및 위치를 결정하기 위해 단독으로 사용될 수 있다. 더욱 또 다른 실시형태에서, 추적 라벨(2900)의 전체 물리적 모델은 카메라(들)(3904)에 의해 이미징되고 기계 비전 알고리즘을 사용하여 의료 기구의 포즈 및 위치를 결정하기 위해 단독으로 사용될 수 있다. 또 다른 실시형태에서, 추적 라벨(2900)이 포함되거나 이는 광학 인식을 사용하여 그 다음 자동으로 검증될 수 있는 키트의 장비의 비광학 식별을 위한 무선 RFID 태그를 포함할 수 있다.
도 30을 참조하면, 증강 현실 헤드셋을 사용하여 수술 시에 사용하기 위해 장비의 항목 유형 및 물리적 파라미터를 등록하고 이 데이터를 저장 및 공유하기 위한 시스템을 나타내는 흐름도가 제공된다. 이 예시적인 실시형태에서, 일련화된 추적 가능한 라벨은 내구성이 있는 자체 접착 재료에 미리 인쇄된다. 라벨은 장비의 항목(3000)에 부착되며(3002), 이는 수술 절차 동안 또는 시술로 이어지는 준비 노력(즉, 등받이 수술)에서 가장 유리하게 보여질 위치에서, 시술에 사용된 C-암, 임팩터, 포인터, 또는 임의의 다른 장비일 수 있지만, 이로 제한되지 않는다. 라벨은 그 다음, 카메라(들)(3904)로 보고, 라벨을 식별하며, 그 일련 번호와 연관된 데이터베이스 기록을 개시함으로써 등록된다(3004). 장비의 항목과 관련된 관심 있는 기하학적 구조가 또한 등록되고(3006) 추적 가능한 스티커에 대해 저장될 수 있다. 예를 들면, C-암의 경우에, 등록 스타일러스는 이미저의 얼굴 주변 주위의 3개의 지점 및 X선 빔 소스의 원점을 표현하는 지점을 등록하기 위해 사용될 수 있다. 이것은 AR 헤드셋(3600) 알고리즘에 의해 사용하기 위한 AR 헤드셋(3600) 좌표 프레임에 대한 X선 빔 소스의 좌표 프레임, 방향(포즈) 데이터, 및 위치 데이터를 제공한다. 하나의 대안적인 실시형태에서, 카메라(3904)는 스테레오 카메라이고 이미저의 원통형 또는 직사각형 표면과 같은 주요 특징의 인식에 의해 C-암 기하학적 구조를 스캐닝하고 인식하기 위해 사용된다. 장비의 항목에 대한 부가적인 관련 사양은 기록에 입력될 수 있으며(3008) 이는 장비 유형 및 모델, 교정 기한, 전자 인터페이스 파라미터, 및 무선 연결 암호를 포함하지만, 이로 제한되지 않는다. 디바이스의 이미지는 카메라(들)(3904)로 캡처된다(3010). 디바이스의 장비 라벨의 이미지가 캡처된다(3012). 이 모든 항목은 현재 AR 헤드셋(3600)에 로컬인 완료된 기록에 부가된다(3014). 기록은 그 다음, 타임 스탬핑되고 중앙 데이터베이스와 공유된다(3016). 이것은 병원 시스템 내의 로컬 서버에 또는 인터넷을 통한 임의의 클라우드 기반 저장 장치를 포함하는 임의의 원격 서버에 위치될 수 있다. 데이터베이스의 업로드는 와이파이 공통 네트워크 프로토콜 또는 다른 기술에 개시된 수단을 통해 행해질 수 있다. 상기 조치는 회사 대표, 병원에 고용된 기술자, 또는 임의의 다른 트레이닝된 개인에 의해 수행될 수 있다. 불량하게 등록된 장비가 데이터베이스에 기록되는 것을 방지하기 위해, 기록을 캡처하기 위해 관리자 권한이 요구될 수 있다.
장비의 항목이 수술에서 사용되고 있을 때, 카메라(들)(3904)는 라벨을 추적 가능한 장비의 항목으로서 인식하고 일련 번호를 판독하기 위해 활용된다(3018). AR 헤드셋(3600)은 그 다음, 데이터베이스에 연결하고(3020) 장비 기록을 다운로드할 수 있다(3022). 장비는 따라서, 수술 동안 추적 가능한 6 자유도 방식으로 사용될 수 있다(3024). 적용 가능한 경우, 데이터 라벨이 있는 장비에 대해, 기록은 또한, 장비 자체에 특정한 데이터 예를 들면, 수술 동안 장비에 의해 캡처된 업로드 이미지 또는 수술 동안 로그에서의 장비 활동의 캡처 로그로 업데이트될 수 있다(3026). 수술에서 장비의 사용을 설명하는 로그 엔트리는 데이터베이스 및 장비의 활용을 보여주는 환자 기록에 부가될 수 있다. 생성된 데이터베이스는 따라서, 결함이 있는 장비의 사용을 검색하는 것과 같은 다양한 이유로 마이닝(mining)될 수 있다.
시스템은 또한, 수술 동안 마주치는 수술 기구 및 임플란트를 인식하기 위해 사용될 수 있다. 확장할 기구 및 장비의 CAD 모델의 데이터베이스가 메모리에 보유된다. 시술 동안, SLAM 또는 유사한 기계 비전 알고리즘은 장면에 있는 항목의 지형을 캡처하고 기구 및 장비의 데이터베이스와 비교할 수 있다. 매칭이 발견되면, 시스템은 그 다음, 환자 및 수술에서 사용되는 다른 기구에 대한 기구의 위치 및 방향을 추적하는 것과 같은 적절한 조치를 취하거나 그 도구의 사용과 관련된 모드로 진입할 수 있다. 예를 들면, 고관절 교체 시술에서, 비구 임팩터가 검출되면, 컵 배치 탐색을 위한 모드에 진입된다.
시스템은 또한, 현재 소프트웨어 작업 흐름 단계에 대한 이의 지식을 사용하여 스크럽 기술자와 같은 OR 직원에게 적용 가능한 명령어를 제공할 수 있다. 명령어는 외과의의 시스템과 네트워크로 연결된 제2 AR 헤드셋(3600) 또는 원격 모니터에 디스플레이될 수 있다. 예를 들면, 시스템은 작업 흐름에서 오는 다음 단계에 관한 정보를 디스플레이하고 스크럽 기술자 또는 보조자에게 어떤 기구를 준비할지를 지시할 수 있어서, 이는 요구된 기구의 위치를 찾거나, 식별하거나, 조립하기 위한 사진, 비디오 또는 오디오 명령어를 선택적으로 포함한다. 시스템의 카메라는 특정 기구 또는 기구 세트를 식별하고 보조자에게 그리고 AR 헤드셋 디스플레이를 통해 요구된 기구를 나타내기 위해 사용될 수 있다. 외과의 또는 다른 숙련된 사용자는 수술 작업 흐름의 각각의 단계에 대해 보조자 또는 직원에게 디스플레이될 맞춤 명령어를 선택적으로 입력할 수 있다.
시스템은 또한, 결과 데이터 또는 공통적인 관행에 기초하여 임플란트 선택 및/또는 배치를 최적화하기 위해 사용될 수 있다. 도 65는 외과적 의사 결정을 돕기 위해 시스템을 사용하기 위한 일 예시적인 방법을 보여주는 흐름도를 묘사한다. 시스템은 먼저, 센서 제품군(210)을 사용하여 고유의 해부학적 구조를 스캐닝하고 매핑한다(블록 6502). 선택적으로, 해부학적 데이터는 CT 또는 MRI와 같은 수술 전 이미징에 의해 증강되거나 대체될 수 있다. 그 다음, 해부학적 구조를 데이터베이스와 비교하고 유사한 해부학적 구조를 가진 사례를 식별하여, 시스템은 임플란트 유형, 정렬, 및 구성요소의 위치 결정을 출력한다(블록 6504). 대안적으로, 또는 부가적으로, 시스템은 알려진 임플란트의 데이터베이스 내의 최상의 맞춤과 해부학적 구조의 하나 이상의 특성을 매칭하는 하나 이상의 형상 매칭 알고리즘에 기초하여 임플란트 유형을 출력한다. 하나 이상의 형상 매칭 알고리즘을 위해 사용된 해부학적 구조의 하나 이상의 특성은 수술 전 이미징 스캔과 대조적으로 수술 사이의 이미징 스캔에 기초할 수 있다. 사용자(106)는 시스템(10)이 실제 정렬 및 위치 결정 데이터를 기록함에 따라 수술을 탐색하고 완료하도록 진행한다(블록 6506). 시스템(10)은 센서 제품군(210)을 사용한 자동 스캐닝에 의해, 또는 수동 입력으로 사용자(10)에 의해 선택된 임플란트 유형 및 크기를 기록하도록 진행한다(블록 6508). 수술용 데이터는 이용 가능한 경우, 수술 결과를 포함하는 데이터베이스에 업로드된다(블록 6510). 업데이트된 데이터베이스는 블록 6504에서 다음 경우를 알리기 위해 사용된다. 제안은 데이터베이스에서 이용 가능한 경우, 원하는 수술 결과에 기초하거나, 동일한 사용자(106) 또는 유사한 상황에서 다른 사용자에 의한 공통적인 관행에 기초할 수 있다. 시술 시간 및 기구 사용에 대한 데이터를 포함하는 다른 데이터가 수술 중에 수집될 수 있다. 센서 제품군(2010)은 기계 비전 알고리즘을 사용하여 수술 동안 기구를 자동으로 식별하고 각각의 시술에 어떤 기구가 사용되는지 뿐만 아니라, 기구가 사용되는 때를 기록할 수 있다. 병원은 가장 공통적으로 사용된 기구를 포함하기 위해 기구 세트를 효율적으로 포장하거나, 시술에서 특정 기구가 필요한 시기에 대해 직원을 트레이닝시키거나 지시하기 위해 이 정보를 사용할 수 있다. 본 발명이 본 명세서에서 바람직한 실시형태 및 이의 특정 예를 참조하여 도시되고 설명되었지만, 다른 실시형태 및 예가 유사한 기능을 수행하고/거나 유사한 결과를 성취할 수 있음이 당업자에게 용이하게 명백할 것이다. 모든 이러한 등가 실시형태 및 예는 본 발명의 사상 및 범위 내에 있고, 이에 의해 고려되며, 다음의 청구항에 의해 포함되도록 의도된다.
X. 본 명세서의 시스템 및 방법에서의 음성 및/또는 시선 사용
도 84에 도시된 바와 같이, 일부 실시형태에서, 본 명세서에서 설명된 디바이스 또는 시스템 중 임의의 하나 이상은 시선 제어를 구현할 수 있다. 본 명세서에서 사용된 바와 같이, '시선'은 증강 현실 가상 객체가 관성 공간(즉, 관성 고정 객체(8400))에 배치되고 고정되지만 또한, 사용자에 의해 상호 작용될 수 있는 프로세스를 언급한다. 사용자는 자신의 머리를 돌리거나 방 주위를 이동할 수 있으며 하나 이상의 관성 고정 객체(8400)는 로컬 환경에 또는 관성 공간에 고정된 상태로 유지된다. 일부 실시형태에서, 십자선(8410)은 접안경 디스플레이의 중심 또는 중심 영역에 도시된다. 이 십자선(8410)이 가상 객체(8420) 중 하나와 시각적으로 정렬되도록 사용자가 이동하면, 머리 착용 디스플레이 및 내비게이션 시스템은 가상 객체(8420)를 활성화하도록 구성된다. 일례로서, 시스템은 가상 객체 예를 들면, 가상 객체에 전구를 갖는 버튼을 제공한다. 가상 객체는 로컬 환경 또는 사용자를 둘러싸는 환경의 관성 공간에서 고정된다. 시스템은 사용자에게 그의 시야를 지향시키도록 촉구할 수 있어서 전구 객체가 접안경의 중심에 있는 십자선과 일직선에 있게 한다. 가상 객체가 활성화되고 예를 들면, 사용자로부터의 이 제어 입력(가상 객체와 십자선을 정렬시킴)에 기초하여 헤드램프가 턴 온(또는 오프됨)되도록, 십자선과 가상 객체 사이의 상호 작용이 검출된다.
이 시선 제어는 사용자 입력 선택(예컨대, 버튼 선택, 온 또는 오프 제어, 슬라이더 제어, 등), 영숫자 입력(예컨대, 가상 키패드에서의 선택을 통함), 등을 포함하지만, 이로 제한되지 않는 많은 상호 작용을 위해 사용될 수 있다.
그러나, 머리 위치에 관계 없이 항상 콘텐트를 보여주는 머리 고정 디스플레이를 갖는 것이 더 유리한 경우가 존재한다. 이것은 "머리 고정" 객체로서 언급된다 - 가상 객체는 머리 착용 디스플레이의 움직임과 동시에 움직인다. 도 84에서 설명된 십자선은 머리 고정 객체이고 도 84에 도시된 가상 객체(8400, 8420)는 관성적으로 고정된 객체이다.
머리 고정 객체 대 관성 고정 객체는 수술 절차에서 동시에 사용하기 위해 관리될 수 있다. 구체적으로, 관성 화면은 정보 데이터 및 시선 제어를 사용하는 시스템의 제어를 위해 사용된다. 그러나, 타깃을 추적할 때, 관성 화면에 더하여 내비게이션 카메라 추적 장면을 보여주는 '머리 고정' 비디오 화면이 디스플레이된다. 관성 화면은 제어부가 수술 부위에 매우 가깝도록 배치될 수 있다. 외과의가 수술 부위를 바라볼 때, 추적 콘텐트를 보여주는 머리 고정 화면이 디스플레이된다. 시선 제어부가 동일한 시야에 관성적으로 위치되기 때문에, 외과의는 최소한의 머리 동작으로 시스템을 제어할 수 있다.
게다가, 도 85에 도시된 바와 같이, 일부 실시형태에서, 본 명세서에서 설명된 디바이스 또는 시스템 중 임의의 하나 이상은 음성 인식을 구현할 수 있다. 본 명세서에서 사용된 바와 같이, '음성 인식'은 청취 가능한 음성을 받아 이를 처리하여 발화를 인식하는 프로세스이다. 이것은 "진행" 또는 "중지"와 같은 단어를 포함할 수 있다. 음성 인식과 시선 제어를 동시에 사용하는 것은 시선 제어(및 수술 중 특정 시간에서 덜 바람직한 결과적인 머리 동작)에 대한 외과의의 의존도를 감소시킨다. 음성 인식 및 시선 제어 둘 다를 활성화하는 것은 오로지 둘 중 하나만 사용할 때 외과의에 대한 불량한 상호 작용(즉, 음성 인식이 이의 명령을 결정할 수 없거나, 장시간 수술을 위해 시선 제어가 힘듦)을 야기할 위험을 감소시킨다.
예를 들면, 하나의 실시형태에서, 시스템은 십자선 또는 가상 제어부(8410)를 사용하여, 사용자 입력 요소 또는 가상 객체(8420), 예를 들면, '앞으로' 버튼을 선택하기 위해 시선 제어를 사용하도록 사용자 예를 들면, 외과의에게 촉구할 수 있다. 시스템은 사용자로부터 시선 제어 기반 입력을 수용하고 '진행'이라고 말하거나, '중지'라고 말하거나, 추적 등을 시작하기 위해 버튼을 응시하도록 사용자에게 촉구하는 화면, 창, 또는 다른 표시기(8430)를 디스플레이하도록 구성된다. 일부 실시형태에서, 가상 객체(8420) 예를 들면, 버튼은 또한 라벨(8440) 예를 들면, '진행'을 말하는 텍스트를 포함할 수 있다. 사용자는 추적을 활성화하기 위해 가상 객체(8420)를 응시하거나 단어 "진행"을 크게 말하도록 시스템에 의해 촉구된다. 추적이 시작될 때, 가상 객체 라벨(8440)은 "중지" 또는 또 다른 표시기 예를 들면, 적색 컬러로 변경된다. 시스템은 그 다음, 추적을 활성화해제하기 위해 가상 객체(8420)를 응시하거나 단어 '중지'를 말하도록 사용자에게 촉구할 수 있다.
달리 언급되지 않는 한, 본 명세서에서 묘사된 다양한 구조의 치수 및 기하학적 구조는 본 발명을 제한하도록 의도되지 않고, 다른 치수 또는 기하학적 구조가 가능하다. 복수의 구조적 구성요소는 단일 통합된 구조에 의해 제공될 수 있다. 대안적으로, 단일 통합 구조는 별개의 복수의 구성요소로 분할될 수 있다. 게다가, 본 발명의 특징이 도시된 실시형태 중 단지 하나의 맥락으로 설명되었을 수 있지만, 이러한 특징은 임의의 주어진 애플리케이션에 대해, 다른 실시형태의 하나 이상의 다른 특징과 조합될 수 있다. 또한, 본 명세서에서의 고유한 구조의 제작 및 이의 동작이 또한, 본 발명에 따른 방법을 구성한다는 것이 상기 내용으로부터 인식될 것이다.
바람직한 실시형태의 시스템 및 방법과 이의 변형은 컴퓨터 판독 가능한 명령어를 저장하는 컴퓨터 판독 가능한 매체를 수용하도록 구성된 기계로서 적어도 부분적으로 구체화 및/또는 구현될 수 있다. 명령어는 바람직하게는 시스템 및 지원 모듈 및/또는 컴퓨팅 디바이스에 있는 프로세서의 하나 이상의 부분과 바람직하게 통합된 컴퓨터 실행 가능한 구성요소에 의해 실행된다. 컴퓨터 판독 가능한 매체는 RAM, ROM, 플래시 메모리, EEPROM, 광학 디바이스(예컨대, CD 또는 DVD), 하드 드라이브, 플로피 드라이브, 또는 임의의 적절한 디바이스와 같은 임의의 적합한 컴퓨터 판독 가능한 매체에 저장될 수 있다. 컴퓨터 실행 가능한 구성요소는 바람직하게는 범용 또는 애플리케이션 특정 프로세서이지만, 임의의 적합한 전용 하드웨어 또는 하드웨어/펌웨어 조합은 대안적으로 또는 부가적으로 명령어를 실행할 수 있다.
설명 및 청구항에서 사용된 바와 같이, 단수 형태 표현은 문맥에서 명백하게 달리 지시하지 않는 한 단수 및 복수의 지시대상을 둘 다 포함한다. 예를 들면, 용어 "센서"는 복수의 센서를 포함할 수 있고, 이를 포함하는 것으로 고려된다. 때때로, 청구항 및 본 발명은 "복수", "하나 이상", 또는 "적어도 하나"와 같은 용어를 포함할 수 있지만; 이러한 용어의 부재는 복수가 생각되지 않음을 의미하도록 의도되지 않고, 이를 의미하도록 해석되어서도 안된다.
용어 "약" 또는 "대략"은 수치 지정 또는 범위 앞에 사용될 때(예컨대, 길이 또는 압력을 정의하기 위해), (+) 또는 (-) 5%, 1% 또는 0.1%로 달라질 수 있는 근사치를 나타낸다. 본 명세서에서 제공된 모든 수치 범위는 언급된 시작 및 종료 번호를 포함한다. 용어 "실질적으로"는 대부분(즉, 50% 초과) 또는 본질적으로 모든 디바이스, 물질, 또는 구성을 나타낸다.
본 명세서에서 사용된 바와 같이, 용어 "포함하는" 또는 "포함하다"는 디바이스, 시스템, 및 방법이 인용된 요소를 포함하고, 임의의 다른 요소를 부가적으로 포함할 수 있음을 의미하도록 의도된다. "~로 본질적으로 구성됨"은 디바이스, 시스템, 및 방법이 인용된 요소를 포함하고 언급된 목적을 위한 조합에 대해 본질적으로 중요한 다른 요소를 배제함을 의미할 것이다. 따라서, 본 명세서에서 정의된 바와 같은 요소로 본질적으로 구성된 시스템 또는 방법은 청구된 개시내용의 기본 및 신규 특성(들)에 실질적으로 영향을 미치지 않는 다른 물질, 특징, 또는 단계를 배제하지 않을 것이다. "~로 구성됨"은 디바이스, 시스템, 및 방법이 인용된 요소를 포함하고 사소하거나 중요하지 않은 요소 또는 단계 이상의 것을 제외함을 의미할 것이다. 이 과도기적 용어의 각각에 의해 획정된 실시형태는 본 발명의 범위 내에 있다.
본 명세서에 포함된 예 및 예시는 제한이 아니라 예시로서, 주제가 실시될 수 있는 특정 실시형태를 보여준다. 본 발명의 범위를 벗어나지 않고 구조적 및 논리적 대체 및 변경이 행해질 수 있도록, 다른 실시형태가 활용 및 이로부터 유도될 수 있다. 독창적인 주제의 이러한 실시형태는 단지 편의를 위해 그리고 하나보다 많은 것이 실제로 개시되는 경우, 본 출원의 범위를 임의의 단일 발명 또는 독창적인 개념으로 자발적으로 제한하려는 의도 없이 용어 "발명"에 의해 개별적으로 또는 집합적으로 본 명세서에서 언급될 수 있다. 따라서, 특정 실시형태가 본 명세서에 도시되고 설명되었더라도, 동일한 목적을 성취하기 위해 산출된 임의의 배열이 도시된 특정 실시형태로 대체될 수 있다. 본 발명은 다양한 실시형태의 모든 적응 또는 변형을 포함하도록 의도된다. 상기 실시형태의 조합, 및 본 명세서에서 구체적으로 설명되지 않은 다른 실시형태는 상기 설명을 검토할 때 당업자에게 명백할 것이다.

Claims (89)

  1. 헬멧 및 안면 가리개와 함께 사용하기 위해 구성된 독립식 수술용 내비게이션 시스템으로서,
    수술 동안 사용자에 의해 착용될 머리 착용 디스플레이 디바이스로서,
    상기 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기,
    적어도 하나의 추적 카메라를 갖는 센서 제품군,
    가시광선,
    적외선, 및
    상기 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛
    을 포함하는, 상기 머리 착용 디스플레이 디바이스; 및
    상기 적외선 주위에 배열되고 상기 적외선으로부터의 광이 방출되는 개구를 획정하는 복수의 측벽을 포함하는 덮개
    를 포함하되,
    상기 적어도 하나의 추적 카메라, 상기 가시광선, 및 상기 적외선은 상기 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 안면 가리개 뒤에 배치되고, 그리고
    상기 복수의 측벽은 상기 적외선에 의해 방출된 광이 상기 적어도 하나의 추적 카메라 내로 반사되는 것을 방지하고 상기 안면 가리개를 단지 통과하도록 상기 헬멧에 상기 머리 착용 디스플레이 디바이스가 부착될 때 상기 안면 가리개와 접촉하는, 독립식 수술용 내비게이션 시스템.
  2. 제1항에 있어서, 적외선 필터가 상기 가시광선에 결합될 때 상기 가시광선이 적외선을 방출하는 것을 방지하도록, 상기 가시광선에 결합된 상기 적외선 필터를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  3. 제1항 또는 제2항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 적어도 2개의 마커를 더 포함하되, 제1 마커는 상기 적어도 하나의 추적 카메라의 시야 내에 있고 제2 마커는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고,
    상기 프로세서 유닛은,
    상기 적어도 하나의 추적 카메라의 시야 내에서 상기 제1 마커의 위치를 결정하도록,
    상기 사용자를 상기 제1 마커에 대한 상기 제2 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하도록, 그리고
    상기 가상 가이드로부터의 방향에 기초하여 상기 적어도 하나의 추적 카메라로 상기 제2 마커의 위치를 결정하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    지원 모듈을 더 포함하되, 상기 지원 모듈은,
    상기 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및
    상기 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛
    을 포함하되, 상기 지원 모듈은 상기 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 상기 머리 착용 디스플레이 디바이스에 전기적으로 결합되고, 상기 지원 모듈은 상기 사용자의 머리 이외의 위치에서 상기 사용자의 신체에 착용되고, 그리고
    상기 디스플레이 디바이스 및 상기 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 상기 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함하는, 독립식 수술용 내비게이션 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 복수의 측벽에 결합된 전방 표면은 상기 안면 가리개와 아주 근접하고 상기 안면 가리개의 곡률 반경과 대략 매칭하는 곡률 반경을 갖는, 독립식 수술용 내비게이션 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 복수의 측벽 중 하나 이상은 상기 적외선의 중심 축에 대해 약 10 내지 약 20도의 각을 이루는, 독립식 수술용 내비게이션 시스템.
  7. 독립식 수술용 내비게이션 시스템으로서,
    수술 동안 사용자에 의해 착용될 머리 착용 디스플레이 디바이스로서,
    상기 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기, 및
    적어도 하나의 추적 카메라를 갖는 센서 제품군
    을 포함하는, 상기 머리 착용 디스플레이 디바이스; 및
    지원 모듈로서,
    상기 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및
    상기 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛
    을 포함하는, 상기 지원 모듈
    을 포함하되, 상기 지원 모듈은 상기 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 상기 머리 착용 디스플레이 디바이스에 전기적으로 결합되고, 상기 지원 모듈은 상기 사용자의 머리 이외의 위치에서 상기 사용자의 신체에 착용되고, 그리고
    상기 디스플레이 디바이스 및 상기 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 상기 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함하는, 독립식 수술용 내비게이션 시스템.
  8. 제7항에 있어서, 상기 안면 가리개 및 헬멧 중 하나 이상을 더 포함하되, 상기 디스플레이 디바이스는 상기 안면 가리개 및 헬멧에 장착되는, 독립식 수술용 내비게이션 시스템.
  9. 제7항 또는 제8항에 있어서, 상기 머리 착용 디스플레이 디바이스는 적외선을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 머리 착용 디스플레이 디바이스는 적외선 필터가 가시광선에 결합될 때 상기 가시광선이 적외선을 방출하는 것을 방지하도록, 상기 가시광선 및 상기 가시광선에 결합된 상기 적외선 필터를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  11. 제7항 내지 제9항 중 어느 한 항에 있어서, 상기 적외선 주위에 배열되고 상기 적외선으로부터의 광이 방출되는 개구를 획정하는 복수의 측벽을 포함하는 덮개를 더 포함하되,
    상기 적어도 하나의 추적 카메라 및 상기 적외선은 상기 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 안면 가리개 뒤에 배치되고, 그리고
    상기 적외선에 의해 방출된 광이 상기 적어도 하나의 추적 카메라 내로 반사되는 것을 방지하고 상기 안면 가리개를 단지 통과하도록 상기 머리 착용 디스플레이 디바이스가 상기 헬멧에 부착될 때 상기 복수의 측벽은 상기 안면 가리개와 아주 근접한, 독립식 수술용 내비게이션 시스템.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 상기 적어도 하나의 마커를 더 포함하되, 상기 적어도 하나의 마커는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고, 상기 프로세서 유닛은,
    상기 센서 제품군의 하나 이상의 센서를 사용하여 상기 사용자의 머리의 각도를 추적하도록;
    상기 적어도 하나의 마커가 상기 적어도 하나의 추적 카메라의 시야에 배치되었을 때 상기 적어도 하나의 마커의 마지막으로 알려진 위치에 기초하여 상기 적어도 하나의 마커의 상대 위치를 산출하되, 상기 마지막으로 알려진 위치는 상기 머리의 각도에 상대적인, 상기 적어도 하나의 마커의 상대 위치를 산출하도록; 그리고
    상기 사용자를 상기 적어도 하나의 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  13. 제7항 내지 제12항 중 어느 한 항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 적어도 2개의 마커를 더 포함하되, 제1 마커는 상기 적어도 하나의 추적 카메라의 시야 내에 있고 제2 마커는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고,
    상기 프로세서 유닛은,
    상기 적어도 하나의 추적 카메라의 시야 내에서 상기 제1 마커의 위치를 결정하도록,
    상기 사용자를 상기 제1 마커에 대한 상기 제2 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하도록, 그리고
    상기 가상 가이드로부터의 방향에 기초하여 상기 적어도 하나의 추적 카메라로 상기 제2 마커의 위치를 결정하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  14. 제7항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 마커 및 상기 제2 마커의 초기 위치를 획득하는 것; 및
    상기 제2 마커가 상기 적어도 하나의 추적 카메라의 시야에 없을 때, 상기 획득된 초기 위치에 기초하여 상기 제1 마커에 대한 상기 제2 마커의 위치를 추정하는 것
    을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  15. 제7항 내지 제14항 중 어느 한 항에 있어서,
    알려진 해부학적 랜드마크에 대한 상기 제1 마커 및 상기 제2 마커의 초기 위치를 획득하는 것;
    상기 알려진 해부학적 랜드마크 사이의 거리를 산출하는 것; 및
    상기 제2 마커가 상기 적어도 하나의 추적 카메라의 시야에 없을 때, 상기 산출된 거리에 기초하여 상기 제1 마커에 대한 상기 제2 마커의 위치를 추정하는 것
    을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  16. 제7항 내지 제15항 중 어느 한 항에 있어서,
    상기 센서 제품군의 하나 이상의 센서를 사용하여 상기 사용자의 머리의 움직임을 추적하는 것; 및
    상기 제2 마커가 상기 적어도 하나의 추적 카메라의 시야 내에 있을 때 상기 제2 마커의 마지막으로 알려진 위치에 기초하여 상기 제2 마커의 위치를 산출하는 것
    을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  17. 제7항 내지 제16항 중 어느 한 항에 있어서, 상기 지원 모듈의 하우징은 전력을 상기 배터리로부터 상기 프로세서 유닛 및 상기 머리 착용 디스플레이 디바이스로 지향시키기 위해 배열된 회로 기판을 포함하는 베이스를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  18. 제7항 내지 제17항 중 어느 한 항에 있어서, 상기 지원 모듈의 하우징은 브래킷에 배치될 때 상기 배터리 및 상기 프로세서 유닛을 견고하고 제거 가능하게 구속하도록 구성된 상기 브래킷을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  19. 제7항 내지 제18항 중 어느 한 항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 적어도 2개의 마커를 더 포함하되, 상기 적어도 2개의 마커 중 하나 또는 둘 다는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고,
    상기 프로세서 유닛은,
    상기 적어도 2개의 마커 사이에 가상 제어부를 디스플레이하도록;
    사용자 입력에 기초하여 상기 가상 제어부와 정렬되도록 구성되는 사용자 입력 제어부를 디스플레이하도록;
    상기 사용자 입력 제어부를 상기 가상 제어부와 정렬시키기 위해 상기 사용자가 자신의 머리를 돌릴 때 상기 가상 제어부의 위치를 조정하도록; 그리고
    상기 적어도 2개의 마커가 둘 다 상기 적어도 하나의 추적 카메라의 시야에 있을 때 상기 적어도 하나의 추적 카메라의 시야에서 상기 적어도 2개의 마커를 추적하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  20. 독립식 머리 착용 수술용 내비게이션 시스템으로서,
    디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기,
    적어도 하나의 추적 카메라를 갖는 센서 제품군, 및
    프로세서 유닛
    을 포함하되, 상기 프로세서 유닛은 상기 센서 제품군으로부터 데이터를 수신하고, 그리고
    상기 적어도 하나의 추적 카메라의 시야 내에서 적어도 2개의 마커 중 제1 마커의 위치를 결정하고,
    상기 사용자를 상기 제1 마커에 대한 상기 적어도 2개의 마커 중 제2 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하고, 그리고
    상기 가상 가이드로부터의 방향에 기초하여 상기 적어도 하나의 추적 카메라로 상기 제2 마커의 위치를 결정함으로써
    상기 적어도 2개의 마커의 위치 및 방향을 산출하도록 구성된, 상기 프로세서 유닛
    을 포함하는, 독립식 머리 착용 수술용 내비게이션 시스템.
  21. 헬멧 및 안면 가리개와 함께 사용하기 위해 구성된 독립식 수술용 내비게이션 시스템으로서,
    수술 동안 사용자에 의해 착용될 머리 착용 디스플레이 디바이스로서,
    상기 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기,
    적어도 하나의 추적 카메라를 갖는 센서 제품군,
    가시광선 소스,
    적외선 소스, 및
    상기 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛
    을 포함하는, 상기 머리 착용 디스플레이 디바이스; 및
    상기 적외선 소스 주위에 배열된 복수의 측벽을 포함하는 덮개로서, 상기 복수의 측벽은 상기 적외선 소스로부터의 광이 방출되는 개구를 획정하는, 상기 덮개
    를 포함하되, 상기 덮개, 상기 적어도 하나의 추적 카메라, 상기 가시광선 소스, 및 상기 적외선 소스는 상기 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 안면 가리개 뒤에 배치되고, 그리고
    상기 복수의 측벽은 상기 적외선 소스에 의해 방출된 광이 상기 적어도 하나의 추적 카메라 내로 반사되는 것을 방지하고 상기 안면 가리개를 단지 통과하도록 상기 헬멧에 상기 머리 착용 디스플레이 디바이스가 부착될 때 상기 안면 가리개와 접촉하는, 독립식 수술용 내비게이션 시스템.
  22. 제21항에 있어서, 적외선 필터가 상기 가시광선 소스에 결합될 때 상기 가시광선 소스가 적외선을 방출하는 것을 방지하도록, 상기 가시광선 소스에 결합된 상기 적외선 필터를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  23. 제21항 또는 제22항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 적어도 2개의 마커를 더 포함하되, 제1 마커는 상기 적어도 하나의 추적 카메라의 시야 내에 있고 제2 마커는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고,
    상기 프로세서 유닛은,
    상기 적어도 하나의 추적 카메라의 시야 내에서 상기 제1 마커의 위치를 결정하도록,
    상기 사용자를 상기 제1 마커에 대한 상기 제2 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하도록, 그리고
    상기 가상 가이드로부터의 방향에 기초하여 상기 적어도 하나의 추적 카메라로 상기 제2 마커의 위치를 결정하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서, 지원 모듈을 더 포함하되, 상기 지원 모듈은,
    상기 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및
    상기 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛
    을 포함하되, 상기 지원 모듈은 상기 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 상기 머리 착용 디스플레이 디바이스에 전기적으로 결합되고, 상기 지원 모듈은 상기 사용자의 머리 이외의 위치에서 상기 사용자의 신체에 착용되고, 그리고
    상기 디스플레이 디바이스 및 상기 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 상기 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함하는, 독립식 수술용 내비게이션 시스템.
  25. 제21항 내지 제24항 중 어느 한 항에 있어서, 상기 복수의 측벽에 결합된 전방 표면은 상기 안면 가리개와 아주 근접하고 상기 안면 가리개의 곡률 반경과 대략 매칭하는 곡률 반경을 갖는, 독립식 수술용 내비게이션 시스템.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서, 상기 복수의 측벽 중 하나 이상은 상기 적외선 소스의 중심 축에 대해 약 10 내지 약 20도의 각을 이루는, 독립식 수술용 내비게이션 시스템.
  27. 독립식 수술용 내비게이션 시스템으로서,
    수술 동안 사용자에 의해 착용될 머리 착용 디스플레이 디바이스로서,
    상기 디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기, 및
    적어도 하나의 추적 카메라를 갖는 센서 제품군
    을 포함하는, 상기 머리 착용 디스플레이 디바이스; 및
    지원 모듈로서,
    상기 지원 모듈의 하우징에 제거 가능하게 삽입 가능한 사용자 교체 가능한 모듈식 배터리, 및
    상기 센서 제품군으로부터 데이터를 수신하고 적어도 하나의 마커의 위치 및 방향을 산출하도록 구성된 프로세서 유닛
    을 포함하는, 상기 지원 모듈
    을 포함하되, 상기 지원 모듈은 상기 머리 착용 디스플레이 디바이스에 전력 및 데이터를 제공하기 위해 상기 머리 착용 디스플레이 디바이스에 전기적으로 결합되고, 상기 지원 모듈은 상기 사용자의 머리 이외의 위치에서 상기 사용자의 신체에 착용되고, 그리고
    상기 디스플레이 디바이스 및 상기 지원 모듈은 외부 센서, 카메라, 컴퓨터, 또는 다른 전기 장비를 요구하지 않고, 상기 시스템의 전체 감지 및 컴퓨팅 능력을 함께 포함하는, 독립식 수술용 내비게이션 시스템.
  28. 제27항에 있어서, 상기 안면 가리개 및 헬멧 중 하나 이상을 더 포함하되, 상기 디스플레이 디바이스는 상기 안면 가리개 및 헬멧에 장착되는, 독립식 수술용 내비게이션 시스템.
  29. 제27항 또는 제28항에 있어서, 상기 머리 착용 디스플레이 디바이스는 적외선 소스를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  30. 제27항 내지 제29항 중 어느 한 항에 있어서, 상기 머리 착용 디스플레이 디바이스는 적외선 필터가 가시광선 소스에 결합될 때 상기 가시광선 소스가 적외선을 방출하는 것을 방지하도록, 상기 가시광선 소스 및 상기 가시광선 소스에 결합된 상기 적외선 필터를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  31. 제27항 내지 제30항 중 어느 한 항에 있어서, 상기 적외선 소스 주위에 배열되고 상기 적외선 소스로부터의 광이 방출되는 개구를 획정하는 복수의 측벽을 포함하는 덮개를 더 포함하되,
    상기 덮개, 상기 적어도 하나의 추적 카메라 및 상기 적외선 소스는 상기 머리 착용 디스플레이 디바이스가 헬멧에 부착될 때 안면 가리개 뒤에 배치되고, 그리고
    상기 적외선 소스에 의해 방출된 광이 상기 적어도 하나의 추적 카메라 내로 반사되는 것을 방지하고 상기 안면 가리개를 단지 통과하도록 상기 머리 착용 디스플레이 디바이스가 상기 헬멧에 부착될 때 상기 복수의 측벽은 상기 안면 가리개와 아주 근접한, 독립식 수술용 내비게이션 시스템.
  32. 제27항 내지 제31항 중 어느 한 항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 상기 적어도 하나의 마커를 더 포함하되, 상기 적어도 하나의 마커는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고, 상기 프로세서 유닛은,
    상기 센서 제품군의 하나 이상의 센서를 사용하여 상기 사용자의 머리의 각도를 추적하도록;
    상기 적어도 하나의 마커가 상기 적어도 하나의 추적 카메라의 시야에 배치되었을 때 상기 적어도 하나의 마커의 마지막으로 알려진 위치에 기초하여 상기 적어도 하나의 마커의 상대 위치를 산출하되, 상기 마지막으로 알려진 위치는 상기 머리의 각도에 상대적인, 상기 적어도 하나의 마커의 상대 위치를 산출하도록; 그리고
    상기 사용자를 상기 적어도 하나의 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  33. 제27항 내지 제32항 중 어느 한 항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 적어도 2개의 마커를 더 포함하되, 제1 마커는 상기 적어도 하나의 추적 카메라의 시야 내에 있고 제2 마커는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고,
    상기 프로세서 유닛은,
    상기 적어도 하나의 추적 카메라의 시야 내에서 상기 제1 마커의 위치를 결정하도록,
    상기 사용자를 상기 제1 마커에 대한 상기 제2 마커의 위치로 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하도록, 그리고
    상기 가상 가이드로부터의 방향에 기초하여 상기 적어도 하나의 추적 카메라로 상기 제2 마커의 위치를 결정하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  34. 제27항 내지 제33항 중 어느 한 항에 있어서,
    상기 제1 마커 및 상기 제2 마커의 초기 위치를 획득하는 것; 및
    상기 제2 마커가 상기 적어도 하나의 추적 카메라의 시야에 없을 때, 상기 획득된 초기 위치에 기초하여 상기 제1 마커에 대한 상기 제2 마커의 위치를 추정하는 것
    을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  35. 제27항 내지 제34항 중 어느 한 항에 있어서,
    알려진 해부학적 랜드마크에 대한 상기 제1 마커 및 상기 제2 마커의 초기 위치를 획득하는 것;
    상기 알려진 해부학적 랜드마크 사이의 거리를 산출하는 것; 및
    상기 제2 마커가 상기 적어도 하나의 추적 카메라의 시야에 없을 때, 상기 산출된 거리에 기초하여 상기 제1 마커에 대한 상기 제2 마커의 위치를 추정하는 것
    을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  36. 제27항 내지 제35항 중 어느 한 항에 있어서,
    상기 센서 제품군의 하나 이상의 센서를 사용하여 상기 사용자의 머리의 움직임을 추적하는 것; 및
    상기 제2 마커가 상기 적어도 하나의 추적 카메라의 시야 내에 있을 때 상기 제2 마커의 마지막으로 알려진 위치에 기초하여 상기 제2 마커의 위치를 산출하는 것
    을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  37. 제27항 내지 제36항 중 어느 한 항에 있어서, 상기 지원 모듈의 하우징은 전력을 상기 배터리로부터 상기 프로세서 유닛 및 상기 머리 착용 디스플레이 디바이스로 지향시키기 위해 배열된 회로 기판을 포함하는 베이스를 더 포함하는, 독립식 수술용 내비게이션 시스템.
  38. 제27항 내지 제37항 중 어느 한 항에 있어서, 상기 지원 모듈의 하우징은 브래킷에 배치될 때 상기 배터리 및 상기 프로세서 유닛을 견고하고 제거 가능하게 구속하도록 구성된 상기 브래킷을 더 포함하는, 독립식 수술용 내비게이션 시스템.
  39. 제27항 내지 제38항 중 어느 한 항에 있어서,
    관심 객체를 추적하기 위해 상기 관심 객체에 부착된 적어도 2개의 마커를 더 포함하되, 상기 적어도 2개의 마커 중 하나 또는 둘 다는 상기 적어도 하나의 추적 카메라의 시야 밖에 있고,
    상기 프로세서 유닛은,
    상기 적어도 2개의 마커 사이에 가상 제어부를 디스플레이하도록;
    사용자 입력에 기초하여 상기 가상 제어부와 정렬되도록 구성되는 사용자 입력 제어부를 디스플레이하도록;
    상기 사용자 입력 제어부를 상기 가상 제어부와 정렬시키기 위해 상기 사용자가 자신의 머리를 돌릴 때 상기 가상 제어부의 위치를 조정하도록; 그리고
    상기 적어도 2개의 마커가 둘 다 상기 적어도 하나의 추적 카메라의 시야에 있을 때 상기 적어도 하나의 추적 카메라의 시야에서 상기 적어도 2개의 마커를 추적하도록
    더 구성되는, 독립식 수술용 내비게이션 시스템.
  40. 독립식 머리 착용 수술용 내비게이션 시스템으로서,
    디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기;
    적어도 하나의 추적 카메라를 갖는 센서 제품군; 및
    프로세서 유닛
    을 포함하되, 상기 프로세서 유닛은, 상기 센서 제품군으로부터 데이터를 수신하도록, 그리고
    적어도 2개의 마커가 상기 적어도 하나의 추적 카메라의 시야 내에 놓여 있는 위치로 상기 사용자를 지향시키기 위해 상기 디스플레이 디바이스에서 상기 사용자에게 가상 가이드를 디스플레이하되, 상기 가상 가이드는 적어도 하나의 마커에 대한 특정 위치에서 상기 사용자의 시야 내로 투영되고, 상기 가상 가이드는 하나 또는 2개의 마커가 배치되는 방향을 나타내고, 그리고
    상기 적어도 하나의 추적 카메라로 상기 적어도 2개의 마커의 위치를 결정함으로써
    상기 적어도 2개의 마커의 위치 및 방향을 산출하도록 구성된, 독립식 머리 착용 수술용 내비게이션 시스템.
  41. 독립식 머리 착용 수술용 내비게이션 시스템으로서,
    디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기;
    적어도 하나의 추적 카메라를 갖는 센서 제품군;
    하나 이상의 관심 객체를 추적하기 위해 상기 하나 이상의 관심 객체에 부착된 적어도 2개의 마커; 및
    프로세서 유닛을 포함하고, 상기 프로세서 유닛은,
    상기 센서 제품군으로부터 데이터를 수신하고, 그리고
    적어도 하나의 마커에 대해 특정 위치에서 사용자의 시야 내로 가상 제어부를 투영하고,
    사용자 입력에 기초하여 상기 가상 제어부와 정렬되도록 구성되는 사용자 입력 제어부를 디스플레이하고,
    상기 사용자가 상기 사용자 입력 제어부를 상기 가상 제어부와 정렬시키기 위해 자신의 머리를 돌릴 때, 상기 적어도 2개의 마커가 적어도 상기 적어도 하나의 추적 카메라의 시야에 놓이도록 상기 가상 제어부의 위치를 설정하고,
    상기 사용자 입력 제어부를 상기 가상 제어부와 정렬시킴으로써 상기 가상 제어부를 활성화하고, 그리고
    상기 적어도 하나의 추적 카메라의 시야에서 상기 적어도 2개의 마커를 추적함으로써
    상기 적어도 2개의 마커의 위치를 산출하도록 구성되는, 독립식 머리 착용 수술용 내비게이션 시스템.
  42. 관절 중심을 결정하기 위한 머리 착용 수술용 내비게이션 시스템으로서,
    디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기;
    적어도 하나의 추적 카메라를 갖는 센서 제품군;
    뼈를 추적하기 위해 상기 뼈에 부착된 적어도 하나의 기준 마커로서, 상기 뼈는 상기 뼈가 관절에서 또는 상기 관절에 대해 회전하도록 배치되는, 상기 적어도 하나의 기준 마커;
    상기 관절에 대해 실질적으로 고정되도록 배치된 적어도 하나의 고정식 기준 마커(stationary reference marker); 및
    프로세서 유닛을 포함하고, 상기 프로세서 유닛은,
    기준 좌표 프레임에서 상기 뼈에 지점을 등록하도록;
    상기 등록된 지점에 기초하여 뼈 좌표 프레임을 생성하도록;
    상기 기준 좌표 프레임으로부터 상기 뼈 좌표 프레임으로 변환하도록;
    상기 적어도 하나의 추적 카메라를 사용하여, 상기 기준 프레임에서 상기 적어도 하나의 고정식 마커의 지점을 획득하는 것으로서, 획득 동안, 상기 시각적 디스플레이의 적어도 일부의 위치는 상기 머리 착용 수술용 내비게이션 시스템의 움직임과 동시에 이동하는, 상기 적어도 하나의 고정식 마커의 지점을 획득하도록; 그리고
    상기 뼈 좌표 프레임에서 관절 중심을 결정하도록
    구성되는, 머리 착용 수술용 내비게이션 시스템.
  43. 제42항에 있어서, 결정하는 것은 상기 뼈 좌표계에서 상기 관절 중심의 위치를 계산하는 것을 포함하는, 머리 착용 수술용 내비게이션 시스템.
  44. 제42항에 있어서, 결정하는 것은 상기 관절 중심을 결정하기 위해 최적 추정 필터를 통해 실질적으로 연속적으로 처리하는 것을 포함하는, 머리 착용 수술용 내비게이션 시스템.
  45. 제42항에 있어서, 결정하는 것은 모든 지점을 획득한 후에, 상기 관절 중심을 결정하기 위한 일괄 처리를 포함하는, 머리 착용 수술용 내비게이션 시스템.
  46. 제42항 내지 제45항 중 어느 한 항에 있어서, 상기 뼈는, 대퇴골, 경골, 상완골, 요골, 또는 척추체 중 하나인, 머리 착용 수술용 내비게이션 시스템.
  47. 제42항 내지 제46항 중 어느 한 항에 있어서, 상기 관절은, 고관절, 무릎, 어깨, 팔꿈치, 발목, 또는 척추체 중 하나인, 머리 착용 수술용 내비게이션 시스템.
  48. 제42항 내지 제47항 중 어느 한 항에 있어서, 고정식은 관성 공간에 고정된 것을 더 포함하는, 머리 착용 수술용 내비게이션 시스템.
  49. 절제각을 설정하기 전에 과두 표면(condylar surface)을 등록하는 방법으로서, 상기 방법은 머리 착용 수술용 내비게이션 시스템에 의해 수행되고, 상기 방법은, 프로세서 유닛에 의해 수행되며 그리고,
    상기 머리 착용 수술용 내비게이션 시스템의 디스플레이에, 하나 이상의 영역을 포함하는 타깃을 디스플레이하는 단계;
    상기 디스플레이에서, 실시간으로 과두 가이드(condylar guide)로부터 수신된 하나 이상의 각도를 표현하는 이동 가능한 아이콘을 제공하는 단계;
    상기 타깃에서 상기 하나 이상의 영역에 대해 상기 이동 가능한 아이콘의 위치를 조정하기 위해 하나 이상의 사용자 입력을 수신하는 단계; 및
    상기 디스플레이에, 상기 이동 가능한 아이콘의 위치를 조정하는 동안 상기 이동 가능한 아이콘이 상호 작용하는 상기 타깃의 하나 이상의 영역 중 임의의 것에 대한 시각적 마커를 출력하는 단계
    를 포함하되, 시각적으로 마킹된 영역은 캡처된 유효 깊이 기준 지점을 나타내는, 방법.
  50. 제49항에 있어서, 이전에 캡처된 유효 깊이 기준 지점을 기록하는 것을 방지하기 위해 상기 이동 가능한 아이콘의 이동을 제한하는 단계를 더 포함하는, 방법.
  51. 제49항 또는 제50항에 있어서, 상기 캡처된 유효 깊이 기준 지점이 저장되는 데이터베이스를 형성하는 단계를 더 포함하는, 방법.
  52. 제49항 내지 제51항 중 어느 한 항에 있어서, 상기 타깃은 그리드 또는 불스아이(bullseye)인, 방법.
  53. 제49항 내지 제52항 중 어느 한 항에 있어서, 상기 하나 이상의 영역의 각각은 상기 방법이 상기 디스플레이에, 상기 이동 가능한 아이콘이 강조된 영역과 적어도 부분적으로 중첩할 때까지 상기 사용자에게 상기 과두에 대해 상기 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 순차적으로 강조되는, 방법.
  54. 제49항 내지 제53항 중 어느 한 항에 있어서, 상기 하나 이상의 영역 중 임의의 하나는 상기 방법이 상기 디스플레이에, 상기 이동 가능한 아이콘이 상기 강조된 영역과 적어도 부분적으로 중첩할 때까지 상기 사용자에게 상기 과두에 대해 상기 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 강조되는, 방법.
  55. 제53항 또는 제54항에 있어서, 상기 강조된 영역을 상기 이동 가능한 아이콘과 적어도 부분적으로 중첩시킬 때, 상기 강조된 영역을 비활성화하고 상기 하나 이상의 영역 중 제2 영역을 강조하는 단계를 더 포함하는, 방법.
  56. 제49항 내지 제55항 중 어느 한 항에 있어서, 사용자에게 상기 과두 가이드를 제거하고 절단 가이드를 부착하도록 촉구하는 단계를 포함하는, 방법.
  57. 제56항에 있어서, 상기 절단 가이드에 의해 획정된 현재 절제 평면으로부터 깊이 기준 평면에 대응하는 상기 유효 깊이 기준 지점 중 하나까지의 거리에 기초하여 절제 깊이를 산출하는 단계를 더 포함하는, 방법.
  58. 제49항 내지 제57항 중 어느 한 항에 있어서, 과두 가이드를 제공하는 단계를 더 포함하되, 상기 과두 가이드는,
    제1 단부 및 제2 단부를 갖는 본체;
    상기 제1 단부의 적어도 일부의 측면 영역으로부터 연장되는 적어도 하나의 평면 표면으로서, 하나 이상의 대퇴골 과두에 놓이고 절제 깊이를 산출하기 위한 제로 깊이 평면을 구성하도록 구성되는, 상기 적어도 하나의 평면 표면;
    상기 과두 가이드의 포즈를 추적하기 위해 상기 적어도 하나의 평면 표면에 배치된 적어도 하나의 추적기; 및
    상기 본체의 제2 단부로부터 연장되고 절단 가이드에 결합하도록 구성된 연결기
    를 포함하는, 방법.
  59. 제58항에 있어서, 상기 과두 가이드는 상기 본체의 제1 단부로부터 연장되는 세장형 핸들을 더 포함하는, 방법.
  60. 제58항 또는 제59항에 있어서, 상기 본체는 또한, 뼈 내로 삽입하기 위해 개구를 통해 핀을 수용하도록 구성되는 상기 개구를 획정하는, 방법.
  61. 제60항에 있어서, 상기 개구의 직경은 핀이 상기 개구를 통해 삽입될 때 상기 개구가 상기 과두 가이드가 기울어지는 것을 허용하도록 크기가 조정되는, 방법.
  62. 제58항 내지 제61항 중 어느 한 항에 있어서, 상기 연결기의 반대 방향으로 상기 본체의 제2 단부로부터 연장되는 해제 기구를 더 포함하되, 상기 해제 기구는 상기 절단 가이드를 상기 뼈에 고정하기 전에 상기 과두 가이드를 상기 뼈에 결합하도록 구성되는, 방법.
  63. 제58항 내지 제62항 중 어느 한 항에 있어서, 상기 본체의 제2 단부의 적어도 일부는 상기 연결기 및 상기 해제 기구가 슬라이더의 대향 측면에 삽입되는 상기 슬라이더를 수용하도록 구성된 슬롯을 획정하는, 방법.
  64. 제58항 내지 제63항 중 어느 한 항에 있어서, 상기 적어도 하나의 평면 표면은 대퇴골 과두에 접하는 평면을 시뮬레이팅하도록 구성되는, 방법.
  65. 제49항 내지 제64항 중 어느 한 항에 있어서, 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 상기 하나 이상의 평면 표면에 배치된 상기 하나 이상의 추적기를 사용하여 상기 과두 가이드를 추적하는 단계를 더 포함하는, 방법.
  66. 제49항 내지 제65항 중 어느 한 항에 있어서, 상기 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 상기 절단 가이드에 결합된 상기 과두 가이드를 사용한 후에만 상기 절단 가이드를 고정하는 단계를 더 포함하는, 방법.
  67. 제58항에 있어서, 상기 연결기는 제거 가능한, 방법.
  68. 절제각을 설정하기 전에 과두 표면을 등록하는 방법으로서, 상기 방법은 머리 착용 수술용 내비게이션 시스템에 의해 수행되고, 프로세서 유닛에 의해 수행되며, 그리고
    상기 머리 착용 수술용 내비게이션 시스템의 디스플레이에, 하나 이상의 영역을 포함하는 타깃을 디스플레이하는 단계;
    상기 디스플레이에서, 실시간으로 과두 가이드로부터 수신된 하나 이상의 각도를 수신하고 디스플레이하는 단계;
    상기 타깃에서 상기 하나 이상의 영역에 대해 상기 과두 가이드를 조정하기 위해 하나 이상의 사용자 입력을 수신하는 단계; 및
    상기 디스플레이에, 상기 타깃의 하나 이상의 영역 중 임의의 것에 대한 시각적 마커를 출력하는 단계
    를 포함하되, 상기 시각적으로 마킹된 영역은 캡처된 유효 깊이 기준 지점을 나타내는, 방법.
  69. 제68항에 있어서, 이전에 캡처된 유효 깊이 기준 지점의 기록을 제한하는 단계를 더 포함하는, 방법.
  70. 제68항 또는 제69항에 있어서, 상기 캡처된 유효 깊이 기준 지점이 저장되는 데이터베이스를 형성하는 단계를 더 포함하는, 방법.
  71. 제68항 내지 제70항 중 어느 한 항에 있어서, 상기 타깃은 그리드 또는 불스아이인, 방법.
  72. 제68항 내지 제71항 중 어느 한 항에 있어서, 상기 하나 이상의 영역의 각각은 상기 방법이 상기 디스플레이에, 상기 과두 가이드의 각도가 강조된 영역과 적어도 부분적으로 중첩할 때까지 상기 사용자에게 상기 과두에 대해 상기 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 순차적으로 강조되는, 방법.
  73. 제68항 내지 제72항 중 어느 한 항에 있어서, 상기 하나 이상의 영역 중 임의의 하나는 상기 방법이 상기 디스플레이에, 상기 과두 가이드의 각도가 상기 강조된 영역과 적어도 부분적으로 중첩할 때까지 상기 사용자에게 상기 과두에 대해 상기 과두 가이드를 이동시키라는 명령어를 출력하는 단계를 포함하도록 강조되는, 방법.
  74. 제68항 내지 제73항 중 어느 한 항에 있어서, 상기 강조된 영역을 상기 과두 가이드의 각도와 적어도 부분적으로 중첩시킬 때, 상기 강조된 영역을 비활성화하고 상기 하나 이상의 영역 중 제2 영역을 강조하는 단계를 더 포함하는, 방법.
  75. 제68항 내지 제74항 중 어느 한 항에 있어서, 사용자에게 상기 과두 가이드를 제거하고 절단 가이드를 부착하도록 촉구하는 단계를 포함하는, 방법.
  76. 제68항 내지 제75항 중 어느 한 항에 있어서, 상기 절단 가이드에 의해 획정된 현재 절제 평면으로부터 깊이 기준 평면에 대응하는 상기 유효 깊이 기준 지점 중 하나까지의 거리에 기초하여 절제 깊이를 산출하는 단계를 더 포함하는, 방법.
  77. 제68항 내지 제76항 중 어느 한 항에 있어서, 과두 가이드를 제공하는 단계를 더 포함하되, 상기 과두 가이드는,
    제1 단부 및 제2 단부를 갖는 본체;
    상기 제1 단부의 적어도 일부의 측면 영역으로부터 연장되는 적어도 하나의 평면 표면으로서, 하나 이상의 대퇴골 과두에 놓이고 절제 깊이를 산출하기 위한 제로 깊이 평면을 구성하도록 구성되는, 상기 적어도 하나의 평면 표면;
    상기 과두 가이드의 포즈를 추적하기 위해 상기 적어도 하나의 평면 표면에 배치된 적어도 하나의 추적기; 및
    상기 본체의 제2 단부로부터 연장되고 절단 가이드에 결합하도록 구성된 연결기
    를 포함하는, 방법.
  78. 제77항에 있어서, 상기 과두 가이드는 상기 본체의 제1 단부로부터 연장되는 세장형 핸들을 더 포함하는, 방법.
  79. 제77항 또는 제78항에 있어서, 상기 본체는 또한, 뼈 내로 삽입하기 위해 개구를 통해 핀을 수용하도록 구성되는 상기 개구를 획정하는, 방법.
    [청구항 79]
    제78항에 있어서, 상기 개구의 직경은 핀이 상기 개구를 통해 삽입될 때 상기 개구가 상기 과두 가이드가 기울어지는 것을 허용하도록 크기가 조정되는, 방법.
  80. 제77항 내지 제79항 중 어느 한 항에 있어서, 상기 연결기의 반대 방향으로 상기 본체의 제2 단부로부터 연장되는 해제 기구를 더 포함하되, 상기 해제 기구는 상기 절단 가이드를 상기 뼈에 고정하기 전에 상기 과두 가이드를 상기 뼈에 결합하도록 구성되는, 방법.
  81. 제77항 내지 제80항 중 어느 한 항에 있어서, 상기 본체의 제2 단부의 적어도 일부는 상기 연결기 및 상기 해제 기구가 슬라이더의 대향 측면에 삽입되는 상기 슬라이더를 수용하도록 구성된 슬롯을 획정하는, 방법.
  82. 제77항 내지 제81항 중 어느 한 항에 있어서, 상기 적어도 하나의 평면 표면은 대퇴골 과두에 접하는 평면을 시뮬레이팅하도록 구성되는, 방법.
  83. 제77항 내지 제82항 중 어느 한 항에 있어서, 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 상기 하나 이상의 평면 표면에 배치된 상기 하나 이상의 추적기를 사용하여 상기 과두 가이드를 추적하는 단계를 더 포함하는, 방법.
  84. 제77항 내지 제83항 중 어느 한 항에 있어서, 상기 하나 이상의 유효 깊이 기준 지점을 결정하기 위해 상기 절단 가이드에 결합된 상기 과두 가이드를 사용한 후에만 상기 절단 가이드를 고정하는 단계를 더 포함하는, 방법.
  85. 고관절 중심을 결정하기 위한 머리 착용 수술용 내비게이션 시스템으로서,
    디스플레이 디바이스에 시각적 디스플레이를 생성하기 위한 디스플레이 생성기;
    적어도 하나의 추적 카메라를 갖는 센서 제품군;
    대퇴골을 추적하기 위해 상기 대퇴골에 부착된 적어도 하나의 기준 마커로서, 상기 대퇴골은 상기 대퇴골이 고관절에서 또는 상기 고관절에 대해 회전하도록 배치되는, 상기 적어도 하나의 기준 마커;
    상기 고관절에 대해 실질적으로 고정되도록 배치된 적어도 하나의 고정식 기준 마커; 및
    프로세서 유닛
    을 포함하되, 상기 프로세서 유닛은,
    기준 좌표 프레임에서 상기 대퇴골에 지점을 등록하도록;
    상기 등록된 지점에 기초하여 대퇴골 좌표 프레임을 생성하도록;
    상기 기준 좌표 프레임으로부터 상기 대퇴골 좌표 프레임으로 변환하고;
    상기 적어도 하나의 추적 카메라를 사용하여, 상기 기준 프레임에서 상기 적어도 하나의 고정식 마커의 지점을 획득하되, 획득 동안, 상기 시각적 디스플레이의 적어도 일부의 위치는 상기 머리 착용 수술용 내비게이션 시스템의 움직임과 동시에 이동하는, 상기 적어도 하나의 고정식 마커의 지점을 획득하도록; 그리고
    상기 대퇴골 좌표 프레임에서 고관절 중심을 결정하도록
    구성되는, 머리 착용 수술용 내비게이션 시스템.
  86. 제85항에 있어서, 결정하는 것은 상기 대퇴골 좌표계에서 상기 고관절 중심의 위치를 계산하는 것을 포함하는, 머리 착용 수술용 내비게이션 시스템.
  87. 제85항에 있어서, 결정하는 것은 상기 고관절 중심을 결정하기 위해 최적 추정 필터를 통해 실질적으로 연속적으로 처리하는 것을 포함하는, 머리 착용 수술용 내비게이션 시스템.
  88. 제85항에 있어서, 결정하는 것은 모든 지점을 획득한 후에, 상기 고관절 중심을 결정하기 위한 일괄 처리를 포함하는, 머리 착용 수술용 내비게이션 시스템.
  89. 제85항 내지 제88항 중 어느 한 항에 있어서, 고정식은 관성 공간에 고정된 것을 더 포함하는, 머리 착용 수술용 내비게이션 시스템.
KR1020227030549A 2020-02-10 2021-02-09 의료 시술에서 감각 증강을 위한 시스템 및 방법 KR20220141308A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/786,938 US11071596B2 (en) 2016-08-16 2020-02-10 Systems and methods for sensory augmentation in medical procedures
US16/786,938 2020-02-10
PCT/US2021/017222 WO2021163039A1 (en) 2020-02-10 2021-02-09 Systems and methods for sensory augmentation in medical procedures

Publications (1)

Publication Number Publication Date
KR20220141308A true KR20220141308A (ko) 2022-10-19

Family

ID=77291896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227030549A KR20220141308A (ko) 2020-02-10 2021-02-09 의료 시술에서 감각 증강을 위한 시스템 및 방법

Country Status (6)

Country Link
EP (1) EP4103088A4 (ko)
JP (1) JP2023513692A (ko)
KR (1) KR20220141308A (ko)
CN (1) CN115361916A (ko)
AU (1) AU2021220161A1 (ko)
WO (1) WO2021163039A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230293238A1 (en) * 2022-03-18 2023-09-21 DePuy Synthes Products, Inc. Surgical systems, methods, and devices employing augmented reality (ar) for planning
DE102022107688A1 (de) * 2022-03-31 2023-10-05 Aesculap Ag Tag für Tracking und Navigation eines Medizinprodukts
EP4331664A1 (en) * 2022-08-31 2024-03-06 Vision RT Limited A system for monitoring position of a patient
CN117687221B (zh) * 2024-02-04 2024-04-12 中国民用航空飞行学院 一种基于飞行模拟检查使用的vr眼镜

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7192151B2 (en) * 2004-12-21 2007-03-20 Depuy Products, Inc. Light array for a surgical helmet
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP2019534717A (ja) * 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
US11071596B2 (en) * 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
EP3516630A4 (en) * 2016-09-22 2020-06-03 Magic Leap, Inc. SPECTROSCOPY WITH EXTENDED REALITY

Also Published As

Publication number Publication date
EP4103088A4 (en) 2024-03-20
WO2021163039A1 (en) 2021-08-19
EP4103088A1 (en) 2022-12-21
JP2023513692A (ja) 2023-04-03
CN115361916A (zh) 2022-11-18
AU2021220161A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US20220168051A1 (en) Augmented Reality Assisted Navigation of Knee Replacement
AU2018316092B2 (en) Systems and methods for sensory augmentation in medical procedures
US10398514B2 (en) Systems and methods for sensory augmentation in medical procedures
US11638613B2 (en) Systems and methods for augmented reality based surgical navigation
US20210121237A1 (en) Systems and methods for augmented reality display in navigated surgeries
US20190290297A1 (en) On-board tool tracking system and methods of computer assisted surgery
US10105149B2 (en) On-board tool tracking system and methods of computer assisted surgery
KR20220141308A (ko) 의료 시술에서 감각 증강을 위한 시스템 및 방법
US20050197569A1 (en) Methods, systems, and apparatuses for providing patient-mounted surgical navigational sensors
CN111345896A (zh) 截骨执行系统及定位、控制和模拟执行方法与电子设备
US20230301719A1 (en) Systems and methods for planning screw lengths and guiding screw trajectories during surgery