KR20230049062A - 컴퓨터 지원 중재를 위한 공간 인식 디스플레이 - Google Patents

컴퓨터 지원 중재를 위한 공간 인식 디스플레이 Download PDF

Info

Publication number
KR20230049062A
KR20230049062A KR1020227044189A KR20227044189A KR20230049062A KR 20230049062 A KR20230049062 A KR 20230049062A KR 1020227044189 A KR1020227044189 A KR 1020227044189A KR 20227044189 A KR20227044189 A KR 20227044189A KR 20230049062 A KR20230049062 A KR 20230049062A
Authority
KR
South Korea
Prior art keywords
display device
user
plane
body object
tracked
Prior art date
Application number
KR1020227044189A
Other languages
English (en)
Inventor
나시르 나바브
알렉산더 윙클러
Original Assignee
스트리커 라이빙거 게엠바하 운트 콤파니 카게
테크니컬 유니버시티 오브 뮈니치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스트리커 라이빙거 게엠바하 운트 콤파니 카게, 테크니컬 유니버시티 오브 뮈니치 filed Critical 스트리커 라이빙거 게엠바하 운트 콤파니 카게
Publication of KR20230049062A publication Critical patent/KR20230049062A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/14—Surgical saws ; Accessories therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

컴퓨터 지원 중재를 위한 공간-인식 디스플레이들을 위한 시스템들, 방법들 및 기술들이 본원에 설명되어 있다. 고정 뷰 프러스텀 기술은 디스플레이를 향한 시야를 갖는 가상 카메라를 기반으로 한 관점을 사용하여 디스플레이에 컴퓨터 이미지들을 렌더링하고 디스플레이의 자세를 조정하는 것에 응답하여 가상 카메라의 가상 위치를 자동으로 업데이트한다. 동적 미러 뷰 프러스텀 기술은 디스플레이 장치 뒤에 가상 위치를 갖는 가상 카메라의 시야를 기반으로 한 관점을 사용하여 디스플레이에 컴퓨터 이미지들을 렌더링한다. 가상 카메라의 가상 위치는 디스플레이 장치의 전면에 위치된 사용자 시점의 움직임에 응답하여 동적으로 업데이트된다. 고정 뷰 프러스텀 및 동적 미러 뷰 프러스텀 기술들과 함께 사용하기 위한 슬라이스 시각화 기술들도 본원에 설명되어 있다.

Description

컴퓨터 지원 중재를 위한 공간 인식 디스플레이
관련 출원들에 대한 상호 참조
본 출원은 2020년 6월 9일자로 출원된 미국 임시 특허 출원 번호 제63/036,559호에 대한 우선권을 주장하며, 이에 대한 전체 개시내용은 본원에 참조로서 통합된다.
X선 형광투시법의 초창기에는 방사선 전문의들이 환자를 통과하는 X선 소스에서 나오는 빔에 설치된 형광 핸드헬드 스크린(fluorescent handheld screen)들을 사용했다. 이미지는 그가 생성된 곳에서 직접 관찰되었기 때문에 X선 소스, 환자, 스크린 및 관찰자와 직접적인 상관 관계가 있었다. 이미징 및 디스플레이 기술의 발전으로, 모니터가 배치될 수 있는 모든 위치에서 환자 해부학적 구조의 정적 또는 라이브 이미지들을 보는 것이 가능해졌다. 이는 보다 실용적인 환자 및 디스플레이 포지셔닝 및 중재시술자의 선량 감소의 이점이 있었지만, X선 소스, 환자, 스크린 및 뷰어 사이의 공간 구성에 대한 직관적인 인식은 손실되었다.
본질적으로 3D인 CT 또는 MRI 스캔은 종종 환자의 해부학적 축 또는 기구의 축을 따라 3개의 직교 슬라이스 세트로 시각화된다. 최근에 와서야 3D 이미지들이 종종 슬라이스 시각화와 함께 수술실의 디스플레이들에 렌더링되었다. 이들은 종종 사용자에 의해 정의되고 제어될 수 있는 시점들(viewpoints)의 볼륨 렌더링들인 경우가 많다. 많은 외과의사들은 3D 그래픽 렌더링들보다 2D 이미지들을 선호하는데 이는 외과의사들이 이들을 해석하는 훈련을 잘 받았기 때문이며 따라서 이는 현재 임상 표준을 정의한다.
수술 시 내비게이션은 1990년대 초부터 도입되었으며 다양한 시각화 기술들을 활용한다. 많은 시스템들이 추가 주석과 함께 수술 전 또는 수술 중 데이터 조각들을 표시한다. 이러한 주석들은 수술 시 수행되어야 하는 수술 계획과 관련이 있다. 이러한 주석들은 종종 수술 전 이미지들을 기반으로 외과의가 도달할 수 있는 깊숙한 곳에 위치된 해부학적 표적들과 안전한 경로들을 시각화하려는 시도이다. 이러한 시스템들에서는, 이미지들을 렌더링할 때, 의사의 위치와 디스플레이들의 위치가 고려되지 않는다. 따라서 디스플레이의 위치는 시각화에 영향을 미치지 않으며 관찰자의 위치에도 영향을 미치지 않는다.
일련의 관련 작업을 종종 증강 현실 창(Augmented Reality windows)(AR-창)이라고 한다. 이전 기술들은 헤드 트래커(head tracker)와 스테레오 안경(stereo glasses)을 통합한 의료 현장 증각을 위한 반투명 디스플레이를 추적했다. 이러한 반투명 디스플레이들에는 컴퓨터 디스플레이의 이미지를 반사하는 반은도금 유리판(half-silvered glass pane)이 포함되어 있었다. 다른 사람들은 환자와 외과의사 사이에 반투명 디스플레이를 사용하여 환자 해부학적 구조에 AR 창을 만드는 동일한 문제를 해결했다. 그러나 이러한 선행 기술들은 반은도금 유리판을 능동 매트릭스 LCD로 대체했다. 추후의 시도들은 고 대비(high contrast) 이미지들을 생성하는 두 개의 DLP 프로젝터들의 투영을 거부한 반은도금 유리판으로 다시 문제에 접근했다. 기타 시스템들은 스크린의 위치가 시각화에 영향을 미치는 추적된 모바일 불투명 스크린으로 구성된다. 다시 한번, 이러한 이전 시스템들은 외과의사와 환자 사이에 배치되어 해부학적 구조의 슬라이스 뷰를 보여준다. 그러나 이 시스템에서, 사용자의 관점(perspective)은 고려되지 않는다. 즉, 스크린의 이미지는 의사의 시점과 무관한 2차원에 불과하다.
다른 사람들은 그들의 시점을 바꾸지 않고 환자의 입을 검사하는 치과 의사의 접근 방식에 의해 영감을 받은 AR 시각화를 제시했다. 이러한 기술들은 일부 AR 애플리케이션들에서 객체를 회전시키거나 객체 주위를 움직이는 것이 불가능하다는 것을 확인했다. AR 뷰 내에서 가상 객체들에 대한 2차 관점들을 제공하기 위해 추가 가상 미러링 뷰들을 생성하는 것이 제안되었다. 공간적으로 추적된 조이스틱들은 머리 장착형 장치(head mounted device; HMD)의 AR 뷰 내에서 실제 거울처럼 가상 데이터를 반영하는 가상 거울을 이동시키는 데 활용되었다.
이 요약에서는 하기의 상세한 설명에서 더 설명되는 단순화된 형태의 개념들의 선택을 소개한다. 이 요약은 청구된 주제의 범위를 제한하기 위한 것이 아니며 청구된 주제의 모든 핵심 또는 필수 특징을 반드시 식별하지 않는다.
제1 양태에서, 신체 객체와의 상호작용을 돕기 위한 시스템이 제공되며, 상기 시스템은, 평면을 정의하고 신체 객체의 제1 측에 위치되는 디스플레이 장치; 및 제어 시스템에 결합되고, 신체 객체에 컴퓨터 이미지들을 렌더링하고; 공통 좌표계에서 신체 객체 및 디스플레이 장치의 자세를 추적하고; 신체 객체 및 디스플레이 장치의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하도록 디스플레이 장치를 제어하도록 구성되는 내비게이션 시스템을 포함하며; 렌더링의 관점은 제1 측에 반대되는 신체 객체의 제2 측에 위치된 가상 위치를 갖는 가상 카메라에 기초하고, 가상 카메라는 디스플레이 장치의 평면을 향하는 시야를 갖고, 가상 카메라의 가상 위치는 디스플레이 장치의 자세에 대한 조정에 응답하여 자동으로 업데이트한다.
제2 양태에서, 제1 양태의 시스템의 내비게이션 시스템이 제공된다.
제3 양태에서, 신체 객체와의 상호작용을 돕기 위한 시스템 동작 방법이 제공되며, 상기 시스템은, 평면을 정의하고 신체 객체의 제1 측에 위치되는 디스플레이 장치; 및 제어 시스템에 결합된 내비게이션 시스템을 포함하며, 상기 방법은, 신체 객체에 컴퓨터 이미지들을 등록하는 단계; 공통 좌표계에서 신체 객체 및 디스플레이 장치의 자세를 추적하는 단계; 및 신체 객체 및 디스플레이 장치의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하도록 디스플레이 장치를 제어하는 단계를 포함하며; 렌더링의 관점은 제1 측에 반대되는 신체 객체의 제2 측에 위치된 가상 위치를 갖는 가상 카메라에 기초하고, 가상 카메라는 디스플레이 장치의 평면을 향한 시야를 가지며, 디스플레이 장치의 자세를 조정하는 것에 응답하여 가상 카메라의 가상 위치를 자동으로 업데이트한다.
제4 양태에서, 신체 객체와의 상호작용을 돕기 위한 컴퓨터 프로그램 제품이 제공되며, 상기 컴퓨터 프로그램 제품은 평면을 정의하고 신체 객체의 제1 측에 위치되는 디스플레이 장치 및 제어 시스템에 결합된 내비게이션 시스템을 포함하는 시스템과 함께 사용 가능하고, 상기 컴퓨터 프로그램 제품은, 하나 이상의 프로세서들에 의해 실행 시, 신체 객체에 컴퓨터 이미지들을 등록하고; 공통 좌표계에서 신체 객체 및 디스플레이 장치의 자세를 추적하고; 신체 객체 및 디스플레이 장치의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하도록 디스플레이 장치를 제어하도록 구성되는 명령어들을 포함하며; 렌더링의 관점은 제1 측에 반대되는 신체 객체의 제2 측에 위치된 가상 위치를 갖는 가상 카메라에 기초하고, 가상 카메라는 디스플레이 장치의 평면을 향한 시야를 가지며, 디스플레이 장치의 자세에 대한 조정에 응답하여 가상 카메라의 가상 위치를 자동으로 업데이트한다.
제5 양태에서, 신체 객체와의 상호작용을 돕기 위한 시스템이 제공되며, 상기 시스템은, 평면을 정의하는 디스플레이 장치로서, 신체 객체는 평면의 전면에 위치되는, 상기 디스플레이 장치; 제어 시스템에 결합되고, 신체 객체에 컴퓨터 이미지들을 등록하고; 공통 좌표계에서 신체 객체, 디스플레이 장치 및 사용자 시점의 자세를 추적하고; 신체 객체, 디스플레이 장치 및 사용자 시점의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하기 위한 디스플레이 장치를 제어하도록 구성되는 내비게이션 시스템을 포함하며; 렌더링의 관점은 평면 뒤에 가상 위치를 갖는 가상 카메라의 시야를 기반으로 하고, 가상 카메라의 가상 위치는 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트된다.
제6 양태에서, 제5 양태의 시스템의 내비게이션 시스템이 제공된다.
제7 양태에서, 신체 객체와의 상호작용을 돕기 위한 시스템 동작 방법으로서, 상기 시스템은 평면을 정의하는 디스플레이 장치로서, 신체 객체는 평면의 전면에 위치되는, 상기 디스플레이 장치 및 제어 시스템에 결합된 내비게이션 시스템을 포함하는, 상기 방법에 있어서, 신체 객체에 컴퓨터 이미지들을 등록하는 단계; 공통 좌표계에서 신체 객체, 디스플레이 장치 및 사용자 시점의 자세를 추적하는 단계; 및 신체 객체, 디스플레이 장치 및 사용자 시점의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하기 위한 디스플레이 장치를 제어하는 단계를 포함하며; 렌더링의 관점은 평면 뒤에 가상 위치를 갖는 가상 카메라의 시야를 기반으로 하고, 가상 카메라의 가상 위치는 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트된다.
제8 양태에서, 신체 객체와의 상호작용을 돕기 위한 컴퓨터 프로그램 제품이 제공되며, 평면을 정의하는 디스플레이 장치로서, 신체 객체는 평면의 전면에 위치되는, 상기 디스플레이 장치; 제어 시스템에 결합된 내비게이션 시스템을 포함하는 시스템과 함께 사용 가능하며, 상기 컴퓨터 프로그램 제품은, 하나 이상의 프로세서들에 의해 실행 시, 신체 객체에 컴퓨터 이미지들을 등록하고; 공통 좌표계에서 신체 객체, 디스플레이 장치 및 사용자 시점의 자세를 추적하고; 신체 객체, 디스플레이 장치 및 사용자 시점의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하기 위한 디스플레이 장치를 제어하도록 구성되는 명령어들을 포함하며; 렌더링의 관점은 평면 뒤에 가상 위치를 갖는 가상 카메라의 시야를 기반으로 하고, 가상 카메라의 가상 위치는 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트된다.
제9 양태에서, 신체 객체와의 상호작용을 돕기 위한 시스템, 방법 또는 컴퓨터 프로그램 제품이 제공되며, 평면을 정의하는 디스플레이 장치; 및 제어 시스템에 결합되고, 신체 객체에 컴퓨터 이미지들을 등록하고; 공통 좌표계에서 신체 객체 및 디스플레이 장치의 자세를 추적하고; 신체 객체 및 디스플레이 장치의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하도록 디스플레이 장치를 제어하도록 구성되는 내비게이션 시스템을 포함하며; 렌더링의 관점은 디스플레이 장치의 평면을 향하는 시야를 갖는 가상 카메라에 기초하고, 가상 카메라의 가상 위치는 디스플레이 장치의 자세에 대한 조정에 응답하여 자동으로 업데이트한다.
제10 양태에서, 신체 객체와의 상호작용을 돕기 위한 시스템, 방법 또는 컴퓨터 프로그램 제품이 제공되며, 평면을 정의하는 디스플레이 장치; 제어 시스템에 결합되고, 신체 객체에 컴퓨터 이미지들을 등록하고; 공통 좌표계에서 신체 객체, 디스플레이 장치 및 사용자 시점의 자세를 추적하고; 신체 객체, 디스플레이 장치 및 사용자 시점의 추적된 자세에 따라 등록된 컴퓨터 이미지들을 렌더링하기 위한 디스플레이 장치를 제어하도록 구성되는 내비게이션 시스템을 포함하며; 렌더링의 관점은 가상 카메라의 시야를 기반으로 하고, 가상 카메라의 가상 위치는 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트된다.
상기 양태들 중 어느 하나는 부분적으로 또는 전체적으로 결합될 수 있다.
위의 양태들 중 어느 하나가 개별적으로 또는 조합하여 다음의 구현들 중 어느 하나와 결합될 수 있다:
일 구현에서, 신체 객체의 컴퓨터 이미지들은 3D 모델로부터 도출된다. 일 구현에서, 제어 시스템은 3D 모델의 하나 이상의 슬라이스들을 디스플레이하도록 디스플레이 장치를 제어하도록 구성된다. 일 구현에서, 슬라이스들은 신체 객체 및/또는 디스플레이 장치의 추적된 자세에 따라 디스플레이된다. 일 구현에서, 하나 이상의 슬라이스들은 디스플레이 장치의 평면과 정렬된 평면들에서 슬라이스된다. 일 구현에서, 평면들은 디스플레이 장치에 평행하다. 일 구현에서, 제어 시스템은, 디스플레이 장치의 추적된 자세; 신체 객체의 추적된 자세; 수술 기구의 추적된 자세; 및/또는 사용자 시점의 추적된 자세 중 적어도 하나 이상에 응답하여 하나 이상의 슬라이스들을 다른 슬라이스들로 자동으로 변경하도록 디스플레이 장치를 제어하도록 구성된다.
일 구현에서, 가상 카메라의 가상 위치는 디스플레이 장치의 평면으로부터 미리 결정된 거리에 위치된다. 일 구현에서, 미리 결정된 거리는 자동으로 업데이트된다. 일 구현에서, 미리 결정된 거리는, 디스플레이 장치의 추적된 자세, 신체 객체의 추적된 자세, 수술 툴의 추적된 자세; 사용자 시점의 추적된 자세; 수술 절차의 유형; 및/또는 수술 절차의 특정 단계 중 적어도 하나 이상에 응답하여 자동으로 업데이트한다. 일 구현에서, 미리 결정된 거리는 사용자 입력에 응답하여 수동으로 업데이트된다. 일 구현에서, 미리 결정된 거리는 고정된다.
일 구현에서, 디스플레이 장치의 평면을 기준으로 가상 카메라의 가상 위치의 X-Y 배치는 자동으로 업데이트된다. 일 구현에서, X-Y 배치는 자동으로 업데이트된다. 일 구현에서, X-Y 배치는, 디스플레이 장치의 추적된 자세, 신체 객체의 추적된 자세, 수술 툴의 추적된 자세; 사용자 시점의 추적된 자세; 수술 절차의 유형; 및 수술 절차의 특정 단계 중 적어도 하나 이상에 응답하여 자동으로 업데이트한다. 일 구현에서, 디스플레이 장치의 평면을 기준으로 가상 카메라의 가상 위치의 X-Y 배치는 사용자 입력에 기초하여 수동으로 조정 가능하다. 일 구현에서, 디스플레이 장치의 평면을 기준으로 가상 카메라의 가상 위치의 X-Y 배치가 고정된다.
일 구현에서, 디스플레이 장치의 자세는 수동으로 조정 가능하다. 일 구현에서, 가상 카메라의 가상 위치는 디스플레이 장치의 자세에 대한 수동 조정에 응답하여 자동으로 업데이트한다. 일 구현에서, 하나 이상의 액추에이터들은 디스플레이 장치에 결합된다. 일 구현에서, 제어 시스템은 디스플레이 장치의 자세를 조정하도록 하나 이상의 액추에이터들을 제어하도록 구성된다. 일 구현에서, 입력 장치는 제어 시스템에 결합되고 제어 시스템은 입력 장치로부터 커맨드를 수신하고 커맨드에 따라 디스플레이 장치의 자세를 조정하도록 하나 이상의 액추에이터들을 제어하도록 구성된다. 일 구현에서, 수술 기구는 하나 이상의 추적 가능한 특징들을 포함하고, 내비게이션 시스템은 공통 좌표계에서 수술 기구의 자세를 추적하고 수술 기구의 이미지를 디스플레이하도록 디스플레이 장치를 제어하도록 구성된다. 일 구현에서, 제어 시스템은 수술 기구의 추적된 자세에 기초하여 디스플레이 장치의 자세를 조정하도록 하나 이상의 액추에이터들을 제어하도록 구성된다. 일 구현에서, 시점 추적 시스템은 내비게이션 시스템에 결합되고 공통 좌표계에서 사용자 시점의 자세를 추적하도록 구성된다. 일 구현에서, 제어 시스템은 사용자 시점의 추적된 자세에 기초하여 디스플레이 장치의 자세를 조정하도록 하나 이상의 액추에이터들을 제어하도록 구성된다.
일 구현에서, 라인은 가상 카메라의 가상 위치와 디스플레이 장치의 평면 사이에 정의된다. 일 구현에서, 라인은 디스플레이 장치의 평면을 횡단한다. 일 구현에서, 라인은 디스플레이 장치의 평면에 직교한다. 일 구현에서, 라인은 디스플레이 장치의 기하학적 중심에 도달한다. 일 구현에서, 라인은 디스플레이 장치의 기하학적 중심으로부터 오프셋되는 위치에 도달한다.
일 구현에서, 렌더링의 관점은 디스플레이 장치의 평면을 기준으로 사용자 시점의 추적된 자세와 정렬되도록 자동으로 회전된다. 일 구현에서, 렌더링의 회전은 설명된 투영 행렬에 따라 계산된다. 일 구현에서, 렌더링의 관점은 설명된 다음의
Figure pct00001
에 따라 계산된다.
일 구현에서, 가상 카메라의 시야는 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트된다. 일 구현에서, 디스플레이 장치는 고정된 특징들을 포함하고 가상 카메라의 시야는 경계 특징들을 포함한다. 일 구현에서, 제어 시스템은 고정된 특징들과 일치하도록 경계 특징들에 피트되도록 구성된다. 일 구현에서, 제어 시스템은 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는 가상 카메라의 임의의 주어진 가상 위치에 대해 동일하게 피트된다.
일 구현에서, 공통 좌표계는 X, Y 및 Z 축들을 포함하고, 가상 카메라의 가상 위치 및 사용자 시점의 자세는 X, Y 및 Z 축들 각각을 기준으로 디스플레이 장치의 평면으로부터 등거리이다.
일 구현에서, 가상 카메라의 가상 위치는 디스플레이 장치의 평면을 향해 사용자 시점의 추적된 자세의 움직임에 응답하여 디스플레이 장치의 평면을 향해 이동하도록 자동으로 업데이트된다. 일 구현에서, 가상 카메라의 가상 위치는 디스플레이 장치의 평면에서 멀어지는 사용자 시점의 추적된 자세의 움직임에 응답하여 디스플레이 장치의 평면으로부터 멀리 이동하도록 자동으로 업데이트된다.
일 구현에서, 제어 시스템은 디스플레이 장치의 평면을 향해 사용자 시점의 추적된 자세의 움직임에 응답하여 크기를 증가시키도록 컴퓨터 이미지들을 렌더링한다. 일 구현에서, 제어 시스템은 디스플레이 장치의 평면으로부터 멀어지는 사용자 시점의 추적된 자세의 움직임에 응답하여 크기를 감소시키도록 컴퓨터 이미지들을 렌더링한다.
일 구현에서, 신체 객체의 컴퓨터 이미지들은 3D 모델로부터 도출된다. 일 구현에서, 제어 시스템은 3D 모델의 하나 이상의 슬라이스들을 디스플레이하도록 디스플레이 장치를 제어하도록 구성된다. 일 구현에서, 제어 시스템은 신체 객체, 디스플레이 장치 및/또는 사용자 시점의 추적된 자세에 따라 그렇게 한다.
일 구현에서, 하나 이상의 슬라이스들의 관점은 사용자 시점의 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는 가상 위치를 갖는 가상 카메라의 시야에 기초하여 렌더링된다.
일 구현에서, 제어 시스템은 하나 이상의 슬라이스들을 다른 슬라이스들로 자동으로 변경하도록 디스플레이 장치를 제어하도록 구성된다. 일 구현에서, 제어 시스템은, 사용자 시점의 추적된 자세; 디스플레이 장치의 추적된 자세; 신체 객체의 추적된 자세; 및/또는 수술 기구의 추적된 자세 중 하나 이상에 응답하여 그렇게 한다.
일 구현에서, 내비게이션 시스템은 사용자에 의해 착용되는 머리 장착형 장치를 포함한다. 일 구현에서, 내비게이션 시스템은 머리 장착형 장치의 자세를 추적하도록 구성됨으로써 사용자 시점의 자세를 추적하도록 구성된다. 일 구현에서, 내비게이션 시스템은 카메라를 포함한다. 일 구현에서, 카메라는 사용자를 향하도록 구성된다. 일 구현에서, 내비게이션 시스템은 카메라를 사용하여 사용자의 머리, 얼굴 또는 눈의 자세를 추적하도록 구성됨으로써 사용자 시점의 자세를 추적하도록 구성된다. 일 구현에서, 카메라는 디스플레이 장치에 장착된다. 일 구현에서, 카메라는 다른 장치에 장착된다.
도 1은 본원에 설명된 공간 인식 디스플레이 기술들과 함께 활용될 수 있는 수술 시스템의 일 예를 예시한다.
도 2는 디스플레이된 이미지들의 관점이 디스플레이 장치의 자세 및 디스플레이 장치에 대한 신체 객체(예를 들어, 환자)의 자세에 따라 달라지는 고정 뷰 프러스텀(Fixed View Frustum) 시각화 기술의 한 구현 및 설정의 시뮬레이션된 예시이다.
도 3a는 사용자가 신체 객체의 3D 모델의 시각화를 조정하기 위해 디스플레이 장치를 수동으로 조정하는 것을 예시하는 고정 뷰 프러스텀 시각화 기술의 한 구현의 1인칭 관점에서 취해진 예시적인 실제 예이다.
도 3b 및 3c는 디스플레이 장치의 자세 및 가상 카메라 위치들에 대한 조정을 비교하여 보여주는 고정 뷰 플러스텀 시각화 기술의 한 구현의 시뮬레이션된 예시들을 제공한다.
도 4a 및 도 4b는 객체의 3D 모델의 슬라이스들이 획득되고 디스플레이 장치의 평면과 평행하게 디스플레이 장치에 표시되는 스크린 병렬 슬라이스 시각화 기술(Screen Parallel Slice Visualization technique)의 구현을 예시하는 다이어그램들이다.
도 5a 및 5b는 사용자가 슬라이스가 그에 상응하여 관점을 변경하도록 하는 디스플레이 장치의 자세를 변경하는 것을 비교하여 보여주는 고정 뷰 플러스텀 시각화 기술과 함께 활용되는 스크린 병렬 슬라이스 시각화 기술의 한 구현의 1인칭 관점에서 취해진 예시적인 실제 예들이다.
도 6은 추적된 툴(tool)의 자세에 따라 슬라이스가 신체 객체(예를 들어, 환자)의 3D 모델에 대해 디스플레이되는 스크린 병렬 슬라이스 시각화 기술의 한 구현의 예시적인 실제 예이다.
도 7은 이러한 항목들이 존재하는 실제 좌표계에서 동일한 실제 공간 위치를 모방하기 위해 디스플레이된 이미지들이 서로에 대한 객체, 툴 및 슬라이스의 공간 레이어링(spatial layering)을 설명하도록 수정된 스크린 병렬 슬라이스 시각화 기술의 한 구현의 예시적인 실제 예이다.
도 8은 예를 들어 고정 뷰 프러스텀 시각화 기술과 함께 사용하기 위해 디스플레이 장치의 자세를 조정하도록 구성된 조정 시스템의 한 구현이다.
도 9는 디스플레이된 이미지들이 사용자 시점과 일치하도록 회전 및 크기 조정되도록 하기 위해 디스플레이된 이미지들의 관점이 디스플레이 장치의 자세, 객체의 자세 및 사용자 시점의 자세에 따라 달라지는 동적 미러 뷰 프러스텀 시각화 기술(Dynamic Mirror View Frustum visualization technique)의 한 구현 및 설정의 시뮬레이션된 예시이다.
도 10a 및 10c는 각각의 사용자 시점 및 가상 카메라 위치들의 자세에 대한 3인칭 시점의 변화에서 비교하여 보여주는 동적 미러 뷰 프러스텀 시각화 기술의 한 구현의 시뮬레이션된 예시들을 제공한다.
도 10b 및 10d는 1인칭 관점에서 취해진 바와 같이, 각각 도 10a 및 도 10c의 환경을 예시한다.
도 10e 및 10f는 1인칭 관점에서 취해지고, 사용자의 시점과 일치하도록 디스플레이된 이미지들이 회전 및 크기 조정되도록 하는 디스플레이 장치에 대한 사용자 관점에 대한 변화들을 비교하여 보여주는 동적 미러 뷰 프러스텀 시각화 기술의 한 구현의 예시적인 실제 예들이다.
도 11a 내지 11c는 X,Y,Z 좌표계의 다양한 뷰들에서, 3가지 시나리오들에 대해, 각각의 사용자 시점의 자세 및 가상 카메라 위치들에 대한 변화들 및 사용자의 관점에 정렬되도록 하는 이미지 렌더링의 회전을 비교하여 보여주는 하나의 구현의 동적 미러 뷰 프러스텀 시각화 기술을 예시하는 다이어그램들이다.
도 12a 및 12b는 디스플레이 장치 대해 사용자의 시점을 변경하면 디스플레이된 슬라이스가 사용자 시점에 맞게 관점을 변경하도록 하는 방법을 비교하여 보여주는 동적 미러 뷰 플러스텀 시각화 기술과 함께 활용되는 시점 대면 슬라이스 시각화 기술(Viewpoint Facing Slice Visualization technique)의 한 구현의 1인칭 관점에서 취해진 예시적인 실제 예들이다.
I. 수술 시스템 개요
도 1을 참조하면, 아래의 섹션 II에 설명된 공간 인식 디스플레이들과 함께 활용될 수 있는 수술 시스템(10)이 예시된다. 시스템(10)은 골격(bone) 또는 연조직(soft tissue)을 치료하는 것과 같이, 환자(12)의 타겟 부위 또는 해부학적 체적(A)을 치료하는데 유용하다. 도 1에서, 환자(12)는 수술 절차를 겪고 있다. 도 1의 해부학적 구조는 환자(12)의 대퇴골(F), 골반(PEL) 및 경골(T)을 포함한다. 수술 절차는 조직 제거 또는 다른 형태의 치료를 수반할 수 있다. 치료는 절단, 응고, 조직 병변(lesioning), 다른 현장 조직 치료 등을 포함할 수 있다. 일부 예들에서, 수술 절차는 부분 또는 전체 무릎 또는 고관절 대체 수술, 어깨 대체 수술, 척추 수술, 또는 발목 수술을 포함한다. 일부 예들에서, 시스템(10)은, 단분절, 이분절, 다분절, 또는 전체 무릎 임플란트, 비구 컵 임플란트, 대퇴골 스템(femur stem) 임플란트, 나사(screw), 앵커(anchor), 다른 파스너(fastener) 등을 포함하는 고관절 및 무릎 임플란트와 같은 외과용 임플란트에 의해 대체될 물질을 절단하도록 설계된다. 이러한 유형의 임플란트 중 일부는, "Prosthetic Implant and Method of Implantation"이라는 명칭의 미국 특허 출원 공개 번호 제2012/0330429호에 도시되어 있으며, 그 개시내용이 본원에 참조로 통합된다. 본원에 개시된 시스템(10) 및 기술들은 다른 수술, 수술 또는 비-수술을 수행하는 데 사용될 수 있거나, 산업 애플리케이션들 또는 기타 애플리케이션들에서 사용될 수 있다.
시스템(10)은 수술 로봇이라고도 하는 로봇 조작기(14)를 포함할 수 있다. 조작기(14)는 베이스(base)(16) 및 복수의 링크(link)들(18)을 갖는다. 조작기 카트(manipulator cart)(17)는 조작기(14)가 조작기 카트(17)에 고정되도록 조작기(14)를 지지한다. 링크들(18)은 조작기(14)의 하나 이상의 아암(arm)들(예를 들어, 로봇 아암들)을 집합적으로 형성한다. 링크들(18)은 조작기(14)(예를 들어, 로봇 아암들)의 하나 이상의 아암들을 집합적으로 형성한다. 조작기(14)는 (도 1에 도시된 바와 같은) 직렬 아암 구성, 병렬 아암 구성, 또는 임의의 다른 적합한 조작기 구성을 가질 수 있다. 다른 예들에서, 둘 이상의 조작기(14)가 다수의 아암 구성에서 이용될 수 있다.
도 1에 도시된 예에서, 조작기(14)는 복수의 관절들(J) 및 관절들(J)의 위치 데이터를 결정하기 위해 관절들(J)에 위치된 복수의 관절 인코더들(19)을 포함한다. 단순화를 위해, 도 1에는 단지 하나의 관절 인코더(19)만이 예시되어 있지만, 다른 관절 인코더들(19)이 유사하게 예시될 수 있다. 일 예에 따른 조작기(14)는 조작기(14)에 대해 적어도 6 자유도(degrees of freedom; DOF)를 구현하는 6개의 관절들(J1 내지 J6)을 갖는다. 그러나, 조작기(14)는 임의 개수의 자유도를 가질 수 있고, 임의의 적합한 개수의 관절들(J)을 가질 수 있으며, 여분의 관절들을 가질 수 있다.
조작기(14)는 관절 인코더들(19)을 필요로 할 필요가 없지만, 대안적으로 또는 추가적으로, 하나 이상 또는 각각의 관절(J)에서 모터들 상에 존재하는 모터 인코더들을 이용할 수 있다. 또한, 조작기(14)는 회전식 관절들을 필요로 하지 않지만, 대안적으로 또는 추가적으로, 하나 이상의 프리즘 관절(prismatic joint)들을 이용할 수 있다. 임의의 적절한 조합의 관절 유형들이 고려된다.
조작기(14)의 베이스(16)는 일반적으로 조작기(14)의 다른 컴포넌트들 또는 일반적으로 시스템(10)에 대해 고정된 기준 좌표계를 제공하는 조작기(14)의 일부이다. 일반적으로, 조작기 좌표계(manipulator coordinate system; MNPL)의 원점은 베이스(16)의 고정 기준에서 정의된다. 베이스(16)는 하나 이상의 링크들(18)과 같은 조작기(14)의 임의의 적합한 부분에 대해 정의될 수 있다. 대안적으로 또는 추가적으로, 베이스(16)는 조작기(14)가 카트(17)에 물리적으로 부착되는 것과 같이 조작기 카트(17)에 대해 정의될 수 있다. 일 예에서, 베이스(16)는 관절들(J1 및 J2)의 축들의 교차점에서 정의된다. 따라서, 관절들(J1 및 J2)은 실제로 이동 컴포넌트들이지만, 관절들(J1 및 J2)의 축들의 교차점은 그럼에도 불구하고 가상의 고정 기준 자세이고, 이는 고정 위치 및 배향 기준 모두를 제공하고 조작기(14) 및/또는 조작기 카트(17)에 대해 이동하지 않는다.
일부 예들에서, 조작기(14)는 베이스(16)가 툴의 베이스 부분(예를 들어, 사용자에 의해 자유자재로 유지되는 부분)이고 툴 팁(tool tip)이 베이스 부분에 대해 이동 가능한 핸드헬드(hand-held) 조작기일 수 있다. 베이스 부분은 추적되는 기준 좌표계를 갖고, 툴 팁은 (예를 들어, 모터 및/또는 관절 인코더 및 순방향 운동학적 계산을 통해) 기준 좌표계에 대해 계산되는 툴 팁 좌표계를 갖는다. 툴 팁의 이동은 경로를 따르도록 제어될 수 있는데, 그 이유는 경로에 대한 그의 자세가 결정될 수 있기 때문이다. 이러한 조작기(14)는 "Surgical Instrument Including Housing, A Cutting Accessory that Extends from the Housing and Actuators that Establish the Position of the Cutting Accessory Relative to the Housing"이라는 명칭의, 2012년 8월 31일자로 출원된 미국 특허 번호 제9,707,043호에 도시되어 있으며, 이는 그 전체가 본원에 참조로서 통합된다.
조작기(14) 및/또는 조작기 카트(17)는 조작기 컨트롤러(26), 또는 다른 유형의 제어 유닛을 수용한다. 조작기 컨트롤러(26)는 하나 이상의 컴퓨터들, 또는 조작기(14)의 모션을 지시하는 임의의 다른 적합한 형태의 컨트롤러를 포함할 수 있다. 조작기 컨트롤러(26)는 중앙 처리 유닛(CPU) 및/또는 다른 프로세서들, 메모리(도시되지 않음), 및 스토리지(도시되지 않음)를 가질 수 있다. 조작기 컨트롤러(26)는 후술되는 바와 같이 소프트웨어가 로딩된다. 프로세서들은 조작기(14)의 동작을 제어하기 위한 하나 이상의 프로세서들을 포함할 수 있다. 프로세서들은 임의의 유형의 마이크로프로세서, 멀티-프로세서, 및/또는 멀티-코어 처리 시스템일 수 있다. 조작기 컨트롤러(26)는 추가적으로 또는 대안적으로, 하나 이상의 마이크로컨트롤러들, 필드 프로그래머블 게이트 어레이들, 칩 상의 시스템들, 이산 회로부, 및/또는 본원에 설명된 기능들을 수행할 수 있는 기타 적절한 하드웨어, 소프트웨어, 또는 펌웨어를 포함할 수 있다. 프로세서라는 용어는 임의의 구현예를 단일 프로세서로 제한하려는 것이 아니다. 조작기(14)는 또한 하나 이상의 디스플레이들 및/또는 입력 장치들(예를 들어, 푸시 버튼들, 센서들, 스위치들, 키보드, 마우스, 마이크로폰(음성 활성화), 제스처 제어 장치들, 터치스크린들, 조이스틱들, 풋 페달들 등)를 갖는 사용자 인터페이스(user interface; UI)를 포함할 수 있다.
수술 툴(20)은 조작기(14)에 결합되고 특정 모드들에서 해부학적 구조와 상호작용하도록 베이스(16)에 대해 이동 가능하다. 툴(20)은 특정 실시예들에서 조작기(14)에 의해 지지되는 엔드 이펙터(end effector)(22)의 일부이거나 그 일부를 형성한다. 툴(20)은 사용자에 의해 파지될 수 있다. 조작기(14) 및 툴(20)의 하나의 가능한 배열은, 2013년 8월 2일자로 출원된, "Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes"이라는 명칭의 미국 특허 번호 제9,119,655호에 기재되어 있으며, 그 개시내용은 본원에 참조로서 통합된다. 조작기(14) 및 툴(20)은 대안적인 구성으로 배열될 수 있다. 툴(20)은, 2014년 3월 15일자로 출원된, "End Effector of a Surgical Robotic Manipulator"이라는 명칭의 미국 특허 출원 공개 번호 제2014/0276949호에 도시된 것과 유사할 수 있으며, 이는 본원에 참조로서 통합된다. 조작자(14) 및 툴(20)에 추가하여 또는 대안으로 별도의 핸드-헬드 수술 툴들이 이용될 수 있다.
툴(20)은 타겟 부위에서 환자(12)의 조직과 접촉하도록 설계된 에너지 어플리케이터(energy applicator)(24)를 포함한다. 일 예에서, 에너지 어플리케이터(24)는 버(bur)(25)이다. 버(25)는 구형일 수 있고, 구형 중심, 반경(r) 및 직경을 포함할 수 있다. 대안적으로, 에너지 어플리케이터(24)는 드릴 비트(drill bit), 톱날(saw blade)(27)(도 1의 대안적인 툴 참조), 초음파 진동 팁(tip) 등일 수 있다. 툴(20) 및/또는 에너지 어플리케이터(24)는 임의의 기하학적 특징, 예를 들어, 둘레, 원주, 반경, 직경, 폭, 길이, 체적, 면적, 표면/평면, (임의의 하나 이상의 축을 따른) 모션 엔벨로프(motion envelope)의 범위 등을 포함할 수 있다. 기하학적 특징은 원하는 치료를 수행하기 위해 타겟 부위에서 조직에 대해 툴(20)을 위치시킬 방법을 결정하기 위해 고려될 수 있다. 본원에 설명된 실시예들 중 일부에서, 툴 중심점(tool center point; TCP)을 갖는 구형 버 및 TCP를 갖는 시상(sagittal) 톱날이 설명의 편의 및 용이함을 위해 설명될 것이지만, 툴(20)을 임의의 특정 형태로 제한하려는 것은 아니다.
툴(20)은 툴(20)에 대한(예를 들어, 툴(20)의 회전식 모터와 같은 툴 드라이브에 대한) 전력을 제어하고, 출(20)의 이동을 제어하고, 툴(20)의 관주(irrigation)/흡인(aspiration)을 제어하는 등과 같이, 툴(20)의 동작을 제어하기 위한 툴 컨트롤러(21)를 포함할 수 있다. 툴 컨트롤러(21)는 조작기 컨트롤러(26) 또는 다른 컴포넌트들과 통신할 수 있다. 툴(20)은 또한 툴 컨트롤러(21), 조작기 컨트롤러(26) 및/또는 본원에 설명된 다른 컨트로러들에 결합되는 하나 이상의 디스플레이 및/또는 입력 장치들(예를 들어, 푸시 버튼들, 트리거들, 센서들, 스위치들, 키보드, 마우스, 마이크로폰(음성 활성화), 제스처 제어 장치들, 터치스크린들, 조이스틱들, 풋 페달들 등)을 갖는 사용자 인터페이스(UI)를 포함할 수 있다. 조작기 컨트롤러(26)는 조작기 좌표계(MNPL)와 같은 좌표계에 대해 툴(20)의(예를 들어, TCP의) 상태(예를 들어, 위치 및/또는 배향)를 제어한다. 조작기 컨트롤러(26)는 툴(20)의 모션의 속도(선형 또는 각도), 가속도, 또는 다른 도함수들을 제어할 수 있다.
일 예에서, 툴 중심점(TCP)은 에너지 어플리케이터(24)에서 정의된 미리 결정된 기준점이다. TCP는 다른 좌표계들에 대해 알려진 또는 계산될 수 있는(즉, 반드시 정적일 필요는 없는) 자세를 갖는다. 에너지 어플리케이터(24)의 기하학적 구조는 TCP 좌표계에서 알려지거나 이에 대해 정의된다. TCP는 툴(20)의 버(25)의 구형 중심에 또는 톱날(27)의 원위 단부에 위치되어, 단지 하나의 지점만이 추적될 수 있도록 한다. TCP는 에너지 어플리케이터(24)의 구성에 따라 다양한 방식들로 정의될 수 있다. 조작기(14)는 TCP의 자세가 결정될 수 있도록 관절/모터 인코더들, 또는 임의의 다른 비-인코더 위치 감지 방법을 사용할 수 있다. 조작기(14)는 관절 측정들을 사용하여 TCP 자세를 결정할 수 있고/있거나 기술들을 사용하여 TCP 자세를 직접 측정할 수 있다. 툴(20)의 제어는 중심점으로 제한되지 않는다. 예를 들어, 임의의 적합한 프리미티브(primitive), 메시(mesh) 등이 툴(20)을 나타내는데 사용될 수 있다.
시스템(10)은 내비게이션 시스템(32)을 더 포함한다. 내비게이션 시스템(32)의 일 예는, 2013년 9월 24일자로 출원된 "Navigation System Including Optical and Non-Optical Sensors"이라는 명칭의 미국 특허 번호 제9,008,757호에 기술되어 있으며, 이는 본원에 참조로서 통합된다. 내비게이션 시스템(32)은 다양한 객체들의 이동을 추적한다. 이러한 객체들은 예를 들어 조작기(14), 툴(20) 및 해부학적 구조, 예를 들어 대퇴골(F), 골반(PEL) 및 경골(T)을 포함한다. 내비게이션 시스템(32)은 (내비게이션) 로컬라이저 좌표계(localizer coordinate system; LCLZ)에 대해 객체들의 상태 정보를 수집하기 위해 이들 객체들을 추적한다. 로컬라이저 좌표계(LCLZ)에서의 좌표들은 변환을 사용하여 조작기 좌표계(manipulator coordinate system; MNPL)로, 다른 좌표계로, 및/또는 그 반대로 변환될 수 있다.
내비게이션 시스템(32)은 내비게이션 컨트롤러(36) 및/또는 다른 유형의 제어 유닛들을 수용하는 카트 어셈블리(34)를 포함할 수 있다. 내비게이션 사용자 인터페이스(UI)는 내비게이션 컨트롤러(36)와 동작가능하게 통신한다. 내비게이션 사용자 인터페이스는 하나 이상의 디스플레이들(38)을 포함한다. 내비게이션 시스템(32)은 하나 이상의 디스플레이들(38)을 사용하여 사용자에게 추적된 객체들의 상대적 상태들의 그래픽 표현을 디스플레이할 수 있다. 내비게이션 사용자 인터페이스(UI)는 내비게이션 컨트롤러(36)에 정보를 입력하거나 내비게이션 컨트롤러(36)의 특정 양태들을 선택/제어하기 위한 하나 이상의 입력 장치들을 더 포함한다. 이러한 입력 장치들은 인터랙티브(interactive) 터치스크린 디스플레이들을 포함한다. 그러나, 입력 장치들은 푸시 버튼들, 키보드, 마우스, 마이크로폰(음성 활성화), 제스처 제어 장치들, 풋 페달들 등 중 어느 하나 이상을 포함할 수 있다.
내비게이션 시스템(32)은 또한 내비게이션 컨트롤러(36)에 결합된 내비게이션 로컬라이저(navigation localizer)(44)를 포함한다. 일 예에서, 로컬라이저(44)는 광학 로컬라이저이고 카메라 유닛(46)을 포함한다. 카메라 유닛(46)은 하나 이상의 광학 센서들(50)을 수용하는 외부 케이싱(48)을 갖는다. 로컬라이저(44)는 자신의 로컬라이저 컨트롤러(49)를 포함할 수 있으며 비디오 카메라(VC)를 더 포함할 수 있다.
내비게이션 시스템(32)은 하나 이상의 추적기들을 포함한다. 일 예에서, 추적기들은 포인터 추적기(pointer tracker; PT), 하나 이상의 조작기 추적기들(52A, 52B), 제1 환자 추적기(54), 제2 환자 추적기(55) 및 제3 환자 추적기(56)를 포함한다. 도 1의 예시된 예에서, 조작기 추적기는 툴(20)(즉, 추적기(52A))에 견고하게 부착되고, 제1 환자 추적기(54)는 환자(12)의 대퇴골(F)에 견고하게 부착되며, 제2 환자 추적기(55)는 환자(12)의 골반(PEL)에 견고하게 부착되고, 제3 환자 추적기(56)는 환자(12)의 경골(T)에 견고하게 부착된다. 이 예에서, 환자 추적기들(54, 55, 56)은 골격의 섹션들에 견고하게 부착된다. 포인터 추적기(PT)는 로컬라이저 좌표계(LCLZ)에 대한 해부학적 구조를 등록하기 위해 사용되는 포인터(P)에 견고하게 부착된다. 조작기 추적기(52A, 52B)는 툴(20)에 부가하여, 또는 툴 이외의, 조작기(14)의 임의의 적합한 컴포넌트, 예컨대 베이스(16)(즉, 추적기(52B)), 또는 조작기(14)의 임의의 하나 이상의 링크들(18)에 부착될 수 있다. 추적기들(52A, 52B, 54, 55, 56, PT)은 임의의 적합한 방식으로 각각의 컴포넌트들에 고정될 수 있다. 예를 들어, 추적기들은 그것이 연관되어 있는 객체에 대한 그 각각의 추적기의 관계(측정)를 결정하는 적절한(보충) 방식이 존재하는 한, 견고하게 고정되거나, 유연하게 연결되거나(광섬유), 또는 물리적으로 이격(예를 들어, 초음파)될 수 있다.
추적기들 중 임의의 하나 이상은 활성 마커(active marker)들(58)을 포함할 수 있다. 활성 마커들(58)은 발광 다이오드들(LED들)을 포함할 수 있다. 대안적으로, 추적기들(52A, 52B, 54, 55, 56, PT)는 카메라 유닛(46)으로부터 방출된 광을 반사하는 반사기들과 같은 수동 마커들을 가질 수 있다. 본원에 구체적으로 기술되지 않은 다른 적절한 마커들이 이용될 수 있다.
로컬라이저(44)는 추적기들(52A, 52B, 54, 55, 56, PT)을 추적하여, 추적기들(52A, 52B, 54, 55, 56, PT)의 상태를 결정하며, 이는 각각 그에 부착된 객체의 상태에 대응한다. 로컬라이저(44)는 추적기들(52, 54, 55, 56, PT) 및 연관된 객체들의 상태들을 결정하기 위해 공지된 삼각측량 기술들을 수행할 수 있다. 로컬라이저(44)는 추적기들(52A, 52B, 54, 55, 56, PT)의 상태를 내비게이션 컨트롤러(36)에 제공한다. 일 예에서, 내비게이션 컨트롤러(36)는 추적기들(52A, 52B, 54, 55, 56, PT)의 상태를 결정하고 조작기 컨트롤러(26)에 전달한다. 본원에 사용된 바와 같이, 객체의 상태는, 이에 제한되는 것은 아니나, 추적된 객체의 위치 및/또는 배향 또는 위치 및/또는 배향의 등가물들/파생물들을 정의하는 데이터를 포함한다. 예를 들어, 상태는 객체의 자세일 수 있으며, 선형 속도 데이터 및/또는 각속도 데이터 등을 포함할 수 있다.
내비게이션 컨트롤러(36)는 하나 이상의 컴퓨터들, 또는 임의의 다른 적합한 형태의 컨트롤러를 포함할 수 있다. 내비게이션 컨트롤러(36)는 중앙 처리 유닛(CPU) 및/또는 다른 프로세서들, 메모리(도시되지 않음), 및 스토리지(도시되지 않음)를 갖는다. 프로세서는 임의의 유형의 프로세서, 마이크로프로세서 또는 멀티-프로세서 시스템일 수 있다. 내비게이션 컨트롤러(36)는 소프트웨어가 로딩된다. 예를 들어, 소프트웨어는 로컬라이저(44)로부터 수신된 신호들을 추적되는 객체들의 위치 및 배향을 나타내는 데이터로 변환한다. 내비게이션 컨트롤러(36)는 추가로 또는 대안으로, 하나 이상의 마이크로컨트롤러들, 필드 프로그래머블 게이트 어레이들, 칩 상의 시스템들, 이산 회로부, 및/또는 본원에 설명된 기능들을 수행할 수 있는 기타 적절한 하드웨어, 소프트웨어, 또는 펌웨어를 포함할 수 있다. 프로세서라는 용어는 단일 프로세서로 임의의 구현을 제한하기 위한 것이 아니다.
객체 상태들을 결정하기 위해 삼각측량 기술들을 이용하는 내비게이션 시스템(32)의 일 예가 도시되어 있지만, 내비게이션 시스템(32)은 조작기(14), 툴(20), 및/또는 환자(12)를 추적하기 위한 임의의 다른 적합한 구성을 가질 수 있다. 다른 예에서, 내비게이션 시스템(32) 및/또는 로컬라이저(44)는 초음파 기반이다. 예를 들어, 내비게이션 시스템(32)은 내비게이션 컨트롤러(36)에 결합된 초음파 이미징 장치를 포함할 수 있다. 초음파 이미징 장치는 전술한 객체들 중 어느 하나, 예를 들어 조작기(14), 툴(20), 및/또는 환자(12)를 이미징하고, 초음파 이미지들에 기초하여 내비게이션 컨트롤러(36)에 대한 상태 신호들을 생성한다. 초음파 이미지들은 2-D, 3-D, 또는 둘 모두의 조합일 수 있다. 내비게이션 컨트롤러(36)는 거의 실시간으로 이미지들을 처리하여 객체들의 상태들을 판단할 수 있다. 초음파 이미징 장치는 임의의 적합한 구성을 가질 수 있고, 도 1에 도시된 바와 같이 카메라 유닛(46)과 상이할 수 있다.
다른 예에서, 내비게이션 시스템(32) 및/또는 로컬라이저(44)는 무선 주파수(RF) 기반이다. 예를 들어, 내비게이션 시스템(32)은 내비게이션 컨트롤러(36)에 결합된 RF 트랜시버를 포함할 수 있다. 조작기(14), 툴(20), 및/또는 환자(12)는 그에 부착된 RF 이미터들 또는 트랜스폰더들을 포함할 수 있다. RF 이미터들 또는 트랜스폰더들은 수동적이거나 능동적으로 통전될 수 있다. RF 트랜시버는 RF 추적 신호를 전송하고, RF 이미터들로부터 수신된 RF 신호들에 기초하여 내비게이션 컨트롤러(36)에 상태 신호들을 생성한다. 내비게이션 컨트롤러(36)는 수신된 RF 신호들을 분석하여 그에 대한 상대적인 상태들을 연관시킬 수 있다. RF 신호들은 임의의 적절한 주파수일 수 있다. RF 트랜시버는 RF 신호들을 효과적으로 사용하여 객체들을 추적하기 위해 임의의 적절한 위치에 포지셔닝될 수 있다. 또한, RF 이미터들 또는 트랜스폰더들은 도 1에 도시된 추적기들(52A, 52B, 54, 55, 56, PT)과 매우 상이할 수 있는 임의의 적합한 구조적 구성을 가질 수 있다.
또 다른 예에서, 내비게이션 시스템(32) 및/또는 로컬라이저(44)는 전자기 기반이다. 예를 들어, 내비게이션 시스템(32)은 내비게이션 컨트롤러(36)에 결합된 EM 트랜시버를 포함할 수 있다. 조작기(14), 툴(20) 및/또는 환자(12)는 임의의 적합한 자기 추적기, 전자기 추적기, 유도 추적기 등과 같은, 그에 부착된 EM 컴포넌트들을 포함할 수 있다. 추적기들은 수동적이거나 능동적으로 통전될 수 있다. EM 트랜시버는 EM 필드를 생성하고, 추적기들로부터 수신된 EM 신호들에 기초하여 내비게이션 컨트롤러(36)에 상태 신호들을 생성한다. 내비게이션 컨트롤러(36)는 수신된 EM 신호들을 분석하여 그에 대한 상대적인 상태들을 연관시킬 수 있다. 다시, 이러한 내비게이션 시스템(32) 예들은 도 1에 도시된 내비게이션 시스템(32) 구성과 상이한 구조적 구성들을 가질 수 있다.
내비게이션 시스템(32)은 본원에 구체적으로 인용되지 않은 임의의 다른 적합한 컴포넌트들 또는 구조를 가질 수 있다. 또한, 도시된 내비게이션 시스템(32)에 대해 위에서 설명된 기술들, 방법들, 및/또는 컴포넌트들 중 어느 하나는 본원에 설명된 내비게이션 시스템(32)의 다른 예들 중 어느 하나에 대해 구현되거나 제공될 수 있다. 예를 들어, 내비게이션 시스템(32)은 단지 관성 추적 또는 추적 기술들의 임의의 조합을 이용할 수 있고, 추가적으로 또는 대안적으로 광섬유 기반 추적, 머신 비전 추적 등을 포함할 수 있다. 우리의 특정 구현에서, 광학적 IR 추적이 활용되지만, 본원에 설명된 개념들 및 기술들은 임의의 충분히 정확한 6D 추적 기술과 함께 작동하도록 활용될 수 있다. 또한, 기존 수술용 내비게이션 시스템들에는 수술 전 환자에게 수술 전 이미지 데이터와 수술 계획들을 등록하기 위한 적절한 방법들이 이미 포함되어 있다고 가정한다.
시스템(10)은 다른 컴포넌트들 중에서, 조작기 컨트롤러(26), 내비게이션 컨트롤러(36), 및 툴 컨트롤러(21) 중 어느 하나 이상을 포함하는 제어 시스템(60)을 포함한다. 제어 시스템(60)은 하나 이상의 소프트웨어 프로그램들 및 소프트웨어 모듈들을 포함한다. 소프트웨어 모듈들은 시스템(10)의 제어를 돕기 위해 데이터를 처리하기 위해 조작기 컨트롤러(26), 내비게이션 컨트롤러(36), 툴 컨트롤러(21), 또는 이들의 임의의 조합 상에서 동작하는 프로그램 또는 프로그램들의 일부일 수 있다. 소프트웨어 프로그램들 및/또는 모듈들은 컨트롤러들(21, 26, 36)의 하나 이상의 프로세서들(70)에 의해 실행되도록 조작기 컨트롤러(26), 내비게이션 컨트롤러(36), 툴 컨트롤러(21), 또는 이들의 조합 상의 비일시적 메모리(64)에 저장된 컴퓨터 판독가능 명령어들을 포함한다. 메모리(64)는 RAM, 비휘발성 메모리 등과 같은 메모리의 임의의 적합한 구성일 수 있고, 로컬로 또는 원격 데이터베이스로부터 구현될 수 있다. 추가적으로, 사용자에게 프롬프트를 보내고/보내거나 사용자와 통신하기 위한 소프트웨어 모듈들은 프로그램 또는 프로그램들의 일부를 형성할 수 있고, 조작기 컨트롤러(26), 내비게이션 컨트롤러(36), 툴 컨트롤러(21), 또는 이들의 임의의 조합 상의 메모리(64)에 저장된 명령어들을 포함할 수 있다. 사용자는 소프트웨어 모듈들과 통신하기 위해 내비게이션 사용자 인터페이스(UI) 또는 다른 사용자 인터페이스(UI)의 입력 장치들 중 어느 하나와 상호작용할 수 있다. 사용자 인터페이스 소프트웨어는 조작기 컨트롤러(26), 내비게이션 컨트롤러(36), 및/또는 툴 컨트롤러(21)와 별개의 장치 상에서 실행될 수 있다.
제어 시스템(60)은 본원에 설명된 기능들 및 방법들을 수행하기에 적합한 입력, 출력, 및 처리 장치들의 임의의 적합한 구성을 포함할 수 있다. 제어 시스템(60)은 조작기 컨트롤러(26), 내비게이션 컨트롤러(36), 또는 툴 컨트롤러(21), 또는 이들의 임의의 조합을 포함할 수 있거나, 이들 컨트롤러들 중 하나만을 포함할 수 있다. 이러한 컨트롤러들은 유선 버스 또는 통신 네트워크를 통해, 무선 통신을 통해, 또는 다른 방식으로 통신할 수 있다. 제어 시스템(60)은 또한 컨트롤러로 지칭될 수 있다. 제어 시스템(60)은 하나 이상의 마이크로컨트롤러들, 필드 프로그래머블 게이트 어레이들, 칩 상의 시스템들, 이산 회로부, 센서들, 디스플레이들, 사용자 인터페이스들, 표시기들 및/또는 본원에 설명된 기능들을 수행할 수 있는 기타 적절한 하드웨어, 소프트웨어, 또는 펌웨어를 포함할 수 있다.
II. 공간-인식 디스플레이 기술
컴퓨터 지원 중재를 위한 공간-인식 디스플레이들과 관련된 시스템들, 방법들 및 기술들이 본원에 설명되어 있다. 새로운 디스플레이 및 시각적 상호 작용 패러다임이 제시되며, 이는 사용자(예를 들어, 외과의) 시점, 신체 객체(예를 들어, 환자), 2D 및 3D 데이터(예를 들어, 수술 전/수술 중 환자 데이터) 및 컴퓨터 지원 중재 중 툴들 사이의 공간 변환들을 이해하는 복잡도를 줄이는 것을 목표로 한다. 예를 들어 외과용 내비게이션 시스템들에서, 중재적 디스플레이는 환자와 외과의의 시야 모두에 등록될 수 있다. 이 기술을 사용하면, 외과의는 추가 디스플레이 또는 직접 뷰 확대(direct view augmentation)의 임의의 필요성과 관계없이 환자에게 자신의 직접 뷰를 유지할 수 있다. 일부 구현들에서, 수술실에서 사용되는 모니터는 환자와 외과의의 시점에 등록된다. 이를 통해 의사들은 툴들 및 환자에 대한 자신의 뷰를 환자 데이터의 가상 표현과 손쉽게 연결시킨다. 환자와 그/그녀의 작업 공간에 대한 외과의의 직접 뷰는 변경되지 않은 상태로 유지될 수 있다. 디스플레이의 위치와 배향은 시각화 파이프라인의 중요한 부분을 차지한다. 따라서, 디스플레이의 자세는 환자, 기구, 및 일부 구현들에서는 외과의의 머리와 같은 다른 관심 객체들에 대해 동적으로 추적된다. 그런 다음 이 정보는 이미지 유도 수술 시각화 사용자 인터페이스에 대한 입력으로 사용된다.
적어도 두 개의 구현들이 제시된다. 첫 번째는 디스플레이의 자세를 환자 및 툴들과 관련시키는 "고정 뷰 프러스텀(Fixed View Frustum)"을 사용한다. 고정 뷰 프러스텀 기술의 경우, 예를 들어 추적 마커를 부착하고 물리적 디스플레이와 추적 마커 사이의 공간 관계를 교정함으로써 디스플레이가 추적된다.
두 번째는 미러 메타포를 기반으로 하며 첫 번째 기술을 확장하여 시각화 파이프라인 내에서 외과의의 머리의 자세를 추가 파라미터로서 통합하며, 이 경우 디스플레이는 "동적 미러 뷰 프러스텀(Dynamic Mirror View Frustum)"과 연관될 것이다. 동적 미러 뷰 프러스텀의 시각화 기술들을 위해 외과의의 시점이 추적된다. 외과의의 시점 추정은 머리 추적 타겟을 사용하거나 기존 비디오 기반 머리 자세 추정 알고리즘들과 함께 수술용 디스플레이에 카메라를 장착하여 달성될 수 있다. 공통 글로벌 좌표계에서 추적 정보가 사용할 수 있게 되면, 추적된 엔티티들의 공간 관계들에서 관련 변환들을 유도하여 환자, 수술용 디스플레이, 툴들 및 외과의의 시점 사이의 공간 관계를 계산할 수 있다.
이러한 새로운 디스플레이 및 시각적 탐색 패러다임들은 컴퓨터 지원 중재 동안 사용자의 시점, 신체 객체(O), 수술 전/수술 중 2D 및 3D 데이터, 수술 툴들(110, 20) 사이의 공간 변환들을 이해하는 복잡도를 현재 설정에서 최소한의 변경으로 줄이는 것을 목표로 한다. 모든 수술 추적 시스템은 디스플레이, 툴 및 컴퓨터 지원 중재 시스템들로의 통합을 지원하는 사용자의 머리를 추적하는 데 사용될 수 있다. 제시된 솔루션들을 통해 의사들은 툴들과 환자의 뷰를 수술 모니터들의 가상 데이터와 손쉽게 관련시킨다. 사용자들은 마우스나 조이스틱과 같은 상호 작용 장치의 필요성과는 무관하게 뷰잉 위치를 직관적으로 이동하고 환자 위치와 관련하여 다른 관점에서 이를 관찰함으로써 환자 데이터와 상호 작용할 수 있는 가능성을 얻는다.
A. 고정 뷰 프러스텀 시각화 기술
도 2 내지 8을 참조하면, 수술 시스템(10)이 이용될 수 있는 하나의 예시적인 시각화 방법은 신체 객체(O)와의 사용자 상호작용을 돕기 위한 고정 뷰 프러스텀(Fixed View Frustum; FVF)를 포함한다. 신체 객체(O)는, 도면들에 도시된 바와 같이, 신체의 해부학적 구조일 수 있거나, 수술 장치, 로봇 장치, 해부학적 구조의 수술 훈련 모델 등과 같이, 상호 작용, 설정 또는 중재를 필요로 하는 임의의 다른 객체일 수 있다. 단순화를 위해, 신체의 해부학적 구조가 객체로서 도시되어 있지만, 개념은 이로 제한되는 것은 아니다.
하나 이상의 외부 스크린(들) 또는 디스플레이 장치(들)(100)이 제공된다. 이러한 디스플레이 장치들(100)은 내비게이션 카트(34) 어셈블리 상의 디스플레이들(38) 또는 사용자로부터 이격되고 사용자에 의해 착용되지 않는 임의의 다른 외부 디스플레이일 수 있다. 디스플레이 장치(100)는, 이에 제한되는 것은 아니나, LED, LCD, OLED, 터치스크린, 홀로그래픽을 포함하고; 임의 유형의 이미지를 디스플레이 할 수 있는, 임의의 적절한 유형의 디스플레이일 수 있다. 디스플레이 장치(100)는 또한 직사각형, 정사각형, 원형 등을 포함하는 임의의 적절한 기하학적 형상을 취할 수 있다.
사용하는 동안, 디스플레이 장치(들)(100)는 사용자가 위치된 측(S2)과 반대되는 신체 객체(O) 측(S1)에 위치된다. 즉, 신체 객체(O)는 사용자의 시점(V)과 디스플레이 장치(100) 사이에 있다. 따라서, 본원에서 이용되는 디스플레이 장치(100)는 사용자의 시점(V)과 객체(O) 사이에 있는 머리 장착형 디스플레이들 또는 태블릿 스크린들과 구별된다. 여기서, 신체 객체(O)는 단지 예시를 위한 가상 표현으로 표시된다.
물론, 사용자가 신체 객체(O)와 디스플레이 장치(100) 사이를 이동하는 것이 금지되는 것은 아니다. 그러나, 공간 인식 디스플레이의 구현은 외과의가 현재 위치된 쪽에서 신체 객체(O)를 시각화하고 일반적으로 외과의에게 반대쪽에 있는 신체 객체(O) 쪽이 반전된 관점을 제공한다는 실제 현실을 고려한다. 이는 디스플레이 장치(100)를 정면으로 향하는 가상 카메라의 시야와 관련하여 아래에서 더 이해될 것이다.
디스플레이 장치(100)는 평면(P)을 정의한다. 평면(P)은 디스플레이 장치(100)의 실제 전면과 평행하거나 일치하도록 정의된다. 여기서, 평면(P)은 후술되는 바와 같이 계산 목적으로 활용되는 가상 객체이다. 본원에 설명된 임의의 하나 이상의 컨트롤러들을 포함하는 내비게이션 시스템(32)을 포함하는 제어 시스템(60)은 컴퓨터 이미지들(R)을 신체 객체(O)에 등록하도록 구성된다. 신체 객체(O)의 등록은 어떤 기술에도 제한되지 않으며 신체 객체(O)의 디지털화, 비접촉 등록(예를 들어, 초음파), 이미징 장치(예를 들어, CT, X선) 등을 이용한 2D/3D 이미지 등록 등을 포함하는 임의의 적절한 방법에 따라 발생할 수 있다. 컴퓨터 이미지들(R)은 신체 객체(O)의 모든 부분들에 대한 가상 모델(VM)로 표현될 수 있다. 이러한 컴퓨터 이미지들(R)은 디스플레이 장치(100)에 렌더링될 수 있다. 이러한 컴퓨터 이미지들(R)은 정적이거나 동적일 수 있으며 실제(actual)/실제(real) 비디오 그래픽 이미지들, 혼합 현실, 증강 현실, 가상 현실 이미지들 또는 모델들, 또는 이들의 임의의 조합을 포함할 수 있다.
제어 시스템(60)은 로컬라이저(44)를 통해, 이에 제한되는 것은 아니나 환자 추적기들(54, 55, 56)을 포함하는, 상기에 설명된 환자 추적 기술들 중 어느 하나를 이용하여 신체 객체(O)의 자세를 추적한다. 일부 구현들에서, 로컬라이저(44)는 또한 신체 객체(O)와의 공통 좌표계에서 디스플레이 장치(100)의 자세를 추적할 수 있다. 디스플레이 장치(100)는 디스플레이 추적기(102)를 사용하여, 또는 위에서 설명된 것들과 같은 임의의 다른 적절한 기술에 의해 추적될 수 있다. 예를 들어, 디스플레이 장치(100)는 (예를 들어, 트래커들이 있거나 없는) 머신 비전을 사용하여 추적될 수 있고, 광학 또는 비광학 기술들을 사용하여 추적될 수 있다. 대안으로 또는 추가로, 전동식 조정 시스템이 장착된 경우, 디스플레이 장치(100)의 자세는 운동학적 데이터에 기초하여 결정될 수 있고, 후술되는 바와 같이 로컬라이저(44)와 무관하게 결정될 수 있다.
제어 시스템(60)은 등록된 컴퓨터 이미지들(R)을 적어도 신체 객체(O) 및 디스플레이 장치(100)의 추적된 자세에 따라 렌더링하도록 디스플레이 장치(100)를 제어한다. 따라서, 컴퓨터 이미지들(R)의 렌더링은 적어도 신체 객체(O)의 자세 및 디스플레이 장치(100)의 자세에 따라 달라진다. 구체적으로 도 2를 참조하면, 렌더링의 관점은 디스플레이 장치(100)의 평면(P)을 향하는 가상 카메라(VC)의 시점 또는 시야(FOV)에 기초한다. 시야(FOV)는 디스플레이 장치(100)를 향해 투사된 핀홀(pinhole) 카메라 모델에 기초할 수 있다. 시야(FOV)는 뷰잉 프러스텀(F)이라고도 하며, 이에 대해서는 아래에서 설명될 것이다.
가상 카메라(VC)의 가상 위치(VP)는 디스플레이 장치(100) 측(S2)과 반대되는 신체 객체(0) 측(S1)에 위치된다. 가상 카메라(VC)는 도 2의 디스플레이 장치(100)의 평면(P)의 전면에 위치되기 때문에, 컴퓨터 이미지(R)는 측(S2)에서 미러링된 뷰가 아닌 측(S1)에서 신체 객체(O)의 쪽을 보여주고 있다.
가상 위치(VP)는 디스플레이 장치(100)의 평면(P)으로부터 소정의 거리(d)에 위치할 수 있다. 거리(d)는 가상 카메라(VC)의 가상 위치(VP)와 평면(P) 사이에 그려진 Z축 선을 기반으로 한다. Z축은 가상 위치(VP) 또는 디스플레이 장치(100)를 참조하여 정의될 수 있다. 가상 위치(VP)는 가상 카메라(VC)의 모든 위치에 있을 수 있으며 단일 지점 또는 지점들, 또는 모든 유형의 표면인 체적 기하학적 형상에 의해 정의될 수 있다. 일부 예들에서, 가상 위치(VP)는 미리 결정된 거리(d)에서 고정된 상태로 유지된다. 대안적으로, 미리 결정된 거리(d)는 특정 조건들에 응답하여 변경될 수 있다. 예를 들어, 사용자는 거리(d)에 대한 선호도를 제어 시스템(60)에 지정할 수 있다. 거리(d)는, 이에 제한되는 것은 아니나, 수술 절차 유형, 절차의 특정 단계, 추적된 사용자 시점(V)의 자세, 추적된 객체의 자세, 추적된 디스플레이 장치(100)의 자세, 추적된 툴(110, 20)의 자세 등과 같은 조건들에 따라 자동으로 변경될 수 있다. 일 예에서, 거리(d)는, 이에 제한되는 것은 아니나, 1미터와 5미터 사이 또는 그 사이의 모든 거리를 포함하는, 임의의 적절한 거리에서 그리고 임의의 적절한 범위 내에서 정의될 수 있다.
일 예에서, 가상 카메라(VC)의 가상 위치(VP)는 디스플레이 장치(100)의 평면(P)을 횡단한다. 즉, 가상 위치(VP)와 디스플레이 장치(100)의 평면(P) 사이에 그려진 Z축 선은 평면(P)에 대한 각도를 정의하며, 각도는 0도에서 180도 사이의 범위에 있다. 보다 특정한 구현에서, 가상 카메라(VC)의 가상 위치(VP)는 디스플레이 장치(100)의 평면(P)에 직교한다. 즉, 디스플레이 장치(100)의 가상 위치(VP)와 평면(P) 사이에 그려진 선은 평면(P)에 수직인 90도이다. 즉, 이 예에서, 컴퓨터 이미지들(R)은 주어진 거리(d)로부터 디스플레이 장치(100)에 직교하는 축상 투시 투영(on-axis perspective projection)으로 렌더링된다.
가상 카메라(VC)의 가상 위치(VP)도 디스플레이 장치(100)의 평면(P)에 대한 X 및 Y 좌표 위치들을 갖는다. X 및 Y 좌표들은 가상 위치(VP) 또는 디스플레이 장치(100)를 참조하여 정의될 수 있다. 일 예에서, X 및 Y 좌표들은 디스플레이 장치(100)의 평면(P)과 평행한 평면에서 정의된다. 그러나, 예를 들어, 가상 카메라(VC)가 비직교 각도로 디스플레이 장치(100)를 향해 투영하는 경우, X 및 Y 좌표 평면은 평면(P)과 평행할 필요가 없다.
또한, 디스플레이 장치(100)를 가로로 투영하든 수직으로 투영하든, 가상 위치(VP)와 평면(P) 사이에 그려진 선은 디스플레이 장치(100)의 기하학적 중심을 향할 수 있다. 대안적으로, 가상 위치(VP)와 평면(P) 사이에 그려진 선은 디스플레이 장치(100)의 기하학적 중심으로부터 오프셋될 수 있다. 예를 들어, 오프셋 위치는 디스플레이 장치(100)의 모서리 또는 가장자리를 향할 수 있다. 디스플레이 장치(100)에 대한 가상 위치(VP)의 X-Y 배치는 특정 조건들에 응답하여 변경될 수 있다. 예를 들어, 사용자는 가상 위치(VP)의 X-Y 배치에 대한 선호도를 제어 시스템(60)에 지정할 수 있다. 가상 위치(VP)의 X-Y 배치는, 이에 제한되는 것은 아니나, 수술 절차 유형, 절차의 특정 단계, 추적된 사용자 시점(V)의 자세, 추적된 객체 자세, 추적된 디스플레이 장치(100)의 자세, 추적된 수술 툴(20)의 자세 등과 같은 조건들에 따라 자동으로 변경될 수 있다. 일 예에서, 거리(d)는, 이에 제한되는 것은 아니나, 1미터와 5미터 사이 또는 그 사이의 모든 거리를 포함하는, 임의의 적절한 거리에서 그리고 임의의 적절한 범위 내에서 정의될 수 있다.
가상 카메라(VC)를 기반으로 하는 컴퓨터 이미지들(R)의 렌더링은 가상 카메라(VC)에서 비롯되고 이 경우는 디스플레이 장치(100)의 평면(P)인 객체를 통과하는 뷰 프러스텀(F)을 사용하여 구현된다. 뷰잉 프러스텀(F)은 디스플레이 장치(100) 상에 나타날 수 있고 3D 모델링된 세계에서의 공간의 영역일 수 있으며 가상 카메라(VC)의 시야로 간주될 수 있다. 프러스텀(F)의 정점(apex)은 가상 카메라(VC)에서 비롯되는 영점(zero-point)이며 가상 카메라(VC)의 가상 위치(VP)로 간주될 수도 있다. 일 예에서, 디스플레이 장치(100)의 평면(P)은 뷰잉 프러스텀(F)의 베이스(B) 또는 원 절단 평면(far-clipping plane; FCP)에 위치될 수 있다. 뷰잉 프러스텀(F)은 가상 카메라(VC)에 근접한 근 절단 평면(near clipping plane; NCP)을 포함할 수 있다. 원 절단 평면(FCP) 및 근 절단 평면(NCP)은 뷰잉 방향에 수직인 프러스텀(F)을 가상으로 절단하여 근 절단 평면(NCP)보다 카메라에 가깝게 있거나 원 절단 평면(FCP) 넘어서 있는 객체들이 컴퓨터 이미지(R)에 렌더링되지 않도록 한다. 부분적으로 또는 완전히 뷰잉 프러스텀(F) 외부에 있는 객체들은 처리 효율성을 위해 렌더링 프로세스로부터 제거될 수 있다. 디스플레이 장치(100) 상의 컴퓨터 이미지들(R)은 뷰잉 프러스텀(F)에 기초하여 투영된다. 뷰잉 프러스텀(F)은 피라미드, 원뿔 등을 포함하는 임의의 평면 절단 또는 임의의 적절한 3-모양을 기반으로 할 수 있. 뷰잉 프러스텀(F)은 도면들에 도시되거나 본원에 설명된 것 이외의 임의의 구성을 취할 수 있다.
FVF 기술에서, 가상 카메라(VC)의 가상 위치(VP)는 디스플레이 장치(100)의 자세에 대한 (수동 또는 전동) 조정에 응답하여 제어 시스템(60)에 의해 자동으로 업데이트된다. 사용자가 디스플레이 장치(100)를 움직이거나 회전시키면, 가상 카메라(VC)의 위치가 자동으로 업데이트된다. 따라서, 외과용 내비게이션 시스템들의 표준 시각화 디스플레이들과 달리, 스크린 상의 이미지에 대한 실제 객체의 정신적 매핑이 단순화된다.
이러한 고정 뷰 프러스텀 디스플레이 시각화의 예들이 도 3a 내지 3c에 도시된다. 예시적인 실제 예가 도 3a에 도시되며 두 개의 시뮬레이션들이 도 3b 및 도 3c에 각각 도시된다. 도 3a는 조작자가 디스플레이 장치(100)를 손으로 움직여 신체 객체(O)의 내부 가상 모델(VM)을 시각화하는 것을 도시한다. 사용자가 디스플레이 장치(100)를 조정함에 따라, 디스플레이 장치(100) 상의 컴퓨터 렌더링(R)이 그에 따라 업데이트된다. 도 3b 및 3c는 가상 카메라(VC)의 동일한 구성의 두 가지 다른 시점들에서 FVF 기술의 시뮬레이션 예시들을 제공한다. 비교하여 도시된 바와 같이, 디플레이 장치(100)는 도 3b와 3c 사이에서 자세를 변경하고 가상 카메라(VC)의 가상 위치(VP)는 그에 따라 업데이트된다. 컴퓨터 이미지(R)는 또한 뷰잉 프러스텀(F)과 신체 객체(O) 사이의 상대적 포지셔닝에 따라 관점을 변경한다.
i. 스크린 평행 슬라이스 시각화(SPSV)
이제 도 4 내지 6을 참조하며, FVF 방법의 스크린 병렬 슬라이스 시각화(Screen Parallel Slice Visualization; SPSV) 서브-기술이 설명된다. FVF 시각화는 사용이 직관적이고 3D 데이터를 디스플레이할 수 있지만, 이 기술은 슬라이스 시각화를 사용하여 추가로 구현될 수 있다. 따라서 슬라이스 뷰를 설명된 공간 인식 시각화 개념에 통합할 수 있다.
도 4a를 참조하면, 이는 하나의 구현에서 신체 객체(O)의 3D 가상 모델(VM)을 복수의 슬라이스들(SL1, SL2, SL3...SLN)로 슬라이싱함으로써 달성될 수 있다. 일 구현에서, 슬라이스들(SL)은 디스플레이 장치(100)의 평면(P)에 평행한 평면에서 만들어진다. 가상 모델(VM)은 CT 모델, X선 모델, MRI 모델 또는 임의의 다른 유형의 이미징 기술을 사용하여 생성된 모델일 수 있다. 대안으로, 3D 가상 모델(VM)을 슬라이싱하는 대신, 신체 객체(O)의 이미징 데이터는 3D 모델로 결합하거나 결합하지 않고 컴퓨터 메모리로부터 획득될 수 있는 복수의 슬라이스들을 포함할 수 있다.
일 구현에서, 그리고 도 4b를 참조하면, 디스플레이된 슬라이스(SL)는 뷰잉 프러스텀(F)을 통해 슬라이스된 지정된 평면(p)에 기초할 수 있다. 지정된 평면(p)은 가상 카메라(VC) 위치에 대해 고정될 수 있거나, 지정된 평면(p)은 본원에 설명된 임의의 조건들에 기초하여 동적으로 변경될 수 있다. 가상 카메라(VC)의 시야가 신체 객체(O)를 통과하면, 제어 시스템(60)은 지정된 평면(p)과 신체 객체(O)와의 교차점에 해당하는 슬라이스(SL)를 즉시 얻을 수 있다.
슬라이스(SL)의 컴퓨터 이미지(R)의 배향은 디스플레이 장치(100)의 자세에 기초하여 조정될 수 있다. 도 5a와 5b 간에 비교하여 도시된 바와 같이, 사용자에게는 디스플레이 장치(100)를 회전시키기 위한 상호작용 방법이 제공되며, 이는 또한 결국 툴(110, 20)의 슬라이스(SL) 및 가상 모델(T)을 회전시킨다. 신체 객체(O)와 툴(110, 20)은 도 5a 및 5b에서 동일한 상대 위치에 있다.
대안으로 또는 추가로, 도 6에 도시된 바와 같이, 슬라이스(SL)의 배향은 가상 카메라(VC)의 뷰잉 프러스텀(F) 내로 가져온 툴(110, 20)에 기초하여 설정될 수 있다. 툴(110, 20)의 자세는 본원에 설명된 것들과 같은 임의의 적절한 수단들을 사용하여 로컬라이저(44)에 의해 추적될 수 있다. 렌더링되는 컴퓨터 이미지들(R)은 위에서 논의된 바와 같이 고정 뷰 프러스텀 방법을 사용하여 툴(110, 20) 및 슬라이스(SL)의 이미지들을 포함할 수 있다. 대안으로 또는 추가로, 슬라이스(SL)의 배향은 사용자 또는 머리 장착형 장치(120)(아래에서 자세히 설명됨)를 향하는 외부 카메라(C)와 같은, 시점 추적 시스템(viewpoint tracking system; VTS)의 추적된 자세에 의해 정의된 사용자 관점에 기초하여 설정될 수 있다.
디스플레이된 슬라이스(SL)는 이러한 기술들을 사용하는 동안 다른 슬라이스들(SL)로 동적으로 변경될 수 있다. 슬라이스(SL)는 신체 객체(O), 디스플레이 장치(100) 또는 이들의 조합의 자세에 따라 변경될 수 있다. 추가로 또는 대안으로, 슬라이스(SL)는 본원에 설명된 입력 장치들 중 어느 하나를 사용하여 변경될 수 있다. 또한, 도 6에 도시된 바와 같이, 툴(110, 20)은 슬라이스(SL)를 변경하는데 활용될 수 있다. 예를 들어, 툴(110, 20)의 자세, 위치, 및/또는 신체 객체(O) 또는 디스플레이 장치(100)에 대한 거리 또는 배향은 자동으로 제어 시스템(60)이 슬라이스(SL)를 변경하게 할 수 있다. 일부 구현들에서, 슬라이스(SL)의 부분들은 도 4b에 도시된 바와 같이, 툴(110, 20)의 팁(114)과 연관된 (2D 또는 3D) 가상 경계(VB)에 기초하여 디스플레이될 수 있다. 예를 들어, 가상 경계(VB)는 경계(VB)의 중심에 툴 팁(114)이 있는 임의의 적절한 치수(예를 들어, 200mm 직경)을 갖는 임의의 형상(예를 들어, 직사각형, 박스형, 원형 또는 구형)으로 정의될 수 있다. 툴(110, 20)이 객체(O)가 가상 경계(VB)와 교차하도록 객체(O)를 향해 이동되면, 제어 시스템(60)은 교차점에 대응하는 디스플레이된 슬라이스(SL)를 동적으로 제시하거나 변경할 수 있다. 슬라이스(SL)는 가상 경계(VB)의 위치에 따라 (도 4b에 도시된 바와 같이) 전체적으로 제시되거나 크롭(cropped)(도 6)될 수 있다.
ii. 상황별 정확한 렌더링
도 7을 참조하면, 제어 시스템(60)은 상황별 정확한 방식으로 컴퓨터 이미지들(R)을 렌더링하도록 구성된다. 다시 말해, 컴퓨터 이미지(R) 렌더링은 객체(O), 툴(110, 20) 및/또는 슬라이스(SL)의 공간 레이어링을 공통 좌표계에서 서로에 대해 고려하여 이러한 항목들이 존재하는 실제 좌표계에서 동일한 항목의 실제 공간 위치를 모방한다.. 도 7에 도시된 바와 같이, 툴(110, 20)은 객체(O)에 물리적으로 삽입되고 디스플레이 장치(100)는 툴(110, 20)의 가상 모델(T) 및 객체(O)의 3D 모델(VM)에 대한 해당 슬라이스(SL)를 제시한다. 그러나 도시된 바와 같이, 이러한 렌더링들(R)은 가상 카메라(VC)의 관점을 기반으로 레이어링된다. 다시 말해, 툴(110, 20)의 가상 모델(T)은 객체(O)의 3D 모델(VM)의 해당 부분들에 의해 의도적으로 차단된다. 이 경우에, 해부학적 구조의 흉곽이 툴(110, 20) 샤프트를 차단하고 있다. 마찬가지로, 슬라이스(SL)는 슬라이스(SL)의 부분들은 객체(O)의 3D 모델(VM)의 해당 부분들에 의해 차단된다. 이 경우에, 슬라이스(SL)는 여러 갈비뼈에 의해 부분적으로 차단된다. 이 기술은 시각화의 부분들을 차단하지만, 이는 사용자가 객체(O), 슬라이스(SL) 및 툴(110, 20)의 실제 공간 포지셔닝과 매우 유사한 상황에서 환경을 시각화하는 데 도움이 된다. 이 시각화 기술은 FVF 및 SPSV 기술들을 포함하여, 본원에 설명된 임의의 기술들뿐만 아니라, 본원에 설명된 임의의 특정 구현들, 조건들 및/또는 상황들에 이용될 수 있다.
iii. 조정 시스템
도 8에 도시된 바와 같이, 디스플레이 장치(100)는 선택적으로 조정 시스템(104)에 연결될 수 있다. 조정 시스템(104)은 수동 또는 능동일 수 있고, 전술한 로봇 조작기(14)의 임의의 특징들 또는 가능한 구성들을 포함할 수 있다. 예를 들어, 조정 시스템(104)은 복수의 링크들(L), 관절들(J), 및 관절들(J)을 구동하기 위한 액추에이터(M)를 포함할 수 있다. 조정 시스템(104)은 디스플레이 장치(100)의 자세를 조정하기 위해 수동으로 또는 자동으로 제어될 수 있다. 디스플레이 장치(100)의 자세는 최대 6자유도(3개의 병진, 3개의 회전)로 이동될 수 있다. 센서들(S)은 조정 시스템(104)의 움직임을 검출하기 위해 조정 시스템(104)의 컴포넌트들 중 어느 하나에 제공될 수 있다. 제어 시스템(60)은 디스플레이 장치(100)의 자세를 운동학적으로 도출하기 위해 센서들(S)로부터의 측정들을 이용할 수 있다. 이는 로컬라이저(44)를 사용하는 것에 외에 또는 대안적으로 수행될 수 있다. 센서들(S)은, 이에 제한되는 것은 아니나, 모터 전류 센서들, 관절 위치 센서들 또는 인코더들(회전, 절대, 증분, 가상 절대 등), 광학 센서들, 관성 센서들(가속도계, 경사계, 자이로스코프 등) 등을 포함하는, 임의의 적합한 구성일 수 있다. 센서들(S) 중 어느 하나는 또한 디스플레이 장치(100) 자제에 제공될 수 있다.
일부 예들에서, 도 8에 도시된 바와 같이, 하나 이상의 사용자 입력 장치들(106)은 사용자가 디스플레이 장치(100)의 포즈를 제어할 수 있도록 제어 시스템(60)에 유선 또는 무선으로 연결될 수 있다. 입력 장치들(106)은, 이에 제한되는 것은 아니나, 풋 페달(106a), 핸드헬드 펜던트(106b), 태블릿, 스마트폰 또는 내비게이션 시스템의 디스플레이와 같은 디스플레이 입력(106c), 툴(110, 20), 및/또는 사용자 또는 머리 장착형 장치(120)를 향하는 외부 카메라(C)와 같은 시점 추적 시스템(VTS)을 포함한다. 입력 장치들은 또한, 이에 제한되는 것은 아니나, 푸시 버튼들, 센서들, 스위치들, 키보드, 마우스, 마이크(음성 활성화), 제스처 제어 장치들, 터치스크린들, 조이스틱들 등을 포함하여, 상술된 것들 중 어느 하나일 수 있다. 입력 장치(106)는 사용자로부터 명령을 수신하고 제어 시스템(60)은 명령에 따라 관절들(J) 및 궁극적으로 디스플레이 장치(100)의 자세를 조정하도록 하나 이상의 액추에이터들(M)에 지시한다.
추적된 툴(110, 20)은 또한 조정 시스템(104)을 제어하기 위해 제어 시스템(60)을 트리거하는 데 이용될 수 있다. 일 구현에서, 추적된 툴(110, 20)의 자세는, 그것이 위치이든 및/또는 배향이든, 또는 그의 임의의 파생물(속도, 가속도 등)이든 간에, 제어 시스템(60)이 디스플레이 장치(100)의 자세를 조정하게 할 수 있다. 예를 들어, 추적된 자세 툴(110, 20)은 가상 카메라(VC)의 가상 위치(VP), 뷰잉 프러스텀(F), 디스플레이 장치(100)의 평면(P), 또는 이들의 임의의 조합과 비교될 수 있다. 제어 시스템(60)은 임계 조건 또는 측정에 대한 이러한 비교를 평가할 수 있다. 제어 시스템(60)이 툴(110, 20)이 임계 조건을 충족하거나 초과하는 방식으로 이동했다고 결정하면, 제어 시스템(60)은 디스플레이 장치(100)를 조정하도록 조정 시스템(104)에 명령할 수 있다. 이는, 이에 제한되는 것은 아니나, 툴(110, 20)이 객체(O)를 향하는 방향으로 또는 멀어지는 방향으로 이동하는 상황, 툴(110, 20)이 뷰잉 프러스텀(F) 안팎으로 이동하는 상황, 가상 카메라(VC)의 시야 내에 툴(110, 20)을 유지하는 상황 등을 포함하는, 다양한 상황들에서 유용할 수 있다.
계속해서 도 8을 참조하면, 머리 장착형 장치(120)는 또한 조정 시스템(104)을 제어하기 위해 제어 시스템(60)을 트리거하는데 이용될 수 있다. 일 구현에서, 머리 장착형 장치(120)의 자세는 본원에 기술된 임의의 추적 기술 또는 그 등가물들을 사용하여 추적된다. 머리 장착형 장치(120)의 추적된 자세는, 그것이 위치이든 및/또는 배향이든, 또는 그 파생물(속도, 가속도 등)이든 간에, 제어 시스템(60)이 디스플레이 장치(100)의 자세를 조정하게 할 수 있다. 예를 들어, 머리 장착형 장치(120)의 추적된 자세는 가상 카메라(VC)의 가상 위치(VP), 뷰잉 프러스텀(F), 디스플레이 장치(100)의 평면(P), 또는 이들의 임의의 조합과 비교될 수 있다. 제어 시스템(60)은 임계 조건 또는 측정에 대한 이러한 비교를 평가할 수 있다. 제어 시스템(60)이 머리 장착형 장치(120)가 임계 조건을 충족하거나 초과하는 방식으로 이동했다고 결정하면, 제어 시스템(60)은 디스플레이 장치(100)를 조정하도록 조정 시스템(104)에 명령할 수 있다. 이는, 이에 제한되는 것은 아니나, 머리 장착형 장치(120)가 객체(O)를 향하는 방향으로 또는 멀어지는 방향으로 이동하는 상황, 머리 장착형 장치(120)가 뷰잉 프러스텀(F) 안팎으로 이동하는 상황, 가상 카메라(VC)의 시야 내에 머리 장착형 장치(120)를 유지하는 상황 등을 포함하는, 다양한 상황들에서 유용할 수 있다.
추가로 또는 대안으로, 사용자를 향하는 외부 카메라(C)와 같은 임의의 다른 시점 추적 시스템(VTS)은 조정 시스템(104)을 제어하도록 제어 시스템(60)을 트리거하기 위해 사용자의 시점(V)을 추적하는 데 이용될 수 있다.
조정 시스템(104)은 FVF 및 SPSV 기술들을 포함하여, 본원에 설명된 임의의 기술들뿐만 아니라, 본원에 설명된 임의의 특정 구현들, 조건들 및/또는 상황들에 이용될 수 있다.
B. 동적 미러 뷰 프러스텀 시각화 기술
도 9 내지 12를 참조하면, 수술 시스템(10)이 이용될 수 있는 다른 예시적인 시각화 방법은 신체 객체(O)와의 사용자 상호작용을 돕기 위한 동적 미러 뷰 프러스텀(Dynamic Mirror View Frustum; DMVF)을 포함한다.
아래의 설명에서 이해되는 바와 같이, FVF와 DMVF 기술들 사이에는 기술적 유사점들이 있다. 따라서, 시스템(10), FVF 기술, 및 이와 관련된 임의의 물리적, 계산적 및/또는 임의의 기술들과 관련된 상기의 설명 중 일부 및 전부는 본원에 설명된 DMVF 기술과 함께 사용하기 위해 참조로 완전히 통합되고 이에 의해 적용될 수 있으며, 따라서 설명의 간단함을 위해 반복되지 않는다.
DMVF 기술의 경우, 그리고 도 9를 참조하면, 디스플레이 장치(100)는 평면(P)을 정의한다. 신체 객체(O)는 평면(P) 앞에 위치된다. 즉, 신체 객체(O)는 디스플레이 장치(100)의 디스플레이된 스크린의 전면에 위치된다.
디스플레이 장치(100)를 보는 사용자도 평면(P)의 전면에 위치된다. 사용자의 시점(V)은 시점 추적 시스템(VTS)을 사용하여 추적된다. 일 구현에서, 시점 추적 시스템(VTS)은 사용자를 향하는 카메라(C)를 포함한다. 시점 추적 시스템(VTS)은 내비게이션 시스템 자체일 수도 있고 또는 내비게이션 시스템의 일부이거나 이로부터 분리될 수도 있다. 카메라(C)는 로컬라이저(44) 또는 별도의 장치일 수 있다. 카메라(C)는 디스플레이 장치(100)에 또는 다른 곳에 장착될 수 있다. 제어 시스템(60)은 카메라(C)로부터 신호들을 수신하고 자세 추정 알고리즘들을 사용하여 사용자의 얼굴, 눈, 머리 또는 기타 특징의 위치 및/또는 배향에 대한 변화들을 인식할 수 있다.
다른 구현에서, 시점 추적 시스템(VTS)은 추가로 또는 대안으로 사용자에게 직접 제공되는 머리 장착형 장치(120)를 포함한다. 머리 장착형 장치(120)는 평면(P)의 전면에 그리고 디스플레이 장치(100)의 디스플레이된 스크린의 전면에 위치된다. 한 구성에서, 머리 장착형 장치(120)는 신체 객체(O)의 제1 측(S1)에 위치되고 디스플레이 장치(100)는 신체 객체의 제2 반대 측(S2)에 위치된다.
머리 장착형 장치(120)는 그 자세가 내비게이션 시스템(32) 및/또는 제어 시스템(60)에 의해 추적될 수 있도록 하나 이상의 추적 가능한 특징들(HT)을 포함한다. 추적 가능한 특징들(HT)은 위에 설명된 임의의 유형 또는 이의 임의의 동등물들일 수 있다. 이 기술에서, 머리 장착형 장치(120)는 사용자 시점의 자세를 추적할 수 있도록 구성된 임의의 장치이다. 여기서 자세는 머리 장착형 장치(120)의 위치를 의미하며, 선택적으로는 위치 및 배향을 의미한다. 사용자의 시점은 사용자의 시각의 일반적인 시야, 사용자가 고개를 돌리는 방향, 및/또는 사용자 눈의 시선으로 정의될 수 있다. 머리 장착형 장치(120)는 안경(예를 들어, 도 8에 도시된 것과 같은), 고글, 헤드-밴드 헬멧, 콘택트 렌즈 등과 같은 사용자의 머리 및/또는 눈 또는 헤드 웨어의 임의의 부분에 부착된 하나 이상의 추적기들일 수 있거나 이를 포함할 수 있다. 일 예에서, 머리 장착형 장치(120)는 광학적 투시(optical-see-through) 머리 장착형 디스플레이이다. 머리 장착형 장치(120)의 다른 예들이 고려된다. 도 9에서, 머리 장착형 장치(120)를 추적하는 것으로부터 도출된 시점은 단순화를 위해 구로 도시되어 있으며 시점은 디스플레이 장치(100)를 향하고 있다.
FVF 기술과 마찬가지로, 내비게이션 시스템(32) 및/또는 제어 시스템(60)은 컴퓨터 이미지들(R)을 신체 객체(O)에 등록한다. 내비게이션 시스템(32) 및/또는 제어 시스템(60)은 공통 좌표계에서 서로에 대한 신체 객체(O), 디스플레이 장치(100) 및 사용자의 시점(V)의 자세를 추적한다. 디스플레이 장치(100)는 추적된 신체 객체(O), 디스플레이 장치(100) 및 사용자의 시점(V)의 자세에 따라 등록된 컴퓨터 이미지들(R)을 렌더링하도록 제어된다. 즉, 이러한 각 항목 각각의 자세는 컴퓨터 이미지들(R)이 디스플레이되는 방식에 영향을 미칠 수 있다.
컴퓨터 이미지(R)의 관점은 디스플레이 장치(100)의 두에 있는, 도 9의 한 면(S3)으로 표시된 평면(P) 뒤에 가상 위치(VP)가 있는 가상 카메라(VC)의 시야 또는 뷰잉 프러스텀(F)을 기반으로 한다. 가상 카메라(VC)는 디스플레이 장치(100)의 후면을 향하고 있으며, 시점 추적 시스템(VTS)으로부터 도출된 사용자의 시점을 향하고 있다. 신체 객체(O), 디스플레이 장치(100) 및 사용자의 시점(V)은 적어도 부분적으로 도 9의 뷰잉 프러스텀(F) 내에 있다. 가상 카메라(VC)는 디스플레이 장치(100)의 평면(P) 뒤에 위치되므로, 렌더링(R)은 디스플레이 장치(100)가 사용자의 시점에 대한 미러인 것처럼 시각화를 제공한다. 도 9에서, 컴퓨터 이미지(R)는 측(S2)에서 신체 객체(O) 측을 보여준다.
가상 카메라(VC)의 가상 위치(VP)는 추적된 사용자 시점(V)의 자세에 대한 조정에 응답하여 자동으로 업데이트된다. 사용자는 디스플레이 장치(100)의 미러형 렌더링(R) 상에서 좌우 또는 전후로 이동하여 신체 객체(O)와 그에 따라 움직이는 임의의 툴(110, 20)을 볼 수 있다. 신체 객체(O), 디스플레이 장치(100) 및 사용자의 시점(V)의 자세를 파악함으로써, 제어 시스템(60)은 실제 미러와 동일한 법칙을 따르도록 컴퓨터 이미지들(R)을 생성할 수 있다.
도 10a 내지 10f는 DMVF 기술의 예들을 예시한다. 구체적으로, 시뮬레이션된 미러 뷰들이 도 10a 내지 10d에 도시되며 실제 예시적인 예들이 도 10e 및 10f에 도시된다. 도 10a 내지 10c에 도시된 바와 같이, 3인칭 뷰들을 비교하면, 가상 카메라(VC)의 가상 위치(VP)는 시점 추적 시스템(VTS)으로부터 도출된 사용자 시점(V)(구로 도시됨)에 따라 변한다. 도 10b는 도 10a의 시나리오에서 디스플레이 장치(100) 상에서 보여질 것의 1인칭 시점을 도시한다. 도 10c는 도 10d의 시나리오에서 디스플레이 장치(100) 상에서 보여질 것의 1인칭 시점을 도시한다.
디스플레이 장치(100)는 스크린, 객체들 및 사용자 시점의 자세들을 고려하여 미러와 같이 디스플레이 전면의 객체들을 보여준다. 이 패러다임 작업들은 모션 시차를 사용하고 추가의 원하는 시점들로부터 구조들을 관찰함으로써 신체 객체(O)의 보다 직관적으로 시각화하는 데 기여할 수 있다. 사용자는 마우스나 조이스틱과 같은 상호 작용 장치를 필요로 하지 않고 보기만 해도 데이터와 상호 작용할 수 있는 자유를 얻는다. 사용자가 객체(O)에 대한 뷰를 지속적으로 재정의할 필요가 없기 때문에, 사용자는 예를 들어 풋 페달과 같은 임의의 입력 장치로 상호 작용을 켜거나 끄도록 토글되게 할 수 있다. 사용자는 핸즈프리 방식으로 시각화를 변경할 수 있다. 인간의 자연스러운 시각 시스템은 실제 미러들을 보는 데 적합하므로, DMVF 시각화는 직관적인 인터페이스를 제공한다. DMVF는 또한 주어진 내비게이션 태스크에 대해 최상의 슬라이스(SL) 또는 렌더링(R)을 탐색하고 정의하는 것을 용이하게 한다. 슬라이스(SL) 또는 렌더링(R)은 추가 데이터 탐색이 필요할 때까지 수술 작업 동안 고정된 상태로 유지될 수 있다.
i. DMVF용 가상 카메라 및 미러 프러스텀 설정
가상 카메라(VC)의 가상 위치(VP)는 적어도 추적된 사용자 시점(V)의 자세에 따라 DMVF 방법으로 동적으로 변경된다. 일 구현에서, 가상 카메라(VC)의 시점은 본원에 기술된 바와 같이 도출될 수 있다. 일 예에서, 제어 시스템(60)은 프러스텀(F)의 경계 특징들(BF)이 디스플레이 장치(100)의 특징들(DF)과 일치하도록 뷰잉 프러스텀(F)이 피팅되도록 조정되는 투영 행렬에 따라 가상 카메라(VC)를 이동시킨다. 디스플레이 장치(100)의 특징들(DF)은 공통 또는 국제 좌표계에서 디스플레이 장치(100)의 크기, 종횡비, 위치 및 배향을 인코딩하는 지점들 또는 다른 기하학적 구조를 포함한다. 뷰잉 프러스텀(F)이 절두된 4면 피라미드를 포함하고 디스플레이 장치(100)가 직사각형인 도 9의 예에서, 뷰잉 프러스텀(F)의 경계 특징들(BF)은 피라미드 측면의 가장자리에 있는 지점들이고 특징들(DF)은 디스플레이 장치(100)의 고정 모서리들이다. 따라서, 뷰잉 프러스텀(F)의 에지들 상의 지점들은 좌표계에서 가상 카메라(VC)의 임의의 위치 이동에 대해 디스플레이 장치(100)의 모서리들과 일치하도록 만들어진다. 물론, 이 구성은 뷰잉 프러스텀(F) 및 디스플레이 장치(100)의 기하학적 구조에 따라 변할 수 있다. 그 결과 왜곡된 이미지(R)가 생성되며, 이는 사용자 시점(V)의 추적된 자세로부터 미러 반사로서 정확한 관점으로 나타난다.
가상 카메라(VC)의 가상 위치(VP)로부터, 미러링된 시점의 세계 위치(pmirrored)는 다음과 같이 계산할 수 있다: 미러 평면(P)에 대한 법선을 (0, 0, 1)로 정의한다. 로컬 좌표계에서, 미러링은 [1]로 표현되고 디스플레이 장치(100)의 고정된 특징들(DF)(즉, 이 경우 네 개의 모서리들)을 고려하는 행렬(Mflip)과의 곱셈에 해당한다.
[1]
Figure pct00002
이는 z 방향에서 -1만큼 크기 조정하는 것과 동일하다. 한 구현에 따르면, 미러 뷰를 제공하기 위해, 렌더링은 미러 평면(P)에 대한 사용자 시점(V)의 배향이 아니라 위치에 따라 달라진다고 가정한다. 가상 카메라(VC) 시점(p)의 세계 위치를 미러의 로컬 좌표들로 변환하기 위해 제1 변환이 수행된다. 이로 인해 프러스텀(F)이 사용자의 시점으로 회전한다. 그런 다음 미러링은 디스플레이 장치(100)에 대한 투시 투영을 제공하는 행렬(Mflip)로 수행된다. 마지막으로, 미러의 미러링된 로컬 좌표들은 사용자의 시점(V)을 뷰잉 프러스텀(F)의 정점으로 변환하는 가상 카메라(VC) 시점(p)의 세계 위치로 다시 변환된다. 결과는 다음과 같이 표현되는 투영 행렬이다:
[2]
Figure pct00003
=
Figure pct00004
[2]로 표현된 식에서, 표기법
Figure pct00005
은 좌표계 A에서 B로의 변환을 나타내는 데 사용된다. 이 계산은 디스플레이 장치(100)에 대한 다른 XY 좌표 정렬 위치로부터 사용자 시점(V)에 대해 위치된 정렬로 프러스텀(F)의 베이스(B) 또는 원 절단 평면(FCP)의 재배열 또는 회전을 가능하게 한다. 그 후, 사용자 시점-정렬된 베이스(B) 또는 원 절단 평면(FCP)이 디스플레이 장치(100)의 XY 좌표로 다시 재정렬되어 축외(off-axis) 투영 행렬이 적용되어 컴퓨터 이미지들(R)의 관점 렌더링을 적용할 수 있다.
디스플레이 장치(100) 상의 컴퓨터 이미지들(R)이 사용자의 자세와 관련하여 디스플레이 장치(100) 앞에 있는 신체 객체(O) 또는 툴들(110, 20)의 미러 뷰들을 렌더링할 수 있도록 하기 위해, 축외 투영 행렬이 일 구현에서 사용될 수 있다. 여기서 축외란 사용자의 시점(V)으로부터 디스플레이 장치(100)로 그어진 선이 디스플레이 장치(100)의 기하학적 중심이 아니라 중심을 벗어남을 의미한다. 이러한 상황들에서, 뷰잉 프러스텀(F)은 비대칭이 되고 사용자의 시점(V)이 변함에 따라 모양이 변할 것이다. 디스플레이 장치(100)의 평면(P)의 기하학적 구조에 대한 사용자의 시점(V)이 제어 시스템(60)에 의해 모니터링될 수 있는 위치. 사용자의 시점(V)에 따라 프러스텀(F)의 형태가 변화함에 따라, 뷰잉 프러스텀(F)의 경계 특징들(BF)이 변한다. 일 구현에서, 뷰잉 프러스텀(F)은 디스플레이 장치(100)의 자세 및/또는 사용자의 시점이 변경될 가능성이 높기 때문에, 예를 들어 모든 프레임에서와 같이 빈번한 간격으로 재계산 및/또는 업데이트될 수 있다.
축외 투영 행렬은 디스플레이 장치(100)의 표면 또는 평면(P)과 일치하는 뷰잉 프러스텀(F) 및 베이스(B)의 정점에서 미러링된 시점(p)을 갖는다. 뷰잉 프러스텀(F)은 사용자의 시점(V)과 정렬되도록 회전된다. 이는 시점의 위치를 고려하고 이미지가 디스플레이 장치(100)의 평면(P)에 대해 기울어진 평면에 투영된 것처럼 보이도록 이미지를 왜곡한다. 왜곡된 이미지들과 함께 프러스텀(F)에 대한 사용자의 변화된 시점의 효과는 도 10c, 10d와 비교하여 도 10a, 10b에서 볼 수 있다. 이 구현은 그래픽 API를 사용하여 뷰 공간에서 근 절단 평면(NCP) 좌표들로 정의된 프러스텀(F)을 사용하여 투영 행렬을 설정한 다음, 비-수직으로 회전되고 미러링된 시점에 위치되도록 이동된다.. 즉, 프러스텀(F)의 베이스(B)가 동적으로 수정되어 디스플레이 장치(100)의 평면(P)의 X-Y 평면 밖으로 회전하고 시점 추적 시스템(VTS)로부터 도출된 바와 같이 사용자의 시점(V)의 각도에 대응하여 위치된다.
위에 제공된 계산은 DMVF에 대한 가상 카메라(VC) 설정의 한 구현을 제공한다. 그러나 개념의 범위를 벗어나지 않고, 적어도 사용자의 관점(V)에 따라 가상 카메라(VC)의 가상 위치(VP)를 동적으로 변경하는 대안적인 방식들이 있을 수 있다. 예를 들어 프러스텀(F)의 베이스(B)를 디스플레이 장치(100)에 정렬하는 것이 가능하다. 뷰잉 프러스텀(F)의 경계 특징들(BF)은 디스플레이 장치(100)의 기하학적 구조를 초과할 수 있다. 이러한 경우에, 제어 시스템(60)은 디스플레이 장치(100)의 기하학적 구조에 대해 뷰잉 프러스텀(F)의 경계 특징들(BF)을 제한할 수 있다.
도 11a 내지 11c는, X,Y,Z 좌표계의 다양한 뷰들에서, 세 가지 예시적인 시나리오 중 가상 카메라(VC)와 프러스텀(F), 사용자의 시점(V), 디스플레이 장치(100) 및 객체(O) 사이의 상대적 포지셔닝를 비교한다. 이러한 예들에서, 가상 카메라(VC)의 위치와 사용자의 시점(V)은 디스플레이 장치(100)의 평면(P)을 기준으로 X, Y, Z축 각각에 대해 개별적으로 미러링될 수 있다. 예를 들어, 가상 카메라(VC)와 사용자의 시점(V)은 X, Y, Z 방향 각각에서 디스플레이 장치(100)로부터 실질적으로 동일한 거리만큼 떨어져 있다. X-Y 평면으로부터 시각화될 때, 이러한 미러링 효과의 결과로 가상 카메라(VC)의 위치와 사용자의 시점(V)이 일치하는 것처럼 보인다. 그러나 모든 구현들에서 완벽한 미러링이 요구되는 것은 아니며 디스플레이 장치(100)까지의 (VC) 및 (V)의 거리는 축마다 동일하지 않을 수 있으며 이러한 거리들은 사용자 정의되거나 변경될 수 있다.
도 11a에서, 사용자의 시점(V)은 디스플레이 장치(100)에 대해 주어진 위치에서 축 상에 있다. 가상 카메라(VC)의 프러스텀(F)의 베이스(B)는 디스플레이 장치(100)의 X-Y 평면과 정렬된다. 투영은 중앙에 있고 사용자의 중심 시점에 정렬된 컴퓨터 이미지들(R)을 렌더링한다.
도 11b에서, 사용자의 시점(V)은 (사용자의 관점에서) 중앙의 왼쪽으로 이동되고, 도 11a의 주어진 위치보다 디스플레이 장치(100)로부터 멀어지게 이동된다. 사용자 시점(V)의 이러한 상대적인 모션 변화는 가상 카메라(VC)가 그에 따라 변경되도록 한다. 즉, 가상 카메라(VC)는 (가상 카메라의 관점에서) 우측으로 이동하여 디스플레이 장치(100)로부터 멀어지도록 이동한다. 이는 사용자의 시점(V)을 기준으로 가상 카메라(VC)를 정확하게 포지셔닝한다. 뷰잉 프러스텀(F)은 사용자의 시점(V)에 정렬되도록 디스플레이 장치(100)의 X-Y 평면 밖으로 회전(위에서 볼 때 반시계 방향)된다. 일부 경우에, 프러스텀(F)의 수정은 디스플레이 장치(100)로부터 멀어지도록 이동하는 가상 카메라(VC)의 위치에 응답하여 원 절단 평면(FCP)이 프러스텀(F)의 정점으로부터 더 이동되게 한다. 투영은 사용자의 중심에서 벗어난 시점에 정렬되도록 회전된 컴퓨터 이미지들(R)을 렌더링한다. 컴퓨터 이미지들(R)은 또한 사용자 시점(V)의 위치가 디스플레이 장치(100)로부터 더 멀어지기 때문에 프러스텀(F) 내의 신체 객체(O)와 같은 객체들을 도 11a에 비해 크기가 더 작게 렌더링한다.
도 11c에서, 사용자의 시점(V)은 (사용자의 관점에서) 오른쪽으로 이동되고, 도 11a의 주어진 위치보다 디스플레이 장치(100)에 더 가깝게 이동된다. 이러한 사용자 시점(V)의 상대적인 모션 변화는 가상 카메라(VC)가 왼쪽으로 이동하고 디스플레이 장치(100)에 더 가깝게(가상 카메라의 관점에서) 이동하게 한다. 이는 사용자의 시점(V)을 기준으로 가상 카메라(VC)를 정확하게 포지셔닝한다. 뷰잉 프러스텀(F)은 사용자의 시점(V)에 정렬되도록 디스플레이 장치(100)의 X-Y 평면 밖으로 회전(위에서 볼 때 시계 방향)된다. 일부 경우에, 프러스텀(F)의 수정은 디스플레이 장치(100)로부터 멀어지도록 이동하는 가상 카메라(VC)의 위치에 응답하여 원 절단 평면(FCP)이 프러스텀(F)의 정점에 더 가깝게 이동되게 한다. 투영은 사용자의 중심에서 벗어난 시점에 정렬되도록 회전된 컴퓨터 이미지들(R)을 렌더링한다. 컴퓨터 이미지들(R)은 또한 사용자 시점(V)의 위치가 디스플레이 장치(100)에 더 가까워지기 때문에 프러스텀(F) 내의 신체 객체(O)와 같은 객체들을 도 11a에 비해 크기가 더 크게 렌더링한다.
도 11의 컴포넌트들의 치수는 단지 예시를 위해 제공된 것이며 정확하게 축척되지 않을 수 있다. 또한, 사용자 시점과 가상 카메라(VC) 사이의 횡방향 모션을 예시하는 X-Z 평면이 도시되어 있지만, 본원에 설명된 원리들은 X-Y 평면에서 동일한 것들 사이의 수직 모션에 완전히 적용될 수 있다.
ii. 시점 대면 슬라이스 시각화
이제 도 12a 및 12b를 참조하면, DMVF 방법의 시점 대면 슬라이스 시각화(Viewpoint Facing Slice Visualization; VFSV) 서브 기술이 설명된다. DMVF 시각화는 사용이 직관적이고 3D 데이터를 디스플레이할 수 있지만, 설명된 공간 인식 DMVF 시각화 개념에 슬라이스 뷰를 추가로 통합하는 것이 고려된다.
데이터의 슬라이싱은 SPSV 기술과 관련하여 그리고 도 4a 및 4b와 관련하여 도시된 바와 같이 위에서 설명된 임의의 기술들에 따라 발생할 수 있으며, 따라서 간략화를 위해 본원에서는 반복되지 않는다. 또한, 디스플레이된 슬라이스(SL)의 선택은 SPSV 기술과 관련하여 위에서 설명된 기술들 중 어느 하나에 따라 그리고 도 4a 및 4b와 관련하여 도시된 바와 같이 발생할 수 있다.
일 구현에서, 툴(110, 20)은 슬라이스(SL)를 변경하기 위해 이용될 수 있다. 예를 들어, 툴(110, 20)의 자세, 위치, 및/또는 신체 객체(O) 또는 디스플레이 장치(100)에 대한 거리 또는 배향은 자동으로 제어 시스템(60)이 슬라이스(SL)를 변경하게 할 수 있다. 일부 구현들에서, 슬라이스(SL)의 부분들은 도 4b에 도시된 바와 같이, 툴(110, 20)의 팁(114)과 연관된 (2D 또는 3D) 가상 경계(VB)에 기초하여 디스플레이될 수 있다. 예를 들어, 가상 경계(VB)는 경계(VB)의 중심에 툴 팁(114)이 있는 임의의 적절한 치수(예를 들어, 200mm 직경)을 갖는 임의의 형상(예를 들어, 직사각형, 박스형, 원형 또는 구형)으로 정의될 수 있다. 툴(110, 20)이 객체(O)가 가상 경계(VB)와 교차하도록 객체(O)를 향해 이동되면, 제어 시스템(60)은 교차점에 대응하는 디스플레이된 슬라이스(SL)를 동적으로 제시하거나 변경할 수 있다. 슬라이스(SL)는 가상 경계(VB)의 위치에 따라 (도 4b에 도시된 바와 같이) 전체적으로 제시되거나 크롭(cropped)(도 6)될 수 있다.
추가로 또는 대안으로, 슬라이스(SL)는 신체 객체(O), 디스플레이 장치(100), 사용자 시점 또는 이들의 조합의 자세에 따라 변경될 수 있다. 슬라이스(SL)는 본원에 설명된 입력 장치들(106) 중 어느 하나를 사용하여 변경될 수 있다.
슬라이스(SL)의 배향은 여러 다른 기술들에 따라 조작될 수 있\다. VFSV 기술에서, 제어 시스템(60)은 DMVF 기법에 따라 디스플레이 장치(100)와 사용자의 시점(V)을 추적한다. 슬라이스(SL)의 위치는 툴(110, 20)의 추적된 위치를 기반으로 한다. 그러나 슬라이스(SL)의 배향은 미러 시점을 가리키도록 선택된다. 이는 미러를 통해 볼 때 슬라이스(SL)가 사용자를 향하도록 보장한다. 즉, 슬라이스(SL)는 시점 추적 시스템(VTS)에 의해 도출된 바와 같이 사용자의 시점(V)을 향하도록 배향된다. 슬라이스(SL)의 배향은 위에서 설명된 DMVF 기술을 사용하여 렌더링된다. 즉, 디스플레이 장치(100)에 대한 사용자의 시점(V)을 정확하게 고려하기 위해, 슬라이스(SL)는 디스플레이 장치(100)의 평면(P)을 기준으로 회전되어 작거나 크게 투영된다.
두 개의 서로 다른 1인칭 시점들에서의 VFSV 기술의 일 예는 도 12a 및 12b에서 볼 수 있으며, 툴(110, 20)은 도 12a와 12b 사이에서 고정된 채로 유지된다. 도 12b에서, 사용자의 시점(V)이 약간 왼쪽으로 이동되어, 툴(110, 20)에 더 가깝다. 디스플레이 장치(100)까지의 사용자 시점(V)의 거리는 거의 동일하게 유지된다. 이 예에서, 슬라이스(SL)가 사용자 시점(V)의 측면 모션에 대응하도록 회전되었기 때문에 디스플레이된 슬라이스(SL)가 사용자에게 동일한 것으로 나타난다. 도 12b에서 사용자가 디스플레이 장치(100)에 접근하는 경우, 슬라이스(SL)는 그에 따라 더 크게 나타날 것이며, 그 반대의 경우도 마찬가지이다.
VFSV 기술을 구현하기 위해 사용자의 시점(V)이 활용되는 반면, 슬라이스(SL)의 컴퓨터 이미지들(R)의 배향은 디스플레이 장치(100)의 자세, 객체(O)의 자세 및/또는 가상 카메라(VC)의 뷰잉 프러스텀(F) 내로 가져온 추적된 툴(110, 20)의 자세에 기초하여 추가적으로 조정될 수 있다.
추가로, 제어 시스템(60)은 VFSV 기술에 대해 상황별 정확한 방식으로 컴퓨터 이미지들(R)을 렌더링하도록 구성된다. 다시 말해, 컴퓨터 이미지(R) 렌더링은 객체(O), 툴(110, 20) 및/또는 슬라이스(SL)의 공간 레이어링을 공통 좌표계에서 서로에 대해 고려하여 이러한 항목들이 존재하는 실제 좌표계에서 동일한 항목의 실제 공간 위치를 모방한다. 따라서, 도 6 및 7의 시각화를 포함하는 SPSV 기술에 대한 상황별 정확한 렌더링과 관련된 상기 설명 중 어느 하나는 VFSV 기술에 전체적으로 적용될 수 있으며 설명의 단순화를 위해 반복되지 않는다.
C. 시각화 모드 스위칭
제어 시스템(60)은 임의의 입력 또는 조건에 응답하여 언제든지 본원에 설명된 시각화 모드들 중 어느 하나 사이의 스위칭을 가능하게 할 수 있다. 예를 들어, 제어 시스템(60)은 FVF 및 DMVF 시각화; SPSV 및 VFSV 시각화; FVF 시각화를 사용하고 SPSV 기술을 사용(3D 모델을 포함하든 포함하지 않든)하는 3D 모델 시각화(슬라이스 없음); DMVF 기술을 사용한 3D 모델 시각화(슬라이스 없음) 및 VFSV 기술(3D 모델을 포함하든 포함하지 않든)을 사용한 시각화; 정적 시각화 및 모든 FVF, SPSV, DMVF 및 VFSV 기술들 중 어느 하나 사이의 스위칭을 가능하게 할 수 있다.
사용자 입력에 따라 시각화 모드들 사이의 스위칭이 발생할 수 있다. 예를 들어, 제어 시스템(60)은, 이에 제한되는 것은 아니나, 풋 페달(106a), 핸드헬드 펜던트(106b), 태블릿, 스마트폰, 디스플레이 장치(100) 또는 내비게이션 시스템의 디스플레이와 같은 디스플레이 입력(106c), 툴(110, 20) 및/또는 머리 장착형 장치(120), 푸시 버튼들, 센서들, 스위치들, 키보드, 마우스, 마이크(음성 활성화), 제스처 제어 장치들, 터치스크린들, 조이스틱들, 등을 포함하는, 본원에 설명된 입력 장치들(106) 중 어느 하나로부터 커맨드를 수신할 수 있다.
시각화 모드들 사이의 스위칭은, 이에 제한되는 것은 아니나, 수술 절차 유형, 절차의 특정 단계, 추적된 사용자 시점(V) 또는 머리 장착형 장치(120)의 자세, 추적된 객체(O)의 자세, 추적된 디스플레이 장치(100)의 자세, 추적된 툴(110, 20)의 자세 또는 이들의 임의의 조합과 같은 조건들에 따라 자동으로 발생할 수 있다.
여러 구현들이 전술한 설명에서 논의되었다. 그러나, 본원에 논의된 구현들은 본 발명을 임의의 특정 형태로 한정하거나 총망라하도록 의도되지 않는다. 사용된 용어는 제한이라기 보다는 설명의 단어의 성격을 띠도록 하기 위한 것이다. 많은 수정들 및 변형들이 상기 교시들에 비추어 가능하고 본 발명은 특별히 설명된 것과 달리 실시될 수 있다.
D. 사례 연구 및 실험 결과들
개념의 증거로, 3명의 외상 외과의들(외과 과장, 주치의 및 레지던트)과 함께 기밀 사례 연구가 수행되었다. 설정에는 3D 인쇄 환자 팬텀, 수술실 테이블에 고정된 조정 가능한 책상 마운트의 디스플레이 장치(100), 및 환자 팬텀을 추적하기 위한 Stryker® Flashpoint 6000 추적 시스템, 툴(110, 20), 디스플레이 장치(100) 및 시점이 포함되었다. 3D 인쇄된 환자 팬텀에는 세그먼트화된 해부학적 구조과 해당 CT 볼륨이 포함되어 있다. 실험 동안, 외과의들은 사고 구술법(think-aloud protocol)로 시간 제한 없이 미리 정의된 순서로 제안된 기술들을 탐구한 다음, 반-구조화된(semi-structured) 인터뷰를 진행했다. 외과의들은 시각화 방법들의 차이에 주의를 기울이고 가능한 적용 시나리오들을 고려하도록 요청받았다. 첫째, 외과의들은 추적 기구로 제어되는 기존의 직교 슬라이스 시각화를 사용하도록 노출되었다. 다음으로, 외과의들은 새로운 FVF 및 SPSV 시각화 기술들을 제시했다. 그 후, 외과의들은 머리 추적을 사용하는 방법들, 즉 DMVF 및 VFSV 시각화 기술들을 탐구했다. FVF와 DMVF를 사용할 때, 외과의들은 세그먼트화된 3D 구조들과 직접 볼륨 렌더링의 두 가지 모드들 사이에서 스위칭하도록 지시했다. 인터뷰에서, 외과의들은 슬라이스 프리젠테이션을 자동화하고 환자에게 직접 보는 배향과 일치하는 이미지들을 그들에게 제공하는 아이디어를 칭찬했다. 제안된 개념에 대한 전문가들의 전반적인 피드백은 매우 긍정적이었다. 외과의들은 DMVF 및 VFSV의 경우, 외과의들이 멸균 방식으로 환자 데이터와 상호 작용할 수 있다는 사실을 높이 평가했으며, 그들은 중재가 처음에 예상했던 것보다 더 복잡한 것으로 판명될 때 중요하다고 생각했다. 참가자들은 FVF 및 SPSV 방법들이 확립된 수술 워크플로우에 쉽게 통합될 수 있다는 데 동의했다. 제안된 개념의 응용에 대해 질문했을 때, 복잡한 두개악안면 수술의 사용 사례, 정형외과 및 외상 수술의 중재, 관내보철성(endoprothetics)과 같이 고정밀이 활용되는 중재가 포함되어 있다. 마지막으로, 참가자들은 제안된 시각화 기술들이 특정 환자 해부학적 구조에 익숙해지고 계획된 궤적과 관련하여 현재 기구들이 어떻게 배치되어 있는지 이해하는 데 도움이 될 수 있다는 데 동의했다. 참가자들은 새로운 시각화 기술들이 특정 환자의 해부학적 구조와 기구들이 현재 어떻게 배치되어 있는지에 대한 배향에 도움이 된다는 데 만장일치로 동의한다.

Claims (38)

  1. 신체 객체와의 상호작용을 돕기 위한 시스템에 있어서, 상기 시스템은,
    평면을 정의하고 상기 신체 객체의 제1 측에 위치되는 디스플레이 장치; 및
    제어 시스템에 결합되고,
    상기 신체 객체에 컴퓨터 이미지들을 등록하고;
    공통 좌표계에서 상기 신체 객체 및 상기 디스플레이 장치의 자세를 추적하고;
    상기 신체 객체 및 상기 디스플레이 장치의 상기 추적된 자세에 따라 상기 등록된 컴퓨터 이미지들을 렌더링하도록 상기 디스플레이 장치를 제어하도록 구성되는 내비게이션 시스템을 포함하며,
    상기 렌더링의 관점은 상기 제1 측에 반대되는 상기 신체 객체의 제2 측 상에 위치된 가상 위치를 갖는 가상 카메라에 기초하고, 상기 가상 카메라는 상기 디스플레이 장치의 평면을 향하는 시야를 가지며, 상기 가상 카메라의 상기 가상 위치는 상기 디스플레이 장치의 상기 자세에 대한 조정에 응답하여 자동으로 업데이트되는, 시스템.
  2. 제1항에 있어서, 상기 신체 객체의 상기 컴퓨터 이미지들은 3D 모델로부터 도출되고, 상기 제어 시스템은 상기 신체 객체 및 상기 디스플레이 장치의 상기 추적된 자세에 따라 상기 3D 모델의 하나 이상의 슬라이스들을 디스플레이하도록 상기 디스플레이 장치를 제어하도록 구성되는, 시스템.
  3. 제2항에 있어서, 상기 하나 이상의 슬라이스들은 상기 디스플레이 장치의 상기 평면에 평행한 평면들에서 슬라이스되는, 시스템.
  4. 제2항 내지 제3항 중 어느 한 항에 있어서, 상기 제어 시스템은, 상기 디스플레이 장치의 상기 추적된 자세; 상기 신체 객체의 상기 추적된 자세; 수술 기구의 추적된 자세; 및 사용자 시점의 추적된 자세 중 하나 이상에 응답하여 상기 하나 이상의 슬라이스들을 다른 슬라이스들로 자동으로 변경하도록 상기 디스플레이 장치를 제어하도록 구성되는, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 가상 카메라의 상기 가상 위치는 상기 디스플레이 장치의 평면으로부터 미리 결정된 거리에 위치되고, 상기 미리 결정된 거리는 자동으로 업데이트되는, 시스템.
  6. 제5항에 있어서, 상기 미리 결정된 거리는, 상기 디스플레이 장치의 상기 추적된 자세, 상기 신체 객체의 상기 추적된 자세, 수술 툴의 추적된 자세; 사용자 시점의 추적된 자세; 수술 절차의 유형; 및 수술 절차의 특정 단계 중 적어도 하나 이상에 응답하여 자동으로 업데이트되는, 시스템.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 가상 카메라의 상기 가상 위치는 상기 디스플레이 장치의 상기 평면으로부터 미리 결정된 거리에 위치되고, 상기 미리 결정된 거리는 고정되는, 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 디스플레이 장치의 상기 평면을 기준으로 상기 가상 카메라의 상기 가상 위치의 X-Y 배치는 자동으로 업데이트되는, 시스템.
  9. 제8항에 있어서, 상기 X-Y 배치는, 상기 디스플레이 장치의 상기 추적된 자세, 상기 신체 객체의 상기 추적된 자세, 수술 툴의 추적된 자세; 사용자 시점의 추적된 자세; 수술 절차의 유형; 및 수술 절차의 특정 단계 중 적어도 하나 이상에 응답하여 자동으로 업데이트되는, 시스템.
  10. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 디스플레이 장치의 상기 평면을 기준으로 상기 가상 카메라의 상기 가상 위치의 X-Y 배치가 고정되는, 시스템.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 디스플레이 장치의 상기 자세가 수동으로 조정 가능하며, 상기 가상 카메라의 상기 가상 위치는 상기 디스플레이 장치의 상기 자세에 대한 수동 조정에 응답하여 자동으로 업데이트되는, 시스템.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 디스플레이 장치에 결합된 하나 이상의 액추에이터들을 포함하고, 상기 제어 시스템은 상기 디스플레이 장치의 상기 자세를 조정하도록 상기 하나 이상의 액추에이터들을 제어하도록 구성되는, 시스템.
  13. 제12항에 있어서, 상기 제어 시스템에 결합된 입력 장치를 포함하고 상기 제어 시스템은 상기 입력 장치로부터 커맨드를 수신하고 상기 커맨드에 따라 상기 디스플레이 장치의 상기 자세를 조정하도록 상기 하나 이상의 액추에이터들을 제어하도록 구성되는, 시스템.
  14. 제12항 내지 제13항 중 어느 한 항에 있어서, 하나 이상의 추적 가능한 특징들을 포함하는 수술 기구를 포함하며, 상기 내비게이션 시스템은 상기 공통 좌표계에서 상기 수술 기구의 자세를 추적하고 상기 수술 기구의 이미지를 디스플레이하도록 상기 디스플레이 장치를 제어하도록 구성되고, 상기 제어 시스템은 상기 수술 기구의 상기 추적된 자세에 기초하여 상기 디스플레이 장치의 상기 자세를 조정하도록 상기 하나 이상의 액추에이터들을 제어하도록 구성되는, 시스템.
  15. 제12항 내지 제14항 중 어느 한 항에 있어서, 상기 내비게이션 시스템에 결합되고 상기 공통 좌표계에서 사용자 시점의 자세를 추적하도록 구성되는 시점 추적 시스템을 포함하고, 상기 제어 시스템은 상기 사용자 시점의 상기 추적된 자세에 기초하여 상기 디스플레이 장치의 상기 자세를 조정하도록 상기 하나 이상의 액추에이터들을 제어하도록 구성되는, 시스템.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 가상 카메라의 상기 가상 위치와 상기 디스플레이 장치의 상기 평면 사이에 정의된 라인은 상기 디스플레이 장치의 상기 평면을 횡단하는, 시스템.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 가상 카메라의 상기 가상 위치와 상기 디스플레이 장치의 상기 평면 사이에 정의된 라인은 상기 디스플레이 장치의 상기 평면에 직교하는, 시스템.
  18. 제16항 내지 제17항 중 어느 한 항에 있어서, 상기 라인은 상기 디스플레이 장치의 기하학적 중심에 도달하는, 시스템.
  19. 제16항 내지 제17항 중 어느 한 항에 있어서, 상기 라인은 상기 디스플레이 장치의 기하학적 중심으로부터 오프셋되는 위치에 도달하는, 시스템.
  20. 신체 객체와의 상호작용을 돕기 위한 시스템 동작 방법으로서, 상기 시스템은 평면을 정의하고 상기 신체 객체의 제1 측에 위치되는 디스플레이 장치, 및 제어 시스템에 결합된 내비게이션 시스템을 포함하는, 상기 방법에 있어서,
    상기 신체 객체에 컴퓨터 이미지들을 등록하는 단계;
    공통 좌표계에서 상기 신체 객체 및 상기 디스플레이 장치의 자세를 추적하는 단계; 및
    상기 신체 객체 및 상기 디스플레이 장치의 상기 추적된 자세에 따라 상기 등록된 컴퓨터 이미지들을 렌더링하도록 상기 디스플레이 장치를 제어하는 단계를 포함하며;
    상기 렌더링의 관점은 상기 제1 측에 반대되는 상기 신체 객체의 제2 측 상에 위치된 가상 위치를 갖는 가상 카메라에 기초하고, 상기 가상 카메라는 상기 디스플레이 장치의 평면을 향하는 시야를 가지며, 상기 디스플레이 장치의 상기 자세를 조정하는 것에 응답하여 상기 가상 카메라의 상기 가상 위치를 자동으로 업데이트하는, 방법.
  21. 신체 객체와의 상호작용을 돕기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 평면을 정의하고 상기 신체 객체의 제1 측 상에 위치되는 디스플레이 장치 및 제어 시스템에 결합된 내비게이션 시스템을 포함하는 시스템과 함께 사용 가능하고, 상기 컴퓨터 프로그램 제품은, 하나 이상의 프로세서들에 의해 실행 시,
    상기 신체 객체에 컴퓨터 이미지들을 등록하고;
    공통 좌표계에서 상기 신체 객체 및 상기 디스플레이 장치의 자세를 추적하고;
    상기 신체 객체 및 상기 디스플레이 장치의 상기 추적된 자세에 따라 상기 등록된 컴퓨터 이미지들을 렌더링하도록 상기 디스플레이 장치를 제어하도록 구성되는 명령어들을 포함하며;
    상기 렌더링의 관점은 상기 제1 측에 반대되는 상기 신체 객체의 제2 측 상에 위치된 가상 위치를 갖는 가상 카메라에 기초하고, 상기 가상 카메라는 상기 디스플레이 장치의 평면을 향하는 시야를 가지며, 상기 가상 카메라의 상기 가상 위치는 상기 디스플레이 장치의 상기 자세에 대한 조정에 응답하여 자동으로 업데이트되는, 컴퓨터 프로그램 제품.
  22. 신체 객체와의 상호작용을 돕기 위한 시스템에 있어서, 상기 시스템은,
    평면을 정의하는 디스플레이 장치로서, 상기 신체 객체는 상기 평면의 전면에 위치되는, 상기 디스플레이 장치;
    제어 시스템에 결합되고,
    상기 신체 객체에 컴퓨터 이미지들을 등록하고;
    공통 좌표계에서 상기 신체 객체, 상기 디스플레이 장치 및 사용자 시점의 자세를 추적하고;
    상기 신체 객체, 상기 디스플레이 장치 및 상기 사용자 시점의 상기 추적된 자세에 따라 상기 등록된 컴퓨터 이미지들을 렌더링하기 위한 상기 디스플레이 장치를 제어하도록 구성되는 내비게이션 시스템을 포함하며;
    상기 렌더링의 관점은 상기 평면 뒤의 가상 위치를 갖는 가상 카메라의 시야에 기초하고, 상기 가상 카메라의 상기 가상 위치는 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는, 시스템.
  23. 제22항에 있어서, 상기 렌더링의 상기 관점은 상기 디스플레이 장치의 상기 평면을 기준으로 상기 사용자 시점의 상기 추적된 자세와 정렬되도록 자동으로 회전되는, 시스템.
  24. 제23항에 있어서, 상기 렌더링의 회전은 다음의 투영 행렬
    Figure pct00006
    에 따라 계산되는, 시스템.
  25. 제24항에 있어서, 상기 렌더링의 상기 관점은 다음의
    Figure pct00007
    =
    Figure pct00008
    에 따라 계산되는, 시스템.
  26. 제22항 내지 제25항 중 어느 한 항에 있어서, 상기 가상 카메라의 상기 시야는 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는, 시스템.
  27. 제26항에 있어서, 상기 디스플레이 장치는 고정된 특징들을 포함하고, 상기 가상 카메라의 상기 시야는 경계 특징들을 포함하고, 상기 제어 시스템은 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는 상기 가상 카메라의 임의의 주어진 가상 위치에 대한 상기 고정된 특징들과 일치하도록 상기 경계 특징들에 피트되도록 구성되는, 시스템.
  28. 제22항 내지 제27항 중 어느 한 항에 있어서, 상기 공통 좌표계는 X, Y 및 Z 축들을 포함하고, 상기 가상 카메라의 상기 가상 위치 및 상기 사용자 시점의 상기 자세는 상기 X, Y 및 Z 축들 각각을 기준으로 상기 디스플레이 장치의 상기 평면으로부터 등거리인, 시스템.
  29. 제22항 내지 제28항 중 어느 한 항에 있어서, 상기 가상 카메라의 상기 가상 위치는,
    상기 디스플레이 장치의 상기 평면을 향한 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 상기 디스플레이 장치의 상기 평면을 향해 이동하고;
    상기 디스플레이 장치의 상기 평면에서 멀어지도록 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 상기 디스플레이 장치의 상기 평면으로부터 멀리 이동하도록 자동으로 업데이트되는, 시스템.
  30. 제22항 내지 제29항 중 어느 한 항에 있어서, 상기 제어 시스템은,
    상기 디스플레이 장치의 상기 평면을 향한 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 크기를 증가시키고;
    상기 디스플레이 장치의 상기 평면으로부터 멀어지는 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 크기를 감소시키도록 상기 컴퓨터 이미지들을 렌더링하는, 시스템.
  31. 제22항 내지 제30항 중 어느 한 항에 있어서, 상기 신체 객체의 상기 컴퓨터 이미지들은 3D 모델로부터 도출되고, 상기 제어 시스템은 상기 신체 객체, 상기 디스플레이 장치 및 상기 사용자 시점의 상기 추적된 자세에 따라 상기 3D 모델의 하나 이상의 슬라이스들을 디스플레이하도록 상기 디스플레이 장치를 제어하도록 구성되는, 시스템.
  32. 제22항 내지 제31항 중 어느 한 항에 있어서, 상기 하나 이상의 슬라이스들의 관점은 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는 상기 가상 위치를 갖는 상기 가상 카메라의 상기 시야에 기초하여 렌더링되는, 시스템.
  33. 제22항 내지 제32항 중 어느 한 항에 있어서, 상기 제어 시스템은, 상기 사용자 시점의 상기 추적된 자세; 상기 디스플레이 장치의 상기 추적된 자세; 상기 신체 객체의 상기 추적된 자세; 및 수술 기구의 추적된 자세 중 하나 이상에 응답하여 상기 하나 이상의 슬라이스들을 다른 슬라이스들로 자동으로 변경하도록 상기 디스플레이 장치를 제어하도록 구성되는, 시스템.
  34. 제22항 내지 제33항 중 어느 한 항에 있어서, 상기 내비게이션 시스템은 머리 장착형 장치를 포함하고, 상기 내비게이션 시스템은 상기 머리 장착형 장치의 자세를 추적하도록 구성됨으로써 상기 사용자 시점의 상기 자세를 추적하도록 구성되는, 시스템.
  35. 제22항 내지 제34항 중 어느 한 항에 있어서, 상기 내비게이션 시스템은 상기 사용자를 향하도록 구성된 카메라를 포함하고, 상기 내비게이션 시스템은 상기 카메라를 사용하여 상기 사용자의 머리, 얼굴 또는 눈의 자세를 추적하도록 구성됨으로써 상기 사용자 시점의 상기 자세를 추적하도록 구성되는, 시스템.
  36. 제35항에 있어서, 상기 카메라는 상기 디스플레이 장치에 장착되는, 시스템.
  37. 신체 객체와의 상호작용을 돕기 위한 시스템 동작 방법으로서, 상기 시스템은 평면을 정의하는 디스플레이 장치로서, 상기 신체 객체는 상기 평면의 전면에 위치되는, 상기 디스플레이 장치 및 제어 시스템에 결합되는 내비게이션 시스템을 포함하는, 상기 방법에 있어서,
    상기 신체 객체에 컴퓨터 이미지들을 등록하는 단계;
    공통 좌표계에서 상기 신체 객체, 상기 디스플레이 장치 및 사용자 시점의 자세를 추적하는 단계; 및
    상기 신체 객체, 상기 디스플레이 장치 및 상기 사용자 시점의 상기 추적된 자세에 따라 상기 등록된 컴퓨터 이미지들을 렌더링하기 위한 상기 디스플레이 장치를 제어하는 단계를 포함하며;
    상기 렌더링의 관점은 상기 평면 뒤의 가상 위치를 갖는 가상 카메라의 시야에 기초하고, 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 상기 가상 카메라의 상기 가상 위치를 자동으로 업데이트하는, 방법.
  38. 신체 객체와의 상호작용을 돕기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 평면을 정의하는 디스플레이 장치로서, 상기 신체 객체는 상기 평면의 전면에 위치되는, 상기 디스플레이 장치 및 제어 시스템에 결합된 내비게이션 시스템을 포함하는 시스템과 함께 사용 가능하고, 상기 컴퓨터 프로그램 제품은, 하나 이상의 프로세서들에 의해 실행 시,
    상기 신체 객체에 컴퓨터 이미지들을 등록하고;
    공통 좌표계에서 상기 신체 객체, 상기 디스플레이 장치 및 사용자 시점의 자세를 추적하고;
    상기 신체 객체, 상기 디스플레이 장치 및 상기 사용자 시점의 상기 추적된 자세에 따라 상기 등록된 컴퓨터 이미지들을 렌더링하기 위한 상기 디스플레이 장치를 제어하도록 구성되는 명령어들을 포함하며;
    상기 렌더링의 관점은 상기 평면 뒤의 가상 위치를 갖는 가상 카메라의 시야에 기초하고, 상기 가상 카메라의 상기 가상 위치는 상기 사용자 시점의 상기 추적된 자세의 움직임에 응답하여 자동으로 업데이트되는, 컴퓨터 프로그램 제품.
KR1020227044189A 2020-06-09 2021-06-08 컴퓨터 지원 중재를 위한 공간 인식 디스플레이 KR20230049062A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063036559P 2020-06-09 2020-06-09
US63/036,559 2020-06-09
PCT/IB2021/055047 WO2021250577A1 (en) 2020-06-09 2021-06-08 Spatially-aware displays for computer-assisted interventions

Publications (1)

Publication Number Publication Date
KR20230049062A true KR20230049062A (ko) 2023-04-12

Family

ID=76444496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227044189A KR20230049062A (ko) 2020-06-09 2021-06-08 컴퓨터 지원 중재를 위한 공간 인식 디스플레이

Country Status (7)

Country Link
US (1) US20210378750A1 (ko)
EP (1) EP4161432A1 (ko)
JP (1) JP2023530652A (ko)
KR (1) KR20230049062A (ko)
CN (1) CN115835830A (ko)
AU (1) AU2021288756A1 (ko)
WO (1) WO2021250577A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3618005A1 (en) * 2018-08-30 2020-03-04 Koninklijke Philips N.V. Image processing system and method
CN114827727A (zh) * 2022-04-25 2022-07-29 深圳创维－Rgb电子有限公司 电视控制方法、装置、电视及计算机可读存储介质
EP4272679A1 (en) * 2022-05-06 2023-11-08 Stryker European Operations Limited Technique for determining a visualization based on an estimated surgeon pose
CN117731397A (zh) * 2024-02-20 2024-03-22 北京医院 医学导航方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
WO2012178031A1 (en) 2011-06-23 2012-12-27 Stryker Corporation Prosthetic implant and method of implantation
WO2013033566A1 (en) 2011-09-02 2013-03-07 Stryker Corporation Surgical instrument including a cutting accessory extending from a housing and actuators that establish the position of the cutting accessory relative to the housing
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US9566121B2 (en) 2013-03-15 2017-02-14 Stryker Corporation End effector of a surgical robotic manipulator
WO2018049196A1 (en) * 2016-09-09 2018-03-15 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for display of patient data in computer-assisted surgery
US11766296B2 (en) * 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery

Also Published As

Publication number Publication date
JP2023530652A (ja) 2023-07-19
AU2021288756A1 (en) 2023-01-19
US20210378750A1 (en) 2021-12-09
EP4161432A1 (en) 2023-04-12
CN115835830A (zh) 2023-03-21
WO2021250577A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
US11844574B2 (en) Patient-specific preoperative planning simulation techniques
CN110169822B (zh) 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法
US11707330B2 (en) Systems and methods for surgical navigation
JP7216768B2 (ja) 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
US20210378750A1 (en) Spatially-Aware Displays For Computer-Assisted Interventions
CN108472096B (zh) 用于在由虚拟对象限定的目标部位处对患者执行手术的系统和方法
US20210121238A1 (en) Visualization system and method for ent procedures
AU2019214340A1 (en) Operating room remote monitoring
US20230026489A1 (en) Surgical guidance for surgical tools
KR20220024055A (ko) 추적 시스템 시야 위치설정 시스템 및 방법
Wörn et al. New augmented reality and robotic based methods for head‐surgery
US20220079687A1 (en) Robot mounted camera registration and tracking system for orthopedic and neurological surgery
AU2020282347B2 (en) Robot mounted camera registration and tracking system for orthopedic and neurological surgery
Paul The Holographic Recognition of the Spine Surgical Model: Where the Present Meets the Future of the Surgery
WO2023034147A1 (en) Using mixed-reality hardware for range of motion estimation during robot-assisted orthopedic surgery
WO2021113095A1 (en) Targeting tool for virtual surgical guidance