KR20220134765A - 3차원 의료 이미징 및 상호작용 - Google Patents

3차원 의료 이미징 및 상호작용 Download PDF

Info

Publication number
KR20220134765A
KR20220134765A KR1020227029573A KR20227029573A KR20220134765A KR 20220134765 A KR20220134765 A KR 20220134765A KR 1020227029573 A KR1020227029573 A KR 1020227029573A KR 20227029573 A KR20227029573 A KR 20227029573A KR 20220134765 A KR20220134765 A KR 20220134765A
Authority
KR
South Korea
Prior art keywords
display
patient
dimensional
user
dimensional image
Prior art date
Application number
KR1020227029573A
Other languages
English (en)
Inventor
번하드 퓨어스트
알렉산더 바텔
에릭 엠. 존슨
리스토 코세브
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20220134765A publication Critical patent/KR20220134765A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/0042—Surgical instruments, devices or methods, e.g. tourniquets with special provisions for gripping
    • A61B2017/00446—Surgical instruments, devices or methods, e.g. tourniquets with special provisions for gripping for use only by lefthanded or only by righthanded persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/60—Supports for surgeons, e.g. chairs or hand supports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

의료 이미지 뷰어는 환자 해부학적 구조의 3차원 뷰, 환자 해부학적 구조의 다중 평면 재구성(MPR) 뷰, 및 수술중 뷰를 디스플레이에 렌더링할 수 있다. 뷰들 중 일부는 동기되어 해부학적 구조의 공통 관심점을 보여줄 수 있다. 다른 실시예들이 기술되고 청구된다.

Description

3차원 의료 이미징 및 상호작용
<상호 참조>
본 특허 출원은 2020년 1월 30일자로 출원되고 발명의 명칭이 "3차원 의료 이미징 및 상호작용(THREE DIMENSIONAL MEDICAL IMAGING AND INTERACTIONS)"인 미국 가출원 제62/967,810호의 선출원일의 이익을 주장한다.
<기술분야>
본 발명은 일반적으로 수술 로봇 공학의 분야에 관한 것으로, 보다 상세하게는, 수술 로봇 시스템을 이용하여 환자의 3차원 이미지를 표시하고 이와 상호작용하는 것에 관한 것이다.
복강경 수술과 같은 최소 침습 수술(minimally-invasive surgery, MIS)은 외과 시술 동안 조직 손상을 감소시키도록 의도된 기법들을 수반한다. 예를 들어, 복강경 시술은 전형적으로 환자에(예컨대, 복부에) 다수의 작은 절개부를 생성하는 것, 및 하나 이상의 도구 및 하나 이상의 내시경 카메라를 절개부들을 통해 환자 내로 도입하는 것을 수반한다. 이어서, 외과 시술들은 도입된 도구들을 사용하여 수행될 수 있으며, 이때 시각적 지원이 카메라에 의해 제공된다.
일반적으로, MIS는 감소된 환자 반흔 생성, 더 적은 환자 통증, 더 짧은 환자 회복 기간, 및 환자 회복과 연관된 더 낮은 의료적 치료 비용과 같은 다수의 이익들을 제공한다. 일부 실시예에서, MIS는 조작자로부터의 명령에 기초하여 수술 기구들을 조종하기 위한 하나 이상의 로봇 아암(arm)을 포함하는 수술 로봇 시스템들로 수행될 수 있다. 예를 들어, 조작자는 카메라에 의해 제공되고 사용자에게 디스플레이 상에 표시되는 이미지를 보면서 수술 기구를 조작하기 위한 명령을 제공할 수 있다. 그러나, 종래의 디스플레이 시스템은, 디스플레이 시스템 또는 수술 로봇 시스템의 효과적인 제어를 가능하게 함에 있어서 미흡하다. 또한, 종래의 디스플레이 시스템은 일반적으로 사용자에게 2차원 수술 이미지 데이터를 제공하고, 현재의 3차원 디스플레이는 3차원 이미지의 가시화(visualization)를 위해 사용자가 안경 또는 추가적인 유사한 웨어러블 구성요소(예컨대, 편광 필터 또는 동적 셔터(dynamic shutter)를 구비함)를 착용할 것을 전형적으로 요구한다. 그러나, 이러한 안경 및 추가적인 웨어러블 구성요소는 수술 또는 멸균 환경에서 사용하고 취급하는 데 문제가 될 수 있다. 수술 로봇 시스템을 이용한 외과 시술 동안, 외과의는 외과의가 환자의 해부학적 구조를 내비게이팅하는 것을 도울 수 있는 환자의 이미지 데이터를 보기를 원할 수 있다. 따라서, 수술 로봇 시스템을 이용하여 수행되는 외과 시술 동안 사용자가 수술 부위를 더 잘 가시화할 수 있게 하는 개선된 3차원 디스플레이 시스템에 대한 필요성이 있다.
일반적으로, 상호작용형 3차원 디스플레이를 갖는 수술 로봇 시스템은 좌측 핸드헬드(handheld) 사용자 인터페이스 장치(user interface device, UID) 및 우측 핸드헬드 UID, 및 무안경 입체(autostereoscopic) 3차원 디스플레이를 포함할 수 있다. 수술 로봇 시스템의 하나 이상의 컴퓨터 프로세서는 환자의 복수의 수술전(pre-operation) 이미지들을 수신하고, 수술전 이미지들에 대해 재구성을 수행하여 환자의 3차원 이미지를 생성하도록 구성될 수 있다. 프로세서는 환자의 3차원 이미지를 입체적으로 렌더링하여(render), 좌안 위치를 나타내는 제1 데이터 세트 및 우안 위치를 나타내는 제2 데이터 세트를 갖는 입체 데이터 스트림을 생성할 수 있다. 무안경 입체 3차원 디스플레이는 입체 데이터 스트림으로 구동되어, 무안경 입체 3차원 디스플레이 상에 환자의 3차원 이미지의 하나 이상의 뷰(view)를 생성할 수 있다. 프로세서는 좌측 및/또는 우측 UID들로부터의 입력에 응답하여 무안경 입체 3차원 디스플레이 상의 환자의 3차원 이미지의 뷰를 조절할 수 있다. 동일한 UID들이 수술 로봇 아암들(및/또는 부착된 도구들)을 제어하여 외과 시술을 수행하는 데 사용될 수 있어서, 사용자가 환자의 3차원 이미지의 관찰과 환자에 대한 수술의 수행 사이에서 끊김없이 토글링하게 할 수 있다.
일부 실시예에서, 환자의 내시경 뷰 및 수술 작업 부위가 환자의 3차원 이미지와 동시에 3차원 디스플레이 상에 보여진다. 사용자는 외과 시술에 영향을 미치도록 수술 도구들의 내비게이션을 할 수 있는 환자의 해부학적 구조에 대한 개선된 이해를 얻을 수 있다.
도 1은 일부 실시예에 따른, 수술장에서의 예시적인 수술 로봇 시스템의 그림 도면.
도 2는 일부 실시예에 따른, 3차원 관찰을 갖는 수술 로봇 시스템의 시스템 도면.
도 3은 일부 실시예에 따른, 수술 로봇 시스템에 의해 3차원 관찰을 제공하기 위한 프로세스를 도시하는 도면.
도 4는 일부 실시예에 따른, 3차원 관찰 특징부를 갖는 수술 로봇 시스템의 사용자 콘솔을 도시하는 도면.
도 5는 일부 실시예에 따른 예시적인 디스플레이 또는 모니터의 분해 측면도.
도 6 및 도 7은 일부 실시예에 따른, 수술 로봇 시스템과 함께 사용하기 위한 예시적인 디스플레이 시스템을 도시하는 도면.
도 8 및 도 9는 일부 실시예에 따른, 수술 로봇 시스템을 사용하여 환자의 3차원 이미지와 상호작용하는 예들을 예시하는 도면.
도 10은 일부 실시예에 따른 의료 이미지 뷰어를 도시하는 도면.
도 11은 일부 실시예에 따른, 수술 로봇 시스템과 함께 사용하기 위한 디스플레이 시스템을 도시하는 도면.
본 발명의 다양한 태양 및 변형의 비제한적인 예들이 본 명세서에 기술되고 첨부 도면들에 예시된다.
도 1을 참조하면, 이는 수술장에서의 예시적인 수술 로봇 시스템(1)의 그림 도면이다. 로봇 시스템(1)은 사용자 콘솔(2), 컨트롤 타워(3), 및 수술 로봇 플랫폼(5), 예컨대 테이블, 베드 등에서의 하나 이상의 수술 로봇 아암(4)을 포함한다. 시스템(1)은 환자(6)에 대해 수술을 수행하는 데 사용되는 임의의 개수의 장치, 도구, 또는 액세서리를 포함할 수 있다. 예를 들어, 시스템(1)은 수술을 수행하는 데 사용되는 하나 이상의 수술 도구(7)를 포함할 수 있다. 수술 도구(7)는 외과 시술을 실행하기 위한, 수술 아암(4)의 원위 단부에 부착되는 엔드 이펙터(end effector)일 수 있다. 일 태양에서, 아암(4)은 도 1의 예에 도시된 바와 같이 환자가 놓인 테이블 또는 베드에 장착될 수 있거나, 이들은 테이블 또는 베드와 별개인 카트에 장착될 수 있다.
각각의 수술 도구(7)는 수술 동안 수동으로, 로봇식으로, 또는 이들 둘 모두로 조작될 수 있다. 예를 들어, 수술 도구(7)는 환자(6)의 내부 해부학적 구조에 들어가거나, 이를 관찰하거나, 이를 조작하는 데 사용되는 도구일 수 있다. 일 실시예에서, 수술 도구(7)는 환자의 조직을 파지할 수 있는 파지기(grasper)이다. 수술 도구(7)는 침대옆 조작자(8)에 의해 수동으로 제어될 수 있거나; 또는 그것이 부착되는 수술 로봇 아암(4)의 가동된 움직임을 통해 로봇식으로 제어될 수 있다. 로봇 아암(4)은 테이블-장착형 시스템으로서 도시되어 있지만, 다른 구성에서, 아암(4)은 카트, 천장 또는 측벽에, 또는 다른 적합한 구조적 지지체에 장착될 수 있다.
대체적으로, 외과의 또는 다른 조작자와 같은 원격 조작자(9)는 사용자 콘솔(2)을 사용하여 아암(4) 또는 부착된 수술 도구(7)를 원격으로 조작할 수 있다(예컨대, 원격조종). 사용자 콘솔(2)은, 도 1에 도시된 바와 같이, 시스템(1)의 나머지 부분과 동일한 수술실에 위치될 수 있다. 그러나, 다른 환경에서, 사용자 콘솔(2)은 인접한 또는 부근의 방에 위치될 수 있거나, 원격 위치에, 예컨대 상이한 건물, 도시, 또는 지역에 있을 수 있다. 사용자 콘솔(2)은 좌석(10), 발-작동식 제어부(13), 하나 이상의 핸드헬드 사용자 입력 장치, 즉 UID(14), 및 예컨대 환자(6) 내의 수술 부위의 뷰(view)를 표시하도록 구성되는 적어도 하나의 사용자 디스플레이(15)를 포함할 수 있다. 예시적인 사용자 콘솔(2)에서, 원격 조작자(9)는 좌석(10)에 앉아 사용자 디스플레이(15)를 관찰하면서, 아암(4) 및 (아암(4)의 원위 단부에 장착된) 수술 도구(7)를 원격으로 제어하기 위해 발-작동식 제어부(13) 및 핸드헬드 UID(14)를 조작하고 있다.
일부 변형예에서, 침대옆 조작자(8)는 또한 "오버 더 베드(over the bed)" 모드에서 시스템(1)을 작동시킬 수 있으며, 이때 침대옆 조작자(8)(사용자)는 이제 환자(6)의 옆에 있고, 예를 들어, 핸드헬드 UID(14)를 한 손에 잡은 상태에서, 로봇-구동식 도구(아암(4)에 부착된 바와 같은 엔드 이펙터) 및 수동 복강경 도구를 동시에 조작하고 있다. 예를 들어, 침대옆 조작자의 왼손은 로봇 구성요소를 제어하기 위해 핸드헬드 UID를 조작하고 있을 수 있는 반면, 침대옆 조작자의 오른손은 수동 복강경 도구를 조작하고 있을 수 있다. 따라서, 이들 변형예에서, 침대옆 조작자(8)는 환자(6)에 대해 로봇-보조 최소 침습 수술 및 수동 복강경 수술 둘 모두를 수행할 수 있다.
예시적인 시술(수술) 동안, 환자(6)는 마취를 달성하기 위해 멸균 방식으로 수술 준비되고 드레이핑된다(draped). 수술 부위에 대한 초기 접근은, 로봇 시스템(1)의 아암들이 (수술 부위에 대한 접근을 용이하게 하기 위해) 격납된(stowed) 구성 또는 후퇴된(withdrawn) 구성에 있는 동안 수동으로 수행될 수 있다. 일단 접근이 완료되면, 아암(4)을 포함하는 로봇 시스템(1)의 초기 위치설정 또는 준비가 수행될 수 있다. 다음으로, 사용자 콘솔(2)에 있는 원격 조작자(9)가 수술을 수행하기 위해 발-작동식 제어부(13) 및 UID(14)를 이용하여 다양한 엔드 이펙터 그리고 아마도 이미징 시스템을 조작함으로써 수술이 진행된다. 수동 보조는 또한 멸균 가운을 입은 침대옆 요원, 예컨대, 조직을 후퇴시키는 것, 수동 재배치를 수행하는 것, 및 로봇 아암(4)들 중 하나 이상에 대한 도구 교환과 같은 작업들을 수행할 수 있는 침대옆 조작자(8)에 의해 시술 침대 또는 테이블에서 제공될 수 있다. 사용자 콘솔(2)에 있는 원격 조작자(9)를 돕기 위해 비-멸균 요원이 또한 존재할 수 있다. 시술 또는 수술이 완료될 때, 시스템(1) 및 사용자 콘솔(2)은 세정 또는 멸균, 및 사용자 콘솔(2)을 통한 건강관리 기록 입력 또는 인쇄와 같은 수술 후 절차를 용이하게 하는 상태로 구성되거나 설정될 수 있다.
일 실시예에서, 원격 조작자(9)는 로봇 시스템(1) 내의 로봇 아암 액추에이터(17)를 이동시키기 위한 입력 명령을 제공하기 위해 UID(14)를 잡고 이를 이동시킨다. UID(14)는, 예를 들어 콘솔 컴퓨터 시스템(16)을 통해, 로봇 시스템(1)의 나머지 부분에 통신가능하게 결합될 수 있다. UID(14)는 UID(14)의 움직임, 예컨대 UID의 핸드헬드 하우징의 위치 및 배향에 대응하는 공간 상태 신호를 생성할 수 있고, 이 공간 상태 신호는 로봇 아암 액추에이터(17)의 모션을 제어하기 위한 입력 신호일 수 있다. 로봇 시스템(1)은 액추에이터(17)의 비례 모션을 제어하기 위해 공간 상태 신호로부터 유도된 제어 신호를 사용할 수 있다. 일 실시예에서, 콘솔 컴퓨터 시스템(16)의 콘솔 프로세서는 공간 상태 신호를 수신하고 대응하는 제어 신호를 생성한다. 아암(4)의 세그먼트 또는 링크를 이동시키기 위해 액추에이터(17)가 어떻게 동력공급되는지를 제어하는 이들 제어 신호에 기초하여, 아암에 부착되는 대응하는 수술 도구의 움직임은 UID(14)의 움직임을 모방할 수 있다. 유사하게, 원격 조작자(9)와 UID(14) 사이의 상호작용은 예컨대 수술 도구(7)의 파지기의 조오(jaw)가 환자(6)의 조직에 접근하여 파지하게 하는 파지 제어 신호를 생성할 수 있다.
수술 로봇 시스템(1)은 몇몇 UID(14)를 포함할 수 있으며, 여기서 각각의 아암(4)의 액추에이터 및 수술 도구(엔드 이펙터)를 제어하는 각각의 제어 신호는 각각의 UID에 대해 생성된다. 예를 들어, 원격 조작자(9)는 좌측 로봇 아암에 있는 액추에이터(17)의 모션을 제어하기 위해 제1 UID(14)를 이동시킬 수 있으며, 여기서 액추에이터는 그 아암(4) 내의 링크 장치(linkage), 기어 등을 이동시킴으로써 응답한다. 유사하게, 원격 조작자(9)에 의한 제2 UID(14)의 움직임은 다른 액추에이터(17)의 모션을 제어하며, 이는 이어서 로봇 시스템(1)의 다른 링크 장치, 기어 등을 이동시킨다. 로봇 시스템(1)은 환자의 우측에서 침대 또는 테이블에 고정되는 우측 아암(4), 및 환자의 좌측에 있는 좌측 아암(4)을 포함할 수 있다. 액추에이터(17)는 아암(4)의 조인트의 회전을 구동하여, 예를 들어 환자에 대해 그 아암에 부착되는 수술 도구(7)의 내시경 또는 파지기의 배향을 변화시키도록 제어되는 하나 이상의 모터를 포함할 수 있다. 동일한 아암(4) 내의 몇몇 액추에이터(17)의 모션은 특정 UID(14)로부터 생성된 공간 상태 신호에 의해 제어될 수 있다. UID(14)들은 또한 각각의 수술 도구 파지기들의 모션을 제어할 수 있다. 예를 들어, 각각의 UID(14)는 환자(6) 내의 조직을 파지하기 위해 수술 도구(7)의 원위 단부에 있는 파지기의 조오를 개방하거나 폐쇄하는 액추에이터, 예컨대 선형 액추에이터의 모션을 제어하기 위한 각각의 파지 신호를 발생시킬 수 있다.
일부 태양에서, 플랫폼(5)과 사용자 콘솔(2) 사이의 통신은 컨트롤 타워(3)를 통할 수 있는데, 컨트롤 타워는 사용자 콘솔(2)로부터(더 상세하게는 콘솔 컴퓨터 시스템(16)으로부터) 수신된 사용자 명령을 로봇 플랫폼(5) 상의 아암(4)에 전송되는 로봇 제어 명령으로 변환할 수 있다. 컨트롤 타워(3)는 또한 플랫폼(5)으로부터 다시 사용자 콘솔(2)로 상태 및 피드백을 전송할 수 있다. 로봇 플랫폼(5), 사용자 콘솔(2), 및 컨트롤 타워(3) 사이의 통신 연결은 다양한 데이터 통신 프로토콜 중 임의의 적합한 것을 사용하여 유선 또는 무선 링크를 통할 수 있다. 임의의 유선 연결부가 선택적으로 수술실의 바닥 또는 벽 또는 천장에 내장될 수 있다. 로봇 시스템(1)은 수술실 내의 디스플레이뿐만 아니라 인터넷 또는 다른 네트워크를 통해 접근가능한 원격 디스플레이를 포함한 하나 이상의 디스플레이에 비디오 출력을 제공할 수 있다(예컨대, 로봇 시스템(1)은 비디오 출력 또는 다른 적합한 이미지 데이터를 디스플레이에 제공하는 하나 이상의 내시경 카메라를 포함할 수 있음). 비디오 출력 또는 피드(feed)는 또한 프라이버시를 보장하기 위해 암호화될 수 있고, 비디오 출력의 전부 또는 부분이 서버 또는 전자 의료 기록 시스템에 저장될 수 있다.
도 2를 참조하면, 일부 실시예에 따른 수술 로봇 시스템(1)이 사용자(예컨대, 외과의)가 시술 동안 3차원 관찰 공간에서 환자의 수술전(pre-operation) 이미지를 열람하게 하는 특징부를 갖는 것으로 도시되어 있다. 이는 외과의가 수술 로봇 시스템을 이용하여 환자에 대한 수술을 적절하게 내비게이팅하고 수행하는 것을 도울 수 있는, 환자의 해부학적 구조에 관한 추가 정보를 외과의에게 제공할 수 있다. 시술을 수행하기 위해 사용되는 동일한 UID 및 디스플레이가 3차원 수술전 이미지를 제시하는 데 사용됨으로써, 외과의가 수술을 수행하면서 수술전 이미지를 끊김없이 관찰하게 할 수 있다.
수술 로봇 시스템(1)은 복수의 UID(14), 예컨대 좌측 핸드헬드 UID 및 우측 핸드헬드 UID를 포함한다. 일부 실시예에서, UID들의 각각은 쥘 때 활성화되고 해제 시 비활성화되는 벌브(bulb) 형상의 부분을 갖는다. 부가적으로 또는 대안적으로, UID는 눌려질 때 활성화되고 해제될 때 활성화되는 하나 이상의 버튼을 가질 수 있다. 하나 이상의 프로세서(36)가 각각의 UID의 활성화 상태(예컨대, 활성화되거나 비활성화됨)를 모니터링하도록 구성된다. 일부 실시예에서, 각각의 UID는 다수의 입력부(예컨대, 버튼들 및/또는 쥘 수 있는 벌브의 조합)을 가질 수 있는데, 각각의 입력부는 프로세서에 의해 모니터링되는 활성화 상태를 갖는다. 프로세서는 다른 섹션에서 논의되는 바와 같이 UID의 위치 및 움직임을 추적할 수 있다.
시스템은, 수술을 수행하는 데 사용되는 동일한 하드웨어를 사용하여, 수술 동안 수술전 이미지의 3차원 관찰에 대한 접근을 끊김없이 제공할 수 있다. 예를 들어, 프로세서는, 환자에 대한 수술을 수행하기 위해, 좌측 및/또는 우측 UID로부터의 입력에 응답하여 복수의 수술 로봇 아암(4) 및/또는 도구(7)의 움직임을 제어하도록 구성된다. 사용자는 수술 아암을 시야에서 또는 원격으로 제어할 수 있다. 디스플레이 시스템(140)은 수술의 시행으로부터의 실시간 이미지(예컨대, 내시경(42)으로부터의 내시경 이미지(44))를 관찰하는 데 사용되는 무안경 입체 3차원 디스플레이일 수 있다. 무안경 입체 3차원 디스플레이는 환자의 3차원 뷰, 및 b) 내시경으로부터 수신된 이미지에 기초한 내시경 뷰를 동시에 생성할 수 있다. 3차원 디스플레이는, 환자의 3차원 이미지를 관찰하는 데 사용되는 동일한 디스플레이가 또한 수술 작업 부위에서의 수술 도구의 움직임을 조정하기 위해 환자의 수술 작업 부위를 관찰하는 데 사용되도록, 사용자 콘솔과 통합될 수 있다. 둘 모두의 뷰를 동시에 보는 것에 의해, 사용자는 환자의 해부학적 구조 및 수술을 수행하기 위해 도구를 어떻게 이동시키는지에 대한 더 양호한 이해를 얻을 수 있다.
수술전 이미지(43)가 사진 파일 보관 및 통신 시스템(picture archiving and communication system, PACS)(41)으로부터 로더(loader) 및 이미지 뷰어 애플리케이션(32)에 의해 수신될 수 있다. PACS는 병원 및 다른 의료 환경에 전형적으로 존재하는 상이한 형식(modality)(예컨대, 컴퓨터 단층 촬영(computer tomography, CT) 또는 자기 공명 이미징(Magnetic Resonance Imaging, MRI))으로부터의 의료 이미지를 저장하고 이에 접근하기 위한 시스템이다. 로더 및 뷰어(32)는 수술 로봇 시스템 상에서 실행되는 애플리케이션이다. 외과 시술 전에, 시스템은 PACS로부터 환자의 수술전 이미지를 수신한다. 이들 이미지는 다중-프레임 DICOM(Digital Imaging and Communications in Medicine) 파일로서 저장될 수 있다. DICOM은 의료 이미지들 및 그들의 메타데이터가 어떻게 저장되고 교환되는지를 정의하는 표준이다.
시스템(예컨대, 로더 및 뷰어 애플리케이션(32))은 복수의 수술전 이미지(43)에 대해 재구성을 수행하여 환자의 3차원 이미지를 생성할 수 있다. DICOM 파일로서 저장될 수 있는 이미지들은 환자의 "슬라이스(slice)"를 각각 나타낼 수 있다. 슬라이스들은 프로세서에 의해 수행될 수 있는 하나 이상의 공지된 기법을 이용하여 환자의 3차원 모델을 재구성하도록 조합될 수 있다. 수술전 2D 이미지들 및 재구성된 3차원 이미지는 각각의 픽셀(2D) 또는 복셀(voxel)(3D)에 명암도(intensity)를 할당함으로써 표현될 수 있다. 시스템은 분할(partitioning)을 수행함으로써, 관심 영역(region of interest, ROI) 또는 구조물에서 그들 이미지의 각각의 픽셀 또는 복셀에 클래스(class)를 할당하여 세그먼트화(segmentation)를 가져올 수 있다. 그러한 세그먼트화는 수동, 반자동 또는 자동 주석(annotation)에 의해 얻어질 수 있다. 3차원 가시화, 특히 세그먼트화는 구조물들, 예를 들어 현재 관심이 없는 그들 구조물을 투명하게 만드는 데 유용하다. 일부 실시예에서, UID 입력은 환자의 3차원 이미지의 세그먼트화를 선택하고, 그들 세그먼트화가 투명하게 될 것을 명령할 수 있어서, 사용자가 관심 영역(예컨대, 장기 또는 종양)을 더 잘 볼 수 있도록 한다.
부가적으로, 의료 이미지 형식, 예컨대 컴퓨터 단층 촬영(CT) 또는 자기 공명 이미징(MRI)은 획득된 데이터를 이미지 공간에서 볼 수 있기 전에 재구성 단계를 필요로 할 수 있다. 이러한 재구성 단계 후에 이러한 데이터를 사용자에게 제시하는 하나의 방식은 3개의 슬라이스 또는 평면, 즉 시상(sagittal), 관상(coronal), 및 횡단(transversal)('축상(axial)'으로도 알려짐)을 보여주는 것이다. 다중 평면 재구성(multi planar reconstruction, MPR)은 수술전 이미지에 대해 수행되어, 환자의 시상 뷰, 관상 뷰, 및 횡단 뷰를 생성할 수 있다. MPR은 특정 평면, 전형적으로 축상(횡단)에서 획득된 이미징 형식으로부터 하나 이상의 다른 평면으로 데이터를 변환하는 것을 수반한다. MPR은 축상면에서의 체적 CT-스캐닝으로부터의 얇은 슬라이스 데이터를 사용하여 수행될 수 있지만, MRI 및 다른 평면과 같은 다른 의료 이미지 양식들이 사용될 수 있다. 예를 들어 축상면으로부터의 얇은 슬라이스 의료 이미지는, 이어서, 관상, 시상, 또는 사위(oblique)와 같은 비-축상면으로 변환될 수 있다.
입체 3차원 렌더러(renderer)(34)는 환자의 3차원 이미지를 입체적으로 렌더링하여, 좌안 위치를 나타내는 제1 데이터 세트 및 우안 위치를 나타내는 제2 데이터 세트를 갖는 입체 데이터 스트림을 생성한다. 각각의 데이터 세트(예컨대, 데이터 스트림)는 사용자의 각각의 눈이 3차원 디스플레이 상에서 무엇을 보는지를 나타낸다. 일 태양에서, 렌더러는 각각의 데이터 스트림에 대해 하나씩 2개의 가상 카메라를 생성한다. 가상 카메라들은 이들이 수평 오프셋을 갖도록 가상 공간에 위치된다. 일 실시예에서, 3차원 이미지를 입체적으로 렌더링하기 위해 축외(off-axis) 렌더링이 사용된다. 그러한 경우, 각각의 가상 카메라는 비대칭 카메라 절두체(camera frustum)를 갖는다. 뷰 절두체는 스크린 상에 나타날 수 있는 모델링된 3D 환경에서의 공간 영역이다. 다시 말하면, 이는 가상 카메라의 시야이다. 비대칭 카메라 절두체는 사용자의 관찰 스트레스를 피할 수 있다. 2개의 가상 카메라가 동일한 장면에 배치되고, 단일 OpenGL 컨텍스트를 공유한다. 각각의 가상 카메라는 각자의 데이터 스트림들을 개별 뷰포트(viewport)들로 제공한다. 대조적으로, "토인(toe-in)"기법은 (비대칭 카메라 절두체들 없이) 각각의 가상 카메라를 동일한 관심점(focal point)을 향하게 함으로써, 사용자에서 관찰 스트레스를 생성하는 수직 시차(parallax)를 도입한다.
무안경 입체 3차원 디스플레이일 수 있는 디스플레이 시스템(140)은 디스플레이 상에 환자의 3차원 이미지의 하나 이상의 뷰를 생성하기 위해 입체 데이터 스트림으로 구동된다. 사용자는 좌측 및/또는 우측 UID(14)들로부터의 입력에 응답하여 무안경 입체 3차원 디스플레이 상의 환자의 3차원 이미지의 뷰를 조절할 수 있다. 하나 이상의 프로세서(36)가 로드 및 이미지 뷰어 애플리케이션(32), 입체 3D 렌더러(34), 및 다른 애플리케이션과 같은 애플리케이션을 실행하기 위해 컴퓨터 명령어(예컨대, 비휘발성 메모리에 저장됨)를 수행한다는 것을 이해하여야 한다. 또한, 상이한 태스크(task)들에 상이한 프로세서들이 전용될 수 있는데, 예를 들어 하나의 프로세서가 이미지들을 로딩하고 관찰하는 것에 전용될 수 있다. 다른 프로세서가 입체 렌더링에 전용될 수 있다. 다른 프로세서가 UID 활성화 상태를 모니터링하는 것에 전용될 수 있다. 프로세싱 자원의 할당과 관련된 아키텍처는 본 발명과 밀접한 관련이 없고, 그러한 아키텍처는 본 발명의 범주를 초과함이 없이 변할 수 있다.
도 3을 참조하면, 프로세스(50)는 외과 시술 동안 수술 로봇 시스템에 의해 수행되어, 환자의 해부학적 구조에 대한 시각적 정보를 제공하는 것을 도울 수 있다. 수술 로봇 시스템의 하나 이상의 프로세서는 이 프로세스를 수행하도록 구성될 수 있다. 블록(51)에서, 프로세스는 환자의 복수의 수술전 이미지에 대해 재구성을 수행하여 환자의 3차원 이미지를 생성하는 단계를 포함한다. MPR이 또한 수행되어 MPR 뷰(예컨대, 도 7에 도시된 바와 같은 축상 뷰, 시상뷰, 및 관상 뷰)를 생성할 수 있다.
블록(52)에서, 프로세스는 환자의 3차원 이미지를 입체적으로 렌더링하여, 1) 좌안이 좌안 위치에서 볼 시각적 데이터를 나타내는 제1 데이터 세트 및 우안이 우안 위치에서 볼 시각적 데이터를 나타내는 제2 데이터 세트를 갖는 입체 데이터 스트림을 생성하는 단계를 포함한다. 논의된 바와 같이, 가상 카메라들은 동일한 장면에 가상으로 위치될 수 있고, 단일 Open GL 컨텍스트를 공유하여 3차원 이미지의 이미지들을 가상으로 캡처하여서 대응하는 데이터 세트들을 생성할 수 있다. '가상 카메라'란, 이는 컴퓨터 시뮬레이션된 공간(가상 공간)에서 컴퓨터에 의해 시뮬레이션된 카메라의 관점으로부터 가상 이미지 데이터가 생성된다는 것을 의미한다.
블록(53)에서, 프로세스는 입체 데이터 스트림으로 무안경 입체 3차원 디스플레이를 구동하여 무안경 입체 3차원 디스플레이 상에 환자의 3차원 이미지의 하나 이상의 뷰를 생성하는 단계를 포함한다. 사용자에게 이미지를 3차원적으로 보여주는 것은 3차원 모니터를 필요로 한다. 기술된 바와 같이, 사용자 콘솔은 수술 로봇 아암 및 부착된 도구를 제어하기 위한 수술 모니터를 포함할 수 있다. 일부 경우에, 사용자는 3차원 효과를 생성하기 위해 수술 모니터를 보는 동안 3D 안경을 착용할 수 있다. 일부 경우에, 무안경 입체 또는 "무안경" 디스플레이가 사용자 콘솔에 배치되어, 안경 착용을 불필요하게 만들 수 있다. 프로세스는 a) 환자의 렌더링된 3차원 이미지 및 b) 내시경으로부터 오는 이미지를 조합하여 환자의 3차원 이미지뿐만 아니라 3차원이 아닌 환자 수술의 실시간 피드(feed)를 갖는 하이브리드 뷰를 형성하는 가시화 파이프라인을 생성할 수 있다.
블록(54)에서, 프로세스는 좌측 핸드헬드 사용자 인터페이스 장치(UID) 및 우측 핸드헬드 UID로부터의 입력에 응답하여 무안경 입체 3차원 디스플레이 상의 환자의 3차원 이미지의 뷰를 조절하는 단계를 포함한다. 3차원 디스플레이는 수술 로봇 아암을 제어하는 데 사용되는 것과 동일함으로써, 외과 시술을 수행하는 동안 사용자가 환자의 해부학적 구조를 3D로 끊김없이 참고하게 할 수 있다. 유사하게, UID는 수술 로봇 아암을 제어하는 데 사용되는 것과 동일할 수 있다. 발 입력 장치와 같은 "클러치", 음성 인식형 명령, 또는 UID 입력이, UID를 사용하여 a) 수술 로봇 아암을 제어하는 것과 b) 3차원 디스플레이 상의 환자의 해부학적 구조의 뷰를 조절하는 것 사이에서 제어를 토글링하는 데 사용될 수 있다.
UID는 이미지 뷰어 애플리케이션과 상호작용하기 위한 끊김없고 직관적인 방식을 제공한다. UID는 각각의 UID의 위치(장소 및 배향)를 추적함으로써 커서(cursor)로서 사용될 수 있다. 일부 실시예에서, UID는 쥘 수 있는 부분(예컨대, 벌브 부분)을 가질 수 있는데, 여기서 이 부분을 쥐는 것은 컴퓨터 마우스 누름이 어떻게 작동하는지와 유사하게 활성화 상태를 생성한다. 상이한 제스처, 움직임, 및 활성화 시퀀스는 (3차원 이미지 및 내시경 뷰를 보여주는) 사용자 인터페이스와의 상이한 상호작용을 제공할 수 있다.
예를 들어, 사용자는 UID 입력에 기초하여 UI 상에 표시될 이미지 시리즈를 선택할 수 있다. 시리즈가 2D 이미지를 포함하는 경우, UID는 이미지 세트를 스크롤하기 위해 롤링(예컨대, UID의 중심축을 중심으로 회전)될 수 있다. 시리즈가 환자의 3차원 이미지 데이터(예컨대, 환자의 일련의 수술전 이미지/슬라이스)를 나타내는 경우, MPR 평면을 변경할 수 있고, 따라서 UID들을 회전시킴으로써 슬라이스들을 통해 스크롤할 수 있다. 게다가, UID를 이용한 제스처는 환자의 재구성된 3차원 이미지의 조절을 허용한다. 주밍(zooming)은 터치 스크린 제스처와 유사하여, 둘 모두의 UID를 쥐면서 이들을 함께 더 가깝게 또는 서로 더 멀어지게 한다. 둘 모두의 UID를 쥠과 동시에 이들을 동일한 방향으로 병진시킴으로써 뷰가 변경될 수 있다. UID들 중 하나만을 쥠과 동시에 병진시킴으로써 회전이 입력될 수 있다. UID들을 쥐고 해제하는 것은 밝기 및 대비(contrast)와 같은 이미지 표시 선택사양이 선택될 수 있는 메뉴를 신속하게 띄운다. 일단 선택되면, 이들 파라미터는 UID를 회전시킴으로써 수정될 수 있다. 이들 상호작용은 다른 섹션들에서 추가로 기술된다.
도 4는 예시적인 사용자 콘솔(2)의 개략도를 도시한다. 도 2에 도시된 바와 같이, 디스플레이 시스템(140)은 사용자 콘솔(2) 및 수술 로봇 시스템(1)과의 사용을 위해 제공될 수 있다. 디스플레이 시스템(140)은 3차원(3D) 및/또는 2차원(2D) 정보를 사용자에게 표시하기 위해 무안경 입체 데이터 스트림으로 구동될 수 있는 무안경 입체 3차원 디스플레이(모니터로도 알려짐)(142)를 포함한다. 모니터(142)는 외과 시술과 연관된 다양한 정보(예컨대, 환자의 3차원 이미지, 수술 부위의 내시경 카메라 뷰, 정지 이미지, GUI 등) 또는 수술 로봇 시스템과 연관된 다양한 정보(예컨대, 상태, 시스템 설정 등), 또는 2D 및 3D 비디오, 이미지 데이터, 텍스트, 그래픽 인터페이스, 경보, 제어부, 지시등 등의 형태의 다른 적합한 정보를 표시할 수 있다. 본 명세서에서 기술된 바와 같은 모니터(142)는 또한 사용자가 디스플레이 시스템의 제어 및 수술 로봇 시스템 내의 것들과 같은 다른 기구들의 작동을 위한 사용자의 눈 움직임 또는 다른 적합한 제스처를 사용하여, 표시된 콘텐츠와 상호 작용할 수 있게 할 수 있다.
3차원 디스플레이 시스템(140)은 제1 추적 센서 조립체(144)(머리 또는 눈 추적 센서를 포함할 수 있음) 및 제2 추적 센서 조립체(146)(시선(gaze) 추적 센서를 포함할 수 있음)를 포함하는 복수의 센서 조립체(144, 146)를 포함한다. 제1 및 제2 센서 조립체(144, 146)들은 모니터(142)에 부착되거나 일부 변형예에서 모니터와 일체로 형성될 수 있다. 예를 들어, 도 2에 일반적으로 도시된 바와 같이, 제1 센서 조립체(144)는 모니터(142)의 상부 또는 상단 부분에 연결될 수 있고, 제2 센서 조립체(146)는 모니터(142)의 하부 또는 하단 부분에 연결될 수 있다. 그러나, 대안적으로, 제2 센서 조립체(146)는 모니터(142)의 상단 부분에 부착될 수 있고 제1 센서 조립체(144)는 모니터(142)의 하단 부분에 부착될 수 있거나, 제1 및 제2 센서 조립체(144, 146)들 둘 모두는 모니터(142)의 상단 또는 하단 부분에 부착될 수 있거나, 제1 또는 제2 센서 조립체(144, 146)는 모니터(142)의 측부 부분에 부착될 수 있다. 제1 또는 제2 센서 조립체(144, 146)들은 또한, 본 발명의 범주를 벗어남이 없이, 콘솔(2)의 또는 그 부근의 다른 적합한 구성요소들 또는 부분들에 결합되거나 이와 통합될 수 있다.
도 4에 추가로 도시된 바와 같이, 모니터(142)는 동력식 조절가능 모니터 지지 조립체(150)에 의해 지지될 수 있다. 모니터(142)는 좌석(10)에 근접하게 또는 그 부근에 위치되어, 사용자가 좌석(10)에 착석하거나 달리 좌석에 의해 포용되는 동안 사용자가 모니터를 볼 수 있게 할 수 있다. 예를 들어, 지지 조립체(150)는 좌석(10)의 정면 또는 전방에 위치된 지지체 또는 컬럼(152)을 가질 수 있으며, 이 지지체 또는 컬럼(152)은 모니터(142)를 적어도 부분적으로 지지한다. 일 변형예에서, 모니터(142)는 (예컨대, 제1 또는 제2 센서 조립체(144 또는 146)로부터 수신된 출력 데이터에 기초하여) 모니터(152)의 위치 또는 배향의 자동 조절을 가능하게 하는 하나 이상의 액추에이터(158, 162, 166)를 갖는 액추에이터 서브시스템을 포함하는 조절가능 장착 조립체(154)에 의해 지지체(152)에 연결된다. 모니터(142)는 모니터의 위치 또는 배향의 검출 및 추적을 용이하게 하는, 모니터(142)에 부착된 하나 이상의 센서(예컨대, 위치 센서, 모션 센서, 가속도계 등)를 더 포함할 수 있다.
장착 조립체(154)는 예를 들어, 기울임(tilt), 요오(yaw), 회전, 전후 움직임, 좌우 움직임, 및 상하 움직임을 포함한 최대 6 자유도를 위해 모니터(142)의 병진 또는 회전 움직임을 가능하게 할 수 있다. 예를 들어, 장착 조립체(154)는 모니터(142)에 결합된 활주가능 지지 부분 또는 부재(156)를 포함할 수 있다. 활주가능 지지 부분(156)은 또한 모니터(142)의 상하 및 좌우 병진을 위해 하나 이상의 액추에이터(158)(예컨대, 모터, 유압 액추에이터, 공압 액추에이터 등)에 의해 구동될 수 있다. 장착 조립체(154)는 모니터(142)의 전후방 움직임(즉, 예컨대 좌석(10)과 모니터(142) 사이의 거리를 변화시키기 위해 좌석(10)을 향하거나 이로부터 멀어지는 모니터(142)의 움직임)을 가능하게 하도록 하나 이상의 액추에이터(162)에 의해 구동되는 하나 이상의 삽통식 부분 또는 섹션(160) 또는 다른 적합한 부분 또는 구성요소를 더 포함할 수 있다. 삽통식 부분(160)은 모니터(142)를 활주가능 지지 부분(156)에 연결할 수 있다. 장착 조립체(154)는 또한 모니터(142)를 삽통식 부분(160)에 연결하는 피벗가능 연결부(164)(예컨대, 스위블(swivel) 고정구, 볼 조인트, 피벗식 특징부 등)를 포함할 수 있다. 피벗가능 연결부(164)를 중심으로 한 모니터(142)의 움직임은 모니터(142)의 기울임, 요오, 및 회전을 가능하게 하기 위해 액추에이터(166)(예컨대, 모터, 유압 액추에이터, 공압 액추에이터 등)에 의해 구동될 수 있다. 장착 조립체(154)는 또한 모니터(142)의 위치 또는 배향의 수동 조절을 허용할 수 있다.
좌석(10)은 동력식 조절가능 좌석 지지 조립체(165)에 의해 지지될 수 있다. 동력식 조절가능 좌석 지지 조립체(165)는 좌석(10)의 움직임을 구동하는 액추에이터(169/171)를 포함하는 액추에이터 서브시스템을 가질 수 있다. 좌석 지지 조립체(165)는 좌석(10)을 적어도 부분적으로 지지하는 단일 기둥(pillar)을 갖는 좌석 지지체(167)를 포함하지만, 다른 예들에서, 좌석 지지체(167)는 2개 이상의 기둥을 포함할 수 있다. 좌석 지지체(167)는 모니터(142)에 관하여 뒤쪽으로 경사질 수 있지만, 다른 변형예들에서 수직으로 똑바로 상향으로 경사지거나 앞쪽으로 기울어질 수 있다. 일부 변형예에서, 좌석(10)은 좌석 지지체(167)에 이동가능하게 또는 조절가능하게 장착될 수 있다. 예를 들어, 좌석(10)은 (예컨대, 모니터 상에서의 3차원 이미지의 가시화 또는 인지를 최적하기 위해 사용자의 머리 또는 눈의 위치가 모니터(142)에 관하여 자동으로 조절될 수 있도록) 모니터(142)에 관하여 좌석(10)의 위치 또는 배향의 조절을 가능하게 하기 위해 지지체(167)에 관하여 회전하거나, 기울어지거나, 뒤로 넘어가는 등등을 할 수 있다. 좌석 조립체(165)는 (예컨대, 제1 또는 제2 센서 조립체(144/146)로부터의 출력 데이터에 응답하여) 좌석(10)의 회전, 기울어짐, 뒤로 넘어감 등을 자동으로 구동하기 위한 하나 이상의 액추에이터(169)(예컨대, 모터, 유압 액추에이터, 공압 액추에이터 등)를 더 가질 수 있다.
일부 변형예에서, 좌석(10)은 또한 (예컨대, 좌석(10)을 모니터(142)에 관하여 상하 및 전후방으로 이동시키기 위해) 지지체(167)를 따라 이동가능하다. 예를 들어, 액추에이터(171)(예컨대, 모터, 유압 액추에이터, 공압 액추에이터 등)는 (예컨대, 제1 또는 제2 센서 조립체(144/146)로부터의 출력 데이터에 응답하여) 지지체(167)를 따라 좌석(10)의 움직임을 구동할 수 있다. 게다가 또는 대안적으로, 좌석 지지체(167)는 그의 각도 또는 배향을 변경하거나 전후방 방향으로 또는 측방향으로 병진하도록 구성될 수 있다. 일부 추가 변형예에서, 좌석 지지체(167)는 길이방향으로 또는 대체로 수직으로 삽통되거나 달리 연장 또는 수축되도록 구성될 수 있다. 좌석 지지 조립체(165)는 또한 좌석(10)의 위치 또는 배향의 수동 조절을 허용할 수 있다.
도 5는 디스플레이 또는 모니터(142)의 단면도를 도시한다. 디스플레이 또는 모니터(142)는 2차원 또는 3차원 이미지를 표시하기 위한 복수의 픽셀을 갖는, LCD, lED, 플라즈마, 또는 다른 적합한 패널 디스플레이와 같은 평평하거나 만곡되거나 달리 형상화된 패널 디스플레이(170)를 포함할 수 있다. 디스플레이(142)는, 디스플레이(142) 위에 적어도 부분적으로 놓이거나 달리 그에 걸쳐 배치/위치되는 하나 이상의 층(172/174)을 더 포함할 수 있다. 층(172/174)들은 디스플레이 패널의 디스플레이 표면(171) 상에 배열되어 디스플레이(142) 상에서의 3차원 이미지의 사용자의 가시화를 용이하게 한다. 일 실시예에서, 층(172/174)들은 패널 디스플레이(170)의 복수의 픽셀에 걸쳐 적어도 부분적으로 위치될 수 있는 마이크로렌즈들을 포함하여, 패널 디스플레이(170) 상에서의 3차원 이미지의 사용자의 가시화 또는 인지를 용이하게 하거나 달리 허용할 수 있다. 일 실시예에서, 패널 디스플레이(170)의 픽셀들은 연속적으로 및/또는 동적으로 인터리빙되는(interleaved) 좌안 이미지 및 우안 이미지를 표시할 수 있고, 층(172 또는 174)은, 사용자에서의 3차원 안경 또는 다른 추가적인 웨어러블 또는 유사한 구성요소들의 사용 없이, 사용자가 좌안 이미지 및 우안 이미지를 단일 3차원 이미지로서 가시화하거나 인지할 수 있게 할 수 있다. 대안적으로, 하나 이상의 층(172/174)은 편광 필터, 패턴화된 지연기, 또는 동적 셔터를 포함할 수 있고, 사용자는 3차원 안경 또는 다른 유사한 웨어러블 구성요소를 사용하여 디스플레이 상에서 3차원 이미지를 관찰하거나 가시화할 수 있다.
디스플레이(142)는 층(172/174)(들) 또는 패널 디스플레이(170)를 적어도 부분적으로 덮거나 밀봉하는 보호 층(176)을 더 포함할 수 있다. 보호 층(176)은 모니터(142)가 수술 환경에서 사용하기에 적합하도록 층(172/174) 및 패널 디스플레이(170)를 밀봉하고 보호할 수 있다. 예를 들어, 보호 층(176)은 마이크로렌즈(172/174)에 대한 손상 없이 (예컨대, 알코올-기반 또는 염소-기반 세정제와 같은 세정 화학물질에 의한) 디스플레이의 멸균 또는 세정을 허용할 수 있다. 일 실시예에서, 보호 층(176)은 수술-등급 유리 또는 다른 수술 등급 재료(예컨대, 수술 등급 플라스틱 또는 다른 적합한 복합 재료)를 포함할 수 있다. 보호 층(176)은 대략 1 mm 내지 대략 3.0 mm의 범위 내, 예를 들어 대략 2.0 mm 또는 그 범위 내의 다른 적합한 정수 및 비-정수 숫자의 두께를 가질 수 있다. 그러나, 본 발명의 범주를 벗어남이 없이 1.5 mm 미만 또는 3.0 mm 초과의 두께가 채용될 수 있다. 부가적으로 또는 대안적으로, 적어도 하나의 추가적인 보호 층(177)이 패널 디스플레이(170) 상에(예컨대, 패널 디스플레이(170)와 층(170)(들) 사이에) 제공될 수 있다. 추가적인 보호 층(177)은 최대 1.0 mm, 예를 들어 대략 0.3 mm의 두께를 가질 수 있고, 플라스틱, 유리, 또는 다른 적합한 재료로부터 형성될 수 있다.
보호 층(176)은 접착제(178)(예컨대, 광학적으로 투명한 접착제 또는 다른 적합한 접착제 또는 글루(glue))를 사용하여 패널 디스플레이(170) 또는 층(172/174)들 중 하나 또는 둘 모두에 접착될 수 있다. 보호 층(176)과 층(172/174) 또는 패널 디스플레이(170) 사이에 하나 이상의 스페이서(179)가 추가로 제공될 수 있다. 스페이서(179)들은 보호 층(176)의 경계를 따라 동일하게 이격된 간격으로 위치될 수 있지만, 일부 변형예에서 스페이서(179)들은 보호 층(176) 주위에 간헐적으로 또는 산발적으로 배치될 수 있다. 스페이서(179)들은 모니터의 형성 동안, 예컨대 보호 층(176)의 적용 및 접합 동안 층(174/176)에 대한 손상을 방지할 수 있다.
일부 변형예에서, 도 5에 도시된 바와 같이, 제1 센서 조립체(144)는 하나 이상의 센서(200)를 포함할 수 있다. 센서(200)는 스테레오 카메라(들), 적외선 카메라(들), 또는 적외선 광을 필터링하지 않는 다른 적절한 카메라(202)(들)를 포함할 수 있다. 일 실시예에서, 카메라(202)(들)는 미국 캘리포니아주 산타 클라라 소재의 인텔 코포레이션(Intel Corp.)에 의해 제공되는 바와 같은 하나의 인텔(등록상표) 리얼 센스 카메라(Real Sense Camera)를 포함할 수 있다. 센서(200)는 부가적으로 또는 대안적으로 본 발명의 범주를 벗어남이 없이 다른 유형의 카메라, 예컨대 컬러 카메라, 또는 다른 적절한 감지 장치를 포함할 수 있다. 제1 센서 조립체(144)로부터의 신호 또는 출력 정보는, 사용자의 머리 또는 눈 위치의 검출 및 추적을 용이하게 하거나 달리 허용하기 위하여, 예컨대 제1 센서 조립체(144)와 통신하는 제어기 또는 프로세서에 의해, 수신 및 처리될 수 있다. 예를 들어, 제1 센서 조립체(144)는, 사용자의 머리 또는 눈의 위치, 예컨대 거리가 모니터(142)에 관하여 지속적으로 결정될 수 있도록, 예컨대 원점 또는 원래 위치에 관하여 사용자의 머리, 눈 또는 눈들의 xyz 위치를 검출 및 추적하는 데 사용될 수 있다.
게다가, 일부 변형예에서, 제2 센서 조립체(146)는 하나 이상의 카메라(212)와 같은 하나 이상의 센서(210), 및 하나 이상의 스트로브(strobe) 또는 스트로브 광(214), 예컨대 카메라(212)(들)에 의한 사용자의 시선의 검출 및 추적을 용이하게 하는 섬광을 포함한다. 사용자의 시선은 사용자의 눈의 적어도 하나의 홍채의 위치 또는 움직임에 기초하여 검출되고, 사용자가 보고 있거나 실질적으로 초점을 맞추고 있는 영역 또는 지점(예컨대, 모니터 상의 영역 또는 지점, 또는 모니터로부터 떨어진/먼 영역 또는 지점)을 포함한다. 일 실시예에서, 스트로브(214)(들)는 초당 광의 다수의 섬광, 예컨대 대략 80 ㎐ 내지 대략 100 ㎐ 범위 내의 주파수, 예를 들어 대략 90 ㎐ 또는 다른 적합한 주파수의 광의 섬광을 제공하도록 구성될 수 있다. 카메라(212)는 (예컨대, 카메라(212)로부터의 출력 데이터를 수신 및 처리하는 프로세서가 사용자의 홍채들을 검출하고 추적하여 사용자가 보고 있거나 실질적으로 초점을 맞추고 있는 지점 또는 영역을 결정할 수 있도록) 사용자의 (예컨대, 스트로브(214)들에 의해) 조명된 그리고 비조명된 홍채들을 캡처하도록 구성된 고속 카메라를 포함한다. 스트로브(214)들로부터의 광의 섬광들은 또한, 예컨대 낮은 광 조건 동안, 제1 센서 조립체(144)에 의한 사용자의 눈 또는 머리 위치의 인지를 보조할 수 있다.
디스플레이 시스템에서의 센서 유형, 센서 위치 및 센서 기능의 일부 특정 예들이 위에서 논의되었지만, 상호작용형 사용자 제어로서 사용자 입력을 수신하기 위하여 또는 사용자에 관한 정보를 캡처하기 위하여 매우 다양한 다른 센서 및 센서 유형이 부가적으로 또는 대안적으로 시스템의 다양한 구성요소들 전체에 걸쳐 위치될 수 있다는 것을 이해하여야 한다.
모니터(142) 상에 표시될 그래픽 사용자 인터페이스(GUI)의 일례가 도 6에 도시되어 있다. 예를 들어, GUI는 (예컨대, 환자 내부에 배치된 내시경 카메라 또는 다른 적합한 수술 로봇 카메라로부터의) 내시경 이미지 또는 다른 적합한 수술 이미지 데이터를 보여주는 표시 부분 또는 표시 윈도우(180)를 표시할 수 있다. GUI는 수술 로봇 시스템(1)과 관련된 하나 이상의 애플리케이션(예컨대, 타이머 애플리케이션, x-선 이미징 도구 등)과 관련된 하나 이상의 이미지 또는 아이콘(184)을 포함하는 제어 패널 또는 측부 패널(182)을 더 포함할 수 있다. 제어 패널(182)(들)은 또한 다른 적합한 정보, 예를 들어 하나 이상의 의료 이미지(예컨대, 환자 조직의 수술전 이미지), 환자 데이터(예컨대, 성명, 의료 기록 번호, 출생일, 다양한 적합한 메모 등), 도구 정보(예컨대, 좌측 또는 우측 도구 번호, 좌측 또는 우측 도구 명칭, 좌측 또는 우측 도구 기능 등)을 포함할 수 있다. 본 발명으로부터 벗어남이 없이 다른 적합한 GUI 또는 다른 표시 콘텐츠가 모니터 상에 나타날 수 있다. 다양한 사용자 상호작용(예컨대, 사용자의 시선 또는 눈 또는 머리 움직임)은 또한, 표시된 콘텐츠 유형에 대한 변화뿐만 아니라 추가로 후술되는 바와 같은 애플리케이션과의 상호작용을 야기할 수 있다.
디스플레이 시스템(140)은 일반적으로, 제1 센서 조립체(144)의 출력 데이터를 처리하는 것에 기초하여 모니터(142)에 대한 사용자의 머리 위치 또는 눈 위치를 검출 및 추적하도록 구성된 프로세서 또는 제어기를 포함하거나 이와 통신한다. 일부 변형예에서, 모니터(142)와 사용자(예컨대, 좌석(10)에 착석한 사용자) 사이의 공간적 관계는, 예컨대 모니터(142) 상의 내시경 또는 수술 로봇 카메라로부터의 3차원 이미지 데이터의사용자의 가시화 또는 인지를 최적화하기 위해, 사용자의 검출된 눈 또는 머리 위치에 기초하여 조절될 수 있다. 모니터(142) 상의 3차원 이미지의 사용자의 인지는 사용자의 눈이 모니터(142)에 대해 실질적으로 중심에 있고 그로부터 규정된 거리(예컨대, 모니터로부터 대략 70 cm 내지 대략 90 cm, 예를 들어 대략 80 cm)로 이격될 때 최적일 수 있다. 따라서, 좌석(10) 또는 모니터(142)의 위치 또는 배향은, 사용자의 머리 또는 눈이 모니터에 관하여 최적의 배향 또는 관찰 거리에 두어져 위치되는 것을 보장하기 위해 (예컨대, 의도된 사용자 입력을 요구함이 없이) 자동으로 조절 또는 변경될 수 있다.
일 실시예에서, 프로세서 또는 제어기는 좌석 액추에이터(169, 171)들 또는 모니터 액추에이터(158, 162, 166)들과 통신할 수 있고, 제1 또는 제2 센서 조립체(144/166)로부터의 출력 신호를 처리하는 것에 기초하여 좌석(10) 또는 모니터(142)의 위치 또는 배향을 조절하기 위해 좌석 액추에이터(169/171)들 또는 모니터(158, 162, 166)에 신호 또는 정보를 자동으로 제공할 수 있다. 예를 들어, 프로세서 또는 제어기는 모니터(142)에 관하여 사용자의 머리(또는 눈)의 위치를 결정할 수 있고, 프로세서는, 사용자의 머리(또는 눈)의 결정된 위치에 기초하여 좌석 또는 모니터의 위치 또는 배향을 조절 또는 변경하기 위해(예컨대, 좌석이 뒤로 넘어가거나 기울어지거나 회전되거나 상하로 이동되거나 좌우로 이동되거나 등등일 수 있거나, 모니터가 기울어질 수 있거나 요잉되거나 회전되거나 전후로 이동되거나 좌우 움직임으로 이동되거나 상하로 이동되거나 등등일 수 있음), 예컨대 모니터 상에서의 수술 로봇 카메라로부터의 3차원 이미지의 사용자의 가시화를 최적화하기 위해, 자동으로 신호(들)를 발생시키고 이를 좌석 액추에이터(169 또는 171) 또는 모니터 액추에이터(158, 162 또는 166)에 전송할 수 있다. 예를 들어, 좌석 또는 모니터의 위치 또는 배향은 사용자의 머리(또는 눈)가 모니터에 대해 실질적으로 중심에 있고 3차원 이미지의 최적 관찰을 위한 모니터로부터의 규정된 거리에 있도록 조절될 수 있다.
프로세서 또는 제어기는, 부가적으로 또는 대안적으로, 디스플레이 상에서의 3차원 이미지 데이터의 사용자의 인지 또는 가시화를 최적화하기 위해 모니터(142) 또는 좌석(10)의 수동 조절을 위한 명령어를 모니터 상에 표시하도록 신호를 생성하고 모니터(142)로 전송할 수 있다.
또한, 제어기 또는 프로세서는 제2 센서 조립체(146)의 출력 데이터의 처리에 기초하여 사용자의 시선을 검출 및 추적하도록 구성되고, 일부 변형예에서, 디스플레이 시스템(140) 또는 수술 로봇 시스템(1)의 작동은 (예컨대, 사용자의 눈 또는 눈 제스처에 의한 디스플레이 시스템의 제어를 용이하게 하거나, 사용자의 검출된 시선이 모니터로부터 멀리 지향될 때 디스플레이 시스템 또는 수술 로봇 시스템의 동작을 중지 또는 일시 중지시키기 위하여) 사용자의 검출된 시선에 기초하여 수정되거나 제어될 수 있다.
일부 변형예에서, 프로세서 또는 제어기는 수술 로봇 시스템(1)과 통신할 수 있으며; 프로세서 또는 제어기가 사용자의 시선이 (예컨대, 미리 결정된 기간, 예를 들어 대략 3초 또는 최대 대략 5초 이상 동안) 모니터(142)에 지향되지 않는다고 결정할 때, 프로세서 또는 제어기는 수술 로봇 시스템 또는 디스플레이 시스템의 하나 이상의 작동을 활성화 또는 비활성화시키기 위하여(예컨대, 로봇 아암(4) 또는 수술 도구(7)와 같은 수술 시스템의 하나 이상의 서브시스템의 작동을 비활성화 또는 정지시키기 위하여, 또는 디스플레이 시스템에 의해 알람을 발생시키기 위하여) 수술 로봇 시스템(1) 또는 디스플레이 시스템(140)에 신호(들) 또는 다른 출력 데이터를 자동으로 전송하도록 작동가능하다.
일 실시예에서, 프로세서 또는 제어기가 예컨대 규정된 기간 동안 사용자의 시선이 모니터(142)에 지향되지 않는다고 결정할 때, 예를 들어 사용자가 주의를 집중하지 않거나 잠들거나 등등일 때, 프로세서 또는 제어기는 로봇 아암(4) 또는 수술 도구(7)의 작동을 정지 또는 일시 중지시키기 위하여, 예컨대 수술을 받는 환자에 대한 부상을 방지하기 위하여, 자동으로 하나 이상의 신호를 발생시켜 수술 시스템(1)으로 전송한다. 또한, 프로세서 또는 제어기가 사용자의 시선이 모니터(142)로 복귀했다고 결정할 때, 프로세서 또는 제어기는 로봇 아암(4) 또는 수술 도구(7)의 작동을 재개시키기 위하여 자동으로 하나 이상의 신호를 발생시키고 수술 시스템으로 전송할 수 있다. 그러나, 프로세서 또는 제어기는 로봇 아암 또는 수술 도구(7)의 작동을 재개시키기 위해 신호(들)를 전송하기 전에 특정 사용자 입력(예컨대, 아이콘, 제스처 등의 선택)을 요구할 수 있다.
부가적으로 또는 대안적으로, 프로세서 또는 제어기가 사용자의 시선이 모니터(142)에 지향되지 않는다고 결정할 때, 프로세서 또는 제어기는 사용자 또는 다른 적합한 엔티티의 주의를 끌기 위해 하나 이상의 알람 또는 통지를 활성화시키기 위해 신호(들)를 발생시키고 디스플레이 시스템(140)으로 전송할 수 있다(예컨대, 디스플레이 시스템의 스피커가 하나 이상의 오디오 소리를 재생시킬 수 있거나, 모니터가 사용자의 시선이 모니터에 지향되지 않는다는 것을 나타내는 하나 이상의 이미지를 표시할 수 있거나, 좌석 또는 UID의 하나 이상의 진동 또는 햅틱이 활성화될 수 있음).
일부 변형예에서, 사용자의 검출 및 추적되는 시선은 또한 제어/측부 패널(182) 상의 애플리케이션을 개시하거나 제어하는 데 사용될 수 있다. 예를 들어, 사용자는 애플리케이션 상호작용을 촉발시키기 위해 제어 또는 측부 패널(182) 상의 하나 이상의 이미지(184)를 바라보거나 이에 초점을 맞출 수 있다. 사용자는, GUI 상의 하나 이상의 영역 또는 지점에 초점을 맞추거나 이를 바라보거나, 다른 적합한 눈 모션을 사용함으로써, 애플리케이션을 개시하거나 닫을 수 있거나, 하나 이상의 새로운 윈도우 또는 팝업 윈도우에서 애플리케이션을 열거나, 애플리케이션의 특징 또는 작동을 제어하는 등등을 할 수 있다. 일례에서, 사용자는, 예컨대 타이머를 시작 및 중지시키기 위해, 제어/측부 패널 상에 보여지는 타이머 애플리케이션과 연관된 이미지에 초점을 맞추거나 이를 바라볼 수 있다. 다른 예에서, 사용자는 x-선 이미징 도구를 개시하기 위해(예컨대, 디스플레이 상의 하나 이상의 보조 또는 팝업 윈도우 상에서 x-선 이미징 도구를 열기 위해) x-선 이미징 도구와 연관된 이미지에 초점을 맞추거나 이를 바라볼 수 있다. 사용자의 시선은 또한 (예컨대, 사용자가 눈길을 돌리거나, 닫기 아이콘 또는 이미지 또는 다른 적합한 특징부에 초점을 맞출 때) x-선 이미지 도구를 닫는 데 사용될 수 있다.
부가적으로, 수술 로봇 카메라의 위치 또는 배향은 또한 사용자의 검출 및 추적된 시선에 기초하여 업데이트되거나 조절될 수 있다. 일부 변형예에서, 수술 로봇 카메라의 위치 또는 배향은 연속적으로 또는 동적으로 업데이트될 수 있어(예컨대, 제어기 또는 프로세서는 수술 로봇 카메라의 렌즈를 기울이거나 회전시키거나 달리 병진시키기 위하여 자동으로 신호를 발생시켜 수술 로봇 카메라의 액추에이터 서브시스템으로 전송할 수 있음), 사용자가 초점을 맞추고 있는 모니터(142) 상의 영역 또는 지점이, 3차원 이미지 데이터의 인지 또는 가시화가 최적이 되는 곳인, 모니터(142)를 따라 실질적으로 중심에 있도록(예컨대, 모니터의 수평 축 및 수직 축에 관하여 중심에 있도록) 한다. 즉, 사용자가 (예컨대, 사용자의 검출된 시선에 기초하여) 표시 윈도우(180)를 따라 실질적으로 중심에 있지 않은, 표시 윈도우(180) 내에 표시된 3차원 이미지 데이터의 영역 또는 지점에 초점을 맞출 때마다, 수술 로봇 카메라의 위치 또는 배향이 업데이트되거나 변경되어, 사용자가 초점을 맞추는 3차원 이미지 데이터의 영역 또는 지점이 표시 윈도우(180)를 따라 이동되거나 달리 조절되어 표시 윈도우 상에서 실질적으로 중심에 있도록 할 수 있다.
예를 들어, 사용자는 초기에 표시 윈도우(180) 내에서 실질적으로 중심에 있는 3차원 이미지 데이터의 지점 또는 영역에 초점을 맞출 수 있으며; 사용자가 그들의 초점을 변경하거나, 표시 윈도우(180) 내에 보여지는 이미지 데이터 상의 새로운 영역 또는 지점으로 그들의 시선을 달리 방향전환할 때(예컨대, 사용자가 표시 윈도우(180)의 에지 또는 코너에 근접하여 있거나 그 부근에 있는 영역 또는 지점을 바라보거나 이에 초점을 맞추거나, 사용자가 표시 윈도우의 중심에 있는 원래의 지점 또는 영역으로부터 달리 이격된 영역 또는 지점을 바라보거나 이에 초점을 맞춤), 프로세서 또는 제어기는 사용자가 초점을 맞추는 3차원 이미지 데이터의 새로운 영역 또는 지점이 표시 윈도우(180) 내에서 실질적으로 중심에 있게 이동되거나 조절되도록 수술 로봇 카메라의 위치 또는 배향을 자동으로 조절하기 위하여 하나 이상의 신호를 발생시키고 수술 로봇 카메라(또는 그의 제어부)로 전송할 수 있다. 이러한 방식으로, 수술 로봇 카메라의 위치 또는 배향은 사용자의 결정된 시선에 기초하여 연속적으로 또는 동적으로 조절 또는 달리 업데이트되어, 사용자의 초점이 표시 윈도우를 따라 대체로 중심에 있도록 지향되고 그 상태로 유지되어서, 표시 윈도우 내에 표시된 3차원 이미지 데이터의 최적의 3차원 인지 또는 가시화를 용이하게 하도록 한다.
수술 동안, 사용자는 수술전 이미지에 기초하여 재구성되는 환자의 3차원 이미지를 보여주는, 도 7에 도시된 바와 같은 뷰로 내비게이팅할 수 있다. 이러한 내비게이션은 시선 추적, UID, 다른 입력부(예컨대, 발 제어부), 또는 다른 공지된 수단(예컨대, 음성 인식 명령)으로부터의 입력에 의해 GUI 상의 메뉴 항목(예컨대, 도 6 상의 "환자 이미지")을 선택하는 것을 통해 행해질 수 있다.
도 7에서, 이미지 뷰어는, 3차원 디스플레이 상에서, 현재의 외과 시술 및 환자와 연관된 모든 연구 및 그들의 시리즈를 보여줄 수 있다. 이미지 뷰어가 도시되어 있지만, 내시경 뷰(256)가 스크린의 측부에서의 작은 윈도우 내에서 여전히 보일 수 있다. UID들을 사용한 관찰을 위해 시리즈가 선택될 수 있다. 시리즈가 2D 이미지들만을 포함하는 경우, 이들은 가능한 한 애플리케이션에 이용가능한 많은 스크린 공간을 차지하여 표시될 수 있다. 이어서, 사용자는 UID들을 사용하여, 예를 들어 이들을 회전시킴으로써, 이미지들을 통해 스크롤할 수 있다.
CT 또는 MRI와 같은 재구성된 데이터를 포함하는 시리즈의 경우, MPR 뷰 및 3D 렌더링이 보여진다. MPR 뷰는 시상 뷰(248), 관상 뷰(252), 및 횡단(축상으로도 알려짐) 뷰(242)를 포함할 수 있다. UID들과의 상호작용을 통해, 사용자들은 슬라이스들을 통해 스크롤하고 이들 슬라이스들을 3D 뷰에서 클립 평면(clip plane)들로서 작용하는 것으로 정의할 수 있다. 각각의 평면에서의 움직임은 환자의 3차원 모델의 슬라이스들을 통한 스크롤링으로서 기술될 수 있다. 일부 실시예에서, UID로부터의 입력은 3차원 이미지에 대한 평면(예컨대, 축상, 시상, 또는 관상) 및 환자의 3차원 이미지의 단면 슬라이스들을 통한 스크롤링을 선택하는 데 사용될 수 있는데, 단면 슬라이스들은 선택된 평면에 평행하다.
예를 들어, 사용자는 UID들을 사용하여 입력들을 생성하여서, 평면(244)을 이동시키거나(이는 시상 뷰에서의 변화에 영향을 미칠 것임), 평면(246)을 이동시키거나(이는 관상 뷰에서의 변화에 영향을 미칠 것임), 평면(254)을 이동시킬 수 있다(이는 축상 뷰에서의 변화에 영향을 미칠 것임).
환자(250)의 3차원 이미지가 또한 디스플레이 스크린 상에 렌더링된다. 사용자는 UID들을 사용하여 재구성된 3차원 이미지를 "줌 인"하고, "줌 아웃"하며, 회전시키고, 이리저리 이동시킬(전위시킬(translocate)) 수 있다. 예를 들어, 도 8을 참조하면, 시스템은, 사용자가 좌측 및 우측 UID(14)들을 동시에 활성화시키고 이들 사이의 거리를 증가시키는 것에 응답하여 무안경 입체 3차원 디스플레이 상에서의 환자의 3차원 이미지의 크기를 증가시킴으로써 "줌 인"될 수 있다. 반대로, "줌 아웃"하기 위해, 시스템은, 좌측 및 우측 UID들의 동시 활성화 및 이들 사이의 거리의 감소에 응답하여 무안경 입체 3차원 디스플레이 상에서의 환자의 3차원 이미지의 크기를 감소시킬 수 있다. 크기가 증가되거나 감소되는 양은 둘 모두의 UID가 활성화되는 동안 증가되거나 감소된 거리의 양에 비례할 수 있다. 따라서, 쥠 작동식 벌브 UID들의 경우에, 사용자는 UID들을 쥐고 이들을 떨어지게 하여 줌 인할 수 있고, UID들을 쥐고 함께 모아 줌 아웃할 수 있다.
일부 실시예에서, 환자의 3차원 이미지는 동일한 방향으로의 둘 모두의 좌측 및 우측 UID들의 동시 작동 및 전위에 응답하여 전위(3차원 공간에서 이리저리 이동)될 수 있다. 예를 들어, 사용자가 둘 모두의 UID를 신체로부터 멀리 유지하고, 둘 모두의 UID를 쥐고 이들을 사용자의 신체에 더 가깝게 가져오면, 이는 환자의 3차원 이미지를 사용자를 향해 당길 수 있다. 사용자가 둘 모두의 UID를 신체에 가깝게 유지하고, 둘 모두의 UID를 쥐고 이들을 사용자의 신체로부터 멀리 가져가면, 이는 환자의 3차원 이미지를 사용자로부터 멀리 밀어낼 수 있다. UID를 이용한 사용자의 다른 조화된 움직임들은 3차원 이미지를 상향, 하향, 좌측, 우측 등으로 이동시킬 수 있다. 일부 실시예에서, 도 9에 도시된 바와 같이, 시스템은 단일 UID(14)의 동시 활성화 및 회전에 응답하여 무안경 입체 3차원 디스플레이 상의 환자의 3차원 이미지를 회전시킬 수 있다. UID는 UID의 길이방향 축을 중심으로 회전될 수 있다.
언급된 바와 같이, 시스템은 UID의 활성화 상태를 추적할 수 있다. 또한, UID의 위치 및 배향이 추적된다. UID들은 각각의 UID에 내장된 추적기(인사이드-아웃(inside-out) 추적)를 가질 수 있거나, UID의 위치(위치 및 배향을 포함) 및 이동을 추적하는, UID의 외부에 위치된 추적기(아웃사이드-인(outside-in) 추적)를 가질 수 있다. 인사이드-아웃 추적의 경우에, 각각의 UID는 UID 상에 또는 그 내부에 수용된 카메라(예컨대, 적외선)를 가질 수 있다. 일부 경우에, 필요하지는 않지만, 적외선 마커들이 정지 위치들에 배치되고(예컨대, 사용자 콘솔 상에 또는 그 주위에 고정됨) 카메라에 의해 추적될 수 있다. UID의 카메라로부터 캡처된 이미지에 기초하여 UID의 장소, 위치 및 이동을 결정하기 위해 다른 시각적 노정 측정(odometry) 기법이 사용될 수 있다.
도 7에서, UID 입력에 응답하여 무안경 입체 3차원 디스플레이 상에 선택가능 메뉴(262)가 렌더링될 수 있다. 예를 들어, 좌측 또는 우측 UID들 중 하나의 짧은 활성화 기간은 메뉴를 띄울 수 있는 반면, 다른 짧은 작동 활성화는 메뉴를 불러낼 수 있다. 메뉴는 대비, 밝기, 및/또는 색상과 같은, 그러나 이로 제한되지 않는 표시 선호도를 조절하는 선택가능 항목들을 가질 수 있다. 메뉴 항목들 중 하나가 선택될 때, 이들 파라미터는 UID를 회전시킴으로써 조절될 수 있다. 짧은 활성화 기간은 예를 들어 1초 미만, 0.5초 미만, 또는 0.25초 미만일 수 있다.
일부 기존의 의료 이미지 관찰 솔루션에서, 수술전 계획을 위해 촬영된 환자 이미징은 수술 중에(수술 동안에) 외과의에게 이용가능하지 않다. 심지어 이러한 이미징이 수술 중에 이용가능한 솔루션에서, 이러한 정보가 효과적이게 하는 것에 대한 다른 장벽들, 예를 들어 이미지의 상이한 형식(예컨대, CT, MRI, x-선, 초음파 등), 상이한 환자 해부학적 구조, 및 상이한 디스플레이들 상에서 동기화되지 않고/않거나 보여지지 않는 환자 해부학적 구조의 상이한 뷰들이 존재한다. 일부 기존 솔루션은 수술 중에 보일 수 있는 주석 및 세그먼트화의 간단한 생성을 허용하지 않는다. 기존의 솔루션들은 또한 상이한 형식들을 갖는 상이한 이미지 연구들을 동시에 보여주지 않는다는 점에서 불충분하다. 또한, 상이한 이미지들을 동시에 보여주는 일부 솔루션은 (예컨대, 상이한 형식들로부터의) 상이한 이미지들의 공-정합(co-registration)을 수행하지 않는다. 이와 같이, 이들 이미지는 공통 관심점, 예를 들어 장기, 조직, 주석이 달린 세그먼트화, 또는 다른 관심점을 보여주기 위해 동기화되지는 않는다.
도 10은 일부 실시예에 따른 의료 이미지 뷰어 시스템(310)을 도시한다. 그러한 시스템은 수술 로봇 시스템의 사용자 콘솔, 예를 들어 도 1에 도시된 바와 같은 사용자 콘솔(2)에 디스플레이로서 통합될 수 있다. 시스템은 도 2 내지 도 9에 관하여 기술된 것들과 같은, 본 개시 내용에서 기술된 특징부들을 포함할 수 있다.
도 10에서, 시스템(310)은 실시간의 수술중 이미징 형식(내시경 피드, x-선, 초음파)들을 이용하여 환자의 수술전 이미지들(예컨대, CT, MRI 및 다른 수술전 이미징)을 조합하여서, 이들 이미지의 동시 가시화를 허용한다. 일부 실시예에서, 시스템은 다중-형식 이미지들의 융합(예컨대, 정합)을 포함한다. 의료 이미지 뷰어는 또한 수술 전에 만들어지고 수술 중에 보여질 수 있는 주석(예컨대, 표면 세그먼트화)을 보여주어서, 개선된 수술 안내를 제공한다.
시스템(310)은 디스플레이의 상이한 부분들에서의 수술전 및 수술중 이미징의 동시 관찰 및/또는 단일 뷰에서의 조합을 제공한다. (예컨대, 상이한 형식들의) 이미지들은 공-정합될 수 있어, 환자 해부학적 구조의 수술중 및 수술후 뷰들 사이에 직접적인 비교 및 연관이 이루어질 수 있도록 한다. 상이한 형식의 이미지들이 시간 및 공간에서 동기되어 환자의 해부학적 구조의 관심점을 보여줄 수 있다.
블록(300)에서, 환자의 수술전 이미징이 캡처된다. 예를 들어, CT 스캐너는 환자의 해부학적 구조를 보여주는 CT 스캔을 생성할 수 있다. 유사하게, MRI는 환자의 MRI 이미지를 생성할 수 있다.
블록(301)에서, 캡처된 수술전 이미지를 사용하여 세그먼트화가 수행될 수 있다. 이미지의 각각의 (2D에서의) 픽셀 또는 (3D에서의) 복셀에 명암도를 할당함으로써 의료 이미지가 표현된다. 이미지는 그들 이미지의 각각의 픽셀 또는 복셀에 클래스를 할당함으로써 분할되어, 이미지의 세그먼트화를 생성할 수 있다. 그러한 세그먼트화는 수동 주석 및/또는 반자동 주석에 의해 얻어질 수 있다. 특히 3D 가시화를 위해, 세그먼트화는 현재 관심이 없는 구조물을 투명하게 만드는 데 유용하다. 예를 들어, 이미지 뷰어는 세그먼트화된 이미지에 존재하지만 관심이 없는 해부학적 구조물을 투명하게 만듦으로써, 관심점(예컨대, 관심 영역)의 가시성을 개선할 수 있다. 각각의 픽셀 또는 복셀에 대한 분류는, 예를 들어 장기 유형(간, 장, 위 등), 조직, 병변, 주석, 종양 등을 포함할 수 있다. 따라서, 이미지의 각각의 픽셀 또는 복셀은 분류를 가질 수 있다.
블록(303)에서, 시스템은 사용자로부터 수술전 주석을 수신할 수 있다. 예를 들어, 시스템은 사용자로부터 입력을 수신할 수 있고; 입력에 기초하여, 블록(300)에서 촬영된 수술전 이미지 또는 블록(301)으로부터 생성된 세그먼트화된 이미지에서 보이는 랜드마크, 거리, 곡선 및/또는 표면에 마킹 또는 메모를 추가할 수 있다. 이미지 뷰어는 이들 주석을 수술 중에 보여줄 수 있다. 일부 실시예에서, 시스템은 또한 저장된 관점(viewpoint) 또는 시점(perspective)을 수술 중에 호출할 수 있다. 이와 같이, 수술 전에 만들어질 수 있는 주석, 관점, 및 시점은 외과 시술 동안 보조를 위해 호출될 수 있다.
블록(304)에서, 수술중 이미징이 캡처된다. 수술중 이미지는 내시경 이미지, 초음파 또는 다른 이미지 캡처 기술을 포함할 수 있다. 수술중 이미지는 외과 시술 동안 실시간으로 캡처된다. 내시경은 다른 섹션들에서 기술된 것들과 같은 수술 로봇 아암에 의해 또는 수동으로 제어될 수 있다.
블록(308)에서, 블록(300)으로부터의 수술전 이미지, 블록(301)으로부터의 세그먼트화된 이미지, 블록(303)으로부터의 주석이 달린 이미지, 및/또는 블록(304)으로부터의 수술중 이미징과 같은 2개 이상의 상이한 데이터 세트에 하나 이상의 이미지 정합 알고리즘이 적용된다. 일부 실시예에서, 시스템은 하나 이상의 2D-3D 정합 알고리즘을 적용한다. 2D-3D 정합 알고리즘은 3D 볼륨, 2D 투영 뷰를 취하고, 3D 볼륨과 2D 투영의 정렬을 어디에서 시작하는지에 대해 초기화하거나 초기 추측을 한다. 일부 알고리즘은 훈련된 심층 학습 모델을 사용하여, 이러한 최적화 절차를 초기화할 뿐만 아니라 정규화된 교차 상관(normalized cross correlation) 또는 이진 교차 엔트로피 손실(binary cross entropy loss)과 같은 상이한 비용 메트릭(cost metric)에 기초하여 정렬 절차를 돕는다. 2D-3D 정합에 사용할 수 있는 일 유형의 정합 알고리즘의 일례는 문헌[Klein, Stefan, et al. "Elastix: a toolbox for intensity-based medical image registration." IEEE transactions on medical imaging 29.1 (2009): 196-205]에 기술된 바와 같은, 그리드-기반 파라미터화(grid-based parameterization)를 사용한 명암도-기반 변형가능 정합(intensity-based deformable registration)이다. 그러한 알고리즘은 파라미터화를 위해 B-스플라인(spline) 또는 자유 형태 변형(free-form deformation, FFD)을 사용할 수 있다. 다른 정합 알고리즘이 또한 적용될 수 있다.
블록(312)에서, 이미지 뷰어는 환자의 해부학적 구조의 이미지들을 상이한 뷰들에서 그리고 디스플레이(313)의 상이한 부분들에서 렌더링한다. 일부 실시예에서, 의료 이미지 뷰어는 다양한 각도로부터 3차원 이미지를 표시하는 체적 데이터 렌더러를 포함한다. 일부 실시예에서, 의료 이미지 뷰어는 x-선 또는 다른 평면 이미지들을 표시하는 2차원 렌더러를 포함한다. 일부 실시예에서, 디스플레이는 다른 섹션들에서 기술되는 바와 같은 입체 디스플레이일 수 있다. 부가적으로 또는 대안적으로, 디스플레이는 태블릿 컴퓨터와 일체형일 수 있다. 일부 실시예에서, 사용자는 수술 로봇 시스템을 제어하고, 디스플레이를 제어하고, 관심점을 선택하고, 수술전 주석을 선택하고, 수술중 주석을 만들고, 그리고/또는 MPR 뷰의 '슬라이스'를 통해 팬 촬영하는(pan) 데 사용되는 것들과 같은 핸드헬드 UID들을 이용하여 입력들을 생성할 수 있다. 부가적으로 또는 대안적으로, 사용자는 터치스크린 사용자 인터페이스를 통해 입력을 생성할 수 있다. 일부 실시예에서, 관심점은 컴퓨터 판독가능 메모리에 저장되고 나중에 호출될 수 있다.
일부 실시예에서, 이미지 뷰어는 환자의 해부학적 구조를 포함하는 수술전 3차원 이미지를 디스플레이의 제1 섹션에 렌더링한다. 동시에, 해부학적 구조의 MPR 뷰가 디스플레이의 제2 부분에 렌더링되고, 해부학적 구조의 수술중 이미지가 디스플레이의 제3 부분에 렌더링된다. MPR 뷰에서 보여지는 수술전 이미지들 및 수술전 3차원 이미지들의 공-정합에 기초하여, 시스템은 3차원 이미지 및 수술전 이미지를 동기시켜 해부학적 구조의 공통 관심점을 보여줄 수 있다.
예를 들어, 도 7을 다시 참조하면, 디스플레이의 제1 부분(281)은 환자 해부학적 구조(260)의 3차원 표현을 나타낼 수 있다. MPR 뷰(242, 248, 252)는 디스플레이의 제2 섹션을 형성할 수 있다. 내시경 뷰(256)는 디스플레이의 제3 부분을 형성한다. 환자의 해부학적 구조의 관심점은, 예를 들어 장기(간, 위, 장 등), 종양 또는 조직으로서 선택될 수 있다. 관심점은 또한 블록(303)에서 주석이 달린 해부학적 구조의 임의의 구조물 또는 그의 일부분일 수 있다. 이미지들 및 주석들의 정합은 상이한 이미지 형식들 및/또는 주석들에 대한 매핑을 제공하여, 공통 관심점을 볼 때 이들이 동기될 수 있도록 한다.
예를 들어, 도 11에 도시된 바와 같이, 관심점(346)이 복부 내의 종양, 장기, 주석이 달린 구조물 등인 경우, 3차원 이미지에 보여지는 다른 해부학적 구조물(예컨대, 조직, 골, 근육, 장기)의 투명도가 증가되어 관심점을 하이라이트 표시할 수 있다. 대안적으로 또는 부가적으로, 관심점은 다른 해부학적 구조물들로부터 관심점을 대비하는 방식으로 관심점의 색상 및/또는 밝기의 조절에 의해 하이라이트 표시될 수 있다. 대안적으로 또는 부가적으로, 3차원 이미지는 관심점을 강조하도록 배열될 수 있다(예컨대, 관심점을 중심에 두거나 이미지를 회전시킴). 동시에, 동일한 관심점은 MPR 뷰들의 각각에서 예를 들어 윤곽, 색상, 밝기, 또는 다른 시각적 지시자에 의해 하이라이트 표시될 수 있다. 부가적으로 또는 대안적으로, 각각의 MPR 뷰(도 7에 도시된 바와 같은 244, 246, 254)의 평면은 각각의 MPR 뷰에서 관심점을 통과하도록 배열될 수 있다. 그러한 방식으로, 도시된 바와 같은 해부학적 구조는 수술 동안 디스플레이의 상이한 부분들에서 배열 또는 하이라이트 표시될 수 있다. 상이한 뷰들로부터 해부학적 구조의 상이한 부위들을 가시화하기 위해 상이한 관심점들이 선택 또는 호출될 수 있다. 이는 수술의 수행 동안 사용자가 수술 도구를 해부학적 구조를 통해 내비게이팅하는 것을 도울 수 있다.
MPR 뷰는 시상 뷰, 관상 뷰, 또는 횡단 뷰 중 적어도 2개를 포함한다. 일부 실시예에서, MPR 뷰는 모든 3개의 뷰를 포함한다. 언급된 바와 같이, MPR 뷰들은 관심점에 기초하여 배열될 수 있다. 관심점은 하나 이상의 사용자 인터페이스를 통한 사용자로부터의 입력을 기초로 선택될 수 있다. 예를 들어, 사용자는 관심점을 선택하기 위해 다른 섹션들에서 기술되는 바와 같은 핸드헬드 UID를 사용할 수 있다. 관심점은 메뉴 내의 항목이거나, 이미지들 중 임의의 것의 활성 선택가능 부분일 수 있다. 일부 실시예에서, 디스플레이가 터치스크린 상에 보여지는 경우, 사용자는 터치스크린 디스플레이를 통해 입력을 제공할 수 있다.
일부 실시예에서, 3차원 뷰는 수술중 뷰 상에 중첩되고/되거나 이와 정렬될 수 있다. 예를 들어, 도 7을 참조하면, 환자 해부학적 구조(260)의 3차원 이미지는 내시경 뷰(256) 위에 중첩되어, 내시경에서 보여지는 해부학적 구조의 3차원 이해를 제공하고, 하나 이상의 관심 지점(예컨대, 하이라이트 표시된 관심점)에 추가적인 강조를 제공할 수 있다. 3차원 이미지 및/또는 관심점은 내시경 피드와 공-정합되어, 3차원 이미지가 내시경 피드에서 보여지는 해부학적 구조와 공간적으로 동기되도록 할 수 있다.
일부 실시예에서, 수술중 이미징의 복수의 소스가 블록(308)에서 융합될 수 있고, 이미지 뷰어에 의해 융합된 방식으로 보여질 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 제1 뷰(340)는 제1 수술중 캡처 장치, 예컨대 내시경에 의해 캡처되는 환자 해부학적 구조의 수술중 이미지를 보여주는 디스플레이의 제3 부분을 차지한다. 캡처 장치는 수동으로 또는 로봇으로 제어될 수 있는 하나 이상의 수술 도구의 안내를 돕기 위해 수술 동안 환자의 내부에 위치될 수 있다. 제2 수술중 뷰(342)는 제2 캡처 장치(344)(예컨대, 초음파 스캐너)에 의해 생성되는 제2 이미지 피드를 보여준다. 제2 이미지 피드(초음파)는 제1 수술중 이미지 피드(내시경)과 공-정합되어 둘 사이의 공간 매핑을 생성할 수 있다. 이는 예를 들어 위치 센서 및/또는 카메라에 의한 내시경의 공간 추적을 포함할 수 있다. 2개의 이미지 피드의 공-정합에 기초하여, 시스템은 제2 수술중 뷰(342)를 제1 수술중 뷰(340)(예컨대, 내시경 이미지)에 공간적으로 매핑하여 제2 뷰와 제1 뷰를 함께 융합시킬 수 있다. 이러한 방식으로, 사용자는 다른 방법으로(예컨대, 내시경만을 사용하여) 보일 수 없는 일부 해부학적 구조의 "내부"를 (예컨대, 초음파를 이용하여) 볼 수 있다.
상기의 설명은, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 특정 명명법을 사용하였다. 그러나, 본 발명을 실시하기 위해 특정 세부 사항이 요구되지 않는다는 것이 당업자에게 명백할 것이다. 이에 따라, 본 발명의 특정 실시예들에 대한 상기의 설명들은 예시 및 설명의 목적으로 제시된다. 이들은 총망라하거나 본 발명을 개시된 정확한 형태로 제한하고자 하는 것은 아니며, 명백하게는, 상기 교시 내용을 고려하여 많은 수정들 및 변형들이 가능하다. 실시예들은 본 발명의 원리들 및 그의 실제 적용들을 가장 잘 설명하기 위해 선택되고 기술되었으며, 이에 의해 당업자가 본 발명 및 고려되는 특정 용도에 적합한 다양한 변형예들을 갖는 다양한 실시예들을 가장 잘 활용할 수 있게 한다.

Claims (24)

  1. 수술 로봇 시스템으로서,
    좌측 핸드헬드(handheld) 사용자 인터페이스 장치(user interface device, UID) 및 우측 핸드헬드 UID;
    무안경 입체(autostereoscopic) 3차원 디스플레이; 및
    프로세서를 포함하고,
    상기 프로세서는,
    환자의 복수의 수술전(pre-operation) 이미지들을 수신하고;
    상기 복수의 수술전 이미지들에 대해 재구성을 수행하여, 상기 환자의 3차원 이미지를 생성하며;
    상기 환자의 상기 3차원 이미지를 입체적으로 렌더링하여(render), 입체 데이터 스트림을 생성하고;
    상기 입체 데이터 스트림으로 상기 무안경 입체 3차원 디스플레이를 구동하여, 상기 무안경 입체 3차원 디스플레이 상에 상기 환자의 상기 3차원 이미지의 하나 이상의 뷰(view)를 생성하며;
    상기 좌측 핸드헬드 UID 또는 상기 우측 핸드헬드 UID로부터의 입력에 응답하여 상기 무안경 입체 3차원 디스플레이 상의 상기 환자의 상기 3차원 이미지의 뷰를 조절하도록 구성되는, 수술 로봇 시스템.
  2. 제1항에 있어서, 상기 프로세서는 또한, 상기 환자에 대해 수술을 수행하기 위하여, 상기 좌측 핸드헬드 UID 또는 상기 우측 핸드헬드 UID로부터의 추가 입력에 응답하여 복수의 수술 로봇 아암(arm)들의 움직임을 제어하도록 구성되는, 수술 로봇 시스템.
  3. 제1항에 있어서, UID들의 각각은 쥐어질 때 활성화되고 해제될 때 비활성화되는 벌브(bulb)를 가지며, 상기 프로세서는 또한 상기 벌브가 활성화 또는 비활성화되는지 여부를 모니터링하도록 구성되는, 수술 로봇 시스템.
  4. 제1항에 있어서, 상기 무안경 입체 3차원 디스플레이는 내시경으로부터 수신된 이미지들에 기초하여 내시경 뷰를 동시에 생성하는, 수술 로봇 시스템.
  5. 제1항에 있어서, 상기 환자의 상기 3차원 이미지의 상기 뷰를 조절하는 것은 상기 3차원 이미지에 대해 일정 평면을 선택하는 것 및 상기 환자의 상기 3차원 이미지의 단면 슬라이스(slice)들을 통해 스크롤링하는(scrolling) 것을 포함하고, 상기 단면 슬라이스들은 상기 선택된 평면에 평행한, 수술 로봇 시스템.
  6. 제1항에 있어서, 상기 환자의 상기 3차원 이미지의 상기 뷰를 조절하는 것은 a) 상기 좌측 핸드헬드 UID와 상기 우측 핸드헬드 UID 사이의 거리의 동시 활성화 및 감소에 응답하여 상기 무안경 입체 3차원 디스플레이 상의 상기 환자의 상기 3차원 이미지의 크기를 감소시키는 것, 또는 b) 상기 좌측 핸드헬드 UID와 상기 우측 핸드헬드 UID 사이의 상기 거리의 동시 활성화 및 증가에 응답하여 상기 무안경 입체 3차원 디스플레이 상의 상기 환자의 상기 3차원 이미지의 상기 크기를 증가시키는 것을 포함하는, 수술 로봇 시스템.
  7. 제1항에 있어서, 상기 환자의 상기 3차원 이미지의 상기 뷰를 조절하는 것은 동일한 방향으로의 상기 좌측 핸드헬드 UID 및 상기 우측 핸드헬드 UID의 동시 활성화 및 전위(translocation)에 응답하여 상기 뷰 내의 상기 환자의 상기 3차원 이미지를 전위시키는 것을 포함하는, 수술 로봇 시스템.
  8. 제1항에 있어서, 상기 환자의 상기 3차원 이미지의 상기 뷰를 조절하는 것은 상기 좌측 핸드헬드 UID 또는 상기 우측 핸드헬드 UID 중 하나의 동시 활성화 및 회전에 응답하여 상기 무안경 입체 3차원 디스플레이 상의 상기 환자의 상기 3차원 이미지를 회전시키는 것을 포함하는, 수술 로봇 시스템.
  9. 제1항에 있어서, 상기 프로세서는 또한 상기 좌측 핸드헬드 UID 또는 상기 우측 핸드헬드 UID 중 하나의 짧은 활성화 기간에 응답하여 상기 무안경 입체 3차원 디스플레이 상에 선택가능 메뉴를 렌더링하도록 구성되는, 수술 로봇 시스템.
  10. 제1항에 있어서, 상기 무안경 입체 3차원 디스플레이는 상기 무안경 입체 3차원 디스플레이의 디스플레이 표면 상에서의 상기 3차원 이미지의 사용자의 가시화(visualization)를 용이하게 하기 위해 상기 디스플레이 표면 위에 적어도 부분적으로 위치되는 하나 이상의 층을 포함하고, 상기 하나 이상의 층은 편광 필터들, 패턴 지연기(pattern retarder), 또는 동적 셔터(dynamic shutter)들 중 적어도 하나를 포함하는, 수술 로봇 시스템.
  11. 제10항에 있어서, 상기 사용자는 안경 또는 다른 착용가능 구성요소들을 사용하여 상기 무안경 입체 3차원 디스플레이 상에서 상기 환자의 상기 3차원 이미지를 관찰하는, 수술 로봇 시스템.
  12. 제1항에 있어서, 상기 프로세서는 또한,
    적외선 카메라로부터 수신된 데이터에 기초하여, 상기 무안경 입체 3차원 디스플레이의 디스플레이 표면에 대한 사용자의 머리 위치를 검출 및 추적하고;
    상기 사용자의 검출된 시선(gaze)에 기초하여 상기 무안경 입체 3차원 디스플레이의 작동을 수정하며;
    상기 무안경 입체 3차원 디스플레이 상에서의 상기 3차원 이미지의 상기 사용자의 가시화에 영향을 미치기 위해 상기 사용자의 상기 머리 위치에 기초하여 상기 사용자와 상기 디스플레이 표면 사이의 공간적 관계를 자동으로 조절하도록 구성되는, 수술 로봇 시스템.
  13. 제1항에 있어서,
    상기 3차원 이미지는 상기 무안경 입체 3차원 디스플레이의 제1 부분에 렌더링되고,
    MPR 뷰가 상기 무안경 입체 3차원 디스플레이의 제2 부분에 렌더링되며,
    수술중(intra-operative) 이미지가 상기 무안경 입체 3차원 디스플레이의 제3 부분에 렌더링되고,
    수술전 3차원 이미지 및 다중 평면 뷰(multi-planar view)가 동기되어 상기 환자의 해부학적 구조의 공통 관심점(focal point)을 보여주는, 수술 로봇 시스템.
  14. 수술 로봇 시스템의 컴퓨팅 장치에 의해 수행되는 방법으로서,
    환자의 해부학적 구조를 포함하는 수술전 3차원 이미지를 디스플레이의 제1 부분에 렌더링하는 단계;
    상기 해부학적 구조의 다중 평면 재구성(multi planar reconstruction, MPR) 뷰를 상기 디스플레이의 제2 부분에 렌더링하는 단계;
    상기 해부학적 구조의 수술중 이미지를 상기 디스플레이의 제3 부분에 렌더링하는 단계; 및
    상기 해부학적 구조의 공통 관심점을 보여주도록 상기 수술전 3차원 이미지와 상기 MPR 뷰를 동기시키는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 해부학적 구조의 상기 관심점을 동기시키는 단계는 상기 관심점의 선택에 기초하여 상기 제1 부분 및 상기 제2 부분에서 보여지는 것으로서 상기 해부학적 구조를 배열하거나 상기 관심점을 하이라이트 표시하는 단계를 포함하는, 방법.
  16. 제14항에 있어서, 상기 관심점은 상기 해부학적 구조의 장기, 조직, 종양, 또는 주석이 달린(annotated) 구조물 중 적어도 하나인, 방법.
  17. 제14항에 있어서, 상기 관심점은 색상, 밝기, 윤곽, 및 투명도 중 적어도 하나에 의해 하이라이트 표시되는, 방법.
  18. 제14항에 있어서, 상기 3차원 이미지는, 조직, 장기, 병변(lesion), 주석(annotation) 중 하나 이상을 기초로 수술전 이미지의 복셀(voxel)들을 분류하고, 상기 분류된 복셀들을 상기 수술전 이미지와 융합함으로써 생성되는, 방법.
  19. 제14항에 있어서, 상기 수술중 이미지는 내시경 또는 초음파에 의해 생성되는, 방법.
  20. 제14항에 있어서, 상기 MPR 뷰는 컴퓨터 단층 촬영(computer tomography, CT) 또는 자기 공명 이미징(magnetic resonance imaging, MRI)을 사용하여 생성된 시상(sagittal) 뷰, 관상(coronal) 뷰, 또는 횡단(transversal) 뷰 중 적어도 2개를 포함하는, 방법.
  21. 제14항에 있어서, 상기 3차원 이미지는 내시경의 추적에 기초하여 상기 디스플레이의 상기 제3 부분에서의 상기 환자의 상기 해부학적 구조의 수술중 이미지와 중첩되고 정렬되는, 방법.
  22. 제14항에 있어서, 상기 수술전 3차원 이미지 및 상기 MPR 뷰는 상기 3차원 이미지 및 상기 MPR 뷰를 통해 보여지는 상기 해부학적 구조의 이미지들의 공-정합(co-registration)에 기초하여 동기되는, 방법.
  23. 제14항에 있어서, 상기 디스플레이는 상기 수술 로봇 시스템의 사용자 제어 콘솔의 입체 디스플레이이고, 상기 관심점의 선택은 상기 수술 로봇 시스템의 하나 이상의 로봇 아암을 제어하는 데 사용되는 하나 이상의 핸드헬드 사용자 입력 장치를 통해 수신되는, 방법.
  24. 제14항에 있어서, 상기 디스플레이는 태블릿 컴퓨터의 터치스크린 디스플레이이고, 상기 관심점의 선택은 상기 터치스크린 디스플레이를 통한 입력으로서 수신되는, 방법.
KR1020227029573A 2020-01-30 2021-01-29 3차원 의료 이미징 및 상호작용 KR20220134765A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062967810P 2020-01-30 2020-01-30
US62/967,810 2020-01-30
PCT/US2021/015905 WO2021155290A1 (en) 2020-01-30 2021-01-29 Three dimensional medical imaging and interactions

Publications (1)

Publication Number Publication Date
KR20220134765A true KR20220134765A (ko) 2022-10-05

Family

ID=74701584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227029573A KR20220134765A (ko) 2020-01-30 2021-01-29 3차원 의료 이미징 및 상호작용

Country Status (5)

Country Link
US (1) US20210236233A1 (ko)
EP (1) EP4096560A1 (ko)
KR (1) KR20220134765A (ko)
CN (1) CN115052549A (ko)
WO (1) WO2021155290A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US10895757B2 (en) 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
US11744646B2 (en) * 2018-12-12 2023-09-05 Acclarent, Inc. Registration probe for image guided surgery system
US20220110692A1 (en) * 2020-10-12 2022-04-14 Biosense Webster (Israel) Ltd. Procedure visualization and guidance
TW202400093A (zh) * 2022-03-15 2024-01-01 德商阿比奥梅德歐洲有限公司 追蹤系統及使用追蹤系統追蹤可移動感測器在患者身體內的即時位置的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11534246B2 (en) * 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
US10895757B2 (en) * 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery

Also Published As

Publication number Publication date
CN115052549A (zh) 2022-09-13
EP4096560A1 (en) 2022-12-07
US20210236233A1 (en) 2021-08-05
WO2021155290A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US20230218356A1 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
US11806102B2 (en) Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US11333899B2 (en) Systems and methods for three-dimensional visualization during robotic surgery
US20210236233A1 (en) Three dimensional medical imaging and interactions
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
JP5639223B2 (ja) 医療用ロボットシステムにおけるコンピュータディスプレイ上の補助画像の表示および操作
JP5372225B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
US10834332B2 (en) Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery
US20240156548A1 (en) Multi-dimensional visualization in computer-assisted tele-operated surgery
JP2022514635A (ja) デュアル画像センサを有する内視鏡
JP5784388B2 (ja) 医療用マニピュレータシステム
US20200093544A1 (en) System and method for registration and coordinated manipulation of augmented reality image components
WO2023220108A1 (en) Systems and methods for content aware user interface overlays