KR20190058528A - 가이드되는 시술을 위한 시스템 - Google Patents

가이드되는 시술을 위한 시스템 Download PDF

Info

Publication number
KR20190058528A
KR20190058528A KR1020197010899A KR20197010899A KR20190058528A KR 20190058528 A KR20190058528 A KR 20190058528A KR 1020197010899 A KR1020197010899 A KR 1020197010899A KR 20197010899 A KR20197010899 A KR 20197010899A KR 20190058528 A KR20190058528 A KR 20190058528A
Authority
KR
South Korea
Prior art keywords
image
subject
display
user
mixed reality
Prior art date
Application number
KR1020197010899A
Other languages
English (en)
Inventor
티모시 제이. 쉐위
이반 페이텔
닐 에프. 스트라카
브라이언 윌슨
Original Assignee
메드트로닉 내비게이션, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메드트로닉 내비게이션, 인코퍼레이티드 filed Critical 메드트로닉 내비게이션, 인코퍼레이티드
Publication of KR20190058528A publication Critical patent/KR20190058528A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A61B2010/045—Needles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00434—Neural system
    • A61B2018/00446—Brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Plasma & Fusion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

피사체의 숨겨진 부분의 시각화를 돕기 위해 피사체의 이미지를 사용하는 시스템이 개시된다. 시스템은 웨어러블 디스플레이로 이미지를 도시할 수 있다. 이미지는 증강 현실 방식 또는 혼합 현실 방식으로 표시될 수 있다.

Description

가이드되는 시술을 위한 시스템
본 발명은 이미지 뷰잉 시스템에 관한 것으로서, 특히, 관련된 실제 대상물에 대해 표시되거나 중첩되는 이미지를 표시하는 시스템에 관한 것이다.
이 섹션은 반드시 선행 기술일 필요는 없는, 본 개시와 관련된 배경 정보를 제공한다.
시술(procedure) 중에는 외과 의사와 같은 사용자를 돕기 위해 컴퓨터 지원 수술(CAS, computer-aided surgical) 시스템이 사용될 수 있다. 시술에는 뇌 종양 절제술 및/또는 뇌 조직 절제술과 같은 외과적 수술이 포함될 수 있다. CAS 시스템은 수술 내비게이션 시스템(surgical navigation system)으로도 불릴 수 있으며, 환자의 일부분의 이미지를 표시장치 상에 표시할 수 있게 한다. 예를 들어, 수술 내비게이션 시스템에는 미국 콜로라도에 사업장을 둔 메드트로닉 내비게이션 사(Medtronic Navigation, Inc.)에서 판매하는 스텔스 스테이션® S7® 수술 내비게이션 시스템(Stealth Station® S7® Surgical Navigation System)이 포함될 수 있다. 수술 내비게이션 시스템은 사용자가 환자 및 이미지에서 기준점을 식별하는 것과 같이, 등록(registration) 기술을 사용하여 실제 또는 환자 공간에 대해 이미지 공간을 등록할 수 있게 한다. 등록(registration)은 환자와 떨어져 있는 스크린에 표시된 이미지에 적용될 수 있다. 표시장치는 ViewSonic Corporation에서 판매하는 비디오 모니터와 같은 백라이트 표시장치를 포함한, 음극선관(CRT) 모니터 및/또는 평면 패널 모니터와 같은 모니터일 수 있다. 적어도 실제 동일한 공간 안에 있더라도 표시장치는 환자로부터 멀리 위치되어, 사용자가 표시장치 상의 이미지 및 환자를 동시에 바라보기 어려울 수 있다.
본 섹션은 본 개시의 일반적인 요약을 제공하며 전체 범위 또는 모든 특징을 포괄적으로 개시하지는 않는다.
다양한 실시예에 따르면, 수술 내비게이션 시스템은 홀로그램 또는 증강 현실 디스플레이를 포함한다. 증강 현실 디스플레이는 본 명세서에서 설명된 혼합 현실(mixed reality) 디스플레이 또는 장치를 포함할 수 있다. 혼합 현실(MR) 장치는 선택된 실제 공간에서 하나 이상의 사용자에 의해, 착용되는 것처럼 장착될 수 있다. MR 장치는 실제 공간 및 실제 물체를, 사용자가 상기 실제 공간에서 상기 실제 물체에 대해 상대적으로 또는 중첩하여 표시되는 생성 이미지(예를 들어, 아이콘)와 함께 볼 수 있게 한다. MR 장치는 또한, MR 장치가 실제 공간에서 MR 장치의 물리적 위치를 식별하고 저장할 수 있게 구성되는 특징들을 포함할 수 있다.
MR 장치는 실제 또는 피사체 공간 상에서 중첩된 이미지를 표시하도록 구성되는 표시장치를 포함할 수 있다. 피사체 공간에는 생체 또는 무생물 피사체가 포함될 수 있다. 예를 들어, 살아 움직이는 피사체에는 인간 환자 또는 동물 환자가 포함될 수 있으며, 무생물 피사체에는 기계 또는 전기 시스템이 포함될 수 있다. 다양한 실시예에서, 인간 피사체는 외과적 시술을 받을 수 있으며, MR 장치는 환자에게 중첩되는 환자의 이미지를 도시하거나 표시하는 데 사용될 수 있다. 무생물 피사체에 대한 시술에서, MR 장치는 외부의 레이어 또는 케이스에 의해 덮인 시스템의 내부 구성요소의 이미지를 중첩하는 데 사용될 수 있다.
다양한 실시예에서, MR 장치는 본원에서 설명된 바와 같이, 사용자가 실세계 물체 및 특징과 함께 볼 수 있는 이미지를 표시하도록 구성된 장치일 수 있다. 사용자가 볼 수 있는 이미지를 표시할 수 있는 예시적인 장치는 미국 워싱턴에 사업장을 둔 마이크로소프트 사(Microsoft Corporation)의 홀로렌즈®(Holo Lens®) 및 미국 캘리포니아에 사업장을 둔 메타 사(Meta Company)에 의해 판매되는 메타 2®(Meta 2®) 디지털 디스플레이를 포함하며, 기타 적절한 혼합 현실 표시장치를 포함한다. 일반적으로, 다양한 증강 현실 표시장치를 포함할 수 있는 MR 장치는 사용자가 직접 볼 수 있는 머리 장착형(head-mounted) 표시장치며, 실제 공간에 이미지 또는 아이콘을 중첩시키는 데 사용될 수 있다. 본 명세서에서 설명된 바와 같이, MR 장치는 선택된 시술을 위한 선택된 아이콘 및 이미지를 표시하는 데 사용될 수 있다.
다양한 실시예들에서, MR 장치는 또한 증강 현실 시스템의 구성요소들로 지칭되거나 이들을 포함할 수 있다. 혼합 현실 시스템에서, 시청자는 실제 세계 또는 실제 공간(예를 들어, 환자 공간)을 보고 실제 세계에 겹쳐진 디스플레이를 더 볼 수 있다. 예를 들어, 사용자는 MR 장치의 투명한 표시부를 통해(1) 실제 세계와(2) 표시부에 불투명 또는 반투명 구성요소(예를 들어, 투영 또는 내장된 액정 디스플레이)로 표시되는 것을 모두 볼 수 있다. 다양한 실시예에서, 사용자는 실세계와, 표시된 구성요소를 동시에 볼 수 있다. 본 명세서에서 더 설명되는 바와 같이, 혼합 현실 시스템은 MR 장치를 통해 보았을 때 피사체에 대해 등록된 표시를 하기 위해, 미리 획득된 이미지의 등록이 가능하게 할 수 있다. 따라서, 사용자는 실 공간과 이미지 공간을 동시에 볼 수 있고, 이미지 공간이 실제 공간에 존재하는 것처럼 이미지 공간 내에 식별되는 다양한 특징 및 아이템을 보기 위한, 실제 공간에 대해 등록된 이미지 공간을 가질 수 있다.
또한, 증강된 또는 혼합된 현실 시스템은 사용자가 실제 공간 및/또는 이미지 공간 상에 중첩된 다른 이미지 또는 아이콘을 볼 수 있게 한다. 증강 현실 장치를 통해 아이콘이 표시되므로, 아이콘은 대상과 관련된 시술 도구의 계획된 위치 또는 탐색된 위치를 기반으로 표시될 수 있다.
본 명세서에서 제공되는 설명으로부터 적용가능한 추가의 기술분야들이 명확해질 것이다. 본 발명의 내용에서의 설명 및 특정 예들은 예시만을 목적으로 의도된 것이고, 본 개시내용의 범위를 제한하도록 의도되지 않았다.
본 명세서에서 설명되는 도면들은 선택된 실시형태들의 예시적인 목적만을 위한 것이고, 모든 가능한 구현예들을 위한 것은 아니며, 본 개시내용의 범위를 제한하는 것으로 의도되지 않는다.
도 1은 MR 장치를 포함하는 수술 내비게이션 시스템의 개략도이다.
도 2는 이미지 및 실제 물체를 보는 MR 디바이스를 갖는 사용자의 개략도이다.
도 2a는 다양한 실시예에 따라 MR 장치를 사용하여 실제 물체 및 이미지를 보는 사용자의 관점도이다.
도 3은 다양한 실시예에 따라 MR 장치를 사용하여 실제 물체 및 이미지를 보는 사용자의 관점도이다.
도 4는 현실 공간에 이미지 공간을 등록하는 방법을 나타내는 흐름도이다.
도 5는 다양한 실시예에 따라 MR 장치를 사용하여 실제 물체 및 이미지를 보는 사용자의 관점도이다.
도 6은 다양한 실시예에 따라 MR 장치를 사용하여 실제 물체 및 이미지를 보는 사용자의 관점도이다.
도 6a는 다양한 실시예에 따라 MR 장치를 사용하여 실제 물체 및 이미지를 보는 사용자의 관점도이다.
대응하는 참조 부호들은 여러 도면들에 걸쳐 대응하는 부분들을 나타낸다.
이제 예시적인 실시형태들이 첨부 도면들을 참조하여 더 완전히 설명될 것이다.
다양한 실시예에 따라, 수술실(10)은 외과 의사와 같은 사용자(12)가 환자(14)와 같은 대상에게 선택된 시술을 수행하는 데에 사용될 수 있다. 그러나, 상술한 바와 같이, 대상(14)은 인간 대상일 필요는 없고, 시술이 외과적 시술일 필요는 없다. 다양한 실시예에 따르면, 대상(14)은 하우징 내의 전기적 또는 기계적 시스템과 같은 무생물일 수 있다. 본 명세서에 설명된 증강된 또는 혼합된 현실 시스템을 포함하는 다양한 구성요소는, 시술을 수행하기 위한 대상(14)의 내부 또는 대상(14)의 하우징 내부의 다양한 구성요소와 함께, 대상(14)의 외부를 보는 데에 사용될 수 있다.
수술실(10)에서는, 사용자(12)가 시술을 수행하는 것을 돕기 위해 다양한 구성요소가 제공될 수 있다. 다양한 실시예에 따르면, 뷰잉 시스템은 혼합 현실 표시장치 또는 시스템(16)을 포함할 수 있다. 혼합 현실 표시장치(16)는 안경 또는 고글과 유사한 헤드 장착 장치와 같은 웨어러블 혼합 현실 표시장치일 수 있다. 혼합 현실 장치(16)는 또한, 사용자(12) 근처에 또는 인접하여 위치되고 이와 함께/또는 사용자(12)와 함께 이동가능한 장치일 수 있다. 혼합 현실 표시장치(16)는 사용자(12)가 피사체(14)와 함께, MR 이미지(18a)(도 2 및 도 2a에 도시됨)로서의 이미지 및/또는 피사체(14)의 다른 정보 및/또는 피사체(14)에 대한 다양한 부분과 관련된 아이콘(22)과 같은 다른 정보를 보는 데에 사용될 수 있다. 또한, 디스플레이(20)를 사용하여 이미지를 이미지(18)로서 표시하는 데에 외부의 또는 비-혼합형의 현실 표시장치(20)가 사용될 수도 있다. MR 이미지(18a)는 본 명세서에서 더 설명되는 바와 같이, 사용자(12)가 볼 수 있는 MR 디스플레이(16)를 사용하여 보여질 수 있다.
본 명세서에서 설명된 바와 같이, 가시 이미지(18, 18a)는 이미징 시스템(25)과 같은 이미징 시스템을 사용하여 획득된 이미지 데이터에 기초할 수 있다. 이미지들(18, 18a)은 본 명세서에서 설명된 바와 같이 피사체에 대해 등록될 수 있고, 이미징 시스템(25)으로부터의 이미지 데이터에 기초할 수 있다. 본 명세서에서 설명된 바와 같이, 이미지(18)는 이미지 데이터에 기초한 이미지를 일반적으로 지칭할 수 있는데, 특히 MR 이미지(18a)에 대한 설명은 MR 장치(16)를 사용하여 보여지는 이미지이다.
이미징 시스템(25)은 이미지(18)를 생성하기 위해(예를 들어, 피사체(14)를 관통하는 X선 투과에 기초하여) 이미지 데이터를 획득하는, 본원에서 설명되는 바와 같은 이미징 시스템을 포함할 수 있다. 표시장치(20)를 사용하여 보기 위한 이미지(18)나 MR 디스플레이(16)를 사용하여 보기 위한 MR 이미지(18a)를 생성하는 데에, 다른 이미지 데이터가 더 사용될 수 있음을 이해해야 한다. 또한, 하나 이상의 아이콘(22)이 표시장치(20) 및 MR 디스플레이(16) 상에 도시될 수 있다. 아이콘(22)은 다양한 실시예에 따라 표시장치(20) 상의 이미지(18)에 중첩될 수 있다. 또한, 아이콘(22)은 MR 장치(16)를 사용하여, MR 이미지(18a) 상에 중첩되거나 그와 함께/또는 피사체(14)에 중첩되어 표시될 수 있다. 본 명세서에서 설명된 바와 같이, 아이콘(22)은, 아이콘(22)이 피사체(14)에 직접 내포된(imposed) 것처럼 보이도록, 사용자(12)가 볼 수 있는 혼합 현실 이미지로서 MR 장치(16) 상에 표시될 수 있다.
계속해서 도 1을 참조하면, 시술을 수행하는 것을 돕기 위해, 사용자(12)가 이미징 시스템(25)을 사용하여 피사체(14)의 이미지 데이터를 획득함으로써 선택된 시스템으로 하여금 상기 시술을 수행하는 것을 돕기 위한 이미지를 생성하게 할 수 있다. 모델(3차원(3D) 이미지와 같은)은 이미지 데이터를 이용하여 생성될 수 있고, MR 디스플레이(16) 상의 MR 이미지(18a) 및/또는 표시장치(20) 상의 이미지(18)로서 표시될 수 있다. 표시장치(20)는 물리적 또는 구두 입력 장치(예를 들어, 키보드, 터치스크린, 스피치 제어)와 같은 입력 장치(28), 대개 비일시적인 메모리 시스템을 포함하는 메모리 시스템(30)(예를 들어, 스피닝(spinning) 하드 디스크, 솔리드 스테이트 메모리 디바이스, 랜덤 액세스 메모리), 및 프로세서(32)를 포함하는 프로세서 시스템(26)의 일부이거나 및/또는 프로세서 시스템(26)에 연결될 수 있다. 프로세서(32)는 프로세싱 시스템(26)와 통합된 하나 이상의 프로세서 또는 마이크로 프로세서를 포함할 수 있다. 전기 와이어 접속 또는 무선 전송 접속과 같은 통신 부분은, 본 명세서에 설명되는 바와 같이, 프로세서 시스템(26)의 다양한 구성요소(예를 들어, 표시장치(20)가 이미지(18)를 도시 또는 표시하게 하는 데이터 통신을 위한 프로세서(32) 및 표시장치(20)) 및/또는 수술실(10) 내의 다양한 다른 구성요소들 간에 제공될 수 있는 것으로 이해해야 한다.
이미징 시스템(25)은 미국 콜로라도주 루이스빌에 사업장을 둔 메드트로닉 내비게이션 사(Medtronic Navigation, Inc.)에 의해 판매되는 O-Arm® 이미징 시스템을 포함할 수 있다. 미국 특허 제9,412,200 호; 제7,188,998 호, 제7,108,421 호; 제7,106,825호; 제7,001,045호; 및 제 6,940,941 호와, 미국 특허출원공개 제2012/0250822호; 제2012/0099772호; 및 제2010/0290690호에 설명된 이미징 시스템과 같은, O-Arm® 이미징 시스템 또는 다른 적절한 이미징 시스템을 포함하는 이미징 시스템(25)이 선택된 시술 동안 사용될 수 있고, 이들 모두는 본원에 참고로 인용된다.
예를 들어, O-Arm® 이미징 시스템을 포함하는 경우, 이미징 시스템(25)은 제어 패널 또는 시스템(42)을 포함하는 이동 카트(40)와, 소스 유닛(52) 및 검출기(54)가 위치되는 이미징 갠트리(50)를 포함할 수 있다. 제어 시스템(42)은 프로세서(예를 들어, 상술한 것들과 같은), 메모리 및 다양한 인간 입력 시스템과 같은, 다양한 구성요소를 포함할 수 있다. 따라서, 제어 시스템(42)은 적어도 갠트리(50), 소스(52), 및 검출기(54)를 이동시켜 피사체(14)의 이미지 데이터를 획득하도록 작동될 수 있거나 그 명령을 포함할 수 있다. 또한, 제어 시스템(42)은 이미징 시스템(25)을 한 곳에서 병원 또는 다른 보호시설 내에서와 같은 다른 곳으로 이동시키도록 사용 및/또는 작동될 수 있다.
갠트리(50)는 O형상 또는 고리 형상일 수 있는데, 갠트리는 실질적으로 환형이면서, 소스 유닛(52) 및 검출기(54)가 이동할 수 있는 부피를 형성하는 벽을 포함한다. 이동 카트(40)는 하나의 수술실에서 다른 수술실로 이동될 수 있고, 갠트리(50)는 본 명세서에서 더 설명되는 바와 같이 카트(40)에 대해 이동할 수 있다. 이는 이미징 시스템(25)이 피사체(14)에 대해 이동 가능하게 함으로써, 고정된 이미징 시스템의 전용 설비 또는 공간 없이도 다수의 위치 및 다수의 시술에서 사용될 수 있게 한다. 제어 시스템(42)은 범용 프로세서나 특수 애플리케이션 프로세서와 같은 프로세서, 및 메모리 시스템(예를 들어, 스피닝 디스크 또는 솔리드 스테이트 비휘발성 메모리와 같은 비일시적인 메모리)을 포함할 수 있다. 예를 들어, 메모리 시스템은 여기에서 설명된 바와 같이, 프로세서에 의해 실행되어 기능을 수행하고 결과를 결정하기 위한 명령을 포함할 수 있다.
소스 유닛(52)은 검출기(54)에 의해 검출되도록 환자(14)를 관통하여 X선을 방출할 수 있는 X레이 이미터(emitter)일 수 있다. 갠트리(50)는 환자(14)의 길이 방향 축(14L)에 대해 움직일 수 있고, 소스(52) 및 검출기(54)는 축(14L) 둘레로 회전할 수 있다. 이미징 장치(25)는 환자(14)의 정밀한 이미지 데이터를 생성하기 위해 환자(14)에 대해 소스/검출기(52/54)를 이동시키도록 정밀 제어될 수 있다. 또한, 이미징 장치(25)는 유선 또는 무선 접속이나, 이미징 시스템(25)으로부터 프로세서 시스템(26)으로의 물리적 매체 전송을 포함할 수 있는 접속(70)과 같은, 선택된 접속을 통해 프로세서 시스템(26)과 접속될 수 있다. 따라서, 이미징 시스템(25)을 사용하여 수집된 이미지 데이터는 본 명세서에서 설명된 바와 같이 내비게이션, 디스플레이, 재구성 등을 위해 프로세싱 시스템(26)으로 전달될 수 있다.
이미징 시스템(25)은 임의의 적절한 이미징 시스템일 수 있으며, 상기 개시된 O-Arm® 이미징 시스템일 필요는 없음을 이해해야 한다. 다른 적절한 이미징 시스템은 자기 공명 이미지(MRI), 기능성 MRI, 확산 텐서 이미지(DTI), 컴퓨터 단층 촬영(CT) 스캐너, 양전자 방출 단층 촬영(PET) 스캔, 스테레오 카메라 등을 포함할 수 있다. 임의의 적절한 이미징 시스템이 피사체(14)의 이미지 데이터를 획득하는 데에 사용될 수 있다. 또한, 이미징 시스템(25)은 수술실(10) 내에 존재할 수도 있고, 사용자(12)가 시술을 수행하는 영역과는 다른 이미지 데이터를 획득하기 위해 수술실(10)의 외부에 제공될 수도 있다. 따라서, 이미지 데이터는 시술 전 데이터, 시술 중 데이터(즉, 시술을 완료하기 전에 획득됨) 또는 시술 후 이미지 데이터일 수 있다.
탐색적(navigated) 시술에서, 광학 로컬라이저(80) 및 전자기 로컬라이저(82) 중 하나 또는 모두를 포함하는 로컬라이저(localizer) 및/또는 디지타이저(digitizer)는, 필드(field)를 생성하거나 이와 함께/또는 환자(14)에 대한 탐색 영역(navigation domain) 내에서 신호를 수신 및/또는 송신하는 데에 사용될 수 있다. 환자(14)에 대한 탐색 공간 또는 탐색 영역은 이미지(18)의 이미지 공간에 등록된 환자 또는 실제 공간이다. 등록은, 탐색 영역 내에 정의된 탐색 공간 및 이미지(18)에 의해 정의된 이미지 공간을 등록하기 위해, 당 업계에서 이해되는 바와 같이, 상관관계(correlation)에 기초한다. 환자 추적기 또는 동적 기준 프레임(DRF)(90)은 환자(14)에 연결되어, 환자(14)의 이미지(18)로의 등록을 동적으로 가능하게 하고 등록이 유지되게 할 수 있다.
그 뒤, 환자 추적 장치 또는 동적 등록 장치(90) 및 수술도구(94)는 환자(14)에 대해 추적되어, 탐색적 시술이 가능하게 할 수 있다. 수술도구(94)는, 광학적 로컬라이저(80) 또는 전자기적 로컬라이저(82) 중 하나 또는 둘 모두를 이용하여 수술도구(94)를 추적할 수 있게 하는, 광학적 추적 장치(100) 및/또는 전자기 추적 장치(102)와 같은 추적 장치를 포함할 수 있다. 내비게이션/프로브 인터페이스 장치(110)와 함께 사용될 수 있는 통신 시스템이 프로세서 시스템(26) 및 수술도구(94) 사이에 제공될 수 있다. 또한, 하나 이상의 로컬라이저(80, 82)는 내비게이션/프로브 인터페이스 장치(110)를 통해 프로세서 시스템(26)과 통신할 수 있다. 따라서 프로세서 시스템(26)은, 다양한 추적 장치(90, 100, 102)에 기초하여 환자(14) 및/또는 수술도구(94)의 추적된 위치를 포함하기 위한 내비게이션 시스템으로서의 다른 추적 구성요소와 협력하여 작동할 수 있다. 추적된 위치들은 이미지(18) 및/또는 환자(14) 상의 추적된 위치들로서 도시될 수 있다. 통신은 유선, 무선, 물리적 매체 전송이나 이동, 또는 임의의 다른 적절한 통신일 수 있는 것으로 이해해야 한다. 그럼에도 불구하고, 환자(14)에 대해 수술도구(94)가 추적되게 하여 시술을 수행하는 동안 이미지(18) 및/또는 환자(14)에 대한 수술도구(94)의 추적된 위치가 도시되게 하기 위해, 적절한 통신 시스템이 각각의 로컬라이저(80, 82)와 함께 제공될 수 있다.
통상의 기술자는 상기 수술도구(94)가 임의의 적절한 수술도구, 이식물 또는 프로브일 수 있음을 이해할 것이다. 예를 들어, 수술도구(94)는 심실 또는 혈관 스텐트, 척추 임플란트, 신경 스텐트 또는 자극기, 절제 장치 등을 포함할 수 있다. 상기 수술도구(94)는 중재적 수술도구(interventional instrument)일 수 있거나 또는 이식 가능한 장치를 포함할 수 있거나 또는 이식 가능한 장치일 수 있다. 수술도구(94)를 추적함에 따라, 환자(14) 내부의 수술도구(94)를 직접 보지 않고도, 환자(14) 및/또는 등록된 이미지(18)(예를 들어, 수술도구를 나타내는 아이콘의 표시)에 대한 수술도구(94)의 위치(x, y, z 위치 및 방향을 포함)를 결정하거나 그리고/또는 보는 것이 가능해진다.
또한, 이미징 시스템(25)은 하나 이상의 로컬라이저(80, 82)를 사용하여 추적될 수 있다. 예를 들어, 갠트리(50)는 각각의 광학 로컬라이저(80) 또는 전자기 로컬라이저(82)와 함께 추적되는 광학 추적 장치(120) 또는 전자기 추적 장치(124)를 포함할 수 있다. 따라서, 이미징 장치(25)는 수술도구(94)가 이미지(18)에 대한 환자(14)의 초기 등록, 자동 등록 또는 계속 등록을 가능하게 하는 만큼 환자(14)에 대해 추적될 수 있다. 또한, 이미징 시스템(25)은, 환자(14)가 동일한 위치에 있거나 이미지 획득 이후에 추적될 때 환자(14)에 대해 해당 이미지가 등록되도록, (검출기와 같이) 이미징 부위의 위치를 "알" 수 있다. 수술도구(94)의 등록 및 추적 시, 아이콘(22)이 이미지(18) 및/또는 환자(14)에 대해, 중첩되는 것을 포함하여, 표시될 수 있다.
다양한 실시예에서, 본 명세서에 설명된 바와 같은 등록 및 탐색적 시술은 본원에 참고로 인용된 미국 특허 제8,238,631호에 개시된 것들을 포함할 수 있다. 추적 가능한 수술도구 및 등록 프로세스를 포함하는 추적 시스템은 또한, 미국 특허 제8,644,907호; 미국 특허 제8,600,478호; 미국 특허 제8,842,893호; 미국 특허 제8,891,847호; 미국 특허출원공개 제2013/0188848호; 및 미국 특허출원공개 제2014/0275989호에 개시되며, 이들 모두는 본원에 참고로 인용된다. 등록은 실제 또는 환자 공간에서 x, y, z 위치의 상관관계 분석을 수행하고, 이를 이미지 공간의 x, y, z 위치(즉, 이미지 내 화소의 x, y, z 위치)에 상관시킨다. 그 후, 수술도구(94)의 추적된 위치는 이미지(18) 상에 중첩되는 것과 같이 디스플레이(20) 상에서 아이콘(22)으로 도시될 수 있다. 그러나, 다양한 실시예에서, 등록은 MR 이미지(18a)가 MR 디스플레이(16)를 사용한 혼합 현실 뷰에서 환자(14) 위에 중첩되게 할 수도 있다. 따라서, 사용자(12)는 도 2 및 도 2a에 도시된 바와 같이, MR 이미지(18a) 및 환자(14) 모두를 볼 수 있다. 또한, 아이콘(22)은 MR 디스플레이(16)를 사용하여, 도 2에 도시된 바와 같이 MR 이미지(18a)를 사용하여 또는 도 3에 도시된 바와 같이 MR 이미지(18a) 없이(예를 들어, 환자(14) 위에 중첩됨) 표시될 수 있다.
등록 이전에, 또는 사용자(12)에 의해 선택된 경우에는 등록 이후에, MR 이미지(18a)는 대상(14)과 별도로 보여질 수 있다. 예를 들어, 사용자(12)는 종양 절제술과 같은 수술을 계획하기 위한 대상(14)의 이미지를 표시하도록 시스템(26)에 지시할 수 있다. 실재하는 대상(14) 없이 이미지를 볼 때, 사용자(12)는 이미지 내의 종양의 전부 또는 일부를 식별할 수 있다. 프로세싱 시스템(26)은 종양의 경계를 식별하기 위해 이미지 데이터를 분할할 수 있다. 사용자(12) 및/또는 다른 사용자들은 계획 시스템 단독으로 또는 그와 조합하여, MR 장치(16) 등으로 보여지는 수술도구의 궤적, 입구 위치, 이미지(18) 및/또는 피사체(14)의 표식(annotation) 등을 정의 또는 선택할 수 있다.
모든 계획은 수술 계획으로서 메모리(30)에 저장될 수 있다. 선택된 시각에, 사용자(12)는 MR 장치(16)를 사용하여, 프로세서 시스템(26)이 수술 계획을 불러오고 수술 계획의 적어도 일부(즉, 궤적, 종양 분할, 이식물 설계 및/또는 크기 조정, 수술도구 선택, 시술 위치 등)를 표시하게 지시할 수 있다. 수술 계획은 다른 이미지와 함께 또는 다른 이미지 없이 피사체(14)에 중첩되어 표시될 수 있다. 또한, 본 명세서에 설명된 바와 같이, 다양한 내부 구조가 아이콘, MR 이미지(18a)의 세그먼트 부분 등으로 도시될 수 있다. 예를 들어, 피사체(14)의 내부에 있을 수 있고 사용자(12)가 직접 볼 수 없는 종양을 나타내는 아이콘(22b)(도 3)이 MR 장치(16)를 사용하여 표시될 수 있다.
도 2 및 도 2a를 먼저 참조하면, 환자(14)가 수술실(10) 내에 배치되면, 사용자(12)는 수술실(10)에서 환자(14)에 대해 MR 이미지(18a)를 등록할 수 있다. 그러나, MR 장치(16)를 사용할 때 사용자(12)는 환자(14) 없이도 이미지를 볼 수 있다. 사용자(12)가 실재하는 환자(14)에게 시술을 시작하기 전에, 다양한 계획 및 확인 시술이 수행될 수 있다. 계획된 진입 지점, 확인된 질병 영역(예를 들어, 종양), 수술도구 궤적 등을 포함한 사전 계획이 추후 불러오기를 위해 메모리에 저장될 수 있다.
다양한 실시예에서, MR 장치(16)는 웨어러블 MR 장치이고 사용자(12)는 MR 장치(16)를 착용한다. 웨어러블 MR 장치로서, MR 장치(16)는 헤드 장착부 또는 착용 부분(150)과, 투명 또는 반투명한 관찰부 또는 디스플레이(152)를 포함할 수 있다. 관찰부(152)는 사용자(12)가 환자(14)를 포함하여 실제 공간을 볼 수 있는 투명 또는 반투명 부분(예를 들어, 렌즈 또는 스크린)을 포함할 수 있다. 관찰부(152)는 MR 이미지(18a) 및/또는 다른 특징(예를 들어, 아이콘(22))을 표시하기 위해 불투명하게 될 수 있는 액정 부분을 포함한, 투명 또는 반투명한 관찰 부분을 포함할 수 있다. 투명하거나 또는 반투명한 경우, 관찰부(152)는 사용자(12)가 피사체(14) 및 다른 실세계 물체 및 피처를 볼 수 있게 한다. 관찰부(152)는 프로세싱 시스템(26)으로부터의 신호에 의해 구동될 수 있다.
그러나, 관찰부(152)는 이미지가 사용자(12)의 시야에 표시될 수 있게 하는 다양한 특징(일방향 뷰 스크린과 같은)을 포함할 수도 있다. 따라서, 사용자(12)는 실제 환자(14)와 MR 이미지(18a)를 실질적으로 동시에 볼 수 있다. 사용자(12)는 도 2a에 도시된 바와 같이 환자(14) 및 MR 이미지(18a)를 볼 수 있다. 도 2는 또한 MR 장치(16)를 착용하고 사용자(12), 환자(14) 및 MR 이미지(18a)를 보는 제2 사용자(예를 들어, 수술실의 간호사)의 관점도일 수 있다. 도 2a는 환자(14) 및 MR 이미지(18a)를 보기 위해 MR 디스플레이(16)를 통해 바라보는 사용자(12)의 관점도를 도시한다. 그러나, 도 2a에 도시된 바와 같이, MR 이미지(18a)가 오프셋되어 환자(14)에 중첩되지 않음으로써, MR 이미지(18a)가 처음에는 환자(14)에 대해 등록되지 않을 수 있다. 그러나, 등록 프로세스 동안, 사용자(12)는 환자(14)에 의해 정의되는 환자 공간에 대하여 이미지(18)에 의해 정의되는 이미지 공간이 등록되는 것을 돕기 위해 MR 이미지(18a)가 이동되도록, 사용자(12)의 손(12a, 12b)으로 MR 이미지(18a)를 잡는 것처럼 보여질 수 있다. DRF(90)는 환자(14)에 부착되는 것과 같이 환자(14)에 직접 부착 될 수 있거나, 또는 환자의 머리(14h)를 수술실(10)의 수술대(15)에 고정시키는 클램프(160)에 부착될 수 있다.
등록 과정에서, 사용자(12)는 시각적 또는 음성적 신호들 중 하나 또는 둘 모두를 사용하여 등록을 돕는다. 상술한 바와 같이, MR 디스플레이(16)는 프로세서 시스템(26)으로부터 정보를 전달하기 위해 아이콘 또는 다른 표시(예컨대, 숫자, 단어 등)와 같은 임의의 적절한 정보를 사용자(12)에게 표시할 수 있다. 전술한 바와 같이, MR 디스플레이(16)는 MR 이미지(18a)와 같은 환자(14)에 대한 정보의 탐색 및 표시를 돕기 위해 프로세서 시스템(26)과 통신한다. 전술한 바와 같이, 이미지 데이터는 이미징 장치(25)를 사용하여 획득되어 프로세싱 시스템(26)으로 전송되거나 그리고/또는 메모리(30)나 다른 적절한 메모리에 저장될 수 있고, MR 디스플레이(16) 상에 표시되도록 불러내어질 수 있다. 프로세서 시스템(26)의 프로세스에 기초하여 MR 디스플레이(16) 상에 내비게이션 정보와 같은 추가 정보가 더 표시될 수 있다.
환자 공간에 대한 이미지 공간의 등록을 수행하여 환자(14)에 대한 시술을 수행하거나 탐색하는 것을 돕기 위해, 등록 프로세스가 개시될 수 있다. 계속하여 도 2a 및 추가적으로 도 4 를 참조하면, 등록 흐름도(200)가 도시된다. 등록 프로세스는 흐름도 프로세스(200)의 시작 블록(210)에서 시작될 수 있다. 사용자(12)는 블록(214)에서 등록 프로세스를 시작한다. 등록 프로세스의 개시는 입력(28)을 사용하는 사용자(12)를 포함할 수 있다. 상술한 바와 같이, 입력(28)은 구두 입력을 포함하는 임의의 적절한 입력을 포함할 수 있다. 따라서, 사용자(12)는 구두 명령(예를 들어, "내비게이션 - 등록 시작")을 제공함으로써 등록을 개시할 수 있다. 프로세서 시스템(26)은 입력을 수신하고, 이미지(18)의 이미지 공간을 환자(14)의 환자 공간에 등록하기 위한 명령의 실행을 개시할 수 있다.
방법(200)에서, 프로세서 시스템(26)은 블록(218)에서 사용자에게 피사체를 보도록 지시할 수 있다. 이 지시는 MR 디스플레이(16) 상에 표시되거나, 그렇지 않으면 프로세서 시스템(26)으로부터의 구두 또는 청각 출력과 같이 사용자(12)에게 제공될 수 있다. 따라서, 프로세서 시스템(26)은 스피커(27)(도 1 참조)와 같이 디스플레이(20) 또는 디스플레이(16)에 부가되는 출력을 더 포함할 수 있음을 이해해야 한다.
일단 지시되면, 사용자(12)는 사용자(12)에 의해 사용되도록 적절하게 위치된 MR 디스플레이(16)를 사용하여 대상(14)을 볼 수 있다. 다양한 실시예에서, MR 디스플레이(16)의 적절한 배치는 안경과 유사하게 사용자의 머리에 MR 디스플레이(16)를 배치하는 것일 수 있다. 도 1 및 도 2에 도시된 바와 같이, MR 디스플레이(16)는 MR 디스플레이(16)의 표시부(152)를 사용자의 시야에 고정시키는 임의의 적절한 방식으로 사용자(12)에 의해 착용될 수 있다. 그 다음, 프로세싱 시스템(26)은 블록(220)에서, MR 디스플레이(16)로부터 3D 표면 스캔을 수신할 수 있다.
블록(220)에서 수신된 3 차원 표면 스캔은 MR 디스플레이(16)의 스캐닝 또는 거리 측정부(221)를 사용하여 달성될 수 있다. 다양한 스캐닝 또는 거리 측정 시스템은, 레이저 스캐너(예를 들어, 라이다), 레이다 스캐너, 광학 스캐너, 초음파, 입체 카메라, 또는 피사체(14)의 일부분 및 실제 공간 내 다른 물체의 하나 이상의 지점(예를 들어, x, y, z의 3차원 좌표)을 정의하기 위해 피사체의 표면 스캔을 얻도록 구성되는 다른 거리 측정 시스템을 포함할 수 있다. 도 2를 참조하면, 거리 측정부는 스캔 필드(223)에서 피사체를 스캔할 수 있다. 예를 들어, 레이저(예를 들어, IR 레이저)는 본 명세서에 설명된 바와 같이, 등록을 위한 이미지(18)의 화소(픽셀 또는 복셀)에 상관시키기 위해 실제 또는 피사체 공간 내의 지점을 식별하도록 피사체(14)의 표면을 스캔할 수 있다.
MR 디스플레이(16)를 착용하면서 환자(14)를 관찰하는 사용자(12)는 MR 디스플레이(16)의 3D 스캐닝 시스템이 환자(14)를 적절하게 스캔할 수 있도록 적절한 위치에 MR 디스플레이(16)를 위치시킨다. 환자(14)를 스캐닝할 때, 환자(14)에 대해 점군(point cloud)이 생성될 수 있다. 예를 들어, 도 2 및 도 2a에 도시된 바와 같이, 환자(14)의 얼굴(14f)의 표면 주사가 이루어질 수 있다. 얼굴(14f)은 코 끝(14t)의 스캔, 환자의 눈확(orbit)(14o)의 스캔 및 환자(14)의 다른 해부학적 특징을 포함할 수 있다. 또한, 확인된 해부학적 특징들 사이의 지점들 또한, 점군 내에서 스캐닝될 수 있다. MR 디스플레이(16)에 의해 3D 표면 주사로서 수신된 이들 포인트는 프로세싱 시스템(26)으로 전달될 수 있다.
블록(220)으로부터 3D 표면 주사를 개시함과 실질적으로 동시에 또는 그 이후에, 프로세싱 시스템(26)은 MR 장치(16) 상에서 피사체(14) 부근에 이미지 데이터의 스케일링된 3D 이미지를 표시한다. 도 2a를 참조하면, MR 이미지(18a)는 사용자(12)가 MR 장치(16)를 통해서 볼 때 피사체(14) 근처에 또는 부분적으로 겹쳐서 표시될 수 있다. 도 2a에 도시된 바와 같이, MR 이미지(18a)는 환자(14)에 대해 스케일링(scaled)될 수 있다. 예를 들어, 블록(220)으로부터의 표면 스캔 데이터는 실제 공간에서의 환자(14)의 크기를 식별시킬 수 있다. 그러므로, MR 이미지(18a)는 환자(14)의 1:1 스케일로서 표시될 수 있다. 다시 말해, MR 이미지(18a)는 이미지 시스템(25)을 사용하여 획득된 이미지 데이터에 기초한 3차원 렌더링일 수 있고, 블록(220)으로부터 수신된 표면 주사 데이터에 기초하여 환자(14)에 맞춰 크기가 조정될 수 있다. 따라서, MR 이미지(18a)는 대상(14)에 표면 매칭될 수 있다. 그럼에도 불구하고, 사용자(12)는 명백히 동일한 공간에서 환자(14) 및 MR 이미지(18a) 모두를 볼 수 있기 때문에 MR 이미지(18a)는 사용자(12)에 의해 MR 장치(16)를 통해 보았을 때 혼합 현실 공간에 표시될 수 있다.
동일한 공간에서 MR 이미지(18a) 및 환자(14) 모두를 관찰할 때, 사용자(12)는 환자(14)의 위치 및 MR 이미지(18a)의 디스플레이 또는 투영된 위치 모두를 이해하고 진행할 수 있다. MR 이미지(18a)는 사용자(12)가 MR 장치(16)를 통해서만 볼 수 있는 것으로 이해해야 하지만, 사용자(12)는 MR 이미지(18a)가 환자(14)와 동일한 공간에 있다고 인식함을 이해해야 한다. 이는 사용자(12)가 피사체(14)만을 볼 수 있게 하고, 여기 설명된 바와 같이, 이미지 데이터로부터의 정보, 수술도구의 계획 및/또는 추적을 이해하고 인식하게 한다. 이는 피사체(14)와, 피사체(14)로부터 멀리 위치된 디스플레이(20)를 보는 것에 대한 대안일 수 있다. 외과 간호사와 같은 다른 사용자가 MR 장치(16)와 유사하거나 동일한 장치를 가질 수 있고, 또한 MR 이미지(18a), 환자(14) 및 사용자(12)를 인지할 수 있음을 더 이해해야 한다. 또한, 이미지(18)는, 선택된 경우 디스플레이(20) 상에 표시될 수 있음을 더 이해해야 한다.
본 명세서에서 MR 이미지(18a)로 지칭되는 혼합 현실 내에서 3차원 렌더링으로 이미지(18)를 표시할 때, 사용자(12)는 환자(14)에 대한 MR 이미지(18a)를 볼 수 있다. 또한, 사용자(12)는 사용자(12)의 손(12a, 12b)과 같은 다른 실제 세계의 특징 및 대상을 볼 수 있다. 따라서, 사용자(12)가 MR 이미지(18a)를 붙잡는 것처럼 보일 수 있다. MR 이미지(18a)를 붙잡거나 잡으려고 시도할 때, 사용자(12)는 MR 이미지(18a)를 움직일 수 있다. MR 이미지(18a)는 프로세싱 시스템(26)에 대한 MR 장치(16)로부터의 입력에 기초하여 움직일 수 있다. 전술한 바와 같이, MR 장치(16)는 MR 장치(16)에 대한 실제 위치를 식별하고 결정하기 위한 특징을 포함할 수 있다. 따라서, 사용자(12)의 손(12a, 12b)이 실제 공간에서 식별될 수 있고, 프로세싱 시스템(26)은 프로세서 시스템(26)에 대해 입력을 제공하는 수단으로서 손(12a 및/또는 12b)의 위치를 이해할 수 있다. 그러나, 손(12a, 12b)이 입력을 위한 것이거나 프로세싱 시스템(26)에 입력을 제공하기 위한 것임을 시스템이 이해하도록 사용자(12)가 시스템을 식별시키거나 또는 명령할 수 있음이 이해될 것이다. 예를 들어, 사용자(12)는 사용자 입력(28)(예를 들어, 구두 또는 물리적 입력)을 통해 명령을 제공할 수 있다. 예를 들어, 사용자(12)는 MR 이미지(18a)를 조작할 때 프로세서 시스템(26)이 손(12a, 12b)으로부터의 입력을 식별하고 수신하는 것을 이해하도록 "손 입력을 수신해"와 같은 구두 명령을 제공할 수 있다.
그럼에도 불구하고, 사용자(12)는 혼합 현실 공간에서 MR 이미지(18a)를 실질적으로 직관적으로 이동시킬 수 있다. 즉, 사용자(12)는 마치 MR 이미지(18a)가 환자(14)와 같은 실제 세계의 특징인 것처럼 MR 이미지(18a)를 붙잡아 움직이는 것처럼 보일 수 있다. 따라서, 사용자(12)는 실세계 공간에서 MR 이미지(18a)의 이동 및 위치를 직관적으로 이해할 수 있다. MR 이미지(18a)는, MR 이미지(18a)에 대한 손(12a, 12b)의 알려진 위치를 통해, MR 이미지(18a)에 대한 조작이 개시될 것임을 프로세서 시스템(26)이 구체적으로 식별하도록 터치될 수 있는, MR 이미지(18a)에 투영되거나 포함되는 핸들, 탭 등과 같은 다양한 특징을 포함할 수 있다. 사용자의 손(12a, 12b) 및/또는 사용자(12)에 의해 조작된 객체는 MR 장치(16) 및/또는 프로세싱 시스템(26)에 입력을 제공하는 데 사용될 수 있음을 이해해야 한다. 또한, 환자(14)에 대해 사용자(12) 및 손(12a, 12b)을 추적하도록 거리 측정 시스템(221)이 구성될 수 있다.
따라서, 사용자(12)는 다양한 목적을 위해 MR 이미지(18a)를 이동시킬 수 있다. 예를 들어, 사용자(12)는 MR 이미지의 상이한 특징들을 보기 위해 MR 이미지(18a)를 움직일 수 있다. 상술한 바와 같이, MR 이미지(18a)는 피사체(14)와 같은 이미지 데이터의 3차원 렌더링이다. 따라서, 사용자(12)는 시술의 계획, 시술의 계획 확인 또는 환자(14)에 대한 MR 이미지(18a)의 등록과 같이, 다양한 시술을 돕기 위해, 사용자의 관점에 대해 다양한 방식 및 방향으로 MR 이미지(18a)를 보려고 시도할 수 있다. 또한, 사용자(12)는(예를 들어, 피사체(14)에 임의의 침습적 시술을 수행하기 전에) 계획용 MR 이미지(18a)를 피사체(14)로부터 멀리 이동시킬 수 있다.
그런 다음, 상술한 바와 같이 사용자(12)가 MR 이미지(18a)를 조작함으로써 MR 이미지(18a)는 피사체(14)로 이동되어 등록을 돕거나 등록을 시작할 수 있다. 피사체(14) 위로 MR 이미지(18a)를 이동시키는 것은, 등록을 위한 적어도 개략적인 지점 또는 출발점을 식별시킴으로써, 피사체(14) 위에 MR 이미지(18a)를 이동시키거나 등록을 시작하는 것을 도울 수 있다. 통상의 기술자가 일반적으로 이해하는 바와 같이, 이미지 공간을 정의하는 이미지 데이터를 실 공간 또는 피사체 공간에 등록하는 것은 이미지 공간 및 피사체 공간에 있는 하나 이상의 지점을 식별함으로써 개시될 수 있다. MR 이미지(18a)를 피사체(14) 상에 또는 피사체(14)에 근접하게 이동시킴으로써, 사용자(12)는 피사체(14) 상의 지점들과 실질적으로 유사한 MR 이미지(18a)의 다양한 지점들을 식별하는 것을 도울 수 있다. 예를 들어, 사용자(12)는 MR 이미지(18a)의 코 끝 및 눈확이 환자(14)의 코 끝(14t) 및 눈확(14o) 위에 실질적으로 위치하도록 MR 이미지(18a)를 조작하고 이동시킬 수 있다. MR 이미지(18a)의 이동은 블록(230)에서 사용자에 의해 선택적으로 수행될 수 있다. 피사체(14)에 의해 정의된 피사체 공간에 대해 MR 이미지(18a)를 등록하는 데에, MR 이미지의 이동이 필요하지 않을 수도 있다. 또한, MR 이미지(18a)는 등록 이외의 목적을 위해 이동될 수 있음이 이해될 것이다. 따라서, 블록(230)에서 MR 이미지를 이동시키는 것은 선택 사항임을 이해해야 한다.
프로세서 시스템(26)은 블록(240)에서 피사체 공간에 MR 이미지(18a)를 등록할 수 있다. 피사체(14)에 의해 정의된 피사체 공간에 대한 MR 이미지(18a)의 등록은 피사체 공간에 이미지 공간을 등록하는 다양한 기존의 알고리즘 및 프로세스에 기초할 수 있다. 본 기술분야에서 일반적으로 이해되는 바와 같이, 예를 들어, 사용자 또는 프로세서 시스템은 이미지 데이터의 기준점을 식별할 수 있고, 로컬라이저(80, 82)를 포함한 추적 시스템을 사용하여 추적되는 수술도구(94)를 사용하는 것처럼, 피사체(14) 상의 유사하거나 동일한 지점을 정의할 수 있다. 그런 다음, 등록 프로세스는 환자(14)와 이미지 데이터 사이의 표면 매칭을 수행하기 위해 피사체(14) 상에 식별된 이미지 데이터의 화소(픽셀 또는 복셀) 및 기준점에 기초하여 점군(point cloud)을 생성할 수 있고, 강체 변환을 포함하여 MR 이미지(18a) 내의 화소(픽셀 또는 복셀)의 좌표를 환자(14)에 의해 정의된 실제 공간 내의 3차원 x, y 및 z 위치로 매핑하는 변환을 계산 또는 생성한다. 변환은 이미지 데이터의 점군을 실제 공간에 정의된 점군과 일치시키는 회전 및 병진이동 동작으로 구성될 수 있다.
환자(14)에 의해 정의된 점군은 블록(220)에서 수신된 3D 표면 스캔에 기초할 수 있다. MR 이미지(18a)를 생성하는 데 사용된 이미지 데이터는 그 내부의 픽셀 및 복셀의 위치에 기초하여 이미지 공간 및 점군을 정의한다. 따라서, 블록(220)으로부터 수신된 3D 표면 스캔과, 이미지 데이터 내의 픽셀 및 복셀의 결정된 위치는, MR 이미지(18a)를 환자(14)에 등록할 수 있게 한다.
도 5를 간단히 참조하면, MR 장치(16)를 통해 사용자(12)가 인지하는 뷰는 사용자(12)로 하여금 사용자의 손(12a, 12b) 및 하나 이상의 아이콘(22)과, MR 이미지(18a) 및/또는 환자(14)에 대해 등록될 수도 있고 등록되지 않을 수도 있는 MR 이미지(18a)의 일부분을 보게 할 수 있다. 도 5에 도시된 바와 같이, 이미지 데이터를 환자(14)에 대해 등록하는 것은, MR 장치(16)를 통해 보았을 때 환자(14) 위에 등록되고 중첩되는 실질적으로 불투명한 MR 이미지(18a')를 보게 할 수 있다. 도 5에 구체적으로 도시된 바와 같이, 불투명한 MR 이미지(18a')는 혈관 또는 다른 선택된 해부학적 특징의 식별 및 도시를 포함할 수 있다. 그러나, 등록은 MR 장치(16)를 사용한 사용자(12)의 시야에서 환자(14) 위에 불투명한 MR 이미지(18a') 또는 다른 적절한 MR 이미지를 중첩하게 한다.
또한, 등록은 피사체(14)에 대한 DRF(90)의 식별이나 관찰 및/또는 DRF(90)의 표면 스캔을 포함할 수 있다. 전술한 바와 같이, 로컬라이저(80, 82)를 포함하는 추적 시스템은 수술도구(94)와 같은 수술도구를 추적하는 데 사용될 수 있다. 따라서, 환자(14)에 대한 MR 이미지(18a)의 등록은 DRF(90)에 대한 등록의 식별 또는 결정을 포함할 수 있다. 따라서, 환자(14)에 대한 수술도구(94)의 추적된 위치는 본 명세서에 더 설명되는 바와 같이, 아이콘(22)을 사용하는 것과 같이 MR 이미지(18a) 상에 표시될 수 있다.
도 4를 참조하면, 블록(240)에서의 등록 이후에, 등록을 검증하기 위해 블록(250)에서 검증 단계가 선택적으로 발생할 수 있다. 등록 정확도를 확인하는 데에는, 홀로그램 시각화 또는 기타 시각화 기술이 사용될 수 있다. 예를 들어, 점군, 와이어 프레임, 텍스처 맵 또는 다른 이미지가 MR 장치(16)를 사용하여 환자(14)에 투영될 수 있다. 사용자(12)는 환자(14)와, 예를 들어 MR 이미지(18a) 없이 환자(14)에 중첩된 와이어 프레임을 볼 수 있다. 와이어 프레임은 코 끝(14t) 및 눈확(14o)의 지점과 같은 몇몇 지점을 포함할 수 있으며, 이 지점들을 상호 연결하는 라인을 가질 수 있다. 환자(14) 위에 겹쳐지는 등고선을 포함한 표면을 모사하기 위해 복수의 지점이 제공될 수 있음을 이해해야 한다. 사용자(12)는 MR 장치(16)를 통해 혼합 현실 이미지를 볼 수 있지만, 블록(250)에서의 검증 동안에는 환자(14) 위에 완전한 렌더링된 3D MR 이미지(18a)를 보지 못할 수 있다. 사용자(12)는 블록(250)에서 등록을 검증하기 위해 MR 장치(16)를 사용하여 환자(14) 위에 중첩되는 검증 이미지를 볼 수 있다.
그 뒤, 사용자(12)는 다양한 입력을 통해 블록(260)에서 등록을 확정(confirm)할 수 있다. 사용자(12)가 등록을 확정함에 있어서, 블록(260)에서, 사용자(12)는 실제 공간에서 환자(14)의 다양한 부분에 대해 수술도구(94)(또는 프로브 또는 비 침습적 수술도구일 수 있다)를 움직일 수 있다. 수술도구(94)를 환자(14) 위로 이동시키는 경우, 프로세서 시스템(26)은 수술도구(94)의 추적된 위치 정보를 수신하여 아이콘(22)을 생성할 수 있다. 아이콘(22)은 MR 장치(16)와 함께 추적된 위치에 표시될 수 있고, 사용자(12)는 환자(14)와 아이콘(22) 및 수술도구(94)를 볼 수 있다. 사용자(12)는 등록이 적절하거나 정확하다는 시각적인 확인을 수신하기 위해, 아이콘(22)이 수술도구(94)와 동일한 위치에 있는지 보거나 판단할 수 있다. 예를 들어, 사용자(12)는 아이콘(22)이, 실질적으로 수술도구(94) 위에, 그리고 사용자(12)가 환자(14)에 대해 수술도구(94)를 가리키고 있는 위치에, 중첩되어 있음을 볼 수 있다. 등록이 올바르지 않거나 정확하지 않으면(예를 들어, 보이는 수술도구(94) 및 아이콘(22)의 사이가 약 0.5 밀리미터(mm) 내지 약 3 mm보다 큰 경우), 사용자(12)는 등록이 더 정밀해지도록 프로세서 시스템에 지시할 수 있다.
블록(250)에서의 등록 검증 및 블록(260)에서의 사용자 확정 이후, 선택된 경우, 등록 프로세스는 블록(270)에서 종료될 수 있다. 상술한 바와 같이, 등록은 MR 이미지(18a)가 환자(14)에 대해 실질적으로 정밀한 방식으로 표시되게 한다. 따라서, MR 이미지(18a)에 해부학적 및 생리학적 특징이 존재하는 경우, 사용자(12)는 환자(14) 위의 동일한 해부학적 위치(예를 들어, 실제 위치로부터 약 0.1 mm 내지 약 2 mm 이내)에서 MR 이미지(18a)에 표시된 해부학적 및 생리학적 특징을 볼 수 있다.
상술한 바와 같이, MR 이미지(18a)는 다양한 특징들을 포함할 수 있다. 예를 들어, MR 이미지(18a)는 피사체(14) 상에 중첩된 피사체(14)의 사진 이미지를 포함할 수 있다. 또한, MR 이미지(18a)는 혈관 위치, 열구(sulcus) 위치, 경조직 또는 다른 연조직 위치, 또는 질병 과정과 같은 생리학적 또는 해부학적 데이터를 포함할 수 있다. 예를 들어, MR 이미지(18a)는 절제되거나 생검되는 종양의 식별을 포함할 수 있다. 다양한 실시예에서, MR 이미지(18a)는 환자(14)의 뇌 내의 종양의 식별된 위치, 및 절제를 위해 종양에 도달하기 위한 하나 이상의 궤적을 포함할 수 있다. 따라서, MR 이미지(18a)를 피사체(14)에 대해 등록할 때, MR 장치(16)를 사용하여, 사용자(12)를 위해 MR 이미지(18a)에서 식별되는 종양의 위치가 환자(14) 위에서 식별될 수 있다.
전술한 바와 같이, 도 1의 수술실(10)에 도시된 시스템은 피사체(14)에 대한 시술을 수행하는 데 사용될 수 있다. 그러나, 피사체(14)에 대해 수행되는 시술은 피사체(14)가 인간 또는 다른 살아있는 대상이 아닌 것을 포함하여 비 외과적 또는 비 의학적 시술일 수 있는 것으로 이해해야 한다. 그럼에도 불구하고, 다양한 실시예에서, 피사체(14)에 대해 수행되는 시술은 피사체(14)의 뇌에서 뇌종양을 제거하거나 다른 절제술이나 시술을 수행하는 시술을 포함하는 탐색적 시술일 수 있다. 그러나, 특정 시술에 관계없이, 사용자(12)는 MR 장치(16)를 사용하여 혼합 현실로 피사체(14)를 볼 수 있다. 도 2, 도 2a 및 도 3에 도시되고 전술된 바와 같이, 그리고 도 5 및 도 6에 더 도시된 바와 같이, 사용자(12)는 피사체(14)와 함께 또는 그에 추가하여 MR 이미지(18a)를 볼 수 있다. 다양한 실시예에서, MR 장치(16) 또는 그것과 실질적으로 동일하거나 유사한 MR 장치(16)는 적어도 MR 이미지(18a)를 보기 위해 수술실(10)에 있지 않은 사용자에 의해 사용될 수 있다. 예를 들어, 주치의는 수술실(10) 안의 사용자(12)가 보고 있는 수술실(10)로부터 떨어진 위치에서 MR 이미지(18a)를 볼 수 있다. 프로세서 시스템(26)은 원격 사용자에 의해 보여지는 원격 MR 디스플레이 상에 표시하기 위해 별도의 프로세싱 시스템 및/또는 동일한 프로세싱 시스템(26)에 의해 처리되는 원격의 위치로, MR 이미지(18a)를 전송할 수 있다. 이러한 방식으로, 원격 사용자는 진입 지점을 선택하거나, 종양을 식별하거나, 수술 경로 또는 궤적을 검토하거나, 또는 사용자(12)에 대한 다른 적절한 지원을 위해 실내 사용자(12)를 도울 수 있다.
피사체(14)에 대한 MR 이미지(18a)의 관찰은 상술한 바와 같이 피사체(14)에 대한 이미지의 등록에 기초할 수 있다. 또한, 본 명세서에 설명된 바와 같이, 하나 이상의 로컬라이저(80, 82)를 포함할 수 있는 추적 시스템을 갖는 추적 수술도구로 인해 다양한 아이콘이 도시될 수 있다. 그러나, 사용자의 손(12a, 12b)을 포함하여 다양한 부분을 추적하고 추적된 위치와 관련된 아이콘 또는 정보를 표시하기 위해, MR 장치(16)에 포함된 거리 측정 또는 다른 위치 결정 시스템이 사용될 수 있음을 이해해야 한다. 거리 측정 시스템(221)은 피사체(14) 및/또는 MR 이미지(18a)에 대한 추적된 부분들의 위치를(추적 시스템의 로컬라이저에 의해 추적가능한 추적 장치를 사용하여 또는 사용하지 않고) 결정할 수 있다. 또한, MR 장치(16)의 거리 측정 시스템 또는 다른 적절한 위치 결정 시스템은 유일한 추적 시스템일 수 있으며, MR 장치(16)를 사용하여 피사체(14) 및/또는 MR 이미지(18a) 상에 표시하기 위해 위치 정보를 프로세싱 시스템(26)에 전송할 수 있다.
도 3, 도 6 및 도 6a에 도시된 바와 같이, MR 장치(16)를 통해 피사체(14)를 보는 사용자(12)는 피사체(14)에 대해 등록된 MR 이미지(18a) 이외에도 다양한 아이콘 및 이미지를 더 볼 수 있다. 상술한 바와 같이, 등록 프로세스는 피사체(14)에 관련된 모든 이미지 데이터를 등록하는 데 사용될 수 있다. 전술한 바와 같이, 피사체(14)는 또한 DRF(90)를 사용하여 추적될 수 있다. 또한, 대상(14)은 전술한 바와 같이, MR 장치(16)와 관련된 다양한 영역 스캐닝 기술을 사용하여 MR 장치(16)에 대해 공간 내에서 추적되거나 식별 및 위치될 수 있다.
따라서, 사용자(12)는 아이콘(22)을 보기 위해 MR 장치(16)를 통해 피사체(14)를 볼 수 있다. 아이콘(22)은 동시에 또는 사용자(12)에 의해 선택된 바와 같이 표시되는, 하나 또는 복수의 아이콘으로서 포함될 수 있다. 예를 들어, 수술도구 아이콘(22a)은 환자(14) 위에 중첩되어 도시될 수 있다. 전술한 바와 같이, 수술도구 아이콘(22a)은 MR 이미지(18a) 상에 또는 MR 이미지(18a) 없이 중첩되어 환자(14) 위에 실질적으로 직접 나타날 수 있다. 또한, 사용자(12)는 MR 장치(16)를 통해서, 환자(14) 및 사용자 손(12a)의 밖에서 볼 수 있는, 수술도구(94)를 포함한 실제 세계를 볼 수 있다. 사용자(12)는 또한 수술도구(94) 및 사용자의 손(12a)과 함께, 실제 세계의 다른 부분을 볼 수도 있음을 이해해야 한다.
수술도구 아이콘(22a)과 같은 표시된 아이콘(22)은 수술도구(94)의 현재 추적 위치 또는 수술도구(94)의 연장(extension) 또는 투영 경로를 도시할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 아이콘(22a)은 환자(14)의 두개골 또는 뇌 내에 있는 수술도구(94)의 일부를 도시할 수 있거나 또는 수술도구(94)의 현재 목표 경로를 도시할 수 있다. 통상의 기술자가 이해하는 바와 같이, 수술도구(94)는 바늘이 이동할 궤적을 정의하는 스테이지에 유지될 수 있는 생검 바늘을 포함할 수 있다. 따라서, 수술도구 아이콘(22a)은 수술도구(94)의 현재 축을 따라 직선으로 이동되는 경우 수술도구(94)가 취할 경로를 도시할 수 있다. 아이콘(22a)은 수술도구(94)의 현재 또는 투영된 위치를 도시하는 상이한 부분(예를 들어, 다르게 색칠된 부분)을 가질 수 있다. MR 장치(16)는 MR 장치에 의해 표시되는 상이한 특징을 식별하기 위해 다양한 색을 도시할 수 있다.
다른 아이콘들은 종양 아이콘(22b)을 포함할 수 있다. 종양 아이콘(22b)은 환자(14)의 해부학적 부분을 도시하는 데 사용될 수 있는 임의의 적절한 아이콘일 수 있다. 도 6a를 간단히 참조하면, 해부학 아이콘은 또한 혈관 또는 열구(sulci)를 도시할 수 있는 다른 해부 아이콘(22e)을 포함할 수 있다. 따라서, 일단 이미지 데이터가 환자(14)에 대해 등록되면 MR 장치(16)를 사용하여 이미지 데이터의 다양한 부분이 분할되고 표시되어 환자(14) 위에 중첩될 수 있음을 이해해야 한다.
도 3을 참조하고 도 6을 더 참조하면, MR 장치(16)는 또한 환자(14) 위에 중첩되어 표시되는 진입점 아이콘(22c)과, 지시 또는 방향 아이콘(22d)을 포함할 수 있다. 상술한 바와 같이, 진입점 또는 목표 아이콘(22c)은 환자(14) 내부에 진입하기 위한, 제안된 또는 예정된 진입점일 수 있다. 상술한 바와 같이, 선택된 시술은 환자(14)의 종양 아이콘(22b)으로 도시된 종양의 제거 또는 생검을 포함할 수 있다. 주치의와 같은 원격 사용자는 대상(14)에 대해 도시된 진입점 아이콘(22c)을 이동시키거나 검증하는 것을 도울 수 있다.
방향 또는 지시 아이콘(22d)은 프로세서 시스템(26)에 의해 자동으로 표시되는 아이콘일 수 있고, 그리고/또는 실내 사용자(12)가 선택된 또는 예정된(예를 들어, 사전 계획된) 위치에 수술도구(94)를 위치시키는 것을 원격 사용자가 도와줌으로써 표시되는 아이콘일 수 있다. 상술한 바와 같이, 다양한 시술은 피사체(14)에 대한 진입점, 피사체(14)에 대한 수술도구의 궤적, 및 다른 적절한 특징과 같은 미리 계획되거나 미리 결정된 다양한 특징을 포함하는 사전 계획을 포함할 수 있다. 이러한 특징은 메모리 시스템(30)이나, 프로세서(32)에 의해 액세스 가능한 임의의 적절한 메모리 시스템에 저장될 수 있다. 따라서, 전술한 바와 같이 추적되는 수술도구(94)는 진입점 아이콘(22c)에 의해 도시되는 진입점에 대하여 추적될 수 있다. 프로세서 시스템(26)은 수술도구(94)를 추적함으로써 수술도구(94)를 이동시켜 미리 계획된 경로 상에 놓기 위한 방향을 지시하기 위해, MR 장치(16)를 사용하여 사용자(12)에게 방향 아이콘(22d)을 제공할 수 있다. 방향 아이콘(22d)은 필수사항이 아닐 수 있고, 미리 계획된 궤적 또는 환자(14)에 대한 다른 위치에 수술도구(94)를 위치시키기 위한 이동 방향을 나타내기 위해 제공될 수 있음을 이해해야 한다. 방향 아이콘은 도 6에 도시된 바와 같이 MR 이미지(18a) 상에 중첩되거나 이와 함께/또는 MR 이미지(18a) 없이 실제 세계 상에 중첩될 수 있다. 그럼에도 불구하고, 사용자(12)가 피사체(14)를 볼 수 있는 동안, MR 장치(16)는 아이콘이 사용자(12)에게 표시되게 한다. 따라서, 아이콘은 사용자(12)를 위한 실시간 및 직관적인 디스플레이 및 분석을 제공할 수 있다.
MR 이미지(18a)와 같이 아이콘(22) 및 다른 정보에 부가하여, 부가적인 이미지 데이터 또는 다른 데이터가 MR 디스플레이(16)에 제공될 수 있다. 도 6a를 참조하면, 피사체(14)로부터 떨어진 곳에 2차원이거나 또는 3차원 아닌 이미지 데이터가 사용자(12)의 시야에 표시될 수 있다. 도 6a에 도시된 바와 같이, 2차원 이미지(18c)는 다양한 목적을 위해 사용자(12)가 보도록 표시될 수 있다. 전술한 바와 같이, 미리 계획된 시술은 궤적 및 진입점을 포함할 수 있으며, 사용자(12)는 이를, 도 6a에 도시된 바와 같이 MR 장치(16)를 통해 환자(14)를 함께 보는 동안 2차원 이미지로서 볼 수 있다. 따라서, 사용자(12)는 도 1에 도시된 바와 같이 디스플레이(20)로부터 분리된 환자(14)를 보려고 노력하지 않고도, MR 장치(16)를 통해 실질적으로 동시에 복수의 유형의 데이터를 볼 수 있다.
전술한 바와 같이, 실제 시술을 수행하는 것 외에도, 이미징 시스템(25)을 사용하여 획득된 이미지 데이터는, 피사체(14)가 자리에 없어도 MR 디스플레이(16)를 사용하여 보기 위해 프로세싱 시스템(26) 또는 다른 적절한 프로세싱 시스템으로 처리될 수 있다. 예를 들어, 도 6a에 도시된 바와 같이, 2차원 이미지 데이터(18c)는 환자(14)로부터 분리되어 보여질 수 있다. 또한, MR 이미지(18a)는 피사체(14)가 자리에 없어도 보일 수 있다. 따라서, 임의의 시술을 수행하거나 수술실(10)에 들어가기 전에, 다양한 계획, 확인 등의 단계를 위해 이미지 데이터가 대상(14)에 대해 획득되거나 MR 장치(16)로 보여질 수 있다.
또한, 시술을 계획하는 동안 및/또는 시술 도중에 다양한 유형의 이미지 데이터가 표시될 수 있다. 전술한 바와 같이, 종양을 나타내는 아이콘들만이 표시될 수 있지만, 피사체(14)에 대한 이미지 데이터의 등록에 기초하여 이미지 데이터의 다양한 선택된 부분들이 MR 장치(16)를 사용하여 피사체(14)에 대한 적절한 위치에 분할되고 표시될 수 있다. 예를 들어, 시술을 계획하거나 수행하는 과정에서, 수술도구(94)를 피사체(14)에 삽입하는 것과 같은 시술 동안, 사용자가 수술도구(94) 근처의 혈관 또는 수술도구(94)의 궤적을 보게 하도록, 혈관 이미지 데이터 또는 기능적 이미지 데이터(예를 들어, 기능적 MRI 데이터 및 PET 데이터)가 표시될 수 있다.
또한, 수술 과정 중에 MR 이미지(18a) 및 각종 아이콘(22)을 포함하는 이미지 데이터가 사용될 수 있다. 도 3에 도시된 바와 같이, 피사체(14) 내에 수술도구의 위치를 도시하기 위해 수술도구 아이콘(22a)이 사용될 수 있다. 수술도구 아이콘(22a)은 종양 아이콘(22b) 내부와 같이 식별된 선택 영역 또는 표적으로의 수술도구(94)의 전진을 도시하기 위해 사용될 수 있다. 따라서, 사용자는 피검자(14)의 종양 내부에서의 수술도구(94)의 배치를 결정하기 위해 수술도구 아이콘(22a) 및 종양 아이콘(22b)을 볼 수 있다. 종양의 절제(resection) 또는 절제(ablation), 종양의 생검(biopsy) 등과 같은 다양한 시술이 이루어질 수 있다. 예를 들어, 수술도구 아이콘(22a)은 피사체(14) 내의 종양의 생검을 얻기 위해 종양 아이콘(22b)에 의해 도시된 종양에 대한 수술도구의 위치를 도시하는 데 사용될 수 있다. 사용자(12)가 피사체(14)를 함께 보는 동안 아이콘은 MR 장치(16)를 통해 보여질 수 있다.
상술한 MR 장치(16)는 다양한 유형의 시술에 사용될 수 있다. 상술한 바와 같이, 사용자(12)는 수술 단계 및 다양한 사전 계획 또는 수술 간(intra-operative) 단계나 부분을 포함하는 선택된 시술 동안, MR 장치(16)를 착용할 수 있다.
다양한 실시예에서, MR 장치(16)는 사람에 의해 그리고/또는 정상 조명 하에서 일반적으로 볼 수 없는 특정 파장 하에서만 볼 수 있거나 형광을 띠는 다양한 유형의 마커 또는 바이오 마커를 관찰하는 데 사용될 수 있다. 예를 들어, 대상(14)의 선택된 영역(예를 들어, 종양)에 응집된 ALA-ppIX로 인해 형광이 보여질 수 있다. 개방 수술 중에서조차 종양 조직과 같은 다양한 조직은 주변 조직이나 건강한 조직과 구별하기 어려울 수 있다. 다양한 발광 물질이 시술 동안 또는 시술 이전에 환자(14)에 대해 제공될 수 있고, 종양과 같은 피사체(14)의 일부분 내에 모일 수 있다. 이러한 마커는 정상적인 조명 조건에서는 발광하지 않거나 보여지지 않을 수 있다. 따라서, 수술실에서는 발광 마커를 볼 수 있도록 조명이 꺼질 수 있다. 조명이 정상으로 돌아오면 마커가 거의 보이지 않을 수 있다.
MR 장치(16)는 사용자(12)가 정상적인 수술실 조명 조건에서조차도 발광 마커를 가진 조직의 이미지와 결합된 혼합 현실 이미지를 볼 수 있도록, 초기에 표시된 발광 마커에 기초하여 이미지를 표시할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 종양 아이콘(22b)은 특별한 조명 조건 하에서 사용자(12)가 관찰한 마커를 갖는 조직의 예시일 수 있다. 정상적인 조명 조건 하에서, 아이콘(22b)은 MR 장치(16) 덕분에 사용자(12)의 시야에서 유지될 수 있다. 따라서, 사용자(12)는 정상적인 조명 조건에서도 아이콘(22b) 및 피사체(14) 조직의 혼합 현실 이미지를 동시에 볼 수 있다.
다양한 시술에서, 신경 무결성(nerve integrity)의 모니터링이 선택되거나 도움될 수 있다. 신경 무결성 모니터링(NIM®) 모니터링 시스템에는 미국 미네소타에 사업장을 둔 메드트로닉 사(Medtronic, Inc.)에서 판매하는 메드트로닉 NIM-Eclipse® 신경 모니터링 시스템(Medtronic NIM-Eclipse® Nerve Monitoring System)이 포함될 수 있다. 다양한 시술 동안, 사용자(12)는 뇌 조직 또는 척수 신경을 포함하는 신경 물질을 자극하고, 피사체(14) 내에서 신경 반응의 표시를 보거나 수신할 수 있다. 예를 들어, 선택된 시술 동안, 사용자(12)는 피사체(14)의 뇌 조직을 볼 수 있다. 사용자(12)는 뇌 내의 일부분을 자극하고, 왼쪽 다리와 같이 피사체(14) 내의 선택된 근육 그룹이 자극받는지 결정할 수 있다. 피사체(14)의 자극 반응을 보는 경우, 사용자(12)는 환자(14)의 해당 위치에서 MR 장치(16)에 식별된 뇌의 자극 부위를 가질 수 있다. 예를 들어, 도 6을 참조하면, 아이콘(22c)의 진입 지점을 식별하는 대신에, 아이콘(22c)은 선택된 응답이 발생할 때 자극되는 뇌 조직의 일부를 가리킬 수 있다. 아이콘의 색, 모양 등은 뇌 조직에 제공된 자극에 반응하는 특정 근육에 대한 뇌의 영역을 표식(annotate)하는 데에 사용될 수 있다. 아이콘에 의한 표시는 사용자(12)가 MR 장치(16)를 착용하고 MR 장치(16)가 환자의 조직을 식별하거나 위치시킴으로써 사용자(12)의 시야에 유지될 수 있다. 따라서, MR 장치(16)는 다양한 신경 다발 또는 피질 영역에 의해 자극되거나 제어되는 해부체의 특정 조직 또는 영역과 관련된 뇌 영역의 표시를 사용자에게 제공하는 데 사용될 수 있다.
다양한 다른 실시예에서, MR 장치(16)를 포함하는 내비게이션 시스템은 실질적으로 응급 상황을 보조하는 데 사용될 수 있다. 예를 들어, 뇌 척수액(CSF) 배액이 필요할 수 있으며 션트(shunt) 배치가 처방될 수 있다. 션트 배치는 또한, 시술을 수행하기 위해 대상(14)의 다양한 조직을 보거나 식별함으로써 도움될 수 있다.
전술한 바와 같이, 이미징 시스템(25)은 메드트로닉 사(Medtronic, Inc.)에 의해 판매되는 O-Arm® 이미징 시스템을 포함할 수 있다. O-Arm® 이미징 시스템은 본원에 참고로 인용된 미국 특허출원 제9,412,200호에 설명된 바와 같이, 피사체(14)에 대해 자동적으로 등록되거나 또는 국부화(localized)되는 이미지 데이터를 획득할 수 있다. 간략하게, O-Arm® 이미징 시스템은 대상(14)에 대해 실질적으로 정확하게 알려진 위치에서 이미지 데이터를 획득하도록 동작될 수 있다. 이 이미지 데이터는 피사체(14)에 대해서 보기 위한, MR 이미지(18a)와 같은 이미지를 생성하는 데 사용될 수 있다. 자동 등록 또는 자동 국부화된 이미지 데이터 덕분에, MR 장치(16) 상에 표시된 MR 이미지(18a)는 또한, 피사체(14)에 대해 자동으로 등록될 수 있다. 상술한 바와 같이, MR 장치(16)는 실제 공간에서의 다른 특징들에 대한 그 위치를 결정하기 위해 3D 표면 스캐닝 또는 다른 거리 측정 시스템(예를 들어, 레이다, 라이다, 초음파, 레이저, 입체 카메라)과 같은 거리 측정 시스템을 포함할 수 있다. MR 장치(16)가 사용자(14)에 의해 착용됨에 따라, MR 장치(16)는 이미징 장치(25)에 대한 위치 또는 선택된 부피공간 내에서의 다른 특징 및 물체에 대한 위치를 결정하는 데 사용될 수 있다. 따라서, 이미지 장치(25)로 획득된 이미지 데이터가 피사체(14)에 대해 자동으로 국부화되거나 등록되고, MR 장치(16)가 피사체에 대한 위치를 알고 있으므로, MR 장치(16)를 사용하여 표시되는 사용자(12)가 보는 MR 이미지(18a) 또한 피사체(14)에 대해 등록된다.
거리 측정 시스템을 포함하는 MR 장치(16)는 프로세싱 시스템을 사용하여, 선택된 부피공간 내에 배치된 선택된 또는 특정한 마커에 대한 MR 장치(16)의 위치를 결정할 수도 있다. 특정 마커들은 거리 측정 시스템에 의해 인식될 수 있으며, 공간 내의 물체들의 위치를 식별하고 불러내는 데 사용될 수 있다. 예를 들어, 특정 마커(예를 들어, 반사 큐브)는 MR 장치(16)가 일정 시간 동안 제거되더라도 MR 장치(16)를 현재 위치하는 부피공간으로 불러내고 방향을 지정하기 위해 벽, 천장 등에 배치될 수 있다.
프로세싱 시스템(26)은 또한, 해부체의 다양한 부분을 자동으로 식별하거나 분할하는 데에 사용될 수 있는 다른 명령을 포함할 수 있다. 예를 들어, CSF 배액 및/또는 션트 배치를 위해, 프로세서 시스템(26)은 뇌 조직과 그 주변조직의 내부 및 그 부근의 CSF에 기초한 심실 해부학을 실질적으로 자동으로 분할하고 도시할 수 있다. 이러한 방식으로, MR 장치(16)는 뇌 조직 물질 및 분할된 영역 모두를 도시하기 위해, 전술한 바와 같이, 피사체(14)와 실질적으로 1:1 스케일의 3차원 모델로서 MR 이미지(18a)를 도시 또는 표시할 수 있다. 그 뒤, 사용자(12)는 MR 이미지(18a)를 사용하여, CSF 배액을 돕기 위해 피검자(14) 내에 션트를 위치시키는 시술을 계획할 수 있다.
예를 들어, 사용자(12)는 로컬라이저(80, 82)를 포함하는 추적 시스템으로 추적될 수 있는 수술도구(94)를 위치시킬 수 있다. 이미지 데이터가 이미징 시스템(25)을 사용하여 자동으로 등록됨에 따라, 수술도구(94)의 위치는 사용자(12)가 착용한 MR 장치(16)를 사용하여 표시되는 MR 이미지(18a) 상에 표시될 수 있다. 사용자(12)는 수술도구 아이콘(22a)을 MR 이미지(18a)에 중첩되는 피사체(14) 내의 수술도구에 대한 투영된 위치로서 볼 수 있다. 따라서, 사용자(12)는 션트 배치를 수행하기 위해 제안된 위치 및/또는 궤적의 결과를 신속하고 효과적으로 이해할 수 있다. 또한, 계획 중에, 사용자(12)는 션트의 배치를 달성하도록 대체의 또는 상이한 위치 및/또는 궤적을 시각화시키기 위해 수술도구(94)를 움직일 수 있다.
그 다음, 사용자(12)는 전술한 바와 유사하게, 프로세싱 시스템(26)을 식별 또는 명령하고, 선택된 또는 식별된 궤적을 저장하며, 이를 MR 이미지(18a) 상에 표시할 수 있다. 예를 들어, 일단 식별되면, 수술도구 아이콘(22a)은 궤적 아이콘(22t)으로 변경되어, 션트를 배치하는 시술 중에 사용자(12)가 보도록 MR 이미지(18a) 상에 표시될 수 있다. 이어서, 사용자(12)는 선택된 궤적 아이콘(22t)을 사용하여 버어(burr) 구멍의 배치와 형성 및/또는 대상(14) 내에서의 션트 배치를 위한 가이드의 배치를 결정할 수 있다. 일단 버어 구멍이 형성되면, 추적된 수술도구를 사용하여 피검자(14) 내에 션트를 위치시킬 수 있고, 수술도구의 추적된 위치는 MR 이미지(18a)의 유무에 관계없이 환자(14) 위에서 수술도구 아이콘(22a)으로 식별될 수 있다. 션트가 해당 션트의 선택된 위치에 도달하면, 이는 수술도구(94)의 추적으로 인해 자동적으로 식별될 수 있고, 수술도구(94)의 추적에 기초하여 사용자(12)에게 메시지가 제공될 수 있다. 사용자(12)는 션트에 대한 계획된 위치를 식별할 수 있고 프로세서 시스템(26)은 션트가 언제 계획된 위치에 도달하는지를 자동으로 식별할 수 있다. 추가적으로 또는 대안적으로, 사용자(12)는 MR 이미지(18a)의 유무에 관계없이 피검자(14) 상의 수술도구 아이콘(22a)을 관찰함으로써 추적된 위치를 볼 수 있고, 사용자(12)는 션트가 언제 적절하게 위치되는지를 식별할 수 있다.
그럼에도 불구하고, 이미징 시스템(25)을 사용하여 획득된 이미지 데이터는 이미징 시스템(25) 덕분에 실질적으로 자동으로 국부화될 수 있고, MR 장치(16)를 사용하여 시술을 계획하고 볼 수 있음으로써 션트 또는 다른 선택된 응급 시술이 효과적이고 신속하게 배치될 수 있다.
도시적인 실시형태들은 본 개시내용이 충분해지고 본 기술분야의 통상의 기술자들에게 그 범위를 온전히 전달하도록 제공된다. 특정 컴포넌트들, 디바이스들, 및 방법들의 예들과 같은 수많은 특정 세부사항들이 본 개시내용의 실시형태들의 철저한 이해를 제공하기 위해 언급된다. 본 기술분야의 통상의 기술자들에게는 특정 세부사항들이 채용될 필요가 없으며, 예시적인 실시형태들이 많은 상이한 형태들로 구현될 수도 있고 어느 것도 본 개시내용의 범위를 제한하도록 해석되지 않아야 한다는 것이 명백할 것이다. 일부 예시적인 실시형태들에서, 널리 공지된 프로세스들, 널리 공지된 디바이스 구조들, 및 널리 공지된 기술들은 상세히 설명되지 않는다.
본 명세서에서 사용된 용어는 단지 특정 실시예를 설명하기 위한 것이며 제한하려는 것은 아니다. 본원에서 사용된 단수 형태 하나("a", "an" 및 "the")는 문맥상 다르게 지시하지 않는 한, 복수 형태를 포함하는 것으로 의도될 수 있다.
실시형태들의 전술한 설명은 예시 및 설명의 목적으로 제안되었다. 그것은 개시내용을 소모적이게 하거나 또는 제한하는 것으로 의도되지 않는다. 특정 실시형태의 개개의 엘리먼트들 또는 특징들은 특정 실시형태로 일반적으로 제한되지 않지만, 적용가능한 경우, 상호교환 가능할 수 있고 심지어 구체적으로 도시되거나 또는 설명되지 않더라도, 선택된 실시형태에서 사용될 수 있다. 동일한 것이 많은 방식들에서 또한 가변될 수도 있다. 이러한 개조예들은 본 개시내용으로부터 벗어나는 것으로서 간주되지 않고, 모든 이러한 변형예들은 본 개시내용의 범위 내에 있도록 의도된다.

Claims (24)

  1. 피사체에 대한 이미지를 표시하는 시스템으로서,
    표시부 및 투명부를 갖는 표시장치 - 상기 표시장치는 상기 표시장치를 통해서 보는 사용자가 상기 피사체 및 상기 피사체에 대한 이미지를 볼 수 있도록 구성됨 - ;
    로컬라이저 및 추적 장치를 갖는 추적 시스템 - 상기 로컬라이저는 실제 3차원 공간에서 상기 추적 장치를 추적하도록 구성됨 - ; 및
    상기 추적 장치의 추적된 위치를 결정하는 명령과, 상기 피사체에 대한 상기 추적 장치의 상기 추적된 위치를 표시하기 위해 상기 표시장치를 사용하여 아이콘을 표시하는 명령을 실행하도록 구성되는 프로세싱 시스템을 포함하는, 시스템.
  2. 제1항에 있어서, 상기 표시장치는 상기 사용자에 의해 착용되도록 구성되는 웨어러블 장치 내에 포함되고,
    상기 표시장치의 상기 표시부는 상기 프로세싱 시스템에 의해 구동되도록 구성되는 변경가능한 디스플레이를 포함하는, 시스템.
  3. 제2항에 있어서,
    비 착용식(non-wearable) 디스플레이;를 더 포함하고,
    상기 웨어러블 장치는 상기 사용자의 머리에 장착되고, 상기 비 착용식 디스플레이는 상기 사용자로부터 일정 거리 떨어져 있는, 시스템.
  4. 제2항 또는 제3항에 있어서, 상기 웨어러블 장치는 상기 피사체에 대한 이미지를 3차원 이미지로서 표시하도록 구성되는, 시스템.
  5. 제4항에 있어서, 상기 3차원 이미지는 상기 피사체와 동일한 공간에 나타나는 것으로 인식되도록 구성되는 혼합 현실 이미지인, 시스템.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서, 상기 이미지는 상기 피사체 공간의 3차원 좌표 및 상기 이미지의 3차원 좌표 사이의 강체 변환을 수행하기 위한 명령을 실행하는 적어도 상기 프로세싱 시스템에 의해 상기 피사체에 대해 등록되도록 구성되고;
    상기 피사체 공간의 상기 3차원 좌표는 상기 웨어러블 장치에 대해 결정되는, 시스템.
  7. 제6항에 있어서, 상기 웨어러블 장치는 거리 측정 장치를 포함하고;
    상기 거리 측정 장치는 상기 피사체의 상기 3차원 좌표를 정의하기 위해 상기 피사체의 점군을 획득하도록 구성되는, 시스템.
  8. 피사체에 대한 이미지를 표시하는 시스템으로서,
    표시부 및 거리 측정부를 가진 웨어러블 혼합 현실 표시장치 - 상기 표시부는 상기 웨어러블 혼합 현실 표시장치를 착용한 사용자가 상기 피사체 및 상기 피사체에 대한 상기 이미지를 볼 수 있게 하고, 상기 거리 측정부는 상기 웨어러블 혼합 현실 표시장치에 대해 복수의 피사체 공간 3차원 좌표를 결정하도록 구성됨 - ;
    이미지 3차원 좌표 및 상기 복수의 피사체 공간 3차원 좌표에 기초하여 상기 이미지를 상기 피사체에 대해 선택적으로 등록하는 명령을 실행하도록 구성되는 프로세싱 시스템;을 포함하고,
    상기 프로세싱 시스템은 상기 피사체에 대한 장치 추적 가능 부분의 추적된 위치를 나타내기 위해 상기 장치 추적 가능 부분의 상기 추적된 위치를 결정하고, 상기 웨어러블 혼합 현실 표시장치를 사용하여 아이콘을 표시하는 명령을 실행하도록 더 구성되는, 시스템.
  9. 제8항에 있어서, 상기 웨어러블 혼합 현실 표시장치의 표시부는, 상기 피사체에 대한 상기 이미지의 등록 전 또는 후에 상기 피사체로부터 떨어진 상기 이미지를 표시하도록 구성되도록 동작 가능한, 시스템.
  10. 제8항 또는 제9항에 있어서, 상기 아이콘은 수술계획을 준비하기 위해 동작 가능하고;
    적어도 상기 장치 추적 가능 부분인 수술도구의 궤적을 포함하는 상기 수술계획을 메모리 시스템이 저장하도록 구성되며;
    상기 프로세싱 시스템은 상기 수술계획을 불러오도록 구성되는, 시스템.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 거리 측정부는 상기 장치 추적 가능 부분의 상기 추적된 위치를 결정하기 위해 상기 장치 추적 가능 부분을 추적하도록 구성되는 추적 시스템인, 시스템.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    오디오 입력을 더 포함하고;
    상기 프로세싱 시스템은 상기 웨어러블 혼합 현실 표시장치의 적어도 상기 표시부와 상기 거리 측정부를 작동시키도록 구성되며;
    상기 오디오 입력은 적어도 상기 표시부를 사용하여 상기 이미지를 표시하고 상기 이미지를 상기 피사체에 대해 등록하기 위해 지시하도록, 상기 사용자로부터 언어 명령을 수신하도록 구성되는, 시스템.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    표시부를 갖는 원격 웨어러블 혼합 현실 표시장치를 더 포함하고, 상기 표시부는 상기 원격 웨어러블 혼합 현실 표시장치를 착용한 원격 사용자가 상기 웨어러블 혼합 현실 표시장치를 사용하여, 상기 사용자에게 보여지는 상기 이미지를 보도록 구성되는 시스템.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    로컬라이저 및 추적 장치를 갖는 추적 시스템 - 상기 로컬라이저는 상기 피사체에 대해 상기 추적 장치를 추적하도록 구성됨 - ;
    상기 추적 장치를 갖는 수술도구를 더 포함하고,
    상기 수술도구는 션트, 생검 바늘, 절제 카테터, 절제 수술도구, 자극 프로브, 내비게이션 프로브, 또는 이들의 조합 중 적어도 하나를 포함하는, 시스템.
  15. 피사체에 대한 이미지를 표시하는 방법으로서,
    표시부 및 거리 측정부를 가진 웨어러블 혼합 현실 표시장치를 착용하는 단계 - 상기 표시부는, 상기 웨어러블 혼합 현실 표시장치를 착용한 사용자가 상기 피사체 및 상기 피사체에 대한 상기 이미지를 볼 수 있도록 구성되는 투명부를 가짐 - ;
    상기 웨어러블 혼합 현실 표시장치에 대한 복수의 피사체 공간 3차원 좌표를 결정하도록 상기 거리 측정부에 지시하는 단계;
    이미지 3차원 좌표 및 상기 복수의 피사체 공간 3차원 좌표에 기초하여 상기 이미지를 상기 피사체에 대해 선택적으로 등록하는 명령을 실행하도록 프로세싱 시스템에 지시하는 단계; 및
    상기 피사체에 대해 상기 이미지를 보는 단계를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 웨어러블 혼합 현실 표시장치를 착용하는 동안 상기 프로세싱 시스템이 상기 사용자에게 상기 피사체를 보도록 지시하는 단계를 더 포함하는, 방법.
  17. 제15항 또는 제16항에 있어서,
    추적 시스템을 사용하여 추적 장치를 추적하는 단계;
    상기 추적 장치의 추적된 위치를 결정하기 위해 상기 프로세싱 시스템을 사용하여 명령을 실행하는 단계; 및
    상기 피사체에 대한 상기 추적 장치의 상기 추적된 위치를 나타내기 위해 상기 웨어러블 혼합 현실 표시장치를 사용하여 아이콘을 표시하는 단계를 더 포함하는, 방법.
  18. 제15항 또는 제16항에 있어서,
    추적 시스템을 사용하여 추적 장치를 추적하는 단계;
    상기 추적 장치의 추적된 위치를 결정하기 위해 상기 프로세싱 시스템을 사용하여 명령을 실행하는 단계; 및
    상기 등록된 이미지 상에 중첩된 상기 추적 장치의 상기 추적된 위치를 나타내기 위해 상기 웨어러블 혼합 현실 표시장치를 사용하여 아이콘을 표시하는 단계를 더 포함하는, 방법.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서,
    상기 웨어러블 혼합 현실 표시장치를 사용하여 상기 이미지를 봄으로써 시술을 계획하는 단계; 및
    메모리 시스템을 사용하여 상기 계획을 저장하는 단계를 더 포함하는, 방법.
  20. 제19항에 있어서,
    상기 계획을 불러오도록 상기 프로세싱 시스템을 작동시키는 단계; 및
    상기 착용된 웨어러블 혼합 현실 표시장치의 상기 표시부를 사용하여 아이콘을 표시하는 단계를 더 포함하는, 방법.
  21. 제20항에 있어서,
    상기 피사체 및 상기 아이콘을 동시에 보는 단계를 더 포함하는, 방법.
  22. 제 18 항에 있어서,
    자극 수술도구의 위치를 추적하는 단계;
    상기 자극 수술도구를 사용하여 상기 피사체의 일 부분을 자극하는 단계; 및
    상기 자극된 부분을 표식하기 위해, 상기 웨어러블 혼합 현실 표시장치를 사용하여 상기 피사체 상에 중첩되는 아이콘을 표시하는 단계를 더 포함하는, 방법.
  23. 제18항에 있어서,
    상기 웨어러블 혼합 현실 표시장치를 착용하는 동안 상기 피사체의 형광 부분을 관찰하는 단계;
    상기 웨어러블 혼합 현실 표시장치가 상기 피사체에 중첩된 상태로 상기 피사체의 상기 형광 부분의 표식을 표시하는 단계를 더 포함하는, 방법.
  24. 제15항 내지 제23항 중 어느 한 항에 있어서,
    상기 피사체의 자동 등록된 이미지를 획득하는 단계;
    상기 웨어러블 혼합 현실 표시장치를 사용하여 상기 획득된 자동 등록된 상기 피사체의 이미지를 보는 단계;
    스텐트의 이식 위치를 계획하는 단계;
    상기 보여지는 자동 등록된 상기 피사체의 이미지 상에 중첩되는 상기 스텐트의 추적된 위치를 나타내기 위해 상기 웨어러블 혼합 현실 표시장치를 사용하여 아이콘을 표시하는 단계를 더 포함하는, 방법.
KR1020197010899A 2016-09-22 2017-09-20 가이드되는 시술을 위한 시스템 KR20190058528A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/272,808 US11839433B2 (en) 2016-09-22 2016-09-22 System for guided procedures
US15/272,808 2016-09-22
PCT/US2017/052411 WO2018057564A1 (en) 2016-09-22 2017-09-20 System for guided procedures

Publications (1)

Publication Number Publication Date
KR20190058528A true KR20190058528A (ko) 2019-05-29

Family

ID=60002054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197010899A KR20190058528A (ko) 2016-09-22 2017-09-20 가이드되는 시술을 위한 시스템

Country Status (8)

Country Link
US (1) US11839433B2 (ko)
EP (1) EP3515352A1 (ko)
JP (1) JP2019534734A (ko)
KR (1) KR20190058528A (ko)
CN (1) CN109996511B (ko)
AU (1) AU2017332140A1 (ko)
CA (1) CA3037860A1 (ko)
WO (1) WO2018057564A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210094277A (ko) * 2020-01-21 2021-07-29 박병준 마커를 이용한 의료 기구 자세 추적 시스템
WO2023158168A1 (ko) * 2022-02-16 2023-08-24 고려대학교 산학협력단 혼합현실 기반의 초음파 영상 디스플레이 장치, 방법 및 시스템

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3165153A1 (en) * 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US11103311B2 (en) * 2017-03-10 2021-08-31 Biomet Manufacturing, Llc Augmented reality supported knee surgery
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US20190175059A1 (en) 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019229275A1 (es) * 2018-05-30 2019-12-05 Zubizarreta Macho Alvaro Procedimiento para transferir una planificación terapéutica a un dispositivo de realidad mixta
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
CN108742898B (zh) * 2018-06-12 2021-06-01 中国人民解放军总医院 基于混合现实的口腔种植导航系统
WO2019238230A1 (en) 2018-06-14 2019-12-19 Brainlab Ag Registration of an anatomical body part by detecting a finger pose
EP3810015A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Mixed-reality surgical system with physical markers for registration of virtual models
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
JP7487176B2 (ja) * 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN109512514A (zh) * 2018-12-07 2019-03-26 陈玩君 一种混合现实骨科微创手术导航系统及使用方法
CN109464194A (zh) * 2018-12-29 2019-03-15 上海联影医疗科技有限公司 医学图像的显示方法、装置、医学设备及计算机存储介质
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
CN109717957B (zh) * 2018-12-27 2021-05-11 北京维卓致远医疗科技发展有限责任公司 基于混合现实的控制系统
CN109806002B (zh) * 2019-01-14 2021-02-23 微创（上海）医疗机器人有限公司 一种手术机器人
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
CN112168348A (zh) * 2019-07-03 2021-01-05 钜旺生技股份有限公司 用于手术的定位与导航系统及其运作方法
CN110420050B (zh) * 2019-07-18 2021-01-19 沈阳爱健网络科技有限公司 Ct引导下穿刺方法及相关装置
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN110464461A (zh) * 2019-08-29 2019-11-19 中国科学技术大学 一种基于mri引导的介入手术导航装置
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
US20210153969A1 (en) * 2019-11-25 2021-05-27 Ethicon, Inc. Method for precision planning, guidance, and placement of probes within a body
US11701183B2 (en) * 2019-12-10 2023-07-18 Mediview Xr, Inc. System and methods for planning and performing three-dimensional holographic interventional procedures with three-dimensional tomographic and live imaging
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11167127B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11666755B2 (en) 2020-01-24 2023-06-06 Medtronic Xomed, Inc. System and method for therapy
US11623086B2 (en) 2020-01-24 2023-04-11 Medtronic Xomed, Inc. System and method for therapy
US11167140B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
KR102301863B1 (ko) * 2020-02-12 2021-09-16 큐렉소 주식회사 수술 대상체의 정합 확인방법, 그 장치 및 이를 포함하는 시스템
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
IT202000013501A1 (it) * 2020-06-08 2021-12-08 Univ Degli Studi Magna Graecia Di Catanzaro Dispositivo chirurgico ultra-mininvasivo
EP3944834A1 (en) * 2020-07-30 2022-02-02 Koninklijke Philips N.V. Navigation operation instructions
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
RU2754288C1 (ru) * 2020-10-06 2021-08-31 Владимир Михайлович Иванов Способ подготовки и выполнения хирургической операции на голове с использованием смешанной реальности
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US20220310258A1 (en) * 2021-03-23 2022-09-29 International Business Machines Corporation Personalized location recommendation for medical procedures
CN113509266A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 增强现实信息显示装置、方法、可读存储介质及设备
CN113100967B (zh) * 2021-04-09 2022-09-06 哈尔滨工业大学（深圳） 一种可穿戴的手术工具定位装置及定位方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12016642B2 (en) 2021-09-08 2024-06-25 Proprio, Inc. Constellations for tracking instruments, such as surgical instruments, and associated systems and methods
WO2024049942A1 (en) * 2022-09-02 2024-03-07 Intuitive Surgical Operations, Inc. Techniques for updating a registration transform between an extended-reality system and a computer-assisted device
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
WO2024089504A1 (en) 2022-10-28 2024-05-02 Medtronic, Inc. System operable to determine a pose of an instrument
WO2024089503A1 (en) 2022-10-28 2024-05-02 Medtronic, Inc. System and method for illustrating a pose of an object
WO2024089502A1 (en) 2022-10-28 2024-05-02 Medtronic, Inc. System and method for illustrating a pose of an object

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4395731A (en) * 1981-10-16 1983-07-26 Arnold Schoolman Television microscope surgical method and apparatus therefor
DK0725939T3 (da) 1992-03-13 1999-11-15 Kopin Corp Skærmsystem til anbringelse på hovedet
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
WO2002100284A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
AU2002359712A1 (en) 2002-02-15 2003-09-09 Breakaway Imaging, Llc Gantry ring with detachable segment for multidimensional x-ray- imaging
US6947786B2 (en) 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7188998B2 (en) 2002-03-13 2007-03-13 Breakaway Imaging, Llc Systems and methods for quasi-simultaneous multi-planar x-ray imaging
EP1485697A2 (en) 2002-03-19 2004-12-15 Breakaway Imaging, Llc Computer tomograph with a detector following the movement of a pivotable x-ray source
AU2003245439A1 (en) 2002-06-11 2003-12-22 Breakaway Imaging, Llc Cantilevered gantry apparatus for x-ray imaging
US6901941B2 (en) 2002-07-10 2005-06-07 Air Products And Chemicals, Inc. Vessel with optimized purge gas flow and method using same
WO2004019279A2 (en) 2002-08-21 2004-03-04 Breakaway Imaging, Llc Apparatus and method for reconstruction of volumetric images in a divergent scanning computed tomography system
US7835778B2 (en) * 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
AU2005225878B2 (en) 2004-03-26 2009-09-10 Atsushi Takahashi 3D entity digital magnifying glass system having 3D visual instruction function
US20050228270A1 (en) 2004-04-02 2005-10-13 Lloyd Charles F Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements
US7376903B2 (en) 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8060186B2 (en) * 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
US8600478B2 (en) 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
JP5547200B2 (ja) 2008-10-01 2014-07-09 インスパイア・メディカル・システムズ・インコーポレイテッド 睡眠時無呼吸を治療する経静脈法
US9737235B2 (en) * 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
JP2012521864A (ja) 2009-03-31 2012-09-20 インスパイア・メディカル・システムズ・インコーポレイテッド 睡眠に関連する異常呼吸を処置するシステムにおける経皮的アクセス方法
US8238631B2 (en) 2009-05-13 2012-08-07 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US20120316486A1 (en) 2010-08-20 2012-12-13 Andrew Cheung Surgical Component Navigation Systems And Methods
US9807860B2 (en) 2010-10-20 2017-10-31 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US9769912B2 (en) * 2010-10-20 2017-09-19 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US20120099768A1 (en) * 2010-10-20 2012-04-26 Medtronic Navigation, Inc. Method and Apparatus for Reconstructing Image Projections
AU2011336647B2 (en) * 2010-12-02 2015-02-12 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US8562211B2 (en) * 2011-03-30 2013-10-22 Medtronic Navigation, Inc. System and method for off-center imaging
US9411057B2 (en) 2011-04-01 2016-08-09 Medtronic Navigation, Inc. X-ray imaging system and method
US9918681B2 (en) 2011-09-16 2018-03-20 Auris Surgical Robotics, Inc. System and method for virtually tracking a surgical tool on a movable display
US8891847B2 (en) 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
US9561019B2 (en) * 2012-03-07 2017-02-07 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US20130267833A1 (en) 2012-04-09 2013-10-10 General Electric Company, A New York Corporation Automatic instrument detection for surgical navigation
JP6017198B2 (ja) 2012-06-28 2016-10-26 オリンパス株式会社 内視鏡装置およびプログラム
US9192445B2 (en) 2012-12-13 2015-11-24 Mako Surgical Corp. Registration and navigation using a three-dimensional tracking sensor
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US20140221819A1 (en) 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
RU2621488C2 (ru) * 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9717442B2 (en) 2013-03-15 2017-08-01 Medtronic Navigation, Inc. Method and system for navigating an instrument
US10447947B2 (en) 2013-10-25 2019-10-15 The University Of Akron Multipurpose imaging and display system
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
DE102014206004A1 (de) 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
US10639104B1 (en) 2014-11-07 2020-05-05 Verily Life Sciences Llc Surgery guidance system
US10702353B2 (en) * 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20160242623A1 (en) * 2015-02-20 2016-08-25 Cefla Societá Cooperativa Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
JP2016158911A (ja) 2015-03-03 2016-09-05 株式会社クレッセント 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
CA2976516C (en) * 2015-07-27 2022-11-22 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
JP2017164007A (ja) 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018063528A1 (en) 2016-08-16 2018-04-05 Insight Medical Systems, Inc. Systems for sensory augmentation in medical procedures
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210094277A (ko) * 2020-01-21 2021-07-29 박병준 마커를 이용한 의료 기구 자세 추적 시스템
WO2023158168A1 (ko) * 2022-02-16 2023-08-24 고려대학교 산학협력단 혼합현실 기반의 초음파 영상 디스플레이 장치, 방법 및 시스템

Also Published As

Publication number Publication date
EP3515352A1 (en) 2019-07-31
CA3037860A1 (en) 2018-03-29
US11839433B2 (en) 2023-12-12
CN109996511B (zh) 2022-06-28
WO2018057564A1 (en) 2018-03-29
JP2019534734A (ja) 2019-12-05
AU2017332140A1 (en) 2019-04-18
CN109996511A (zh) 2019-07-09
US20180078316A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN109996511B (zh) 用于引导进程的系统
US11754971B2 (en) Method and system for displaying holographic images within a real object
EP3720334B1 (en) System and method for assisting visualization during a procedure
EP1786517B1 (en) Tumor treatment identification system
US7203277B2 (en) Visualization device and method for combined patient and object image data
JP2020522827A (ja) 外科ナビゲーションにおける拡張現実の使用
JP2014131552A (ja) 医療支援装置
US20190247129A1 (en) Methods and systems for providing depth information
CA3041352C (en) Methods and systems for providing depth information
US20230120638A1 (en) Augmented reality soft tissue biopsy and surgery system
Adams et al. An optical navigator for brain surgery
EP3917430B1 (en) Virtual trajectory planning
Lange et al. Development of navigation systems for image-guided laparoscopic tumor resections in liver surgery
US20240122650A1 (en) Virtual trajectory planning
Gerritsen Virtual Reality in medical imaging for image-guided surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application