KR20230037007A - 수술 내비게이션 시스템 및 그 응용 - Google Patents

수술 내비게이션 시스템 및 그 응용 Download PDF

Info

Publication number
KR20230037007A
KR20230037007A KR1020227033761A KR20227033761A KR20230037007A KR 20230037007 A KR20230037007 A KR 20230037007A KR 1020227033761 A KR1020227033761 A KR 1020227033761A KR 20227033761 A KR20227033761 A KR 20227033761A KR 20230037007 A KR20230037007 A KR 20230037007A
Authority
KR
South Korea
Prior art keywords
image data
view
digital image
surgical
real
Prior art date
Application number
KR1020227033761A
Other languages
English (en)
Inventor
아라빈드 쿠마르 우파드햐야
아브히쉐크 세티게레 벤카타람
사니드햐 라시와시아
아자이 헤루르
Original Assignee
8칠리 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 8칠리 아이엔씨 filed Critical 8칠리 아이엔씨
Publication of KR20230037007A publication Critical patent/KR20230037007A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3616—Magnifying glass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)
  • Microscoopes, Condenser (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시내용의 양태는 수술 내비게이션을 위해 구성되고 상이한 위치에서의 사용을 위해 휴대용인 다기능 플랫폼을 위해 제시된다. 시스템은 하드웨어 컴포넌트 및 소프트웨어 컴포넌트를 포함한다. 하드웨어 컴포넌트는 수술 환경의 원격 시각화에 사용될 수 있는 다수의 유형의 입력 데이터를 획득할 수 있는 휴대용 또는 웨어러블 디바이스를 포함할 수 있다. 하드웨어는 2D 및 3D 데이터를 캡처하기 위한 위치 카메라 및 비주얼 카메라와 같은 다양한 유형의 카메라를 갖는 헤드셋, 및 2D 및 3D 이미지를 함께 융합하거나 오버레이하기 위한 회로를 포함할 수 있다. 다른 경우에서, 하드웨어는 다수의 카메라 센서가 내장된 스마트 패드와 같은 모바일 디바이스에 대한 바 부착물을 포함할 수 있다. 일부 실시예에서, 하드웨어는 또한 수술 내비게이션 및 수술 현미경 양자 모두의 기능을 이행할 수 있는 휴대용 내비게이션 시스템을 포함한다.

Description

수술 내비게이션 시스템 및 그 응용
관련 출원에 대한 상호 참조
본 출원은 2020년 2월 28일자로 출원되고 발명의 명칭이 "MULTIFUNCTIONAL SURGICAL NAVIGATION APPARATUS OR PLATFORM AND APPLICATIONS THEREOF"인 미국 가출원 제62/983,405호; 2020년 2월 28일자로 출원된, 발명의 명칭이 "SURGICAL NAVIGATION SYSTEM SOFTWARE AND APPLICATIONS THEREOF"인 미국 가출원 제62/983,427호; 및 2020년 2월 28일자로 출원된, 발명의 명칭이 "SURGICAL NAVIGATION SYSTEM AND APPLICATIONS THEREOF"인 미국 가출원 제62/983,432호에 대한 이익을 주장하며; 이들의 개시내용은 그 전문이 모든 목적을 위해 본 명세서에 참조로 포함된다.
수술 내비게이션 및 수술 현미경 기계는 대부분 서로 독립적인 2개의 대형 디바이스이지만, 양자 모두가 많은 수술에서 현재 사용되고 있다. 신경 수술 동안 외과의사가 이러한 디바이스 사이를 전환하는 데에는 시간이 걸린다. 수술 내비게이션 기계는 수술실 공간의 평균 10-15%를 차지하고, 수술용 현미경은 공간의 평균 15-20%를 차지한다. 도 1은 이러한 유형의 기계의 예이고, 이는 수술 절차 동안 매우 유용할 수 있지만, 그러나, 사용하기에 매우 번거롭다.
이러한 디바이스 양자 모두는 이들이 바퀴를 갖는 무거운 카트라는 의미에서만 휴대용일 뿐이고, 이들은 200 kg 이상의 무게를 가지기 쉬우며, 따라서 응급 또는 수술 ICU에서와 같이 수술실의 외부에서 이들을 사용하는 것은 그야말로 실용적이지 않다. 일단 이러한 디바이스가 수술실에 배치되면, 이들은 그 수명 내내 그 곳에 머물러 있게 되는 경향이 있다. 이들이 수술실 내에서 그리고 그 주위로 이동해야 하는 경우, 그 중량 때문에 의료 요원의 보조가 필요하다.
수술실에서, 외과의사는 보통 한 번에 하나의 디바이스를 사용하는 경향이 있고, 이어서 그는, 절차 동안 그 기능에 따라, 수술 현미경 또는 수술 내비게이션 중 어느 하나 사이에서 왔다갔다 계속 이동해야만 한다. 이렇게 왔다갔다 이동하는 것은 외과의사를 불편하게 하고 또한 수술 시간을 증가시켜 시스템 비효율성, 그리고, 또한 더 높은 정도의 마취를 유발하게 되며, 그 이유는 더 긴 수술 시간이 더 긴 마취를 의미하기 때문이다.
외과의사 및 중재적 의료 전문가와 같은 시술 의사는 근골격 장애(MSD)와 같은 작업 관련 부상에 대한 위험이 높다. 이는 반복적인 움직임, 정적 및 불편한 자세를 수반하는 긴 작업 시간에 기인하며, 특히 노동력 다양화(diversifying workforce)의 환경에서의 신속한 혁신 속도를 고려할 때, 기구 설계의 과제가 된다.
인체공학자는 외과의사의 작업 환경 및 작업 조건을, 특정 산업 작업자의 작업 환경 및 작업 조건과 동일하고, 동일하지 않다 하더라도, 때때로 그보다 더 가혹하다고 설명하였다.
이러한 관찰은 일반 인구 및 심지어 노동 집약적인 직업, 예컨대 석탄 광부, 제조 노동자 및 물리 치료사와 비교하여 위험한 의사 사이의 작업 관련 부상의 더 높은 유병률 추정치를 입증하는 연구와 일치한다.
질병의 부담을 감소시키기 위해 산업 인체공학의 큰 진전이 이루어졌지만, 의약 부문은 독특한 과제인 것으로 입증되었고, 이 그룹에서의 개입의 부족이 이제 명백해지고 있다.
외과의사는 또한 전통적인 시스템에서 시선 문제가 있기 때문에 내비게이션 시스템을 갖는 수술 기구를 사용하는 데 제한을 갖는다. 어떤 이유로든 수술 기구가 차단되면, 이때, 내비게이션이 중지된다. 광학 추적 카메라는 전형적으로 수술 기구에 대한 직접적인 시선을 가질 필요가 있다.
영상 안내식 수술을 행하는 표준 방식은 수술 부위를 주시하는 것이 아니라 내비게이션 스크린을 주시하고 이어서 스크린 기반 2D 디스플레이를 주시함으로써 수술 기구를 목표 위치로 이동시키는 것이다- 이는 많은 수술 경험으로부터만 오는 극도의 주의깊은 조종능을 필요로 한다 -.
기존의 내비게이션 시스템은 3개의 각도(가로 평면, 시상 평면 및 관상 평면)로부터 2D 이미지 뷰를 제공한다. 외과의사는 이어서 이 전부를 환자 기관에서의 3D 지점과 상관시킨다. 외과의사는 이어서 이 2D 정보를 그 경험으로부터 3D 정보로 마인드 맵핑하는 어려운 임무를 맡게 된다. 따라서, 적합한 3D 시각화가 현재 이용가능하지 않기 때문에, 이 프로세스는 일관성이 없다.
공동 정합을 수행할 때 수작업 오류가 스며들 수 있다. 공동 정합 프로세스는 먼저 소프트웨어 상에서, 그 후, 환자 상에서 상관 지점을 선택하는 것이다. 인적 요소 때문에 지점 선택에 오류를 갖는 것이 일반적이다.
현재의 수술 내비게이션 및 현미경 시스템은 수술실 내부에 고착되고, 따라서 수술 계획 및 수술전 계획 논의에 대한 필요성으로 인해 셋업시 추가적인 OR 시간이 소요된다.
현재의 시스템은 단일 기능- 수술 내비게이션, 수술 현미경, 형광 시각화, 라만 분광법, 공초점 현미경 -을 수행한다. 외과의사의 효율을 크게 증가시키기 위해 디바이스 간에 전환할 필요 없이 하나의 디바이스로 이 모두를 수행할 수 있는 디바이스는 존재하지 않는다.
중재 슈트 또는 수술 ICU 룸은 그 절차 중 일부에 대해 이러한 내비게이션 디바이스에 대한 접근로를 갖지 않으며, 이러한 내비게이션 디바이스는 척추의 경막외 주입 및 간으로의 표적화된 주입과 같은 환자 결과 및 만족도를 크게 증가시킬 수 있다.
따라서, 다수의 의료 절차 상황을 돕기 위해 보다 이동성인 내비게이션 시스템을 제공하는 것이 바람직할 것이다. 또한, 외과의사와 같은 사용자가 개선된 내비게이션 시스템 인터페이스의 사용을 통해 그 임무를 원격으로 더 쉽게 수행할 수 있게 하는 것이 바람직할 것이다.
본 개시내용의 양태는 다양한 위치에서의 사용을 위해 휴대용인, 수술 내비게이션, 수술 현미경, 루페, 및/또는 형광 시각화를 위해 구성되는 다기능 플랫폼을 위해 제시된다. 일부 구현에서, 플랫폼은 130 파운드 미만의 무게를 갖는다. 시스템은 하드웨어 컴포넌트 및 소프트웨어 컴포넌트를 포함한다. 하드웨어 컴포넌트는 수술 환경의 원격 시각화에 사용될 수 있는 다수의 유형의 입력 데이터를 획득할 수 있는 휴대용 또는 웨어러블 디바이스를 포함할 수 있다. 일부 경우에서, 하드웨어는 2D 및 3D 데이터를 캡처하기 위한 위치 카메라 및 비주얼 카메라와 같은 다양한 유형의 카메라를 갖는 헤드셋, 및 2D 및 3D 이미지를 함께 융합하거나 오버레이하기 위한 회로를 포함한다. 다른 경우에서, 하드웨어는 다수의 카메라 센서가 내장된 스마트 패드 또는 랩톱과 같은 모바일 디바이스에 대한 바 부착물을 포함할 수 있다. 일부 실시예에서, 하드웨어는 또한 수술 내비게이션 및 수술 현미경 양자 모두의 기능을 이행할 수 있는 휴대용 내비게이션 시스템을 포함한다.
본 개시내용의 소프트웨어는 하드웨어 컴포넌트 중 하나 이상으로부터 수신된 입력 데이터를 처리하고 데이터를 원격 사용자가 수술 절차의 적어도 일부를 수행하기 위해 이용할 수 있는 증강 현실(AR) 또는 가상 현실(VR) 경험으로 변환하기 위한 모듈을 포함할 수 있다.
일부 실시예에서, 증강 현실 디바이스가 제시된다. AR 디바이스는 하우징; 하우징에 결합되고 3차원 컴포넌트를 갖는 이미지 데이터를 제공하도록 구성된 깊이 카메라; 하우징에 결합되고, 인간 사용자가 자연적으로 볼 수 없는 초감각적 이미지 데이터를 제공하도록 구성된 비주얼 카메라; 적어도 2개 세트의 이미지 데이터를 수신하고, 적어도 2개 세트의 이미지 데이터 양자 모두를 사용자의 시야 내의 공통 기준점에 오버레이하도록 구성된 오버레이 디스플레이 컴포넌트를 포함할 수 있다.
일부 실시예에서, 증강 현실 디바이스는 하우징을 지지하도록 구성된 헤드셋을 더 포함한다.
증강 현실 디바이스의 일부 실시예에서, 깊이 카메라 및 비주얼 카메라는 사용자의 시야가 깊이 카메라 및 비주얼 카메라의 시야 양자 모두와 일치하도록 헤드셋 상에 위치된다.
증강 현실 디바이스의 일부 실시예에서, 오버레이 디스플레이 컴포넌트는 사용자가 헤드셋을 착용할 때 사용자의 시야 위에 위치된다.
일부 실시예에서, 증강 현실 디바이스는 모바일 디바이스에 부착되도록 구성된 바 부착물을 더 포함한다.
증강 현실의 일부 실시예에서, 오버레이 디스플레이 컴포넌트는 모바일 디바이스의 시각적 디스플레이를 이용한다.
일부 실시예에서, 수술 내비게이션을 위한 시스템이 제시된다. 시스템은 로컬 지리적 위치에 위치된 제1 증강 현실(AR) 디바이스; 원격 지리적 위치에 위치되고, 제1 AR 디바이스에 유선 또는 무선으로 결합되는 제2 증강 현실 디바이스; 및 제1 AR 디바이스 및 제2 AR 디바이스 양자 모두에 결합된 소프트웨어 시스템을 포함할 수 있고, 소프트웨어 시스템은 제1 AR 디바이스에 의해 생성된 실시간 이미지 데이터를 처리하고; 이전에 기록된 고정된 의료 이미지 데이터에 액세스하고; 제2 AR 디바이스로 하여금 실시간 이미지 데이터 및 실시간 이미지 데이터 위에 중첩된 고정된 의료 이미지 데이터를 디스플레이하게 하도록 구성된다.
시스템의 일부 실시예에서, 제1 AR 디바이스는 시야 내의 고정된 기준 마커를 식별하고 고정된 기준 마커에 관한 이미지 데이터를 제2 AR 디바이스에 송신하도록 구성된다.
시스템의 일부 실시예에서, 소프트웨어 시스템은 고정된 기준 마커에 관한 이미지 데이터를 이용하여 고정된 의료 이미지 데이터를 실시간 이미지 데이터로 배향시키도록 구성된다.
시스템의 일부 실시예에서, 고정된 의료 이미지 데이터는 2D 및 3D 이미지 데이터를 포함한다.
시스템의 일부 실시예에서, 소프트웨어 시스템은 실시간 이미지 데이터 위에 동시에 중첩된 환자에 대한 2D 및 3D 이미지 데이터 양자 모두의 디스플레이를 야기하도록 구성된다.
시스템의 일부 실시예에서, 실시간 이미지 데이터 위의 중첩된 2D 및 3D 데이터는 실시간 이미지 데이터의 물체 내의 또는 내부의 물리적 콘텐츠의 하나 이상의 뷰를 나타낸다.
일부 실시예에서, 물체의 디지털 이미지 데이터를 물체의 실시간 뷰에 융합하기 위한 증강 현실(AR) 방법이 제시된다. 이 방법은 물체의 뷰에 실시간으로 액세스하는 단계; 물체의 디지털 이미지 데이터에 액세스하는 단계- 물체의 디지털 이미지 데이터는 이전에 캡처되어 물체의 하나 이상의 정적 디지털 이미지로서 저장됨 -; 및 증강 현실 디스플레이 스크린을 이용하여, 물체의 뷰에 디지털 이미지 데이터를 실시간으로 부착하는 융합 기술을 수행하여, 물체의 뷰가 증강 현실 디스플레이 스크린 내의 위치 또는 배향에서 변할 때 디지털 이미지 데이터가 물체의 뷰에 실시간으로 부착되어 머무르게 하는 단계를 포함할 수 있다.
방법의 일부 실시예에서, 디지털 이미지 데이터는 물체의 3D 디지털 이미지 데이터를 포함한다.
방법의 일부 실시예에서, 디지털 이미지 데이터는 물체의 2D 디지털 이미지 데이터를 포함한다.
일부 실시예에서, 방법은 물체의 2D 디지털 이미지 데이터에 액세스하는 단계; 및 2D 디지털 이미지 데이터를 물체의 3D 디지털 이미지 데이터로 변환하기 위해 3D 렌더링 기술을 수행하는 단계를 더 포함하고; 융합 기술은 물체의 3D 디지털 이미지 데이터를 물체의 뷰에 실시간으로 부착하는 것을 포함한다.
이 방법의 일부 실시예에서, 융합 기술은, 3D 디지털 이미지 데이터의 크기가 물체의 크기와 정확하게 비례하여 디스플레이되도록, 물체의 뷰의 크기를 3D 디지털 이미지 데이터의 크기와 실시간으로 매칭하는 단계를 포함한다.
이 방법의 일부 실시예에서, 융합 기술은, 3D 디지털 이미지 데이터의 형상이 물체의 형상과 정확하게 비례하여 디스플레이되도록, 물체의 뷰의 형상을 3D 디지털 이미지 데이터의 형상과 실시간으로 매칭하는 단계를 포함한다.
일부 실시예에서, 방법은 실시간으로 물체의 뷰 근처의 고정된 기준 마커에 액세스하는 단계를 더 포함하고, 고정된 기준 마커는, 물체의 뷰의 위치 또는 배향이 변하더라도, 물체의 뷰의 고유한 3차원 배향 및 깊이를 제공하기에 충분한 데이터를 제공한다.
이 방법의 일부 실시예에서, 융합 기술을 수행하는 단계는 실시간으로 물체의 뷰에 디지털 이미지 데이터를 부착하기 위해 고정된 기준 마커를 이용하는 단계를 포함한다.
첨부 도면은 축척에 맞게 그려지도록 의도된 것이 아니다. 다양한 도면에서 유사한 참조 번호 및 명칭은 유사한 엘리먼트를 나타낸다. 명료함을 위해, 모든 성분이 모든 도면에서 참조 번호가 표시되어 있지 않을 수 있다. 이러한 도면에서:
도 1은 수술 절차 동안 매우 유용할 수 있는, 그러나, 사용하기에 매우 번거로운 종래 기술의 기계의 예이다.
도 2는 일부 실시예에 따른, 일부 경우에서 AR 엘리먼트를 사용하고, 일부 경우에서 VR을 통한 수술 부위의 원격 시청을 용이하게 하는, 수술 내비게이션을 돕기 위한 시스템의 하이-레벨 블록도이다.
도 3은 일부 실시예에 따른, 예시적인 수술 내비게이션 시스템의 개략도이다.
도 4는 일부 실시예에 따른, 내비게이션 시스템이 원격 위치에 기능을 제공하는 방법의 예시적인 블록도를 도시한다.
도 5는 일부 실시예에 따른, 수술 내비게이션 시스템을 이용하는 예시적인 수술실의 사진 이미지이다.
도 6은 다양한 실시예에 따른, 수술 내비게이션 시스템의 일부인 AR 스크린을 사용하면서 수술이 수행되는 예시적인 수술 플랫폼의 예시이다.
도 7은 일부 실시예에 따른, 도 6의 AR 스크린의 근접도의 예시이다.
도 8은 또한 AR 엘리먼트가 디스플레이되는 것을 가능하게 하면서, 스크린이 어떻게 투명할 수 있는지, 또는 투명성의 외관을 제공할 수 있는지의 예를 제공한다.
도 9는 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼과 같은 올인원 다기능 장치의 다양한 모듈을 예시하는 개략도이다.
도 10은 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼의 일 예의 개략도이다.
도 11은 다양한 실시예에 따른, 추가적인 특징을 갖는 수술 내비게이션 시스템 장치 또는 플랫폼의 일 예의 개략도이다.
도 12는 다양한 실시예에 따른, 추가적인 특징을 갖는 수술 내비게이션 시스템 장치 또는 플랫폼의 일 예의 다른 개략도이다.
도 13은 다양한 실시예에 따른, 예시적인 사용 사례가 도시된, 수술 내비게이션 시스템 장치 또는 플랫폼의 일 예의 개략도이다.
도 14는 일부 실시예에 따른, 헤드셋 내비게이션 시스템을 착용한 전문가 또는 비전문가의 예시적인 시나리오를 도시한다.
도 15는 일부 실시예에 따른 내비게이션 시스템의 예시적인 응용을 도시한다.
도 16은 일부 실시예에 따른, 하이-레벨에서의 수술 내비게이션 시스템 소프트웨어의 블록도를 도시한다.
도 17은 다양한 실시예에 따른, 정합 프로세스에 대한 하이브리드 접근법인, 수술 내비게이션 시스템 소프트웨어의 정합 모듈을 예시하는 도면이다.
도 18은 다양한 실시예에 따른, 장면 내의 강체/고정된 마커에 기초하여 증강 현실 내비게이션을 전달하기 위한 수술 내비게이션 시스템 소프트웨어의 예시적인 데이터 흐름 및 작업, 및 시스템이 다수의 홀로그래픽 디바이스와 동시에 통신할 수 있는 방법을 예시한다.
도 19는 조합 알고리즘을 이용하여, 홀로그래픽 투영이 실제 장면 상에 어떻게 중첩되는지의 데이터 흐름 및 작업을 예시한다.
도 20은 다양한 실시예에 따른, 홀로그래픽 모드에서 가능하게 되는 진보된 시각화 기능의 예의 세트를 도시한다.
도 21은 다양한 실시예에 따른, (마커를 갖는) 기구가 내비게이션을 위해 어떻게 사용되는지의 데이터 흐름 및 작업을 예시한다.
도 22는 일부 실시예에 따른, 사용자가 본 개시내용의 내비게이션 시스템을 사용하여 볼 수 있는 것의 예시적인 예시를 제공한다.
도 23은 일부 실시예에 따른, 규칙적으로 보이는 두개골 상에 중첩된 이미지 데이터의 세트 중 하나의 다양한 정도의 불투명도의 예를 도시한다.
도 24는 일부 실시예에 따른, 다수의 오버레이들을 제공하는 내비게이션 시스템의 다른 예를 제공한다.
도 25는 비대칭적으로 배열된 4개의 마켓을 갖는 디바이스를 도시하며, 이 디바이스는 목표 환자 근처의 일정한 위치에 배치될 수 있다.
도 26은 고정된 시각적 큐로서 4개의 지점을 또한 갖는 수술 테이블의 고정된 위치 상에 또는 환자에 부착될 수 있는 기구를 도시한다.
이하의 개시내용은 본 개시내용의 상이한 특징을 구현하기 위한 많은 상이한 실시예 또는 예를 제공한다는 것을 이해해야 한다. 본 개시내용을 단순화하기 위해 컴포넌트 및 배열의 특정 실시예 또는 예가 후술된다. 물론, 이들은 단지 예일 뿐이며, 제한적을 의도하지 않는다. 예를 들어, 엘리먼트의 치수는 개시된 범위 또는 값으로 제한되지 않고, 디바이스의 원하는 속성 및/또는 프로세스 조건에 의존할 수 있다. 또한, 다음의 설명에서 제2 특징 위에 또는 제2 특징 상에 제1 특징을 형성하는 것은, 제1 및 제2 특징이 직접 접촉하여 형성되는 실시예를 포함할 수 있으며, 또한, 제1 및 제2 특징이 직접 접촉하지 않을 수 있도록 제1 및 제2 특징에 개재되는 추가적인 특징이 형성될 수 있는 실시예를 포함할 수 있다. 다양한 특징은 단순성 및 명료성을 위해 임의로 상이한 스케일로 그려질 수 있다.
또한, "아래에(beneath)", "밑에(below)", "하부(lower)", "위에(above)", "상부(upper)" 등과 같은 공간적으로 상대적인 용어가 도면에 예시된 바와 같은 다른 엘리먼트(들) 또는 특징(들)에 대한 하나의 엘리먼트 또는 특징의 관계를 설명하기 위해 설명의 용이함을 위해 본 명세서에서 사용될 수 있다. 이들 공간적으로 상대적인 용어는, 도면에 도시된 배향 외에도 사용시 또는 동작시 디바이스의 상이한 배향을 포괄하도록 의도된다. 디바이스는 다른 방식으로 배향될 수 있고(90도 회전되거나 다른 배향로 회전됨), 본 명세서에서 사용되는 공간적으로 상대적인 기술어는 마찬가지로 그에 따라 해석될 수 있다. 또한, 용어 "~로 이루어진"은 "~를 포함하는" 또는 "~로 구성된"을 의미할 수 있다.
수술 내비게이션을 돕기 위한 전체 하드웨어 및 소프트웨어 시스템이 개시된다. 시스템은 원격 위치에서 수술 절차의 AR/VR 렌더링을 용이하게 하도록 구성될 수 있다. 하나 이상의 하드웨어 컴포넌트가 시스템에 포함되고, 여기서, 일부 실시예에서, 이는 헤드셋과 같은 웨어러블 디바이스에서 시현된다. 다른 실시예에서, 이는 스마트 패드 또는 랩톱과 같은 모바일 컴퓨터에 대한 바 부착물에서 시현된다. 일부 실시예에서, 하드웨어는 하나의 수술실로부터 다른 수술실로 쉽게 이동할 수 있는 휴대용 수술 내비게이션 툴을 포함한다. 또한, 시스템은 하드웨어에 의해 수신된 입력 데이터를 변환 또는 융합하고 원격 위치에서의 AR 또는 VR 환경에 대한 이미징 데이터를 공급하도록 구성된 소프트웨어를 포함한다. 시스템의 다양한 컴포넌트는 아래에서 더 상세히 설명될 것이다.
시스템 개요
도 2를 참조하면, 일부 실시예에 따라, 일부 경우에서 AR 엘리먼트를 사용하고, 일부 경우에서 VR을 통한 수술 부위의 원격 시청을 용이하게 하는, 수술 내비게이션을 돕기 위한 시스템의 하이-레벨 블록도가 도시된다. 로컬측(예를 들어, 동작이 수행되고 있는 위치)에서, 본 개시내용의 양태는 위치 정보를 수집하는 위치 카메라(예를 들어, 깊이 카메라) 및 비주얼 또는 IR 카메라를 갖는 헤드셋과 같은 데이터 캡처 하드웨어를 포함한다. 수집된 위치 및 시각 정보를 이용하여, 오버레이 관리자는 이미지를 로컬에서 처리 및 렌더링하고 이미지를 동작 상에 오버레이할 수 있다. 다른 경우에서, 데이터 캡처 하드웨어는 위치 카메라 및 비주얼 카메라와 같은 다수의 센서를 갖는 모바일 컴퓨터에 대한 부착물을 포함할 수 있다. 다른 경우에서, 데이터 캡처 하드웨어는 배치가능한 수술 내비게이션 시스템을 포함할 수 있다.
데이터 캡처 하드웨어 및 오버레이 관리자는 렌더링된 이미지를 클라우드에 업로드할 수 있다. 원격 위치에서, 렌더링된 AR 이미지는 원격 VR 헤드셋에 송신될 수 있다. 원격 VR 헤드셋은 송신된 AR 이미지를 3차원(3D) 가상 현실 공간에서 렌더링할 수 있다. 원격 위치된 외과의사와 같은 원격 전문가는 VR 디스플레이 공간과 상호작용할 수 있다. 원격 외과의사는 VR 이미지 상의 절개의 정도 및 깊이를 표시할 수 있다. 원격 외과의사에 의해 제공되는 표시된 위치 입력은 클라우드에 송신되고, 로컬 데이터 캡처 하드웨어를 조작하는 의료 학생 또는 기술자와 같은 로컬 비전문가에게 중계될 수 있다. 그 후, 로컬 오버레이 관리자는, 비전문가가 절차 또는 동작에서 VR 위치 입력을 이용할 수 있도록, 렌더링된 AR 이미지에 VR 위치 입력을 추가할 수 있다.
본 개시내용의 내비게이션 시스템의 하나의 사용이 의료 절차의 맥락에 있지만, 일반적으로, 이러한 디바이스 및 절차는 전문가가 로컬 비전문가로부터 원격지에 있을 수 있거나 그 반대일 수 있는 임의의 동작을 위해 이용될 수 있다는 점이 이해되어야 한다. 일부 실시예에서, 동작은 임의의 원격 동작일 수 있다. 예를 들어, 동작은 로컬 제조자가 특정 기하 구조를 갖는 디바이스를 제조하기 위해 전문가의 지시를 필요로 할 수 있는 제조 동작일 수 있다. 일부 예에서, 동작은 해체 또는 굴착 동작일 수 있으며, 로컬 비전문가는 폭발 장약을 어디에 그리고 어떻게 배치할지에 대한 지시를 수신한다. 일부 예에서, 동작은 AR 수신기에 송신되는 정확한, 정확한, 및 실시간 공간 또는 다른 지시로부터 이익을 얻을 수 있는 임의의 다른 특수화된 동작일 수 있다.
도 3은 예시적인 수술 내비게이션 시스템의 개략도이다. 다양한 실시예에 따르면, 예시적인 수술 내비게이션 시스템은 수술 내비게이션 시스템 장치 또는 플랫폼, 컴퓨팅 디바이스, 디스플레이 유닛, 실시간 원격 안내 정밀 수술(RTRGPS), 및/또는 클라우드 컴퓨팅 네트워크를 포함할 수 있다.
수술 내비게이션 시스템은 수술 내비게이션, 확대, 형광 시각화 및 다른 기능을 모두 하나의 디바이스에 전달하는 다기능 휴대용 디바이스를 포함한다.
일부 실시예에서, 수술 내비게이션 시스템은 예를 들어 130 lbs 이하의 무게를 가질 수 있지만, 다른 크기 또는 무게가 각각의 개별 상황에 기초하여 고려될 수 있다. 제품은 필요에 따라 병원의 다른 영역으로 매우 쉽게 운반될 수 있는 소형 카트의 형태일 수 있다. 다른 경우에, 제품은 바 부착물과 같은 모바일 컴퓨터에 대한 부착물의 형태일 수 있다. 다른 경우에서, 제품은 사용자가 수술 절차 동안 착용할 수 있는 헤드셋의 형태일 수 있다.
아래는 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼으로 달성될 수 있는 기능 중 일부이다.
디바이스는 다양한 실시예에 따라, 마커의 도움으로 또는 얼굴 검출을 사용하여 수술 내비게이션을 행할 수 있다.
다양한 실시예에 따르면, 디바이스는 광학 줌 렌즈로 최대 20X만큼 수술 목표 영역을 확대할 수 있다.
다양한 실시예에 따르면, 디바이스는 형광 시각화를 행할 수 있다.
디바이스에는 예를 들어 공초점 현미경 및 라만 분광법과 같은 진보된 기능이 설치될 수 있다.
다기능성은 외과의사(사용자)가 편리하게 그리고 복잡한 위치의 임의의 물리적 스트레스 없이 수술 절차를 수행할 수 있게 한다.
증강 현실 기반 오버레이는 외과의사가 환자를 보고 수술을 수행할 수 있게 하며, 따라서 수술에 대한 시간을 감소시켜 환자 결과를 향상시킨다.
디바이스는 다양한 실시예에 따른, 수술 시야에서의 증강 현실 오버레이들을 위해 사용될 투명 디스플레이를 가질 수 있다.
다양한 실시예에 따르면, 디바이스는 또한 기관 해부구조의 인공 지능 기반 세그먼테이션을 사용할 수 있고, 수술 내비게이션에서 그것을 사용하여 절차의 효율을 증가시킬 수 있다.
도 4는 일부 실시예에 따른, 내비게이션 시스템이 원격 위치에 기능을 제공하는 방법의 예시적인 블록도를 도시한다. 도 4는 본 개시내용의 하드웨어 및 소프트웨어의 특정 버전에서 이용가능할 수 있는 기능의 개별 그룹을 나타내는 다양한 모듈의 예를 포함한다. 이용가능한 모듈의 종류에 대한 더 포괄적인 설명이 도 9와 관련하여 후술된다.
여기서, 내비게이션 디바이스는 다양한 실시예에 따라 클라우드 또는 PACS 시스템에 연결된다.
사용자는 다양한 실시예에 따라, 썸 드라이브 또는 CD 또는 심지어 클라우드 또는 PACS 시스템과 같은 공통 파일 저장 시스템 중 임의의 것을 이용하여 스캔을 로드한다.
일단 스캔이 로드되면, 사용자는, 다양한 실시예에 따라, 계획을 시작하거나 공동 정합을 시작하거나 다른 수술 내비게이션 시스템에서 계속할 수 있도록 다른 형태로 내보내기를 선택할 수 있다.
사용자는 다양한 실시예에 따라, 계획 옵션을 선택하고, 지점 선택, 윈도우잉, 컬러링 이미지 처리 및 AI와 같은 모든 툴을 사용하여 사용자가 할 계획인 절차를 계획하는 것에 의해 계획을 시작할 수 있다.
사용자는 또한 다양한 실시예에 따라, 승인을 받기 위해 자신의 동료 또는 전문가와 공유할 수 있다.
사용자가 처음으로 AR 모듈을 시작하기를 원할 때, 사용자는 다양한 실시예에 따라, 지점의 초기 세트가 선택되고 AR 모듈을 시작하고 볼륨을 오버레이할 수 있도록 공동 정합 모듈을 통과할 수 있다(도 16 및 관련 설명 참조).
일단 AR 모듈이 시작되면, 사용자는 계획, 공동 정합 또는 증강과 같은 모든 모듈 사이에서 전환할 수 있다.
AR 모드에서, 사용자는 다양한 실시예에 따라, 0.1mm의 높은 정확도로 환자에게 볼륨을 등록하기 위해 제공되는 옵션을 사용할 수 있다.
일단 모든 설정이 완료되면, 사용자는 시스템을 계속 사용하거나 홀로렌즈(HoloLens) 또는 매직 립(Magic Leap)과 같은 AR 디바이스 중 임의의 것에 연결하여, 다양한 실시예에 따라, 절차를 계속할 수 있다.
시스템은 또한, 다양한 실시예에 따라, 위치 2의 사용자가 위치 1의 정확한 사본을 얻을 수 있도록 RTRGPS 시스템에 연결될 수 있다.
RTRGPS 시스템과의 이러한 연결은 다양한 실시예에 따라 응용의 임의의 부분을 동기화하는데 사용될 수 있다.
도 4에 도시된 바와 같이, RTRGPS 소프트웨어 모듈은 위치 장면 1로부터 데이터를 취할 수 있고, 예를 들어, 위치 2에서 깊이 인식을 갖는 위치 장면을 재생성하기 위해, 이 데이터를 에지 컴퓨팅 프로토콜(MQTT)을 통해 송신한다. RTRGPS 기능을 포함하는 본 개시내용의 소프트웨어 컴포넌트의 추가 설명이 아래에 더 설명된다.
위치 1은 수술 내비게이션 시스템 또는 최소한 다음의 모듈들/컴포넌트를 갖는 임의의 다른 시스템을 가질 수 있다:
a. 모듈 1: 스테레오 카메라;
b. 모듈 2: 홀로그래픽 투영;
c. 강체/마커;
d. 마커를 갖는 수술 기구.
위치 2는 최소한 다음의 모듈들/컴포넌트를 갖는 임의의 다른 시스템의 수술 내비게이션 시스템을 가질 수 있다:
a. 모듈 1: 스테레오 카메라;
b. 모듈 2: 홀로그래픽 투영;
c. 마커를 갖는 수술 기구.
위치 1로부터의 데이터는 RTRGPS 소프트웨어를 통해 에지 컴퓨팅 프로토콜(MQTT)을 통해 전달된다.
데이터는 최소한 다음을 포함해야 하지만, 이에 제한되지 않는다:
a. 위치 1 시스템 배향, 모듈 1에 의해 캡처된 변환 정보. 이는 모듈 1이 강체/마커를 식별할 때 RTRGPS 소프트웨어에 의해 검색된다.
b. 모듈 1에 의해 보여지는 위치 1 비디오 스트림.
c. 위치 1: 모듈 2가 강체/마커를 식별할 때, 모듈 2에 의해 캡처된 배향, 변환 정보.
d. 마커를 갖는 수술 기구가 위치 1 장면에 진입할 때 모듈 1 또는 모듈 2에 의해 캡처된 배향, 변환 정보.
e. 위치 1 장면은 사용자가 임무을 수행하려 하는 영역이다.
이어서, 이 데이터는 에지 컴퓨팅 통신 프로토콜(MQTT)을 통해 RTRGPS 소프트웨어를 통해 위치 2로 전달된다.
위치 2에서, RTRGPS 소프트웨어는 이 데이터를 모듈 1 및 모듈 2에 로딩하여 위치 2에서 사용자에게 실제 진정한 깊이 인식을 제공하는 실제 라이브 피드와 결합된 모듈 2 홀로그래픽 투영을 이용하여 전체 깊이 인식으로 위치 1로부터 장면을 재생성한다.
임의의 수술 계획 소프트웨어 또는 수술 내비게이션 시스템 소프트웨어는 수술 계획에 관련된 모든 데이터를 제공한다. 수술 계획은 환자 스캔 및 궤적 세부사항을 포함하지만 이에 제한되지 않는다.
이 시나리오를 계속하면, 이제 2개의 위치가 동기화된다. 동기화는 5G 속도에 대해 0 레이턴시를 가지며, 전체 시스템은 5G 속도에서 60 fps 초과의 렌더링 속도를 가질 수 있다.
일부 시나리오에서, 위치 1의 사용자는 예를 들어 시뮬레이션에서 위치 2의 사용자를 안내하고 있다.
일부 시나리오에서, 위치 2에 있는 사용자는, 예를 들어, 예견하여, 원격 안내 상황에서, 위치 1에 있는 사용자를 안내하고 있다.
위치 1에서: 마커를 갖는 수술 기구는 위치 1에서 임무를 수행하기 위해 사용자에 의해 사용된다.
각각의 마커/강체는 고유 마커일 수 있다. 마커를 갖는 수술 기구도 고유해야 한다. 동일한 유형의 어떠한 2개의 마커도 단일 위치에 있지 않아야 한다. 고유성은 서로로부터, 조합으로 고유 거리에 배치된, 조합으로 4개 또는 지점을 갖는 것으로부터 유도될 수 있다.
RTRGPS는 데이터를 연속적으로 송신하고 양자 모두의 위치로부터 데이터를 수신하며 동시에 그들을 동기화한다.
일부 시나리오에서, 수술 기구는 공간에서 지점 P(p1, p2, p3)와 교차한다.
공간은 위치 1 또는 위치 2에 있는 장면이다. 이 지점 좌표는 모듈 1 및 모듈 2에 의해 정확하게 픽업된다. 다른 위치에서의 안내를 위해 동일한 지점이 사실상 강조된다. 정밀도는 공간에서 지점 좌표를 식별함에 있어서 모듈 2의 정밀도만큼 양호하다.
일부 시나리오에서, 2개보다 많은 위치가 있을 수 있다. RTRGPS 소프트웨어를 통해 연결될 수 있는 위치의 수에 대한 제한은 없다.
위치 1 마커: 마커 또는 강체는 항상 모듈 1 및 모듈 2에 가시적이어야 한다.
일부 시나리오에서, 변하지 않는 위치 1 내의 장면의 고유 특징 및 윤곽은 또한 강체들/마커로서 사용될 수 있다.
이용가능한 시각화가 없는 로봇 시스템에서, 마커를 갖는 수술 내비게이션 시스템은 또한 환자 내부의 로봇 아암의 움직임을 시각화하는 데 사용될 수 있다. 이는 로봇 시스템에 추가의 3D 깊이 시각화를 추가한다.
피훈련자 또는 의료 학생의 팀은 위치 1의 외과의사 또는 수술 동안 위치 1의 외과의사를 안내하고 있는 위치 2의 외과의사의 안내 하에서 수술 절차 동안 수술 접근법 및 뉘앙스를 실시간으로 실시할 수 있다.
위치 1 및 위치 2는 RTRGPS 시스템으로 사전 분할/라벨링/마킹될 필요가 없다. 시스템은 홀로그래픽 깊이 투영 및 1개의 장면 내의 마커를 사용하여 실시간 깊이 장면 렌더링 및 양자 모두의 위치에서의 정확한 안내를 가능하게 한다.
본 명세서에 개시된 다양한 실시예에 따르면, 사용자는 계획 또는 수술을 협력하여 작업하기 위해 이를 사용할 수 있거나, 수술을 가르치거나 안내하기 위해 사용될 수 있다.
고정된 마커가 시스템의 뷰에 존재하는 한, 본 명세서에 개시된 다양한 실시예에 따라 AR 추적이 가능하다.
임의의 기구가 사용되는 경우, 이어서, 기구 마커는 본 명세서에 개시된 다양한 실시예에 따라 추적 이후에 기구를 추적하는 데 사용될 수 있다.
도 5, 도 6, 도 7, 및 도 8은 본 개시내용의 수술 내비게이션 시스템이 수술 절차 상황에서 어떻게 사용될 수 있는지의 다양한 예시적인 시나리오를 도시한다. 도 5는 예시적인 수술실의 사진 이미지이다. 내비게이션 시스템 하드웨어는 종래의 내비게이션 및 현미경 기계(도 1 참조)에 비해 상이한 방으로 더 쉽게 배치가능할 수 있는 카트의 형태를 취한다. 도 6은 다양한 실시예에 따른, 수술이 수행되는 예시적인 수술 플랫폼의 예시이다. 여기서, 본 개시내용의 하드웨어는 외과의사와 환자 사이에 개재된 스크린을 포함한다. 스크린은 AR 엘리먼트가 환자의 뷰 위에 추가되는 것을 허용할 수 있다. 도 7은 일부 실시예에 따른, AR 스크린의 근접도의 예시이다. 도 8은 스크린이 어떻게 투명할 수 있는지, 또는 어떻게 투명성의 외관을 제공하면서, 또한 AR 엘리먼트가 디스플레이되는 것을 가능하게 하는지에 대한 예를 제공한다.
내비게이션 시스템의 예시적인 컴포넌트의 보다 구체적인 상세가 이제 제공될 것이다. 이 설명은 본 명세서에 설명된 전체 시스템을 설정하는 다양한 하드웨어 예 및 소프트웨어 컴포넌트에 집중한다.
일반적인 하드웨어 설명
일부 실시예에서, 본 개시내용의 하드웨어는 수술 내비게이션, 확대, 형광 시각화 및 더 많은 것을 모두 하나의 디바이스에 전달하는 다기능 휴대용 디바이스를 포함한다.
본 명세서에 개시된 기술 및 방법은, 예를 들어, 도 9에 도시된 바와 같이, 수술 내비게이션, 수술 현미경, 루페, 형광 시각화, 수술전 계획 및/또는 시뮬레이션을 포함한 그러나 이에 제한되지 않는 다수의 기능을 전달할 수 있는 다기능 휴대용 올인원 디바이스에 관한 것이다.
도 9는 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼과 같은 올인원 다기능 장치의 다양한 모듈을 예시하는 개략도이다. 도 9에 도시된 바와 같이, 수술 내비게이션 시스템 하드웨어 장치 또는 플랫폼은 최대 6개의 모듈 1-6을 포함할 수 있다. 다양한 실시예에서, 모듈 1은 내비게이션 기능성을 전달하도록 구성되는 스테레오 카메라를 포함할 수 있다. 다양한 실시예에서, 모듈 2는 Microsoft Hololens, Magic Leap 등과 같은, 그러나 이에 제한되지 않는 홀로그래픽 투영 시스템을 포함할 수 있다. 다양한 실시예에서, 모듈 3은 카메라, 광학 렌즈, 및/또는 LED 광을 포함할 수 있고, 수술 현미경으로서 기능하고/하거나 루페(Loupe) 기능, 예를 들어, 작은 세부사항을 보기 위한 확대를 제공하도록 구성된다. 다양한 실시예에서, 모듈 4는 적외선(IR) 필터를 갖는 카메라를 포함할 수 있고, 형광 시각화를 위해 구성된다.
다양한 실시예에서, 모듈 5는 공초점 현미경을 위해 구성될 수 있거나 공초점 현미경을 위해 구성될 수 있다. 다양한 실시예에서, 모듈 6은 라만 분광기를 포함할 수 있거나 라만 분광법을 위해 구성된다.
바 부착물 하드웨어
다양한 실시예에서, 도 9에 도시된 바와 같은, 수술 내비게이션 시스템 장치 또는 플랫폼의 모듈은 단일 디바이스 내에서, 위에서 논의된 것들과 같은, 다양한 진보된 기능을 달성하는 것을 도울 수 있는 최소의 수평 바 폼 팩터에 맞도록 조합될 수 있다. 다양한 실시예에서, 수술 내비게이션 시스템 장치 또는 플랫폼의 다양한 모듈은 단일 랩톱/데스크톱/태블릿/고성능 시스템으로부터 전력을 공급받을 수 있다. 다양한 실시예에서, 수술 내비게이션 시스템 장치 또는 플랫폼은 모든 하드웨어 모듈을 포함하도록 완전히 맞춤화될 수 있다. 다양한 실시예에서, 수술 내비게이션 시스템 장치 또는 플랫폼은 사용자 요구에 따라 하드웨어 모듈 중 일부만을 포함할 수 있다. 바 부착물 형태의 수술 내비게이션 시스템 장치 또는 플랫폼은 그 입방형 형상으로 인해 설계상 인체공학적이고 매우 심미적이며, 작업하기 위해 디스플레이 또는 태블릿/랩톱에 래칭/부착될 수 있다. 수술 내비게이션 시스템 장치 또는 플랫폼의 고유한 설계는 외과의사가 수술 시야에서의 임의의 제한 없이 동작하게 하여, 수술 시야에서의 기구의 자유로운 움직임을 가능하게 한다.
도 10은 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼의 일 예의 개략도이다. 도 10에 도시된 바와 같이, 바 부착물은 랩톱 또는 태블릿의 상부에 연결될 수 있다. 이 바 부착물 폼 팩터에서의 수술 내비게이션 시스템 장치 또는 플랫폼은 모듈 1, 3, 및 4를 포함한다. 다양한 실시예에서, 수술 내비게이션 시스템 장치 또는 플랫폼은 디스플레이 또는 랩톱 또는 태블릿에 임의의 측면에 부착되지만, 그러나, 인체공학적으로 디스플레이 또는 랩톱 또는 태블릿의 상부는 부착 또는 래칭을 위한 더 직관적인 위치일 수 있다.
도 11은 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼의 일 예의 개략도이다. 도 11에 도시된 바와 같이, 이 예에서 바 부착물 형태의 수술 내비게이션 시스템 장치 또는 플랫폼은 예를 들어 랩톱, 태블릿 또는 디스플레이 디바이스에 부착되지만 이에 제한되지 않는 모듈 1, 예를 들어 스테레오 카메라를 포함한다.
도 12는 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼의 예의 개략도이다. 도 12에 도시된 바와 같이, 내비게이션 시스템은 동작의 다양한 뷰를 보여주는 랩톱을 포함할 수 있다. 도 12에 예시된 바와 같이, 바 부착부는 예를 들어 랩톱 또는 태블릿에 부착되거나 래칭될 수 있지만, 이에 제한되지 않는다.
도 13은 다양한 실시예에 따른, 수술 내비게이션 시스템 장치 또는 플랫폼의 예의 개략도이다. 도 13에 도시된 바와 같이, 바 부착물 형태의 수술 내비게이션 시스템 장치 또는 플랫폼은 동작의 다양한 뷰를 보여주는 디스플레이 유닛, 예를 들어, 투명 디스플레이 또는 불투명 디스플레이를 포함할 수 있다. 도 13에 예시된 바와 같이, 수술 내비게이션 시스템 장치 또는 플랫폼은 디스플레이 유닛에 부착되거나 래칭될 수 있다.
다양한 실시예에서, 수술 내비게이션 시스템 장치 또는 플랫폼은 다양한 하드웨어 모듈을 USB 또는 다른 통신 포트를 통해 도 10, 도 11, 및 도 12에 도시된 것들과 같은 컴퓨팅 디바이스에 연결하도록 구성될 수 있다. 전술한 바와 같이, 컴퓨팅 디바이스는 예를 들어 랩톱, 태블릿, 데스크톱 또는 고성능 컴퓨터 시스템일 수 있지만, 이에 제한되지 않는다. 대안적으로, 바 부착물은 또한 도 13에 도시된 바와 같이 디스플레이 전용 시스템 상에 부착될 수 있다. 다양한 실시예에서, 디스플레이 및 수술 내비게이션 시스템 장치 또는 플랫폼은 고성능 컴퓨터 시스템에 연결된다.
헤드셋 하드웨어
일부 실시예에서, 수술 내비게이션 시스템 장치 또는 플랫폼은 수술실에 착용될 수 있는 헤드셋에 시현될 수 있다. 원격 전문가에 의한 로컬 비전문가의 원격 지시를 용이하게 하는 것을 돕기 위해, 일부 실시예에 따른 헤드셋 내비게이션 시스템은 공간 및 시각 또는 근적외선 데이터를 수집하도록 구성될 수 있다. 데이터를 수집하기 위해, 하나 이상의 카메라가 헤드셋에 부착될 수 있다. 헤드셋은 시야 내의 AR 엘리먼트를 디스플레이하도록 구성될 수 있다. 카메라는 원격 비전문가가 향하고 있는 방향으로 위치 및 시각적 또는 근적외선 데이터를 수집하도록 배향될 수 있다.
도 14는 일부 실시예에 따른, 헤드셋 내비게이션 시스템을 착용한 전문가 또는 비전문가의 예시적인 시나리오를 도시한다. 헤드셋 착용자는, 헤드셋을 통해 디스플레이되는 바와 같이, 시야 내의 AR 엘리먼트를 또한 보면서, 수술 테이블 상의 환자를 볼 수 있다. 일부 실시예에서, 헤드셋에 의해 캡처된 이미지 데이터는 카메라 센서의 배향에 기초하여 사용자가 보는 것을 반영할 수 있다. 이들 이미지 데이터는, 예를 들어, 클라우드를 통해 원격 위치로 송신될 수 있고, OR에서 보이고 있는 것의 VR 렌디션을 원격 위치의 다른 사용자에게 디스플레이하는 데 사용될 수 있다.
도 15는 일부 실시예에 따른 내비게이션 시스템의 예시적인 응용을 도시한다. 좌측에 있는 예시적인 시나리오는 헤드셋의 형태로 내비게이션 시스템을 착용하고 있는 동안 환자를 돌보고 있는 전문가를 보여준다. 전문가는 환자를 보지만, 또한 다른 엘리먼트도 볼 수 있다. 우측에는 헤드셋을 통한 전문가의 1인칭 시점의 예가 도시되어 있으며, 이는 또한 AR 엘리먼트를 포함한다. 여기서, 환자의 뇌의 대략적인 위치는 환자의 다른 기준점에 대해, 뇌가 측정된 위치에서, 환자 상에 오버레이된다. 환자의 뇌의 오버레이는 3D 렌더링일 수 있으며, 따라서, 헤드셋을 착용한 전문가가 환자 주위를 걸을 수 있고, 실시간으로 뇌의 다양한 각도가 환자에 대한 헤드셋의 배향에 따라 변할 것이다. 이 오버레이를 달성하기 위한 예시적인 구현이 아래에서 추가로 설명될 것이다.
일부 실시예에서, 환자의 이미지 데이터 및 x-선 또는 MRI와 같은 다른 형태의 환자의 하나 이상의 스캔은 모두 원격 위치로 송신될 수 있다. 원격 위치의 사용자는 헤드셋 또는 바 부착물 형태의 본 개시내용에 따른 내비게이션 시스템을 이용할 수 있고, 환자에 대한 정확한 배치에서 환자의 상부에서 하나 이상의 스캔의 오버레이를 볼 수 있다. 이는 원격 사용자가 원격 위치로부터도 환자를 어떻게 치료할지에 관한 더 나은 결정을 하는 것을 가능하게 할 수 있다.
AR 헤드셋에 부착된 카메라는 임의의 유형의 위치 및/또는 시각적 또는 근적외선 데이터 감지 카메라들일 수 있다. 예를 들어, 기존의 카메라가 AR 헤드셋에 연결될 수 있다. 일부 실시예에서, 위치 카메라는 위치 및 깊이 데이터를 수집할 수 있는 임의의 유형의 카메라일 수 있다. 예를 들어, 위치 카메라는 LIDAR 센서 또는 임의의 다른 유형의 위치 카메라일 수 있다.
일부 실시예에서, 시각적 또는 근적외선 카메라는 임의의 유형의 비주얼 카메라일 수 있다. 예를 들어, 시각적 또는 근적외선 카메라는 표준 비주얼 카메라일 수 있고, 하나 이상의 필터가 근적외선 정보를 수집하기 위해 비주얼 카메라 상에 배치될 수 있다. 일부 예에서, 카메라는 IR 데이터를 구체적으로 수집하도록 구성될 수 있다.
일부 실시예에서, AR 헤드셋에 카메라를 추가하는 것은 AR 헤드셋에 추가적인 중량을 추가할 수 있다. AR 헤드셋에 중량을 추가하는 것은 사용자의 편안함을 감소시킬 수 있다. 예를 들어, 추가적인 중량은 사용자의 목 피로를 증가시킬 수 있다. 또한, 추가적인 중량은 사용자의 머리에 대한 AR 헤드셋의 안정성을 감소시켜, AR 헤드셋이 미끄러지게 하고 수집된 데이터의 품질을 감소시킬 수 있다.
일부 실시예에서, 단일 카메라 또는 각각의 카메라에 대한 카메라 하우징이 헤드셋에 내장되어, 위치 및 시각적 또는 근적외선 데이터를 수집하는 데 사용될 수 있다. 헤드셋은 단일 렌즈를 통해 데이터를 수집하는 동일한 하우징 내의 2개의 카메라를 포함할 수 있다. 이는 AR 헤드셋의 중량을 감소시킬 수 있다. AR 헤드셋의 중량을 감소시키는 것은 사용자의 편안함을 개선하고 사용자의 머리에 대한 AR 헤드셋의 미끄러짐을 감소시키는 것을 도울 수 있다.
다양한 실시예에서, 바 부착물 또는 헤드셋, 또는 다른 변형의 형태인, 수술 내비게이션 시스템 장치 또는 플랫폼은 극도의 휴대성을 위해, 예를 들어, 비-수술실 환경에서 사용자에 의해 수행되는 작은 개입을 위해 모듈 1(또는 단지 모듈 1, 도 9 참조)을 포함할 수 있다. 이 구성은 사용자, 예를 들어, 외과의사에게 내비게이션 기능을 제공한다. 다양한 실시예에 따르면, 수술 내비게이션 시스템 장치 또는 플랫폼은 내비게이션 기능만을 수행하도록 구성된다.
다양한 개입 경우에서, 모듈 2(도 9 참조)는 또한 홀로그래픽 투영을 제공하기 위해 수술 내비게이션 시스템 장치 또는 플랫폼에 포함될 수 있다. 다양한 실시예에서, 사용자 또는 외과의사는 내비게이션 기능을 위해 증강 현실 오버레이를 사용할 수 있다.
예를 들어, 사용자가 수술실에 있고 수술을 효과적으로 수행하기 위해 다수의 기능 중 대부분을 필요로 하는 경우에, 따라서, 수술 내비게이션 시스템 장치 또는 플랫폼은 모든 모듈 1-6을 포함하도록 구성될 수 있다.
모든 또는 일부 모듈에 대한 컴포넌트가 휴대성을 가능하게 하기 위해 소형 폼 팩터를 위해 제조된 종래의 제품을 사용하여 이용가능할 수 있지만, 이러한 컴포넌트는 이러한 진보된 기능이 하나의 디바이스로 달성될 수 있게 하는 직관적인 폼 팩터로 조합된다. 예를 들어, 바 부착물은 단일 랩톱/데스크톱/태블릿/고성능 시스템으로부터 전력을 공급받을 수 있다. 바는 그 형상으로 인해 설계가 인체공학적이고 매우 심미적이며, AR 헤드 장착형 디스플레이에 래칭/부착되어 작동할 수 있다. 설명된 실시예에서의 모듈의 배치는 외과의사가 수술 시야에서의 임의의 제한 없이 동작하게 하여, 수술 시야에서의 기구의 자유로운 움직임을 허용한다.
이미지 수집 및 렌더링을 위한 소프트웨어
수술 내비게이션 시스템의 일부로서, 그리고 일부 실시예에 따르면, 계획 및 처리 소프트웨어가 개시되고, 수신된 스테레오 카메라 데이터와 같은 하드웨어의 입력 데이터를 다수의 데이터 세트를 함께 오버레이하는 보다 도움이 되는 시각적 디스플레이로 변환하는 해결책을 제공한다. 또한, 본 명세서에 설명된 소프트웨어는 수술실 내의 로컬 뷰에 대한 원격 연결을 가능하게 할 수 있다.
일부 실시예에서, 수술 내비게이션 시스템 소프트웨어는 계획 소프트웨어를 포함한다. 임의의 절차 전에, 계획이 요구된다. 이 계획은 절차를 수행하는 외과의사에 의해 생성되거나 승인된다. 계획 소프트웨어는 종종 환자의 3D 스캔(예를 들어, 자기 공명(MR) 및 컴퓨터 단층촬영(CT)) 및/또는 2D 스캔(예를 들어, X-선 및 초음파)을 요구한다.
모든 MR 및 CT 스캔은 예를 들어 DICOM(Digital Imaging and Communications in Medicine) 포맷으로 제공될 수 있으며, 이는 국제적으로 허용된 포맷이다.
일부 경우에서 소프트웨어는 로컬 시스템(예를 들어, 랩톱, 데스크톱, 태블릿) 상에서 또는 클라우드 상에서 이용가능할 수 있다.
소프트웨어는 의료 이미지를 저장하는 PACS(Picture and Archive Communication System)에 연결할 수 있다. 소프트웨어는 PACS 시스템에 질의하고 환자 3D 이미지를 다운로드할 수 있다.
사용자는 이제 내비게이션 시스템의 일부일 수 있는 디바이스(예를 들어, 랩톱, 태블릿, 데스크톱) 상의 3D 스캔을 보기 위한 옵션을 갖는다. 사용자는, 예를 들어, 윈도우잉(windowing), 줌(zoom), 팬(pan), 스크롤(scroll), 라인(line), 지점 선택(point selection)과 같은 DICOM 이미지를 조작하기 위해 표준 이미지 처리 툴에 액세스한다.
사용자는 목표 및 엔트리 지점을 선택하여 절차를 돕는 팀으로 궤적을 검토하는 것에 의해 궤적을 생성할 수 있다.
또한, 일부 실시예에서, 소프트웨어는 수술실에 있는 환자의 실시간 이미징 데이터를 처리할 수 있고, 3D 및/또는 2D 이미지를 환자의 실시간 이미지 데이터와 결합시킬 수 있으며, 3D 및 2D 이미지가 환자의 신체의 적합한 위치 컨텍스트 내에서 보여져야만 하는 곳을 정확하게 오버레이할 수 있다.
이 계획은 디바이스 상에 로컬일 수 있거나 HIPAA 준수 클라우드 상에 저장될 수 있는 HIPAA 준수 데이터베이스에 저장될 수 있다.
계획은 로컬 디바이스로부터 이동식 저장 매체에 내보내질 수 있고, 다른 수술 내비게이션 계획 스테이션에서 사용될 수 있거나, 다른 수술 내비게이션 계획 스테이션 상의 클라우드로부터 직접 액세스될 수 있다. 데이터베이스에 저장된 계획은 사용자에 의해 저장되었을 때 계획을 리로드하는 데 필요한 모든 데이터를 가지며, 따라서 수술실 내부에서 동일한 임무를 반복할 때 시간을 절약한다.
개시된 수술 내비게이션 시스템 소프트웨어는 사용자/외과의사가 정확하고 더 빠른 계획을 하는 데 도움을 줄 의료 이미지 처리를 위한 일부 진보된 기능을 갖는다.
도 16은 일부 실시예에 따른, 수술 내비게이션 시스템 소프트웨어의 블록도를 하이-레벨로 도시한다. 도 16은 본 명세서에 개시된 다양한 실시예에 따른, 소프트웨어 시스템 내의 데이터가 시스템의 상이한 모듈 사이에서 어떻게 흐르는지를 도시한다.
도 16을 참조하면, 일부 실시예에서, 소프트웨어는 그 처리 알고리즘의 일부로서 정합 프로세스를 수행한다. 정합은, 동일한 환자의 2개의 스캔이 동일한 좌표계(또는 융합)를 갖도록 중첩되어, 2개의 스캔의 특징이 중첩되는 프로세스를 설명하는데 이용될 수 있다. 각각의 스캔이 사용한 취득 프로토콜이 상이할 수 있기 때문에 취득된 다수의 스캔이 있고, 예는 T1 MRI, T2 MRI, DWI MRI, CT PLAIN, CT CONTRAST, FMRI, DTI MRI 등을 포함한다. 공동 정합이란, 환자에 관해 1개, 2개, 또는 3개 이상의 공통 기준 지점에서 조절되도록 다수의 세트의 데이터를 조절하는 것을 지칭할 수 있다. 수술 절차를 수행하는 방법의 계획과 조합하여, 소프트웨어는 그 후 환자 상의 수술 부위의 맥락에서 공동 정합된 데이터의 다양한 세트를 배치할 수 있다. 이어서, 소프트웨어는 주로 이 영역으로 처리를 지시할 수 있으며, 따라서 내비게이션 시스템 하드웨어의 외과의사 또는 다른 사용자에게 이용가능한 AR 디스플레이에서, 사용자는 이어서 AR 디스플레이를 통해 수술 부위에 관련된 다양한 공동 정합된 데이터세트를 볼 수 있을 수 있다. 강체 마커, 및/또는 강체 수술 기구 마커는, 공동 정합 프로세스 동안에 다양한 데이터 세트를 객관적으로 배향하는데 이용될 수 있고, 그 다음, 실시간 AR 디스플레이를 수행할 때 계속 의존할 수 있다.
도 17은 다양한 실시예에 따른, 정합 프로세스에 대한 하이브리드 접근법인, 수술 내비게이션 시스템 소프트웨어의 정합 모듈을 예시하는 도면이다. 여기서, 소프트웨어는 기록된 2D 또는 3D 이미지로부터 고정된 이미지에 액세스하고, 이들을 내비게이션 시스템 하드웨어를 통해 보여지는 실시간 데이터와 같은 이동하는 이미지와 조합할 수 있다. 소프트웨어 용어에서, 융합될 2개의 환자 스캔이 있다면, 하나는 전형적으로 고정된 스캔으로 지칭되고 다른 스캔은 이동 스캔이다. 이동 스캔은 전형적으로, 이동 스캔이 고정된 스캔과 융합할 수 있도록 알고리즘 유도 회전 및 병진(또는 함께 변환이라고 지칭됨)이 적용되는 스캔이다.
피벗 오프할 주요 특징을 식별하기 위해 양자 모두의 이미지에 대해 특징 추출이 수행될 수 있다. 고충실도 및 저충실도 양자 모두의 변환이 수행되어 이미지를 공통의 데이터 세트로 변환할 수 있다. 이어서, 소프트웨어는 가장 가까운 알려진 고정된 이미지로 이미지를 더 잘 교정하기 위해 이동하는 이미지에 대해 미세 변환을 적용할 수 있다. 고정된 이미지에 대한 최상의 매칭을 찾기 위해 이동하는 이미지의 리샘플링이 수행될 수 있다. 리샘플링된 이미지는 고정된 이미지와 비교되도록 로딩된 다음, 고정된 이미지와 혼합될 수 있다. 혼합 이미지는 일부 실시예에 따라, 원하는 바에 따라, 하나가 다른 하나에 비해 불투명도 면에서 변경될 수 있다.
정합 프로세스에 사용되는 알고리즘은, 예를 들어, 수술 내비게이션 시스템에 의해 사용되는 커스텀 하이브리드 알고리즘일 수 있다. 예를 들어, 2-단계 프로세스에서, 제1 단계는 2개의 스캔을 동일한 좌표계에 더 가깝게 하는 것을 허용하는 대략적 정합 방법이다. 그러나, 특정 상황에서, 이 방법의 출력은 전진 진행을 위한 정확한 결과를 제공하지 않는데, 그 이유는 이 단계가 특징의 작은 세트에 대해 실행될 수 있고 대략적인 추정을 행하기만 하면 되며, 따라서 매우 적은 시간이 걸리기 때문이다.
제2 단계는 2개의 스캔의 미세 조정이 가능한 한 가깝게 되어 이들이 동일한 좌표계를 공유하고 특징이 중첩되는 미세 조정 정합 방법이다. 이 단계는 2개의 스캔 사이에서 매칭되어야 하는 특징의 큰 세트로 실행될 수 있다.
전형적인 정합 프로세스는 3 내지 4분이 걸릴 수 있지만, 본 명세서에서 논의된 정합 프로세스는, 다양한 실시예에 따라, 평균 계산에서 최대 60%만큼 걸리는 시간을 감소시킨다.
재정렬: 일부 시나리오에서, 스캔은 상기 배향으로 취득되고, 사용자는 스캔을 다른 바람직한 배향으로 재정렬하기를 원한다. 3D 세계에서, 배향은 세계가 인지되는 방식을 변화시킨다. 심지어 가장 진보된 사용자도 그가 상이한 정렬로부터 동일한 기관/장면을 볼 때 혼동되는 경향이 있다. 재정렬은 평면의 개념을 사용하여 행해진다. 3D 스캔은 사용자에 의해 제공된 기준 평면을 이용하여 재정렬된다. 평면은 최소 3개의 지점으로 정의될 수 있다.
수술 내비게이션 시스템 재정렬은 사용자로부터 2개의 지점을 요청할 수 있다. 제3 지점은 z-축에서 0.1mm의 증분으로, 선택된 2개의 지점의 중간 지점으로서 소프트웨어에 의해 자동으로 선택될 수 있다. 지점 1이 좌표 p1, p2, p3에 의해 참조되고 지점 2가 좌표 a1, a2, a3에 의해 참조되면, 이때, 평면을 형성하기 위한 제3 지점은 ((p1+a1)/2, (p2+a2)/2, (p3+a3)/2 + 0.1 mm)를 행하는 것에 의해 자동으로 선택될 수 있다. 이러한 접근법은 매우 정확한 평면으로 이어진다.
증강 현실 오버레이를 효과적으로 생성하기 위해, 홀로그램이 실제 장면 상에 중첩되도록 공동 정합(co-registration)이 종종 사용될 수 있다. 도 18은, 다양한 실시예에 따라, 장면 내의 강체/고정된 마커에 기초하여 증강 현실 내비게이션을 전달하기 위한 수술 내비게이션 시스템 소프트웨어의 예시적인 데이터 흐름 및 작업, 및 시스템이 다수의 홀로그래픽 디바이스와 동시에 어떻게 통신할 수 있는지를 예시한다.
공동 정합은 입력으로서 지점의 2개 세트를 취할 수 있고, 지점의 제1 세트는 스캔 상에서 선택된 지점을 포함하고, 제2 세트는 증강 모듈의 도움으로 선택된 실세계에서의 지점을 포함한다.
지점이 선택된 이후에, 시스템은 0.1mm에 가까운 높은 정확도로 3D 볼륨을 오버레이하기 위해 2개의 단계를 취할 수 있다.
제1 단계에서, 지점이 느슨하게 선택됨에 따라, 시스템은 지점의 2개 세트를 사용하는 것에 의해 대략적인 추정을 행할 수 있고, 다양한 실시예에 따라, 가능한 한 가까운 3D 볼륨을 얻는다.
정교화 단계로서 지칭될 수 있는 제2 단계에서, 시스템은 증강 모듈로부터 3D 지점 클라우드를 그리고 스캔으로부터 3D 지점 클라우드를 생성하고, 다양한 실시예에 따라, 오버레이를 위한 높은 정확도를 얻기 위해 공동 정합을 정교화하기 위해 이를 사용한다.
증강된 오버레이를 제어하기 위해 사용자에게 주어지는 다양한 옵션이 있다. 이러한 옵션은, 예를 들어, 불투명도, 클리핑 크기, 컬러링, 윈도우잉, 정합 정교화, AR 모드를 포함한다. 도 21은 다양한 실시예에 따른, (마커를 갖는) 기구가 내비게이션을 위해 어떻게 사용되는지의 데이터 흐름 및 작업을 예시한다.
홀로그래픽 모드에서, 스캔은 스캔의 상이한 부분을 강조하고 이들을 상이하게 컬러링하는 더 상세한 3D 볼륨을 생성하는데 사용될 수 있다. 이는 다양한 실시예에 따라, 일부 사용자가 해부구조의 상이한 부분을 더 명확하게 시각화하는 것을 도울 수 있다.
일단 계획이 생성되고 3D 볼륨이 정확하게 오버레이되면, 시스템은 다양한 실시예에 따라, 계획을 자동으로 로딩하고 3D 볼륨으로 또한 오버레이할 수 있다.
이것이 행해지고 있는 동안, 다양한 실시예에 따르면, 고정된 3D 마커는 일반적으로 뷰에 남아있을 것이고, 시스템은 고정된 마커와의 오버레이의 상대적 배향을 사용하여 이를 고정된 마커의 서브시스템이 되게 할 수 있다.
그 후, 다양한 실시예에 따라, 시스템은 고정된 마커에 대한 홀로그래픽 오버레이의 배향을 업데이트하는 동안 사용자는 고정된 마커 주위로 이동할 수 있다. 고정된 마커의 예가 도 25 및 도 26에 도시되어 있고, 아래에서 재고될 것이다.
사용자가 절차를 보고 수행하기 위한 양호한 위치를 선택했을 때, 사용자는 다양한 실시예에 따라 사용자가 사용하기를 원하는 기구에 기구 추적 마커를 고정할 수 있다. 이들 고정된 마커는 예를 들어 도 25 또는 도 26에 도시된 것과 유사할 수 있다.
시스템은 기구를 실시간으로 추적할 수 있고, 그에 따라 홀로그래픽 오버레이를 업데이트할 수 있다. 도 21을 참조한다.
이러한 방식으로, 사용자는 다양한 실시예에 따라 환자 내부의 사용자의 위치를 더 명확하게 볼 수 있다.
임의의 시점에서 홀로그래픽 오버레이가 오정렬되면, 사용자는 정정을 트리거링할 수 있고, 시스템은 문제를 신속하게 고정하고 정확도를 다시 거의 0.1mm로 되돌린다.
도 19는 조합 알고리즘을 이용하여, 홀로그래픽 투영이 실제 장면 상에 어떻게 중첩되는지의 데이터 흐름 및 작업을 예시한다. 예를 들어, 다양한 실시예에 따라, CPD(Correlating point drift algorithm) 및 ICP(Iterative Closest Point algorithm)가 이용될 수 있다.
도 20은 다양한 실시예에 따른, 홀로그래픽 모드에서 가능하게 되는 진보된 시각화 기능의 예의 세트를 도시한다. 본 개시내용의 소프트웨어는 또한 이러한 다양한 설정에 따라 AR 환경에서 설정을 조정하도록 구성될 수 있다.
사용자는 이제 홀로렌즈(HoloLens) 또는 매직 립(Magic Leap)(도 18 참조)과 같은 임의의 수의 다른 AR 디바이스를 연결할 수 있고, 고정된 마커를 기준으로서 사용하여, AR 오버레이들이 상당한 보충물로서 이용가능한 절차를 계속한다.
도 22는 일부 실시예에 따른, 사용자가 본 개시내용의 내비게이션 시스템을 사용하여 볼 수 있는 것의 예시적인 예시를 제공한다. 여기서 테이블에는 외과의사와 같은 사용자가 규칙적으로 볼 수 있는 두개골이 도시된다. 그 후, 내비게이션 시스템 하드웨어의 사용으로, 바 부착물을 갖는 디스플레이를 통해 또는 내비게이션 시스템 헤드셋을 통해, 사용자는 이전에 기록된 이미지 데이터를 사용하여 두개골 내부에 있을 수 있는 것의 슬라이스의 오버레이된 이미지를 볼 수 있다. 여기서, 데이터는 자기 공명 영상화를 통해 획득되었을 수 있는 뇌 및 내부 통로의 단면을 포함한다. 또한, 본 개시내용의 내비게이션 시스템은 훨씬 더 많은 이미징 데이터세트를 동시에 함께 오버레이할 수 있다. 예를 들어, 두개골의 X-선 데이터는 또한 MR 데이터와 함께 중첩될 수 있다. 사용자가 통상적으로 이러한 3개의 상이한 뷰에서 머리의 상이한 뷰를 나란히 보는 것보다는, 오히려 본 개시내용의 내비게이션 시스템은 사용자가 그가 있는 정확한 위치에서 서로 중첩됨으로써 그가 모두 어떻게 매끄럽게 관련되는지를 볼 수 있게 한다.
도 23은 일부 실시예에 따른, 규칙적으로 보이는 두개골 상에 중첩된 이미지 데이터의 세트 중 하나의 다양한 정도의 불투명도의 예를 도시한다. 도시된 바와 같이, 한 세트의 뷰의 명료성은 본 개시내용의 소프트웨어를 이용하여, 원하는 바에 따라, 증가 또는 감소될 수 있다.
도 24는 일부 실시예에 따른, 다수의 오버레이들을 제공하는 내비게이션 시스템의 다른 예를 제공한다. 이 예에서, 환자는 수술실에 있고 상승된다. 좌측에 도시된 바와 같이, 환자의 머리는 지지부 상에 놓인다. 환자의 나머지는 가려진다. 본 개시내용의 내비게이션 시스템을 사용하는 외과의사는 좌측에 도시된 바와 같이, 환자의 머리의 라이브 뷰 위에 중첩되도록 환자의 두개골의 이미징 데이터를 사용할 수 있다. 또한, 외과의사는 또한, 우측에 도시된 바와 같이, 환자의 뇌의 섹션의 이미징 데이터의 일부만을 동일한 뷰 상에 중첩시킬 수 있다. 특정된 뇌 물질의 위치는 환자의 머리 내부에 존재하는 곳의 위치에 정확하게 배치되어, 외과의사는 환자의 두개골의 위치가 환자의 뇌의 원하는 부분과 어떻게 관련되는지를 볼 수 있다. 상기 소프트웨어 섹션에서 논의된 바와 같이, 이들 다양한 공동 정합된 데이터 세트는 MRI 및 X-선 스캔과 같은 고정된 이미징 기술로부터 먼저 획득될 수 있다. 스캔이 2D 슬라이스에서 획득되는 경우에도, 2D 이미지 데이터의 3D 렌더링을 생성하기 위해 다양한 3D 소프트웨어 이미징 기술이 미리 수행될 수 있다. 이어서, 이미지 데이터의 3D 렌더링이 정확한 위치에서 환자의 규칙적인 뷰에 중첩될 수 있고, 외과의사가 환자 주위에서 움직일 때 외과의사는 상이한 각도로부터의 데이터 세트 전부를 볼 수 있을 것이다.
도 25 및 도 26은 비대칭적으로 배열된 4개의 마켓을 갖춘 디바이스가 도시된 도 25의 일부 실시예에 따른, 다수의 세트의 이미지 데이터가 환자 상에 중첩될 수 있게 하는 범용 기준점을 제공하는 예시적인 고정된 마커를 제공하며, 이는 목표 환자 근처의 일정한 위치에 배치될 수 있다. 소프트웨어는 이미지 데이터의 다른 세트 내의 이러한 동일한 4개의 지점을 다시 참조하는 것에 기초하여, 이미지를 올바르게 배향시키기 위해 이러한 4개의 지점을 시각적 큐로서 찾을 수 있다. 다른 예를 들어, 고정된 시각적 큐로서 4개의 지점을 또한 갖는 수술 테이블의 고정된 위치 상에 또는 환자에 부착될 수 있는 기구가 도 26에 도시되어 있다. 이들은 AR 이미지가 어디에 배치되어야 하는지를 교정하기 위해 내비게이션 소프트웨어에 의해 참조된다.
일부 실시예에서, 본 개시내용의 내비게이션 소프트웨어는 고정된 기준점을 찾기 위해 이미지 데이터 내의 및/또는 사용자, 예를 들어, 외과의사의 실시간 뷰 내의 고유 특징에 의존할 수 있다. 예를 들어, 내비게이션 소프트웨어는 환자의 눈 또는 아이 소켓을 환자의 두개골에 대한 기준점으로서 식별할 수 있다. 이러한 종류의 큐는 환자의 일부가 가려질 때 유용할 수 있으며, 인위적으로 배치된 기준 마커의 뷰를 유지하는 것은 항상 보장되는 것은 아니다. 이와 유사하게, 소프트웨어가 이동하는 외과의사를 계속 처리함에 따라 환자 상의 또는 그 근방의 기준점의 유형이 변경될 수 있다.
도 22, 도 23 및 도 24의 예에 도시된 바와 같이, 본 개시내용의 내비게이션 시스템은 실시간으로 라이브 이미지 상에 디지털 이미지를 오버레이하고, 관찰자가 실시간으로 물체 주위로 이동하더라도 라이브 물체의 동일한 위치에 디지털 이미지를 고정할 수 있다. 이는 융합 프로세스(fusion process)라고 지칭될 수 있고, 바 부착물을 포함하는 모바일 컴퓨터 또는 헤드기어와 같은 내비게이션 시스템 하드웨어가 융합 프로세스를 실시간으로 수행한다. 도 16 내지 도 21, 특히 도 17에 설명된 소프트웨어 알고리즘에 따라, 내비게이션 시스템은 먼저 MR 스캔 또는 CT 스캔의 조합된 슬라이스의 3D 렌더링과 같은, 물체에 관련된 디지털 콘텐츠를 수신할 수 있다. 내비게이션 시스템은 디지털 이미지의 형상을 라이브 물체의 보이는 것과 실시간으로 매칭시키는 것을 포함하는 3D 융합 기술을 수행할 수 있다. 예를 들어, 내비게이션 시스템은 환자의 머리를 실시간으로 볼 수 있는 한편, 내비게이션 시스템은 환자의 두개골의 x-선 데이터 및 환자의 뇌의 MR 데이터에 액세스한다. 디지털 콘텐츠를 현재 시청 중인 환자의 머리의 크기로 올바르게 크기 조정하기 위해 소프트웨어에 의해 하나 이상의 변환이 수행될 필요가 있을 수 있다.
일부 경우에서, 내비게이션 시스템 소프트웨어는 또한 디지털 이미지 중 하나 이상의 디지털 이미지의 2D 융합 프로세스를 수행할 수 있다. 내비게이션 시스템 소프트웨어는 라이브 물체의 각도와 매칭하도록 2D 이미지의 하나 이상의 회전을 수행하는 것에 의해 이를 달성할 수 있다. 내비게이션 시스템 소프트웨어는 이어서 라이브 물체 상에 3D 및 2D 이미지 중 하나 또는 양자 모두의 오버레이를 디스플레이할 수 있고, 관찰자가 물체 주위에서 이동하는 동안 3D 및 2D 이미지의 적합한 배향을 계속 유지하기 위해 라이브 물체의 관찰자의 각도 및 위치를 계속 추적할 수 있다. 전술한 바와 같이, 융합되기를 원하는 각각의 물체에 대한 고유 기준 마커는 내비게이션 시스템이 그 시야에 대한 물체의 현재 각도 및 위치가 무엇인지를 식별하는 데 사용될 수 있다. 이들 마커의 예가 도 25 및 도 26에 도시되어 있다. 앞서 언급한 바와 같이, 본 개시내용의 내비게이션 시스템은, 관찰자가 실시간 라이브 물체 주위를 이동할 때 정확한 배향으로, 0.1mm의 배치 정확도 내로, 이들 디지털 이미지를 실시간 라이브 물체에 융합시킬 수 있다.
일부 실시예에서, 기준 마커는 또한 환자의 의료 절차에 관련되는 수술 또는 의료 기구 상에 포함된다. 이는, 여기서 설명된 기술을 이용하여, 내비게이션 시스템이 의료 디바이스의 이동을 통합하고 의료 디바이스와 라이브 물체 및 오버레이의 증강 현실 상호작용을 제공하는 것을 허용할 수 있다. 이러한 방식으로, 원격 사용자가 환자로부터 물리적으로 떨어져 있는 경우에도 원격 사용자는 어떻게 의료 디바이스가 환자 및 환자 내부의 관련 부분과 상호작용할 수 있거나 상호작용해야 하는지를 볼 수 있을 수 있다. 이러한 기술은 또한 원격 위치로부터 실시하거나 준비하는 데 사용될 수 있다. 이와 같이, 본 명세서에서의 개시내용은 환자 데이터의 정확한 복제본을 사용한 실시를 제공하는 것에 의해 및/또는 다른 사람을 훈련시키는 교육 툴을 제공하는 것에 의해 의료 절차의 준비를 개선시키는 강력한 툴을 제공할 수 있다.
본 명세서는 많은 특정 구현 세부사항을 포함하지만, 이들은 임의의 발명 또는 청구될 수 있는 것의 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정 발명의 특정 구현에 특정한 특징의 설명으로서 해석되어야 한다. 별도의 구현의 맥락에서 본 명세서에 설명되는 특정 특징은 또한 단일 구현으로 조합하여 구현될 수 있다. 반대로, 단일 구현의 맥락에서 설명되는 다양한 특징은 또한 개별적으로 다수의 구현으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 또한, 특징이 특정 조합으로 작용하는 것으로 전술될 수 있고 심지어 이와 같이 초기에 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징이, 일부 경우에, 이러한 조합으로부터 활용될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변경에 관한 것일 수 있다.
유사하게, 비록 동작이 특별한 순서로 도면에 도시되어 있지만, 이는, 이러한 동작이 도시된 특별한 순서 또는 순차적인 순서로 수행될 것 또는 바람직한 결과를 달성하기 위해서 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되지 않아야 한다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유익할 수 있다. 또한, 전술한 구현에서의 다양한 시스템 컴포넌트의 분리는 모든 구현에서 이러한 분리를 요구하는 것으로 이해되어서는 안 되며, 설명된 프로그램 컴포넌트 및 시스템은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 또는 다수의 소프트웨어 제품으로 패키지화될 수 있다는 것을 이해하여야 한다.
"또는"에 대한 언급은 "또는"을 사용하여 설명되는 임의의 용어가 설명되는 용어 중 단일의 것, 2개 이상의 것 및 모든 것 중 임의의 것을 나타낼 수 있도록 포괄적인 것으로 해석될 수 있다. "제1", "제2", "제3" 같은 라벨은 반드시 순서를 나타내는 것을 의미하지는 않으며, 단지 일반적으로 비슷하거나 유사한 항목 또는 엘리먼트 사이를 구별하기 위해서 사용된다.
본 개시내용에서 설명된 구현에 대한 다양한 수정이 본 기술 분야의 통상의 기술자에게 용이하게 명백할 수 있으며, 여기서 정의된 일반 원리는 본 개시내용의 사상이나 범위로부터 벗어나지 않고 다른 구현에 적용될 수 있다. 따라서, 청구항은 본 명세서에 도시된 구현에 제한되도록 의도되지 않으며, 본 명세서에 개시된 본 개시내용, 원리 및 신규한 특징과 일치하는 가장 넓은 범위가 부여되어야 한다.
달리 구체적으로 기재되지 않으면, "처리(processing)", "컴퓨팅(computing)", "계산(calculating)", "결정(determining)", "제시(presenting)", "디스플레이(displaying)" 등과 같은 단어를 이용한 본 명세서에서의 논의는 정보를 수신하거나, 저장하거나, 송신하거나, 디스플레이하는 하나 이상의 메모리(예를 들어, 휘발성 메모리, 비-휘발성 메모리, 또는 임의의 적합한 그 조합), 레지스터, 또는 다른 기계 컴포넌트 내의 물리적(예를 들어, 전기적, 자기적, 또는 광학적) 양으로서 표현된 데이터를 조작하거나 변환하는 기계(예를 들어, 컴퓨터)의 작용 또는 프로세스를 참조할 수 있다. 또한, 달리 구체적으로 언급되지 않는 한, 용어 부정관사("a" 또는 "an")는 특허 문헌에서 일반적인 바와 같이, 2개 이상의 인스턴스를 포함하도록 본 명세서에서 사용된다. 마지막으로, 본 명세서에서 사용될 때, 접속사 "또는"은 구체적으로 달리 언급되지 않는 한 비배타적 "또는"을 지칭한다.
본 개시내용은 예시적이며 제한적이지 않다. 본 개시내용에 비추어 추가의 수정이 본 기술 분야의 통상의 기술자에게 명백할 것이며, 첨부된 청구항의 범위 내에 속하는 것으로 의도된다.

Claims (20)

  1. 증강 현실 디바이스이며,
    하우징;
    하우징에 결합되고 3차원 컴포넌트를 갖는 이미지 데이터를 제공하도록 구성된 깊이 카메라;
    하우징에 결합되고, 인간 사용자가 자연적으로 볼 수 없는 초감각적 이미지 데이터를 제공하도록 구성된 비주얼 카메라;
    적어도 2개 세트의 이미지 데이터를 수신하고, 적어도 2개 세트의 이미지 데이터 양자 모두를 사용자의 시야 내의 공통 기준점에 오버레이하도록 구성된 오버레이 디스플레이 컴포넌트를 포함하는, 증강 현실 디바이스.
  2. 제1항에 있어서, 하우징을 지지하도록 구성된 헤드셋을 더 포함하는, 증강 현실 디바이스.
  3. 제2항에 있어서, 깊이 카메라 및 비주얼 카메라는 사용자의 시야가 깊이 카메라 및 비주얼 카메라의 시야 양자 모두와 일치하도록 헤드셋 상에 위치되는, 증강 현실 디바이스.
  4. 제2항에 있어서, 오버레이 디스플레이 컴포넌트는 사용자가 헤드셋을 착용할 때 사용자의 시야 위에 위치되는, 증강 현실 디바이스.
  5. 제1항에 있어서, 모바일 디바이스에 부착되도록 구성된 바 부착물을 더 포함하는, 증강 현실 디바이스.
  6. 제5항에 있어서, 오버레이 디스플레이 컴포넌트는 모바일 디바이스의 시각적 디스플레이를 이용하는, 증강 현실 디바이스.
  7. 수술 내비게이션을 위한 시스템이며,
    로컬 지리적 위치에 위치된 제1 증강 현실(AR) 디바이스;
    원격 지리적 위치에 위치되고, 제1 AR 디바이스에 유선 또는 무선으로 결합되는 제2 증강 현실 디바이스;
    제1 AR 디바이스 및 제2 AR 디바이스 양자 모두에 결합된 소프트웨어 시스템을 포함하고, 소프트웨어 시스템은
    제1 AR 디바이스에 의해 생성된 실시간 이미지 데이터를 처리하고;
    이전에 기록된 고정된 의료 이미지 데이터에 액세스하고;
    제2 AR 디바이스로 하여금 실시간 이미지 데이터 및 실시간 이미지 데이터 위에 중첩된 고정된 의료 이미지 데이터를 디스플레이하게 하도록 구성되는, 시스템.
  8. 제7항에 있어서, 제1 AR 디바이스는 시야 내의 고정된 기준 마커를 식별하고 고정된 기준 마커에 관한 이미지 데이터를 제2 AR 디바이스에 송신하도록 구성되는, 시스템.
  9. 제8항에 있어서, 소프트웨어 시스템은 고정된 기준 마커에 관한 이미지 데이터를 이용하여 고정된 의료 이미지 데이터를 실시간 이미지 데이터로 배향시키도록 구성되는, 시스템.
  10. 제7항에 있어서, 고정된 의료 이미지 데이터는 2D 및 3D 이미지 데이터를 포함하는, 시스템.
  11. 제7항에 있어서, 소프트웨어 시스템은 실시간 이미지 데이터 위에 중첩된 2D 및 3D 이미지 데이터 양자 모두의 디스플레이를 동시에 야기하도록 구성되는, 시스템.
  12. 제7항에 있어서, 실시간 이미지 데이터에 걸쳐 중첩된 2D 및 3D 데이터는 실시간 이미지 데이터의 물체 내의 또는 내부의 물리적 콘텐츠의 하나 이상의 뷰를 나타내는, 시스템.
  13. 물체의 디지털 이미지 데이터를 물체의 실시간 뷰로 융합하기 위한 증강 현실(AR) 방법이며,
    물체의 뷰에 실시간으로 액세스하는 단계;
    물체의 디지털 이미지 데이터에 액세스하는 단계- 물체의 디지털 이미지 데이터는 이전에 캡처되어 물체의 하나 이상의 정적 디지털 이미지로서 저장됨 -;
    증강 현실 디스플레이 스크린을 이용하여, 물체의 뷰에 디지털 이미지 데이터를 실시간으로 부착하는 융합 기술을 수행하여, 물체의 뷰가 증강 현실 디스플레이 스크린 내의 위치 또는 배향에서 변할 때 디지털 이미지 데이터가 물체의 뷰에 실시간으로 부착되어 머무르게 하는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 디지털 이미지 데이터는 물체의 3D 디지털 이미지 데이터를 포함하는, 방법.
  15. 제13항에 있어서, 디지털 이미지 데이터는 물체의 2D 디지털 이미지 데이터를 포함하는, 방법.
  16. 제13항에 있어서,
    물체의 2D 디지털 이미지 데이터에 액세스하는 단계;
    2D 디지털 이미지 데이터를 물체의 3D 디지털 이미지 데이터로 변환하기 위해 3D 렌더링 기술을 수행하는 단계를 더 포함하고;
    융합 기술은 물체의 3D 디지털 이미지 데이터를 물체의 뷰에 실시간으로 부착하는 것을 포함하는, 방법.
  17. 제14항에 있어서, 융합 기술은, 3D 디지털 이미지 데이터의 크기가 물체의 크기와 정확하게 비례하여 디스플레이되도록, 물체의 뷰의 크기를 실시간으로 3D 디지털 이미지 데이터의 크기와 매칭시키는 단계를 포함하는, 방법.
  18. 제14항에 있어서, 융합 기술은, 3D 디지털 이미지 데이터의 형상이 물체의 형상과 정확하게 비례하여 디스플레이되도록, 물체의 뷰의 형상을 3D 디지털 이미지 데이터의 형상과 실시간으로 매칭시키는 단계를 포함하는, 방법.
  19. 제13항에 있어서, 물체의 뷰 근처의 고정된 기준 마커에 실시간으로 액세스하는 단계를 더 포함하고, 고정된 기준 마커는, 물체의 뷰의 위치 또는 배향이 변하더라도, 물체의 뷰의 고유한 3차원 배향 및 깊이를 제공하기에 충분한 데이터를 제공하는, 방법.
  20. 제19항에 있어서, 융합 기술을 수행하는 단계는 실시간으로 물체의 뷰에 디지털 이미지 데이터를 부착하기 위해 고정된 기준 마커를 이용하는 단계를 포함하는, 방법.
KR1020227033761A 2020-02-28 2021-02-28 수술 내비게이션 시스템 및 그 응용 KR20230037007A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202062983405P 2020-02-28 2020-02-28
US202062983432P 2020-02-28 2020-02-28
US202062983427P 2020-02-28 2020-02-28
US62/983,405 2020-02-28
US62/983,427 2020-02-28
US62/983,432 2020-02-28
PCT/US2021/020168 WO2021174172A1 (en) 2020-02-28 2021-02-28 Surgical navigation system and applications thereof

Publications (1)

Publication Number Publication Date
KR20230037007A true KR20230037007A (ko) 2023-03-15

Family

ID=75143752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227033761A KR20230037007A (ko) 2020-02-28 2021-02-28 수술 내비게이션 시스템 및 그 응용

Country Status (8)

Country Link
US (1) US20230355315A1 (ko)
EP (1) EP4110218A1 (ko)
JP (1) JP2023526716A (ko)
KR (1) KR20230037007A (ko)
CN (1) CN115515520A (ko)
BR (1) BR112022017198A2 (ko)
CA (1) CA3169768A1 (ko)
WO (1) WO2021174172A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113730715B (zh) * 2021-10-15 2023-10-03 核工业总医院 一种遥控麻醉辅助控制方法、装置、电子设备及存储介质
US11850005B1 (en) * 2022-10-27 2023-12-26 Mammen Thomas Use of immersive real-time metaverse and avatar and 3-D hologram for medical and veterinary applications using spatially coordinated multi-imager based 3-D imaging
CN115954096B (zh) * 2023-03-14 2023-05-30 南京诺源医疗器械有限公司 一种基于图像数据处理的腔镜vr成像系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170042631A1 (en) * 2014-04-22 2017-02-16 Surgerati, Llc Intra-operative medical image viewing system and method
WO2017066373A1 (en) * 2015-10-14 2017-04-20 Surgical Theater LLC Augmented reality surgical navigation
EP3509527A4 (en) * 2016-09-09 2020-12-30 Mobius Imaging LLC METHODS AND SYSTEMS FOR DISPLAYING PATIENT DATA IN COMPUTER-ASSISTED SURGERY
CN111212609B (zh) * 2017-08-14 2023-09-26 瑟西纳斯医疗技术有限责任公司 使用用于将医疗设备放置在骨骼中的具有形状对准的增强现实的系统和方法
WO2019245861A2 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided depth tracking in orthopedic surgical procedures

Also Published As

Publication number Publication date
EP4110218A1 (en) 2023-01-04
BR112022017198A2 (pt) 2022-11-01
CA3169768A1 (en) 2021-09-02
JP2023526716A (ja) 2023-06-23
CN115515520A (zh) 2022-12-23
WO2021174172A1 (en) 2021-09-02
US20230355315A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US20220346889A1 (en) Graphical user interface for use in a surgical navigation system with a robot arm
CN109758230B (zh) 一种基于增强现实技术的神经外科手术导航方法和系统
US20220084298A1 (en) Surgeon head-mounted display apparatuses
US20220405935A1 (en) Augmented reality patient positioning using an atlas
EP3498212A1 (en) A method for patient registration, calibration, and real-time augmented reality image display during surgery
KR101647467B1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
US11963723B2 (en) Visualization of medical data depending on viewing-characteristics
US20190254753A1 (en) Augmented reality navigation systems for use with robotic surgical systems and methods of their use
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
Gavaghan et al. A portable image overlay projection device for computer-aided open liver surgery
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
JP2020518423A (ja) 手術ナビゲーションシステム
KR20230037007A (ko) 수술 내비게이션 시스템 및 그 응용
JP2004538538A (ja) 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
Zhang et al. 3D augmented reality based orthopaedic interventions
Salb et al. INPRES (intraoperative presentation of surgical planning and simulation results): augmented reality for craniofacial surgery
JP2022526540A (ja) 整形外科的固定制御及び可視化
US20230363830A1 (en) Auto-navigating digital surgical microscope
WO2023039596A1 (en) Integrated surgical navigation and visualization system, and methods thereof
WO2022192690A1 (en) Automated touchless registration for surgical navigation