KR102327527B1 - 3차원 데이터로 피험자의 실시간 뷰 - Google Patents

3차원 데이터로 피험자의 실시간 뷰 Download PDF

Info

Publication number
KR102327527B1
KR102327527B1 KR1020197030300A KR20197030300A KR102327527B1 KR 102327527 B1 KR102327527 B1 KR 102327527B1 KR 1020197030300 A KR1020197030300 A KR 1020197030300A KR 20197030300 A KR20197030300 A KR 20197030300A KR 102327527 B1 KR102327527 B1 KR 102327527B1
Authority
KR
South Korea
Prior art keywords
subject
real
time
headset
data
Prior art date
Application number
KR1020197030300A
Other languages
English (en)
Other versions
KR20190138799A (ko
Inventor
스티븐 츠벳코
웬델 알렌 기비
Original Assignee
노바라드 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=61147999&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102327527(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 노바라드 코포레이션 filed Critical 노바라드 코포레이션
Publication of KR20190138799A publication Critical patent/KR20190138799A/ko
Application granted granted Critical
Publication of KR102327527B1 publication Critical patent/KR102327527B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Urology & Nephrology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 3차원(3D) 데이터로 피험자의 실시간 보기를 증강시키는 방법에 관한 것이다. 일실시예에서, 한 방법은 피험자의 외부층 및 피험자의 다중 내부층을 포함하는 3D 데이터로 피험자에 대한 3D 데이터를 식별하는 단계; 3D 데이터로부터 외부층의 가상 형태 측정을 판단하는 단계; 3D 공간에 피험자의 외부층의 실시간 위치를 등록하는 단계; 상기 가상 형태 측정과 실시간 형태 측정을 이용해 3D 공간에서 피험자의 외부층의 등록된 실시간 위치와 정렬하기 위해 3D 데이터로부터 외부층의 위치를 자동으로 등록하는 단계; 및 피험자의 외부층의 실시간 뷰에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 증강 현실 헤드셋에 디스플레이하는 단계를 포함할 수 있다.

Description

3차원 데이터로 피험자의 실시간 뷰
본 출원은 2018년 2월 12일자로 출원된 미국 특허 출원번호 제15/894,595호의 PCT이며, 이는 2017년 3월 30일자로 출원된 미국 특허 출원번호 제15/474,702호(현재 미국 특허 번호 제9,892,564호)의 연속 출원이며, 이들은 전체적으로 본 명세서에 참고로 포함되어 있다.
증강 현실(AR) 시스템은 일반적으로 실제 환경에 대한 사용자의 실시간 뷰를 취하고 비디오, 사운드 또는 그래픽과 같은 컴퓨터로 생성된 가상 요소들로 실시간 뷰를 증강시킨다. 결과적으로, AR 시스템은 사용자의 현재 현실 인식을 향상시키는 기능을 한다.
AR 시스템이 직면한 한 가지 통상적인 문제는 가상 요소의 위치를 실제 환경의 실시간 뷰와 정확하게 정렬하는 것이다. 이 정렬 과정은 종종 수동으로 수행되거나 비해부학적 기점을 수동으로 배치한 후에만 자동으로 수행된다. 두 경우 모두 수동 프로세스는 시간이 오래 걸리고 성가시며 정확하지 않을 수 있다.
AR 시스템이 직면하는 또 다른 통상적인 문제는 가상 요소를 관리하기 위한 가상 컨트롤의 적절한 배치이다. 가상 컨트롤은 사용자가 가상 요소와 상호 작용할 수 있도록 도와주지만 종종 실시간 보기의 위치에 배치되어 사용자에 도움을 주기 보다 방해되는 경우가 많다.
본 명세서에서 청구되는 주제는 임의의 단점을 해결하거나 상술한 바와 같은 환경에서만 동작하는 실시예로 국한되지 않는다. 오히려, 이 배경은 본 명세서에 기술된 일부 실시예들이 실시될 수 있는 하나의 예시적인 기술 영역을 예시하기 위해서만 제공된다.
일실시예에서, 3차원(3D) 데이터로 피험자의 실시간 뷰를 증강시키는 방법은 다양한 동작을 포함할 수 있다. 예를 들어, 상기 방법은 피험자의 외부층 및 피험자의 다중 내부층을 포함하는 3D 데이터로 피험자에 대한 3D 데이터를 식별하는 단계를 포함할 수 있다. 상기 방법은 또한 3D 데이터로부터 피험자의 외부층의 가상 형태 측정을 결정하는 단계를 포함할 수 있다. 상기 방법은 3D 공간에서 피험자의 외부층의 실시간 위치를 등록하는 단계를 더 포함할 수 있다. 상기 방법은 또한 피험자의 외부층의 실시간 형태 측정을 결정하는 단계를 포함할 수 있다. 상기 방법은 상기 가상 형태 측정과 실시간 형태 측정을 이용해 3D 공간에서 피험자의 외부층의 등록된 실시간 위치와 정렬하기 위해 3D 공간으로부터 피험자의 외부층의 위치를 자동으로 등록하는 단계를 더 포함할 수 있다. 상기 방법은 또한 증강 현실 헤드셋에서 피험자의 외부층의 실시간 뷰에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계를 포함할 수 있다.
다른 실시예에서, 3D 데이터로 피험자의 실시간 뷰를 증강시키는 방법은 다양한 동작을 포함할 수 있다. 예를 들어, 상기 방법은 피험자의 외부층 및 피험자의 다중 내부층을 포함하는 3D 데이터로 피험자에 대한 3D 데이터를 식별하는 단계를 포함할 수 있다. 상기 방법은 또한 증강 현실 헤드셋에서 피험자의 외부층의 실시간 뷰 상에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계를 포함할 수 있다. 상기 방법은 증강 현실 헤드셋에서 3D 데이터로부터 피험자의 투영된 내부층의 디스플레이를 변경하기 위한 옵션을 포함하는 가상 사용자 인터페이스를 생성하는 단계를 더 포함할 수 있다. 상기 방법은 또한 증강 현실 헤드셋의 초점 방향이 피험자에게 초점 맞지 않음으로 인해 실시간 뷰 상에 투영된 가상 사용자 인터페이스를 증강 현실 헤드셋에 디스플레이하는 단계를 포함할 수 있다. 상기 방법은 상기 증강 현실 헤드셋의 초점 방향이 피험자에게 초점 맞음으로 인해 가상 현실 사용자 인터페이스를 증강 현실 헤드셋에 숨기는 단계를 더 포함할 수 있다.
상술한 요약 및 하기의 상세한 설명 둘 다는 설명이며 청구된대로 본 발명을 제한하지 않는 것으로 이해되어야 한다.
본 발명의 내용에 포함됨.
첨부도면을 이용하여 추가적 특이성 및 세부내용과 함께 실시예를 기술하고 설명한다.
도 1은 피험자의 실시간 뷰가 3차원(3D) 데이터로 증강될 수 있는 예시적인 증강 현실(AR) 환경을 도시한 것이다.
도 2a-2f는 제 1 피험자의 도 1의 AR 환경의 사진이다.
도 3은 제 2 피험자의 도 1의 AR 환경의 사진이다.
도 4a-4b는 제 3 피험자의 도 1의 AR 환경의 사진이다.
도 5는 3D 데이터로 피험자의 실시간 뷰를 증강시키는 데 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한 것이다.
도 6a-6e는 3D 데이터로 피험자의 실시간 뷰를 증강시키는 예시적인 방법의 흐름도이다.
의료 영상은 피험자 내부의 시각적 표현을 생성하기 위해 사용될 수 있다. 보다 구체적으로, 의료 영상은 훈련, 연구, 진단 및 치료와 같은 다양한 목적을 위해 피부와 같은 피험자의 외부층에 의해 숨겨진 내부 구조를 드러내기 위해 사용될 수 있다.
종래의 의료 영상 시스템은 피험자에 대한 3차원(3D) 데이터를 생성한 다음 그 3D 데이터를 컴퓨터 디스플레이상의 이미지 또는 이미지들로서 디스플레이할 수 있다. 실제 피험자로부터 떼어내 컴퓨터 디스플레이상에서 피험자의 이미지를 보는 것은 훈련, 연구, 진단 및 치료에 유용할 수 있지만, 이러한 떼어내 보는 것은 또한 일부 문제를 야기할 수 있다.
예를 들어, 외과의가 피험자의 뇌에서 종양을 제거해야 하는 경우, 외과의는 컴퓨터 디스플레이에서 피험자의 뇌의 이미지를 볼 수 있다. 컴퓨터 디스플레이에서 종양의 위치를 본 후, 외과의는 컴퓨터 디스플레이로부터 수술대 위의 실제 피험자로 그의 시야를 옮겨 피험자의 뇌 내부에 있는 종양의 실제 피험자 상의 대략적인 위치를 식별하려고 시도할 수 있다. 종양의 대략적인 위치를 식별하는 이 방법은 어렵고 실수가 발생하기 쉽다. 예를 들어, 외과의는 실제로 종양이 뇌의 오른쪽에 있을 때 이미지에서 뇌의 왼쪽이 종양을 갖고 있는 것으로 뜻하기 않게 식별할 수 있다. 이 실수는 외과의가 피험자의 두개골 왼쪽에 불필요한 절개를 하게 할 수 있다.
다른 예에서, 의사가 피험자에 대해 무릎 수술을 수행해야 하는 경우, 의사는 컴퓨터 디스플레이에서 피험자의 무릎 이미지를 볼 수 있다. 컴퓨터 디스플레이에서 무릎의 문제 영역을 본 후, 의사는 컴퓨터 디스플레이로부터 수술대 위의 실제 피험자로 시야를 옮기고 수술을 위해 실제 피험자의 문제가 있는 무릎 영역을 식별하려고 시도할 수 있다. 문제가 있는 무릎 영역을 식별하는 이 방법은 어렵고 실수가 발생하기 쉽다. 예를 들어, 의사는 수술대에 있는 피험자가 컴퓨터 디스플레이의 이미지와 일치하지 않은 것을 알지 못한채 뜻하지 않게 컴퓨터 디스플레이에서 잘못된 피험자의 이미지를 가져올 수 있다. 이 실수는 외과의가 피험자마다 문제 있는 무릎 영역이 당연히 다르기 때문에 잘못된 위치에 잘못 절개할 수 있다.
본 명세서에 개시된 실시예는 종래의 의료 영상 시스템에 비해 다양한 이점을 제공할 수 있다. 특히, 본 명세서에 개시된 실시예는 예를 들어 3D 데이터로 피험자의 실시간 뷰를 증강시킬 수 있다. 일부 실시예들에서, 피험자의 3D 데이터는 실제 피험자의 실시간 뷰와 자동으로 정렬되거나 등록될 수 있으며, 3D 데이터로부터 도출된 이미지가 피험자의 실시간 뷰 상에 투영될 수 있다. 따라서, 이들 실시예는 임의의 시간 소모적이고, 번거롭고, 부정확한 수동 정렬없이 및/또는 임의의 시간 소모적이고, 번거롭고, 비해부학적 기준의 부정확한 수동 배치없이 실제 피험자를 보면서 의료 전문가가 피험자의 가상 내부를 볼 수 있게 한다. 훈련, 연구, 진단 또는 치료에 사용될 때, 이들 실시예는 의료 전문가가 피험자 내에서 타겟 위치를 보다 쉽고 정확하게 찾을 수 있게 한다.
예를 들어, 상기 논의된 뇌 수술 예에서 이용될 때, 이들 실시예는 외과의가 뇌의 좌우 측면 사이 종양 위치에 혼동되는 것을 피할 수 있고, 이로써 외과의가 종양을 제거하기 위해 수술 중 두개골의 잘못된 측면에 불필요한 절개를 하는 것을 방지한다. 마찬가지로, 상술한 무릎 수술 예에서 이용될 때, 이들 실시예는 자동 정렬이 실패할 수 있거나 자동 정렬이 정확하다는 신뢰가 낮은 것을 나타냄으로써 피험자 데이터가 현재 수술대에 있는 피험자의 데이터가 아닐 수 있음을 의사에게 경고하기 때문에, 의사가 틀린 피험자에 대한 3D 데이터를 사용하는 것을 방지할 수 있다.
또한, 일부 실시예들에서, 3D 데이터로 피험자의 실시간 뷰의 증강은 가상 사용자 인터페이스 및 피험자의 실시간 뷰 상에 투영된 이미지를 변경하기 위한 다른 가상 컨트롤의 디스플레이를 포함할 수 있다. 이 가상 사용자 인터페이스 및 이러한 다른 가상 제어는 피험자를 볼 때 의료 전문가의 시야를 방해하지 않고, 의료 전문가를 위해 비교적 일정한 초점 거리를 유지하고/하거나 의료 전문가를 향하는 가상 사용자 인터페이스의 방향을 유지하게 투영될 수 있다. 이러한 방식으로, 이들 실시예는 의료 전문가가 피험자의 실시간 뷰 상에 투영된 이미지를 빠르고 쉽게 변경할 수 있게 한다.
도면을 참조하면, 도 1은 증강 현실(AR) 환경(100)의 예를 도시한다. 일부 실시예에서, 환경(100)은 3D 공간(102), 사용자(104), 피험자(106) 및 네트워크(110)를 통해 서버(112)와 통신할 수 있는 AR 헤드셋(108)을 포함할 수 있다. 일부 실시예들에서, 환경(100)은 또한 가상 사용자 인터페이스(114), 가상 공간 디퍼런스 박스(116), 물체(118)의 가상 삽입부(118a) 및 가상 커서(122)를 포함할 수 있으며, 이들 모두는 이들 가상 요소가 AR 헤드셋(108)에 의해 생성되고 AR 헤드셋(108)을 통해 사용자(104)에 의해서만 볼 수 있음을 나타내는 대시선으로 도시되어 있다.
일부 실시예에서, 3D 공간(102)은 (도 1에 도시된 바와 같은) 수술대(103)를 갖춘 수술실, 사무실, 교실 또는 실험실을 포함하나 이에 국한되지 않는 임의의 3D 공간일 수 있다. 일부 실시예들에서, 3D 공간(102)은 사용자(104)가 AR 헤드셋(108)을 착용하는 동안 피험자(106)를 볼 수 있는 공간일 수 있다.
일부 실시예에서, 사용자(104)는 (도 1에 도시된 바와 같이) 의료 전문가, 강사, 연구원, 피험자 또는 피험자의 간병인을 포함하나 이에 국한되지 않는 AR 헤드셋(108)의 임의의 사용자일 수 있다. 예를 들어, 의료 전문가는 피험자(106)에 대한 시술을 수행하기 위해 AR 헤드셋(108)을 사용할 수 있다. 마찬가지로, 연구원 또는 강사는 의학적 연구를 수행하거나 의대생을 가르치는 동안 AR 헤드셋(108)을 사용할 수 있다. 또한, 피험자(106)의 보호자 또는 피험자(106) 자신은 의료 전문가가 피험자(106)에 대해 제안된 시술을 설명하려고 시도할 때 AR 헤드셋(108)을 사용할 수 있다.
일부 실시예들에서, 피험자(106)는 의식이 있거나 의식이 없거나, 살아있거나 죽거나, 전체이거나 상실한 하나 이상의 신체 부위가 있는 임의의 동물일 수 있다. 예를 들어, 피험자(106)는 (도 1에 도시된 바와 같이) 사용자(104)에 의한 시술을 받기 위해 의식이 없는 살아있는 성인 인간일 수 있다. 다른 예에서, 피험자(106)는 연구 또는 훈련 목적으로 해부될 성인 인간의 사체일 수 있다. 다른 예에서, 피험자(106)는 의학적 상태를 진단하기 위해 수의사가 평가하는 의식이 있는 동물일 수 있다. 다른 예에서, 피험자(106)는 사망한 사람의 하나의 사지 또는 장기일 수 있다.
일부 실시예에서, AR 헤드셋(108)은 3D 데이터로 피험자(106)의 실시간 뷰를 증강시킬 수 있는 AR 헤드셋 형태의 임의의 컴퓨터 시스템일 수 있다. 예를 들어, AR 헤드셋(108)은 (도 1에 도시된 바와 같이) 뼈(106b), 근육, 장기 또는 체액을 포함하나 이에 국한되지 않는 피험자(106)의 하나 이상의 내부층으로 피험자(106)의 실시간 뷰를 증강시키기 위해 사용자(104)에 의해 이용될 수 있다. 일부 실시예에서, AR 헤드셋(108)은 3D 공간(102)에서 사용자(104)의 현재 위치에 관계없이 피험자(106)의 실시간 뷰의 이 증강을 수행할 수 있다. 예를 들어, 사용자(104)는 수술대(103) 주위를 걸을 수 있고, 3D 공간(102) 내에 있는 임의의 각도에서 피험자(106)을 볼 수 있으며, 그동안 내내 AR 헤드셋(108)은 피험자(106)의 하나 이상의 내부층으로 피험자(106)의 실시간 뷰를 지속적으로 증강시킬 수 있어, 3D 공간(102) 내에 임의의 각도에서 사용자가 피험자(106)과 피험자(106)의 3D 데이터 모두를 볼 수 있게 된다. AR 헤드셋(108)은 도 6a 내지 도 6e와 연계하여 본 명세서에 개시된 방법에 따라 3D 데이터로 피험자(106)의 실시간 뷰의 이 증강을 수행할 수 있다. 일부 실시예들에서, AR 헤드셋(108)은 Microsoft HoloLens의 수정된 버전일 수 있다.
일부 실시예들에서, 네트워크(110)는 AR 헤드셋(108)과 서버(112) 또는 다른 컴퓨터 시스템(들)을 통신 가능하게 연결하도록 구성될 수 있다. 일부 실시예에서, 네트워크(110)는 시스템과 장치 사이의 통신을 송수신하도록 구성된 임의의 유선 또는 무선 네트워크, 또는 다수의 네트워크의 조합일 수 있다. 일부 실시예들에서, 네트워크(110)는 블루투스 네트워크와 같은 개인 영역 네트워크(PAN), WiFi 네트워크와 같은 로컬 영역 네트워크(LAN), MAN(Metropolitan Area Network), WAN(Wide Area Network) 또는 SAN(Storage Area Network)을 포함할 수 있다. 일부 실시예에서, 네트워크(110)는 또한 셀룰러 네트워크와 같은 다양한 상이한 통신 프로토콜로 데이터를 전송하기 위해 통신 네트워크의 일부에 연결되거나 그 일부를 포함할 수 있다.
일부 실시예에서, 서버(112)는 AR 헤드셋(108)과 관련하여 기능할 수 있는 임의의 컴퓨터 시스템일 수 있다. 일부 실시예에서, 서버(112)는 3D 데이터를 AR 헤드셋(108)으로 전송하기 위해 또는 AR 헤드셋(108)으로부터 데이터를 수신하기 위해 실시간으로 AR 헤드셋(108)과 통신하도록 구성될 수 있다. 또한, 서버(112)는 AR 헤드셋(108)에 의해 원하는 데이터 스토리지 또는 처리 중 일부 또는 전부를 오프로드하기 위해 이용될 수 있다.
일부 실시예에서, 가상 사용자 인터페이스(114)는 피험자(106)의 3D 데이터로부터 피험자(106)의 투영된 내부층(들)의 디스플레이를 변경하기 위한 옵션을 포함하는 AR 헤드셋(108)에 의해 생성된 임의의 가상 사용자 인터페이스일 수 있다. 예를 들어, 가상 사용자 인터페이스(114)에 포함된 옵션은 AR 헤드셋(108)이:
(1) 피험자(106)의 증강 뷰를 종료하고,
(2) AR 헤드셋(108)의 성능 데모를 표시하고,
(3) 투영된 3D 데이터의 휘도 및 컬러와 같이 피험자(106)에 투영된 3D 데이터의 특성을 조정하고,
(4) 피험자(106)과 3D 데이터의 정렬을 조정하고,
(5) 가상 공간 디퍼런스 박스(116)를 디스플레이하고,
(6) 3D 데이터의 볼륨 대신 3D 데이터 슬라이스를 디스플레이하고,
(7) 3D 데이터의 슬라이스의 재배치에서와 같이, 사용자(104)의 방향으로 3D 데이터를 드래그하고,
(8) 축방향 슬라이스, 관상 슬라이스, 시상 슬라이스 및 경사 슬라이스를 포함하나 이에 국한되지 않는 3D 데이터의 상이한 슬라이스를 디스플레이하고,
(9) AR 헤드셋(108)의 다른 고급 특징들을 수행하게 하는 옵션들을 포함할 수 있다.
가상 사용자 인터페이스(114)는 사용자(104)에게 유용할 수 있는 다른 정보를 더 포함할 수 있다. 예를 들어, 가상 사용자 인터페이스(114)는 심박수, 혈압 및 호흡수와 같은 피험자(106)에 대한 실시간 활력 징후를 포함할 수 있다. 다른 예에서, 가상 사용자 인터페이스(114)는 피험자(106)이 의식이 없었던 시간량을 나타내는 스톱워치를 포함할 수 있다.
일부 실시예들에서, AR 헤드셋(108)은 사용자(104)로부터 편안한 거리에 및/또는 사용자(104)에 대해 편안한 방향으로 가상 사용자 인터페이스(114)를 디스플레이하도록 구성될 수 있다. 예를 들어, AR 헤드셋(108)은 AR 헤드셋(108)으로부터의 피험자(106)의 실시간 거리(D1)와 대략 동일한 AR 헤드셋(108)으로부터의 초점 거리(D2)에 가상 사용자 인터페이스(114)를 디스플레이하도록 구성될 수 있다. 이 거리는 심지어 사용자가 3D 공간(102) 주위를 돌아다니며 심지어 사용자가 피험자(106)에 더 가깝거나 멀어지더라도 피험자(106)과 가상 사용자 인터페이스(114) 간에 그의 초점을 이동시킬 때 눈의 초점을 다시 맞춰야 할 필요가 없기 때문에 사용자에게 편안할 수 있다. 또 다른 예에서, AR 헤드셋(108)은 상기 AR 헤드셋(108)의 초점 방향(120)에 수직으로 배향된 초점 방향에 가상 사용자 인터페이스(114)를 디스플레이하도록 구성될 수 있다. 이 방향은 심지어 사용자가 3D 공간(102) 주위를 돌아다니고 심지어 사용자가 피험자(106)을 향하거나 멀리 대면하더라도 가상 사용자 인터페이스(114)가 AR 헤드셋(108)의 현재 초점 방향(120)에 관계없이 사용자(104)를 상시 정면으로 대면하게 할 수 있기 때문에 사용자에게 편할 수 있다.
일부 실시예들에서, 가상 공간 디퍼런스 박스(116)는 상기 가상 공간 디퍼런스 박스(116)의 체적 내에 3D 데이터로부터 피험자(106)의 투영된 내부층을 한정하기 위해 AR 헤드셋(108)에 의해 생성될 수 있다. 예를 들어, 피험자(106)의 돌출된 뼈(106b)가 도 1의 가상 공간 디퍼런스 박스(116) 내에 한정될 수 있다. 일부 실시예에서, 가상 공간 디퍼런스 박스(116)는 또한 사용자(104)에 대한 기준 프레임을 제공함으로써 투영된 3D 데이터를 탐색할 때 사용자를 보조할 수 있다. 예를 들어,이 기준 프레임은 가상 공간 디퍼런스 박스(116) 내에서 3D 데이터의 축방향 슬라이스, 관상 슬라이스, 시상 슬라이스, 또는 경사 슬라이스를 이동할 때 사용자를 보조할 수 있다. 슬라이스는 2차원(2D) 슬라이스 및/또는 3D 슬라이스일 수 있다. 3D 슬라이스는 해부학적 특징부의 자연스러운 곡선을 따르는 커브 슬라이스와 같은 구배 슬라이스, 또는 깊이뿐만 아니라 높이와 폭을 갖는 슬라이스를 포함할 수 있다. 사용자(104)는 상기 사용자(104)가 가상 공간 디퍼런스 박스(116)의 라인방향으로 손을 전반적으로 이동시키도록 요구하는 핸드 손 동작을 사용하여 이러한 슬라이스를 이동할 수 있으므로, 가상 공간 디퍼런스 박스(116)의 디스플레이는 사용자(104)에 대한 이러한 손의 움직임을 더 쉽게 할 수 있다.
일부 실시예들에서, 물체(118)의 가상 삽입부(118a)는 사용자(104)가 피험자(106)의 외부층을 통해 피험자(106)에 삽입하고자 하는 물체(118)의 임의의 부분에 해당할 수 있다. 예를 들어, 물체(118)는 즉, (도 1에 도시된 바와 같이) 메스, 스코프, 드릴, 프로브, 다른 의료 기기, 또는 심지어 사용자(104)의 손도 포함하나 이에 국한되지 않는다. 피험자(106)의 외부층의 실시간 위치 등록과 마찬가지로, 물체(118)의 외부층의 위치도 또한 등록될 수 있다. 그러나, 환경(100)에 비교적 여전히 남아 있을 수 있는 피험자(106)과 달리, 물체(118)는 환경(100)에서 자주 이동될 수 있어서, 물체(118)의 실시간 위치는 피험자(106)의 외부층의 등록된 위치에 대해 3D 공간(102)에서 자동으로 추적될 수 있다. 그런 후, 사용자(104)가 피험자(106)의 외부층에 물체(118)의 일부를 삽입하는 경우, AR 헤드셋(108)은 3D 데이터로부터 피험자(106)의 투영된 내부층으로 투영된 물체(118)의 가상 삽입부(118a)를 디스플레이할 수 있다. 이러한 방식으로, 실제 삽입된 물체(118)의 일부가 사용자(104)의 실시간 뷰로부터 숨겨지더라도, 물체(118)의 가상 삽입부(118a)가 사용자(104)의 실시간 뷰 상에 투영될 수 있다.
일부 실시예들에서, 물체(118)는 AR 헤드셋(108)에 의해 물체(118)의 보다 정확한 추적을 가능하게 하도록 구체적으로 설계될 수 있다. 예를 들어, 물체(118)가 바늘이 있는 주사기와 같은 비교적 작은 의료 기기인 경우, 물체(118)는 AR 헤드셋(108)의 센서에 의해 더 쉽게 감지될 수 있도록 강화될 수 있다. 예를 들어, 이들 의료 기기는 (가령, 시각 센서에 의해) 보다 용이하게 감지될 수 있도록 더 큰 크기일 수 있고, (가령 바늘이 구체로 부착되는 주사기의 팁을 형성함으로써) 더 쉽게 감지될 수 있도록 특정 형상이 주어질 수 있으며, (예를 들어, 반사 스트립 또는 라이트 스트립을 추가하여) 더 쉽게 감지될 수 있도록 더 잘 보이게 만들 수 있고, (예를 들어, 금속 감지기 센서에 의해 보다 쉽게 감지될 수 있게 금속으로 만들어짐으로써) 더 쉽게 감지될 수 있는 재료로 제조될 수 있다.
또한, 일부 실시예들에서, AR 헤드셋(108)에 의해 물체(118)를 보다 정확하게 추적할 수 있도록 물체(118)에 가령 물체(118)의 핸들에 부착물이 추가될 수 있다. 예를 들어, 부착물은 AR 헤드셋(108)의 센서에 의해 부착물을 보다 용이하게 감지할 수 있게 하고, 부착물이 물체(118)에 부착됨으로써, AR 헤드셋(108)의 센서에 의해 물체(118)를 보다 용이하게 감지할 수 있도록 상기 언급된 개선 사항 중 어느 하나를 포함할 수 있다. 또한 부착물은 물체(118)의 팁과 같이 피험자(106)에 삽입되도록 의도된 물체(118)의 일부에 부착되도록 설계될 수 있어, AR 헤드셋(108)의 센서가 실제로 피험자(106) 내부에 부착물을 감지할 수 있게 한다. 예를 들어, 소형 자기장 방출 부착물이 물체(118)의 팁에 부착될 수 있고, AR 헤드셋(108)의 자기 센서는 피험자(106) 내에서 부착물의 정확한 위치를 감지할 수 있어, 이로써 사용자(104)에게 디스플레이되는 가상 삽입부(118a)의 정확도를 개선시키는데 일조한다.
일부 실시예에서, 가상 커서(122)는 가상 사용자 인터페이스(114) 상에, 다른 가상 컨트롤러 상에, 또는 3D 공간(102)의 임의의 다른 위치에 AR 헤드셋(108)에 의해 생성된 가상 커서일 수 있다. 몇몇 실시예에서, 가상 커서(122)의 위치는 AR 헤드셋(108)의 초점 방향(120)에 대응할 수 있으며, 이는 사용자(104)의 머리의 방향에 대응할 수 있다. 가상 커서(122)는 때때로 사용자의 눈의 깜박임과 같은 사용자(104)에 의한 하나 이상의 다른 동작 또는 AR 헤드셋(108)의 시계(視界)에 있는 두 손가락을 함께 두드리는 것과 같은 사용자(104)의 하나 이상의 손 동작와 연계하여 가상 사용자 인터페이스(114)의 하나 이상의 옵션을 선택하기 위해 사용자(104)에 의해 이용될 수 있다.
본 개시의 범위를 벗어나지 않으면서 환경(100)에 대한 수정, 추가, 또는 생략이 이루어질 수 있다. 예를 들어, 일부 실시예에서, AR 헤드셋(108)을 각각 착용한 다수의 사용자들이 피험자(106)의 3D 데이터로 증강된 피험자(106)를 동시에 보기 위해 3D 공간(102)에 동시에 있을 수 있다. 다른 예에서, 다수의 피험자들이 AR 헤드셋(108)을 착용한 사용자(104)가 피험자의 3D 데이터로 증강된 다수의 피험자들을 동시에 볼 수 있도록 하기 위해 3D 공간(102)에 동시에 있다. 다른 예에서, 각각 AR 헤드셋(108)을 착용한 다수의 사용자들과 다수의 피험자들이 동시에 3D 공간에 있을 수 있다. 다른 예에서, AR 헤드셋(108)으로부터의 뷰의 비디오는 AR 헤드셋(108)에 의해 캡처된 다음 원격 위치로, 가령 네트워크(110)를 통해 서버(112)로 또는 다른 사용자가 보기 위한 원격 AR 헤드셋 또는 가상 현실(VR) 헤드셋으로 전송될 수 있다. 이 예는 원격 사용자가 피험자(106)에 대한 시술을 통해 로컬 사용자(104)를 안내할 수 있게 한다. 또한, 환경(100)은 일반적으로 사용자(104)가 피험자(106)를 보는 상황에 있는 것으로 개시되어 있지만, 환경(100)은 사용자가 나무, 암석, 유전, 또는 행성과 같은 임의의 물체의 하나 이상의 내부층을 보고자 하는 임의의 환경으로 보다 광범위하게 정의될 수 있다.
다른 예에서, AR 헤드셋(108)은 음성 명령을 사용하여 사용자(104)에 의해 추가로 또는 대안으로 제어될 수 있다. 예를 들어, 사용자(104)는 그의 손이 피험자(106)에 대해 수술 또는 다른 의료 치료에 여념이 없고, 따라서 손 동작을 사용하여 AR 헤드셋(108) 헤드셋을 제어하는 것이 편하지 않기 때문에 음성 명령을 이용할 수 있다. 이 예에서, 음성 명령은 (예를 들어, 가상 사용자 인터페이스(114)상의 옵션을 선택하기 위해) 가상 사용자 인터페이스(114), (예를 들어, 가상 공간 디퍼런스 박스(116)를 표시하는 것과 숨기는 것 사이에 토글을 위해 또는 가상 공간 디퍼런스 박스(116)에 디스플레이된 3D 데이터의 슬라이스를 재배치하기 위해) 가상 공간 디퍼런스 박스(116), 또는 (예를 들어, 피험자(106)에 투영된 가상 커서(122)를 표시하는 것과 숨기는 것 사이에서 토글하기 위해) 가상 커서(122), 또는 이들의 몇몇 조합을 제어하기 위해 이용될 수 있다. 또한, 이 예에서, 음성 명령은 임의의 다른 가상 제어와 별도로 사용될 수 있다. 예를 들어, 음성 명령은 피험자(106)에 투영된 3D 데이터의 표시 및 숨기기 사이의 토글, 또는 피험자(106)에 투영된 3D 데이터의 투명도 레벨을 조정하기 위해 사용될 수 있으며, 이는 사용자(104)가 피험자(106)에 대해 수술을 수행하는 동안 유용할 수 있고 사용자(104)가 필요할 때만 투영된 3D 데이터를 볼 수 있게 하고, 3D 데이터가 산만해지면 투영된 3D 데이터를 보지 않도록하거나 3D 데이터를 더 투명하게 만들 수 있다. 다른 예에서, 가상 사용자 인터페이스(114)와 같은 AR 헤드셋(108)의 제어는 적어도 부분적으로 청각적으로 사용자(104)에게 옵션을 제시할 수 있다. 옵션의 청각적 표현은 사용자(104)가 실제로 음성 명령을 말하기 전에 먼저 음성 옵션(예를 들어, 잠재적 음성 명령)을 들을 수 있게 한다. 옵션의 청각적 표현은 또한 사용자(104)가 AR 헤드셋(108)의 초점 방향(120) 및/또는 사용자(104)의 시각적 초점을 피험자(106)에 유지하면서, 현재 사용자의 시야에 있지 않고/않거나 AR 헤드셋(108)에 의해 현재 숨겨져 있는 가상 제어와 여전히 상호작용할 수 있게 한다.
도 2a-2f는 제 1 피험자가 있는 도 1의 AR 환경(100)의 사진이다. 도 2a에 도시된 바와 같이, 사용자는 제 1 피험자의 3D 데이터로 제 1 피험자의 실시간 뷰를 증강시키는 AR 헤드셋을 착용할 수 있다. 또한 도 2a에 도시된 바와 같이, 사용자는 AR 헤드셋의 가상 제어를 조작하기 위해 손 동작을 사용할 수 있다. 도 2b-2f는 AR 헤드셋을 착용한 사용자의 관점에서 실제 뷰를 개시한다. 도 2b에 도시된 바와 같이, 사용자는 제 1 피험자의 실시간 뷰 상에 투영된 피험자의 뇌의 CT 이미지를 나타내는 3D 데이터의 축방향 슬라이스를 갖기 위해 손 동작을 이용할 수 있다. 도 2c에 도시된 바와 같이, 가상 공간 디퍼런스 박스는 사용자에 의해 이용되어 제 1 피험자의 뇌의 CT 이미지를 나타내는 3D 데이터의 동일한 축방향 슬라이스를 볼 수 있다. 도 2d에 도시된 바와 같이, AR 헤드셋을 착용한 사용자가 제 1 피험자 주위를 반시계 방향으로 걷는 동안, 제 1 피험자의 뇌의 CT 이미지를 나타내는 3D 데이터의 동일한 축방향 슬라이스가 3D 공간에서 상이한 각도로 보여질 수 있다. 도 2e 및 도 2f에 도시된 바와 같이, 사용자는 축방향 슬라이스에서 시상 슬라이스로, 그런 후 시상 슬라이스에서 관상 슬라이스로 각각 보기를 바꾸기 위해 가상 사용자 인터페이스 중 하나 이상의 옵션을 조작할 수 있다.
도 3은 제 2 피험자가 있는 사용 중인 도 1의 AR 환경의 사진이다. 특히, 도 3은 AR 헤드셋을 착용한 사용자의 관점에서 실제 뷰를 개시한다. 도 3에 도시된 바와 같이, AR 헤드셋은 가상 사용자 인터페이스의 디스플레이를 실시간으로 업데이트하여 가상 사용자 인터페이스가 AR 헤드셋으로부터 제 2 피험자의 실시간 거리와 거의 동일한 AR 헤드셋으로부터의 초점 거리에 지속적으로 위치되게 할 수 있다. 또한, AR 헤드셋은 가상 사용자 인터페이스의 디스플레이를 실시간으로 업데이트하여 가상 사용자 인터페이스가 AR 헤드셋의 초점 방향에 직각으로 계속 지향되도록 할 수 있다.
도 4a-4b는 제 3 피험자가 있는 도 1의 AR 환경의 사진이다. 특히, 도 4a-4b는 AR 헤드셋을 착용한 사용자의 관점에서 실제 뷰를 개시한다. 도 4a 및 도 4b에 도시된 바와 같이, AR 헤드셋은 (도 4b에 개시된 바와 같이) AR 헤드셋의 초점 방향이 제 3 피험자에 집중되지 않는 동안 실시간 뷰 상에 투영된 가상 사용자 인터페이스를 디스플레이하고, AR 헤드셋의 초점 방향이 제 3 피험자에게 초점 맞는 동안 가상 사용자 인터페이스를 숨기도록 구성될 수 있다. 이러한 방식으로, AR 헤드셋은 가상 사용자 인터페이스가 제 3 피험자의 시야를 방해하지 않도록 할 수 있다. 일부 실시예들에서, 그리고 제 3 피험자가 일반적으로 수평 보기 아래에 위치되므로, AR 헤드셋은 AR 헤드셋의 초점 방향이 수평선 위에 있을 때 가상 사용자 인터페이스를 표시하고 AR 헤드셋의 초점 방향이 수평선이나 수평선 아래에 있을 때 가상 사용자 인터페이스를 숨김으로써 가상 사용자 인터페이스가 제 3 피험자의 시야를 방해하는 것을 피할 수 있다. 이러한 실시예들에서, 사용자는 AR 헤드셋을 착용하는 동안 언제라도 간단히 고개를 들어 가상 사용자 인터페이스를 볼 수 있다.
도 2a 내지 4b의 사진에 개시된 바와 같이, 3명 피험자들의 3D 데이터의 투영된 내부층은 조직 특성을 나타내고 3명 피험자의 외부층의 실시간 뷰 상에 투영될 때 볼 수 있도록 표준 컬러 그래디언트로부터 변경된 컬러 그래디언트를 사용하여 컬러입혀질 수 있다. 예를 들어, 3D 데이터가 CT 스캔 이미지 및 X-선 이미지 중 하나 이상을 포함하는 일부 실시예에서, 컬러 그래디언트로 표현되는 조직 특성은 가장 부드러운 조직에서 가장 단단한 조직에 이르는 조직 경도를 포함할 수 있다. 다른 실시예에서, 컬러 그래디언트로 표현되는 조직 특성은 이완성, 에코 발생도, 증강량, 증강 속도, 밀도, 방사능 및 수분 함량 중 하나 이상을 포함할 수 있으나, 이에 국한되지는 않는다. AR 헤드셋을 착용한 사용자가 컬러 그래디언트를 쉽게 볼 수 있도록 하기 위해, 피험자에게 투영될 때 더 어두운 컬러 그래디언트가 피험자의 뷰에 섞일 수 있기 때문에, 컴퓨터 디스플레이에 사용되는 표준 컬러 그래디언트보다 컬러 그래디언트가 색이 더 밝게 변경될 수 있다.
도 5는 3D 데이터를 갖는 피험자의 뷰를 증강시키는 데 사용될 수 있는 예시적인 컴퓨터 시스템(500)을 도시한다. 일부 실시예에서, 컴퓨터 시스템(500)은 본 개시에서 설명된 임의의 시스템 또는 장치의 일부일 수 있다. 예를 들어, 컴퓨터 시스템(500)은 임의의 AR 헤드셋(108) 또는 도 1의 서버(112)의 일부일 수 있다.
컴퓨터 시스템(500)은 프로세서(502), 메모리(504), 파일 시스템(506), 통신 유닛(508), 운영 체제(510), 사용자 인터페이스(512) 및 AR 모듈(514)을 포함할 수 있으며, 이들은 모두 통신 가능하게 연결될 수 있다. 일부 실시예에서, 컴퓨터 시스템(500)은 예를 들어 데스크탑 컴퓨터, 클라이언트 컴퓨터, 서버 컴퓨터, 휴대 전화, 랩톱 컴퓨터, 스마트폰, 스마트 워치, 태블릿 컴퓨터, 휴대용 음악 플레이어, 내장 컴퓨터, AR 헤드셋, VR 헤드셋 또는 기타 컴퓨터 시스템일 수 있다.
일반적으로, 프로세서(502)는 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈을 포함하는 임의의 적합한 특수용 또는 범용 컴퓨터, 컴퓨팅 엔티티 또는 처리 장치를 포함할 수 있고 임의의 적용 가능한 컴퓨터 판독가능 저장 매체 상에 저장된 명령어를 실행하도록 구성될 수 있다. 예를 들어, 프로세서(502)는 마이크로 프로세서, 마이크로 컨트롤러, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(Field-Programmable Gate Array), 또는 프로그램 명령어를 해석 및/또는 실행 및/또는 데이터를 처리하도록 구성된 임의의 다른 디지털 또는 아날로그 회로, 또는 이들의 임의의 조합을 포함할 수 있다. 일부 실시예에서, 프로세서(502)는 메모리(504) 및/또는 파일 시스템(506)에 저장된 프로그램 명령어 및/또는 프로세스 데이터를 해석 및/또는 실행할 수 있다. 일부 실시예에서, 프로세서(502)는 파일 시스템(506)으로부터 프로그램 명령어를 페치할 수 있고 상기 프로그램 명령어를 메모리(504)에 로딩할 수 있다. 프로그램 명령어가 메모리(504)에 로딩된 후, 프로세서(502)는 프로그램 명령어를 실행할 수 있다. 일부 실시예에서, 명령어는 도 6a-6e의 방법(600)의 하나 이상의 블록을 수행하는 프로세서(502)를 포함할 수 있다.
메모리(504) 및 파일 시스템(506)은 컴퓨터 실행 가능 명령어 또는 데이터 구조를 지니거나 저장하기 위한 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 이러한 컴퓨터 판독가능 저장 매체는 프로세서(502)와 같은 범용 또는 특수용 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 비일시적 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 저장 매체는 ROM(Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), CD-ROM(Compact Disc Read-Only Memory) 또는 기타 광 디스크 스토리지, 자기 디스크 스토리지 또는 기타 자기 저장 장치, 플래시 메모리 장치(예를 들어, 솔리드 스테이트 메모리 장치)를 포함한 비일시적 컴퓨터 판독가능 저장 매체 또는 컴퓨터 실행 가능 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드를 지니거나 저장하는 데 사용될 수 있고 범용 또는 특수용 컴퓨터에 의해 액세스될 수 있는 임의의 다른 저장 매체를 포함할 수 있다. 상기의 조합은 또한 컴퓨터 판독가능 저장 매체의 범위 내에 포함될 수 있다. 컴퓨터 실행 가능 명령어는, 예를 들어, 프로세서(502)로 하여금 도 6a-6e의 방법(600)의 하나 이상의 블록과 같은 특정 동작 또는 동작 그룹을 수행하도록 구성되는 명령어 및 데이터를 포함할 수 있다. 이러한 컴퓨터 실행 가능 명령어는 예를 들어 운영 체제(510), AR 모듈(514)과 같은 하나 이상의 애플리케이션, 또는 이들의 일부 조합에 포함될 수 있다.
통신 유닛(508)은 도 1의 네트워크(110)와 같은 네트워크를 통해 정보를 전송 또는 수신하도록 구성된 임의의 컴포넌트, 장치, 시스템 또는 이들의 조합을 포함할 수 있다. 일부 실시예에서, 통신 유닛(508)은 다른 위치, 동일한 위치 또는 심지어 동일한 시스템 내의 다른 구성 요소에서 다른 장치와 통신할 수 있다. 예를 들어, 통신 유닛(508)은 모뎀, (무선 또는 유선) 네트워크 카드, 적외선 통신 장치, (안테나와 같은) 무선 통신 장치 및/또는 (예를 들어, 블루투스 장치, 802.6 장치(예를 들어, MAN(Metropolitan Area Network)), WiFi 장치, WiMax 장치, 셀룰러 통신 장치 등과 같은) 칩셋 등을 포함할 수 있다. 통신 유닛(508)은 데이터가 본 개시에서 기술된 바와 같은 네트워크 및/또는 임의의 다른 장치 또는 시스템과 교환되도록 할 수 있다.
운영 체제(510)는 컴퓨터 시스템(500)의 하드웨어 및 소프트웨어 자원을 관리하도록 구성될 수 있고 컴퓨터 시스템(500)에 공통 서비스를 제공하도록 구성될 수 있다.
사용자 인터페이스(512)는 사용자가 컴퓨터 시스템(500)과 인터페이스할 수 있도록 구성된 임의의 장치를 포함할 수 있다. 예를 들어, 사용자 인터페이스(512)는 LCD, LED와 같은 디스플레이, 또는 비디오, 문자, 애플리케이션 사용자 인터페이스 및 프로세서(502)가 명령한 바와 같은 기타 데이터를 표현하도록 구성된 AR 렌즈와 같은 다른 디스플레이를 포함할 수 있다. 사용자 인터페이스(512)는 마우스, 트랙 패드, 키보드, 터치 스크린, 볼륨 조절기, 기타 버튼, 스피커, 마이크, 카메라, 주변 장치 또는 기타 입력 또는 출력 장치를 더 포함할 수 있다. 사용자 인터페이스(512)는 사용자로부터 입력을 수신하고 상기 입력을 프로세서(502)에 제공할 수 있다. 마찬가지로, 사용자 인터페이스(512)는 출력을 사용자에게 제공할 수 있다.
AR 모듈(514)은 프로세서(502)에 의한 실행시 도 6a-6e의 방법(600)의 하나 이상의 블록과 같은 하나 이상의 방법을 수행하도록 구성된 메모리(504) 또는 파일 시스템(506)과 같은 하나 이상의 비일시적 컴퓨터 판독가능 매체에 저장된 하나 이상의 컴퓨터 판독가능 명령어일 수 있다. 일부 실시예들에서, AR 모듈(514)은 운영 체제(510)의 일부일 수 있거나 컴퓨터 시스템(500)의 응용 프로그램의 일부일 수 있거나, 또는 이들의 일부 조합일 수 있다.
본 개시의 범위를 벗어나지 않으면서 컴퓨터 시스템(500)에 대한 수정, 추가 또는 생략이 이루어질 수 있다. 예를 들어, 각각은 도 5에서 단일 구성 요소로서 예시되어 있지만, 컴퓨터 시스템(500)의 임의의 컴포넌트(502-514)는 집합적으로 기능하고 통신 가능하게 연결된 다수의 유사한 컴포넌트를 포함할 수 있다. 또한, 단일 컴퓨터 시스템으로서 도시되어 있지만, 컴퓨터 시스템(500)은 클라우드 컴퓨팅 환경, 멀티테넌시 환경 또는 가상화 환경에서와 같이 함께 네트워킹되는 다수의 물리적 또는 가상 컴퓨터 시스템을 포함할 수 있는 것으로 이해된다.
도 6a-6e는 3D 데이터로 피험자의 뷰를 증강시키기 위한 예시적인 방법(600)의 흐름도이다. 방법(600)은 일부 실시예에서 도 1의 AR 헤드셋(108) 및/또는 서버(112)상에서 실행되는 장치 또는 시스템에 의해, 가령 도 5의 AR 모듈(514)에 의해 수행될 수 있다. 이들 및 다른 실시예에서, 방법(600)은 하나 이상의 비일시적 컴퓨터 판독가능 매체에 저장된 하나 이상의 컴퓨터 판독가능 명령어에 기초한 하나 이상의 프로세서에 의해 수행될 수 있다. 이제 도 1, 2a-2f, 3, 4a-4b, 5 및 6a-6e와 연계하여 방법(600)을 기술할 것이다. 방법(600)이 아래에서 AR 헤드셋에 의해 수행되는 것으로 설명되었지만, 상기 방법(600)은 대안으로 다른 컴퓨터 시스템 또는 컴퓨터 시스템의 조합에 의해 수행될 수 있는 것으로 이해된다.
블록(602)에서, AR 헤드셋은 피험자에 대한 3D 데이터를 식별할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(602)에서 피험자(106)에 대한 3D 데이터를 식별할 수 있다.
일부 실시예에서, 도 1의 피험자(106)에 대한 3D 데이터는 실시간으로 피험자(106)가 환경(100)에 있는 동안 및/또는 피험자(106)가 환경(100)에 들어가기 전에 하나 이상의 방법을 사용하여 캡처되거나 생성될 수 있다. 예를 들어, 3D 데이터 중 일부는 피험자(106)가 환경(100)에 들어가기 전에 획득될 수 있고, 그런 후 3D 데이터는 피험자(106)가 환경(100)에 있는 동안 실시간으로 획득된 추가 3D 데이터로 증강될 수 있다. 예를 들어, 피험자(106)의 3D 데이터는 MRI 이미지, CT(Computerized Tomography) 스캔 이미지, X-레이 이미지, PET(Positron Emission Tomography) 이미지, 초음파 이미지, 형광 이미지, 적외선 열화상(IRT) 이미지 또는 단일 광자 단층 촬영(SPECT) 스캔 이미지 또는 이들의 일부 조합을 포함할 수 있으나 이에 국한되지 않는다. 이러한 이미지 중 어느 하나는 정지 이미지 또는 비디오 이미지의 형태일 수 있다. 예를 들어, 방법(600)은 (도 1에 도시된 바와 같이) 피험자(106)의 골격계의 정지 X-레이 이미지를 이용할 수 있다. 다른 예에서, 방법(600)은 피험자(106)의 박동하는 심장 초음파의 비디오 이미지를 사용할 수 있다. 다른 예에서, 방법(600)은 심장의 정지 이미지와 박동하는 심장의 실시간 비디오 사이를 토글링할 수 있다.
다양한 상이한 방법을 사용하여 획득되었지만, 피험자에 대한 3D 데이터는 일부 실시예에서 피험자의 외부층 및 피험자의 다중 내부층을 포함할 수 있다. 예를 들어, 도 1의 피험자(106)의 외부층은 피험자(106)의 피부(106a) 및/또는 도 1의 피험자(106)가 착용한 옷(107)을 포함할 수 있다. 다른 예에서, 사체의 외부층은 피부가 사체로부터 제거된 근육층 또는 지방층과 같이 피부 이외의 조직층일 수 있다. 피험자(106)의 내부층은 (도 1에 도시된 바와 같은) 내부 뼈(106b), 피험자(106)의 근육, 장기 또는 체액을 포함할 수 있지만, 이에 국한되지 않는다. 3D 데이터는 2D 이미지가 3D 공간으로 투사될 때 2D 이미지가 3D 의미를 갖기 때문에 X-레이 이미지와 같은 2D 이미지를 포함할 수 있다. 예를 들어, 피험자(106)에 대한 3D 데이터는 피험자(106)의 피부(106a) 또는 옷(107)에 투영될 수 있는 2D X-레이 이미지를 포함할 수 있다. 3D 데이터는 또한 때때로 4차원(4D) 데이터라고 하는 시간 요소를 포함할 수 있다. 예를 들어, 3D 데이터는 3D 이미지뿐만 아니라 시간에 따라 변화하는 3D 이미지를 포함하는 비디오를 포함할 수 있다. 다중 내부층은 피험자(106)를 완전히 통과하는 층일 수 있거나, 피험자(106) 안으로 특정 부분 깊이로만 지나는 층일 수 있다. 예를 들어, 3D 데이터, 가령, 밀리미터파 스캐너로부터 도출된 3D 데이터의 일부 형태는 외부 옷과 피험자의 피부 사이에 들어 있는 품목을 나타내도록 구성될 수 있다. 3D 데이터는 추가로 또는 대안으로 미리 설정된 해부학 아틀라스(anatomy atlas)로부터 도출된 3D 데이터와 같이, 피험자(106)에 구체적으로 대응하는 대신, 피험자(106)에 전반적으로 대응하는 데이터일 수 있다. 3D 데이터는 또한 다양한 유형의 3D 데이터의 조합일 수 있다.
일부 실시예에서, 3D 데이터가 캡처될 때 피험자(106)가 있었던 것과 동일한 상대 위치 및/또는 방향으로 도 1의 피험자(106)를 수술대(103)에 위치시키기 위해 주의가 요구될 수 있다. 대안으로, 피험자(106)가 3D 데이터가 캡처되거나 생성되었을 때 피험자(106)가 있었던 것과 다른 수술대(103) 상의 위치 및/또는 방향에 있을 때, AR 헤드셋(108)은 피험자의 다른 위치 및/또는 방향(106)과 일치하도록 3D 데이터를 변형시킬 수 있다.
블록(604)에서, AR 헤드셋은 3D 데이터로부터 피험자의 외부층의 가상 형태 측정을 결정할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(604)에서 3D 데이터로부터 피험자(106)의 외부층의 가상 형태 측정을 결정할 수 있다. 이들 가상 형태 측정의 결정은 3D 데이터로부터 피험자의 외부층의 크기 및 형상을 결정하기 위해 3D 데이터를 분석하는 AR 헤드셋(108)을 포함할 수 있다. 일부 실시예에서, 외부층의 가상 형태 측정은 외부층의 크기 및 형상을 나타내는 외부층의 점구름(point cloud)을 생성하는 것을 포함할 수 있다. 예를 들어, 외부층이 삼각형 또는 다른 다각형 형상으로 표현되는 경우, 점구름은 다각형 형상의 정점 중 일부 또는 전부를 포함할 수 있다.
블록(606)에서, AR 헤드셋은 3D 공간에서 피험자의 외부층의 실시간 위치를 등록할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(606)에서 3D 공간(102)내 피험자(106)의 피부(106a) 및 옷(107)의 실시간 위치를 등록할 수 있다. 일부 실시예에서, AR 헤드셋(108)은 3D 공간(102)을 맵핑하고, 상기 3D 공간(102)내 피험자(106)의 외부층의 실시간 위치를 맵핑하도록 구성된 하나 이상의 센서를 포함할 수 있다. 이들 센서는 적외선 센서, 사운드 센서, 사진 센서, 투시조영 센서, 가속도계, 자이로스코프, 또는 자려계를 포함할 수 있으나, 이에 국한되지 않는다.
블록(608)에서, AR 헤드셋은 피험자의 외부층의 실시간 형태 측정을 결정할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(608)에서 피험자(106)의 피부(106a) 및 옷(107)의 실시간 형태 측정을 결정할 수 있다. 일부 실시예에서, 블록(606)에서 등록에 사용된 센서는 또한 피험자(106)의 피부(106a) 및 옷(107)의 실시간 크기 및 형태를 결정하기 위해 사용될 수 있다. 일부 실시예에서, 이는 피부(106a) 및 옷(107)의 크기 및 형상을 나타내는 피험자(106)의 피부(106a) 및 옷(107)의 점구름을 생성하는 단계를 포함할 수 있다.
블록(610)에서, AR 헤드셋은 3D 공간에서 피험자의 외부층의 등록된 실시간 위치와 정렬하도록 3D 데이터로부터 피험자의 외부층의 위치를 자동으로 등록할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(610)에서 3D 공간(102)에 있는 피험자(106)의 피부(106a) 및 옷(107)의 등록된 실시간 위치와 정렬하도록 3D 데이터로부터 피험자(106)의 외부층의 위치를 자동으로 등록할 수 있다. 일부 실시예들에서, 이 자동 등록은 점군(point set) 등록을 사용하여 블록(604)에서 생성된 점구름을 블록(608)에서 생성된 점구름과 자동 정렬하는 단계를 포함할 수 있다. 블록(610)에서의 자동 등록은 3D 데이터로부터 피험자의 외부층을 피험자의 실시간 외부층과 정렬시키는 수동 방법보다 시간이 덜 소모되고, 덜 성가시며, 실수가 적은 경향이 있다. 또한, 일부 실시예에서, 블록(610)은 임의의 비해부학적 기준을 사용하지 않고 수행될 수 있으며, 이는 비해부학적 기준의 시간 소모적이고, 번거롭고 부정확한 배치를 피할 수 있다.
블록(612)에서, AR 헤드셋은 피험자의 외부층의 실시간 뷰 상에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(612)에서 피험자(106)의 피부(106a) 및 옷(107)의 실시간 뷰 상에 투영된 3D 데이터로부터 피험자(106)의 뼈(106b)를 디스플레이할 수 있다. 다른 예에서, 피험자 뇌의 CT 스캔 이미지가 도 2b 및 2c에서 피험자의 머리 상단에 또는 도 2e의 피험자의 머리 측면에 투영된다.
블록(614)에서, AR 헤드셋은 자동 등록이 정확하다는 신뢰 점수를 생성할 수 있고, 블록(616)에서, AR 헤드셋은 신뢰 점수를 사용자에게 제시할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(612)에서 수행된 자동 등록이 정확하다는 신뢰 점수를 블록(614)에서 생성하고 시각적으로, 청각적으로 또는 일부 다른 표현 형식으로 사용자(104)에게 신뢰 점수를 제시할 수 있다. 일부 실시예에서, AR 헤드셋(108)은 블록(612)에서 수행된 점군 등록의 일부로서 이 신뢰 점수를 생성할 수 있다. 예를 들어, 신뢰 점수는 3D 데이터의 외부층이 피험자(106)의 외부층과 일치하는 신뢰 수준을 나타내는 0% 내지 100% 사이의 점수일 수 있다. 신뢰 점수가 상대적으로 높은 경우, 사용자(104)는 피험자(106)에 투영된 3D 데이터가 실제로 피험자(106)와 일치한다는 확신을 가지고 AR 헤드셋(108)을 사용하여 피험자(106)에 대한 훈련, 연구, 진단 또는 치료를 진행할 수 있다. 반면에, 신뢰 점수가 비교적 낮은 경우, 사용자(104)는 피험자(106)에 투영된 3D 데이터가 실제로 피험자(106)와 일치하는지에 대한 정당성에 의심이 있을 수 있기 때문에 AR 헤드셋(108)을 이용한 피험자(106)에 대한 임의의 훈련, 연구, 진단 또는 치료를 중단할 수 있다.
블록(618)에서, AR 헤드셋은 피험자의 외부층을 통해 피험자에게 물체를 삽입하기 전에 피험자의 실시간 형태 측정을 결정할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)는 피험자(106)의 외부층을 통해 피험자(106)로 물체(118)를 삽입하기 전에 물체(118)의 실시간 형태 측정을 블록(618)에서 결정할 수 있다. 일부 실시예에서, 블록(618)에서의 결정은 블록(608)에서의 결정과 유사한 방식으로 수행될 수 있다. 다른 실시예에서, 특히 표준 의료 기기와 같은 표준 물체에 대해, 블록(618)에서의 결정은 표준 물체에 대한 설계 문헌에서 발견된 표준 물체의 형태 측정에 접근함으로써 수행될 수 있다.
블록(622)에서, AR 헤드셋은 3D 공간에서 피험자의 외부층의 등록된 위치 및 3D 데이터로부터 피험자의 외부층의 등록된 위치에 대해 3D 공간에서의 물체의 실시간 위치를 추적할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(622)에서 3D 공간(102)에 있는 피험자(106)의 피부(106a) 및 옷(107)의 등록된 위치 및 3D 데이터로부터 피험자(106)의 외부층의 등록된 위치에 대해 3D 공간(102)에서 물체(118)의 실시간 위치를 자동으로 추적할 수 있다.
블록(624)에서, 물체의 일부가 피험자의 외부층을 통해 피험자에게 삽입되는 동안, AR 헤드셋은 3D 데이터로부터 피험자의 투영된 내부층으로 투영된 물체의 가상 부분을 디스플레이할 수 있다. 예를 들어, 도 1의 물체(118)의 일부가 피험자(106)의 옷(107)을 통해 피험자(106)에 삽입되는 동안. AR 헤드셋(108)은 3D 데이터로부터 피험자(106)의 투영된 뼈(106b)에 투영된 물체(118)의 가상 삽입부(118b)를 디스플레이할 수 있다.
블록(626)에서, AR 헤드셋은 피험자의 실시간 뷰에 투영된 가상 공간 디퍼런스 박스를 디스플레이할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은, 블록(626)에서, 피험자(106)의 실시간 뷰 상에 투영된 가상 공간 디퍼런스 박스(116)를 디스플레이할 수 있다. 일부 실시예에서, 가상 공간 디퍼런스 박스(116)는 가상 공간 디퍼런스 박스(116)의 체적 내에 도 1의 돌출된 뼈(106b)와 같은 3D 데이터로부터 피험자(106)의 투영된 내부층을 한정할 수 있다.
블록(628)에서, AR 헤드셋은 3D 데이터로부터 피험자의 투영된 내부층의 디스플레이를 변경하기 위한 옵션을 포함하는 가상 사용자 인터페이스를 생성할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(628)에서 3D 데이터로부터 피험자(106)의 투영된 뼈(106b)의 디스플레이를 변경하기 위한 옵션을 포함하는 가상 사용자 인터페이스(114)를 생성할 수 있다.
블록(630)에서, AR 헤드셋의 초점 방향이 피험자에 초점 맞지 않는 동안 AR 헤드셋은 실시간 뷰 상에 투영된 가상 사용자 인터페이스를 디스플레이할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(630)에서 AR 헤드셋(108)의 초점 방향(120)이 피험자(106)에 초점 맞지 않는 동안 실시간 뷰 상에 투영된 가상 사용자 인터페이스(114)를 디스플레이할 수 있다.
블록(632)에서, AR 헤드셋의 초점 방향이 피험자에 초점 맞는 동안 AR 헤드셋은 가상 사용자 인터페이스를 숨길 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(632)에서 AR 헤드셋(108)의 초점 방향(120)이 피험자(106)에 초점 맞는 동안 가상 사용자 인터페이스(114)를 숨길 수 있다. 일부 실시예에서, 블록(630 및 632)은 가상 사용자 인터페이스(114)가 피험자(106)의 임의의 뷰를 방해하지 않도록 할 수 있다.
블록(634)에서, AR 헤드셋은 상기 AR 헤드셋으로부터 피험자의 실시간 거리를 결정할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(634)에서 AR 헤드셋(108)으로부터 피험자(106)의 실시간 거리(D1)를 결정할 수 있다. 이 실시간 거리(D1)는 예를 들어 피험자(106)의 중심, 피험자(106)의 초점 영역의 중심, 피험자(106)에 현재 보고 있는 3D 데이터의 슬라이스, 또는 피험자(106)의 다른 점 또는 일반 영역까지의 실시간 거리일 수 있다.
블록(636)에서, AR 헤드셋은 가상 사용자 인터페이스의 디스플레이를 실시간으로 업데이트하여 상기 가상 사용자 인터페이스가 AR 헤드셋으로부터 피험자의 실시간 거리와 거의 동일한 AR 헤드셋으로부터의 초점 거리에 계속 위치되게 할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(636)에서 가상 사용자 인터페이스(114)의 디스플레이를 실시간으로 업데이트하여 가상 사용자 인터페이스(114)가 AR 헤드셋(108)으로부터 피험자(106)의 실시간 거리(D1)와 거의 동일한 AR 헤드셋(108)으로부터의 초점 거리(D2)에 계속 위치되게 할 수 있다. 이 초점 거리(D2)는 피험자(106)와 가상 사용자 인터페이스(114) 사이에서 초점을 이동시킬 때 사용자(104)가 눈의 초점을 변경하지 않아도 되기 때문에 사용자(104)에게 편안할 수 있다.
블록(638)에서, AR 헤드셋은 가상 사용자 인터페이스의 디스플레이를 실시간으로 업데이트하여 가상 사용자 인터페이스가 AR 헤드셋의 초점 방향에 직각으로 계속 지향되도록 할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(638)에서 가상 사용자 인터페이스(114)의 디스플레이를 실시간으로 업데이트하여 상기 가상 사용자 인터페이스(114)가 AR 헤드셋(108)의 초점 방향(120)에 직각으로 계속 지향되도록 할 수 있다. 도 1에 도시된 바와 같이, 가상 사용자 인터페이스(114)가 AR 헤드셋(108) 위에 위치된 경우, 상기 가상 사용자 인터페이스(114)를 AR 헤드셋(108)에 수직으로 배향시키는 것은 도 1에 개시된 바와 같이 가상 사용자 인터페이스(114)의 상단이 AR 헤드셋(108)을 향해 약간 아래쪽으로 기울어지게 할 수 있다. 이 방향은 가상 헤드셋(114)이 AR 헤드셋(108)의 현재 초점 방향(120)에 관계없이 그리고 사용자(104)가 3D 공간(102)에 서있는 위치에 관계없이 항상 사용자(104)를 정면으로 향하게 할 수 있기 때문에 사용자(104)에게 편안할 수 있다.
블록(640)에서, AR 헤드셋의 초점 방향이 피험자에게 초점 맞지 않는 동안 동안, AR 헤드셋은 실시간 뷰 및/또는 가상 사용자 인터페이스 상에 투영된 가상 커서를 디스플레이할 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(640)에서 AR 헤드셋(108)의 초점 방향(120)이 피험자(106)에 초점 맞지 않는 동안 실시간 뷰 및/또는 가상 사용자 인터페이스(114)에 투영된 가상 커서(122)를 표시할 수 있다.
블록(642)에서, AR 헤드셋의 초점 방향이 피험자에게 초점 맞는 동안 AR 헤드셋은 가상 커서를 숨길 수 있다. 예를 들어, 도 1의 AR 헤드셋(108)은 블록(642)에서 AR 헤드셋의 초점 방향이 피험자(106)에게 초점 맞는 동안 가상 커서(122)를 숨길 수 있다. 일부 실시예에서, 블록(640 및 642)은 가상 커서(122)가 피험자(106)의 임의의 시야를 방해하는 것을 피할 수 있다. 일부 실시예에서, 도 1의 AR 헤드셋(108)은 상기 AR 헤드셋(108)의 초점 방향(120)이 피험자(106)에 초점 맞는 동안 블록(642)에서 가상 커서(122)를 단지 선택적으로 숨길 수 있다. 이들 실시예에서, AR 헤드셋(108)의 초점 방향(120)이 피험자(106)에 초점 맞는 동안 사용자(104)가 가상 커서(122)를 사용하기를 원하는 상황이, 예를 들어, 사용자(104)가 어노테이션 툴(annotation tool)을 사용하여 피험자(106)의 뷰에 및/또는 투영된 3D 데이터에 주석(예를 들어, 수술 중 관심 위치를 추적하는 것을 돕기 위해 다른 3D 데이터가 숨겨졌을 때조차도 피험자(106)에 투영된 채 있을 수 있는 크로스-헤어 어노테이션(cross-hairs annotation))을 달 경우, 또는 사용자(104)가 어노테이션 툴을 사용하여 피험자(106)의 뷰 및/또는 투영된 3D 데이터를 측정할 경우가 있을 수 있다.
일부 실시예들에서, 방법(600)은 피험자와 실제 피험자의 3D 데이터 사이의 자동 정렬을 달성할 수 있다. 또한, 이 자동 정렬은 수동 정렬 없이 및/또는 비해 부학적 기준의 수동 배치없이 달성될 수 있어서, 종래의 수동 정렬 형태보다 더 쉽고 정확하게 자동 정렬을 달성할 수 있다.
방법(600)의 블록이 이산 블록으로서 도 6a 내지 도 6e에 도시되어 있으나, 다양한 블록들은 원하는 구현에 따라 추가 블록으로 분할되거나, 더 적은 블록으로 결합되거나, 재정렬되거나, 확장되거나 제거될 수 있다. 예를 들어, 일부 실시예들에서, 블록들(602-612)은 블록들(614-642) 중 어느 하나를 수행하지 않고 수행될 수 있다. 또한, 일부 실시예에서, 예컨대 블록(614-616, 618-624, 626 또는 628-642) 중 어느 하나와 연계하여 피험자와 3D 데이터 사이의 등록 및 정렬이 자동 대신에 수동으로 수행되는 경우, 블록(604-610)없이 블록(602 및 612)만이 수행될 수 있다. 또한, 일부 실시예들에서, 블록들(628-632)은 블록들(634-642)없이 수행될 수 있다. 또한, 일부 실시예에서, 블록(628-636)은 블록(638-642)없이 수행될 수 있거나, 블록(628-632 및 638)은 블록(634-636 및 640-642)없이 수행될 수 있거나, 블록(628-632 및 640-642)은 블록(634-638)없이 수행될 수 있다. 또한, 일부 실시예들에서, 블록들(614-642) 중 어느 하나가 병행해 수행될 수 있다.
다른 예에서, 방법(600)은 피험자가 수술용 드레이핑으로 커버되기 전 또는 후에 자동 등록 문제를 다루는 단계를 더 포함할 수 있다. 예를 들어, 블록(610)은 수술용 드레이핑에 피험자를 덮기 전에 수행될 수 있고, 이어서 3D 데이터가 블록(612)에서 수술용 드레이핑 상에 투영될 수 있다. 그러나, 피험자가 수술용 드레이핑으로 덮인 후에 블록(610)이 수행되는 경우, 방법(600)은 피험자의 적절한 외부층을 가리는 수술용 드레이핑의 문제를 처리하도록 수정될 수 있다. 방법(600)에 대한 하나의 이러한 변형은 AR 헤드셋이 수술용 드레이핑을 관통하고 피험자의 보다 적합한 외부층을 찾을 수 있을 정도로 충분히 투명한 수술용 드레이핑을 이용하는 것을 포함할 수 있다. 또 다른 그러한 변형은 수술용 드레이핑 후에도 볼 수 있고 블록(612) 동안 특기될 수 있는 위치에 (예를 들어 특정 패턴으로) 피험자의 외부층에 시각적 마커를 배치하는 것을 포함할 수 있다. 피험자의 대부분이 비교적 불투명한 수술용 드레이프로 덮여 있을 때조차도, 시각적 마커가 여전히 보이는 한, 시각적 마커를 기준점으로 사용하여 자동 재등록을 수행할 수 있다. 또 다른 이러한 변형은 수술용 드레이핑 후에는 보이지 않지만 블록(612) 동안 특기될 수 있는 위치에 (예를 들어 특정 패턴으로) 피험자의 외부층 또는 가능하게는 피험자 내부에 여분의 시각적 마커들을 배치하는 것을 포함하는데, 이들은 블록(612) 동안 보여지거나 블록(612) 동안 센서에 의해 감지되기 때문이다. 여분의 시각적 마커들이 AR 헤드셋에 보이지 않더라도, 이러한 여분의 시각적 마커들은 AR 헤드셋의 센서에 의해 수술용 드레이프 아래에서 감지될 수 있는 재료로 제조될 수 있다. 예를 들어, 금속 감지기 센서는 여분의 금속 시각적 마커(예를 들어, 금속 메쉬 마커 또는 피부 아래 또는 체강 내로 삽입된 금속 마커)를 감지할 수 있거나, 적외선 센서는 적외선 감지 가능한 여분의 시각적 마커를 감지할 수 있거나, 자기 감지기 센서는 자기장을 방출하는 여분의 시각적 마커를 감지할 수 있거나, 무선 주파수 감지기는 무선 주파수를 방출하는 여분의 시각적 마커를 감지할 수 있다. 그런 다음 AR 헤드셋의 센서가 수술용 드레이핑 아래의 여분의 시각적 마커의 위치를 감지할 수 있는 한 피험자의 대부분이 비교적 불투명한 수술용 드레이핑으로 덮여있는 경우에도, 기준점으로서 여분의 시각 마커를 사용한 자동 재등록이 가능하다.
또한, 방법(600)은 AR 시스템 자체의 기능을 개선할 수 있고 AR의 분야를 개선할 수 있는 것으로 이해된다. 예를 들어, 도 1의 AR 헤드셋(108)의 기능은 가상 형태 측정을 사용하고, 실시간 형태 측정을 사용하며, 어떤 경우에는, 비해부학적 기준을 사용하지 않고도 3D 공간(102)에서 피험자(106)의 외부층(예를 들어, 피부(106a) 및 옷(107))의 등록된 실시간 위치와 정렬되도록 3D 데이터로부터 피험자(105)의 외부층의 기상 위치를 자동으로 등록함으로써 상기 방법(600)에 의해 그 자체로 개선될 수 있다. 이러한 자동 등록은 수동 등록 또는 비해부학적 기준의 수동 배치를 이용한 등록을 이용하는 종래의 AR 시스템보다 더 쉽고 정확하게 수행될 수 있다.
상술한 바와 같이, 본 명세서에 기술된 실시예는 아래에서 더 상세히 논의되는 바와 같이 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈을 포함하는 특수용 또는 범용 컴퓨터 (예를 들어, 도 5의 프로세서(502))의 사용을 포함할 수 있다. 또한, 상술한 바와 같이, 본 명세서에 기술된 실시예는 컴퓨터 실행 가능 명령어 또는 데이터 구조를 수록하거나 저장하기 위한 컴퓨터 판독가능 매체(예를 들어, 도 5의 메모리(504) 또는 파일 시스템(506))를 사용하여 구현될 수 있다.
일부 실시예들에서, 본 명세서에 설명된 상이한 컴포넌트들 및 모듈들은 컴퓨팅 시스템상에서 실행되는 객체들 또는 프로세스들(예를 들어, 개별 스레드들)로서 구현될 수 있다. 본 명세서에 설명된 방법 중 일부는 일반적으로 소프트웨어로 구현되는 (범용 하드웨어에 의해 저장 및/또는 실행되는) 것으로 기술되었으나, 특정 하드웨어 구현 또는 소프트웨어와 특정 하드웨어 구현의 조합도 가능하고 고려된다.
일반적인 실시에 따르면, 도면에 도시된 다양한 특징들은 실제 크기대로 그려지지 않을 수 있다. 본 명세서에 개시에 제시된 예시는 임의의 특정 장치(예를 들어, 디바이스, 시스템 등) 또는 방법의 실제 뷰를 의미하는 것이 아니라, 본 개시의 다양한 실시예를 설명하기 위해 사용되는 예시적인 표현일 뿐이다. 따라서, 명확히 하기 위해 다양한 특징의 치수들이 임의로 확대 또는 축소될 수 있다. 또한, 도면의 일부는 명확히 하기 위해 간략화될 수 있다. 따라서, 도면은 주어진 장치(예를 들어, 디바이스)의 모든 컴포넌트 또는 특정 방법의 모든 동작을 묘사하지 않을 수 있다.
본 명세서 및 특히 청구범위(예를 들어, 청구범위의 본문)에서 사용된 용어는 일반적으로 "개방형" 용어로 의되되어 있다(예를 들어, "포함하는"이라는 용어는 "포함하지만 이에 국한되지 않는"으로 해석되어야 하고, "갖는"은 "적어도 갖는"으로 해석되어야 하며, "포함한다"는 용어는 "포함하지만 이에 국한되지 않는다" 등으로 해석되어야 한다).
또한, 특정 개수의 채용된 인용항이 의도되어 있는 경우, 그러한 의도는 청구범위에 명확히 언급될 것이며, 그러한 언급이 없을 경우에는 그러한 의도가 없다. 예를 들어, 이해를 돕기 위해, 하기의 청구범위는 인용항을 채용하기 위해 "적어도 하나" 및 "하나 이상"의 채용 문구의 사용을 포함할 수 있다. 그러나, 이러한 문구의 사용은 동일 청구항이 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an"과 같은 부정관사의 채용 문구를 포함하더라도 부정관사 "a" 또는 "an"에 의한 인용항의 채용이 그러한 채용된 인용항을 포함하는 임의의 특정 청구항을 단지 하나의 이러한 인용만을 포함한 실시예로 국한시키는 것을 의미하는 것으로 해석되어서는 안된다(예를 들어, "a" 및/또는 "an"은 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 해석되어야 한다). 인용항을 채용하기 위해 사용된 정관사를 사용하는 경우에도 마찬가지다.
또한, 특정 개수의 채용된 인용항이 명시적으로 언급되더라도, 그러한 인용은 적어도 인용된 개수를 의미하는 것으로 해석되어야 한다는 것을 알아야 한다(예를 들어, 다른 변경인자 없이 "2개의 인용"이라는 인용은 적어도 2개의 인용 또는 2이상의 인용을 의미한다). 더욱이, "A, B 및 C 등 중 적어도 하나" 또는 "A, B 및 C 중 하나 이상 등"과 유사한 규칙이 사용되는 이러한 경우에, 일반적으로 이러한 구성은 A만, B만, C만, A 및 B와 함께, A 및 C와 함께, B 및 C와 함께 또는 A, B 및 C와 함께 등을 포함하는 것으로 의도된다. 예를 들어, "및/또는"는 이라는 용어는 이러한 방식으로 해석되도록 의도되어 있다.
또한, 요약서, 상세한 설명, 청구범위 또는 도면에서, 2이상의 다른 항을 나타내는 임의의 이접접속어 또는 이접접속어구는 항들 중 하나, 항들 중 어느 하나 또는 항 모두를 포함하는 가능성을 고려하는 것으로 이해되어야 한다. 예를 들어, "A 또는 B"라는 어구는 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해되어야 한다.
추가로, "제 1", "제 2", "제 3" 등의 용어의 사용은 요소들의 특정 순서 또는 번호를 의미하기 위해 본 명세서에서 반드시 사용될 필요는 없다. 일반적으로, "제 1", "제 2", "제 3" 등의 용어는 일반적인 식별자로서 상이한 요소를 구별하기 위해 사용된다. "제 1", "제 2", "제 3" 등의 용어가 특정 순서를 의미한다는 것을 나타내지 않으면, 이들 용어는 특정 순서를 의미하는 것으로 이해되어서는 안된다. 또한, "제 1", "제 2", "제 3" 등의 용어는 특정 개수의 요소를 의미한다는 것을 나타내지 않으면, 이들 용어는 특정 개수의 요소를 의미하는 것으로 이해되어서는 안된다. 예를 들어, 제 1 위젯은 제 1 측면을 갖는 것으로 기술될 수 있고, 제 2 위젯은 제 2 측면을 갖는 것으로 기술될 수 있다. 제 2 위젯과 관련하여 용어 "제 2 측면"의 사용은 제 2 위젯의 이러한 측면을 제 1 위젯의 "제 1 측면"과 구별하기 위한 것이지 제 2 위젯이 2개의 측면을 갖는 것을 의미하지 않을 수 있다.
상기의 명세서는 설명을 위해 특정 실시예를 참조로 기술되었다. 그러나, 상기 예시적인 논의는 포괄적이거나 개시된 정확한 형태로 청구된 바와 같이 본 발명을 제한하려는 것이 아니다. 상기 교시에 비추어 많은 수정 및 변형이 가능하다. 실시예는 실제 응용을 설명하기 위해 선택되고 설명되었으므로, 당업자는 청구된 바와 같은 본 발명 및 고려된 특정 용도에 적합할 수 있는 다양한 변형을 갖는 다양한 실시예를 이용할 수 있다.

Claims (27)

  1. 3차원(3D) 데이터로 피험자의 실시간 실제 뷰를 증강시키는 방법으로서,
    증강 현실(AR) 헤드셋이, 피험자의 외부층 및 피험자의 다중 내부층을 포함하는 피험자의 3D 데이터를 캡처하는 단계; 및
    AR 헤드셋이, 피험자의 외부층의 실시간 실제 뷰 상에 투영된 실시간 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계를 포함하고,
    상기 3D 데이터로부터 피험자의 투영된 내부층은 가상의 3D 형상의 체적 내에 한정되는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  2. 제 1 항에 있어서,
    상기 가상의 3D 형상은 가상 박스이고,
    상기 가상 박스는 상단측, 하단측, 좌측, 우측, 전면 및 후면을 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  3. 제 1 항에 있어서,
    상기 가상의 3D 형상은 상기 가상의 3D 형상의 라인을 디스플레이하는 것과 숨기는 것 사이에서 토글하도록 제어되게 구성되고,
    상기 가상의 3D 형상은 3D 데이터로부터 피험자의 투영된 내부층의 2차원(2D) 슬라이스 및/또는 3D 슬라이스를 재배치하도록 제어되게 구성되는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  4. 제 1 항에 있어서,
    상기 가상의 3D 형상의 라인이 디스플레이되는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  5. 제 1 항에 있어서,
    상기 가상의 3D 형상의 라인이 숨겨지는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  6. 제 1 항에 있어서,
    AR 헤드셋이, 피험의자의 외부층의 실시간 위치에 대해 물체의 실시간 위치를 자동으로 추적하는 단계: 및
    물체의 일부가 피험자의 외부층을 통해 피험자에 삽입되는 동안, AR 헤드셋이, 상기 피험자의 투영된 내부층에 투영된 물체의 가상 부위를 디스플레이하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  7. 제 6 항에 있어서,
    물체가 피험자의 외부층을 통해 피험자에게 삽입된 후에도 AR 헤드셋의 센서가 감지할 수 있는 재료로 물체가 형성되고;
    자동으로 추적하는 단계는 피험자의 외부층의 실시간 위치와 관련하여 물체의 실시간 위치를 자동으로 추적하는 AR 헤드셋의 센서를 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  8. 제 1 항에 있어서,
    AR 헤드셋이, 피험자의 외부층의 실시간 실제 뷰 상에 투영될 때 더 잘 보이도록 다중 내부층의 원래 컬러 그래디언트를 상기 원래 컬러 그래디언트보다 더 밝게 변경하는 단계; 및
    AR 헤드셋이, 피험자의 외부층의 실시간 실제 뷰에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계를 더 포함하고,
    3D 데이터로부터 피험자의 투영된 내부층은 변경된 컬러 그래디언트를 갖는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  9. 제 8 항에 있어서,
    변경된 컬러 그래디언트는 피험자의 다중 내부층의 조직 특성을 나타내고,
    상기 조직 특성은 조직 경도, 이완성, 에코 발생도, 증강량, 증강 속도, 밀도, 방사능 및 수분 함량 중 하나 이상을 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  10. 제 1 항에 있어서,
    피험자의 3D 데이터가 캡처됐을 때 피험자가 있었던 위치와 다른 위치에 피험자를 위치시키는 단계; 및
    AR 헤드셋이, 피험자의 상이한 위치와 일치하도록 3D 데이터를 변형시키는 단계; 및
    피험자의 실시간 실제 뷰 상에 투영된 변형된 3D 데이터로부터 피험자의 내부층 중 하나를 AR 헤드셋이 디스플레이하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  11. 제 10 항에 있어서,
    상기 위치시키는 단계는 피험자의 3D 데이터가 캡처됐을 때 피험자가 있었던 방향과 다른 방향으로 피험자를 위치시키는 단계를 포함하고,
    상기 변형시키는 단계는 피험자의 상이한 방향과 일치하도록 3D 데이터를 변형시키는 단계를 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  12. 제 1 항에 있어서,
    AR 헤드셋이, 3D 공간을 맵핑하는 단계;
    AR 헤드셋이, 상기 3D 공간 내에 피험자의 외부층의 실시간 위치를 맵핑함으로써 상기 3D 공간 내에 피험자의 외부층의 실시간 위치를 등록하는 단계;
    피험자에 여분의 시각적 마커를 위치시키는 단계;
    AR 헤드셋이, 상기 3D 공간 내에 피험자의 외부층의 등록된 실시간 위치와 정렬시키기 위해 상기 3D 데이터로부터 피험자의 외부층의 가상 위치를 자동으로 등록하는 단계;
    AR 헤드셋이, 상기 3D 공간 내에 피험자의 외부층의 등록된 실시간 위치에 대해 상기 여분의 시각적 마커의 실시간 위치를 자동으로 등록하는 단계;
    불투명한 수술용 드레이핑으로 피험자의 적어도 일부와 여분의 시각적 마커를 커버하는 단계;
    AR 헤드셋의 센서를 이용해, 불투명한 수술용 드레이핑 아래에 있는 여분의 시각적 마커의 실시간 위치를 감지하는 단계; 및
    AR 헤드셋이, 여분의 시각적 마커의 감지된 실시간 위치와 정렬시키기 위해 3D 데이터로부터 피험자의 외부층의 가상 위치를 자동으로 재등록하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  13. 제 1 항에 있어서,
    AR 헤드셋이, 3D 데이터로부터 피험자의 투영된 내부층의 디스플레이를 변경하기 위한 옵션을 포함하는 가상 커서 및/또는 가상 사용자 인터페이스를 AR 헤드셋에 생성하는 단계;
    AR 헤드셋의 초점 방향이 피험자 이외의 다른 곳에 초점 맞춰진 것으로 판단될 때, 실시간 실제 뷰 상에 투영된 가상 커서 및/또는 가상 사용자 인터페이스를 AR 헤드셋이 디스플레이하는 단계; 및
    AR 헤드셋의 초점 방향이 피험자에게 초점 맞아 있다고 판단될 때, 가상 커서 및/또는 가상 사용자 인터페이스를 AR 헤드셋이 숨기는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  14. 제 13 항에 있어서,
    AR 헤드셋이 수평선 위에 있을 때 AR 헤드셋의 초점 방향이 피험자 이외의 다른 곳에 초점 맞춰진 것으로 판단되고,
    AR 헤드셋이 수평선 아래에 있을 때 AR 헤드셋의 초점 방향이 피험자에 초점 맞았다고 판단되는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  15. 제 1 항에 있어서,
    AR 헤드셋이, 3D 데이터로부터 피험자의 투영된 내부층의 디스플레이를 변경하기 위한 옵션을 포함하는 가상 사용자 인터페이스를 AR 헤드셋에 생성하는 단계;
    AR 헤드셋이, 실시간 실제 뷰 상에 투영된 가상 사용자 인터페이스를 AR 헤드셋에 디스플레이하는 단계; 및
    가상 사용자 인터페이스가 AR 헤드셋의 초점 방향에 수직으로 계속 지향되도록 가상 사용자 인터페이스의 디스플레이를 AR 헤드셋이 업데이트하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  16. 제 15 항에 있어서,
    AR 헤드셋의 초점 방향에 대한 가상 사용자 인터페이스의 수직 방향으로 인해 사용자가 피험자를 향하거나 피험자로부터 멀리 향하더라도 상기 가상 사용자 인터페이스가 AR 헤드셋을 착용한 사용자를 상시 대면하게 되는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  17. 제 1 항에 있어서,
    AR 헤드셋이, 3D 데이터로부터 피험자의 투영된 내부층의 디스플레이를 변경하기 위한 옵션을 포함하는 가상 사용자 인터페이스를 AR 헤드셋에 생성하는 단계;
    AR 헤드셋이, 실시간 실제 뷰 상에 투영된 가상 사용자 인터페이스를 AR 헤드셋에 디스플레이하는 단계;
    AR 헤드셋으로부터 피험자의 거리를 실시간으로 결정하는 단계; 및
    가상 사용자 인터페이스가 AR 헤드셋으로부터 피험자의 실시간 거리와 같은 AR 헤드셋으로부터 초점 거리에 계속 위치되게 상기 가상 사용자 인터페이스의 디스플레이를 AR 헤드셋이 실시간으로 업데이트하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  18. 제 17 항에 있어서,
    AR 헤드셋으로부터 피험자의 실시간 거리는: 피험자의 중심까지, 피험자의 초점 영역의 중심까지, 또는 피험자에 현재 보여지고 있는 3D 데이터의 슬라이스까지 실시간 거리인 피험자의 실시간 실제 뷰를 증강시키는 방법.
  19. 제 1 항에 있어서,
    실시간으로, 피험자의 외부층 및 피험자의 다중 내부층을 포함하는 피험자의 실시간 3D 비디오 데이터를 캡처하는 단계; 및
    AR 헤드셋이 실시간으로, 피험자의 외부층의 실시간 실제 뷰 상에 투영된 실시간 3D 비디오 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  20. 제 19 항에 있어서,
    실시간 3D 비디오 데이터의 투영된 내부층은 피험자의 외부층 내에 움직이는 피험자의 내부 장기를 묘사하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  21. 제 1 항에 있어서,
    AR 헤드셋이, 피험자의 외부층의 실시간 위치와 정렬시키기 위해 3D 데이터로부터 피험자의 외부층의 가상 위치를 자동으로 등록하는 단계;
    AR 헤드셋이, 자동 등록이 정확하다는 수치 신뢰 점수를 생성하는 단계; 및
    AR 헤드셋이, 상기 수치 신뢰 점수를 사용자에게 디스플레이하는 단계를 더 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  22. 제 21 항에 있어서,
    상기 수치 신뢰 점수는 3D 데이터의 외부층이 피험자의 외부층과 일치한다는 신뢰 수준을 나타내는 1에서 100 사이의 숫자인 피험자의 실시간 실제 뷰를 증강시키는 방법.
  23. 3차원(3D) 데이터로 피험자의 실시간 실제 뷰를 증강시키는 방법으로서,
    증강 현실(AR) 헤드셋이, 피험자의 외부층 및 피험자의 다중 내부 층을 포함하는 피험자의 3D 데이터를 식별하는 단계;
    AR 헤드셋이, 피험자의 외부층의 실시간 실제 뷰 상에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계;
    AR 헤드셋이, 피험자의 외부층의 실시간 위치에 대한 물체의 실시간 위치를 자동 추적하는 단계; 및
    물체의 일부가 피험자의 외부층을 통해 피험자에게 삽입되는 동안, AR 헤드셋이 피험자의 투영된 내부층으로 투영된 물체의 가상 부위를 디스플레이하는 단계를 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  24. 제 23 항에 있어서,
    상기 물체는 피험자의 외부층을 통해 물체가 피험자에게 삽입된 후에도 AR 헤드셋의 센서가 감지할 수 있는 재료로 형성되고,
    자동으로 추적하는 단계는 피험자의 외부층의 실시간 위치와 관련하여 물체의 실시간 위치를 자동으로 추적하는 AR 헤드셋의 센서를 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  25. 3차원(3D) 데이터로 피험자의 실시간 실제 뷰를 증강시키는 방법으로서,
    증강 현실(AR) 헤드셋이, 피험자의 외부층 및 원래 컬러 그래디언트를 갖는 피험자의 다중 내부층을 포함하는 피험자에 대한 3D 데이터를 식별하는 단계;
    AR 헤드셋이, 피험자의 외부층의 실시간 실제 뷰 상에 투영될 때 더 잘 보이도록 다중 내부층의 원래 컬러 그래디언트를 상기 원래 컬러 그래디언트보다 더 밝게 변경하는 단계; 및
    AR 헤드셋이, 피험자의 외부층의 실시간 실제 뷰에 투영된 3D 데이터로부터 피험자의 내부층 중 하나를 디스플레이하는 단계를 포함하고,
    상기 3D 데이터로부터 피험자의 투영된 내부층은 변경된 컬러 그래디언트를 갖는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  26. 제 25 항에 있어서,
    상기 변경된 컬러 그래디언트는 피험자의 다중 내부층의 조직 특성을 나타내고, 상기 조직 특성은 조직 경도, 이완성, 에코 발생도, 증강량, 증강 속도, 밀도, 방사능 및 수분 함량 중 하나 이상을 포함하는 피험자의 실시간 실제 뷰를 증강시키는 방법.
  27. 삭제
KR1020197030300A 2017-03-30 2018-03-16 3차원 데이터로 피험자의 실시간 뷰 KR102327527B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/474,702 2017-03-30
US15/474,702 US9892564B1 (en) 2017-03-30 2017-03-30 Augmenting real-time views of a patient with three-dimensional data
US15/894,595 US10475244B2 (en) 2017-03-30 2018-02-12 Augmenting real-time views of a patient with three-dimensional data
US15/894,595 2018-02-12
PCT/US2018/022921 WO2018183001A1 (en) 2017-03-30 2018-03-16 Augmenting real-time views of a patent with three-dimensional data

Publications (2)

Publication Number Publication Date
KR20190138799A KR20190138799A (ko) 2019-12-16
KR102327527B1 true KR102327527B1 (ko) 2021-11-17

Family

ID=61147999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030300A KR102327527B1 (ko) 2017-03-30 2018-03-16 3차원 데이터로 피험자의 실시간 뷰

Country Status (6)

Country Link
US (5) US9892564B1 (ko)
EP (1) EP3602180A4 (ko)
JP (1) JP2020516003A (ko)
KR (1) KR102327527B1 (ko)
CN (1) CN110494921B (ko)
WO (1) WO2018183001A1 (ko)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20180082480A1 (en) * 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
AU2018230901B2 (en) 2017-03-10 2020-12-17 Biomet Manufacturing, Llc Augmented reality supported knee surgery
EP3596658A1 (en) 2017-03-13 2020-01-22 Zimmer, Inc. Augmented reality diagnosis guidance
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10987190B2 (en) * 2017-05-09 2021-04-27 Brainlab Ag Generation of augmented reality image of a medical device
US10593240B2 (en) * 2017-06-08 2020-03-17 Medos International Sàrl User interface systems for sterile fields and other working environments
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3701355A1 (en) * 2017-10-23 2020-09-02 Koninklijke Philips N.V. Self-expanding augmented reality-based service instructions library
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10825563B2 (en) * 2018-05-14 2020-11-03 Novarad Corporation Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
WO2020025110A1 (en) * 2018-07-31 2020-02-06 Brainlab Ag Medical imaging apparatus providing artificial reality support
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11696790B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Adaptably connectable and reassignable system accessories for modular energy system
US11696789B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Consolidated user interface for modular energy system
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
EP3864629A4 (en) * 2018-10-08 2022-07-27 McGinley Education Innovations, LLC AUGMENTED REALITY BASED PLAYBACK OF ULTRASONOGRAPHIC IMAGES FOR SURGICAL ASSISTANT
US12008721B2 (en) 2018-10-26 2024-06-11 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) * 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11218822B2 (en) 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
WO2020210972A1 (zh) * 2019-04-16 2020-10-22 孙永年 手术用穿戴式影像显示装置及手术资讯即时呈现系统
EP3726834A1 (en) * 2019-04-17 2020-10-21 Medneo GmbH Telepresence system and method
DE102020001882A1 (de) * 2019-04-26 2020-11-12 Mitutoyo Corporation Visualisierungsvorrichtung und Programm
JP2022535738A (ja) 2019-05-29 2022-08-10 マーフィー，ステファン，ビー 外科手術に拡張現実を利用するためのシステム及び方法
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
EP3789965B1 (en) * 2019-09-09 2021-12-01 apoQlar GmbH Method for controlling a display, computer program and mixed reality display device
US11013477B2 (en) * 2019-10-24 2021-05-25 Jonathan Ross Vanhooser Positioning guidance system for x-ray exams
CN114746012A (zh) * 2019-12-03 2022-07-12 医疗视野Xr有限公司 用于经皮外科程序插入的全息增强现实超声针导器
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11564767B2 (en) 2020-04-22 2023-01-31 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
CN115697233A (zh) * 2020-05-29 2023-02-03 柯惠Lp公司 用于通过外科机器人系统对3d可视化进行集成控制的系统和方法
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN112076400A (zh) * 2020-10-15 2020-12-15 上海市肺科医院 一种重复定位方法及系统
CN112635073B (zh) * 2020-12-18 2022-02-08 四川省疾病预防控制中心 一种密切接触者排查方法、装置、计算机设备及存储介质
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
CN113057604A (zh) * 2021-02-04 2021-07-02 应急管理部上海消防研究所 一种埋压人员救援平台
US11164391B1 (en) 2021-02-12 2021-11-02 Optum Technology, Inc. Mixed reality object detection
US11210793B1 (en) 2021-02-12 2021-12-28 Optum Technology, Inc. Mixed reality object detection
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20220335660A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Selective and adjustable mixed reality overlay in surgical field view
WO2022225132A1 (ko) * 2021-04-22 2022-10-27 서울대학교병원 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023021451A1 (en) * 2021-08-18 2023-02-23 Augmedics Ltd. Augmented reality assistance for osteotomy and discectomy
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055748A1 (en) * 2000-05-15 2001-12-27 Bailey Bradford E. System for training persons to perform minimally invasive surgical procedures
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
ATE371414T1 (de) * 2001-06-13 2007-09-15 Volume Interactions Pte Ltd Führungssystem
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
FR2852226B1 (fr) * 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
DE10315242B4 (de) * 2003-04-03 2006-02-23 Siemens Ag Verfahren und Vorrichtung zur realitätsnahen dreidimensionalen Bildgebung
WO2005091220A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8384771B1 (en) * 2006-12-28 2013-02-26 David Byron Douglas Method and apparatus for three dimensional viewing of images
US9473766B2 (en) * 2006-12-28 2016-10-18 David Byron Douglas Method and apparatus for three dimensional viewing of images
CN101657845A (zh) * 2007-04-18 2010-02-24 皇家飞利浦电子股份有限公司 为医疗患者呈现个人经历的装置和方法
WO2008142172A2 (de) * 2007-05-24 2008-11-27 Surgiceye Gmbh Bilderzeugungsapparat und -methode zur nuklearbildgebung
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
EP2269533B1 (en) * 2008-03-21 2021-05-05 Atsushi Takahashi Three-dimensional digital magnifier operation supporting system
EP2153794B1 (en) * 2008-08-15 2016-11-09 Stryker European Holdings I, LLC System for and method of visualizing an interior of a body
EP2455038B1 (de) * 2008-10-21 2015-04-01 Brainlab AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5562339B2 (ja) * 2009-07-24 2014-07-30 株式会社日立メディコ 医用画像表示装置及び医用画像表示方法
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US9524579B2 (en) * 2010-04-15 2016-12-20 Roger Lin Orientating an oblique plane in a 3D representation
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
WO2012039193A1 (ja) * 2010-09-21 2012-03-29 株式会社 日立メディコ 超音波診断装置および超音波画像の表示方法
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
JP5984235B2 (ja) * 2011-07-19 2016-09-06 東芝メディカルシステムズ株式会社 画像処理システム、装置、方法及び医用画像診断装置
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
CN103445863B (zh) * 2012-06-02 2015-10-07 复旦大学 基于平板电脑的手术导航和增强现实系统
US10028727B2 (en) * 2012-12-06 2018-07-24 Hitachi, Ltd. Ultrasound diagnostic apparatus and method of displaying ultrasound image
DE102012025374A1 (de) 2012-12-27 2014-07-17 Mehran Mahvash Mohammadi Augmented-Reality-System (Erweiterte Realität) durch direkte Bildprojektion für computergestützte und bildgeführte Neurochirurgie
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
AU2014223521B2 (en) * 2013-02-26 2018-04-19 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
US8922589B2 (en) * 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US11020016B2 (en) * 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
KR20160033721A (ko) * 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
JP6513669B2 (ja) * 2013-08-13 2019-05-15 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 解剖学的アイテムのコンピュータによる視覚化
US10073515B2 (en) * 2013-09-18 2018-09-11 Nanophthalmos, Llc Surgical navigation system and method
KR20150074348A (ko) * 2013-12-24 2015-07-02 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상표시방법
CA2935873C (en) * 2014-01-06 2022-10-25 Body Vision Medical Ltd. Surgical devices and methods of use thereof
ES2760572T3 (es) * 2014-01-29 2020-05-14 Becton Dickinson Co Dispositivo electrónico portátil para realzar la visualización durante la inserción de un dispositivo invasivo
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
FR3027711B1 (fr) * 2014-10-27 2018-06-15 Dental Monitoring Procede de controle de la dentition
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10111658B2 (en) * 2015-02-12 2018-10-30 Covidien Lp Display screens for medical devices
US20180020992A1 (en) * 2015-02-16 2018-01-25 Dimensions And Shapes, Llc Systems and methods for medical visualization
US10908681B2 (en) * 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
WO2016162789A2 (en) * 2015-04-07 2016-10-13 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
CN111329553B (zh) 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
WO2018032083A1 (en) * 2016-08-17 2018-02-22 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US20200186786A1 (en) 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
CN110393921B (zh) 2019-08-08 2022-08-26 腾讯科技（深圳）有限公司 云游戏的处理方法、装置、终端、服务器及存储介质
WO2021035525A1 (zh) * 2019-08-27 2021-03-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538962B1 (en) 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment

Also Published As

Publication number Publication date
JP2020516003A (ja) 2020-05-28
US11004271B2 (en) 2021-05-11
KR20190138799A (ko) 2019-12-16
CN110494921B (zh) 2023-11-28
US20230038130A1 (en) 2023-02-09
US9892564B1 (en) 2018-02-13
US10475244B2 (en) 2019-11-12
EP3602180A4 (en) 2021-04-14
US20210264680A1 (en) 2021-08-26
US20180286132A1 (en) 2018-10-04
US20200013224A1 (en) 2020-01-09
CN110494921A (zh) 2019-11-22
WO2018183001A1 (en) 2018-10-04
EP3602180A1 (en) 2020-02-05
US11481987B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
KR102327527B1 (ko) 3차원 데이터로 피험자의 실시간 뷰
KR102562252B1 (ko) 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
US10594998B1 (en) Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays and surface representations
KR102014355B1 (ko) 수술도구의 위치 정보 산출 방법 및 장치
US20220405935A1 (en) Augmented reality patient positioning using an atlas
US11340708B2 (en) Gesture control of medical displays
WO2016195919A1 (en) Accurate three-dimensional instrument positioning
JP6548110B2 (ja) 医用観察支援システム及び臓器の３次元模型
KR20140128137A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR20140128131A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant