KR20230116969A - 환자에게 부착된 광학 코드를 사용하여 환자의 이미지데이터를 환자의 실제 시야와 정렬하는 방법 - Google Patents

환자에게 부착된 광학 코드를 사용하여 환자의 이미지데이터를 환자의 실제 시야와 정렬하는 방법 Download PDF

Info

Publication number
KR20230116969A
KR20230116969A KR1020237025823A KR20237025823A KR20230116969A KR 20230116969 A KR20230116969 A KR 20230116969A KR 1020237025823 A KR1020237025823 A KR 1020237025823A KR 20237025823 A KR20237025823 A KR 20237025823A KR 20230116969 A KR20230116969 A KR 20230116969A
Authority
KR
South Korea
Prior art keywords
patient
image data
optical
pattern
markers
Prior art date
Application number
KR1020237025823A
Other languages
English (en)
Other versions
KR102695271B1 (ko
Inventor
스티븐 츠벳코
웬델 알렌 기비
제이콥 트로이 기비
Original Assignee
노바라드 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노바라드 코포레이션 filed Critical 노바라드 코포레이션
Publication of KR20230116969A publication Critical patent/KR20230116969A/ko
Application granted granted Critical
Publication of KR102695271B1 publication Critical patent/KR102695271B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법에 관한 것이다. 일부 실시태양에서, 이 방법은 환자에게 광학 코드를 부착하는 단계, 환자에게 마커의 패턴 부착하는 단계, 환자의 이미지 데이터를 캡처하는 단계, 3D 공간에서 환자에게 부착된 광학 코드 및 광학 코드의 위치를 감지하는 하는 단계, 이미지 데이터에 접근하는 단계, 3D 공간에서 마커의 패턴의 위치를 계산하는 단계, 3D 공간에서 마커의 패턴의 계산된 위치를 이미지 데이터에서 마커의 패턴의 위치와 정렬하여 3D 공간에서 환자의 내층의 위치를 등록하는 단계 및 실시간으로 대체 현실(AR) 헤드셋에 환자의 실제 시야에 투영된 이미지 데이터로부터 환자의 내층을 표시하는 단계를 포함할 수 있다.

Description

환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법{Aligning Image Data of a Patient with Actual Views of the Patient Using an Optical Code Affixed to the Patient}
본 발명은 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법에 관한 것이다.
증강 현실(AR) 시스템은 일반적으로 실제 환경에 대한 사용자의 실제 시야를 가져와 비디오, 사운드, 이미지 또는 그래픽과 같은 컴퓨터 생성 가상 요소로 시야를 증강한다. 그 결과, AR 시스템은 사용자의 현재 현실 인식을 향상시키는 기능을 한다.
AR 시스템이 직면하는 일반적인 문제 중 하나는 가상 요소의 위치를 실제 환경의 실제 시야와 정확하게 정렬하는 것이다. AR 시스템이 직면하는 또 다른 일반적인 문제는 실제 환경의 실제 시야에 해당하는 올바른 가상 요소를 지속적으로 검색하는 것이다. 이러한 검색 및 정렬 프로세스는 주로 수동으로 수행되어 시간이 많이 걸리고 번거롭고 부정확할 수 있다.
본 명세서에서 청구된 주제는 임의의 단점을 해결하거나 위에서 설명된 것과 같은 환경에서만 작동하는 실시태양으로 제한되지 않는다. 오히려, 이 배경 기술은 본 명세서에 설명된 일부 실시태양이 실시될 수 있는 하나의 예시적인 기술 영역을 예시하기 위해서만 제공된다.
일부 실시태양에서, 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법은 다양한 행위를 포함할 수 있다. 예를 들어, 이 방법은 광학 코드를 환자에게 부착하는 단계를 포함할 수 있으며, 광학 코드는 광학 센서에 인식 가능하다. 이 방법은 또한 광학 코드의 위치에 대해 고정된 위치에 마커의 패턴을 환자에게 부착하는 단계를 포함할 수 있으며, 마커의 패턴은 비 광학 영상 방식에 인식 가능하다. 이 방법은 비 광학 영상 방식을 사용하여 환자의 이미지 데이터를 캡처하는 단계를 더 포함할 수 있으며, 이미지 데이터는 환자의 내층을 포함하고 이미지 데이터는 환자의 내층의 위치에 대해 고정된 위치에 있는 마커의 패턴을 더 포함한다. 이 방법은 또한 증강 현실(AR) 헤드셋의 광학 센서로 3D 공간에서 환자에게 부착된 광학 코드 및 광학 코드의 위치를 감지하는 단계를 포함할 수 있다. 이 방법은 광학 코드에 기초하여 이미지 데이터에 접근하는 단계를 더 포함할 수 있다. 이 방법은 또한, 3D 공간에서 광학 코드의 감지된 위치 및 광학 코드의 위치에 대한 마커의 패턴의 고정된 위치에 기초하여, 3D 공간에서 마커의 패턴의 위치를 계산하는 단계를 포함할 수 있다. 이 방법은, 3D 공간에서 마커의 패턴의 계산된 위치 및 환자의 내층의 위치에 대한 마커의 패턴의 이미지 데이터에서의 고정된 위치에 기초하여, 3D 공간에서 마커의 패턴의 계산된 위치를 이미지 데이터에서 마커의 패턴 위치와 정렬함으로써 3D 공간에서 환자의 내층의 위치를 등록하는 단계를 더 포함할 수 있다. 이 방법은 또한, 실시간으로, AR 헤드셋에 그리고 등록에 기초하여, 환자의 실제 시야에 투영된 이미지 데이터로부터 환자의 내층을 표시하는 단계를 포함할 수 있다.
일부 실시태양에서, 광학 코드를 환자에게 부착하는 단계는 광학 코드가 인쇄된 붕대를 환자의 외층에 부착하는 것을 포함할 수 있다. 이들 실시태양에서, 광학 코드의 위치에 대해 고정된 위치에 환자에게 마커의 패턴을 부착하는 단계는 광학 코드의 위치에 대해 고정된 위치에서 붕대에 부착되는 마커의 패턴을 포함할 수 있다. 또한, 이러한 실시태양에서, 마커의 패턴은, 예를 들어, 마커의 패턴이 잉크 내에 삽입되는 붕대 내에 삽입될 수 있으며 잉크에 의해 광학 코드가 붕대 상에 인쇄되고 잉크는 비 광학 영상 방식에 인식 가능한 재료를 포함한다. 이러한 실시태양에서, 비 광학 영상 방식에 인식 가능한 재료는 X-선에 투명하지 않은 방사선 불투명 재료, 자기적으로 보이는 재료 또는 방사성 재료일 수 있다.
일부 실시태양에서, 비 광학 영상 방식은 자기 공명 영상(MRI) 방식, 컴퓨터 단층 촬영(CT) 스캔 방식, X선 방식, 양전자 방출 단층 촬영(PET) 방식, 초음파 방식, 형광 방식, 적외선 열화상 촬영(IRT) 방식 또는 단일 광자 방출 컴퓨터 단층 촬영(SPECT) 스캔 방식을 포함할 수 있다.
일부 실시태양에서, 이미지 데이터는 2차원(2D) 이미지 데이터, 3차원(3D) 이미지 데이터, 4차원(4D) 이미지 데이터, 또는 이들의 일부 조합을 포함할 수 있다.
일부 실시태양에서, 광학 코드는 선형 바코드, 매트릭스 2차원(2D) 바코드, 빠른 응답(QR) 코드 또는 이들의 일부 조합일 수 있다.
일부 실시태양에서, 광학 코드는 환자의 의료 데이터에 연결될 수 있어서 환자의 의료 데이터가 광학 코드로 접근될 수 있다. 이러한 실시태양에서, 광학 코드는 환자의 의료 데이터에 연결된 보안 증명일 수 있어서 환자의 의료 데이터가 추가 보안 증명없이 광학 코드로 접근될 수 있다.
일부 실시태양에서, 광학 코드를 환자에게 부착하는 단계는 환자의 피부에 광학 코드를 인쇄하는 것을 포함할 수 있다.
일부 실시태양에서, 광학 코드를 환자에게 부착하는 단계는 광학 코드가 인쇄된 환자에게 의류 제품을 배치하는 것을 포함할 수 있다.
일부 실시태양에서, 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하기 위한 장치는 붕대, 붕대에 인쇄된 광학 코드 및 붕대에 부착된 마커의 패턴을 포함할 수 있다. 광학 코드는 광학 센서에 인식 가능하다. 마커의 패턴은 붕대 상의 광학 코드의 위치에 대해 붕대에서 고정된 위치를 가질 수 있다. 마커의 패턴은 비 광학 영상 방식에 대해 인식 가능하여 환자의 이미지 데이터가 비 광학 영상 방식을 사용하여 캡처될 때, 이미지 데이터가 환자의 내층을 포함하고 이미지 데이터가 환자의 내층 위치에 대해 고정된 위치에 마커의 패턴을 추가로 포함한다.
일부 실시태양에서, 마커의 패턴은 잉크 내에 삽입될 수 있으며 잉크에 의해 광학 코드가 붕대 상에 인쇄된다. 이들 실시태양에서, 잉크는 비 광학 영상 방식에 인식 가능한 재료를 포함할 수 있다. 이러한 실시태양에서, 비 광학 영상 방식에 인식 가능한 재료는 X-선에 투명하지 않은 방사선 불투명 재료, 자기적으로 보이는 재료 또는 방사성 재료일 수 있다.
일부 실시태양에서, 붕대는 살균 가능한 재료로 형성될 수 있다.
전술한 요약 및 다음의 상세한 설명은 모두 설명적이며 청구된 본 발명을 제한하지 않는다는 것이 이해되어야 한다.
본 발명의 내용 중에 포함되어 있다.
실시태양은 첨부된 도면을 사용하여 추가적인 구체적이고 상세하게 기술되고 설명될 것이다.
도 1은 환자의 이미지 데이터가 환자에게 부착된 광학 코드를 사용하여 환자의 실제 시야와 정렬될 수 있는 예시적인 증강 현실(AR) 환경을 도시한다.
도 2는 환자에게 부착된 도 1의 광학 코드를 도시한다.
도 3은 환자에게 부착된 광학 코드를 사용하여 환자의 실제 시야와 환자의 이미지 데이터를 정렬하는 데 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다.
도 4는 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 예시적인 방법의 흐름도이다.
도 5a-5b는 광학 코드의 사진과 환자에게 부착된 마커의 패턴이다.
도 5c-5d는 이미지 데이터에서 볼 수 있는 5a-5b로부터의 마커의 패턴을 갖는 환자의 이미지 데이터의 사진이다.
도 5e는 도 5a-5b의 환자의 실제 시야에 실시간으로 투영되는 도 5c-5d의 이미지 데이터의 증강 현실(AR) 헤드셋을 통한 시야의 사진이다.
의료 영상은 환자 내부의 시각적 표현을 생성하는 데 사용될 수 있다. 보다 구체적으로, 의료 영상은 훈련, 연구, 진단 및 치료와 같은 다양한 목적을 위해 환자의 피부 또는 의류와 같은 환자의 외층에 의해 숨겨진 내부 구조를 드러내는 데 사용될 수 있다.
기존의 의료 영상 시스템은 환자에 대한 이미지 데이터를 생성한 다음 컴퓨터 디스플레이에 해당 영상 데이터를 표시할 수 있다. 실제 환자와 분리되어, 컴퓨터 디스플레이에서 환자의 이미지를 보는 것은 교육, 연구, 진단 및 치료에 유용할 수 있지만 이러한 분리된 보기와 같은 보기는 일부 문제를 일으킬 수 있다.
예를 들어, 외과의사가 환자의 뇌에서 종양을 제거해야 하는 경우, 외과의사는 컴퓨터 디스플레이에서 환자의 뇌 이미지를 볼 수 있다. 컴퓨터 디스플레이에서 종양의 위치를 본 후, 외과의사는 컴퓨터 디스플레이에서 수술대에 있는 실제 환자로 자신의 시야를 전환하고 환자의 뇌 내부에 있는 종양의 실제 환자에서의 대략적인 위치를 식별하려고 시도할 수 있다. 종양의 대략적인 위치를 확인하는 이 방법은 어렵고 오류가 발생하기 쉬울 수 있다. 예를 들어, 외과의사는 실제로 종양이 뇌의 오른쪽에 있을 때 이미지에서 뇌의 왼쪽에 종양이 있는 것으로 우연히 식별할 수 있다. 이 오류는 외과의사가 뇌 수술을 시작할 때 실수로 환자의 두개골 왼쪽에 불필요한 절개를 하게 하거나 뇌 수술 중에 외과의가 도구를 종양에서 멀리 가져가게 할 수 있다.
또 다른 예에서, 의사가 환자에게 무릎 수술을 수행해야 하는 경우, 의사는 컴퓨터 디스플레이에서 환자의 무릎 이미지를 볼 수 있다. 컴퓨터 디스플레이에서 무릎의 문제 영역을 본 후, 의사는 컴퓨터 디스플레이에서 수술대에 있는 실제 환자로 자신의 시야를 전환하고 수술을 위해 실제 환자의 무릎 문제 영역을 식별하려고 시도할 수 있다. 무릎의 문제 영역을 식별하는 이 방법은 어렵고 오류가 발생하기 쉬울 수 있다. 예를 들어, 의사는 수술대에 있는 환자가 컴퓨터 디스플레이 상의 이미지와 일치하지 않는다는 사실을 깨닫지 못한 채 우연히 컴퓨터 디스플레이에 잘못된 환자의 이미지를 표시할 수 있다. 이 오류는 무릎 수술을 시작할 때 한 환자에서 다음 환자로 무릎의 문제 영역이 자연적으로 변하기 때문에 외과의가 잘못된 위치에서 잘못된 절개를 하게 하거나 무릎 수술 중에 외과의가 도구를 무릎의 잘못된 내부 영역에 실수로 가져가게 할 수 있다.
위에서 논의한 뇌 수술 및 무릎 수술 예에서 발생하는 문제를 피하기 위해, 의료 전문가는 환자의 이미지 데이터(예를 들어, 사전에 캡처한 다음 촬영한 후 AR 헤드셋의 렌즈와 같은 디스플레이에 투영된 하나 이상의 이미지)에 의해 환자의 실제 시야(예를 들어, 사용자의 육안으로 또는 AR 헤드셋의 렌즈를 통해 사용자의 눈으로 볼 수 있는 환자의 실시간 시야)를 증강하기 위해 증강 현실(AR) 헤드셋을 사용할 수 있다. 특히, 환자의 이미지 데이터는 환자의 실제 시야와 정렬 또는 등록될 수 있고 이미지 데이터에서 유도된 이미지가 AR 헤드셋에서 환자의 실제 시야에 투영될 수 있다. 그러나 안타깝게도, 환자의 실제 시야와 환자의 이미지 데이터의 정확한 정렬 또는 등록은 이 정렬 과정이 종종 시간이 많이 걸리고 번거롭고 부정확할 수 있는 수동으로 수행되고 잘못된 이미지 데이터가 주어진 환자에 대해 검색될 가능성이 존재하기 때문에 실행하기 어려울 수 있다.
위에서 논의된 수동 정렬 문제에 대한 한 가지 해결책은 본 발명에 참조로 전문이 포함되는 미국 특허 제9,892,564호에 개시된 자동 정렬이다. 그러나, 이러한 자동 정렬은, 일부 응용분야에서, AR 헤드셋의 매핑 센서 해상도 및/또는 환자의 피부 또는 다른 외층의 상대적으로 작은 피부 영역만이 노출되는 경우 제한될 수 있다.
본 발명에 개시된 실시태양은 종래의 AR 시스템에 비해 다양한 이점을 제공할 수 있다. 특히, 본 발명에 개시된 실시태양은, 예를 들어, 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬할 수 있다. 예를 들어, 의료 전문가는 QR 코드와 같은 광학 코드와 마커의 패턴을 환자에게 부착할 수 있다. 그런 다음, 의료 전문가는 환자의 이미지 데이터를 캡처하기 위해 비 광학 영상 방식을 사용할 수 있다. 이미지 데이터는 환자의 하나 이상의 내층뿐만 아니라 환자의 하나 이상의 내층의 위치에 대해 고정된 위치에 있는 마커의 패턴을 포함할 수 있다. 그런 다음, 의료 전문가는 환자에게 부착된 광학 코드와 3D 공간에서 광학 코드의 위치를 감지하기 위해 AR 헤드셋을 사용할 수 있다. 그런 다음 AR 헤드셋은 광학 코드를 기반으로 이미지 데이터에 자동으로 접근할 수 있으며 3D 공간에서 광학 코드의 감지된 위치와 광학 코드의 위치에 대한 마커의 패턴의 고정된 위치를 기반으로 3D 공간에서 마커의 패턴의 위치를 자동으로 계산할 수 있다. 그런 다음 AR 헤드셋은 3D 공간에서 마커의 패턴의 계산된 위치를 3D 공간에서 마커의 패턴의 계산된 위치 및 환자의 내층의 위치에 대한 마커의 패턴의 이미지 데이터에서 고정된 위치에 기반하여 이미지 데이터에서 마커의 패턴의 위치와 정렬함으로써 3D 공간에서 환자의 내층의 위치를 자동으로 등록할 수 있다. 마지막으로, AR 헤드셋은 환자의 실제 시야에 투영된 이미지 데이터로부터 환자의 하나 이상의 내층을 실시간으로 표시할 수 있다.
따라서, 본 발명에 개시된 실시태양은 환자의 실제 시야와 이미지 데이터의 시간 소모적이고 번거롭고 부정확한 수동 정렬 없이 의료 전문가가 AR 헤드셋을 통해 실제 환자를 보면서 환자의 가상 내부를 볼 수 있게 한다. 또한, 수술 중 검색과 같은 이미지 데이터를 자동으로 검색하기 위해 이미지 데이터를 캡처하는 동안 사용된 것과 동일한 광학 코드를 사용하면 이미지 데이터의 시간 소모적이고 번거롭고 부정확한 수동 검색 없이 AR 헤드셋에 의해 검색한 이미지 데이터가 AR을 통해 보고 있는 실제 환자와 일치하는지 확인할 수 있다. 훈련, 연구, 진단 또는 치료에 사용될 때, 이러한 실시태양은 의료 전문가가 환자 내에서 목표 위치를 보다 쉽고 정확하게 찾게 할 수 있다. 또한, 본 발명에 개시된 실시태양은 도 2에 노출 된 환자(106)의 상대적으로 작은 피부 영역과 같이, 노출된 환자의 상대적으로 작은 영역 또는 환자의 다른 외층과의 자동 정렬을 가능하게 할 수 있다.
예를 들어, 위에서 논의된 뇌 수술 예에서 사용되는 경우, 본 발명에 개시된 실시태양은 환자의 이미지 데이터를 환자의 실제 시야와 정확하게 정렬한 다음 외과의사가 뇌의 오른쪽과 왼쪽 사이의 종양 위치를 혼동하는 것을 피할 수 있어서 외과의사가 뇌 수술의 시작시에 두개골의 잘못된 쪽에 불필요한 절개를 하는 것을 피할 수 있다. 또한, 본 발명에 개시된 실시태양은 외과의사가 종양을 제거하기 위해 수술 중에 종양을 향해 도구를 정확하게 내부적으로 가져갈 수 있게 할 수 있다. 유사하게, 위에서 논의된 무릎 수술 예에서 사용될 때, 본 발명에 개시된 실시태양은 환자에게 부착된 광학 코드가 무릎 수술의 시작시에 환자에게 부착된 동일한 광학 코드를 가진 환자에서 사전에 캡쳐된 이미지 데이터를 자동으로 검색하기 위해 AR 헤드셋에 의해 사용될 수 있기 때문에 의사가 잘못된 환자에 대한 이미지 데이터를 사용하는 것을 피할 수 있다. 또한, 본 발명에 개시된 실시태양은 외과의사가 무릎 수술 동안 원하는 무릎의 내부 영역을 향해 도구를 정확하게 가져가게 할 수 있다.
도면을 참조하면, 도 1은 환자(106)의 이미지 데이터가 환자(106)에 부착된 광학 코드(200)를 사용하여 환자(106)의 실제 시야와 정렬될 수 있는 예시적인 증강 현실(AR) 환경(100)을 도시한다. 일부 실시태양에서, 환경(100)은 3D 공간(102), 사용자(104), 환자(106), 네트워크(110)를 통해 서버(112) 및 광학 코드(200)와 통신할 수 있는 AR 헤드셋(108)을 포함할 수 있다. 일부 실시태양에서, 환경(100)은 또한 가상 사용자 인터페이스(114), 가상 박스(116), 물체(118) 및 가상 커서(122)를 포함할 수 있으며, 이들 가상 요소는 AR 헤드셋(108)에 의해 생성되고 AR 헤드셋(108)을 통해 사용자(104)에 의해서만 볼 수 있음을 나타내기 위해 모두 점선으로 도시된다.
일부 실시태양에서, 3D 공간(102)은 (도 1에 도시된 바와 같이) 수술대(103)가 있는 수술대와 같은 건물의 방, 사무실, 교실 또는 실험실을 포함하나 이에 제한되지 않는 임의의 3D 공간일 수 있다. 일부 실시태양에서, 3D 공간(102)은 사용자(104)가 AR 헤드셋(108)을 착용한 상태에서 환자(106)를 볼 수 있는 공간일 수 있다.
일부 실시태양에서, 사용자(104)는 (도 1에 도시된 바와 같이) 의료 전문가, 교관, 연구원, 환자 또는 환자의 간병인을 포함하는 이에 제한되지 않는 AR 헤드셋(108)의 임의의 사용자일 수 있다. 예를 들어, 의료 전문가는 환자(106)에 대한 수술과 같이 환자(106)에 대한 의료 절차를 수행하기 위해 AR 헤드셋(108)을 사용할 수 있다. 유사하게, 연구원 또는 교관은 의료 연구를 수행하는 동안 또는 의대생을 교육하는 동안 AR 헤드셋(108)을 사용할 수 있다. 또한, 환자(106)의 간병인 또는 환자(106) 자신은 의료 전문가가 환자(106)에 대해 제안된 의료 절차를 설명하려고 할 때 AR 헤드셋(108)을 사용할 수 있다.
일부 실시태양에서, 환자(106)는 의식이 있든 무의식이든, 살아 있거나 죽었거나, 완전한 또는 결여된 하나 이상의 신체 부위인 임의의 동물일 수 있다. 예를 들어, 환자(106)는 사용자(104)에 의해 의료 시술을 받기 위해 의식을 잃은 살아 있는 인간 성인(도 1에 도시된 바와 같이)일 수 있다. 다른 예에서, 환자(106)는 연구 또는 훈련 목적으로 해부될 인간 성인의 시체일 수 있다. 다른 예에서, 환자 (106)는 의학적 상태를 진단하기 위해 수의사에 의해 평가되는 의식있는 동물 일 수있다. 다른 예에서, 환자(106)는 사망한 인간의 단일 사지 또는 기관일 수 있다.
일부 실시태양에서, AR 헤드셋(108)은 이미지 데이터로 환자(106)의 실제 시야를 증강할 수 있는 AR 헤드셋 형태의 임의의 컴퓨터 시스템일 수 있다. 예를 들어, AR 헤드셋(108)은 (도 1에 도시된 바와 같이) 뼈(106b), 근육, 기관 또는 체액을 포함하나 이에 제한되지 않는 환자(106)의 하나 이상의 내층으로 환자(106)의 실제 시야를 증강하기 위해 사용자(104)에 의해 사용될 수 있다. 일부 실시태양에서, AR 헤드셋(108)은 3D 공간(102)에서 사용자(104)의 현재 위치에 관계없이 환자(106)의 실제 시야의 이런 증강을 수행할 수 있다. 예를 들어, 사용자(104)는 수술대(103) 주위를 걸으면서 3D 공간(102) 내의 임의의 각도에서 환자(106)를 볼 수 있고 AR 헤드셋(108)은 환자(106)의 하나 이상의 내층으로 환자(106)의 실제 시야를 지속적으로 증강시켜 환자(106)와 환자(106)의 이미지 데이터 모두가 3D 공간(102) 내의 임의의 각도에서 사용자(104)가 볼 수 있다. AR 헤드셋(108)은 도 4와 관련하여 본 발명에 개시된 방법(400)에 따라 이미지 데이터로 환자(106)의 실제 시야의 이러한 증강을 수행할 수 있다. 일부 실시태양에서, AR 헤드셋(108)은 마이크로소프트 홀로렌즈의 수정된 버전일 수 있다.
일부 실시태양에서, 네트워크(110)는 AR 헤드셋(108)과 서버(112) 또는 다른 컴퓨터 시스템(들)을 통신적으로 연결하도록 구성될 수 있다. 일부 실시태양에서, 네트워크(110)는 시스템과 장치 사이의 통신을 송수신하도록 구성된 임의의 유선 또는 무선 네트워크, 또는 다중 네트워크의 조합일 수 있다. 일부 실시태양에서, 네트워크(110)는 블루투스 네트워크와 같은 개인 영역 네트워크(PAN), WiFi 네트워크와 같은 로컬 영역 네트워크(LAN), 도시 영역 네트워크(MAN), 광역 네트워크(WAN) 또는 스토리지 영역 네트워크(SAN)를 포함할 수 있다. 일부 실시태양에서, 네트워크(110)는 또한 셀룰러 네트워크와 같은 다양한 상이한 통신 프로토콜로 데이터를 전송하기 위한 통신 네트워크의 일부에 결합되거나 이를 포함할 수 있다.
일부 실시태양에서, 서버(112)는 AR 헤드셋(108)과 연결되어 기능할 수 있는 임의의 컴퓨터 시스템일 수 있다. 일부 실시태양에서, 서버(112)는 이미지 데이터를 AR 헤드셋(108)에 전달하거나 AR 헤드셋(108)으로부터 데이터를 수신하기 위해 AR 헤드셋(108)과 실시간으로 통신하도록 구성될 수 있다. 또한, 서버(112)는 AR 헤드셋(108)에 의해 요구되는 데이터 저장 또는 처리의 일부 또는 전부를 오프로드하기 위해 사용될 수 있다.
일부 실시태양에서, 가상 사용자 인터페이스(114)는 환자(106)의 이미지 데이터로부터 환자(106)의 투영된 내층(들)의 디스플레이를 변경하기 위한 옵션을 포함하는 AR 헤드셋(108)에 의해 생성된 임의의 가상 사용자 인터페이스일 수 있다. 가상 사용자 인터페이스(114)는 사용자(104)에게 유용할 수 있는 다른 정보를 더 포함할 수 있다. 예를 들어, 가상 사용자 인터페이스(114)는 심박수, 혈압 및 호흡수와 같은 환자(106)에 대한 실시간 생체 신호를 포함할 수 있다. 다른 예에서, 가상 사용자 인터페이스(114)는 환자(106)가 의식을 잃은 시간의 양을 보여주는 스톱워치를 포함할 수 있다. 다른 예에서, 가상 사용자 인터페이스(114)는 환자(106)의 의료 차트 또는 다른 의료 데이터를 포함할 수 있다.
일부 실시태양에서, 가상 박스(116)는 이미지 데이터로부터 환자(106)의 투영된 내층을 가상 박스(116)의 체적 내에 한정하기 위해 AR 헤드셋(108)에 의해 생성될 수 있다. 예를 들어, 환자(106)의 돌출된 뼈(106b)는 도 1의 가상 박스(116) 내에 한정될 수 있다. 일부 실시 태양에서, 가상 박스(116)는 또한 사용자(104)에 대한 기준 프레임을 제공함으로써 투영된 이미지 데이터를 탐색할 때 사용자를 도울 수 있다. 예를 들어, 이 기준 프레임은 가상 박스(116) 내의 이미지 데이터의 축 방향 슬라이스, 관상 슬라이스, 시상 슬라이스, 또는 비스듬한 슬라이스를 이동할 때 사용자를 도울 수 있다. 슬라이스는 2차원(2D) 슬라이스 및/또는 3D 슬라이스일 수 있다. 3D 슬라이스는 해부학적 외형의 자연스러운 곡선을 따르는 곡선 슬라이스와 같은 곡선 슬라이스 또는 높이와 너비뿐만 아니라 깊이도 있는 슬라이스를 포함할 수 있다. 사용자(104)는 사용자(104)가 일반적으로 가상 박스(116)의 라인 방향으로 자신의 손을 움직일 것을 요구하는 손짓을 사용하여 이러한 슬라이스를 이동할 수 있으므로, 가상 박스(116)의 디스플레이는 사용자(104)에게 이러한 손 움직임을 더 쉽게 만들 수 있다.
일부 실시태양에서, 물체(118)는 사용자(104)가 환자(106)의 외층을 통해 환자(106) 내로 삽입하기를 원하는 모든 것일 수 있다. 예를 들어, 물체(118)는 (도 1에 도시된 바와 같이) 메스, 스코프, 드릴, 프로브, 다른 의료 기기, 또는 사용자(104)의 손을 포함하나 이에 제한되지 않을 수 있다. 환자(106)의 외층의 실시간 위치 등록과 유사하게, 물체(118)의 외층도 등록될 수 있다. 그러나, 상대적으로 환경(100)에 가민히 유지될 수 있는 환자(106)와 달리, 물체(118)는 환경(100)에서 자주 움직일 수 있으므로, 물체(118)의 실시간 위치는 환자(106)의 외층의 등록된 위치에 대해 3D 공간(102)에서 자동으로 추적될 수 있다. 그런 다음, 사용자(104)가 환자(106)의 외층에 물체(118)의 일부를 삽입하는 경우, AR 헤드셋(108)은 이미지 데이터로부터 환자(106)의 투영된 내층으로 투영된 물체(118)의 실제 삽입 부분을 표시할 수 있다. 이러한 방식으로, 물체(118)의 실제 삽입 부분이 사용자(104)의 실제 시야로부터 가려진 경우에도 물체(118)의 가상 삽입 부분이 사용자(104)의 실제 시야 상에 투영될 수 있다. 물체(118)의 등록은 본 발명에 개시된 이미지 데이터의 등록과 유사한 방식으로 수행될 수 있으며, 여기서 광학 코드가 물체(118)에 부착된 다음 광학 코드가 AR 헤드셋(108)에 의해 감지되어 3D 공간(102)에 대한 물체(118)의 지속적으로 업데이트되는 위치를 확립한다.
일부 실시태양에서, 가상 커서(122)는 가상 사용자 인터페이스(114), 다른 가상 컨트롤 상에 또는 3D 공간(102)의 임의의 다른 위치에 AR 헤드셋(108)에 의해 생성된 가상 커서일 수 있다. 일부 실시태양에서, 가상 커서(122)의 위치는 사용자(104)의 머리의 방향에 해당할 수있는 AR 헤드셋(108)의 초점 방향(120)에 해당할 수 있다. 가상 커서(122)는 때때로 사용자의 눈 깜박임과 같은 사용자(104)에 의한 하나 이상의 다른 동작 또는 AR 헤드셋(108)의 시계에서 두 손가락을 함께 두드리는 것과 같은 사용자(104)의 하나 이상의 손짓과 함께 가상 사용자 인터페이스(114)의 하나 이상의 옵션을 선택하기 위해 사용자(104)에 의해 사용될 수 있다.
일부 실시태양에서, 광학 코드(200)는 환자(106)의 이미지 데이터의 생성 이전에 환자(106)에 부착될 수 있고, 환자(106)가 AR 헤드셋(108)을 통해 사용자(104)에 의해 보여지는 동안 환자(106)에 부착되어 유지될 수 있다. 다른 실시태양에서, 광학 코드(200)는 환자(106)의 이미지 데이터의 생성 후에 환자(106)에 부착될 수 있고, 환자(106)가 AR 헤드셋(108)을 통해 사용자(104)에 의해 관찰되는 동안 환자(106)에 부착되어 유지될 수 있다. 어느 경우든, 광학 코드(200)는 환자(106)의 이미지 데이터를 환자(106)의 실제 시야와 자동으로 정렬하기 위해 AR 헤드셋(108)에 의해 사용될 수 있다. 또한, 이미지 데이터를 자동으로 검색하기 위해 이미지 데이터를 캡처하는 동안 사용된 것과 동일한 광학 코드(200)를 사용할 때, 그렇게 함으로써 AR 헤드셋(108)에 의해 검색된 이미지 데이터가 AR 헤드셋(108)을 통해 보여지는 실제 환자(106)와 일치하는 것을 보장할 수 있다. 광학 코드(200)의 다른 양태는 도 2와 관련하여 아래에서 논의될 것이다.
본 발명의 범위를 벗어나지 않고 환경(100)에 대한 수정, 추가 또는 생략이 이루어질 수 있다. 예를 들어, 일부 실시태양에서, AR 헤드셋(108)을 각각 착용한 다수의 사용자가 환자(106)의 이미지 데이터로 증강된 환자(106)를 동시에 보기 위해 3D 공간(102)에 동시에 존재할 수 있다. 다른 예에서, 다수의 환자가 AR 헤드셋(108)을 착용한 사용자(104)가 환자의 이미지 데이터로 증강된 다수의 환자를 동시에 보게 하도록 3D 공간(102)에 존재할 수 있다. 다른 예에서, AR 헤드셋(108)을 각각 착용한 다수의 사용자와 다수의 환자가 동시에 3D 공간에 존재할 수 있다. 다른 예에서, AR 헤드셋(108)으로부터의 시야의 비디오는 AR 헤드셋(108)에 의해 캡처된 다음 다른 사용자가 볼 수 있도록 네트워크(110)를 통해 서버(112) 또는 원격 AR 헤드셋 또는 가상 현실(VR)과 같은 원격 위치로 전송될 수 있다. 이 예는 원격 사용자가 환자(106)에 대한 의료 절차를 통해 로컬 사용자(104)를 안내하게 할 수 있다. 또한, 환경(100)이 일반적으로 환자(106)를 보는 사용자(104)의 맥락에 있는 것으로 개시되었지만, 환경(100)은 사용자가 나무, 암석, 유전 또는 행성과 같은 임의의 물체의 하나 이상의 내층을 보기를 원하는 임의의 환경으로보다 광범위하게 정의될 수 있다.
도 2는 도 1의 환자(106)에 부착된 도 1의 광학 코드(200)를 도시한다. 도 1과 도 2 모두를 참조하면, 광학 코드(200)는 AR 헤드셋(108)에 내장된 광학 센서와 같은 광학 센서에 인식될 수 있다. 일부 실시태양에서, 광학 코드(200)는 선형 바코드, 매트릭스 2차원(2D) 바코드, 빠른 반응(QR) 코드 또는 이들의 일부 조합일 수 있다. 일부 실시태양에서, 광학 코드(200)는 환자(106)의 의료 데이터에 연결될 수 있어서 환자(106)의 의료 데이터가 광학 코드(200)에 의해 접근될 수 있다. 이러한 실시태양에서, 광학 코드는 환자(106)의 의료 데이터에 연결된 보안 증명일 수 있어서 환자(106)의 의료 데이터가 추가 보안 증명 없이 광학 코드(200)에 의해 접근될 수 있다. 이러한 실시태양에서, 광학 코드(200) 자체를 보안 증명으로 사용하면 사용자(104)가 환자(106)의 의료 데이터에 접근하기 전에 수동으로 또는 다르게 다른 보안 증명(들)을 입력할 필요 없이 AR 헤드셋(108)의 사용자가 의료 환경(예를 들어, 환자(106)에 대한 수술 동안)에서 환자(106)의 의료 이미지 및 다른 민감한 의료 데이터에 접근하게 할 수 있다. 즉, AR 헤드셋(108)에 의한 광학 코드(200)의 자동 감지는 광학 코드(200)에 대한 직접 접근 권한을 가진 임의의 사용자가 임의의 직접 추가 인증 없이 환자(106)의 의료 데이터에 대한 직접 접근을 갖도록 인가되었다는 추측을 기반으로, AR 헤드셋(108)의 사용자(104)의 일부에 대한 임의의 추가 노력 없이 환자의 의료 이미지 데이터 및 다른 의료 데이터에 대한 즉각적이고 자동적인 접근을 제공할 수 있다.
광학 코드(200)는 비 광학 영상 방식에 인식 가능한 마커(206)와 추가로 연결될 수 있다. 비 광학 영상 방식의 예는 자기 공명 영상(MRI) 방식, 컴퓨터 단층 촬영(CT) 스캔 방식, X선 방식, 양전자 방출 단층 촬영(PET) 방식, 초음파 방식, 형광 방식, 적외선 열화상 촬영(IRT) 방식 또는 단일 광자 방출 컴퓨터 단층 촬영(SPECT) 스캔 방식을 포함하나 이에 제한되지 않을 수 있다. 비 광학 영상 방식에 인식 가능한 재료로 마커(206)를 형성하는 것은 비 광학 영상 방식을 사용하여 캡쳐된 환자(106)의 임의의 이미지 데이터에 마커(206)가 나타나게 할 수 있다. 마커(206)의 예는 금속 구, 액체 구, 금속 실 및 금속 잉크 조각을 포함하나 이에 제한되지 않는다.
마커(206)는 광학 코드(200)의 위치에 대해 고정된 위치를 갖는 패턴으로 배열될 수 있다. 예를 들어, 도 2에 도시된 실시태양에서, 광학 코드(200)는 (접착 붕대와 같은) 붕대(202) 상에 인쇄될 수 있고 마커(206)는 (붕대의 어떤 표면에서도 보이지 않도록 붕대(202)에 삽입됨으로써) 붕대(202)에 부착될 수 있다. 이 실시태양에서, 마커(206)는 붕대(202)에 고정된 패턴으로 배열됨으로써 광학 코드(200)의 위치에 대해 고정된 위치를 갖는 패턴으로 배열될 수 있다. 추가적으로 또는 대안적으로, 마커(206)는 광학 코드(200) 자체 내부에 삽입될 수 있으며, 마커(206)는 잉크에 의해 광학 코드(200)의 적어도 일부가 붕대(202)에 인쇄되는 잉크 내에 삽입되며 잉크는 방사선 불투명이어서, X-선에 투명하지 않은 잉크, 자기 적으로 볼 수있어 MRI 이미지에서 볼 수 있는 잉크 또는 방사능 활성이라서 PET 이미지에서 볼 수 있는 잉크 등과 같은 비 광학 영상 방식에 인식 가능한 재료를 포함한다. 이러한 실시태양에서, 광학 코드(200) 자체는 광학 코드 및 마커의 패턴 모두로서 역할을 할 수 있다. 추가적으로 또는 대안적으로, 마커(206)는 광학 코드(200)를 의류 제품(예를 들어, 의류(107)) 상에 인쇄하고 마커(206)를 의류 제품에 부착하거나 광학 코드(200)를 환자(16)의 피부(106a)에 직접 (적어도 일시적으로) 인쇄하고 마커(206)를 환자(16)의 피부(106a)에 또는 아래에 직접 (적어도 일시적으로) 부착하는 것과 같이 마커(206)를 광학 코드(200)가 인쇄되는 붕대에 부착하는 것을 필요로 하지 않는 방식으로 배열될 수 있다. 이들 실시태양 중 임의의 실시태양에서, 광학 코드(200)의 위치에 대해 고정된 위치를 갖는 패턴으로 마커(206)를 배열함으로써, 이 고정된 위치는, 마커(206)가 자체적으로 보이지 않거나 AR 헤드셋(108)의 다른 센서에 인식 가능하지 않은 경우에도 광학 코드(200)의 보이는 위치에 대한 마커(206)의 패턴의 위치를 계산하기 위해 나중에 사용될 수 있다.
또한, 일부 실시태양에서, 하나 이상의 추가 내부 마커가 환자(106) 내에 삽입될 수 있다. 예를 들어, 하나 이상의 추가 내부 마커는 내부 생검 부위의 추적을 가능하게 하도록 생검 전체 부위에서 환자(106)의 흉부에 삽입될 수 있다. 이러한 하나 이상의 추가 내부 마커는 내부 생검 부위의 위치를 찾는 데 도움이 되도록 위치되어 마커(206)의 패턴으로 삼각측량될 수 있다. 이것은 추적될 내부 부위가 (환자(106)의 위치에 따라 약간 이동하는 경향이 있는) 흉부와 같은 환자의 다른 신체에 비해 덜 고정되는 환자(106)의 신체의 일부에 있는 상황에서 특히 유용할 수 있다.
광학 코드(200) 및 마커(206)가 고정된 패턴으로 환자(106)에 부착되면, 의료 전문가 또는 자동화 시스템은 환자(106) 및 마커(206)의 이미지 데이터를 캡처하기 위해 (마커(206)가 인식 가능한) 비 광학 영상 방식을 사용할 수 있다. 특히, 이미지 데이터는 환자(106)의 (뼈(106b), 근육, 기관 또는 체액과 같은) 하나 이상의 내층뿐만 아니라 환자(106)의 하나 이상의 내층의 위치에 대해 고정된 위치에 마커(206)의 패턴을 포함할 수 있다. 즉, 환자(106)의 하나 이상의 내층이 환자(106)의 이미지 데이터에 나타날뿐만 아니라 마커(206)도 고정된 패턴으로 환자(106)의 이미지 데이터에 나타나며 마커(206)의 이 고정된 패턴의 위치는 환자(106)의 하나 이상의 내층의 위치에 대해 고정된 위치에서 이미지 데이터에 나타날 것이다. 한 예에서, 비 광학 영식 방식이 CT 스캔 방식인 경우, CT 스캔 이미지는 환자(106)의 뼈(106b), 장기 및 연조직뿐만 아니라 환자(106)의 뼈(106b), 장기 및 연조직의 위치에 대해 고정된 위치에 배열된 마커(206)를 표시할 수 있다.
환자(106)의 이미지 데이터가 캡처되면, 광학 코드가 환자에게 부착된 채로 일정 시간이 경과할 수 있다. 그 기간 동안, 환자(106)는 예를 들어 병원의 의료 영상실에서 병원의 수술실로 이동될 수 있다. 일부 실시태양에서, 붕대(202)는 먼저 (엑스레이 실과 같은) 비 멸균 환경에서뿐만 아니라 이후에 붕대(202)가 이미 환자(106)에 부착된 상태에서 멸균되어야 하는 (수술실과 같은) 멸균 환경에서 붕대(202)를 환자(106)에 고정시키는 것을 용이하게 하도록 멸균 가능한 재료로 형성될 수 있다. 이 기간이 지나면, (의료 전문가와 같은) 사용자(104)는 3D 공간(102)에서 광학 코드(200)의 위치를 측정하기 위해 AR 헤드셋(108)을 사용할 수 있다. 예를 들어, AR 헤드셋(108)은 카메라와 같은 광학 센서를 포함할 수 있으며 이 AR 헤드셋(108)은 3D 공간(102)에서 환자(106)에 부착된 광학 코드(200)를 감지할 뿐만 아니라 광학 코드(200)의 위치를 감지하기 위해 사용될 수 있다. 다음으로, AR 헤드셋(108)은 광학 코드에 기초하여 환자(106)의 이미지 데이터에 접근할 수 있다. 예를 들어, 위에서 논의된 바와 같이, AR 헤드셋(108)이 3D 공간(102)에서 광학 코드(200)의 존재를 감지하자마자, AR 헤드셋(108)은 AR 헤드셋(108)의 사용자로부터 추가 증명을 요구하지 않고 환자(106)의 이미지 데이터를 자동으로 검색할 수 있다.
3D 공간(102)에서 광학 코드(200)의 존재를 감지한 후, AR 헤드셋(108)은 3D 공간(102)에서 마커(206)의 패턴 위치를 자동으로 계산할 수 있다. 이 자동 계산은 3D 공간(102)의 코드(200)의 감지된 위치에 기초할 수 있고 또한 광학 코드(200)의 위치에 대한 마커(206)의 패턴의 알려진 고정된 위치에 기초할 수 있다. 즉, 마커(206)가 AR 헤드셋(108)에 인식 가능하지 않은 경우(예를 들어, 마커(206)가 붕대(202) 내에 삽입되어 있기 때문), AR 헤드셋(108)은 AR 헤드셋(108)에 의해 감지된 광학 코드(200)의 위치 및 AR 헤드셋(108)에 알려진 광학 코드(200)의 위치에 대한 마커(206)의 패턴의 고정된 위치를 기초로 마커(206)의 패턴 위치를 자동으로 계산할 수 있다. 이 예에서, 광학 코드(200)가 이미지 데이터의 캡처와 AR 헤드셋(108)에 의한 광학 코드(200) 감지 사이에 동일한 위치에서 환자(106)에게 부착된 상태로 유지되고 마커(206)의 패턴 위치가 광학 코드(200)의 위치에 대해 고정되어 있는 한, 이러한 고정 위치는 AR 헤드셋(108)이 3D 공간(102)에서 마커(206)의 위치를 직접 감지할 수 없는 경우에도 AR 헤드셋(108)이 3D 공간(102)에서 마커(206)의 패턴의 위치를 자동으로 계산할 수 있게 한다.
3D 공간(102)에서 마커(206)의 패턴 위치를 계산한 후, AR 헤드셋(108)은, 3D 공간(102)에서 마커(206)의 패턴의 계산된 위치 및 환자(106)의 하나 이상의 내층의 위치에 대한 마커(206)의 패턴의 이미지 데이터에서 고정된 위치에 기초하여, 3D 공간(102)에서 마커(206)의 패턴의 계산된 위치를 이미지 데이터에서 마커(206)의 패턴의 위치와 정렬함으로써 3D 공간(102)에서 환자(106)의 하나 이상의 내층의 위치의 위치를 등록할 수 있다. 이 정렬 및 등록은 AR 헤드셋(108)이 환자(106)의 실제 시야에 투영된 이미지 데이터로부터 환자(106)의 하나 이상의 내층을 실시간으로 표시할 수 있게 한다.
따라서, 광학 코드(200) 및 마커(206)의 관련 패턴은 환자(106)의 이미지 데이터를 환자(106)의 실제 시야와 자동으로 정렬하기 위해 AR 헤드셋(108)에 의해 사용될 수 있다. 또한, 이미지 데이터를 자동으로 검색하기 위해 이미지 데이터를 캡처하는 동안 사용된 것과 동일한 광학 코드(200)를 사용하면 AR 헤드셋(108)에 의해 검색된 이미지 데이터가 AR 헤드셋(108)을 통해 보이는 실제 환자(106)와 일치하는 것을 보장할 수 있다.
본 발명의 범위를 벗어나지 않고 환자(106)에 부착된 광학 코드(200)에 수정, 추가 또는 생략이 이루어질 수 있다. 예를 들어, 일부 실시태양에서, 3D 공간(102)에서 환자(106)의 실제 시야와 환자(106)의 이미지 데이터의 정확한 정렬을 추가로 보장하기 위해 다수의 광학 코드(200)가 환자(106)에 동시에 부착될 수 있다. 이러한 실시태양에서, 3개 이상의 광학 코드(200)는 다수의 광학 코드(200)에 기초하여 삼각 측량을 가능하게 할 수 있다. 이러한 실시태양에서, 다수의 광학 코드(200)를, 예를 들어, 수 인치만큼 이격시키면 삼각 측량의 정확도를 증가시킬 수 있다. 또한, 일부 실시태양에서, 도 2에 개시된 5개의 마커(206)의 패턴은 3개의 마커의 패턴 또는 7개의 마커의 패턴과 같은 다른 패턴으로 대체될 수 있다. 또한, 일부 실시태양에서, 마커(206)가 환자(106)의 외층에 부착되고 환자(106)의 외층이 평면이 아닐 수 있기 때문에, 마커(206)는 모두 단일 평면에 놓일 수 있는 것이 아니라 대신에 환자(106)의 외층의 임의의 곡률 근처에 만곡될 수 있다. 이러한 실시태양에서, 광학 코드(200)의 위치에 대한 마커(206)의 패턴의 고정된 위치는 광학 코드(200) 및 마커(206)를 환자(106)에 부착한 후 확립될 수 있는데 이는 이 고정된 위치는 광학 코드(200) 및 마커(206)가 부착되는 환자(106)의 외층 상의 임의의 곡률에 따라 변경될 수 있기 때문이다.
도 5a-5b는 광학 코드의 사진과 환자에게 부착된 마커의 패턴이며, 도 5c 내지 5d는 이미지 데이터에서 볼 수 있는 도 5a-5b의 마커의 패턴을 가진 환자의 이미지 데이터의 사진이며, 도 5e는 도 5a-5b의 환자의 실제 시야에 실시간으로 투영되는 도 5c-5d의 이미지 데이터의 증강 현실(AR) 헤드셋을 통해 본 사진이다. 도 5a-5b에 개시된 바와 같이, 붕대는 광학 코드(예를 들어, QR 코드)가 붕대 상에 인쇄되고, 마커의 패턴(예를 들어, 4개의 금속 구)이 붕대에 부착되어, 환자에 부착될 수 있다. 광학 코드는 광학 센서에 인식될 수 있다. 마커의 패턴은 붕대 상의 광학 코드의 위치에 대해 붕대에서 고정된 위치를 가질 수 있다. 마커의 패턴은 비 광학 영상 방식(예를 들어, CT 방식)에 인식될 수 있다. 그런 다음, 도 5c-5d에 개시된 바와 같이, 환자의 이미지 데이터(예를 들어, CT 이미지)가 비 광학 영식 방식(예를 들어, CT 방식)을 사용하여 캡쳐될 때, 이미지 데이터는 환자의 내층(예를 들어, 환자의 뼈)를 포함할 수 있고 이미지 데이터는 환자의 내층의 위치에 대해 고정된 위치에 있는 마커의 패턴(예를 들어, 4개의 금속 구)을 추가로 포함할 수 있다. 이후, 사용자는 AR 헤드셋을 착용할 수 있으며(예를 들어, 외과의사는 환자에 대한 수술 동안 도 1의 AR 헤드셋(108)을 착용할 수 있다), AR 헤드셋의 광학 센서는 3D 공간(예를 들어, 수술실)에서 환자에 부착된 광학 코드 및 광학 코드의 위치를 감지할 수 있다. 그런 다음, AR 헤드셋은, 광학 코드에 기초하여, 도 5c 내지 도 5d의 이미지 데이터에 접근할 수 있다. 다음으로, AR 헤드셋은 3D 공간에서 감지된 광학 코드의 위치 및 광학 코드의 위치에 대한 마커의 패턴(예를 들어, 4개의 금속 구)의 고정된 위치에 기초하여, 3D 공간에서 마커의 패턴의 위치를 계산할 수 있다. 그런 다음, AR 헤드셋은 3D 공간에서 마커의 패턴(예를 들어, 4개의 금속 구)의 계산된 위치와 환자의 내층(예를 들어, 환자의 뼈)의 위치에 대한 마커의 패턴의 이미지 데이터(예를 들어, 도 5c-5d의 CT 이미지)에서 고정된 위치에 기초하여, 3D 공간에서 마커의 패턴의 계산된 위치를 이미지 데이터에서 마커의 패턴의 위치와 정렬함으로써 3D 공간에서 환자의 내층 위치를 등록할 수 있다. 다음으로, 도 5e에 개시된 바와 같이, AR 헤드셋은, AR 헤드셋에 등록에 기초하여, 환자의 실제 시야에 투영된 이미지 데이터(예를 들어, 도 5c-5d의 CT 이미지)로부터의 환자의 내층(예를 들어, 환자의 뼈)인 도 5e의 사진에 도시된 시야를 실시간으로 표시할 수 있다.
본 발명의 범위를 벗어나지 않고 도 5a-5b에 개시된 광학 코드 및 마커의 패턴 또는 도 5c-5d에 개시된 이미지 데이터에 수정, 추가 또는 생략이 이루어질 수 있다. 예를 들어, 4개의 금속 구를 포함하는 마커의 패턴 대신에, 도 5a-5b의 마커의 패턴은 다른 수 및/또는 다른 유형의 마커를 갖는 다른 패턴의 마커로 대체될 수 있어서, 다른 마커의 패턴이 도 5c-5d의 이미지 데이터에 포함된다.
도 3은 환자에게 부착된 광학 코드를 사용하여 환자의 실제 시야와 환자의 이미지 데이터를 정렬하는 데 사용될 수 있는 예시적인 컴퓨터 시스템(300)을 도시한다. 일부 실시태양에서, 컴퓨터 시스템(300)은 본 발명에 기술된 임의의 시스템 또는 장치의 일부일 수 있다. 예를 들어, 컴퓨터 시스템(300)은 도 1의 AR 헤드셋(108) 또는 서버(112) 중 임의의 일부일 수 있다.
컴퓨터 시스템 (300)은 프로세서(302), 메모리(304), 파일 시스템(306), 통신 유닛(308), 운영 체제(310), 사용자 인터페이스(312) 및 AR 모듈(314)을 포함 할 수 있으며, 이들은 모두 통신 가능하게 결합될 수 있다. 일부 실시태양에서, 컴퓨터 시스템(300)은, 예를 들어, 데스크톱 컴퓨터, 클라이언트 컴퓨터, 서버 컴퓨터, 휴대폰, 랩톱 컴퓨터, 스마트폰, 스마트워치, 태블릿 컴퓨터, 휴대용 음악 플레이어, 임베디드 컴퓨터, AR 헤드셋, VR 헤드셋 또는 임의의 다른 컴퓨터 시스템일 수 있다.
일반적으로, 프로세서(302)는 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈을 포함하는 임의의 적합한 특수 목적 또는 범용 컴퓨터, 컴퓨팅 엔티티 또는 처리 장치를 포함할 수 있고 임의의 적용 가능한 컴퓨터 판독 가능 저장 매체에 저장된 명령을 실행하도록 구성될 수 있다. 예를 들어, 프로세서(302)는 프로그램 명령의 해석 및/또는 실행 및/또는 데이터 처리 또는 이들의 조합을 수행하도록 구성된 마이크로 프로세서, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP), 용도-특이적 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 임의의 다른 디지털 또는 아날로그 회로를 포함할 수 있다. 일부 실시태양에서, 프로세서(302)는 파일 시스템(306)으로부터 프로그램 명령을 가져와서 프로그램 명령을 메모리(304)에 로드할 수 있다. 프로그램 명령이 메모리(304)에 로드된 후, 프로세서(302)는 프로그램 명령을 실행할 수 있다. 일부 실시태양에서, 명령은 도 4의 방법(400)의 하나 이상의 동작을 수행하는 프로세서(302)를 포함할 수 있다.
메모리(304) 및 파일 시스템(306)은 컴퓨터 실행 가능 명령어 또는 데이터 구조를 전달하거나 저장하기 위한 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 이러한 컴퓨터 판독 가능 저장 매체는 프로세서(302)와 같은 범용 또는 특수 목적 컴퓨터에 의해 접근될 수 있는 임의의 이용 가능한 비 일시적 매체일 수 있다. 제한이 아닌 예로서, 이러한 컴퓨터 판독 가능 저장 매체는 고정 기억 메모리(ROM), 전기 소거식 프로그램어블 고정 기억 메모리(EEPROM), 컴팩트 디스크 고정 기억 메모리(CD-ROM) 또는 기타 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 장치, 플래시 메모리 장치(예를 들어, 고체 상태 메모리 장치) 또는 컴퓨터 실행 가능 명령 또는 데이터 구조의 형태로 원하는 프로그램 코드를 전달하거나 저장하는 데 사용될 수 있고 범용 또는 특수 목적 컴퓨터에 의해 접근될 수 있는 임의의 다른 저장 매체를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 위의 조합은 또한 컴퓨터 판독 가능 저장 매체의 범위 내에 포함될 수 있다. 컴퓨터 실행 가능 명령은, 예를 들어, 프로세서(302)가 도 4의 방법(400)의 하나 이상의 동작과 같은 특정 동작 또는 동작 그룹을 수행하게 하도록 구성된 명령 및 데이터를 포함할 수 있다. 이러한 컴퓨터 실행 가능 명령어는, 예를 들어, 운영 시스템(310), AR 모듈(314)과 같은 하나 이상의 애플리케이션, 또는 이들의 일부 조합에 포함될 수 있다.
통신 유닛(308)은 도 1의 네트워크(110)와 같은 네트워크를 통해 정보를 송신 또는 수신하도록 구성된 임의의 구성 요소, 장치, 시스템 또는 이들의 조합을 포함할 수 있다. 일부 실시태양에서, 통신 유닛(308)은 동일한 시스템 내에 다른 위치, 동일한 위치, 또는 심지어 다른 구성 요소에서 다른 장치와 통신할 수 있다. 예를 들어, 통신 유닛(308)은 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 장치, 무선 통신 장치(예를 들어, 안테나) 및/또는 칩셋(블루투스 장치, 802.6 장치(예를 들어, 도시 영역 네트워크(MAN)), WiFi 장치, WiMax 장치, 셀룰러 통신 장치 등) 및/또는 기타를 포함할 수 있다. 통신 유닛(308)은 데이터가 본 발명에 개시된 것과 같은 네트워크 및/또는 임의의 다른 장치 또는 시스템과 교환되는 것을 허용할 수 있다.
운영 시스템(310)은 컴퓨터 시스템(300)의 하드웨어 및 소프트웨어 자원을 관리하도록 구성될 수 있고 컴퓨터 시스템(300)을 위한 공통 서비스를 제공하도록 구성될 수 있다.
사용자 인터페이스(312)는 사용자가 컴퓨터 시스템(300)과 인터페이스할 수 있도록 구성된 임의의 장치를 포함할 수 있다. 예를 들어, 사용자 인터페이스 (312)는 LCD, LED와 같은 디스플레이 또는 프로세서(302)에 의해 명령된 바와 같이 비디오, 텍스트, 애플리케이션 사용자 인터페이스 및 다른 데이터로 제공하도록 구성된 AR 렌즈와 같은 다른 디스플레이를 포함할 수 있다. 사용자 인터페이스(312)는 마우스, 트랙 패드, 키보드, 터치스크린, 볼륨 컨트롤, 기타 버튼, 스피커, 마이크, 카메라, 임의의 주변 장치 또는 기타 입력 또는 출력 장치를 추가로 포함할 수 있다. 사용자 인터페이스(312)는 사용자로부터 입력을 수신하고 그 입력을 프로세서(302)에 제공할 수 있다. 유사하게, 사용자 인터페이스(312)는 사용자에게 출력을 제공할 수 있다.
AR 모듈(314)은, 프로세서(302)에 의해 실행될 때, 도 4의 방법(400)의 하나 이상의 동작과 같은 하나 이상의 방법을 수행하도록 구성되는 메모리(304) 또는 파일 시스템(306)과 같은 하나 이상의 비 일시적 컴퓨터 판독 가능 매체에 저장된 하나 이상의 컴퓨터 판독 가능 명령어일 수 있다. 일부 실시태양에서, AR 모듈(314)은 운영 시스템(310)의 일부일 수 있거나 컴퓨터 시스템(300)의 애플리케이션의 일부일 수 있거나, 이들의 일부 조합일 수 있다.
본 발명의 범위를 벗어나지 않고 컴퓨터 시스템(300)에 수정, 추가 또는 생략이 이루어질 수 있다. 예를 들어, 각각은 도 3에 단일 구성 요소로 도시되어 있지만. 컴퓨터 시스템(300)의 구성 요소(302-314) 중 임의의 것은 집합적으로 기능하고 통신적으로 결합되는 다수의 유사한 구성 요소를 포함할 수 있다. 또한, 단일 컴퓨터 시스템으로 도시되었지만, 컴퓨터 시스템(300)은 클라우드 컴퓨팅 환경, 멀티테넌시 환경 또는 가상화 환경에서와 같이 함께 네트워크로 연결된 다수의 물리적 또는 가상 컴퓨터 시스템을 포함할 수 있음을 이해해야 한다.
도 4는 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 예시적인 방법의 흐름도이다. 이 방법(400)은, 일부 실시태양에서, 도 1의 AR 헤드셋(108) 및/또는 도 1의 서버(112)에 대해 실행하는 AR 모듈(314)과 같은 장치 또는 시스템에 의해 수행될 수 있다. 이들 및 다른 실시태양에서, 이 방법(400)은 하나 이상의 비 일시적 컴퓨터 판독 가능 매체에 저장된 하나 이상의 컴퓨터 판독 가능 명령에 기초하여 하나 이상의 프로세서에 의해 수행될 수 있다. 이제 이 방법(400)은 도 1, 2, 3 및 4와 관련하여 기술될 것이다. 이 방법(400)의 다양한 동작이 AR 헤드셋에 의해 수행되는 것으로 아래에서 설명되지만, 이 방법(400)의 이러한 동작은 대안적으로 다른 컴퓨터 시스템 또는 컴퓨터 시스템의 조합에 의해 수행될 수 있음을 이해해야 한다.
이 방법(400)은, 동작(402)에서, 광학 코드를 환자에게 부착하는 단계를 포함할 수 있다. 일부 실시태양에서, 광학 코드는 광학 센서에 인식 가능할 수 있다. 일부 실시태양에서, 광학 코드를 환자에게 부착하는 단계는 광학 코드가 인쇄된 붕대를 환자의 외층에 부착하는 것을 포함할 수 있다. 일부 실시태양에서, 광학 코드는 선형 바코드, 매트릭스 2차원(2D) 바코드, 빠른 응답(QR) 코드 또는 이들의 일부 조합일 수 있다. 예를 들어, 의료 전문가 또는 자동화 시스템은, 동작(402)에서, 광학 코드가 인쇄된 붕대(202)를 환자에 부착함으로써 광학 코드(200)(QR 코드 형태)를 환자(106)에 부착할 수 있다.
이 방법(400)은, 동작(404)에서, 광학 코드의 위치에 대해 고정된 위치에서 환자에게 마커의 패턴을 부착하는 단계를 포함할 수 있다. 일부 실시태양에서, 마커의 패턴은 비 광학 영상 방식에 인식 가능할 수 있다. 광학 코드가 붕대에 인쇄되는 일부 실시태양에서, 광학 코드의 위치에 대해 고정된 위치에서 환자에게 마커의 패턴을 부착하는 단계는 광학 코드의 위치에 대해 고정된 위치에서 붕대에 부착되는 마커의 패턴을 포함할 수 있다. 이러한 실시태양에서, 마커의 패턴이 잉크 내에 삽입되는 붕대 내에 삽입될 수 있으며 잉크에 의해 광학 코드가 붕대 상에 인쇄되고 잉크는 비 광학 영상 방식에 인식 가능한 재료를 포함한다. 이러한 실시태양에서, 비 광학 영상 방식에 인식 가능한 재료는 X-선에 투명하지 않은 방사선 불투명 재료, 자기적으로 보이는 재료 또는 방사성 재료일 수 있다. 일부 실시태양에서, 광학 코드를 환자에게 부착하는 단계는 환자의 피부에 광학 코드를 인쇄하는 것을 포함할 수 있다. 일부 실시태양에서, 광학 코드를 환자에게 부착하는 단계는 광학 코드가 인쇄된 의류 물품을 환자에게 배치하는 것을 포함할 수 있다. 예를 들어, 의료 전문가 또는 자동화 시스템은, 동작(404)에서, 도 1에 개시된 패턴으로 및 광학 코드(200)의 위치에 대해 도 2에 개시된 고정 위치에서, 광학 코드(200)가 인쇄되고 마커(206)의 패턴이 부착된 붕대(202)를 환자(106)에 부착함으로써 마커(206)를 환자(106)에 부착할 수 있다. 대안적으로, 마커(206)의 패턴은 잉크에 직접 삽입될 수 있고 이 잉크에 의해 광학 코드(200)가 붕대(202) 상에 인쇄된다. 대안적으로, 광학 코드(200)는 의류(107) 상에 인쇄될 수 있고 마커(206)는 환자(106)에 배치되는 의류(107)에 부착될 수 있거나 광학 코드(200)는 환자(106)의 피부(106a)에 직접 (적어도 일시적으로) 인쇄될 수 있고 마커(206)는 환자(106)의 피부(106a)에 직접 (적어도 일시적으로) 부착될 수 있다.
이 방법(400)은, 동작(406)에서, 환자의 이미지 데이터를 캡처하는 단계를 포함할 수 있다. 일부 실시태양에서, 환자의 이미지 데이터는 마커가 인식 가능한 비 광학 영상 방식을 사용하여 캡처될 수 있다. 일부 실시태양에서, 이미지 데이터는 환자의 내층뿐만 아니라 환자의 내층의 위치에 대해 고정된 위치에 마커의 패턴을 포함할 수 있다. 일부 실시태양에서, 이미지 데이터는 2차원(2D) 이미지 데이터, 3차원(3D) 이미지 데이터, 4차원(4D) 이미지 데이터, 또는 이들의 일부 조합을 포함할 수 있다. 예를 들어, 의료 전문가 또는 자동화 시스템은, 동작(406)에서, 환자의 내층(예를 들어, 환자(106)의 뼈(106b))뿐만 아니라 환자(106)의 뼈(106b)의 위치에 대해 고정된 위치에 마커(206)의 패턴을 모두 포함하는 환자(106)의 이미지 데이터를 캡처하기 위해 비 광학 영상 방식을 사용할 수 있다.
일부 실시태양에서, 환자(106)에 대한 이미지 데이터는 환자(106)가 환경(100)에 있는 동안 및/또는 환자(106)가 환경(100)에 들어가기 전에 실시간으로 하나 이상의 방법을 사용하여 캡처되거나 생성될 수 있다. 예를 들어, 이미지 데이터의 일부는 환자(106)가 환경(100)에 들어가기 전에 얻을 수 있고, 그런 다음 이미지 데이터는 환자(106)가 환경(100)에 있는 동안 실시간으로 얻어지는 추가 이미지 데이터로 증강될 수 있다. 예를 들어, 환자(106)의 이미지 데이터는 자기 공명 영상(MRI) 이미지, 컴퓨터 단층 촬영(CT) 스캔 이미지, X선 이미지, 양전자 방출 단층 촬영(PET) 이미지, 초음파 이미지, 형광 이미지, 적외선 열화상 촬영(IRT) 이미지 또는 단일 광자 방출 컴퓨터 단층 촬영(SPECT) 스캔 이미지 또는 이들의 일부 조합을 포함하나 이에 제한되지 않는다. 이러한 이미지 중 임의의 것은 정지 이미지 또는 비디오 이미지의 형태일 수 있다. 예를 들어, 이 방법(400)은 (도 1에 도시된 바와 같이) 환자(106)의 골격 시스템의 정지 X-선 이미지를 사용할 수 있다. 다른 예에서, 이 방법(400)은 환자(106)의 심장 박동의 초음파 영상 이미지를 서용할 수 있다. 다른 예에서, 이 방법(400)은 심장의 정지 이미지와 심장 박동의 실시간 비디오 사이를 토글할 수 있다.
다양한 상이한 방법을 사용하여 얻었지만, 환자에 대한 이미지 데이터는, 일부 실시태양에서, 환자의 외층 및 환자의 다중 내층을 포함할 수 있다. 예를 들어, 환자(106)의 외층은 도 1에서 환자(106)의 피부(106a) 및/또는 환자(106)가 착용한 의류(107)를 포함할 수 있다. 다른 예에서, 사체의 외층은 근육 또는 지방 층과 같은 피부가 아닌 조직 층일 수 있으며, 여기서 피부는 사체에서 제거되었다. 환자(106)의 내층은 환자(106)의 내부 뼈(106b)(도 1에 도시된 바와 같이), 근육, 기관 또는 체액을 포함하나 이에 제한되지 않는다. 이미지 데이터는 2D 이미지가 3D 공간에 투영될 때 2D 이미지가 3D 의미를 갖기 때문에 2D 이미지를 포함할 수 있다. 예를 들어, 환자(106)에 대한 이미지 데이터는 환자(106)의 피부(106a) 또는 의류(107) 상에 투영될 수 있는 2D X-선 이미지를 포함할 수 있다. 이미지 데이터는 또한 때때로 4-차원(4D) 데이터로 불리는 시간 요소를 포함할 수 있다. 환자의 내층(들)의 이미지 데이터는, 예를 들어, 슬라이스, 투명 시야, 분할된 이미지 또는 주석을 포함할 수 있다. 예를 들어, 이미지 데이터는 3D 이미지뿐만 아니라 시간에 따라 변화하는 3D 이미지도 포함하는 비디오를 포함할 수 있다. 다수의 내층은 환자(106)를 완전히 통과하여 도달하는 층일 수 있거나, 환자(106) 내로 특정 부분 깊이까지만 도달하는 층일 수 있다. 예를 들어, 밀리미터 파 스캐너로부터 유도된 3D 데이터와 같은 이미지 데이터의 일부 형태는 환자의 겉옷과 피부 사이에 보관된 품목만 표시하도록 구성될 수 있다. 이미지 데이터는 또한 다양한 유형의 이미지 데이터의 조합일 수 있다.
이 방법(400)의 동작(406 및 408) 사이에, 일정 기간이 경과할 수 있다. 이 기간 동안 환자는 방의 한 부분에서 다른 부분으로 또는 병원의 한 방에서 병원의 다른 방으로 이동할 수 있다. 일부 실시태양에서, 환자(106)의 이러한 이동 후에, 환자(106)가 이미지 데이터가 캡처될 때 있었던 것과 동일한 수술대(103) 상의 상대적 위치 및/또는 방향으로 환자(106)를 위치시키기 위해 주의가 필요할 수 있다. 대안적으로, 환자(106)가 이미지 데이터가 캡처되거나 생성될 때 환자(106)가 있던 것과는 다른 수술대(103) 상의 위치 및/또는 방향에 위치할 때, AR 헤드셋(108)은 환자(106)의 다른 위치 및/또는 방향과 일치하도록 이미지 데이터를 변형할 수 있다.
이 방법(400)은, 동작(408)에서, 3D 공간에서 환자에게 부착된 광학 코드 및 광학 코드의 위치를 감지하는 단계를 포함할 수 있다. 일부 실시태양에서, 광학 코드는 AR 헤드셋의 광학 센서로 감지될 수 있다. 예를 들어, AR 헤드셋(108)의 광학 센서는, 동작(408)에서, 3D 공간(102)에서 환자(106)에 부착된 광학 코드(200) 및 광학 코드(200)의 위치를 감지할 수 있다.
이 방법(400)은, 동작(410)에서, 이미지 데이터에 접근하는 단계를 포함할 수 있다. 일부 실시태양에서, 이미지 데이터는 광학 코드에 기초하여 접근될 수 있다. 일부 실시태양에서, 광학 코드는 환자의 의료 데이터에 연결될 수 있어서 환자의 의료 데이터는 광학 코드로 접근될 수 있다. 이러한 실시태양에서, 광학 코드는 환자의 의료 데이터에 연결된 보안 증명일 수 있어서 환자의 의료 데이터는 추가 보안 증명 없이 광학 코드로 접근될 수 있다. 예를 들어, AR 헤드셋(108)은, 동작(408)에서, 환자(106)의 의료 데이터에 연결된 보안 증명으로서 기능하는 광학 코드(200)로 감지된 광학 코드(200)에 기초하여, 동작(410)에서, 환자(106)의 이미지 데이터에 접근할 수 있어서, 환자(106)의 이미지 데이터는 광학 코드(200)만으로 추가적인 보안 증명 없이 접근될 수 있다.
이 방법(400)은, 동작(412)에서, 3D 공간에서 마커의 패턴의 위치를 계산하는 단계를 포함할 수 있다. 일부 실시태양에서, 동작(412)에서의 계산은 3D 공간에서 광학 코드의 감지된 위치 및 광학 코드의 위치에 대한 마커 패턴의 고정된 위치에 기초할 수 있다. 예를 들어, AR 헤드셋(108)은, 동작(412)에서, 3D 공간(102)에서 광학 코드(200)의 감지된 위치 및 광학 코드(200)의 감지된 위치에 대한 마커(206)의 패턴의 알려진(예를 들어, 사전에 확립된) 고정된 위치에 기초하여 3D 공간(102)에서 마커(206)의 패턴의 위치를 계산할 수 있다.
이 방법(400)은, 동작(414)에서, 3D 공간에서 마커 패턴의 계산된 위치를 이미지 데이터에서 마커 패턴의 위치와 정렬함으로써 3D 공간에서 환자의 내층의 위치를 등록하는 단계를 포함할 수 있다. 일부 실시태양에서, 동작(414)에서의 등록은 3D 공간에서의 마커의 패턴의 계산된 위치 및 환자의 내층의 위치에 대한 마커의 패턴의 이미지 데이터에서 고정된 위치에 기초될 수 있다. 예를 들어, AR 헤드셋(108)은, 동작(414)에서, 3D 공간(102)에서의 마커(206)의 패턴의 계산된 위치 및 환자(106)의 뼈(106b)에 대한 마커(206)의 패턴의 이미지 데이터에서 알려진(예를 들어, 사전에 확립된) 고정된 위치에 기초하여 3D 공간(102)에서 마커(206)의 패턴의 계산된 위치를 환자(106)의 이미지 데이터에서 마커(206)의 패턴의 위치를 정렬함으로써 3D 공간(102)에서 환자(106)의 뼈(106b)의 위치를 등록할 수 있다.
이 방법(400)은, 동작(416)에서, 환자의 실제 시야에 투영된 이미지 데이터로부터 환자의 내층을 실시간으로 표시하는 단계를 포함할 수 있다. 일부 실시태양에서, 동작(416)에서의 표시는 동작(414)에서의 등록에 기초하여 AR 헤드셋에서 수행될 수 있다. 예를 들어, AR 헤드셋(108)은 동작(414)에서의 등록에 기초하여 환자(106)의 실제 시야에 투영된 이미지 데이터로부터, 동작(416)에서, 환자(106)의 뼈(106b)를 실시간으로 표시할 수 있다.
일부 실시태양에서, 이 방법(400)의 동작(416)은 동작(406)을 한 번 이상 또는 연속적으로 반복한 다음, 동작(406)의 최초 수행으로부터의 최초 캡쳐된 이미지 데이터와 함께 또는 겹쳐서 동작(406)의 반복 수행(들)으로부터 새롭게 캡쳐된 이미지 데이터를 표시하는 것을 추가로 포함할 수 있다. 예를 들어, MRI와 같은 영상 방식이 동작(406)의 최초 수행에 사용될 수 있고, 형광과 같은 또 다른 이미징 방식이 환자(106)의 혈관에 카테터를 삽입하기 위한 수술 동안과 같이 동작(406)의 반복적 수행 또는 연속적인 수행 동안 사용될 수 있다. 그런 다음, AR 헤드셋(108)은 동작(414)에서의 등록에 기초하여 환자(106)의 실제 시야에 투영된 새로 캡처 된 형광 이미지와 겹쳐진 최초 캡쳐된 MRI 이미지를, 동작(416)에서, 실시간으로 표시할 수 있다. 동작(416)에서 최초 캡쳐된 이미지 데이터와 새로 캡처된 이미지 데이터의 이런 겹침은 추가 마커를 사용하여 추가로 달성될 수 있다. 예를 들어, 형광은 형광 이미지를 MRI 이미지와 정렬하기 위한 추가 마커 또는 마커를 가질 수 있으며, 따라서 외과의사는 환자(106)의 혈관에서 정확한 위치를 더 정확하게 찾아 카테터를 배치하고 수술 동안 환자(106) 내부로 카테터의 삽입을 더 정확하게 할 수 있다.
일부 실시태양에서, 이 방법(400)은 환자(106)에 부착된 광학 코드(200)를 사용하여 환자(106)의 실제 시야와 환자(106)의 이미지 데이터의 정렬을 달성할 수 있다. 또한, 이 정렬은, 종래 형태의 정렬에서 요구되는 바와 같은, 환자(106)의 실제 시야와 이미지 데이터의 시간 소모적이고 번거롭고 부정확한 수동 정렬 없이 의료 전문가가 AR 헤드셋(108)을 통해 실제 환자(106)를 보면서 환자(106)의 가상 내부를 보게 할 수 있다. 또한, 이미지 데이터를 자동으로 검색하기 위해 이미지 데이터를 캡처하는 동안 사용된 것과 동일한 광학 코드(200)를 사용하면, 종래 형태의 정렬에서 요구되는 바와 같은 시간 소모적이고 번거롭고 부정확한 이미지 데이터의 수동 검색 없이 AR 헤드셋에 의해 검색된 이미지 데이터가 AR 헤드셋(108)을 통해 보여지는 실제 환자와 일치하는 것을 보장할 수 있다.
이 방법(400)의 동작은 개별 동작으로 도 4에 도시되어 있지만, 다양한 동작이 원하는 구현에 따라 추가 동작으로 나뉠 수 있고, 더 적은 동작으로 결합되거나, 재정렬, 확장 또는 제거될 수 있다. 예를 들어, 일부 실시태양에서, 동작(408-416)은 동작(402-406) 중 어느 것도 수행하지 않고, 또는 이전에 수행되었거나 동작(408-416)을 수행하는 엔티티가 아닌 다른 엔티티에 의해 수행된 동작(402-406)과 함께 수행될 수 있다. 또한, 일부 실시태양에서, 동작(412)은 AR 헤드셋(108)이 마커(206)를 직접 감지할 수있는 경우와 같이 3D 공간에서 마커 패턴의 위치를 계산하는 대신 3D 공간에서 마커의 패턴의 위치를 감지하는 것을 포함하도록 수정될 수 있다.
또한, 이 방법(400)이 AR 시스템 자체의 기능을 개선할 수 있고 AR의 시계를 개선할 수 있다는 것이 이해된다. 예를 들어, 도 1의 AR 헤드셋(108)의 기능은 환자(106)에 부착된 광학 코드(200)를 사용하여 환자(106)의 이미지 데이터를 환자(106)의 실제 시야와 자동으로 정렬함으로써 이 방법(400)에 의해 자체적으로 개선될 수 있다. 이러한 자동 정렬은 수동 등록을 사용하는 종래의 AR 시스템보다 더 쉽고 정확하게 수행될 수 있다.
전술한 바와 같이, 본 발명에 기술된 실시태양은 아래에서 더 상세히 논의되는 바와 같이 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈을 포함하는 특수 목적 또는 범용 컴퓨터(예를 들어, 도 3의 프로세서(302))의 사용을 포함할 수 있다. 또한, 위에서 지적한 바와 같이, 본 발명에 기술된 실시태양은 컴퓨터 실행 가능 명령어 또는 데이터 구조가 저장된 컴퓨터 판독 가능 매체(예를 들어, 도 3의 메모리(304) 또는 파일 시스템(306))를 사용하여 구현될 수 있다.
일부 실시태양에서, 본 발명에 기술된 다른 구성 요소 및 모듈은 컴퓨팅 시스템에서 실행되는 객체 또는 프로세스(예를 들어, 별도의 스레드)로 구현될 수 있다. 본 발명에 기술된 방법 중 일부는 일반적으로 (범용 하드웨어에 저장 및/또는 실행됨) 소프트웨어로 구현되는 것으로 설명되지만, 특정 하드웨어 구현 또는 소프트웨어와 특정 하드웨어 구현의 조합도 가능하고 고려된다.
일반적인 관행에 따라, 도면에 예시된 다양한 특징은 축척에 맞게 그려지지 않을 수 있다. 본 발명에 제시된 예시는 임의의 특정 장치(예를 들어, 디바이스, 시스템 등) 또는 방법의 실제 모습을 의미하는 것이 아니라, 본 발명의 다양한 실시태양을 설명하기 위해 사용되는 예시적인 표현일 뿐이다. 따라서, 다양한 특징의 치수는 명확성을 위해 임의로 확장 또는 축소될 수 있다. 또한, 일부 도면은 명확성을 위해 단순화될 수 있다. 따라서, 도면은 주어진 장치(예를 들어, 디바이스)의 모든 구성 요소 또는 특정 방법의 모든 동작을 묘사하지 않을 수 있다.
본 발명 및 특히 첨부된 청구 범위(예를 들어, 첨부된 청구 범위의 본문)에서 사용된 용어는 일반적으로 "개방된" 용어로 의도된다(예를 들어, 용어 "포함하는"은 "포함하나 이에 제한되지 않는"으로 해석되어야 하며, 용어"갖는"은 적어도 갖는"으로 해석되어야 하며, 용어 "포함한다"는 "포함하나 이에 제한되지 않는다" 등으로 해석되어야 한다.)
추가로, 소개된 청구항 인용의 특정 번호가 의도된 경우, 이런 의도는 청구항에 명시적으로 언급될 것이며, 이런 인용이 없는 경우 이런 의도는 존재하지 않는다. 예를 들어, 이해를 돕기 위해, 다음의 첨부된 청구항은 청구항 인용을 소개하기 위해 소개 문구 "적어도 하나" 및 "하나 이상"의 사용을 포함할 수 있다. 그러나, 동일한 청구항이 "하나 이상" 또는 "적어도 하나"라는 소개 문구와 "a" 또는 "an"과 같은 부정 관사를 포함하며(예를 들어, "a" 및/또는 "an"은 "적어도" 또는 "하나 이상"을 의미하는 것으로 해석되어야 한다); 청구항 인용을 소개하는 데 사용되는 정관사의 사용도 마찬가지인 경우에도, 이런 문구의 사용은 부정 관사 "a" 또는 "an"에 의한 청구항 인용의 도입이 이런 도입된 청구항 인용을 포함하는 특정 청구항을 단지 하나의 이런 인용을 포함하는 실시태양으로 제한한다는 것을 의미하는 것으로 해석되어서는 안 된다.
또한, 소개된 청구항 인용의 특정 번호가 명시적으로 인용되더라도, 이런 인용은 적어도 인용된 번호를 의미하는 것으로 해석되어야 함을 이해해야 한다(예를 들어, 다른 수식어 없이 "두 인용"의 맨 인용은 적어도 2개의 인용 또는 2개 이상의 인용을 의미한다). 또한 "A, B, C 등 중 적어도 하나" 또는 "A, B, C 등 중 하나 이상과 유사한 관행이 사용되는 경우에, 일반적으로 이런 구조는 A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 또는 A, B 및 C 함께 등을 포함하도록 의도된다. 예를 들어, 용어 "및/또는"의 사용은 이러한 방식으로 해석되도록 의도된다.
또한, 요약, 상세한 설명, 청구 범위 또는 도면에서 둘 이상의 대체 용어를 나타내는 임의의 분리 단어 또는 문구는 용어 중 하나, 용어 중 하나 또는 두 용어 모두를 포함할 가능성을 고려하도록 이해되어야 된다. 예를 들어, 문구 "A 또는 B"는 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해되어야 한다.
추가로, 용어 "제 1", "제 2", "제 3" 등의 사용은 본 명세서에서 반드시 특정 순서 또는 요소 수를 의미하는 데 사용되는 것은 아니다. 일반적으로 "제 1", "제 2", "제 3" 등의 용어는 일반 식별자로서 서로 다른 요소를 구분하는 데 사용된다. "제 1", "제 2", "제 3" 등의 용어가 특정 순서를 의미한다는 것을 보여주지 않으면 이러한 용어가 특정 순서를 의미하는 것으로 이해되어서는 안 된다. 또한, "제 1", "제 2", "제 3" 등의 용어가 특정 수의 요소를 의미한다는 것을 보여주지 않으면 특정 수의 요소를 의미하는 것으로 이해되어서는 안 된다. 예를 들어, 제 1 위젯은 제 1 측면을 갖는 것으로 기술될 수 있고 제 2 위젯은 제 2 측면을 갖는 것으로 기술될 수 있다. 제 2 위젯과 관련하여 "제 2 측면"이라는 용어의 사용은 제 2 위젯의 이러한 측면을 제 1 위젯의 "제 1 측면"과 구별하기 위한 것이며, 제 2 위젯이 양면을 갖는다는 것을 의미하지 않을 수 있다.
전술한 설명은 설명을 목적으로 특정 실시태양을 참조하여 기술되었다. 그러나, 상기 예시적인 논의는 개시된 정확한 형태로 청구된 바와 같이 본 발명을 포괄하거나 제한하려는 의도가 아니다. 상기 교시를 고려하여 많은 수정 및 변형이 가능하다. 실시태양은 실제 응용을 설명하기 위해 선택되고 기술되었고, 이에 따라 당업자가 청구된 본 발명 및 고려되는 특정 용도에 적합할 수 있는 다양한 수정을 갖는 다양한 실시태양을 이용할 수 있다.

Claims (19)

  1. 광학 코드를 환자에게 부착하는 단계로, 광학 코드는 증강 현실(AR) 헤드셋의 광학 센서에 인식 가능한 것인 단계;
    비 광학 영상 방식을 사용하여 환자의 이미지 데이터를 캡처하는 단계로, 이미지 데이터는 환자의 내층을 포함하는 것인 단계;
    AR 헤드셋의 광학 센서로, 3D 공간에서 환자에게 부착된 광학 코드 및 광학 코드의 위치를 감지하는 단계;
    광학 코드에 기초하여 이미지 데이터에 접근하는 단계로, 광학 코드는 환자의 의료 데이터에 연결된 보안 증명이어서 환자의 의료 데이터가 추가 보안 증명없이 광학 코드로 접근될 수 있는 것인 단계; 및
    AR 헤드셋에서 환자의 실제 시야에 투영된 이미지 데이터로부터 환자의 내층을 실시간으로 표시하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    광학 코드를 환자에게 부착하는 단계는 광학 코드가 인쇄된 한 면에 접착제로 코팅된 재료의 조각을 환자의 외층에 부착하는 것을 포함하는 것인 방법.
  3. 제 1 항에 있어서,
    광학 코드를 환자에게 부착하는 단계는 광학 코드를 환자의 피부에 인쇄하는 것을 포함하는 것인 방법.
  4. 제 1 항에 있어서,
    광학 코드를 환자에게 부착하는 단계는 광학 코드가 인쇄된 환자에게 의복 물품을 배치하는 것을 포함하는 것인 방법.
  5. 제 1 항에 있어서,
    이미지 데이터는 2차원(2D) 이미지 데이터, 3차원(3D) 이미지 데이터, 4차원(4D) 이미지 데이터, 또는 이들의 일부 조합을 포함하는 것인 방법.
  6. 제 1 항에 있어서,
    광학 코드는 선형 바코드, 매트릭스 2차원(2D) 바코드, 빠른 응답(QR) 코드 또는 이들의 일부 조합인 방법.
  7. 제 1 항에 있어서,
    이 방법은 광학 코드의 위치에 대해 고정된 위치에서 환자에게 마커의 패턴을 부착하는 단계를 추가로 포함하며, 마커의 패턴은 비 광학 영상 방식에 인식 가능하고;
    이미지 데이터는 환자의 내층의 위치에 대해 고정된 위치에 마커의 패턴을 추가로 포함하며;
    이 방법은 3D 공간에서 광학 코드의 감지된 위치 및 광학 코드의 위치에 대한 마커의 패턴의 고정된 위치에 기초하여, 3D 공간에서 마커의 패턴의 위치를 계산하는 단계를 추가로 포함하며;
    이 방법은 3D 공간에서 마커의 패턴의 계산된 위치 및 환자의 내층의 위치에 대한 마커의 패턴의 이미지 데이터에서의 고정된 위치에 기초하여, 3D 공간에서 마커의 패턴의 계산된 위치를 이미지 데이터에서 마커의 패턴 위치와 정렬함으로써 3D 공간에서 환자의 내층의 위치를 등록하는 단계를 추가로 포함하며; 및
    표시하는 단계는 등록에 기초하는 것인 방법.
  8. 제 7 항에 있어서,
    비 광학 영상 방식은 자기 공명 영상(MRI) 방식, 컴퓨터 단층 촬영(CT) 스캔 방식, X선 방식, 양전자 방출 단층 촬영(PET) 방식, 초음파 방식, 형광 방식, 적외선 열화상 촬영(IRT) 방식 또는 단일 광자 방출 컴퓨터 단층 촬영(SPECT) 스캔 방식을 포함하는 것인 방법.
  9. 제 7 항에 있어서,
    광학 코드의 위치에 대해 고정된 위치에서 환자에게 마커의 패턴을 부착하는 단계는 광학 코드의 위치에 대해 고정된 위치에 재료의 조각에 부착된 마커의 패턴을 포함하는 것인 방법.
  10. 제 9 항에 있어서,
    재료의 조각은 접착 붕대이며; 및
    마커의 패턴은 접착 붕대 내에 삽입되는 것인 방법.
  11. 제 9 항에 있어서,
    마커의 패턴은 잉크 내에 삽입되며 잉크에 의해 광학 코드가 재료의 조각 상에 인쇄되며; 및
    잉크는 비 광학 영식 방식에 인식 가능한 재료를 포함하는 것인 방법.
  12. 제 11 항에 있어서,
    비 광학 영상 방식에 인식 가능한 재료는 X-선에 투명하지 않은 방사선 불투명 재료, 자기적으로 보이는 재료 또는 방사성 재료인 방법.
  13. 제 7 항에 있어서,
    이미지 데이터에 접근하는 단계는 네트워크를 통해 이미지 데이터가 저장된 서버에 접근하는 AR 헤드셋에 의해 수행되며;
    3D 공간에서 마커의 패턴의 위치를 계산하는 단계는 AR 헤드셋에 의해 수행되고;
    3D 공간에서 환자의 내층의 위치를 등록하는 단계는 AR 헤드셋에 의해 수행되는 것인 방법.
  14. 한 면에 접착제로 코팅된 재료의 조각;
    재료의 조각 상에 인쇄된 광학 코드로, 광학 코드는 광학 센서에 인식 가능하며, 여기서 광학 코드는 환자의 의료 데이터에 연결된 보안 증명이어서 환자의 의료 데이터가 추가 보안 증명없이 광학 코드로 접근될 수 있는 것인 광학 코드; 및
    재료의 조각 상에 광학 코드가 인쇄되는 잉크 내에 삽입된 마커의 패턴으로, 마커의 패턴은 재료의 조각 상의 광학 코드의 위치에 대해 재료의 조각 내 고정된 위치를 가지며, 마커의 패턴은 비 광학 영상 방식에 인식 가능하여 장치가 부착된 환자의 이미지 데이터가 비 광학 영상 방식을 사용하여 캡처될 때 이미지 데이터가 환자의 내층을 포함하며 이미지 데이터는 환자의 내층의 위치에 대해 고정된 위치에 마커의 패턴을 추가로 포함하는 것인 마커의 패턴을 포함하는 장치.
  15. 제 14 항에 있어서,
    마커의 패턴은 X-선에 투명하지 않은 방사선 불투명 재료, 자기적으로 보이는 재료 또는 방사성 재료를 포함하는 것인 장치.
  16. 제 14 항에 있어서,
    재료의 조각은 멸균 가능한 재료로 형성되는 것인 장치.
  17. 제 14 항에 있어서,
    광학 코드는 선형 바코드, 매트릭스 2차원(2D) 바코드, 빠른 응답(QR) 코드 또는 이들의 일부 조합인 장치.
  18. 제 14 항에 있어서,
    비 광학 영상 방식은 자기 공명 영상(MRI) 방식, 컴퓨터 단층 촬영(CT) 스캔 방식, X선 방식, 양전자 방출 단층 촬영(PET) 방식, 초음파 방식, 형광 방식, 적외선 열화상 촬영(IRT) 방식 또는 단일 광자 방출 컴퓨터 단층 촬영(SPECT) 스캔 방식을 포함하는 것인 장치.
  19. 제 14 항에 있어서,
    광학 코드는 환자의 의료 데이터에 연결되어 환자의 의료 데이터가 광학 코드로 접근될 수 있는 것인 장치.
KR1020237025823A 2018-05-14 2019-04-30 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법 KR102695271B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/979,283 US10825563B2 (en) 2018-05-14 2018-05-14 Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US15/979,283 2018-05-14
KR1020207035822A KR102562252B1 (ko) 2018-05-14 2019-04-30 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
PCT/US2019/029966 WO2019221908A1 (en) 2018-05-14 2019-04-30 Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035822A Division KR102562252B1 (ko) 2018-05-14 2019-04-30 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법

Publications (2)

Publication Number Publication Date
KR20230116969A true KR20230116969A (ko) 2023-08-04
KR102695271B1 KR102695271B1 (ko) 2024-08-14

Family

ID=68464126

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207035822A KR102562252B1 (ko) 2018-05-14 2019-04-30 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
KR1020237025823A KR102695271B1 (ko) 2018-05-14 2019-04-30 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207035822A KR102562252B1 (ko) 2018-05-14 2019-04-30 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법

Country Status (6)

Country Link
US (2) US10825563B2 (ko)
EP (1) EP3793434A4 (ko)
JP (2) JP7190145B2 (ko)
KR (2) KR102562252B1 (ko)
CN (1) CN112261906A (ko)
WO (1) WO2019221908A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
EP3628245A3 (en) 2013-10-10 2020-04-22 Imascap Method for designing and producing a shoulder surgery guide
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
EP3810015A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Mixed-reality surgical system with physical markers for registration of virtual models
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11806062B2 (en) 2018-09-07 2023-11-07 Cilag Gmbh International Surgical modular energy system with a segmented backplane
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
DE102020201070A1 (de) * 2020-01-29 2021-07-29 Siemens Healthcare Gmbh Darstellungsvorrichtung
EP4099934A1 (en) 2020-02-07 2022-12-14 Smith & Nephew, Inc. Augmented reality ready optical tracking system
CN115426971A (zh) * 2020-04-24 2022-12-02 史密夫和内修有限公司 具有内置结构化光模块的光学跟踪装置
KR102273276B1 (ko) * 2020-07-03 2021-07-06 한국과학기술원 실시간 동작 분석 방법 및 이를 수행하는 장치
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US12040749B2 (en) 2021-03-30 2024-07-16 Cilag Gmbh International Modular energy system with dual amplifiers and techniques for updating parameters thereof
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US20220335696A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Mixed reality feedback systems that cooperate to increase efficient perception of complex data feeds
CA3162725A1 (en) * 2021-06-17 2022-12-17 Gydme Inc. Guided navigation of electronic documents
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11948265B2 (en) * 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
SE2250262A1 (en) * 2022-02-25 2023-08-26 Navari Surgical Ab Marker unit for use in ar aided surgery
US12079460B2 (en) 2022-06-28 2024-09-03 Cilag Gmbh International Profiles for modular energy system
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
US20240273740A1 (en) * 2023-02-15 2024-08-15 Novarad Corporation Alignment Using Two-Part Marker and Image Visible Marker
CN118615018A (zh) * 2023-03-08 2024-09-10 苏州速迈医学科技股份有限公司 一种手术显微镜的图像导航方法及系统
EP4431041A1 (en) 2023-03-13 2024-09-18 Incremed AG Marker system
CN117017232A (zh) * 2023-10-07 2023-11-10 牛尾医疗科技（苏州）有限公司 结合ar和固有荧光的辅助诊断系统、介质和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187038A1 (en) * 2013-12-27 2015-07-02 General Electric Company System for integrated protocol and decision support
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075787A (en) * 1989-09-14 1991-12-24 Eastman Kodak Company Reproduction apparatus and method with alphanumeric character-coded highlighting for selective editing
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
JP4867605B2 (ja) 2006-11-20 2012-02-01 株式会社島津製作所 被検体用検査衣
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
JP2014131552A (ja) 2013-01-07 2014-07-17 Akira Takebayashi 医療支援装置
JP6311393B2 (ja) 2014-03-28 2018-04-18 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
DE102013015382A1 (de) 2013-09-17 2015-03-19 Giesecke & Devrient Gmbh Verfahren zum Anzeigen einer Information
JP2015185566A (ja) 2014-03-20 2015-10-22 株式会社東芝 超電導コイルならびにその製造方法および製造装置
JP2016077574A (ja) 2014-10-17 2016-05-16 学校法人 埼玉医科大学 識別標識体と、識別標識体を用いた拡張現実技術による医療支援システム
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
JP6172178B2 (ja) 2015-02-17 2017-08-02 コニカミノルタ株式会社 画像処理システム、画像処理装置、および画像形成装置
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
JP6510301B2 (ja) 2015-04-17 2019-05-08 株式会社日本未来医療研究所 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
WO2017145155A1 (en) * 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
JP2017221267A (ja) 2016-06-13 2017-12-21 オオクマ電子株式会社 患者取違防止システム
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187038A1 (en) * 2013-12-27 2015-07-02 General Electric Company System for integrated protocol and decision support
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Also Published As

Publication number Publication date
US20210057080A1 (en) 2021-02-25
JP2021523784A (ja) 2021-09-09
EP3793434A4 (en) 2022-03-23
JP2023015398A (ja) 2023-01-31
US10825563B2 (en) 2020-11-03
EP3793434A1 (en) 2021-03-24
WO2019221908A1 (en) 2019-11-21
KR20210016378A (ko) 2021-02-15
KR102695271B1 (ko) 2024-08-14
CN112261906A (zh) 2021-01-22
US20190348169A1 (en) 2019-11-14
JP7190145B2 (ja) 2022-12-15
KR102562252B1 (ko) 2023-08-02
US12033741B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
KR102562252B1 (ko) 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
KR102327527B1 (ko) 3차원 데이터로 피험자의 실시간 뷰
JP7519354B2 (ja) 拡張現実ディスプレイでの光学コードの使用
US12086988B2 (en) Augmented reality patient positioning using an atlas
JP6548110B2 (ja) 医用観察支援システム及び臓器の３次元模型
CN108430376A (zh) 提供投影数据集
US20230169696A1 (en) Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
US20240355459A1 (en) Aligning Image Data of a Patient with Actual Views of the Patient Using an Optical Code Affixed to the Patient
CN115176283A (zh) 增强现实定位医学视图
CN118369732A (zh) 解剖扫描、瞄准和可视化

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right