KR20240059645A - 의료 보조기 - Google Patents

의료 보조기 Download PDF

Info

Publication number
KR20240059645A
KR20240059645A KR1020247013721A KR20247013721A KR20240059645A KR 20240059645 A KR20240059645 A KR 20240059645A KR 1020247013721 A KR1020247013721 A KR 1020247013721A KR 20247013721 A KR20247013721 A KR 20247013721A KR 20240059645 A KR20240059645 A KR 20240059645A
Authority
KR
South Korea
Prior art keywords
user
patient
medical
wearable device
data
Prior art date
Application number
KR1020247013721A
Other languages
English (en)
Inventor
나타샤 유. 로바이나
니콜 엘리자베스 사멕
마크 배렌로트
크리스토퍼 엠. 헤리시스
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20240059645A publication Critical patent/KR20240059645A/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/339—Displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ophthalmology & Optometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)

Abstract

웨어러블 디바이스는 건강관리 환경 내에서 많은 애플리케이션들을 위해 가상 콘텐츠를 착용자에게 제공할 수 있다. 착용자는 환자 또는 HCP(healthcare provider)일 수 있다. 그러한 애플리케이션들은 환자 의료 기록들의 액세스, 디스플레이 및 수정, 그리고 인가된 HCP들 간의 환자 의료 기록들의 공유를 포함(그러나, 이것들로 제한되지는 않음)할 수 있다.

Description

의료 보조기 {MEDICAL ASSISTANT}
[0001] 본 출원은, 2017년 1월 11일에 출원되고 발명의 명칭이 "MEDICAL ASSISTANT"인 미국 가출원 번호 제62/445,182호, 및 2017년 1월 20일에 출원되고 발명의 명칭이 "MEDICAL ASSISTANT"인 미국 가출원 번호 제62/448,656호를 35 U.S.C. §119(e) 하에서 우선권으로 주장하며, 그리하여, 이 출원들 각각의 개시내용들은 그 전체가 인용에 의해 본원에 통합된다.
[0002] 본 개시내용은 건강관리 환경에서의 가상 현실 및 증강 현실 이미징 및 시각화 시스템들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", "증강 현실", 또는 "혼합 현실" 경험들을 위한 시스템들의 개발을 가능하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제공된다. 가상 현실, 또는 "VR" 시나리오는 전형적으로 다른 실제 실세계 시각적 입력에 대한 투명도 없이 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 혼합 현실, 또는 "MR"은, 실제 및 가상 세계들을 병합하여 물리적 및 가상 오브젝트들이 공존하고 실시간으로 상호작용하는 새로운 환경을 생성하는 것과 관련된다. 밝혀진 바와 같이, 인간 시각 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스러운 느낌이고, 풍부한 프리젠테이션을 가능하게 하는 VR, AR 또는 MR 기술을 생성하는 것은 난제시된다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술에 관련된 다양한 난제들을 처리한다.
[0004] 웨어러블 디바이스는 건강관리 환경에서 다수의 애플리케이션을 위한 가상 콘텐츠를 착용자에게 제공할 수 있다. 착용자는 환자 또는 HCP(healthcare provider)일 수 있다. 이러한 애플리케이션들은 환자 의료 기록들의 액세스, 디스플레이 및 수정, 및 인가된 HCP들 사이에서의 환자의 의료 기록들의 공유를 포함할 수 있다(그러나 이에 제한되지 않음). 환자 의료 기록들은 중앙집중형 위치에 저장되고, 환자가 사용할 수 있는 다양한 HCP 시설들(예컨대, 병원들, 치료소들, 의사의 진료실들)(그의 서비스들을 환자가 사용할 수 있음)에 의해서 보다는, 환자에 의해 소유될 수 있다. 웨어러블 디바이스는 환자의 의료 기록의 일부들에 액세스하여 이를 인가된 HCP들에 디스플레이할 수 있다. 환자의 의료 기록은 중앙에 저장되고 환자가 절차나 치료를 받을 때마다 수정되기 때문에, 의료 기록은 실질적으로 완벽하게 유지될 수 있다. 의료 절차 또는 치료 동안, 웨어러블 디바이스는 환자 또는 환자의 의료 기록과 연관된 HCP 가상 콘텐츠를 담당에게 디스플레이할 수 있다. HCP는 웨어러블 디바이스를 사용하여 절차 또는 치료의 결과들을 설명하기 위해 환자의 의료 기록을 업데이트할 수 있다. HCP는 웨어러블 디바이스를 사용하여 환자의 의료 기록들 중 일부 또는 전체를 다른 인가된 HCP들과 공유할 수 있다. 웨어러블 디바이스의 외향 카메라는 의료 절차 동안 사용되는 의료 기구들을 이미징하고 추적할 수 있다. 웨어러블 디바이스는 절차 동안 환자의 일부들을 이미징할 수 있다. 만약 의료 기구가 환자의 신체 내부에 남겨지거나 HCP가 인가된 의료 절차 또는 프로토콜을 벗어난다면, 웨어러블 디바이스는 HCP에 경고를 디스플레이하여서, 기구가 환자의 신체로부터 제거되고 인가된 절차 또는 프로토콜을 따르게 할 수 있다.
[0005] 본 명세서에서 설명되는 청구대상의 하나 이상의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 장점들은 설명, 도면들, 및 청구항들로부터 자명해질 것이다. 이 개요 또는 다음의 상세한 설명 어느 것도, 본 발명의 청구대상의 범위를 정의하거나 제한하는 것으로 의도되지 않는다.
[0006] 도 1a는 사람이 보는 특정 물리적 오브젝트들 및 특정 가상 현실 오브젝트들을 갖는 혼합 현실 시나리오의 예시를 묘사한다.
[0007] 도 1b는 웨어러블 시스템의 착용자에 대한 시야 및 FOR(field of regard)를 예시한다.
[0008] 도 2a는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0009] 도 2b는 환경 센서들을 포함하는 웨어러블 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다.
[0010] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0011] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0012] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출사 빔들을 도시한다.
[0013] 도 6은, 다-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략적 다이어그램이다.
[0014] 도 7은 웨어러블 시스템의 일 예의 블록도이다.
[0015] 도 8은 인식된 오브젝트들에 관하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0016] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0017] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하는 방법의 예의 프로세스 흐름도이다.
[0018] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법의 예의 프로세스 흐름도이다.
[0019] 도 12는, 다수의 웨어러블 디바이스 및 건강관리 제공자 시스템들이 의료 기록 관리를 제공하기 위해 건강관리 환경에서 서로 상호작용할 수 있는 예시적인 컴퓨팅 환경을 예시한다.
[0020] 도 13a, 도 13b, 도 13c 및 도 13d는 건강관리 데이터베이스 시스템과 상호작용하기 위한 예시적인 프로세스들을 예시한다.
[0021] 도 14a는 가상 의료 기록과 연관된 액세스 특권에 기반하여 가상 의료 기록에 액세스하는 예를 예시한다.
[0022] 도 14b는 액세스 특권에 기반하여 가상 의료 기록에 액세스하기 위한 예시적인 프로세스를 도시하는 흐름도를 예시한다.
[0023] 도 15는 환자와 건강관리 제공자 사이의 상호작용과 연관된 오디오 데이터를 기록하고 프로세싱하는 예를 예시한다.
[0024] 도 16은 HCP(healthcare provider)에 의한 의료 이벤트를 문서화하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
[0025] 도 17은 서로 상호작용하는 다수의 디바이스들을 묘사하는 전체 시스템 뷰를 개략적으로 예시한다.
[0026] 도 18은 다수의 건강관리 제공자들 사이에서 의료 정보를 공유하는 예를 예시한다.
[0027] 도 19는 의료 절차 동안 촬영된 이미지들에 가상 콘텐츠를 추가하는 예를 예시한다.
[0028] 도 20은 다수의 건강관리 제공자들 사이에 가상 콘텐츠를 공유하는 예시적인 프로세스를 예시하는 흐름도이다.
[0029] 도 21, 도 22a, 도 22b 및 도 23은 콘텍스추얼 정보에 기반하여 가상 콘텐츠를 제공하는 예들을 예시한다.
[0030] 도 24는 콘텍스추얼 정보에 기반하여 가상 콘텐츠에 액세스하고 이를 제공하는 예시적인 프로세스를 예시하는 흐름도이다.
[0031] 도 25는 무균 구역을 갖는 수술실에서 발생하는 의료 절차의 예를 개략적으로 예시한다.
[0032] 도 26은 무균 구역 내의 의료 오브젝트를 추적하는 예시적인 프로세스를 예시하는 흐름도이다.
[0033] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하기 위해 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하도록 의도하지 않는다.
개요
[0034] 착용자에게 가상 콘텐츠를 제공할 수 있는 웨어러블 디바이스들은 건강관리 환경에서 다수의 애플리케이션들을 가질 수 있다. 이러한 애플리케이션들은 환자 의료 기록들의 액세스하는 것, 디스플레이하는 것 및 수정하는 것, 및 인가된 HCP(healthcare provider)들 사이에서의 환자의 의료 기록들을 공유하는 것을 포함할 수 있다(그러나 이에 제한되지 않음). 환자 의료 기록들은 중앙집중형 위치에 저장되고, 환자가 사용할 수 있는 다양한 HCP 시설들(예컨대, 병원들, 치료소들, 의사의 진료실들)(그의 서비스들을 환자가 사용할 수 있음)에 의해서 보다는, 환자에 의해 소유될 수 있다. 웨어러블 디바이스는 환자의 의료 기록의 일부들에 액세스하여 이를 인가된 사람에 디스플레이할 수 있다. 환자의 의료 기록은 중앙에 저장되고 환자가 절차나 치료를 받을 때마다 수정되기 때문에, 의료 기록은 (환자를 치료하는 각각의 HCP 시설이 환자와 연관된 본인의 의료 기록을 저장하고 수정하는 현재 공통 단편적인 시나리오에 비교하여) 실질적으로 완벽하게 유지될 수 있다. 추가적으로, 환자의 의료 기록은 환자가 절차 또는 치료를 받을 때마다 실질적으로 실시간으로 저장 및 업데이트되기 때문에, 의료 기록은 실질적으로, (각각의 HCP가 때로는 그가 환자를 치료한 후에 환자의 기록을 저장 및 업데이트하고 그가 부정확한 기억들로 인해 의료 기록에 주관적인 정보를 포함시킬 수 있는 현재 공통 시나리오에 비교하여) 편파적이지 않고 정확하며 객관적으로 유지될 수 있다.
[0035] 의료 절차 또는 치료 동안, 웨어러블 디바이스는 환자 또는 환자의 의료 기록과 연관된 HCP 가상 콘텐츠를 담당에게 디스플레이할 수 있다. HCP는 웨어러블 디바이스를 사용하여 절차 또는 치료의 결과들을 설명하기 위해 환자의 의료 기록을 업데이트할 수 있다. HCP는 웨어러블 디바이스를 사용하여 환자의 의료 기록들 중 일부 또는 전체를 다른 인가된 HCP들과 공유할 수 있다(예컨대, 외과의사는 환자의 수술 동안 병리학자와 의료 기록을 공유할 수 있음). 의료 수술 동안 환자에게 위험한 점은 외과의사가 환자의 신체 내부에 이물질(예컨대, 예컨대, 외과용 메스와 같은 의료기구)을 남겨놓을 가능성이 있다는 것이다. 웨어러블 디바이스의 외향 카메라는 수술 동안 사용되는 의료 기구들을 이미징할 수 있고, 웨어러블 디바이스는 의료 기구들의 위치를 추적할 수 있다. 만약 이물질이 환자의 신체 내부에 남겨진다면, 웨어러블 시스템은 수술이 완료되기 전에 이물질이 환자의 신체로부터 제거될 수 있도록 외과의사에게 경고를 디스플레이할 수 있다.
[0036] 건강관리 환경들에서의 웨어러블 시스템의 이들 및 다른 유리한 애플리케이션들이 아래에서 설명될 것이다.
3D 디스플레이의 예들
[0037] 웨어러블 시스템(본원에서 AR(augmented reality) 시스템으로 또한 지칭됨)은 2D 또는 3D 가상 이미지들을 사용자에게 제공하도록 구성될 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오, 이들의 조합 등일 수 있다. 웨어러블 시스템의 적어도 일부는 사용자 상호작용을 위해 VR, AR 또는 MR 환경을 단독으로 또는 조합하여 제공할 수 있는 웨어러블 디바이스 상에서 구현될 수 있다. 웨어러블 디바이스는 ARD(AR device)로서 상호 교환 가능하게 사용될 수 있다. 또한, 본 개시내용의 목적을 위해, "AR"이란 용어는 "MR"이란 용어와 상호 교환 가능하게 사용된다.
[0038] 도 1a는 사람이 보는 특정 물리적 오브젝트들 및 특정 가상 현실 오브젝트들을 갖는 혼합 현실 시나리오의 예시를 묘사한다. 도 1a에서, MR 장면(100)이 묘사되며, 여기서 MR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징으로 하는 실세계 공원형 환경(110)을 본다. 이들 아이템들 외에도, MR 기술의 사용자는 또한, 그가 실세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(140)를 보는 것을 지각하더라도, 이들 엘리먼트들은 실세계에 존재하지 않는다.
[0039] 3D 디스플레이가 실제 깊이감 및 보다 구체적으로, 시뮬레이팅된 표면 깊이감을 생성하기 위해, 디스플레이의 시계(visual field)의 각각의 포인트가 그의 가상 깊이에 대응하는 원근조절 응답을 생성하는 것이 바람직하다. 만약 디스플레이 포인트에 대한 원근조절 응답이 수렴 및 입체시(stereopsis)의 양안 깊이 큐들에 의해 결정된 바와 같은 그 포인트의 가상 깊이에 대응하지 않는다면, 인간의 눈은 원근조절 충돌을 경험할 수 있어, 불안정한 이미징, 유해한 눈의 피로, 두통들, 그리고 원근조절 정보의 부재 시에, 표면 깊이의 거의 완전한 결여를 야기할 수 있다.
[0040] 도 1b는 사람의 시야(field of view; FOV) 및 FOR(field of regard)를 예시한다. FOV는 정해진 시간에 사용자에 의해 지각되는 사용자의 환경의 일부를 포함한다. 이 시야는 사람이 돌아다니거나, 자신의 머리를 움직이거나, 또는 그의 눈들 또는 시선을 움직임에 따라 변할 수 있다.
[0041] FOR는 웨어러블 시스템을 통해 사용자에 의해 지각될 수 있는 사용자 주위 환경의 일부를 포함한다. 그에 따라서, 머리-장착 증강 현실 디바이스를 착용하고 있는 사용자의 경우, 착용자는 자신의 신체, 머리 또는 눈들을 움직여서 공간 내의 실질적으로 임의의 방향을 지각할 수 있기 때문에, 관심 필드(field of regard)는 실질적으로, 착용자를 둘러싸는 4π 스테라디안 입체각 모두를 포함할 수 있다. 다른 맥락들에서, 사용자의 움직임들은 더욱 억제될 수 있고, 그에 따라서 사용자의 관심 필드는 더 작은 입체각을 한정할 수 있다. 도 1b는 중심 구역 및 주변 영역을 포함하는 시야(155)를 도시 한다. 중앙 시야는 환경 뷰의 중앙 구역에 있는 오브젝트들의 대응하는 뷰를 사람에게 제공할 것이다. 유사하게, 주변 시야는 환경 뷰의 주변 구역에 있는 오브젝트들의 대응하는 뷰를 사람에게 제공할 것이다. 이 경우에, 무엇이 중앙인 것으로 간주되고 무엇이 주변인 것으로 간주될지는 사람이 바라보고 있는 방향 및 그에 따른 그의 시야의 함수이다. 시야(155)는 오브젝트들(121, 122)을 포함할 수 있다. 이 예에서, 중앙 시야(145)는 오브젝트(121)를 포함하는 반면, 다른 오브젝트(122)는 주변 시야에 있다.
[0042] FOV(field of view)(155)는 다수의 오브젝트들(예컨대, 오브젝트들(121, 122))을 포함할 수 있다. 시야(155)는 AR 시스템의 크기 또는 광학 특성들, 예컨대, 광이 사용자 앞의 실세계로부터 사용자의 눈들로 전달되는 머리 장착 디스플레이의 투명한 윈도우 또는 렌즈의 명확한 어퍼처 사이즈에 의존할 수 있다. 일부 실시예들에서, 사용자(210)의 포즈(예컨대, 머리 포즈, 신체 포즈 및/또는 눈 포즈)가 변함에 따라, 시야(155)는 대응하게 변할 수 있고, 시야(155) 내의 오브젝트들이 또한 변할 수 있다. 본원에서 설명된 바와 같이, 웨어러블 시스템은 관심 필드(165)의 오브젝트들 뿐만아니라 시야(155)의 오브젝트들을 모니터 또는 이미징하는 카메라들과 같은 센서들을 포함할 수 있다. 이러한 일부 실시예들에서, 웨어러블 시스템은 사용자의 시야(155)에서 발생하고 그리고/또는 관심 필드(165) 내이지만 사용자의 시야 밖에서 발생하는 눈에 띄지 않는 오브젝트들 또는 이벤트들을 사용자에게 경고할 수 있다. 일부 실시예들에서, AR 시스템은 또한 사용자(210)가 주의를 기울이는 것과 기울이지 않는 것 간을 구별할 수 있다.
[0043] FOV 또는 FOR 내의 오브젝트들은 가상 또는 물리적 오브젝트들일 수 있다. 가상 오브젝트들은, 예컨대, 운영 시스템 오브젝트들, 이를테면, 예컨대, 커맨드들을 입력하기 위한 터미널, 파일들 또는 디렉토리들에 액세스하기 위한 파일 관리자, 아이콘, 메뉴, 오디오 또는 비디오 스트리밍을 위한 애플리케이션, 운영 시스템으로부터의 통지 등을 포함할 수 있다. 가상 오브젝트들은 또한, 예컨대, 아바타들, 게임들의 가상 오브젝트들 또는 그래픽들 또는 이미지들 등과 같은 애플리케이션의 오브젝트들을 포함할 수 있다. 가상 오브젝트들은 또한 수술실 등의 온도와 같은 환경 데이터뿐만 아니라 환자의 데이터(이를테면, 생리적 데이터 또는 의료 이력)를 포함할 수 있다. 일부 가상 오브젝트들은 운영 시스템 오브젝트 및 애플리케이션의 오브젝트 둘 모두일 수 있다. 웨어러블 시스템은 머리 장착 디스플레이의 투명한 광학기를 통해 보이는 기존 물리적 오브젝트들에 가상 엘리먼트들을 부가하고, 그리하여 물리적 오브젝트들과의 사용자 상호작용을 허가할 수 있다. 예컨대, 웨어러블 시스템은 룸에 의료 모니터와 연관된 가상 메뉴를 부가할 수 있으며, 여기서 가상 메뉴는 웨어러블 디바이스를 사용하여 의료 이미징 장비 또는 도징(dosing) 제어를 턴 온하거나 조정하는 옵션을 사용자에게 제공할 수 있다. 그에 따라서, 웨어러블 시스템은 사용자의 환경에 있는 오브젝트 외에도, 추가적인 가상 이미지 콘텐츠를 착용자에게 제공할 수 있다.
[0044] 도 1b는 또한, 예컨대, 자신의 머리를 돌리거나 자신의 시선의 방향을 바꿈으로써 사람(210)에 의해 지각될 수 있는 사람(210) 주의의 환경의 일부를 포함하는 FOR(field of regard)(165)을 도시한다. 사람(210)의 눈의 시야(155)의 중심 부분은 중앙 시야(145)로서 지칭될 수 있다. 시야(155) 내에 있지만 중앙 시야(145) 밖의 구역은 주변 시야로서 지칭될 수 있다. 도 1b에서, 관심 필드(165)는 웨어러블 시스템을 착용하고 있는 사용자에 의해 지각될 수 있는 오브젝트들(예컨대, 오브젝트들(121, 122, 127))의 그룹을 포함할 수 있다.
[0045] 일부 실시예들에서, 오브젝트들(129)은 사용자의 시각적 FOR 밖에 있을 수 있지만, 그럼에도 불구하고 웨어러블 디바이스 상의 센서(예컨대, 카메라)에 의해 (카메라의 위치 및 시야에 의존하여) 잠재적으로 지각될 수 있고, 오브젝트(129)와 연관된 정보는 사용자(210)에 대해 디스플레이되거나 또는 웨어러블 디바이스에 의해 다른 방식으로 사용될 수 있다. 예컨대, 오브젝트들(129)은 사용자의 환경의 벽 뒤에 있을 수 있어서, 오브젝트들(129)은 사용자에 의해 시각적으로 지각 불가능하다 그러나, 웨어러블 디바이스는 오브젝트들(129)과 통신할 수 있는 센서들(이를테면, 라디오 주파수, 블루투스, 무선 또는 다른 타입들의 센서들)을 포함할 수 있다.
웨어러블 시스템의 예들
[0046] VR, AR 및 MR 경험들은 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 갖는 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면마다 상이할 수 있고(예컨대, 장면 또는 오브젝트의 약간 상이한 프리젠테이션들을 제공함) 뷰어의 눈들에 의해 별개로 초점이 맞춰질 수 있어서, 상이한 깊이 평면들 상에 위치되는 장면에 대한 상이한 이미지 특징들에 초점을 맞추도록 요구되는 눈의 원근조절에 기반하여 그리고/또는 상이한 깊이 평면들 상의 상이한 이미지 특징들이 초점에서 벗어나는 것을 관찰하는 것에 기반하여 깊이 큐들을 사용자에게 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 이러한 깊이 큐들(depth cues)은 깊이의 신뢰할 수 있는 지각들을 제공한다.
[0047] 도 2a는 AR/VR/MR 장면을 제공하도록 구성될 수 있는 웨어러블 시스템(200)의 예를 예시한다. 웨어러블 시스템(200)은 (이를테면, 사용자 상호작용을 위해 VR, AR 또는 MR 환경을 단독으로 또는 조합하여 제공할 수 있는) 웨어러블 디바이스의 부분일 수 있다. 웨어러블 시스템(200)은 디스플레이(220), 및 디스플레이(220)의 기능을 지원하기 위한 다양한 머신 및 전자 모듈들 및 시스템들을 포함할 수 있다. 디스플레이(220)는 사용자, 착용자 또는 뷰어(210)에 의해 착용 가능한 프레임(230)에 커플링될 수 있다. 디스플레이(220)는 사용자(210)의 눈들 앞에 포지셔닝될 수 있다. 디스플레이(220)는 AR/VR/MR 콘텐츠를 사용자에게 제공할 수 있다. 디스플레이(220)는 사용자의 머리에 착용되는 HMD(head mounted display)를 포함할 수 있다. 도 2a에서, 스피커(240)는 프레임(230)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공함).
[0048] 도 12 내지 도 26을 참조하여 추가로 설명되는 바와 같이, 웨어러블 시스템(200)은 사용자가 가상 및 물리적 오브젝트들과 상호작용하게 허용하도록 구성될 수 있다. 예로서, 의사는 환자의 의료 기록 또는 생리적 데이터 (예컨대, 심전도)의 가상 표현과 같은 가상 콘텐츠를 의사에게 제공할 수 있는 ARD를 착용하면서, 의사는 환자를 검사하거나 절차 또는 수술을 수행할 수 있다. 가상 콘텐츠는 의사의 환경 내의 물리적 오브젝트들과의 사용자의 상호작용에 기반하여 제공될 수 있다. 예컨대, 의사가 환자에 대한 수술을 수행하는 동안, 웨어러블 시스템은 예컨대, 의사(또는 수술 팀)에 의해 사용되는 수술 기구들의 위치 또는 상황을 추적하기 위해 의사에 의해 사용되는 수술 장비와 관련된 가상 정보를 디스플레이할 수 있다.
[0049] 웨어러블 시스템(200)은 또한 사용자 주위의 환경의 세계를 관찰하는 외향 이미징 시스템(464)(도 4에 도시됨)을 포함할 수 있다. 웨어러블 시스템(200)은 또한 사용자의 눈 움직임들을 추적할 수 있는 내향 이미징 시스템(462)(도 4에 도시됨)을 포함할 수 있다. 내향 이미징 시스템은 어느 한쪽 눈의 움직임들 또는 양쪽 눈의 움직임들을 추적할 수 있다. 내향 이미징 시스템은 프레임(230)에 부착될 수 있고, 프로세싱 모듈(260 및/또는 270)과 전기 통신할 수 있으며, 이 프로세싱 모듈은 예컨대, 사용자(210)의 동공 직경들 및/또는 눈들의 배향들 또는 눈 포즈(pose)를 결정하도록 내향 이미징 시스템에 의해 획득된 이미지 정보를 프로세싱할 수 있다.
[0050] 예로서, 웨어러블 시스템(200)은 외향 이미징 시스템(464) 및/또는 내향 이미징 시스템(462)을 사용하여 사용자의 포즈의 이미지들을 획득할 수 있다. 이미지들은 정지 이미지들, 애니메이션, 비디오의 프레임들 또는 비디오, 이들의 조합 등일 수 있다. 사용자의 포즈는 머리 포즈, 눈 포즈, 손 제스처들, 발 포즈 또는 다른 신체 포즈를 포함할 수 있다. 환자의 방문의 음성 기록들을 활성화하거나 턴 오프시키기 위해 하나 이상의 포즈들이 사용될 수 있다. 예컨대, 의사는 환자의 진단을 구술하기 시작할지 여부를 표시하기 위해 특정 손 제스처를 사용할 수 있다.
[0051] 웨어러블 시스템(200)은 또한 오디오 센서(예컨대, 마이크로폰(232))를 포함할 수 있다. 마이크로폰(232)은 도 2b를 참조하여 추가로 설명되는 바와 같은 환경 센서일 수 있다. 마이크로폰은 프레임(230), 디스플레이(220)(또는 웨어러블 시스템(200)의 다른 컴포넌트들)에 (고정적으로 또는 제거가능하게) 부착되고, 사용자(210)에 제거가능하게 부착되고, 물리적 오브젝트(이를테면, 의료 장비) 또는 다른 사람(이를테면, 예컨대, 사용자의 환자)에 고정적으로 또는 제거 가능하게 부착될 수 있다. 마이크로폰(232)은 웨어러블 시스템(200)의 사용자의 오디오 데이터 또는 (이를테면, 사용자의 환자가 말하고 있을 때) 사용자의 환경 내의 사운드들을 수신하는데 사용될 수 있다. 마이크로폰(232)에 의해 수신된 오디오 데이터는 본원에서 설명된 구술 특징을 활성화 또는 턴 오프시키는데 사용될 수 있다. 예컨대, 웨어러블 시스템(200)은 마이크로폰(232)에 의해 수신된 오디오를 기록하도록 웨어러블 시스템(200)을 트리거할 수 있는 키워드를 검출할 수 있다. 일부 실시예들에서, 하나 이상의 다른 오디오 센서들(도시되지 않음)이 스테레오 사운드 수신을 제공하도록 포지셔닝된다. 스테레오 사운드 수신은 사운드 소스의 위치를 결정하기 위해 사용될 수 있다. 웨어러블 시스템(200)은 오디오 스트림에 대해 음성 또는 스피치 인식을 수행할 수 있다.
[0052] 디스플레이(220)는 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(230)에 고정적으로 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정적으로 부착되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(210)에게 제거 가능하게 부착되는 (예컨대, 백팩-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(260)에 동작가능하게 커플링(250)될 수 있다.
[0053] 로컬 프로세싱 및 데이터 모듈(260)은 하드웨어 프로세서는 물론, 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 스토리지를 보조하기 위해 활용될 수 있다. 데이터는 a) 환경 센서들(예컨대, 프레임(230)에 동작가능하게 커플링되거나 그렇지 않으면 사용자(210)에게 부착될 수 있음), 및/또는 b) 원격 프로세싱 모듈(270) 및/또는 원격 데이터 저장소(280)를 사용하여 취득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(220)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(260)은 통신 링크들(262 및/또는 264)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(270) 및/또는 원격 데이터 저장소(280)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들은 로컬 프로세싱 및 데이터 모듈(260)에 대한 자원들로서 이용가능하다. 게다가, 원격 프로세싱 모듈(280) 및 원격 데이터 저장소(280)는 서로 동작가능하게 커플링될 수 있다.
[0054] 일부 실시예들에서, 원격 프로세싱 모듈(270)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(280)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 디지털 데이터 스토리지 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈(260)에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0055] 원격 데이터 저장소(280)는 다양한 데이터를 저장하도록 구성될 수 있다. 예컨대, 원격 데이터 저장소(280)는 (이를테면, 예컨대, 치료소 또는 수술실의 지도와 같은) 환경의 맵을 저장할 수 있다. 도 9 및 도 12를 참조하여 추가로 설명되는 바와 같이, 맵은 시간 지남에 따라 다수의 웨어러블 시스템들에 의해 수집된 데이터에 기반하여 생성될 수 있다. 환경의 맵은 하나의 웨어러블 시스템으로부터 다른 웨어러블 시스템으로 전달될 수 있다. 예컨대, 수술실의 맵은 수술 시에 외과의사와 간호사들 사이에서 공유될 수 있다. 원격 데이터 저장소(280)는 또한 의료 기록들을 저장할 수 있다. 이러한 의료 기록들은 환자에 대한 검사 또는 수술을 수행하는 특정 HCP에 의해 소유되기 보다는, 환자에 의해 소유될 수 있다. 따라서, 환자는 환자의 의료 기록에 포함된 환자의 민감한 환자 정보에 대한 액세스를 유리하게 제어할 수 있다. 환자가 병원을 방문하는 동안, 환자의 의사는 환자를 검사하면서 웨어러블 디바이스를 착용할 수 있다. 웨어러블 디바이스는 3D 사용자 인터페이스 상에 의료 기록들을 제공할 수 있다. 웨어러블 디바이스는 또한, 환자의 의사가 기존 의료 기록들에 추가하게 허용하도록 구성될 수 있다. 예컨대, 웨어러블 디바이스는, 의사가 환자의 사진을 촬영하거나, 종양 주위에 가상 플래그들을 놓거나, 음성 제어를 사용하여 진단을 입력하는 것 등을 허용할 수 있다. 추가된 정보는 또한 원격 데이터 저장소(280)에 저장될 수 있다. 일부 실시 예들에서, 의료 기록들의 일부 또는 맵은 로컬 프로세싱 및 데이터 모듈(260)에 저장될 수 있다.
예시적인 환경 센서들
[0056] 웨어러블 시스템(200)은 오브젝트들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위의 세계의 다른 양상들을 검출하기 위한 환경 센서들을 포함할 수 있다. 환경 센서들은 이미지 캡처 디바이스들(예컨대, 카메라들, 내향 이미징 시스템, 외향 이미징 시스템 등), 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 컴퍼스들, GPS(global positioning system) 유닛들, 라디오 디바이스들, 자이로스코프들, 고도계들, 기압계들, 화학 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 광 센서들(예컨대, 광 계측기들), 타이밍 디바이스들(예컨대, 시계들 또는 캘린더들), 또는 이들의 임의의 조합 또는 서브조합을 포함할 수 있다. 일부 실시예들에서, 환경 센서들은 또한 다양한 생리적 센서들을 포함할 수 있다. 이들 센서들은 사용자의 생리적 파라미터들, 이를테면, 심박수, 호흡수, 전기 피부 반응, 혈압, 뇌전도(encephalographic) 상태 등을 측정 또는 추정할 수 있다. 환경 센서들은 신호들, 이를테면, 레이저, 가시광, 비가시광 파장들, 또는 사운드(예컨대, 청각적 사운드, 초음파 또는 다른 주파수들)를 수신하도록 구성된 방출 디바이스들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 환경 센서들(예컨대, 카메라들 또는 광 센서들)은 환경의 주변 광(예컨대, 휘도)을 측정하도록(예컨대, 환경의 조명 상태들을 캡처하도록) 구성될 수 있다. 물리적 접촉 센서들, 이를테면, 스트레인 게이지들, 연석 감지기들(curb feelers) 등이 또한 환경 센서들로서 포함될 수 있다.
[0057] 도 2b는 환경 센서들을 포함하는 웨어러블 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다. 일부 실시예들에서, 디스플레이 시스템(202)은 도 2에 예시된 웨어러블 시스템(200)의 부분일 수 있다. 디스플레이 시스템(202)은 일부 구현들에서 혼합 현실 디스플레이 시스템일 수 있다. 시스템(202)은 다양한 환경 센서들, 예컨대, 센서들(24, 28, 30, 32, 및 34)을 포함할 수 있다. 환경 센서는 웨어러블 시스템의 사용자에 관한 데이터를 검출하도록 구성되거나(또는 사용자 센서로서 또한 지칭됨), 사용자의 환경에 관한 데이터를 수집하도록 구성될 수 있다(외부 센서로서 또한 지칭됨). 예컨대, 생리적 센서는 사용자 센서의 실시예일 수 있는 반면에, 기압계는 외부 센서일 수 있다. 일부 상황들에서, 센서는 사용자 센서 및 외부 센서 둘 모두일 수 있다. 예컨대, 외향 이미징 시스템은 사용자의 환경의 이미지뿐만 아니라, 사용자가 반사 표면(이를테면, 예컨대, 미러)의 앞에 있을 때, 사용자의 이미지를 획득할 수 있다. 다른 예로서, 마이크로폰이 사용자로부터 그리고 환경으로부터 사운드를 획득할 수 있기 때문에, 마이크로폰은 사용자 센서 및 외부 센서 둘 모두로서 역할을 할 수 있다. 도 2b에 예시된 예에서, 센서들(24, 28, 30, 및 32)은 사용자 센서들일 수 있는 반면에, 센서(34)는 외부 센서일 수 있다.
[0058] 예시된 바와 같이, 디스플레이 시스템(202)은 다양한 사용자 센서들을 포함할 수 있다. 디스플레이 시스템(202)은 뷰어 이미징 시스템(22)을 포함할 수 있다. 뷰어 이미징 시스템(22)은 도 4에 설명된 내향 이미징 시스템(462) 및/또는 외향 이미징 시스템(464)의 실시예일 수 있다. 뷰어 이미징 시스템(22)은, 사용자(예컨대, 사용자의 눈들(201a, 201b) 및/또는 주변 조직들)로 지향되고 이를 모니터링하도록 구성된 광원들(26)(예컨대, 적외선 광원들)과 페어링된 카메라들(24)(예컨대, 적외선, UV 및/또는 가시광 카메라들)을 포함할 수 있다. 카메라들(24) 및 광원들(26)은 로컬 프로세싱 모듈(260)에 동작가능하게 커플링될 수 있다. 이러한 카메라들(24)은, 본원에서 개시된 다양한 분석들을 수행하기 위해 배향, 형상 및 동공들의 대칭성(동공 사이즈들을 포함함) 또는 개개의 눈들의 홍채들, 및/또는 눈을 둘러싸는 조직들, 이를테면, 눈꺼풀들 또는 눈썹들 중 하나 이상을 모니터링하도록 구성될 수 있다. 일부 실시예들에서, 눈의 홍채 및/또는 망막의 이미징은 사용자의 보안 식별을 위해 사용될 수 있다. 도 2b를 계속 참조하면, 카메라들(24)은, 망막 특징들, 이를테면, 안저(fundus)의 중심와 또는 특징들의 위치에 기반하여, 이를테면, 진단 목적들로 그리고/또는 배향 추적을 위해 개개의 눈들의 망막들을 이미징하도록 추가로 구성될 수 있다. 홍채 또는 망막 이미징 또는 스캐닝은 사용자의 보안 식별을 위해, 예컨대, 사용자 데이터와 특정 사용자를 정확하게 연관시키기 위해 그리고/또는 개인 정보를 적합한 사용자에게 제공하기 위해 수행될 수 있다. 일부 실시예들에서, 카메라들(24)에 부가하여 또는 그에 대한 대안으로서, 하나 이상의 카메라들(28)은 사용자의 상황의 다양한 다른 양상들을 검출 및/또는 모니터링하도록 구성될 수 있다. 예컨대, 하나 이상의 카메라들(28)은 내향일 수 있고, 사용자의 눈들 이외의 특징들, 예컨대, 하나 이상의 얼굴 특징들(예컨대, 얼굴 표정, 의식적 움직임, 무의식적 틱들)의 형상, 포지션, 움직임, 컬러 및/또는 다른 특성들을 모니터링하도록 구성될 수 있다. 다른 예에서, 하나 이상의 카메라들(28)은 하향 또는 외향일 수 있고, 사용자, 사용자의 FOV 내의 다른 사람, FOV 내의 오브젝트들 등의 팔들, 손들, 다리들, 발들 및/또는 몸통의 포지션, 움직임 및/또는 다른 특징들 또는 특성들을 모니터링하도록 구성될 수 있다. 카메라들(28)은 환경을 이미징하기 위해 사용될 수 있고, 이러한 이미지들은, 웨어러블 디바이스가 사용자에게 제공되는 시각 또는 청각적 콘텐츠를 제공(또는 무음으로)할 수 있도록, 트리거링 이벤트가 발생하는지 여부를 결정하기 위해 웨어러블 디바이스에 의해 분석될 수 있다.
[0059] 일부 실시예들에서, 본원에서 개시된 바와 같이, 디스플레이 시스템(202)은, 이미지를 형성하기 위해 파이버 스캐너(예컨대, 도 4의 이미지 주입 디바이스들(420, 422, 424, 426, 428))를 통해 사용자의 망막에 걸쳐 광빔들을 가변적으로 투사하는 공간 광 변조기를 포함할 수 있다. 일부 실시예들에서, 파이버 스캐너는, 예컨대, 사용자의 눈들을 추적 또는 이미징하기 위해 카메라들(24 또는 28)과 연동하여 또는 대신에 사용될 수 있다. 예컨대, 광을 출력하도록 구성된 스캐닝 파이버의 대안으로서 또는 그것에 부가하여, 건강 시스템은 사용자의 눈들로부터 반사된 광을 수신하고, 그 반사된 광과 연관된 데이터를 수집하기 위한 별개의 광-수신 디바이스를 가질 수 있다.
[0060] 도 2b를 계속 참조하면, 카메라들(24, 28) 및 광원들(26)은, 도파관 스택들(205, 206)을 또한 홀딩할 수 있는 프레임(230)(도 2a에 도시됨)에 장착될 수 있다. 일부 실시예들에서, 디스플레이 시스템(202)의 센서들 및/또는 다른 전자 디바이스들(예컨대, 카메라들(24, 28) 및 광원들(26))은 통신 링크들(262, 264)을 통해 로컬 프로세싱 및 데이터 모듈(260)과 통신하도록 구성될 수 있다.
[0061] 일부 실시예들에서, 사용자에 관한 데이터를 제공하는 것 외에도, 카메라들(24 및 28) 중 하나 또는 둘 모두는 사용자 입력을 제공하기 위해 눈들을 추적하는데 활용될 수 있다. 예컨대, 뷰어 이미징 시스템(22)은, 이를테면, 본원에서 개시된 다양한 테스트들 및 분석들에서 사용자 응답들을 제공하기 위해, 가상 메뉴 상에서 아이템들을 선택하고, 그리고/또는 다른 입력을 디스플레이 시스템(202)에 제공하기 위해 활용될 수 있다.
[0062] 일부 실시예들에서, 디스플레이 시스템(202)은 모션 센서들(32), 이를테면, 하나 이상의 가속도계들, 자이로들, 제스처 센서들, 걸음걸이 센서들, 밸런스 센서들 및/또는 IMU 센서들을 포함할 수 있다. 센서들(30)은, 검출된 사운드의 세기 및 타입, 다수의 신호들의 존재 및/또는 신호 위치를 포함하여, 사운드들 및 이러한 사운드의 다양한 특성들을 검출하도록 구성된 하나 이상의 내향(사용자 지향) 마이크로폰들을 포함할 수 있다.
[0063] 센서들(30)은 프레임(230)에 연결된 것으로 개략적으로 예시된다. 이러한 연결이 프레임(230)에 대한 물리적 부착 형태를 취할 수 있고, 사용자의 귀들에 걸쳐 연장되는 프레임(230)의 템플들의 단부들을 포함하여, 프레임(230) 상의 어디든지 있을 수 있다는 것이 인지될 것이다. 예컨대, 센서들(30)은 프레임(230)의 템플들의 단부들에, 프레임(230)과 사용자 간의 접촉점에 장착될 수 있다. 일부 다른 실시예들에서, 센서들(30)은 사용자(210)에 접촉하는 프레임(230)(도 2a에 도시됨)으로부터 멀어져 연장될 수 있다. 또 다른 실시예들에서, 센서들(30)은 프레임(230)에 물리적으로 부착되지 않을 수 있고; 오히려, 센서들(30)은 프레임(230)으로부터 이격될 수 있다.
[0064] 일부 실시예들에서, 디스플레이 시스템(202)은 오브젝트들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위의 세계의 다른 양상들을 검출하도록 구성된 하나 이상의 환경 센서들(34)을 더 포함할 수 있다. 예컨대, 환경 센서들(34)은 하나 이상의 카메라들, 고도계들, 기압계들, 화학 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 광 센서들(예컨대, 광 계측기들), 타이밍 디바이스들(예컨대, 시계들 또는 캘린더들), 또는 이들의 임의의 조합 또는 서브조합을 포함할 수 있다. 일부 실시예들에서, 다수의(예컨대, 2개의) 마이크로폰들은 사운드 소스 위치 결정들을 가능하게 하도록 이격될 수 있다. 환경 감지 카메라들을 포함하는 다양한 실시예들에서, 카메라들은, 사용자의 보통의 시야 중 적어도 일부와 유사한 이미지들을 캡처하기 위해, 예컨대, 외향하게 위치될 수 있다. 환경 센서들은 신호들, 이를테면, 레이저, 가시광, 비가시광 파장들, 사운드(예컨대, 청각적 사운드, 초음파 또는 다른 주파수들)를 수신하도록 구성된 방출 디바이스들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 환경 센서들(예컨대, 카메라들 또는 광 센서들)은 환경의 주변 광(예컨대, 휘도)을 측정하도록(예컨대, 환경의 조명 상태들을 캡처하도록) 구성될 수 있다. 물리적 접촉 센서들, 이를테면, 스트레인 게이지들, 연석 감지기들(curb feelers) 등이 또한 환경 센서들로서 포함될 수 있다.
[0065] 일부 실시예들에서, 디스플레이 시스템(202)은 GPS 위치 데이터, 날씨 데이터, 날짜 및 시간과 같은 다른 환경 입력들, 또는 인터넷, 위성 통신, 또는 다른 적절한 유선 또는 무선 데이터 통신 방법으로부터 수신될 수 있는 다른 이용가능한 환경 데이터를 수신하도록 추가로 구성될 수 있다. 프로세싱 모듈(260)은 사용자의 위치를 특징으로 하는 추가적인 정보, 이를테면, 화분 계측(pollen count), 인구 통계(demographics), 공기 오염, 환경 독소들, 스마트 서모스탯들로부터의 정보, 라이프스타일 통계들, 또는 다른 사용자들, 빌딩들 또는 건강관리 제공자에 대한 근접도에 액세스하도록 구성될 수 있다. 일부 실시예들에서, 위치를 특징으로 하는 정보는 클라우드-기반 또는 다른 원격 데이터베이스들을 사용하여 액세스될 수 있다. 프로세싱 모듈(70)은 이러한 데이터를 획득하고 그리고/또는 환경 센서들 중 어느 하나 또는 이들의 조합들로부터의 데이터를 추가로 분석하도록 구성될 수 있다.
[0066] 디스플레이 시스템(202)은 연장된 시간 기간 동안 위에서 설명된 입력들 및/또는 센서들 중 임의의 것을 통해 획득된 데이터를 수집 및 저장하도록 구성될 수 있다. 디바이스에서 수신된 데이터는 로컬 프로세싱 모듈(260)에서 그리고/또는 원격으로(예컨대, 도 2a에 도시된 바와 같이, 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(280)에서) 프로세싱 및/또는 저장될 수 있다. 일부 실시예들에서, 추가적인 데이터, 이를테면, 날짜 및 시간, GPS 위치, 또는 다른 글로벌 데이터는 로컬 프로세싱 모듈(260)에서 직접적으로 수신될 수 있다. 시스템에 의해 사용자에게 전달되는 콘텐츠, 이를테면, 이미지들, 다른 시각 콘텐츠, 또는 청각적 콘텐츠에 관한 데이터는 물론 로컬 프로세싱 모듈(260)에서 수신될 수 있다.
깊이 평면들을 갖는 3D 디스플레이의 예들
[0067] 인간 시각 시스템은 복잡하고, 깊이의 현실적 지각을 제공하는 것은 난제시된다. 이론에 의해 제한되지 않고서, 오브젝트의 뷰어들이 이접운동과 원근조절의 조합으로 인해 오브젝트를 3-차원인 것으로 지각할 수 있다고 여겨진다. 서로에 대해 2개의 눈들의 이접운동 움직임들(즉, 오브젝트를 응시하기 위해 눈들의 시선들을 수렴시키기 위해 서로를 향한 또는 서로부터 떨어진 동공들의 롤링 움직임들)은 눈들의 렌즈들의 초점 맞춤(또는 "원근조절")과 근접하게 연관된다. 정상 상태들 하에서, 하나의 오브젝트로부터 상이한 거리에서의 다른 오브젝트로 초점을 변경하기 위해, 눈들의 렌즈들의 초점을 변경하거나, 눈들을 원근조절하는 것은, "원근조절-이접운동 반사작용"으로 알려진 관계 하에서, 동일한 거리에 대한 이접운동에서 매칭 변화를 자동으로 유발할 것이다. 마찬가지로, 이접운동의 변화는, 정상 상태들 하에서, 원근조절의 매칭 변화를 트리거링할 것이다. 원근조절과 이접운동 간의 더 나은 매치를 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0068] 도 3은 다수의 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(302 및 304)로부터 다양한 거리들에 있는 오브젝트들은, 이들 오브젝트들이 초점을 맞추도록 눈들(302 및 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 오브젝트들에 초점을 맞추게 하는 특정 원근조절된 상태들을 취한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(306) 중 특정한 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 오브젝트들 또는 오브젝트들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 초점을 맞추게 된다. 일부 실시예들에서, 3-차원 이미저리는 눈들(302 및 304) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302 및 304)의 시야들은 예컨대, z-축을 따른 거리가 증가함에 따라 겹칠 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평탄한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 특징들은 특정 원근조절된 상태에서 눈과 초점을 맞춘다는 것이 인지될 것이다. 이론에 의해 제한됨이 없이, 인간 눈이 전형적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 수 있는 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다.
도파관 스택 어셈블리
[0069] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 웨어러블 시스템(400)은 복수의 도파관들(432b, 434b, 436b, 438b, 4400b)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(480)를 포함한다. 일부 실시예들에서, 웨어러블 시스템(400)은 도 2a의 웨어러블 시스템(200)에 대응할 수 있고, 도 4는 그 웨어러블 시스템(200)의 일부 부분들을 더 상세히 개략적으로 도시한다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(480)는 도 2a의 디스플레이(220)에 통합될 수 있다.
[0070] 도 4를 계속 참조하면, 도파관 어셈블리(480)는 또한 도파관들 사이에 복수의 특징들(458, 456, 454, 452)을 포함할 수 있다. 일부 실시예들에서, 특징들(458, 456, 454, 452)은 렌즈들일 수 있다. 다른 실시예들에서, 특징들(458, 456, 454, 452)은 렌즈들이 아닐 수 있다. 오히려, 이들은 단순히 스페이서들(예컨대, 공기 갭들을 형성하기 위한 클래딩 층들 또는 구조들)일 수 있다.
[0071] 도파관들(432b, 434b, 436b, 438b, 440b) 및/또는 복수의 렌즈들(458, 456, 454, 452)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 이미지 정보를 도파관들(440b, 438b, 436b, 434b, 432b)에 주입하기 위하여 활용될 수 있고, 이 도파관들 각각은 눈(410)을 향하여 출력하도록, 각각의 개개의 도파관을 가로질러 인입 광을 분배하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 출력 표면을 나가고 도파관들(440b, 438b, 436b, 434b, 432b)의 대응하는 입력 에지에 주입된다. 일부 실시예들에서, 단일 광빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(410) 쪽으로 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다.
[0072] 일부 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 각각, 대응하는 도파관(440b, 438b, 436b, 434b, 432b)으로의 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 예컨대, 이미지 정보를 하나 이상의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(420, 422, 424, 426, 428) 각각에 파이핑할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다.
[0073] 제어기(460)는 스택된 도파관 어셈블리(480) 및 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 동작을 제어한다. 제어기(460)는 도파관들(440b, 438b, 436b, 434b, 432b)에 대한 이미지 정보의 타이밍 및 프로비전(provision)을 조절하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독가능한 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(460)는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산형 시스템일 수 있다. 제어기(460)는 일부 실시예들에서, 프로세싱 모듈들(260 및/또는 270)(도 2a에 예시됨)의 부분일 수 있다.
[0074] 도파관들(440b, 438b, 436b, 434b, 432b)은 TIR(total internal reflection)에 의해 각각의 개개의 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(440b, 438b, 436b, 434b, 432b)은 각각 평면형이거나 다른 형상(예컨대, 곡선)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 이미지 정보를 눈(410)에 출력하기 위해 각각의 개개의 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관으로부터 광을 추출하도록 구성된 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한 지칭될 수 있고, 광 추출 광학 엘리먼트들은 또한 아웃커플링 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광빔은, 도파관 내에서 전파되는 광이 광 재지향 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 예컨대, 반사성 및/또는 회절 광학 특징들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(440b, 438b, 436b, 434b, 432b)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 최상부 및/또는 최하부 주 표면들에 배치될 수 있고 그리고/또는 도파관들(440b, 438b, 436b, 434b, 432b)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 도파관들(440b, 438b, 436b, 434b, 432b)을 형성하기 위해 투명 기판에 부착된 재료 계층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 재료의 모놀리식 피스(piece)일 수 있고 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0075] 도 4를 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(440b, 438b, 436b, 434b, 432b)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(432b)은, 그러한 도파관(432b)에 주입된 시준된 광을 눈(410)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 다음 위의 도파관(434b)은 시준된 광이 눈(410)에 도달할 수 있기 전에 제1 렌즈(452)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 보내도록 구성될 수 있다. 제1 렌즈(452)는 약간의 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌가 상기 다음 위의 도파관(434b)에서 나오는 광을 광학 무한대로부터 눈(410)을 향해 안쪽으로 더 가까운 제1 초점 평면에서 나오는 것으로 해석한다. 유사하게, 세번째 위의 도파관(436b)은 그 출력 광을, 눈(410)에 도달하기 전에 제1 렌즈(452) 및 제2 렌즈(454) 둘 모두를 통과시킨다. 제1 및 제2 렌즈들(452 및 454)의 조합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(436b)에서 나오는 광을, 상기 다음 위의 도파관(434b)으로부터의 광보다는 광학 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면에서 나오는 것으로 해석한다.
[0076] 다른 도파관 층들(예컨대, 도파관들(438b, 440b)) 및 렌즈들(예컨대, 렌즈들(456, 458))은 유사하게 구성되는데, 스택에서 가장 높은 도파관(440b)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 총체적인 초점 전력에 대해 자신과 눈 간의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(480)의 다른 측 상에서 세계(470)에서 나오는 광을 보거나/해석할 때 렌즈들(458, 456, 454, 452)의 스택을 보상하기 위하여, 보상 렌즈 계층(430)은 아래의 렌즈 스택(458, 456, 454, 452)의 총체적인 전력을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 광 추출 광학 엘리먼트들 및 렌즈들의 초점을 맞추는 양상들 둘 모두는 정적(예컨대, 동적이 아니거나 전자-활성이 아님)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 특징들을 사용하여 동적일 수 있다.
[0077] 도 4를 계속 참조하면, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 자신의 개개의 도파관들로부터 광을 재지향시키는 것은 물론, 도파관과 연관된 특정 깊이 평면에 대해 적합한 발산량 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과적으로, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 광 추출 광학 엘리먼트들을 가질 수 있고, 이러한 광 추출 광학 엘리먼트들은 연관된 깊이 평면에 따라 상이한 발산량으로 광을 출력한다. 일부 실시예들에서, 본원에 논의된 바와 같이, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 특정한 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 특징들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 볼륨 홀로그램들, 표면 홀로그램들, 또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면, 회절 격자들은 2015년 6월 25일에 공개된 미국 특허 공보 제2015/0178939호에 설명되며, 이는 그 전체가 본원에 인용에 의해 포함된다.
[0078] 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 회절 패턴을 형성하는 회절 특징들 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)이다. 바람직하게는, DOE는 비교적 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차의 경우 눈(410)을 향하여 편향되지만, 나머지는 내부 전반사를 통하여 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 출사 빔들로 분할되고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(304)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0079] 일부 실시예들에서, 하나 이상의 DOE들은, 그것들이 활성적으로 회절시키는 "온" 상태들과 그것들이 상당히 회절시키지 않는 "오프" 상태들 사이에서 스위칭 가능할 수 있다. 예컨대, 스위칭 가능 DOE는, 마이크로액적들이 호스트 매질에서 회절 패턴을 포함하는 중합체 분산형 액정 계층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 인덱스에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활성적으로 회절시킴).
[0080] 일부 실시예들에서, 피사계 심도 및/또는 깊이 평면들의 수 및 분배는 뷰어의 눈들의 동공 사이즈들 및/또는 배향들에 기반하여 동적으로 변동될 수 있다. 피사계 심도는 뷰어의 동공 사이즈와 반대로 변할 수 있다. 결과적으로, 뷰어의 눈들의 동공들의 사이즈들이 감소함에 따라, 피사계 심도가 증가하여서, 인식가능하지 않은 하나의 평면의 위치가 눈의 초점의 깊이를 넘어서기 때문에 그 평면이 인식가능하게 되고 동공 사이즈의 감소를 통해 보다 초점이 맞게 나타나고 피사계 심도의 증가와 상응할 수 있다. 마찬가지로, 뷰어에게 상이한 이미지들을 제공하기 위해 사용되는 이격된 깊이 평면들의 수는 감소된 동공 사이즈에 따라 감소될 수 있다. 예컨대, 뷰어는 하나의 깊이 평면으로부터 벗어나게 그리고 다른 깊이 평면으로 눈의 원근조절을 조정하지 않고서는, 하나의 동공 사이즈에서 제1 깊이 평면 및 제2 깊이 평면 둘 모두의 세부사항들을 명확하게 지각할 수 없을 수 있다. 그러나, 이러한 2개의 깊이 평면들은 원근조절을 변하지 않고도 다른 동공 사이즈에서 사용자에게 동시에 충분히 초점을 맞출 수 있다.
[0081] 일부 실시예들에서, 디스플레이 시스템은 동공 사이즈 및/또는 배향의 결정들에 또는 특정 동공 사이즈들 및/또는 배향들을 나타내는 전기 신호들의 수신에 기반하여 이미지 정보를 수신하는 도파관들의 수를 변하게 할 수 있다. 예컨대, 만약 사용자의 눈들이 2개의 도파관들과 연관된 2개의 깊이 평면들을 구별할 수 없다면, 제어기(460)는 이들 도파관들 중 하나에 이미지 정보를 제공하는 것을 중단하도록 구성되거나 프로그래밍될 수 있다. 유리하게는, 이는 시스템 상의 프로세싱 부담을 감소시킬 수 있고, 그리하여 시스템의 응답성을 증가시킨다. 도파관에 대한 DOE들이 온 및 오프 상태들 사이에서 스위칭 가능한 실시예들에서, 도파관이 이미지 정보를 수신할 때 DOE들은 오프 상태로 스위칭될 수 있다.
[0082] 일부 실시예들에서, 출사 빔이 뷰어의 눈의 직경 미만인 직경을 갖는 조건을 충족시키는 것이 바람직할 수 있다. 그러나 이 조건을 충족시키는 것은 뷰어의 동공들의 사이즈의 변동성을 고려하면 난제시될 수 있다. 일부 실시예들에서, 이 조건은 뷰어의 동공의 사이즈의 결정에 대한 응답으로 출사 빔의 사이즈를 변하게 함으로써 넓은 범위의 동공 사이즈들에 걸쳐 충족된다. 예컨대, 동공 사이즈가 감소함에 따라, 출사 빔의 사이즈가 또한 감소할 수 있다. 일부 실시예들에서, 출사 빔 사이즈는 가변 어퍼처를 사용하여 변동될 수 있다.
[0083] 웨어러블 시스템(400)은 세계(470)의 일부를 이미징하는 외향 이미징 시스템(464)(예컨대, 디지털 카메라)을 포함할 수 있다. 이러한 세계(470)의 일부는 FOV(field of view)로서 지칭될 수 있고, 이미징 시스템(464)은 때로는 FOV 카메라로서 지칭된다. 뷰어에 의한 이미징 또는 보기를 위해 이용가능한 전체 구역은 FOR(field of regard)로서 지칭될 수 있다. FOR은 웨어러블 시스템(400)을 둘러싸는 4π 스테라디안(steradian)들의 입체각을 포함할 수 있다. 웨어러블 시스템(400)의 일부 구현들에서, FOR은 디스플레이 시스템(400)의 사용자 주위의 실질적으로 모든 입체각을 포함할 수 있는데, 왜냐하면 사용자가 자신들의 머리 및 눈들을 움직여 사용자 주변에(사용자 앞에, 뒤에, 위에, 아래 또는 옆에) 객체들을 볼 수 있기 때문이다. 외향 이미징 시스템(464)으로부터 획득된 이미지들은 사용자에 의해 행해진 제스처들(예컨대, 손 또는 손가락 제스처들)을 추적하고, 사용자 앞의 세계(470)의 오브젝트들을 검출하는 등을 행하기 위해 사용될 수 있다.
[0084] 웨어러블 시스템(400)은 또한 눈 움직임들 및 얼굴 움직임들과 같은 사용자의 움직임들을 관찰하는 내향 이미징 시스템(466)(예컨대, 디지털 카메라)을 포함할 수 있다. 내향 이미징 시스템(466)은 눈(304)의 동공의 사이즈 및/또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는데 사용될 수 있다. 내향 이미징 시스템(466)은, 사용자의 생체인식 식별(biometric identification)(예컨대, 홍채 인식 또는 망막 스캐닝 등)을 위한 이미지들 또는 사용자가 바라보는 방향(예컨대, 눈 포즈)을 결정하는데 사용하기 위한 이미지들을 획득하기 위해 사용될 수 있다. 일부 실시예들에서, 독립적으로, 각각의 눈의 동공 사이즈 및/또는 눈 포즈를 별개로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지도록 허용하기 위해, 각각의 눈마다 적어도 하나의 카메라가 활용될 수 있다. 일부 다른 실시예들에서, (예컨대, 한 쌍의 눈들마다 단지 단일 카메라만을 사용하여) 단지 한쪽 눈(410)의 동공 직경 및/또는 배향이 결정되고 사용자의 양 눈들에 대해 유사한 것으로 가정된다. 내향 이미징 시스템(466)에 의해 획득진 이미지들은 사용자의 눈 포즈 및/또는 분위기(mood)를 결정하도록 분석될 수 있으며, 이는 어떤 청각적 또는 시각적 콘텐츠가 사용자에게 제공되어야 하는지를 판단하기 위해 웨어러블 시스템(400)에 의해 사용될 수 있다. 웨어러블 시스템(400)은 또한 IMU들, 가속도계들, 자이로스코프들 등과 같은 센서들을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 결정할 수 있다.
[0085] 웨어러블 시스템(400)은, 사용자가 웨어러블 시스템(400)과 상호작용하도록 제어기(460)에 커맨드들을 입력할 수 있게 하는 사용자 입력 디바이스(466)를 포함할 수 있다. 예컨대, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 방향 패드(D-패드), 완드(wand), 햅틱 디바이스, 토템(예컨대, 가상 사용자 입력 디바이스로서 기능함) 등을 포함할 수 있다. 일부 경우들에서, 사용자는 손가락(예컨대, 엄지 손가락)을 사용하여, 웨어러블 시스템(400)에 입력을 제공하도록(예컨대, 웨어러블 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하도록) 터치-감지 입력 디바이스를 누르거나 스와이프(swipe)할 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)의 사용 동안 사용자의 손에 휴대될 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)과 유선 또는 무선 통신할 수 있다.
[0086] 도 5는 도파관에 의해 출력된 출사 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(480) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(480)는 다수의 도파관들을 포함한다. 광(520)은 도파관(432b)의 입력 에지(432c)에서 도파관(432b)에 주입되고 TIR에 의해 도파관(432b) 내에서 전파된다. 광(520)이 DOE(432a)에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(510)로서 도파관을 나간다. 출사 빔들(510)은 실질적으로 평행한 것으로 예시되지만, 이들 출사 빔들(510)은 또한 도파관(432b)과 연관된 깊이 평면에 의존하여, 일정 각도로 눈(410)으로 전파되도록 재지향될 수 있다(예컨대, 발산 출사 빔들을 형성함). 실질적으로 평행한 출사 빔들은, 눈(410)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 나타나는 이미지들을 형성하도록 광을 아웃커플링하는 광 추출 광학 엘리먼트들을 갖는 도파관을 표시할 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있으며, 이는, 눈(410)이 망막 상에 초점을 맞추게 하기 위해 더 근접한 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(410)에 더 근접한 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0087] 도 6은, 다-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략적 다이어그램이다. 광학 시스템은 도파관 장치, 도파관 장치로 또는 상기 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함할 수 있다. 광학 시스템은 다-초점 볼류메트릭, 이미지 또는 광 필드를 생성하기 위해 사용할 수 있다. 광학 시스템은 하나 이상의 일차 평면형 도파관들(632a)(도 6에서 단지 하나만 도시됨) 및 일차 도파관들(632a) 중 적어도 일부의 일차 도파관들 각각과 연관된 하나 이상의 DOE들(632b)을 포함할 수 있다. 평면형 도파관들(632b)은 도 4를 참조하여 논의된 도파관들(432b, 434b, 436b, 438b, 440b)과 유사할 수 있다. 광학 시스템은 제1 축(도 6의 도면에서 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출사 동공을 확장시키기 위해 분배 도파관 장치를 이용할 수 있다. 분배 도파관 장치는, 예컨대, 분배 평면형 도파관(622b) 및 분배 평면형 도파관(622b)과 연관된 적어도 하나의 DOE(622a)(이중 일점 쇄선으로 예시됨)를 포함할 수 있다. 분배 평면형 도파관(622b)은 그와 상이한 배향을 갖는 일차 평면형 도파관(632b)과 적어도 일부 면들에서 유사하거나 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(622a)는 DOE(632a)와 적어도 일부 면들에서 유사하거나 동일할 수 있다. 예컨대, 분배 평면형 도파관(622b) 및/또는 DOE(622a)는 각각, 일차 평면형 도파관(632b) 및/또는 DOE(632a)와 동일한 재료들로 구성될 수 있다. 도 6에 도시된 광학 디스플레이 시스템(600)의 실시예들은 도 2에 도시된 웨어러블 시스템(200)에 통합될 수 있다.
[0088] 중계된 그리고 출사-동공 확장된 광은 분배 도파관 장치로부터 하나 이상의 일차 평면형 도파관들(632b)에 광학적으로 커플링된다. 주 평면형 도파관(632b)은 바람직하게는, 제1 축에 직교하는 제2 축(예컨대, 도 6의 뷰에서 수평 또는 X-축)을 따라 광을 중계한다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 주 평면형 도파관(632b)은 그 제2 축(예컨대, X-축)을 따라 광의 유효 출사 동공을 확장시킨다. 예컨대, 분배 평면형 도파관(622b)은 수직 또는 Y- 축을 따라 광을 중계 및 확장시킬 수 있으며, 수평 또는 X-축을 따라 광을 중계 및 확장시키는 일차 평면형 도파관(632b)으로 그 광을 전달할 수 있다.
[0089] 광학 시스템은 단일 모드 광섬유(640)의 근단부에 광학적으로 커플링될 수 있는 컬러 광(예컨대, 적색, 녹색 및 청색 레이저 광)의 하나 이상의 소스들(610)을 포함할 수 있다. 광 섬유(640)의 원단부는 압전 재료의 중공 튜브(8)를 통해 스레딩(thread)되거나 수용될 수 있다. 원단부는 고정되지 않은 가요성 캔틸레버(644)로서 튜브(642)로부터 돌출한다. 압전 튜브(642)는 4개의 쿼드런트(quadrant) 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대, 튜브(642)의 밖, 외측 표면 또는 외측 주변부 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한 튜브(642)의 코어, 중심, 내부 주변부 또는 내부 직경에 위치된다.
[0090] 예컨대, 와이어들(660)을 통해 전기적으로 커플링된 구동 전자 장치(650)는 2개의 축들에서 압전 튜브(642)를 독립적으로 구부리기 위해 전극들의 대향하는 쌍들을 구동한다. 광섬유(644)의 돌출 원단 끝 부분은 기계 공진 모드들을 갖는다. 공진 주파수들은 광섬유(644)의 직경, 길이 및 재료 특성들에 의존할 수 있다. 섬유 캔틸레버(644)의 제1 기계 공진 모드 인근에서 압전 튜브(8)를 진동시킴으로써, 섬유 캔틸레버(644)는 진동하게 되고, 큰 편향들을 통해 스윕(sweep)할 수 있다.
[0091] 2개의 축들에서 공진 진동을 자극함으로써, 섬유 캔틸레버(644)의 끝 부분은 영역 충전 2차원(2-D) 스캔으로 2축 방향으로(biaxially) 스캔된다. 섬유 캔틸레버(644)의 스캔과 동기하여 광원(들)(610)의 세기를 변조함으로써, 섬유 캔틸레버(644)로부터 나오는 광은 이미지를 형성한다. 그러한 셋업에 대한 설명들은 미국 특허 공보 제2014/0003762호에서 제공되며, 그 공보는 그 전체가 본원에 인용에 의해 통합된다.
[0092] 광학 커플러 서브시스템의 컴포넌트는 스캐닝 섬유 캔틸레버(644)로부터 나오는 광을 시준한다. 시준된 광은 미러 표면(648)에 의해 적어도 하나의 DOE(diffractive optical element)(622a)를 포함하는 좁은 분배 평면형 도파관(622b)으로 반사된다. 시준된 광은 TIR(total internal reflection)에 의해 분배 평면형 도파관(622b)을 따라(도 6의 도면에 대해) 수직으로 전파되고, 이렇게 하여, DOE(622a)와 반복적으로 교차한다. DOE(622a)는 바람직하게는, 낮은 회절 효율성을 갖는다. 이는, 광의 일부(예컨대, 10%)로 하여금 DOE(622a)와의 각각의 교차점에서 더 큰 일차 평면형 도파관(632b)의 에지를 향해 회절되게 하고, 광의 일부로 하여금 TIR을 통해 분배 평면형 도파관(622b)의 길이 아래에서 그의 오리지널 궤적 상에서 계속되게 한다.
[0093] DOE(622a)와의 각각의 교차점에서, 추가적인 광이 일차 도파관(632b)의 입구를 향해 회절된다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출사 동공은 분배 평면형 도파관(622b)에서 DOE(4)에 의해 수직으로 확장된다. 분배 평면형 도파관(622b) 밖으로 커플링되는 이러한 수직으로 확장된 광은 일차 평면형 도파관(632b)의 에지에 들어간다.
[0094] 일차 도파관(632b)에 들어가는 광은 TIR을 통해 일차 도파관(632b)을 따라(도 6의 뷰에 대해) 수평으로 전파된다. 광이 TIR을 통해 일차 도파관(632b)의 길이의 적어도 일부를 따라 수평으로 전파됨에 따라 광은 다수의 포인트들에서 DOE(632a)와 교차한다. DOE(632a)는 유리하게는, 광의 편향 및 초점 맞추기 둘 모두를 생성하도록, 선형 회절 패턴 및 방사상 대칭 회절 패턴의 합인 위상 프로파일을 갖도록 설계 또는 구성될 수 있다. DOE(632a)는 유리하게는, 낮은 회절 효율성(예컨대, 10%)을 가질 수 있어서, 빔의 광 중 일부만이 DOE(632a)의 각각의 교차에 의해 뷰의 눈을 향해 편향되는 반면, 광의 나머지는 TIR을 통해 일차 도파관(632b)을 통하여 계속 전파된다.
[0095] 전파되는 광과 DOE(632a) 간의 각각의 교차점에서, 광의 일부가 일차 도파관(632b)의 인접한 면을 향해 회절되어, 광이 TIR을 벗어나 일차 도파관(632b)의 면으로부터 나오게 허용한다. 일부 실시예들에서, DOE(632a)의 방사상 대칭 회절 패턴은 추가적으로, 회절된 광에 초점 레벨을 부여하여, 개별 빔의 광 파면을 성형(예컨대, 곡률을 부여함)하는 것 뿐만 아니라, 설계된 초점 레벨과 매칭하는 각도로 빔을 조종한다.
[0096] 그에 따라서, 이들 상이한 경로들은 상이한 각도들의 다수의 DOE들(632a), 초점 레벨들, 및/또는 출사 동공에서 상이한 충전 패턴들을 산출하는 것에 의해 광으로 하여금 일차 평면형 도파관(632b) 밖으로 커플링되게 할 수 있다. 출사 동공에서의 상이한 충전 패턴들은 다수의 깊이 평면들을 갖는 광 필드 디스플레이를 생성하기 위해 유익하게 사용될 수 있다. 도파관 어셈블리 내의 각각의 계층 또는 스택 내의 한 세트의 계층들(예컨대, 3개의 계층들)은 개개의 컬러(예컨대, 적색, 청색, 녹색)를 생성하기 위해 이용될 수 있다. 따라서, 예컨대, 제1 세트의 3개의 인접한 계층들은 제1 초점 깊이로 적색, 청색 및 녹색 광을 각각 생성하기 위해 이용될 수 있다. 제2 세트의 3개의 인접한 계층들은 제2 초점 깊이로 적색, 청색 및 녹색 광을 각각 생성하기 위해 이용될 수 있다. 다수의 세트들은 다양한 초점 깊이들을 갖는 완전한 3D 또는 4D 컬러 이미지 광 필드를 생성하기 위해 이용될 수 있다.
웨어러블 시스템의 다른 컴포넌트들
[0097] 다수의 구현들에서, 웨어러블 시스템은 위에서 설명된 웨어러블 시스템의 컴포넌트들에 부가적으로 또는 이에 대한 대안으로 다른 컴포넌트들을 포함할 수 있다. 웨어러블 시스템은 예컨대, 하나 이상의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스(들) 또는 컴포넌트(들)는 사용자에게 촉감을 제공하도록 동작가능할 수 있다. 예컨대, 햅틱 디바이스(들) 또는 컴포넌트(들)는 가상 콘텐츠(예컨대, 가상 오브젝트들, 가상 도구들, 다른 가상 구조들)를 터치할 때 압력 및/또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 오브젝트가 표현하는 물리적 오브젝트의 느낌을 복제할 수 있거나, 또는 가상 콘텐츠가 표현하는 상상의 오브젝트 또는 캐릭터(예컨대, 용)의 느낌을 복제할 수 있다. 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 착용될 수 있다(예컨대, 사용자 웨어러블 글러브). 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 홀딩될 수 있다.
[0098] 웨어러블 시스템은 예컨대, AR 시스템과의 입력 또는 상호작용을 허용하도록 사용자에 의해 조작가능한 하나 이상의 물리적 오브젝트들을 포함할 수 있다. 이러한 물리적 오브젝트들은 본원에서 토템들로서 지칭될 수 있다. 일부 토템들은 무생물 오브젝트들, 예컨대, 이를테면 금속 또는 플라스틱의 조각, 벽, 테이블의 표면의 형태를 취할 수 있다. 특정 구현들에서, 토템들은 실제로, 어떠한 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치(rocker switch))도 갖지 않을 수 있다. 대신, 토템은 단순히 물리적 표면을 제공할 수 있고, AR 시스템은 토템의 하나 이상의 표면들 상에 있는 것으로 사용자에게 나타나도록 사용자 인터페이스를 렌더링할 수 있다. 예컨대, AR 시스템은 토템의 하나 이상의 표면들에 상주하는 것으로 나타나도록 컴퓨터 키보드 및 트랙패드의 이미지를 렌더링할 수 있다. 예컨대, AR 시스템은 토템으로서 역할을 하는 알루미늄의 얇은 직사각형 플레이트의 표면 상에 나타나도록 가상 컴퓨터 키보드 및 가상 트랙패드를 렌더링할 수 있다. 직사각형 플레이트 그 자체는 어떠한 물리적인 키들 또는 트랙패드 또는 센서들도 갖지 않는다. 그러나, AR 시스템은 가상 키보드 및/또는 가상 트랙패드를 통해 이루어진 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다. 사용자 입력 디바이스(466)(도 4에 도시됨)는, 트랙패드, 터치패드, 트리거, 조이스틱, 트랙볼, 로커 스위치, 마우스, 키보드, 다중-자유도 제어기 또는 다른 물리적 입력 디바이스를 포함할 수 있는 토템의 실시예일 수 있다. 사용자는 웨어러블 시스템 및/또는 다른 사용자들과 상호작용하기 위해 토템을 단독으로 또는 포즈들과 조합하여 사용할 수 있다.
[0099] 본 개시내용의 웨어러블 디바이스들, HMD, ARD 및 디스플레이 시스템들과 함께 사용가능한 햅틱 디바이스들 및 토템들의 예들은 미국 특허 공보 제2015/0016777호에서 설명되며, 그 공보는 그 전체가 본원에 인용에 의해 통합된다.
예시적인 웨어러블 시스템들, 환경들, 및 인터페이스들
[0100] 웨어러블 시스템은 렌더링된 광 필드들에서 높은 심도를 달성하기 위해 다양한 맵핑 관련 기법들을 이용할 수 있다. 가상 세계의 맵핑 시에, 실세계에 관하여 가상 오브젝트들을 정확히 묘사하기 위해 실세계의 모든 피처들 및 포인트들을 아는 것이 유리하다. 이를 위해, 웨어러블 시스템의 사용자들로부터 캡처된 FOV 이미지들은, 실세계의 다양한 포인트들 및 피처들에 관한 정보를 운반하는 새로운 사진들을 포함함으로써 세계 모델에 추가될 수 있다. 예컨대, 웨어러블 시스템은, 한 세트의 맵 포인트들(이를테면, 2D 포인트들 또는 3D 포인트들)을 수집하고 새로운 맵 포인트들을 발견하여 세계 모델의 보다 정확한 버전을 렌더링할 수 있다. 제1 사용자의 세계 모델은 (예컨대, 네트워크, 이를테면 클라우드 네트워크를 통해) 제2 사용자에게 통신될 수 있어서, 제2 사용자는 제1 사용자 주변의 세계를 경험할 수 있다.
[0101] 도 7은 MR 환경(700)의 예의 블록 다이어그램이다. MR 환경(700)은 하나 이상의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(200) 또는 디스플레이 시스템(220)) 또는 고정 룸 시스템들(예컨대, 룸 카메라들 등)로부터 입력들(예컨대, 사용자의 웨어러블 시스템으로부터의 시각 입력(702), 이를테면, 룸 카메라들로부터의 고정 입력(704), 다양한 센서들로부터의 감각 입력(706), 제스처들, 토템들, 눈 추적, 사용자 입력 디바이스(466)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향 이미징 시스템, 외향 이미징 시스템 등)을 사용할 수 있다. 이 정보는 추가로, 이미지들을 제공할 수 있는 룸의 고정 카메라들로부터의 정보 또는 상이한 관점으로부터의 다양한 큐들로 보충될 수 있다. 카메라들(이를테면, 룸 카메라들 또는 외향 이미징 시스템의 카메라들)에 의해 획득된 이미지 데이터는 한 세트의 맵핑 포인트들로 감소될 수 있다.
[0102] 하나 이상의 오브젝트 인식기들(708)은 맵 데이터베이스(710)의 도움으로, 수신된 데이터(예컨대, 포인트들의 모음)를 크롤링(crawl)하고, 포인트들을 인식 및/또는 맵핑하고, 이미지들을 태깅하고, 시맨틱 정보를 오브젝트들에 부착할 수 있다. 맵 데이터베이스(710)는 시간이 지남에 따라 수집된 다양한 포인트들 및 그들의 대응하는 오브젝트들을 포함할 수 있다. 다양한 디바이스들 및 맵 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0103] 맵 데이터베이스의 이러한 정보 및 포인트들의 모음에 기반하여, 오브젝트 인식기들(708a 내지 708n)은 환경 내의 오브젝트들을 인식할 수 있다. 예컨대, 오브젝트 인식기들은 환자, 환자의 신체 부위들(이를테면, 예컨대 수족들, 몸통, 머리, 장기들 등), 의료 장비(이를테면, 예컨대 수술 도구들 또는 의료 디바이스들) 뿐만 아니라 룸 내의 다른 오브젝트들(이를테면, 예컨대 창문들, 벽들 등) 또는 룸 내의 다른 사람들(이를테면, 예컨대 담당 내과의사들, 간호사들 등)을 인식할 수 있다. 하나 이상의 오브젝트 인식기들은 특정 특징들을 갖는 오브젝트에 대해 전문화될 수 있다. 예컨대, 오브젝트 인식기(708a)는 얼굴들을 인식하는 데 사용될 수 있는 반면, 다른 오브젝트 인식기는 외과용 메스들을 인식하기 위해 사용될 수 있다. 일부 실시예들에서, 만약 오브젝트 인식기들(708)이 오브젝트를 식별할 수 없다면, 오브젝트는 알려지지 않은 것으로 마킹될 수 있다.
[0104] 오브젝트 인식들은 다양한 컴퓨터 비전 기법들을 사용하여 수행될 수 있다. 예컨대, 웨어러블 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 오브젝트 인식, 오브젝트 포즈 추정, 학습, 인덱싱, 모션 추정, 또는 이미지 복원 등을 수행하기 위해 (도 4에 도시된) 외향 이미징 시스템(464)에 의해 획득된 이미지들을 분석할 수 있다. 하나 이상의 컴퓨터 비전 알고리즘들이 이러한 임무들을 수행하기 위해 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비-제한적인 예들은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장된 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, 다양한 머신 학습 알고리즘들을 포함한다.
[0105] 오브젝트 인식들은 추가적으로 또는 대안적으로, 다양한 머신 학습 알고리즘들(이를테면, 예컨대, 지원 벡터 머신, k-가장 인근의 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(콘볼루셔널 또는 딥 뉴럴 네트워크들을 포함함) 또는 다른 감독된/비-감독된 모델들 등) 등에 의해 수행될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘은 웨어러블 디바이스에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은, 회귀 알고리즘들(이를테면, 예컨대, 정규 최소 제곱 회귀(Ordinary Least Squares Regression)), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화(Learning Vector Quantization)), 결정 트리 알고리즘들(이를테면, 예컨대, 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이즈), 클러스터링 알고리즘들(이를테면, 예컨대, k-평균 클러스터링), 연관 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 뉴럴 네트워크 알고리즘들(이를테면, 예컨대, 퍼셉트론(Perceptron)), 딥 학습 알고리즘들(이를테면, 예컨대, 딥 볼츠만 머신, 또는 딥 뉴럴 네트워크), 차원 감소 알고리즘(이를테면, 예컨대, 주요한 컴포넌트 분석(Principal Component Analysis)), 앙상블 알고리즘들(이를테면, 예컨대, 스택된 일반화(Stacked Generalization)), 및/또는 다른 머신 학습 알고리즘들을 포함하는 감독된 또는 비-감독된 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 맞춤화될 수 있다. 예컨대, 웨어러블 디바이스는 기본 모델을 생성하거나 저장할 수 있다. 기본 모델은 데이터 타입(예컨대, 텔레프레전스 세션의 특정 사용자), 데이터 세트(예컨대, 텔레프레전스 세션의 사용자의 획득된 한 세트의 추가적인 이미지들), 조건부 상황들, 또는 다른 변동들에 특정적인 추가적인 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 총체적인 데이터의 분석을 위한 모델들을 생성하기 위해 복수의 기법들을 활용하도록 구성될 수 있다. 다른 기법들은 미리 정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0106] 하나 이상의 오브젝트 인식기들(708)은 또한, 이미지들로부터 텍스트를 식별 및 추출하기 위해 다양한 텍스트 인식 알고리즘들을 구현할 수 있다. 일부 예시적인 텍스트 인식 알고리즘들은, OCR(optical character recognition) 알고리즘들, 딥 학습 알고리즘들(이를테면, 딥 뉴럴 네트워크들), 패턴 매칭 알고리즘들, 사전-프로세싱을 위한 알고리즘들 등을 포함한다.
[0107] 웨어러블 시스템은 또한 오브젝트들에 생명을 부여하기 위해 시맨틱 정보를 이용하여, 인식된 오브젝트들을 보충할 수 있다. 예컨대, 만약 오브젝트 인식기가 한 세트의 포인트들을 문이라고 인식하면, 시스템은 일부 시맨틱 정보를 부착할 수 있다(예컨대, 문은 힌지(hinge)를 갖고, 힌지를 중심으로 90도 움직임을 가짐). 만약 오브젝트 인식기가 한 세트의 포인트들을 미러라고 인식하면, 시스템은 미러는 룸 내의 오브젝트들의 이미지들을 반사할 수 있는 반사 표면을 갖는다는 시맨틱 정보를 부착할 수 있다. 다른 예로서, 오브젝트 인식기는, 예컨대 특정 타입의 수술에서 사용되는 의료 기구들의 데이터베이스와 인식된 외과용 메스를 비교함으로써 그 특정 타입의 수술을 수행하기 위한 한 세트의 수술 도구들에 속하는 것으로서 외과용 메스를 인식할 수 있다. 의료 기구 데이터베이스는 외과의사의 웨어러블 디바이스 내의 데이터 저장소(260)에 또는 원격 데이터 저장소(264)에(예컨대, 클라우드, 이를테면 도 12를 참조하여 설명된 데이터 저장부(1238)에) 로컬로 저장될 수 있다.
[0108] 시간이 지남에 따라, 시스템(로컬로 상주할 수 있거나, 또는 무선 네트워크를 통해 액세스가능할 수 있음)이 세계로부터 더 많은 데이터를 누적함에 따라 맵 데이터베이스가 성장한다. 일단 오브젝트들이 인식되면, 정보는 하나 이상의 웨어러블 시스템들에 송신될 수 있다. 예컨대, MR 환경(700)은 캘리포니아에서 일어나는 장면에 관한 정보를 포함할 수 있다. 환경(700)은 뉴욕의 하나 이상의 사용자들에게 송신될 수 있다. FOV 카메라로부터 수신된 데이터 및 다른 입력들에 기반하여, 오브젝트 인식기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 포인트들을 맵핑하고, 오브젝트들을 인식하는 등을 수행할 수 있어서, 장면이 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확히 "전달될" 수 있다. 환경(700)은 또한 로컬화 목적들을 위해 토폴로지컬 맵을 사용할 수 있다. 다른 예로서, MR 환경(700)은, 외과의사가 환자에 대한 수술을 수행하고 있는 수술실일 수 있다. MR 환경(700)은 동일한 수술실 내 또는 수술실 밖의 사람들과 공유될 수 있다. 예컨대, 외과의사는 자신의 ARD의 자신의 FOV의 이미지들을 강의실 내의 의대생들과 공유할 수 있다. 다른 예로서, MR 환경(700)은, 병리 실험실 내의 내과의사들이 환자의 신체에서 외과의사에 의해 발견된 종양 주위에 가상 플래그들을 배치할 수 있도록 병리 실험실과 공유될 수 있다.
[0109] 도 8은 인지된 오브젝트들에 관하여 가상 콘텐츠를 렌더링하는 방법(800)의 예의 프로세스 흐름도이다. 방법(800)은 가상 장면이 MR 시스템(예컨대, 웨어러블 시스템)의 사용자에게 어떻게 표현될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 원격일 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 진행되고 있는 장면을 보기를 원할 수 있거나, 또는 캘리포니아에 거주하는 친구와 함께 산책을 하러 가기를 원할 수 있다.
[0110] 블록(810)에서, 웨어러블 시스템은 사용자 및 다른 사용자들로부터, 사용자의 환경에 관한 입력을 수신할 수 있다. 이는 다양한 입력 디바이스들 및 맵 데이터베이스에 이미 보유된 지식을 통해 달성될 수 있다. 블록(810)에서, 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 시스템에 정보를 운반한다. 블록(820)에서, 시스템은 이러한 정보에 기반하여 희소 포인트들을 결정할 수 있다. 희소 포인트들은 사용자의 주변들의 다양한 오브젝트들의 배향 및 포지션을 디스플레이 및 이해하기 위해 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 신체 포즈 및/또는 손 제스처들)를 결정하는데 사용될 수 있다. 블록(830)에서, 오브젝트 인식기들(708a, 708n)은 이러한 수집된 포인트들을 크롤링하고, 맵 데이터베이스를 사용하여 하나 이상의 오브젝트들을 인식할 수 있다. 그런다음, 블록(840)에서, 이러한 정보는 사용자의 개별 웨어러블 시스템으로 운반될 수 있으며, 그에 따라서, 블록(850)에서, 원하는 가상 장면이 사용자에게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 오브젝트들 및 다른 주변들에 관하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0111] 도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다. 이러한 예에서, 웨어러블 시스템(900)은, (맵 데이터베이스(710)의 일부일 수 있는) 세계에 대한 맵 데이터를 포함할 수 있는 맵(920)을 포함한다. 맵은 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스가능한 네트워킹된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행되고 맵으로부터 데이터를 활용하여, 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서(on the fly) 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, 센서들(이를테면, 일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 디바이스들)로부터의 데이터 및 실제 또는 가상 환경의 오브젝트들에 관련된 표면 정보를 포함할 수 있다.
[0112] 희소 포인트 표현은 동시적인 로컬화 및 맵핑(입력이 이미지들/시각 전용인 구성을 지칭하는 SLAM 또는 V-SLAM) 프로세스의 출력일 수 있다. 시스템은 다양한 컴포넌트들이 세계 어디에 있는지 뿐만 아니라, 세상이 무엇으로 이루어져 있는지를 파악하도록 구성될 수 있다. 포즈는 맵을 파퓰레이팅(populate)하고 맵으로부터의 데이터를 사용하는 것을 포함해서, 다수의 목표들을 달성하는 빌딩 블록일 수 있다.
[0113] 일 실시예에서, 희소 포인트 포지션은 그 자체로 완전히 충분하지 않을 수 있고, 다초점 AR, VR 또는 MR 경험을 생성하기 위해 추가적인 정보가 필요할 수 있다. 일반적으로 깊이 맵 정보를 지칭하는 밀집된 표현들이 이러한 갭을 적어도 부분적으로 충전하기 위해 활용될 수 있다. 그러한 정보는 입체(940)로서 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 여기서 깊이 정보는 기법, 이를테면 삼각측량 또는 비행-시간 감지를 사용하여 결정된다. 이미지 정보 및 활성 패턴들(이를테면, 활성 투사기들을 사용하여 생성된 적외선 패턴들)은 입체 프로세스(940)에 대한 입력으로서 역할을 할 수 있다. 상당한 양의 깊이 맵 정보가 함께 융합될 수 있으며, 그 중 일부는 표면 표현으로 요약될 수 있다. 예컨대, 수학적으로 정의가능한 표면들은 (예컨대, 큰 포인트 클라우드에 비해) 효율적이고, 게임 엔진들 또는 의료 디바이스들(이를테면, 예컨대 의료 이미징 디바이스들)과 같은 다른 프로세싱 디바이스들에 이해가능한 입력들일 수 있다. 따라서, 입체 프로세스(940)의 출력(예컨대, 깊이 맵)은 융합 프로세스(930)에서 조합될 수 있다. 포즈는 또한 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 맵 프로세스(920)를 파퓰레이팅하기 위한 입력이 된다. 서브-표면들이 이를테면, 토폴리지 맵핑에서 서로 연결되어 더 큰 표면들을 형성할 수 있고, 맵은 포인트들 및 표면들의 큰 하이브리드가 된다.
[0114] 혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 9에 묘사된 실시예에서, 의료 디바이스들의 위치 및 타입은, 간호사가 내과의사에게 정확한 의료 디바이스들을 넘겨줬는지 여부를 결정하기 위한 입력들로서 추적 및 사용될 수 있다. 다른 예로서, MR 현실 프로세스(960)는, 의사가 환자에 대해 검사 또는 수술하고 있는 동안 웨어러블 시스템이 환자의 의료 기록(이를테면, 의료 이력, 알레르기들, 치료 권고들, 이미지들(예컨대, X-레이들, ECG들, MRI들 등), (예컨대 의료 검사들 등으로부터의) 오디오 등)을 제시하게 허용할 수 있다. 의료 기록은 로컬로 또는 원격으로 저장되고, 착용자로의 디스플레이를 위해 액세스될 수 있다. 세계 맵은 물리적 및 가상 오브젝트들이 서로에 대해 존재하는 곳에 관한 정보를 포함할 수 있다. 이러한 상대적인 위치 정보는 혼합 현실로의 다른 가치있는 입력일 수 있다. 세계에 대한 포즈가 또한 입력이 되며, 거의 모든 상호작용 시스템에 대해 중요한 역할을 한다.
[0115] 사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(900)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각 입력, 제스처들, 토템들, 오디오 입력, 감각 입력, 머리 또는 눈 포즈 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 플레이하기 위해, 사용자는 자신이 하기를 원하는 것에 관해 웨어러블 시스템(900)에게 명령할 필요가 있을 수 있다. 단지 공간에서 자신을 움직이는 것 외에도, 활용될 수 있는 다양한 형태들의 사용자 제어들이 존재한다. 일 실시예에서, 토템, 사용자 입력 디바이스, 또는 오브젝트, 이를테면, 장난감 총은 사용자에 의해 홀딩되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는, 사용자가 아이템을 홀딩하고 있다는 것을 알고 사용자가 아이템과 어떤 종류의 상호작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 만약 토템 또는 오브젝트가 총이면, 시스템은 위치 및 배향 뿐만 아니라, 센서, 이를테면 IMU가 장착될 수 있는 트리거 또는 다른 감지 버튼 또는 엘리먼트를 사용자가 클릭하고 있는지 여부를 이해하도록 구성될 수 있으며, 이러한 센서는 그러한 활동이, 카메라들 중 임의의 것의 시야 내에 있지 않을 때라도 무슨 일이 일어나고 있는지를 결정하는데 도움을 줄 수 있음).
[0116] 손 제스처 추적 또는 인식은 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(900)은 버튼 누름들에 대해, 왼쪽 또는 오른쪽, 정지, 잡기 및 홀드의 제스처에 대해, 기타 등등에 대해 손 제스처들을 추적 및 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 비-게이밍 환경에서 이메일들 또는 달력을 훑어보거나 또는 다른 사람 또는 플레이어와 "주먹 인사"를 하길 원할 수 있다. 웨어러블 시스템(900)은, 동적일 수 있거나 동적이지 않을 수 있는 최소 크기의 손 제스처를 레버리지(leverage)하도록 구성될 수 있다. 예컨대, 제스처들은 중지를 위한 펼쳐진 손, ok를 위한 엄지 올리기, not ok를 위한 엄지 내리기; 또는 방향성 커맨드들을 위한 오른쪽 또는 왼쪽 또는 위/아래로의 손 뒤집기와 같은 단순한 정적 제스처일 수 있다.
[0117] 눈 추적(예컨대, 특정한 깊이 또는 범위로 렌더링하도록 디스플레이 기술을 제어하기 위해 사용자가 바라보는 곳을 추적함)은 다른 입력이다. 일 실시예에서, 눈들의 이접운동은 삼각측량을 사용하여 결정될 수 있으며, 그런다음, 그 특정 사람을 위해 개발된 이접운동/원근조절 모델을 사용하여, 원근조절이 결정될 수 있다. 머리 추적(예컨대, 사용자가 어떤 가상 또는 물리적 오브젝트를 바라보는 지를 결정하기 위해 사용자의 머리의 방향을 추적함)은 다른 입력일 수 있다.
[0118] 카메라 시스템들과 관련하여, 도 9에 도시된 예시적인 웨어러블 시스템(900)은 3개의 쌍들의 카메라들, 즉 사용자의 얼굴의 측면들에 대해 배열되는 비교적 넓은 FOV 또는 수동 SLAM 쌍의 카메라들, 입체 이미징 프로세스(940)를 다루기 위해 그리고 또한, 사용자의 얼굴의 앞에서 손 제스처들 및 토템/오브젝트 추적(950)을 캡처하기 위해 사용자의 앞에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. 3개의 쌍들의 카메라들의 카메라들은 (도 4에 도시된) 외향 이미징 시스템(464)의 일부일 수 있다. 웨어러블 시스템(900)은 눈 벡터들 및 다른 정보를 삼각측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(도 4에 도시된 내향 이미징 시스템(462)의 일부일 수 있음)을 포함할 수 있다. 웨어러블 시스템(900)은 또한 장면에 텍스처를 주입하기 위해 하나 이상의 텍스처링된 광 투사기들(이를테면, IR(infrared) 투사기들)을 포함할 수 있다.
[0119] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하기 위한 방법(1000)의 예의 프로세스 흐름도이다. 이러한 예에서, 사용자는 토템과 상호작용할 수 있다. 사용자는 다수의 토템들을 가질 수 있다. 예컨대, 사용자는 소셜 미디어 애플리케이션에 대해 하나의 토템, 게임들을 플레이하기 위해 다른 토템 등을 지정하였을 수 있다. 블록(1010)에서, 웨어러블 시스템은 토템의 모션을 검출할 수 있다. 토템의 움직임은 사용자의 FOV 카메라를 통해 인식될 수 있거나, 또는 센서들(예컨대, 햅틱 글러브, 이미지 센서들, 손 추적 디바이스들, 눈-추적 카메라들, 머리 포즈 센서들 등)을 통해 검출될 수 있다.
[0120] 블록(1020)에서, 토템을 통한 검출된 제스처, 눈 포즈, 머리 포즈, 또는 입력에 적어도 부분적으로 기반하여, 웨어러블 시스템은 레퍼런스 프레임에 대하여 토템(또는 사용자의 눈들 또는 머리 또는 제스처들)의 포지션, 배향, 및/또는 움직임을 검출한다. 레퍼런스 프레임은 한 세트의 맵 포인트들일 수 있으며, 그 한 세트의 맵 포인트들에 기반하여, 웨어러블 시스템은 토템(또는 사용자)의 움직임을 액션 또는 커맨드로 변환한다. 블록(1030)에서, 토템과의 사용자의 상호작용이 맵핑된다. 레퍼런스 프레임(1020)에 대한 사용자 상호작용의 맵핑에 기반하여, 블록(1040)에서 시스템은 사용자 입력을 결정한다.
[0121] 예컨대, 사용자는 가상 페이지를 넘기고(turning) 다음 페이지로 이동하거나 또는 하나의 UI(user interface) 디스플레이 스크린으로부터 다른 UI 스크린으로 이동하는 것을 나타내기 위해 토템 또는 물리적 오브젝트를 앞뒤로 이동시킬 수 있다. 다른 예로서, 사용자는 사용자의 FOR에 있는 상이한 실제 또는 가상 오브젝트들을 보기 위해 그들의 머리 또는 눈들을 움직일 수 있다. 만약 특정 실제 또는 가상 오브젝트에서의 사용자의 시선이 임계 시간보다 길면, 실제 또는 가상 오브젝트는 사용자 입력으로서 선택될 수 있다. 일부 구현들에서, 사용자의 눈들의 이접운동이 추적될 수 있으며, 원근조절/이접운동 모델은, 사용자가 초점을 맞추고 있는 깊이 평면에 대한 정보를 제공하는 사용자의 눈들의 원근조절 상태를 결정하기 위해 사용될 수 있다. 일부 구현들에서, 웨어러블 시스템은 어떤 실제 또는 가상 오브젝트들이 사용자의 머리 포즈 또는 눈 포즈의 방향을 따라 존재하는지를 결정하기 위해 광선 캐스팅 기법들을 사용할 수 있다. 다양한 구현들에서, 광선 캐스팅 기법들은, 실질적으로 가로 폭이 거의 없는 얇은 광속 광선들을 캐스팅하는 것 또는 실질적인 가로 폭을 갖는 광선들(예컨대, 원뿔들 또는 절두체들)을 캐스팅하는 것을 포함할 수 있다.
[0122] 사용자 인터페이스는 본원에서 설명된 바와 같이 디스플레이 시스템(이를테면, 도 2a의 디스플레이(220))에 의해 투사될 수 있다. 그것은 또한, 다양한 다른 기법들, 이를테면 하나 이상의 투사기들을 사용하여 디스플레이될 수 있다. 투사기들은 물리적 오브젝트, 이를테면 캔버스 또는 구체 상으로 이미지들을 투사할 수 있다. 사용자 인터페이스와의 상호작용들은 시스템 또는 시스템의 일부 외부의 하나 이상의 카메라들을 사용하여 (이를테면, 예컨대 내향 이미징 시스템(462) 또는 외향 이미징 시스템(464)을 사용하여) 추적될 수 있다.
[0123] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법(1100)의 예의 프로세스 흐름도이다. 방법(1100)은 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다.
[0124] 블록(1110)에서, 웨어러블 시스템은 특정 UI를 식별할 수 있다. UI의 타입은 사용자에 의해 미리 결정될 수 있다. 웨어러블 시스템은, 특정 UI가 사용자 입력(예컨대, 제스처, 시각 데이터, 오디오 데이터, 감각 데이터, 지향 커맨드 등)에 기반하여 파퓰레이팅될 필요가 있다는 것을 식별할 수 있다. 블록(1120)에서, 웨어러블 시스템은 가상 UI에 대한 데이터를 생성할 수 있다. 예컨대, UI의 한계들, 일반적인 구조, 형상 등과 연관된 데이터가 생성될 수 있다. 게다가, 웨어러블 시스템은 사용자의 물리적 위치에 관하여 UI를 디스플레이할 수 있기 위해서 그 사용자의 물리적 위치의 맵 좌표들을 결정할 수 있다. 예컨대, 만약 UI가 신체 중심이라면, 웨어러블 시스템은, 링 UI가 사용자 주위에서 디스플레이될 수 있거나 또는 평면 UI가 벽 상에 또는 사용자의 앞에 디스플레이될 수 있도록, 사용자의 물리적 자세, 머리 포즈, 또는 눈 포즈의 좌표들을 결정할 수 있다. 만약 UI가 손 중심이라면, 사용자의 손들의 맵 좌표들이 결정될 수 있다. 이들 맵 포인트들은 FOV 카메라들을 통해 수신된 데이터, 감각 입력, 또는 임의의 다른 타입의 수집된 데이터를 통해 도출될 수 있다.
[0125] 블록(1130)에서, 웨어러블 시스템은 클라우드로부터 디스플레이로 데이터를 전송할 수 있거나 또는 데이터가 로컬 데이터베이스로부터 디스플레이 컴포넌트들로 전송될 수 있다. 블록(1140)에서, UI는 전송된 데이터에 기반하여 사용자에게 디스플레이된다. 예컨대, 광 필드 디스플레이는 가상 UI를 사용자의 눈들 중 하나 또는 둘 다로 투사할 수 있다. 일단 가상 UI가 생성되면, 블록(1150)에서 웨어러블 시스템은 단순히 가상 UI 상에 더 많은 가상 콘텐츠를 생성하기 위해 사용자로부터의 커맨드를 기다릴 수 있다. 예컨대, UI는 사용자의 신체 주위의 신체 중심 링일 수 있다. 그런다음, 웨어러블 시스템은 커맨드(제스처, 머리 또는 눈 움직임, 사용자 입력 디바이스로부터의 입력 등)를 기다릴 수 있으며, 만약 그것이 인지되면(블록(1160)), 커맨드와 연관된 가상 콘텐츠가 사용자에게 디스플레이될 수 있다(블록(1170)).
[0126] AR 시스템들, UI, 및 UX(user experience)들의 추가적인 예들은 미국 특허 공보 제2015/0016777호에 설명되며, 그 공개공보는 그 전체가 본원에서 인용에 의해 통합된다.
머리-장착 디바이스의 예시적인 의료 애플리케이션들
[0127] 본원에서 설명된 웨어러블 디바이스는 다양한 의료 애플리케이션들을 수행하도록 구성될 수 있다. 도 2a를 참조하여 설명된 바와 같이, 웨어러블 디바이스는 AR/MR/VR 콘텐츠를 HMD의 착용자에게 제공하도록 구성되는 HMD를 포함할 수 있다. 웨어러블 디바이스는 그 웨어러블 디바이스의 사용자에 기반하여 맞춤화됨 의료-관련된 애플리케이션을 제공할 수 있다. 예컨대, 웨어러블 디바이스의 사용자는 환자일 수 있고, 웨어러블 디바이스는 환자 또는 인가된 HCP들에 의해 사용될 의료 기록 관리 시스템을 제공할 수 있다.
[0128] 도 12는 다수의 웨어러블 디바이스들 및 의료 기록 관리 시스템들이 의료 기록 관리를 제공하기 위해 건강관리 환경에서 서로 상호작용할 수 있는 예시적인 컴퓨팅 환경을 예시한다. 웨어러블 시스템은 데이터 보안 관리 시스템(1212) 및 기록 업데이트 시스템(1214)(도 12에 도시됨)을 포함하는 의료 기록 관리 시스템을 포함할 수 있다. 도 12, 14a, 및 14b를 참조하여 추가로 설명된 바와 같이, 의료 기록 관리 시스템은 사용자(예컨대, 인가된 HCP)가 그의 의료 기록들을 관리하게 허용할 수 있는데, 이를테면 예컨대 그의 의료 기록들을 추가/편집하고, 그의 의료 이력 및 그의 가족의 의료 이력을 입력하고, 그의 의료 기록들과 연관된 액세스 특권들(허가들로도 지칭됨)을 세팅하는 것 등을 허용할 수 있다. 일부 실시예들에서, 의료 기록들은 가상 의료 기록들로도 지칭될 수 있다.
[0129] 의료 기록 관리 시스템은 또한 환자가 그의 의료 기록들을 보게 허용할 수 있다. 일부 실시예들에서, 의료 기록 관리 시스템은 환자가 그의 의료 기록들의 일부 부분들을 관리하게 허용할 수 있는데, 이를테면 예컨대 그의 의료 이력 및 그의 가족 의료 이력을 추가/편집하고, 그의 의료 기록들과 연관된 액세스 특권들을 세팅하는 것 등을 허용할 수 있다. 의료 기록 관리 시스템은 또한, 의료 기록들의 무결성 및 정확도를 보존하기 위해서, 환자가 그의 의료 기록들의 일부 부분들을 관리하는 것, 이를테면 예컨대 의사들의 메모들, 의사들의 진단들, 테스트 결과들 등을 추가/편집하는 것을 막을 수 있다. 그에 따라서, 일부 실시예들에서, 시스템은 상이한 액세스 특권들을 의료 기록의 상이한 부분들에 연관시킨다. 예컨대, 액세스 특권들은 의료 기록의 일부 부분들에 대한 판독-전용 액세스 및 다른 부분들에 대한 편집 액세스를 포함할 수 있다. 상이한 사용자들은 의료 기록의 동일한 부분에 대한 상이한 액세스 특권들을 가질 수 있다. 예컨대, 위에서 설명된 바와 같이, 환자는 그의 의료 또는 가족 이력에 대해서는 편집 특권들을 갖지만 진단, 테스트 결과들 등에 대해서는 판독-전용 특권들을 가질 수 있는데 반해, HCP는 환자의 가족 이력에 대해서는 판독-전용 특권들을 갖지만 HCP 본인의 메모들 또는 진단에 대해서는 편집 특권들(그러나, 다른 HCP의 메모들 또는 진단들에 대한 편집 특권은 아님)을 가질 수 있다.
[0130] 웨어러블 디바이스의 사용자는, 예컨대 환자의 의료 기록에 액세스하거나 환자에게 치료 또는 진단을 제공하는 HCP(healthcare provider)일 수 있다. HCP는 다양한 엔티티들을 포함할 수 있다. 예컨대, HCP는 내과의사 또는 내과의사와 연계된 다른 인가된 당사자일 수 있다. 내과의사란 용어는 MD(medical doctor), DO(doctor of osteopathic medicine), PA(physician assistant), 간호사, OD(optometrist), DPM(podiatrist), DDS 또는 DDM(dentist), DVM(veterinarian), APRN(advanced practice medical nurse), 임상적 약사, 의료 또는 간호 전문가, 의료 심리학자, 또는 약을 처방하고, 의료 절차들을 수행하고, 의료 상태들을 진단하고, 의료 기록들을 분석하는 것 등에 대해 인가받았거나 허가받은 임의의 다른 사람을 포함할 수 있다. HCP는 환자의 건강관리 기록에 액세스하거나, 그것을 검토하거나, 그것에 정보를 입력하는 의료 접수 담당자 또는 보조자를 포함할 수 있다. 추가적으로 또는 대안적으로, 콘텍스트에 의존하여, HCP는 인간 HCP들과 연관된 엔티티 또는 시설, 이를테면 예컨대 의료 치료소, 병원, 보험 업자, 약국, 또는 의료-관련된 서비스들을 제공하는 다른 엔티티들을 지칭할 수 있다.
[0131] 웨어러블 디바이스의 사용자가 HCP인 경우, 웨어러블 디바이스는, 사용자가 환자의 의료 기록들에 액세스하고, 의료 검사들 또는 수술들을 수행하기 위해 의료 기록들을 사용하고, 환자와의 상호작용에 기반하여 환자의 의료 기록들을 업데이트하고, HCP가 정확한 관리(이를테면 예컨대 수술 동안에 정확한 팔에 대해 수술하는 것)를 제공하고 있는지 여부를 결정하는 것 등을 허용하기 위해서, 건강관리 제공자 시스템(1230)(도 12에 도시됨)을 포함할 수 있다. 웨어러블 디바이스는 관리의 품질을 향상시키고 의료 사고들의 가능성을 줄이기 위해서 다른 의료 정보, 이를테면 예컨대 어떤 수술 도구들이 단독으로 또는 환자의 의료 기록들과 함께 특정 타입의 수술에 사용되어야 하는지를 사용할 수 있다. 예컨대, 웨어러블 디바이스는 정확한 수술 도구들이 사용되는 것 또는 어떤 이물질들(예컨대, 의료 기구들, 이를테면 예컨대 수술 도구들)도 환자의 신체 내부에 잘못하여 남아 있지 않은 것을 확인하기 위해서 무균 구역에 들어가는 수술 도구들을 추적할 수 있다.
[0132] 개개의 웨어러블 디바이스들의 사용자들은 의료 기록들을 공유하고, 웨어러블 디바이스들을 사용하여 협력할 수 있다. 예컨대, 자신의 의료 기록의 상이한 부분들에 대한 액세스 특권들에 기반하여, 환자는 자신의 웨어러블 디바이스를 사용하여 건강관리 데이터베이스 내의 자신의 의료 기록들의 일부 부분들은 편집할 수 있으면서 자신의 의료 기록의 다른 부분들은 판독할 수 있다(그러나 편집할 수는 없음). 환자가 치료소를 방문하였을 때, 치료소에 있는 의사의 웨어러블 디바이스는 환자의 병력을 리트리브하고, 의사의 진단, 분석, 및 환자와의 상호작용들을 가능하게 하기 위해 2D 또는 3D 사용자 인터페이스를 통해 병력의 관련 부분들을 제공할 수 있다. 의사의 웨어러블 디바이스는 또한 환자와의 의사의 상호작용을 (시각적으로 또는 가청적으로) 기록하고, 환자의 관련 정보를 추출하고, 관련 정보에 기반하여 환자의 의료 기록들을 업데이트할 수 있다. 다른 예로서, 외과의사의 웨어러블 디바이스는 외과의사가 환자에 대해 수술을 수행하고 있는 동안에 환자의 수술 부위 및 수술실 내의 의료 디바이스들로부터 정지 또는 비디오 이미지들, 오디오, 또는 입력을 캡처할 수 있다. 외과의사의 웨어러블 디바이스는 수술실 및 환자의 정보를 의대생들의 그룹의 웨어러블 디바이스들에 전달할 수 있고, 이는 의대생들이 수술이 이루어질 때 또는 수술이 끝난 이후에 수술을 관찰하게 허용한다.
의료 환경에서 웨어러블 디바이스들의 사용자들 간의 상호작용들을 위한 예시적인 컴퓨팅 환경들
[0133] 도 12는 다수의 웨어러블 디바이스들이 건강관리 환경에서 서로 상호작용할 수 있는 예시적인 컴퓨팅 환경(1200)을 예시한다. 도 12의 예시적인 컴퓨팅 환경(1200)은 건강관리 제공자 시스템들(예컨대, 건강관리 제공자 시스템 A(1230a) 내지 건강관리 제공자 시스템 N(1230n)), 환자 시스템들(예컨대, 환자 시스템 A(1210a) 내지 환자 시스템 N(1210n)), 및 건강관리 데이터베이스 시스템(1220)을 포함한다. HCP 시스템들, 환자 시스템들, 및 건강관리 데이터베이스 시스템(1220)은 네트워크(1290)를 사용하여 서로 통신할 수 있다. 네트워크(1290)는 LAN, WAN, 피어-투-피어 네트워크, 라디오 주파수, 블루투스, Wi-Fi, 클라우드 기반 네트워크, 또는 임의의 다른 타입의 통신 네트워크일 수 있다. 특정 구현들에서, 컴퓨팅 환경(1200)은 웨어러블 디바이스들의 사용자들에 대한 중앙집중형 건강관리 데이터베이스를 제공할 수 있다. 컴퓨팅 환경(1200)은 웨어러블 디바이스들의 사용자들이 중앙집중형 건강관리 데이터베이스 내에 데이터를 입력하고, 그것을 편집하고, 그것을 구성하고, 그것에 액세스하게 허용할 수 있다.
[0134] 논의를 단순화할 뿐 본 개시내용을 제한하지 않기 위해서, 도 12는 단지 하나의 HCP 시스템 및 하나의 환자 시스템을 상세히 예시한다. 다른 HCP 시스템들은 HCP 시스템 A(1230a)와 유사한 기능성들을 포함할 수 있다. 다른 환자 시스템들은 또한 환자 시스템 A(1210a)와 유사한 기능성들을 포함할 수 있다.
건강관리 제공자 시스템의 예들
[0135] HCP 시스템(1230a)의 적어도 일부는 웨어러블 디바이스의 일부일 수 있다. HCP(1230a)는 하나 이상의 오브젝트 인식기(들)(708), 환경 센서들(1232), 데이터 관리 시스템(1234), 데이터 프로세싱 시스템(1236), 및 데이터 저장부(1238)를 포함한다. HCP 시스템(1210a)은 설명된 더 적은 또는 더 많은 시스템들 및 컴포넌트들을 포함할 수 있다. 예컨대, 일부 실시예들에서, HCP 시스템(1230a)은 데이터 프로세싱 시스템(1236)을 갖지 않을 수 있다. 오히려, 데이터 프로세싱 시스템(1236)은 건강관리 데이터베이스 시스템(1220)의 일부일 수 있다. 다른 실시예들에서, HCP 시스템(1230a)은 환자들의 의료 관리를 가능하게 하는 더 많은 시스템들 또는 기능성들을 포함할 수 있다. HCP 시스템 A(1230a)의 하나 이상의 시스템들은 조합되거나 다른 시스템의 일부일 수 있다. 예컨대, 오브젝트 인식기(들)(708)는 데이터 프로세싱 시스템(1236)의 일부일 수 있다.
오브젝트 인식기들
[0136] 오브젝트 인식기(들)(708)는 사용자의 환경에서 오브젝트들을 인식하기 위해 사용될 수 있다. 도 7을 참조하여 설명된 바와 같이, 오브젝트 인식기(들)(708)는 사용자의 환경에서 의료 장비, 문헌들, 얼굴들 등을 식별하기 위해 컴퓨터 비전 알고리즘들(머신 학습 알고리즘들에 부가적으로 또는 이에 대한 대안으로)을 적용할 수 있다. 웨어러블 디바이스는 또한 시맨틱 정보를 오브젝트들에 부착할 수 있다. 도 25를 참조하여 추가로 설명된 바와 같이, 웨어러블 디바이스는 웨어러블 디바이스 또는 웨어러블 디바이스의 사용자의 FOV에 있는 수술 기구 또는 의료 디바이스를 검출 또는 추적하기 위해 오브젝트 인식기를 사용할 수 있다. 추가적으로, 웨어러블 디바이스는 의료 디바이스(예컨대, 초음파 프로브)를 식별하고, 유선 또는 무선 네트워크를 통해 그 디바이스에 연결할 수 있다. 예컨대, 웨어러블 디바이스는 자신 부근에 있는 네트워크-가능 의료 디바이스들에 의해 브로드캐스팅되는 메시지들에 대해 스캔하고, 그러한 디바이스들에 무선으로 연결할 수 있다. 웨어러블 디바이스는 의료 디바이스로부터 데이터를 수신하고, 수신된 데이터에 관련된 정보(예컨대, 이미징 디바이스로부터의 이미지들, 프로브(예컨대, 온도계)로부터의 센서 데이터 등)를 디바이스의 착용자에게 제공할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 착용자(예컨대, 외과의사)가 의료 디바이스에 액세스하거나 의료 디바이스를 제어하게 허용하는 UI(user interface)를 제공할 수 있다. 추가적으로 또는 대안적으로, 웨어러블 디바이스는 NFC(near field communication) 인터페이스를 포함할 수 있고, NFC 인터페이스는 NFC 가능 의료 디바이스와 단거리(예컨대, 약 10 cm) 통신하도록 구성되어, 정보를 교환하고, 서로 식별하고, 더 높은 대역폭을 갖는 무선 연결로 부트스트랩하는 것 등을 한다. NFC 인터페이스 및 NFC 가능 의료 디바이스는 수동 또는 능동 모드들에서 동작할 수 있다.
[0137] 수술 기구는 시맨틱 정보와 연관될 수 있다. 예컨대, 시맨틱 정보는 수술 기구가 절단수술을 위해 사용되는 기구 세트의 일부라는 표시들을 포함할 수 있다. 시맨틱 정보는 또한 수술 기구의 기능들, 이를테면 예컨대 지혈시키는 것, 열린 상처를 봉합하는 것 등을 포함할 수 있다.
환경 센서들
[0138] 환경 센서들(1232)은 도 2a, 도 2b, 및 도 4를 참조하여 설명된 다양한 센서들을 포함할 수 있다. 예컨대, 환경 센서들(1232)은 도 2b에 설명된 사용자 센서들(24, 28, 30, 32) 및 외부 센서(34), 도 2a의 마이크로폰(232), 도 4의 외향 이미징 시스템(464)의 센서들 및 내향 이미징 시스템(462)의 센서들 등을 포함할 수 있다. 환경 센서들(1232)은 사용자의 환경의 데이터 및 사용자의 데이터를 획득하도록 구성될 수 있다. 예컨대, 마이크로폰(232)은 HCP 또는 환자에 의해 발화된 어구들과 연관된 오디오 데이터를 획득할 수 있다. 다른 예로서, 외향 이미징 시스템(464)은 환자 또는 사용자의 환경을 이미징할 수 있다. 하나 이상의 환경 센서들(1232)에 의해 획득된 데이터는 다른 시스템(또는 센서), 이를테면 사용자의 환경에 있는 물리적 오브젝트들을 식별하기 위한 오브젝트 인식기(들)(708) 또는 관련 의료 정보를 추출하기 위한 데이터 프로세싱 시스템(1236)에 통신될 수 있다.
데이터 프로세싱 시스템
[0139] HCP 시스템 A(1230a)는 또한 데이터 프로세싱 시스템(1236)을 포함할 수 있다. 데이터 프로세싱 시스템(1236)은 환경 센서들(1232)에 의해 획득된 데이터, 환자 시스템(1210)으로부터 수신된 데이터, 또는 건강관리 데이터베이스 시스템(1220) 또는 데이터 저장부(1238)로부터 액세스된 데이터로부터 관련 정보를 추출하도록 구성될 수 있다. 데이터 프로세싱 시스템(1236)은 (예컨대, 마이크로폰(232)으로부터 획득된) 오디오 데이터를 프로세싱할 수 있다. 예컨대, 데이터 프로세싱 시스템(1236)은 다양한 스피치 인식 알고리즘들, 이를테면 예컨대 히든 Markov 모델들, DTW(dynamic time warping)-기반 스피치 인식, 뉴럴 네트워크들; 심층 학습 알고리즘들, 이를테면 딥 피드포워드 및 순환 뉴럴 네트워크들, 엔드-투-엔드 자동 스피치 인식들; 머신 학습 알고리즘들(도 7을 참조하여 설명됨); 또는 음향 모델링 또는 언어 모델링 등을 사용하는 다른 알고리즘들을 적용함으로써 스피치의 콘텐츠를 식별하기 위해 오디오 데이터를 해석할 수 있다. 데이터 프로세싱 시스템(1236)은 또한, 화자가 특정 환자 또는 환자의 의사인지 여부와 같은 화자의 아이덴티티를 식별할 수 있는 음성 인식 알고리즘들을 적용할 수 있다. 데이터 프로세싱 시스템(1236)은 음성 인식을 수행하기 위해서 도 7을 참조하여 설명된 다양한 머신 학습 알고리즘들을 사용할 수 있다.
[0140] 데이터 프로세싱 시스템(1236)은 또한 이미지들을 프로세싱하도록 구성될 수 있다. 예컨대, 데이터 프로세싱 시스템(1236)은 이미지에서 오브젝트들 또는 사람들을 식별하기 위해 오브젝트 인식기(들)(708)를 참조하여 설명된 하나 이상의 컴퓨터 비전 알고리즘들을 적용할 수 있다. 일부 실시예들에서, 오브젝트 인식기(들)(708)는 데이터 프로세싱 시스템(1236)의 일부일 수 있다.
[0141] 데이터 프로세싱 시스템(1236)은 또한 텍스트 인식을 수행할 수 있다. 예컨대, 이미지는 환자의 의료 이력의 스캔된 카피를 포함할 수 있다. 데이터 프로세싱 시스템(1236)은 하나 이상의 텍스트 인식 알고리즘들, 이를테면 예컨대 캐릭터 인식 알고리즘들, 심층 학습 알고리즘들(이를테면, 딥 뉴럴 네트워크들), 패턴 매칭 알고리즘들, 사전-프로세싱을 위한 알고리즘들 등을 사용하여 이미지에서 텍스트를 추출할 수 있다.
[0142] 일부 실시예들에서, 데이터 프로세싱 시스템(1236)은 환경 센서들에 의해 획득된 데이터로부터 관련 정보를 추출할 수 있다. 예컨대, 데이터 프로세싱 시스템(1236)에 의해 획득된 이미지는 간호사의 얼굴 및 환자의 얼굴을 포함할 수 있다. 데이터 프로세싱 시스템(1236)은 이미지에서 얼굴들을 검출하기 위해 얼굴 인식 기법들을 사용할 수 있다. 데이터 프로세싱 시스템(1236)은, 예컨대 환자의 이전 이미지에 기반하여, 환자의 얼굴을 추가로 식별할 수 있다. 다른 예로서, 데이터 프로세싱 시스템(1236)은 사용자에 의해 발화된 키워드를 검출하고 그 키워드를 포함하는 문장을 식별하기 위해서 머신 학습 알고리즘을 사용할 수 있다.
[0143] 웨어러블 디바이스에 의해 획득되거나 프로세싱되는 오디오, 시각, 추출된 텍스트, 또는 다른 정보 중 일부 또는 모두는 환자의 의료 기록에 저장될 수 있다. 예컨대, 환자에 대한 의사의 검사의 시청각 기록은 의료 기록에 저장될 수 있다. 다른 예로서, 환자는 자신이 겪고 있는 의료 문제점들을 설명할 수 있고, 그리고 의사의 웨어러블 디바이스는 환자 오디오 데이터를 기록 및 프로세싱하고, 의료 문제점들에 관련된 정보를 환자의 의료 기록에 저장하거나 그 정보를 의사에게 디스플레이할 수 있다(도 15 참조). 또 다른 예로서, HCP의 웨어러블 디바이스는 검사 동안에 징후들(예컨대, 눈 움직임들, 환자 피부의 증상들 등)을 검출하여 기록할 수 있다.
[0144] 비록 예시적인 컴퓨팅 환경(1200)은 데이터 관리 시스템(1234)이 HCP 시스템 A(1230a)의 일부인 것으로 도시하지만, 일부 실시예들에서는, 데이터 프로세싱 시스템(1236)의 적어도 일부가 건강관리 데이터베이스 시스템(1220)의 일부이다.
데이터 관리 시스템
[0145] 데이터 관리 시스템(1234)은 환자의 의료 기록들을 업데이트 및 관리하도록 구성될 수 있다. 특정 구현들에서, 데이터 관리 시스템(1234)은 2D 또는 3D 사용자 인터페이스를 포함할 수 있다. 도 10 및 도 11을 참조하여 설명된 바와 같이, 웨어러블 디바이스의 사용자는 2D 또는 3D 사용자 인터페이스를 사용하여 환자의 의료 기록들을 볼 수 있다. 사용자는 또한 포즈들 또는 사용자 입력 디바이스(466), 이를테면 예컨대 머리 포즈들, 제스처들, 음성 입력, 토템 등을 사용하여 의료 기록들을 편집할 수 있다.
[0146] 데이터 관리 시스템(1234)은 데이터 프로세싱 시스템(1236), 오브젝트 인식기(들)(708), 또는 환경 센서(들)(1232)로부터 데이터를 수신할 수 있다. 데이터 관리 시스템(1234)은 수신된 데이터에 기반하여 환자의 가상 의료 기록들을 업데이트하기 위해서 건강관리 데이터베이스 시스템(1220)과 통신할 수 있다. 예컨대, 데이터 관리 시스템(1234)은 의사로부터 환자의 진단을 수신할 수 있다. 데이터 관리 시스템(1234)은 진단을 환자의 의료 기록에 추가하기 위해서 데이터베이스 관리 시스템(1220)에 명령을 통신할 수 있다.
[0147] 데이터 관리 시스템(1234)은 또한 다른 시스템, 이를테면 환자 시스템 또는 다른 건강관리 제공자 시스템과 공유하는 데이터를 관리할 수 있다. 예컨대, HCP 시스템 A(1230a)는 수술실에서 수술을 수행하고 있는 외과의사와 연관될 수 있다. 데이터 프로세싱 시스템(1236)은 얼굴 인식 기법들을 사용하여 수술실에서 사람들(이를테면 예컨대 간호사들 또는 다른 내과의사들)을 식별할 수 있다. 데이터 관리 시스템(1234)은 데이터 프로세싱 시스템(1236)으로부터 수술실 내의 사람들의 아이덴티티들을 수신할 수 있다. 데이터 관리 시스템(1234)은 외과의사의 웨어러블 디바이스의 2D 또는 3D 사용자 인터페이스를 통해 하나 이상의 가상 아이템들(이를테면 예컨대 환자의 생리적 데이터)을 식별된 사람들과 자동으로 공유할 수 있다. 데이터 관리 시스템(1234)은 또한 외과의사의 웨어러블 디바이스의 외향 이미징 시스템(464)에 의해 획득된 이미지들 또는 외과의사의 웨어러블 디바이스에 의해 수집된 다른 정보(예컨대, 오디오)를 수술실 내의 식별된 사람들의 웨어러블 디바이스들과 공유할 수 있다.
[0148] 도 12에서의 데이터 관리 시스템(1234)은 HCP 시스템 A(1230a)의 일부로서 예시되었지만, 일부 실시예들에서, 데이터 관리 시스템(1234)의 적어도 일부는 건강관리 데이터베이스 시스템(1220)의 부분이다.
데이터 저장부
[0149] 데이터 저장부(1238)는(예컨대, 컴퓨터 실행가능 코드들에 의해 구현되는) 다양한 알고리즘들, 이를테면 컴퓨터 비전 알고리즘들, 스피치 인식 알고리즘들, 음성 인식 알고리즘들, 텍스트 인식 알고리즘들, 머신 학습 알고리즘들 등을 저장하도록 구성될 수 있다. 데이터 프로세싱 시스템(1236)을 참조로 설명된 바와 같이, 이들 알고리즘들은 환경 센서(들)(1232)에 의해 획득된 데이터를 프로세싱하기 위해 데이터 프로세싱 시스템(1236)에 의해 적용될 수 있다. 특정 실시예들에서, 데이터 저장부(1238)는 환자의 가상 의료 기록의 카피를 포함할 수 있다. 예컨대, 큰 파일 사이즈들로 인해, HCP 시스템 A(1230a)는 HCP를 방문하기 위한 환자의 스케줄링된 시간 전에 데이터 저장부(1238)에서 환자의 이전 의료 이미지들 중 일부를 미리 로딩할 수 있다. 환자가 HCP를 방문할 때, HCP는 원격 위치, 이를테면 의료 데이터 저장부(1222)로부터 이미지들을 리트리빙하기 위한 지연들을 회피하기 위해, 데이터 저장부(1238)에 미리 로딩된 가상 의료 기록들을 볼 수 있다.
[0150] 데이터 저장부(1238)는 또한, HCP 제공자 시스템 A(1230a)의 다른 시스템들에 의해 획득되거나 생성된 데이터를 저장할 수 있다. 예컨대, 데이터 저장부(1238)는 환자가 HCP와 상호작용하는 동안 환경 센서(들)(1232)에 의해 획득된 데이터를 저장할 수 있다. 데이터 저장부(1238)는 또한, 데이터 프로세싱 시스템(1236)과 연관된 데이터를 저장할 수 있다. 예컨대, 데이터 프로세싱 시스템(1236)은 환자와 HCP 간의 대화의 트랜스크립트를 생성하고 데이터 저장부(1238)에 의한 저장을 위해 트랜스크립트를 통신할 수 있다. 데이터 저장부(1238)는 또한, 환자의 웨어러블 디바이스에 의해 획득된 환자 데이터를 저장할 수 있다. 환자 데이터는 환자의 습관들, 걸음걸이, 생리적 정보 이를테면, 심박수, 혈압 등을 결정하기 위해 다양한 머신 학습 알고리즘들을 사용하여 분석될 수 있다. 환자 데이터는 또한, 도 2a, 도 2b 및 도 4를 참조하여 설명된 눈 추적 또는 머리 포즈 추적을 수행하기 위해 사용될 수 있다.
[0151] 데이터 저장부(1238)에 의해 저장된 데이터의 일부는 건강관리 데이터베이스 시스템(1220)에 통신될 수 있다. 예컨대, 환자와 HCP 간의 대화의 트랜스크립트는 건강관리 데이터베이스 시스템(1220)의 의료 데이터 저장부(1222)에 저장된 환자의 가상 의료 기록에 추가될 수 있다. 다른 예로서, (예컨대, 환자의 웨어러블 디바이스에 의해 획득되는) 환자 데이터는, 환자 또는 HCP에 의한 나중의 분석 또는 검토를 위해 환자 데이터 관리 시스템(이는 건강관리 데이터베이스 시스템(1220) 또는 건강관리 제공자 시스템(들)(1230)의 부분일 수 있음)에 자동 파퓰레이팅될 수 있다. 본원에서 설명되는 바와 같이, 환자 데이터에 대한 액세스 특권은, 환자가 본인의 모든 개인 데이터에 대한 액세스를 소유하고 이를 공유할 사람 그리고 얼마나 공유되는지를 선택할 수 있도록 맞춤화될 수 있다.
환자 시스템의 예들
[0152] 환자 시스템 A(1210a)는 데이터 보안 관리 시스템(1212) 및 기록 업데이트 시스템(1214)을 포함한다. 환자 시스템 A(1210a)는 설명된 바와 같이 더 적은 또는 더 많은 시스템들 및 컴포넌트를 포함할 수 있다. 예컨대, 환자 시스템 A(1210a)는 환자 시스템 A(1210a)에 의해 획득된 또는 생성된 데이터를 저장하기 위한 로컬 데이터 저장부 또는 원격 데이터 저장부(예컨대, 클라우드-기반 데이터 저장부)를 포함할 수 있다. 다른 실시예들에서, 환자 시스템 A(1210a)는 환자들의 의료 관리를 가능하게 하는 더 많은 시스템들 및/또는 기능성들을 포함할 수 있다. 환자 시스템 A(1210a)의 하나 이상의 시스템들은 조합될 수 있거나 또는 다른 시스템의 부분일 수 있다. 예컨대, 기록 업데이트 시스템(1214)의 일부는 건강관리 데이터베이스 시스템(1220)의 부분일 수 있다.
[0153] 환자 시스템 A(1210a)는 환자와 연관된 웨어러블 디바이스의 부분일 수 있다. 도 12에는 도시되지 않았지만, 환자 시스템 A(1210a)는 또한, 환자의 정보 및 환자의 환경을 획득하기 위한 환경 센서들을 포함할 수 있다. 환자 시스템 A(1210a)는 또한, 사용자 입력 디바이스(466) 또는 포즈들을 통해 물리적 오브젝트들 또는 가상 오브젝트들과의 사용자 상호작용들을 허용하도록 구성된 3D 사용자 인터페이스를 포함할 수 있다.
데이터 보안 관리 시스템
[0154] 환자 의료 기록 정보는 특정 환자에게 매우 개인적이며 기밀이다. 환자는 그러한 정보 중 일부만을 특정 HCP들과 공유하기를 원할 수 있다. 예컨대, 환자는, 의사의 진료실에 있는 접수 담당자가 진료실 방문을 스케줄링하도록 환자 이름, 주소 및 예약 정보만을 액세스하게 허가하길 원할 수 있는 반면, 환자는 치료 내과의사가 내과의사의 전문분야와 관련한 정보만을 액세스하게 허가하길 원할 수 있다(예컨대, 심장 전문의는 환자의 심장 및 신체 기능들에 관련된 기록들에 대한 액세스가 허가될 수 있지만 심리학자에 대한 환자의 방문과 관련된 정보에 대한 액세스는 허가되지 않을 수 있다). 본원에서 설명된 데이터 보안 관리 시스템들의 실시예들은, (예컨대, 주(state) 또는 연방 면허법들, 이를테면 HIPAA에 의해 요구되는) 환자 의료 기록들의 기밀성을 보존하고, 알 필요가 있을 때(need-to-know basis) 의료 기록의 일부들에 대해서만 액세스를 허가하기 위해 사용할 수 있다.
[0155] 데이터 보안 관리 시스템(1212)은 환자가 자신의 의료 기록들과 연관된 액세스 특권들을 관리하게 허용하도록 구성될 수 있다. 환자는 3D 사용자 인터페이스를 통해 액세스 특권들을 특정할 수 있다. 액세스 특권들은 가상 의료 기록(또는 가상 의료 기록의 일부)이 사용자의 계정에 의해 볼 수 있는지, 편집될 수 있는지, 추가될 수 있는지 또는 삭제될 수 있는 여부를 결정하는데 사용될 수 있다. 사용자는 엔티티 이를테면, 예컨대 HCP, 의료 보험 제공자, 환자의 가족 구성원, 환자 등일 수 있다. 예컨대, 환자는, 환자가 환자의 가상 의료 기록들에 액세스하는 것에 대한 허가를 주고 싶어하는 건강관리 제공자들을 추가하거나, 삭제하거나 또는 편집할 수 있다.
[0156] 액세스 특권들은 또한, 계정이, 다른 디바이스 또는 계정의 액세스 특권들을 관리하는 것에 대한 인가들(또한 본원에서 액세스 위임으로 지칭됨)을 갖고 있는지 여부를 수반할 수 있다. 예컨대, 환자는 자신의 주치의에게 환자의 전체 의료 기록에 대한 허가들을 부여할 수 있다. 내과의사는 결국 자신의 간호사가 환자의 의료 기록(이를테면, 환자의 주소 및 의료 보험 정보) 중 일부를 볼 수 있게 허용할 수 있다. 액세스 특권들은, 사용자가 환자의 의료 기록들에 액세스하도록 허가되는 시간이 언제까지인지를 표시하는 기한(time limit)과 연관될 수 있다. 환자는 기한을 편집할 수 있다. 환자는, 사용자의 액세스 특권들이 곧 만료될 때 통지를 수신할 수 있다. 환자는 기한을 연장할지 또는 해당 사용자의 액세스 특권을 업데이트할지 여부를 판단할 수 있다. 예컨대, 환자의 주치의는 5년의 기간 동안 환자의 의료 기록에 액세스하는 것에 대한 허가들을 가질 수 있다. 환자는, 5년 기간 말에, 환자가 내과의사의 액세스 특권을 연장시키길 원하는지 여부를 묻는 통지를 받을 수 있다. 만약 환자가 내과의사를 만나는 것을 중단했다면, 환자는 내과의사의 5년 액세스 특권을 연장하지 않는 것을 선택할 수 있으며, 내과의사는 더 이상 환자의 의료 기록에 액세스할 수 없을 수 있다. 다른 예로서, 환자는 정형 외과의사에게 자신의 부러진 발목을 치료하도록 액세스 특권을 부여할 수 있다. 액세스 특권은 첫 번째 예약에서 마지막 예약까지 지속될 수 있다. 마지막 예약 시에, 만약 정형 외과의사가 자신이 환자의 부러진 발목을 치료할 시간이 더 필요하다고 환자에게 알린다면, 환자는 또 다른 시간 기간을 위해 정형 외과의사의 액세스 특권과 연관된 기한을 연장시킬 수 있다. 그렇지 않으면, 기한이 끝날 것이고, 환자의 의료 파일에 대한 정형 외과의사의 액세스 특권이 만료될 것이다. 그에 따라서, 액세스 특권들은 기한 또는 액션 제한(예컨대, 의료 절차의 성공적인 완료)을 포함할 수 있다.
[0157] 일부 실시예들에서, 엔티티가 다른 엔티티에 대한 액세스를 위임할 때, 환자는 통지를 수신할 수 있다. 예컨대, 환자의 일차 HCP는, 전문의일 수 있는 이차 HCP에게 환자를 보낼 수 있다(refer). 일차 HCP는 환자의 의료 기록에 대한 자신의 액세스 특권을 이차 HCP에 위임할 수 있다. 데이터 보안 관리 시스템(1212)은, 일차 HCP로부터 또는 건강관리 데이터베이스 시스템(1220)으로부터, 이차 HCP가 지금 환자의 기록에 액세스 했음을 표시하는 통지를 수신할 수 있다. 환자는 일차 HCP들의 위임을 중복 기재할 수 있다. 예컨대, 일차 HCP는 초기에, 이차 HCP가 환자의 전체 의료 기록에 액세스하도록 허용할 수 있다. 그러나, 환자는 이차 HCP가 자신의 가상 의료 기록들의 일부에만 액세스하도록 특정함으로써 이러한 위임을 편집할 수 있다. 또 다른 예로서, 이차 HCP가 특정 표준들을 충족시키지 않는다면, 환자가 이차 HCP의 액세스 특권들을 철회할 수 있다. 특정 구현들에서, 만약 HCP가 특정 엔티티에 대한 액세스를 위임하기를 원한다면, 환자는 HCP가 환자의 승인을 요구할 필요가 있을 수 있다는 것을 특정할 수 있다. 예컨대, 만약 병원이 제약회사 담당자에게 액세스를 위임하는 경우, 환자는 병원에게 이를 환자에게 알리도록 또는 환자의 승인을 획득하도록 요구할 수 있다.
[0158] 다양한 레벨들의 액세스 특권들이 가상 의료 기록들에 첨부될 수 있다. 예컨대, 액세스 특권들의 레벨은 제1 레벨의 액세스 특권 및 제2 레벨의 액세스 특권을 포함할 수 있다. 제1 레벨의 액세스 특권은 환자의 전체 의료 기록을 보고, 편집하고, 추가하고 그리고 삭제하는 허가들을 포함할 수 있지만, 이 제1 레벨의 액세스 특권은 액세스를 위임하는 허가는 포함하지 않을 수 있다. 제2 레벨의 액세스 특권은 환자의 전체 의료 기록을 보는 허가를 포함할 수 있다.
[0159] 상이한 엔티티들은 상이한 레벨들의 액세스 특권들을 가질 수 있다. (환자 또는 HCP의) 웨어러블 디바이스 또는 건강관리 데이터베이스 시스템(1220)은 액세스 특권들의 계층을 저장할 수 있다. 예로서, 의사의 레벨 액세스 특권은 간호사의 레벨 액세스 특권보다 더 높을 수 있으며, 이는 결국, 진료실 방문들을 스케줄링하는 접수 담당자의 액세스 특권보다 더 높다. 그에 따라서, 의사는 간호사보다 환자의 가상 의료 기록의 더 많은 정보를 보는 것이 가능할 수 있다. 예로서, 의사는 환자의 MRI 검사로부터 획득된 이미지들뿐만 아니라 MRI 검사 날짜를 보는 것이 가능할 수 있다. 그러나, 간호사는 MRI 검사 날짜만을 보는 것이 가능할 수 있는데, 이는 MRI 검사 날짜가, 간호사가 환자의 다음 방문을 스케줄링하기 위해 충분한 정보를 갖고 있을 수 있기 때문이다. 그리고 접수 담당자는 환자의 이름, 연락처 정보 및 진료실 방문 스케줄만을 보는 것이 가능할 수 있다.
[0160] 액세스 특권들의 레벨들은 하나 이상의 액세스 표준들과 연관될 수 있다. 액세스 표준들은 가상 의료 기록들의 특징들에 기반할 수 있다. 가상 의료 기록들의 특징은 타입, 콘텐츠, 날짜, 의료 기록을 생성한 엔티티들 등을 포함할 수 있다. 예컨대, 환자는 엔티티가 지난 12 개월 내에서만 자신의 의료 기록들을 편집하게 허용할 수 있다. 다른 예로서, 환자는, 자신의 보험 제공자가 특정 병원에서 환자의 수술과 연관된 기록들만을 보게 허용할 수 있다. 또 다른 예로서, 환자는, 의료 기록의 일부가 만약 특정 단어들을 포함한다면, 이 부분을 비공개로(as private) 설정할 수 있다(예컨대, 환자 자신만이 액세스할 수 있음). 특정 구현들에서, 만약 가상 의료 기록의 특징들이 특정 액세스 표준을 충족시킨다면, 액세스 특권이 자동으로 첨부될 수 있다. 예컨대, 환자가 지난 12 개월 이내에 생성된 자신의 의료 기록에 HCP가 액세스하게 허용한 경우, 오늘 환자의 검사와 연관된 새로운 의료 이미지를 HCP가 자동으로 액세스할 수 있게 될 수 있다.
[0161] 추가적으로 또는 대안적으로, 액세스 표준들은 또한, 엔티티의 특징들, 이를테면, 예컨대 엔티티의 타입(예컨대, 병원 대 제약회사 영업 담당자), 엔티티의 위치(예컨대, 엔티티가 특정 지리적 구역을 벗어났는지 또는 그 안에 있는지 여부) 등에 기반할 수 있다. 예컨대, 환자가 환자의 의료 기록에 액세스하도록 HCP에게 허가들을 승인하면, 결국 HCP는 다른 엔티티가 HCP 자체에 의해 생성된 의료 기록들을 보게 허용할 수 있다. 일부 실시예들에서, 인가된 사용자의 웨어러블 디바이스는 가상 의료 기록들을 계속 디스플레이할지 여부를 결정하기 위해 사용자의 활동들을 모니터할 수 있다. 예컨대, 웨어러블 디바이스는 의료 기록들을 자동으로 보관할 수 있고, 사용자가 더 이상 웨어러블 디바이스를 착용하지 않는다는 것을 웨어러블 디바이스가 검출한 후에는 기록들을 디스플레이하는 것을 중단할 수 있다. 이는 유리하게, 비인가된 사람이 웨어러블 디바이스를 착용하고 환자의 의료 기록들을 보는 것을 방지할 수 있다. 예컨대, 웨어러블 디바이스는, 착용자의 눈(또는 눈들)을 이미징하고, 웨어러블 디바이스의 인가된 사용자들의 데이터베이스와 홍채 또는 망막 스캔을 비교하여 환자(및 제3자가 아님)가 웨어러블 디바이스를 착용하고 있다는 것을 결정하기 위해, 눈-추적 카메라를 사용할 수 있다. 만약 제3자가 웨어러블 디바이스를 착용하고 있다면, 웨어러블 디바이스는 의료 기록의 디스플레이를 중단하고, 의료 기록에 대한 액세스를 방지하며, 의료 기록에 대한 비인가된 액세스가 시도되었을 수 있다는 경고를 통신하는 등을 할 수 있다.
[0162] 예들에서는, 가상 의료 기록의 액세스 특권이 사용자와 연관되어 있지만, 액세스 특권들은 또한, 컴퓨팅 디바이스와 연관될 수 있다. 예컨대, 검사실에 있는 컴퓨터는 의사의 진료실에 있는 컴퓨터와 상이한 레벨의 액세스 특권을 가질 수 있다. 검사실에 있는 컴퓨터는 단지 환자의 이전 검사들의 정보에만 액세스하는 것이 가능할 수 있지만, 의사의 진료실에 있는 컴퓨터는 환자의 이전 검사들뿐만 아니라 환자 가족의 의료 이력에 액세스할 수 있다.
기록 업데이트 시스템
[0163] 환자는 기록 업데이트 시스템(1214)을 사용하여 자신의 의료 기록들과 상호작용할 수 있다. 기록 업데이트 시스템(1214)은 데이터 프로세싱 시스템(1236) 및 데이터 관리 시스템(1234)과 유사하게 수행되는 기능성들을 포함하도록 구성될 수 있다. 예컨대, 기록 업데이트 시스템(1214)은 사용자의 의사와 사용자의 대화를 트랜스크립할 수 있고, 트랜스크립된 대화를 의료 데이터 저장부(1222)에 의한 저장을 위해 통신할 수 있다. 다른 예로서, 환자는, 자신의 웨어러블 디바이스의 3D 사용자 인터페이스를 통해, 자신의 의료 이력들을 입력할 수 있다. 기록 업데이트 시스템(1214)은 입력된 의료 이력들을 건강관리 데이터베이스 시스템(1220)에 저장된 환자의 가상 의료 기록에 추가할 수 있다. 일부 실시예들에서, 환자의 의료 기록들이 보상을 위해 보험 회사에 제출되기 전에, 의료 기록들은 HCP에 의해 재검토되거나 승인될 수 있다. HCP는 HCP 시스템(1230)을 사용하여 의료 기록들을 검토하거나, 업데이트하거나 또는 승인할 수 있다.
건강관리 데이터베이스 시스템의 예들
[0164] 건강관리 데이터베이스 시스템(1220)은 의료 관련 데이터, 이를테면, 예컨대, 환자들의 가상 의료 기록들뿐만 아니라 의료 검사들/절차들(예컨대, 특정 의료 검사를 수행하는 프로세스들, 의료 검사 또는 수술에서 요구되는 장비/기구들 등)를 저장 및 관리하도록 구성될 수 있다. 건강관리 데이터베이스 시스템(1220)은 하나 이상의 서버들의 부분으로서 구현될 수 있다. 일부 실시예들에서, 건강관리 데이터베이스 시스템(1220)은 웨어러블 디바이스들의 사용자들을 위한 중앙집중형 건강관리 데이터베이스를 포함한다. 예컨대, 건강관리 데이터베이스 시스템(1220)은 환자의 가상 의료 기록들을 저장하기 위한 의료 데이터 저장부(1222)를 포함할 수 있다. 유리하게, 일부 실시예들에서, 가상 의료 기록들은 (HCP 보다는) 환자에 의해 소유된다. 그에 따라서, 환자는 자신의 의료 기록에 액세스하거나 수정하는 사람을 제어할 수 있으며, 자신의 의료 기록이 완전함을 보장할 수 있는데, 이는 HCP에 의해 이루어지는 임의의 업데이트들이, 별개의 HCP-소유 기록들에 대해 이루어지는 것이 라기 보다, 환자의 의료 기록에 대해 이루질 것이기 때문이다. 도 14a 및 14b를 참조하여 추가로 설명되는 바와 같이, 환자는 자신의 가상 의료 기록들과 연관된 액세스 특권들의 레벨들을 관리할 수 있다.
[0165] 건강관리 데이터베이스 시스템(1220)은 가상 의료 기록들을 추가하거나, 편집하거나, 액세스하거나 또는 구성하기 위한 제어 명령들을 포함할 수 있다. 예컨대, 데이터베이스 시스템(1220)은 웨어러블 디바이스의 사용자로부터 입력을 수신할 수 있다. 사용자는 HCP 또는 환자일 수 있다. 입력은 가상 기록에 (이를테면, 예컨대, 추가, 삭제, 편집에 의한) 업데이트를 포함할 수 있다. 입력에 대한 응답으로, 건강관리 데이터베이스 시스템(1220)은 업데이트될 필요가 있는 가상 기록을 식별하고 그에 따라서 업데이트를 구현할 수 있다. 다른 예로서, 건강관리 데이터베이스 시스템(1220)은 환자 시스템(1210)으로부터 액세스 특권 설정을 수신할 수 있다. 건강관리 데이터베이스 시스템(1220)은 액세스 특권 설정을 환자의 의료 기록들에 자동으로 첨부할 수 있다. 또 다른 예로서, 건강관리 데이터베이스 시스템(1220)은 가상 의료 기록을 리트리브하기 위한 요청을 HCP 시스템(1230)으로부터 수신할 수 있다. 건강관리 데이터베이스 시스템(1220)은 요청에 기반하여 가상 의료 기록을 식별하고 가상 의료 기록을 HCP 시스템(1230)에 반송할 수 있다. 일부 실시예들에서, 건강관리 데이터베이스 시스템(1220)은 HCP 시스템(1230)이 가상 의료 기록와 연관되는 요구된 레벨의 액세스 특권을 충족시키는지 여부를 체크한다. 건강관리 데이터베이스 시스템(1220)은, 만약 HCP 시스템(1230)이 요구된 레벨의 액세스 특권을 충족시킨다면, 가상 의료 기록을 반송할 수 있다. 특정 구현들에서, 만약 HCP 시스템(1230)이 요구된 레벨의 액세스 특권을 충족시키지 않는다면, 건강관리 데이터베이스 시스템(1220))은 HCP 시스템(1230)에 의해 액세스가능한 가상 의료 기록의 일부만을 반송할 수 있다. 예컨대, HCP 시스템(1230)은 환자의 검사와 연관된 모든 정보를 요청할 수 있다. 그러나, HCP 시스템(1230)은 단지 시험 날짜 및 위치를 보는 것만이 허용될 뿐 시험의 이미지들을 보는 것은 허용되지 않을 수 있다. 그에 따라서, 건강관리 데이터베이스 시스템(1220)은, 검사의 이미지들을 HCP 시스템(1230)에 제공하지 않으면서 HCP 시스템(1230)에 검사의 날짜 및 위치만을 반송할 수 있다.
[0166] 건강관리 데이터베이스 시스템(1220)은 또한, 의료 데이터 저장부(1222) 또는 HCP 시스템들(1230) 또는 환자 시스템들(1210)과 연관된 데이터 저장부들에 저장되는 데이터 구성할 수 있다. 데이터는 다양한 방식들로 구성될 수 있다. 예컨대, 환자들, HCP들, 의료 환경들, 절차의 타입들, 사용자 액세스 허가들/프라이버시 환경들, 위치들, 데이터와 연관된 액션 아이템들 등에 단독으로 또는 조합한 것에 기반하여, 데이터가 구성될 수 있다.
[0167] 환자들 또는 HCP들에 기반하여 데이터를 구성하는 예로서, 동일한 환자 또는 동일한 HCP의 가상 의료 기록들이 함께 그룹핑될 수 있다. 의료 환경들에 기반하여 데이터를 구성하는 예로서, 방사선과 연관된 데이터가 함께 저장되면서 수술들과 연관된 데이터가 함께 컴파일링될 수 있다. 절차의 타입들에 기반하여 데이터를 구성하는 예로서, 심혈관 수술들을 받은 환자들의 의료 기록들이 함께 구성될 수 있다.
[0168] 건강관리 데이터베이스 시스템(1220)은 또한, 사용자 액세스 허가들/프라이버시 환경들에 기반하여 데이터를 관리할 수 있다. 예컨대, 환자가 비공개로 마킹한 데이터는 데이터의 나머지 부분(rest)과 분리될 수 있다. 건강관리 데이터베이스 시스템(120)은 또한, 비공개로 마킹된 데이터에 액세스하기 위해, 가외 보안 피처들(이를테면, 예컨대, 패스워드 인증의, 또는 생체인식 정보(예컨대, 홍채 또는 망막 보안 피처들)에 의한 인증을 요구하는 가외 계층들)을 구현할 수 있다.
[0169] 추가적으로 또는 대안적으로, 건강관리 데이터베이스 시스템(1220)은 (예컨대, 웨어러블 디바이스의 GPS 센서에 의해 획득된 위치 정보에 기반한) 위치 또는 시간에 기반하여 데이터를 관리할 수 있다. 위치는 데이터가 획득된 장소, 환자의 포지션 등일 수 있다. 예컨대, 건강관리 데이터베이스 시스템(1220)은 분산형 데이터 저장부를 포함할 수 있고, 건강관리 데이터베이스 시스템(1220)은 데이터가 획득된 지리적 위치에 가까운 곳에 데이터를 저장할 수 있다. 예로서, 환자는 캘리포니아 남부에 있는 병원에서 x-레이를 받을 수 있다. 건강관리 데이터베이스(1220)는, 환자가 캘리포니아 외부에서 살 수도 있지만, 캘리포니아에 있는 데이터 저장부에 x-레이와 연관된 정보를 저장할 수 있다. 건강관리 데이터베이스 시스템(1220)은 또한, 환자의 위치에 기반하여 데이터를 구성할 수 있다. x-레이 예에서, 환자가 뉴욕에 산다고 가정하면, 건강관리 데이터베이스 시스템(1220)은 캘리포니아에 있는 데이터 저장부보다는, 뉴욕에 가까운 데이터 저장부에 x-레이와 연관된 데이터를 저장할 수 있다.
[0170] 데이터와 연관된 액션 아이템들은, 임의의 후속 조치(follow-up)들이 필요한지 여부, 후속 조치를 수행할 장소 및 후속 조치를 수행할 사람, 필요한 후속 조치들의 타입들 등을 포함할 수 있다. 데이터와 연관된 액션 아이템들은 추가적으로 또는 대안적으로, 후속 조치들과 관련된, 사용자에 대한 통지들(예컨대, 경고들, 리마인더들 등) 등을 포함할 수 있다. 예컨대, 환자가 자신의 주치의를 방문하는 동안, 주치의는 전문의를 만나 보도록 환자를 보낼 수 있다. 그에 따라서, 환자의 가상 의료 기록의 액션 아이템은 특정 병원에 위치된 전문의와의 검사를 스케줄링하는 것을 포함할 수 있다. 건강관리 데이터베이스 시스템(1220)은 액션 아이템들에 기반하여 데이터를 그룹핑할 수 있다. 예컨대, 특정 병원에서 이미징 검사를 요구하는 모든 환자들의 정보는 건강관리 데이터베이스 시스템(1220))에 의해 함께 컴파일링될 수 있다.
[0171] 일부 실시예들에서, 건강관리 데이터베이스 시스템(1220)은 데이터 프로세싱 시스템(1236), 데이터 관리 시스템(1234), 데이터 보안 관리 시스템(1212) 또는 기록 업데이트 시스템(1214) 등 중 적어도 일부를 포함할 수 있다. 예컨대, HCP의 웨어러블 디바이스는 HCP와 환자 간의 대화를 기록할 수 있다. 웨어러블 디바이스는 기록된 대화를 건강관리 데이터베이스 시스템(1220)에 통신할 수 있다. 건강관리 데이터베이스 시스템(1220)은 자신의 데이터 프로세싱 시스템을 사용하여 기록된 대화를 분석할 수 있다.
건강관리 데이터베이스와 상호작용하기 위한 예시적인 프로세스들
[0172] 도 13a, 도 13b, 도 13c 및 도 13d는 건강관리 데이터베이스 시스템과 상호작용하기 위한 예시적인 프로세스들을 예시한다. 도 13a 내지 도 13d에서의 예시적 프로세스들은 도 12에 도시된 건강관리 데이터베이스 시스템(1220)에 의해 또는 웨어러블 디바이스에 의해 수행될 수 있다.
[0173] 도 13a의 예시적인 프로세스(1300)의 블록(1310)에서, 건강관리 데이터베이스 시스템 또는 웨어러블 디바이스는, 예컨대 하나 이상의 데이터 저장부들에서 의료 관련 데이터의 저장을 제어하는 것과 같이, 의료 관련 데이터를 관리할 수 있다.
[0174] 블록(1320)에서, 웨어러블 디바이스의 사용자는 데이터에 액세스하길 원할 수 있으며, 데이터에 액세스하기 위한 요청을 건강관리 데이터베이스 시스템에 전송할 수 있다. 건강관리 데이터베이스 시스템은 웨어러블 디바이스로부터 데이터에 액세스하라는 요청을 수신할 수 있다. 건강관리 데이터베이스 시스템은 웨어러블 디바이스의 요청을 해석하고, 이 요청이 데이터와 연관된 요구되는 액세스 특권을 충족시키는지 여부를 결정할 수 있다. 액세스 특권들은 웨어러블 디바이스의 사용자가 데이터를 편집하거나, 추가하거나 또는 볼 수 있는지 여부를 결정할 수 있다.
[0175] 블록(1330)에서, 웨어러블 디바이스는 가상 콘텐츠를 디스플레이할 수 있다. 웨어러블 디바이스는 건강관리 데이터베이스 시스템으로부터 요청을 수신할 수 있다. 웨어러블 디바이스는 요청된 데이터를 웨어러블 디바이스의 3D 사용자 인터페이스에서 가상 콘텐츠로서 디스플레이할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 데이터의 일부만을 보는 허가들을 가질 수 있다. 결과적으로, 웨어러블 디바이스는 3D 사용자 인터페이스에 대한 허가를 갖는 데이터의 일부만을 제공할 수 있다.
[0176] 블록(1340)에서, 웨어러블 디바이스의 사용자는 건강관리 데이터베이스 시스템 내의 데이터를 편집하거나, 건강관리 데이터베이스 시스템에 데이터를 추가할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는, 건강 데이터베이스 시스템과 통신하여, 사용자들이 블록(1340)에서의 동작들을 수행하도록 허가하기 전에, 사용자에게 액세스 특권들이 요구되는지 여부를 검증할 수 있다. 일부 구현들에서, 만약 사용자가 데이터에 대한 편집 액세스 특권들을 갖지 않는다면, 블록들(1340 및 1350)은 선택적이며, 방법에 의해 스킵될 수 있다.
[0177] 블록(1350)에서, 건강관리 데이터베이스 시스템은 자신의 데이터를 자동적으로 업데이트할 수 있다. 예컨대, 웨어러블 디바이스는 사용자로부터 수신된 입력을 전송할 수 있다. 입력은 새로운 가상 의료 기록 또는 기존 가상 의료 기록에 대한 업데이트를 포함할 수 있다. 건강관리 데이터베이스 시스템은 웨어러블 디바이스로부터 입력을 수신할 수 있다. 건강관리 데이터베이스는 새로운 가상 의료 기록의 저장을 자동으로 개시하거나 기존 가상 의료 기록을 업데이트할 수 있다. 선택적으로, 블록들(1330, 1340, 또는 1350)에서, 건강관리 데이터베이스 시스템은, 사용자가 데이터에 액세스하도록 여전히 인가되는지 여부를 결정하기 위해 블록(1320)으로 반송할 수 있다. 만약 인가된다면, 방법은 위에서 설명된 후속적 블록들로 계속되지만, 만약 인가되지 않았다면, 방법은 종료될 수 있다(예컨대, 방법은 사용자에게 가상 콘텐츠를 디스플레이하는 것을 중단할 수 있다).
[0178] 도 13b는 도 13a의 블록(1320)에 대한 예시적인 서브프로세스를 예시한다. 블록(1322)에서, 사용자는 의료 파일에 대한 액세스를 요청한다. 의료 파일은 건강관리 데이터베이스 시스템의 의료 데이터 저장부에 저장될 수 있다. 사용자의 웨어러블 디바이스는 의료 파일에 액세스하기 위한 요청을 사용자의 건강관리 데이터베이스 시스템에 전송할 수 있다.
[0179] 블록(1324)에서, 건강관리 데이터베이스 시스템 또는 사용자의 웨어러블 디바이스는 도 14a를 참조하여 설명되는 기법들에 의해 사용자의 아이덴티티를 검증할 수 있다. 도 14a 및 도 14b를 참조하여 추가로 설명되는 바와 같이, 사용자의 아이덴티티는 사용자 입력(이를테면, 예컨대, 사용자 이름 및 패스워드) 또는 사용자의 생체인식 정보에 기반하여 검증될 수 있다. 일부 실시예들에서, 건강관리 데이터베이스 시스템 또는 웨어러블 디바이스는 요청된 의료 파일과 연관된 소유자 또는 환자 식별자(ID)를 결정할 수 있다. 건강관리 데이터베이스 시스템 또는 웨어러블 디바이스는 소유자 또는 환자 ID를 사용하여 의료 파일과 연관된 액세스 특권들을 리트리브할 수 있다. 예로서, 환자는 자신의 의료 기록들을 모든 병원이 볼 수 있도록 설정할 수 있다. 다른 예로서, 환자는 자신의 의료 기록을 응급 상황에서 임의의 HCP가 볼 수 있도록 설정할 수 있다. 그에 따라서, 만약 웨어러블 디바이스의 사용자가 병원에 있는 의사라면, 웨어러블 디바이스는 의사에게 액세스를 승인할 수 있다.
[0180] 블록(1326)에서, 건강관리 데이터베이스 시스템은, 만약 의료 파일의 소유주가 사용자 액세스를 제공하지 않으면, 사용자의 액세스를 거부할 수 있다. 의료 파일의 소유주는 의료 파일과 관련된 환자일 수 있다. 블록(1328)에서, 건강관리 데이터베이스 시스템은, 만약 소유주가 사용자에게 허가를 부여하면, 의료 파일의 관련 부분에 대한 액세스를 승인할 수 있다. 예컨대, 치료소의 간호사가 환자의 모든 의료 기록에 액세스할 수 있지만, 간호사의 웨어러블 디바이스는 간호사가 환자의 다음 약속을 예약하기 위해 환자의 이름, 주소 및 사회 보장 번호만 표시할 수 있는데, 그 이유는 간호사가 약속을 예약하기 위해 이전의 의료 검사에서 나온 이미지와 같은 다른 정보를 필요로 하지 않기 때문이다.
[0181] 도 13c는 도 13a의 블록(1330)에 대한 예시적인 서브프로세스를 예시한다. 블록(1332)에서, 웨어러블 디바이스는 (도 13b의 서브프로세스(1320)를 참조하여 설명된) 액세스 검증으로부터 사용자 ID 및 소유주/환자 ID를 결정할 수 있다.
[0182] 블록(1334)에서, 시스템은 시간 또는 위치를 결정할 수 있다. 예컨대, 웨어러블 디바이스는 자신의 환경 센서들로부터의 데이터를 사용하여 사용자의 현재 위치를 결정할 수 있다. 블록(1334)은 블록(1332)에 부가하여 또는 이에 대한 대안으로 수행될 수 있다.
[0183] 블록(1336)에서, 디폴트 디스플레이 스크린이 나타난다. 디폴트 디스플레이 스크린은 사용자와 연관된 정보(이를테면, 예컨대 사용자의 예정된 예약들) 또는 사용자의 환자와 연관된 정보(이를테면, 예컨대, 환자의 의료 기록들)를 제공할 수 있다. 도 21 내지 도 24를 참조하여 추가로 설명된 바와 같이, 웨어러블 디바이스는 콘텍스추얼 정보에 기반하여 디스플레이 스크린을 제공할 수 있다. 예컨대, 웨어러블 디바이스는 사용자의 위치에 기반하거나 요청된 의료 파일에 기반하여 디스플레이 스크린을 제공할 수 있다. 예로서, 착용 가능 디바이스는 도 2a에서 설명된 디스플레이 시스템의 상이한 깊이 평면들에 의료 이미지들을 디스플레이할 수 있다. 가장 최근의 이미지들이 사용자에 가장 가깝게 나타날 깊이 면에 제공될 수 있는 한편, 이전 이미지들은 사용자로부터 더 멀리 있는 깊이 평면에 제공될 수 있다.
[0184] 블록(1338)에서, 사용자는 필요에 따라 디스플레이를 수정할 수 있다. 예컨대, 사용자는 포즈들 또는 사용자 입력 디바이스(466)를 사용하여 더 근접한 깊이의 평면으로 이전 이미지들을 이동시킬 수 있다.
[0185] 도 13d는 도 13a의 블록(1340)에 대한 예시적인 서브프로세스들(1340a 및 1340b)을 예시한다. 웨어러블 디바이스는 하나 이상의 환경 센서들을 사용하여 자신의 환경을 모니터링할 수 있다. 예컨대, 웨어러블 디바이스의 마이크로폰은, 사용자가 웨어러블 디바이스를 착용하는 동안 환경에서 오디오 데이터를 계속해서 획득할 수 있다.
[0186] 서브 프로세스(1340a)의 블록(1342a)에서, 착용 가능 디바이스는 데이터 캡처 트리거를 인식할 수 있다. 도 15의 개시 조건들을 참조하여 추가로 설명되는 바와 같이, 데이터 캡처 트리거는 키워드, 제스처, 오브젝트 또는 사용자 입력 디바이스로부터의 입력일 수 있다. 트리거는 웨어러블 디바이스로 하여금 하나 이상의 환경 센서들로 데이터 캡처를 시작하게 할 수 있다.
[0187] 블록(1344a)에서, 착용 가능 디바이스는 캡처 요건들이 충족될 때까지 데이터를 계속해서 캡처할 수 있다. 예시적인 캡처 요건들은 도 16의 종료 조건들을 참조하여 설명된다.
[0188] 도 13a의 블록(1340)에 대한 서브 프로세스의 다른 예로서, 블록(1342b)에서, 건강관리 제공자는 예컨대, "사진 촬영 1"이고 말함으로써 데이터 캡처 트리거를 활성화할 수 있다. 이 예에서, 건강관리 제공자는 웨어러블 디바이스의 사용자이고, 트리거는 키워드 "사진 촬영 1"을 포함한다.
[0189] 블록(1344b)에서, 착용 가능 시스템(예컨대, 건강관리 제공자의 웨어러블 디바이스)은 트리거에 기반하여 제1 사진을 촬영할 수 있다. 트리거가 사진 번호 1을 수반하기 때문에, 웨어러블 디바이스는 웨어러블 디바이스에 의해 촬영된 사진을 번호 1로 라벨링할 수 있다. 게다가, 사진이 환자의 종양을 포함하기 때문에, 웨어러블 디바이스는 (예컨대, 오브젝트 인식기들(708)을 사용하여) 사진을 분석하고 사진에서 종양을 식별할 수 있다. 그에 따라서, 웨어러블 디바이스는 건강관리 데이터베이스 시스템에 환자의 파일의 종양 절제 부위에 사진을 놓으라는 명령을 자동으로 전송할 수 있다. 웨어러블 디바이스는 또한, 건강관리 데이터베이스 시스템에 다른 정보(예컨대, 사진이 촬영된 시간, 사진이 촬영된 위치, 사진을 촬영한 사용자 등)를 전송할 수 있다. 단일 이미지가 촬영될 때, 데이터 캡처가 완료될 수 있다.
액세스 특권에 기반하여 가상 의료 기록에 액세스하는 예들
[0190] 가상 의료 기록은 액세스 특권과 연관될 수 있다. 도 12를 참조하여 설명된 바와 같이, 환자는 데이터 보안 관리 시스템(1232)을 사용하여 그의 의료 관련 데이터에 대한 액세스 특권을 세팅할 수 있다. 환자 및 사용자로부터 허가를 받은 지정된 사람은 환자의 가상 의료 기록들의 전부 또는 일부에 액세스하기 위한 다른 사용자들에게 액세스하여 허가들을 승인할 수 있다.
[0191] 도 14a는 가상 의료 기록과 연관된 액세스 특권에 기반하여 가상 의료 기록을 액세스하는 예를 예시한다. 도 14a에서, 외과의사(1402)는 수술실에서 환자의 심장(1406)을 수술하고 있다. 환자의 심장을 수술하는 동안, 외과의사(1402)는 환경 센서들에 의해 획득된 환자의 생리적 데이터를 볼 수 있다. 외과의사(1402)는 웨어러블 디바이스를 착용할 수 있고 외과의사의 웨어러블 디바이스의 디스플레이에 표시된 가상 엘리먼트(1404)에 의해 요약된 환자의 생리적 데이터를 볼 수 있다.
[0192] 외과의사는 2명의 의대생들: 의대생(1412) 및 의대생(1414)과 함께 있다. 그러나, 의대생들(1412 및 1414)은 환자의 생리적 데이터를 볼 수 있는 허가들을 갖고 있지 않다. 의대생들이 사용자 디바이스(예컨대, 본원에서 설명된 웨어러블 디바이스를 포함할 수 있는 도 17의 사용자 디바이스(1730)를 참조)로부터 환자의 생리적 데이터에 액세스하려고 시도할 때, 사용자 디바이스는 생리적 데이터가 보일 수 없다는 표시를 수신할 수 있다. 그에 따라서, 사용자 디바이스는 의대생들이 생리적 데이터에 액세스하기 위한 허가를 가지고 있지 않다는 것을 표시하는 통지(1420)를 제공할 수 있다. 통지(1420)는 환자의 의료 기록에 저장될 수 있다. 외과의사의 웨어러블 디바이스는 또한, 외과의사에게, 의대생들이 환자의 생리적 데이터에 액세스하도록 요청했다는 또 다른 통지를 제공할 수 있다. 일부 실시예들에서, 외과의사 또는 의대생의 웨어러블 디바이스는 통지(1420) 부근에 초점 표시자를 제공할 수 있다. 초점 표시자는, 후광(halo), 컬러, 지각된 사이즈 또는 깊이 변화(예컨대, 가상 오브젝트가 선택될 때 가상 오브젝트가 더 근접하게 그리고/또는 더 크게 나타나게 함), 사용자 인터페이스 엘리먼트에서의 변화(예컨대, 서클에서 에스컬레이션 마크까지의 커서의 형상을 변하게 함), 메시지(텍스트 또는 그래픽을 이용) 또는 사용자의 주의를 환기시키는 다른 소리, 촉각 또는 시각 효과들을 포함한다.
[0193] 환자의 의료 관련 데이터를 요청하는 사용자의 웨어러블 디바이스는 사용자의 아이덴티티를 검증하고 다양한 기법들을 사용하여 가상 의료 기록에 대한 사용자의 액세스 특권을 결정할 수 있다. 웨어러블 디바이스는 또한, 그 사용자에게 사용자의 아이덴티티의 검증을 위한 특정 입력을 제공하도록 요구할 수 있다. 입력들은 패스워드, 보안 질문들에 대한 대답들 등을 포함할 수 있다. 웨어러블 디바이스는 입력들이 정확한지에 기반하여 사용자를 인증할 수 있다. 웨어러블 디바이스는 또한, 사용자의 생체인식 정보에 기반하여 사용자의 아이덴티티를 검증할 수 있다. 예컨대, 웨어러블 디바이스는 얼굴 인식, 지문들, 홍채 코드들, 눈 컬러들, 망막 패턴들 등을 사용하여 사용자를 식별할 수 있다. 또한, 생체인식 정보는 사용자의 계정과 연관된 패스워드로서 사용될 수 있다. 유리하게, 특정 생체인식 피처들(이를테면, 예컨대, 지문들, 홍채 패턴들, 망막 패턴들)이 각 사람에 고유하기 때문에, 일부 실시예들에서, 생체인식 정보는(영숫자 스트링 형태의 패스워드보다) 데이터 액세스를 위한 더 강한 폼 인증 및 더 높은 레벨의 보안을 제공한다.
[0194] 사용자의 아이덴티티가 검증되면, 웨어러블 디바이스는 사용자와 연관된 정보에 기반하여 사용자가 가상 의료 기록에 액세스했는지 여부를 결정할 수 있다. 예컨대, 사용자는 계정 식별자(ID)와 연관될 수 있다. 웨어러블 디바이스는 건강관리 데이터베이스 시스템(1220)과 통신하여 계정 ID가 환자의 데이터와 관련된 승인된 계정 ID들의 리스트 내에 있는지를 결정할 수 있다. 다른 예로서, 웨어러블 디바이스는 계정 ID를 사용하여 사용자의 특징들에 액세스하고 사용자의 특징들이 환자가 세팅한 액세스 표준들을 충족시키는지 여부를 결정할 수 있다. 일부 실시예들에서, 환자는 환자 ID(소유주 ID라고도 지칭됨)와 연관될 수 있다. 사용자의 웨어러블 디바이스는 환자 ID를 사용하여 건강관리 데이터베이스 시스템(1220)에 질의함으로써 액세스 표준들 또는 승인된 계정 ID들의 리스트를 리트리브할 수 있다.
[0195] 사용자의 액세스 특권에 기반하여 가상 의료 기록을 제공하는 예로서, 사용자의 웨어러블 디바이스(이를테면, 예컨대, 웨어러블 디바이스의 광학 센서)는 사용자의 눈에 빛을 비추어 망막 인식을 수행할 수 있다(망막 스캐닝이라고 본원에서 또한 지칭됨). 웨어러블 디바이스는 사용자의 망막과 연관된 고유한 패턴을 식별할 수 있다. 고유한 패턴은 사용자의 아이덴티티를 결정하기 위해 사용될 수 있다. 예컨대, 망막 패턴은 패스워드로 사용될 수 있다. 웨어러블 디바이스는 식별된 망막 패턴이 가상 의료 기록에 대한 액세스를 요구하는 사용자 계정 ID와 관련된 망막 패턴과 매칭하는지 여부를 결정할 수 있다. 특정 구현들에서, 웨어러블 디바이스는 건강관리 데이터베이스 시스템(1220)(도 12에 도시됨)과 함께 사용자의 ID를 검증할 수 있다. 예컨대, 웨어러블 디바이스는 사용자의 눈들의 이미지를 촬영할 수 있다. 건강관리 데이터베이스 시스템(1220)은 망막 스캐닝을 수행하고 망막 스캐닝으로부터 식별된 망막 패턴에 기반하여 사용자의 아이덴티티를 인증할 수 있다. 일부 실시예들에서, 사용자의 아이덴티티가 검증되면, 사용자는 가상 의료 기록을 다른 사용자와 공유하거나 다른 사용자가 공유하는 가상 의료 기록을 수신할 수 있다.
[0196] 웨어러블 디바이스는 사용자의 망막 패턴이 가상 의료 기록에 대한 액세스를 요구하는 사용자 계정 ID와 매칭한다고 결정하면, 웨어러블 디바이스는 사용자가 가상 의료 기록에 액세스했는지 여부, 가상 의료 기록의 어느 부분에 사용자가 액세스 했는지, 그리고 사용자가 가상 의료 기록을 편집할 수 있는지 여부를 결정할 수 있다. 게다가, 웨어러블 디바이스는 병원의 예약 스케줄링 시스템, 현재 수술의 상황, 의료 장비와 연관된 정보(예컨대, 장비가 사용 중인지 여부) 등과 같은 다른 건강관리 관련된 가상 콘텐츠들에 대한 사용자의 액세스 특권들을 결정할 수 있다. 웨어러블 디바이스는 사용자가 액세스할 가상 콘텐츠만을 사용자에게 제공할 수 있다. 유리하게, 일부 실시예들에서, 증가된 데이터 프라이버시는 사용자의 액세스 특권의 레벨에 기반하여 웨어러블 디바이스에 가상 콘텐츠를 제공함으로써 달성될 수 있다. 예컨대, 의료 영업 담당자들과 같은 방문자들은, 개인 정보가 컴퓨터 모니터에 표시되거나 서류에 표시될 수 있기 때문에, 치료소나 병원에 있는 동안 개인 환자 정보에 노출될 수 있다. 웨어러블 디바이스는 머리-장착 디스플레이에 개인 정보를 제공함으로써 컴퓨터 모니터 또는 서류에 정보를 디스플레이할 필요성을 감소시킬 수 있다. 방문객들이 요구된 레벨의 액세스 특권을 가지고 있지 않으면, 방문객들은 이전에 서류 또는 컴퓨터 모니터 상에 있었던 개인 환자 정보에 액세스할 수 없을 것이다. 웨어러블 디바이스의 일부 실시예들은, 홍채 코드(이를테면, 예컨대, 미국 특허 제5,291,560호에 기재된 Daugman 홍채 코드)를 결정하기 위해 착용자의 홍채 이미지들을 분석하고 홍채 코드를 사용하여 망막 스캔에 부가하여 또는 이에 대한 대안으로 환자의 의료 기록들에 대한 계좌 인가 및 액세스를 수행할 수 있다.
[0197] 일부 실시예들에서, 사용자가 가상 의료 기록에 액세스하지 않으면, 사용자는 허가들을 승인하도록 다른 엔티티에 요청할 수 있다. 다른 엔티티는 가상 의료 기록의 소유주일 수 있다. 예컨대, 사용자의 웨어러블 디바이스는 가상 의료 기록을 소유한 환자의 웨어러블 디바이스에, 액세스를 승인하도록 환자에게 요구하는 요청을 자동으로 전송할 수 있다. 다른 엔티티는 또한 액세스를 위임할 수 있는 사용자를 포함할 수 있다.
[0198] 엔티티와 관련된 액세스 특권의 레벨은 환자와 엔티티의 상호 작용에 기반하여 변할 수 있다. 예컨대, 의사의 진료실의 프론트 데스크 접수 담당자가 환자들의 스케줄링을 담당할 수 있다. 새로운 환자가 의사의 진료실을 방문할 때, 프론트 데스크 접수 담당자는 처음에는 이름 및 생년월일과 같은 새로운 환자의 기본 정보에 액세스할 수 있다. 새로운 환자가 의사와 처음으로 상담한 후, 의사는 예컨대, 환자의 진단, 치료, 절차 정보 등과 같은 환자에 관한 더 많은 정보를 접수 담당자가 볼 수 있게 허용하기 위해 접수 담당자의 액세스 특권을 증가시킬 수 있다. 의사는 의사의 웨어러블 디바이스를 사용하여 접수 담당자의 액세스 특권을 업데이트할 수 있다. 예컨대, 의사는 사용자 입력 디바이스(466) 또는 포즈들을 사용하여 접수 담당자의 웨어러블 디바이스와 연관된 계정 ID를 더 높은 레벨의 액세스 특권과 연관된 계정 ID들의 리스트에 추가할 수 있다. 증가된 레벨의 액세스 특권의 결과로서, 접수 담당자는 환자의 다음 방문을 적절히 스케줄링하기 위해 환자의 더 많은 정보를 획득할 수 있다. 예컨대, 접수 담당자는 의사의 진단에 기반하여 다음 예약의 지속기간 및 타입을 결정할 수 있다. 접수 담당자는 그에 따라서 적합한 검사실을 예비하고 다음 예약을 위한 정확한 시간대를 예약할 수 있다. 사용자의 아이덴티티를 검증하고 사용자의 액세스 특권들을 결정하는 예들이 사용자의 웨어러블 디바이스를 참조하여 설명되지만, 일부 실시예들에서, 건강관리 데이터베이스 시스템(1220)은 또한, 단독으로 또는 다른 사용자 디바이스와 조합하여, 웨어러블 디바이스 외에도 또는 이를 대체하여 검증을 수행하고 액세스 레벨들을 결정할 수 있다.
액세스 특권에 기반하여 가상 의료 기록에 액세스하는 예시적인 프로세스들
[0199] 도 14b는 액세스 특권에 기반하여 가상 의료 기록을 액세스하기 위한 예시적인 프로세스(1480)를 도시하는 흐름도를 예시한다. 프로세스(1480)는 건강관리 데이터베이스 시스템(1220)(도 12에 도시됨)에 의해 수행될 수 있다.
[0200] 블록(1482)에서, 건강관리 데이터베이스 관리 시스템은 가상 의료 기록에 액세스하기 위한 HCP 시스템으로부터의 요청을 수신한다. 가상 의료 기록은 가상 의료 기록과 연관된 환자가 소유할 수 있다. 가상 의료 기록은 의료 데이터 저장부(1222)에 저장될 수 있다.
[0201] 블록(1484)에서, 건강관리 데이터베이스 관리 시스템은 가상 의료 기록과 연관된 액세스 특권을 결정한다. 예컨대, 건강관리 데이터베이스 관리 시스템은 의료 데이터 저장부(1222)에 액세스하여 액세스 특권을 식별할 수 있다. 일부 실시예들에서, 건강관리 데이터베이스 관리 시스템(1222)은 가상 의료 기록의 특징을 식별하고, 사용자에 의해 제공된 액세스 표준(도 12에서 설명됨)에 기반하여 가상 의료 기록에 어느 레벨의 액세스 특권이 부착되어야 하는지를 결정할 수 있다.
[0202] 블록(1490)에서, 건강관리 데이터베이스 시스템은 HCP 시스템이 가상 의료 기록에 액세스하도록 인가되었는지 여부를 결정할 수 있다. 예컨대, 건강관리 데이터베이스 시스템은 HCP의 아이덴티티를 검증하고 HCP가 가상 의료 기록의 리트리브에 요구되는 액세스 특권을 갖는지 여부를 결정할 수 있다.
[0203] 만약 HCP 시스템이 가상 의료 기록에 액세스하도록 인가되면, 블록(1492)에서, 건강관리 데이터베이스 시스템은 프리젠테이션을 위해 HCP와 연관된 웨어러블 디바이스에 가상 의료 기록을 통신한다. 일부 실시예들에서, HCP는 가상의 의료 기록의 일부분에만 액세스하도록 인가되고, 건강관리 데이터베이스 시스템은 HCP 시스템이 액세스할 허가들을 갖는 가상 의료 기록의 일부를 반송할 수 있다.
[0204] 만약 HCP 시스템이 가상 의료 기록에 액세스하도록 인가되지 않으면, 건강관리 데이터베이스 시스템은 HCP 시스템이 가상 의료 기록에 액세스하도록 인가되지 않았다고 표시하는 통지(이를테면, 예컨대, 도 14a에 도시된 통지(1420))를 제공할 수 있다. 일부 실시예들에서, HCP 시스템은 가상 의료 기록을 볼 수 있지만, HCP 시스템은 가상 의료 기록을 편집할 수 없을 수 있다. 그에 따라서, 만약 HCP 시스템이 가상 의료 기록을 수정하려고 시도하면, 건강관리 데이터베이스 시스템은 또한, HCP 시스템이 가상 의료 기록을 수정하도록 인가되지 않았음을 표시하는 통지를 HCP 시스템에 제공할 수 있다. 일부 실시예들에서, 건강관리 데이터베이스 시스템은 HCP 시스템이 가상 의료 기록을 보거나 업데이트했다는 것을 의료 기록에 메모할 수 있다. 이 메모는 또한, HCP 시스템이 가상 의료 기록을 보았던 장소, 시기 또는 기간에 관한 정보를 포함할 수 있다. 메모는 또한, 가상 의료 기록에서 HCP 시스템이 보거나 업데이트한 부분들을 포함할 수 있다. 이러한 메모들은 의료 기록의 액세스 로그 또는 다른 데이터베이스에 저장될 수 있다. 액세스 로그는 제한적인 편집 액세스 특권을 가지고 있어서 인가되지 않은 사용자는 환자의 의료 기록을 편집할 수 없으며 그 결과 자신의 자취를 감추기 위해 인가되지 않은 액세스의 임의의 흔적을 제거하기 위해 액세스 로그를 편집할 수 없다.
환자와 건강관리 제공자 간의 상호 작용을 문서화하는 예들
[0205] 다수의 엔티티들이 환자의 HCP 방문에 대개 수반된다. 예컨대, 환자가 치료소를 방문하는 동안, 환자는 먼저 섭취 형태를 기입할 수 있다. 간호사는 섭취 형태에 기반하여 환자 정보를 컴퓨터 시스템에 입력할 수 있고, 예를 들어 환자의 알레르기, 환자의 이전 치료소 방문들에 대한 정보, 다른 의료 정보 등과 같은 환자와 관련된 추가적인 정보를 리트리브할 수 있다. 의사는 환자를 보고 환자에 대해 수행된 대화들 및 검사들에 기반하여 메모를 할 수 있다. 그러나 HCP들에 의해 획득된 정보는 완벽하지 않을 수 있다. 예컨대, 의사의 메모들은 환자와의 대화의 일부를 놓칠 수 있다. 게다가, 환자가 치료소를 방문하는 시기와 환자가 방문하는 동안 획득된 정보를 반영하도록 환자의 진료 기록이 업데이트되는 시기 사이에 대개 지연이 있다. 의료 기록이 다수의 엔티티들에 의해 업데이트될 필요가 있고 일부 엔티티들만이 주기적으로 업데이트들을 통신할 수 있기 때문에 지연이 발생할 수 있다.
[0206] 이러한 문제점들을 해결하기 위해, 웨어러블 디바이스는 환자와 HCP 간의 상호 작용을 문서화하고, 상호 작용 중에 획득된 정보를 프로세싱하고, 그리고 환자가 HCP와 상호 작용할 때 실질적으로 실시간으로 환자의 의료 기록을 자동으로 업데이트하도록 구성될 수 있다. 환자와 HCP 간의 상호 작용은, 환자와 HCP 간의 대화, 환자에게 수행된 검사 또는 수술, 환자가 HCP에 제공한 정보(이를테면, 예컨대, 의료 이력들), HCP가 환자에게 제공한 정보(이를테면, 예컨대, 진단) 등 또는 이들의 조합 등을 포함할 수 있다. 웨어러블 디바이스는 환자와 HCP 간의 상호 작용 중에 획득된 정보에 기반하여 환자의 가상 의료 기록들을 업데이트할 수 있다. 예컨대, 웨어러블 디바이스는 환자의 의료 기록에, 검사에서의 의료 이미지들, 환자의 증상들(환자와 의사 간의 대화에 기반하여 추출됨) 또는 의사의 메모 및 진단 등을 추가할 수 있다.
환자와 HCP 간의 상호 작용을 기록하고 프로세싱하는 예들
[0207] 웨어러블 디바이스는 환자와 HCP 간의 상호작용의 데이터를 기록하기 위해 하나 이상의 환경 센서들(도 2a 및 2b를 참조하여 설명됨)을 사용할 수 있다. 상호작용의 데이터는 오디오 및 시각적 데이터를 포함할 수 있다.
[0208] 웨어러블 디바이스는 관련 정보를 추출하기 위해(이를테면, 예컨대, 로컬 프로세싱 모듈(260), 원격 프로세싱 모듈(270), 데이터 프로세싱 시스템(1236)을 사용하여) 기록된 데이터를 프로세싱할 수 있다. 웨어러블 디바이스는 기록된 대화에서 환자 또는 HCP에 의해 발화된 단어들을 식별하기 위해 (도 12를 참조하여 설명된 다양한 스피치 인식 기법들을 구현할 수 있는) 받아쓰기 프로그램을 사용할 수 있다. 웨어러블 디바이스는 또한, 하나 이상의 오브젝트 인식기들(708)을 사용하여 오브젝트 또는 상호작용에 수반되는 사람을 식별할 수 있다. 예컨대, 웨어러블 디바이스는 얼굴 인식 알고리즘을 사용하여 환자의 얼굴을 자동으로 검출할 수 있다. 다른 예로서, 웨어러블 디바이스는 컴퓨터 비전 알고리즘을 사용하여 사용자의 신체 일부(이를테면, 환자가 문제를 경험하는 사지)를 검출할 수 있다. 또 다른 예로서, 웨어러블 디바이스는 텍스트 인식 기법들을 사용하여 외향 이미징 시스템(464)에 의해 획득된 이미지들 내의 텍스트를 추출할 수 있다.
[0209] 웨어러블 디바이스는 기록 데이터의 일부를 관련 부분으로서 식별할 수 있다. 예컨대, 기록된 데이터는 환자가 방문하는 동안 환자와 의사 간의 전체 대화를 포함할 수 있다. 그러나 대화의 시작은 환자의 병을 진단하는 것과 관련이 없는 인사말의 교환을 수반할 수 있다. 웨어러블 디바이스는 대화의 어느 부분이 증상들이나 의료 정보의 설명과 관련이 없는지를 식별하도록 구성될 수 있다. 웨어러블 디바이스는 다양한 머신 학습 알고리즘들을 사용하여 어느 부분이 관련성이 있는지를(또는 관련성이 없는지를) 결정할 수 있다. 예컨대, 웨어러블 디바이스는 오디오 데이터 또는 단어 설명들의 특정 키워드들을 식별하도록 트레이닝된 머신 학습 모델을 적용할 수 있다. 다른 예로서, 웨어러블 디바이스는 컴퓨터 비전 알고리즘을 적용하여 관련 오브젝트(이를테면, 혹이 있는 환자 신체의 일부)를 포함하는 이미지의 부분을 식별할 수 있다. 웨어러블 디바이스는 또한, 다양한 머신 학습 알고리즘들을 사용하여(예컨대, 환자의 스피치를 통해 또는 웨어러블 디바이스의 외향 이미징 시스템(464)에 의해 캡쳐된 환경/환자의 이미지들로부터) 환자의 증상을 식별할 수 있다. 웨어러블 디바이스는 식별된 증상에 관한 통지를 사용자에게 제공할 수 있다. 예컨대, 만약 사용자가 검사 중에 환자의 왼쪽 다리에 대해 물리적 검사를 수행할 때 환자가 통증 때문에 움츠리는 것을 사용자가 인지하지 못하면(예컨대, 사용자와 환자 사이에 환자 왼쪽 다리의 통증을 언급하는 대화가 없음), 웨어러블 디바이스는 환자의 왼쪽 다리에 불편함이 있을 수 있다는 통지(예컨대, 시각적인 경고)를 제공하거나 의료 파일에 메모할 수 있다.
[0210] 특정 구현들에서, 웨어러블 디바이스는 관련 없는 부분을 프로세싱하지 않도록 구성될 수 있다. 예컨대, 웨어러블 디바이스는 날씨에 대한 논의를 수반하는 오디오 데이터의 일부를 식별할 수 있다. 웨어러블 디바이스는 오디오 데이터의 이 부분에 음성 인식을 적용하지 않도록 선택할 수 있다. 다른 예로서, 웨어러블 디바이스가 오디오 데이터를 트랜스크립한 후, 웨어러블 디바이스는 환자의 증상을 수반하는 디스크립션의 부분을 관련 부분으로 마킹할 수 있다. 트랜스크립션에 기반하여, 웨어러블 디바이스는 관련 부분에 머신 학습 모델을 적용하여 환자의 증상들의 디스크립션들에서 핵심 포인트들을 식별할 수 있다. 그러나 웨어러블 디바이스는 날씨에 대한 논의에 머신 학습 모델을 적용하지 않도록 구성될 수 있다.
[0211] 도 15는 환자(1502)와 HCP 간의 상호작용과 연관된 오디오 데이터를 기록하고 프로세싱하는 예를 예시한다. HCP는 웨어러블 디바이스를 착용할 수 있는 의사일 수 있다. 웨어러블 디바이스는 배경에서 받아쓰기 프로그램을 실행할 수 있다. 받아쓰기 프로그램은 도 12에 설명된 데이터 처리 시스템(1236)의 실시예일 수 있다. 받아쓰기 프로그램은 웨어러블 디바이스의 마이크로폰(232)으로부터 오디오 데이터를 수신할 수 있다. 일부 구현들에서, 받아쓰기 프로그램은 오디오 데이터의 콘텐츠를 모니터링할 수 있지만 환자와 HCP 간의 대화의 일부만을 기록할 수 있다. 다른 실시예들에서, 받아쓰기 프로그램은 전체 대화를 기록한다. 웨어러블 디바이스는 환자와 HCP 간의 상호작용의 일부를 (예컨대, 외향 이미징 시스템(464)만을 통해 또는 마이크로폰(232)과 조합하여) 기록할 수 있다. 웨어러블 디바이스는 다양한 기법들을 사용하여 상호작용의 어느 부분이 기록되어야 하는지를 결정할 수 있다. 예컨대, 웨어러블 디바이스는 개시 조건이 존재한다는 결정에 대한 응답으로 기록을 시작하고 종료 조건이 존재할 때 기록을 중지할 수 있다. 추가적으로 또는 대안적으로, 웨어러블 디바이스는 절차 동안 (예컨대, 외향 이미징 시스템에 의해) 촬영된 환자의 이미지들을 프로세싱할 수 있다. 이미지들 (또는 이미지의 분석)은 환자의 의료 기록에 저장될 수 있으며, 이는 절차의 더 포괄적이고 정확한 기록을 제공할 수 있다. 예컨대, 웨어러블 디바이스는 (예컨대, 파열의 각도를 결정하기 위해) 환자의 부러진 사지 또는 (예컨대, 발진 또는 과열의 존재를 결정하기 위해) 환자의 피부의 컬러를 도시하는 이미지들을 분석할 수 있다.
개시 조건들 및 종료 조건들의 예들
[0212] 개시 조건 및 종료 조건은, 키워드, 사용자 입력 디바이스(466)로부터의 입력, 또는 포즈(이를테면, 예컨대, 머리 포즈, 손 제스처 또는 다른 신체 포즈)를 포함할 수 있다. 일부 실시예들에서, 키워드 또는 포즈는 활성화 커맨드로 지칭될 수 있다. 예로서, 키워드는 “sick”, “pain”, “hurt”, "diabetes”, “cancer”, “stop”, “start” 등을 포함할 수 있다. 키워드는 웨어러블 디바이스에 사전-프로그래밍된 디폴트 키워드들, 웨어러블 디바이스의 사용자가 지정한 단어들, 머신 학습 알고리즘을 사용하여 식별된 단어들을 단독으로 또는 조합하여 포함할 수 있다.
[0213] 웨어러블 디바이스는 키워드들을 검출하고 그리고 음성 또는 스피치 인식 기법들을 적용하여 개시 조건의 존재를 식별할 수 있다. HCP는 특정한 사용자가 말하는 특정 키워드들을 개시 조건으로 지정할 수 있다. 예컨대, 의사는 의사 본인이 말하는 "문서화 시작"의 어구를 개시 조건으로서 지정할 수 있다. 그에 따라서, 만약 (간호사가 아니라) 의사가 "문서화 시작"을 말하는 것을 웨어러블 디바이스가 검출한다면, 의사의 웨어러블 디바이스는 마이크로폰 상에서 수신되는 오디오 데이터의 기록(선택적으로, 외향 카메라에 의해 획득되는 시각 기록이 수반됨)을 시작할 수 있다. 마찬가지로, 웨어러블 디바이스가, 이를테면 "문서화 중지"의 어구를 검출할 때, 의사의 웨어러블 디바이스는 오디오(또는 시각)의 기록을 중지할 수 있다.
[0214] 일부 실시예들에서, 웨어러블 디바이스는 검출된 키워드들과 연관된 콘텍스트를 제공할 수 있다. 예컨대, 웨어러블 디바이스의 로컬 프로세싱 및 데이터 모듈(260)은 버퍼를 포함할 수 있다. 웨어러블 디바이스가 사용자의 환경을 모니터할 때, 상호작용의 오디오/시각 데이터가 버퍼에 일시적으로 저장될 수 있다. 웨어러블 디바이스가 개시/종료 조건의 존재를 검출하면, 웨어러블 디바이스는 키워드에 대한 콘텍스트를 제공하기 위해 활성화 커맨드 전에/후에 오디오/시각 데이터를 (예컨대, 버퍼로부터) 리트리브하고 분석할 수 있다. 다른 예로서, 웨어러블 디바이스가 활성화 커맨드의 존재를 검출할 때, 웨어러블 디바이스는 활성화 커맨드 전에 그리고 후에 오디오/시각 데이터의 일부의 저장을 개시할 수 있다. 예컨대, 웨어러블 디바이스는 활성화 커맨드 2분 전 또는 활성화 커맨드 5분 후에 대화를 기록(또는 스토리지를 개시)할 수 있다. 기록된 대화는 HCP의 나중의 뷰를 위해 프로세싱 및 저장될 수 있다. 유리하게, 일부 실시예들에서, 개시 커맨드 전에 그리고 후에 오디오/시각 데이터를 기록함으로써, 웨어러블 디바이스는 키워드들의 콘텍스트를 제공할 수 있다. HCP는 필요한 경우 나중에 텍스트를 편집할 수 있지만, 콘텍스트는 환자가 말한 것을 HCP가 기억하는데 도움을 줄 수 있다. 게다가, 하드웨어 스토리지 공간을 절약하기 위해, 웨어러블 디바이스는, 예컨대, 활성화 커맨드보다 2분 이상 전에 또는 활성화 커맨드보다 5분 이상 후에 획득된 오디오/시각 데이터를 나중에 지우거나 중복 기재할 수 있다.
[0215] 추가적으로 또는 대안적으로, 의사의 웨어러블 디바이스는 웨어러블 디바이스의 메모리에 의사와 환자 간의 전체 대화를 기록할 수 있다. 일단 웨어러블 디바이스가 개시 조건 또는 종료 조건을 검출하면, 웨어러블 디바이스는, 개시 조건 또는 종료 조건 전후의 대화의 일부를 포함하여, 콘텍스트를 리트리브하여 의사에게 제공할 수 있다. 의사는 콘텍스트를 검토 또는 편집하며, 웨어러블 디바이스에 의해 콘텍스트가 문서화되어야 하는지 여부를 결정할 수 있다.
[0216] 키워드들에 부가하여 또는 이에 대한 대안으로, 개시 조건 또는 종료 조건의 존재는 또한, 사용자 입력 디바이스(예컨대, 사용자 입력 디바이스(466) 참조)로부터의 입력에 기반하여 검출될 수 있다. HCP는, 이를테면, 예컨대, 마우스를 클릭하거나, 터치 패드를 두드리거나(tapping), 터치 스크린을 스와이핑하거나, 용량성 버튼 위를 호버링 또는 용량성 버튼을 터치하거나, 키보드 또는 게임 제어기(예컨대, 5-웨이 d-패드) 상의 키를 누르거나, 조이스틱, 원드(wand), 또는 토템을 오브젝트를 향해 포인팅하거나, 리모콘(remote control) 상의 버튼을 누르거나, 또는 사용자 입력 디바이스와의 다른 상호작용들과 같은 다양한 방식들을 사용하여 사용자 입력 디바이스를 작동시킬 수 있다. 예로서, HCP는 토템을 사용하여 딕테이션 프로그램을 턴 온 또는 턴 오프시킬 수 있다. HCP가 토템 상의 특정 버튼을 눌렀음을 웨어러블 디바이스가 검출할 때, 웨어러블 디바이스는 딕테이션 프로그램의 실행을 시작할 수 있다. 동일한 버튼이 다시 눌러졌음을 웨어러블 디바이스가 나중에 검출할 때, 웨어러블 디바이스는 딕테이션 프로그램을 중지시킬 수 있다.
[0217] 웨어러블 디바이스는 또한, 개시 조건 또는 종료 조건이 존재하는지 여부를 결정하기 위해, HCP의 포즈를 검출할 수 있다. 웨어러블 디바이스는 자신의 환경 센서들에 의해 획득된 데이터를 사용하여 HCP의 포즈를 검출할 수 있다. 예컨대, 웨어러블 디바이스는, 사용자의 머리 포즈가 변경되었는지 여부를 결정하기 위해 IMU들을 사용할 수 있다. 웨어러블 디바이스는 또한, 사용자의 손 제스처들을 검출하기 위해, 외향 이미징 시스템에 의해 획득된 이미지들에 컴퓨터 비전 알고리즘을 적용할 수 있다. 웨어러블 디바이스는 검출된 손 제스처를 개시/종료 조건과 연관된 제스처와 매칭시킬 수 있다. 개시/종료 조건과 연관된 제스처는 HCP에 의해 세팅될 수 있다. 예컨대, 건강관리 제공자는 오디오 데이터 기록의 개시 조건으로서 "왼손에 손가락을 두드리는 것"을 지정하고, 오디오 데이터 기록의 종료 조건으로서 "오른손에 손가락을 두드리는 것"을 지정할 수 있다. HCP의 웨어러블 디바이스는, 환자가 HCP에게 말할 때 배경에서 딕테이션 프로그램을 실행시킬 수 있다. 웨어러블 디바이스는, 외향 이미징 시스템에 의해 획득된 이미지에 기반하여, HCP가 자신의 왼손에 자신의 오른쪽 검지 손가락을 두드렸음을 검출할 수 있다. 이러한 손 제스처는 개시 조건과 연관되기 때문에, 웨어러블 디바이스는, 환자와 HCP가 대화할 때 딕테이션 프로그램을 사용하여 오디오 데이터의 기록을 시작할 수 있다. HCP가 자신이 오른손에 자신의 왼손의 손가락들 중 하나를 두드렸음을 웨어러블 디바이스가 검출할 때, 웨어러블 디바이스는, 배경에서 딕테이션 프로그램이 여전히 실행중일 수 있음에도 불구하고, 오디오 데이터의 기록을 중지할 수 있다.
[0218] 일부 환자들은, 누군가 환자의 대화를 기록하거나 환자를 확실하게(obviously) 이미징할 때 불편함을 느낄 수 있다. 유리하게, 일부 실시예들에서, 개시 조건 및 종료 조건은 환자가 자신이 기록되거나 이미징되고 있음을 알지 못하도록 신중할 수 있다. 예컨대, 개시 조건에 대한 키워드들은 "기록 시작"의 어구 대신 "고통이 있음"의 어구일 수 있다. 다른 예로서, 개시 조건과 연관된 제스처는, HCP의 웨어러블 디바이스의 앞에 HCP의 팔을 흔드는 것 보다는, 테이블에 손가락을 두 번 두드리는 것일 수 있다.
오디오 데이터의 기록 및 프로세싱의 예들
[0219] 도 15에 예시된 바와 같이, 환자 ABC(1502)는 자신의 의료 상황을 HCP(도 15에는 미도시)에게 설명한다. 의료 상황은 환자의 증상들, 환자가 증상들을 가졌던 지속 기간, 개인 의료 이력, 가족 의료 이력 등을 포함할 수 있다. 이 예에서, 환자의 증상들은 일주일 동안 지속된 왼쪽 엉덩이 고통을 수반한다. 게다가, 환자는 자신의 엄마가 관절염을 앓고 있다고 HCP에게 말한다. 딕테이션 프로그램은, 환자가 말할 때, 환자의 설명을 복사(transcribe)할 수 있다. HCP의 웨어러블 디바이스는 환자의 설명의 관련 부분들을 요약하는 가상 아이템(1520)을 생성할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는, 환자의 설명에 의해 제공되지 않은 추가적인 정보를 획득하기 위해 다른 컴퓨팅 시스템과 통신할 수 있거나 또는 하나 이상의 환경 센서들을 사용할 수 있다. 예컨대, 웨어러블 디바이스는 얼굴 인식 알고리즘을 적용하여, 외향 이미징 시스템에 의해 획득된 이미지에서 환자의 얼굴을 검출하여, 환자의 아이덴티티를 결정할 수 있다. 웨어러블 디바이스는 검출된 얼굴을 사용하여 건강관리 데이터베이스 시스템(1220)에 질의할 수 있다. 만약 환자의 정보가 건강관리 데이터베이스 시스템(1220)에 있다면, 건강관리 데이터베이스 시스템(1220)은 환자의 이름 또는 다른 정보를 웨어러블 디바이스에 반송할 수 있다. 이 예에서, 환자의 이름은 ABC 이다. 웨어러블 디바이스는 건강관리 데이터베이스 시스템(1220)으로부터 리트리브된 정보를 가상 아이템(1520)에 통합시킬 수 있다. 이 예에서, 환자의 이름이 가상 아이템(1520)에 추가된다. 일부 경우들에서, 환자는 검사 동안 웨어러블 디바이스를 착용할 수 있으며, 그리고 환자의 웨어러블 디바이스 상의 사용자 센서들에 의해 획득된 환자 정보는 HCP의 웨어러블 디바이스에 통신되거나 환자 의료 기록에 저장될 수 있다. 예컨대, 눈-추적 카메라들은 사용자의 눈들에 관한 정보를 결정할 수 있고, 웨어러블 디바이스 상의 생리적 센서들은, 예컨대 환자의 심박수, 호흡률, 혈압 등에 관한 정보를 결정할 수 있다.
[0220] 가상 아이템(1520)은 HCP의 웨어러블 디바이스에 의해 디스플레이될 수 있다. 일부 상황들에서, 환자(1502)는 또한 웨어러블 디바이스를 착용한다. 가상 아이템(1520)은 또한, 환자의 웨어러블 디바이스에 의해 디스플레이될 수 있다.
[0221] 기록된 또는 프로세싱된 데이터는 환자의 의료 기록들에 추가될 수 있다. 웨어러블 디바이스는, 환자의 의료 기록들에 데이터를 추가하기 전에, 도 12-14b를 참조하여 설명된 다양한 아이덴티티 검증 기법들을 사용하여 환자의 아이덴티티를 검증할 수 있다.
[0222] HCP의 웨어러블 디바이스가 환자의 HCP 간의 상호작용을 문서화하기는 하지만, 환자의 웨어러블 디바이스는 또한, 상호작용들을 HCP의 웨어러블 디바이스와 조합하여 또는 단독으로 문서화할 수 있다. 예컨대, 환자는 자신의 웨어러블 디바이스 상의 딕테이션 프로그램을 사용하여 자신의 의료 상황들을 딕테이팅(dictate)할 수 있다.
[0223] 게다가, 이 예가 딕테이션 프로그램을 사용하기는 하지만, 상호작용을 문서화하기 위한 다른 입력 기법이 또한 사용될 수 있다. 예컨대, HCP는 웨어러블 디바이스의 가상 또는 물리적 키보드를 사용하여 환자의 설명들을 타이핑함으로써 상호작용들을 문서화할 수 있다. HCP는 또한, HCP의 웨어러블 디바이스의 외향 이미징 시스템을 사용하여 상호작용들을 이미징함으로써 상호작용들을 문서화할 수 있다.
이미징 데이터의 기록 및 프로세싱의 예들
[0224] HCP의 웨어러블 디바이스는 하나 이상의 환경 센서들을 사용하여 환자의 이미지를 획득할 수 있다. 예컨대, 웨어러블 디바이스는 외향 이미징 시스템(464)을 사용하여 환자의 사진 또는 비디오테이프를 찍을 수 있다. 유리하게, 일부 실시예들에서, 웨어러블 디바이스는 핸즈프리(hands-free) 방식의 기록을 제공하고 그에 의해 무균상태 이슈들을 최소화할 수 있다. 예컨대, 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터를 사용하여, 웨어러블 디바이스의 사용자가 수술실에 들어갔는지 여부를 결정할 수 있다. 웨어러블 디바이스는, 전형적으로 수술실에 존재하는 아이템들을 식별하거나 또는 "수술실"을 나타내는 싸인을 식별하기 위해, 오브젝트 인식기들(708)을 사용하여 결정을 할 수 있다. 사용자가 수술실에 있다는 결정에 대한 응답으로, 웨어러블 디바이스는 수술실에서 이루어지는 절차의 오디오/시각 데이터를 기록할 수 있다. 추가적으로 또는 대안적으로, 웨어러블 디바이스는 종료 조건이 검출될 때 까지 수 초마다 사용자의 주변의 사진 또는 비디오테이프를 찍을 수 있다.
[0225] 다른 예로서, HCP의 웨어러블 디바이스는 HCP에 의해 발화되는 키워드 또는 제스처에 대한 응답으로 환자의 이미지들의 기록 또는 환자에 대한 의료 절차를 시작할 수 있다. 예컨대, 웨어러블 디바이스는 "기록 시작"의 어구를 검출할 시에 절차의 일부를 기록하는 것을 시작할 수 있고, 의사에 의해 발화된 "기록 중지"의 어구의 검출시에 기록을 중지할 수 있다. 의사는 또한, 환자의 이미지를 촬영하기 위한 활성화 커맨드로서 웨어러블 디바이스 앞에서 자신의 오른손을 세번 흔들 수 있다.
[0226] 포즈들, 음성 커맨드들, 또는 오브젝트 인식기들을 사용함으로써, 웨어러블 디바이스는 의료 절차/시험에서 HCP가 비무균 디바이스들(이를테면, 예컨대, 개인 디바이스들, 카메라들 또는 스마트폰들)에 접촉하는 것을 회피하는 것을 도울 수 있다. 게다가, 웨어러블 디바이스는 기록된 오디오/시각 데이터에 기반하여 환자의 가상 의료 기록들(이를테면, 예컨대 환자 차트들)을 자동으로 업데이트할 수 있으며, 이에 의해, 통상의 기법들로 개인 디바이스들 또는 디지털 현미경 등으로부터 데이터를 업로드할 필요성을 감소시킬 수 있다.
기록된 데이터로 가상 의료 기록들을 자동으로 업데이트하는 예들
[0227] 현재, 환자의 의료 이미지들은 병원의 PACS(picture archiving and communication system)에 의해 관리 및 저장된다. 환자의 새로운 의료 이미지들을 추가하기 위해, HCP는 이러한 새로운 이미지들을 병원의 PACS 시스템에 이메일로 보내야 할 필요가 있다. 그러나, 환자의 기록을 업데이트하는 이러한 기법은 신뢰성이 없을 수 있는데, 왜냐하면 이미지들이 잘못된 사람에게 우연히 부착되거나 이메일에서 유실될 수 있기 때문이다.
[0228] 본원에서 설명된 웨어러블 디바이스는 환자의 의료 기록(이를테면, 예컨대, 환자의 차트)을 업데이트하기 위한 더 빠르고 더 정확한 방법을 제공할 수 있다. 웨어러블 디바이스는 업데이트될 필요가 있을 수 있는 환자의 파일을 식별할 수 있다. 예컨대, 웨어러블 디바이스는 HCP(이를테면, 예컨대 의사)에 의한 환자의 파일의 선택을 수신할 수 있다. 웨어러블 디바이스는 또한, 환자의 얼굴 인식, 음성 인식, 또는 다른 생체인식 정보를 사용하여 환자를 식별할 수 있다. 유리하게, 본원에서 설명된 다양한 아이덴티티 검증 기법들을 사용함으로써, 웨어러블 디바이스는 환자의 데이터가 다른 환자의 파일에 우연히 부착될 가능성을 감소시킬 수 있다.
[0229] 웨어러블 디바이스가 환자를 식별하면, 웨어러블 디바이스는 업데이트들을 위해 환자의 파일을 열 수 있다. 그에 따라서, 환자가 HCP와 상호작용하는 동안 HCP가 환자의 파일을 액세스할 수 있게 된다. HCP가 환자와 연관된 오디오/시각 데이터를 캡처하기 때문에, 이러한 데이터는 거의 실시간으로 환자의 파일에 부착될 수 있다. HCP의 웨어러블 디바이스는 환자의 파일에 대한 업데이트를 보관하기 위해서 건강관리 데이터베이스 관리 시스템과 통신할 수 있다. 유리하게, 일부 실시예들에서, 환자가 HCP와 상호작용하고 있는 동안 환자의 파일을 자동으로 업데이트함으로써, HCP는 PACS(또는 다른 HCP)와 왔다갔다 이미지들을 이메일로 보낼 필요가 없으며, 이에 의해 이미지들이 유실될 가능성을 감소시킨다. 게다가, 환자의 파일에 대한 업데이트는 환자의 방문/상호작용 동안 발생할 수 있으며, 이는 환자의 기록들을 업데이트함에 있어서의 지연들을 감소시킬 수 있다.
[0230] 특정 구현들에서, 환자의 의료 기록이 뷰 또는 편집을 위해 오픈되었을 때, 웨어러블 디바이스들의 다수의 사용자들이 가상 의료 기록들을 총괄적으로 보고 업데이트할 수 있다. 도 17 내지 도 20을 참조하여 추가로 설명되는 바와 같이, 웨어러블 디바이스의 제1 사용자가 의료 기록들을 업데이트할 수 있는 한편, 웨어러블 디바이스의 제2 사용자는, 제1 사용자가 의료 기록들을 업데이트할 때, 업데이트된 가상 의료 기록들을 볼 수 있다. 웨어러블 디바이스는 가상 의료 기록과 각각의 사용자의 상호작용 및 가상 의료 기록에 누가 액세스하고 있는지의 표시(예컨대, 위에서 설명된 액세스 로그)를 제공 및 저장할 수 있다. 예컨대, 웨어러블 디바이스는 제1 사용자의 가상 아바타, 및 가상 의료 기록들의 한 세트의 이미지들 인근에 "편집"이라는 단어를 도시할 수 있다. 웨어러블 디바이스는 또한, 제2 사용자의 이름, 및 한 세트의 이미지들 인근에 "보고 있는"이라는 단어를 도시할 수 있다.
환자와 건강관리 제공자 간의 상호작용을 문서화하는 예시적인 프로세스
[0231] 도 16은 웨어러블 디바이스에 의한 의료 이벤트를 문서화하기 위한 예시적인 프로세스(1600)를 도시하는 흐름도이다. 의료 이벤트는 HCP와 환자 간의 상호작용, 환자에 대해 수행되는 검사 또는 절차, 또는 상호작용/검사/절차의 일부 등을 포함할 수 있다. 프로세스(1600)는 웨어러블 디바이스에 의해 수행될 수 있다. 웨어러블 디바이스의 사용자는 HCP 또는 환자일 수 있다.
[0232] 블록(1610)에서, 웨어러블 디바이스는 사용자의 환경을 모니터한다. 웨어러블 디바이스는 본원에서 설명된 하나 이상의 환경 센서들을 사용하여 사용자의 환경을 모니터할 수 있다. 예컨대, 웨어러블 디바이스는 마이크로폰을 사용하여 사용자의 환경의 사운드를 획득할 수 있고, 외향 이미징 시스템을 사용하여 사용자의 환경의 이미지들을 획득할 수 있다. 환경 센서들에 의해 획득된 데이터는 사용자의 물리적 환경 또는 사용자와 연관된 데이터를 포함할 수 있다.
[0233] 블록(1620)에서, 웨어러블 디바이스는 사용자의 환경과 연관된 데이터를 분석하여 개시 조건을 검출한다. 사용자의 환경과 연관된 데이터는 하나 이상의 환경 센서들에 의해 획득된 데이터, 웨어러블 디바이스 상에 저장된 데이터, 원격 데이터 저장소(280)로부터 리트리브된 데이터 등을 포함할 수 있다. 예컨대, 웨어러블 디바이스는 스피치 인식 알고리즘을 사용하여, 오디오 데이터에서 획득된 워드들을 검출할 수 있다. 웨어러블 디바이스는 또한, 건강관리 데이터베이스 시스템(1220)으로부터 개시 조건과 연관된 키워드들에 액세스할 수 있다. 웨어러블 디바이스는 오디오 데이터가 개시 조건과 연관된 키워드들을 포함하는지 여부를 결정할 수 있다.
[0234] 블록(1630)에서, 웨어러블 디바이스는 블록(1620)에서의 데이터의 분석에 기반하여 개시 조건이 존재하는지 여부를 결정할 수 있다. 만약 개시 조건이 존재하지 않는다면, 프로세스(1600)는 블록(1610)으로 돌아가며, 여기에서, 웨어러블 디바이스는 계속해서 환경을 모니터한다.
[0235] 만약 개시 조건이 검출된다면, 블록(1640)에서, 웨어러블 디바이스는 하나 이상의 환경 센서들을 사용하여 의료 이벤트를 문서화할 수 있다. 예컨대, 웨어러블 디바이스는 마이크로폰(232)을 사용하여, 환자와 HCP 간의 대화를 기록할 수 있다. 웨어러블 디바이스는 또한, 외향 이미징 시스템(464)을 사용하여, 환자의 사진을 찍을 수 있다. 웨어러블 디바이스는 오디오 및 시각 데이터를 프로세싱하여 관련 정보를 식별할 수 있다.
[0236] 블록(1650)에서, 웨어러블 디바이스는 종료 조건이 존재하는지 여부를 결정할 수 있다. 웨어러블 디바이스는 사용자의 환경과 연관된 데이터에 기반하여 종료 조건을 검출할 수 있다. 만약 종료 조건이 존재하지 않는다면, 웨어러블 디바이스는 블록(1640)에 도시된 바와 같이 의료 이벤트를 계속해서 문서화할 수 있다. 만약 종료 조건이 존재한다면, 블록(1660)에서, 웨어러블 디바이스는 의료 이벤트의 문서화를 종료할 수 있다. 예컨대, 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터의 프로세싱을 중지하고, 환경 센서를 턴 오프하고, 환경 센서가 수면 모드로 들어갈 것을 명령하는 등을 할 수 있다.
[0237] 선택적으로, 블록(1670)에서, 웨어러블 디바이스는 의료 이벤트와 연관된 정보로 데이터 저장부를 업데이트하기 위한 명령을 생성할 수 있다. 의료 이벤트와 연관된 정보는, 의료 이벤트의 일부 또는 전체 의료 이벤트를 문서화하는 오디오 또는 시각 데이터를 포함할 수 있다. 명령은 건강관리 데이터베이스 시스템으로 하여금, 의료 이벤트와 연관된 정보를 환자의 가상 의료 기록들에 추가하게 할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는, 웨어러블 디바이스가 의료 이벤트들을 문서화하는 동안 데이터 저장부를 업데이트할 수 있다. 추가적으로 또는 대안적으로, 웨어러블 디바이스는, 웨어러블 디바이스가 의료 이벤트를 문서화하는 것을 완료한 후에 데이터 저장부를 업데이트할 수 있다.
건강관리 제공자들 간의 의료 정보 공유의 예들
[0238] 도 17은 서로 상호작용하는 다수의 디바이스들을 묘사하는 전체 시스템도를 개략적으로 예시한다. 컴퓨팅 환경(1700)은 사용자 디바이스(1730), 및 웨어러블 디바이스들(210a 및 210b)을 포함한다. 사용자 디바이스는 웨어러블 디바이스(이를테면, 웨어러블 디바이스), 컴퓨터, 모바일 디바이스, 또는 임의의 다른 디바이스들 단독이거나 또는 그 조합일 수 있다.
[0239] 사용자 디바이스(1730) 및 웨어러블 디바이스들(210a, 210b)은 네트워크(1290)(도 12에 도시됨)를 통해 서로 통신할 수 있다. 일부 실시예들에서, 사용자 디바이스(1730) 및 웨어러블 디바이스들(210a, 210b)은 또한, 유선 또는 무선 네트워크를 통해 웨어러블 디바이스와 연결된 다른 디바이스(예컨대, 의료 디바이스, 이를테면 초음파 프로브)와 통신할 수 있다. 예컨대, 오브젝트 인식기(708)는, 웨어러블 디바이스에 의해 캡처된 이미저리를 분석하고, 의료 디바이스(예컨대, 초음파 프로브)가 존재한다는 것을 결정할 수 있다. 웨어러블 디바이스는, 디바이스와 웨어러블 디바이스 간의 통신 링크를 모방하기 위해, (예컨대, 의료 디바이스에 의해 방송된 광고 이벤트들을 청취함으로써) 의료 디바이스에 연결하고자 시도할 수 있다. 컴퓨팅 환경(1700)은 또한 하나 이상의 원격 컴퓨팅 시스템들(1720)을 포함할 수 있다. 원격 컴퓨팅 시스템(1720)은, 상이한 지리적 위치들에 클러스터링되고 위치되는 서버 컴퓨터 시스템들을 포함할 수 있다. 일부 구현들에서, 원격 컴퓨팅 시스템(1720)은 도 12에 도시된 건강관리 데이터베이스 시스템(1220)의 실시예를 포함할 수 있다. 컴퓨팅 디바이스(1730) 및 웨어러블 디바이스들(210a, 210b)은 네트워크(1290)를 통해 원격 컴퓨팅 시스템(1720)과 통신할 수 있다.
[0240] 원격 컴퓨팅 시스템(1720)은, 물리적 및/또는 가상 세계들에 관한 정보를 유지할 수 있는 원격 데이터 저장소(280)(도 2에 또한 도시됨)를 포함할 수 있다. 원격 컴퓨팅 시스템(270)은 또한 원격 프로세싱 모듈(270)(도 2에 또한 도시됨)을 포함할 수 있다. 원격 프로세싱 모듈(270)은 하나 이상의 프로세서들을 포함할 수 있고, 이러한 하나 이상의 프로세서들은 사용자 디바이스(1730), 웨어러블 디바이스들(210a 및 210b), 및 원격 데이터 저장소(1280)와 통신할 수 있다. 일부 구현들에서, 프로세싱 또는 스토리지의 적어도 일부는 로컬 프로세싱 및 데이터 모듈(260)(도 2에 도시됨)에 의해 제공될 수 있다.
[0241] 사용자 디바이스(1730) 및 웨어러블 디바이스들(210a, 210b)의 사용자들은 환경의 정보를 공유하며 그리고 네트워크를 통해 환경 내의 가상 및 물리적 오브젝트들과 상호작용할 수 있다. 예컨대, 의사가 웨어러블 디바이스(210a)를 착용하고 수술실에서 환자에 대해 수술을 수행할 수 있다. 웨어러블 디바이스(210a)는 가상 콘텐츠 스크린을 생성하여 의사에게 디스플레이할 수 있다. 가상 콘텐츠 스크린은 의사만이 볼 수 있는, 가상 콘텐츠의 제1 부분을 포함할 수 있다. 가상 콘텐츠 스크린은 또한, 룸 내의 다른 사용자들이 볼 수 있는, 가상 콘텐츠의 제2 부분을 포함할 수 있다. 의사는 가상 콘텐츠의 제1 부분의 일부 부분들 또는 제1 부분 전체를 다른 사용자들과 공유할 수 있다. 웨어러블 디바이스(210a)는 외향 이미징 시스템을 사용하여 환자 및 의사의 주변을 이미징할 수 있다. 내과의사에 의해 획득된 이미지는, 수술실 밖에 있는, 웨어러블 디바이스(210b)를 착용하고 있는 의대생에게 통신될 수 있다. 일부 실시예들에서, 의대생의 웨어러블 디바이스(210b)는 수술실과 연관된 세계 맵(920)을 수신할 수 있다. 세계 맵(920)은 수술실 내의 가상 및 물리적 오브젝트들을 포함할 수 있다. 예컨대, 의대생은, 210b를 통해, 수술실 내의 의료 장비 및 환자의 가상 의료 기록들을 지각할 수 있다. 일부 상황들에서, 웨어러블 디바이스(210b)의 사용자 및 웨어러블 디바이스(210a)의 사용자는 세계 맵(920) 내의 가상 또는 물리적 오브젝트들과 상호작용할 수 있다. 예컨대, (비록 상이한 위치들에 있음에도 불구하고) 의사와 의대생 둘 모두는 환자가 치료소를 방문하는 동안 환자를 동시에 검사할 수 있다. 또한, 의사가 수행한 검사는 환자의 의료 기록에 문서화될 수 있다. 검사 기록은 나중에 사용자 또는 다른 인가된 사용자에 의해 (예컨대, 의학 교육을 위한 사례 연구로서) 검토될 수 있다.
[0242] 세계 맵(920)의 정보는 시간이 지남에 따라 개발될 수 있으며, 그리고 상이한 사용자 디바이스들에 의해 수집된 정보에 기반할 수 있다. 일부 실시예들에서, 세계 맵은 또한 본원에서 세계 모델로서 지칭될 수 있다. 가상 세계들의 모델들이 또한 시간이 지남에 따라 개발될 수 있으며, 그리고 상이한 사용자들의 입력들에 기반할 수 있다. 도 7 및 도 9를 참조하여 설명된 바와 같이, 사용자 디바이스들에 의해 획득된 정보는 세계 맵(920)을 구성하는데 사용될 수 있다. 다양한 오브젝트 인식기들(예컨대, 708a, 708b, 708c ... 708n)이, 오브젝트들 및 태그 이미지들을 인식하기 위해서뿐만 아니라, 오브젝트들에 시맨틱 정보를 부착하기 위해 사용될 수 있다. 추가적으로, 웨어러블 디바이스들(210a, 210b)은, 유선 또는 무선 네트워크를 통해 웨어러블 디바이스들(210a, 210b)과 연결된 의료 디바이스(예컨대, 초음파 프로브)를 식별하고 이와 통신할 수 있다. 이러한 오브젝트 인식기들은 도 7에 도시된 오브젝트 인식기들(708a 및 708n)을 포함할 수 있다.
[0243] 웨어러블 디바이스 및 원격 컴퓨팅 시스템(1720)은, 하나 이상의 웨어러블 디바이스들로부터 획득된 정보를 사용하여, 이미지들, 포인트들 및 다른 정보의 집합을 구성, 업데이트, 및 구축할 수 있다. 예컨대, 웨어러블 디바이스는 획득된 미가공(raw) 정보를 프로세싱하고, 프로세싱된 정보를 추가적인 프로세싱을 위해 원격 컴퓨팅 시스템(1720)에 전송할 수 있다. 웨어러블 디바이스는 또한, 미가공 정보를 프로세싱을 위해 원격 컴퓨팅 시스템(1720)에 전송할 수 있다. 웨어러블 디바이스는 원격 컴퓨팅 시스템(1720)으로부터 프로세싱된 정보를 수신하고, 사용자에게 투사하기 전에 최종 프로세싱을 제공할 수 있다. 웨어러블 디바이스는 또한, 획득된 정보를 프로세싱하고, 프로세싱된 정보를 다른 웨어러블 디바이스들에 전달할 수 있다. 사용자 디바이스는 획득된 정보를 프로세싱하는 동안 원격 데이터 저장소(1280)와 통신할 수 있다. 다수의 웨어러블 디바이스들 및/또는 다수의 서버 컴퓨터 시스템들이 획득된 이미지들의 구성 및/또는 프로세싱에 참여할 수 있다.
[0244] 물리적 세계들에 대한 정보는 시간이 지남에 따라 개발될 수 있으며, 상이한 사용자 디바이스들에 의해 수집된 정보에 기반할 수 있다. 가상 세계들의 모델들이 또한 시간이 지남에 따라 개발될 수 있으며, 상이한 사용자들의 입력들에 기반할 수 있다. 이러한 정보 및 모델들은 본원에서 때때로 세계 맵 또는 세계 모델로서 지칭될 것이다. 도 7 및 도 9를 참조하여 설명된 바와 같이, 사용자 디바이스들에 의해 획득된 정보는 세계 맵(920)을 구성하는데 사용될 수 있다. 다양한 오브젝트 인식기들이, 오브젝트들 및 태그 이미지들을 인식하기 위해뿐만 아니라, 오브젝트들에 시맨틱 정보를 부착하기 위해 사용될 수 있다. 이러한 오브젝트 인식기들은 오브젝트 인식기들(708a 및 708n)(도 7에서 또한 설명됨)을 포함할 수 있다.
[0245] 원격 데이터 저장소(280)는 데이터를 저장하고 세계 맵(920)의 구성을 가능하게 하기 위해 사용될 수 있다. 웨어러블 디바이스는 지속적으로 사용자의 환경에 관한 정보를 업데이트하고 세계 맵(920)에 관한 정보를 수신할 수 있다. 세계 맵(920)은 웨어러블 디바이스에 의해 또는 다른 컴퓨팅 디바이스와 조합하여 생성될 수 있다. 원격 웨어러블 디바이스들(210a, 210b), 사용자 디바이스(1730) 및 컴퓨팅 시스템(1720)은 단독으로 또는 조합하여, 세계 맵(920)을 구성 및/또는 업데이트할 수 있다. 예컨대, 웨어러블 디바이스는 원격 프로세싱 모듈(270) 및 원격 데이터 저장소(280)와 통신할 수 있다. 웨어러블 디바이스는 사용자 및 사용자의 환경에 관한 정보를 획득 및/또는 프로세싱할 수 있다. 원격 프로세싱 모듈(270)은 사용자 및 사용자의 환경에 관한 정보를 프로세싱하기 위해 원격 데이터 저장소(280)와 통신할 수 있다. 원격 컴퓨팅 시스템(1720)은 예컨대, 액세스 특권들을 가상 오브젝트에 부착하고, 웨어러블 디바이스에 의해 획득된 이미지의 일부를 확대하고, 웨어러블 디바이스(210a)의 이미지로부터 관련 의료 정보를 추출하는 등, 웨어러블 디바이스(210a)에 의해 획득된 정보를 수정할 수 있다. 원격 컴퓨팅 시스템(1720)은 프로세싱된 정보를 웨어러블 디바이스(210a) 또는 다른 컴퓨팅 디바이스에 전송할 수 있다.
액세스 특권들
[0246] 도 14a 내지 도 17을 참조하여 설명된 바와 같이, 환자와 연관된 의료 정보를 사용자들 사이에서 공유하기 위해, 사용자들은 환자의 의료 기록에 액세스하기 위한 액세스 특권, 또는 적어도 제1 사용자가 제2 사용자와 공유하고 있는 의료 정보에 액세스하기 위한 액세스 특권을 가질 수 있다. 도 12를 참조하여 설명된 바와 같이, 제1 웨어러블 디바이스는 의료 정보를 보기 위해 데이터 공유 시스템(1238)을 사용하여 제2 웨어러블 디바이스에 요청을 전송할 수 있다. 제2 웨어러블 디바이스가 제1 웨어러블 디바이스로부터의 요청을 수신한 후에, 제2 웨어러블 디바이스는 환자의 의료 기록에 액세스하여 데이터 저장부(1220) 내의 의료 정보에 액세스하려고 시도할 수 있다. 환자 시스템은 또한 제2 사용자가 의료 정보에 액세스하려고 시도하고 있는 제1 또는 제2 웨어러블 디바이스로부터 요청을 얻을 수 있다. 그런다음, 환자 시스템은 도 14a 내지 도 14b를 참조하여 설명된 바와 같이 제2 사용자가 의료 정보에 대한 액세스 특권을 갖는지 여부를 결정할 수 있다. 앞서 설명된 바와 같이, 액세스 특권들은 환자 의료 기록의 상이한 부분들에 또는 상이한 사용자들에 대해 특정적일 수 있다. 예컨대, 환자는 전체 의료 기록에 대한 판독 액세스를 가질 수 있지만 환자 및 가족 이력 섹션에 대한 편집 액세스를 가질 수 있다. HCP는 전체 의료 기록에 대한 판독 액세스 및 HCP의 전문 분야와 관련된 부분에 대한 편집 액세스를 가질 수 있지만 다른 HCP 전문 분야들에 특정적인 부분들에 대한 편집 액세스를 갖지 않을 수 있다(예컨대, 심장 전문의는 의료 기록의 심장-관련된 부분들에 대한 편집 액세스를 가질 수 있지만 환자의 치과 기록들에 대해서는 갖지 않을 수 있다).
공유 의료 정보
[0247] 사용자들 사이에서 공유되는 의료 정보는 예컨대, 도 15 내지 도 16을 참조하여 설명된 바와 같이 환자와의 임의의 상호작용들일 수 있다. 의료 정보는 환자 또는 이전에 저장된 환자 데이터 또는 분석(예컨대, 환자의 건강 상태의 추세)에 대한 테스트 중에 사용자가 수집한 테스트 결과들을 포함할 수 있다. 일부 실시예들에서, 제1 사용자는 자신이 어떤 의료 정보를 제2 사용자와 공유하기를 원하는지를 정의할 수 있다. 예컨대, 제1 사용자가 환자를 보고 있는 경우, 제1 사용자는 환자의 왼쪽 팔 또는 환자의 다른 부분들에 관한 이미지만이 제2 사용자에게 보이도록 제2 사용자의 액세스 특권들을 구성할 수 있다. 제1 사용자의 웨어러블 디바이스는 제2 사용자의 웨어러블 디바이스에 실시간으로 (예컨대, 외향 이미징 시스템에 의해 캡처된 이미지들을 통해) 제1 사용자에 의한 관찰들을 공유할 수 있다.
[0248] 제1 사용자의 제1 웨어러블 디바이스가 제2 웨어러블 디바이스에 의료 정보를 공유하기 전에, 제1 웨어러블 디바이스는 제1 사용자가 전송되는 의료 정보를 편집하기를 원하는지 여부를 묻는 통지를 제1 사용자에게 촉구할 수 있다. 제1 웨어러블 디바이스는 공유될 의료 정보를 도시하는 제1 사용자에게 존재할 수 있다. 제1 웨어러블 디바이스는 예컨대, 포즈들 또는 사용자 입력 디바이스(466)를 통해 의료 정보를 수정할 옵션들을 제1 사용자에게 제공할 수 있다. 제1 사용자는 또한 제1 사용자가 수정된 의료 정보를 공유하기를 원하는 하나 이상의 다른 사용자들에게 표시를 제공할 수 있다. 제1 사용자의 웨어러블 디바이스로부터 수신된 표시에 기반하여, 다른 사용자들은 제1 사용자의 환경에서 의료 정보를 공유하기 위해 제1 사용자의 "초대"를 수락할 수 있다.
[0249] 특정 구현들에서, 제1 사용자는 의료 정보에 액세스 특권을 부착할 수 있다. 제1 사용자는 일부 의료 정보를 비공개로서 설정할 수 있어 의료 정보가 다른 사용자들과 공유되지 않을 것이다. 하나의 예로서, 제1 웨어러블 디바이스는 환자의 복부 및 환자의 얼굴을 (예컨대, 외향 이미징 시스템을 통해) 관찰할 수 있다. 제1 웨어러블 디바이스는 질병의 진단을 가능하게 하기 위해 환자의 복부와 관련된 이미지들의 부분을 다른 내과의사에게 공유할 수 있다. 그러나 제1 웨어러블 디바이스는 환자의 프라이버시를 보호하기 위해 환자의 얼굴을 갖는 이미지들의 부분을 공유하지 않도록 구성될 수 있다. 의료 정보의 공유와 연관된 액세스 특권은 뷰어에 기반할 수 있다. 예컨대, 수술 절차 중에 외과의사의 시야 내의 (가상 또는 신체적) 콘텐츠가 동일한 수술실의 모든 사람들과 공유될 수 있다. 그러나 콘텐츠의 서브세트만이 수술실 밖에 있는 다른 사용자와 공유될 수 있다. 예컨대, (예컨대, 외향 이미징 시스템에 의해 관찰되는 것과 같은) 신체적 콘텐츠는 병리 실험실의 의대생이나 내과의사와 공유되는 한편, 외과의사가 보는 가상 콘텐츠는 병리 실험실의 의대생이나 내과의사와 공유되지 않는다.
의료 정보를 공유하기 위한 예시적인 트리거링 이벤트들
[0250] 본원에서 설명되는 웨어러블 디바이스들은 다수의 사용자들 사이에서 의료 정보의 공유를 가능하게 할 수 있다. 건강관리 환경에서 웨어러블 디바이스들을 사용하는 것은 다수의 사용자들이 동시에 의료 절차에 대한 정보에 액세스하고 이러한 정보를 보게 허용할 수 있다. 웨어러블 디바이스들은 가상 콘텐츠를 생성하여 실시간으로 디스플레이함으로써, 사용자들이 건강관리 환경에서 걸어다니면서 여러 장비, 이를테면 모니터들, 디스플레이들 등에 대한 정보를 볼 것을 요구하지 않는다. 웨어러블 디바이스들은 모든 정보를 중앙집중형 위치에 모을 수 있고 각각의 사용자가 동일한 정보 또는 동일한 정보의 수정된 버전을 보게 허용할 수 있다. 예컨대, 사용자들은 의료 디바이스로부터 그러한 데이터를 찾는 대신 디스플레이(220)를 통해 환자의 심장에 관한 정보, 이를테면 (심박수 또는 다른 통계치)를 볼 수 있다. 웨어러블 디바이스는 추가로, 각각의 사용자가 필요에 따라 정보를 조작하거나 편집하게 허용할 수 있다. 업데이트된 정보는 공유되는 세션 중에 다른 사용자들에게 자동으로 전송될 수 있다.
[0251] 도 15를 참조하여 설명된 바와 같이, 다수의 사용자들은 그들이 허가들을 받는다면, 환자의 의료 기록을 보고 업데이트할 수 있다. 사용자가 환자의 의료 기록을 보고 있을 때, 사용자는 동일한 환자 기록을 보고 있는 다른 사용자들을 볼 수 있다. 사용자는 또한 환자의 의료 기록에 관한 다른 정보(예컨대, 파일 이력)를 볼 수 있다. 예컨대, 사용자는 환자의 의료 기록에서 누가 업데이트를 했는지 볼 수 있다. 그에 따라서, 사용자들은 환자의 기록 "내에" 또 다른 누가 있는지에 관한 정보를 얻을 수 있다.
[0252] 사용자는 환자의 기록 내의 정보에 기반하여 생성할 수 있는 가상 콘텐츠 스크린의 공유를 구성할 수 있다. 웨어러블 디바이스는 사용자의 시야 내에 가상 콘텐츠 스크린을 디스플레이할 수 있다. 그런다음, 사용자는 자신이 가상 콘텐츠 스크린 내에서 보기를 원하는 정보를 편집하거나 선택할 수 있다. 사용자는 또한 다른 사용자들과 가상 콘텐츠의 어떤 섹션들을 공유할지를 구성할 수 있다. 추가적으로 또는 대안적으로, 사용자는 또한 자신의 시야를 다른 사용자들에게 복제하도록 선택할 수 있다. 따라서 다른 사용자들은 가상 콘텐츠 스크린을 단독으로 또는 사용자의 시야 내의 다른 가상 콘텐츠와 조합하여 지각할 수 있다.
[0253] 제1 웨어러블 디바이스는 제2 웨어러블 디바이스와 의료 정보를 공유하기 위한 사용자 명령들을 수신할 수 있다. 명령들은 키워드들의 검출 시에 제공될 수 있거나, 토템 또는 제스처들을 통해 제공될 수 있다. 예컨대, 제1 사용자는 자신의 웨어러블 디바이스로 하여금 (디스플레이(220)에 의해 제공되는) 가상 콘텐츠 스크린을 다른 사용자의 웨어러블 디바이스에 공유하게 하기 위한 트리거로서 "의료 정보 공유"라는 어구를 정의할 수 있다. 다른 예로서, 트리거는 버튼 또는 손 제스처의 작동일 수 있다. 제1 사용자가 제1 웨어러블 디바이스와 연관된 토템 상의 버튼을 누르거나 제1 사용자가 자신의 왼쪽 손에 자신의 오른쪽 엄지를 두드리면, 웨어러블 디바이스는 제1 웨어러블 디바이스에 의해 제공되는 가상 콘텐츠 스크린을 다른 사용자들의 웨어러블 디바이스들에 공유할 수 있다.
[0254] 제2 사용자의 웨어러블 디바이스는 제2 사용자가 제1 사용자의 의료 정보 공유 요청을 수락하기를 원하는지 여부 또는 제2 사용자가 제1 사용자와 이들 개개의 웨어러블 디바이스들을 통해 가상 경험을 공유할 수 있는 공유 세션에 제2 사용자가 참여하고 싶은지 여부를 묻는 통지를 생성할 수 있다. 제2 사용자의 웨어러블 디바이스는 공유 세션에 참여하라는 제2 사용자로부터의 표시를 수신하는 것에 대한 응답으로 제1 사용자에 의해 공유된 정보를 제공할 수 있다.
[0255] 일부 실시예들에서, 유리하게, 웨어러블 디바이스는 환경 센서들이 수집한 데이터를 분석할 수 있고, 환경 센서들로부터 모은 데이터의 분석에 기반하여 공유 세션을 위한 트리거를 결정할 수 있다. 예컨대, 웨어러블 디바이스는 부근에 다른 디바이스들이 있는지 여부를 (예컨대, 컴퓨터 비전 기법들을 사용하여 획득된 이미지들을 분석함으로써 또는 인근 디바이스들과 통신함으로써) 결정할 수 있다. 인근 디바이스들이 발견된다면, 사용자의 웨어러블 디바이스는 사용자가 다른 디바이스들과 일부 의료 정보를 공유하기를 원하는지 여부를 묻는 통지를 사용자에게 제공할 수 있다.
[0256] 정보를 공유하기 위한 트리거는 또한 사용자와 연관된 상호작용들에 기반할 수 있다. 예컨대, 웨어러블 디바이스는 웨어러블 디바이스의 사용자와 환자 간의 상호작용을 분석할 수 있다. 만약 웨어러블 디바이스가 상호작용이 다른 사용자의 참여를 필요로 한다고 결정한다면, 웨어러블 디바이스는 공유 세션에 대한 트리거의 존재를 검출할 수 있다. 예컨대, 만약 웨어러블 디바이스가 사용자가 환자의 간에 수술을 수행하고 있다고 결정하고 사용자가 간의 병이 암일 수도 있다고 메모들 또는 코멘트들을 낸다면, 웨어러블 디바이스는 사용자가 (도 19를 참조하여 아래에서 설명되는) 종양을 분석할 다른 사용자(예컨대, 병리 실험실 내의 내과의사)에게 간의 이미지를 공유하길 원하는지 여부를 묻는, 사용자에게 디스플레이되는 경고를 생성할 수 있다. 다른 예로서, 웨어러블 디바이스는 이전 상호작용들에서 수집된 데이터를 분석하여, 정보를 공유하기 위한 트리거가 존재하는지 여부를 결정할 수 있다. 예컨대, 내과의사의 웨어러블 디바이스는 환자의 과거 방문과 관련된 데이터를 분석할 수 있고 환자의 질병을 진단하기 위한 전문의가 추천된다는 것을 알 수 있다. 그에 따라서, 웨어러블 디바이스는 환자의 방문 후에 환자의 의료 정보 중 일부를 전문의와 공유할 수 있다. 내과의사의 웨어러블 디바이스는 내과의사와 전문의 둘 모두가 환자의 질병을 진단할 수 있도록 환자의 다음 방문 동안 (예컨대, 내과의사에 의해 지각되는) 환자와 관련된 정보를 또한 공유할 수 있다.
[0257] 일부 실시예들에서, 다수의 사용자들 사이에서 공유될 가상 콘텐츠는 환자 파라미터들, 이를테면 환자의 혈압, 뇌 활동(예컨대, 환자가 깨어 있음), 온도 등을 포함할 수 있다. 파라미터들은 의료 디바이스들 또는 사용자의 웨어러블 디바이스에 의해 수집될 수 있다. 의료 디바이스들은 유선 또는 무선 네트워크를 통해 웨어러블 디바이스와 통신할 수 있어, 웨어러블 디바이스는 의료 디바이스들로부터 환자 파라미터들을 수신할 수 있다. 사용자의 웨어러블 디바이스는 인터넷, 블루투스, 무선 공유 능력들을 통해 부근의 다수의 외부 디바이스들(예컨대, 심장 모니터, 마취 모니터 등)로부터 데이터를 수집하여 분석할 수 있다. 그런다음, 웨어러블 디바이스는 모든 디바이스들로부터의 파라미터들을 사용자에 대한 중앙집중형 플랫폼으로 제공하고 디스플레이할 수 있다. 웨어러블 디바이스는 환자와 (물리적으로 또는 무선으로) 연결된 모든 외부 디바이스들로부터의 파라미터들을 디스플레이할 중앙집중형 플랫폼으로서의 역할을 할 수 있다. 일부 실시예들에서, 도 23을 참조하여 나중에 설명되는 바와 같이, 웨어러블 디바이스는 (예컨대, GPS 센서들로부터의 위치 데이터를 분석함으로써) 사용자의 위치를 결정할 수 있다. 환경 센서들이 수집하는 데이터를 분석한 후, 웨어러블 디바이스는 사용자가 하나 이상의 다른 사용자들과 의료 정보를 공유하기를 원하는지 여부를 묻는 통지를 사용자에게 제공할 수 있다. 예컨대, 만약 웨어러블 디바이스가 사용자가 수술실에 있다고 결정하고 수술실에 다른 사용자들이 있다면, 웨어러블 디바이스는 사용자가 지각하는 의료 정보를 동일한 수술실 내의 다른 사용자들과 공유하기 위한 옵션을 사용자에게 제공할 수 있다. 만약 사용자가 수술실 내의 다른 모든 사용자들이 자신의 시야를 보게 허용한다면, 다른 사용자들의 웨어러블 디바이스는 공유된 경험을 위해 사용자의 시야를 포함하는 가상 콘텐츠 스크린들을 제공할 수 있다.
의료 정보의 공유 타이밍
[0258] 사용자들 간의 의료 정보의 공유는 공유 요청 직후에 발생할 수 있거나 나중에까지 지연될 수 있다. 예컨대, 사용자의 웨어러블 디바이스는 사용자가 자신의 시야에서 보이는 것을 실시간으로 다른 사용자들과 공유하라는 요청을 수신할 수 있다. 다른 예에서, 웨어러블 디바이스는 사용자가 자신의 시야에서 과거의 시간 기간 동안(예컨대, 5분 전에) 보았던 것을 다른 사용자들과 공유하라는 사용자의 요청을 수신할 수 있다. 사용자는 자신의 웨어러블 디바이스를 사용하여 특정한 시간 지속기간 또는 시작/종료 시간을 정의할 수 있다. 일부 실시예들에서, 만약 다수의 사용자들이 환자의 의료 기록을 동시에 액세스하고 있다면, 사용자들 중 하나 이상에 대한 웨어러블 디바이스들은 환자의 의료 기록을 활성적으로 보고 있는 다른 사용자가 있음을 표시하는 통지들을 생성할 수 있다. 웨어러블 시스템은 두 명(또는 그 이상)의 사용자들이 동시에 기록을 편집하는 것을 막도록 의료 기록에 액세스 잠금을 제공하여 의료 기록 무결성을 제공할 수 있다. 다른 상황들에서, 웨어러블 시스템은 다수의 사용자들이 동시에 의료 기록을 편집하게 허용할 수 있으며, 웨어러블 시스템은 상이한 사용자들에 의해 이루어진 편집들을 동기화하여 일관성을 유지할 수 있다.
의료 정보를 공유하는 방법들
[0259] 사용자의 웨어러블 디바이스는 또한 의료 정보가 다른 사용자들과 어떻게 공유될지를 구성할 수 있다. 예컨대, (HCP 또는 환자일 수 있는) 사용자는 자신이 특정한 시간(예컨대, 2017년 1월 6일 금요일 오전 12시)에 환자의 의료 기록의 특정한 부분을 제2 사용자에게 이메일로 보내길 원한다는 것을 확립할 수 있다. 웨어러블 디바이스는 2017년 1월 6일 금요일 오전 12시에 다른 사용자들에게 환자의 의료 기록의 특정한 부분을 포함하는 이메일을 전송할 수 있다. 이메일은 상호작용들, 메모들 또는 코멘트들, 테스트 결과들 등의 임의의 문서화들을 포함하여, 사용자가 다른 사용자들과 공유하기를 원하는 임의의 정보를 포함할 수 있다. 이메일은 어떤 당사자가 교환, 타임스탬프들 등을 개시했는지를 기록하기 위한 메타데이터를 포함할 수 있다.
[0260] 일부 실시예들에서, 웨어러블 디바이스는 공유되는 가상 콘텐츠를 생성하여 사용자에게 (예컨대, 디스플레이(220)를 통해) 디스플레이할 수 있고; 사용자는 가상 콘텐츠의 정보를 편집하거나 수정할 수 있다. 예컨대, 제2 사용자의 웨어러블 디바이스는 제1 사용자에 의해 지각된 가상 콘텐츠와 동일한 정보를 포함하는 가상 콘텐츠를 제2 사용자에게 제공할 수 있다. 만약 제1 사용자의 웨어러블 디바이스가 제1 사용자로부터 가상 콘텐츠에 대한 수정을 수신한다면, 동일한 수정이 제2 사용자의 웨어러블 디바이스에 통신될 수 있고, 제2 사용자의 웨어러블 디바이스에 의해 반영될 수 있다. 이 예에서, 제1 사용자 및 제2 사용자의 웨어러블 디바이스들은 다른 사용자가 있다는 표시를 동일한 환자 파일 “내에서” 활성적으로 제공할 수 있다.
[0261] 웨어러블 디바이스는 사용자에 의해 지각된 콘텐츠의 일부만을 공유하도록 구성될 수 있다. 예컨대, 제1 사용자의 웨어러블 디바이스는 제1 사용자에 의해 지각된 정보를 공유할 제2 사용자를 식별할 수 있다. 제1 사용자의 웨어러블 디바이스는 제2 사용자의 웨어러블 디바이스로부터 콘텐츠 공유 요청을 수신할 수 있다. 웨어러블 디바이스는 제2 사용자의 액세스 특권을 결정할 수 있고, 제2 사용자가 액세스하는 제1 사용자의 FOV 내의 정보 부분만을 공유할 수 있다. 그에 따라서, 제2 사용자의 웨어러블 디바이스는 제1 사용자의 FOV 내의 정보의 서브세트를 제2 사용자에게 제공할 수 있다.
[0262] 웨어러블 디바이스는 또한 의료 디바이스들로부터 수신된 데이터를 공유하고 기록할 수 있다. 일부 실시예들에서, 의료 디바이스로부터 데이터를 수신하는 동안, 웨어러블 디바이스는 외부 의료 디바이스들로부터 리트리브된 데이터와 연관된 의료 정보를 (예컨대, 디스플레이(220)를 통해) 사용자에게 제공할 수 있다. 예컨대, 웨어러블 디바이스가 환자에게 부착된 대응하는 모니터링 디바이스로부터 데이터를 수신할 때, 웨어러블 디바이스는 환자의 ECG(electrocardiograph)를 제공할 수 있다. 데이터(또는 데이터의 서브세트)는 본원에서 설명된 기법들을 사용하여 다른 사용자들과 공유될 수 있다. 사용자는 또한 다른 사용자들과 의료 정보를 공유하기 전에 의료 정보를 편집할 수 있다.
[0263] 도 18은 다수의 사용자들 간에 의료 정보를 공유하는 예를 예시하는데, 이는 도 17을 참조하여 설명된 컴퓨팅 환경(1700) 하에서 수행될 수 있다. 도 18의 예에서, 외과의사(1802)가 환자의 심장(1804)을 수술하고 있다. 외과의사(1802)는 2명의 간호사들(1820, 1822)에 의해 보조될 수 있다. 수술실은 또한 심장(1804)의 실시간 상태들 또는 환자의 다른 생리적 파라미터들을 모니터링하는 하나 이상의 의료 디바이스들(예컨대, ECG/EKG 머신)을 포함할 수 있다. 의료 디바이스는 환자의 심장 상태를 물리적 디스플레이(1824)로 출력할 수 있다.
[0264] 이 예에서, 외과의사(1802)와 2명의 간호사들(1820, 1822)은 이들 개개의 웨어러블 디바이스들을 착용할 수 있다. 외과의사(1802)는 웨어러블 디바이스를 통해 환자의 심장(1804)을 볼 수 있지만, 2명의 간호사들(1820, 1822)은 웨어러블 디바이스를 통해 물리적 디스플레이(1824)를 지각할 수 있다. 그러나 외과의사(1802)는 물리적 디스플레이(1824)가 자신의 시야에 있지 않기 때문에 이를 지각하는 것이 가능하지 않을 수 있고, 2명의 간호사들(1820, 1822)은 2명의 간호사들(1820, 1822)의 시야의 밖에 있는 심장(1804)을 지각하지 못할 수 있다.
[0265] 유리하게, 도 18에 예시된 바와 같이, 외과의사(1802)와 2명의 간호사들(1820, 1822)은 웨어러블 디바이스들을 통해 이들 개개의 시야들을 서로 공유할 수 있다. 예컨대, 외과의사(1802)와 2명의 간호사들(1820, 1822)은 공유 세션에 참여할 수 있다. 외과의사(1802)는 물리적 스크린(1824)에 의해 디스플레이된 정보를 포함하는 가상 스크린(1810)을 지각할 수 있는데, 이것은 2명의 간호사들의 시야 내부에 있지만 외과의사(1802)의 시야의 밖에 있다. 가상 스크린(1810) 상의 정보는 간호사(1820 또는 1822)에 의해 착용된 웨어러블 디바이스의 외향 이미징 시스템들에 의해 캡처된 이미지들에 기반하여 렌더링될 수 있다. 일부 상황들에서, 의료 디바이스는 또한 유선 또는 무선 통신 채널들을 통해 웨어러블 디바이스와 통신할 수 있고, 웨어러블 디바이스는 가상 스크린(1810)을 통해 실시간으로 환자의 상태들을 제공할 수 있다.
[0266] 외과의사(1802)는 또한 자신의 시야의 적어도 일부를 간호사들(1820, 1822)과 공유할 수 있다. 예컨대, 외과의사(1802)의 웨어러블 디바이스는 외향 이미징 시스템에 의해 관찰된 심장(1804)의 이미지들을 간호사들(1820, 1822)의 웨어러블 디바이스들에 통신할 수 있다.
[0267] 일부 구현들에서, 간호사들 또는 외과의사는 룸에 있는 다른 사람들과의 공유 세션을 개시하기 위한 표시를 웨어러블 디바이스들에 제공할 수 있다. 예컨대, 간호사의 웨어러블 디바이스는 간호사(1802 또는 1804)로부터 표시를 수신할 시에(또는 앞서 논의된 임의의 다른 트리거링 이벤트들을 검출할 시에), 간호사들이 수술 모니터 상에서 보고 있는 것을 외과의사의 웨어러블 디바이스에 공유하라는 요청을 외과의사의 웨어러블 디바이스에 전송할 수 있다. 외과의사의 웨어러블 디바이스는 간호사의 웨어러블 디바이스로부터 요청을 수신할 시에, 외과의사(1802)가 환자를 수술하고 있는 동안 외과의사에게 (예컨대, 물리적 디스플레이(1824) 상에 간호사들에 의해 지각된 정보를 도시하도록) 가상 콘텐츠 스크린(1810)을 제공할 수 있다. 가상 콘텐츠 스크린(1810)은 의료 디바이스가 실시간으로 수집하는 데이터와 연관된 정보를 포함할 수 있다. 그에 따라서, 외과의사의 웨어러블 디바이스는 ECG 모니터가 물리적으로 외과의사(1802)의 시야에 있지 않더라도, 이러한 ECG 모니터에 도시된 대로 환자의 심장의 상황에 관한 실시간 의료 정보를 외과의사(1802)에게 제공할 수 있다.
[0268] 만약 외과의사의 웨어러블 디바이스가 환경 정보(이를테면, 예컨대 수술실의 의료 디바이스로부터 수신된 정보)에 기반하여, 환자의 심장에 이상이 있다고 결정한다면, 외과의사의 웨어러블 디바이스는 수술 중에 외과의사에게 경고들을 생성할 수 있다. 일부 실시예들에서, 외과의사의 웨어러블 디바이스는, 만약 ECG 모니터가 환자의 심장의 상태가 정상임을 도시한다면, 환자의 심장의 상황에 관한 실시간 의료 정보를 도시하는 가상 스크린(1810)을 생성 및 디스플레이하지 않을 수 있다. 외과의사의 웨어러블 디바이스는 단지 수술 모니터 상의 정보에 기반하여 환자의 심장에 이상이 있을 때 외과의사(1804)에게 가상 콘텐츠 스크린을 생성하고 디스플레이할 수 있다. 외과의사(1802) 또는 간호사들(1820, 1822)은 이들 개개의 웨어러블 디바이스들 상의 시야 밖의 정보를 보기 위한 환경들을 구성할 수 있다. 예컨대, 외과의사(1802) 또는 간호사(1802, 1822)는 환자의 심장 데이터에 이상이 있을 때 간호사의 웨어러블 디바이스가 단지 외과의사(1802)와 물리적 디스플레이 스크린(1824) 상의 정보를 공유하도록 환경을 구성할 수 있다. 일부 경우들에서, 간호사의 웨어러블 디바이스가 단독으로 또는 원격 컴퓨팅 시스템(1720)과 조합하여, 하나 이상의 의료 디바이스들로부터 수집된 데이터를 분석하고 이상이 있는지 여부를 결정할 수 있다.
[0269] 다른 예로서, 외과의사는 트리거링 이벤트의 존재에 기반하여 간호사들(1820, 1824)과 환자의 심장(1804)의 이미지를 공유할 수 있다. 외과의사의 웨어러블 디바이스는 간호사의 웨어러블 디바이스에 심장의 이미지를 공유하라는 요청을 전송할 수 있다. 간호사의 웨어러블 디바이스는 외과의사의 웨어러블 디바이스로부터 요청을 수신할 시에, 외과의사가 보는 것과 같은 환자의 심장(1804)의 이미지를 도시하는 가상 콘텐츠 스크린(1826)을 제공할 수 있다.
[0270] 도 18의 예는 ECG/EKG 데이터를 참조하여 설명되지만, 웨어러블 디바이스는 또한 가상 스크린(들) 상에 다른 타입들의 의료 정보를 제공할 수 있다. 예컨대, 가상 스크린(1810)은 또한 다른 디바이스들에 의해 수집된 환자의 다른 파라미터들의 의료 정보, 이를테면 환자의 혈압, 뇌 활동, 온도 등을 포함할 수 있다. 도 18의 예에서의 간호사들(1820, 1822)은 또한 임의의 다른 타입의 사용자들, 이를테면 다른 외과의사들, 수련의들, 레지던트들, 의대생들, 환자들 등일 수 있다. 외과의사의 웨어러블 디바이스(또는 다른 사용자의 웨어러블 디바이스)는 또한 인가된 사용자(예컨대, 외과의사 자신, 환자, 환자의 일차 건강관리 제공자 등)에 의한 나중의 검토를 위해 수술을 기록할 수 있다. 도 18의 예에서, 외과의사(1802)는 심장 수술을 수행하고 있다. 다른 예들에서, 제1 건강관리 제공자는 임의의 타입의 의료 절차들(또는 도 15에 예시된 바와 같은 환자와의 임의의 타입의 상호작용)을 수행할 수 있다. 추가로, 간호사들(1820, 1822)은 외과의사가 수술하고 있는 수술실에 위치될 필요는 없다. 예컨대, 간호사들은 인접한 룸에 위치될 수 있다. 다른 예에서, 외과의사는 컨설팅하는 내과의사 또는 병리학자와 심장에 관한 정보를 공유할 수 있는데, 이들 각각은 수술실로부터 원격으로(예컨대, 병원의 다른 곳에 또는 완전히 별개의 지리적 위치에) 위치될 수 있다.
의료 정보의 관리
[0271] 도 15 및 도 18을 참조하여 설명된 바와 같이, 제1 사용자는 자신의 디바이스가 환자와의 상호작용을 문서화하고 있을 때 메모들 또는 코멘트들을 만들 수 있다. 제1 사용자는 제2 사용자와 역시 이들의 디바이스들을 통해 메모들 또는 코멘트들을 공유할 수 있다. 제1 사용자는 또한 자신의 웨어러블 디바이스에 메모들 또는 코멘트들을 비밀로 유지하도록 명령할 수 있다. 일부 실시예들에서, 제1 사용자는 제2 사용자와, 자신이 이들의 디바이스들을 통해 메모들 또는 코멘트들을 작성하고 있는 동안 메모들 또는 코멘트들을 공유할 수 있다. 도 15를 참조하여 설명된 바와 같이, 웨어러블 디바이스는 환자와 상호작용하면서, 환자의 이미지를 취할 수 있다. 사용자는 웨어러블 디바이스에 이미지를 확대시키거나 이미지를 편집하라는 요청을 전송하기 위한 옵션을 가질 수 있다. 이미지를 편집할 때, 사용자는 이미지의 별개의 부분들을 사실상 분리하고, 이미지의 상이한 포지션들에 플래그하고, 이미지의 몇몇의 부분들을 제거하는 등을 할 수 있다.
[0272] 도 19는 의료 절차 동안 취해진 이미지들에 가상 콘텐츠를 추가하는 예를 예시한다. 유리하게, 일부 실시예들에서, 웨어러블 디바이스는, 의료 절차가 진행중인 동안 또는 의료 절차 이후, 사용자가 다른 사용자들에게 의료 정보(예컨대, 이미지 정보, 카메라 배향, 이미지 또는 절차의 위치, 시간 등)를 전송하게 허용함으로써 의료 절차에서 효율성을 개선할 수 있다. 예컨대, 웨어러블 디바이스는 종양 절제 절차에서의 종양 배향을 병리 실험실에 전송할 수 있다. 웨어러블 디바이스는 또한 추가적인 평가 또는 분석을 위한 상이한 위치, 그룹, 또는 랩에 정보를 전송할 수 있다. 의료 정보는 특정한 장기들, 증상들 등의 이미지들을 포함할 수 있다. 일부 구현들에서, 웨어러블 디바이스는, 어떠한 물리적 마크들도 필요하지 않도록 수신측 또는 전송자가 가상 환경에서 의료 정보를 마킹하게 허용할 수 있다. 예컨대, 종양의 물리적 샘플에 대해 마킹하기 보다는, 병리 실험실의 의사는 병리 실험실로부터 원격의 병원에서 발생하는 수술 동안 종양의 이미지(예컨대, 2D 또는 3D 이미지)를 마킹할 수 있다.
[0273] 웨어러블 디바이스는 또한 의료 정보를 분석하기 위해 효율적이고 비-외과적 방법을 가능하게 할 수 있다. 예컨대, 종양 절제 동안, 내과의사는 전형적으로 어느 방향이 위인지를 표시하기 위해 종양에서 물리적 플래그들을 배치한다. 유리하게, 웨어러블 시스템은 사용자가 가상 플래그들을 (단독으로 또는 텍스트들 또는 다른 비주얼들과 조합하여) 종양에 추가할 수 있도록 구성될 수 있다. 그런다음, 웨어러블 디바이스는 인터넷, 블루투스, 무선 공유 능력들을 사용하여 가상 콘텐츠(예컨대, 가상 마커들을 갖는 종양의 이미지)를 환자의 차트 또는 다른 사용자, 이를테면 병리 실험실에 전송할 수 있고, 이는 (예컨대, 샘플을 방사선 전문의에게 메일로 보내는 것에 비해) 정보를 전달하는 더 빠른 방식 및 물리적 샘플을 마킹하는 비-외과적 방식(예컨대, 종양의 포킹(poking)이 불필요함)을 제공한다.
[0274] 제1 사용자에 의해 지각가능한 콘텐츠를 제2 사용자에게 공유하기 위해, 웨어러블 디바이스는 제1 사용자에 의해 지각된 가상 스크린을 제2 사용자의 웨어러블 디바이스와 공유할 수 있다. 가상 스크린은 제1 사용자에 의해 입력된 정보(예컨대, 텍스트들, 도면들, 코멘트들, 물리적 또는 가상 오브젝트들의 주석)를 포함할 수 있다. 예컨대, 수술하는 외과의사는 자신이 환자에 대한 종양을 보고 있는 동안 자신의 가상 스크린을 방사선 전문의와 공유할 수 있다. 외과의사는 가상 스크린 상의 종양의 구역들을 마킹하고 이러한 마크들을 방사선 전문의에게 통신할 수 있다. 웨어러블 디바이스는 또한 가상 마커들을 갖는 가상 콘텐츠를 환자의 의료 기록에 보관하고, 사용자들의 주의가 필요한 다른 위치에서 사용자들에게 통지를 전송할 수 있다. 예컨대, 웨어러블 디바이스는, 어떤 방향이 기준 방향(예컨대, 상향)인지, 이미지를 캡처한 카메라의 배향, 콘텍스추얼 정보(예컨대, 이미지와 관련된 외과의사로부터의 메모들 또는 논평, 신체 부위, 이를테면, 종양 등) 등을 표시하기 위해 가상 종양 이미지 상에 가상 플래그들을 둘 수 있다. 웨어러블 디바이스는 가상 콘텐츠를 공유함으로써 가상 플래그들을 갖는 가상 종양 이미지를 병리 실험실의 사용자들에게 직접 전송할 수 있다. 웨어러블 디바이스는 또한 환자의 의료 기록에서 가상 플래그들을 갖는 가상 종양 이미지를 업데이트하고 병리 실험실의 사용자들에게 통지를 전송할 수 있다. 외과의사로부터 정보를 수신할 시에, 병리 실험실의 사용자들은 또한 자신들 개개의 웨어러블 디바이스들을 사용하여 가상 콘텐츠로서 추가적인 주석들을 행할 수 있다. 이러한 추가적인 주석들은 또한 외과의사의 웨어러블 디바이스에 통신될 수 있다.
[0275] 도 19의 예에서, 외과의사(1902)는 환자의 장기(1904)에 대한 의료 절차를 수행하고 있다. 외과의사(1902)는 장기(1904)가 일부 이상을 포함한다고 결정할 수 있다. 외과의사(1904)의 웨어러블 디바이스는 장기(1904)의 이미지를 취할 수 있다. 이미지를 취한 후, 웨어러블 디바이스는 장기의 이미지를 포함하는 제1 가상 콘텐츠 스크린(1910)을 생성 및 디스플레이한다. 외과의사는 장기(1904)가 2개의 부위들, 즉 정상 부위 및 제거될 필요가 있는 이상 부위를 포함한다고 결정할 수 있다. 외과의사는 제1 가상 콘텐츠 스크린(1910)에서 부위 A(정상 부위) 및 부위 B(이상 부위)를 마킹할 수 있다. 절제 포지션들을 확인하기 위해, 외과의사(1902)는 이미지(1910)의 부위 A 및 부위 B를 가상으로 분리하도록 자신의 웨어러블 디바이스에 (키 워드들, 토템 또는 제스처 활성화에 의해) 명령할 수 있다. 부위 A 및 부위 B를 가상으로 분리하라는 요청을 수신할 시에, 외과의사의 웨어러블 디바이스는 이미지 내의 데이터를 프로세싱 및 분석할 수 있다. 그런다음, 외과의사의 웨어러블 디바이스는 제2 가상 콘텐츠 스크린(1920)을 생성하여 외과의사(1902)에게 디스플레이할 수 있고, 여기서 외과의사의 웨어러블 디바이스는 부위 A 및 부위 B가 분리된 것을 도시하고, 이는 이상 부위의 검사 또는 절제를 보조할 수 있다.
[0276] 웨어러블 디바이스는 또한 사용자가 종양의 이미지를 조작하게 허용할 수 있다. 예컨대, 외과의사(1902)는 이상 부위 B의 이미지를 확대시키도록 자신의 웨어러블 디바이스에 (예컨대, 손 제스처들 또는 음성 커맨드를 사용하여) 명령할 수 있다. 이러한 명령들을 수신할 시에, 외과의사의 웨어러블 디바이스는 가상 스크린(1930)에 도시된 바와 같이 이상 부위 B의 이미지를 생성 및 디스플레이할 수 있다. 이러한 확대된 이미지에 기반하여, 외과의사는 자신이 장기(1904)로부터 부위 B를 제거해야 하는 포지션들을 더 양호하게 결정할 수 있다. 외과의사는 또한 종양과 연관된 코멘트들 또는 마커들을 입력할 수 있다. 예컨대, 외과의사는 가상 스크린(1930)에 도시된 바와 같이 종양의 이미지 상에 2개의 플래그들(플래그 1 및 플래그 2)을 배치할 수 있다. 플래그 1 및 플래그 2는, 예컨대, 종양의 방향 또는 배향, 절제 포지션들, 이상들의 위치들, 신체에 대한 부위 B의 방향(예컨대, 플래그 1은 플래그 2에 대한 앞쪽 포지션에 있음) 등을 표시할 수 있다.
[0277] 일부 구현들에서, 외과의사는 또한 종양의 이미지를 웨어러블 디바이스의 다른 사용자와 공유할 수 있다. 외과의사는 플래그 1 및 플래그 2의 포지션들을 확인하기 위해, 제1, 제2 또는 제3 가상 스크린들 내의 정보를 제2 사용자와 공유할 수 있다. 제2 사용자는 이상 부위 B를 분석할 병리학자일 수 있다. 외과의사는 3개의 가상 콘텐츠 스크린들을 환자의 의료 기록에 보관할 수 있고, 그런다음 제2 사용자는 환자의 의료 리포트에서 가상 콘텐츠 스크린들을 볼 수 있다. 외과의사는 또한 도 18을 참조하여 위에서 예시된 바와 같이 3개의 가상 콘텐츠 스크린들을 제2 사용자와 공유할 수 있다. 외과의사는 또한 외과의사가 수술을 수행하고 있는 것과 실시간으로 3개의 가상 콘텐츠 스크린들을 제2 사용자에게 전송할 옵션을 가질 수 있다. 일부 실시예들에서, 유리하게, 외과의사(1902)가 특정 마커들을 행할 때(예컨대, 플래그들 1 및 2를 배치함), 외과의사의 웨어러블 디바이스는 외과의사가 가상 스크린들 또는 주석들을 다른 사용자에게 전송하기를 원하는지 여부를 묻는 통지를 외과의사(1902)에게 전송할 수 있다.
[0278] 다른 예로서, 외과의사(1902)의 웨어러블 디바이스는 외과의사가 일하고 있는 영역의 가상 콘텐츠를 생성 및 도시할 수 있다. 가상 콘텐츠 스크린들(1910, 1920 및 1930)은 상이한 시점들에 수술 동안 수술되고 있는 영역을 도시할 수 있다. 예컨대, 제1 가상 스크린(1910)은 이상이 제거되기 전에 장기(1904)를 도시할 수 있다. 제2 가상 스크린(1920)은 외과의사가 이상 부위를 제거한 후 장기(1904)를 도시할 수 있고: 이상 부위는 부위 A(정상 부위) 및 부위 B(제거된 이상 부위)를 포함한다. 그런다음 외과의사는 제3 가상 스크린 상에서 이상 부위 B를 확대시킬 수 있고, 외과의사가 추가의 테스트들을 수행하기를 원하는 부위들을 가상으로 플래그할 수 있다. 예컨대, 플래그 1 및 플래그 2는 외과의사가 병리 테스트들을 수행하기를 원하는 부위들을 표시할 수 있다. 다른 예로서, 플래그들 1 및 2는 종양의 배향을 (이를테면, 예컨대 종양과 연관된 상향 방향을 표시함으로써) 표시할 수 있다. 외과의사는 제1, 제2 또는 제3 가상 콘텐츠 스크린들을 제2 사용자(예컨대, 병리학자)와 공유할 수 있다. 이러한 스크린들 중 하나 이상을 공유함으로써, 제2 사용자는, 병리 테스트를 수행하는 경우, 이상 부위 B가 장기 내의 어디로부터 온 것인지, 장기 또는 이상이 환자의 신체에 어떻게 포지셔닝되었는지, 장기의 추가적인 절제가 필요할 수 있는지 여부 또는 어디에서 필요할 수 있는지 등에 대한 추가의 콘텍스트를 가질 수 있다. 또한, 가상 플래그들의 사용은 분석 전에 이상 부위의 무결성을 보존하는 것을 도울 수 있는데, 이는 실제 물리적 플래그가 이상 부위 B에 배치되지 않기 때문이다.
[0279] 도 19의 예에서 오직 외과의사만이 가상 이미지를 편집 또는 플래그하고 있더라도, 일부 실시예들에서, 다수의 사용자들이 제1, 제2 또는 제3 가상 콘텐츠 스크린들을 공유할 때 이미지를 편집 또는 플래그할 수 있다. 상이한 사용자들에 의한 다양한 편집들 및 플래그는 환자의 의료 기록에 기록될 수 있고, 다른 사용자들은 업데이트된 이미지들을 자동으로 얻을 수 있다. 예컨대, 플래그 1 또는 2는 외과의사에 의해 제공된 종양의 이미지를 수신하는 다른 내과의사에 의해 배치될 수 있다.
[0280] 도 20은 다수의 사용자들 사이에서 가상 콘텐츠를 공유하는 예시적인 프로세스(2000)를 예시하는 흐름도이다. 예시적인 프로세스(2000)는 본원에서 설명된 웨어러블 시스템(200)에 의해 수행될 수 있다. 예컨대, 예시적인 프로세스(2000)는 단독으로 또는 원격 프로세싱 모듈(270)과 조합하여 하나 이상의 웨어러블 디바이스들의 로컬 프로세싱 및 데이터 모듈(260)에 의해 수행될 수 있다.
[0281] 블록(2010)에서, 프로세스(2000)는 제1 사용자의 제1 웨어러블 디바이스에 의해 가상 콘텐츠를 제공한다. 제1 사용자의 웨어러블 디바이스는 가상 콘텐츠를 제1 사용자에게 제공할 수 있다 가상 콘텐츠는 하나 이상의 가상 스크린들을 통해 제공될 수 있다.
[0282] 블록(2020)에서, 프로세스(2000)는 제2 웨어러블 디바이스를 통해 제2 사용자와 가상 콘텐츠를 공유하기 위한 트리거링 이벤트를 검출한다. 트리거 이벤트는 가상 콘텐츠를 다른 사용자와 공유하기 위한 제1 사용자에 의한 요청일 수 있거나 또는 제1 사용자에 의해 인지가능한 정보를 보기 위한 제2 사용자에 의한 요청일 수 있다. 요청은 키 워드들, 토템 상의 입력 또는 제스처일 수 있다. 트리거링 이벤트는 또한 제1 또는 제2 사용자의 환경 내의 조건에 기반할 수 있다. 예컨대, 콘텐츠 공유는 환자의 응급 상황(예컨대, 이를테면, 예컨대, 갑작스런 출혈 또는 심박수에서의 비정상)의 검출에 대한 응답으로 트리거링될 수 있다.
[0283] 블록(2030)에서, 프로세스(2000)는 제2 사용자와 연관된 액세스 특권을 검증한다. 액세스 특권의 검증은 도 12에 도시된 데이터 보안 관리 시스템(1212)에 의해 수행될 수 있다. 액세스 특권은 건강관리 데이터베이스 시스템(1220)에 의해 검증될 수 있고, 이는 의료 기록과 연관된 제2 사용자의 프로파일에 기반하여 제2 사용자의 액세스 특권을 검증할 수 있다. 특정 구현들에서, 환자는 누가 자신의 의료 기록들에 대한 액세스를 갖는지를 제어할 수 있다. 환자는 검증들을 위해 건강관리 데이터베이스 시스템(1220)에서 액세스 규칙들을 셋업할 수 있다. 환자 시스템은 또한 제2 웨어러블 디바이스의 액세스 특권을 스스로 검증할 수 있다.
[0284] 블록(2040)에서, 프로세스(2000)는 제2 웨어러블 디바이스가 가상 콘텐츠에 액세스하기 위한 충분한 액세스 특권을 갖는지 여부를 결정할 수 있다. 예컨대, 제1 또는 제2 웨어러블 디바이스는 제2 사용자가 가상 콘텐츠에 대한 액세스 특권을 갖는지 여부에 대해 건강관리 데이터베이스 시스템(1220)으로부터 표시를 수신할 수 있다. 만약 제2 사용자가 가상 콘텐츠에 대한 액세스 특권을 갖는다면, 프로세스(2000)는 블록(2050)으로 이동하고, 여기서 가상 콘텐츠는 제1 웨어러블 디바이스에 의해 인지될 때 제2 사용자의 웨어러블 디바이스와 공유된다. 일부 상황들에서, 제1 사용자는, 자신이 가상 콘텐츠의 어느 부분(예컨대, 가상 콘텐츠의 특정한 부분 또는 전체 가상 콘텐츠)을 제2 사용자의 웨어러블 디바이스와 공유하기를 원하는지를 표시할 수 있다. 제2 사용자의 웨어러블 디바이스는 제1 웨어러블 디바이스로부터 수신된 가상 콘텐츠를 도시하는 제2 가상 콘텐츠 스크린을 생성 및 디스플레이할 수 있다.
[0285] 선택적인 블록(2060)에서, 제2 웨어러블 디바이스는 가상 콘텐츠에 대한 수정을 수신할 수 있다. 제2 사용자는 제2 가상 콘텐츠 스크린에서 가상 콘텐츠를 수정할 수 있고, 제2 사용자의 웨어러블 디바이스는 이러한 수정을 기록할 수 있다. 이러한 수정은 제1 웨어러블 디바이스에 통신될 수 있다.
[0286] 선택적인 블록(2070)에서, 제1 웨어러블 디바이스는 수정된 가상 콘텐츠를 제1 사용자에게 제공할 수 있다. 제2 사용자의 웨어러블 디바이스는 환자의 의료 기록에서 수정된 가상 콘텐츠를 업데이트하고 수정에 대한 통지를 제1 사용자에게 전송할 수 있다. 그런다음, 제1 사용자의 웨어러블 디바이스는 수정된 가상 콘텐츠를 제1 사용자에게 도시하기 위해 제1 가상 콘텐츠 스크린을 업데이트할 수 있다.
[0287] 만약 블록(2040)에서 결정된 바와 같이 제2 사용자가 가상 콘텐츠에 대한 액세스 특권을 갖지 않는다면, 프로세스(2000)는 제2 사용자가 가상 콘텐츠에 대한 액세스 특권을 갖지 않는다는 표시를 제1 사용자의 웨어러블 디바이스에 제공할 수 있다. 프로세스(2000)는 또한 제2 사용자가 가상 콘텐츠에 액세스하려고 시도했다는 표시를 의료 기록의 환자에게 전송할 수 있다. 환자 시스템에 대한 표시는 사용자의 이름, 가상 콘텐츠와 연관된 정보를 포함할 수 있다. 프로세스(2000)는 환자의 의료 리포트에서 거부된 액세스의 이러한 입사를 저장할 수 있다.
[0288] 도 18 내지 도 20의 일부 예들이 가상 콘텐츠 스크린을 사용하여 가상 콘텐츠를 공유하거나 가상 콘텐츠를 디스플레이하는 것을 설명하지만, 웨어러블 디바이스들은 임의의 타입들의 기법들을 사용하여 3D 공간에서 가상 콘텐츠를 디스플레이 및 공유할 수 있다. 가상 콘텐츠는 가상 콘텐츠 스크린 상에서 렌더링되도록 요구되지 않는다. 가상 콘텐츠는 상이한 타입의 가상 오브젝트로서 나타날 수 있거나 또는 가상 콘텐츠 스크린의 일부로 나타나지 않는 다른 그래픽 외관들을 가질 수 있다.
콘텍스추얼 정보에 기반하여 가상 콘텐츠를 액세스 및 제공하는 예들
[0289] 웨어러블 디바이스는 콘텍스추얼 정보에 기반하여 가상 콘텐츠를 제공할 수 있다. 콘텍스추얼 정보는 웨어러블 디바이스의 사용자와 연관된 정보, 이를테면, 예컨대, 사용자의 위치, 사용자의 포즈, 사용자의 감정 상태, 액세스 특권들의 레벨 등을 포함할 수 있다. 콘텍스추얼 정보는 또한 사용자의 환경과 연관된 정보, 이를테면, 예컨대, 물리적 오브젝트, 가상 오브젝트, 사용자의 환경 내의 사람 등을 포함할 수 있다.
[0290] 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터, 원격 데이터 저장소(280) 또는 건강관리 데이터베이스 시스템(1220)로부터 액세스된 데이터, 조합 등에 기반한 콘텍스추얼 정보를 결정할 수 있다. 예컨대, 웨어러블 디바이스는 사용자의 환경에서 물리적 오브젝트들 또는 사람들을 식별하기 위해 하나 이상의 오브젝트 인식기들을 사용하여 외향 이미징 시스템(464)에 의해 획득된 데이터를 분석할 수 있다. 하나 이상의 오브젝트 인식기들은 물리적 오브젝트들을 식별하기 위해 다양한 컴퓨터 비전 알고리즘들(예컨대, 얼굴 인식 알고리즘들 또는 오브젝트 인식 알고리즘들을 포함함)을 적용할 수 있다. 다른 예로서, 웨어러블 디바이스는 IMU들을 사용하여 사용자의 포즈를 결정하고 GPS로부터 획득된 데이터를 사용하여 사용자의 위치를 결정할 수 있다.
[0291] 웨어러블 디바이스는 가상 콘텐츠에 액세스하고 콘텍스추얼 정보에 기반하여 3D 디스플레이 상에 가상 콘텐츠를 제공할 수 있다. 가상 콘텐츠는 환자의 가상 의료 기록들로부터의 정보 또는 위치에 특정된 가상 정보를 포함할 수 있다. 가상 콘텐츠는 또한 경고를 포함할 수 있다. 경고는 시각적 초점 표시자, 메시지, 사운드 등을 단독으로 또는 조합하여 포함할 수 있다. 초점 표시자는 경고를 트리거링한 물리적 또는 가상 콘텐츠 인근에 있을 수 있다. 경고 메시지는 경고를 트리거링한 이벤트를 설명하는 간략한 설명을 포함할 수 있다. 콘텍스추얼 정보에 기반한 가상 콘텐츠를 제공하는 예들은 도 21 내지 도 24를 참조하여 추가로 설명된다.
사용자의 환경과 연관된 콘텍스추얼 정보
[0292] HCP의 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터에 기반하여 주변들의 사람을 인식할 수 있다. 예컨대, 웨어러블 디바이스는 도 12 및 도 14a를 참조하여 설명된 기법들(이를테면, 예컨대, 얼굴 인식, 음성 인식 등)을 사용하여 사람(예컨대, 환자)을 인식할 수 있다. 웨어러블 디바이스는 3D 디스플레이 상에 환자의 정보를 제공할 수 있다. 예컨대, 웨어러블 디바이스는 환자의 특정한 정보, 이를테면, 예컨대, 환자의 이름, 절차, 진단, 수술되고 있는 해부학적 사이트, 약 등을 제공할 수 있다. 유리하게, 일부 실시예들에서, 웨어러블 디바이스는 얼굴 인식 기법들을 사용하여 환자의 아이덴티티를 인식함으로써 효율성을 개선하고 환자 관리의 품질을 개선하고, 그에 따라서 환자의 특정한 정보를 제공할 수 있다. 예컨대, 내과의사들은 종종 자신들의 진료실에서 많은 환자 차트들을 처리해야 한다. 얼굴 인식으로, 내과의사들은 환자와 상호작용할 필요 없이 환자를 보고 환자의 정보를 자동으로 지각할 수 있다. 일부 실시예들에서, 외향 이미징 시스템으로부터 획득된 데이터와 연동하여 얼굴 인식이 사용된다. 예컨대, 웨어러블 디바이스는 외향 이미징 시스템에 의해 획득된 이미지에 기반하여 환자 차트를 식별하고, 환자 차트에서 식별된 환자가 얼굴 인식 기법으로 인식된 동일한 환자라고 결정할 수 있다. 다른 예로서, 웨어러블 디바이스는 웨어러블 디바이스의 HCP가 정확한 환자에 대해 동작할(또는 동작하고 있는) 것을 보장하기 위해 얼굴 인식으로 결정된 환자의 아이덴티티를 수술실의 스케줄링 정보에 대해 체크할 수 있다.
[0293] 도 21은 사용자의 환경과 연관된 콘텍스추얼 정보에 기반하여 가상 콘텐츠를 제공하는 예를 예시한다. 이러한 예에서, 외과의사(2102)는 웨어러블 디바이스를 착용할 수 있다. 웨어러블 디바이스는 얼굴 인식 기술들에 기반하여 환자를 식별할 수 있다. 웨어러블 디바이스는 환자와 연관된 가상 의료 기록들을 리트리브할 수 있다. 웨어러블 디바이스는 가상 오브젝트들(2106, 2108 및 2110)에 의해 도시된 바와 같이 3D 사용자 인터페이스 상에 가상 의료 기록들의 관련 부분들을 제공할 수 있다.
[0294] 웨어러블 디바이스는 수술실과 연관된 환자의 가상 의료 기록들 또는 정보에 기반하여 수술의 타입을 결정할 수 있다. 이러한 예에서, 웨어러블 디바이스는 외과의사(2102)가 수술실의 스케줄링 정보에 기반하여 최소한으로 외과적인 심장 수술을 수행하고 있다고 결정할 수 있다. 그에 따라서, 웨어러블 디바이스는 외과의사가 수술해야 하는 관련 구역들을 외과의사(2102)가 식별하는 것을 돕기 위해 3D 공간에서 환자의 심장의 모델(2104)을 제공할 수 있다. 웨어러블 디바이스는 또한 환자의 생리적 데이터, 이를테면 호흡 레이트를 가상 오브젝트(2108) 상에, 그리고 ECG 데이터를 가상 오브젝트(2110) 상에 제공할 뿐만 아니라 환자의 개인 정보, 이를테면 그의 나이, 의료 이력, 알레르기들 등을 가상 오브젝트(2106) 상에 제공할 수 있다.
[0295] 추가적으로 또는 대안적으로, HCP의 웨어러블 디바이스는 외향 이미징 시스템으로부터 획득된 데이터에 기반하여, 사용자의 신체의 일부, 이를테면 팔 또는 장기를 인식할 수 있다. 웨어러블 디바이스는 HCP가 사용자의 신체의 정확한 부위에 대해 동작하고 있는지 여부를 결정하기 위해 가상 의료 기록들에 액세스할 수 있다. 웨어러블 디바이스는 만약 HCP가 사용자의 신체의 잘못된 부위에 대해 수술하려 하거나 수술하고 있다면 경고를 제공할 수 있다.
[0296] 도 22a 및 도 22b는 사용자의 환경과 연관된 콘텍스추얼 정보에 기반하여 경고를 제공하는 예를 예시한다. 도 22a의 예에서, 외과의사(2202)는 수술실에 있다. 외과의사(2202)는 환자의 다리들(2214r, 2214l)의 이미지를 포함하는 가상 오브젝트(2210)를 웨어러블 디바이스를 통해 지각할 수 있다. 도 21을 참조하여 설명된 바와 같이, 콘텍스추얼 정보에 기반하여, 외과의사의 웨어러블 디바이스는 외과의사가 환자에 대해 수행하려고 하는 수술의 타입에 관한 정보를 결정할 수 있다. 예컨대, 웨어러블 디바이스는 수술실의 스케줄링 정보에 액세스할 수 있고, 환자에 대해 스케줄링된 수술이 환자의 오른쪽 다리(2204r)에 대한 절차를 수반한다고 결정할 수 있다. 웨어러블 디바이스는 수술이 오른쪽 다리(2204r)에 대해 수행되어야 함을 확인하기 위해 환자의 의료 기록에 액세스할 수 있다. 웨어러블 디바이스는 수술을 위한 정확한 다리가 오른쪽 다리(2204r)인 것을 표시하는 초점 표시자를 (가상 오브젝트(2210)에서) 외과의사에게 제공할 수 있다. 예컨대, 도 22a에서, 웨어러블 디바이스는 환자의 오른쪽 다리의 이미지(2214r)를 향하는 화살표(2216a)를 디스플레이하고, 이는 어느 것이 수술을 위한 정확한 다리인지에 대한 시각적 표시를 외과의사(2202)에게 제공한다.
[0297] 웨어러블 디바이스는 환자와 외과의사의 상호작용을 모니터링할 수 있다. 외향 이미징 시스템(464)에 의해 획득된 데이터에 기반하여, 웨어러블 디바이스는 외과의사(2202)가 외과용 메스(2204)를 홀딩하고 있음을 검출할 수 있다. 도 22a의 예에서, 외과용 메스는 정확한 다리인 오른쪽 다리(2204r)에 대해 동작하고 있다.
[0298] 도 22a에 도시된 예와 반대로, 도 22b에 도시된 예에서, (가상 오브젝트(2210)의 왼쪽 다리(2214l)를 향하는 화살표(2216b)에 의해 표시된 바와 같이) 환자의 왼쪽 다리(2204l)가 수술을 위한 정확한 다리이다. 이러한 예에서, 웨어러블 디바이스는 외과용 메스가 오른쪽 다리(2204r)에 대해 동작하고 있거나 외과용 메스가 환자의 오른쪽 다리(2204r)를 향해 움직이고 있다고 결정한다. 예컨대, 웨어러블 디바이스의 외향 이미징 시스템은 환자의 하부 팔들을 이미징하고, 환자의 팔들, 외과의사의 손들의 포지션, 외과의사의 손들 내의 외과용 메스의 존재 및 위치 등을 식별하기 위해 컴퓨터 비전 기법들을 사용할 수 있다. 웨어러블 디바이스는, 외과의사가 도 22b의 수술에 대해 정확한 다리가 아닌 환자의 오른쪽 다리(2204r)에 대해 수술하려 한다고(또는 수술하고 있다고) 결정할 수 있다. 웨어러블 디바이스는 외과의사(2202)가 오른쪽 다리(2204r)에 대해 수술하지 않아야 한다고 시각적 경고 경보(2218)를 제공할 수 있다. 경고는 외과의사(2202)에게 그가 잘못된 다리에 대해 수술하려 함을 통지하는 메시지를 포함할 수 있다. 경고 경보(2218)는 왼쪽 다리(2204l)가 정확한 다리임을 강조하기 위해 환자의 왼쪽 다리(2204l) 인근에 나타나도록 제공될 수 있다. 다른 실시예들에서, 경고 경보(2218)는 환자의 오른쪽 다리(2204r) 위에 디스플레이되어, 부정확한 다리에 대한 외과의사의 뷰를 적어도 부분적으로 가릴 수 있고, 이는 발생하는 문제점이 있을 수 있다는 추가적인 시각적 표시를 외과의사에게 제공한다. 일부 실시예들에서, 경고는 또한 외과의사의 실수를 보정하기 위해 추천된 조치(이를테면, 예컨대, 외과의사가 왼쪽 다리(2204l)에 대해 수술해야 한다는 리마인더)를 포함한다. 추가적으로 또는 대안적으로, 경고는 초점 표시자를 포함할 수 있다. 예컨대, 화살표(2216b)는 (예컨대, 녹색으로부터 적색으로) 컬러가 변할 수 있거나 또는 왼쪽 다리(2204l)가 정확한 다리임을 강조할 수 있는 플래시를 시작한다. 경고 경보(2218)는 청각적 경고를 동반할 수 있는데, 예컨대, 웨어러블 디바이스의 스피커 시스템은 도 22에 도시된 메시지를 플레이하여, 외과의사가 환자의 잘못된 다리에 대해 수술하려고 시도하는 것을 계속하지 않도록 보장하는 것을 도울 수 있다. 이러한 예는 환자의 다리에 대한 절차를 설명하지만, 이는 예시를 위한 것이고, 본원에서 설명된 경고 경보의 범위를 제한하려 의도되지 않는다. 추가로, 경고의 사용은 수술로 제한되지 않으며, 다른 HCP들에 의해 사용되는 웨어러블 디바이스들에서(예컨대, 환자가 실제로는 왼쪽 엉덩이 통증에 대해 불평했을 때(예컨대, 도 15 참조) 환자에 대한 피부 발진을 검사하려고 시도하고 있는 검사하는 내과의사에게 경고하기 위해) 제공될 수 있다.
사용자와 연관된 콘텍스추얼 정보
[0299] 콘텍스추얼 정보는 웨어러블 디바이스의 사용자에게 특정적인 정보를 포함할 수 있다. 다수의 사용자들이 동일한 웨어러블 디바이스를 사용할 수 있기 때문에, 웨어러블 디바이스는 사용자에게 특정적인 콘텍스추얼 정보를 결정하기 위해 사용자의 아이덴티티를 검증할 필요가 있을 수 있다. 웨어러블 디바이스는 사용자의 아이덴티티를 결정 및 검증하기 위해 도 14a 및 도 14b를 참조하여 설명된 다양한 기법들을 사용할 수 있다. 예로서, 웨어러블 디바이스는 사용자 프로파일들을 생성하여 의료 데이터 저장부(1222)에 저장할 수 있다. 웨어러블 디바이스가 사용자에 의해 작동될 때, 웨어러블 디바이스는 사용자의 생체인식 정보를 획득하거나, 사용자의 아이덴티티의 검증을 위해 특정 입력들을 제공하도록 사용자에게 요구할 수 있다. 생체인식 정보 또는 사용자 입력들에 기반하여, 웨어러블 디바이스는 사용자의 액세스 특권들을 결정하기 위해 적합한 프로파일에 액세스할 수 있다. 프로파일은 사용자에 대한 정보, 이를테면, 예컨대, 그의 이름, 생일, 졸업한 학교 이름, 졸업연도, 전공, 병원 정보, 액세스 특권들 등을 포함할 수 있다.
[0300] 유리하게, 일부 실시예들에서, 프로파일은 사용자의 음성 특징들 또는 사용자의 눈 특징들(예컨대, 홍채 또는 망막 패턴)을 포함한다. 웨어러블 디바이스는 내향 이미징 시스템(462)(예컨대, 눈-추적 카메라)에 의해 획득된 데이터에 기반하여 사람의 눈 특징들을 수집 및 분석할 수 있다. 예컨대, 사람의 눈의 이미지는 홍채를 식별하기 위해 세그먼트화될 수 있고, 그런다음 사람을 고유하게 식별하는 홍채 코드가 생성될 수 있다. 웨어러블 디바이스는 웨어러블 디바이스에 의해 수집된 눈 특징들을 프로파일 내의 눈 특징들에 매칭할 수 있다. 만약 매치가 존재한다고 웨어러블 디바이스가 결정하면, 웨어러블 디바이스는 사용자의 아이덴티티가 검증되었다고 결정할 수 있다. 웨어러블 디바이스가 매치를 발견하지 않으면, 웨어러블 디바이스는 사용자가 웨어러블 디바이스를 사용하도록 인가되지 않은 것을 표시하는 경고를 생성할 수 있다. 그런다음 사용자는 상이한 식별 방법을 시도할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 웨어러블 디바이스를 사용하도록 인가된 하나 이상의 사용자들에게 통지들을 전송할 수 있다. 통지는 비인가된 액세스의 데이터, 시간 또는 위치를 포함할 수 있다. 웨어러블 디바이스는 또한 비인가된 액세스에 관한 통지들을 환자의 의료 기록에 저장할 수 있다.
[0301] 개방 심장 수술 동안 사용자의 정보에 기반하여 가상 콘텐츠를 제공하는 예로서, HCP의 웨어러블 디바이스는 HCP가 현재 상호작용하고 있는 오브젝트를 결정하기 위해 HCP의 포즈(이를테면, 예컨대, 시선 방향)를 분석할 수 있다. 예컨대, 만약 HCP가 연장된 시간 기간(예컨대, 5 분, 10 분 등) 동안 심장 보다는 수술실의 창문을 응시하고 있다면, 웨어러블 디바이스는 사용자가 산만해졌다고 결정할 수 있다. 결과적으로, 웨어러블 디바이스는 HCP의 초점을 다시 수술로 유도하기 위한 경고를 생성할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 수술 동안 모든 경고들을 컴파일링하고 리포트를 생성한다.
[0302] 사용자의 정보에 기반하여 가상 콘텐츠를 제공하는 다른 예로서, 웨어러블 디바이스는 사용자가 접수 담당자라고 결정할 수 있으며, 이 접수 담당자의 직무(job duty)는 스케줄링 예약들을 수반한다. 그에 따라서, 웨어러블 디바이스는 3D 사용자 인터페이스 상에 예약 스케줄링 도구를 자동으로 제공할 수 있다. 그러나, 의사가 동일한 웨어러블 디바이스를 사용할 때, 웨어러블 디바이스는 예약을 스케줄링하기 위한 도구보다는 의사의 주간 스케줄을 제공할 수 있다.
[0303] 도 23은 사용자의 위치에 기반하여 가상 콘텐츠를 제공하는 예를 예시한다. 사용자의 위치는 웨어러블 디바이스의 하나 이상의 환경 센서들에 기반하여 결정될 수 있다. 예컨대, 웨어러블 디바이스는 GPS에 의해 획득된 데이터에 기반하여 사용자의 위치를 결정할 수 있다. 웨어러블 디바이스는 또한, 외향 이미징 시스템에 의해 획득된 이미지들에 기반하여 사용자의 위치를 결정할 수 있다. 예컨대, 웨어러블 디바이스는 컴퓨터 비전 알고리즘을 사용하여 빌딩을 검출할 수 있다. 웨어러블 디바이스는 추가로, 이미지가 "병원"이라는 단어 또는 다른 특징 랜드마크를 갖는 싸인을 포함하기 때문에 빌딩이 병원이라고 결정할 수 있다.
[0304] 도 23은 2개의 장면들(2310 및 2330)을 도시한다. 장면(2310)의 위치가 병원(2312)인 한편, 장면(2330)의 위치는 치료소(2314)이다. 사용자(2302)는 장면들 둘 모두에서 웨어러블 디바이스를 착용한다.
[0305] 예로서, 사용자(2302)는 환자일 수 있다. 장면(2310)에서, 웨어러블 디바이스의 위치 센서들(이를테면, 예컨대, GPS)은 환자의 위치 데이터를 획득할 수 있다. 웨어러블 디바이스는 위치 데이터를 프로세싱하고, 사용자가 병원(2312)에 있다고 결정할 수 있다. 웨어러블 디바이스는, 예컨대, 건강관리 데이터베이스 시스템(1220)과 통신함으로써, 환자의 가상 의료 기록들에 액세스할 수 있다. 웨어러블 디바이스는 환자의 가상 의료 기록들을 분석하고, 환자가 병원(2312)에서 스케줄링된 수술을 받는다고 결정할 수 있다. 그에 따라서, 웨어러블 디바이스는 수술실로의 경로를 포함하는, 병원(2312)의 빌딩 맵을 제공할 수 있다. 의사가 빌딩의 내부로 이동함에 따라, 웨어러블 디바이스는, 병원 내부에서의 의사의 포지션을 결정하고 그에 따라서 경로 정보를 업데이트하기 위해, 웨어러블 디바이스의 외향 이미징 시스템(464)에 의해 획득된 데이터(또는 GPS 데이터)를 분석할 수 있다. 웨어러블 디바이스는 또한, 3D 디스플레이 상에 수술실의 정보(2320)를 제공할 수 있다. 예컨대, 웨어러블 디바이스는 3D 디스플레이 상에 절차에 관한 정보, 이를테면, 예컨대, 절차의 위험들을 제공할 수 있다.
[0306] 장면(2330)에서, 웨어러블 디바이스는 사용자의 위치 정보에 기반하여 환자가 치료소(2314)에 있다고 결정할 수 있다. 그에 따라서, 웨어러블 디바이스는 치료소(2314)에서의 환자의 스케줄링 정보, 이를테면, 예컨대, 예약 시간, 및 환자가 치료소(2314)에서 볼 내과의사를 디스플레이할 수 있다.
[0307] 다른 예로서, 사용자(2302)는 병원(2312) 및 치료소(2314)에서 일하는 의사일 수 있다. 의사가 병원(2312)에 있을 때, 웨어러블 디바이스는 의사가 수술실(A)에서 수술을 수행할 것이라고 결정할 수 있다. 그에 따라서, 웨어러블 디바이스는 수술실(A)의 정보(이를테면, 예컨대, 수술실에 있는 의료 장비)를 제공할 수 있다. 웨어러블 디바이스는 또한, 의사의 현재 위치로부터 수술실(A)로의 맵 또는 경로 정보를 제공할 수 있다. 웨어러블 디바이스는 또한, 의사가 수술할 것이라고 환자에게 통보할 수 있다. 환자 정보는 병원의 네트워크(예컨대, 병원의 서버) 상에, 파일 캐비닛에, 또는 건강관리 데이터베이스 시스템(1220)에 저장될 수 있다. 웨어러블 디바이스는 환자의 파일들의 스토리지 위치를 자동으로 식별하고, 스토리지 위치로부터 파일들에 액세스할 수 있다. 일부 실시예들에서, 환자의 파일들이 파일 캐비닛에 저장된 경우, 웨어러블 디바이스는 의사가 환자의 파일을 찾도록 돕기 위해 환자의 파일의 위치의 표시를 제공할 수 있다.
[0308] 의사가 치료소(2314)에서 자신의 웨어러블 디바이스를 턴 온할 때, 웨어러블 디바이스는 의사의 현재 위치가 (병원(2312)이라기 보다는) 치료소(2314)인 것을 검출할 수 있다. 웨어러블 디바이스는, 의사의 경우들의 관련 정보, 이를테면, 예컨대, 의사가 볼 환자들, 의사가 치료소에서 수행할 절차들, 검사실들, 영업 시간 이후에 치료소에 수신된 음성메일 메시지들 등을 리트리브하기 위해, 치료소의 데이터베이스와 통신할 수 있다. 웨어러블 디바이스는 블루투스 또는 무선 기술들을 사용하여 치료소의 클라우드 네트워크와 통신함으로써 관련 정보를 획득할 수 있다. 그 전날부터 보조자에 의해 의사의 경우들의 정보가 클라우드 네트워크에 업로드될 수 있다.
[0309] 위치 정보에 기반하여 가상 콘텐츠를 제공하는 다른 예로서, 웨어러블 디바이스는 사용자의 환경을 모니터할 수 있고, 사용자가 병원에서 특정한 수술실에 들어간 것을 모니터할 수 있다. 웨어러블 디바이스는 이 특정 수술실과 연관된 월드 맵(920)(이를테면, 예컨대, 내부 수술 유닛 맵)에 액세스하여, 수술실과 관련된 오브젝트들을 결정할 수 있다. 이 수술실의 월드 맵은 다수의 사용자들에 의해 생성 및 업데이트될 수 있다. 월드 맵을 업데이트 및 구축하는 것에 관한 세부사항들은 도 9 및 17을 참조하여 설명된다. 웨어러블 디바이스는 또한, 이 특정 수술실에 대한 디폴트 파라미터들, 이를테면, 예컨대, 다음 절차를 위한 시간 및 환자 등을 디스플레이할 수 있다. 웨어러블 디바이스는, 이 특정 수술실의 디폴트 파라미터들을 결정하기 위해, 병원 네트워크에 업로드된 간호사의 스케줄에 액세스할 수 있다.
콘텍스추얼 정보에 기반하여 가상 콘텐츠를 액세스 및 제공하는 예시적인 프로세스들
[0310] 도 24는 콘텍스추얼 정보에 기반하여 가상 콘텐츠를 액세스 및 제공하는 예시적인 프로세스(2400)를 예시하는 흐름도이다. 프로세스(2400)는 웨어러블 디바이스에 의해 수행될 수 있다.
[0311] 블록(2410)에서, 웨어러블 디바이스는 웨어러블 디바이스의 하나 이상의 환경 센서들에 의해 획득된 데이터에 액세스한다. 획득된 데이터는 사용자 또는 사용자의 환경과 연관된 데이터를 포함할 수 있다.
[0312] 블록(2420)에서, 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터의 분석에 적어도 기반하여 콘텍스추얼 정보를 결정한다. 콘텍스추얼 정보는 HCP, 환자, 가상 의료 기록, 검사실 또는 수술실, 검사실 또는 수술실의 오브젝트들, 웨어러블 디바이스 사용자의 위치, 사용자와 환자 사이의 상호작용들 등과 연관된 정보를 포함할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 또한, 원격 데이터 저장소(280) 또는 건강관리 데이터베이스 시스템(1220) 내의 데이터에 액세스하고, 액세스된 데이터에 기반하여 콘텍스추얼 정보를 결정할 수 있다.
[0313] 블록(2430)에서, 웨어러블 디바이스는 콘텍스추얼 정보에 적어도 부분적으로 기반하여 웨어러블 디바이스의 사용자에 대한 FOR과 연관된 가상 오브젝트들을 식별한다. 가상 오브젝트들은 사용자들 사이에 공유되는 가상 콘텐츠, 환자의 의료 기록에서의 과거 테스트 결과들, 사용자들과 환자 사이의 상호작용들의 문서화들, 사용자의 스케줄링 정보 등을 포함할 수 있다. 예컨대, 웨어러블 디바이스는 사용자의 현재 위치를 결정하고, 현재 위치와 연관된 가상 오브젝트들을 식별할 수 있다.
[0314] 블록(2440)에서, 웨어러블 디바이스는 사용자의 FOV에서의 가상 오브젝트들 중 하나 이상을 제공할 수 있다. 예컨대, 의사가 병원에 있을 때, 의사 FOR과 연관된 가상 오브젝트들은 병원의 맵(또는 위치까지의 경로), 그리고 그날의 의사의 스케줄을 포함할 수 있다. 그러나, 웨어러블 디바이스는 FOV에 그날의 의사의 스케줄만을 제공할 수 있다. 만약 의사가 병원의 맵을 보고 싶다면, 의사는 사용자 입력 디바이스(466)를 작동시키거나 또는 포즈를 사용할 수 있다.
[0315] 선택적으로, 블록(2450)에서, 웨어러블 디바이스는, 콘텍스추얼 정보에 기반하여, 경고를 생성하기 위한 임계 조건이 충족되는지 여부를 결정할 수 있다. 임계 조건은 의료 절차에서의 실수를 포함할 수 있다. 예컨대, 웨어러블 디바이스는 환자에 대해 수행되는 수술의 표준 단계들을 결정할 수 있다. 표준 단계들은 프로세스들 A, B 및 C를 포함할 수 있다. 웨어러블 디바이스는 외과의사의 액션들을 모니터하고, 외과의사가 프로세스 B를 생략한 것을 검출할 수 있다. 프로세스 B가 빠졌다는 검출에 대한 응답으로, 웨어러블 디바이스는 임계 조건이 충족된다고 결정할 수 있다. 다른 예로서, 웨어러블 디바이스는, 수술이 환자의 오른쪽 다리(2204r)에 대해 이루어져야 할 때 외과의사의 외과용 메스가 환자의 왼쪽 다리(2204l)까지의 임계 거리 미만일 경우 임계 조건이 충족된다고 결정할 수 있다.
[0316] 만약 임계 조건이 충족되면, 선택적인 블록(2460)에서, 웨어러블 디바이스는 웨어러블 디바이스의 사용자에게 경고를 제공할 수 있다. 경고는 실수, 임계 조건 또는 실수의 보정 조치 등을 표시하는 경고 메시지 또는 초점 표시자를 포함할 수 있다.
[0317] 만약 임계 조건이 충족되지 않으면, 프로세스(2400)는 다시 블록(2410)으로 간다.
의료 기구들을 추적하는 예들
[0318] HCP는 의료 절차 또는 검사에 수반되는 의료 기구들을 추적할 필요가 있을 수 있다. 기구 추적은 수술/검사에 수반되는 의료 기구들을 카운팅하는 것, 또는 이물질(예컨대, 의료 기구)이 환자의 무균 구역에 들어가거나 또는 빠져나가는지 여부를 아는 것을 포함할 수 있다. 정확한 의료 기구가 사용되었는지 여부 또는 의료 기구가 정확한 포지션에 있는지 여부를 아는 것은, 의료 과실을 회피하고 의료 관리의 품질을 개선하는데 매우 중요하다. 예컨대, 외과의사는 특정 기구를 요청할 수 있지만, 간호사에 의해 상이한 기구가 그에게 건네진다. 결과적으로, 외과의사는 의료 사고를 유발할 수 있는 잘못된 기구를 환자에 대해 사용할 수 있다. 다른 예로서, 만약 기구들이 잘못 카운팅되면, 환자는 자신의 수술로부터 이물질들(이를테면, 예컨대, 거즈, 의료 래그, 핸드폰 등)과 함께 봉합될 수 있다.
[0319] 이러한 문제점들을 개선하기 위해, 현재 기법들은 수술실에 들어간 모든 기구들을 (이를테면, 예컨대, 간호사에 의해) 카운팅하는 것을 포함하며, 수술의 끝에, 기구들(및 그들의 위치들/기능들)이 적절히 고려되었음을 보장한다. 그러나, 의료 절차들에서 기구 추적은 간호사들의 경우 지루한 임무이다. 게다가, 현재 기법들은 다수의 HCP들(예컨대, 다수의 외과의사들, 간호사들 등)이 수술에 수반될 수 있기 때문에 에러들이 발생하기 쉽다. 모든 사람의 액션들 및 의료 기구들의 사용들을 고려하는 것은 어려울 수 있다. 또한, 수술실의 환경은 스트레스가 높고, 시간에 민감하며, HCP들에게 소모적일 수 있다. 따라서, HCP들은 수술실에서 의료 기구들 중 일부를 실수로 잊어버릴 수 있다.
[0320] 이러한 문제점들을 회피하고, 기존 기법들을 개선하기 위해, 웨어러블 디바이스는, 사용자의 환경에서 의료 기구들을 식별하고, 의료 기구가 (예컨대, 수술 후에 환자의 복부 내부보다는) 정확한 포지션에 있는지 여부를 결정하기 위해, 하나 이상의 환경 센서들을 사용할 수 있다. 웨어러블 디바이스는 또한, 하나 이상의 센서들에 의해 획득된 데이터에 기반하여, 정확한 의료 기구가 소독 필드에 들어갔는지 여부를 결정할 수 있다.
의료 기구를 식별 및 추적하는 예들
[0321] 웨어러블 디바이스는, 이물질(예컨대, 의료 기구)을 식별하고 이물질과 연관된 시맨틱 정보를 결정하기 위해, 단독으로 또는 원격 데이터 저장소(280)에 저장된 데이터와 조합하여, 하나 이상의 환경 센서들에 의해 획득된 데이터를 사용할 수 있다. 예컨대, 웨어러블 디바이스는 사용자의 환경의 이미지를 획득하기 위해 외향 이미징 시스템(464)을 사용할 수 있다. 오브젝트 인식기들(708)은 이미지에서 의료 기구를 검출할 수 있다. 웨어러블 디바이스는 또한, 검출된 의료 기구와 연관된 시맨틱 정보, 이를테면, 예컨대, 이름, 타입, 용도, 기구의 기능, 기구가 한 세트의 기구들에 있는지 여부 등을 결정하기 위해, 원격 데이터 저장소(280)와 통신(또는 로컬 프로세싱 데이터 모듈(260)을 사용)할 수 있다.
[0322] 웨어러블 디바이스는 또한, 의료 기구를 식별하기 위한 하나 이상의 광학 센서들을 사용할 수 있다. 예컨대, 의료 기구는 광학 라벨, 이를테면, 예컨대, QR(quick response) 코드 또는 바코드를 포함할 수 있다. 광학 라벨은 의료 기구의 외부 표면 상에 배치될 수 있다. 광학 라벨은 의료 기구의 아이덴티티(이를테면, 예컨대, 의료 기구와 연관된 식별자)를 인코딩할 수 있다. 광학 라벨은 또한, 의료 기구와 연관된 시맨틱 정보를 인코딩할 수 있다. 웨어러블 디바이스의 하나 이상의 광학 센서들이 광학 라벨을 스캔할 수 있다. 웨어러블 디바이스는 광학 라벨에 인코딩된 정보를 해석할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 광학 라벨의 추가 정보를 획득하기 위해 원격 데이터 저장소(280)와 통신할 수 있다. 예컨대, 웨어러블 디바이스는 의료 기구의 식별자를 추출할 수 있으며, 의료 기구의 시맨틱 정보를 얻기 위해 원격 데이터 저장소와 통신할 수 있다. 웨어러블 디바이스는 또한, 환경에서 오브젝트들의 위치를 추적하기 위해, 전자기 추적 센서들을 통합하거나 또는 활용할 수 있다.
[0323] 광학 라벨에 부가하여 또는 이에 대한 대안으로, 의료 기구는 또한, 전자기 라벨, 이를테면, 예컨대, RFID 태그를 가질 수 있다. 전자기 라벨은 웨어러블 디바이스에 의해 검출될 수 있는 신호들을 방출할 수 있다. 예컨대, 웨어러블 디바이스는 특정 주파수들을 갖는 신호들을 검출할 수 있도록 구성될 수 있다. 일부 구현들에서, 웨어러블 디바이스는 의료 기구에 신호를 전송할 수 있다. 의료 기구로부터 수신된 피드백에 기반하여, 웨어러블 디바이스는 의료 기구를 식별할 수 있다. 웨어러블 디바이스는 유선 또는 무선 네트워크를 통해 의료 기구와 통신할 수 있다.
[0324] 일부 실시예들에서, 웨어러블 디바이스가 의료 기구를 식별할 때, 웨어러블 디바이스는 의료 기구 인근의 초점 표시자를 제공할 수 있다. 예컨대, 웨어러블 디바이스는 내과의사 옆에 있는 거즈를 식별하고, 거즈 주위에 녹색 후광을 디스플레이할 수 있다. 웨어러블 디바이스는 의료 기구의 시맨틱 정보에 기반하여 초점 표시자를 할당할 수 있다. 예컨대, 웨어러블 디바이스는 외과용 메스 주위에 청색 후광을 할당하면서 거즈 주위에 녹색 후광을 할당할 수 있다.
[0325] 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터에 기반하여 의료 기구의 포지션을 추적할 수 있다. 예컨대, 웨어러블 디바이스는 외향 이미징 시스템(464)에 의해 획득된 데이터에 기반하여 시간의 경과에 따라 의료 기구의 포지션을 결정할 수 있다. 예로서, 웨어러블 디바이스는 시간 1에 트레이에서 외과용 메스를 식별하고, 나중에 외과의사의 손에서 동일한 외과용 메스를 식별할 수 있다. 유리하게, 일부 실시예들에서, 각각의 웨어러블 디바이스가 제한된 FOV를 가질 수 있고 전체 수술실을 관찰할 수 없기 때문에, 다수의 웨어러블 디바이스들로부터 수집된 데이터에 기반하여 기구 추적이 달성될 수 있다. 예컨대, 간호사의 웨어러블 디바이스에 의해 획득된 이미지에 기반하여 외과용 메스가 시간 1에 트레이에서 나타날 수 있다. 간호사의 웨어러블 디바이스가 외과의사가 외과용 메스를 집어 올렸다는 것을 지각할 수 없었더라도, 외과의사의 웨어러블 디바이스에 의해 획득된 이미지에 기반하여, 외과용 메스의 포지션이 외과의사의 손이 되도록 나중에 업데이트될 수 있다.
[0326] 예들이 의료 기구들을 식별 및 추적하는 것을 참조하여 설명되지만, 유사한 기법들이 또한, 다른 물리적 오브젝트들, 이를테면, 핸드폰, 펜 등에 적용될 수 있다.
무균 구역에서 오브젝트를 식별하는 예들
[0327] 도 25는 무균 구역(2510)을 갖는 수술실에서 발생하는 의료 절차의 예를 개략적으로 예시한다. 이 예에서, 2 명의 외과의사들(2504 및 2506)이 절차에 수반된다. 2명의 외과의사들은 수술을 수행하면서 그들의 개개의 웨어러블 디바이스들을 착용할 수 있다.
[0328] 무균 구역(소독 필드로서 또한 지칭됨)(2510)은 물리적 환경에서의 또는 사용자의 FOR에서의 사용자-정의된 영역일 수 있다. 무균 구역(2510)은 수술 이전에 소독된 환자(또는 수술실)의 구역과 연관될 수 있다. 예컨대, 무균 구역(2510)은 수술 중에 컷팅 개방될 또는 컷팅 개방되는 구역일 수 있다.
[0329] 웨어러블 디바이스는 HCP(이를테면, 예컨대, 외과의사(2504, 2506), 간호사 또는 다른 HCP)에게 수술실의 월드 맵(920)을 제공할 수 있다. HCP는 수술실의 어느 구역이 무균 구역(2510)인지를 월드 맵(920) 상에 마킹할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 무균 구역을 결정하기 위해 환자의 가상 의료 기록들 또는 수술과 연관된 정보에 자동으로 액세스할 수 있다. 무균 구역(2510)의 일부는 외과의사(2504)의 FOV의 일부 또는 외과의사(2506)의 FOV의 일부와 겹칠 수 있다.
[0330] 외과의사(2504)는 자신의 FOR에서 가상 오브젝트들(2520, 2512, 2514, 2518) 뿐만 아니라 의료 기구들(2530)을 지각할 수 있다. 이 예에서, 의료 기구들(2530)이 또한, 외과의사(2504)의 FOR의 일부일 수 있는 무균 구역(2510)에 존재한다. 가상 오브젝트들(2512, 2514, 2518)은 환자의 가상 의료 기록, 환자의 생리적 데이터(이를테면, 심박수, 호흡 레이트 등), 수술과 연관된 정보(이를테면, 예컨대, 외과의사의 단계들, 수술되고 있는 장기의 확대된 뷰 등) 등과 연관될 수 있다. 가상 오브젝트(2520)는 무균 구역(2510)에서의 의료 기구들(2530)의 리스트를 포함한다. 의료 기구들(2530)은 2개의 기구들(A), 하나의 기구(B), 하나의 기구(C), 하나의 기구(D) 및 2개의 스폰지들을 포함할 수 있다.
[0331] 외과의사(2504)는 자신의 FOV에서 가상 오브젝트들의 적어도 서브세트, 그리고 자신의 FOR에서 물리적 오브젝트들의 적어도 서브세트를 지각할 수 있다. 예컨대, 외과의사(2504)가 환자에 대해 수술하고 있는 동안, 외과의사(2504)는 자신의 웨어러블 디바이스의 3D 사용자 인터페이스를 통해 가상 오브젝트(2514) 및 2개의 스폰지들을 지각할 수 있다. 웨어러블 디바이스는 FOV에서의 물리적 오브젝트들을 모니터할 수 있다. 예컨대, 외과의사(2504)의 웨어러블 디바이스는 외과의사(2504)의 FOV에서 인식된 오브젝트들에 대해 지속적으로 스캔할 수 있다. 웨어러블 디바이스는 또한, FOV에 들어가는 새로운 오브젝트들에 대해 스캔할 수 있다. 예컨대, 절차 동안, 외과의사는 FOV 내부로 외과용 메스를 가져올 수 있다. 웨어러블 디바이스는 외과용 메스가 자신의 FOV에 들어갔음을 검출할 수 있다. 만약 이 외과용 메스가 웨어러블 디바이스에 의해 이전에 식별되지 않았다면, 웨어러블 디바이스는 컴퓨터 비전 기법들을 사용하거나 또는 외과용 메스와 연관된 광학/전자기 라벨을 스캔하여, 새로운 오브젝트가 FOV에 들어갔음을 인식할 수 있다.
정확한 의료 기구가 사용되는 것을 확인하는 예들
[0332] 웨어러블 디바이스는 무균 구역(또는 HCP의 FOV)에 들어가는 의료 기구가 정확한 의료 기구인지 여부를 확인할 수 있다. 웨어러블 디바이스는 하나 이상의 환경 센서들에 의해 획득된 데이터에 기반하여 그러한 확인을 수행할 수 있다. 예컨대, 웨어러블 디바이스는 마이크로폰(232)을 사용하여 오디오 데이터를 수집할 수 있다. HCP의 웨어러블 디바이스는 오디오 데이터를 분석하여, 오디오 데이터에 언급된 의료 기구를 식별할 수 있다. 웨어러블 디바이스는 또한, HCP의 FOV에 들어가는 오브젝트들을 모니터하며, 그리고 FOV에 들어간 의료 기구가 오디오 데이터에서 식별된 의료 기구와 매칭하는지 여부를 결정할 수 있다. 만약 FOV에 들어간 의료 기구가 오디오 데이터에서 식별된 의료 기구와 매칭하지 않으면, 웨어러블 디바이스는 HCP에 경고를 제공할 수 있다. 경고는 초점 표시자일 수 있다. 초점 표시자는 FOV에 들어간 비-매칭 의료 기구 주위에 디스플레이될 수 있다. 경고는 또한, 비-매칭 의료 기구가 FOV에 들어갔다는 것을 설명하는 간단한 설명을 포함할 수 있는 경고 메시지일 수 있다. 예컨대, 경고는 비-매칭 의료 기구 및 요청된 정확한 의료 기구의 이름, 그리고 잘못된 의료 기구가 FOV에 들어갔다는 진술을 포함할 수 있다. 경고는 웨어러블 디바이스의 3D 가상 사용자 인터페이스 상에 제공되거나 또는 웨어러블 디바이스의 스피커(240)를 통해 제공될 수 있다.
[0333] 예로서, 외과의사(2504)는 수술에서 외과용 메스를 그에게 건네도록 간호사에게 요청할 수 있다. 그러나, 간호사는 한 쌍의 가위들을 건넨다. 웨어러블 디바이스는 스피치 인식을 사용하여 "외과용 메스"라는 단어를 식별하고, 의사가 외과용 메스를 요청했다고 결정할 수 있다. 웨어러블 디바이스는 또한, 컴퓨터 비전 기법들을 사용하여 간호사에 의해 건네지는 한 쌍의 가위들을 검출할 수 있다. 한 쌍의 가위들이 외과의사에 의해 요청된 외과용 메스가 아니기 때문에, 웨어러블 디바이스는 한 쌍의 가위들이 정확한 의료 기구가 아님을 표시하는 적색 후광을 한 쌍의 가위 주위에 제공할 수 있다.
[0334] 웨어러블 디바이스는 또한, 환경 센서들로부터 획득된 데이터 및 원격 데이터 저장소(280)로부터 액세스되는 데이터(또는 로컬 프로세싱 & 데이터 모듈(260)로부터의 데이터)에 기반하여, 정확한 의료 기구가 FOV 또는 무균 구역에 들어갔는지 여부를 확인할 수 있다. 원격 데이터 저장소(280)는 특정 타입의 수술에 사용되는 한 세트의 수술 기구들에 관한 정보를 포함할 수 있다. 한 세트의 수술 기구들에 관한 정보는 수술 타입에서 사용되는 수술 기구들의 타입, 이름, 양, 포지션, 기능 등을 포함할 수 있다. 기구에 관한 정보는 또한, 환자 차트(예컨대, 어느 스텐트가 사용되었는지, 부품 번호 및 제조자 정보와 함께 어느 임플란트가 삽입되었는지 등)에 업로드될 수 있다. 이러한 정보는 환자의 의료 기록들에서의 절차 파일에 추가될 수 있다.
[0335] 웨어러블 디바이스는 환자의 가상 의료 기록들에 기반하여 환자에 대해 수행될 것이거나 또는 수행되고 있는 수술의 타입을 결정할 수 있다. 웨어러블 디바이스는 원격 데이터 저장소(280)에 저장된 데이터에 기반하여 수술의 타입과 연관된 수술 기구들의 세트를 식별할 수 있다. 웨어러블 디바이스는 또한, 획득된 이미지들에 기반하여 무균 구역 내의 수술 기구들을 식별할 수 있고, 무균 구역이 수술 기구의 식별된 세트에 속하지 않는 수술 기구를 포함하는지 여부를 결정할 수 있다. 수술 동안, 웨어러블 디바이스는 개개의 외과의사들(2504, 2506)의 FOV들 또는 무균 구역 내에 들어가는(또는 무균 구역에서 나가는) 오브젝트들을 계속해서 모니터할 수 있고, 가상 오브젝트(2520) 상에 수술 기구들의 리스트를 업데이트할 수 있고, 만약 잘못된 수술 기구가 무균 구역(또는 FOV들) 내에 들어갔다면 외과의사들(2504, 2506)에게 경고할 수 있다.
[0336] 예로서, 맹장 수술을 위한 한 세트의 수술 기구들은 다양한 가위들, 겸자들, 견인기들, 약단지들, 신장 디시들, 타월 클램프들 등을 포함할 수 있다. 도 25에 도시된 무균 구역(2510) 내의 의료 기구들(2530)은 2개의 가위들, 하나의 겸자, 하나의 견인기, 및 하나의 본 큐렛을 포함할 수 있다. 웨어러블 디바이스는 가상 오브젝트(2520)에 의해 도시된 바와 같이 무균 구역(2510) 내의 수술 기구들의 리스트를 제공할 수 있다. 그러나, 본 큐렛은 맹장 수술을 위한 수술 도구들의 세트에 있지 않다. 결과적으로, 웨어러블 디바이스는 본 큐렛이 무균 구역(2510)에 들어간 것을 표시하는 경고를 외과의사(2504)에게 제공할 수 있다. 예컨대, 웨어러블 디바이스는 가상 오브젝트(2520) 상에서 상이한 컬러로 어구 "본 큐렛"을 도시할 수 있다. 경고 메시지에 대한 응답으로, 외과의사는 무균 구역(2510)으로부터 본 큐렛을 제거할 수 있다. 웨어러블 디바이스가 본 큐렛이 무균 구역 밖으로 이동된 것을 관찰하면, 웨어러블 디바이스는 가상 오브젝트(2520)로부터 어구 "본 큐렛"을 제거할 수 있다.
무균 구역 내의 의료 기구들을 추적하고 카운트하는 예들
[0337] 웨어러블 디바이스는 하나 이상의 환경 센서들, 및 로컬 프로세싱 및 데이터 모듈(260)을 사용하여, 무균 구역(2510)에 들어가고 무균 구역(2510)에서 나가는 오브젝트들을 추적할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 또한, 의료 기구들을 추적하고 카운트하기 위해, 원격 프로세싱 모듈(270) 및 원격 데이터 저장소(280)와 통신할 수 있다.
[0338] 예컨대, 웨어러블 디바이스는 무균 구역(2510) 내의 의료 기구들의 리스트를 유지할 수 있다. 만약 의료 기구가 무균 구역 내에 들어가는 것을 웨어러블 디바이스가 검출한다면, 웨어러블 디바이스는 리스트에 의료 기구를 추가할 수 있다. 만약 의료 기구가 무균 구역으로부터 제거된다면, 웨어러블 디바이스는 리스트로부터 제거된 의료 기구를 뺄 수 있다. 웨어러블 디바이스는 도 25에 도시된 가상 오브젝트(2520)를 사용하여 무균 구역 내의 기구들의 현재 리스트를 제공할 수 있다. 일부 구현들에서, 웨어러블 디바이스는 사용자에 의해 현재 사용되고 있는 의료 기구가 무균 구역 내에(또는 밖에) 있다는 것을 도시하는 하나 이상의 포커스 표시자들을 디스플레이할 수 있다.
[0339] 의료 기구들을 추적하는 것과 연관된 데이터는 무균 구역 내에 들어가는 모든 기구들이 적절히 고려되었는지 여부를 결정하기 위해 분석될 수 있다. 예컨대, 웨어러블 디바이스는 무균 구역 내의 모든 의료 기구들이 무균 구역에서 나갔는지 여부를 결정할 수 있다. 무균 구역에서 나가지 않은 의료 기구들에 대해, 웨어러블 디바이스는 이들이 무균 구역 내에 남아야 하는지 여부를 결정할 수 있다. 예로서, 추적 데이터에 기반하여, 웨어러블 디바이스는 수술의 종료 시에 무균 구역에 수술용 실 및 거즈 조각이 여전이 있는 것을 식별할 수 있다. 웨어러블 디바이스는 추가로, 수술 후에 신체 조직들을 함께 홀딩하기 위해 수술용 봉합사가 사용되기 때문에 수술용 실의 포지션이 적절한 것을 결정할 수 있다. 그러나, 외과의사가 환자를 닫은 후에 환자의 신체 내부에 거즈 조각이 남지 않아야 하기 때문에 거즈 조각의 포지션은 적절하지 않다. 결과적으로, 웨어러블 디바이스는 거즈 조각이 무균 구역에 여전히 있다는 것을 표시하는 경고를 외과의사(2504)에게 제공할 수 있다.
[0340] 어떤 의료 기구들이 무균 구역(2510)에 들어갔거나 또는 무균 구역(2510)에서 나갔는지에 대한 정확도를 총괄적으로 유지하기 위해, 다수의 웨어러블 디바이스들이 사용될 수 있다. 예컨대, 원격 컴퓨팅 시스템(1720)(도 17에 도시됨)은 (가상 오브젝트(2520)에 의해 도시된 바와 같이) 무균장 내의 기구들의 리스트를 유지할 수 있다. 원격 컴퓨팅 시스템(1720)은, 외과의사(2504)의 웨어러블 디바이스 및 외과의사(2506)의 웨어러블 디바이스에 의해 획득된 데이터에 기반하여, 기구들의 리스트를 업데이트할 수 있다. 다수의 웨어러블 디바이스들로부터의 데이터에 기반한 기구 추적은 유익할 수 있는데, 이는 다수의 사용자들이 의료 기구를 무균장 내에 가져올 수 있거나 또는 무균장 밖으로 가져갈 수 있기 때문이다. 게다가, 사용자의 웨어러블 디바이스의 FOV는 무균 구역(2510)의 일부만을 커버할 수 있고, 무균 구역(2510) 내의 모든 각각의 오브젝트를 추적하는 것이 가능하지 않을 수 있다. 또한, 사용자가 무균 구역(2510)으로부터 눈길을 돌릴 수 있거나 또는 수술실에서 떠날 때, 무균 구역(2510)과 상호작용하고 있는 다른 사용자들이 무균 구역(2510)에 들어가거나 또는 무균 구역(2510)에서 나가는 의료 기구들을 계속 추적할 수 있다.
[0341] 의료 기구들을 참조하여 예들이 설명되지만, 다른 물리적 오브젝트들을 식별, 추적, 및 확인하기 위해 유사한 기법들이 또한 사용될 수 있다. 예컨대, 웨어러블 디바이스는 휴대폰이 환자의 신체 내부에 잘못하여 남지 않는 것을 확실히 하기 위해, 휴대폰을 식별할 수 있고, 휴대폰의 포지션을 추적할 수 있다. 또한, 무균 구역을 사용하여 예들이 설명되지만, 다른 구역들, 이를테면 예컨대, 수술실 또는 HCP의 FOV에서 오브젝트들을 모니터하고 추적하기 위해 유사한 기법들이 또한 사용될 수 있다.
의료 기구들을 추적하는 예시적인 프로세스들
[0342] 도 26은 무균 구역에서 의료 오브젝트들을 추적하는 예시적인 프로세스(2600)를 예시하는 흐름도이다. 예시적인 프로세스(2600)는, 단독으로 또는 원격 컴퓨팅 시스템(1720)과 조합하여, 웨어러블 디바이스(210)에 의해 수행될 수 있다. 웨어러블 디바이스(210)는 웨어러블 디바이스일 수 있다.
[0343] 블록(2610)에서, 웨어러블 디바이스는 웨어러블 디바이스와 연관된 FOR에서 무균 구역을 식별한다. 무균 구역은 외부 데이터베이스, 이를테면 예컨대, 데이터베이스 시스템(1220) 또는 원격 데이터 저장소(280)로부터 획득된 데이터에 기반하여 결정될 수 있다. 예컨대, 무균 구역은 수술실, 환자에 대해 수행되는 수술의 타입, 환자의 신체 등과 연관된 병원 프로토콜들에 기반하여 결정될 수 있다. 무균 구역은 또한, HCP에 의해 마킹될 수 있다.
[0344] 블록(2620)에서, 웨어러블 디바이스는 무균 구역 내에 들어간 오브젝트를 식별할 수 있다. 웨어러블 디바이스는 오브젝트를 식별하기 위해 하나 이상의 환경 센서들로부터 획득된 데이터를 사용할 수 있다. 예컨대, 웨어러블 디바이스는 컴퓨터 비전 알고리즘들을 사용하여 오브젝트를 검출할 수 있거나, 또는 오브젝트와 연관된 광학 라벨을 스캔할 수 있다.
[0345] 블록(2630)에서, 웨어러블 디바이스는 오브젝트와 연관된 정보에 액세스할 수 있다. 웨어러블 디바이스는 오브젝트와 연관된 시맨틱 정보를 결정하기 위해, 건강관리 데이터베이스 관리 시스템(1220) 또는 원격 데이터 저장소(280)와 통신할 수 있다. 예컨대, 오브젝트와 연관된 정보는 오브젝트의 이름, 오브젝트의 타입, 오브젝트의 포지션 등을 포함할 수 있다.
[0346] 블록(2640)에서, 웨어러블 디바이스는 무균 구역에서 오브젝트의 포지션들을 추적할 수 있다. 예컨대, 웨어러블 디바이스는 외과용 메스가 트레이로부터 외과의사의 손으로 이동된 것을 검출하기 위해 컴퓨터 비전 알고리즘을 사용할 수 있다.
[0347] 웨어러블 디바이스는 무균 구역 내에 들어가고 무균 구역에서 나가는 모든 오브젝트들의 기록을 유지할 수 있다. 예컨대, 웨어러블 디바이스는 현재 무균 구역에 있는 오브젝트들의 리스트를 유지할 수 있다. 블록(2650)에서, 웨어러블 디바이스는 무균 구역 내의 오브젝트와 연관된 비정상을 검출할 수 있다. 웨어러블 디바이스는 오브젝트와 연관된 정보, 또는 의료 절차와 연관된 정보(이를테면, 수술의 타입, 수술을 위해 요구되는 수술 기구들 등)에 기반하여 검출을 행할 수 있다. 예컨대, 웨어러블 디바이스는 웨어러블 디바이스의 사용자에 의해 수행되고 있는 수술에 관련되지 않은 의료 기구를 무균 구역이 포함하는지 여부를 결정할 수 있다. 웨어러블 디바이스는 또한, 웨어러블 디바이스의 사용자가 요청되지 않은 수술 기구를 받았는지 여부를 결정할 수 있다.
[0348] 추가적으로 또는 대안적으로, 블록(2660)에서, 웨어러블 디바이스는 무균 구역에서 오브젝트가 떠났음을 검출할 수 있다. 예컨대, 웨어러블 디바이스는 무균 구역의 제1 이미지에서 기구들(A, B 및 C)을 검출할 수 있다. 그러나, 무균 구역의 제2 이미지에서, 웨어러블 디바이스는 기구들(B 및 C)만을 검출한다. 그에 따라서, 웨어러블 디바이스는 기구(A)가 무균 구역을 떠났음을 결정할 수 있고, 현재 무균 구역에 있는 오브젝트들의 리스트로부터 기구(A)를 제거할 수 있다.
[0349] 선택적으로, 블록(2670)에서, 웨어러블 디바이스는, 오브젝트가 무균 구역을 떠났음에도, 웨어러블 디바이스의 FOR에서 오브젝트의 포지션을 계속 추적할 수 있다. 예컨대, 웨어러블 디바이스는 바늘의 포지션을 추적함으로써, 바늘이 적절히 배치되었는지 여부를 결정할 수 있다.
추가적인 양상들
[0350] 제1 양상에서, 가상 건강관리 콘텐츠를 착용자에게 제공하도록 구성된 웨어러블 디바이스로서, 웨어러블 디바이스는: 가상 콘텐츠를 착용자에게 제공하도록 구성된 디스플레이 ― 디스플레이의 적어도 일부가 투명하고 착용자의 눈의 앞의 위치에 배치됨으로써, 착용자가 웨어러블 디바이스를 착용하였을 때, 투명한 부분은 착용자의 앞의 환경의 일부로부터 광을 착용자의 눈으로 투과시켜 착용자의 앞의 환경의 일부의 뷰를 제공함 ―; 및 디스플레이와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 환자에 대한 환자 의료 기록의 적어도 일부와 연관된 액세스 특권을 수신하고; 액세스 특권에 적어도 부분적으로 기반하여, 환자 의료 기록의 적어도 일부에 액세스하고; 그리고 환자 의료 기록의 적어도 일부에 관련된 가상 콘텐츠를 착용자에게 제공하도록 디스플레이에 명령하도록 프로그래밍된다.
[0351] 제2 양상에서, 양상1의 웨어러블 디바이스에 있어서, 웨어러블 디바이스는 착용자의 눈의 눈 이미지를 캡처하도록 구성된 내향 이미징 시스템을 포함하고, 프로세서는: 생체인식 식별 엘리먼트를 결정하기 위해 눈 이미지를 분석하고; 그리고 생체인식 식별 엘리먼트가 착용자에 대한 인가된 생체인식 식별 엘리먼트와 매칭한다는 확인을 수신하도록 프로그래밍된다.
[0352] 제3 양상에서, 양상2의 웨어러블 디바이스에 있어서, 생체인식 식별 엘리먼트는 홍채 스캔 또는 망막 스캔을 포함한다.
[0353] 제4 양상에서, 양상1 내지 양상3 중 어느 한 양상의 웨어러블 디바이스에 있어서, 웨어러블 디바이스는 착용자의 위치를 결정하기 위한 센서를 더 포함하고, 액세스 특권은 착용자의 위치에 적어도 부분적으로 기반한다.
[0354] 제5 양상에서, 양상1 내지 양상4 중 어느 한 양상의 웨어러블 디바이스에 있어서, 웨어러블 디바이스는 환경 센서를 더 포함하고, 하드웨어 프로세서는: 환경 센서로부터 환경 데이터를 획득하고; 획득된 환경 데이터로부터 데이터 캡처 트리거를 인식하고; 그리고 웨어러블 디바이스 상에 배치된 적어도 하나의 데이터 캡처 엘리먼트로부터 데이터 캡처를 개시하도록 프로그래밍된다.
[0355] 제6 양상에서, 양상5의 웨어러블 디바이스에 있어서, 환경 센서는 마이크로폰을 포함하고, 환경 데이터는 오디오 기록을 포함하고, 그리고 데이터 캡처 트리거는 발화된 개시 커맨드를 포함한다.
[0356] 제7 양상에서, 양상5 또는 양상6의 웨어러블 디바이스에 있어서, 환경 센서는 외향 이미징 시스템을 포함하고, 환경 데이터는 환경의 이미지들을 포함하고, 그리고 데이터 캡처 트리거는 착용자에 의해 이루어진 제스처를 포함한다.
[0357] 제8 양상에서, 양상5 내지 양상7 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는, 획득된 환경 데이터로부터 데이터 종료 트리거를 인식하고, 그리고 적어도 하나의 데이터 캡처 엘리먼트로부터의 데이터 캡처를 종료하도록 프로그래밍된다.
[0358] 제9 양상에서, 양상5 내지 양상8 중 어느 한 양상의 웨어러블 디바이스에 있어서, 데이터 캡처 엘리먼트는 마이크로폰 또는 외향 이미징 시스템을 포함한다.
[0359] 제10 양상에서, 양상1 내지 양상9 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는: 착용자에게 가상 사용자 인터페이스를 디스플레이하거나 ― 가상 사용자 인터페이스는, 착용자가: 환자 의료 기록의 적어도 일부에 데이터를 입력하도록 허가하는 기능성을 포함함 ―; 환자 의료 기록의 적어도 일부를 업데이트하거나; 환자 의료 기록의 적어도 일부를 구성하거나; 또는 환자 의료 기록의 적어도 일부에 대한 변경들을 보관하도록 프로그래밍된다.
[0360] 제11 양상에서, 양상1 내지 양상10 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 환자 의료 기록의 적어도 일부를 데이터 저장부에 통신하도록 프로그래밍된다.
[0361] 제12 양상에서, 양상11의 웨어러블 디바이스에 있어서, 데이터 저장부는 웨어러블 디바이스 외부에 있고, 통신은 무선 네트워크를 통해 이루어진다.
[0362] 제13 양상에서, 건강관리 컴퓨팅 환경으로서, 건강관리 컴퓨팅 환경은: 양상1 내지 양상12 중 어느 한 양상의 웨어러블 디바이스; 건강관리 데이터베이스 시스템 ― 건강관리 데이터베이스 시스템은: 웨어러블 디바이스와 통신하도록 구성된 네트워크 인터페이스를 포함함 ―; 환자 의료 기록을 저장하도록 구성된 비-일시적 데이터 저장부를 포함한다.
[0363] 제14 양상에서, 양상13의 건강관리 컴퓨팅 환경에 있어서, 웨어러블 디바이스는 환자에 의해 착용되도록 구성되고, 환경은: 건강관리 제공자(HCP) 웨어러블 디바이스 ― 건강관리 제공자(HCP) 웨어러블 디바이스는: 가상 콘텐츠를 HCP에 제공하도록 구성된 제2 디스플레이를 포함하고, 디스플레이의 적어도 일부가 투명하고 HCP의 눈의 앞의 위치에 배치됨으로써, HCP가 HCP 웨어러블 디바이스를 착용하였을 때, 투명한 부분은 HCP의 앞의 환경의 일부로부터 광을 HCP의 눈으로 투과시켜 HCP의 앞의 환경의 일부의 뷰를 제공함 ―; 환경 센서; 및 제2 디스플레이와 통신하는 제2 하드웨어 프로세서를 더 포함하고, 제2 하드웨어 프로세서는: 환경 센서로부터의 데이터를 분석하도록 구성된 오브젝트 인식기; 및 HCP가 환자 의료 기록의 적어도 일부에 액세스하게 허가하도록 구성된 데이터 관리 시스템을 포함하도록 프로그래밍된다.
[0364] 제15 양상에서, 양상1 내지 양상14 중 어느 한 양상의 웨어러블 디바이스에 있어서, 액세스 특권은 판독 특권 또는 편집 특권을 포함한다.
[0365] 제16 양상에서, 양상1 내지 양상15 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 환자 의료 기록의 적어도 일부에 액세스하려는 시도들을 액세스 로그에 저장하도록 프로그래밍된다.
[0366] 제17 양상에서, 양상1 내지 양상16 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 착용자의 아이덴티티를 검증하도록 프로그래밍된다.
[0367] 제18 양상에서, 양상17의 웨어러블 디바이스에 있어서, 착용자의 아이덴티티를 검증하기 위해서, 하드웨어 프로세서는 홍채 코드 또는 망막 스캔을 활용하도록 프로그래밍된다.
[0368] 제19 양상에서, 양상17 또는 양상18 중 어느 한 양상의 웨어러블 디바이스에 있어서, 착용자의 아이덴티티가 검증되지 않는 것에 대한 응답으로, 하드웨어 프로세서는 환자 의료 기록의 적어도 일부에 대한 액세스를 거부하도록 프로그래밍된다.
[0369] 제20 양상에서, 양상17 내지 양상19 중 어느 한 양상의 웨어러블 디바이스에 있어서, 착용자의 아이덴티티가 검증되지 않는 것에 대한 응답으로, 하드웨어 프로세서는 환자 의료 기록의 일부의 디스플레이를 중단하도록 프로그래밍된다.
[0370] 제21 양상에서, 건강관리 환경 내의 사용자의 환경을 모니터링하는 방법으로서, 방법은: 가상 콘텐츠를 웨어러블 디바이스의 사용자에게 제공하도록 구성된 디스플레이, 환경 센서, 및 디스플레이 및 환경 센서와 통신하는 하드웨어 프로세서를 포함하는 웨어러블 디바이스의 제어 하에서: 개시 조건을 검출하기 위해 환경 센서에 의해 획득된 데이터를 분석하는 단계; 개시 조건이 존재한다는 것을 결정하는 단계; 건강관리 문서를 제공하기 위해 환경 센서를 사용하여 건강관리 이벤트를 문서화하는 단계; 종료 조건을 검출하기 위해 환경 센서에 의해 획득된 데이터를 분석하는 단계; 종료 조건이 존재한다는 것을 결정하는 단계; 및 환경 센서를 사용하여 건강관리 이벤트의 문서를 중단시키는 단계를 포함한다.
[0371] 제22 양상에서, 양상21의 방법에 있어서, 환경 센서는 마이크로폰 또는 외향 이미징 시스템을 포함한다.
[0372] 제23 양상에서, 양상21 또는 양상22의 방법에 있어서, 환경 센서는 제1 환경 센서, 및 제1 환경 센서와 상이한 제2 환경 센서를 포함하고, 개시 조건을 검출하기 위해 환경 센서에 의해 획득된 데이터를 분석하는 단계는 제1 환경 센서에 의해 획득된 데이터를 분석하는 단계를 포함하고; 그리고 환경 센서를 사용하여 건강관리 이벤트를 문서화하는 단계는 제2 환경 센서를 사용하여 건강관리 이벤트를 문서화하는 단계를 포함한다.
[0373] 제24 양상에서, 양상21 내지 양상23 중 어느 한 양상의 방법에 있어서, 환경 센서는 외향 이미징 시스템을 포함하고, 그리고 건강관리 이벤트를 문서화하는 단계는 건강관리 이벤트의 비디오 기록을 캡처하는 단계를 포함한다.
[0374] 제25 양상에서, 양상21 내지 양상24 중 어느 한 양상의 방법에 있어서, 환경 센서는 마이크로폰을 포함하고, 그리고 건강관리 이벤트를 문서화하는 단계는 건강관리 이벤트의 오디오 기록을 캡처하는 단계를 포함한다.
[0375] 제26 양상에서, 양상25의 방법에 있어서, 건강관리 이벤트를 문서화하는 단계는: 환자 상태에 관해 환자에 의해 발화된 정보를 결정하기 위해 오디오 기록을 분석하는 단계를 포함한다.
[0376] 제27 양상에서, 양상21 내지 양상26 중 어느 한 양상의 방법은, 건강관리 문서의 적어도 일부를 데이터 저장부에 통신하는 단계를 더 포함한다.
[0377] 제28 양상에서, 양상21 내지 양상27 중 어느 한 양상의 방법은, 건강관리 문서의 적어도 일부를 포함하도록 환자 의료 기록을 업데이트하는 단계를 더 포함한다.
[0378] 제29 양상에서, 가상 건강관리 콘텐츠를 착용자에게 제공하도록 구성된 웨어러블 디바이스로서, 웨어러블 디바이스는: 가상 콘텐츠를 착용자에게 제공하도록 구성된 디스플레이 ― 디스플레이의 적어도 일부가 투명하고 착용자의 눈의 앞의 위치에 배치됨으로써, 착용자가 웨어러블 디바이스를 착용하였을 때, 투명한 부분은 착용자의 앞의 환경의 일부로부터 광을 착용자의 눈으로 투과시켜 착용자의 앞의 환경의 일부의 뷰를 제공함 ―; 및 디스플레이와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 가상 건강관리 콘텐츠를 제2 웨어러블 디바이스와 공유하기 위한 트리거링 이벤트를 검출하고; 제2 웨어러블 디바이스가 가상 건강관리 콘텐츠를 제공하기에 충분한 액세스 특권을 가지고 있는 것을 검증하고; 만약 제2 웨어러블 디바이스가 충분한 액세스 특권을 가지고 있다면, 가상 건강관리 콘텐츠를 제2 웨어러블 디바이스와 공유하고; 그리고 만약 제2 웨어러블 디바이스가 불충분한 액세스 특권을 가지고 있다면, 제2 웨어러블 디바이스가 불충분한 액세스 특권을 가지고 있다는 표시를 착용자에게 제공하도록 프로그래밍된다.
[0379] 제30 양상에서, 양상29의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는: 제2 웨어러블 디바이스에 의해 이루어진 가상 건강관리 콘텐츠의 수정을 수신하고; 그리고 수정된 가상 건강관리 콘텐츠를 웨어러블 디바이스의 착용자에게 제공하도록 프로그래밍된다.
[0380] 제31 양상에서, 양상29 또는 양상30의 웨어러블 디바이스에 있어서, 가상 건강관리 콘텐츠를 환자 의료 기록을 포함한다.
[0381] 제32 양상에서, 양상29 내지 양상31 중 어느 한 양상의 웨어러블 디바이스에 있어서, 가상 건강관리 콘텐츠는 의료 디바이스로부터 획득된 정보를 포함한다.
[0382] 제33 양상에서, 양상29 내지 양상32 중 어느 한 양상의 웨어러블 디바이스에 있어서, 가상 건강관리 콘텐츠는 환자의 일부의 이미지를 포함한다.
[0383] 제34 양상에서, 양상29 내지 양상33 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 가상 건강관리 콘텐츠를 수정하기 위한 착용자 입력을 수락하도록 프로그래밍된다.
[0384] 제35 양상에서, 가상 건강관리 콘텐츠를 착용자에게 제공하도록 구성된 웨어러블 디바이스로서, 웨어러블 디바이스는: 가상 콘텐츠를 착용자에게 제공하도록 구성된 디스플레이 ― 디스플레이의 적어도 일부가 투명하고 착용자의 눈의 앞의 위치에 배치됨으로써, 착용자가 웨어러블 디바이스를 착용하였을 때, 투명한 부분은 착용자의 앞의 환경의 일부로부터 광을 착용자의 눈으로 투과시켜 착용자의 앞의 환경의 일부의 뷰를 제공함 ―; 착용자의 환경에 관한 환경 데이터를 획득하도록 구성된 환경 센서; 및 디스플레이 및 환경 센서와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 환경 센서에 의해 획득된 환경 데이터에 액세스하고; 환경 데이터에 적어도 부분적으로 기반하여 콘텍스추얼 정보를 결정하고; 콘텍스추얼 정보에 적어도 부분적으로 기반하여 웨어러블 디바이스의 착용자의 시야(FOV)와 연관된 가상 오브젝트를 식별하며; 그리고 웨어러블 디바이스의 착용자의 FOV 내의 가상 오브젝트에 관련된 가상 콘텐츠를 제공하도록 프로그래밍된다.
[0385] 제36 양상에서, 양상35의 웨어러블 디바이스에 있어서, 환경 센서는 마이크로폰, 외향 이미징 시스템, 내향 눈-추적 시스템, 바코드 판독기, 또는 GPS 센서를 포함한다.
[0386] 제37 양상에서, 양상35 또는 양상36의 웨어러블 디바이스에 있어서, 콘텍스추얼 정보는 착용자의 위치, 착용자의 포즈, 착용자의 감정 상태, 액세스 특권들의 레벨, 착용자의 FOV 내에 있는 환자의 증상 또는 상태, 또는 착용자의 FOV 내에 있는 환자의 아이덴티티를 포함한다.
[0387] 제38 양상에서, 양상35 내지 양상37 중 어느 한 양상의 웨어러블 디바이스에 있어서, 콘텍스추얼 정보는 착용자에게 제공되는 가상 오브젝트 또는 착용자의 환경 내의 물리적 오브젝트와 연관된 정보를 포함한다.
[0388] 제39 양상에서, 양상35 내지 양상38 중 어느 한 양상의 웨어러블 디바이스에 있어서, 환경 센서는 이미징 시스템을 포함하며, 콘텍스추얼 정보를 결정하기 위해서, 하드웨어 프로세서는 컴퓨터 비전 알고리즘, 얼굴 인식 알고리즘, 또는 뉴럴 네트워크를 사용하여 이미징 시스템에 의해 캡처된 이미지들을 분석하도록 프로그래밍된다.
[0389] 제40 양상에서, 양상35 내지 양상39 중 어느 한 양상의 웨어러블 디바이스에 있어서, 가상 콘텐츠는 환자 의료 기록의 일부, 경고, 초점 표시자, 또는 메시지를 포함한다.
[0390] 제41 양상에서, 양상35 내지 양상40 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는: 콘텍스추얼 정보가 임계 조건을 통과하는지 여부를 결정하고; 만약 임계 조건이 통과된다면, 업데이트된 가상 콘텐츠를 웨어러블 디바이스의 착용자에게 디스플레이하도록 프로그래밍된다.
[0391] 제42 양상에서, 양상35 내지 양상41 중 어느 한 양상의 웨어러블 디바이스에 있어서, 콘텍스추얼 정보는 환자에 대한 의료 절차 동안에 사용되는 의료 기구들에 관한 정보를 포함하고, 가상 콘텐츠는 의료 기구들의 위치에 관련된 정보를 포함한다.
[0392] 제43 양상에서, 양상42의 웨어러블 디바이스에 있어서, 가상 콘텐츠는 의료 기구가 환자의 신체 내에 남아있다는 것을 표시하는 경고를 더 포함한다.
[0393] 제44 양상에서, 양상42 또는 양상43의 웨어러블 디바이스에 있어서, 가상 콘텐츠는 착용자의 FOV 내에 있는 의료 기구가 의료 절차에 부적합하거나 불필요하다는 경고를 포함한다.
[0394] 제45 양상에서, 양상35 내지 양상44 중 어느 한 양상의 웨어러블 디바이스에 있어서, 콘텍스추얼 정보는 환자 신체 부위에 관한 정보를 포함한다.
[0395] 제46 양상에서, 양상45의 웨어러블 디바이스에 있어서, 가상 콘텐츠는 환자의 신체 부위와 연관된 가상 플래그를 포함한다.
[0396] 제47 양상에서, 양상35 내지 양상46 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 추가로, 가상 콘텐츠를 데이터 저장소에 통신하도록 프로그래밍된다.
[0397] 제48 양상에서, 양상35 내지 양상47 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 추가로, 환자 의료 기록을 가상 콘텐츠로 업데이트하도록 프로그래밍된다.
*[0398] 제49 양상에서, 가상 건강관리 콘텐츠를 착용자에게 제공하도록 구성된 웨어러블 디바이스로서, 웨어러블 디바이스는: 가상 콘텐츠를 착용자에게 제공하도록 구성된 디스플레이 ― 디스플레이의 적어도 일부가 투명하고 착용자의 눈의 앞의 위치에 배치됨으로써, 착용자가 웨어러블 디바이스를 착용하였을 때, 투명한 부분은 착용자의 앞의 환경의 일부로부터 광을 착용자의 눈으로 투과시켜 착용자의 앞의 환경의 일부의 뷰를 제공함 ―; 착용자의 환경에 관한 환경 데이터를 획득하도록 구성된 환경 센서; 및 디스플레이 및 환경 센서와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 웨어러블 디바이스의 관심 필드(FOR) 내의 무균 구역을 식별하고; 무균 구역 내에 들어가는 오브젝트를 식별하고; 오브젝트와 연관된 정보에 액세스하며; 그리고 무균 구역 내의 오브젝트의 포지션을 추적하도록 프로그래밍된다.
[0399] 제50 양상에서, 양상49의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 추가로, 오브젝트와 연관된 정보에 적어도 부분적으로 기반하여 무균 구역 내의 오브젝트와 연관된 비정상을 검출하도록 프로그래밍된다.
[0400] 제51 양상에서, 양상50의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 비정상의 검출에 적어도 부분적으로 기반하여 경고를 착용자에게 제공하도록 프로그래밍된다.
[0401] 제52 양상에서, 양상49 내지 양상51 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 오브젝트가 무균 구역을 떠났다는 것을 검출하도록 프로그래밍된다.
[0402] 제53 양상에서, 양상49 내지 양상52 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 오브젝트와 연관된 가상 콘텐츠를 착용자에게 제공하도록 프로그래밍된다.
[0403] 제54 양상에서, 양상53의 웨어러블 디바이스에 있어서, 가상 콘텐츠는 무균 구역 내에 존재하는 오브젝트들의 리스트를 포함한다.
[0404] 제55 양상에서, 양상54의 웨어러블 디바이스에 있어서, 리스트는 오브젝트들의 포지션들을 더 포함한다.
[0405] 제56 양상에서, 양상49 내지 양상55 중 어느 한 양상의 웨어러블 디바이스에 있어서, 환경 센서는 마이크로폰, 외향 이미징 시스템, 바코드 판독기, 또는 전자기 추적 시스템을 포함한다.
[0406] 제57 양상에서, 의료 정보를 관리하기 위한 웨어러블 시스템으로서, 웨어러블 시스템은: 가상 콘텐츠를 사용자에게 제공하도록 구성된 디스플레이를 포함하는 머리-장착 디스플레이(HMD); 사용자의 환경과 연관된 데이터를 획득하도록 구성된 하나 이상의 환경 센서들; 및 디스플레이 및 하나 이상의 환경 센서들과 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 하나 이상의 환경 센서들을 통해 사용자의 환경을 모니터하고; 하나 이상의 환경 센서들에 의해 획득된 제1 데이터에 적어도 부분적으로 기반하여 개시 조건을 검출하고; 개시 조건의 검출에 대한 응답으로 환경 센서를 통해 환자와의 상호작용의 적어도 일부를 문서화하고 ― 상호작용의 일부는 환경 센서에 의해 획득된 제2 데이터를 포함함 ―; 콘텍스추얼 정보에 기반하여 환자와의 상호작용에 관련된 관련 의료 정보를 추출하기 위해 제2 데이터를 분석하며; 그리고 건강관리 데이터베이스 시스템으로의 관련 의료 정보의 저장을 개시하도록 프로그래밍된다.
[0407] 제58 양상에서, 양상57의 웨어러블 시스템에 있어서, 하나 이상의 환경 센서들은 적어도 외향 카메라 또는 마이크로폰을 포함한다.
[0408] 제59 양상에서, 양상57 또는 양상58의 웨어러블 시스템에 있어서, 관련 의료 정보를 추출하기 위해 제2 데이터를 분석하기 위해서, 하드웨어 프로세서는: 환자 또는 웨어러블 시스템의 사용자에 의해서 발화된 오디오 스트림을 결정하고; 오디오 스트림을 텍스트로 변환하며; 그리고 환자의 의료 상태 또는 이력을 설명하는 어구들을 식별하기 위해 텍스트를 해석하도록 프로그래밍된다.
[0409] 제60 양상에서, 양상57 내지 양상59 중 어느 한 양상의 웨어러블 시스템에 있어서, 관련 의료 정보의 저장을 개시하기 위해서, 하드웨어 프로세서는: 하나 이상의 환경 센서에 의해 획득된 데이터에 적어도 부분적으로 기반하여 환자의 아이덴티티를 검증하고; 그리고 건강관리 데이터베이스에 저장된 의료 기록을 환자와 사용자 간의 상호작용으로부터 캡처된 관련 의료 정보로 업데이트하도록 프로그래밍된다.
[0410] 제61 양상에서, 양상57 내지 양상60 중 어느 한 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세서는 추가로: 건강관리 정보를 제2 웨어러블 시스템과 공유하기 위한 트리거링 이벤트를 검출하고; 제2 웨어러블 시스템과 연관된 액세스 특권을 결정하며; 그리고 제2 웨어러블 시스템이 액세스 특권을 가지고 있다는 결정에 대한 응답으로, 건강관리 정보의 적어도 일부가 제2 웨어러블 시스템에 통신되게 하도록 프로그래밍된다.
[0411] 제62 양상에서, 양상61의 웨어러블 시스템에 있어서, 하드웨어 프로세서는, 제2 웨어러블 시스템이 불충분한 액세스 특권을 가지고 있다는 결정에 대한 응답으로, 제2 웨어러블 시스템에 표시를 제공하도록 프로그래밍된다.
[0412] 제63 양상에서, 양상61 또는 양상62의 웨어러블 시스템에 있어서, 제2 웨어러블 시스템과 연관된 액세스 특권은 환자에 의해서 구성된다.
[0413] 제64 양상에서, 양상61 내지 양상63 중 어느 한 양상의 웨어러블 시스템에 있어서, 건강관리 정보는 외향 카메라에 의해 캡처되는 사용자의 FOV(field of view)의 적어도 일부를 포함한다.
[0414] 제65 양상에서, 양상61 내지 양상64 중 어느 한 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세서는 건강관리 정보 및 건강관리 정보와 연관된 주석을 제2 웨어러블 시스템과 공유하도록 프로그래밍된다.
[0415] 제66 양상에서, 양상57 내지 양상65 중 어느 한 양상의 웨어러블 시스템에 있어서, 콘텍스추얼 정보는 사용자의 위치, 사용자의 포즈, 사용자의 액세스 특권의 레벨, 사용자의 FOV 내에 있는 환자의 증상 또는 상태, 또는 사용자의 FOV 내에 있는 환자의 아이덴티티 중 적어도 하나를 포함한다.
[0416] 제67 양상에서, 양상57 내지 양상66 중 어느 한 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세서는 추가로, 머리-장착 디스플레이로 하여금 환자와의 상호작용에 관련된 사용자에게 가상 콘텐츠를 제공하게 하도록 프로그래밍된다.
[0417] 제68 양상에서, 양상67의 웨어러블 시스템에 있어서, 가상 콘텐츠는 의료 디바이스로부터 수신되는 환자의 생리적 파라미터들에 관련된 정보 또는 환자 의료 기록의 일부 중 적어도 하나를 포함한다.
[0418] 제69 양상에서, 양상67 또는 양상68의 웨어러블 시스템에 있어서, 콘텍스추얼 정보는 환자에 대한 의료 절차 동안에 사용되는 의료 기구들에 관한 정보를 포함하고, 가상 콘텐츠는 의료 기구들의 위치에 관련된 정보를 포함한다.
[0419] 제70 양상에서, 양상69의 웨어러블 시스템에 있어서, 가상 콘텐츠는 사용자의 FOV 내에 있는 의료 기구가 의료 절차에 부적합하거나 불필요하다는 경고를 포함한다.
[0420] 제71 양상에서, 의료 정보를 관리하기 위한 방법으로서, 방법은: 하드웨어 프로세서의 제어 하에서: 환경 센서를 포함하는 웨어러블 디바이스에 의해 획득된 데이터에 기반하여 사용자의 환경을 모니터링하는 단계; 웨어러블 디바이스에 의해 획득된 제1 데이터에 적어도 부분적으로 기반하여 개시 조건을 검출하는 단계; 개시 조건의 검출에 대한 응답으로 웨어러블 디바이스의 환경 센서를 통해 환자와 건강관리 제공자(HCP) 간의 상호작용을 문서화하는 단계 ― 상호작용은 환경 센서에 의해 획득된 제2 데이터를 포함함 ―; 콘텍스추얼 정보에 기반하여 환자와의 상호작용에 관련된 관련 의료 정보를 추출하기 위해 제2 데이터를 분석하는 단계; 및 건강관리 데이터베이스 시스템으로의 관련 의료 정보의 저장을 개시하는 단계를 포함한다.
[0421] 제72 양상에서, 양상71의 방법에 있어서, 환경 센서는 마이크로폰을 포함하고, 관련 의료 정보를 추출하기 위해 제2 데이터를 분석하는 단계는: 환자 또는 HCP에 의해 발화된 오디오 스트림을 마이크로폰을 통해 획득하는 단계; 오디오 스트림을 텍스트로 변환하는 단계; 및 환자의 의료 상태 또는 이력을 설명하는 어구들을 식별하기 위해 텍스트를 해석하는 단계를 포함한다.
[0422] 제73 양상에서, 양상71 또는 양상72의 방법에 있어서, 관련 의료 정보의 저장을 개시하는 단계는: 웨어러블 디바이스에 의해 획득된 데이터에 적어도 부분적으로 기반하여 환자의 아이덴티티를 검증하는 단계; 및 건강관리 데이터베이스에 저장된 의료 기록을 환자와 HCP 간의 상호작용으로부터 캡처된 관련 의료 정보로 업데이트하는 단계를 포함한다.
[0423] 제74 양상에서, 양상71 내지 양상73 중 어느 한 양상의 방법은: 건강관리 정보를 제2 웨어러블 디바이스와 공유하기 위한 트리거링 이벤트를 검출하는 단계; 제2 웨어러블 디바이스와 연관된 액세스 특권을 결정하는 단계; 및 제2 웨어러블 디바이스가 액세스 특권을 가지고 있다는 결정에 대한 응답으로, 건강관리 정보의 적어도 일부가 제2 웨어러블 디바이스에 통신되게 하는 단계를 더 포함한다.
[0424] 제75 양상에서, 양상74의 방법에 있어서, 제2 웨어러블 디바이스와 연관된 액세스 특권은 환자에 의해서 구성된다.
[0425] 제76 양상에서, 양상74 또는 양상75의 방법에 있어서, 건강관리 정보는 외향 이미징 시스템에 의해 캡처되는 사용자의 FOV(field of view)의 적어도 일부를 포함한다.
[0426] 제77 양상에서, 양상76의 방법은, 건강관리 정보, 및 건강관리 정보와 연관된 주석을 제2 웨어러블 시스템과 공유하는 단계를 더 포함한다.
[0427] 제78 양상에서, 양상71 내지 양상77 중 어느 한 양상의 방법에 있어서, 콘텍스추얼 정보는 사용자의 위치, 사용자의 포즈, 사용자의 액세스 특권의 레벨, 사용자의 FOV 내에 있는 환자의 증상 또는 상태, 또는 사용자의 FOV 내에 있는 환자의 아이덴티티 중 적어도 하나를 포함한다.
[0428] 제79 양상에서, 양상71 내지 양상78 중 어느 한 양상의 방법은, 웨어러블 디바이스로 하여금, 환자 의료 기록의 일부 또는 의료 디바이스로부터 수신된 환자의 생리적 파라미터들에 관련된 정보 중 적어도 하나를 포함하는 가상 콘텐츠를 머리-장착 디스플레이를 통해 디스플레이하게 하는 단계를 더 포함한다.
[0429] 제80 양상에서, 양상79의 방법에 있어서, 가상 콘텐츠는 사용자의 FOV 내에 있는 의료 기구가 의료 절차에 부적합하거나 불필요하다는 경고를 포함한다.
[0430] 제81 양상에서, 의료 정보를 관리하기 위한 제1 웨어러블 디바이스로서, 제1 웨어러블 디바이스는: 사용자의 환경을 이미징하도록 구성된 외향 이미징 시스템; 가상 콘텐츠를 사용자에게 제공하도록 구성된 머리-장착 디스플레이; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 외향 이미징 시스템으로부터 수신되는 데이터를 통해 사용자의 환경 내의 오브젝트들을 모니터링하고; 머리-장착 디스플레이를 통해 지각되는 사용자의 시야 내의 오브젝트들을 결정하고; 제2 웨어러블 디바이스와의 공유 세션을 위한 트리거링 이벤트를 검출하고 ― 공유 세션은 사용자의 시야 내의 제1 물리적 오브젝트와 연관된 적어도 제1 정보를 제2 웨어러블 디바이스와 공유하는 것을 포함하고, 제1 정보는 제2 웨어러블 디바이스의 시야 밖에 있음 ―; 제1 정보를 제2 웨어러블 디바이스에 통신하고; 제2 웨어러블 디바이스로부터 가상 콘텐츠를 수신하며 ― 가상 콘텐츠는 사용자의 시야 밖에 있는 제2 물리적 오브젝트와 연관된 제2 정보를 포함함 ―; 그리고 제2 웨어러블 디바이스로부터 수신되는 가상 콘텐츠를 머리-장착 디스플레이를 통해 사용자에게 제공하도록 프로그래밍된다.
[0431] 제82 양상에서, 양상81의 제1 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 추가로: 사용자의 시야 내의 제1 물리적 오브젝트와 연관된 주석을 제1 웨어러블 디바이스를 통해 수신하도록 프로그래밍되며, 제1 정보를 제2 웨어러블 디바이스에 통신하기 위해서, 하드웨어 프로세서는 주석 및 제1 오브젝트의 이미지를 제2 웨어러블 디바이스에 통신하도록 프로그래밍된다.
[0432] 제83 양상에서, 양상82의 제1 웨어러블 디바이스에 있어서, 주석은 환자의 신체 부위의 일부 상에 배치되는 하나 이상의 가상 플래그들을 포함하고, 하나 이상의 가상 플래그들은 환자의 신체 부위의 일부의 배향을 표시한다.
[0433] 제84 양상에서, 양상81 내지 양상83 중 어느 한 양상의 제1 웨어러블 디바이스에 있어서, 공유 세션은 사용자와 환자 간의 상호작용의 일부이고, 하드웨어 프로세서는 추가로: 외향 이미징 시스템 또는 마이크로폰 중 적어도 하나를 사용하여 사용자와 환자 간의 상호작용의 적어도 일부를 문서화하고; 상호작용으로부터 관련 의료 정보를 식별하며; 그리고 환자의 의료 기록을 관련 의료 정보로 업데이트하도록 프로그래밍된다.
[0434] 제85 양상에서, 의료 정보를 관리하기 위한 방법으로서, 방법은: 외향 이미징 시스템, 하드웨어 프로세서, 및 머리-장착 디스플레이를 포함하는 제1 웨어러블 디바이스의 제어 하에서: 외향 이미징 시스템을 통해 사용자의 환경 내의 오브젝트들을 모니터링하는 단계; 머리-장착 디스플레이를 통해 지각되는 사용자의 시야 내의 오브젝트들을 결정하는 단계; 제2 웨어러블 디바이스와의 공유 세션을 위한 트리거링 이벤트를 검출하는 단계 ― 공유 세션은 사용자의 시야 내의 제1 물리적 오브젝트와 연관된 적어도 제1 정보를 제2 웨어러블 디바이스와 공유하는 것을 포함하고, 제1 정보는 제2 웨어러블 디바이스의 시야 밖에 있음 ―; 제1 정보를 제2 웨어러블 디바이스에 통신하는 단계; 제2 웨어러블 디바이스로부터 가상 콘텐츠를 수신하는 단계 ― 가상 콘텐츠는 사용자의 시야 밖에 있는 제2 물리적 오브젝트와 연관된 제2 정보를 포함함 ―; 및 제2 웨어러블 디바이스로부터 수신되는 가상 콘텐츠를 머리-장착 디스플레이를 통해 사용자에게 제공하는 단계를 포함한다.
[0435] 제86 양상에서, 양상85의 방법은: 사용자의 시야 내의 제1 물리적 오브젝트와 연관된 주석을 제1 웨어러블 디바이스를 통해 수신하는 단계를 더 포함하고, 제1 정보를 제2 웨어러블 디바이스에 통신하는 단계는 주석 및 제1 오브젝트의 이미지를 제2 웨어러블 디바이스에 통신하는 단계를 포함한다.
[0436] 제87 양상에서, 양상86의 방법에 있어서, 주석은 환자의 신체 부위의 일부 상에 배치되는 하나 이상의 가상 플래그들을 포함하고, 하나 이상의 가상 플래그들은 환자의 신체 부위의 일부의 배향, 이미지를 캡처한 카메라의 배향, 또는 환자의 신체 부위의 일부 또는 이미지와 연관된 콘텍스추얼 정보를 표시한다.
[0437] 제88 양상에서, 양상85 내지 양상87 중 어느 한 양상의 방법에 있어서, 공유 세션은 사용자와 환자 간의 상호작용의 일부이고, 방법은: 외향 이미징 시스템 또는 마이크로폰 중 적어도 하나를 사용하여 사용자와 환자 간의 상호작용을 문서화하는 단계; 상호작용으로부터 관련 의료 정보를 식별하는 단계; 및 환자의 의료 기록을 관련 의료 정보로 업데이트하는 단계를 더 포함한다.
[0438] 제89 양상에서, 양상85 내지 양상88 중 어느 한 양상의 방법은, 제2 웨어러블 디바이스의 액세스 특권을 검증하는 단계; 및 제2 웨어러블 디바이스의 액세스 특권이 충분한 제1 정보의 적어도 일부를 공유하는 단계를 더 포함한다.
[0439] 제90 양상에서, 양상89의 방법에 있어서, 액세스 특권은 제1 웨어러블 디바이스와 제2 웨어러블 디바이스 간에 자신의 의료 정보가 공유되고 있는 환자에 의해서 관리된다.
[0440] 제91 양상에서, 웨어러블 디바이스로서, 웨어러블 디바이스는: 사용자의 관심 필드(FOR)를 이미징하도록 구성된 외향 카메라 ― FOR은 웨어러블 디바이스를 통해 사용자에 의해 지각될 수 있는 사용자 주변의 환경의 일부를 포함함 ―; 가상 콘텐츠를 사용자에게 제공하도록 구성된 머리-장착 디스플레이 ― 디스플레이의 적어도 일부가 투명하여서, 투명한 부분은 착용자의 앞의 환경의 일부로부터 광을 착용자의 눈으로 투과시켜 착용자의 앞의 환경의 일부의 뷰를 제공함 ―; 디스플레이 및 환경 센서와 통신하는 하드웨어 프로세서 ― 하드웨어 프로세서는: FOR 내의 무균 구역을 결정하고 ― 무균 구역은 의료 절차 이전에 소독된 영역을 포함함 ―; 무균 구역 내에 들어가는 물리적 오브젝트를 식별하기 위해 외향 카메라에 의해 획득된 데이터를 분석하고; 물리적 오브젝트와 연관된 정보에 액세스하고; 외향-카메라에 의해 획득된 데이터를 통해 무균 구역 내의 물리적 오브젝트의 포지션을 추적하며; 그리고 머리-장착 디스플레이로 하여금 의료 절차와 연관된 가상 콘텐츠를 제공하게 하도록 프로그래밍된다.
[0441] 제92 양상에서, 양상91의 웨어러블 디바이스에 있어서, 무균 구역은 환자의 신체의 적어도 일부를 포함한다.
[0442] 제93 양상에서, 양상91 또는 양상92의 웨어러블 디바이스에 있어서, 무균 구역의 경계는 손 제스처들을 통해 웨어러블 디바이스의 사용자에 의해 묘사된다.
[0443] 제94 양상에서, 양상91 내지 양상93 중 어느 한 양상의 웨어러블 디바이스에 있어서, 물리적 오브젝트와 연관된 정보는 물리적 오브젝트의 기능 또는 의료 절차의 타입 중 적어도 하나를 포함한다.
[0444] 제95 양상에서, 양상91 내지 양상94 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 추가로, 물리적 오브젝트와 연관된 정보에 적어도 부분적으로 기반하여 무균 구역 내의 물리적 오브젝트와 연관된 비정상을 검출하도록 프로그래밍된다.
[0445] 제96 양상에서, 양상95의 웨어러블 디바이스에 있어서, 검출된 비정상은, 물리적 오브젝트가 의료 절차에 불필요하거나 부적합하다는 결정을 포함하고, 하드웨어 프로세서는 검출된 비정상에 적어도 부분적으로 기반하여 착용자에게 경고를 제공하도록 프로그래밍된다.
[0446] 제97 양상에서, 양상91 내지 양상96 중 어느 한 양상의 웨어러블 디바이스에 있어서, 하드웨어 프로세서는 추가로, 물리적 오브젝트가 무균 구역을 떠났는지 여부를 결정하도록 프로그래밍된다.
[0447] 제98 양상에서, 양상91 내지 양상97 중 어느 한 양상의 웨어러블 디바이스에 있어서, 의료 절차와 연관된 가상 콘텐츠는 의료 절차에 대한 의료 기구들의 리스트를 포함한다.
[0448] 제99 양상에서, 양상91 내지 양상98 중 어느 한 양상의 웨어러블 디바이스에 있어서, 가상 콘텐츠는, 물리적 오브젝트의 추적에 적어도 부분적으로 기반하여 무균 구역 내에 있는 하나 이상의 의료 기구들을 표시하는 초점 표시자를 더 포함한다.
[0449] 제100 양상에서, 방법으로서, 방법은: 하드웨어 프로세서의 제어 하에서: 웨어러블 디바이스의 사용자의 관심 필드(FOR) 내의 무균 구역을 결정하는 단계 ― FOR은 웨어러블 디바이스를 통해 사용자에 의해 지각될 수 있는 사용자 주변의 환경의 일부를 포함함 ―; 무균 구역 내에 들어가는 물리적 오브젝트를 식별하기 위해 웨어러블 디바이스의 외향 카메라에 의해 획득된 데이터를 분석하는 단계; 물리적 오브젝트와 연관된 정보에 액세스하는 단계; 외향 카메라에 의해 획득된 데이터에 기반하여 무균 구역 내의 물리적 오브젝트의 포지션을 추적하는 단계; 및 웨어러블 디바이스의 머리-장착 디스플레이에 의해 시각 표시가 제공되게 하는 단계를 포함하며, 시각 표시는 물리적 오브젝트의 포지션과 연관된다.
[0450] 제101 양상에서, 양상100의 방법에 있어서, 무균 구역은 환자의 신체의 적어도 일부를 포함한다.
[0451] 제102 양상에서, 양상100 또는 양상101의 방법에 있어서, 물리적 오브젝트와 연관된 정보는 물리적 오브젝트의 기능 또는 의료 절차의 타입 중 적어도 하나를 포함한다.
[0452] 제103 양상에서, 양상100 내지 양상102 중 어느 한 양상의 방법은, 물리적 오브젝트와 연관된 정보에 적어도 부분적으로 기반하여 무균 구역 내의 물리적 오브젝트와 연관된 비정상을 검출하는 단계를 더 포함한다.
[0453] 제104 양상에서, 양상100 내지 양상103 중 어느 한 양상의 방법에 있어서, 검출된 비정상은, 물리적 오브젝트가 의료 절차에 불필요하거나 부적합하다는 결정을 포함하며, 방법은 검출된 비정상에 적어도 부분적으로 기반하여 착용자에게 경고를 제공하는 단계를 더 포함한다.
[0454] 제105 양상에서, 양상100 내지 양상104 중 어느 한 양상의 방법은: 물리적 오브젝트가 무균 구역을 떠났는지 여부를 결정하는 단계; 및 물리적 오브젝트가 무균 구역을 떠났다는 결정에 대한 응답으로, 물리적 오브젝트와 연관된 카운트를 감소시키는 단계를 더 포함하며, 카운트는 무균 구역 내에 있는 물리적 오브젝트의 수를 표현한다.
[0455] 제106 양상에서, 양상100 내지 양상105 중 어느 한 양상의 방법에 있어서, 가상 표시는 무균 구역 내의 물리적 오브젝트들의 리스트를 포함한다.
추가적인 고려사항들
[0456] 본원에서 설명되거나 그리고/또는 첨부 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들 또는 특수 목적 컴퓨터들, 특수 목적 회로 등으로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들)을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나, 또는 해석형 프로그래밍 언어로 쓰여질 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 정해진 기능에 특정적인 회로에 의해 수행될 수 있다.
[0457] 추가로, 본 개시내용의 기능성의 특정 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적합한 전문화된 실행가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대 수반된 계산들의 볼륨 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 기능성을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수 백만개의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상용적으로 합리적인 시간 양에서 원하는 이미지 프로세싱 임무 또는 애플리케이션을 제공하기 위해, 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0458] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비-일시적 컴퓨터-판독가능한 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능한 송신 매체들 상에서 송신될 수 있고, 그리고 (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적, 유형의 컴퓨터 저장부에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능한 송신 매체를 통해 통신될 수 있다.
[0459] 본원에서 설명되거나 그리고/또는 첨부 도면들에 묘사된 흐름도들에서 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은 (예컨대, 논리적 또는 산술적) 특정한 기능들 또는 프로세스의 단계들을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들로부터 조합되거나, 재배열되거나, 추가되거나, 삭제되거나, 수정되거나 다르게 변경될 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 모두를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 이에 관련된 블록들, 단계들 또는 상태들은 적합한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 임무들 또는 이벤트들은 개시된 예시적인 실시예들에 추가되거나 이들로부터 제거될 수 있다. 게다가, 본원에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현 변동들이 가능하다.
[0460] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷, 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0461] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 이 양상들 중 어떤 단일의 양상이 본원에서 개시된 바람직한 속성들을 위해 전적으로 책임지거나 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하도록 의도된다. 본 개시내용에 설명된 구현들에 대한 다양한 수정들은 당업자들에게 쉽게 자명할 수 있고, 그리고 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않고 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에 도시된 구현들로 제한되는 것으로 의도되는 것이 아니라, 본 개시내용, 본원에서 개시된 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.
[0462] 별개의 구현들의 맥락에서 이 명세서에 설명된 특정 특징들은 또한 단일 구현으로 조합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한 별도로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 작용하는 것으로서 위에서 설명될 수 있고, 심지어 그와 같이 처음에 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 청구된 조합은 서브조합 또는 서브조합의 변형으로 지향될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 모든 실시예에 필요하거나 필수적인 것은 아니다.
[0463] 구체적으로 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에서 사용된 조건어, 이를테면 특히, "할 수 있다("can", "could", "might", "may")" 및 "예컨대" 등은, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그런 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 어쨌든 하나 이상의 실시예들을 위해 요구된다는 것, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅을 사용하여 또는 이들을 사용하지 않고, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 아니면 이 임의의 특정 실시예에서 수행되는지를 판단하기 위한 로직을 반드시 포함하는 것을 암시하도록 의도되지 않는다. 용어 "포함하는(comprising)", "포함하는(including)", "갖는(having)" 등은 동의어이고 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 추가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는"은 포괄적인 의미(및 이의 배타적 의미가 아님)로 사용되어, 예컨대 엘리먼트들의 리스트를 연결하기 위해 사용될 때, 용어 "또는"은 리스트 내 엘리먼트들 중 하나, 일부 또는 모두를 의미한다. 게다가, 본 출원 및 첨부된 청구항들에 사용된 단수들은 다르게 특정되지 않으면 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 이해될 것이다.
[0464] 본원에서 사용된 바와 같이, 아이템들의 리스트 중 "적어도 하나"를 지칭하는 어구는, 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 "A, B, C; A 및 B; A 및 C; B 및 C; 및 A, B 및 C를 커버하도록 의도된다. 구체적으로 다르게 언급되지 않으면, "X, Y 및 Z 중 적어도 하나"라는 어구와 같은 연결어는, 일반적으로 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 사용되는 상황으로 이해된다. 따라서, 그런 연결어는 일반적으로, 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하도록 의도되지 않는다.
[0465] 유사하게, 동작들이 특정 순서로 도면들에 묘사될 수 있지만, 원하는 결과들을 달성하기 위해, 그런 동작들이 도시된 특정 순서 또는 순차적 순서로 수행될 필요가 없거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 추가로, 도면들은 순서도 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들은 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 추가적인 동작들은 예시된 동작들 중 임의의 동작 이전, 이후, 동시에, 또는 중간에 수행될 수 있다. 추가적으로, 동작들은 다른 구현들에서 재배열되거나 재정렬될 수 있다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그런 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 추가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 언급된 액션들은 상이한 순서로 수행될 수 있고 여전히 원하는 결과들을 달성할 수 있다.

Claims (20)

  1. 의료 절차를 용이하게 하는 디스플레이 시스템으로서, 상기 디스플레이 시스템은:
    머리-장착가능 3차원(3D) 디스플레이 ―
    상기 디스플레이는 상기 디스플레이가 상기 디스플레이 시스템의 사용자의 머리에 착용되어 있는 동안 가상 콘텐츠를 상기 사용자에게 제시하도록 구성되고,
    상기 디스플레이는 상기 디스플레이가 상기 사용자에게 근접한 환경의 뷰(view)를 증강시키기 위해 상기 가상 콘텐츠를 제시하는 동안 상기 환경의 뷰를 상기 사용자에게 제공하도록 적어도 부분적으로 투명하고, 그리고
    상기 디스플레이는 복수의 깊이 평면들의 상이한 깊이 평면들에 대응하는 파면 곡률의 상이한 레벨들로 상기 가상 콘텐츠를 운반하는 광을 상기 사용자의 눈으로 출력함으로써 상기 복수의 깊이 평면들에서 상기 가상 콘텐츠가 제시되도록 구성됨 ―;
    상기 환경과 연관된 데이터를 수집하도록 구성된 하나 이상의 환경 센서들; 및
    상기 디스플레이 및 상기 하나 이상의 환경 센서들과 통신하는 적어도 하나의 하드웨어 프로세서를 포함하고,
    상기 적어도 하나의 하드웨어 프로세서는:
    상기 환경의 적어도 일부를 설명하는 맵을 업데이트하기 위해 상기 하나 이상의 환경 센서들에 의해 수집된 상기 데이터를 분석하고,
    상기 맵에서 설명되는, 그리고 상기 환경에서 현재 제시되는 환자에 대해 수행될 상기 의료 절차를 설명하는 정보를 수신하고,
    상기 환경의 상기 일부 내의 영역을 식별하고,
    상기 하나 이상의 환경 센서들에 의해 수집된 상기 데이터에 기반하여, 상기 맵에서 설명되고 그리고 상기 영역에서 현재 제시되는 의료 기구를 식별하고, 그리고 상기 영역에서 상기 의료 기구의 현재 3D 위치를 결정하고,
    상기 영역에서 현재 제시되고 있는 상기 의료 기구에 기반하여 비정상을 검출하고 ― 상기 비정상은 상기 의료 절차를 설명하는 정보를 상기 의료 기구와 연관된 정보와 비교하는 것에 적어도 부분적으로 기반하여 검출됨 ―, 그리고
    상기 비정상을 검출하는 것에 응답하여, 상기 디스플레이로 하여금 상기 비정상을 표시하는 경고를 제시시키도록 프로그래밍되고,
    상기 경고는 상기 디스플레이를 통해 제시되는 상기 가상 콘텐츠에 포함되고, 그리고
    상기 경고가 상기 의료 기구의 상기 3D 위치에 근접하여 그리고 상기 의료 기구의 상기 3D 위치의 깊이에 대응하는 거리에 위치된 것으로 보이도록, 상기 경고는 상기 디스플레이에 의해 지원되는 상기 복수의 깊이 평면들 중 하나의 깊이 평면에서 제시되는,
    디스플레이 시스템.
  2. 제1 항에 있어서,
    상기 맵은 상기 의료 기구의 상기 현재 3D 위치를 포함하도록 업데이트되고, 그리고
    상기 비정상은 상기 의료 기구의 상기 현재 3D 위치에 추가로 기반하여 검출되는,
    디스플레이 시스템.
  3. 제2 항에 있어서,
    상기 의료 절차를 설명하는 정보는 상기 의료 절차 동안에 액세스될 상기 환자의 특정 신체 부위를 표시하고, 그리고
    상기 비정상은 상기 의료 절차 동안에 액세스될 상기 신체 부위가 아닌 다른 신체 부위에 근접하는 상기 의료 기구의 상기 현재 3D 위치에 기반하여 검출되는,
    디스플레이 시스템.
  4. 제3 항에 있어서,
    상기 경고는 상기 신체 부위 또는 상기 다른 신체 부위에 근접하여 제시되는,
    디스플레이 시스템.
  5. 제3 항에 있어서,
    상기 경고는 상기 다른 신체 부위의 뷰를 적어도 부분적으로 가리도록 제시되는,
    디스플레이 시스템.
  6. 제1 항에 있어서,
    상기 비정상은 상기 의료 기구가 상기 의료 절차에 부적합하다고 결정하는 것에 기반하여 검출되는,
    디스플레이 시스템.
  7. 제6 항에 있어서,
    상기 의료 절차를 설명하는 정보는 상기 의료 절차 동안에 사용될 의료 기구들의 리스트를 포함하고, 그리고
    상기 의료 기구가 상기 의료 절차에 부적합하다고 결정하는 것은, 상기 의료 기구가 상기 의료 절차 동안에 사용될 의료 기구들의 상기 리스트에 있지 않다고 결정하는 것을 포함하는,
    디스플레이 시스템.
  8. 제1 항에 있어서,
    상기 적어도 하나의 하드웨어 프로세서는:
    상기 하나 이상의 환경 센서들에 의해 수집된 상기 데이터에 얼굴 인식 알고리즘을 적용하는 것에 기반하여 상기 환자를 식별하고,
    상기 환자를 식별하는 것에 기반하여, 상기 디스플레이 시스템의 외부에 있는 적어도 하나의 데이터베이스로부터 상기 의료 절차를 설명하는 정보를 액세스하도록 추가로 프로그래밍되는,
    디스플레이 시스템.
  9. 제1 항에 있어서,
    상기 의료 기구는 상기 의료 기구 상의 광학 라벨에 기반하여 식별되는,
    디스플레이 시스템.
  10. 제1 항에 있어서,
    상기 의료 기구는, 상기 환경에서 제시되는 복수의 오브젝트들 중에 상기 의료 기구를 식별하기 위해 하나 이상의 컴퓨터 비전 알고리즘 또는 머신 학습 알고리즘을 적용하는 오브젝트 인식기에 의해 식별되는,
    디스플레이 시스템.
  11. 제1 항에 있어서,
    상기 영역은, 상기 맵 상의 영역을 마킹(mark)하기 위해 상기 디스플레이 시스템을 사용하는 상기 사용자에 의해 지정되는,
    디스플레이 시스템.
  12. 제1 항에 있어서,
    상기 영역은, 상기 디스플레이 시스템의 외부에 있는 적어도 하나의 데이터베이스로부터 액세스되는 외부의 데이터에 기초하여 결정되는,
    디스플레이 시스템.
  13. 제11 항에 있어서,
    상기 환경의 일부는 상기 디스플레이 시스템을 통해 상기 사용자에 의해 지각될 수 있는 FOR(field of regard)인,
    디스플레이 시스템.
  14. 의료 절차를 용이하게 하는 컴퓨터-구현 방법으로서,
    상기 방법은 머리-장착가능 3차원(3D) 디스플레이 시스템의 적어도 하나의 하드웨어 프로세서에 의해 수행되고, 상기 디스플레이 시스템은 복수의 깊이 평면들의 상이한 깊이 평면들에 대응하는 파면 곡률의 상이한 레벨들로 가상 콘텐츠를 운반하는 광을 상기 디스플레이 시스템의 사용자의 눈으로 출력함으로써 상기 복수의 깊이 평면들에서 상기 가상 콘텐츠가 제시되도록 구성되고,
    상기 방법은:
    상기 사용자에게 근접한 환경의 적어도 일부를 설명하는 맵을 업데이트하기 위해 상기 디스플레이 시스템의 하나 이상의 환경 센서들에 의해 수집된 데이터를 분석하는 단계 ― 상기 하나 이상의 환경 센서들은 상기 환경과 연관된 상기 데이터를 수집하도록 구성됨 ―;
    상기 맵에서 설명되는, 그리고 상기 환경에서 현재 제시되는 환자에 대해 수행될 의료 절차를 설명하는 정보를 수신하는 단계;
    상기 환경의 일부 내의 영역을 식별하는 단계;
    상기 하나 이상의 환경 센서들에 의해 수집된 상기 데이터에 기반하여, 상기 맵에서 설명되고 상기 영역에서 현재 제시되는 의료 기구를 식별하고, 그리고 상기 영역에서 상기 의료 기구의 현재 3D 위치를 결정하는 단계;
    상기 영역에서 현재 제시되고 있는 상기 의료 기구에 기반하여 비정상을 검출하는 단계 ― 상기 비정상은 상기 의료 절차를 설명하는 정보를 상기 의료 기구와 연관된 정보와 비교하는 것에 적어도 부분적으로 기반하여 검출됨 ―; 및
    상기 비정상을 검출하는 단계에 응답하여, 상기 디스플레이로 하여금 상기 비정상을 표시하는 경고를 제시시키는 단계를 포함하고,
    상기 경고는 상기 디스플레이 시스템을 통해 제시되는 가상 콘텐츠에 포함되고, 그리고
    상기 경고가 상기 의료 기구의 상기 3D 위치에 근접하여 그리고 상기 의료 기구의 상기 3D 위치의 깊이에 대응하는 거리에 위치된 것으로 보이도록, 상기 경고는 상기 디스플레이 시스템에 의해 지원되는 상기 복수의 깊이 평면들 중 하나의 깊이 평면에서 제시되는,
    방법.
  15. 제14 항에 있어서,
    상기 맵은 상기 의료 기구의 상기 현재 3D 위치를 포함하도록 업데이트되고, 그리고
    상기 비정상은 상기 의료 기록의 상기 현재 3D 위치에 추가로 기반하여 검출되는,
    방법.
  16. 제15 항에 있어서,
    상기 의료 절차를 설명하는 정보는 상기 의료 절차 동안에 액세스될 상기 환자의 특정 신체 부위를 표시하고, 그리고
    상기 비정상은 상기 의료 절차 동안에 액세스될 상기 신체 부위가 아닌 다른 신체 부위에 근접하는 상기 의료 기구의 상기 현재 3D 위치에 기반하여 검출되는,
    방법.
  17. 제16 항에 있어서,
    상기 경고는 상기 신체 부위 또는 상기 다른 신체 부위에 근접하여 제시되는,
    방법.
  18. 제16 항에 있어서,
    상기 경고는 상기 다른 신체 부위의 뷰를 적어도 부분적으로 가리도록 제시되는,
    방법.
  19. 제14 항에 있어서,
    상기 비정상은 상기 의료 기구가 상기 의료 절차에 부적합하다고 결정하는 것에 기반하여 검출되는,
    방법.
  20. 제19 항에 있어서,
    상기 의료 절차를 설명하는 정보는 상기 의료 절차 동안에 사용될 의료 기구들의 리스트를 포함하고, 그리고
    상기 의료 기구가 상기 의료 절차에 부적합하다고 결정하는 것은, 상기 의료 기구가 상기 의료 절차 중에 사용될 의료 기구들의 상기 리스트에 있지 않다고 결정하는 것을 포함하는,
    방법.
KR1020247013721A 2017-01-11 2018-01-08 의료 보조기 KR20240059645A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762445182P 2017-01-11 2017-01-11
US62/445,182 2017-01-11
US201762448656P 2017-01-20 2017-01-20
US62/448,656 2017-01-20
PCT/US2018/012816 WO2018132336A1 (en) 2017-01-11 2018-01-08 Medical assistant
KR1020197022814A KR102662173B1 (ko) 2017-01-11 2018-01-08 의료 보조기

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022814A Division KR102662173B1 (ko) 2017-01-11 2018-01-08 의료 보조기

Publications (1)

Publication Number Publication Date
KR20240059645A true KR20240059645A (ko) 2024-05-07

Family

ID=62783590

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247013721A KR20240059645A (ko) 2017-01-11 2018-01-08 의료 보조기
KR1020197022814A KR102662173B1 (ko) 2017-01-11 2018-01-08 의료 보조기

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197022814A KR102662173B1 (ko) 2017-01-11 2018-01-08 의료 보조기

Country Status (9)

Country Link
US (2) US20180197624A1 (ko)
EP (1) EP3568783A4 (ko)
JP (2) JP7224288B2 (ko)
KR (2) KR20240059645A (ko)
CN (2) CN116230153A (ko)
AU (1) AU2018207068A1 (ko)
CA (1) CA3049431A1 (ko)
IL (1) IL267995A (ko)
WO (1) WO2018132336A1 (ko)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334945A1 (en) * 2010-09-30 2020-10-22 Jesus Perea-Ochoa Method and System of Operating Multi-Task Interactive Electronic Devices and Ultraviolet Light System
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9928230B1 (en) 2016-09-29 2018-03-27 Vignet Incorporated Variable and dynamic adjustments to electronic forms
US9848061B1 (en) * 2016-10-28 2017-12-19 Vignet Incorporated System and method for rules engine that dynamically adapts application behavior
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US10599877B2 (en) * 2017-04-13 2020-03-24 At&T Intellectual Property I, L.P. Protecting content on a display device from a field-of-view of a person or device
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
CN107330344A (zh) * 2017-07-01 2017-11-07 成都牵牛草信息技术有限公司 一种表单的关联信息授权方法
CN107330307A (zh) * 2017-07-16 2017-11-07 成都牵牛草信息技术有限公司 一种表单数据操作权限授权方法
US11114186B2 (en) 2017-08-10 2021-09-07 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
JP7088198B2 (ja) * 2017-09-11 2022-06-21 株式会社ニコン 眼科機器、管理装置、及び眼科機器の管理方法
US20210407632A1 (en) * 2017-09-13 2021-12-30 Koninklijke Philips N.V. System and method for displaying electronic health records
US11153156B2 (en) 2017-11-03 2021-10-19 Vignet Incorporated Achieving personalized outcomes with digital therapeutic applications
TWI647631B (zh) * 2017-11-28 2019-01-11 承潔投資有限公司 工地管理系統及其穿戴裝置
KR20190068133A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
US20190180883A1 (en) * 2017-12-11 2019-06-13 Teletracking Technologies, Inc. Milestone detection sensing
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US11244508B2 (en) * 2018-02-03 2022-02-08 The Johns Hopkins University Augmented reality display for surgical procedures
EP3762921A4 (en) 2018-03-05 2022-05-04 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION SYSTEM AND PROCESS
US11250383B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
WO2019211896A1 (ja) * 2018-05-01 2019-11-07 Eizo株式会社 ガーゼ検出システムおよびガーゼ検出方法
US10743140B2 (en) * 2018-05-16 2020-08-11 International Business Machines Corporation Smart location alert system
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US11583360B2 (en) * 2018-08-06 2023-02-21 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring object flow within a surgical space during a surgery
US10775974B2 (en) 2018-08-10 2020-09-15 Vignet Incorporated User responsive dynamic architecture
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
WO2020047338A1 (en) * 2018-08-29 2020-03-05 Movidius Ltd. Computer vision system
US20200069181A1 (en) * 2018-09-01 2020-03-05 Philip Jaques Sampson I-Examination
WO2020061054A1 (en) * 2018-09-17 2020-03-26 Vet24seven Inc. Veterinary professional animal tracking and support system
GB2577714B (en) * 2018-10-03 2023-03-22 Cmr Surgical Ltd Automatic endoscope video augmentation
US11158423B2 (en) 2018-10-26 2021-10-26 Vignet Incorporated Adapted digital therapeutic plans based on biomarkers
US11682474B2 (en) * 2018-12-12 2023-06-20 International Business Machines Corporation Enhanced user screening for sensitive services
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US10645092B1 (en) * 2019-01-03 2020-05-05 Truly Social Games Llc Control and/or verification of interactions of an augmented reality deployment
US20200234827A1 (en) * 2019-01-22 2020-07-23 Mira Therapeutics, Inc. Methods and systems for diagnosing and treating disorders
WO2020157693A1 (en) * 2019-01-31 2020-08-06 Herzog Samuel Patient-centric health care system
US10762990B1 (en) 2019-02-01 2020-09-01 Vignet Incorporated Systems and methods for identifying markers using a reconfigurable system
US10729502B1 (en) 2019-02-21 2020-08-04 Theator inc. Intraoperative surgical event summary
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
WO2020188119A1 (en) * 2019-03-21 2020-09-24 Kepler Vision Technologies B.V. A medical device for transcription of appearances in an image to text with machine learning
US10970858B2 (en) * 2019-05-15 2021-04-06 International Business Machines Corporation Augmented reality for monitoring objects to decrease cross contamination between different regions
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11545271B2 (en) * 2019-08-20 2023-01-03 GE Precision Healthcare LLC Systems and methods for public and private communication threads
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
CN110794966B (zh) * 2019-10-28 2024-04-12 京东方科技集团股份有限公司 Ar显示系统及方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
EP3835803B1 (en) * 2019-12-13 2024-03-27 Siemens Healthineers AG System and method for estimating a relative substance composition of a portion of a body of a patient
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
EP3889970A1 (en) 2020-04-03 2021-10-06 Koninklijke Philips N.V. Diagnosis support system
US11224485B2 (en) 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US11574435B1 (en) * 2020-04-07 2023-02-07 Robert Edwin Douglas Multi-user extended reality viewing technique
US11641460B1 (en) * 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11556720B2 (en) * 2020-05-05 2023-01-17 International Business Machines Corporation Context information reformation and transfer mechanism at inflection point
EP3909500A1 (en) * 2020-05-11 2021-11-17 BraveHeart Wireless Inc. Systems and methods for using algorithms and acoustic input to control, monitor, annotate, and configure a wearable health monitor that monitors physiological signals
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
KR102223621B1 (ko) 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
US11056242B1 (en) 2020-08-05 2021-07-06 Vignet Incorporated Predictive analysis and interventions to limit disease exposure
JP6807621B1 (ja) * 2020-08-05 2021-01-06 株式会社インタラクティブソリューションズ 音声に基づいて画像を変更するためのシステム
US11456080B1 (en) 2020-08-05 2022-09-27 Vignet Incorporated Adjusting disease data collection to provide high-quality health data to meet needs of different communities
US11127506B1 (en) 2020-08-05 2021-09-21 Vignet Incorporated Digital health tools to predict and prevent disease transmission
US11504011B1 (en) 2020-08-05 2022-11-22 Vignet Incorporated Early detection and prevention of infectious disease transmission using location data and geofencing
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US20220104910A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Monitoring of user visual gaze to control which display system displays the primary information
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11877897B2 (en) * 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11763919B1 (en) 2020-10-13 2023-09-19 Vignet Incorporated Platform to increase patient engagement in clinical trials through surveys presented on mobile devices
US20220139513A1 (en) * 2020-11-03 2022-05-05 Nuance Communications, Inc. Communication System and Method
CN112397192A (zh) * 2020-11-09 2021-02-23 何奔 一种用于心血管科室的医疗智能远程查房识别系统
KR102494464B1 (ko) * 2020-12-02 2023-02-06 강길남 안구인식 데이터를 이용한 뇌신경계 질환 모니터링용 스마트 글래스
EP4278366A1 (en) 2021-01-12 2023-11-22 Emed Labs, LLC Health testing and diagnostics platform
US11789837B1 (en) 2021-02-03 2023-10-17 Vignet Incorporated Adaptive data collection in clinical trials to increase the likelihood of on-time completion of a trial
US11586524B1 (en) 2021-04-16 2023-02-21 Vignet Incorporated Assisting researchers to identify opportunities for new sub-studies in digital health research and decentralized clinical trials
US11281553B1 (en) 2021-04-16 2022-03-22 Vignet Incorporated Digital systems for enrolling participants in health research and decentralized clinical trials
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US20220262078A1 (en) * 2021-02-14 2022-08-18 Broadstone Technologies, Llc Remote device provisioning and remote support using augmented reality
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20220354440A1 (en) * 2021-05-04 2022-11-10 Willis Dennis Grajales Worldwide vision screening and visual field screening booth, kiosk, or exam room using artificial intelligence, screen sharing technology, and telemedicine video conferencing system to interconnect patient with eye doctor anywhere around the world via the internet using ethernet, 4G, 5G, 6G or Wifi for teleconsultation and to review results
TWI763546B (zh) * 2021-06-21 2022-05-01 義大醫療財團法人義大醫院 智能急救車及應用此智能急救車之藥品管理方法
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
WO2023009580A2 (en) * 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN113723100B (zh) * 2021-09-09 2023-10-13 国网数字科技控股有限公司 一种基于指纹特征的开源组件识别方法及装置
US20230267933A1 (en) * 2021-09-27 2023-08-24 International Business Machines Corporation Selective inclusion of speech content in documents
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11705230B1 (en) 2021-11-30 2023-07-18 Vignet Incorporated Assessing health risks using genetic, epigenetic, and phenotypic data sources
US11901083B1 (en) 2021-11-30 2024-02-13 Vignet Incorporated Using genetic and phenotypic data sets for drug discovery clinical trials
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023159236A1 (en) * 2022-02-18 2023-08-24 Curelator, Inc. Personal medical avatar
KR102458495B1 (ko) * 2022-03-17 2022-10-25 주식회사 메디씽큐 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
WO2023244267A1 (en) * 2022-06-13 2023-12-21 Magic Leap, Inc. Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
WO2024049435A1 (en) * 2022-09-01 2024-03-07 Exo Imaging, Inc. Apparatus, system and method to control an ultrasonic image on a display based on sensor input at an ultrasonic imaging device
WO2024097431A1 (en) * 2022-11-06 2024-05-10 Hajeebu Sreehita System and method of wound assessment

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140685A (ja) 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd 画像管理システム及び画像管理方法
AU2002363488A1 (en) * 2001-11-08 2003-05-19 Amos Grushka Portable personal health information package
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
JP2007094943A (ja) 2005-09-30 2007-04-12 Vitas:Kk 特定疾患医療情報管理システム
US7518619B2 (en) 2005-11-07 2009-04-14 General Electric Company Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
US20070173265A1 (en) * 2006-01-17 2007-07-26 Gum Arnold J Method and apparatus for setting the boundaries of virtual operations
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20100286490A1 (en) * 2006-04-20 2010-11-11 Iq Life, Inc. Interactive patient monitoring system using speech recognition
WO2008130178A1 (en) * 2007-04-23 2008-10-30 Jae Chern Yoo Remote medical-diagnosis system and method
JP2009279193A (ja) 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
KR100961380B1 (ko) * 2008-06-25 2010-06-07 재단법인 첨단산업개발원 음성 인식이 가능한 디지털셋탑박스를 이용한 원격진료시스템
US20150120321A1 (en) * 2009-02-26 2015-04-30 I.M.D. Soft Ltd. Wearable Data Reader for Medical Documentation and Clinical Decision Support
US20110029320A1 (en) * 2009-08-03 2011-02-03 Mehrnaz Nicole Jamali System and method for managing a medical procedure site with a tracking device
US20150099458A1 (en) * 2011-01-14 2015-04-09 Covidien Lp Network-Capable Medical Device for Remote Monitoring Systems
KR101447931B1 (ko) * 2011-04-12 2014-10-13 (주)미래컴퍼니 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
NZ702897A (en) * 2012-06-11 2017-03-31 Magic Leap Inc Multiple depth plane three-dimensional display using a wave guide reflector array projector
CA2883498C (en) 2012-08-30 2022-05-31 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP6252004B2 (ja) 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US9305551B1 (en) * 2013-08-06 2016-04-05 Timothy A. Johns Scribe system for transmitting an audio recording from a recording device to a server
US20150088547A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Home Healthcare
US10095833B2 (en) * 2013-09-22 2018-10-09 Ricoh Co., Ltd. Mobile information gateway for use by medical personnel
US9229235B2 (en) * 2013-12-01 2016-01-05 Apx Labs, Inc. Systems and methods for unlocking a wearable device
JP6407526B2 (ja) 2013-12-17 2018-10-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法及び情報処理システム
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
CN106068510B (zh) 2014-01-29 2020-02-07 贝克顿·迪金森公司 用于在临床使用点确保患者用药和流体输送的系统和方法
US10803538B2 (en) * 2014-04-14 2020-10-13 Optum, Inc. System and method for automated data entry and workflow management
CA2957794C (en) * 2014-08-15 2022-03-08 Synaptive Medical (Barbados) Inc. System and method for managing equipment in a medical procedure
EP3221809A1 (en) 2014-11-18 2017-09-27 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
KR20150090991A (ko) * 2014-12-01 2015-08-07 을지대학교 산학협력단 의료단말 허브장치
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN107249497B (zh) * 2015-02-20 2021-03-16 柯惠Lp公司 手术室和手术部位感知
CN107847289A (zh) 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
US9807045B2 (en) * 2015-06-10 2017-10-31 Google Inc. Contextually driven messaging system
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10105187B2 (en) * 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10045825B2 (en) * 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
US20180082476A1 (en) * 2016-09-22 2018-03-22 International Business Machines Corporation Collaborative search for out of field of view augmented reality objects
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Also Published As

Publication number Publication date
EP3568783A4 (en) 2020-11-11
CN110431636A (zh) 2019-11-08
JP7478795B2 (ja) 2024-05-07
EP3568783A1 (en) 2019-11-20
US20230075466A1 (en) 2023-03-09
IL267995A (en) 2019-09-26
WO2018132336A1 (en) 2018-07-19
US20180197624A1 (en) 2018-07-12
CA3049431A1 (en) 2018-07-19
CN116230153A (zh) 2023-06-06
JP2020505675A (ja) 2020-02-20
KR102662173B1 (ko) 2024-04-30
AU2018207068A1 (en) 2019-07-25
JP7224288B2 (ja) 2023-02-17
KR20190102060A (ko) 2019-09-02
JP2023001290A (ja) 2023-01-04

Similar Documents

Publication Publication Date Title
KR102662173B1 (ko) 의료 보조기
JP7091531B2 (ja) 身体上ジェスチャ・インターフェース及び投影表示のための方法
JP7271579B2 (ja) 整形外科手術における複合現実支援を用いた手術支援
JP6949128B2 (ja) システム
US11314846B1 (en) Surgical communication and computerization infrastructure
CA2827523C (en) System and method for performing an automatic and self-guided medical examination
US20140204190A1 (en) Systems and methods for providing guidance for a procedure with a device
EP3957242A1 (en) System, handheld diagnostics device and methods for performing an automatic and remote trained personnel guided non-invasive medical examination
US11830614B2 (en) Method and system for optimizing healthcare delivery
US20230140072A1 (en) Systems and methods for medical procedure preparation
US20200234809A1 (en) Method and system for optimizing healthcare delivery
WO2012111013A1 (en) System and method for performing an automatic and remote trained personnel guided medical examination

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination