JP7478795B2 - 医療アシスタント - Google Patents

医療アシスタント Download PDF

Info

Publication number
JP7478795B2
JP7478795B2 JP2022179491A JP2022179491A JP7478795B2 JP 7478795 B2 JP7478795 B2 JP 7478795B2 JP 2022179491 A JP2022179491 A JP 2022179491A JP 2022179491 A JP2022179491 A JP 2022179491A JP 7478795 B2 JP7478795 B2 JP 7478795B2
Authority
JP
Japan
Prior art keywords
user
patient
wearable device
medical
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022179491A
Other languages
English (en)
Other versions
JP2023001290A (ja
JP2023001290A5 (ja
Inventor
ユー． ロバイナ ナスターシャ
エリザベス サメック ニコル
ベーレンロッド マーク
エム． ハリセス クリストファー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023001290A publication Critical patent/JP2023001290A/ja
Publication of JP2023001290A5 publication Critical patent/JP2023001290A5/ja
Application granted granted Critical
Publication of JP7478795B2 publication Critical patent/JP7478795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/339—Displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ophthalmology & Optometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)

Description

（関連出願の相互参照）
本願は、米国仮出願第６２／４４５１８２号，出願日２０１７年１月１１日，発明の名称 “ＭＥＤＩＣＡＬ ＡＳＳＩＳＴＡＮＴ”、および米国仮出願第６２／４４８６５６号，出願日２０１７年１月２０日，発明の名称 “ＭＥＤＩＣＡＬ ＡＳＳＩＳＴＡＮＴ”に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権を主張するものであり、これらの各々の開示は、その全体が参照により本明細書中に援用される。
本開示は、保健医療設定における仮想現実および拡張現実結像および可視化システムに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適かつ自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
ウェアラブルデバイスは、保健医療設定における多くの用途のために、仮想コンテンツを装着者に提示することができる。装着者は、患者または保健医療提供者（ＨＣＰ）であってもよい。そのような用途は、限定ではないが、患者医療記録のアクセス、表示、および修正および患者医療記録を認可されたＨＣＰ間で共有することを含むことができる。患者医療記録は、中央場所内に記憶され、そのサービスを患者が使用し得る、種々のＨＣＰ組織（例えば、病院、診療所、医師のオフィス）によってではなく、患者によって所有されることができる。ウェアラブルデバイスは、患者の医療記録の一部にアクセスし、認可されたＨＣＰに表示することができる。患者の医療記録は、患者が手技または治療を受ける度、中央で記憶および修正されるため、医療記録は、実質的に完全のままであることができる。医療手技または治療の間、ウェアラブルデバイスは、執刀ＨＣＰに、患者または患者の医療記録と関連付けられた仮想コンテンツを表示することができる。ＨＣＰは、ウェアラブルデバイスを使用して、患者の医療記録を更新し、手技または治療の結果を検討することができる。ＨＣＰは、ウェアラブルデバイスを使用して、患者の医療記録の一部または全部を他の認可されたＨＣＰと共有することができる。ウェアラブルデバイスの外向きに面したカメラは、医療手技の間に使用される医療器具を結像および追跡することができる。ウェアラブルデバイスは、手技の間、患者の一部を結像することができる。医療器具が、患者の身体の内側に残されそうになる、またはＨＣＰが、認可された医療手技またはプロトコルから逸脱しそうになる場合、ウェアラブルデバイスは、器具が、患者の身体から除去され得るように、または認可された手技またはプロトコルに追従するように、アラートをＨＣＰに表示することができる。
本明細書は、例えば、以下の項目も提供する。
（項目１）
医療情報を管理するためのウェアラブルシステムであって、前記ウェアラブルシステムは、
仮想コンテンツをユーザに提示するように構成されるディスプレイを備える頭部搭載型ディスプレイ（ＨＭＤ）と、
前記ユーザの環境と関連付けられたデータを取得するように構成される１つ以上の環境センサと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記ディスプレイおよび前記１つ以上の環境センサと通信しており、
前記１つ以上の環境センサを介して、前記ユーザの環境を監視することと、
少なくとも部分的に、前記１つ以上の環境センサによって入手された第１のデータに基づいて、開始条件を検出することと、
前記開始条件の検出に応答して、環境センサを介して、患者との相互作用の少なくとも一部をドキュメント化することであって、前記相互作用の一部は、前記環境センサによって入手された第２のデータを含む、ことと、
前記第２のデータを分析し、コンテキスト情報に基づいて、前記患者との相互作用に関連する関連医療情報を抽出することと、
保健医療データベースシステムへの前記関連医療情報の記憶を開始することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
（項目２）
前記１つ以上の環境センサは、少なくとも、外向きに面したカメラまたはマイクロホンを備える、項目１に記載のウェアラブルシステム。
（項目３）
前記第２のデータを分析し、関連医療情報を抽出するために、前記ハードウェアプロセッサは、
前記患者または前記ウェアラブルシステムのユーザによって発話されたオーディオストリームを決定することと、
前記オーディオストリームをテキストに変換することと、
前記テキストを解析し、前記患者の病状または病歴を説明する語句を識別することと
を行うようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目４）
前記関連医療情報の記憶を開始するために、前記ハードウェアプロセッサは、
少なくとも部分的に、前記１つ以上の環境センサによって入手されたデータに基づいて、前記患者の識別を照合することと、
前記保健医療データベース内に記憶される医療記録を前記患者と前記ユーザとの間の相互作用から捕捉された関連医療情報で更新することと
を行うようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目５）
前記ハードウェアプロセッサはさらに、
保健医療情報を第２のウェアラブルシステムと共有するためのトリガイベントを検出することと、
前記第２のウェアラブルシステムと関連付けられたアクセス権限を決定することと、
前記第２のウェアラブルシステムが前記アクセス権限を有することの決定に応答して、前記保健医療情報の少なくとも一部を前記第２のウェアラブルシステムに通信させることと
を行うようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目６）
前記ハードウェアプロセッサは、前記第２のウェアラブルシステムが不十分なアクセス権限を有することの決定に応答して、インジケーションを前記第２のウェアラブルシステムに提供するようにプログラムされる、項目５に記載のウェアラブルシステム。
（項目７）
前記第２のウェアラブルシステムと関連付けられたアクセス権限は、前記患者によって構成される、項目５に記載のウェアラブルシステム。
（項目８）
前記保健医療情報は、外向きに面したカメラによって捕捉されるような前記ユーザの視野（ＦＯＶ）の少なくとも一部を含む、項目５に記載のウェアラブルシステム。
（項目９）
前記ハードウェアプロセッサは、前記保健医療情報および前記保健医療情報と関連付けられた注釈を前記第２のウェアラブルシステムと共有するようにプログラムされる、項目５に記載のウェアラブルシステム。
（項目１０）
前記コンテキスト情報は、前記ユーザの場所、前記ユーザの姿勢、前記ユーザのアクセス権限のレベル、前記ユーザのＦＯＶ内の前記患者の症状または状態、または前記ユーザのＦＯＶ内の前記患者の識別のうちの少なくとも１つを含む、項目１に記載のウェアラブルシステム。
（項目１１）
前記ハードウェアプロセッサはさらに、前記頭部搭載型ディスプレイに、前記患者との相互作用に関連する仮想コンテンツをユーザに提示させるようにプログラムされる、項目１に記載のウェアラブルシステム。
（項目１２）
前記仮想コンテンツは、患者医療記録の一部または医療デバイスから受信された前記患者の生理学的パラメータに関連する情報のうちの少なくとも１つを含む、項目１１に記載のウェアラブルシステム。
（項目１３）
前記コンテキスト情報は、患者上での医療手技の間に使用される医療器具についての情報を含み、前記仮想コンテンツは、前記医療器具の場所に関連する情報を含む、項目１１に記載のウェアラブルシステム。
（項目１４）
前記仮想コンテンツは、前記ユーザのＦＯＶ内の医療器具が医療手技に不適切または不要であることのアラートを含む、項目１３に記載のウェアラブルシステム。
（項目１５）
医療情報を管理するための方法であって、前記方法は、
外向きに面した結像システム、ハードウェアプロセッサ、および頭部搭載型ディスプレイを備える第１のウェアラブルデバイスの制御下で、
前記外向きに面した結像システムを介して、ユーザの環境内のオブジェクトを監視することと、
前記頭部搭載型ディスプレイを通して知覚されるような前記ユーザの視野内のオブジェクトを決定することと、
セッションを第２のウェアラブルデバイスと共有するためのトリガイベントを検出することであって、前記セッションを共有することは、前記ユーザの視野内の第１の物理的オブジェクトと関連付けられた少なくとも第１の情報を第２のウェアラブルデバイスと共有することを含み、前記第１の情報は、前記第２のウェアラブルデバイスの視野外のものである、ことと、
前記第１の情報を前記第２のウェアラブルデバイスに通信することと、
仮想コンテンツを前記第２のウェアラブルデバイスから受信することであって、前記仮想コンテンツは、前記ユーザの視野外の第２の物理的オブジェクトと関連付けられた第２の情報を含む、ことと、
前記頭部搭載型ディスプレイを介して、前記第２のウェアラブルデバイスから受信された前記仮想コンテンツをユーザに提示することと
を含む、方法。
（項目１６）
前記第１のウェアラブルデバイスを介して、前記ユーザの視野内の前記第１の物理的オブジェクトと関連付けられた注釈を受信することをさらに含み、前記第１の情報を前記第２のウェアラブルデバイスに通信することは、前記第１のオブジェクトの注釈および画像を前記第２のウェアラブルデバイスに通信することを含む、項目１５に記載の方法。
（項目１７）
前記注釈は、患者の身体部分の一部上に設置された１つ以上の仮想フラグを含み、前記１つ以上の仮想フラグは、前記患者の身体部分の一部の配向、前記画像を捕捉したカメラの配向、または前記画像または前記患者の身体部分の一部と関連付けられたコンテキスト情報を示す、項目１６に記載の方法。
（項目１８）
前記セッションを共有することは、前記ユーザと患者との間の相互作用の一部であり、前記方法はさらに、
前記外向きに面した結像システムまたはマイクロホンのうちの少なくとも１つを使用して、前記ユーザと前記患者との間の相互作用をドキュメント化することと、
関連医療情報を前記相互作用から識別することと、
前記患者の医療記録を前記関連医療情報で更新することと
を含む、項目１５に記載の方法。
（項目１９）
前記第２のウェアラブルデバイスのアクセス権限を照合することと、
前記第２のウェアラブルデバイスのアクセス権限が十分である前記第１の情報の少なくとも一部を共有することと
をさらに含む、項目１５に記載の方法。
（項目２０）
前記アクセス権限は、患者によって管理され、その医療情報は、前記第１のウェアラブルデバイスと前記第２のウェアラブルデバイスとの間で共有されている、項目１９に記載の方法。
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図１Ａは、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図１Ｂは、ウェアラブルディスプレイシステムの装着者の視野および動眼視野を図示する。
図２Ａは、ウェアラブルシステムの実施例を図式的に図示する。
図２Ｂは、環境センサを備えるウェアラブルシステムの種々のコンポーネントの実施例の概略図を示す。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２は、複数のウェアラブルデバイスおよび保健医療提供者システムが、保健医療設定において相互に相互作用し、医療記録管理を提供し得る、例示的コンピューティング環境を図示する。
図１３Ａ、１３Ｂ、１３Ｃ、および１３Ｄは、保健医療データベースシステムと相互作用するための例示的プロセスを図示する。 図１３Ａ、１３Ｂ、１３Ｃ、および１３Ｄは、保健医療データベースシステムと相互作用するための例示的プロセスを図示する。 図１３Ａ、１３Ｂ、１３Ｃ、および１３Ｄは、保健医療データベースシステムと相互作用するための例示的プロセスを図示する。 図１３Ａ、１３Ｂ、１３Ｃ、および１３Ｄは、保健医療データベースシステムと相互作用するための例示的プロセスを図示する。
図１４Ａは、仮想医療記録と関連付けられたアクセス権限に基づいて、仮想医療記録にアクセスする実施例を図示する。
図１４Ｂは、アクセス権限に基づいて仮想医療記録にアクセスするための例示的プロセスを示す、フローチャートを図示する。
図１５は、患者と保健医療提供者との間の相互作用と関連付けられたオーディオデータを記録および処理の実施例を図示する。
図１６は、保健医療提供者（ＨＣＰ）によって医療事象をドキュメント化するための例示的プロセスを示す、フローチャートである。
図１７は、相互に相互作用する複数のデバイスを描写する、全体的システム図を図式的に図示する。
図１８は、医療情報を複数の保健医療提供者間で共有する実施例を図示する。
図１９は、仮想コンテンツを医療手技の間に撮影される画像に追加する実施例を図示する。
図２０は、仮想コンテンツを複数の保健医療提供者間で共有する例示的プロセスを図示する、フローチャートである。
図２１、２２Ａ、２２Ｂ、および２３は、コンテキスト情報に基づいて仮想コンテンツを提示する実施例を図示する。 図２１、２２Ａ、２２Ｂ、および２３は、コンテキスト情報に基づいて仮想コンテンツを提示する実施例を図示する。 図２１、２２Ａ、２２Ｂ、および２３は、コンテキスト情報に基づいて仮想コンテンツを提示する実施例を図示する。 図２１、２２Ａ、２２Ｂ、および２３は、コンテキスト情報に基づいて仮想コンテンツを提示する実施例を図示する。
図２４は、コンテキスト情報に基づいて、仮想コンテンツにアクセスし、それを提示する例示的プロセスを図示する、フローチャートである。
図２５は、滅菌領域を有する手術室内で生じる医療手技の実施例を図式的に図示する。
図２６は、滅菌領域内の医療オブジェクトを追跡する例示的プロセスを図示する、フローチャートである。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。
概要
仮想コンテンツを装着者に提示し得る、ウェアラブルデバイスは、保健医療設定において、いくつかの用途を有することができる。そのような用途は、限定ではないが、患者医療記録のアクセス、表示、および修正および患者医療記録を認可された保健医療提供者（ＨＣＰ）間で共有することを含むことができる。患者医療記録は、中央場所に記憶され、そのサービスを患者が使用し得る、種々のＨＣＰ組織（例えば、病院、診療所、医師のオフィス）によってではなく、患者によって所有されることができる。ウェアラブルデバイスは、患者の医療記録にアクセスし、認可された人員に、その一部を表示することができる。患者の医療記録は、患者が手技または治療を受ける度、中央で記憶および修正されるため、医療記録は、実質的に完全なままであることができる（患者を治療する各ＨＣＰ組織が患者と関連付けられたその独自の医療記録を記憶および修正する、現在一般的である断片的シナリオと比較して）。加えて、患者の医療記録が、患者が手技または治療を受ける度、実質的にリアルタイムで記憶および更新されるため、医療記録は、実質的に不偏、正確、かつ客観的なままであることができる（各ＨＣＰが、患者を治療後、ある時点で、患者の記録を記憶および更新し、不正確な記憶に起因して、主観的情報を医療記録に含め得る、現在一般的シナリオと比較して）。
医療手技または治療の間、ウェアラブルデバイスは、執刀ＨＣＰに、患者または患者の医療記録と関連付けられた仮想コンテンツを表示することができる。ＨＣＰは、ウェアラブルデバイスを使用して、患者の医療記録を更新し、手技または治療の結果を検討することができる。ＨＣＰは、ウェアラブルデバイスを使用して、患者の医療記録の一部または全部を他の認可されたＨＣＰと共有することができる（例えば、外科医は、患者上での手術の間、医療記録を病理医と共有することができる）。患者医療手術の間の患者に対する危険として、外科医が異物（例えば、メス等の医療器具）を患者の身体の内側に残す可能性がある。ウェアラブルデバイスの外向きに面したカメラは、手術の間に使用される医療器具を結像することができ、ウェアラブルデバイスは、医療器具の場所を追跡することができる。異物が、患者の身体の内側に残されそうになる場合、ウェアラブルシステムは、手術が完了される前に、異物が患者の身体から除去され得るように、アラートを外科医に表示することができる。
保健医療設定におけるウェアラブルシステムのこれらおよび他の有利な用途は、下記に説明されるであろう。
（３Ｄディスプレイの実施例）
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。
図１Ａは、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１Ａでは、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
図１Ｂは、人物の視野（ＦＯＶ）および動眼視野（ＦＯＲ）を図示する。ＦＯＶは、所与の時間においてユーザによって知覚される、ユーザの環境の一部を備える。本視野は、人物が動き回る、その頭部を移動させる、またはその眼または視線を移動させるにつれて変化し得る。
ＦＯＲは、ユーザによってウェアラブルシステムを介して知覚されることが可能なユーザの周囲の環境の一部を備える。故に、頭部搭載型拡張現実デバイスを装着しているユーザに関して、動眼視野は、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、装着者を囲繞する４πステラジアン立体角の実質的に全てを含み得る。他のコンテキストでは、ユーザの移動は、より抑制され得、故に、ユーザの動眼視野は、より小さい立体角に対し得る。図１Ｂは、中心および周辺領域を含む、そのような視野１５５を示す。中心視野は、人物に、環境ビューの中心領域内のオブジェクトの対応するビューを提供するであろう。同様に、周辺視野は、人物に、環境ビューの周辺領域内のオブジェクトの対応するビューを提供するであろう。この場合、中心と見なされる対象および周辺と見なされる対象は、人物が見ている方向、故に、その視野の関数である。視野１５５は、オブジェクト１２１、１２２を含んでもよい。本実施例では、中心視野１４５は、オブジェクト１２１を含む一方、他のオブジェクト１２２は、周辺視野内にある。
視野（ＦＯＶ）１５５は、複数のオブジェクト（例えば、オブジェクト１２１、１２２）を含有することができる。視野１５５は、ＡＲシステムのサイズまたは光学特性、例えば、それを通して光がユーザの正面の実世界からユーザの眼に通過する、頭部搭載型ディスプレイの透明ウィンドウまたはレンズのクリア開口サイズに依存し得る。いくつかの実施形態では、ユーザ２１０の姿勢（例えば、頭部姿勢、身体姿勢、および／または眼姿勢）が変化するにつれて、視野１５５も、対応して変化し得、視野１５５内のオブジェクトもまた、変化し得る。本明細書に説明されるように、ウェアラブルシステムは、動眼視野１６５内のオブジェクトおよび視野１５５内のオブジェクトを監視または結像する、カメラ等のセンサを含んでもよい。いくつかのそのような実施形態では、ウェアラブルシステムは、ユーザに、ユーザの視野１５５内で生じる、および／またはユーザの視野の外側であるが、動眼視野１６５内で生じる、気づかれていないオブジェクトまたはイベントをアラートしてもよい。いくつかの実施形態では、ＡＲシステムはまた、ユーザ２１０が注意を向けているまたは向けていない対象を区別することができる。
ＦＯＶまたはＦＯＲ内のオブジェクトは、仮想または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等、例えば、オペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィック、または画像等、アプリケーション内のオブジェクトを含んでもよい。仮想オブジェクトは、患者のデータ（生理学的データまたは既往歴等）および手術室の温度等の環境データを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。ウェアラブルシステムは、仮想要素を、頭部搭載型ディスプレイの透明光学を通して視認される、既存の物理的オブジェクトに追加し、それによって、ユーザが物理的オブジェクトと相互作用することを可能にすることができる。例えば、ウェアラブルシステムは、部屋内の医療モニタと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ウェアラブルデバイスを使用して、ユーザに、医療結像機器または投薬制御装置をオンにする、または調節するオプションを与えてもよい。故に、ウェアラブルシステムは、ユーザの環境内のオブジェクトに加え、付加的仮想画像コンテンツを装着者に提示してもよい。
図１Ｂはまた、動眼視野（ＦＯＲ）１６５を示し、これは、例えば、その頭部を旋回させる、またはその視線を再指向することによって、人物２１０によって知覚されることが可能な人物２１０の周囲の環境の一部を備える。人物２１０の眼の視野１５５の中心部分は、中心視野１４５と称され得る。視野１５５内であるが、中心視野１４５外の領域は、周辺視野と称され得る。図１Ｂでは、動眼視野１６５は、オブジェクトのグループ（例えば、オブジェクト１２１、１２２、１２７）を含有することができ、これは、ウェアラブルシステムを装着しているユーザによって知覚されることができる。
いくつかの実施形態では、オブジェクト１２９は、ユーザの視覚的ＦＯＲ外にあり得るが、それにもかかわらず、潜在的に、ウェアラブルデバイス上のセンサ（例えば、カメラ）によって知覚され（それらの場所および視野に応じて）、オブジェクト１２９と関連付けられた情報は、ユーザ２１０のために表示される、または別様に、ウェアラブルデバイスによって使用され得る。例えば、オブジェクト１２９は、オブジェクト１２９がユーザによって視覚的に知覚可能ではないように、ユーザの環境内の壁の背後にあり得る。しかしながら、ウェアラブルデバイスは、オブジェクト１２９と通信し得る、センサ（無線周波数、Ｂｌｕｅｔｏｏｔｈ（登録商標）、電波、または他のタイプのセンサ等）を含んでもよい。
（ウェアラブルシステムの実施例）
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２Ａは、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００は、ウェアラブルデバイス（ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示することができるもの等）の一部であってもよい。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含むことができる。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＵＤ）を備えることができる。図２Ａでは、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。
図１２－２６を参照してさらに説明されるように、ウェアラブルシステム２００は、ユーザが、仮想および物理的オブジェクトと相互作用することを可能にするように構成されることができる。実施例として、医師は、ＡＲＤを装着することができ、これは、医師が患者を検査している、または手技または手術をその上で実施している間、患者の医療記録または生理学的データ（例えば、心電図）の仮想表現等の仮想コンテンツを医師に提示することができる。仮想コンテンツは、ユーザと医師の環境内の物理的オブジェクトの相互作用に基づいて、提示されてもよい。例えば、医師が、外科手術を患者上で実施している間、ウェアラブルシステムは、医師によって使用される外科手術機器に関連する仮想情報を表示し、例えば、医師（または外科手術チーム）によって使用される外科手術器具の場所またはステータスを追跡することができる。
ウェアラブルシステム２００はまた、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡してもよい。内向きに面した結像システムは、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径および／または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０および／または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４および／または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、動画、ビデオのフレーム、またはビデオ、その組み合わせ、または同等物であってもよい。ユーザの姿勢は、頭部姿勢、眼姿勢、手のジェスチャ、足姿勢、または他の身体姿勢を含んでもよい。１つ以上の姿勢は、患者の受診の音声記録をアクティブ化またはオフにするために使用されてもよい。例えば、医師は、ある手のジェスチャを使用して、患者の診断の口述記録を開始するかどうかを示してもよい。
ウェアラブルシステム２００はまた、オーディオセンサ（例えば、マイクロホン２３２）を含むことができる。マイクロホン２３２は、図２Ｂをさらに参照して説明されるような環境センサであってもよい。マイクロホンは、フレーム２３０、ディスプレイ２２０（またはウェアラブルシステム２００の他のコンポーネント）に（固定してまたは除去可能に）取り付けられる、ユーザ２１０に除去可能に、物理的オブジェクト（医療機器等）または別の人物（例えば、ユーザの患者等）に固定してまたは除去可能に取り付けられてもよい。マイクロホン２３２は、ウェアラブルシステム２００のユーザのオーディオデータまたはユーザの環境内の音（ユーザの患者が話しているとき等）を受信するために使用されてもよい。マイクロホン２３２によって受信されたオーディオデータは、本明細書に説明される口述記録特徴をアクティブ化またはオフにするために使用されてもよい。例えば、ウェアラブルシステム２００は、キーワードを検出することができ、これは、ウェアラブルシステム２００をトリガし、マイクロホン２３２によって受信されたオーディオを記録することができる。いくつかの実施形態では、示されない、１つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）環境センサから捕捉されるデータ（ａ）、および／または場合によっては処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０を使用して入手および／または処理されるデータ（ｂ）を含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２および／または２６４によって遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール２６０において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
遠隔データリポジトリ２８０は、種々のデータを記憶するように構成されることができる。例えば、遠隔データリポジトリ２８０は、環境のマップ（例えば、診療所または手術室のマップ等）を記憶することができる。図９および１２を参照してさらに説明されるように、マップは、複数のウェアラブルシステムによって収集されたデータに基づいて、経時的に生成されてもよい。環境のマップは、１つのウェアラブルシステムから別のウェアラブルシステムにパスされてもよい。例えば、手術室のマップは、外科手術の際、外科医と看護師との間で共有されてもよい。遠隔データリポジトリ２８０はまた、医療記録を記憶することができる。これらの医療記録は、検査または手術を患者上で実施する特定のＨＣＰによって所有されるのではなく、患者によって所有されてもよい。したがって、患者は、有利には、患者の医療記録内に含有される患者の取り扱いに注意を要する患者情報へのアクセスを制御することができる。病院での患者の受診の間、患者の医師は、患者を検査する際、ウェアラブルデバイスを装着してもよい。ウェアラブルデバイスは、医療記録を３Ｄユーザインターフェース上に提示することができる。ウェアラブルデバイスはまた、患者の医師が、既存の医療記録に追加することを可能にするように構成されることができる。例えば、ウェアラブルデバイスは、医師が、患者の写真を撮影する、仮想フラグを腫瘍の周囲に置く、音声制御を使用して、診断を入力すること等を可能にすることができる。追加された情報はまた、遠隔データリポジトリ２８０に記憶されてもよい。いくつかの実施形態では、医療記録またはマップの一部は、ローカル処理およびデータモジュール２６０内に記憶されてもよい。
（例示的環境センサ）
ウェアラブルシステム２００は、環境センサを含み、ユーザの周囲の世界のオブジェクト、刺激、人々、動物、場所、または他の側面を検出することができる。環境センサは、画像捕捉デバイス（例えば、カメラ、内向きに面した結像システム、外向きに面した結像システム等）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、ジャイロスコープ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、光センサ（例えば、露出計）、タイミングデバイス（例えば、クロックまたはカレンダ）、またはそれらの任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、環境センサはまた、種々の生理学的センサを含んでもよい。これらのセンサは、心拍数、呼吸数、ガルバニック皮膚応答、血圧、脳波状態等のユーザの生理学的パラメータを測定または推定することができる。環境センサはさらに、レーザ、可視光、光の不可視波長、または音（例えば、聴覚的音、超音波、または他の周波数）等の信号を受信するように構成される、放射デバイスを含んでもよい。いくつかの実施形態では、１つ以上の環境センサ（例えば、カメラまたは光センサ）は、環境の周囲光（例えば、輝度）を測定するように構成されてもよい（例えば、環境の照明条件を捕捉するため）。歪みゲージ、縁石検出器、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。
図２Ｂは、環境センサを備えるウェアラブルシステムの種々のコンポーネントの実施例の概略図を示す。いくつかの実施形態では、ディスプレイシステム２０２は、図２に図示されるウェアラブルシステム２００の一部であってもよい。ディスプレイシステム２０２は、いくつかの実装では、複合現実ディスプレイシステムであってもよい。システム２０２は、種々の環境センサ、例えば、センサ２４、２８、３０、３２、および３４を含むことができる。環境センサは、ウェアラブルシステムのユーザに関するデータを検出するように構成される（ユーザセンサとも称される）、またはユーザの環境に関するデータを収集するように構成されてもよい（外部センサとも称される）。例えば、生理学的センサは、ユーザセンサの実施形態であり得る一方、気圧計は、外部センサであり得る。いくつかの状況では、センサは、ユーザセンサおよび外部センサの両方であってもよい。例えば、外向きに面した結像システムは、ユーザが反射表面（例えば、鏡等）の正面に居るとき、ユーザの環境の画像およびユーザの画像を入手してもよい。別の実施例として、マイクロホンが、マイクロホンがユーザおよび環境からの音を入手し得るため、ユーザセンサおよび外部センサの両方としての役割を果たしてもよい。図２Ｂに図示される実施例では、センサ２４、２８、３０、および３２は、ユーザセンサであり得る一方、センサ３４は、外部センサであり得る。
図示されるように、ディスプレイシステム２０２は、種々のユーザセンサを含んでもよい。ディスプレイシステム２０２は、視認者結像システム２２を含んでもよい。視認者結像システム２２は、図４に説明される内向きに面した結像システム４６２および／または外向きに面した結像システム４６４の実施形態であってもよい。視認者結像システム２２は、ユーザ（例えば、ユーザの眼２０１ａ、２０１ｂおよび／または周囲組織）に指向され、それを監視するように構成される、光源２６（例えば、赤外線光源）とペアリングされる、カメラ２４（例えば、赤外線、ＵＶ、および／または可視光カメラ）を含んでもよい。カメラ２４および光源２６は、ローカル処理モジュール２６０に動作可能に結合されてもよい。そのようなカメラ２４は、個別の眼の瞳孔（瞳孔サイズを含む）または虹彩および／または眼瞼または眉毛等の眼を囲繞する組織の配向、形状、および対称性のうちの１つ以上のものを監視し、本明細書に開示される種々の分析を行うように構成されてもよい。いくつかの実施形態では、眼の虹彩および／または網膜の結像は、ユーザのセキュアな識別のために使用されてもよい。図２Ｂを継続して参照すると、カメラ２４はさらに、中心窩等の網膜特徴または眼底の特徴の場所に基づいて、診断目的および／または配向追跡等のために、個別の眼の網膜を結像するように構成されてもよい。虹彩および網膜結像または走査は、例えば、ユーザデータと特定のユーザを正しく関連付けるためのユーザのセキュアな識別のために、および／または私的情報を適切なユーザに提示するために、実施されてもよい。いくつかの実施形態では、カメラ２４に加えて、またはその代替として、１つ以上のカメラ２８が、ユーザのステータスの種々の他の側面を検出および／または監視するように構成されてもよい。例えば、１つ以上のカメラ２８は、内向きに面し、ユーザの眼以外の特徴、例えば、１つ以上の顔特徴の形状、位置、移動、色、および／または他の性質（例えば、顔の表情、随意的移動、不随意的チック）を監視するように構成されてもよい。別の実施例では、１つ以上のカメラ２８は、下向きに面し、または外向きに面し、ユーザ、ユーザのＦＯＶ内の別の人物の腕、手、脚、足、および／または胴体、ＦＯＶ内のオブジェクト等の位置、移動、および／または他の特徴または性質を監視するように構成されてもよい。カメラ２８は、環境を結像するために使用されてもよく、そのような画像は、ウェアラブルデバイスによって分析され、ウェアラブルデバイスがユーザに提示されている視覚的または聴覚的コンテンツが提示（またはミュートに）されるべきであるようなトリガイベントが生じているかどうかを決定することができる。
いくつかの実施形態では、本明細書に開示されるように、ディスプレイシステム２０２は、ファイバスキャナ（例えば、図４における画像投入デバイス４２０、４２２、４２４、４２６、４２８）を通して、光ビームをユーザの網膜を横断して可変に投影し、画像を形成する、空間光変調器を含んでもよい。いくつかの実施形態では、ファイバスキャナは、カメラ２４または２８と併せて、またはその代わりに使用され、例えば、ユーザの眼を追跡または結像してもよい。例えば、光を出力するように構成される、走査ファイバの代替として、またはそれに加えて、健康システムは、別個の受光デバイスを有し、ユーザの眼から反射された光を受光し、その反射された光と関連付けられたデータを収集してもよい。
図２Ｂを継続して参照すると、カメラ２４、２８および光源２６は、フレーム２３０（図２Ａに示される）上に搭載されてもよく、これもまた、導波管スタック２０５、２０６を保持してもよい。いくつかの実施形態では、ディスプレイシステム２０２のセンサおよび／または他の電子デバイス（例えば、カメラ２４、２８および光源２６）は、通信リンク２６２、２６４を通してローカル処理およびデータモジュール２６０と通信するように構成されてもよい。
いくつかの実施形態では、ユーザに関するデータを提供することに加え、カメラ２４および２８の一方または両方は、眼を追跡し、ユーザ入力を提供するために利用されてもよい。例えば、視認者結像システム２２は、本明細書に開示される種々の試験および分析におけるユーザ応答を提供するため等、仮想メニュー上のアイテムを選択し、および／または他の入力をディスプレイシステム２０２に提供するために利用されてもよい。
いくつかの実施形態では、ディスプレイシステム２０２は、１つ以上の加速度計、ジャイロスコープ、ジェスチャセンサ、歩行センサ、平衡センサ、および／またはＩＭＵセンサ等の運動センサ３２を含んでもよい。センサ３０は、音と、検出された音の強度およびタイプ、複数の信号の存在、および／または信号場所を含む、それらの音の種々の性質とを検出するように構成される、１つ以上の内向きに指向される（ユーザに指向される）マイクロホンを含んでもよい。
センサ３０は、フレーム２３０に接続されるように図式的に図示される。本接続は、フレーム２３０への物理的取付の形態をとってもよく、ユーザの耳にわたって延在する、フレーム２３０のつるの端部を含む、フレーム２３０上の任意の場所にあってもよいことを理解されたい。例えば、センサ３０は、フレーム２３０とユーザとの間の接触点において、フレーム２３０のつるの端部に搭載されてもよい。いくつかの他の実施形態では、センサ３０は、フレーム２３０から離れるように延在し、ユーザ２１０に接触してもよい（図２Ａに示される）。さらに他の実施形態では、センサ３０は、フレーム２３０に物理的に取り付けられなくてもよく、むしろ、センサ３０は、フレーム２３０から離間されてもよい。
いくつかの実施形態では、ディスプレイシステム２０２はさらに、ユーザの周囲の世界のオブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成される、１つ以上の環境センサ３４を含んでもよい。例えば、環境センサ３４は、１つ以上のカメラ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、光センサ（例えば、露出計）、タイミングデバイス（例えば、クロックまたはカレンダ）、またはそれらの任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、複数（例えば、２つ）のマイクロホンが、離間され、音源場所決定を促進してもよい。環境感知カメラを含む、種々の実施形態では、カメラは、ユーザの通常の視野の少なくとも一部に類似する画像を捕捉するように、例えば、外向きに面するように位置してもよい。環境センサはさらに、レーザ、可視光、光の不可視波長、音（例えば、聴覚的音、超音波、または他の周波数）等の信号を受信するように構成される、放射デバイスを含んでもよい。いくつかの実施形態では、１つ以上の環境センサ（例えば、カメラまたは光センサ）は、環境の周囲光（例えば、輝度）を測定するように構成されてもよい（例えば、環境の照明条件を捕捉するために）。歪みゲージ、縁石検出器、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。
いくつかの実施形態では、ディスプレイシステム２０２はさらに、ＧＰＳ場所データ、天候データ、日付および時間、または他の利用可能な環境データ等の他の環境入力を受信するように構成されてもよく、これは、インターネット、衛星通信、または他の好適な有線または無線データ通信方法から受信されてもよい。処理モジュール２６０は、花粉数、人口統計、空気汚染、環境毒性、スマートサーモスタットからの情報、生活習慣統計、または他のユーザ、建物、または医療従事者との近接度等、ユーザの場所を特性評価するさらなる情報にアクセスするように構成されてもよい。いくつかの実施形態では、場所を特性評価する情報は、クラウドベースまたは他の遠隔データベースを使用してアクセスされてもよい。処理モジュール７０は、そのようなデータを取得し、および／または環境センサの任意の１つまたはその組み合わせからのデータをさらに分析するように構成されてもよい。
ディスプレイシステム２０２は、長期間にわたって、上記に説明されるセンサおよび／または入力のいずれかを通して取得されるデータを収集および記憶するように構成されてもよい。デバイスにおいて受信されたデータは、ローカル処理モジュール２６０および／または遠隔（例えば、図２Ａに示されるように、遠隔処理モジュール２７０または遠隔データリポジトリ２８０）で処理および／または記憶されてもよい。いくつかの実施形態では、日付および時間、ＧＰＳ場所、または他のグローバルデータ等の付加的データは、直接、ローカル処理モジュール２６０において受信されてもよい。画像、他の視覚的コンテンツ、または聴覚的コンテンツ等のユーザにシステムによって送達されるコンテンツに関するデータも同様に、ローカル処理モジュール２６０において受信されてもよい。
（深度平面を伴う３Ｄディスプレイの実施例）
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂおよび／または複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０および／または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部および／または底部主要表面に配置されてもよく、および／または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であった光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンまたは「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）を形成する、回折特徴である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点を用いて眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および／または分布は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。ウェアラブルシステム４００のいくつかの実装では、ＦＯＲは、ユーザが、その頭部または眼を移動させ、ユーザの周囲（ユーザの背後、上方、下方、または側面）のオブジェクトを見ることができるため、ディスプレイシステム４００のユーザの周囲の立体角の実質的に全てを含んでもよい。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別（例えば、虹彩認識または網膜走査等）のため、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径および／または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢および／または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、眼４１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂおよび／またはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂおよび／またはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合される。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させる、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置する。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管８をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートする。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射される。コリメートされた光は、全内部反射（ＴＩＲ）によって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差する。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張される。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入する。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、１つ以上の物理的オブジェクトを含んでもよく、これは、ユーザによって操作可能であって、ＡＲシステムへの入力またはそれとの相互作用を可能にする。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ＡＲシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ＡＲシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ＡＲシステムは、仮想キーボードおよび／または仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカスイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、ＡＲＤ、およびディスプレイシステムと併用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面した結像システム、外向きに面した結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面した結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識および／またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、患者、患者の身体部分（例えば、四肢、胴体、頭部、器官等）、医療機器（例えば、外科手術ツールまたは医療デバイス等）、および部屋内の他のオブジェクト（例えば、窓、壁等）または部屋内の他の人物（例えば、執刀医、看護師等）を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、メスを認識するために使用されてもよい。いくつかの実施形態では、オブジェクト認識装置７０８が、オブジェクトを識別することが不可能である場合、オブジェクトは、未知としてマークされてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ－最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等によって実施されることができる。いったん訓練されると、機械学習モデルは、ウェアラブルデバイスによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅまたは深層ニューラルネットワーク等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶することができる。基本モデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変数に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルデバイスは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値の使用を含んでもよい。
１つ以上のオブジェクト認識装置７０８はまた、種々のテキスト認識アルゴリズムを実装し、テキストを画像から識別および抽出することができる。いくつかの例示的テキスト認識アルゴリズムは、光学キャラクタ認識（ＯＣＲ）アルゴリズム、深層学習アルゴリズム（深層ニューラルネットワーク等）、パターンマッチングアルゴリズム、事前処理のためのアルゴリズム等を含む。
ウェアラブルシステムはまた、認識されたオブジェクトを意味論情報で補完し、生命をオブジェクトに与えることができる。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。別の実施例として、オブジェクト認識装置は、例えば、認識されたメスとあるタイプの外科手術において使用される医療器具のデータベースを比較することによって、そのタイプの外科手術を実施するための外科手術ツールのセットに属するものとして、メスを認識してもよい。医療器具データベースは、外科医のウェアラブルデバイス内のデータリポジトリ２６０にローカルでまたは遠隔データリポジトリ２６４内（例えば、図１２を参照して説明されるデータ記憶装置１２３８等のクラウド内）に記憶されてもよい。
経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。別の実施例として、ＭＲ環境７００は、外科医が外科手術を患者上で実施する、手術室であってもよい。ＭＲ環境７００は、同一手術室内または手術室の外側の人物と共有されてもよい。例えば、外科医は、そのＡＲＤのそのＦＯＶ内の画像を教室内の医学生と共有してもよい。別の実施例として、ＭＲ環境７００は、病理学研究室内の医師が、仮想フラグを外科医によって患者の身体内において見出される腫瘍の周囲に設置し得るように、病理学研究室と共有されてもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がＭＲシステム（例えば、ウェアラブルシステム）のユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに居住する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、および／または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ、７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、マップ９２０を備え、これは、世界に関するマップデータ（マップデータベース７１０の一部であってもよい）を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定デバイス等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ－ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンまたは医療デバイス（例えば、医療結像デバイス等）のような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力である。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、医療デバイスの場所およびタイプが、追跡され、入力として使用され、看護師が医師に正しい医療デバイスを手渡したかどうかを決定し得る。別の実施例として、ＭＲ現実プロセス９６０は、医師が、患者を検査またはその上で手術を行っている間、ウェアラブルシステムが、患者の医療記録（既往歴、アレルギー、治療推奨、画像（例えば、Ｘ線、ＥＣＧ、ＭＲＩ等）、オーディオ（例えば、医療検査等から）等）を提示することを可能にしてもよい。医療記録は、ローカルでまたは遠隔で記憶され、装着者への表示のためにアクセスされてもよい。世界マップは、物理的および仮想オブジェクトが相互に相対的である場所に関する情報を含んでもよい。本相対的場所情報は、複合現実への別の有用な入力となり得る。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力、頭部または眼姿勢等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、行うことを所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム、ユーザ入力デバイス、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通して捲る、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。頭部追跡は、別の入力となることができる（例えば、ユーザの頭部の方向を追跡し、ユーザが見ている仮想または物理的オブジェクトを決定する）。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の側面に配列される、相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクト追跡９５０を捕捉するようにユーザの正面に配向される、異なる対のカメラとを含むことができる。３つの対のカメラ内のカメラは、外向きに面した結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される、眼追跡カメラ（図４に示される内向きに面した結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、１つのトーテムをソーシャルメディアアプリケーション用、別のトーテムをゲームをプレーするため用等と指定していてもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、ユーザのＦＯＶカメラを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、マップ点のセットであってもよく、それに基づいて、ウェアラブルシステムは、トーテム（またはユーザ）の移動をアクションまたはコマンドに変換する。ブロック１０３０では、ユーザとトーテムの相互作用は、マッピングされる。基準フレーム１０２０に対するユーザの相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを往復して移動させ、仮想ページを捲り、次のページに進む、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動させることを示してもよい。別の実施例として、ユーザは、その頭部または眼を移動させ、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見てもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザの眼の遠近調節状態を決定するために使用されることができ、これは、ユーザが合焦している深度平面に関する情報を提供する。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿った実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横方向幅を伴わない細い光束を投光するステップまたは実質的横方向幅（例えば、円錐または錐台）を伴う光線を投光するステップを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは地球儀等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムまたはシステムの一部の外部に１つ以上のカメラを使用して（例えば、内向きに面した結像システム４６２または外向きに面した結像システム４６４等を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前に決定されてもよい。ウェアラブルシステムは、ユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて、特定のＵＩが取り込まれる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的体勢、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心である場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して、導出されてもよい。
ブロック１１３０では、ウェアラブルシステムは、データをディスプレイにクラウドから送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが、作成されると、ウェアラブルシステムは、ブロック１１５０において、単に、さらなる仮想コンテンツを仮想ＵＩ上に生成するユーザからのコマンドを待機してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、それが認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。
ＡＲシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
（頭部搭載型デバイスの例示的医療用途）
本明細書に説明されるウェアラブルデバイスは、種々の医療用途を実施するように構成されることができる。図２Ａを参照して説明されるように、ウェアラブルデバイスは、ＡＲ／ＭＲ／ＶＲコンテンツをＨＭＤの装着者に提示するように構成される、ＨＭＤを含んでもよい。ウェアラブルデバイスは、ウェアラブルデバイスのユーザに基づいてカスタマイズされた医療関連用途を提供することができる。例えば、ウェアラブルデバイスのユーザは、患者であってもよく、ウェアラブルデバイスは、患者または認可されたＨＣＰによって使用されるための医療記録管理システムを提供することができる。
図１２は、複数のウェアラブルデバイスおよび医療記録管理システムが、保健医療設定において相互に相互作用し、医療記録管理を提供し得る、例示的コンピューティング環境を図示する。ウェアラブルシステムは、データセキュリティ管理システム１２１２と、記録更新システム１２１４とを含む、医療記録管理システムを含むことができる（図１２に示される）。図１２、１４Ａ、および１４Ｂを参照してさらに説明されるように、医療記録管理システムは、ユーザ（例えば、認可されたＨＣＰ）が、例えば、その医療記録を追加／編集する、その既往歴およびその家族の既往歴を入力する、その医療記録と関連付けられたアクセス権限（許可とも称される）を設定すること等、その医療記録を管理することを可能にすることができる。いくつかの実施形態では、医療記録は、仮想医療記録とも称される。
医療記録管理システムはまた、患者が、その医療記録を閲覧することを可能にすることができる。いくつかの実施形態では、医療記録管理システムは、患者が、例えば、その既往歴およびその家族既往歴を追加／編集する、その医療記録と関連付けられたアクセス権限を設定すること等、その医療記録のいくつかの部分を管理することを可能にし得る。医療記録管理システムはまた、医療記録の完全性および正確度を保つために、患者が、例えば、医師のメモ、医師の診断、試験結果等を追加／編集すること等、その医療記録のいくつかの部分を管理することを禁止することができる。故に、いくつかの実施形態では、システムは、異なるアクセス権限と医療記録の異なる部分を関連付ける。例えば、アクセス権限は、医療記録のいくつかの部分への読取専用アクセスと、他の部分への編集アクセスとを含んでもよい。異なるユーザは、医療記録の同一部分への異なるアクセス権限を有してもよい。例えば、上記に説明されるように、患者は、その医療または家族履歴に関しては編集権限を有し得るが、診断、試験結果等に関しては読取専用権限を有する一方、ＨＣＰは、患者の家族履歴に関しては読取専用権限を有し得るが、ＨＣＰ自身のメモまたは診断に関しては編集権限を有する（但し、別のＨＣＰのメモまたは診断に関しては編集権限を有していない）。
ウェアラブルデバイスのユーザは、例えば、患者の医療記録にアクセスする、または治療または診断を患者に提供する、保健医療提供者（ＨＣＰ）であってもよい。ＨＣＰは、種々のエンティティを含むことができる。例えば、ＨＣＰは、医師または医師と連携する他の認可された当事者であってもよい。用語「医師」は、医学博士（ＭＤ）、整骨治療学における博士（ＤＯ）、医療資格者（ＰＡ）、看護師、検眼医（ＯＤ）、足病医（ＤＰＭ）、歯科医（ＤＤＳまたはＤＤＭ）、獣医（ＤＶＭ）、上級実践看護師（ＡＰＲＮ）、臨床薬剤師、開業医または診療看護師、医療心理医、または薬を処方する、医療手技を実施する、病状を診断する、医療記録を分析する等のために認可またはライセンス付与された任意の他の人物を含むことができる。ＨＣＰは、患者の保健医療記録内の情報にアクセスする、それを精査する、またはそれを打ち込む、医療受付係またはアシスタントを含むことができる。加えて、または代替として、コンテキストに応じて、ＨＣＰは、例えば、医療診療所、病院、保険提供者、薬局、または医療関連サービスを提供する他のエンティティ等、ヒトＨＣＰと関連付けられたエンティティまたは組織を指し得る。
ウェアラブルデバイスのユーザが、ＨＣＰである場合、ウェアラブルデバイスは、保健医療提供者システム１２３０（図１２に示される）を含み、ユーザが、患者の医療記録にアクセスし、医療記録を使用して、医療検査または手術を実施する、患者との相互作用に基づいて、患者の医療記録を更新する、ＨＣＰが正しい処置を提供している（例えば、外科手術の間、正しい四肢上で手術を行っている等）かどうかを決定すること等を可能にすることができる。ウェアラブルデバイスは、例えば、あるタイプの外科手術において使用されるべき外科手術ツール等の他の医療情報を、単独で、または患者の医療記録と組み合わせて、使用して、処置の品質を向上させ、医療事故の尤度を低減させることができる。例えば、ウェアラブルデバイスは、滅菌領域の中に進入した外科手術ツールを追跡し、正しい外科手術ツールが使用されている、または異物（例えば、外科手術ツール等の医療器具）が偶発的に患者の身体の内側に残されていないことを確実にすることができる。
その個別のウェアラブルデバイスのユーザは、ウェアラブルデバイスを使用して、医療記録を共有し、協働することができる。例えば、その医療記録の異なる部分へのアクセス権限に基づいて、患者は、そのウェアラブルデバイスを使用して、保健医療データベース内のその医療記録のいくつかの部分を編集し得る一方、その医療記録の他の部分を読み取ることが可能である（但し、編集することは不可能である）。患者が、診療所を受診するとき、診療所における医師のウェアラブルデバイスは、患者の疾患履歴を読み出し、疾患履歴の関連部分を２Ｄまたは３Ｄユーザインターフェース内に提示し、医師の診断、分析、および患者との相互作用を促進することができる。医師のウェアラブルデバイスはまた、医師と患者の相互作用を記録し（視覚的または聴覚的に）、患者の関連情報を抽出し、関連情報に基づいて、患者の医療記録を更新することができる。別の実施例として、外科医のウェアラブルデバイスは、外科医が外科手術を患者上で実施している間、静止またはビデオ画像、オーディオ、または手術室および患者上の外科手術部位内の医療デバイスからの入力を捕捉することができる。外科医のウェアラブルデバイスは、手術室および患者の情報をある医学生のグループのウェアラブルデバイスにパスすることができ、これは、外科手術が生じている間またはそれが終わった後、医学生が、外科手術を観察することを可能にする。
（医療環境におけるウェアラブルデバイスのユーザ間の相互作用のための例示的コンピューティング環境）
図１２は、複数のウェアラブルデバイスが保健医療設定において相互に相互作用し得る、例示的コンピューティング環境１２００を図示する。図１２における例示的コンピューティング環境１２００は、保健医療提供者システム（例えば、保健医療提供者システムＡ１２３０ａ－保健医療提供者システムＮ１２３０ｎ）と、患者システム（例えば、患者システムＡ１２１０ａ－患者システムＮ１２１０ｎ）と、保健医療データベースシステム１２２０とを含む。ＨＣＰシステム、患者システム、および保健医療データベースシステム１２２０は、ネットワーク１２９０を使用して、相互に通信することができる。ネットワーク１２９０は、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線周波数、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、クラウドベースのネットワーク、または任意の他のタイプの通信ネットワークであってもよい。ある実装では、コンピューティング環境１２００は、ウェアラブルデバイスのユーザのために、中央保健医療データベースを提供することができる。コンピューティング環境１２００は、ウェアラブルデバイスのユーザが、データを中央保健医療データベース内に入力し、それを編集し、編成し、かつそれにアクセスすることを可能にすることができる。
議論を簡略化するために、本開示を限定するわけではないが、図１２は、１つのＨＣＰシステムおよび１つの患者システムのみを詳細に図示する。他のＨＣＰシステムも、ＨＣＰシステムＡ１２３０ａと類似の機能性を含んでもよい。他の患者システムもまた、患者システムＡ１２１０ａと類似の機能性を含んでもよい。
（保健医療提供者システムの実施例）
ＨＣＰシステム１２３０ａの少なくとも一部は、ウェアラブルデバイスの一部であってもよい。ＨＣＰ１２３０ａは、１つ以上のオブジェクト認識装置７０８と、環境センサ１２３２と、データ管理システム１２３４と、データ処理システム１２３６と、データ記憶装置１２３８とを含む。ＨＣＰシステム１２１０ａは、説明されるものより少ないまたはより多いシステムおよびコンポーネントを含んでもよい。例えば、いくつかの実施形態では、ＨＣＰシステム１２３０ａは、データ処理システム１２３６を有していなくてもよい。むしろ、データ処理システム１２３６は、保健医療データベースシステム１２２０の一部であってもよい。他の実施形態では、ＨＣＰシステム１２３０ａは、患者の健康医療を促進する、より多いシステムまたは機能性を含んでもよい。ＨＣＰシステムＡ１２３０ａの１つ以上のシステムは、組み合わせられる、または別のシステムの一部であってもよい。例えば、オブジェクト認識装置７０８は、データ処理システム１２３６の一部であってもよい。
（オブジェクト認識装置）
オブジェクト認識装置７０８は、ユーザの環境内のオブジェクトを認識するために使用されることができる。図７を参照して説明されるように、オブジェクト認識装置７０８は、コンピュータビジョンアルゴリズム（機械学習アルゴリズムに加え、またはその代替として）を適用し、ユーザの環境内の医療機器、ドキュメント、顔等を識別することができる。ウェアラブルデバイスはまた、意味論情報をオブジェクトに結び付けてもよい。図２５を参照してさらに説明されるように、ウェアラブルデバイスは、オブジェクト認識装置を使用して、ウェアラブルデバイスまたはウェアラブルデバイスのユーザのＦＯＶ内の外科手術器具または医療デバイスを検出または追跡することができる。加えて、ウェアラブルデバイスは、医療デバイス（例えば、超音波プローブ）を識別し、有線または無線ネットワークを介して、デバイスに接続することができる。例えば、ウェアラブルデバイスは、その近傍内のネットワーク対応医療デバイスによってブロードキャストされるメッセージを走査し、そのようなデバイスに無線で接続することができる。ウェアラブルデバイスは、データを医療デバイスから受信し、受信されたデータに関連する情報（例えば、結像デバイスからの画像、プローブ（例えば、温度計）からのセンサデータ等）をデバイスの装着者に提示することができる。いくつかの実施形態では、ウェアラブルデバイスは、装着者（例えば、外科医）が、医療デバイスにアクセスする、またはそれを制御することを可能にする、ユーザインターフェース（ＵＩ）を提供してもよい。加えて、または代替として、ウェアラブルデバイスは、短距離（例えば、約１０ｃｍ）にわたって、ＮＦＣ対応医療デバイスと通信し、情報を交換する、相互を識別する、より高い帯域幅を伴って無線接続にブートストラップ等するように構成される、近距離通信（ＮＦＣ）インターフェースを含んでもよい。ＮＦＣインターフェースおよびＮＦＣ対応医療デバイスは、受動または能動モードで動作してもよい。
外科手術器具は、意味論情報と関連付けられてもよい。例えば、意味論情報は、外科手術器具が切断のために使用される器具セットの一部であることのインジケーションを含んでもよい。意味論情報はまた、例えば、血液が飛沫しないように止める、開放創傷を縫合する等、外科手術器具の機能を含むことができる。
（環境センサ）
環境センサ１２３２は、図２Ａ、２Ｂ、および４を参照して説明される、種々のセンサを含むことができる。例えば、環境センサ１２３２は、図２Ｂに説明される、ユーザセンサ２４、２８、３０、３２、外部センサ３４、図２Ａにおける、マイクロホン２３２、図４における、外向きに面した結像システム４６４内のセンサおよび内向きに面した結像システム４６２内のセンサ等を含んでもよい。環境センサ１２３２は、ユーザの環境のデータおよびユーザのデータを入手するように構成されることができる。例えば、マイクロホン２３２は、ＨＣＰまたは患者によって発話された語句と関連付けられたオーディオデータを入手することができる。別の実施例として、外向きに面した結像システム４６４は、患者またはユーザの環境を結像することができる。１つ以上の環境センサ１２３２によって入手されたデータは、ユーザの環境内の物理的オブジェクトを識別するためのオブジェクト認識装置７０８または関連医療情報を抽出するためのデータ処理システム１２３６等、別のシステム（またはセンサ）に通信されることができる。
（データ処理システム）
ＨＣＰシステムＡ１２３０ａはまた、データ処理システム１２３６を含むことができる。データ処理システム１２３６は、関連情報を環境センサ１２３２によって入手されたデータ、患者システム１２１０から受信されたデータ、または保健医療データベースシステム１２２０またはデータ記憶装置１２３８からアクセスされるデータから抽出するように構成されることができる。データ処理システム１２３６は、オーディオデータ（例えば、マイクロホン２３２から入手された）を処理することができる。例えば、データ処理システム１２３６は、オーディオデータを解析し、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化等を使用する、他のアルゴリズム等、種々の発話認識アルゴリズムを適用することによって、発話の内容を識別することができる。データ処理システム１２３６はまた、音声認識アルゴリズムを適用することができ、これは、話者がある患者または患者の医師であるかどうか等、話者の識別を識別することができる。データ処理システム１２３６は、図７を参照して説明される、種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。
データ処理システム１２３６はまた、画像を処理するように構成されることができる。例えば、データ処理システム１２３６は、オブジェクト認識装置７０８を参照して説明される、１つ以上のコンピュータビジョンアルゴリズムを適用し、画像内のオブジェクトまたは人物を識別することができる。いくつかの実施形態では、オブジェクト認識装置７０８は、データ処理システム１２３６の一部であってもよい。
データ処理システム１２３６はまた、テキスト認識を実施することができる。例えば、画像は、患者の既往歴の走査コピーを含んでもよい。データ処理システム１２３６は、例えば、文字認識アルゴリズム、深層学習アルゴリズム（深層ニューラルネットワーク等）、パターンマッチングアルゴリズム、事前処理のためのアルゴリズム等、１つ以上のテキスト認識アルゴリズムを使用して、画像内のテキストを抽出することができる。
いくつかの実施形態では、データ処理システム１２３６は、関連情報を環境センサによって入手されたデータから抽出することができる。例えば、データ処理システム１２３６によって入手された画像は、看護師の顔および患者の顔を含んでもよい。データ処理システム１２３６は、顔認識技法を使用して、画像内の顔を検出することができる。データ処理システム１２３６はさらに、例えば、患者の以前の画像に基づいて、患者の顔を識別することができる。別の実施例として、データ処理システム１２３６は、機械学習アルゴリズムを使用して、ユーザによって発話されたキーワードを検出し、キーワードを含む文を識別することができる。
ウェアラブルデバイスによって取得または処理されたオーディオ、視覚的、抽出されたテキスト、または他の情報の一部または全部は、患者の医療記録内に記憶されることができる。例えば、医師による患者の検査の視聴覚記録が、医療記録内に記憶されることができる。別の実施例として、患者は、自身が被っている医療問題を説明してもよく、医師のウェアラブルデバイスは、患者オーディオデータを記録および処理し、医療問題に関連する情報を患者の医療記録内に記憶する、または情報を医師に表示してもよい（例えば、図１５参照）。さらに別の実施例として、ＨＣＰのウェアラブルデバイスは、検査の間、兆候（例えば、眼移動、患者の皮膚上の症状等）を検出および記録してもよい。
例示的コンピューティング環境１２００は、データ管理システム１２３４がＨＣＰシステムＡ１２３０ａの一部であることを示すが、いくつかの実施形態では、データ処理システム１２３６の少なくとも一部は、保健医療データベースシステム１２２０の一部である。
（データ管理システム）
データ管理システム１２３４は、患者の医療記録を更新および管理するように構成されることができる。ある実装では、データ管理システム１２３４は、２Ｄまたは３Ｄユーザインターフェースを含むことができる。図１０および１１を参照して説明されるように、ウェアラブルデバイスのユーザは、２Ｄまたは３Ｄユーザインターフェースを使用して、患者の医療記録を閲覧することができる。ユーザはまた、例えば、頭部姿勢、ジェスチャ、音声入力、トーテム等、姿勢またはユーザ入力デバイス４６６を使用して、医療記録を編集することができる。
データ管理システム１２３４は、データをデータ処理システム１２３６、オブジェクト認識装置７０８、または環境センサ１２３２から受信することができる。データ管理システム１３４は、保健医療データベースシステム１２２０と通信し、受信されたデータに基づいて、患者の仮想医療記録を更新することができる。例えば、データ管理システム１２３４は、患者の診断を医師から受信してもよい。データ管理システム１２３４は、命令をデータベース管理システム１２２０に通信し、診断を患者の医療記録に追加することができる。
データ管理システム１２３４はまた、患者システムまたは別の保健医療提供者システム等の別のシステムと共有するデータを管理することができる。例えば、ＨＣＰシステムＡ１２３０ａは、外科手術を手術室において実施している、外科医と関連付けられてもよい。データ処理システム１２３６は、顔認識技法を使用して、手術室内の人々（例えば、看護師または他の医師等）を識別することができる。データ管理システム１２３４は、手術室内の人々の識別をデータ処理システム１２３６から受信することができる。データ管理システム１２３４は、外科医のウェアラブルデバイスの２Ｄまたは３Ｄユーザインターフェース上の１つ以上の仮想アイテム（例えば、患者の生理学的データ等）を識別された人々と自動的に共有することができる。データ管理システム１２３４はまた、外科医のウェアラブルデバイスの外向きに面した結像システム４６４によって入手された画像または外科医のウェアラブルデバイスによって収集された他の情報（例えば、オーディオ）を手術室内の識別された人々のウェアラブルデバイスと共有することができる。
図１２におけるデータ管理システム１２３４は、ＨＣＰシステムＡ１２３０ａの一部として図示されるが、いくつかの実施形態では、データ管理システム１２３４の少なくとも一部は、保健医療データベースシステム１２２０の一部である。
（データ記憶装置）
データ記憶装置１２３８は、コンピュータビジョンアルゴリズム、発話認識アルゴリズム、音声認識アルゴリズム、テキスト認識アルゴリズム、機械学習アルゴリズム等、種々のアルゴリズム（例えば、コンピュータ実行可能コードによって実装されるような）を記憶するように構成されることができる。データ処理システム１２３６を参照して説明されるように、これらのアルゴリズムは、データ処理システム１２３６によって適用され、環境センサ１２３２によって入手されたデータを処理してもよい。ある実施形態では、データ記憶装置１２３８は、患者の仮想医療記録のコピーを含んでもよい。例えば、大ファイルサイズに起因して、ＨＣＰシステムＡ１２３０ａは、ＨＣＰを受診する患者のスケジュールされた時間の前に、患者の以前の医療画像の一部をデータ記憶装置１２３８内に事前ロードすることができる。患者がＨＣＰを受診すると、ＨＣＰは、データ記憶装置１２３８に事前にロードされた仮想医療記録を閲覧し、画像を医療データ記憶装置１２２２等の遠隔場所から読み出すための遅延を回避することができる。
データ記憶装置１２３８はまた、ＨＣＰ提供者システムＡ１２３０ａの他のシステムによって入手または生成されたデータを記憶することができる。例えば、データ記憶装置１２３８は、患者がＨＣＰと相互作用する間、環境センサ１２３２によって入手されたデータを記憶することができる。データ記憶装置１２３８はまた、データ処理システム１２３６と関連付けられたデータを記憶することができる。例えば、データ処理システム１２３６は、患者とＨＣＰとの間の会話の書き起こし記録を生成し、データ記憶装置１２３８による記憶のために、書き起こし記録を通信することができる。データ記憶装置１２３８はまた、患者のウェアラブルデバイスによって入手された患者データを記憶することができる。患者データは、患者の習慣、歩行、心拍数、血圧等の生理学的情報等を決定するために、種々の機械学習アルゴリズムを使用して、分析されることができる。患者データはまた、図２Ａ、２Ｂ、および４を参照して説明されるように、眼追跡または頭部姿勢追跡を実施するために使用されることができる。
データ記憶装置１２３８によって記憶されるデータの一部は、保健医療データベースシステム１２２０に通信されてもよい。例えば、患者とＨＣＰとの間の会話の書き起こし記録が、保健医療データベースシステム１２２０の医療データ記憶装置１２２２内に記憶される、患者の仮想医療記録に追加されることができる。別の実施例として、患者データ（例えば、患者のウェアラブルデバイスによって入手されるような）は、患者またはＨＣＰによる後の分析または精査のために、患者データ管理システム（保健医療データベースシステム１２２０または保健医療提供者システム１２３０の一部であってもよい）の中に自動で取り込まれることができる。本明細書に説明されるように、患者データへのアクセス権限は、患者が、その独自の個人データの全てへのアクセスを所有し、それを共有する人物および共有される程度を選択し得るように、カスタマイズされることができる。
（患者システムの実施例）
患者システムＡ１２１０ａは、データセキュリティ管理システム１２１２と、記録更新システム１２１４とを含む。患者システムＡ１２１０ａは、説明されるものより少ないまたはより多いシステムおよびコンポーネントを含んでもよい。例えば、患者システムＡ１２１０ａは、患者システムＡ１２１０ａによって入手または生成されたデータを記憶するために、ローカルデータ記憶装置または遠隔データ記憶装置（例えば、クラウドベースのデータ記憶装置）を含むことができる。他の実施形態では、患者システムＡ１２１０ａは、患者の健康医療を促進する、さらなるシステムおよび／または機能性を含んでもよい。患者システムＡ１２１０ａの１つ以上のシステムは、組み合わせられる、または別のシステムの一部であってもよい。例えば、記録更新システム１２１４の一部は、保健医療データベースシステム１２２０の一部であってもよい。
患者システムＡ１２１０ａは、患者と関連付けられたウェアラブルデバイスの一部であってもよい。図１２には図示されないが、患者システムＡ１２１０ａはまた、患者および患者の環境の情報を入手するための環境センサを含むことができる。患者システムＡ１２１０ａはまた、ユーザが、ユーザ入力デバイス４６６または姿勢を介して、物理的オブジェクトまたは仮想オブジェクトと相互作用することを可能にするように構成される、３Ｄユーザインターフェースを含むことができる。
（データセキュリティ管理システム）
患者医療記録情報は、特定の患者にとって非常に個人的かつ機密性が高い。患者は、そのような情報の一部のみをあるＨＣＰと共有することを所望し得る。例えば、患者は、医師のオフィスにおける受付係が、患者名、住所、および予約情報のみにアクセスし、オフィス受診をスケジューリングすることを許可することを所望し得る一方、患者は、主治医が、医師の専門分野に関する情報のみにアクセスすることを許可することを所望し得る（例えば、心臓専門医は、患者の心臓および身体機能に関連する記録にアクセスすることを許可されるが、心理士との患者の受診に関連する情報にアクセスすることは許可されないであろう）。本明細書に説明されるデータセキュリティ管理システムの実施形態は、患者医療記録の機密性を保ち（例えば、ＨＩＰＡＡ等の州または連邦ライセンス付与法によって要求されるように）、知る必要性に基づいて、医療記録の一部のみへのアクセスを許可するために使用されることができる。
データセキュリティ管理システム１２１２は、患者が、その医療記録と関連付けられたアクセス権限を管理するように構成されることができることを可能にする。患者は、３Ｄユーザインターフェースを介して、アクセス権限を規定することができる。アクセス権限は、仮想医療記録（または仮想医療記録の一部）が、ユーザのアカウントによって、閲覧、編集、追加、または削除され得るかどうかを決定するために使用されてもよい。ユーザは、例えば、ＨＣＰ、医療保険提供者、患者の家族、患者等のエンティティであってもよい。例えば、患者は、患者が患者の仮想医療記録にアクセスするための許可を与えることを所望する、保健医療提供者を追加、削除、または編集することができる。
アクセス権限はまた、アカウントが別のデバイスまたはアカウントのアクセス権限（本明細書では、委任アクセスとも称される）を管理するための認可を有するかどうかを伴うことができる。例えば、患者は、そのかかりつけ医に、患者の全医療記録に対する許可を与えてもよい。医師は、順に、その看護師が、患者の医療記録の一部（患者の住所および医療保険情報等）を閲覧することを可能にすることができる。アクセス権限は、時間制限と関連付けられることができ、これは、ユーザが患者の医療記録にアクセスするための許可を有する時間を示す。患者は、時間制限を編集してもよい。患者は、ユーザのアクセス権限が切れそうになると、通知を受信してもよい。患者は、時間制限を延長する、またはそのユーザのアクセス権限を更新するかどうかを決定することができる。例えば、患者のかかりつけ医は、５年の周期にわたって、患者の医療記録にアクセスするための許可を有してもよい。患者は、５年周期の終了時に、患者が医師のアクセス権限を延長することを所望するかどうかを尋ねる通知を受信してもよい。患者が、その医師への受診を止めている場合、患者は、医師の５年アクセス権限を延長しないことを選定することができ、医師は、もはや患者の医療記録へのアクセスを有し得ない。別の実施例として、患者は、整形外科医に、その骨折した足首を治療するためのアクセス権限を与えてもよい。アクセス権限は、最初の予約から最終予約まで継続し得る。最終予約時、整形外科医が、患者に、患者の骨折した足首を治療するためにさらなる時間を必要とすることを知らせる場合、患者は、整形外科医のアクセス権限と関連付けられた時間制限を別の時間周期にわたって延長することができる。そうでなければ、時間制限は、終了し、患者の医療ファイルへの整形外科医のアクセス権限は、切れるであろう。故に、アクセス権限は、時間制限またはアクション制限（例えば、医療手技の正常完了）を含むことができる。
いくつかの実施形態では、患者は、あるエンティティがアクセスを別のエンティティに委任すると、通知を受信してもよい。例えば、患者の一次ＨＣＰは、患者を、専門医であり得る、二次ＨＣＰに紹介することができる。一次ＨＣＰは、患者の医療記録のそのアクセス権限を二次ＨＣＰに委任してもよい。データセキュリティ管理システム１２１２は、二次ＨＣＰが現時点で患者の記録へのアクセスを有することを示す通知を一次ＨＣＰまたは保健医療データベースシステム１２２０から受信してもよい。患者は、一次ＨＣＰの委任権を上書きすることができる。例えば、一次ＨＣＰは、最初に、二次ＨＣＰが患者の完全医療記録にアクセスすることを可能にしてもよい。しかし、患者は、二次ＨＣＰがその仮想医療記録の一部へのアクセのみスを有することを規定することによって、本委任権を編集してもよい。別の実施例として、患者は、二次ＨＣＰがある基準を満たさない限り、二次ＨＣＰのアクセス権限を無効にすることができる。ある実装では、患者は、ＨＣＰがアクセスをあるエンティティに委任することを所望する場合、ＨＣＰが患者の承認を求める必要があり得ることを規定することができる。例えば、患者は、病院がアクセスを薬品販売員に委任する場合、病院が、患者に知らせる、または患者の承認を取得することを要求してもよい。
種々のレベルのアクセス権限が、仮想医療記録に結び付けられてもよい。例えば、アクセス権限のレベルは、第１のレベルのアクセス権限と、第２のレベルのアクセス権限とを含んでもよい。第１のレベルのアクセス権限は、患者の医療記録全体を閲覧、編集、追加、および削除するための許可を含み得るが、第１のレベルのアクセス権限は、アクセスを委任する許可を含み得ない。第２のレベルのアクセス権限は、患者の医療記録全体を閲覧するための許可を含み得る。
異なるエンティティは、異なるレベルのアクセス権限を有してもよい。（患者またはＨＣＰの）ウェアラブルデバイスまたは保健医療データベースシステム１２２０は、アクセス権限の階層を記憶してもよい。実施例として、医師のアクセス権限のレベルは、看護師のものより高くあり得、これは、順に、オフィス受診をスケジューリングする受付係のアクセス権限より高い。故に、医師は、看護師より多くの患者の仮想医療記録の情報を閲覧することが可能であり得る。実施例として、医師は、患者のＭＲＩ検査から取得される画像およびＭＲＩ検査の日付を閲覧することが可能であり得る。しかし、看護師は、ＭＲＩ検査の日付が、看護師が患者の次の受診をスケジューリングするために十分な情報を有し得るため、ＭＲＩ検査の日付のみを閲覧することが可能であり得る。また、受付係は、患者の氏名、連絡先情報、およびオフィス受診スケジュールのみを閲覧することが可能であり得る。
アクセス権限のレベルは、１つ以上のアクセス基準と関連付けられてもよい。アクセス基準は、仮想医療記録の特性に基づいてもよい。仮想医療記録の特性は、タイプ、内容、日付、医療記録を作成したエンティティ等を含んでもよい。例えば、患者は、エンティティが、過去１２ヶ月以内のその医療記録を編集することのみを可能にしてもよい。別の実施例として、患者は、その保険提供者が、ある病院における患者の外科手術と関連付けられた記録を閲覧することのみを可能にしてもよい。さらに別の実施例として、患者は、医療記録の一部がある単語を含む場合、その部分をプライベート（例えば、患者自身のみがアクセスを有する）として設定してもよい。ある実装では、アクセス権限は、仮想医療記録の特性があるアクセス基準を満たす場合、自動的に結び付けられてもよい。例えば、患者が、ＨＣＰが過去１２ヶ月以内に作成されたその医療記録にアクセスすることを可能にする場合、今日の患者の検査と関連付けられた新しい医療画像は、ＨＣＰに自動的にアクセス可能になってもよい。
加えて、または代替として、アクセス基準はまた、例えば、エンティティのタイプ（例えば、病院対薬品販売員）、エンティティの場所（例えば、エンティティがある地理的領域外または内にあるかどうか）等のエンティティの特性に基づいてもよい。例えば、いったん患者が、患者の医療記録にアクセスするための許可をＨＣＰに付与すると、ＨＣＰは、順に、別のエンティティがＨＣＰ自体によって作成された医療記録を閲覧することを可能にすることができる。いくつかの実施形態では、認可されたユーザのウェアラブルデバイスは、ユーザのアクティビティを監視し、仮想医療記録を表示し続けるべきであるかどうかを決定することができる。例えば、ウェアラブルデバイスは、ウェアラブルデバイスが、ユーザがもはやウェアラブルデバイスを装着していないことを検出後、医療記録を自動的に保存し、停止記録の表示を停止することができる。これは、有利には、非認可人物が、ウェアラブルデバイスを装着し、患者の医療記録を閲覧しないように防止することができる。例えば、ウェアラブルデバイスは、眼追跡カメラを使用して、装着者の眼（または両眼）を結像し、虹彩または網膜走査とウェアラブルデバイスの認可されたユーザのデータベースを比較し、患者（かつ第三者ではない）がウェアラブルデバイスを装着していることを決定することができる。第三者が、ウェアラブルデバイスを装着している場合、ウェアラブルデバイスは、医療記録の表示を停止する、医療記録へのアクセスを防止する、医療記録への非認可のアクセスが試行され得ることのアラートを通信すること等を行うことができる。
実施例では、仮想医療記録のアクセス権限は、ユーザと関連付けられるが、アクセス権限はまた、コンピューティングデバイスと関連付けられてもよい。例えば、検査室内のコンピュータは、医師のオフィス内のコンピュータと異なるレベルのアクセス権限を有してもよい。検査室内のコンピュータは、患者の以前の検査の情報のみにアクセスすることが可能であり得る一方、医師のオフィス内のコンピュータは、患者の家族既往歴および患者の以前の検査へのアクセスを有し得る。
（記録更新システム）
患者は、記録更新システム１２１４を使用して、その医療記録と相互作用することができる。記録更新システム１２１４は、データ処理システム１２３６およびデータ管理システム１２３４と同様に実施される機能性を含むように構成されてもよい。例えば、記録更新システム１２１４は、ユーザとその医師の会話を書き起こし、医療データ記憶装置１２２２による記憶のために、書き起こされた会話を通信することができる。別の実施例として、患者は、そのウェアラブルデバイスの３Ｄユーザインターフェースを介して、その既往歴を入力することができる。記録更新システム１２１４は、入力された既往歴を、保健医療データベースシステム１２２０内に記憶される患者の仮想医療記録に追加することができる。いくつかの実施形態では、患者の医療記録が、還付のために保険企業に提出される前に、医療記録は、ＨＣＰによって精査または承認されることができる。ＨＣＰは、ＨＣＰシステム１２３０を使用して、医療記録を精査、更新、または承認することができる。
（保健医療データベースシステムの実施例）
保健医療データベースシステム１２２０は、例えば、患者の仮想医療記録および医療検査／手技に関連する情報（例えば、ある医療検査を実施するプロセス、医療検査または外科手術において要求される医療機器／器具等）等、医療関連データを記憶および管理するように構成されることができる。保健医療データベースシステム１２２０は、１つ以上のサーバの一部として実装されてもよい。いくつかの実施形態では、保健医療データベースシステム１２２０は、ウェアラブルデバイスのユーザのための中央保健医療データベースを含む。例えば、保健医療データベースシステム１２２０は、患者の仮想医療記録を記憶するための医療データ記憶装置１２２２を含むことができる。有利には、いくつかの実施形態では、仮想医療記録は、患者（ＨＣＰではなく）によって所有される。故に、患者は、その医療記録にアクセスする、またはそれを修正する人物を制御することができ、ＨＣＰによって行われる任意の更新が、別個のＨＣＰ所有記録ではなく、患者の医療記録となるであろうため、その医療記録が完全であることを確実にすることができる。図１４Ａおよび１４Ｂを参照してさらに説明されるように、患者は、その仮想医療記録と関連付けられたアクセス権限のレベルを管理することができる。
保健医療データベースシステム１２２０は、仮想医療記録を追加する、それを編集する、それにアクセスする、またはそれを編成するための制御命令を含むことができる。例えば、データベースシステム１２２０は、入力をウェアラブルデバイスのユーザから受信することができる。ユーザは、ＨＣＰまたは患者であってもよい。入力は、仮想記録への更新（例えば、追加する、削除する、編集すること等によって）を含んでもよい。入力に応答して、保健医療データベースシステム１２２０は、更新される必要がある仮想記録を識別し、適宜、更新を実装することができる。別の実施例として、保健医療データベースシステム１２２０は、アクセス権限設定を患者システム１２１０から受信することができる。保健医療データベースシステム１２２０は、アクセス権限設定を患者の医療記録に自動的に結び付けることができる。さらに別の実施例として、保健医療データベースシステム１２２０は、ＨＣＰシステム１２３０から、仮想医療記録を読み出すための要求を受信することができる。保健医療データベースシステム１２２０は、要求に基づいて、仮想医療記録を識別し、仮想医療記録をＨＣＰシステム１２３０に返すことができる。いくつかの実施形態では、保健医療データベースシステム１２２０は、ＨＣＰシステム１２３０が仮想医療記録と関連付けられたアクセス権限の要求されるレベルを満たすかどうかをチェックする。保健医療データベースシステム１２２０は、ＨＣＰシステム１２３０が、アクセス権限の要求されるレベルを満たす場合、仮想医療記録を返すことができる。ある実装では、ＨＣＰシステム１２３０が、アクセス権限の要求されるレベルを満たさない場合、保健医療データベースシステム１２２０は、ＨＣＰシステム１２３０によってアクセス可能な仮想医療記録の一部のみを返してもよい。例えば、ＨＣＰシステム１２３０は、患者の検査と関連付けられた全ての情報を要求してもよい。しかしながら、ＨＣＰシステム１２３０は、検査日および場所を閲覧することのみを可能にされ得、検査の画像を閲覧することを可能にされない。故に、保健医療データベースシステム１２２０は、検査の画像をＨＣＰシステム１２３０に提供せずに、検査の日付および場所のみをＨＣＰシステム１２３０に返し得る。
保健医療データベースシステム１２２０はまた、医療データ記憶装置１２２２またはＨＣＰシステム１２３０または患者システム１２１０と関連付けられたデータ記憶装置内に記憶される、データを編成することができる。データは、種々の方法において編成されることができる。例えば、データは、患者、ＨＣＰ、医療設定、手技のタイプ、ユーザアクセス許可／プライバシ設定、場所、データと関連付けられたアクションアイテム等に基づいて、単独で、または組み合わせて、編成されてもよい。
患者またはＨＣＰに基づいてデータを編成する実施例として、同一患者または同一ＨＣＰの仮想医療記録は、ともにグループ化されてもよい。医療設定に基づいてデータを編成する実施例として、放射線医学と関連付けられたデータは、ともに記憶されてもよい一方、外科手術と関連付けられたデータは、ともにコンパイルされてもよい。手技のタイプに基づいてデータを編成する実施例として、心血管外科手術を受けた患者の医療記録が、ともに編成されてもよい。
保健医療データベースシステム１２２０はまた、ユーザアクセス許可／プライバシ設定に基づいて、データを管理することができる。例えば、患者によってプライベートとしてマークされるデータは、データの残りから分離されてもよい。保健医療データベースシステム１２０はまた、プライベートとしてマークされるデータにアクセスするために、余剰セキュリティ特徴（例えば、パスワード認証の余剰層またはバイオメトリック情報（例えば、虹彩または網膜セキュリティ特徴）による認証を要求する等）を実装することができる。
加えて、または代替として、保健医療データベースシステム１２２０は、時間または場所に基づいて（例えば、ウェアラブルデバイス内のＧＰＳセンサによって取得される場所情報に基づいて）、データを管理することができる。場所は、データが入手された場所、患者の位置等であってもよい。例えば、保健医療データベースシステム１２２０は、分散型データ記憶装置を含んでもよく、保健医療データベースシステム１２２０は、データが入手された地理的場所の近くでデータを記憶することができる。実施例として、患者は、南Ｃａｌｉｆｏｒｎｉａ内の病院においてＸ線を受け得る。保健医療データベース１２２０は、患者がＣａｌｉｆｏｒｎｉａ外に居住し得る場合でも、Ｘ線と関連付けられた情報をＣａｌｉｆｏｒｎｉａ内のデータ記憶装置に記憶することができる。保健医療データベースシステム１２２０はまた、患者の場所に基づいて、データを編成することができる。Ｘ線実施例では、患者がＮｅｗ Ｙｏｒｋに居住していると仮定して、保健医療データベースシステム１２２０は、Ｘ線と関連付けられたデータを、Ｃａｌｉｆｏｒｎｉａ内のデータ記憶装置ではなく、Ｎｅｗ Ｙｏｒｋの近くのデータ記憶装置に記憶してもよい。
データと関連付けられたアクションアイテムは、任意の経過観察が必要とされるかどうか、経過観察を実施するであろう場所および人物、必要とされる経過観察のタイプ等を含んでもよい。データと関連付けられたアクションアイテムは、加えて、または代替として、ユーザに、経過観察等に関連する通知（例えば、アラート、リマインダ等）を含んでもよい。例えば、そのかかりつけ医への患者の受診の間、かかりつけ医は、専門医を受診するように患者を紹介してもよい。故に、患者の仮想医療記録のアクションアイテムは、ある病院に常駐する専門医による検査をスケジューリングすることを含んでもよい。保健医療データベースシステム１２２０は、アクションアイテムに基づいて、データをグループ化することができる。例えば、ある病院において撮像検査を要求する全ての患者の情報は、保健医療データベースシステム１２２０によってコンパイルされてもよい。
いくつかの実施形態では、保健医療データベースシステム１２２０は、データ処理システム１２３６、データ管理システム１２３４、データセキュリティ管理システム１２１２、または記録更新システム１２１４等の少なくとも一部を含んでもよい。例えば、ＨＣＰのウェアラブルデバイスは、ＨＣＰと患者との間の会話を記録してもよい。ウェアラブルデバイスは、記録された会話を保健医療データベースシステム１２２０に通信することができる。保健医療データベースシステム１２２０は、そのデータ処理システムを使用して、記録された会話を分析してもよい。
（保健医療データベースと相互作用するための例示的プロセス）
図１３Ａ、１３Ｂ、１３Ｃ、および１３Ｄは、保健医療データベースシステムと相互作用するための例示的プロセスを図示する。図１３Ａ－１３Ｄにおける例示的プロセスは、図１２に示される保健医療データベースシステム１２２０またはウェアラブルデバイスによって実施されてもよい。
図１３Ａにおける例示的プロセス１３００のブロック１３１０では、保健医療データベースシステムまたはウェアラブルデバイスは、例えば、１つ以上のデータ記憶装置内の医療関連データの記憶を制御する等、医療関連データを管理することができる。
ブロック１３２０では、ウェアラブルデバイスのユーザは、データにアクセスすることを所望し、保健医療データベースシステムに、データにアクセスするための要求を送信してもよい。保健医療データベースシステムは、データにアクセスするための要求をウェアラブルデバイスから受信することができる。保健医療データベースシステムは、ウェアラブルデバイスの要求を解析し、要求がデータと関連付けられた要求されるアクセス権限を満たすかどうかを決定することができる。アクセス権限は、ウェアラブルデバイスのユーザが、データを編集、追加、または閲覧することができるかどうかを決定してもよい。
ブロック１３３０では、ウェアラブルデバイスは、仮想コンテンツを表示することができる。ウェアラブルデバイスは、要求を保健医療データベースシステムから受信することができる。ウェアラブルデバイスは、要求されたデータを仮想コンテンツとしてウェアラブルデバイスの３Ｄユーザインターフェースに表示することができる。いくつかの実施形態では、ウェアラブルデバイスは、データの一部のみを閲覧する許可を有し得る。その結果、ウェアラブルデバイスは、３Ｄユーザインターフェース上での許可を有する、データの一部のみを提示し得る。
ブロック１３４０では、ウェアラブルデバイスのユーザは、保健医療データベースシステム内のデータを編集する、またはデータを保健医療データベースシステムに追加することができる。いくつかの実施形態では、ウェアラブルデバイスは、ブロック１３４０において、ユーザが操作を実施することを許可する前に、健康データベースシステムと通信し、ユーザが要求されるアクセス権限を有するかどうかを照合してもよい。いくつかの実装では、ユーザが、データに関する編集アクセス権限を有していない場合、ブロック１３４０および１３５０は、随意であって、本方法によってスキップされてもよい。
ブロック１３５０では、保健医療データベースシステムは、そのデータを自動的に更新することができる。例えば、ウェアラブルデバイスは、ユーザから受信された入力を送信することができる。入力は、新しい仮想医療記録または既存の仮想医療記録への更新を含んでもよい。保健医療データベースシステムは、入力をウェアラブルデバイスから受信することができる。保健医療データベースは、新しい仮想医療記録の記憶または既存の仮想医療記録への更新を自動的に開始することができる。随意に、ブロック１３３０、１３４０、または１３５０では、保健医療データベースシステムは、ブロック１３２０に戻り、ユーザが、依然として、データにアクセスすることを許可されているかどうかを決定してもよい。認可されている場合、本方法は、上記に説明される後続ブロックに継続するが、認可されていない場合、本方法は、終了することができる（例えば、本方法は、ユーザへの仮想コンテンツの表示を中止することができる）。
図１３Ｂは、図１３Ａにおけるブロック１３２０のための例示的サブプロセスを図示する。ブロック１３２２では、ユーザが、医療ファイルへのアクセスを要求する。医療ファイルは、保健医療データベースシステムの医療データ記憶装置内に記憶されてもよい。ユーザのウェアラブルデバイスは、医療ファイルにアクセスするための要求をユーザの保健医療データベースシステムに送信してもよい。
ブロック１３２４では、保健医療データベースシステムまたはユーザのウェアラブルデバイスは、図１４Ａを参照して説明される技法によって、ユーザの識別を照合することができる。図１４Ａおよび１４Ｂを参照してさらに説明されるように、ユーザの識別は、ユーザ入力（例えば、ユーザ名およびパスワード等）またはユーザのバイオメトリック情報に基づいて、照合されることができる。いくつかの実施形態では、保健医療データベースシステムまたはウェアラブルデバイスは、要求される医療ファイルと関連付けられた所有者または患者識別子（ＩＤ）を決定することができる。保健医療データベースシステムまたはウェアラブルデバイスは、所有者または患者ＩＤを使用して、医療ファイルと関連付けられたアクセス権限を読み出すことができる。実施例として、患者は、その医療記録を全ての病院によって閲覧可能であるように設定してもよい。別の実施例として、患者は、その医療記録を緊急状況では任意のＨＣＰによって閲覧可能であるように設定してもよい。故に、ウェアラブルデバイスのユーザが、病院内の医師である場合、ウェアラブルデバイスは、アクセスを医師に与えてもよい。
ブロック１３２６では、保健医療データベースシステムは、医療ファイルの所有者が所与のユーザアクセスを与えられていない場合、ユーザのアクセスを否認することができる。医療ファイルの所有者は、医療ファイルと関連付けられた患者であってもよい。ブロック１３２８では、保健医療データベースシステムは、所有者が許可をユーザに与えている場合、アクセスを医療ファイルの関連部分に与えることができる。例えば、診療所における看護師は、患者の全ての医療記録へのアクセスを有し得るが、看護師のウェアラブルデバイスは、看護師が、予約を行うために、以前の医療検査からの画像等の他の情報を必要としないため、看護師が患者のために次の予約を行うために、患者の氏名、住所、および社会保障番号のみを表示してもよい。
図１３Ｃは、図１３Ａにおけるブロック１３３０のための例示的サブプロセスを図示する。ブロック１３３２では、ウェアラブルデバイスは、ユーザＩＤおよび所有者／患者ＩＤをアクセス照合（図１３Ｂにおけるサブプロセス１３２０を参照して説明される）から決定することができる。
ブロック１３３４では、システムは、時間または場所を決定することができる。例えば、ウェアラブルデバイスは、その環境センサからのデータを使用して、ユーザの現在の場所を決定することができる。ブロック１３３４は、ブロック１３３２に加え、またはその代替として、実施されることができる。
ブロック１３３６では、デフォルトディスプレイ画面が、現れる。デフォルトディスプレイ画面は、ユーザと関連付けられた情報（例えば、ユーザのスケジュールされた予約等）またはユーザの患者（例えば、患者の医療記録等）を提示することができる。図２１－２４を参照してさらに説明されるように、ウェアラブルデバイスは、コンテキスト情報に基づいて、ディスプレイ画面を提示することができる。例えば、ウェアラブルデバイスは、医療ファイル要求に基づいて、またはユーザの場所に基づいて、ディスプレイ画面を提示することができる。実施例として、ウェアラブルデバイスは、医療画像を図２Ａに説明されるディスプレイシステムの異なる深度平面に表示することができる。直近の画像は、ユーザの最も近くに現れる深度平面に提示されてもよい一方、以前の画像は、ユーザからより遠く離れた深度平面に提示されてもよい。
ブロック１３３８では、ユーザは、必要に応じて、ディスプレイを修正することができる。例えば、ユーザは、姿勢またはユーザ入力デバイス４６６を使用して、以前の画像をより近い深度平面に移動させることができる。
図１３Ｄは、図１３Ａにおけるブロック１３４０のための例示的サブプロセス１３４０ａおよび１３４０ｂを図示する。ウェアラブルデバイスは、１つ以上の環境センサを使用して、その環境を監視することができる。例えば、ウェアラブルデバイスのマイクロホンは、ユーザがウェアラブルデバイスを装着している間、環境内のオーディオデータを持続的に入手してもよい。
サブプロセス１３４０ａのブロック１３４２ａでは、ウェアラブルデバイスは、データ捕捉トリガを認識することができる。図１５における開始条件を参照してさらに説明されるように、データ捕捉トリガは、キーワード、ジェスチャ、オブジェクト、またはユーザ入力デバイスからの入力であってもよい。トリガは、ウェアラブルデバイスに、１つ以上の環境センサを用いてデータの捕捉を開始させることができる。
ブロック１３４４ａでは、ウェアラブルデバイスは、捕捉要件が満たされるまで、データを持続的に捕捉することができる。例示的捕捉要件は、図１６における終了条件を参照して説明される。
図１３Ａにおけるブロック１３４０のためのサブプロセスの別の実施例として、ブロック１３４２ｂでは、保健医療提供者は、例えば、「写真１を撮影する」と述べることによって、データ捕捉トリガをアクティブ化することができる。本実施例では、保健医療提供者は、ウェアラブルデバイスのユーザであって、トリガは、キーワード「写真１を撮影する」を含む。
ブロック１３４４ｂでは、ウェアラブルシステム（例えば、保健医療提供者のウェアラブルデバイス）は、トリガに基づいて、第１の写真を撮影することができる。トリガは、写真番号１を伴うため、ウェアラブルデバイスは、ウェアラブルデバイスによって撮影された写真を番号１として標識化することができる。加えて、写真は、患者の腫瘍を含むため、ウェアラブルデバイスは、写真を分析し（例えば、オブジェクト認識装置７０８を使用して）、写真内の腫瘍を識別することができる。故に、ウェアラブルデバイスは、命令を保健医療データベースシステムに自動的に送信し、写真を患者のファイルの腫瘍切除部分に入れることができる。ウェアラブルデバイスはまた、他の情報（例えば、写真が撮影された時間、写真が撮影された場所、写真を撮影したユーザ等）を保健医療データベースシステムに送信してもよい。データ捕捉は、単一画像が撮影されると、完了されてもよい。
（アクセス権限に基づいて仮想医療記録にアクセスする実施例）
仮想医療記録は、アクセス権限と関連付けられることができる。図１２を参照して説明されるように、患者は、データセキュリティ管理システム１２３２を使用して、その医療関連データに関するアクセス権限を設定することができる。患者およびユーザからの許可を伴う指定された人物は、患者の仮想医療記録の全部または一部にアクセスし、それにアクセスするための許可を他者に付与することができる。
図１４Ａは、仮想医療記録と関連付けられたアクセス権限に基づいて仮想医療記録にアクセスする実施例を図示する。図１４Ａでは、外科医１４０２が、手術室内で患者の心臓１４０６上で手術を行なっている。患者の心臓上で手術を行ないながら、外科医１４０２は、環境センサによって入手された患者の生理学的データを閲覧することができる。外科医１４０２は、ウェアラブルデバイスを装着することができ、外科医のウェアラブルデバイスのディスプレイ上に示される仮想要素１４０４によって要約される、患者の生理学的データを閲覧することができる。
外科医は、２人の医学生、すなわち、学生１４１２および学生１４１４を伴ってもよい。しかしながら、学生１４１２および１４１４は、患者の生理学的データを閲覧する許可を有していない。学生が、ユーザデバイス（例えば、本明細書に説明されるウェアラブルデバイスを含み得る、図１７におけるユーザデバイス１７３０参照）から患者の生理学的データにアクセスすることを試みると、ユーザデバイスは、生理学的データが閲覧されることができないことのインジケーションを受信してもよい。故に、ユーザデバイスは、学生が生理学的データにアクセスするための許可を有していないことを示す通知１４２０を提供してもよい。通知１４２０は、患者の医療記録内に記憶されることができる。外科医のウェアラブルデバイスはまた、学生が患者の生理学的データにアクセスすることを要求したことの別の通知を外科医に提供してもよい。いくつかの実施形態では、外科医または学生のウェアラブルデバイスは、焦点インジケータを通知１４２０の近傍に提供することができる。焦点インジケータは、後光、色、知覚されるサイズまたは深度の変化（例えば、選択されると、仮想オブジェクトをより近くおよび／またはより大きく現れさせる）、ユーザインターフェース要素の変化（例えば、カーソルの形状を円形からエクスクラメーションマークに変化させる）、メッセージ（テキストまたはグラフィックを伴う）、またはユーザの注意を引き付ける、他の可聴、触覚的、または視覚的効果を備えることができる。
患者の医療関連データを要求する、ユーザのウェアラブルデバイスは、種々の技法を使用して、ユーザの識別を照合し、仮想医療記録へのユーザのアクセス権限を決定することができる。ウェアラブルデバイスはまた、そのユーザに、ユーザの識別の照合のために、ある入力を提供することを要求してもよい。入力は、パスワード、セキュリティ質問への回答等を含んでもよい。ウェアラブルデバイスは、入力が正しいかどうかに基づいて、ユーザを認証することができる。ウェアラブルデバイスはまた、ユーザのバイオメトリック情報に基づいて、ユーザの識別を照合することができる。例えば、ウェアラブルデバイスは、顔認識、指紋、虹彩コード、眼色、網膜パターン等を使用して、ユーザを識別してもよい。バイオメトリック情報はまた、ユーザのアカウントと関連付けられたパスワードとして使用されてもよい。有利には、いくつかの実施形態では、バイオメトリック情報は、あるバイオメトリック特徴（例えば、指紋、虹彩パターン、網膜パターン等）が各人物に一意であるため、データアクセスのためのより強度の高い形態の認証およびより高いレベルのセキュリティを提供する（英数字文字列の形態のパスワードと比較して）。
いったんユーザの識別が、照合されると、ウェアラブルデバイスは、ユーザと関連付けられた情報に基づいて、ユーザが仮想医療記録へのアクセスを有するかどうかを決定することができる。例えば、ユーザは、アカウント識別子（ＩＤ）と関連付けられてもよい。ウェアラブルデバイスは、保健医療データベースシステム１２２０と通信し、アカウントＩＤが患者のデータと関連付けられた承認されたアカウントＩＤのリスト内にあるかどうかを決定することができる。別の実施例として、ウェアラブルデバイスは、アカウントＩＤを使用して、ユーザの特性にアクセスし、ユーザの特性が患者によって設定されたアクセス基準を満たすかどうかを決定することができる。いくつかの実施形態では、患者は、患者ＩＤ（所有者ＩＤとも称される）と関連付けられてもよい。ユーザのウェアラブルデバイスは、患者ＩＤを使用して保健医療データベースシステム１２２０にクエリすることによって、アクセス基準または承認されたアカウントＩＤのリストを読み出すことができる。
ユーザのアクセス権限に基づいて仮想医療記録を提示する実施例として、ユーザのウェアラブルデバイス（例えば、ウェアラブルデバイスの光学センサ等）は、光をユーザの眼の中に光輝させ、網膜認識（本明細書では、網膜走査とも称される）を実施することができる。ウェアラブルデバイスは、ユーザの網膜と関連付けられた一意のパターンを識別することができる。一意のパターンは、ユーザの識別を決定するために使用されてもよい。例えば、網膜パターンは、パスワードとして使用されることができる。ウェアラブルデバイスは、識別された網膜パターンが、仮想医療記録へのアクセスを求めているユーザアカウントＩＤと関連付けられた網膜パターンに合致するかどうかを決定することができる。ある実装では、ウェアラブルデバイスは、保健医療データベースシステム１２２０（図１２に示される）とともに、ユーザのＩＤを照合することができる。例えば、ウェアラブルデバイスは、ユーザの眼の画像を撮影することができる。保健医療データベースシステム１２２０は、網膜走査を実施し、網膜走査から識別された網膜パターンに基づいて、ユーザの識別を認証することができる。いくつかの実施形態では、ユーザの識別が、照合されると、ユーザは、仮想医療記録を別のユーザと共有する、または他のユーザによって共有される仮想医療記録を受信してもよい。
ウェアラブルデバイスが、ユーザの網膜パターンが、仮想医療記録へのアクセスを求めているユーザアカウントＩＤに合致することを決定すると、ウェアラブルデバイスは、ユーザが仮想医療記録へのアクセスを有するかどうか、ユーザがアクセスを有する仮想医療記録の部分、およびユーザが仮想医療記録を編集することができるかどうかを決定することができる。加えて、ウェアラブルデバイスは、病院の予約スケジューリングシステム、現在の外科手術のステータス、医療機器と関連付けられた情報（例えば、機器が使用中であるかどうか）等、他の保健医療関連仮想コンテンツのユーザのアクセス権限を決定することができる。ウェアラブルデバイスは、ユーザがアクセスを有する、仮想コンテンツのみをユーザに提示することができる。有利には、いくつかの実施形態では、増加されたデータプライバシが、アクセス権限のユーザのレベルに基づいて、ウェアラブルデバイスを用いて仮想コンテンツを提示することによって、達成されることができる。例えば、医療販売員等の訪問者が、プライベート情報がコンピュータモニタまたは紙上に表示され得るため、診療所または病院に居る間、プライベート患者情報に暴露され得る。ウェアラブルデバイスは、プライベート情報を頭部搭載型ディスプレイ上に提示することによって、情報をコンピュータモニタまたは紙上に表示する必要性を低減させることができる。訪問者は、訪問者が要求されるレベルのアクセス権限を有していない限り、これまでは紙またはコンピュータモニタ上にあったプライベート患者情報へのアクセスを得ることが不可能であり得る。ウェアラブルデバイスのいくつかの実施形態は、網膜走査に加え、または代替として、虹彩コードを使用して、装着者の虹彩の画像を分析し、虹彩コード（例えば、米国特許第５，２９１，５６０号に説明されるＤａｕｇｍａｎ虹彩コード等）を決定し、アカウント認可を実施し、患者医療記録にアクセスしてもよい。
いくつかの実施形態では、ユーザが、仮想医療記録へのアクセスを有していない場合、ユーザは、別のエンティティに、許可を与えるように要求してもよい。他のエンティティは、仮想医療記録の所有者であってもよい。例えば、ユーザのウェアラブルデバイスは、要求を仮想医療記録を所有する患者のウェアラブルデバイスに自動的に送信し、患者にアクセスを付与することを求めることができる。他のエンティティはまた、アクセスを委任することができる、ユーザを含んでもよい。
エンティティと関連付けられたアクセス権限のレベルは、患者とエンティティの相互作用に基づいて、変化してもよい。例えば、医師のオフィス内のフロントの受付係は、患者のスケジューリングを担当し得る。新しい患者が、医師のオフィスを受診すると、フロントの受付係は、最初に、氏名および生年月日等の新しい患者の基本情報へのアクセスを有し得る。新しい患者の最初の医師による診察の後、医師は、受付係のアクセス権限を増加させ、受付係が、例えば、患者の診断、治療、手技情報等、患者についてのさらなる情報を閲覧することを可能にすることができる。医師は、医師のウェアラブルデバイスを使用して、受付係のアクセス権限を更新することができる。例えば、医師は、ユーザ入力デバイス４６６または姿勢を使用して、受付係ウェアラブルデバイスと関連付けられたアカウントＩＤをより高いレベルのアクセス権限と関連付けられたアカウントＩＤのリストに追加することができる。アクセス権限の増加されたレベルの結果、受付係は、患者のさらなる情報を取得し、患者の次の受診を適切にスケジューリングすることができる。例えば、受付係は、医師の診断に基づいて、次の予約の持続時間およびタイプを決定することができる。受付係は、適宜、適切な検査室を予約し、次の予約のための正しい時間枠を確保することができる。ユーザの識別を照合し、ユーザのアクセス権限を決定する実施例は、ユーザのウェアラブルデバイスを参照して説明されるが、いくつかの実施形態では、保健医療データベースシステム１２２０はまた、ウェアラブルデバイスに加え、またはその代替として、単独で、または別のユーザデバイスと組み合わせて、照合を実施し、アクセスレベルを決定することができる。
（アクセス権限に基づいて仮想医療記録にアクセスする例示的プロセス）
図１４Ｂは、アクセス権限に基づいて仮想医療記録にアクセスするための例示的プロセス１４８０を示す、フローチャートを図示する。プロセス１４８０は、保健医療データベースシステム１２２０（図１２に示される）によって実施されてもよい。
ブロック１４８２では、保健医療データベース管理システムが、仮想医療記録にアクセスするための要求をＨＣＰシステムから受信する。仮想医療記録は、仮想医療記録と関連付けられた患者によって所有されてもよい。仮想医療記録は、医療データ記憶装置１２２２内に記憶されてもよい。
ブロック１４８４では、保健医療データベース管理システムは、仮想医療記録と関連付けられたアクセス権限を決定する。例えば、保健医療データベース管理システムは、医療データ記憶装置１２２２にアクセスし、アクセス権限を識別することができる。いくつかの実施形態では、保健医療データベース管理システム１２２２は、仮想医療記録の特性を識別し、ユーザによって提供されるアクセス基準（図１２に説明される）に基づいて、仮想医療記録に結び付けられるべきアクセス権限のレベルを決定することができる。
ブロック１４９０では、保健医療データベースシステムは、ＨＣＰシステムが仮想医療記録にアクセスすることを認可されているかどうかを決定することができる。例えば、保健医療データベースシステムは、ＨＣＰの識別を照合し、ＨＣＰが仮想医療記録を読み出すために要求されるアクセス権限を有するかどうかを決定することができる。
ＨＣＰシステムが、仮想医療記録にアクセスすることを認可されている場合、ブロック１４９２では、保健医療データベースシステムは、提示のために、仮想中間記録をＨＣＰと関連付けられたウェアラブルデバイスに通信する。いくつかの実施形態では、ＨＣＰは、仮想医療記録の一部のみにアクセスすることを認可され、保健医療データベースシステムは、ＨＣＰシステムがアクセスするための許可を有する、仮想医療記録の部分を返してもよい。
ＨＣＰシステムが、仮想医療記録にアクセスすることを認可されていない場合、保健医療データベースシステムは、ＨＣＰシステムが仮想医療記録にアクセスすることを認可されていないことを示す、通知（例えば、図１４Ａに示される通知１４２０等）を提供することができる。いくつかの実施形態では、ＨＣＰシステムは、仮想医療記録を閲覧することができるが、ＨＣＰシステムは、仮想医療記録を編集することが不可能である場合がある。故に、ＨＣＰシステムが、仮想医療記録を修正することを試みる場合、保健医療データベースシステムはまた、ＨＣＰシステムが仮想医療記録を修正することを認可されていないことを示す、通知をＨＣＰシステムに提供することができる。いくつかの実施形態では、保健医療データベースシステムは、ＨＣＰシステムが仮想医療記録を閲覧または更新したことのメモを医療記録内に付けることができる。メモはまた、ＨＣＰシステムが仮想医療記録を閲覧した場所、時間、または長さに関する情報を含んでもよい。メモはまた、ＨＣＰシステムが仮想医療記録内で閲覧または更新した部分を含んでもよい。そのようなメモは、医療記録または別のデータベース内のアクセスログ内に記憶されてもよい。アクセスログは、非認可ユーザが、患者医療記録を編集し、次いで、アクセスログを編集し、非認可アクセスの任意の痕跡を除去し、その痕跡を隠すことができないように、限定された編集アクセス権限を有してもよい。
（患者と保健医療提供者との間の相互作用をドキュメント化する実施例）
複数のエンティティが、多くの場合、ＨＣＰへの患者の受診に関わる。例えば、診療所への患者の受診の際、患者は、最初に、問診表を記入し得る。看護師は、問診表に基づいて、患者情報をコンピュータシステムの中に入力し、例えば、患者のアレルギー、患者の以前の診療所受診の情報、他の医療情報等、患者と関連付けられた付加的情報を読み出し得る。医師は、患者を診察し、会話および患者上で実施される検査に基づいて、メモを付け得る。しかしながら、ＨＣＰによって取得される情報は、完全ではない場合がある。例えば、医師のメモは、患者との会話の一部を欠失している場合がある。加えて、多くの場合、患者が診療所を受診するときと、患者の受診の間に取得される情報を反映するように患者の医療記録が更新されるときとの間には、遅延が存在する。遅延は、医療記録が、複数のエンティティによって更新される必要があり、いくつかのエンティティのみが、周期的に、更新を通信し得るため、生じ得る。
これらの問題に対処するために、ウェアラブルデバイスは、患者とＨＣＰとの間の相互作用をドキュメント化し、相互作用の間に入手された情報を処理し、患者がＨＣＰと相互作用するにつれて、患者の医療記録を実質的にリアルタイムで自動的に更新するように構成されることができる。患者とＨＣＰとの間の相互作用は、患者とＨＣＰとの間の会話、患者上で実施される検査または手術、患者によってＨＣＰに提供される情報（例えば、既往歴等）、ＨＣＰによって患者に提供される情報（例えば、診断等）等、それらの組み合わせ、または同等物を含んでもよい。ウェアラブルデバイスは、患者とＨＣＰとの間の相互作用の間に取得される情報に基づいて、患者の仮想医療記録を更新することができる。例えば、ウェアラブルデバイスは、検査の際の医療画像、患者の症状（患者と医師との間の会話に基づいて抽出されるような）、または医師のメモおよび診断等を患者の医療記録に追加することができる。
（患者とＨＣＰとの間の相互作用を記録および処理する実施例）
ウェアラブルデバイスは、１つ以上の環境センサ（図２Ａおよび２Ｂを参照して説明される）を使用して、患者とＨＣＰとの間の相互作用のデータを記録することができる。相互作用のデータは、オーディオおよび視覚的データを含んでもよい。
ウェアラブルデバイスは、記録されたデータ（例えば、ローカル処理モジュール２６０、遠隔処理モジュール２７０、データ処理システム１２３６等を使用して）を処理し、関連情報を抽出することができる。ウェアラブルデバイスは、口述記録プログラム（図１２を参照して説明される種々の発話認識技法を実装してもよい）を使用して、記録された会話中の患者またはＨＣＰによって発話された単語を識別することができる。ウェアラブルデバイスはまた、１つ以上のオブジェクト認識装置７０８を使用して、相互作用の際に関わったオブジェクトまたは人物を識別することができる。例えば、ウェアラブルデバイスは、顔認識アルゴリズムを使用して、患者の顔を自動的に検出してもよい。別の実施例として、ウェアラブルデバイスは、コンピュータビジョンアルゴリズムを使用して、ユーザの身体の一部（患者が問題を被っている四肢等）を検出することができる。さらに別の実施例として、ウェアラブルデバイスは、テキスト認識技法を使用して、外向きに面した結像システム４６４によって入手された画像内のテキストを抽出することができる。
ウェアラブルデバイスは、記録データの一部を関連部分として識別することができる。例えば、記録されたデータは、患者の受診の間の患者と医師との間の会話全体を含んでもよい。しかしながら、会話の開始は、患者の疾患を診断することに関連しない、社交的挨拶のやりとりを伴い得る。ウェアラブルデバイスは、症状の説明または医療情報に関連しない会話の部分を識別するように構成されてもよい。ウェアラブルデバイスは、種々の機械学習アルゴリズムを使用して、関連部分（または非関連）を決定することができる。例えば、ウェアラブルデバイスは、オーディオデータまたは単語記述内のあるキーワードを識別するように訓練される、機械学習モデルを適用することができる。別の実施例として、ウェアラブルデバイスは、コンピュータビジョンアルゴリズムを適用し、関連オブジェクト（瘤を有する患者の身体の部分等）を含む、画像の一部を識別することができる。ウェアラブルデバイスはまた、種々の機械学習アルゴリズムを使用して、患者の症状を識別することができる（例えば、患者の発話を介して、またはウェアラブルデバイスの外向きに面した結像システム４６４によって捕捉されるような患者／環境の画像から）。ウェアラブルデバイスは、識別された症状に関する通知をユーザに提供することができる。例えば、ユーザが患者の左脚上で物理的検査を実施する際、検査の間、ユーザが、患者が痛みで顔をしかめていることに気づかない（例えば、ユーザと患者との間に、患者の左脚上の痛みを訴える会話が存在しない）場合、ウェアラブルデバイスは、患者の左脚上に圧痛が存在し得ることのメモを医療ファイル内に付ける、または通知（例えば、視覚的アラート）を提供することができる。
ある実装では、ウェアラブルデバイスは、非関連部分を処理しないように構成されてもよい。例えば、ウェアラブルデバイスは、天候の議論を伴う、オーディオデータの一部を識別することができる。ウェアラブルデバイスは、発話認識をオーディオデータの本部分に適用しないことを選定してもよい。別の実施例として、ウェアラブルデバイスが、オーディオデータを書き起こした後、ウェアラブルデバイスは、患者の症状を伴う説明の部分を関連部分としてマークしてもよい。書き起こし記録に基づいて、ウェアラブルデバイスは、機械学習モデルを関連部分に適用し、患者の症状の説明内の重要点を識別することができる。しかしながら、ウェアラブルデバイスは、機械学習モデルを天候の議論に適用しないように構成されてもよい。
図１５は、患者１５０２とＨＣＰとの間の相互作用と関連付けられたオーディオデータを記録および処理する実施例を図示する。ＨＣＰは、ウェアラブルデバイスを装着し得る、医師であってもよい。ウェアラブルデバイスは、口述記録プログラムをバックグラウンドで実行することができる。口述記録プログラムは、図１２に説明されるデータ処理システム１２３６の実施形態であってもよい。口述記録プログラムは、オーディオデータをウェアラブルデバイスのマイクロホン２３２から受信することができる。いくつかの実装では、口述記録プログラムは、オーディオデータの内容を監視するが、患者とＨＣＰとの間の会話の一部のみを記録することができる。他の実施形態では、口述記録プログラムは、会話全体を記録する。ウェアラブルデバイスは、患者とＨＣＰとの間の相互作用の一部を記録することができる（例えば、単独で、またはマイクロホン２３２と組み合わせて、外向きに面した結像システム４６４を介して）。ウェアラブルデバイスは、種々の技法を使用して、記録されるべき相互作用の部分を決定することができる。例えば、ウェアラブルデバイスは、開始条件が存在することの決定に応答して、記録を開始し、終了条件が存在すると、記録を停止することができる。加えて、または代替として、ウェアラブルデバイスは、（例えば、外向きに面した結像システムによって）手技の間に撮影された患者の画像を処理してもよい。画像（または画像の分析）は、患者医療記録内に記憶されることができ、これは、手技のより包含的かつ正確な記録を提供することができる。例えば、ウェアラブルデバイスは、患者の骨折した四肢（例えば、骨折の角度を決定するため）または患者の皮膚の色（例えば、発疹または過熱の存在を決定するため）を示す画像を分析してもよい。
（開始条件および終了条件の実施例）
開始条件および終了条件は、キーワード、ユーザ入力デバイス４６６からの入力、または姿勢（例えば、頭部姿勢、手のジェスチャ、または別の身体姿勢等）を含んでもよい。いくつかの実施形態では、キーワードまたは姿勢は、アクティブ化コマンドと称され得る。実施例として、キーワードは、「具合が悪い」、「痛みがある」、「痛めている」、「糖尿病」、「癌」、「停止」、「開始」等を含んでもよい。キーワードは、単独で、または組み合わせて、ウェアラブルデバイスの中に事前にプログラムされるデフォルトキーワード、ウェアラブルデバイスのユーザによって指定される単語、機械学習アルゴリズムを使用して識別された単語を含んでもよい。
ウェアラブルデバイスは、キーワードを検出し、音声または発話認識技法を適用し、開始条件の存在を識別することができる。ＨＣＰは、開始条件を具体的ユーザによって述べられたあるキーワードとなるように指定してもよい。例えば、医師は、医師自身によって述べられた語句「ドキュメント化を開始する」を開始条件として指定してもよい。故に、医師のウェアラブルデバイスは、ウェアラブルデバイスが、医師（かつ看護師ではない）が「ドキュメント化を開始する」と述べたことを検出する場合、マイクロホン上で受信されたオーディオデータの記録を開始することができる（随意に、外向きに面したカメラによって取得される視覚的記録を伴う）。同様に、医師のウェアラブルデバイスは、ウェアラブルデバイスが、「ドキュメント化を停止する」等の語句を検出すると、オーディオの（または視覚的）記録を停止することができる。
いくつかの実施形態では、ウェアラブルデバイスは、検出されたキーワードと関連付けられたコンテキストを提供することができる。例えば、ウェアラブルデバイスのローカル処理およびデータモジュール２６０は、バッファを含んでもよい。ウェアラブルデバイスが、ユーザの環境を監視する際、相互作用のオーディオ／視覚的データは、バッファ内に一時的に記憶されてもよい。いったんウェアラブルデバイスが、開始／終了条件の存在を検出すると、ウェアラブルデバイスは、キーワードに関するコンテキストを提供するためのアクティブ化コマンド前／後に、オーディオ／視覚的データを読み出し（例えば、バッファから）、分析することができる。別の実施例として、ウェアラブルデバイスが、アクティブ化コマンドの存在を検出すると、ウェアラブルデバイスは、アクティブ化コマンド前後のオーディオ／視覚的データの一部の記憶を開始してもよい。例えば、ウェアラブルデバイスは、アクティブ化コマンドの２分前またはアクティブ化コマンドの５分後から会話を記録（または記憶を開始する）ことができる。記録された会話は、ＨＣＰの後の閲覧のために処理および記憶されてもよい。有利には、いくつかの実施形態では、開始コマンド前後のオーディオ／視覚的データを記録することによって、ウェアラブルデバイスは、キーワードのコンテキストを提供することができる。ＨＣＰは、必要とされる場合、後に、テキストを編集することができるが、コンテキストは、ＨＣＰが患者によって述べられた内容を思い出すことに役立ち得る。加えて、ハードウェア記憶空間を節約するために、ウェアラブルデバイスは、後に、例えば、アクティブ化コマンドの２分より前またはアクティブ化コマンドの５分より後に入手されたオーディオ／視覚的データを消去または上書きすることができる。
加えて、または代替として、医師のウェアラブルデバイスは、医師と患者との間の会話全体をウェアラブルデバイスのメモリ内に記録することができる。いったんウェアラブルデバイスが、開始条件または終了条件を検出すると、ウェアラブルデバイスは、開始条件または終了条件前後の会話の一部を含むコンテキストを読み出し、医師に提示することができる。医師は、コンテキストを精査または編集し、コンテキストがウェアラブルデバイスによってドキュメント化されるべきかどうかを決定することができる。
キーワードに加え、またはその代替として、開始条件または終了条件の存在はまた、ユーザ入力デバイス（例えば、ユーザ入力デバイス４６６参照）からの入力に基づいて、検出されてもよい。ＨＣＰは、例えば、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざすまたはタッチする、キーボードまたはゲームコントローラ（例えば、５方向Ｄパッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かってポインティングする、リモコン上のボタンを押下する、またはユーザ入力デバイスとの他の相互作用等、種々の方法を使用して、ユーザ入力デバイスを作動させることができる。実施例として、ＨＣＰは、トーテムを使用して、口述記録プログラムをオンまたはオフにすることができる。ウェアラブルデバイスが、ＨＣＰがトーテム上のあるボタンを押下したことを検出すると、ウェアラブルデバイスは、口述記録プログラムの実行を開始してもよい。ウェアラブルデバイスが、後に、同一ボタンが再び押下されたことを検出すると、ウェアラブルデバイスは、口述記録プログラムを停止してもよい。
ウェアラブルデバイスはまた、ＨＣＰの姿勢を検出し、開始条件または終了条件が存在するかどうかを決定することができる。ウェアラブルデバイスは、その環境センサによって入手されたデータを使用して、ＨＣＰの姿勢を検出することができる。例えば、ウェアラブルデバイスは、ＩＭＵを使用して、ユーザの頭部姿勢が変化したかどうかを決定することができる。ウェアラブルデバイスはまた、コンピュータビジョンアルゴリズムを外向きに面した結像システムによって入手された画像に適用し、ユーザの手のジェスチャを検出することができる。ウェアラブルデバイスは、検出された手のジェスチャと開始／終了条件と関連付けられたジェスチャを合致させることができる。開始／終了条件と関連付けられたジェスチャは、ＨＣＰによって設定されてもよい。例えば、保健医療提供者は、「左手を指でタップする」をオーディオデータの記録の開始条件として、「右手を指でタップする」をオーディオデータの記録の終了条件として指定してもよい。ＨＣＰのウェアラブルデバイスは、患者がＨＣＰに話しかけると、口述記録プログラムをバックグラウンドで起動してもよい。ウェアラブルデバイスは、外向きに面した結像システムによって入手された画像に基づいて、ＨＣＰがその右人差し指で左手をタップしたことを検出してもよい。本手のジェスチャは、開始条件と関連付けられるため、ウェアラブルデバイスは、患者およびＨＣＰが会話すると、口述記録プログラムを使用して、オーディオデータの記録を開始してもよい。ウェアラブルデバイスが、ＨＣＰがその左手の指のうちの１本で右手をタップしたことを検出すると、ウェアラブルデバイスは、オーディオデータの記録を停止してもよいが、口述記録プログラムは、依然として、バックグラウンドで起動していてもよい。
一部の患者は、誰かが、患者の会話を記録している、または明らかに患者を撮像しているとき、不快に感じ得る。有利には、いくつかの実施形態では、開始条件および終了条件は、患者が記録または撮像されていることに気づかないであろうように、目立たないものであってもよい。例えば、開始条件のためのキーワードは、語句「記録を開始する」の代わりに、語句「痛みがある」であってもよい。別の実施例として、開始条件と関連付けられたジェスチャは、ＨＣＰの腕をＨＣＰのウェアラブルデバイスの正面で振るのではなく、指でテーブルを２回タップすることであってもよい。
（オーディオデータを記録および処理する実施例）
図１５に図示されるように、患者ＡＢＣ１５０２は、その医療状況をＨＣＰに説明する（図１５には図示せず）。医療状況は、患者の症状、患者がその症状を有する期間、個人的既往歴、家族既往歴等を含んでもよい。本実施例では、患者の症状は、左腰痛を伴い、これは、１週間にわたって持続している。加えて、患者は、ＨＣＰに、その母親が関節炎を有することを伝える。口述記録プログラムは、患者が発話するにつれて、患者の説明を書き起こすことができる。ＨＣＰのウェアラブルデバイスは、仮想アイテム１５２０を生成することができ、これは、患者の説明の関連部分を要約する。いくつかの実施形態では、ウェアラブルデバイスは、１つ以上の環境センサを使用してもよい、または別のコンピューティングシステムと通信し、患者の説明によって提供されない付加的情報を入手してもよい。例えば、ウェアラブルデバイスは、顔認識アルゴリズムを適用し、外向きに面した結像システムによって入手された画像内の患者の顔を検出し、患者の識別を決定することができる。ウェアラブルデバイスは、検出された顔を使用して、保健医療データベースシステム１２２０にクエリすることができる。患者の情報が、保健医療データベースシステム１２２０内にある場合、保健医療データベースシステム１２２０は、患者の氏名または他の情報をウェアラブルデバイスに返すことができる。本実施例では、患者の氏名は、ＡＢＣである。ウェアラブルデバイスは、保健医療データベースシステム１２２０から読み出された情報を仮想アイテム１５２０の中に組み込むことができる。本実施例では、患者の氏名は、仮想アイテム１５２０に追加される。ある場合には、患者は、検査の間、ウェアラブルデバイスを装着してもよく、患者のウェアラブルデバイス上のユーザセンサによって入手された患者情報は、ＨＣＰのウェアラブルデバイスに通信される、または患者医療記録内に記憶されてもよい。例えば、眼追跡カメラは、ユーザの眼についての情報を決定することができ、ウェアラブルデバイス上の生理学的センサは、例えば、患者の心拍数、呼吸数、血圧等についての情報を決定することができる。
仮想アイテム１５２０は、ＨＣＰのウェアラブルデバイスによって表示されることができる。いくつかの状況では、患者１５０２もまた、ウェアラブルデバイスを装着する。仮想アイテム１５２０はまた、患者のウェアラブルデバイスによって表示されてもよい。
記録または処理されたデータは、患者の医療記録に追加されてもよい。ウェアラブルデバイスは、データを患者の医療記録に追加する前に、図１２－１４Ｂを参照して説明される種々の識別照合技法を使用して、患者の識別を照合することができる。
ＨＣＰのウェアラブルデバイスは、患者とＨＣＰとの間の相互作用をドキュメント化するが、患者のウェアラブルデバイスもまた、単独で、またはＨＣＰのウェアラブルデバイスと組み合わせて、相互作用をドキュメント化することができる。例えば、患者は、そのウェアラブルデバイス上の口述記録プログラムを使用して、その医療状況を口述記録することができる。
加えて、本実施例は、口述記録プログラムを使用するが、相互作用をドキュメント化するための他の入力技法もまた、使用されてもよい。例えば、ＨＣＰは、ウェアラブルデバイスの仮想または物理的キーボードを使用して、患者の説明をタイプすることによって、相互作用をドキュメント化してもよい。ＨＣＰはまた、ＨＣＰのウェアラブルデバイスの外向きに面した結像システムを使用して、相互作用を結像することによって、相互作用ドキュメント化することができる。
（結像データを記録および処理する実施例）
ＨＣＰのウェアラブルデバイスは、１つ以上の環境センサを使用して、患者の画像を取得することができる。例えば、ウェアラブルデバイスは、外向きに面した結像システム４６４を使用して、患者の写真またはビデオを撮影することができる。有利には、いくつかの実施形態では、ウェアラブルデバイスは、ハンズフリー記録方法を提供し、それによって、滅菌問題を最小限にすることができる。例えば、ウェアラブルデバイスは、１つ以上の環境センサによって入手されたデータを使用して、ウェアラブルデバイスのユーザが手術室の中に進入したかどうかを決定することができる。ウェアラブルデバイスは、オブジェクト認識装置７０８を使用して、決定を行い、手術室内に典型的に存在するアイテムを識別する、または「手術室」と記載された看板を識別してもよい。ユーザが手術室内に居ることの決定に応答して、ウェアラブルデバイスは、手術室内で生じる手技のオーディオ／視覚的データを記録することができる。加えて、または代替として、ウェアラブルデバイスは、終了条件が検出されるまで、数秒毎に、ユーザの周囲の写真またはビデオを撮影することができる。
別の実施例として、ＨＣＰのウェアラブルデバイスは、ＨＣＰによって発話されたジェスチャまたはキーワードに応答して、患者または患者上の医療手技の画像の記録を開始することができる。例えば、ウェアラブルデバイスは、医師によって発話された語句「開始記録」の検出に応じて、手技の一部の記録を開始し、語句「停止記録」の検出に応じて、記録を停止してもよい。医師はまた、患者の画像を撮影するためのアクティブ化コマンドとして、ウェアラブルデバイスの正面のその右手を３回振ることができる。
姿勢、音声コマンド、またはオブジェクト認識装置を使用することによって、ウェアラブルデバイスは、ＨＣＰが、医療手技／検査の際、非滅菌デバイス（例えば、パーソナルデバイス、カメラ、またはスマートフォン等）に接触することを回避することに役立ち得る。加えて、ウェアラブルデバイスは、記録されたオーディオ／視覚的データに基づいて、患者の仮想医療記録（例えば、患者カルテ等）を自動的に更新し、それによって、従来の技法において、データをパーソナルデバイスまたはデジタル顕微鏡等からアップロードする必要性を低減させることができる。
（仮想医療記録を記録されたデータで自動的に更新する実施例）
現在、患者の医療画像は、病院の写真アーカイブおよび通信システム（ＰＡＣＳ）によって、管理および記憶されている。患者の新しい医療画像を追加するために、ＨＣＰは、新しい画像を病院のＰＡＣＳシステムに電子メール送信する必要がある。しかしながら、患者の記録を更新する本技法は、画像が、誤った人物に偶発的に結び付けられ得る、または電子メール送信の際に紛失され得るため、信頼性がない場合がある。
本明細書に説明されるウェアラブルデバイスは、患者の医療記録（例えば、患者カルテ等）を更新するためのより高速かつより正確な方法を提供することができる。ウェアラブルデバイスは、更新される必要があり得る、患者のファイルを識別することができる。例えば、ウェアラブルデバイスは、ＨＣＰ（例えば、医師等）によって、一連の患者のファイルを受信することができる。ウェアラブルデバイスはまた、患者の顔認識、音声認識、または他のバイオメトリック情報を使用して、患者を識別することができる。有利には、本明細書に説明される種々の識別照合技法を使用することによって、ウェアラブルデバイスは、患者のデータが別の患者のファイルに偶発的に結び付けられる、尤度を低減させることができる。
いったんウェアラブルデバイスが、患者を識別すると、ウェアラブルデバイスは、更新するために、患者のファイルを開くことができる。故に、患者のファイルは、患者がＨＣＰと相互作用する間、ＨＣＰにアクセス可能となる。ＨＣＰが、患者と関連付けられたオーディオ／視覚的データを捕捉するにつれて、これらのデータは、近リアルタイムで患者のファイルに結び付けられてもよい。ＨＣＰのウェアラブルデバイスは、保健医療データベース管理システムと通信し、更新を患者のファイルに保存することができる。有利には、いくつかの実施形態では、患者がＨＣＰと相互作用する間、患者のファイルを自動的に更新することによって、ＨＣＰは、ＰＡＣＳ（または別のＨＣＰ）と往復して画像を電子メール送信する必要はなく、それによって、画像が紛失される尤度を低減させる。加えて、患者のファイルへの更新は、患者の受診／相互作用の間に生じることができ、これは、患者の記録を更新する際の遅延を低減させることができる。
ある実装では、患者の医療記録が、閲覧または編集のために開かれると、ウェアラブルデバイスの複数のユーザが、集合的に、仮想医療記録を閲覧および更新することができる。図１７－２０を参照してさらに説明されるように、ウェアラブルデバイスの第１のユーザは、医療記録を更新することができる一方、ウェアラブルデバイスの第２のユーザは、第１のユーザが医療記録を更新すると、更新された仮想医療記録を閲覧することができる。ウェアラブルデバイスは、仮想医療記録との各ユーザの相互作用および仮想医療記録にアクセスした人物のインジケーション（例えば、上記に説明されるアクセスログ）を提供および記憶することができる。例えば、ウェアラブルデバイスは、第１のユーザの仮想アバタおよび単語「編集」を仮想医療記録内の画像のセットの近傍に示すことができる。ウェアラブルデバイスはまた、第２のユーザの氏名および単語「閲覧」を画像のセットの近傍に示すことができる。
（患者と保健医療提供者との間の相互作用をドキュメント化する例示的プロセス）
図１６は、ウェアラブルデバイスによって医療事象をドキュメント化するための例示的プロセス１６００を示す、フローチャートである。医療事象は、ＨＣＰと患者との間の相互作用、患者上で実施される検査または手技、または相互作用／検査／手技の一部等を含んでもよい。プロセス１６００は、ウェアラブルデバイスによって実施されることができる。ウェアラブルデバイスのユーザは、ＨＣＰまたは患者であってもよい。
ブロック１６１０では、ウェアラブルデバイスが、ユーザの環境を監視する。ウェアラブルデバイスは、本明細書に説明される１つ以上の環境センサを使用して、ユーザの環境を監視することができる。例えば、ウェアラブルデバイスは、マイクロホンを使用して、ユーザの環境の音を入手することができ、外向きに面した結像システムを使用して、ユーザの環境の画像を入手することができる。環境センサによって入手されたデータは、ユーザまたはユーザの物理的環境と関連付けられたデータを含んでもよい。
ブロック１６２０では、ウェアラブルデバイスは、ユーザの環境と関連付けられたデータを分析し、開始条件を検出する。ユーザの環境と関連付けられたデータは、１つ以上の環境センサによって入手されたデータ、ウェアラブルデバイス上に記憶されるデータ、遠隔データリポジトリ２８０から読み出されたデータ等を含んでもよい。例えば、ウェアラブルデバイスは、発話認識アルゴリズムを使用して、オーディオデータ内で入手された単語を検出してもよい。ウェアラブルデバイスはまた、保健医療データベースシステム１２２０からの開始条件と関連付けられたキーワードにアクセスすることができる。ウェアラブルデバイスは、オーディオデータが開始条件と関連付けられたキーワードを含むかどうかを決定することができる。
ブロック１６３０では、ウェアラブルデバイスは、ブロック１６２０におけるデータの分析に基づいて、開始条件が存在するかどうかを決定することができる。開始条件が、存在しない場合、プロセス１６００は、ブロック１６１０に進み、ウェアラブルデバイスは、環境を持続的に監視する。
開始条件が、検出される場合、ブロック１６４０では、ウェアラブルデバイスは、１つ以上の環境センサを使用して、医療事象をドキュメント化してもよい。例えば、ウェアラブルデバイスは、マイクロホン２３２を使用して、患者とＨＣＰとの間の会話を記録することができる。ウェアラブルデバイスはまた、外向きに面した結像システム４６４を使用して、患者の写真を撮影することができる。ウェアラブルデバイスは、オーディオおよび視覚的データを処理し、関連情報を識別することができる。
ブロック１６５０では、ウェアラブルデバイスは、終了条件が存在するかどうかを決定してもよい。ウェアラブルデバイスは、ユーザの環境と関連付けられるデータに基づいて、終了条件を検出することができる。終了条件が、存在しない場合、ウェアラブルデバイスは、ブロック１６４０に示されるように、医療事象を持続的にドキュメント化することができる。終了条件が、存在する場合、ブロック１６６０では、ウェアラブルデバイスは、医療事象のドキュメント化を終了してもよい。例えば、ウェアラブルデバイスは、１つ以上の環境センサによって入手されたデータの処理を停止する、環境センサをオフにする、環境センサにスリープモードに入るように命令すること等を行なってもよい。
随意に、ブロック１６７０では、ウェアラブルデバイスは、データ記憶装置を医療事象と関連付けられた情報で更新するための命令を生成することができる。医療事象と関連付けられた情報は、医療事象の一部または医療事象全体をドキュメント化する、オーディオまたは視覚的データを含んでもよい。命令は、保健医療データベースシステムに、医療事象と関連付けられた情報を患者の仮想医療記録に追加させることができる。いくつかの実施形態では、ウェアラブルデバイスは、ウェアラブルデバイスが医療事象をドキュメント化している間、データ記憶装置を更新することができる。加えて、または代替として、ウェアラブルデバイスは、ウェアラブルデバイスが医療事象のドキュメント化を終えた後、データ記憶装置を更新することができる。
（医療情報を保健医療提供者間で共有する実施例）
図１７は、相互に相互作用する複数のデバイスを描写する、全体的システム図を図式的に図示する。コンピューティング環境１７００は、ユーザデバイス１７３０と、ウェアラブルデバイス２１０ａおよび２１０ｂとを含む。ユーザデバイスは、単独で、または組み合わせて、ウェアラブルデバイス（装着可能デバイス等）、コンピュータ、モバイルデバイス、または任意の他のデバイスであってもよい。
ユーザデバイス１７３０およびウェアラブルデバイス２１０ａ、２１０ｂは、ネットワーク１２９０（図１２に示される）を通して、相互に通信することができる。いくつかの実施形態では、ユーザデバイス１７３０およびウェアラブルデバイス２１０ａ、２１０ｂはまた、有線または無線ネットワークを介してウェアラブルデバイスと接続される、別のデバイス（例えば、超音波プローブ等の医療デバイス）と通信することができる。例えば、オブジェクト認識装置７０８は、ウェアラブルデバイスによって捕捉された画像を分析し、医療デバイス（例えば、超音波プローブ）が存在することを決定することができる。ウェアラブルデバイスは、医療デバイスに接続し（例えば、医療デバイスによってブロードキャストされるアドバタイズメントイベントをリッスンすることによって）、デバイスとウェアラブルデバイスとの間の通信リンクを模倣するように試みてもよい。コンピューティング環境１７００はまた、１つ以上の遠隔コンピューティングシステム１７２０を含むことができる。遠隔コンピューティングシステム１７２０は、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含んでもよい。いくつかの実装では、遠隔コンピューティングシステム１７２０は、図１２に示される保健医療データベースシステム１２２０の実施形態を含んでもよい。コンピューティングデバイス１７３０およびウェアラブルデバイス２１０ａ、２１０ｂは、ネットワーク１２９０を介して、遠隔コンピューティングシステム１７２０と通信することができる。
遠隔コンピューティングシステム１７２０は、遠隔データリポジトリ２８０（また、図２に示される）を含むことができ、これは、物理的および／または仮想世界についての情報を維持することができる。遠隔コンピューティングシステム２７０はまた、遠隔処理モジュール２７０（また、図２に示される）を含むことができる。遠隔処理モジュール２７０は、１つ以上のプロセッサを含むことができ、これは、ユーザデバイス１７３０、ウェアラブルデバイス２１０ａおよび２１０ｂ、および遠隔データリポジトリ１２８０と通信することができる。いくつかの実装では、処理または記憶の少なくとも一部は、ローカル処理およびデータモジュール２６０（図２に示されるように）によって提供されることができる。
ウェアラブルデバイスのユーザ２１０ａ、２１０ｂおよびユーザデバイス１７３０は、環境の情報を共有し、ネットワークを介して、環境内の仮想および物理的オブジェクトと相互作用することができる。例えば、医師は、ウェアラブルデバイス２１０ａを装着し、手術室内で外科手術を患者上で実施してもよい。ウェアラブルデバイス２１０ａは、仮想コンテンツ画面を生成し、医師に表示することができる。仮想コンテンツ画面は、医師のみが閲覧し得る、仮想コンテンツの第１の部分を含んでもよい。仮想コンテンツ画面はまた、部屋内の他のユーザが閲覧し得る、仮想コンテンツの第２の部分を含んでもよい。医師は、仮想コンテンツの第１の部分の一部または第１の部分全体を他のユーザと共有してもよい。ウェアラブルデバイス２１０ａは、外向きに面した結像システムを使用して、患者および医師の周囲を結像することができる。医師によって入手された画像は、手術室外のウェアラブルデバイス２１０ｂを装着している医学生に通信されてもよい。いくつかの実施形態では、医学生のウェアラブルデバイス２１０ｂは、手術室と関連付けられた世界マップ９２０を受信してもよい。世界マップ９２０は、手術室内の仮想および物理的オブジェクトを含んでもよい。例えば、医学生は、２１０ｂを介して、患者の仮想医療記録および手術室内の医療機器を知覚することができる。いくつかの状況では、ウェアラブルデバイスのユーザ２１０ｂおよびウェアラブルデバイスのユーザ２１０ａは、世界マップ９２０内の仮想または物理的オブジェクトと相互作用することができる。例えば、医師および医学生（異なる場所にもかかわらず）の両方が、診療所への患者の受診の間、同時に、患者を検査することができる。また、医師によって行われる検査は、患者の医療記録内にドキュメント化されることができる。検査の記録は、後に、ユーザまたは別の認可されたユーザ（例えば、医療教育のための研究の場合のように）によって精査されることができる。
世界マップ９２０の情報は、経時的に展開されてもよく、異なるユーザデバイスによって収集された情報に基づいてもよい。いくつかの実施形態では、世界マップはまた、本明細書では、世界モデルとも称され得る。仮想世界のモデルもまた、経時的に展開され、異なるユーザの入力に基づいてもよい。図７および９を参照して説明されるように、ユーザデバイスによって入手された情報は、世界マップ９２０を構成するために使用されてもよい。種々のオブジェクト認識装置（例えば、７０８ａ、７０８ｂ、７０８ｃ…７０８ｎ）が、オブジェクトを認識し、画像にタグ付けし、意味論情報をオブジェクトに結び付けるために使用されてもよい。加えて、ウェアラブルデバイス２１０ａ、２１０ｂは、有線または無線ネットワークを介してウェアラブルデバイス２１０ａ、２１０ｂと接続される、医療デバイス（例えば、超音波プローブ）を識別し、それと通信することができる。これらのオブジェクト認識装置は、図７に示される、オブジェクト認識装置７０８ａおよび７０８ｎを含んでもよい。
ウェアラブルデバイスおよび遠隔コンピューティングシステム１７２０は、１つ以上のウェアラブルデバイスから取得される情報を使用して、画像、点、および他の情報の集合を構成、更新、および構築することができる。例えば、ウェアラブルデバイスは、入手された未加工情報を処理し、さらなる処理のために、処理された情報を遠隔コンピューティングシステム１７２０に送信してもよい。ウェアラブルデバイスはまた、処理するために、未加工情報を遠隔コンピューティングシステム１７２０に送信してもよい。ウェアラブルデバイスは、処理された情報を遠隔コンピューティングシステム１７２０から受信し、ユーザに投影する前に、最終処理を提供してもよい。ウェアラブルデバイスはまた、取得された情報を処理し、処理された情報を他のウェアラブルデバイスにパスしてもよい。ユーザデバイスは、入手された情報を処理する間、遠隔データリポジトリ１２８０と通信してもよい。複数のウェアラブルデバイスおよび／または複数のサーバコンピュータシステムが、入手された画像の構成および／または処理に関わってもよい。
物理的世界に関する情報は、経時的に展開されてもよく、異なるユーザデバイスによって収集された情報に基づいてもよい。仮想世界のモデルもまた、経時的に展開され、異なるユーザの入力に基づいてもよい。そのような情報およびモデルは、時として、本明細書では、世界マップまたは世界モデルと称されるであろう。図７および９を参照して説明されるように、ユーザデバイスによって入手された情報は、世界マップ９２０を構成するために使用されてもよい。種々のオブジェクト認識装置は、オブジェクトを認識し、画像にタグ付けし、かつ意味論情報をオブジェクトに結び付けるために使用されてもよい。これらのオブジェクト認識装置は、オブジェクト認識装置７０８ａおよび７０８ｎ（また、図７に説明される）を含んでもよい。
遠隔データリポジトリ２８０は、データを記憶し、世界マップ９２０の構成を促進するために使用されることができる。ウェアラブルデバイスは、常に、ユーザの環境についての情報を更新し、世界マップ９２０についての情報を受信することができる。世界マップ９２０は、ウェアラブルデバイスによって、または別のコンピューティングデバイスと組み合わせて、作成されてもよい。遠隔ウェアラブルデバイス２１０ａ、２１０ｂ、ユーザデバイス１７３０、およびコンピューティングシステム１７２０は、単独で、または組み合わせて、世界マップ９２０を構成および／または更新してもよい。例えば、ウェアラブルデバイスは、遠隔処理モジュール２７０および遠隔データリポジトリ２８０と通信してもよい。ウェアラブルデバイスは、ユーザおよびユーザの環境についての情報を入手および／または処理してもよい。遠隔処理モジュール２７０は、遠隔データリポジトリ２８０と通信し、ユーザおよびユーザの環境についての情報を処理してもよい。遠隔コンピューティングシステム１７２０は、例えば、アクセス権限を仮想オブジェクトに結び付ける、ウェアラブルデバイスによって入手された画像の一部を拡大する、関連医療情報をウェアラブルデバイス２１０ａの画像から抽出する等、ウェアラブルデバイス２１０ａによって入手された情報を修正することができる。遠隔コンピューティングシステム１７２０は、処理された情報をウェアラブルデバイス２１０ａまたは別のコンピューティングデバイスに送信することができる。
（アクセス権限）
図１４Ａ－１７を参照して説明されるように、患者と関連付けられた医療情報をユーザ間で共有するために、ユーザは、患者の医療記録にアクセスするためのアクセス権限、または少なくとも第１のユーザが第２のユーザと共有する医療情報にアクセスするためのアクセス権限を有することができる。図１２を参照して説明されるように、第１のウェアラブルデバイスは、医療情報を閲覧するために、データ共有システム１２３８を使用して、要求を第２のウェアラブルデバイスに送信することができる。第２のウェアラブルデバイスが、要求を第１のウェアラブルデバイスから受信後、第２のウェアラブルデバイスは、患者の医療記録にアクセスを試み、データ記憶装置１２２０内の医療情報にアクセスしてもよい。患者システムはまた、第２のユーザが医療情報にアクセスすることを試みていることの要求を第１または第２のウェアラブルデバイスから得ることができる。患者システムは、次いで、図１４Ａ－１４Ｂを参照して説明されるように、第２のユーザが医療情報へのアクセス権限を有するかどうかを決定することができる。上記に説明されるように、アクセス権限は、患者医療記録の異なる部分または異なるユーザに特有であることができる。例えば、患者は、完全医療記録への読取アクセスを有し得るが、患者および家族履歴セクションへの編集アクセスを有していない。ＨＣＰは、完全医療記録への読取アクセスおよびＨＣＰの専門分野に関連する部分への編集アクセスを有し得るが、他のＨＣＰ専門分野に特有の部分への編集アクセスを有していない（例えば、心臓専門医は、医療記録の心臓関連部分への編集アクセスを有し得るが、患者の歯科記録への編集アクセスを有していない）。
（共有医療情報）
ユーザ間で共有される医療情報は、例えば、図１５－１６を参照して説明されるように、患者との任意の相互作用であることができる。医療情報は、ユーザが患者上での試験の間に収集した試験結果または以前に記憶された患者データまたは分析（例えば、患者の健康状態の傾向）を含むことができる。いくつかの実施形態では、第１のユーザは、第２のユーザと共有することを所望する医療情報を定義することができる。例えば、第１のユーザが、患者を診察している場合、第１のユーザは、患者の左腕または患者の他の部分に関する画像のみが第２のユーザに与えられるように、第２のユーザのアクセス権限を構成することができる。第１のユーザのウェアラブルデバイスは、第１のユーザによる観察（例えば、外向きに面した結像システムによって捕捉された画像を介して）を第２のユーザのウェアラブルデバイスとリアルタイムで共有してもよい。
第１のユーザの第１のウェアラブルデバイスが、医療情報を第２のウェアラブルデバイスと共有する前に、第１のウェアラブルデバイスは、通知を第１のユーザにプロンプトし、第１のユーザが送信されている医療情報を編集することを所望するかどうかを尋ねてもよい。第１のウェアラブルデバイスは、第１のユーザに、医療情報が共有されることになることを示すように提示することができる。第１のウェアラブルデバイスは、第１のユーザに、例えば、姿勢またはユーザ入力デバイス４６６を介して、医療情報を修正するオプションを与えてもよい。第１のユーザはまた、インジケーションを第１のユーザが修正された医療情報を共有することを所望する１人以上の他のユーザに提供することができる。第１のユーザのウェアラブルデバイスから受信されたインジケーションに基づいて、他のユーザは、第１のユーザの「招待」を承認し、第１のユーザの環境内の医療情報を共有することができる。
ある実装では、第１のユーザは、アクセス権限と医療情報を結び付けることができる。第１のユーザは、医療情報が他のユーザと共有されないであろうように、一部の医療情報をプライベートとして設定することができる。一実施例として、第１のウェアラブルデバイスは、患者の腹部および患者の顔を観察することができる（例えば、外向きに面した結像システムを介して）。第１のウェアラブルデバイスは、患者の腹部に関連する画像の部分を別の医師と共有し、病気の診断を促進することができる。しかしながら、第１のウェアラブルデバイスは、患者の顔を有する画像の部分を共有せず、患者のプライバシを保護するように構成されてもよい。医療情報の共有と関連付けられたアクセス権限は、閲覧者に基づいてもよい。例えば、外科手術手技の間、外科医の視野内のコンテンツ（仮想または物理的）は、同一手術室内の全員と共有されてもよい。しかしながら、手術室外の別のユーザとは、コンテンツのサブセットのみが、共有されてもよい。例えば、物理的コンテンツ（例えば、外向きに面した結像システムによって観察されるような）は、病理学研究室内の学生または医師と共有される一方、外科医によって見られるような仮想コンテンツは、病理学研究室内の学生または医師と共有されない。
（医療情報を共有するための例示的トリガイベント）
本明細書に説明されるウェアラブルデバイスは、複数のユーザ間の医療情報の共有を促進することができる。保健医療環境内のウェアラブルデバイスの使用は、複数のユーザが、同時に、医療手技に関する情報にアクセスし、それを閲覧することを可能にすることができる。リアルタイムで仮想コンテンツを生成し、ユーザに表示することによって、ウェアラブルデバイスは、ユーザが、保健医療環境内を歩き回り、モニタ、ディスプレイ等の多くの機器に関する情報を閲覧することを要求しない。ウェアラブルデバイスは、全ての情報を中央場所に集め、各ユーザが、同一情報または同一情報の修正されたバージョンを閲覧することを可能にすることができる。例えば、ユーザは、患者の心臓についての情報（心拍数または他の統計等）を医療デバイスから見出す代わりに、ディスプレイ２２０を介して、そのようなデータを閲覧することができる。ウェアラブルデバイスはさらに、各ユーザが、必要に応じて、情報を操作または編集することを可能にすることができる。更新された情報は、共有セッションの間、他のユーザに自動的に送信されてもよい。
図１５を参照して説明されるように、複数のユーザが、許可を有する場合、患者の医療記録を閲覧および更新することができる。ユーザが、患者の医療記録を閲覧するとき、ユーザは、同一患者記録を閲覧する、他のユーザを把握し得る。ユーザはまた、患者の医療記録に関する他の情報（例えば、ファイル履歴）も把握し得る。例えば、ユーザは、患者の医療記録に更新を行った人物を把握し得る。故に、ユーザは、患者の記録に「ログイン」した他の人物についての情報を入手し得る。
ユーザは、仮想コンテンツ画面の共有を構成することができ、これは、患者の記録内の情報に基づいて作成されることができる。ウェアラブルデバイスは、仮想コンテンツ画面をユーザの視野内に表示することができる。ユーザは、次いで、仮想コンテンツ画面内で閲覧することを所望する情報を編集または選定することができる。ユーザはまた、他のユーザと共有するための仮想コンテンツのセクションを構成することができる。加えて、または代替として、ユーザはまた、その視野を他のユーザに複製することを選定することができる。他のユーザは、したがって、単独で、またはユーザの視野内の他の仮想コンテンツと組み合わせて、仮想コンテンツ画面を知覚することができる。
第１のウェアラブルデバイスは、医療情報を第２のウェアラブルデバイスと共有するためのユーザ命令を受信することができる。命令は、キーワードの検出に応じて、提供されることができる、またはトーテムまたはジェスチャを介して、提供されてもよい。例えば、第１のユーザは、語句「医療情報を共有する」を、そのウェアラブルデバイスに仮想コンテンツ画面（ディスプレイ２２０によって提示される）を他のユーザのウェアラブルデバイスと共有させるためのトリガとして定義してもよい。別の実施例として、トリガは、ボタンの作動または手のジェスチャであってもよい。第１のユーザが、第１のウェアラブルデバイスと関連付けられたトーテム上のボタンを押下する、またはその右親指で左手をタップすると、ウェアラブルデバイスは、第１のウェアラブルデバイスによって提示される仮想コンテンツ画面を他のユーザのウェアラブルデバイスと共有することができる。
第２のユーザのウェアラブルデバイスは、第２のユーザが、医療情報を共有するための第１のユーザの要求を承認することを所望するかどうか、または第２のユーザが、第２のユーザがその個別のウェアラブルデバイスを介して仮想体験を第１のユーザと共有することができる、共有セッションに参加することを所望するかどうかを尋ねる、通知を生成することができる。第２のユーザのウェアラブルデバイスは、共有セッションに参加するための第２のユーザからのインジケーションの受信に応答して、第１のユーザによって共有される情報を提示してもよい。
いくつかの実施形態では、有利には、ウェアラブルデバイスは、環境センサが収集したデータを分析することができ、環境センサから集められたデータの分析に基づいて、共有セッションのためのトリガを決定することができる。例えば、ウェアラブルデバイスは、他のデバイスが近傍に存在するかどうかを決定することができる（例えば、コンピュータビジョン技法を使用して、入手された画像を分析することによって、または近傍のデバイスと通信することによって）。近傍のデバイスが、発見される場合、ユーザのウェアラブルデバイスは、ユーザが一部の医療情報を他のデバイスと共有することを所望しているかどうかを尋ねる、通知をユーザに提供してもよい。
情報を共有するためのトリガはまた、ユーザと関連付けられた相互作用に基づくことができる。例えば、ウェアラブルデバイスは、ウェアラブルデバイスのユーザと患者との間の相互作用を分析することができる。ウェアラブルデバイスは、ウェアラブルデバイスが、相互作用が別のユーザの参加を必要とすることを決定する場合、共有セッションのためのトリガの存在を検出することができる。例えば、ウェアラブルデバイスが、ユーザが外科手術を患者の肝臓上で実施しており、ユーザが、肝臓上の疾患が癌性であり得ることをメモまたは注解を付けたことを決定する場合、ウェアラブルデバイスは、肝臓の画像を腫瘍を分析するであろう別のユーザ（例えば、病理学研究室内の医師）と共有することを所望するかどうかを尋ねる、ユーザに表示されるアラートを生成してもよい（図１９を参照して下記に説明される）。別の実施例として、ウェアラブルデバイスは、以前の相互作用において収集されたデータを分析し、情報を共有するためのトリガが存在するかどうかを決定することができる。例えば、医師のウェアラブルデバイスは、患者の過去の受診に関連するデータを分析し、専門医が患者の病気を診断するために推奨されることを見出すことができる。ウェアラブルデバイスは、患者の受診後、適宜、患者の医療情報の一部を専門医と共有することができる。医師のウェアラブルデバイスはまた、医師および専門医の両方が患者の病気を診断し得るように、患者の次の受診の間、患者に関連する情報（例えば、医師によって知覚されるような）を共有することができる。
いくつかの実施形態では、複数のユーザ間で共有されるための仮想コンテンツは、患者の血圧、脳活動（例えば、患者が覚醒している）、体温等、患者パラメータを含むことができる。パラメータは、医療デバイスまたはユーザのウェアラブルデバイスによって収集されてもよい。医療デバイスは、ウェアラブルデバイスが患者パラメータを医療デバイスから受信し得るように、有線または無線ネットワークを介して、ウェアラブルデバイスと通信することができる。ユーザのウェアラブルデバイスは、インターネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線共有能力を介して、データを近傍の複数の外部デバイス（例えば、心臓モニタ、麻酔モニタ等）から収集し、それを分析することができる。ウェアラブルデバイスは、次いで、全てのデバイスからのパラメータを中央プラットフォーム上に提示し、ユーザに表示することができる。ウェアラブルデバイスは、患者と接続される（物理的にまたは無線で）全ての外部デバイスからのパラメータを表示するための中央プラットフォームとして作用することができる。図２３を参照して後に説明される、いくつかの実施形態では、ウェアラブルデバイスは、ユーザの場所を決定してもよい（例えば、ＧＰＳセンサからの場所データを分析することによって）。環境センサが収集したデータを分析後、ウェアラブルデバイスは、医療情報を１人以上の他のユーザと共有することを所望するかどうかを尋ねる、通知をユーザに提供してもよい。例えば、ウェアラブルデバイスが、ユーザが手術室内に居て、他のユーザも手術室内に存在することを決定する場合、ウェアラブルデバイスは、知覚される医療情報を同一手術室内の他のユーザと共有するためのオプションをユーザに提供することができる。ユーザが、手術室内の全ての他のユーザが、その視野を閲覧することを可能にする場合、他のユーザのウェアラブルデバイスは、共有体験のために、ユーザの視野を含む仮想コンテンツ画面を提示してもよい。
（医療情報を共有するタイミング）
ユーザ間の医療情報の共有は、共有するための要求直後に生じることができる、または後の時間まで遅延されることができる。例えば、ユーザのウェアラブルデバイスは、その視野内に見えるものをリアルタイムで他のユーザと共有するための要求を受信してもよい。別の実施例では、ウェアラブルデバイスは、過去のある時間周期にわたって（例えば、５分前に）その視野内に見えたものを他のユーザと共有するためのユーザの要求を受信してもよい。ユーザは、そのウェアラブルデバイスを使用して、具体的持続時間または開始／終了時間を定義してもよい。いくつかの実施形態では、複数のユーザが、同時に、患者の医療記録にアクセスする場合、ユーザのうちの１人以上の者のためのウェアラブルデバイスは、患者の医療記録を能動的に閲覧している別のユーザが存在することを示す、通知を生成することができる。ウェアラブルシステムは、医療記録完全性を提供するために、アクセスロックを医療記録上に提供し、２人（以上の）ユーザが、同時に、記録を編集しないように防止してもよい。他の状況では、ウェアラブルシステムは、複数のユーザが、同時に、医療記録を編集することを可能にすることができ、ウェアラブルシステムは、異なるユーザによって行われる編集を同期させ、一貫性を維持してもよい。
（医療情報を共有する方法）
ユーザのウェアラブルデバイスはまた、医療情報が他のユーザと共有されるであろう方法を構成することができる。例えば、ユーザ（ＨＣＰまたは患者であってもよい）は、患者の医療記録の具体的部分を第２のユーザに具体的時間（例えば、２０１７年１月６日（金）午前１２時）に電子メール送信することを所望することを確立してもよい。ウェアラブルデバイスは、２０１７年１月６日（金）午前１２時に、他のユーザに、患者の医療記録の具体的部分を含有する電子メールを送信することができる。電子メールは、相互作用の任意のドキュメント化、メモまたは注解、試験結果等を含む、ユーザが他のユーザと共有することを所望する、任意の情報を含んでもよい。電子メールは、やりとりを開始した当事者を記録するメタデータ、タイムスタンプ等を含んでもよい。
いくつかの実施形態では、ウェアラブルデバイスは、共有仮想コンテンツ（例えば、ディスプレイ２２０を介して）を生成し、ユーザに表示してもよく、ユーザは、仮想コンテンツ内の情報を編集または修正してもよい。例えば、第２のユーザのウェアラブルデバイスは、第１のユーザによって知覚される仮想コンテンツと同一情報を含有する、仮想コンテンツを第２のユーザに提示することができる。第１のユーザのウェアラブルデバイスが、仮想コンテンツへの修正を第１のユーザから受信する場合、同一修正は、第２のユーザのウェアラブルデバイスに通信されることができ、第２のユーザのウェアラブルデバイスによって反映されることができる。本実施例では、第１のユーザおよび第２のユーザのウェアラブルデバイスは、同一患者ファイルに能動的に「ログイン」している別のユーザが存在することのインジケーションを提供してもよい。
ウェアラブルデバイスは、ユーザによって知覚されたコンテンツの一部のみを共有するように構成されることができる。例えば、第１のユーザのウェアラブルデバイスは、第２のユーザを識別し、第１のユーザによって知覚される情報を共有することができる。第１のユーザのウェアラブルデバイスは、コンテンツを共有するための要求を第２のユーザのウェアラブルデバイスから受信することができる。ウェアラブルデバイスは、第２のユーザのアクセス権限を決定し、第２のユーザがアクセスを有する、第１のユーザのＦＯＶ内の情報の一部のみを共有することができる。第２のユーザのウェアラブルデバイスは、適宜、第２のユーザに、第１のユーザのＦＯＶ内の情報のサブセットを提示することができる。
ウェアラブルデバイスはまた、医療デバイスから受信されたデータを共有および記録することができる。いくつかの実施形態では、データを医療デバイスから受信する間、ウェアラブルデバイスは、ユーザに、外部医療デバイスから読み出されたデータと関連付けられた医療情報を提示することができる（例えば、ディスプレイ２２０を介して）。例えば、ウェアラブルデバイスは、ウェアラブルデバイスがデータを患者に取り付けられる対応する監視するデバイスから受信するにつれて、患者の心電図（ＥＣＧ）を提示することができる。データ（またはデータのサブセット）は、本明細書に説明される技法を使用して、他のユーザと共有されることができる。ユーザはまた、他のユーザと共有する前に、医療情報を編集することができる。
図１８は、医療情報を複数のユーザ間で共有する実施例を図示し、これは、図１７を参照して説明されるコンピューティング環境１７００下で実施されてもよい。図１８における実施例では、外科医１８０２が、患者の心臓１８０４上で手術を行っている。外科医１８０２は、２人の看護師１８２０および１８２２によって補助されることができる。手術室はまた、心臓１８０４のリアルタイム状態または患者の他の生理学的パラメータを監視する、１つ以上の医療デバイス（例えば、ＥＣＧ／ＥＫＧ機械）を含んでもよい。医療デバイスは、患者の心臓の状態を物理的ディスプレイ１８２４に出力することができる。
本実施例では、外科医１８０２および２人の看護師１８２０、１８２２は、その個別のウェアラブルデバイスを装着することができる。外科医１８０２は、ウェアラブルデバイスを通して、患者の心臓１８０４を見ることができる一方、２人の看護師１８２０および１８２２は、ウェアラブルデバイスを介して、物理的ディスプレイ１８２４を知覚することができる。しかしながら、外科医１８０２は、その視野内に存在しないため、物理的ディスプレイ１８２４を知覚することが不可能である場合があり、２人の看護師１８２０、１８２２は、２人の看護師１８２０、１８２２の視野外にある、心臓１８０４を知覚していない場合がある。
有利には、図１８に図示されるように、外科医１８０２および２人の看護師１８２０、１８２２は、ウェアラブルデバイスを介して、その個別の視野を相互に共有することができる。例えば、外科医１８０２および２人の看護師１８２０、１８２２は、共有セッションに参加することができる。外科医１８０２は、２人の看護師の視野内であるが、外科医１８０２の視野外にある、物理的画面１８２４によって表示される情報を含む、仮想画面１８１０を知覚することができる。仮想画面１８１０に関する情報は、看護師１８２０または１８２２によって装着されるウェアラブルデバイスの外向きに面した結像システムによって捕捉された画像に基づいて、レンダリングされることができる。いくつかの状況では、医療デバイスはまた、有線または無線通信チャネルを介して、ウェアラブルデバイスと通信することができ、ウェアラブルデバイスは、仮想画面１８１０を介して、患者の状態をリアルタイムで提示することができる。
外科医１８０２はまた、その視野の少なくとも一部を看護師１８２０、１８２２と共有することができる。例えば、外科医１８０２のウェアラブルデバイスは、外向きに面した結像システムによって観察されるような心臓１８０４の画像を看護師１８２０、１８２２のウェアラブルデバイスに通信することができる。
いくつかの実装では、看護師または外科医は、共有セッションを部屋内の他の人々と開始することのインジケーションをウェアラブルデバイスに提供してもよい。例えば、看護師１８０２または１８０４からのインジケーションの受信に応じて（または上記に議論される任意の他のトリガイベントの検出に応じて）、看護師のウェアラブルデバイスは、看護師が外科手術モニタ上で見ているものを外科医のウェアラブルデバイスと共有するための要求を外科医のウェアラブルデバイスに送信してもよい。看護師のウェアラブルデバイスからの要求の受信に応じて、外科医のウェアラブルデバイスは、外科医１８０２が患者上で手術を行っている間、仮想コンテンツ画面１８１０を外科医に提示してもよい（例えば、看護師によって知覚される情報を物理的ディスプレイ１８２４上に示すため）。仮想コンテンツ画面１８１０は、医療デバイスがリアルタイムで収集する、データと関連付けられた情報を含有することができる。故に、外科医のウェアラブルデバイスは、そのようなＥＣＧモニタが外科医１８０２の視野内に物理的にない場合でも、外科医１８０２に、ＥＣＧモニタに示されるように、患者の心臓の状況についてのリアルタイム医療情報を与えることができる。
外科医のウェアラブルデバイスは、手術の間、外科医のウェアラブルデバイスが、環境情報（例えば、手術室内の医療デバイスから受信された情報等）に基づいて、患者の心臓に異常が存在することを決定する場合、アラートを外科医に生成することができる。いくつかの実施形態では、外科医のウェアラブルデバイスは、ＥＣＧモニタが、患者の心臓の状態が正常であることを示す場合、患者の心臓の状況についてのリアルタイム医療情報を示す仮想画面１８１０を生成および表示しなくてもよい。外科医のウェアラブルデバイスは、外科手術モニタに関する情報に基づいて、患者の心臓内に異常が存在するとき、仮想コンテンツ画面のみを生成し、外科医１８０４に表示してもよい。外科医１８０２または看護師１８２０、１８２２は、その個別のウェアラブルデバイス上の視野外の情報を閲覧するための設定を構成することができる。例えば、外科医１８０２または看護師１８０２，１８２２は、看護師のウェアラブルデバイスが、患者の心臓データ内に異常が存在するときのみ、物理的ディスプレイ画面１８２４に関する情報を外科医１８０２と共有するように、設定を構成することができる。ある場合には、看護師のウェアラブルデバイスは、単独で、または遠隔コンピューティングシステム１７２０と組み合わせて、１つ以上の医療デバイスから収集されたデータを分析し、異常が存在するかどうかを決定することができる。
別の実施例として、外科医は、トリガイベントの存在に基づいて、患者の心臓１８０４の画像を看護師１８２０および１８２４と共有することができる。外科医のウェアラブルデバイスは、心臓の画像を共有するための要求を看護師のウェアラブルデバイスに送信してもよい。看護師のウェアラブルデバイスは、外科医のウェアラブルデバイスからの要求の受信に応じて、外科医によって見られるような患者の心臓１８０４の画像を示す、仮想コンテンツ画面１８２６を提示することができる。
図１８における実施例は、ＥＣＧ／ＥＫＧデータを参照して説明されるが、ウェアラブルデバイスはまた、他のタイプの医療情報を仮想画面上に提示することができる。例えば、仮想画面１８１０はまた、患者の血圧、脳活動、体温等、他のデバイスによって収集された患者の他のパラメータの医療情報を含んでもよい。図１８の実施例における看護師１８２０および１８２２はまた、他の外科医、前期研修医、後期研修医、学生、患者等、任意の他のタイプのユーザであることができる。外科医のウェアラブルデバイス（または別のユーザのウェアラブルデバイス）はまた、認可されたユーザ（例えば、外科医自身、患者、患者の一次保健医療提供者等）による後の精査のために、手術を記録してもよい。図１８の実施例では、外科医１８０２は、心臓外科手術を実施している。他の実施例では、第１の保健医療提供者は、任意のタイプの医療手技（または図１５に図示されるような患者との任意のタイプの相互作用）を行うことができる。さらに、看護師１８２０および１８２２は、外科医が手術を行っている手術室に位置する必要はない。例えば、看護師は、隣接する部屋に位置し得る。別の実施例では、外科医は、心臓に関する情報を、それぞれ、手術室から遠隔（例えば、病院内の他の場所または完全に別個の地理的場所）に位置し得る、顧問医師または病理医と共有してもよい。
（医療情報の管理）
図１５および１８を参照して説明されるように、第１のユーザは、そのデバイスが患者との相互作用をドキュメント化しているとき、メモまたは注解を付けることができる。第１のユーザは、同様にそのデバイスを通して、メモまたは注解を第２のユーザと共有することができる。第１のユーザはまた、そのウェアラブルデバイスに、メモまたは注解をプライベートに保つように命令することができる。いくつかの実施形態では、第１のユーザは、そのデバイスを通して、メモまたは注解を付けている間、メモまたは注解を第２のユーザと共有してもよい。図１５を参照して説明されるように、患者と相互作用する間、ウェアラブルデバイスは、患者の画像を撮影することができる。ユーザは、画像を拡大する、または画像を編集するための要求をウェアラブルデバイスに送信するためのオプションを有してもよい。画像を編集する際、ユーザは、画像の一部を仮想的に分離する、画像の異なる位置にフラグを付ける、画像のいくつかの部分を除去すること等を行ってもよい。
図１９は、仮想コンテンツを医療手技の間に撮影された画像に追加する実施例を図示する。有利には、いくつかの実施形態では、ウェアラブルデバイスは、ユーザが、医療手技が進行中の間または医療手技後、医療情報（例えば、画像情報、カメラ配向、画像または手技の場所、時間等）を他のユーザに送信することを可能にすることによって、医療手技における効率を改良することができる。例えば、ウェアラブルデバイスは、腫瘍切除手技における腫瘍配向を病理学研究室に送信することができる。ウェアラブルデバイスはまた、付加的査定または分析のために、情報を異なる場所、グループ、または研究室に送信することができる。医療情報は、具体的器官の画像、症状等を含んでもよい。いくつかの実装では、ウェアラブルデバイスは、物理的マークが必要とされないように、受信者または送信者が、仮想環境内の医療情報をマークすることを可能にすることができる。例えば、腫瘍の物理的サンプル上にマークするのではなく、病理学研究室内の医師は、病理学研究室から遠隔の病院内で生じている手術の間、腫瘍の画像（例えば、２Ｄまたは３Ｄ画像）をマークすることができる。
ウェアラブルデバイスはまた、医療情報を分析するための効率的かつ非侵襲的方法を促進することができる。例えば、腫瘍切除の間、医師は、典型的には、物理的フラグを腫瘍内に設置し、上方向を示す。有利には、ウェアラブルシステムは、ユーザが仮想フラグ（単独で、またはテキストまたは他の視覚性と組み合わせて）を腫瘍に追加し得るように構成されることができる。ウェアラブルデバイスは、次いで、インターネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線共有能力を使用して、仮想コンテンツ（例えば、仮想マーカを伴う腫瘍の画像）を患者のカルテまたは病理学研究室等の別のユーザに送信することができ、これは、情報を転送するためのより高速の方法（例えば、サンプルを放射線医師に郵送することとは対照的に）および物理的サンプルにマークするための非侵襲的方法（例えば、腫瘍を突き刺すことは、必要とされない）を提供する。
第１のユーザによって知覚可能なコンテンツを第２のユーザと共有するために、ウェアラブルデバイスは、第１のユーザによって知覚された仮想画面を第２のユーザのウェアラブルデバイスと共有することができる。仮想画面は、第１のユーザによって入力される情報（例えば、テキスト、図面、注解、物理的または仮想オブジェクトの注釈）を含んでもよい。例えば、外科医は、手術の際、患者上の腫瘍を見ている間、その仮想画面を放射線医師と共有することができる。外科医は、仮想画面上の腫瘍の領域をマークし、そのようなマークを放射線医師に通信することができる。ウェアラブルデバイスはまた、仮想コンテンツを仮想マーカとともに患者の医療記録内に保存し、その注意が必要とされることの通知を別の場所に居るユーザに送信することができる。例えば、ウェアラブルデバイスは、仮想フラグを仮想腫瘍画像上に置き、基点方向（例えば、上向き）である方向、画像を捕捉したカメラの配向、コンテキスト情報（例えば、画像に関連する外科医からのメモまたは注解、腫瘍等の身体部分等）等を示すことができる。ウェアラブルデバイスは、仮想コンテンツを共有することによって、仮想腫瘍画像を仮想フラグとともに、直接、病理学研究室内のユーザに送信することができる。ウェアラブルデバイスはまた、患者の医療記録内の仮想腫瘍画像を仮想フラグで更新し、病理学研究室内の通知をユーザに送信することができる。外科医からの情報の受信に応じて、病理学研究室内のユーザはまた、その個別のウェアラブルデバイスを使用して、付加的注釈を仮想コンテンツとして付けることができる。そのような付加的注釈はまた、外科医のウェアラブルデバイスに通信されることができる。
図１９の実施例では、外科医１９０２が、医療手技を患者の器官１９０４上で実施している。外科医１９０２は、器官１９０４がいくつかの異常を含有することを決定してもよい。外科医１９０４のウェアラブルデバイスは、器官１９０４の画像を撮影してもよい。画像を撮影後、ウェアラブルデバイスは、器官の画像を含有する第１の仮想コンテンツ画面１９１０を生成および表示する。外科医は、器官１９０４が、２つの部分、すなわち、正常部分と、除去される必要がある異常部分とを含有することを決定してもよい。外科医は、第１の仮想コンテンツ画面１９１０内において、部分Ａ（正常部分）と、部分Ｂ（異常部分）とをマークしてもよい。切除の位置を確認するために、外科医１９０２は、そのウェアラブルデバイスに、画像１９１０の部分Ａおよび部分Ｂを仮想的に分離するように命令してもよい（キーワード、トーテム、またはジェスチャアクティブ化のいずれかによって）。部分Ａおよび部分Ｂを仮想的に分離するための要求の受信に応じて、外科医のウェアラブルデバイスは、画像内のデータを処理および分析してもよい。外科医のウェアラブルデバイスは、次いで、第２の仮想コンテンツ画面１９２０を生成し、外科医１９０２に表示してもよく、外科医のウェアラブルデバイスは、分離された部分Ａおよび部分Ｂを示し、これは、異常部分の検査または切除を補助し得る。
ウェアラブルデバイスはまた、ユーザが、腫瘍の画像を操作することを可能にすることができる。例えば、外科医１９０２は、そのウェアラブルデバイスに異常部分Ｂの画像を拡大するように命令することができる、（例えば、手のジェスチャまたは音声コマンドを使用して）。そのような命令の受信に応じて、外科医のウェアラブルデバイスは、仮想画面１９３０に示されるように、異常部分Ｂの画像を生成および表示してもよい。本拡大された画像に基づいて、外科医は、部分Ｂを器官１９０４から除去すべき位置をより良好に決定することができる。外科医はまた、腫瘍と関連付けられた注解またはマーカを入力することができる。例えば、外科医は、仮想画面１９３０に示されるように、２つのフラグ（フラグ１およびフラグ２）を腫瘍の画像上に設置してもよい。フラグ１およびフラグ２は、例えば、腫瘍の方向または配向、切除の位置、異常の場所、身体に対する部分Ｂの方向（例えば、フラグ１は、フラグ２に対して前方位置にある）等を示すことができる。
いくつかの実装では、外科医はまた、腫瘍の画像をウェアラブルデバイスの別のユーザと共有することができる。外科医は、フラグ１およびフラグ２の位置を確認するために、第１、第２、または第３の仮想画面内の情報を第２のユーザと共有することができる。第２のユーザは、異常部分Ｂを分析するであろう、病理医であることができる。外科医は、３つの仮想コンテンツ画面を患者の医療記録内に保存することができ、第２のユーザは、次いで、患者の医療報告内の仮想コンテンツ画面を閲覧することができる。外科医はまた、図１８を参照して上記に図示されるように、３つの仮想コンテンツ画面を第２のユーザと共有することができる。外科医はまた、外科医が外科手術を実施するにつれて３つの仮想コンテンツ画面を第２のユーザにリアルタイムで送信するためのオプションを有してもよい。いくつかの実施形態では、有利には、外科医１９０２が、ある所見を付ける（例えば、フラグ１および２を設置する）と、外科医のウェアラブルデバイスは、外科医１９０２に、外科医が仮想画面または注釈を別のユーザに送信することを所望するかどうかを尋ねる通知を送信してもよい。
別の実施例として、外科医１９０２のウェアラブルデバイスは、外科医が作業しているエリアの仮想コンテンツを生成し、示してもよい。仮想コンテンツ画面１９１０、１９２０、および１９３０は、外科手術の間の異なる時点における、手術が行われているエリアを示し得る。例えば、第１の仮想画面１９１０は、異常が除去される前の器官１９０４を示し得る。第２の仮想画面１９２０は、外科医が異常部分を除去した後の器官１９０４を示し得、部分Ａ（正常部分）と、部分Ｂ（除去された異常部分）とを含む。外科医は、次いで、異常部分Ｂを第３の仮想画面上で拡大し、外科医がさらなる試験を行うことを所望する部分に仮想的にフラグを付けることができる。例えば、フラグ１およびフラグ２は、外科医が病理学試験が実施されることを所望する部分を示してもよい。別の実施例として、フラグ１および２は、腫瘍の配向を示すことができる（例えば、腫瘍と関連付けられた上向き方向を示すこと等によって）。外科医は、第１、第２、または第３の仮想コンテンツ画面を第２のユーザ（例えば、病理医）と共有することができる。これらの画面のうちの１つ以上のものを共有することによって、第２のユーザは、病理学試験を行うとき、異常部分Ｂが生じた器官内の場所、患者の身体内に位置付けられる器官または異常の状態、器官の付加的切除必要とされ得るかどうかまたはその場所等に関して、さらなるコンテキストを有することができる。また、仮想フラグの使用は、実際の物理的フラグが異常部分Ｂの中に設置されないため、分析前に異常部分の完全性を保つことに役立ち得る。
図１９の実施例では、外科医のみが、仮想画像を編集する、またはそれにフラグを付けているが、いくつかの実施形態では、複数のユーザが、第１、第２、または第３の仮想コンテンツ画面を共有するとき、画像を編集する、またはそれにフラグを付けることができる。異なるユーザによる種々の編集およびフラグ付けは、患者の医療記録内に記録されることができ、他のユーザは、更新された画像を自動的に得ることができる。例えば、フラグ１または２は、外科医によって提供される腫瘍画像を受信する、別の医師によって設置されてもよい。
図２０は、仮想コンテンツを複数のユーザ間で共有する、例示的プロセス２０００を図示する、フローチャートである。例示的プロセス２０００は、本明細書に説明されるウェアラブルシステム２００によって実施されることができる。例えば、例示的プロセス２０００は、単独で、または遠隔処理モジュール２７０と組み合わせて、１つ以上のウェアラブルデバイスのローカル処理およびデータモジュール２６０によって実施されることができる。
ブロック２０１０では、プロセス２０００は、第１のユーザの第１のウェアラブルデバイスによって、仮想コンテンツを提示する。第１のユーザのウェアラブルデバイスは、仮想コンテンツを第１のユーザに提示してもよい。仮想コンテンツは、１つ以上の仮想画面を介して提示されてもよい。
ブロック２０２０では、プロセス２０００は、第２のウェアラブルデバイスを介して、仮想コンテンツを第２のユーザと共有するためのトリガイベントを検出する。トリガイベントは、仮想コンテンツを別のユーザと共有するための第１のユーザによる要求であってもよい、または第１のユーザによって知覚可能な情報を閲覧するための第２のユーザによる要求であってもよい。要求は、キーワード、トーテム上の入力、またはジェスチャであってもよい。トリガイベントはまた、第１または第２のユーザの環境内の条件に基づいてもよい。例えば、コンテンツ共有は、患者の緊急状態（例えば、突然の出血または心拍数の異常等）の検出に応答してトリガされてもよい。
ブロック２０３０では、プロセス２０００は、第２のユーザと関連付けられたアクセス権限を照合する。アクセス権限の照合は、図１２に示されるデータセキュリティ管理システム１２１２によって行われてもよい。アクセス権限は、保健医療データベースシステム１２２０によって照合されてもよく、これは、医療記録と関連付けられた第２のユーザのプロファイルに基づいて、第２のユーザのアクセス権限を照合することができる。ある実装では、患者は、その医療記録へのアクセスを有する人物を制御してもよい。患者は、照合のために、保健医療データベースシステム１２２０におけるアクセスルールを設定することができる。患者システム自体もまた、第２のウェアラブルデバイスのアクセス権限を照合してもよい。
ブロック２０４０では、プロセス２０００は、第２のウェアラブルデバイスが仮想コンテンツにアクセスするための十分なアクセス権限を有するかどうかを決定することができる。例えば、第１または第２のウェアラブルデバイスは、第２のユーザが仮想コンテンツへのアクセス権限を有するかどうかに関するインジケーションを保健医療データベースシステム１２２０から受信することができる。第２のユーザが、仮想コンテンツへのアクセス権限を有する場合、プロセス２０００は、ブロック２０５０に移動し、第１のウェアラブルデバイスによって知覚されるような仮想コンテンツは、第２のユーザのウェアラブルデバイスと共有される。いくつかの状況では、第１のユーザは、第２のユーザのウェアラブルデバイスと共有することを所望する、仮想コンテンツの部分（例えば、仮想コンテンツの具体的部分または仮想コンテンツ全体）を示すことができる。第２のユーザのウェアラブルデバイスは、第１のウェアラブルデバイスから受信された仮想コンテンツを示す、第２の仮想コンテンツ画面を生成および表示することができる。
随意のブロック２０６０では、第２のウェアラブルデバイスは、仮想コンテンツへの修正を受信することができる。第２のユーザは、第２の仮想コンテンツ画面内の仮想コンテンツを修正することができ、第２のユーザのウェアラブルデバイスは、そのような修正を記録することができる。そのような修正は、第１のウェアラブルデバイスに通信されることができる。
随意のブロック２０７０では、第１のウェアラブルデバイスは、修正された仮想コンテンツを第１のユーザに提示することができる。第２のユーザのウェアラブルデバイスは、患者の医療記録内の修正された仮想コンテンツを更新し、修正についての通知を第１のユーザに送信してもよい。第１のユーザのウェアラブルデバイスは、次いで、第１の仮想コンテンツ画面を更新し、修正された仮想コンテンツを第１のユーザに示すことができる。
第２のユーザが、ブロック２０４０において決定されるように、仮想コンテンツへのアクセス権限を有していない場合、プロセス２０００は、第２のユーザが仮想コンテンツへのアクセス権限を有していないことのインジケーションを第１のユーザのウェアラブルデバイスに提供することができる。プロセス２０００はまた、医療記録の患者に、第２のユーザが仮想コンテンツにアクセスしようと試みたことのインジケーションを送信してもよい。患者システムへのインジケーションは、ユーザの氏名、仮想コンテンツと関連付けられた情報を含んでもよい。プロセス２０００は、否認されたアクセスの本出来事を患者の医療報告内に記憶してもよい。
図１８－２０におけるいくつかの実施例は、仮想コンテンツ画面を使用して、仮想コンテンツを共有する、または仮想コンテンツを表示することを説明するが、ウェアラブルデバイスは、任意のタイプの技法を使用して、仮想コンテンツを３Ｄ空間内に表示および共有することができる。仮想コンテンツは、仮想コンテンツ画面上にレンダリングされることを要求されない。仮想コンテンツは、異なるタイプの仮想オブジェクトとして現れる、または仮想コンテンツ画面の一部であるように現れない、他のグラフィカル外観を有することもできる。
（コンテキスト情報に基づいて、仮想コンテンツにアクセスし、それを提示する実施例）
ウェアラブルデバイスは、コンテキスト情報に基づいて、仮想コンテンツを提示することができる。コンテキスト情報は、例えば、ユーザの場所、ユーザの姿勢、ユーザの感情状態、アクセス権限のレベル等、ウェアラブルデバイスのユーザと関連付けられた情報を含むことができる。コンテキスト情報はまた、例えば、ユーザの環境内の物理的オブジェクト、仮想オブジェクト、人物等、ユーザの環境と関連付けられた情報を含むことができる。
ウェアラブルデバイスは、１つ以上の環境センサによって入手されたデータ、遠隔データリポジトリ２８０または保健医療データベースシステム１２２０からアクセスされるデータ、それらの組み合わせ、または同等物に基づいて、コンテキスト情報を決定することができる。例えば、ウェアラブルデバイスは、１つ以上のオブジェクト認識装置を使用して、外向きに面した結像システム４６４によって入手されたデータを分析し、ユーザの環境内の物理的オブジェクトまたは人物を識別することができる。１つ以上のオブジェクト認識装置は、種々のコンピュータビジョンアルゴリズム（例えば、顔認識アルゴリズムまたはオブジェクト認識アルゴリズムを含む）を適用し、物理的オブジェクトを識別することができる。別の実施例として、ウェアラブルデバイスは、ＩＭＵを使用して、ユーザの姿勢を決定し、ＧＰＳから入手されたデータを使用して、ユーザの場所を決定することができる。
ウェアラブルデバイスは、コンテキスト情報に基づいて、仮想コンテンツにアクセスし、仮想コンテンツを３Ｄディスプレイ上に提示することができる。仮想コンテンツは、患者の仮想医療記録からの情報または場所に特有の仮想情報を含んでもよい。仮想コンテンツはまた、アラートを含んでもよい。アラートは、単独で、または組み合わせて、視覚的焦点インジケータ、メッセージ、音等を含んでもよい。焦点インジケータは、アラートをトリガした物理的または仮想コンテンツの近傍にあってもよい。アラートメッセージは、アラートをトリガしたイベントを説明する、簡単な説明を含むことができる。コンテキスト情報に基づいて仮想コンテンツを提示する実施例は、図２１－２４をさらに参照して説明される。
（ユーザの環境と関連付けられたコンテキスト情報）
ＨＣＰのウェアラブルデバイスは、１つ以上の環境センサによって入手されたデータに基づいて、周囲の人物を認識してもよい。例えば、ウェアラブルデバイスは、図１２および１４Ａを参照して説明される技法（例えば、顔認識、音声認識等）を使用して、人物（例えば、患者）を認識することができる。ウェアラブルデバイスは、患者の情報を３Ｄディスプレイ上に提示することができる。例えば、ウェアラブルデバイスは、例えば、患者の氏名、手技、診断、手術されている解剖学的部位、薬等、患者特有の情報を提示することができる。有利には、いくつかの実施形態では、ウェアラブルデバイスは、顔認識技法を使用して、患者の識別を認識し、適宜、患者特有の情報を提示することによって、患者処置の効率を改良し、品質を増加させることができる。例えば、医師は、多くの場合、そのオフィス内で多くの患者カルテを取り扱う必要がある。顔認識を用いることで、医師は、患者と相互作用する必要なく、患者を見て、患者の情報を自動的に知覚することができる。いくつかの実施形態では、顔認識は、外向きに面した結像システムから入手されたデータと併用される。例えば、ウェアラブルデバイスは、外向きに面した結像システムによって入手された画像に基づいて、患者カルテを識別し、患者カルテ内で識別された患者が顔認識技法を用いて認識された同一患者であることを決定することができる。別の実施例として、ウェアラブルデバイスは、顔認識を用いて決定された患者の識別を手術室のスケジューリング情報に対してチェックし、ウェアラブルデバイスのＨＣＰが正しい患者上で手術を行うであろう（または行っている）ことを確実にすることができる。
図２１は、ユーザの環境と関連付けられたコンテキスト情報に基づいて仮想コンテンツを提示する実施例を図示する。本実施例では、外科医２１０２は、ウェアラブルデバイスを装着することができる。ウェアラブルデバイスは、顔認識技法に基づいて、患者を識別することができる。ウェアラブルデバイスは、患者と関連付けられた仮想医療記録を読み出すことができる。ウェアラブルデバイスは、仮想オブジェクト２１０６、２１０８、および２１１０によって示されるように、仮想医療記録の関連部分を３Ｄユーザインターフェース上に提示することができる。
ウェアラブルデバイスは、患者の仮想医療記録または手術室と関連付けられた情報に基づいて、外科手術のタイプを決定することができる。本実施例では、ウェアラブルデバイスは、手術室のスケジューリング情報に基づいて、外科医２１０２が低侵襲的心臓外科手術を実施していることを決定することができる。故に、ウェアラブルデバイスは、患者の心臓のモデル２１０４を３Ｄ空間内に提示し、外科医２１０２が、外科医が手術を行うべき関連領域を識別することに役立てることができる。ウェアラブルデバイスはまた、呼吸数を仮想オブジェクト２１０８上におよびＥＣＧデータを仮想オブジェクト２１１０上に等、患者の生理学的データを提示し、かつ年齢、既往歴、アレルギー等の患者の個人情報を仮想オブジェクト２１０６上に提示することができる。
加えて、または代替として、ＨＣＰのウェアラブルデバイスは、外向きに面した結像システムから入手されたデータに基づいて、四肢または器官等のユーザの身体の一部を認識することができる。ウェアラブルデバイスは、仮想医療記録にアクセスし、ＨＣＰがユーザの身体の正しい部分上で手術を行っているかどうかを決定することができる。ウェアラブルデバイスは、ＨＣＰが、ユーザの身体の誤った部分上で手術を行おうとしている、または行っている場合、アラートを提示することができる。
図２２Ａおよび２２Ｂは、ユーザの環境と関連付けられたコンテキスト情報に基づいてアラートを提示する実施例を図示する。図２２Ａの実施例では、外科医２２０２が、手術室内に居る。外科医２２０２は、ウェアラブルデバイスを介して、患者の脚部２２１４ｒ、２２１４ｌの画像を含む、仮想オブジェクト２２１０を知覚することができる。図２１を参照して説明されるように、コンテキスト情報に基づいて、外科医のウェアラブルデバイスは、外科医が患者上で実施しようとしている手術のタイプに関連する情報を決定することができる。例えば、ウェアラブルデバイスは、手術室のスケジューリング情報にアクセスし、患者のためにスケジュールされた外科手術が患者の右脚２２０４ｒ上における手技を伴うことを決定することができる。ウェアラブルデバイスは、患者の医療記録にクセスし、手術が右脚部２２０４ｒ上で実施されるべきであることを確認することができる。ウェアラブルデバイスは、外科医に、焦点インジケータを提示し（仮想オブジェクト２２１０内に）、手術のための正しい脚部が右脚２２０４ｒであることを示すことができる。例えば、図２２Ａでは、ウェアラブルデバイスは、患者の右脚の画像２２１４ｒポインティングする矢印２２１６ａを表示し、これは、手術のための正しい脚部に関する視覚的インジケーションを外科医２２０２に提供する。
ウェアラブルデバイスは、外科医と患者の相互作用を監視することができる。外向きに面した結像システム４６４によって入手されたデータに基づいて、ウェアラブルデバイスは、外科医２２０２がメス２２０４を保持していることを検出することができる。図２２Ａにおける実施例では、メスは、正しい脚部である、右脚２２０４ｒ上で操作されている。
図２２Ａに示される実施例とは対照的に、図２２Ｂに示される実施例では、患者の左脚２２０４ｌが、手術のための正しい脚部である（仮想オブジェクト２２１０内の左脚２２１４ｌをポインティングする矢印２２１６ｂによって示されるように）。本実施例では、ウェアラブルデバイスは、メスが右脚２２０４ｒ上で操作されている、またはメスが患者の右脚２２０４ｒに向かって移動していることを決定する。例えば、ウェアラブルデバイスの外向きに面した結像システムは、患者の下肢を結像し、コンピュータビジョン技法を使用して、患者の四肢、外科医の手の位置、外科医の手中のメスの存在および場所等を識別することができる。ウェアラブルデバイスは、外科医が、図２２Ｂでは、外科手術のための正しい脚部ではない、患者の右脚２２０４ｒ上で手術を行おうとしている（または行っている）ことを決定することができる。ウェアラブルデバイスは、外科医２２０２が右脚２２０４ｒ上で手術を行うべきではないことの視覚的アラート警告２２１８を提示することができる。アラートは、外科医２２０２に誤った脚部上で手術を行おうとしていることを知らせる、メッセージを含んでもよい。アラート警告２２１８は、患者の左脚２２０４ｌの近傍に現れるように提示され、左脚２２０４ｌが正しい脚部であることを強調することができる。他の実施形態では、アラート警告２２１８は、患者の右脚２２０４ｒにわたって表示され、それによって、少なくとも部分的に、正しくない脚部の外科医のビューをオクルードしてもよく、これは、問題が生じている場合があることの付加的視覚的インジケーションを外科医に提供する。いくつかの実施形態では、アラートはまた、外科医の過誤を補正するための推奨される措置（例えば、外科医左脚２２０４ｌ上で手術を行うべきであることのリマインダ等）を含む。加えて、または代替として、アラートは、焦点インジケータを含んでもよい。例えば、矢印２２１６ｂは、色を変化させる（例えば、緑色から赤色に）、または左脚２２０４ｌが正しい脚部であることを強調し得るように点滅し始めてもよい。アラート警告２２１８は、可聴アラートを伴ってもよく、例えば、ウェアラブルデバイスのスピーカシステムは、図２２に示されるメッセージを再生し、外科医が患者の正しくない脚部上で手術を行う試みを継続しないことを確実にすることに役立ててもよい。本実施例は、患者の脚部上の手技を説明するが、これは、例証のためのものであって、本明細書に説明されるアラート警告の範囲を限定することを意図するものではない。さらに、アラートの使用は、外科手術に限定されず、他のＨＣＰによって使用されるウェアラブルデバイスに提供されることもできる（例えば、実際には左腰痛を訴えているとき、患者上で皮膚発疹を検査するように試みる、検査医師にアラートするため（例えば、図１５参照））。
（ユーザと関連付けられたコンテキスト情報）
コンテキスト情報は、ウェアラブルデバイスのユーザに特有である情報を含むことができる。複数のユーザが、同一ウェアラブルデバイスを使用してもよいため、ウェアラブルデバイスは、ユーザに特有であるコンテキスト情報を決定するために、ユーザの識別を照合する必要があり得る。ウェアラブルデバイスは、図１４Ａおよび１４Ｂを参照して説明される種々の技法を使用して、ユーザの識別を決定および照合することができる。実施例として、ウェアラブルデバイスは、ユーザプロファイルを作成し、医療データ記憶装置１２２２内に記憶することができる。ウェアラブルデバイスが、ユーザによって作動されると、ウェアラブルデバイスは、ユーザのバイオメトリック情報を取得する、またはユーザにユーザの識別を照合するためのある入力を提供するように要求することができる。バイオメトリック情報またはユーザ入力に基づいて、ウェアラブルデバイスは、適切なプロファイルにアクセスし、ユーザのアクセス権限を決定することができる。プロファイルは、例えば、氏名、生年月日、卒業学校名、卒業年、専門分野、病院情報、アクセス権限等、ユーザについての情報を含むことができる。
有利には、いくつかの実施形態では、プロファイルは、ユーザの音声特性またはユーザの眼特性（例えば、虹彩または網膜パターン）を含む。ウェアラブルデバイスは、内向きに面した結像システム４６２（例えば、眼追跡カメラ）によって入手されたデータに基づいて、人物の眼特性を収集および分析することができる。例えば、人物の眼の画像は、セグメント化され、虹彩を識別することができ、次いで、虹彩コードが、生成されることができ、これは、人物を一意に識別する。ウェアラブルデバイスは、ウェアラブルデバイスによって収集された眼特性とプロファイル内の眼特性を合致させることができる。ウェアラブルデバイスが、合致が存在することを決定する場合、ウェアラブルデバイスは、ユーザの識別が照合されたことを決定することができる。ウェアラブルデバイスが、合致を見出さない場合、ウェアラブルデバイスは、アラートを生成し、ユーザがウェアラブルデバイスを使用することを認可されていないことを示すことができる。ユーザは、次いで、異なる識別方法を試みることができる。いくつかの実施形態では、ウェアラブルデバイスは、通知をウェアラブルデバイスを使用することを認可された１人以上のユーザに送信してもよい。通知は、非認可アクセスのデータ、時間、または場所を含むことができる。ウェアラブルデバイスはまた、非認可アクセスに関する通知を患者の医療記録内に記憶してもよい。
開心外科手術の間、ユーザの情報に基づいて仮想コンテンツを提示する実施例として、ＨＣＰのウェアラブルデバイスは、ＨＣＰの姿勢（例えば、視線方向等）を分析し、ＨＣＰが現在相互作用しているオブジェクトを決定することができる。例えば、ＨＣＰが、長時間周期（例えば、５分、１０分等）にわたって、心臓ではなく、手術室の窓を凝視している場合、ウェアラブルデバイスは、ユーザの注意が散漫であることを決定してもよい。その結果、ウェアラブルデバイスは、ＨＣＰの注意を外科手術に戻すようにアラートを生成することができる。いくつかの実施形態では、ウェアラブルデバイスは、外科手術の間の全てのアラートをコンパイルし、報告を生成する。
ユーザの情報に基づいて仮想コンテンツを提示する別の実施例として、ウェアラブルデバイスは、ユーザが受付係であって、その職務が予約のスケジューリングを伴うことを決定することができる。故に、ウェアラブルデバイスは、予約スケジューリングツールを３Ｄユーザインターフェース上に自動的に提示することができる。しかしながら、医師が、同一ウェアラブルデバイスを使用するとき、ウェアラブルデバイスは、予約をスケジューリングするためのツールではなく、医師の週間スケジュールを提示してもよい。
図２３は、ユーザの場所に基づいて仮想コンテンツを提示する実施例を図示する。ユーザの場所は、ウェアラブルデバイスの１つ以上の環境センサに基づいて決定されてもよい。例えば、ウェアラブルデバイスは、ＧＰＳによって入手されたデータに基づいて、ユーザの場所を決定することができる。ウェアラブルデバイスはまた、外向きに面した結像システムによって入手された画像に基づいて、ユーザの場所を決定することができる。例えば、ウェアラブルデバイスは、コンピュータビジョンアルゴリズムを使用して、建物を検出することができる。ウェアラブルデバイスはさらに、画像が単語「病院」を伴う看板または他の特性目印を含むため、建物が病院であることを決定することができる。
図２３は、２つの場面２３１０および２３３０を示す。場面２３１０の場所は、病院２３１２である一方、場面２３３０の場所は、診療所２３１４である。ユーザ２３０２は、両場面において、ウェアラブルデバイスを装着している。
実施例として、ユーザ２３０２は、患者であってもよい。場面２３１０では、ウェアラブルデバイスの場所センサ（例えば、ＧＰＳ等）は、患者の場所データを入手することができる。ウェアラブルデバイスは、場所データを処理し、ユーザが病院２３１２に居ることを決定することができる。ウェアラブルデバイスは、例えば、保健医療データベースシステム１２２０と通信することによって、患者の仮想医療記録にアクセスすることができる。ウェアラブルデバイスは、患者の仮想医療記録を分析し、患者が病院２３１２において手術がスケジューリングされていることを決定することができる。故に、ウェアラブルデバイスは、病院２３１２の建物マップを提示することができ、これは、手術室までの経路を含む。医師が、建物の内側に移動するにつれて、ウェアラブルデバイスは、ウェアラブルデバイスの外向きに面した結像システム４６４（またはＧＰＳデータ）によって入手されたデータを分析し、病院の内側の医師の位置を決定し、適宜、経路情報を更新することができる。ウェアラブルデバイスはまた、手術室の情報２３２０を３Ｄディスプレイ上に提示することができる。例えば、ウェアラブルデバイスは、例えば、手技のリスク等の手技に関する情報を３Ｄディスプレイ上に提示することができる。
場面２３３０では、ウェアラブルデバイスは、ユーザの場所情報に基づいて、患者が診療所２３１４に居ることを決定することができる。ウェアラブルデバイスは、故に、例えば、予約の時間および患者が診療所２３１４において診察を受けるであろう医師等、診療所２３１４における患者のスケジューリング情報を表示することができる。
別の実施例として、ユーザ２３０２は、病院２３１２および診療所２３１４に勤務している、医師であってもよい。医師が、病院２３１２に居るとき、ウェアラブルデバイスは、医師が手術室Ａにおいて外科手術を実施するであろうことを決定することができる。故に、ウェアラブルデバイスは、手術室Ａの情報（例えば、手術室内の医療機器等）を提示することができる。ウェアラブルデバイスはまた、医師の現在の場所から手術室Ａまでのマップまたは経路情報を提示することができる。ウェアラブルデバイスはまた、患者に、医師が手術を行うであろうことを知らせることができる。患者情報は、病院のネットワーク（例えば、病院のサーバ）上、ファイルキャビネット内、または保健医療データベースシステム１２２０内に記憶されてもよい。ウェアラブルデバイスは、患者のファイルの記憶場所を自動的に識別し、記憶場所からファイルにアクセスすることができる。患者のファイルがファイルキャビネット内に記録されている、いくつかの実施形態では、ウェアラブルデバイスは、患者のファイルの場所のインジケーションを提供し、医師が患者のファイルを見出すことに役立ててもよい。
医師が、そのウェアラブルデバイスを診療所２３１４においてオンにすると、ウェアラブルデバイスは、医師の現在の場所が診療所２３１４である（病院２３１２ではなく）ことを検出することができる。ウェアラブルデバイスは、診療所のデータベースと通信し、例えば、医師が診察を行うであろう患者、医師が診療所で実施するであろう手技、検査室、営業時間後に診療所で受信されたボイスメールメッセージ等、医師の案件の関連情報を読み出すことができる。ウェアラブルデバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標）または無線技術を使用して、診療所のクラウドネットワークと通信することによって、関連情報を取得することができる。医師の案件の情報は、前日にアシスタントによってクラウドネットワークにアップロードされてもよい。
場所情報に基づいて仮想コンテンツを提示する別の実施例として、ウェアラブルデバイスは、ユーザの環境およびユーザが病院内の具体的手術室の中に進入したことを監視することができる。ウェアラブルデバイスは、本特定の手術室と関連付けられた世界マップ９２０（例えば、内部外科ユニットマップ等）にアクセスし、手術室と関連付けられたオブジェクトを決定することができる。本手術室の世界マップは、複数のユーザによって作成および更新されてもよい。世界マップの更新および構築に関する詳細は、図９および１７を参照して説明される。ウェアラブルデバイスはまた、例えば、次の手技に関する時間および患者等、本特定の手術室のためのデフォルトパラメータを表示することができる。ウェアラブルデバイスは、病院ネットワークにアップロードされた看護師のスケジュールにアクセスし、本特定の手術室のデフォルトパラメータを決定することができる。
（コンテキスト情報に基づいて仮想コンテンツにアクセスし、それを提示する例示的プロセス）
図２４は、コンテキスト情報に基づいて仮想コンテンツにアクセスし、それを提示するための例示的プロセス２４００を図示する、フローチャートである。プロセス２４００は、ウェアラブルデバイスによって実施されてもよい。
ブロック２４１０では、ウェアラブルデバイスが、ウェアラブルデバイスの１つ以上の環境センサによって入手されたデータにアクセスする。入手されたデータは、ユーザまたはユーザの環境と関連付けられたデータを含んでもよい。
ブロック２４２０では、ウェアラブルデバイスは、少なくとも、１つ以上の環境センサによって入手されたデータの分析に基づいて、コンテキスト情報を決定する。コンテキスト情報は、ＨＣＰ、患者、仮想医療記録、検査または手術室、検査または手術室内のオブジェクト、ウェアラブルデバイスのユーザの場所、ユーザと患者との間の相互作用等と関連付けられた情報を含んでもよい。いくつかの実施形態では、ウェアラブルデバイスはまた、遠隔データリポジトリ２８０または保健医療データベースシステム１２２０内のデータにアクセスし、アクセスされたデータに基づいて、コンテキスト情報を決定することができる。
ブロック２４３０では、ウェアラブルデバイスは、少なくとも部分的に、コンテキスト情報に基づいて、ウェアラブルデバイスのユーザのためのＦＯＲと関連付けられた仮想オブジェクトを識別する。仮想オブジェクトは、ユーザ間で共有される仮想コンテンツ、患者の医療記録内の過去の試験結果、ユーザと患者との間の相互作用のドキュメント化、ユーザのスケジューリング情報等を含んでもよい。例えば、ウェアラブルデバイスは、ユーザの現在の場所を決定し、現在の場所と関連付けられた仮想オブジェクトを識別することができる。
ブロック２４４０では、ウェアラブルデバイスは、仮想オブジェクトのうちの１つ以上のものをユーザのＦＯＶ内に提示することができる。例えば、医師が病院に居るとき、医師のＦＯＲと関連付けられた仮想オブジェクトは、病院のマップ（またはある場所までの経路）およびその日の医師のスケジュールを含んでもよい。しかしながら、ウェアラブルデバイスは、その日の医師のスケジュールのみをＦＯＶ内に提示してもよい。医師が、病院のマップを閲覧することを所望する場合、医師は、ユーザ入力デバイス４６６を作動させる、または姿勢を使用することができる。
随意に、ウェアラブルデバイスは、ブロック２４５０において、コンテキスト情報に基づいて、アラートを生成するための閾値条件が満たされるかどうかを決定することができる。閾値条件は、医療手技における過誤を含んでもよい。例えば、ウェアラブルデバイスは、患者上で実施される外科手術の標準ステップを決定することができる。標準ステップは、プロセスＡ、Ｂ、およびＣを含んでもよい。ウェアラブルデバイスは、外科医のアクションを監視し、外科医がプロセスＢをスキップしたことを検出することができる。プロセスＢが欠けていることの検出に応答して、ウェアラブルデバイスは、閾値条件が満たされたことを決定することができる。別の実施例として、ウェアラブルデバイスは、手術が患者の右脚２２０４ｒ上で行われるべきであるとき、外科医のメスが患者の左脚２２０４ｌまでの閾値距離未満であると、閾値条件が満たされたことを決定することができる。
閾値条件が、随意のブロック２４６０において満たされる場合、ウェアラブルデバイスは、アラートをウェアラブルデバイスのユーザに提示することができる。アラートは、過誤、閾値条件、または過誤の補正措置等を示す、焦点インジケータまたはアラートメッセージを含んでもよい。
閾値条件が、満たされない場合、プロセス２４００は、ブロック２４１０に戻る。
（医療器具を追跡する実施例）
ＨＣＰは、医療手技または検査の際に関わる医療器具を追跡する必要があり得る。器具追跡は、外科手術／検査の際に関わる医療器具を計数する、または異物（例えば、医療器具）が患者の滅菌領域に進入した、またはそこから退出したかどうかを把握することを含むことができる。正しい医療器具が使用されたかどうか、または医療器具が正しい位置にあるかどうかを把握することは、医療過誤を回避し、健康医療の品質を改良するために非常に重要である。例えば、外科医は、ある器具を要求し得るが、異なるものが、看護師によって手渡される。その結果、外科医は、誤った器具を患者上で使用し得、これは、医療事故を生じさせ得る。別の実施例として、患者は、器具が誤算される場合、その手術からの異物（例えば、ガーゼ、医療用布、携帯電話等）とともに閉鎖され得る。
これらの問題を改善するために、現在の技法は、手術室の中に進入した全ての器具を計数し（例えば、看護師等によって）、器具（およびその場所／機能）が、外科手術の終了時に適切に考慮されていることを確実にすることを含む。しかしながら、医療手技における器具追跡は、看護師にとって手間のかかるタスクである。加えて、現在の技法は、複数のＨＣＰ（例えば、複数の外科医、看護師等）が手術の際に関わり得るため、エラーを被りやすい。全員のアクションおよび医療器具の使用を考慮することは、困難であり得る。さらに、手術室の環境は、ＨＣＰにとって、高ストレスであって、時間的制約があり、かつ疲労困憊させ得るものである。したがって、ＨＣＰは、手術室内の医療器具のうちのいくつかを偶発的に忘れ得る。
これらの問題を回避し、既存の技法を改良するために、ウェアラブルデバイスは、１つ以上の環境センサを使用して、ユーザの環境内の医療器具を識別し、医療器具が正しい位置にあるかどうかを決定することができる（例えば、外科手術後、患者の腹部の内側ではなく）。ウェアラブルデバイスはまた、１つ以上のセンサによって入手されたデータに基づいて、正しい医療器具が滅菌野の中に進入したかどうかを決定することができる。
（医療器具を識別および追跡する実施例）
ウェアラブルデバイスは、単独で、または遠隔データリポジトリ２８０内に記憶されるデータと組み合わせて、１つ以上の環境センサによって入手されたデータを使用して、異物（例えば、医療器具）を識別し、異物と関連付けられた意味論情報を決定することができる。例えば、ウェアラブルデバイスは、外向きに面した結像システム４６４を使用して、ユーザの環境の画像を取得することができる。オブジェクト認識装置７０８は、画像内の医療器具を検出することができる。ウェアラブルデバイスはまた、遠隔データリポジトリ２８０と通信し（またはローカル処理データモジュール２６０を使用して）、例えば、器具の名称、タイプ、用途、機能、器具が器具のセット内にあるかどうか等、検出された医療器具と関連付けられた意味論情報を決定することができる。
ウェアラブルデバイスはまた、医療器具を識別するために、１つ以上の光学センサを使用することができる。例えば、医療器具は、例えば、クイックレスポンスコード（ＱＲ）またはバーコード等の光学ラベルを含んでもよい。光学ラベルは、医療器具の外部表面上に設置されてもよい。光学ラベルは、医療器具の識別（例えば、医療器具と関連付けられた識別子等）をエンコードしてもよい。光学ラベルはまた、医療器具と関連付けられた意味論情報をエンコードしてもよい。ウェアラブルデバイスの１つ以上の光学センサは、光学ラベルを走査することができる。ウェアラブルデバイスは、光学ラベル内にエンコードされた情報を解析することができる。いくつかの実施形態では、ウェアラブルデバイスは、遠隔データリポジトリ２８０と通信し、光学ラベルの付加的情報を取得することができる。例えば、ウェアラブルデバイスは、医療器具の識別子を抽出し、遠隔データリポジトリと通信し、医療器具の意味論情報を得ることができる。ウェアラブルデバイスはまた、電磁追跡センサを組み込む。または利用して、環境内のオブジェクトの場所を追跡してもよい。
光学ラベルに加えて、またはその代替として、医療器具はまた、例えば、ＲＦＩＤタグ等の電磁ラベルを有してもよい。電磁ラベルは、ウェアラブルデバイスによって検出され得る、信号を放出することができる。例えば、ウェアラブルデバイスは、ある周波数を伴う信号を検出することが可能であるように構成されてもよい。いくつかの実装では、ウェアラブルデバイスは、信号を医療器具に送信することができる。医療器具から受信されたフィードバックに基づいて、ウェアラブルデバイスは、医療器具を識別することができる。ウェアラブルデバイスは、有線または無線ネットワークを介して、医療器具と通信してもよい。
いくつかの実施形態では、ウェアラブルデバイスが、医療器具を識別すると、ウェアラブルデバイスは、焦点インジケータを医療器具の近傍に提供してもよい。例えば、ウェアラブルデバイスは、医師の隣のガーゼを識別し、緑色後光をガーゼの周囲に表示することができる。ウェアラブルデバイスは、医療器具の意味論情報に基づいて、焦点インジケータを割り当てることができる。例えば、ウェアラブルデバイスは、緑色後光をガーゼの周囲に割り当てる一方、青色後光をメスの周囲に割り当てることができる。
ウェアラブルデバイスは、１つ以上の環境センサによって入手されたデータに基づいて、医療器具の位置を追跡することができる。例えば、ウェアラブルデバイスは、外向きに面した結像システム４６４によって入手されたデータに基づいて、医療器具の位置を経時的に決定することができる。実施例として、ウェアラブルデバイスは、時間１において、メスをトレイ内で識別し、後の時間において、同一メスを外科医の手中で識別することができる。有利には、いくつかの実施形態では、器具追跡は、各ウェアラブルデバイスが、限定されたＦＯＶを有し得、手術室全体を観察することができないため、複数のウェアラブルデバイスから収集されたデータに基づいて達成されてもよい。例えば、メスは、看護師のウェアラブルデバイスによって入手された画像に基づいて、時間１では、トレイ内に現れ得る。メスの位置は、後に、外科医のウェアラブルデバイスによって入手された画像に基づいて、外科医の手中にあるように更新され得るが、看護師のウェアラブルデバイスは、外科医がメスを取り上げたことを知覚していない場合がある。
実施例は、医療器具を識別および追跡することを参照して説明されるが、類似技法もまた、携帯電話、ペン等の他の物理的オブジェクトに適用されることができる。
（滅菌領域内のオブジェクトを識別する実施例）
図２５は、滅菌領域２５１０を有する手術室内で生じる医療手技の実施例を図式的に図示する。本実施例では、２人の外科医２５０４および２５０６が、手技の際に関わる。２人の外科医は、外科手術を実施する間、その個別のウェアラブルデバイスを装着し得る。
滅菌領域（滅菌野とも称される）２５１０は、物理的環境またはユーザのＦＯＲ内のユーザ定義エリアであってもよい。滅菌領域２５１０は、外科手術に先立って消毒された患者（または手術室）の領域と関連付けられてもよい。例えば、滅菌領域２５１０は、外科手術中に切断されるであろう、または切断されて開放されている、領域であってもよい。
ウェアラブルデバイスは、手術室の世界マップ９２０をＨＣＰ（例えば、外科医２５０４、２５０６、看護師、または別のＨＣＰ等）に提示することができる。ＨＣＰは、世界マップ９２０上に、滅菌領域２５１０である手術室内の領域をマークすることができる。いくつかの実施形態では、ウェアラブルデバイスは、患者の仮想医療記録または外科手術と関連付けられた情報に自動的にアクセスし、滅菌領域を決定することができる。滅菌領域２５１０の一部は、外科医２５０４のＦＯＶの一部または外科医２５０６のＦＯＶの一部と重複してもよい。
外科医２５０４は、仮想オブジェクト２５２０、２５１２、２５１４、２５１８および医療器具２５３０をそのＦＯＲ内で知覚することができる。本実施例では、医療器具２５３０もまた、滅菌領域２５１０内にあって、これは、外科医２５０４のＦＯＲの一部であってもよい。仮想オブジェクト２５１２、２５１４、２５１８は、患者の仮想医療記録、患者の生理学的データ（心拍数、呼吸数等）、外科手術と関連付けられた情報（例えば、外科医のステップ、手術されている器官の拡大図等）等と関連付けられてもよい。仮想オブジェクト２５２０は、滅菌領域２５１０内の医療器具２５３０のリストを含む。医療器具２５３０は、２つの器具Ａ、１つの器具Ｂ、１つの器具Ｃ、１つの器具Ｄ、および２つのスポンジを含むことができる。
外科医２５０４は、そのＦＯＶ内において、そのＦＯＲ内の仮想および物理的オブジェクトの少なくともサブセットを知覚することができる。例えば、外科医２５０４が、患者上で手術を行っている間、外科医２５０４は、そのウェアラブルデバイスの３Ｄユーザインターフェースを介して、仮想オブジェクト２５１４および２つのスポンジを知覚することができる。ウェアラブルデバイスは、ＦＯＶ内の物理的オブジェクトを監視することができる。例えば、外科医２５０４のウェアラブルデバイスは、常に、外科医の２５０４ＦＯＶ内の認識されたオブジェクトを走査することができる。ウェアラブルデバイスはまた、ＦＯＶの中に進入する新しいオブジェクトを走査することができる。例えば、手技の間、外科医は、メスをＦＯＶの内側に持って来る可能性がある。ウェアラブルデバイスは、メスがそのＦＯＶの中に進入したことを検出することができる。本メスが、ウェアラブルデバイスによって以前に識別されていない場合、ウェアラブルデバイスは、コンピュータビジョン技法を使用する、またはメスと関連付けられた光学／電磁ラベルを走査し、新しいオブジェクトがＦＯＶに進入したことを認識することができる。
（正しい医療器具が使用されていることを確認する実施例）
ウェアラブルデバイスは、滅菌領域（またはＨＣＰのＦＯＶ）の中に進入した医療器具が正しい医療器具であるかどうかを確認することができる。ウェアラブルデバイスは、１つ以上の環境センサによって入手されたデータに基づいて、そのような確認を実施することができる。例えば、ウェアラブルデバイスは、マイクロホン２３２を使用して、オーディオデータを収集することができる。ＨＣＰのウェアラブルデバイスは、オーディオデータを分析し、オーディオデータ内で述べられた医療器具を識別することができる。ウェアラブルデバイスはまた、ＨＣＰのＦＯＶの中に進入したオブジェクトを監視し、ＦＯＶの中に進入した医療器具がオーディオデータ内で識別された医療器具に合致するかどうかを決定することができる。ＦＯＶの中に進入した医療器具が、オーディオデータ内で識別された医療器具に合致しない場合、ウェアラブルデバイスは、アラートをＨＣＰに提供することができる。アラートは、焦点インジケータであってもよい。焦点インジケータは、ＦＯＶの中に進入した非合致医療器具の周囲に表示されてもよい。アラートはまた、アラートメッセージであってもよく、これは、非合致医療器具がＦＯＶの中に進入したことを説明する、簡単な説明を含むことができる。例えば、アラートは、非合致医療器具の名称および要求される正しい医療器具および誤った医療器具がＦＯＶの中に進入したことの陳述を含んでもよい。アラートは、ウェアラブルデバイスの３Ｄ仮想ユーザインターフェース上に提示される、またはウェアラブルデバイスのスピーカ２４０を介して提示されてもよい。
実施例として、外科医２５０４は、外科手術において、看護師に、メスを手渡すように求め得る。しかしながら、看護師は、鋏を手渡す。ウェアラブルデバイスは、発話認識を使用して、単語「メス」を識別し、医師がメスを要求したことを決定することができる。ウェアラブルデバイスはまた、コンピュータビジョン技法を使用して、鋏が看護師によって手渡されたことを検出することができる。鋏は、外科医によって要求されるメスではないため、ウェアラブルデバイスは、赤色後光を鋏の周囲に提供し、鋏が正しい医療器具ではないことを示すことができる。
ウェアラブルデバイスはまた、環境センサから入手されたデータおよび遠隔データリポジトリ２８０（またはデータをからローカル処理およびデータモジュール２６０）からアクセスされるデータに基づいて、正しい医療器具がＦＯＶまたは滅菌領域の中に進入したかどうかを確認することができる。遠隔データリポジトリ２８０は、あるタイプの外科手術において使用される外科手術器具のセットに関する情報を含んでもよい。外科手術器具のセットに関する情報は、外科手術のそのタイプにおいて使用される外科手術器具のタイプ、名称、数量、位置、機能等を含んでもよい。器具についての情報はまた、患者カルテにアップロードされることができる（例えば、部品番号および製造業者情報等とともに、使用されたステント、挿入されたインプラント）。そのような情報は、患者の医療記録内の手技ファイルに追加されることができる。
ウェアラブルデバイスは、患者の仮想医療記録に基づいて、患者上で実施されるであろう、または実施されている、外科手術のタイプを決定することができる。ウェアラブルデバイスは、遠隔データリポジトリ２８０内に記憶されるデータに基づいて、外科手術のタイプと関連付けられた外科手術器具のセットを識別することができる。ウェアラブルデバイスはまた、入手された画像に基づいて、滅菌領域内の外科手術器具を識別し、滅菌領域が外科手術器具の識別されたセットに属していない外科手術器具を含むかどうかを決定することができる。外科手術の間、ウェアラブルデバイスは、滅菌領域または個別の外科医２５０４、２５０６のＦＯＶの中に進入した（またはそこから退出した）オブジェクトを持続的に監視し、仮想オブジェクト２５２０上の外科手術器具のリストを更新し、誤った外科手術器具が滅菌領域（またはＦＯＶ）の中に進入した場合、外科医２５０４、２５０６にアラートすることができる。
実施例として、虫垂切除術のための外科手術器具のセットは、種々の鋏、鉗子、開創器、薬壷、膿盆、布鉗子等を含んでもよい。図２５に示される滅菌領域２５１０内の医療器具２５３０は、２つの鋏、１つの鉗子、１つの開創器、および１つの骨鋭匙を含んでもよい。ウェアラブルデバイスは、仮想オブジェクト２５２０によって示されるように、滅菌領域２５１０内の外科手術器具のリストを提示することができる。しかしながら、骨鋭匙は、虫垂切除術のための外科手術ツールのセット内にはない。その結果、ウェアラブルデバイスは、アラートを外科医２５０４に提供し、骨鋭匙が滅菌領域２５１０に進入したことを示してもよい。例えば、ウェアラブルデバイスは、語句「骨鋭匙」を異なる色で仮想オブジェクト２５２０上に示すことができる。アラートメッセージに応答して、外科医は、骨鋭匙を滅菌領域２５１０から除去することができる。いったんウェアラブルデバイスが、骨鋭匙が滅菌領域外に移動されたことを観察すると、ウェアラブルデバイスは、語句「骨鋭匙」を仮想オブジェクト２５２０から除去することができる。
（滅菌領域内の医療器具を追跡および計数する実施例）
ウェアラブルデバイスは、１つ以上の環境センサおよびローカル処理およびデータモジュール２６０を使用して、滅菌領域２５１０に進入し、そこから退出したオブジェクトを追跡することができる。いくつかの実施形態では、ウェアラブルデバイスはまた、遠隔処理モジュール２７０および遠隔データリポジトリ２８０と通信し、医療器具を追跡および計数することができる。
例えば、ウェアラブルデバイスは、滅菌領域２５１０内の医療器具をリストにすることができる。ウェアラブルデバイスが、医療器具が滅菌領域の中に進入したことを検出する場合、ウェアラブルデバイスは、医療器具をリストに追加することができる。医療器具が、滅菌領域から除去される場合、ウェアラブルデバイスは、除去された医療器具をリストから外すことができる。ウェアラブルデバイスは、図２５に示される仮想オブジェクト２５２０を使用して、滅菌領域内の器具の現在のリストを提示することができる。いくつかの実装では、ウェアラブルデバイスは、１つ以上の焦点インジケータを表示し、ユーザによって現在使用されている医療器具が滅菌領域内（または外）にあることを示すことができる。
医療器具の追跡と関連付けられたデータは、分析され、滅菌領域の中に進入した全ての器具が適切に考慮されたかどうかを決定してもよい。例えば、ウェアラブルデバイスは、滅菌領域内の全ての医療器具滅菌領域から退出したかどうかを決定することができる。滅菌領域から退出していない医療器具に関しては、ウェアラブルデバイスは、それらが滅菌領域内に残されるべきであるかどうかを決定することができる。実施例として、追跡データに基づいて、ウェアラブルデバイスは、ガーゼおよび外科手術用糸が、外科手術の終了時に、依然として、滅菌領域内にあることを識別してもよい。ウェアラブルデバイスはさらに、外科手術縫合が、外科手術後、身体組織をともに保持するために使用されたため、外科手術用糸の位置が適切であることを決定することができる。しかしながら、外科医が患者を閉鎖した後、患者の身体の内側に残されるべきではないため、ガーゼの位置は、適切ではない。その結果、ウェアラブルデバイスは、アラートを外科医２５０４に提供し、ガーゼが、依然として、滅菌領域内にあることを示してもよい。
複数のウェアラブルデバイスが、集合的に、医療器具が滅菌領域２５１０に進入またはそこから退出したことの正確度を維持するために使用されてもよい。例えば、遠隔コンピューティングシステム１７２０（図１７に示される）は、滅菌野内の器具のリストを維持することができる（仮想オブジェクト２５２０によって示されるように）。遠隔コンピューティングシステム１７２０は、外科医２５０４のウェアラブルデバイスおよび外科医２５０６のウェアラブルデバイスによって入手されたデータに基づいて、器具のリストを更新することができる。複数のウェアラブルデバイスからのデータに基づく器具追跡は、複数のユーザが医療器具を滅菌野内外に持ち込み得るため、有益であり得る。加えて、ユーザのウェアラブルデバイスのＦＯＶは、滅菌領域２５１０の一部のみを網羅し得、滅菌領域２５１０内の全てのオブジェクトを追跡することが不可能である場合がある。さらに、ユーザが、滅菌領域２５１０から眼を逸らす、または手術室から離れ得るとき、滅菌領域２５１０と相互作用する他のユーザが、滅菌領域２５１０に進入またはそこから退出する医療器具を追跡し続けることができる。
実施例は、医療器具を参照して説明されるが、類似技法もまた、他の物理的オブジェクトを識別、追跡、および確認するために使用されることができる。例えば、ウェアラブルデバイスは、携帯電話を識別し、携帯電話の位置を追跡し、携帯電話が患者の身体の内側に偶発的に残されないことを確実にすることができる。さらに、実施例は、滅菌領域を使用して説明されるが、類似技法もまた、例えば、手術室またはＨＣＰのＦＯＶ等の他の領域内のオブジェクトを監視および追跡するために使用されることができる。
（医療器具を追跡する例示的プロセス）
図２６は、滅菌領域内の医療オブジェクトを追跡する例示的プロセス２６００を図示する、フローチャートである。例示的プロセス２６００は、単独で、または遠隔コンピューティングシステム１７２０と組み合わせて、ウェアラブルデバイス２１０によって実施されてもよい。ウェアラブルデバイス２１０は、装着可能デバイスであってもよい。
ブロック２６１０では、ウェアラブルデバイスは、ウェアラブルデバイスと関連付けられたＦＯＲ内の滅菌領域を識別する。滅菌領域は、例えば、データベースシステム１２２０または遠隔データリポジトリ２８０等の外部データベースから取得されるデータに基づいて、決定されることができる。例えば、滅菌領域は、手術室と関連付けられた病院プロトコル、患者上で実施される外科手術のタイプ、患者の身体等に基づいて、決定されてもよい。滅菌領域はまた、ＨＣＰによってマークされることができる。
ブロック２６２０では、ウェアラブルデバイスは、滅菌領域の中に進入したオブジェクトを識別することができる。ウェアラブルデバイスは、１つ以上の環境センサから入手されたデータを使用して、オブジェクトを識別することができる。例えば、ウェアラブルデバイスは、コンピュータビジョンアルゴリズムを使用してオブジェクトを検出する、またはオブジェクトと関連付けられた光学ラベルを走査することができる。
ブロック２６３０では、ウェアラブルデバイスは、オブジェクトと関連付けられた情報にアクセスすることができる。ウェアラブルデバイスは、遠隔データリポジトリ２８０または保健医療データベース管理システム１２２０と通信し、オブジェクトと関連付けられた意味論情報を決定することができる。例えば、オブジェクトと関連付けられた情報は、オブジェクトの名称、オブジェクトのタイプ、オブジェクトの位置等を含んでもよい。
ブロック２６４０では、ウェアラブルデバイスは、滅菌領域内のオブジェクトの位置を追跡することができる。例えば、ウェアラブルデバイスは、コンピュータビジョンアルゴリズムを使用して、メスがトレイから外科医の手に移動したことを検出することができる。
ウェアラブルデバイスは、滅菌領域の中に進入し、滅菌領域から退出した全てのオブジェクトの記録を付けることができる。例えば、ウェアラブルデバイスは、滅菌領域内に現在あるオブジェクトのリストを維持することができる。ブロック２６５０では、ウェアラブルデバイスは、滅菌領域内のオブジェクトと関連付けられた異常を検出することができる。ウェアラブルデバイスは、オブジェクトと関連付けられた情報または医療手技と関連付けられた情報（外科手術のタイプ、外科手術のために要求される外科手術器具等）に基づいて、検出を行うことができる。例えば、ウェアラブルデバイスは、滅菌領域がウェアラブルデバイスのユーザによって実施されている外科手術に関連しない医療器具を含むかどうかを決定することができる。ウェアラブルデバイスはまた、ウェアラブルデバイスのユーザが要求されない外科手術器具を受け取ったかどうかを決定することができる。
加えて、または代替として、ブロック２６６０では、ウェアラブルデバイスは、オブジェクトが滅菌領域に残されていることを検出することができる。例えば、ウェアラブルデバイスは、滅菌領域の第１の画像内の器具Ａ、Ｂ、およびＣを検出することができる。しかしながら、滅菌領域内の第２の画像では、ウェアラブルデバイスは、器具ＢおよびＣのみを検出する。故に、ウェアラブルデバイスは、器具Ａが滅菌領域に残されていることを決定し、器具Ａを滅菌領域内に現在あるオブジェクトのリストから除去することができる。
随意に、ブロック２６７０では、ウェアラブルデバイスは、オブジェクトが滅菌領域に残されている場合でも、ウェアラブルデバイスのＦＯＲ内のオブジェクトの位置を追跡し続けることができる。例えば、ウェアラブルデバイスは、針の位置を追跡することによって、針が適切に配置されたかどうかを決定することができる。
（付加的側面）
第１の側面では、仮想保健医療コンテンツを装着者に提示するように構成される、ウェアラブルデバイスであって、仮想コンテンツを装着者に提示するように構成される、ディスプレイであって、その少なくとも一部が、透明であって、装着者がウェアラブルデバイスを装着すると、透明部分が、装着者の正面の環境の一部からの光を装着者の眼に透過させ、装着者の正面の環境の一部のビューを提供するように、装着者の眼の正面の場所に配置される、ディスプレイと、ディスプレイと通信する、ハードウェアプロセッサであって、患者に関する患者医療記録の少なくとも一部と関連付けられたアクセス権限を受信し、少なくとも部分的に、アクセス権限に基づいて、患者医療記録の少なくとも一部にアクセスし、ディスプレイに、患者医療記録の少なくとも一部に関連する仮想コンテンツを装着者に提示するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第２の側面では、ウェアラブルデバイスは、装着者の眼の眼画像を捕捉するように構成される、内向きに面した結像システムを備え、プロセッサは、眼画像を分析し、バイオメトリック識別要素を決定し、バイオメトリック識別要素が装着者に関する認可されたバイオメトリック識別要素に合致することの確認を受信するようにプログラムされる、側面１に記載のウェアラブルデバイス。
第３の側面では、バイオメトリック識別要素は、虹彩走査または網膜走査を含む、側面２に記載のウェアラブルデバイス。
第４の側面では、ウェアラブルデバイスはさらに、装着者の場所を決定するためのセンサを備え、アクセス権限は、少なくとも部分的に、装着者の場所に基づく、側面１－３のいずれか１項に記載のウェアラブルデバイス。
第５の側面では、ウェアラブルデバイスはさらに、環境センサを備え、ハードウェアプロセッサは、環境データを環境センサから取得し、データ捕捉トリガを取得された環境データから認識し、ウェアラブルデバイス上に配置される少なくとも１つのデータ捕捉要素からのデータ捕捉を開始するようにプログラムされる、側面１－４のいずれか１項に記載のウェアラブルデバイス。
第６の側面では、環境センサは、マイクロホンを備え、環境データは、オーディオ記録を含み、データ捕捉トリガは、発話された開始コマンドを含む、側面５に記載のウェアラブルデバイス。
第７の側面では、環境センサは、外向きに面した結像システムを備え、環境データは、環境の画像を含み、データ捕捉トリガは、装着者によって行われるジェスチャを含む、側面５または側面６に記載のウェアラブルデバイス。
第８の側面では、ハードウェアプロセッサは、データ終了トリガを取得された環境データから認識し、少なくとも１つのデータ捕捉要素からのデータ捕捉を終了するようにプログラムされる、側面５－７のいずれか１項に記載のウェアラブルデバイス。
第９の側面では、データ捕捉要素は、マイクロホンまたは外向きに面した結像システムを備える、側面５－８のいずれか１項に記載のウェアラブルデバイス。
第１０の側面では、ハードウェアプロセッサは、仮想ユーザインターフェースを装着者に表示するようにプログラムされ、仮想ユーザインターフェースは、装着者が、データを患者医療記録の少なくとも一部に入力する、患者医療記録の少なくとも一部を更新する、患者医療記録の少なくとも一部を編成する、または変更を患者医療記録の少なくとも一部に保存することを可能にするための機能性を備える、側面１－９のいずれか１項に記載のウェアラブルデバイス。
第１１の側面では、ハードウェアプロセッサは、患者医療記録の少なくとも一部をデータ記憶装置に通信するようにプログラムされる、側面１－１０のいずれか１項に記載のウェアラブルデバイス。
第１２の側面では、データ記憶装置は、ウェアラブルデバイスの外部にあって、通信は、無線ネットワークを経由する、側面１１に記載のウェアラブルデバイス。
第１３の側面では、保健医療コンピューティング環境であって、側面１－１２のいずれか１項に記載のウェアラブルデバイスと、ウェアラブルデバイスと通信するように構成される、ネットワークインターフェースと、患者医療記録を記憶するように構成される、非一過性データ記憶装置とを備える、保健医療データベースシステムとを備える、保健医療コンピューティング環境。
第１４の側面では、ウェアラブルデバイスは、患者によって装着されるように構成され、環境はさらに、保健医療提供者（ＨＣＰ）ウェアラブルデバイスを備え、仮想コンテンツをＨＣＰに提示するように構成される、第２のディスプレイであって、その少なくとも一部は、透明であって、ＨＣＰがＨＣＰウェアラブルデバイスを装着すると、透明部分がＨＣＰの正面の環境の一部からの光をＨＣＰの眼に透過させ、ＨＣＰの正面の環境の一部のビューを提供するように、ＨＣＰの眼の正面の場所に配置される、ディスプレイと、環境センサと、第２のディスプレイと通信する、第２のハードウェアプロセッサであって、環境センサからのデータを分析するように構成される、オブジェクト認識装置と、ＨＣＰが患者医療記録の少なくとも一部にアクセスすることを可能にするように構成される、データ管理システムとを含むようにプログラムされる、第２のハードウェアプロセッサとを備える、側面１３に記載の保健医療コンピューティング環境。
第１５の側面では、アクセス権限は、読取権限または編集権限を含む、側面１－１４のいずれか１項に記載のウェアラブルデバイス。
第１６の側面では、ハードウェアプロセッサは、患者医療記録の少なくとも一部へのアクセス試行をアクセスログ内に記憶するようにプログラムされる、側面１－１５のいずれか１項に記載のウェアラブルデバイス。
第１７の側面では、ハードウェアプロセッサは、装着者の識別を照合するようにプログラムされる、側面１－１６のいずれか１項に記載のウェアラブルデバイス。
第１８の側面では、装着者の識別を照合するために、ハードウェアプロセッサは、虹彩コードまたは網膜走査を利用するようにプログラムされる、側面１７に記載のウェアラブルデバイス。
第１９の側面では、装着者の識別が照合されないことに応答して、ハードウェアプロセッサは、患者医療記録の少なくとも一部へのアクセスを否認するようにプログラムされる、側面１７または１８のいずれか１項に記載のウェアラブルデバイス。
第２０の側面では、装着者の識別が照合されないことに応答して、ハードウェアプロセッサは、患者医療記録の一部の表示を中止するようにプログラムされる、側面１７－１９のいずれか１項に記載のウェアラブルデバイス。
第２１の側面では、保健医療設定におけるユーザの環境を監視する方法であって、仮想コンテンツをウェアラブルデバイスのユーザに提示するように構成される、ディスプレイと、環境センサと、ディスプレイおよび環境センサと通信する、ハードウェアプロセッサとを備える、ウェアラブルデバイスの制御下で、環境センサによって入手されたデータを分析し、開始条件を検出するステップと、開始条件が存在することを決定するステップと、環境センサを使用して、保健医療事象をドキュメント化し、保健医療ドキュメント化を提供するステップと、環境センサによって入手されたデータを分析し、終了条件を検出するステップと、終了条件が存在することを決定するステップと、環境センサを使用した保健医療事象のドキュメント化を中止するステップとを含む、方法。
第２２の側面では、環境センサは、マイクロホンまたは外向きに面した結像システムを備える、側面２１に記載の方法。
第２３の側面では、環境センサは、第１の環境センサと、第１の環境センサと異なる、第２の環境センサとを備え、環境センサによって入手されたデータを分析し、開始条件を検出するステップは、第１の環境センサによって入手されたデータを分析するステップを含み、環境センサを使用して、保健医療事象をドキュメント化するステップは、第２の環境センサを使用して、保健医療事象をドキュメント化するステップを含む、請求項２１または請求項２２に記載の方法。
第２４の側面では、環境センサは、外向きに面した結像システムを備え、保健医療事象をドキュメント化するステップは、保健医療事象のビデオ記録を捕捉するステップを含む、側面２１－２３のいずれか１項に記載の方法。
第２５の側面では、環境センサは、マイクロホンを備え、保健医療事象をドキュメント化するステップは、保健医療事象のオーディオ記録を捕捉するステップを含む、側面２１－２４のいずれか１項に記載の方法。
第２６の側面では、保健医療事象をドキュメント化するステップは、オーディオ記録を分析し、患者によって患者状態について発話された情報を決定するステップを含む、側面２５に記載の方法。
第２７の側面では、保健医療ドキュメント化の少なくとも一部をデータ記憶装置に通信するステップをさらに含む、側面２１－２６のいずれか１項に記載の方法。
第２８の側面では、保健医療ドキュメント化の少なくとも一部を含むように患者医療記録を更新するステップをさらに含む、側面２１－２７のいずれか１項に記載の方法。
第２９の側面では、仮想保健医療コンテンツを装着者に提示するように構成される、ウェアラブルデバイスであって、仮想コンテンツを装着者に提示するように構成される、ディスプレイであって、その少なくとも一部が、透明であって、装着者がウェアラブルデバイスを装着すると、透明部分が、装着者の正面の環境の一部からの光を装着者の眼に透過させ、装着者の正面の環境の一部のビューを提供するように、装着者の眼の正面の場所に配置される、ディスプレイと、ディスプレイと通信する、ハードウェアプロセッサであって、仮想保健医療コンテンツを第２のウェアラブルデバイスと共有するためのトリガイベントを検出し、第２のウェアラブルデバイスが仮想保健医療コンテンツを提示するための十分なアクセス権限を有するかどうかを照合し、第２のウェアラブルデバイスが十分なアクセス権限を有する場合、仮想保健医療コンテンツを第２のウェアラブルデバイスと共有し、第２のウェアラブルデバイスが不十分なアクセス権限を有する場合、装着者に、第２のウェアラブルデバイスが不十分なアクセス権限を有することのインジケーションを提示するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第３０の側面では、ハードウェアプロセッサは、第２のウェアラブルデバイスによって行われた仮想保健医療コンテンツの修正を受信し、修正された仮想保健医療コンテンツをウェアラブルデバイスの装着者に提示するようにプログラムされる、側面２９に記載のウェアラブルデバイス。
第３１の側面では、仮想保健医療コンテンツは、患者医療記録を含む、側面２９または３０に記載のウェアラブルデバイス。
第３２の側面では、仮想保健医療コンテンツは、医療デバイスから取得される情報を含む、側面２９－３１のいずれか１項に記載のウェアラブルデバイス。
第３３の側面では、仮想保健医療コンテンツは、患者の一部の画像を含む、側面２９－３２のいずれか１項に記載のウェアラブルデバイス。
第３４の側面では、ハードウェアプロセッサは、装着者入力を承認し、仮想保健医療コンテンツを修正するようにプログラムされる、側面２９－３３のいずれか１項に記載のウェアラブルデバイス。
第３５の側面では、仮想保健医療コンテンツを装着者に提示するように構成される、ウェアラブルデバイスであって、仮想コンテンツを装着者に提示するように構成される、ディスプレイであって、その少なくとも一部が、透明であって、装着者がウェアラブルデバイスを装着すると、透明部分が、装着者の正面の環境の一部からの光を装着者の眼に透過させ、装着者の正面の環境の一部のビューを提供するように、装着者の眼の正面の場所に配置される、ディスプレイと、装着者の環境についての環境データを取得するように構成される、環境センサと、ディスプレイおよび環境センサと通信する、ハードウェアプロセッサであって、環境センサによって取得される環境データにアクセスし、少なくとも部分的に、環境データに基づいて、コンテキスト情報を決定し、少なくとも部分的に、コンテキスト情報に基づいて、ウェアラブルデバイスの装着者の視野（ＦＯＶ）と関連付けられた仮想オブジェクトを識別し、仮想オブジェクトに関連する仮想コンテンツをウェアラブルデバイスの装着者のＦＯＶ内に提示するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第３６の側面では、環境センサは、マイクロホン、外向きに面した結像システム、内向きに面した眼追跡システム、バーコード読取機、またはＧＰＳセンサを備える、側面３５に記載のウェアラブルデバイス。
第３７の側面では、コンテキスト情報は、装着者の場所、装着者の姿勢、装着者の感情状態、アクセス権限のレベル、装着者のＦＯＶ内の患者の症状または状態、または装着者のＦＯＶ内の患者の識別を含む、側面３５または側面３６に記載のウェアラブルデバイス。
第３８の側面では、コンテキスト情報は、装着者の環境内の物理的オブジェクトまたは装着者に提示される仮想オブジェクトと関連付けられた情報を含む、側面３５－３７のいずれか１項に記載のウェアラブルデバイス。
第３９の側面では、環境センサは、結像システムを備え、コンテキスト情報を決定するために、ハードウェアプロセッサは、コンピュータビジョンアルゴリズム、顔認識アルゴリズム、またはニューラルネットワークを使用して、結像システムによって捕捉された画像を分析するようにプログラムされる、側面３５－３８のいずれか１項に記載のウェアラブルデバイス。
第４０の側面では、仮想コンテンツは、患者医療記録の一部、アラート、焦点インジケータ、またはメッセージを含む、側面３５－３９のいずれか１項に記載のウェアラブルデバイス。
第４１の側面では、ハードウェアプロセッサは、コンテキスト情報が閾値条件に達するかどうかを決定し、閾値条件に達する場合、更新された仮想コンテンツをウェアラブルデバイスの装着者に表示するようにプログラムされる、側面３５－４０のいずれか１項に記載のウェアラブルデバイス。
第４２の側面では、コンテキスト情報は、患者上での医療手技の間に使用される医療器具についての情報を含み、仮想コンテンツは、医療器具の場所に関連する情報を含む、側面３５－４１のいずれか１項に記載のウェアラブルデバイス。
第４３の側面では、仮想コンテンツはさらに、医療器具が患者の身体内に残っていることを示す、アラートを含む、側面４２に記載のウェアラブルデバイス。
第４４の側面では、仮想コンテンツは、装着者のＦＯＶ内の医療器具が医療手技のために不適切または不要であることのアラートを含む、側面４２または側面４３に記載のウェアラブルデバイス。
第４５の側面では、コンテキスト情報は、患者身体部分についての情報を含む、側面３５－４４のいずれか１項に記載のウェアラブルデバイス。
第４６の側面では、仮想コンテンツは、患者身体部分と関連付けられた仮想フラグを含む、側面４５に記載のウェアラブルデバイス。
第４７の側面では、ハードウェアプロセッサはさらに、仮想コンテンツをデータリポジトリに通信するようにプログラムされる、側面３５－４６のいずれか１項に記載のウェアラブルデバイス。
第４８の側面では、ハードウェアプロセッサはさらに、患者医療記録を仮想コンテンツで更新するようにプログラムされる、側面３５－４７のいずれか１項に記載のウェアラブルデバイス。
第４９の側面では、仮想保健医療コンテンツを装着者に提示するように構成される、ウェアラブルデバイスであって、仮想コンテンツを装着者に提示するように構成される、ディスプレイであって、その少なくとも一部が、透明であって、装着者がウェアラブルデバイスを装着すると、透明部分が、装着者の正面の環境の一部からの光を装着者の眼に透過させ、装着者の正面の環境の一部のビューを提供するように、装着者の眼の正面の場所に配置される、ディスプレイと、装着者の環境についての環境データを取得するように構成される、環境センサと、ディスプレイおよび環境センサと通信する、ハードウェアプロセッサであって、ウェアラブルデバイスの動眼視野（ＦＯＲ）内の滅菌領域を識別し、滅菌領域の中に進入したオブジェクトを識別し、オブジェクトと関連付けられた情報にアクセスし、滅菌領域内のオブジェクトの位置を追跡するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第５０の側面では、ハードウェアプロセッサはさらに、少なくとも部分的に、オブジェクトと関連付けられた情報に基づいて、滅菌領域内のオブジェクトと関連付けられた異常を検出するようにプログラムされる、側面４９に記載のウェアラブルデバイス。
第５１の側面では、ハードウェアプロセッサは、少なくとも部分的に、異常の検出に基づいて、アラートを装着者に提示するようにプログラムされる、側面５０に記載のウェアラブルデバイス。
第５２の側面では、ハードウェアプロセッサは、オブジェクトが滅菌領域に残っていることを検出するようにプログラムされる、側面４９－５１のいずれか１項に記載のウェアラブルデバイス。
第５３の側面では、ハードウェアプロセッサは、オブジェクトと関連付けられた仮想コンテンツを装着者に提示するようにプログラムされる、側面４９－５２のいずれか１項に記載のウェアラブルデバイス。
第５４の側面では、仮想コンテンツは、滅菌領域内に存在するオブジェクトのリストを含む、側面５３に記載のウェアラブルデバイス。
第５５の側面では、リストはさらに、オブジェクトの位置を含む、側面５４に記載のウェアラブルデバイス。
第５６の側面では、環境センサは、マイクロホン、外向きに面した結像システム、バーコード読取機、または電磁追跡システムを備える、側面４９－５５のいずれか１項に記載のウェアラブルデバイス。
第５７の側面では、医療情報を管理するためのウェアラブルシステムであって、仮想コンテンツをユーザに提示するように構成されるディスプレイを備える、頭部搭載型ディスプレイ（ＨＭＤ）と、ユーザの環境と関連付けられたデータを取得するように構成される、１つ以上の環境センサと、ディスプレイおよび１つ以上の環境センサと通信し、１つ以上の環境センサを介して、ユーザの環境を監視し、少なくとも部分的に、１つ以上の環境センサによって入手された第１のデータに基づいて、開始条件を検出し、開始条件の検出に応答して、環境センサを介して、患者との相互作用の少なくとも一部をドキュメント化し、相互作用の一部は、環境センサによって入手された第２のデータを含み、第２のデータを分析し、コンテキスト情報に基づいて、患者との相互作用に関連する関連医療情報を抽出し、保健医療データベースシステムへの関連医療情報の記憶を開始するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第５８の側面では、１つ以上の環境センサは、少なくとも、外向きに面したカメラまたはマイクロホンを備える、側面５７に記載のウェアラブルシステム。
第５９の側面では、第２のデータを分析し、関連医療情報を抽出するために、ハードウェアプロセッサは、患者またはウェアラブルシステムのユーザによって発話されたオーディオストリームを決定し、オーディオストリームをテキストに変換し、テキストを解析し、患者の病状または病歴を説明する語句を識別するようにプログラムされる、側面５７または５８に記載のウェアラブルシステム。
第６０の側面では、関連医療情報の記憶を開始するために、ハードウェアプロセッサは、少なくとも部分的に、１つ以上の環境センサによって入手されたデータに基づいて、患者の識別を照合し、保健医療データベース内に記憶される医療記録を患者とユーザとの間の相互作用から捕捉された関連医療情報で更新するようにプログラムされる、側面５７－５９のいずれか１項に記載のウェアラブルシステム。
第６１の側面では、ハードウェアプロセッサはさらに、保健医療情報を第２のウェアラブルシステムと共有するためのトリガイベントを検出し、第２のウェアラブルシステムと関連付けられたアクセス権限を決定し、第２のウェアラブルシステムがアクセス権限を有することの決定に応答して、保健医療情報の少なくとも一部を第２のウェアラブルシステムに通信させるようにプログラムされる、側面５７－６０のいずれか１項に記載のウェアラブルシステム。
第６２の側面では、ハードウェアプロセッサは、第２のウェアラブルシステムが不十分なアクセス権限を有することの決定に応答して、インジケーションを第２のウェアラブルシステムに提供するようにプログラムされる、側面６１に記載のウェアラブルシステム。
第６３の側面では、第２のウェアラブルシステムと関連付けられたアクセス権限は、患者によって構成される、側面６１または６２に記載のウェアラブルシステム。
第６４の側面では、保健医療情報は、外向きに面したカメラによって捕捉されるようなユーザの視野（ＦＯＶ）の少なくとも一部を含む、側面６１－６３のいずれか１項に記載のウェアラブルシステム。
第６５の側面では、ハードウェアプロセッサは、保健医療情報および保健医療情報と関連付けられた注釈を第２のウェアラブルシステムと共有するようにプログラムされる、側面６１－６４のいずれか１項に記載のウェアラブルシステム。
第６６の側面では、コンテキスト情報は、ユーザの場所、ユーザの姿勢、ユーザのアクセス権限のレベル、ユーザのＦＯＶ内の患者の症状または状態、またはユーザのＦＯＶ内の患者の識別のうちの少なくとも１つを含む、側面５７－６５のいずれか１項に記載のウェアラブルシステム。
第６７の側面では、ハードウェアプロセッサはさらに、頭部搭載型ディスプレイを患者との相互作用に関連する仮想コンテンツをユーザに提示させるようにプログラムされる、側面５７－６６のいずれか１項に記載のウェアラブルシステム。
第６８の側面では、仮想コンテンツは、患者医療記録の一部または医療デバイスから受信された患者の生理学的パラメータに関連する情報のうちの少なくとも１つを含む、側面６７に記載のウェアラブルシステム。
第６９の側面では、コンテキスト情報は、患者上での医療手技の間に使用される医療器具についての情報を含み、仮想コンテンツは、医療器具の場所に関連する情報を含む、側面６７または６８に記載のウェアラブルシステム。
第７０の側面では、仮想コンテンツは、ユーザのＦＯＶ内の医療器具が医療手技に不適切または不要であることのアラートを含む、側面６９に記載のウェアラブルシステム。
第７１の側面では、医療情報を管理するための方法であって、ハードウェアプロセッサの制御下で、環境センサを備えるウェアラブルデバイスによって入手されたデータに基づいて、ユーザの環境を監視するステップと、少なくとも部分的に、ウェアラブルデバイスによって入手された第１のデータに基づいて、開始条件を検出するステップと、開始条件の検出に応答して、ウェアラブルデバイスの環境センサを介して、患者と保健医療提供者（ＨＣＰ）との間の相互作用をドキュメント化するステップであって、相互作用は、環境センサによって入手された第２のデータを含む、ステップと、第２のデータを分析し、コンテキスト情報に基づいて、患者との相互作用に関連する関連医療情報を抽出するステップと、保健医療データベースシステムへの関連医療情報の記憶を開始するステップとを含む、方法。
第７２の側面では、環境センサは、マイクロホンを備え、第２のデータを分析し、関連医療情報を抽出するステップは、マイクロホンを介して、患者またはＨＣＰによって発話されたオーディオストリームを入手するステップと、オーディオストリームをテキストに変換し、テキストを解析し、患者の病状または病歴を説明する語句を識別するステップとを含む、側面７１に記載の方法。
第７３の側面では、関連医療情報の記憶を開始するステップは、少なくとも部分的に、ウェアラブルデバイスによって入手されたデータに基づいて、患者の識別を照合するステップと、保健医療データベース内に記憶される医療記録を患者とＨＣＰとの間の相互作用から捕捉された関連医療情報で更新するステップとを含む、側面７１または７２に記載の方法。
第７４の側面では、保健医療情報を第２のウェアラブルデバイスと共有するためのトリガイベントを検出するステップと、第２のウェアラブルデバイスと関連付けられたアクセス権限を決定するステップと、第２のウェアラブルデバイスがアクセス権限を有することの決定に応答して、保健医療情報の少なくとも一部を第２のウェアラブルデバイスに通信させるステップとをさらに含む、側面７１－７３のいずれか１項に記載の方法。
第７５の側面では、第２のウェアラブルデバイスと関連付けられたアクセス権限は、患者によって構成される、側面７４に記載の方法。
第７６の側面では、保健医療情報は、外向きに面した結像システムによって捕捉されるようなユーザの視野（ＦＯＶ）の少なくとも一部を含む、側面７４または７５に記載の方法。
第７７の側面では、保健医療情報および保健医療情報と関連付けられた注釈を第２のウェアラブルシステムと共有するステップをさらに含む、側面７６に記載の方法。
第７８の側面では、コンテキスト情報は、ユーザの場所、ユーザの姿勢、ユーザのアクセス権限のレベル、ユーザのＦＯＶ内の患者の症状または状態、またはユーザのＦＯＶ内の患者の識別のうちの少なくとも１つを含む、側面７１－７７のいずれか１項に記載の方法。
第７９の側面では、ウェアラブルデバイスに、頭部搭載型ディスプレイを介して、患者医療記録の一部または医療デバイスから受信された患者の生理学的パラメータに関連する情報のうちの少なくとも１つを含む、仮想コンテンツを表示させるステップをさらに含む、側面７１－７８のいずれか１項に記載の方法。
第８０の側面では、仮想コンテンツは、ユーザのＦＯＶ内の医療器具が医療手技に不適切または不要であることのアラートを含む、側面７９に記載の方法。
第８１の側面では、医療情報を管理するための第１のウェアラブルデバイスであって、ユーザの環境を結像するように構成される、外向きに面した結像システムと、仮想コンテンツをユーザに提示するように構成される、頭部搭載型ディスプレイと、外向きに面した結像システムから受信されたデータを介して、ユーザの環境内のオブジェクトを監視し、頭部搭載型ディスプレイを通して知覚されるようなユーザの視野内のオブジェクトを決定し、セッションを第２のウェアラブルデバイスと共有するためのトリガイベントを検出し、セッションの共有は、ユーザの視野内の第１の物理的オブジェクトと関連付けられた少なくとも第１の情報を第２のウェアラブルデバイスと共有することを含み、第１の情報は、第２のウェアラブルデバイスの視野外のものであって、第１の情報を第２のウェアラブルデバイスに通信し、仮想コンテンツを第２のウェアラブルデバイスから受信し、仮想コンテンツは、ユーザの視野外の第２の物理的オブジェクトと関連付けられた第２の情報を含み、頭部搭載型ディスプレイを介して、第２のウェアラブルデバイスから受信された仮想コンテンツをユーザに提示するようにプログラムされる、ハードウェアプロセッサとを備える、第１のウェアラブルデバイス。
第８２の側面では、ハードウェアプロセッサはさらに、第１のウェアラブルデバイスを介して、ユーザの視野内の第１の物理的オブジェクトと関連付けられた注釈を受信するようにプログラムされ、第１の情報を第２のウェアラブルデバイスに通信するために、ハードウェアプロセッサは、第１のオブジェクトの注釈および画像を第２のウェアラブルデバイスに通信するようにプログラムされる、側面８１に記載の第１のウェアラブルデバイス。
第８３の側面では、注釈は、患者の身体部分の一部上に設置された１つ以上の仮想フラグを含み、１つ以上の仮想フラグは、患者の身体部分の一部の配向を示す、側面８２に記載の第１のウェアラブルデバイス。
第８４の側面では、セッションの共有は、ユーザと患者との間の相互作用の一部であって、ハードウェアプロセッサはさらに、外向きに面した結像システムまたはマイクロホンのうちの少なくとも１つを使用して、ユーザと患者との間の相互作用の少なくとも一部をドキュメント化し、関連医療情報を相互作用から識別し、患者の医療記録を関連医療情報で更新するようにプログラムされる、側面８１－８３のいずれか１項に記載の第１のウェアラブルデバイス。
第８５の側面では、医療情報を管理するための方法であって、外向きに面した結像システム、ハードウェアプロセッサ、および頭部搭載型ディスプレイを備える、第１のウェアラブルデバイスの制御下で、外向きに面した結像システムを介して、ユーザの環境内のオブジェクトを監視するステップと、頭部搭載型ディスプレイを通して知覚されるようなユーザの視野内のオブジェクトを決定するステップと、セッションを第２のウェアラブルデバイスと共有するためのトリガイベントを検出するステップであって、セッションを共有するステップは、ユーザの視野内の第１の物理的オブジェクトと関連付けられた少なくとも第１の情報を第２のウェアラブルデバイスと共有するステップを含み、第１の情報は、第２のウェアラブルデバイスの視野外のものである、ステップと、第１の情報を第２のウェアラブルデバイスに通信するステップと、仮想コンテンツを第２のウェアラブルデバイスから受信するステップであって、仮想コンテンツは、ユーザの視野外の第２の物理的オブジェクトと関連付けられた第２の情報を含む、ステップと、頭部搭載型ディスプレイを介して、第２のウェアラブルデバイスから受信された仮想コンテンツをユーザに提示するステップとを含む、方法。
第８６の側面では、第１のウェアラブルデバイスを介して、ユーザの視野内の第１の物理的オブジェクトと関連付けられた注釈を受信するステップをさらに含み、第１の情報を第２のウェアラブルデバイスに通信するステップは、第１のオブジェクトの注釈および画像を第２のウェアラブルデバイスに通信するステップを含む、側面８５に記載の方法。
第８７の側面では、注釈は、患者の身体部分の一部上に設置された１つ以上の仮想フラグを含み、１つ以上の仮想フラグは、患者の身体部分の一部の配向、画像を捕捉したカメラの配向、または画像または患者の身体部分の一部と関連付けられたコンテキスト情報を示す、側面８６に記載の方法。
第８８の側面では、セッションを共有するステップは、ユーザと患者との間の相互作用の一部であって、本方法はさらに、外向きに面した結像システムまたはマイクロホンのうちの少なくとも１つを使用して、ユーザと患者との間の相互作用をドキュメント化するステップと、関連医療情報を相互作用から識別するステップと、患者の医療記録を関連医療情報で更新するステップと、を含む、側面８５－８７のいずれか１項に記載の方法。
第８９の側面では、第２のウェアラブルデバイスのアクセス権限を照合するステップと、第２のウェアラブルデバイスのアクセス権限が十分である、第１の情報の少なくとも一部を共有するステップとをさらに含む、側面８５－８８のいずれか１項に記載の方法。
第９０の側面では、アクセス権限は、患者によって管理され、その医療情報は、第１のウェアラブルデバイスと第２のウェアラブルデバイスとの間で共有されている、側面８９に記載の方法。
第９１の側面では、ウェアラブルデバイスであって、ユーザの動眼視野（ＦＯＲ）を結像するように構成される、外向きに面したカメラであって、ＦＯＲは、ウェアラブルデバイスを介して、ユーザによって知覚されることが可能である、ユーザの周囲の環境の一部を含む、外向きに面したカメラと、仮想コンテンツをユーザに提示するように構成される、頭部搭載型ディスプレイであって、その少なくとも一部は、透明であって、透明部分が、装着者の正面の環境の一部からの光を装着者の眼に透過させ、装着者の正面の環境の一部のビューを提供するように構成される、ディスプレイと、ディスプレイおよび環境センサと通信する、ハードウェアプロセッサであって、ＦＯＲ内の滅菌領域を決定し、滅菌領域は、医療手技に先立って消毒されたエリアを含み、外向きに面したカメラによって入手されたデータを分析し、滅菌領域の中に進入した物理的オブジェクトを識別し、物理的オブジェクトと関連付けられた情報にアクセスし、外向きに面したカメラによって入手されたデータを介して、滅菌領域内の物理的オブジェクトの位置を追跡し、頭部搭載型ディスプレイに、医療手技と関連付けられた仮想コンテンツを提示させるようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第９２の側面では、滅菌領域は、患者の身体の少なくとも一部を含む、側面９１に記載のウェアラブルデバイス。
第９３の側面では、滅菌領域の境界は、手のジェスチャを介して、ウェアラブルデバイスのユーザによって境界される、側面９１または９２に記載のウェアラブルデバイス。
第９４の側面では、物理的オブジェクトと関連付けられた情報は、物理的オブジェクトの機能または医療手技のタイプのうちの少なくとも１つを含む、側面９１－９３のいずれか１項に記載のウェアラブルデバイス。
第９５の側面では、ハードウェアプロセッサはさらに、少なくとも部分的に、物理的オブジェクトと関連付けられた情報に基づいて、滅菌領域内の物理的オブジェクトと関連付けられた異常を検出するようにプログラムされる、側面９１－９４のいずれか１項に記載のウェアラブルデバイス。
第９６の側面では、検出された異常は、物理的オブジェクトが医療手技のために不要または不適切であることの決定を備え、ハードウェアプロセッサは、少なくとも部分的に、検出された異常に基づいて、アラートを装着者に提示するようにプログラムされる、側面９５に記載のウェアラブルデバイス。
第９７の側面では、ハードウェアプロセッサはさらに、物理的オブジェクトが滅菌領域に残されているかどうかを決定するようにプログラムされる、側面９１－９６のいずれか１項に記載のウェアラブルデバイス。
第９８の側面では、医療手技と関連付けられた仮想コンテンツは、医療手技のための医療命令のリストを含む、側面９１－９７のいずれか１項に記載のウェアラブルデバイス。
第９９の側面では、仮想コンテンツはさらに、少なくとも部分的に、物理的オブジェクトの追跡に基づいて、滅菌領域内における１つ以上の医療命令を示す、焦点インジケータを含む、側面９１－９８のいずれか１項に記載のウェアラブルデバイス。
第１００の側面では、方法であって、ハードウェアプロセッサの制御下で、ウェアラブルデバイスのユーザの動眼視野（ＦＯＲ）内の滅菌領域を決定するステップであって、ＦＯＲは、ウェアラブルデバイスを介してユーザによって知覚されることが可能なユーザの周囲の環境の一部を含む、ステップと、ウェアラブルデバイスの外向きに面したカメラによって入手されたデータを分析し、滅菌領域の中に進入した物理的オブジェクトを識別するステップと、物理的オブジェクトと関連付けられた情報にアクセスするステップと、外向きに面したカメラによって入手されたデータに基づいて、滅菌領域内の物理的オブジェクトの位置を追跡するステップと、視覚的インジケーションをウェアラブルデバイスの頭部搭載型ディスプレイによって提供させるステップであって、視覚的インジケーションは、物理的オブジェクトの位置と関連付けられる、ステップとを含む、方法。
第１０１の側面では、滅菌領域は、患者の身体の少なくとも一部を含む、側面１００に記載の方法。
第１０２の側面では、物理的オブジェクトと関連付けられた情報は、物理的オブジェクトの機能または医療手技のタイプのうちの少なくとも１つを含む、側面１００または１０１に記載の方法。
第１０３の側面では、少なくとも部分的に、物理的オブジェクトと関連付けられた情報に基づいて、滅菌領域内の物理的オブジェクトと関連付けられた異常を検出するステップをさらに含む、側面１００－１０２のいずれか１項に記載の方法。
第１０４の側面では、検出された異常は、物理的オブジェクトが医療手技のために不要または不適切であることの決定を含み、本方法はさらに、少なくとも部分的に、検出された異常に基づいて、アラートを装着者に提示するステップを含む、側面１００－１０３のいずれか１項に記載の方法。
第１０５の側面では、物理的オブジェクトが滅菌領域に残されているかどうかを決定するステップと、物理的オブジェクトが滅菌領域に残されていることの決定に応答して、物理的オブジェクトと関連付けられた計数を減少させるステップであって、計数は、滅菌領域内の物理的オブジェクトの数を表す、ステップとをさらに含む、側面１００－１０４のいずれか１項に記載の方法。
第１０６の側面では、仮想インジケーションは、滅菌領域内の物理的オブジェクトのリストを含む、側面１００－１０５のいずれか１項に記載の方法。
（付加的考慮点）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令を用いてプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされる、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み得、各フレームは、数百万のピクセルを有し、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (20)

  1. 医療手技を容易にするためのディスプレイシステムであって、前記ディスプレイシステムは、
    頭部搭載可能な３次元（３Ｄ）ディスプレイであって、前記ディスプレイは、前記ディスプレイが前記ディスプレイシステムのユーザの頭部に装着されている間に、前記ユーザに仮想コンテンツを提示するように構成され、前記ディスプレイは、前記ユーザの近傍にある環境のビューを拡張するように前記ディスプレイが前記仮想コンテンツを提示する間に、前記環境のビューを前記ユーザに提示するために少なくとも部分的に透明であり、前記ディスプレイは、複数の深度平面のうちの異なる深度平面に対応する異なるレベルの波面曲率を伴って前記仮想コンテンツを伝達する光を前記ユーザの眼に出力することによって前記複数の深度平面において前記仮想コンテンツを提示するように構成される、ディスプレイと、
    前記環境と関連付けられたデータを収集するように構成された１つ以上の環境センサと、
    前記ディスプレイおよび前記１つ以上の環境センサと通信している少なくとも１つのハードウェアプロセッサと
    を備え、
    前記少なくとも１つのハードウェアプロセッサは、
    前記１つ以上の環境センサによって収集された前記データを分析し、前記環境の少なくとも一部を記述するマップを更新することと、
    前記マップ中に記述されかつ前記環境中に現在存在する患者に実施される前記医療手技を記述する情報を受信することと、
    前記環境の前記一部内の領域を識別することと、
    前記１つ以上の環境センサによって収集された前記データに基づいて、前記マップ中に記述されかつ前記領域中に現在存在する医療器具を識別し、前記領域中の前記医療器具の現在の３Ｄ位置を決定することと、
    前記医療器具が前記領域中に現在存在していることに基づいて異常を検出することであって、前記異常は、前記医療手技を記述する前記情報を前記医療器具に関連付けられた情報と比較することに少なくとも部分的に基づいて検出される、ことと、
    前記異常を検出することに応答して、前記ディスプレイに前記異常を示すアラートを提示させることであって、前記アラートは、前記ディスプレイを通して提示された前記仮想コンテンツに含まれており、前記アラートは、前記アラートが前記医療器具の前記３Ｄ位置の深度に対応する距離において前記医療器具の前記３Ｄ位置の近傍に位置しているように現れるように、前記ディスプレイによってサポートされる前記複数の深度平面のうちの１つの深度平面に提示される、ことと
    を行うようにプログラムされている、ディスプレイシステム。
  2. 前記マップは、前記医療器具の前記現在の３Ｄ位置を含むように更新され、前記異常は、前記医療器具の前記現在の３Ｄ位置にさらに基づいて検出される、請求項１に記載のディスプレイシステム。
  3. 前記医療手技を記述する前記情報は、前記医療手技の間にアクセスされる前記患者の特定の身体部分を示し、前記異常は、前記医療器具の前記現在の３Ｄ位置が前記医療手技の間にアクセスされる前記身体部分以外の異なる身体部分の近傍にあることに基づいて検出される、請求項２に記載のディスプレイシステム。
  4. 前記アラートは、前記身体部分または前記異なる身体部分のいずれかの近傍に提示される、請求項３に記載のディスプレイシステム。
  5. 前記アラートは、前記異なる身体部分のビューを少なくとも部分的にオクルードするように提示される、請求項３に記載のディスプレイシステム。
  6. 前記異常は、前記医療器具が前記医療手技に不適切であると決定することに基づいて検出される、請求項１に記載のディスプレイシステム。
  7. 前記医療手技を記述する前記情報は、前記医療手技の間に使用される医療器具のリストを含み、前記医療器具が前記医療手技に不適切であると決定することは、前記医療器具が前記医療手技の間に使用される医療器具の前記リストの中にないと決定することを含む、請求項６に記載のディスプレイシステム。
  8. 前記少なくとも１つのハードウェアプロセッサは、
    前記１つ以上の環境センサによって収集された前記データに顔認識アルゴリズムを適用することに基づいて前記患者を識別することと、
    前記患者を識別することに基づいて、前記ディスプレイシステムの外部にある少なくとも１つのデータベースから、前記医療手技を記述する前記情報にアクセスすることと
    を行うようにさらにプログラムされている、請求項１に記載のディスプレイシステム。
  9. 前記医療器具は、前記医療器具上の光学ラベルに基づいて識別される、請求項１に記載のディスプレイシステム。
  10. 前記医療器具は、コンピュータビジョンアルゴリズムまたは機械学習アルゴリズムのうちの１つ以上を適用して前記環境中に存在する複数のオブジェクトの中から前記医療器具を識別するオブジェクト認識装置によって識別される、請求項１に記載のディスプレイシステム。
  11. 前記領域は、前記ユーザが前記ディスプレイシステムを使用して前記マップ上に前記領域をマークすることによって指定される、請求項１に記載のディスプレイシステム。
  12. 前記領域は、前記ディスプレイシステムの外部にある少なくとも１つのデータベースからアクセスされる外部データに基づいて決定される、請求項１に記載のディスプレイシステム。
  13. 前記環境の前記一部は、前記ディスプレイシステムを通して前記ユーザによって知覚されることが可能である動眼視野（ＦＯＲ）である、請求項１に記載のディスプレイシステム。
  14. 医療手技を容易にするためのコンピュータ実装方法であって、前記方法は、頭部搭載可能な３次元（３Ｄ）ディスプレイシステムの少なくとも１つのハードウェアプロセッサによって実施され、前記ディスプレイシステムは、複数の深度平面のうちの異なる深度平面に対応する異なるレベルの波面曲率を伴って仮想コンテンツを伝達する光を前記ディスプレイシステムのユーザの眼に出力することによって前記複数の深度平面において前記仮想コンテンツを提示するように構成され、前記方法は、
    前記ディスプレイシステムの１つ以上の環境センサによって収集されたデータを分析し、前記ユーザの近傍にある環境の少なくとも一部を記述するマップを更新することであって、前記１つ以上の環境センサは、前記環境と関連付けられた前記データを収集するように構成される、ことと、
    前記マップ中に記述されかつ前記環境中に現在存在する患者に実施される前記医療手技を記述する情報を受信することと、
    前記環境の前記一部内の領域を識別することと、
    前記１つ以上の環境センサによって収集された前記データに基づいて、前記マップ中に記述されかつ前記領域中に現在存在する医療器具を識別し、前記領域中の前記医療器具の現在の３Ｄ位置を決定することと、
    前記医療器具が前記領域中に現在存在していることに基づいて異常を検出することであって、前記異常は、前記医療手技を記述する前記情報を前記医療器具に関連付けられた情報と比較することに少なくとも部分的に基づいて検出される、ことと、
    前記異常を検出することに応答して、前記ディスプレイシステムに前記異常を示すアラートを提示させることであって、前記アラートは、前記ディスプレイシステムを通して提示された仮想コンテンツに含まれており、前記アラートは、前記アラートが前記医療器具の前記３Ｄ位置の深度に対応する距離において前記医療器具の前記３Ｄ位置の近傍に位置しているように現れるように、前記ディスプレイシステムによってサポートされる前記複数の深度平面のうちの１つの深度平面に提示される、ことと
    を含む、方法。
  15. 前記マップは、前記医療器具の前記現在の３Ｄ位置を含むように更新され、前記異常は、前記医療器具の前記現在の３Ｄ位置にさらに基づいて検出される、請求項１４に記載の方法。
  16. 前記医療手技を記述する前記情報は、前記医療手技の間にアクセスされる前記患者の特定の身体部分を示し、前記異常は、前記医療器具の前記現在の３Ｄ位置が前記医療手技の間にアクセスされる前記身体部分以外の異なる身体部分の近傍にあることに基づいて検出される、請求項１５に記載の方法。
  17. 前記アラートは、前記身体部分または前記異なる身体部分のいずれかの近傍に提示される、請求項１６に記載の方法。
  18. 前記アラートは、前記異なる身体部分のビューを少なくとも部分的にオクルードするように提示される、請求項１６に記載の方法。
  19. 前記異常は、前記医療器具が前記医療手技に不適切であると決定することに基づいて検出される、請求項１４に記載の方法。
  20. 前記医療手技を記述する前記情報は、前記医療手技の間に使用される医療器具のリストを含み、前記医療器具が前記医療手技に不適切であると決定することは、前記医療器具が前記医療手技の間に使用される医療器具の前記リストの中にないと決定することを含む、請求項１９に記載の方法。
JP2022179491A 2017-01-11 2022-11-09 医療アシスタント Active JP7478795B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762445182P 2017-01-11 2017-01-11
US62/445,182 2017-01-11
US201762448656P 2017-01-20 2017-01-20
US62/448,656 2017-01-20
PCT/US2018/012816 WO2018132336A1 (en) 2017-01-11 2018-01-08 Medical assistant
JP2019536853A JP7224288B2 (ja) 2017-01-11 2018-01-08 医療アシスタント

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019536853A Division JP7224288B2 (ja) 2017-01-11 2018-01-08 医療アシスタント

Publications (3)

Publication Number Publication Date
JP2023001290A JP2023001290A (ja) 2023-01-04
JP2023001290A5 JP2023001290A5 (ja) 2023-02-14
JP7478795B2 true JP7478795B2 (ja) 2024-05-07

Family

ID=62783590

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019536853A Active JP7224288B2 (ja) 2017-01-11 2018-01-08 医療アシスタント
JP2022179491A Active JP7478795B2 (ja) 2017-01-11 2022-11-09 医療アシスタント

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019536853A Active JP7224288B2 (ja) 2017-01-11 2018-01-08 医療アシスタント

Country Status (9)

Country Link
US (2) US20180197624A1 (ja)
EP (1) EP3568783A4 (ja)
JP (2) JP7224288B2 (ja)
KR (2) KR102662173B1 (ja)
CN (2) CN110431636A (ja)
AU (1) AU2018207068A1 (ja)
CA (1) CA3049431A1 (ja)
IL (1) IL267995A (ja)
WO (1) WO2018132336A1 (ja)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334945A1 (en) * 2010-09-30 2020-10-22 Jesus Perea-Ochoa Method and System of Operating Multi-Task Interactive Electronic Devices and Ultraviolet Light System
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9848061B1 (en) * 2016-10-28 2017-12-19 Vignet Incorporated System and method for rules engine that dynamically adapts application behavior
US9928230B1 (en) 2016-09-29 2018-03-27 Vignet Incorporated Variable and dynamic adjustments to electronic forms
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US10599877B2 (en) 2017-04-13 2020-03-24 At&T Intellectual Property I, L.P. Protecting content on a display device from a field-of-view of a person or device
WO2018209515A1 (zh) * 2017-05-15 2018-11-22 上海联影医疗科技有限公司 显示系统及方法
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
CN107330344A (zh) * 2017-07-01 2017-11-07 成都牵牛草信息技术有限公司 一种表单的关联信息授权方法
CN107330307A (zh) * 2017-07-16 2017-11-07 成都牵牛草信息技术有限公司 一种表单数据操作权限授权方法
US20190051395A1 (en) 2017-08-10 2019-02-14 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US20210121059A1 (en) * 2017-09-11 2021-04-29 Nikon Corporation Ophthalmic instrument, management device, and method for managing an ophthalmic instrument
EP3682451A1 (en) * 2017-09-13 2020-07-22 Koninklijke Philips N.V. System and method for displaying electronic health records
US11153156B2 (en) * 2017-11-03 2021-10-19 Vignet Incorporated Achieving personalized outcomes with digital therapeutic applications
TWI647631B (zh) * 2017-11-28 2019-01-11 承潔投資有限公司 工地管理系統及其穿戴裝置
KR20190068133A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
US20190180883A1 (en) * 2017-12-11 2019-06-13 Teletracking Technologies, Inc. Milestone detection sensing
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US11244508B2 (en) * 2018-02-03 2022-02-08 The Johns Hopkins University Augmented reality display for surgical procedures
WO2019173333A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. Automated clinical documentation system and method
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US11488304B2 (en) * 2018-05-01 2022-11-01 Eizo Corporation Gauze detection system and gauze detection method
US10743140B2 (en) * 2018-05-16 2020-08-11 International Business Machines Corporation Smart location alert system
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US11583360B2 (en) * 2018-08-06 2023-02-21 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring object flow within a surgical space during a surgery
US10775974B2 (en) 2018-08-10 2020-09-15 Vignet Incorporated User responsive dynamic architecture
US11116587B2 (en) 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
US20210213973A1 (en) * 2018-08-29 2021-07-15 Movidius Ltd. Computer vision system
US20200069181A1 (en) * 2018-09-01 2020-03-05 Philip Jaques Sampson I-Examination
US20200090816A1 (en) * 2018-09-17 2020-03-19 Vet24seven Inc. Veterinary Professional Animal Tracking and Support System
GB2612245B (en) * 2018-10-03 2023-08-30 Cmr Surgical Ltd Automatic endoscope video augmentation
US11158423B2 (en) 2018-10-26 2021-10-26 Vignet Incorporated Adapted digital therapeutic plans based on biomarkers
US11682474B2 (en) * 2018-12-12 2023-06-20 International Business Machines Corporation Enhanced user screening for sensitive services
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
US10645092B1 (en) * 2019-01-03 2020-05-05 Truly Social Games Llc Control and/or verification of interactions of an augmented reality deployment
US20200234827A1 (en) * 2019-01-22 2020-07-23 Mira Therapeutics, Inc. Methods and systems for diagnosing and treating disorders
CA3128454A1 (en) * 2019-01-31 2020-08-06 Samuel HERZOG Patient-centric health care system
US10762990B1 (en) 2019-02-01 2020-09-01 Vignet Incorporated Systems and methods for identifying markers using a reconfigurable system
KR102572006B1 (ko) 2019-02-21 2023-08-31 시어터 인코포레이티드 수술 비디오의 분석을 위한 시스템 및 방법
US11065079B2 (en) 2019-02-21 2021-07-20 Theator inc. Image-based system for estimating surgical contact force
EP3942495A1 (en) * 2019-03-21 2022-01-26 Kepler Vision Technologies B.V. A medical device for transcription of appearances in an image to text with machine learning
US10970858B2 (en) * 2019-05-15 2021-04-06 International Business Machines Corporation Augmented reality for monitoring objects to decrease cross contamination between different regions
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11545271B2 (en) * 2019-08-20 2023-01-03 GE Precision Healthcare LLC Systems and methods for public and private communication threads
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
CN110794966B (zh) * 2019-10-28 2024-04-12 京东方科技集团股份有限公司 Ar显示系统及方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
EP3835803B1 (en) * 2019-12-13 2024-03-27 Siemens Healthineers AG System and method for estimating a relative substance composition of a portion of a body of a patient
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
EP3889970A1 (en) 2020-04-03 2021-10-06 Koninklijke Philips N.V. Diagnosis support system
US11348682B2 (en) 2020-04-05 2022-05-31 Theator, Inc. Automated assessment of surgical competency from video analyses
US11574435B1 (en) * 2020-04-07 2023-02-07 Robert Edwin Douglas Multi-user extended reality viewing technique
US11641460B1 (en) * 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11556720B2 (en) * 2020-05-05 2023-01-17 International Business Machines Corporation Context information reformation and transfer mechanism at inflection point
EP3909500A1 (en) * 2020-05-11 2021-11-17 BraveHeart Wireless Inc. Systems and methods for using algorithms and acoustic input to control, monitor, annotate, and configure a wearable health monitor that monitors physiological signals
US11087557B1 (en) 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
KR102223621B1 (ko) 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
JP6807621B1 (ja) * 2020-08-05 2021-01-06 株式会社インタラクティブソリューションズ 音声に基づいて画像を変更するためのシステム
US11056242B1 (en) 2020-08-05 2021-07-06 Vignet Incorporated Predictive analysis and interventions to limit disease exposure
US11504011B1 (en) 2020-08-05 2022-11-22 Vignet Incorporated Early detection and prevention of infectious disease transmission using location data and geofencing
US11456080B1 (en) 2020-08-05 2022-09-27 Vignet Incorporated Adjusting disease data collection to provide high-quality health data to meet needs of different communities
US11127506B1 (en) 2020-08-05 2021-09-21 Vignet Incorporated Digital health tools to predict and prevent disease transmission
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US20220104910A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Monitoring of user visual gaze to control which display system displays the primary information
US11763919B1 (en) 2020-10-13 2023-09-19 Vignet Incorporated Platform to increase patient engagement in clinical trials through surveys presented on mobile devices
US11956315B2 (en) * 2020-11-03 2024-04-09 Microsoft Technology Licensing, Llc Communication system and method
CN112397192A (zh) * 2020-11-09 2021-02-23 何奔 一种用于心血管科室的医疗智能远程查房识别系统
KR102494464B1 (ko) * 2020-12-02 2023-02-06 강길남 안구인식 데이터를 이용한 뇌신경계 질환 모니터링용 스마트 글래스
EP4278366A1 (en) 2021-01-12 2023-11-22 Emed Labs, LLC Health testing and diagnostics platform
US11281553B1 (en) 2021-04-16 2022-03-22 Vignet Incorporated Digital systems for enrolling participants in health research and decentralized clinical trials
US11789837B1 (en) 2021-02-03 2023-10-17 Vignet Incorporated Adaptive data collection in clinical trials to increase the likelihood of on-time completion of a trial
US11586524B1 (en) 2021-04-16 2023-02-21 Vignet Incorporated Assisting researchers to identify opportunities for new sub-studies in digital health research and decentralized clinical trials
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US20220262078A1 (en) * 2021-02-14 2022-08-18 Broadstone Technologies, Llc Remote device provisioning and remote support using augmented reality
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20220354440A1 (en) * 2021-05-04 2022-11-10 Willis Dennis Grajales Worldwide vision screening and visual field screening booth, kiosk, or exam room using artificial intelligence, screen sharing technology, and telemedicine video conferencing system to interconnect patient with eye doctor anywhere around the world via the internet using ethernet, 4G, 5G, 6G or Wifi for teleconsultation and to review results
TWI763546B (zh) * 2021-06-21 2022-05-01 義大醫療財團法人義大醫院 智能急救車及應用此智能急救車之藥品管理方法
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN113723100B (zh) * 2021-09-09 2023-10-13 国网数字科技控股有限公司 一种基于指纹特征的开源组件识别方法及装置
US20230267933A1 (en) * 2021-09-27 2023-08-24 International Business Machines Corporation Selective inclusion of speech content in documents
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras
US11901083B1 (en) 2021-11-30 2024-02-13 Vignet Incorporated Using genetic and phenotypic data sets for drug discovery clinical trials
US11705230B1 (en) 2021-11-30 2023-07-18 Vignet Incorporated Assessing health risks using genetic, epigenetic, and phenotypic data sources
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023159236A1 (en) * 2022-02-18 2023-08-24 Curelator, Inc. Personal medical avatar
KR102458495B1 (ko) * 2022-03-17 2022-10-25 주식회사 메디씽큐 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
WO2023244267A1 (en) * 2022-06-13 2023-12-21 Magic Leap, Inc. Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
WO2024049435A1 (en) * 2022-09-01 2024-03-07 Exo Imaging, Inc. Apparatus, system and method to control an ultrasonic image on a display based on sensor input at an ultrasonic imaging device
WO2024097431A1 (en) * 2022-11-06 2024-05-10 Hajeebu Sreehita System and method of wound assessment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090160854A1 (en) 2005-11-07 2009-06-25 Stoval Iii William Murray Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
JP2009279193A (ja) 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
US20150221105A1 (en) 2012-08-30 2015-08-06 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
WO2016078919A1 (en) 2014-11-18 2016-05-26 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
US20160249989A1 (en) 2015-03-01 2016-09-01 ARIS MD, Inc. Reality-augmented morphological procedure

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140685A (ja) * 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd 画像管理システム及び画像管理方法
WO2003040864A2 (en) * 2001-11-08 2003-05-15 Amos Grushka Portable personal health information package
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
JP2007094943A (ja) * 2005-09-30 2007-04-12 Vitas:Kk 特定疾患医療情報管理システム
WO2007084897A1 (en) * 2006-01-17 2007-07-26 Qualcomm Incorporated Method and apparatus for setting the boundaries of virtual operations
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
EP2012655A4 (en) * 2006-04-20 2009-11-25 Iq Life Inc INTERACTIVE PATIENT MONITORING SYSTEM THAT USES VOICE RECOGNITION
CN101681455A (zh) * 2007-04-23 2010-03-24 三星电子株式会社 远程医学诊断系统和方法
KR100961380B1 (ko) * 2008-06-25 2010-06-07 재단법인 첨단산업개발원 음성 인식이 가능한 디지털셋탑박스를 이용한 원격진료시스템
US20150120321A1 (en) * 2009-02-26 2015-04-30 I.M.D. Soft Ltd. Wearable Data Reader for Medical Documentation and Clinical Decision Support
US8544751B2 (en) * 2009-08-03 2013-10-01 Mehrnaz Nicole Jamali System and method for managing a medical procedure site with a machine readable marking
US20150099458A1 (en) * 2011-01-14 2015-04-09 Covidien Lp Network-Capable Medical Device for Remote Monitoring Systems
KR101447931B1 (ko) * 2011-04-12 2014-10-13 (주)미래컴퍼니 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
CN115494654A (zh) * 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US9305551B1 (en) * 2013-08-06 2016-04-05 Timothy A. Johns Scribe system for transmitting an audio recording from a recording device to a server
US20150088547A1 (en) * 2013-09-22 2015-03-26 Ricoh Company, Ltd. Mobile Information Gateway for Home Healthcare
US10095833B2 (en) * 2013-09-22 2018-10-09 Ricoh Co., Ltd. Mobile information gateway for use by medical personnel
US9460314B2 (en) * 2013-12-01 2016-10-04 Apx Labs, Inc. Systems and methods for providing task-based instructions
JP6407526B2 (ja) * 2013-12-17 2018-10-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法及び情報処理システム
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
EP3100186B1 (en) * 2014-01-29 2021-05-12 Becton, Dickinson and Company System and method for collection confirmation and sample tracking at the clinical point of use
US10803538B2 (en) * 2014-04-14 2020-10-13 Optum, Inc. System and method for automated data entry and workflow management
CA2957794C (en) * 2014-08-15 2022-03-08 Synaptive Medical (Barbados) Inc. System and method for managing equipment in a medical procedure
KR20150090991A (ko) * 2014-12-01 2015-08-07 을지대학교 산학협력단 의료단말 허브장치
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
US9807045B2 (en) * 2015-06-10 2017-10-31 Google Inc. Contextually driven messaging system
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10105187B2 (en) * 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10045825B2 (en) * 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
US20180082476A1 (en) * 2016-09-22 2018-03-22 International Business Machines Corporation Collaborative search for out of field of view augmented reality objects
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090160854A1 (en) 2005-11-07 2009-06-25 Stoval Iii William Murray Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
JP2009279193A (ja) 2008-05-22 2009-12-03 Fujifilm Corp 医療機器管理システム
US20150221105A1 (en) 2012-08-30 2015-08-06 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
WO2016078919A1 (en) 2014-11-18 2016-05-26 Koninklijke Philips N.V. User guidance system and method, use of an augmented reality device
JP2018503416A (ja) 2014-11-18 2018-02-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザガイダンスシステム及び方法、拡張現実デバイスの使用
US20160249989A1 (en) 2015-03-01 2016-09-01 ARIS MD, Inc. Reality-augmented morphological procedure

Also Published As

Publication number Publication date
IL267995A (en) 2019-09-26
CA3049431A1 (en) 2018-07-19
KR20190102060A (ko) 2019-09-02
JP7224288B2 (ja) 2023-02-17
US20180197624A1 (en) 2018-07-12
JP2023001290A (ja) 2023-01-04
KR20240059645A (ko) 2024-05-07
EP3568783A4 (en) 2020-11-11
AU2018207068A1 (en) 2019-07-25
KR102662173B1 (ko) 2024-04-30
JP2020505675A (ja) 2020-02-20
CN116230153A (zh) 2023-06-06
US20230075466A1 (en) 2023-03-09
EP3568783A1 (en) 2019-11-20
CN110431636A (zh) 2019-11-08
WO2018132336A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP7478795B2 (ja) 医療アシスタント
JP7091531B2 (ja) 身体上ジェスチャ・インターフェース及び投影表示のための方法
AU2022252723B2 (en) Imaging modification, display and visualization using augmented and virtual reality eyewear
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
JP2021099866A (ja) システム及び方法
JP2024514882A (ja) オーバーレイされたデータ及び構成のカスタマイズ
US20130093829A1 (en) Instruct-or
US20180268110A1 (en) Method and system for optimizing healthcare delivery
Jalaliniya et al. Designing wearable personal assistants for surgeons: An egocentric approach
US20200234809A1 (en) Method and system for optimizing healthcare delivery
Sonntag et al. On-body IE: a head-mounted multimodal augmented reality system for learning and recalling faces
Ruegger Touchless interaction with 3D images in the operating room

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7478795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150