KR20190051043A - 증강 현실 분광기 - Google Patents

증강 현실 분광기 Download PDF

Info

Publication number
KR20190051043A
KR20190051043A KR1020197011040A KR20197011040A KR20190051043A KR 20190051043 A KR20190051043 A KR 20190051043A KR 1020197011040 A KR1020197011040 A KR 1020197011040A KR 20197011040 A KR20197011040 A KR 20197011040A KR 20190051043 A KR20190051043 A KR 20190051043A
Authority
KR
South Korea
Prior art keywords
light
head
electromagnetic radiation
user
wavelength
Prior art date
Application number
KR1020197011040A
Other languages
English (en)
Other versions
KR102266343B1 (ko
Inventor
니콜 엘리자베스 사멕
나스타샤 유. 로바이나
아드리안 쾰러
마크 배렌로트
에릭 배렌로트
크리스토퍼 엠. 해리스
타미 셰리 파워스
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020217017864A priority Critical patent/KR20210072157A/ko
Publication of KR20190051043A publication Critical patent/KR20190051043A/ko
Application granted granted Critical
Publication of KR102266343B1 publication Critical patent/KR102266343B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552—Details of sensors specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14555—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for the eye fundus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0256—Compact construction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J3/108—Arrangements of light sources specially adapted for spectrometry or colorimetry for measurement in the infrared range
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/427—Dual wavelengths spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075—Arrangements of multiple light guides
    • G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/13—Digital output to plotter ; Cooperation and interconnection of the plotter with other functional units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G01J2003/106—Plural sources the two sources being alternating or selectable, e.g. in two ranges or line:continuum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J2003/425—Reflectance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Abstract

일부 실시예들에서, 시스템은 사용자의 머리에 제거 가능하게 커플링 가능한 머리-장착 프레임; 머리-장착 프레임에 커플링되고, 광원들의 방사 시야 내의 타겟 오브젝트를 향해 적어도 2개의 상이한 파장들을 갖는 광을 방출하도록 구성된 하나 이상의 광원들; 머리-장착 부재에 커플링되고, 타겟 오브젝트에 부딪힌 후에 반사된 광을 수신하도록 구성된 하나 이상의 전자기 방사선 검출기들; 및 하나 이상의 광원들 및 전자기 방사선 검출기들에 동작 가능하게 커플링되고, 광원들에 의해 방출된 광 특성들에 관련하여 검출기들에 의해 측정된 광 특성들에 의해 결정되는 타겟 오브젝트의 아이덴티티 또는 특성을 나타내는 출력을 결정 및 디스플레이하도록 구성된 제어기를 포함한다.

Description

증강 현실 분광기
[0001] 본 출원은, 2016년 9월 22일에 출원된 미국 가출원 제62/398,454호를 우선권으로 주장하며, 상기 출원은 인용에 의해 본원에 포함된다.
[0002] 본 출원은 다음의 미국 특허 출원들: 미국 특허 출원 제15/072,341호; 미국 특허 출원 제14/690,401호; 미국 특허 출원 제14/555,858호; 미국 특허 출원 제14/555,585호; 미국 특허 출원 제13/663,466호; 미국 특허 출원 제13/684,489호; 미국 특허 출원 제14/205,126호; 미국 특허 출원 제14/641,376호; 미국 특허 출원 제14/212,961호; 미국 가특허 출원 제62/298,993호(미국 특허 출원 제15/425,837호에 대응함); 및 미국 특허 출원 제15/425,837호 각각의 전체내용들을 인용에 의해 포함한다.
[0003] 본 개시내용은 웨어러블 컴포넌트리(componentry)를 사용하는 증강 현실을 위한 시스템들 및 방법들에 관한 것이며, 더 구체적으로 반사광 특성들에 의해 물질을 식별하기 위한 증강 현실 시스템들의 구성들에 관한 것이다.
[0004] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인지될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명화(transparency)가 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 그리고 증강 현실, 또는 "AR" 시나리오는 통상적으로, 사용자가 실세계를 실질적으로 인지하고 보도록 여전히 허용하면서, 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0005] 예컨대, 도 1을 참조하여, 증강 현실 장면(4)이 묘사되고, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(1120) 상에 서있는 로봇 동상(1110), 및 호박벌의 의인화된 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(2)를 보는 것을 인지하는데, 이들 엘리먼트들(2, 1110)은 실세계에 존재하지 않는다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스러운 느낌의, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다. 예컨대, 머리에 착용된 AR 디스플레이들(또는 헬멧-장착 디스플레이들, 또는 스마트 안경)은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 사용자의 머리가 이동할 때 이동한다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출될 때, 디스플레이되는 데이터는 머리 포즈의 변화를 고려하기 위하여 업데이트될 수 있다. 적절한 AR 시스템들의 특정 양상들은 예컨대, 플로리다 주 포트로더데일(Fort Lauderdale)의 Magic Leap, Inc에 의해 개발된 것들과 같은 증강 및 가상 현실 시스템들에 관련된 다음 부가적인 개시내용들: 미국 특허 출원 일련 번호 제14/641,376호; 미국 특허 출원 일련 번호 제14/555,585호; 미국 특허 출원 일련 번호 제14/212,961호; 미국 특허 출원 일련 번호 제14/690,401호; 미국 특허 출원 일련 번호 제13/663,466호; 미국 특허 출원 일련 번호 제13/684,489호; 및 미국 특허 출원 일련 번호 제62/298,993호(그 각각은 그 전체가 본원에 인용에 의해 통합됨)와 함께, 그 전체가 본원에 인용에 의해 통합된 "System and method for augmented and virtual reality"이라는 명칭의 미국 특허 출원 일련 번호 제14/205,126호에 개시된다.
[0006] 본원에 개시된 시스템들 및 방법들은 AR 및 VR 기술에 관련된 다양한 난제들 및 개발들을 다룬다.
[0007] 혼합 현실 시스템은 분광법(spectroscopy)을 수행하도록 구성된다. 혼합 현실(대안적으로 약어로 "MR")은 통상적으로 자연 세계에 통합되고 이에 응답하는 가상 오브젝트들을 수반한다. 예컨대, MR 시나리오에서, AR 콘텐츠는 실세계 오브젝트들에 의해 폐색되고 그리고/또는 실세계의 다른 오브젝트들(가상 또는 실제)과 상호작용하는 것으로 인식될 수 있다. 본 개시내용 전반에 걸쳐, AR, VR 또는 MR에 대한 참조는 본 발명에 대한 제한이 아니며, 그 기술들이 임의의 콘텍스트에 적용될 수 있다.
[0008] 일부 실시예들은, 사용자의 머리에 제거 가능하게 커플링 가능한 머리-장착 부재로부터 방출되고 후속으로 그에 의해 수신되고/그에 반사되고/그에서 검출된 광 파장의 함수로써 물질들(substances)(이를테면, 조직, 조직 내부의 세포들 또는 세포들/조직 내의 특성들)을 식별하기 위한 웨어러블 시스템에 관한 것이다. 본 개시내용이 다양한 실시예들에 따른 분석 대상으로서, 주로 조직, 또는 조직 특성들을 언급하지만, 기술들 및 기법 및 컴포넌트들은 이에 제한되지 않는다. 일부 실시예들은 사용자-선택 방향으로 하나 이상의 파장들로 광을 방출하기 위한 하나 이상의 광원들, 이를테면, 머리-장착 부재에 커플링된 전자기 방사선 방출기들을 활용한다. 이러한 실시예들은 연속적이고, 심지어 수동적인 측정들을 허용한다. 예컨대, 머리 장착 시스템을 착용한 사용자는 정해진 활동을 수행할 수 있지만, 내향 센서들(inward facing sensors)은, 활동을 간섭하지 않고서 눈의 특성들을 검출할 수 있다.
[0009] 예컨대, 사용자는 사용자의 눈들 내부를 보고, 눈의 조직 특성들, 이를테면, 눈의 혈관 내의 혈중 농도(blood concentration)를 식별 또는 측정하도록 구성된 시스템을 착용할 수 있다. 내향 시스템들의 다른 예들에서, 단순히 조직 특성들이 아니라 안내 유체(intraocular fluid)와 같은 유체들이 분석될 수 있다. 다른 예들에서, 시스템은, 외부 세계를 향해 외부를 보고, 눈 이외의 조직 또는 물질 특성들, 이를테면, 사용자의 사지(extremity) 또는 사용자로부터 떨어진 주변 환경 내의 오브젝트를 식별 또는 측정하는 센서들을 포함할 수 있다.
[0010] 외향 시스템들(outward looking systems)에서, 머리-장착 부재에 커플링된 눈 추적 카메라들은, 사용자가 보고 있는 방향 시선을 결정할 수 있고, 프로세서 또는 제어기는 머리-장착 부재에 커플링된 실세계 캡처링 시스템(이를테면, 카메라들 또는 깊이 센서들)으로부터 캡처된 이미지들을 통해 실세계 타겟 오브젝트의 관찰과 그 시선을 상관시킬 수 있다. 머리-장착 시스템에 커플링된 광원들은 사용자로부터 멀리 광을 방출하고, 이를테면, 예컨대, 전자기 방사선 방출기(electromagnetic radiation emitter)로부터 적외선 광을 방출하고, 일부 실시예들에서, 눈 추적 카메라들에 의해 결정되는 시선 방향과 실질적으로 동일한 방향으로 조사 패턴(irradiation pattern)을 생성하기 위해 광을 방출하고, 이로써 타겟 오브젝트 상에 방출된다.
[0011] 일부 실시예들에서, 실세계 캡처링 시스템들은 오브젝트를 캡처한다. 예컨대, 깊이 센서, 이를테면, 수직 캐비티 표면 방출 레이저(vertical cavity surface emitting laser)는, 오브젝트에 충돌하는 신호들의 비행 시간(time of flight)의 수집을 통해 오브젝트의 아웃라인(outline)을 결정할 수 있다. 일단 이러한 실세계 캡처링 시스템에 의해 오브젝트의 윤곽들(contours)이 식별되면, 오브젝트는 하이라이팅되고, 라벨링을 위해 이용 가능할 수 있다. 일부 실시예들에서, 정해진 시야의 카메라 시스템은 하이라이팅 및 라벨링을 위해 이용 가능한 영역을 규정한다. 예컨대, 사용자의 시선과 상관되는 카메라는, 광원이 실질적으로 광을 방출할 5 도 시야, 10 도 시야 또는 바람직하게는 30 도 중심 비전 시야까지의 적절한 증분들을 포함할 수 있다.
[0012] 일부 실시예들에서, 이러한 시스템은, 머리-장착 부재에 커플링되고, 광원으로부터 방출되고 타겟 오브젝트로부터 반사된 반사 광을 수신하도록 구성된 하나 이상의 전자기 방사선 검출기들 또는 광 검출기들; 및 하나 이상의 전자기 방사선 방출기들 및 하나 이상의 전자기 방사선 검출기들에 동작 가능하게 커플링되고, 하나 이상의 전자기 방사선 방출기들로 하여금 광의 펄스들을 방출하게 하면서 또한 하나 이상의 전자기 방사선 검출기들로 하여금 방출된 광의 펄스들에 관련된 광 흡수의 레벨들을 특정 펄스 방출의 임의의 수신된 반사된 광의 함수로서 검출하게 하도록 구성된 제어기를 더 포함한다.
[0013] 일부 실시예들에서, 시스템은 타겟 오브젝트로부터 검출기에 의해 수신된 반사 광의 파장과, 기본 조직의 특정 물질, 조직 타입 또는 특성을 매칭시키기 위한 프로세서를 더 포함한다. 일부 실시예들에서, 다른 광 특징들, 이를테면, 방출된 광과 검출된 광에 대한 편광 변화들 또는 산란 효과들이 결정되지만, 본 설명의 목적들을 위해 파장 특징들이 예시적인 광 특징들로서 사용된다. 예컨대, 일부 실시예들에서, 내향 전자기 방사선 방출기는 적외선 스펙트럼의 광을 사용자의 망막으로 방출하고, 반사된 광을 수신하고, 조직의 타입 또는 조직의 산소 포화도와 같은 물리적 특성을 결정하기 위해 반사된 광의 파장을 매칭시킨다. 일부 실시예들에서, 시스템이 외향 광원들을 포함하고, 적외선 광을 타겟 오브젝트(이를테면, 사용자 또는 제3 자의 사지)로 방출하고, 반사된 광을 수신하고, 관찰된 물질을 결정하기 위해 반사된 광 파장을 매칭시킨다. 예컨대, 이러한 외향 시스템은 건강한 세포들 중에서 암 세포들의 존재를 검출할 수 있다. 암, 또는 다른 이상 세포들(abnormal cells)이 건강한 세포들과 상이하게 광을 반사 및 흡수하기 때문에, 특정 파장들에서의 광의 반사는 이상(abnormality)의 존재와 양을 나타낼 수 있다.
[0014] 일부 실시예들에서, 제어기는 실세계 캡처링 시스템으로부터 캡처된 타겟 오브젝트를 수신하고, 식별된 특성을 나타내는 라벨을 타겟 오브젝트에 적용한다. 일부 실시예들에서, 라벨은 머리-장착 부재의 디스플레이 내의 텍스트 라벨 또는 프롬프트(prompt)이다. 일부 실시예들에서, 라벨은 사용자에 대한 오디오 프롬프트가 된다. 일부 실시예들에서, 라벨은, 이를테면, 의료 서적에서 참조되고, 사용자에 의한 비교 분석 준비를 위해 타겟 오브젝트 근처에서 중첩되는, 유사한 조직의 가상 이미지이다.
[0015] 일부 실시예들에서, 머리-장착 부재는 안경 프레임을 포함할 수 있다. 안경 프레임은 양안 안경 프레임일 수 있다. 하나 이상의 방사선 방출기들은 광원, 이를테면, 발광 다이오드를 포함할 수 있다. 하나 이상의 방사선 방출기들은 2개 이상의 상이한 파장들의 전자기 방사선을 방출하도록 구성된 복수의 광원들을 포함할 수 있다. 복수의 광원들은 약 660 나노미터의 제1 파장, 및 약 940 나노미터의 제2 파장의 전자기 방사선을 방출하도록 구성될 수 있다. 하나 이상의 방사선 방출기들은 2개의 상이한 파장들의 전자기 방사선을 순차적으로 방출하도록 구성될 수 있다. 하나 이상의 방사선 방출기들은 2개의 미리 결정된 파장들의 전자기 방사선을 동시에 방출하도록 구성될 수 있다. 하나 이상의 전자기 방사선 검출기들은 광 다이오드, 광 검출기, 및 디지털 카메라 센서로 구성된 그룹으로부터 선택된 디바이스를 포함할 수 있다. 하나 이상의 전자기 방사선 검출기들은, 타겟 오브젝트에 부딪힌 후에 반사된 광을 수신하도록 포지셔닝 및 배향될 수 있다. 하나 이상의 전자기 방사선 검출기들은 관찰된 조직 또는 물질에 부딪힌 후에 반사된 광을 수신하도록 포지셔닝 및 배향될 수 있고, 즉, 하나 이상의 전자기 방사선 검출기들은, 사용자의 눈쪽으로 내향하든지 또는 사용자의 환경쪽으로 외향하든지 간에, 하나 이상의 전자기 방사선 방출기들과 실질적으로 동일한 방향으로 배향된다.
[0016] 제어기는 복수의 광원들로 하여금 제1 파장 온(on), 이어서 제2 파장 온, 이어서 이 둘 모두의 파장들 오프(off)의 주기적 패턴으로 방출하게 하도록 추가로 구성될 수 있어서, 하나 이상의 전자기 방사선 검출기들은 제1 및 제2 파장들을 별개로 검출한다. 제어기는 복수의 발광 다이오드들이 초당 약 30회의 주기적 펄싱 패턴으로 제1 파장 온, 이어서 제2 파장 온, 이어서 파장들 둘 모두 오프의 주기적 패턴으로 방출하게 하도록 구성될 수 있다.
[0017] 일부 실시예들에서, 제어기는 제1 파장 광 측정치 대 제2 파장 광 측정치의 비율을 계산하도록 구성될 수 있다. 일부 실시예들에서, 이 비율은 비어-람버트(Beer-Lambert) 법칙에 적어도 부분적으로 기반하여 룩업 테이블을 통하여 산소 포화도 판독치로 추가로 변환될 수 있다. 일부 실시예들에서, 비율은, 이를테면, 머리-장착 부재 상의 흡수 데이터베이스 모듈에 저장되거나 로컬 또는 원격 프로세싱 모듈 상의 머리-장착 부재에 커플링된 외부 룩업 테이블들의 물질 식별자로 변환된다. 예컨대, 특정 조직들의 흡수 비율들 또는 파장 반사에 대한 흡수 데이터베이스 모듈은, 의료인들(health care providers)에 의해 액세스 가능한 "클라우드" 저장 시스템에 저장되고, 원격 프로세싱 모듈을 통해 액세스될 수 있다. 일부 실시예들에서, 흡수 데이터베이스 모듈은 특정 식품들에 대한 흡수 특성들(이를테면, 파장 비율들 또는 파장 반사들)을 저장하고, 머리-장착 부재에 대한 로컬 프로세싱 모듈 상에 영구적으로 저장될 수 있다.
[0018] 이러한 방식으로, 제어기는 폭넓은 용도의 머리-장착 분광기로서 기능하도록 하나 이상의 전자기 방사선 방출기들 및 하나 이상의 전자기 방사선 검출기들을 동작시키도록 구성될 수 있다. 제어기는 머리-장착 부재에 커플링되고 사용자가 볼 수 있는 광학 엘리먼트에 동작 가능하게 커플링될 수 있어서, 특정 조직 특성 또는 물질을 다른 방식으로 나타내는 파장 특성들을 나타내는 제어기의 출력을 광학 엘리먼트를 통하여 사용자가 볼 수 있다. 하나 이상의 전자기 방사선 검출기들은 복수의 픽셀들을 포함하는 디지털 이미지 센서를 포함할 수 있고, 제어기는, 예컨대, 조직 또는 조직 내의 세포들에 부딪힌 후에 반사된 광을 수신하는 픽셀들의 서브세트를 자동으로 검출하도록 구성된다. 일부 실시예들에서, 이러한 픽셀들의 서브세트는 디지털 이미지 센서의 시야 내의 타겟 오브젝트를 나타내는 출력을 생성하는데 사용된다. 예컨대, 출력은, 조직의 흡수 레벨을 나타내는 디스플레이 라벨일 수 있다. 일부 실시예들에서, 비교 값들이 출력으로서 디스플레이된다. 예컨대, 출력은 제1 분석 시간으로부터의 혈액의 산소의 퍼센티지 포화도 및 제2 분석 시간에서의 산소의 퍼센티지 포화도일 수 있고, 그 2개의 시간들 사이에서 변화 레이트가 나타난다. 이러한 실시예들에서, 당뇨병성 망막증(diabetic retinopathy)과 같은 질환들은 시간에 따라 측정된 특성들의 변화들을 인식함으로써 검출될 수 있다.
[0019] 일부 실시예들에서, 제어기는 픽셀들과 연관된 신호들 간의 반사된 광 휘도 차이들에 적어도 부분적으로 기반하여 픽셀들의 서브세트를 자동으로 검출하도록 구성될 수 있다. 제어기는 픽셀들과 연관된 신호들 간의 반사된 광 흡수 차이들에 적어도 부분적으로 기반하여 픽셀들의 서브세트를 자동으로 검출하도록 구성될 수 있다. 이러한 실시예들에서, 이러한 서브세트들은 분리된 픽셀들이고, 부가적인 조사 또는 맵핑과 같은 추가의 분석을 위해 플래깅될 수 있거나, 가상 이미지는, 시스템에 의해 식별된 서브픽셀들의 상이한 특성들을 사용자에게 통지하는 역할을 하기 위해 다른 특성들을 디스플레이하는, 분리된 픽셀들에 대한 시각적 콘트라스트를 제공하기 위해 그러한 픽셀들 상에 오버레이될 수 있다.
[0020] 일부 실시예들에서, 시스템 데이터 수집은 광 펄스들을 펄싱 및 기록하기 위해 시간 다중화될 뿐만 아니라, 하루 중 여러번 수동적으로 수집된다. 일부 실시예들에서, GPS 또는 다른 유사한 맵핑 시스템은 사용자의 위치 또는 하루 중 시간과 수집된 특정 생리적 데이터를 상관시키기 위해 시스템에 커플링된다. 예컨대, 사용자는 하루 전반에 걸쳐 특정 위치들 또는 활동들에 대한 생리적 응답들을 추적할 수 있다.
[0021] 본 발명의 이들 및 많은 다른 특징들 및 이점들은, 다음의 도면들 및 설명이 추가로 고려될 때, 인식될 것이다.
[0022] 도 1은 사용자에 대한 증강 현실 시스템 프리젠테이션의 특정 양상들을 예시한다.
[0023] 도 2a-2d는 로컬 및 원격 프로세스 및 데이터 컴포넌트들에 동작 가능하게 커플링된 머리-장착 컴포넌트를 특징으로 하는, 웨어러블 컴퓨팅 애플리케이션들을 위한 다양한 증강 현실 시스템들의 특정 양상들을 예시한다.
[0024] 도 3은 웨어러블 증강 또는 가상 현실 시스템과 특정 원격 프로세싱 및/또는 데이터 저장 자원들 간의 연결 패러다임의 특정 양상들을 예시한다.
[0025] 도 4a-4d는 혈액의 산소화에서 광의 산란에 관련된 펄스 옥시미트리 구성들(pulse oximetry configurations) 및 교정 곡선들의 다양한 양상들을 예시한다.
[0026] 도 5는 일부 실시예들에 따른 AR/VR 기능을 통합한 머리-장착 분광기 시스템을 예시한다.
[0027] 도 6은 일부 실시예들에 따른 통합된 분광기 모듈들을 특징으로 하는 웨어러블 AR/VR 시스템의 다양한 양상들을 예시한다.
[0028] 도 7a-7b는 파장들에 의해 선택 속성들을 나타내는 예시적인 광 포화도 곡선 차트이다.
[0029] 도 8은 일부 실시예들에 따른 머리-장착 분광기 시스템을 통해 물질들 또는 물질 특성들을 식별하기 위한 방법을 예시한다.
[0030] 일부 AR 및 VR 시스템들은 프로세싱 능력, 이를테면, 제어기 또는 마이크로제어기, 및 또한 다양한 컴포넌트들의 기능부에 전력을 공급하기 위한 전력 공급기를 포함하고, 웨어러블 컴퓨팅 시스템, 이를테면, AR 또는 VR 시스템의 컴포넌트들 중 적어도 일부가 이들을 동작시키는 사용자의 신체에 가깝다는 사실로 인해, 사용자에 대해 특정 생리적 모니터링을 수행하기 위해 이들 시스템 컴포넌트들 중 일부를 활용할 기회가 존재한다. 예컨대, 생리적 모니터링은 광 흡수를 측정함으로써 수행될 수 있다.
[0031] 종래의 광 흡수 측정 기술들(예컨대, 도 4a에서 또는 포도당 검출에서와 같이 사람의 손가락에 부착 가능한 펄스 옥시미트리 계량기들)에서, 광은 제어되고 고정된 방향으로 방출되고, 제어되고 고정된 수신기에서 수신된다. 광은, 조직 구조의 다른 측에서 또한 검출(그리고 따라서 흡수 및 산란과 같은 광 특성들이 측정)되는 동안, 주변 조직 구조들을 통해 상이한 파장들로 펄싱된다. 이러한 시스템들에서, 검출된 광의 측정과 비교하여 방출된 광의 측정은 추정된 조직 또는 조직 특성(예컨대, 펄스 옥시미트리 계량기들에 대해 추정된 혈액 산소 포화도 레벨), 또는 간단히 달리 물질 또는 조직 타입에 비례하거나 이들로서 판독되는 출력을 제공할 수 있다. 도 4d에 도시된 바와 같이, 기본조직에 입사되는 광의 함수로서 기본조직의 특성들을 예측하기 위해, 다른 광에 대해 관심있는 광의 비율을 도시하는 교정 곡선들이 또한 가능하다.
[0032] 라만(Raman) 분광법은 조사된 분자들에 의해 방출되는 광자들의 비탄성 산란(inelastic scattering)을 측정하는 다른 기술이다. 특정 분자들은, 조사될 때, 파장들의 특정 시프트들을 제공할 것이고, 이로써 샘플 내의 분자들을 측정 및 정량화하는 데 사용될 수 있는 고유한 산란 효과들을 제공한다.
[0033] 도 4b는 산소화(806) 대 탈산소화(808)된 헤모글로빈의 흡수 스펙트럼의 차트를 예시하고, 이러한 플롯들(806, 808)에 도시된 바와 같이, 전자기 스펙트럼의 적색 광 파장 범위, 이를테면 약 660nm에서, 산소화 대 탈산소화 헤모글로빈에 대한 흡수에 상당한 차이가 존재하는 반면, 적외선 파장 범위의 약 940nm에서 반대되는 차이가 존재한다. 이러한 파장들에서의 방사선을 펄싱하고, 펄스 옥시미터로 검출하는 것은 특정 사용자에 대한 산소 포화도의 결정 시에 이러한 흡수 차이들을 이용하는 것으로 알려졌다.
[0034] 펄스 옥시미터들(802)이 통상적으로 조직 구조, 이를테면, 손가락(804) 또는 귓불을 적어도 부분적으로 캡슐화하도록 구성되지만, 눈의 혈관들, 이를테면, 망막 혈관들의 흡수 차이들을 관찰하기 위해, 도 4c에 묘사된 구성(812)과 같은 특정 데스크톱 스타일 시스템들이 제안되었지만, 또한 다른 조직들의 특성들을 검출하도록 구성될 수 있다.
[0035] 이러한 구성(812)은 유동 옥시미터 또는 분광기 시스템이라 지칭되고, 카메라(816), 줌 렌즈(822), 제1 발광 다이오드(LED)(818) 및 제2 발광 다이오드(820), 및 하나 이상의 빔 분할기들(814)을 포함하는, 도시된 바와 같은 컴포넌트들을 포함할 수 있다. 특정 사용자들, 이를테면, 고지 도보 여행자들, 운동선수들 또는 특정 심혈관 또는 호흡 기관의 문제들을 가진 사람들이 자신들의 일상에서 돌아다니고 자신들의 활동들을 수행할 때, 자신들의 혈액 산소 포화도의 정보를 리트리브(retrieve)할 수 있거나, 간병인들(caregivers)이 근본적인 이상들에 대해 실시간으로 조직을 분석하는 것이 가치가 있을 것이지만, 대부분의 구성들은 조직 구조의 다소 불편한 캡슐화를 수반하거나, 또는 휴대 가능 또는 착용 가능하지 않거나, 다른 조직 상태들 또는 물질들을 나타내는 다른 흡수 특성들을 고려하지 않거나, 그 구성의 센서들의 방향성의 부분으로서 사용자가 바라보는 시선과 상관되지 않는다(다시 말해서, 분광기에 의한 식별 및 분석을 위해 타겟 오브젝트의 선택성이 없음).
[0036] 이롭게도, 일부 실시예들에서, 사용자의 시야 내에서 부가적인 조직 식별 및 특성들을 실시간으로 결정하기 위한 이미징 수단과, AR 또는 VR 시스템 형태의 웨어러블 컴퓨팅의 편리성을 결합하는 해결책이 본원에 제공된다.
[0037] 도 2a 내지 2d를 참조하면, 일부 일반적인 컴포넌트리 옵션들이 예시된다. 도 2a 내지 2d의 논의에 뒤따르는 상세한 설명의 부분들에서, 외부 정보 소스들에 액세스하고 이를 생성하는 인간 VR 및/또는 AR에 대한 고품질의 편안하게-지각되는 디스플레이 시스템을 제공하는 목적들을 해결하기 위해 다양한 시스템들, 서브시스템들 및 컴포넌트들이 제시된다.
[0038] 도 2a에 도시된 바와 같이, 사용자의 눈들 앞에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 특징으로 하는 머리 장착 컴포넌트(58)를 착용한 AR 시스템 사용자(60)가 도시된다. 도시된 구성에서 스피커(66)가 프레임(64)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일 실시예에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공함). 디스플레이(62)는 이를테면, 유선 리드 또는 무선 연결에 의해, 로컬 프로세싱 및 데이터 모듈(70)에 동작 가능하게 커플링(68)되고, 이 로컬 프로세싱 및 데이터 모듈(70)은 다양한 구성들로 장착될 수 있는데, 이를테면, 프레임(64)에 고정되게 부착되거나, 도 2b의 실시예에 도시된 바와 같이, 헬멧 또는 모자(80)에 고정되게 부착되거나, 헤드폰들에 임베딩되거나, 도 2c의 실시예에 도시된 바와 같이 백팩-스타일 구성으로 사용자(60)의 신체(82)에 제거 가능하게 부착되거나, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 엉덩이(84)에 제거 가능하게 부착될 수 있다.
[0039] 로컬 프로세싱 및 데이터 모듈(70)은 프로세서 또는 제어기(예컨대, 전력-효율적 프로세서 또는 제어기)뿐만 아니라, 디지털 메모리 이를테면, 플래시 메모리를 포함할 수 있으며, 이들 둘 모두는, a) 프레임(64)에 동작 가능하게 커플링될 수 있는 센서들, 이를테면, 전자기 방출기들 및 검출기들, 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPU 유닛들, 라디오 디바이스들, 및/또는 자이로들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 이용하여 취득 및/또는 프로세싱되는 (이는 가능하다면, 이러한 프로세싱 또는 리트리벌 후에 디스플레이(62)로의 전달을 위한 것임) 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작 가능하게 커플링(76, 78)될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용 가능하다.
[0040] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터, 방출되거나 수신된 광 특성들 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(74)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 비교적 대형-스케일 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0041] 이제 도 3을 참조하면, 개략도는, 도 3에 도시된 바와 같이, 예컨대, 사용자의 머리(120)에 커플링된 머리 장착 컴포넌트들(58) 및 사용자의 벨트(308)(이에 따라, 컴포넌트(70)는 "벨트 팩"(70)이라고 또한 칭해질 수 있음)에 커플링된 로컬 프로세싱 및 데이터 모듈(70)에 상주할 수 있는 로컬 프로세싱 에셋들과 클라우드 컴퓨팅 에셋들(46) 간의 조정을 예시한다. 일 실시예에서, 클라우드(46) 에셋들, 이를테면, 하나 이상의 서버 시스템들(110)은, 위에서 설명된 바와 같이, 이를테면, 유선 또는 무선 네트워킹(이동성을 위해서는 일반적으로 무선이 선호되고, 소정의 고-대역폭 또는 고-데이터-볼륨 전달들에 대해서는 일반적으로 유선이 선호됨(이것이 바람직할 수 있음))을 통해, 동작 가능하게 커플링(115)되고, 사용자의 머리(120) 및 벨트(308)에 커플링된, 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 에셋들 중 하나 또는 둘 모두에 직접적으로 커플링(40, 42)된다. 사용자에게 로컬인 이러한 컴퓨팅 에셋들은 또한, 유선 및/또는 무선 연결성 구성들(44), 이를테면, 도 8을 참조하여 아래에 논의되는 유선 커플링(68)을 통해 서로 동작 가능하게 커플링될 수 있다.
[0042] 일 실시예에서, 사용자의 머리(120)에 장착된 저-관성 및 작은 크기의 서브시스템을 유지하기 위해, 사용자와 클라우드(46) 사이의 1차 전달은 벨트(308)에 장착된 서브시스템과 클라우드 사이의 링크를 통해 이루어질 수 있고, 머리(120) 장착 서브시스템은 예컨대, 개인 컴퓨팅 주변기기 연결성 애플리케이션들에 현재 이용되는 "UWB(ultra-wideband)" 연결성과 같은 무선 연결을 이용하여 주로 벨트(308)-기반 서브시스템에 데이터-테더링(tether)된다.
[0043] 효율적인 로컬 및 원격 프로세싱 조정, 및 사용자에 대한 적절한 디스플레이 디바이스, 이를테면, 도 2a에 도시된 사용자 인터페이스 또는 사용자 디스플레이 시스템(62), 또는 그의 변동들을 이용하여, 사용자의 현재 실제 또는 가상 위치와 관련되는 하나의 세계의 양상들이 사용자에게 전송 또는 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 즉, 세계의 맵은, 예컨대, 사용자의 AR 시스템 상에 부분적으로 상주하고 클라우드 자원들에 부분적으로 상주할 수 있는 저장 위치에서 지속적으로 업데이트될 수 있다. 맵(또한 "전달 가능한 세계 모델(passable world model)"로서 지칭됨)은, 래스터 이미저리, 3-D 및 2-D 지점들, 실세계에 관한 파라미터 정보 및 다른 정보를 포함하는 대형 데이터베이스일 수 있다. 점점 더 많은 AR 사용자들이 자신들의 실제 환경에 관한 정보를(예컨대, 카메라들, 센서들, IMU들 등을 통해) 지속적으로 캡처함에 따라, 맵은 점점 더 정확하고 완전해진다.
[0044] 클라우드 컴퓨팅 자원들 상에 상주하고 그리고 클라우드 컴퓨팅 자원들로부터 분배될 수 있는 하나의 세계 모델이 존재하는 위에서 설명된 바와 같은 구성에 있어서, 이러한 세계는 실시간 비디오 데이터 등을 주위로 전달하도록 시도하는 것보다 바람직한 비교적 저 대역폭 형태로 하나 이상의 사용자들에게 "전달 가능"할 수 있다. 일부 실시예들에서, (즉, 도 1에 도시된 바와 같은) 동상 근처에 서 있는 사람의 증강된 경험은 클라우드-기반 세계 모델로 정보 제공될 수 있으며, 이의 서브세트는 사람들 및 사람들의 로컬 디스플레이 디바이스로 전달되어 뷰를 완성할 수 있다. 데스크 상에 놓여 있는 개인 컴퓨터와 같이 단순할 수 있는, 원격 디스플레이 디바이스에 앉아 있는 사람은, 클라우드로부터 동일한 정보 섹션을 효율적으로 다운로드하여 이를 자신의 디스플레이 상에 렌더링되게 할 수 있다. 사실상, 동상 근처의 공원에 실제로 존재하는 한 사람은 그 공원에서의 산책을 위해 원격으로-로케이팅된 친구를 데려갈 수 있는데, 이 친구는 가상 및 증강 현실을 통해 합류(join)한다. 시스템은, 거리(street)가 어디인지, 나무들이 어디에 있는지, 동상이 어디에 있는지를 알 필요가 있을 것이지만 ― 합류한 친구는, 클라우드 상의 그 정보를 사용하여, 시나리오의 양상들을 클라우드로부터 다운로드할 수 있고, 이어서 실제로 공원에 있는 사람에 대해 로컬인 증강 현실로서 함께 걷기 시작할 수 있다.
[0045] 3-D 지점들이 환경으로부터 캡처될 수 있고, 그리고 이들 이미지들 또는 지점들을 캡처하는 카메라들의 포즈(즉, 세계에 대한 벡터 및/또는 오리진 포지션 정보)가 결정될 수 있어서, 이들 지점들 또는 이미지들은 이 포즈 정보로 "태깅"되거나, 또는 이와 연관될 수 있다. 이어서, 제2 카메라에 의해 캡처된 지점들은 제2 카메라의 포즈를 결정하는 데 활용될 수 있다. 즉, 제1 카메라로부터의 태깅된 이미지들과의 비교들에 기반하여 제2 카메라가 배향 및/또는 로컬화될 수 있다. 그 결과, 이 지식은 (왜냐하면, 그 때 정합된(registered) 2개의 카메라들이 있기 때문에) 텍스처들을 추출하고, 맵들을 만들고, 그리고 실세계의 가상 카피를 생성하는 데 활용될 수 있다.
[0046] 따라서, 베이스 레벨에서, 일부 실시예들에서, 사람-착용 시스템은 3-D 지점들 및 이 지점들을 생성한 2-D 이미지들 둘 모두를 캡처하는 데 활용될 수 있고, 이들 지점들 및 이미지들은 클라우드 저장 및 프로세싱 자원으로 전송될 수 있다. 이들은 또한, 임베딩된 포즈 정보를 사용하여 로컬로 캐싱될 수 있고(예컨대, 태깅된 이미지들을 캐싱함); 따라서 클라우드는 3-D 지점들과 함께, (예컨대, 이용 가능한 캐시 내에) 준비된 상태의 태깅된 2-D 이미지들(예컨대, 3-D 포즈로 태깅됨)을 가질 수 있다. 사용자가 동적인 무언가(예컨대, 움직이는 오브젝트들 또는 피처들을 갖는 장면)를 관찰중인 경우, 그 사용자는 또한, 모션에 관련된 부가적인 정보를 클라우드까지 전송할 수 있다(예컨대, 다른 사람의 얼굴을 보는 경우, 주변 세계가 기본적으로 달리 정적이더라도 사용자는 얼굴의 텍스처 맵을 취하고, 그리고 최적화된 주파수로 이를 푸시 업(push up)할 수 있음). 위에 언급된 바와 같이, 오브젝트 인식기들 및 전달 가능한 세계 모델에 대한 더 많은 정보는, 플로리다 주 포트로더데일의 Magic Leap, Inc에 의해 개발된 것들과 같은 증강 및 가상 현실 시스템들에 관련된 다음의 부가적인 개시내용들: 미국 특허 출원 일련 번호 제14/641,376호; 미국 특허 출원 일련 번호 제14/555,585호; 미국 특허 출원 일련 번호 제14/212,961호; 미국 특허 출원 일련 번호 제14/690,401호; 미국 특허 출원 일련 번호 제13/663,466호; 미국 특허 출원 일련 번호 제13/684,489호; 및 미국 특허 출원 일련 번호 제62/298,993호(그 각각은 그 전체가 본원에 인용에 의해 통합됨)와 함께, 그 전체가 본원에 인용에 의해 통합된 "System and method for augmented and virtual reality"이라는 제목의 미국 특허 출원 일련 번호 제14/205,126호에서 발견될 수 있다.
[0047] 일부 실시예들에서, 그러한 전달 가능한 세계 정보의 사용은, 분광기에 의한 오브젝트의 식별과 라벨링을 허용하고, 이어서 사용자들 사이에 전달될 수 있다. 예컨대, 임상 세팅(clinical setting)에서, 본 개시내용의 특징들을 구현하는 디바이스를 동작시키는 제1 간병인은 환자에 대한 암 조직을 맵핑 및 검출하고, 메타태그와 매우 유사한 가상 라벨을 그 조직에 할당 및 적용할 수 있다. 이어서, 유사하게 이러한 디바이스를 착용한 제2 간병인은 동일한 암 조직 세포 클러스터를 보고, 광을 방출하는 것, 광을 수신하는 것, 조직에 대한 흡수 특성을 매칭시키는 것, 및 조직을 독립적으로 라벨링하는 것 중 하나 이상에 관여할 필요 없이, 이러한 세포들을 식별하는 가상 라벨의 통지를 수신할 수 있다.
[0048] GPS 및 다른 로컬화 정보는 이러한 프로세싱에 대한 입력들로서 활용될 수 있다. 사용자의 머리, 토템(totem)들, 손 제스처들, 촉각 디바이스들 등의 매우 정확한 로컬화가 사용자에게 적합한 가상 콘텐츠를 디스플레이하는 것, 또는 전달 가능한 세계의 사용자들 사이에서의 전달 가능한 가상 또는 증강 콘텐츠를 가능하게 할 수 있다는 것이 인지될 것이다.
[0049] 도 5를 참조하여, 예시적인 분광기 시스템에 대한 다양한 통합된 컴포넌트들을 특징으로 하는 웨어러블 컴퓨팅 구성의 머리 장착 가능 컴포넌트(58)의 수직 평면도가 예시된다. 구성은, 위에서 언급된, 인용에 의해 통합된 개시내용들에 설명된 바와 같은 2개의 디스플레이 엘리먼트들(62 - 양안 - 각각의 눈마다 하나); 사용자 주위 세계를 관찰 및 검출하기 위한 2개의 전방-배향 카메라들(124) ― 각각의 카메라(124)는 연관된 시야(18, 22)를 가짐 ― , 및 시야(20)를 갖는 적어도 하나의 분광기 어레이(126, 도 6에 더 상세히 설명됨); 또한 시야(26)를 갖는 전방-배향의 비교적 고해상도 픽처(picture) 카메라(156), 하나 이상의 관성 측정 유닛들(102), 및 연관된 시야(24)를 갖는 깊이 센서(154)를 특징으로 한다. 사용자의 눈들(12, 13)쪽으로 향하고 머리 장착 컴포넌트(58) 프레임에 커플링되는 것은 눈 추적 카메라들(828, 830) 및 내향 방출기들 및 수신기들(832, 834)이다. 분광기 어레이(126)가 자신의 시야(20) 내의 외향 오브젝트들에 대해 행한 방식과 거의 동일한 방식으로, 내향 방출기들 및 수신기들(832, 834)이 조사 패턴(824, 826)으로 눈들을 향해 지향된 광을 방출 및 수신한다는 것을 당업자는 인지할 것이다. 이들 컴포넌트들, 또는 컴포넌트들 모두를 포함하지는 않는 조합들은, 이를테면, 유선 리드에 의해 제어기(844)에 동작 가능하게 커플링되고, 제어기(844)는 전력 공급기(846), 이를테면, 배터리에 동작 가능하게 커플링(848)된다.
[0050] 일부 실시예들에서, 디스플레이 엘리먼트들(62)은, 광학적으로 투과성이며, 사용자가 세계로부터 광을 수신함으로써 세계를 "볼" 수 있게 하는 하나 이상의 도파관들(예컨대, 도파관 스택)을 포함한다. 도파관들은 또한 디스플레이 정보를 포함하는 광을 수신하고, 광을 사용자의 눈들(12, 13)로 전파 및 배출하고, 이로써 사용자에게 이미지를 디스플레이한다. 바람직하게는, 도파관으로부터 전파되는 광은 상이한 깊이 평면들에 대응하는 특정, 정의된 레벨들의 파면 발산(wavefront divergence)을 제공한다(예컨대, 사용자로부터의 특정 거리에서 오브젝트의 이미지를 형성하는 광은, 실제라면 그 오브젝트로부터 사용자에 도달될 광의 파면 발산에 대응하거나 이와 실질적으로 매칭하는 파면 발산을 갖는다). 예컨대, 도파관들은 광 파워(optical power)를 가질 수 있고, 선택적으로 가변 레벨들의 파면 발산으로 광을 출력하도록 구성될 수 있다. 이러한 파면 발산이 눈들(12, 13)에 대한 원근조절에 대한 큐들(cues)을 제공한다는 것이 인지될 것이다. 게다가, 디스플레이 엘리먼트들(62)은, 깊이 큐들, 예컨대 눈들(12, 13)의 이접운동에 대한 큐들을 추가로 제공하기 위해 양안 시차(binocular disparity)를 활용한다. 이롭게도, 원근조절에 대한 큐들 및 이접운동에 대한 큐들은, 예컨대, 그들 둘 모두가 사용자로부터 동일한 거리에 있는 오브젝트에 대응하도록 매칭될 수 있다. 이러한 원근조절-이접운동 매칭은 머리-장착 부재(58)를 활용하는 시스템의 장기 착용성(long-term wearability)을 가능하게 한다.
[0051] 도 5를 계속해서 참조하여, 바람직하게는, 각각의 방출기(126, 832, 834)는, 이를테면, LED들에 의해, 2개 이상의 파장들, 이를테면, 약 660nm 및 약 940nm에서 전자기 방사선을 제어 가능하게 방출하도록 구성되고, 바람직하게는 조사 필드들(824, 826)은 타겟팅된 오브젝트들 또는 표면들을 조사하도록 배향된다. 일부 실시예들에서, 눈들(12, 13)과 같은 타겟팅된 오브젝트들은 내향하고, 조사 패턴들(824, 826)은 눈 추적 카메라 데이터 포인트에 대한 응답으로 눈의 특정 영역들을 타겟팅하도록 고정되거나, 넓어지거나/좁아질 수 있다. 일부 실시예들에서, 타겟팅된 오브젝트들은 외향하고(예컨대, 사용자로부터 멀어짐), 분광기 어레이(126)의 시야(20) 내의 조사 패턴은 눈 추적 카메라들(828, 830)로부터 결정된 눈들(12, 13)의 시선과 일치한다.
[0052] 일부 실시예들에서, 시선은 사용자의 눈으로부터 연장되는, 이를테면, 눈의 렌즈를 통해 중심와(fovea)로부터 연장되는 벡터인 것으로 이해될 수 있고, 방출기들(832, 834)은 사용자의 눈들 상에 적외선 광을 출력할 수 있고, 눈으로부터의 반사들(예컨대, 각막 반사들)이 모니터링될 수 있다. 눈의 동공 중심(예컨대, 디스플레이 시스템이, 예컨대, 적외선 이미징을 통해 동공의 중심을 결정할 수 있음)과 눈으로부터의 반사들 사이의 벡터는 눈의 시선을 결정하는 데 사용될 수 있다. 일부 실시예들에서, 눈이 공막과 안구를 갖기 때문에, 눈의 포지션을 추정할 때, 기하학적 구조는 2개의 원들이 서로의 최상부 상에 겹쳐지는 것으로 표현될 수 있다. 눈 포인팅 벡터는 이러한 정보에 기반하여 결정 또는 계산될 수 있다. 또한, 눈의 단면이 원형이고 공막이 특정 각도를 통해 스윙하기 때문에, 눈의 회전 중심이 추정될 수 있다. 이는, 단지 광선 트레이스들이 아니라, 알려진 송신된 신호에 대한 수신된 신호의 자기 상관으로 인해 벡터 거리를 초래할 수 있다. 출력은, 결국 눈들의 움직임을 추적하는 데 사용될 수 있는 푸르키네(Purkinje) 이미지(1400)로 보여질 수 있다.
[0053] 이를테면, IMU(102) 중 하나 이상에 의해 결정된 머리 포즈 정보에 의해 시야(20) 내에서 조사 패턴을 결정하는 다른 방식들을 당업자는 인지할 것이다.
[0054] 일부 실시예들에서, 방출기들은, 제어되는 박동 방출 사이클링(pulsatile emission cycling)에 따라, 동시에 또는 순차적으로, 파장들을 방출하도록 구성될 수 있다. 하나 이상의 검출기들(126, 828, 830)은 광 다이오드들, 광 검출기들 및/또는 디지털 카메라 센서들을 포함할 수 있으며, 바람직하게는 타겟팅된 조직 또는 물질 또는 그렇지 않다면 오브젝트에 부딪힌 방사선을 수신하도록 포지셔닝되고 배향된다. 하나 이상의 전자기 방사선 검출기들(126, 828, 830)은 복수의 픽셀들을 포함하는 디지털 이미지 센서를 포함할 수 있으며, 제어기(844)는, 타겟 오브젝트에 부딪힌 후에 반사되는 광을 수신하는 픽셀들의 서브세트를 자동으로 검출하고, 출력을 생성하기 위해 이러한 픽셀들의 서브세트를 사용하도록 구성된다.
[0055] 일부 실시예들에서, 출력은, 물질들 및 물질 특성들의 흡수 데이터베이스로부터, 타겟으로 방출된 광에 대한 수신된 광을 매칭시키는 함수이다. 예컨대, 일부 실시예들에서, 흡수 데이터베이스는, 이를테면, 도 7a 및 7b에 도시된 복수의 흡수 차트들을 포함한다. 차트들을 포함하는 데이터베이스가 차트들 내의 정보의 전자적 표현들 또는 변환들을 포함할 수 있으며, 본원에서 차트들이라는 용어의 사용은 이러한 표현들 또는 변환들을 포함한다는 것이 인지될 것이다. 도 7a 및 7b는 단지 예로서 사용되지만, 관찰된 타겟이 특정 조직이거나 그 조직 내의 특정 특성들을 가질 확률을 결정하기 위해, 특정 광원으로부터 광을 방출하고, 특정 파장 및/또는 광 특성의 광을 수신하는 정해진 시스템으로부터 검출될 수 있는 다양한 조직 특성들을 나타낸다. 포화도 곡선들 또는 교정 곡선들 중 어느 하나와 같은 다른 차트들은 사용자에 의해 선택적으로 액세스될 수 있다. 예컨대, 사용자는 특정 광원 또는 파장 패턴들에 대해 흡수 데이터베이스들을 선택하고, 이어서, 분광기 시스템이 요청된 특성들과 매칭하는 물질을 식별할 때까지, 둘러볼 수 있다. 이러한 실시예는 "폐쇄 검색(closed search)", 또는 임의의 타겟을 살피고, 이어서 검출된 광 특성들에 대한 매치들에 대해 데이터베이스들을 검색하는 "개방 검색"과는 대조적으로 특정 특성들을 기대하는 검색으로 지칭될 수 있다.
[0056] 제어기(844)는, 픽셀들과 연관된 신호들 사이의 반사된 광 특성들 차이들에 적어도 부분적으로 기반하여, 시야(도 5의 124, 또는 126, 또는 824, 826) 내의 픽셀들의 서브세트를 자동으로 검출하도록 구성될 수 있다. 예컨대, 제어기(844)는, 픽셀들과 연관된 신호들 사이의 반사된 광 흡수 차이들에 적어도 부분적으로 기초하여 픽셀들의 서브세트를 자동으로 검출하도록 구성될 수 있다. 이론에 제한되지 않고, 오브젝트에 충돌하는 광은, R + T + S = 1(R = 오브젝트로부터의 반사, T = 오브젝트로의 투과/흡수, 및 S = 오브젝트로부터의 산란)이 되도록, 오브젝트를 타격할 때 반사, 투과(흡수) 또는 산란할 것이다. 특정 픽셀들의 서브세트가 주변 서브픽셀들에 비해 더 높은 비율의 광을 반사하면, 제어기는 이러한 서브픽셀들을 분리하거나, 메모리 시스템에서 이들 상이한 특성들에 대한 픽셀 위치를 표시하거나 정합할 수 있다. 일부 실시예들에서, 픽셀 위치는, 이를테면, 머리 장착 디스플레이 시스템의 부가적인 사용자들이 맵에 액세스하는 조밀하거나 희소한 맵핑 포인트로서 전달 가능한 세계 맵핑 시스템에 저장되고, 픽셀들의 서브세트는 부가적인 사용자에게 전달되고, 액세스되어 그리고/또는 제2 사용자의 디스플레이 상에 디스플레이된다.
[0057] 도 6을 참조하면, 분광기 어레이(126)는 타겟 오브젝트(620)를 향하여 광(613)을 방출하는 광원(612)을 포함할 수 있다. 일부 실시예들에서, 광원(612)은 발광 다이오드들과 같은 전자기 방출기이다. 일부 실시예들에서, 방출된 광(613)의 방향은 사용자(60)의 시선 배향 또는 사용자(60)의 머리 포즈 배향과 실질적으로 동일하다. 일부 실시예들에서, 광 검출기들(614)은 타겟 오브젝트로부터 반사된 광(615)을 캡처한다. 일부 실시예들에서, 도 5에 도시된 제어기(844)일 수 있는 프로세서(610)는 방출된 광(613)과 반사된 광(615) 사이의 흡수 특성을 결정하고, 흡수 데이터베이스(630)로부터의 특성과 매칭시킨다. 일부 실시예들에서, 흡수 데이터베이스(630)는, 예컨대, 도 2a에 도시된 모듈(70)과 같은 로컬 프로세싱 모듈 상에 저장되고, 일부 실시예들에서, 흡수 데이터베이스(630)는 도 2a에 도시된 것과 같은 원격 프로세싱 모듈(72) 상에 저장된다.
[0058] 오브젝트(620)는 간단함을 위해 도 6에서 사과로 도시되며, 식품 특성들이 그들 개개의 광 흡수 특성들을 갖고, 본 발명의 실시예들은 그의 광 특성들에 의해 식품을 식별하는 데 사용될 수 있지만, 더 정교한 용도들이 또한 구상된다. 일부 실시예들에서, 외향 분광기 어레이(126)는 조직 소스(624), 예컨대, 예시적인 목적들을 위해 도시된 바와 같은 팔을 식별한다. 방출된 광(613)은 조직 소스(624)에 충돌할 수 있고, 반사된 광(615)은 일반적인 세포들(625) 중에서 이상 세포들(626)의 존재를 나타낼 수 있다. 광원(612)이 조직 소스(624)를 조사할 때, 이상 세포들(626)은 일반적인 세포(625)와 상이한 광 특성을 광 검출기들(614)로 반환할 것이다. 이상 세포들(626)은 암이 걸리거나, 반흔 조직(scar tissue)의 부분이거나, 심지어 조직 중에서 건강한 세포들일 수 있고, 이들은 주변 세포들에 대한 차이를 간단히 나타내거나 갖는, 예컨대, 조직 소스(624) 내의 혈관들 또는 뼈가 위치될 수 있는 곳을 나타낸다. 일부 실시예들에서, 일반적인 세포들은 분석 중인 샘플에서 대부분의 세포들로 여겨지고, 이상 세포들은 샘플의 소수의 세포들로 여겨지고, 이상 세포들은 일반적인 세포들과 상이한 검출 가능한 특성을 나타낸다. 일부 실시예들에서, 픽셀 레벨에서 이미지들을 캡처하는 실세계 카메라들은 이러한 이상 세포들(626)을 표시할 수 있다. 이전에 설명된 바와 같이, 디스플레이 엘리먼트(62)(도 5)를 통해 보여지는 바와 같이, 하나의 이러한 표시는 이상 세포들(626)에 근접하게 텍스트 이미지를 적용하는 라벨링 시스템일 수 있고, 다른 이러한 라벨링 시스템은 이상 세포들(626) 상의 컬러 오버레이일 수 있다.
[0059] 따라서, 다시 도 5를 참조하면, AR 또는 VR에 대한 것과 같은 웨어러블 컴퓨팅 시스템을 통해 조직 특성들 또는 물질들을 결정하기 위한 시스템이 제공되고, 시스템은: 사용자 머리에 제거 가능하게 커플링 가능한 머리-장착 부재(58); 머리-장착 부재(58)에 커플링되고 내향 방향들 또는 외향 방향들로 적어도 2개의 상이한 파장들을 갖는 광을 방출하도록 구성된 하나 이상의 전자기 방사선 방출기들(126, 832, 834), 머리-장착 부재에 커플링되고, 타겟 오브젝트에 부딪힌 후에 반사된 광을 수신하도록 구성된 하나 이상의 전자기 방사선 검출기들(126, 828, 830); 및 하나 이상의 전자기 방사선 방출기들(126, 832, 834) 및 하나 이상의 전자기 방사선 검출기들(126, 828, 830)에 동작 가능하게 커플링되고, 하나 이상의 전자기 방사선 방출기들로 하여금 광의 펄스들을 방출하게 하면서 또한 하나 이상의 전자기 방사선 검출기들로 하여금 방출된 광의 펄스들에 관련된 광의 흡수 레벨들을 검출하게 하고, 디스플레이 가능한 출력을 생성하게 하도록 구성된 제어기(844)를 포함한다.
[0060] 머리-장착 부재(58)는 사용자의 머리에 맞도록 구성된 프레임, 예컨대, 안경 프레임을 포함할 수 있다. 안경 프레임은 양안 안경 프레임일 수 있고; 대안적인 실시예들은 단안일 수 있다. 하나 이상의 방출기들(126, 832, 834)은 광원, 예컨대, 적어도 하나의 발광 다이오드 또는 다수의 파장들의 광을 방출하는 다른 전자기 방사선 방출기를 포함할 수 있다. 복수의 광원들은 바람직하게는 2개의 파장들, 예컨대, 약 660 나노미터의 제1 파장, 및 약 940 나노미터의 제2 파장의 광을 방출하도록 구성될 수 있다.
[0061] 일부 실시예들에서, 하나 이상의 방출기들(126, 832, 834)은 개개의 파장들의 광을 순차적으로 방출하도록 구성될 수 있다. 일부 실시예들에서, 하나 이상의 방출기들(126, 832, 834)은 개개의 파장들의 광을 동시에 방출하도록 구성될 수 있다. 하나 이상의 전자기 방사선 검출기들(126, 828, 830)은 광 다이오드, 광검출기, 및 디지털 카메라 센서로 이루어진 그룹으로부터 선택된 디바이스를 포함할 수 있다. 제어기(844)는 복수의 발광 다이오드들이 제1 파장 온(on), 이어서 제2 파장 온, 이어서 파장들 둘 모두 오프(off)의 주기적 패턴으로 방출하게 하도록 추가로 구성될 수 있어서, 하나 이상의 전자기 방사선 검출기들은 제1 및 제2 파장들을 별도로 검출한다. 제어기(844)는 복수의 발광 다이오드들이 초당 약 30회의 주기적 펄싱 패턴으로 제1 파장 온, 이어서 제2 파장 온, 이어서 파장들 둘 모두 오프의 주기적 패턴으로 방출하게 하도록 구성될 수 있다. 제어기(844)는 제1 파장 광 측정치 대 제2 파장 광 측정치의 비율을 계산하도록 구성될 수 있고, 이 비율은 비어-람버트 법칙에 적어도 부분적으로 기반하여 룩업 테이블을 통하여 산소 포화도 판독치로 변환된다.
[0062] 제어기(844)는 머리-장착 분광기로서 기능하도록 하나 이상의 방출기들(126, 832, 834) 및 하나 이상의 전자기 방사선 검출기들(126, 828, 830)을 동작시키도록 구성될 수 있다. 제어기(844)는, 머리-장착 부재(58)에 커플링되고 사용자가 볼 수 있는 광학 엘리먼트(62)에 동작 가능하게 커플링될 수 있어서, 사용자가 특정 물질 특성 또는 조직 특성을 나타내는 제어기(844)의 출력을 광학 엘리먼트(62)를 통해 볼 수 있다.
[0063] 도 7a는 흡수 데이터베이스(도 6의 630)에 의해 참조될 수 있는 예시적인 광 특성 흡수 차트이다. 도시된 바와 같이, 가시 스펙트럼에서의 IR, NIR 또는 발광 다이오드들과 같은 다양한 광원 타입들은 특정 조직들 및 조직 내의 특성들을 검출하기 위해 최적일 수 있다. 일부 실시예들에서, 교정 곡선에서의 흡수 비율 또는 산란은 방출된 광으로부터 반사된 광까지 컴퓨팅되고, 이를테면, 도 7a에 도시된 정해진 흡수 데이터베이스(630)에 적용되어, 기본조직 및/또는 그 조직 내의 특성들을 결정하거나 이상들을 결정한다.
[0064] 도 7b는 파장들의 잠재적인 "오버랩"을 도시한다. 도시된 바와 같이, "산소화된 혈액"은 특정 파장들에서 "탈산소화된 혈액"과 오버랩할 수 있어서, 분광 프로세스가 제공할 수 있는 결과들을 약화(mute)시킨다. 이러한 잠재적인 오버랩을 피하기 위해, 일부 실시예들에서, 제2 상이한 파장의 광은 측정 및 비교할 제2 광원을 제공하도록 방출된다.
[0065] 도 8은 조직 또는 조직 내의 특성들을 식별하기 위해 분광기 컴포넌트들을 특징으로 하는 웨어러블 AR/VR 시스템을 사용하기 위한 방법(850)을 예시한다. 방법(850)은, 시스템이 광원들을 타겟 오브젝트에 배향시키는 (851)에서 시작된다. 일부 실시예들에서, 배향은 사용자의 눈들을 향해 내향하게 지향되는 광원들을 가지며, 고정되거나, 망막 스캐닝과 같이 눈을 스캐닝할 수 있다. 일부 실시예들에서, 배향은, 사용자의 눈 시선 또는 머리 포즈를 결정하고, 이러한 시선 또는 포즈 시야 내의 타겟 오브젝트를 향하거나 특징 랜드마크들 또는 타겟 오브젝트들을 향하는 방향과 실질적으로 동일한 방향으로 광원을 배향시킴으로써 이루어진다.
[0066] 일부 실시예들에서, (852)에서 광원들은 타겟 오브젝트 또는 표면을 향해 조사 패턴으로 광을 방출한다. 일부 실시예들에서, 광은 타이머에 의해 타이밍된 간격들로 펄싱된다. 일부 실시예들에서, 광원은 적어도 하나의 파장의 광을 방출하고, (854)에서 광 검출기들과 같은 방사선 검출기들은 반사된 광을 수신한다. 일부 실시예들에서, 검출기들은 또한, 타겟 오브젝트 상에서 반사될 때 광 특성들의 변화들을 결정하기 위해, 수신된 광이 특정 시간에 초기에 펄싱되었는지를 나타내도록 타이머에 동작 가능하게 커플링된다. 일부 실시예들에서, (852)는 (853)에서의 맵핑과 동시에 시작하지만, 이러한 시퀀스는 반드시 그러한 것은 아니다.
[0067] 일부 실시예들에서, 실세계 캡처링 시스템들은 (853)에서 타겟 오브젝트를 맵핑하기 시작할 수 있다. 일부 실시예들에서, 이러한 맵핑은 타겟 오브젝트의 전달 가능한 세계 데이터를 수신하는 것을 포함할 수 있다. 일부 실시예들에서, 맵핑은 타겟 오브젝트의 윤곽들의 깊이 센서 분석을 포함할 수 있다. 일부 실시예들에서, 맵핑은 시야 내에서 아이템들의 메시 모델을 구축하고 잠재적인 라벨링을 위해 아이템들을 참조하는 것을 포함할 수 있다. 일부 실시예들에서, 타겟 오브젝트는 깊이 센서에 의해 캡처될 수 있는 시야 내의 특정 오브젝트가 아니라, 오히려 시야 자체 내의 깊이 평면이다.
[0068] 일부 실시예들에서, (855)에서 제어기는, 이를테면, 비어-람버트 법칙 또는 광학 밀도 관계(후술됨) 또는 교정 곡선의 산란 패턴 하에서, 수신된 광과 비교하여 방출된 광을 분석한다. 일부 실시예들에서, (856)에서, 비교된 광 특성들은, 타겟 오브젝트의 조직 또는 조직 특성을 식별하기 위해, 시스템 상에 로컬적으로 저장되거나 시스템을 통해 원격으로 액세스되는 흡수 데이터베이스에서 참조된다. 일부 실시예들에서, 흡수 데이터베이스는 도 4b에 도시된 것과 같은 포화도 광 차트들을 포함할 수 있거나, 특정 광 파장들의 교정 곡선들을 포함할 수 있다.
[0069] 일부 실시예들에서, (854)에서 방사선 검출기는 (852)에서 방출된 광의 파장과 상이한 파장들의 광을 수신하지 않고, 제어기는 분광 분석을 수행할 수 없다. 이러한 경우는 도 7b에서와 같이 발생할 것이고, 산소화 및 탈산소화된 혈액에 대한 특정 범위들에서 파장들이 오버랩된다. 일부 실시예들에서, (854a)에서, 방출된 광과 수신된 광 사이에 어떠한 파장 차이도 검출되지 않고, 서브단계(854b)는 (852)에서 방출된 파장과 다른 상이한 파장의 광을 방출함으로써 개시된다. 이어서, 새로운 방출된 광 및 수신된 광 정보는 (855)에서 제어기로 전달된다.
[0070] 일부 실시예들에서, 실세계 카메라들은 부가적으로, 타겟 오브젝트를 맵핑하는 것(853)에 후속으로 그리고 (852 내지 856) 각각과 잠재적으로 동시에, (857)에서 이상들을 나타내는 시야 내의 서브픽셀들을 식별할 수 있다. 예컨대, 일부 실시예들에서, (853)에서 실세계 캡처 동안 픽셀들 사이의 컬러 콘트라스트가 검출되고, (857)에서 이러한 픽셀들은 잠재적으로 건강하지 않은 세포들로서 이러한 콘트라스트를 하이라이팅하도록 추가로 변경된다. 일부 실시예들에서, 실세계 캡처(853)는 픽셀 클러스터들 중에서 이상 라인들을 검출하고, (857)에서 이상 라인들에 의해 경계가 정해진 픽셀들은 (이를테면, 가상 컬러 오버레이에 의해) 사용자 디스플레이 상에 표시된다.
[0071] 일부 실시예들에서, 방법(850)은, 시스템이 조직 또는 조직의 물질 특성을 사용자에게 디스플레이하는 (858)에서 종결된다. 일부 실시예들에서, 디스플레이는 타겟 오브젝트에 근접하게 가상으로 디스플레이된 텍스트 라벨, 흡수 데이터베이스(630)로부터 결정된 타겟 오브젝트를 설명하는 오디오 라벨, 또는 타겟 오브젝트에 근접하게 병치된(juxtaposed), 흡수 데이터베이스(630)에 의해 식별된 유사한 조직 또는 오브젝트의 가상 이미지를 포함할 수 있다.
[0072] 일부 실시예들에서, 상당량의 분광기 활동은 제어기(844)에 의해 동작되는 소프트웨어로 구현되어, 원하는 타겟들(예컨대, 혈관들, 근육 조직, 뼈 조직, 또는 다른 조직)을 (그리고 원하는 깊이에서) 로케이팅하는 초기 태스크는 디지털 이미지 프로세싱을 사용하여(이를테면, 다양한 필터를 사용하는 컬러, 그레이스케일 및/또는 강도 임계치 분석(intensity thresholding analysis)에 의해) 수행된다. 이러한 타겟팅은 패턴, 형상 인식 또는 텍스처 인식을 사용하여 수행될 수 있다. 암세포들 또는 그렇지 않다면 이상 세포들은 일반적으로 이상 경계들을 갖는다. 카메라 시스템은, 이를테면, 잠재적으로 건강하지 않은 세포에 대한 경계를 식별하기 위해, 카메라 시야(이를테면, 도 5의 카메라들(124) 및 시야(18, 22)) 내에서 이상하고, 비선형 패턴 및 프롬프트 어텐션(prompt attention)을 갖는 일련의 픽셀들을 식별할 수 있다. 대안적으로, 소프트웨어 및 제어기는, 이상들을 결정하도록 타겟팅된 오브젝트에 대한 콘트라스트/광학 밀도를 결정하기 위해, 타겟팅된 오브젝트의 중심의 강도 및 주변 오브젝트들/조직의 강도를 사용하도록 구성될 수 있다. 이러한 측정들은 단지 본 개시내용과 일치하는 분광 스캔에 대해 관심있는 영역을 식별하는 데 사용되고, 반드시 조직 자체를 식별하는 수단은 아니다. 또한, 도 6의 이상 세포들(626)을 참조하여 이전에 설명된 바와 같이, 증강 현실 시스템은 잠재적으로 건강하지 않은 세포들의 경계들 내에 라벨 또는 컬러 패턴을 오버레이하여, 주변의 건강한 세포들에 대해 건강하지 않은 세포들을 플래깅/하이라이팅할 수 있다.
[0073] 일부 실시예들에서, 제어기(844)는 밀도 비율들(콘트라스트)을 계산하고 혈관들의 다양한 펄스 옥시미트리 특성들의 밀도 비율들로부터 산소 포화도를 계산하는 데 활용될 수 있다. 2개 이상의 방출된 파장들 각각에서의 혈관 광학 밀도("O.D.")는 수학식:
Figure pct00001
을 사용하여 계산될 수 있다.
[0074] 여기서 ODvessel은 혈관의 광학 밀도이고; Iv는 혈관 강도이고; 그리고 It는 주변 조직 강도이다.
[0075] 산소 포화도(또한 "SO2"로 지칭됨)는 2개의 파장들에서 혈관 광학 밀도들의 선형 비율(OD 비율 또는 "ODR")로서 계산될 수 있어서,
Figure pct00002
이다.
[0076] 일 실시예에서, 약 570nm(탈산소화된 헤모글로빈에 민감함) 및 약 600nm(산소화된 헤모글로빈에 민감함)의 파장들은 혈관 옥시미트리에 활용될 수 있어서,
Figure pct00003
이고; 이러한 수학식은 교정 계수에 의해 비율을 조정하는 것을 고려하지 않는다.
[0077] 위의 수학식들은 단지 물질 특성들을 계산하기 위한 레퍼런스들의 예들이다. 당업자는, 제어기가 결정할 수 있는 많은 다른 조직 특성들 및 관계들을 인지할 것이다.
계산들을 수행하고 그리고/또는 결정을 내리기 위해 제어기(844)를 활용하는 것이 제어기(844) 내의 프로세서 상에서 로컬적으로 계산들을 수행하는 것을 수반할 수 있다는 것이 인지될 것이다. 일부 다른 실시예들에서, 제어기(844)로 계산들을 수행하고 그리고/또는 결정을 내리는 것은 외부 컴퓨팅 자원들, 예컨대, 서버들(110)과 같은 클라우드(46)의 자원들과 인터페이스하기 위해 제어기를 활용하는 것을 수반할 수 있다.
컴퓨터 비전
[0078] 위에 논의된 바와 같이, 분광기 시스템은 사용자의 주변 환경에서 오브젝트들 또는 오브젝트들의 특징들(예컨대, 특성들)을 검출하도록 구성될 수 있다. 일부 실시예들에서, 환경 내에 존재하는 오브젝트들 또는 오브젝트들의 특성들은 컴퓨터 비전 기법들을 사용하여 검출될 수 있다. 예컨대, 본원에 개시된 바와 같이, 분광기 시스템의 전방향(forward-facing) 카메라는 오브젝트를 이미징하도록 구성될 수 있고, 시스템은 오브젝트들에 대한 특징들의 존재를 결정하기 위해 이미지들에 대해 이미지 분석을 수행하도록 구성될 수 있다. 시스템은 오브젝트 인식, 오브젝트 포즈 추정, 학습, 인덱싱(indexing), 모션 추정, 또는 이미지 복원 등을 수행하도록 외향 이미징 시스템에 의해 획득된 이미지들, 흡수 결정들 및/또는 반사되고 그리고/또는 산란된 광 측정들을 분석할 수 있다. 하나 이상의 컴퓨터 비전 알고리즘들은 적절할 때 선택되어, 이들 태스크들을 수행하는 데 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비제한적 예들은: SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), 비올라-존스 알고리즘(Viola-Jones algorithm), 아이겐페이시스(Eigenfaces) 접근법, 루카스-카나데(Lucas-Kanade) 알고리즘, 혼-셩크(Horn-Schunk) 알고리즘, 민-시프트(Mean-shift) 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(sequential Bayesian estimator)(예컨대, 칼만 필터, 확장 칼만 필터 등), 번들(bundle) 조정, 적응형 스레스홀딩(Adaptive thresholding)(및 다른 스레스홀딩 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, 다양한 머신 학습 알고리즘들(이를테면, 예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(컨볼루셔널 또는 심층 뉴럴 네트워크를 포함함), 또는 다른 감시/비감시 모델들 등) 등을 포함한다.
[0079] 본원에서 논의된 바와 같이, 오브젝트들 또는 오브젝트들의 특징들(특성들을 포함함)은 하나 이상의 기준들(예컨대, 하나 이상의 파장들의 흡광도(absorbance), 광 반사 및/또는 광 산란)에 기반하여 검출될 수 있다. 분광기 시스템이 컴퓨터 비전 알고리즘을 사용하거나 하나 이상의 센서 어셈블리들(분광기 시스템의 부분일 수 있거나 부분이 아닐 수 있음)로부터 수신된 데이터를 사용하여 주변 환경에서 기준들의 존재 또는 부재를 검출할 때, 이어서, 분광기 시스템은 오브젝트 또는 특징의 존재를 시그널링할 수 있다.
[0080] 이러한 컴퓨터 비전 기술들 중 하나 이상은 또한, 센서들에 의해 검출된 오브젝트들의 다양한 특성들을 검출 및 결정하기 위해 다른 환경 센서들(이를테면, 예컨대, 마이크로폰, GPS 센서)로부터 획득된 데이터와 함께 사용될 수 있다.
머신 학습
[0081] 오브젝트들의 존재 또는 오브젝트들의 특징들을 식별하도록 학습하기 위해 다양한 머신 학습 알고리즘들이 사용될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘들은 분광기 시스템에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은 회귀(regression) 알고리즘들(이를테면, 예컨대, 보통의 최소 제곱 회귀), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화), 결정 트리 알고리즘들(이를테면, 예컨대, 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이지안), 클러스터링 알고리즘들(이를테면, 예컨대, k-평균 클러스터링), 연관성 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 신경 네트워크 알고리즘들(이를테면, 예컨대, 퍼셉트론), 딥 러닝 알고리즘들(이를테면, 예컨대, 딥 볼츠만 머신, 또는 심층 신경 네트워크), 차원 감소 알고리즘들(이를테면, 예컨대, 주 컴포넌트 분석), 앙상블 알고리즘들(이를테면, 예컨대, 스택된 일반화) 및/또는 다른 머신 학습 알고리즘들을 포함하는, 감시 또는 비감시 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별적인 모델들은 개별적인 데이터 세트들에 대해 커스터마이징될 수 있다. 예컨대, 웨어러블 디바이스는 베이스 모델을 생성하거나 저장할 수 있다. 베이스 모델은 데이터 타입(예컨대, 특정 사용자), 데이터 세트(예컨대, 하나 이상의 파장들에서 획득된 흡광도, 광 반사 및/또는 광 산란 값들의 세트), 조건부 상황들 또는 다른 변동들에 특정적인 부가 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 분광기 시스템은 복수의 기법들을 활용하여, 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하도록 구성될 수 있다. 다른 기법들은 미리-정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0082] 오브젝트 또는 오브젝트의 특징을 검출하기 위한 기준들은 하나 이상의 임계 조건을 포함할 수 있다. 만약 센서(예컨대, 카메라 또는 광 검출기)에 의해 획득된 데이터의 분석이 임계 조건이 통과된 것을 표시한다면, 분광기 시스템은 주변 환경 내의 오브젝트의 존재의 검출을 표시하는 신호를 제공할 수 있다. 임계 조건은 양적 및/또는 질적 측정을 수반할 수 있다. 예컨대, 임계 조건은 오브젝트 및/또는 특징이 존재할 가능성과 연관된 스코어 또는 퍼센티지를 포함할 수 있다. 분광기 시스템은 센서의 데이터로부터 계산된 스코어와 임계 스코어를 비교할 수 있다. 만약 스코어가 임계 레벨보다 더 높다면, 분광기 시스템은 오브젝트 또는 오브젝트 특징의 존재의 검출을 시그널링할 수 있다. 일부 다른 실시예들에서, 분광기 시스템은, 만약 스코어가 임계치보다 더 낮다면, 오브젝트 또는 특징의 부재를 시그널링할 수 있다.
[0083] 본원에 설명되고 그리고/또는 첨부 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각이 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다는 것이 인지될 것이다. 코드 모듈은 실행 가능한 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅(interpret)된 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다. 일부 실시예들에서, 코드 모듈들은 제어기(844)(도 5) 및/또는 클라우드(46)(예컨대, 서버들(110))의 하드웨어에 의해 실행될 수 있다.
[0084] 추가로, 본 개시내용의 기능성의 소정 실시예들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은, 예컨대, 실질적으로 실시간으로 결과들을 제공하기 위하여 또는 수반되는 계산량 또는 계산의 복잡성으로 인해 그 기능성을 수행하는 데 필요할 수 있다. 예컨대, 비디오는 각각의 프레임이 수백만개의 픽셀들을 갖는 많은 프레임들을 포함할 수 있으며, 상업적으로 적정한 시간량에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해 비디오 데이터를 프로세싱하는 데 특수하게 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0085] 코드 모듈들 또는 임의의 타입의 데이터는 하드 드라이브들, 고체상태 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광 디스크, 휘발성 또는 비-휘발성 스토리지, 전술한 것들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지와 같은 임의의 타입의 비-일시적 컴퓨터-판독 가능 매체상에 저장될 수 있다. 일부 실시예들에서, 비-일시적인 컴퓨터-판독 가능 매체는 로컬 프로세싱 및 데이터 모듈(도 2c의 70), 원격 프로세싱 모듈(도 2d의 72), 및 원격 데이터 저장소(도 2d의 74) 중 하나 이상의 부분일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들을 통해 일반화된 데이터 신호들로서 (예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 송신될 수 있고, (예컨대 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 영구적으로 또는 그렇지 않으면 임의의 타입의 비-일시적 유형의 컴퓨터 스토리지에 저장될 수 있거나 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0086] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 흐름도들에서 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스에서의 특정 기능들(예컨대, 논리적 또는 산술적) 또는 단계들을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에 결합되거나, 재배열되거나, 추가되거나 또는 이들로부터 삭제되거나 또는 수정되거나 또는 그렇지 않으면 변경될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들의 일부 또는 전부를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않으며, 이에 관한 블록들, 단계들 또는 상태들은 예컨대 직렬로, 병렬로 또는 임의의 다른 방식으로 적절한 다른 시퀀스들로 수행될 수 있다. 태스크들 또는 이벤트들이 개시된 예시적인 실시예들에 추가되거나 또는 이들로부터 제거될 수 있다. 게다가, 본원에서 설명된 실시예들에서 다양한 시스템 컴포넌트들의 구분은 예시적인 목적을 위한 것이며, 모든 실시예들에서 이러한 구분을 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 또는 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
[0087] 본 발명의 다양한 예시적 실시예들이 본원에 설명된다. 비-제한적 의미로 이들 예들에 대해 참조가 이루어진다. 이들 예들은 본 발명의 더 넓게 적용 가능한 양상들을 예시하기 위하여 제공된다. 설명된 본 발명에 대해 다양한 변화들이 이루어질 수 있고 등가물들은 본 발명의 진정한 사상 및 범위에서 벗어남이 없이 대체될 수 있다. 게다가, 특정 상황, 물질, 물질 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키기 위하여 많은 수정들이 이루어질 수 있다. 추가로, 당업자는, 본원에 설명되고 예시된 개별 변동들 각각이 본 발명들의 범위 또는 사상에서 벗어남이 없이 다른 몇몇 실시예들 중 임의의 실시예의 특징(feature)들로부터 쉽게 분리되거나 결합될 수 있는 이산 컴포넌트들 및 특징들을 가지는 것을 인지할 것이다. 모든 이러한 수정들은 본 개시내용과 연관된 청구항들의 범위 내에 있도록 의도된다.
[0088] 본 발명은 청구대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 이러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 이러한 제공은 최종 사용자에 의해 수행될 수 있다. 다시 말해서, "제공" 동작은 단순히, 최종 사용자가 청구대상 방법에 필수적인 디바이스를 제공하기 위하여 그러한 디바이스를 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 전력-인가 또는 달리 동작하는 것을 요구한다. 본원에 나열된 방법들은 논리적으로 가능한 나열된 이벤트들의 임의의 순서로, 및 이벤트들의 나열된 순서로 수행될 수 있다.
[0089] 재료 선택 및 제조에 관한 세부사항들과 함께, 본 발명의 예시적 양상들은 위에서 설명되었다. 본 발명의 다른 세부사항들에 관해서, 이들은 당업자들에게 일반적으로 알려지거나 인지되는 것뿐 아니라 위에서-참조된 특허들 및 공개물들과 관련하여 인지될 수 있다. 이는, 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들 측면에서 본 발명의 방법-기반 양상들에 관련하여 마찬가지일 수 있다.
[0090] 게다가, 본 발명이 다양한 특징들을 선택적으로 통합하는 몇몇 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형에 관련하여 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않는다. 설명된 본 발명에 대해 다양한 변화들이 이루어질 수 있고 본 발명의 진정한 사상 및 범위에서 벗어남이 없이 (본원에 나열되든 일부 간략성을 위하여 포함되지 않든 간에) 등가물들이 대체될 수 있다. 게다가, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 간의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 값 또는 개재 값이 본 발명 내에 포함되는 것으로 이해된다.
[0091] 또한, 설명된 본 발명의 변형들의 임의의 선택적인 특징이 본원에 설명된 특징들 중 임의의 하나 이상에 독립적으로 또는 이들과 결합하여 설명되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 다르게 언급되지 않으면 복수의 지시 대상들을 포함한다. 다시 말해서, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 상세한 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것이 추가로 주목된다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 이러한 배타적인 용어의 사용, 또는 "네거티브" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[0092] 이러한 배타적 용어의 사용이 없다면, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 이러한 청구항들에 열거되는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있거나, 또는 특징의 부가는 이러한 청구항들에 설명된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[0093] 본 발명의 범위는 제공된 예들 및/또는 본 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.

Claims (17)

  1. 사용자의 머리에 제거 가능하게 커플링 가능한 머리-장착 부재,
    상기 사용자의 시선(gaze)을 검출하도록 구성된 적어도 하나의 눈 추적 카메라,
    상기 머리-장착 부재에 커플링되고, 조사된 시야(irradiated field of view)에서 적어도 2개의 상이한 파장들을 갖는 광을 상기 검출된 시선과 실질적으로 동일한 방향으로 방출하도록 구성된 하나 이상의 광원들,
    상기 머리-장착 부재에 커플링되고, 상기 조사된 시야 내의 타겟 오브젝트로부터 반사된 광을 수신하도록 구성된 하나 이상의 전자기 방사선 검출기들(electromagnetic radiation detectors),
    상기 하나 이상의 광원들 및 상기 하나 이상의 전자기 방사선 검출기들에 동작 가능하게 커플링된 제어기 ― 상기 제어기는, 상기 하나 이상의 광원들로 하여금 광의 펄스들을 방출하게 하면서, 또한 상기 하나 이상의 전자기 방사선 검출기들로 하여금 상기 방출된 광의 펄스들 및 상기 타겟 오브젝트로부터 반사된 광에 관련된 광의 흡수 레벨들을 검출하게 하도록 구성됨 ― ,
    적어도 하나의 물질의 광 흡수 특성들의 흡수 데이터베이스, 및
    출력을 사용자에게 디스플레이하기 위한 그래픽 프로세서 유닛을 포함하는,
    웨어러블 분광기 시스템.
  2. 제1 항에 있어서,
    상기 하나 이상의 광원들은 복수의 발광 다이오드들을 포함하는,
    웨어러블 분광기 시스템.
  3. 제1 항에 있어서,
    상기 하나 이상의 광원들은 2개 이상의 미리 결정된 파장들의 전자기 방사선을 방출하도록 구성되는,
    웨어러블 분광기 시스템.
  4. 제3 항에 있어서,
    상기 하나 이상의 광원들은 약 660 나노미터의 제1 파장, 및 약 940 나노미터의 제2 파장의 전자기 방사선을 방출하도록 구성되는,
    웨어러블 분광기 시스템.
  5. 제3 항에 있어서,
    상기 하나 이상의 광원들은 2개의 미리 결정된 파장들의 전자기 방사선을 순차적으로 방출하도록 구성되는,
    웨어러블 분광기 시스템.
  6. 제3 항에 있어서,
    상기 하나 이상의 광원들은 2개의 미리 결정된 파장들의 전자기 방사선을 동시에 방출하도록 구성되는,
    웨어러블 분광기 시스템.
  7. 제1 항에 있어서,
    상기 제어기는, 상기 하나 이상의 광원들로 하여금 제1 파장 온(on), 이어서 제2 파장 온, 이어서 제1 파장 및 제2 파장 둘 모두 오프(off)의 주기적 패턴으로 방출하게 하도록 추가로 구성되어, 상기 하나 이상의 전자기 방사선 검출기들은 상기 제1 파장 및 상기 제2 파장을 별개로 검출하는,
    웨어러블 분광기 시스템.
  8. 제1 항에 있어서,
    상기 제어기는 제2 파장 광 측정에 대한 제1 파장 광 측정의 비율을 계산하도록 구성되고, 상기 시스템은 상기 흡수 데이터베이스에 기반하여 상기 비율을 조직 특성(tissue property)으로 변환하도록 구성되는,
    웨어러블 분광기 시스템.
  9. 제8 항에 있어서,
    상기 제어기는 상기 머리-장착 부재에 커플링되고 상기 사용자가 볼 수 있는 광학 엘리먼트에 동작 가능하게 커플링되고, 상기 시스템은 상기 조직 특성에 기반하여 출력을 제공하도록 구성되고, 상기 사용자는 상기 광학 엘리먼트를 통해 상기 출력을 볼 수 있는,
    웨어러블 분광기 시스템.
  10. 제1 항에 있어서,
    상기 하나 이상의 전자기 방사선 검출기들은 광 다이오드(photodiode), 광 검출기(photodetector)로 구성된 그룹으로부터 선택된 디바이스를 포함하는,
    웨어러블 분광기 시스템.
  11. 제1 항에 있어서,
    상기 하나 이상의 전자기 방사선 검출기들은 디지털 이미지 센서를 포함하는,
    웨어러블 분광기 시스템.
  12. 제11 항에 있어서,
    상기 디지털 이미지 센서는 복수의 픽셀들을 포함하고, 상기 제어기는 미리 결정된 조직에 부딪힌 후에 반사된 광을 수신하는 픽셀들의 서브세트를 자동으로 검출하고, 미리 결정된 조직 특성을 나타내는 상기 픽셀들의 서브세트의 위치를 디스플레이하는 출력을 생성하도록 구성되는,
    웨어러블 분광기 시스템.
  13. 제1 항에 있어서,
    상기 머리-장착 부재는 관성 측정 유닛 위치 시스템(inertial measurement unit positional system)을 더 포함하는,
    웨어러블 분광기 시스템.
  14. 제13 항에 있어서,
    상기 관성 측정 유닛 위치 시스템은 상기 사용자의 머리의 포즈 배향을 결정하는,
    웨어러블 분광기 시스템.
  15. 제14 항에 있어서,
    상기 조사된 시야는 적어도 상기 포즈 배향만큼 넓은,
    웨어러블 분광기 시스템.
  16. 제1 항에 있어서,
    상기 머리-장착 부재는 선택적으로 다양한 파면 발산(wavefront divergence)의 레벨들을 갖는 광을 출력하도록 구성된 도파관 스택을 포함하는,
    웨어러블 분광기 시스템.
  17. 제16 항에 있어서,
    상기 도파관 스택은 광 파워(optical power)를 갖는 도파관들을 포함하는,
    웨어러블 분광기 시스템.
KR1020197011040A 2016-09-22 2017-09-22 증강 현실 분광기 KR102266343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217017864A KR20210072157A (ko) 2016-09-22 2017-09-22 증강 현실 분광기

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398454P 2016-09-22 2016-09-22
US62/398,454 2016-09-22
PCT/US2017/053067 WO2018057962A1 (en) 2016-09-22 2017-09-22 Augmented reality spectroscopy

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217017864A Division KR20210072157A (ko) 2016-09-22 2017-09-22 증강 현실 분광기

Publications (2)

Publication Number Publication Date
KR20190051043A true KR20190051043A (ko) 2019-05-14
KR102266343B1 KR102266343B1 (ko) 2021-06-17

Family

ID=61621033

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020237016234A KR102650592B1 (ko) 2016-09-22 2017-09-22 증강 현실 분광기
KR1020197011040A KR102266343B1 (ko) 2016-09-22 2017-09-22 증강 현실 분광기
KR1020247009203A KR20240042181A (ko) 2016-09-22 2017-09-22 증강 현실 분광기
KR1020217017864A KR20210072157A (ko) 2016-09-22 2017-09-22 증강 현실 분광기

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237016234A KR102650592B1 (ko) 2016-09-22 2017-09-22 증강 현실 분광기

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020247009203A KR20240042181A (ko) 2016-09-22 2017-09-22 증강 현실 분광기
KR1020217017864A KR20210072157A (ko) 2016-09-22 2017-09-22 증강 현실 분광기

Country Status (9)

Country Link
US (4) US10558047B2 (ko)
EP (1) EP3516630A4 (ko)
JP (3) JP7148501B2 (ko)
KR (4) KR102650592B1 (ko)
CN (2) CN109997174B (ko)
AU (2) AU2017331284B2 (ko)
CA (1) CA3037725A1 (ko)
IL (3) IL293014B2 (ko)
WO (1) WO2018057962A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11071596B2 (en) * 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
WO2021163039A1 (en) * 2020-02-10 2021-08-19 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
JP7148501B2 (ja) 2016-09-22 2022-10-05 マジック リープ， インコーポレイテッド 拡張現実の分光法
US20200201038A1 (en) * 2017-05-15 2020-06-25 Real View Imaging Ltd. System with multiple displays and methods of use
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US11017317B2 (en) 2017-12-27 2021-05-25 X Development Llc Evaluating robot learning
US10730181B1 (en) 2017-12-27 2020-08-04 X Development Llc Enhancing robot learning
US11475291B2 (en) 2017-12-27 2022-10-18 X Development Llc Sharing learned information among robots
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
WO2019200362A1 (en) * 2018-04-12 2019-10-17 The Regents Of The University Of California Wearable multi-modal bio-sensing system
CN108953888B (zh) * 2018-07-17 2019-06-28 东北大学 一种基于体感交互的多重减震云台装置
US11918177B2 (en) * 2018-10-03 2024-03-05 Verily Life Sciences Llc Dynamic illumination to identify tissue type
US10914945B2 (en) 2018-11-09 2021-02-09 Facebook Technologies, Llc Inconspicuous near-eye electrical circuits
US10792122B2 (en) * 2018-12-23 2020-10-06 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Object developing and calibrating method in a surgical environment
US11513003B2 (en) 2019-08-07 2022-11-29 Apple Inc. Electronic devices with beam-steered infrared light sensing
DE102022119578A1 (de) 2022-08-04 2024-02-15 Ams-Osram International Gmbh Optische baugruppe zur detektion der vom auge reflektierten laserstrahlung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139124A (ja) * 2004-11-12 2006-06-01 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ
WO2015175681A1 (en) * 2014-05-15 2015-11-19 Fenwal, Inc. Head-mounted display device for use in a medical facility
KR20150136601A (ko) * 2013-03-25 2015-12-07 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 다수의 출사동을 가진 헤드 착용 디스플레이로부터 투영된 이미지를 디스플레이하기 위한 방법

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5377674A (en) * 1992-05-08 1995-01-03 Kuestner; J. Todd Method for non-invasive and in-vitro hemoglobin concentration measurement
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6305804B1 (en) * 1999-03-25 2001-10-23 Fovioptics, Inc. Non-invasive measurement of blood component using retinal imaging
AT409042B (de) * 1999-11-24 2002-05-27 Life Optics Handel Und Vertrie Sehhilfe
JP2002150803A (ja) * 2000-03-13 2002-05-24 Kansai Tlo Kk 視線照明装置及び手術照明システム
US6554444B2 (en) * 2000-03-13 2003-04-29 Kansai Technology Licensing Organization Co., Ltd. Gazing point illuminating device
GB0021988D0 (en) 2000-09-07 2000-10-25 Nokia Mobile Phones Ltd Management of portable radiotelephones
US8328420B2 (en) * 2003-04-22 2012-12-11 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
WO2007019039A1 (en) * 2005-08-08 2007-02-15 Corning Incorporated Method for increasing a read-out speed of a ccd-detector
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP4961914B2 (ja) 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP5537008B2 (ja) 2007-11-29 2014-07-02 株式会社東芝 外観検査装置
US8224020B2 (en) 2007-11-29 2012-07-17 Kabushiki Kaisha Toshiba Appearance inspection apparatus, appearance inspection system, and appearance inspection appearance
JP2009157634A (ja) 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム
US20100113940A1 (en) * 2008-01-10 2010-05-06 The Ohio State University Research Foundation Wound goggles
US8443146B2 (en) 2008-09-18 2013-05-14 International Business Machines Corporation Techniques for cache injection in a processor system responsive to a specific instruction sequence
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP5405445B2 (ja) * 2010-12-17 2014-02-05 富士フイルム株式会社 内視鏡装置
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ， インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US8724853B2 (en) * 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
CA3024054C (en) 2011-11-23 2020-12-29 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
US20140046291A1 (en) 2012-04-26 2014-02-13 Evena Medical, Inc. Vein imaging systems and methods
US20140039309A1 (en) 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014015378A1 (en) * 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US9039180B2 (en) * 2012-12-11 2015-05-26 Elwah LLC Self-aligning unobtrusive active eye interrogation
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
JP6055688B2 (ja) * 2013-01-31 2016-12-27 日本光電工業株式会社 生体信号測定システム、生体信号測定装置、および生体信号測定装置の制御プログラム
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103479363B (zh) 2013-09-30 2015-03-18 深圳市倍轻松科技股份有限公司 血液中血氧饱和度的测量方法及系统
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
WO2015061588A1 (en) * 2013-10-23 2015-04-30 The Trustees Of Dartmouth College Surgical vision augmentation system
US20150257735A1 (en) * 2013-10-24 2015-09-17 Evena Medical, Inc. Systems and methods for displaying medical images
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR102268462B1 (ko) * 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
FR3013906B1 (fr) 2013-11-28 2017-04-07 Commissariat Energie Atomique Antenne radio integree a meandres
US10620457B2 (en) * 2013-12-17 2020-04-14 Intel Corporation Controlling vision correction using eye tracking and depth detection
EP4071537A1 (en) 2014-01-31 2022-10-12 Magic Leap, Inc. Multi-focal display system
EP3100098B8 (en) 2014-01-31 2022-10-05 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150324568A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
WO2015186225A1 (ja) 2014-06-05 2015-12-10 株式会社ニコン 走査型投影装置、投影方法、及び手術支援システム
NZ730509A (en) * 2014-09-29 2018-08-31 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
CN111781726B (zh) * 2015-01-26 2022-05-10 奇跃公司 具有改进的衍射光栅结构的虚拟和增强现实系统和方法
EP3254234A4 (en) 2015-02-06 2018-07-11 The University of Akron Optical imaging system and methods thereof
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
IL293029B2 (en) 2015-03-16 2023-06-01 Magic Leap Inc Augmented reality signal oximeter
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
JP7148501B2 (ja) 2016-09-22 2022-10-05 マジック リープ， インコーポレイテッド 拡張現実の分光法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139124A (ja) * 2004-11-12 2006-06-01 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ
KR20150136601A (ko) * 2013-03-25 2015-12-07 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 다수의 출사동을 가진 헤드 착용 디스플레이로부터 투영된 이미지를 디스플레이하기 위한 방법
WO2015175681A1 (en) * 2014-05-15 2015-11-19 Fenwal, Inc. Head-mounted display device for use in a medical facility

Also Published As

Publication number Publication date
KR102266343B1 (ko) 2021-06-17
IL265402B (en) 2022-06-01
US10558047B2 (en) 2020-02-11
JP2022192065A (ja) 2022-12-28
CN109997174B (zh) 2023-06-02
US11460705B2 (en) 2022-10-04
CN109997174A (zh) 2019-07-09
KR20240042181A (ko) 2024-04-01
JP2023143907A (ja) 2023-10-06
IL265402A (en) 2019-05-30
US11754844B2 (en) 2023-09-12
US20180081179A1 (en) 2018-03-22
WO2018057962A1 (en) 2018-03-29
US20200166760A1 (en) 2020-05-28
IL293014B1 (en) 2023-11-01
AU2017331284A1 (en) 2019-04-11
AU2017331284B2 (en) 2022-01-13
KR20230072515A (ko) 2023-05-24
EP3516630A4 (en) 2020-06-03
IL293014B2 (en) 2024-03-01
JP2019529917A (ja) 2019-10-17
CN116649967A (zh) 2023-08-29
IL293014A (en) 2022-07-01
JP7148501B2 (ja) 2022-10-05
US20220404626A1 (en) 2022-12-22
KR20210072157A (ko) 2021-06-16
US20220026717A1 (en) 2022-01-27
US11079598B2 (en) 2021-08-03
CA3037725A1 (en) 2018-03-29
KR102650592B1 (ko) 2024-03-22
AU2022202370A1 (en) 2022-04-28
IL307292A (en) 2023-11-01
EP3516630A1 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
US11754844B2 (en) Augmented reality spectroscopy
US11644674B2 (en) Augmented reality pulse oximetry
JP2019529917A5 (ko)
US11852530B2 (en) Augmented reality system and method for spectroscopic analysis

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant