KR102586272B1 - 가상 현실 장치 - Google Patents

가상 현실 장치 Download PDF

Info

Publication number
KR102586272B1
KR102586272B1 KR1020207004342A KR20207004342A KR102586272B1 KR 102586272 B1 KR102586272 B1 KR 102586272B1 KR 1020207004342 A KR1020207004342 A KR 1020207004342A KR 20207004342 A KR20207004342 A KR 20207004342A KR 102586272 B1 KR102586272 B1 KR 102586272B1
Authority
KR
South Korea
Prior art keywords
experience
procedure
physical
virtual reality
transposition
Prior art date
Application number
KR1020207004342A
Other languages
English (en)
Other versions
KR20200031648A (ko
Inventor
에버린 챈
폴 레옹
Original Assignee
스마일리스코프 피티와이. 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2017902751A external-priority patent/AU2017902751A0/en
Application filed by 스마일리스코프 피티와이. 엘티디. filed Critical 스마일리스코프 피티와이. 엘티디.
Publication of KR20200031648A publication Critical patent/KR20200031648A/ko
Application granted granted Critical
Publication of KR102586272B1 publication Critical patent/KR102586272B1/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4824Touch or pain perception evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • H04M1/05Supports for telephone transmitters or receivers specially adapted for use on head, throat or breast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097Worn on the head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/06Respiratory or anaesthetic masks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0016Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the smell sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3306Optical measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/332Force measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3375Acoustical, e.g. ultrasonic, measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3546Range
    • A61M2205/3553Range remote, e.g. between patient's home and doctor's office
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3576Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3584Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using modem, internet or bluetooth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3576Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/505Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/507Head Mounted Displays [HMD]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/58Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/581Means for facilitating use, e.g. by people with impaired vision by audible feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/58Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/583Means for facilitating use, e.g. by people with impaired vision by visual feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/58Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/586Ergonomic details therefor, e.g. specific ergonomics for left or right-handed users
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/59Aesthetic features, e.g. distraction means to prevent fears of child patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/70General characteristics of the apparatus with testing or calibration facilities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/80General characteristics of the apparatus voice-operated command
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/82Internal energy supply devices
    • A61M2205/8206Internal energy supply devices battery-operated
    • A61M2205/8212Internal energy supply devices battery-operated with means or measures taken for minimising energy consumption
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2209/00Ancillary equipment
    • A61M2209/01Remote controllers for specific apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2209/00Ancillary equipment
    • A61M2209/08Supports for equipment
    • A61M2209/088Supports for equipment on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/04Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/04Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06Heartbeat rate only
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/20Blood composition characteristics
    • A61M2230/205Blood composition characteristics partial oxygen pressure (P-O2)
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/40Respiratory characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/40Respiratory characteristics
    • A61M2230/42Rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/50Temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/60Muscle strain, i.e. measured on the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/65Impedance, e.g. conductivity, capacity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Anesthesiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pain & Pain Management (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Otolaryngology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Nursing (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

신체적 감각과 관련된 적어도 하나의 절차적인 동작을 통합하고 잠재적으로는 불안 또는 통증 반응을 유발하는 물리적 절차를 연출하는 VR 연속체 경험을 생성하기 위한 가상 현실(VR) 장치, 시스템, 및 프레임워크가 제공된다. VR 연속체 경험은 절차와 관련된 통증 및 불안의 인식을 변경할 수 있다. 가상 현실 장치는, 착용자가 장치를 착용하는 동안 운영자가 장치 조정 및 가상 현실(VR) 경험 시작을 제어할 수 있도록, 착용자 이외의 운영자(즉, 의료 전문의)가 액세스할 수 있는 장치 사용자 인터페이스를 통한 장치 제어를 허용하며, 각각의 물리적 절차와 관련된 하나 이상의 VR 경험을 제공하도록 구성된다.

Description

가상 현실 장치
본 발명의 기술 분야는 가상 현실 장치 및 응용이다.
가상 현실은, 가상 환경에서 사용자의 존재를 시뮬레이션하는 몰입형 대화 형 사용자 경험을 제공하기 위해, 착용자의 눈 앞에 스크린과 함께 스피커 또는 헤드폰이 있는 헤드 마운트 고글을 사용하는 컴퓨터 기술이다. 가상 현실(VR, Virtual Reality) 헤드셋 움직임을 추적함으로써, 사용자는 3차원 가상 세계를 "둘러볼" 수 있다.
현재 이용 가능한 VR 장치는 일반적으로 소형 입체 디스플레이, 자이로스코프, 및 움직임 추적을 위한 이동 센서, 헤드폰, 또는 스피커를 포함한다. 스마트폰을 사용하여 VR 경험을 제공하기 위해 스마트폰용 헤드 마운트가 알려져 있다. 스마트폰은 장치 프로세서, 디스플레이, 자이로 스코프, 이동 센서, 스피커 등을 활용하는 VR 소프트웨어로 프로그래밍된다. 헤드 마운트는 착용자의 눈 앞에 스마트 폰을 고정시켜 디스플레이가 2개, 또는 1개, 또는 각각의 눈으로 나뉘어지고, 스마트폰 소프트웨어는 사용자에 의해 3차원으로 인식되는 입체 이미지를 표시한다. 가상 현실에 대한 현재 애플리케이션에는 게임 애플리케이션 및 시뮬레이터 형태의 교육이 포함된다. VR을 사용하면 사용자는 게임의 환상에 대해 매력적인 가상 환경에 있는 것처럼 느낄 수 있다. 가상 현실은 사용자가 이벤트에 대한 인식을 가상 환경에서 "실제로" 느끼게 할 수 있다. 이것은 실감이 있지만 실패해도 안전한 환경에서 기술을 연습하는 데 있어서 훈련 목적에 특히 유용할 수 있다.
가상 현실은 현재 의료 애플리케이션, 주로 의료 전문가를 위한 시뮬레이션 형태의 교육에 어느 정도 사용된다. 가상 현실은 특히 불안 장애가 있는 환자의 치료 또는 동작 요법에 도움이 될 수 있다고 추측된다. 그러나, 게임 또는 시뮬레이터 교육과 같은 애플리케이션을 위해 개발된 가상 현실 시스템은 일반적으로 착용자가 제어하도록 설계되었으며 대화형 임상 상황에는 적합하지 않다.
일 측면(aspect)에 따르면, 착용자가 장치를 착용하는 동안 운영자가 장치 조정 및 가상 현실(VR) 경험의 시작을 제어하고 각각 물리적 절차와 관련된 하나 이상의 VR 경험을 제공할 수 있도록, 착용자의 헤드 장착 가능하고 착용자 이외의 운영자가 액세스할 수 있는 장치 사용자 인터페이스를 통한 장치 제어를 허용하도록 구성된 가상 현실 장치가 제공된다.
장치는 착용자에 대한 조정을 수행하고 운영자의 단일 초기화 입력에 대한 응답으로 VR 경험을 시작하도록 구성될 수 있다. 일 실시예에서, VR 경험은 초기화 입력 전에 장치 사용자 인터페이스를 통해 운영자가 선택할 수 있다. 대안적인 예에서, VR 경험이 사전에 정의된다.
하나 이상의 VR 경험 중 적어도 하나는 착용자가 물리적 절차 경험의 재 상상(re-imagining)을 용이하게 하도록 설계될 수 있다.
일부 실시예에서, VR 경험은 물리적인 절차 동안 착용자가 경험한 감각의 맥락적 재구성을 포함한다.
일부 실시예에서, VR 경험은 또한 VR 경험과 함께 물리적 절차를 위한 운영자의 타이밍을 조정하도록 더 설계되었다.
일부 실시예에서, VR 경험 및 물리적 절차 타이밍은 착용자의 VR 경험과의 상호 작용에 의해 영향을 받는다.
일부 실시예에서, VR 경험은, 신체적 감각과 관련된 적어도 하나의 절차적 동작을 통합하고 잠재적으로 불안 또는 통증 반응을 유도하는 물리적 절차의 동작에 대한 실행 순서를 포함하는, VR 연속체 경험 프레임워크를 사용하여 생성되고, 각각의 절차적 동작에 대해 통증, 불안, 또는 존재 중 하나 이상의 동작에 대한 인식을 조정하기 위해 VR 전치(VR transposition)의 특성이 정의된다.
일부 실시예에서, 장치는 처리, 메모리, 시각적 디스플레이, 모션 감지, 오디오, 및 사용자 인터페이스 기능을 제공하는 휴대 전화, 및 휴대 전화를 지원하는 헤드셋을 포함하고, 휴대 전화에는 VR 소프트웨어 애플리케이션이 실행되는 동안 휴대 전화의 기능을 VR 기능으로 제한하도록 구성된 VR 소프트웨어 애플리케이션이 로딩된다.
일부 실시예에서, VR 소프트웨어 애플리케이션은 VR 경험 디스플레이와 동시에 디스플레이되는 터치 스크린 사용자 인터페이스를 제공하도록 구성되고, 헤드셋은 사용자가 터치 스크린 사용자 인터페이스를 볼 수 없도록 구성되어 있다.
또다른 측면에 따르면, 신체적 감각과 관련된 적어도 하나의 절차적 동작을 통합하고 잠재적으로 불안 또는 통증 반응을 유도하는 물리적 절차를 연출하는(choreographed) VR 연속체 경험을 생성하기 위한 가상 현실(VR) 연속체 경험 프레임워크가 제공되고, 프레임워크는:
절차적 동작의 실행 순서; 및
각각의 절차적 동작에 대해, 통증, 불안, 또는 존재 중 하나 이상의 동작에 대한 인식을 조정하기 위해 VR 전치의 특성을 정의하는 것을 포함한다.
일부 실시예에서, 각각의 VR 전치는 물리적 감각을 유발하는 동작의 존재 및 측면에 대한 절차의 요구 사항, 및 존재, 불안, 및 통증 인식 중 하나 이상에서 변경을 위한 목표 방향에 기초하여 정의된다.
일부 실시예에서, VR 전치는 동작에 의해 유발된 물리적 감각과 일치하지 않는 방식으로 물리적 상호 작용의 측면을 재구성하는 것을 특징으로 하며 물리적 감각에 대한 변화된 인식을 장려한다.
일부 실시예에서, VR 전치는 일반적으로 실제 신체 동작보다 고통이나 불안이 덜한 상호 작용을 사용하여 VR 맥락에서 표현을 선택하기 위해 물리적 감각의 지속 시간 및 속성을 모방하는 것을 특징으로 한다.
일부 실시예에서, 공통 주제의 VR 경험 구성 요소 라이브러리에서 선택하여 VR 경험이 생성될 수 있다. 각각의 정의된 VR 전치에 대하여, VR 경험 구성 요소는 정의된 VR 전치의 특성을 충족하고 선택된 VR 경험 구성 요소를 절차의 동작 순서에 따라 VR 경험으로 컴파일한다.
또다른 실시예에 따르면, 가상 현실(VR) 경험 생성 시스템이 제공되고, 시스템은:
하나 이상의 의료 절차에 대한 하나 이상의 절차적 동작의 순서를 저장하는 의료 절차 라이브러리;
물리적 감각과 관련되고 잠재적으로 불안 또는 통증 반응을 유도하는 각각의 절차적인 동작을 포함하는 VR 전치 리소스 라이브러리-VR 전치 리소스 라이브러리는 통증, 불안, 또는 존재 중 하나 이상의 동작에 대한 인식을 조정하기 위해 VR 전치의 정의된 특성이며 각각의 정의된 VR 전치에 대한 복수의 VR 경험 구성 요소이고, VR 경험 구성 요소는 하나 이상의 VR 경험 주제와 관련하여 정의된 VR 전치의 특성을 충족시킴-; 및
의료적 절차 라이브러리에서 의료적 절차에 대한 일련의 절차적 동작을 검색하고, VR 전치 리소스 라이브러리에서 공통의 VR 경험 주제를 사용하여 정의된 각각의 VR 전치에 대한 VR 경험 구성 요소를 선택하며, 절차에 대한 동작 순서에 따라 선택된 VR 경험 구성 요소를 VR 경험으로 컴파일하여, 의료적 절차를 위한 VR 경험을 컴파일하도록 구성된 VR 경험 컴파일러를 포함한다.
또다른 측면에 따르면, 신체적 감각과 관련된 적어도 하나의 절차적 동작을 통합하고 잠재적으로 불안 또는 통증 반응을 유도하는 물리적 절차로 연출된 가상 현실(VR) 연속체 경험을 생성하는 방법이 제공되고, 방법은:
절차적 동작의 실행 순서를 결정하는 단계;
각각의 절차적 동작에 대해, 통증, 불안, 또는 존재 중 임의의 하나 이상의 작용에 대한 인식을 수정하기 위해 VR 전치의 특성을 정의하는 단계;
공통 VR 경험 주제를 사용하여 정의된 각각의 VR 전치에 대해 VR 경험 구성 요소를 획득하는 단계-VR 경험 구성 요소는 정의된 VR 전치의 특성을 충족시킨다-; 및
절차에 대한 절차적 동작의 실행 순서에 기초하여 선택된 VR 경험 구성 요소를 VR 경험으로 컴파일하는 단계를 포함한다.
VR 경험 구성 요소를 획득하는 단계는 VR 전치 리소스 라이브러리로부터 VR 경험 구성 요소를 선택하는 단계를 포함할 수 있다. 대안적으로 또는 부가적으로, VR 경험 구성 요소를 획득하는 단계는 정의된 VR 전치의 특성에 기초하여 VR 경험 구성 요소를 생성하는 단계를 포함할 수 있다.
도 1은 현재 상용화된 동일한 VR 시스템을 사용하는 2개의 사용 시나리오의 절차적인 단계를 나타낸다.
도 2는 본 발명의 일 실시예를 사용하는 사용 시나리오를 위한 절차적인 단계를 나타낸다.
도 3은 이중 사용자 VR 경험을 제공하기 위해 적용된 기술적 특징의 개요를 나타낸다.
도 4는 VR 헤드셋의 실시예의 예를 나타낸다.
도 5a는 절차적인 아이콘의 예를 나타낸다.
도 5b는 장치 사용 보고서의 예를 나타낸다.
도 5c는 절차적인 아이콘의 예를 나타낸다.
도 6은 아이콘을 선택하기 위해 터치 스크린 아이콘 주위의 증가한 오차 한계를 도시한다.
도 7은 동일한 화면에서 VR 모드와 터치 스크린 메뉴에 액세스할 수 있는 이중 인터페이스를 보여줍니다.
도 8은 종래 기술의 VR 장치의 외부 제어기 장치의 이미지이다.
도 9는 종래 기술의 VR 장치상의 제어 버튼의 위치 및 본 발명의 실시예를 도시한다.
도 10은 절차적인 결과를 최적화하기 위해 VR 절차 특정 경험을 생성하기 위해 발명자들이 사용하는 프레임워크의 개요를 제공한다.
도 11은 VR 절차 특정 경험 개발과 관련된 핵심 기술의 프레임워크를 도시한다.
도 12는 각각의 단계에 해당하는 의료 절차 및 활동/기술 단계를 도시한다.
도 13은 물리적 절차의 예와 이러한 절차에서 일반적으로 예상되는 생리적 통증 수준과 강도를 도시한다.
도 14a는 각각의 절차에 대한 통증 및 불안 반응 모델 및 절차 동안 환자의인지적 존재 또는 반응에 대한 요구 사항을 도시한다.
도 14a는 인지적 존재에 대한 각각의 절차 및 요구 사항에 대하여 통증과 불안 반응 또는 절차 중 환자 반응의 모델을 도시한다.
도 14b는 도 14a의 단순화된 블록 모델의 영역 및 환자 응답이 각각의 영역에 대해 특징적인 것으로 간주될 수 있는 절차 유형을 도시한다.
도 15는 절차적인 연출 VR 경험을 위한 엔드 투 엔드 프레임워크(end to end framework)의 일반적인 개요를 도시한다.
도 16은 MRI 절차에 적용되는 엔드 투 엔드 프레임워크의 예를 도시한다.
도 17은 VR을 사용하여 니들(needle) 절차를 재구성하는 예를 나타낸다.
도 18은 임상의의 통제/가변 양상 절차와 VR 경험을 개념화한다.
도 19는 VR (또는 AR) 환자 지원으로부터 혜택을 받을 수 있는 3개의 절차 단계를 나타낸다.
도 20은 질소 가스 마취 절차의 단계와 2개의 대안적인 주제를 사용하는 해당 VR 전치의 예를 나타낸다.
도 21은 시스템의 실시예에 대한 피드백 및 수정 루프를 개략적으로 도시한다.
착용자가 헤드 장착 가능하고 착용자 이외의 운영자가 액세스할 수 있는 장치 사용자 인터페이스를 통한 장치 제어를 허용하도록 구성된 가상 현실 장치가 제공된다. 가상 현실(VR) 장치는 착용자가 장치를 착용하는 동안 운영자가 장치 조정 및 가상 현실 경험의 시작을 제어하고 하나 이상의 VR 경험을 제공할 수 있도록 구성된다. VR 경험은 착용자가 물리적 절차 경험의 재 상상을 용이하게 하도록 설계될 수 있다. 이러한 장치 및 VR 경험의 적용 예에는 주사 또는 혈액 샘플 채취와 같은 아동을 위한 의료 절차가 포함된다. 그러나, 실시예는 많은 상이한 물리적 절차 및 시나리오에 적용될 수 있다.
실시예는 이러한 절차를 겪고 있는 개인을 지원하기 위해 절차 특정 VR 경험을 제공할 수 있다. 예를 들어, 의료 절차와 관련된 통증 및/또는 두려움 관리를 돕기 위해 제공할 수 있다. 의료 절차(예: 정맥 천공(venepuncture) - 혈액 채취, 또는 정맥 캐뉼라 삽입)는 건강 관리에서 일반적이다. 많은 환자들이 니들과 관련된 의료 절차를 병원 경험에서 가장 두려운 부분으로 간주한다. 이러한 절차는 가족에게까지 확장될 수 있는 심각한 불안과 고통을 유발할 수 있다. 국소 마취 크림 또는 주의 산만과 같은 현재의 통증 관리 기술이 부적절할 수 있으며, 이로 인해 환자를 억제하거나 격리시켜야 한다. 발명가의 VR 시스템을 통해 사용자는 이러한 절차 중에 매력적이고 대화형인 3차원 "가상 세계"를 경험할 수 있고, 가상 세계의 맥락에서, 개선된 임상 경험을 제공하기 위해 절차 감각에 대한 사용자의 인식이 변경될 수 있다. 가상 세계로 탈출하면 감각을 재 상상하여 통증 인식이 변경되고 불안이 줄어들 수 있다.
VR은 의료 절차와 관련된 두려움과 고통을 줄이기 위해 효과적인 약물을 사용하지 않는 방법을 제공할 수 있다. 그러나, VR이 의료 환경에서 적절히 채택된 도구가 되기 위해, 임상의와 환자 모두에 대해 VR 경험을 최적화하는 것이 중요하다. 이러한 VR 시스템의 실시예들이 유익할 수 있는 절차로서 니들 절차가 논의되지만, VR이 사용하기에 유리할 수 있는 다양한 유형의 절차가 있다. 일반적으로 중등도에서 중증의 통증을 유발하는 절차/동작은, 정맥 천공 또는 정맥 절개술, 말초 정맥 주사 삽입, 요도 카테터 삽입 또는 주상 공적 흡인, 분비된 피부의 세척 또는 관리, 기관 내관 삽입, 말초 동맥 라인 삽입, 흉관 제거, 말초 삽입 중앙 카테터 삽입, 요추 천공, 내시경 검사, 비강관 삽입, 중앙 정맥 라인 삽입, 근육 주사, 골절 및 탈구의 조작 및 감소, 경미한 수술 절차를 포함하나 이들에 제한되지는 않는다. 일반적으로 경증에서 중등도의 통증을 유발하는 절차/동작은 모세관 샘플링, 기관 내 흡입, 드레싱 변경 또는 제거, 모빌리제이션, 피하 주사, 피부 단자 시험(Skin-prick testing), 기관 내 튜브 제거, 피부에서 테이프 제거, 비위관 삽입, 스크래핑 또는 면봉(배양 또는 시편용), 기관 절개술, 기관 내관의 위치 변경 또는 재포장, 기관 절개술 흡입 및 상처 관개를 포함하나 이들에 제한되지는 않는다. 가벼운 통증과 관련된 절차/동작은 구강 또는 코 흡입, 말초 정맥 라인 제거, 요도 카테터 제거, 비위관 제거, 비 인두 긁기 또는 면봉, 말초 동맥 제거, 중심 정맥 제거, 이식 가능한 정맥 포트 접근, 석고 캐스트 적용 및 제거, 봉합사 제거를 포함하나 이들에 제한되지는 않는다.
위의 많은 절차 또는 동작(예: 말초 정맥 라인 삽입)은 다양한 치료를 위한 "채널"이다(테스트, 화학 요법 또는 항생제 등을 위해 혈액을 채취하기 위한 것일 수 있다). 따라서, 엔드 투 엔드 치료와 관련하여 통증 유발과 관련된 하나 이상의 동작 또는 절차가 필요할 수 있다. 추가 연구에 따르면 통증에 대한 인식은 심리적 요인, 특히 의료 절차와 관련된 두려움과 불안에 의해 영향을 받을 수 있다. 예를 들어, 아동들을 대상으로 한 연구에 따르면 니들의 찌름을 기억하는 환자는 통증 수준/강도(0은 통증이 없고 10은 상상할 수 있는 최악의 통증인 0 내지 10의 척도를 사용하여 환자에 의해 보고됨)가 니들 찌름의 경우 외상이나 수술과 같은 다른 통증 원인만큼 높지는 않았음에도 불구하고 절차의 가장 고통스러운 부분이라고 생각한다. 따라서 통증의 인식은 통증의 물리적 원인뿐만 아니라 절차와 관련된 환자의 불안에 영향을 받는 것으로 보인다. VR 시스템의 실시예는 환자에 의한 물리적 절차 경험의 재 상상을 용이하게 하도록 설계된 VR 경험을 사용함으로써 통증의 인식을 조작하는 것을 목표로 한다. 여기에는 물리적 절차 중에 착용자가 경험 한 상황에 따라 재구성되는 감각이 포함될 수 있다. VR 경험은 환자가 VR 세계(VR 경험)의 맥락에서 절차의 물리적 감각을 경험할 수 있도록 물리적 절차와 함께 연출되어 있고, 따라서 환자 경험을 변경하여 통증 및/또는 불안감을 감소시킨다. 따라서, VR 시스템의 양상은 절차적으로 연출된 VR 경험의 개발 및 임상 환경에서 사용하기 위해 VR 장치에 대한 변경을 포함한다.
역사적으로, VR은 헤드셋을 착용한 상태에서 경험을 선택하고 게임을 조정 및 시작하는 모든 기능을 단독으로 수행하는 비디오 게이머를 위해 개발되었다. 그러나, 의료 또는 교육 환경과 같은 이중 사용자 시나리오에서 현재 VR 디자인에 문제가 있다. 이는 통제하는 사람이 아닌 한 명의 사용자만 VR 장치를 착용할 수 있는 경우 특히 문제가 될 수 있다. 예를 들어, 의료 및/또는 교육 환경에서 종종 2명 이상의 사용자(운영자(예: 임상의, 교사) 및 최종 사용자(예: 환자, 학생))가 있다. 또한, 그러한 경우, 종종 VR 장치의 착용자는 장치를 제어하는 개인이 아닐 수 있다. 이러한 시나리오의 예로는 VR 장치 착용자가 어린 아이이거나 장애, 쇠약, 부상, 또는 무능력한 사람이 있다. 부모/가족, 교사 보좌관, 절차를 지원하는 다른 임상의와 같은, 절차에 관련된 지원 사용자가 있을 수도 있다.
현재 상업적으로 이용 가능한 VR 장치는 별도의 운영자 및 최종 사용자를 갖는 요구 또는 사용자 경험을 수용하도록 설계되지 않았다.
운영자가 최종 사용자 사용 전에 여러 단계를 수행해야 하는 경우 임상 설정 또는 강의실과 같은 환경에서 문제가 된다. 예를 들어, 운영자가 헤드셋을 사용자에게 제공하기 전에 VR 경험을 선택하기 위해 먼저 헤드셋을 착용해야하는 경우에 문제가 된다. 본 장치의 한 측면은 이러한 요구를 충족시키기 위한 기술을 적용한다. 따라서, 운영자는 최종 사용자가 사용하기 전에 여러 단계를 실행하지 않고도 VR 헤드셋을 쉽게 조작할 수 있다. 이는 별도의 운영자와 최종 사용자가 있는 의료 및 교육 환경과 관련이 있다. 공통의 시나리오는:
·의료 절차
·수술 절차
·간호 절차
·치과 절차
·장애인을 위한 VR
·VR 요법(예: 공포증 치료, PTSD, 자폐증)
·환자 교육(예: 절차, 질병 관련)
·교육(예: 아동, 학생, 대학 환경)을 포함할 수 있다.
이러한 유형의 환경은 빠르게 진행될 수 있으며 최종 사용자는 VR을 단기간 동안만 사용할 수 있다. 또한 VR 최종 사용자의 빠른 전환이 있을 수 있다.
도 1은, (Google Daydream 또는 Cardboard와 같은), 현재 상용화된 동일한 VR 시스템을 사용하는 2개의 사용 시나리오의 절차 단계를 나타낸다. 시나리오 A는 설정(예: 게이머의 설정)을 포함하여 단일 사용자 VR 경험에 대한 절차적인 단계를 나타낸다. 시나리오 B는 두 사용자가 수행해야 하는 단계를 보여주는 시나리오 A와 비교하여 이중 사용자 시나리오(예: 건강 관리 상황)의 절차적인 단계를 나타낸다.
시나리오 A는(예를 들어, VR 게임 환경에서) VR 장비를 전체적으로 조작하고 사용할 수 있는 단일 사용자가 있는 종래 기술의 VR의 현재 일반적인 용도이다. 종래 기술(예: Google Daydream 또는 Cardboard)은 이러한 시나리오에서 적절하게 작동하도록 설계되었다. VR은 한 사람이 작동하고 최종 사용자가 되도록 하기 위해 개발되었다. 그러나, 설정에는 시간이 걸린다: 사용자가 장치를 착용한 상태에서 VR의 VR 라이브러리를 탐색한다고 가정한다. 일반적으로, 다양한 VR 경험을 선택할 수 있으며 사용자는 VR에서 다른 장치 기능으로 내비게이션할 수 있다. 또한 사용자가 종료하고 새로운 경험을 보거나 다른 장치 기능을 탐색할 것이라는 가정도 있다.
시나리오 B는 두 명(운영자인 사람과 최종 사용자인 사람(예: 건강 관리 상황, 절차 또는 노인 또는 아동의 경우))의 사용자가 있을 때 종래 기술의 VR 장치(예를 들어 시나리오 A와 동일한 장치)를 사용하는 예이다. 이러한 상황에서, 종래 기술의 장치를 사용하는 것은 비효율적이며, 이는 최종 사용자에게 VR 경험을 제공하기 전후에 개입/운영하기 위한 VR 헤드셋을 착용해야 하는 많은 단계와 운영자가 필요하기 때문이다.
건강/교육 환경에서 현재 VR 디자인을 사용하는 데 따른 문제점 중 일부는 다음 1 내지 4에 요약되어 있다.
1. VR의 운영자와 최종 사용자는 일반적으로 두 명의 다른 사람(예: 임상의와 환자)이다.
현재 디자인을 사용하는 문제는 다음과 같다:
·VR 운영자에 대한 열악한 사용자 경험
·감염 관리: 운영자는 최종 사용자를 위한 환경을 선택/제어하기 위해 헤드셋을 착용/오염시키지 않는다.
2. VR을 위한 시간 집약적인 설정은 의료 또는 교육에서 종종 요구되는 빠른 처리에 도움이 되지 않는다: 하나의 VR 헤드셋을 빠르게 연속해서 사용하는 여러 명의 최종 사용자(예: 임상의는 환자의 혈액을 채취하는 동안 여러 환자에게 VR을 제공하거나, 또는 교사는 많은 학생들에게 VR 경험을 제공한다).
·종종 시간 집약적인 조정이 필요하다: 예를 들어, 동공 거리, 초점 거리 등
3. 너무 많은 기능과 옵션은 VR 경험에 액세스하기 어렵게 하고 의도하지 않게 너무 용이하게 일시 정지/종료될 수 있게 한다. 또다른 문제는 VR 경험 중에 의도하지 않은 VR 컨텐츠 변경(예: 실수로 버튼이 눌러진 경우 시나리오 변경)일 수 있다.
4. 경험은 완료될 때까지 실행된 다음 추가 동작이 수행될 때까지 중지된다. 때로는 운영자는 설정된 경험보다 더 많은 시간을 필요로 한다.
본 발명자들은 이중 사용자(운영자/최종 사용자)를 위해 간소화된 사용자 경험을 가능하게 하기 위해 수정된 VR 장치를 개발했다. 발명자의 조정과 수정이 두 명의 사용자(운영자, 최종 사용자)에 대한 VR 사용자 경험을 최적화하도록 설계된, 임상 사용 시나리오인, 시나리오 C에 대해, 수정된 VR 장치의 실시예에 대한 절차적인 단계의 예가 도 2에 도시되어 있다. 변형된 VR 장치의 실시예는, 전체 프로세스가 빠르고 원활하도록, 운영자를 위한 프로세스를 단순화하도록 설계되었다. 이러한 VR 장치 작업의 변경은 아래와 같은 것들을 포함한다:
1. 운영자와 최종 사용자 모두를 위한 간소화된 사용자 경험 설계:
·운영자는 헤드셋을 착용할 필요 없이 (예를 들어, 터치 스크린, 외부 버튼을 통해) VR 경험을 완벽하게 제어할 수 있다.
·최종 사용자는 VR 경험을 바라보면서 상호작용할 수 있으나, 활성화/선택/경험의 종료 동작에 대한 책임은 없다.
2. 운영자가 빠르고 용이하게 선택할 수 있고 임상/교육 환경에 간소화된 VR 경험:
·조정을 포함하고 하나의 단일 동작으로 시작.
·하나의 최종 사용자에서 다른 최종 사용자로 빠르게 이동하면서 방향을 빠르게 변경할 수 있다. 예를 들어. 최종 사용자는 다른 방향을 향하고 있을 수 있고, 일부 임상 환경(예: 예방 접종 클리닉)에서, 빠른 회전이 바람직하므로 조정 및 시작/정지가 빠르고 원활하게 이루어지는 것이 바람직하다.
·최소한의 조정이 필요하다.
3. 사용자 정의 로더(custom loader)에 의해 기능이 제한됨.
·VR 앱으로 자동 부팅
·스마트폰 홈 화면으로 돌아갈 수 없다(잠김)
·이전에 선택한 마지막 경험을 자동으로 시작할 수 있다
·시작 후 추가적인 운영자 변경 사항(예: VR 경험 변경 방지)을 선택적으로 잠근다.
4. 루핑 기능: VR 경험 계속
·최종 사용자가 경험을 다시 시작할 수 있는 옵션
·경험이 일시 정지되었거나 >30초 동안 움직임이 없으면 경험이 일시 중지 (휴지)되지만 중지된 곳에서 픽업
이러한 이중 사용자 VR 장치 작동 변경은 임상 절차, 예를 들어, 소아 니들 절차 동안 VR 사용을 간소화하기 위해 개발되었다.
도 2는 본 발명의 실시예를 사용하는 설정을 포함하는 이중 사용자 VR 경험을 위한 사용 시나리오(시나리오 C)에 대한 절차 단계를 도시한다. 이러한 시나리오에서, VR 장치는 운영자가 장치를 착용할 필요없이 장치를 사용하여 운영자가 VR 경험을 설정할 수 있도록 구성된다. 이후에, 장치를 착용자의 머리(환자)에 놓고 운영자가 장치의 조정을 시작하고 선택한 VR 경험이 시작된다. VR 경험이 착용자가 VR 장치의 제어를 방해하는 위험을 감소시키게 재생되도록, VR 장치의 제어를 위해 통상적으로 활성화될 수 있는 버튼은 비활성화될 수 있다. 필요한 경우, 운영자가 개입할 수 있도록 중지 및 재조정 버튼이 활성화된 상태로 유지될 수 있다. VR 경험이 종료되면, 장치는 운영자 개입 없이 자동으로 경험 또는 경험의 일부를 다시 시작하거나 반복하도록 구성될 수 있다. 예를 들어, 절차를 완료하는 데 추가 시간이 필요한 경우, VR 경험은 계속하여, 경험의 일부 또는 전부가 반복될 수 있다. VR 장치 및 경험의 특징은 이중 사용자 VR 경험에 적합한 기술 특징의 개요를 제공하는 도 3을 참조하여 아래에 더 상세히 서술된다.
VR 장치는 절차 전에 전원을 켤 필요가 없도록 "항상 켜짐"으로 구성될 수 있다. 장치는 배터리 절약을 위해 움직임 감지 대기 모드를 가질 수 있다. 그에 따라, 장치는 움직임이 감지되지 않은 미리 정해진 시간 후에 대기 모드로 진입하고, 사용자가 장치를 들어올리거나 움직임을 재개(즉, 마취에서 회복)하는 것과 같은 움직임에 응답하여 대기 모드에서 어웨이크/사용 상태로 된다.
일부 실시예에서, VR 장치는 헤드셋에 장착된 처리 및 디스플레이 장치를 포함할 수 있다. VR 장치 디스플레이 및 처리 장치로서 사용될 수 있는 장치의 일부 예는 디스플레이를 갖고 VR 소프트웨어를 실행할 수있는 휴대 전화, 소형 태블릿 컴퓨터, 미디어 플레이어 또는 이와 유사한 장치를 포함한다. 헤드셋은 장치를 지원하도록 구성되며 VR 디스플레이를 볼 수 있도록 구조적 및 광학적 구성 요소를 포함할 수 있다. 일부 실시예에서, 디스플레이 및 처리 장치는 사용하기 위해 헤드셋에 고정될 수 있다. 실시예의 예가 도 4에 도시되어 있다. 이러한 실시예는 휴대 전화(420)를 지원하는 헤드셋(410)을 포함한다. 휴대 전화(420)는 프로세싱, 메모리, 시각적 디스플레이, 모션 감지, 오디오 및 사용자 인터페이스 기능을 제공하고 VR 소프트웨어 애플리케이션이 실행되는 동안 휴대 전화의 기능을 VR 기능으로 제한하도록 구성된 VR 소프트웨어 애플리케이션과 함께 로딩된다. 휴대 전화(420)는 예를 들어 접착제, 패스너, 클립 또는 장력 세트 등을 사용하여 헤드셋에 고정된다.
처리 및 디스플레이 장치는 장치를 도난당하거나 우발적으로 제거되거나 빠지지 않도록 영구적으로 고정될 수 있다. 일부 실시예에서, 장치는 예를 들어 처리 및 디스플레이 장치에 손상을 줄 위험 없이 헤드셋을 청소할 수 있도록 제거 가능하게 고정될 수 있다. 예를 들어, 처리 및 디스플레이 장치는 제거하기 어렵고 우발적인 제거의 위험을 감소시키지만 처리 및 디스플레이 장치의 의도적인 제거를 허용하는 방식으로 슬리브 내에 밀봉될 수 있다. 일부 실시예에서, 헤드셋 구성 요소들은 일회용일 수 있고 처리 및 디스플레이 장치는 재사용 가능할 것으로 예상된다. 그러한 일 실시예에서, 처리 및 디스플레이 장치는 헤드셋의 슬리브 또는 구획에 영구적으로 밀봉되어 장치를 헤드셋에 고정시키고, 처리 및 디스플레이 장치를 제거하기 위해 헤드셋의 손상(및 후속 처분)이 필요할 수 있다. 이러한 실시예는 오염 위험을 감소시키기 위해 의료/외과 환경에서 사용하기에 바람직할 수 있다. 오토 클레이브와 호환되는 VR 장치 헤드셋을 제공하여 헤드셋이 수술 장비와 유사하게 살균될 수 있도록 하는 것이 또한 예상된다.
VR 장치의 실시예는 독립적이며 원격 제어기 또는 장치를 통해 묶여있거나 제어될 필요가 없다는 것을 이해해야 한다.
헤드셋의 다른 특징으로는 방수 및 청소할 수 있는 덮개가 있다. 헤드셋이 경량인 것이 또한 바람직하다. 특히 아동이 용이하게 사용할 수 있도록 헤드셋 끈을 조절할 수 있어야 한다. 일 실시예에서, 무게를 고르게 분배하고 아동의 머리를 보다 용이하게 지지할 수 있도록 헤드셋에는 T-바 타입 3방향 스트랩이 제공된다. 장치는 아동이 사용하기 위해 특별한 크기와 모양이 결정될 수 있다. 현재 VR 장치는 10세 이상의 아동만 사용하는 것이 좋다. 따라서 헤드셋은 아동을 위해 특별히 제작되지 않았다. 발명자들은 VR을 의료 절차에 적용하는 경우, VR을 4 내지 11세 아동에게 사용하는(예: 예방 접종) 전형적인 절차에 대한 짧은 지속 기간은 매우 낮은 부작용 프로파일로 비교적 안전하다는 것을 발견하였다. 다른 변형은 장치의 외관을 "재미있게" 제공하고 아동에 대한 위협을 줄이도록 색상, 패턴, 또는 데칼을 포함할 수 있다. 성인 환자에 대해 사용하도록 설계된 장치에는 이러한 수정이 필요하지 않을 수 있다.
다른 실시예에서, 처리 및 디스플레이 장치는 헤드셋과 일체일 수 있다. 이러한 실시예는 절차적인 VR 애플리케이션 전용의 프로세싱 및 디스플레이 하드웨어를 이용할 수 있다. 이러한 실시예는 통신 기능과 같은 다른 기능을 제공하지 않을 수 있다. 대안적으로, 무선 통신 및 데이터 캡처와 같은 기능은 절차적인 VR 애플리케이션의 요구 사항에 의해 제한될 수 있다. 예를 들어, VR 프로그램을 업데이팅하거나 또는 VR 경험 중에 수집된 데이터를 다운로드할 목적으로 제한된 단거리 무선 통신으로 제한될 수 있다. 이는 장치 복잡성, 처리, 배터리, 및 메모리 요구 사항 중 하나 이상을 감소시키는 것이 바람직할 수 있다. 이러한 실시예는 장치 비용을 감소시키고/감소시키거나 다른 용도로 장치를 도난당할 가능성을 감소시키는 장점을 가질 수 있다. 전용 장치 하드웨어의 사용은 또한 엄격한 세척 및/또는 살균 절차를 받을 수있는 실시예를 가능하게 할 수 있다.
장치에는 부팅시 장치가 VR 모드로 직접 시작되거나(켜짐) 대기 모드에서 깨어나도록 하는 사용자 지정 로더가 포함될 수 있다. 이를 통해 운영자의 설정 프로세스를 크게 단순화하고 속도를 높일 수 있다. 휴대 전화를 사용하여 구현된 실시예에서, 사용자 지정 로더는 안드로이드 기반 사용자 지정 로더로서 생성되어, 폰이 이러한 애플리케이션에 자동으로 있도록 전화기를 잠근다. 다른 모든 장치 기능은 액세스할 수 없다. 운영자와 사용자는 홈 화면에 액세스하거나 애플리케이션을 종료 할 수 없다. 다음의 명령 프롬프트를 사용하여 장치를 설정하는 동안 장치 소유자 모드를 설정하여 수행했다: adb shell dpm set-device-owner.com.smileyscope. smileyscopelauncher/.DeviceAdminReceiver
대안적으로, 특정 사용 제한에 따라 전화기 또는 다른 장치를 잠글 수 있는 다중 장치 관리 시스템이 사용자 지정 로더의 대안으로 사용될 수 있다. 잠금 사양은 VR 경험 실행 및 헤드셋의 잠금 기능에 대한 제한을 정의할 수 있다.
선택적으로, 장치는 마지막으로 사용한 VR 경험 절차를 자동으로 로드하도록 구성될 수도 있다. 이러한 특징은 장치가 동일한 절차를 겪는 다수의 환자, 예를 들어 면역 클리닉 또는 혈액 은행에 연속적으로 사용될 환경에서 바람직할 수 있다. 이전에 선택된 VR 경험의 자동 리콜/시작을 위해 구성된 실시예는 마지막에 선택된 경험의 지속성에 의해 구현된다. 이러한 실시예에서, 이러한 값은 네이티브 안드로이드 UI 구성 화면에 의해 설정되었고 Unity 경험에 의해 판독되었다.
대안적으로, 장치는 터치 스크린 인터페이스 또는 하드웨어 버튼을 통해 적절한 VR 경험을 쉽게 선택할 수 있도록 아이콘 또는 절차 목록을 보여주는 홈 스크린을 제공할 수 있다. 도 5a는 절차 아이콘의 예를 나타낸다. VR 경험의 제어를 위한 다른 특징은 또한 터치 스크린 및/또는 버튼을 통해 액세스될 수 있다. VR 경험을 "외부"에 사용자 인터페이스를 제공하는 이러한 기능은 현재의 VR 장치를 변경한 것이다. 이러한 특징을 통해 운영자는 헤드셋을 착용하지 않고도 VR을 선택하고 제어할 수 있다.
일 실시예에서, 인공 지능 알고리즘을 사용하여 특정 장치에 아이콘을 자동으로 맞추도록 장치를 구성할 수 있다. 이러한 실시예에서, 사용 데이터는 (예를 들어, Google 웹 로그 분석을 통해) 수집되어 AI 알고리즘에 제공되며 아이콘 표시가 조정되어 보다 일반적으로 사용되는 아이콘이 제공된다. 실시예의 예는 도 5a 내지 도 5c에 도시되어 있다. 최초로, VR 장치에 다양한 VR 경험이 사전에 로드되어 있다. 도 5a는 VR 장치(510)가 VR 경험, 예를 들어 니들(520), 치과(530), 드레싱(540), 및 X-선(550)으로 로딩되는 일련의 절차를 식별하는 아이콘 세트를 도시한다. 장치는 장치(510) 사용을 모니터링하도록 구성된다. VR 경험이 사용될 때마다 분석을 위해 데이터가 캡처된다. 이러한 데이터는 분석 엔진으로 전송되어 분석 될 수 있다. 예를 들어, 도 5b는 사용 보고서의 예를 도시한다. 예를 들어, 이는 응급실 사용 보고서일 수 있으며, 니들 절차가 가장 일반적으로 사용되며 드레싱 절차가 뒤따른다는 것을 나타낸다. 사용 보고서는 주기적으로(예: 매일, 매주, 매시간 등) 전송될 수 있으며, 대안적으로 사용 데이터는 각각의 사용 후 또는 여러 사용 후에 전송될 수 있다. 사용 데이터 보고서에는 사용 시간 데이터, 즉 경험 시작 시간, 기간이 포함될 수 있다. 분석에는 인공 지능(AI) 알고리즘을 통한 실행이 포함된다. 대안적인 실시 예에서, 분석 엔진은 장치의 보드 상에 구현될 수 있다. 사용 현황 분석 결과를 사용하여 VR 아이콘의 레이아웃을 조정할 수 있다. 예를 들어, 보다 일반적으로 사용되는 VR 경험을 위한 아이콘은 화면 상단을 향해 배치될 수 있다. AI 알고리즘은 사용 빈도에 따라 아이콘을 조정하는 각각의 특정 VR 장치에 재업데이트를 제공한다. 일 실시예에서, 더 많이 사용된 절차에 대한 아이콘은 디스플레이에서 보다 두드러진 위치로 이동하여 강조될 수 있다. 아이콘의 크기도 수정될 수 있다. 예를 들어:
a. VR 경험이 더 자주 사용되는 경우, 터치 스크린 메뉴에서 크게 위로 배치된다.
b. VR 경험이 덜 빈번하게 사용되는 경우, 터치 스크린 메뉴에서 작고 아래로 배치된다.
예를 들어, 도 5c에 나타난 바와 같이, 이러한 응급실에서 사용되는 VR 장치(510)는 골절/X-레이(550) 및 치과(520) 아이콘보다 큰 니들(510) 및 드레싱(530) 아이콘을 갖는 맞춤형 아이콘을 가질 것이다. 또한, 치과(520) 아이콘의 위치는 스크린에서 아래쪽으로 이동하고, 더 많이 사용되는 드레싱(540) 아이콘은 스크린에서보다 두드러진 상부 위치로 이동한다.
이러한 조정은 각각의 장치에 따라 다를 수 있으므로 아이콘이 시간에 따른 활동의 변화를 반영할 수 있다. 일부 실시예는 특정 시간 및 특정 VR 경험이 가장 많이 사용되는 세션을 포함하여 사용 패턴을 예측할 수 있다.
아이콘 주위의 넓은 영역이 아이콘을 활성화할 수 있도록 실시예가 구성될 수 있다. 이러한 실시예의 터치 스크린 및 아이콘 레이아웃은 아이콘 주위의 <20% 영역이 아이콘도 활성화시키도록 설계된다. 이를 통해 적절한 터치 스크린 오류 마진으로 아이콘이 용이하게 선택될 수 있다. 도 6은 아이콘을 선택하기 위해 터치 스크린 아이콘 주위의 증가한 오차 한계를 도시한다. 이러한 특징은 실무자가 터치 스크린에 집중할 수 없거나 바쁜 응급실과 같이 신속하게 움직여야 하는 바쁜 환경에 적합할 수 있다.
실시예는 또한 VR 경험의 음성 활성화 선택을 가능하게 할 수 있다: 애플리케이션은 선택할 수 있는 특정 하위 애플리케이션의 음성 활성화를 감지하도록 프로그래밍될 수 있다. 예를 들어, 임상의가 "천공(venepuncture)"을 구두로 말하면 앱은 천공 VR 경험을 선택한다.
일 실시예에서, 장치는 동일한 스크린에서 VR 모드 및 터치 스크린 메뉴에 액세스할 수 있으나 VR 화면으로부터 터치 스크린 메뉴가 숨겨져 있는 듀얼 인터페이스를 제공하도록 구성될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 디스플레이는 스테레오 스코픽 VR 뷰 이미지(710, 715) 및 스테레오 스코픽 디스플레이 윈도우(710, 715) 위의 영역에 사용자 인터페이스(720)를 표시하며, 이는 헤드셋에 의해 사용자의 시야에서 숨겨질 것이다. 이러한 실시예를 구현하기 위해, VR 뷰에서 숨겨진 화면의 일부에서 운영자가 액세스할 수 있는 사용자 인터페이스를 제공하기 위해 버튼이 오버레이되었다. 헤드셋은 사용자가 VR 경험에 관여하는 동안 운영자가 이러한 UI에 액세스할 수 있도록 구성될 수 있다. Unity 컨텍스트를 사용자 정의 동작으로 래핑(wrapping)하여 원래의 Android 라이브러리를 사용하여 구성된 사용자 인터페이스의 실시예이다.
VR 장치는 특정 시간이 지나면, 자이로스코프와 시간의 조합을 통해 배터리를 절약하도록, 휴지 모드로 전환되도록 구성될 수 있다. VR 경험은 사용이 감지된 경우에만 재생된다. 사용하지 않는 경우, 장치는 휴지 화면으로 돌아가서 전력이 절약된다. 실시예는, 자이로스코프가 규정된 기간, 예를 들어 10초 내지 30초 동안 여전히 감지되는 경우, 스크린을 프로그램적으로 비활성화하고 경험을 일시 정지시킨다. 시스템은 주어진 업데이트 프레임에 대해 1아크도(arc degree) 미만의 각도 델타(angle delta)를 갖는 경우 자이로스코프가 여전히 고정되어 있는지 평가한다. 평가는 여전히 화면을 어둡게 하고 장치 백라이트를 둔화시키는 활동을 유발한다. 활동은 자이로스코프를 낮은 간격으로 폴링(polls)하여 중요한 동작을 감지한다. 중요한 움직임에서, 활동은 자체적으로 제거되고 경험이 재개된다. 대안으로는 다른 센서(사운드, 조명, 포지셔닝)가 있다.
VR 장치의 실시예는 VR 경험의 렌더링을 사전 로딩하도록 구성된다. 이를 통해 더 높은 초당 프레임(FPS, frames per second)를 활성화하여 VR 경험이 최적화 될 수 있다.
VR 장치의 실시예들에서의 중요한 변경은 하나의 기능에서 조정 및 VR 경험 시작을 제공하는 것이다. 이는 운영자가 경험을 시작하기 위해 헤드셋을 착용할 필요 없이 경험을 시작하고 조정할 수 있게 한다. 전화, 헤드셋, 또는 외부 제어기/장치의 버튼에서 시퀀스가 활성화될 수 있다. 대안적으로, VR 경험은 컴퓨터에서 언급될 수 있다. 일 실시예에서, 휴대 전화를 사용한 구현은 장치 볼륨 버튼을 사용하여 조정된 사용자 경험 흐름이 제공된다. 예를 들어, 간호사가 환자에게 헤드셋을 위치시키면, 간호사와 환자는 경험을 다시 시작하기 위해 볼륨 버튼을 빠르게 연속으로 세 번 누른다. 경험의 어느 시점에서나, 이러한 입력에 응답하여, 장치는 헤드셋의 수평 중심을 다시 조정하고 경험을 다시 시작하도록 구성되어 있다. 이것은 여러 방식에 있에서 종래 기술과 크게 다르다:
a. 상업적으로 이용되는 다른 VR 장치는 조정(방향, 초점) 및 경험 시작 기능이 결합되어 있지 않다.
b. Google Pixel/Daydream (이러한 애플리케이션의 우선권 날짜 이전에 알려진 VR 장치)는 최종 사용자가 VR 헤드셋을 착용하고 외부 제어기를 눌러야 한다(도 8 참조). 제어기가 가리키는 방향에 따라 조정 방향이 결정된다. 경험 아이콘이 VR로 시각화되고 외부 제어기에서 '시작' 버튼을 눌러 경험을 시작해야 한다. 종래 기술은 아래와 같은 이유로 임상 상황에서 사용하기에 적합하지 않다:
i. 바쁜 임상 환경에서는 외부 제어기가 분실되기 용이하다.
ii. 운영자는 경험을 시작하기 위해 VR 헤드셋을 착용해야 한다.
iii. 운영자는 외부 제어기를 사용하지 않고 경험을 재생할 수 없다 - 이는 절차에 참여하는 경우 장갑을 벗고 VR 헤드셋을 착용하여 경험을 재생해야 한다는 것을 의미한다.
c. 삼성 VR(상업적으로 이용되는 VR 장치)는 최종 사용자가 VR 헤드셋을 착용하고 VR 헤드셋의 오른쪽 하단 표면에 있는 버튼을 눌러 경험을 조정하고 시작해야 한다. 이러한 장치는 또한, 운영자가 VR 헤드셋을 착용하여 경험을 선택하고 시작한 다음 헤드셋을 최종 사용자에게 전달해야 하기 때문에, 임상 환경 사용에 적합하지 않다.
조정 및 시작 순서는 최종 사용자가 아닌 운영자가 쉽게 활성화할 수 있도록 특별히 설계되었다. 다른 기능에서, 버튼과 순서가 잠기므로 실수로 경험을 일시 중지/재시작/종료할 수 없다.
VR 장치의 실시예에서, 순서 활성화 버튼은 최종 사용자가 아닌 운영자가 물리적으로 용이하게 액세스할 수 있도록 위치되었다. 예를 들어, 프로토타입 휴대 전화의 실시예에서, 선택한 순서는 헤드셋의 상단 중심 위치인 볼륨 버튼을 탭하는 것이었다. 현재 알려진 상용 VR 장치는 오른쪽 측면(예: Samsung Gear와 같은 낮은 표면 또는 Google Cardboard와 같은 측면)에 활성화 버튼이 있다. 일부 상용 VR 장치는 외부 제어기도 사용한다. 임상 환경에서, 외부 컨트롤러는 쉽게 놓칠 수 있으므로 바람직하지 않다. 발명가의 VR 장치의 프로토타입 구현을 위해 최상위 중심 위치가 선택되었으나, 버튼의 물리적 위치는 VR 장치의 상부 또는 좌측의 임의의 위치일 수 있다. 도 9는 VR 장치에서 작동 버튼이 위/왼쪽에 위치하여 운영자 액세스를 향상시키는 것을 도시한다.
실시예는 또한 예를 들어 부모 또는 임상의가 환자가 가상 세계에서 경험하고 있는 것을 관찰할 수 있도록 VR 경험의 외부 관찰을 가능하게 하도록 구성될 수 있다. 예를 들어, 일 실시 예에서, VR 장치는 장치의 측면 또는 전방에 VR 경험의 2D(즉, 하나의 눈) 렌더링을 나타내는 추가 스크린을 포함할 수 있다. 대안적인 실시예에서, VR 장치는 제3자 관찰을 가능하게 하기 위해 부모 전화, 태블릿, 스마트 워치 등과 같은 다른 장치와 페어링(즉, 블루투스 또는 WIFI를 통해)되도록 구성 될 수 있다.
실시예는, 또한 VR 경험을 동적으로 수정하는데 이용될 수 있는, 환자의 생물학적 피드백 데이터를 캡처하도록 구성될 수 있으며, 예를 들어, 환자의 심장 또는 호흡 속도가 목표의 범위 내에 있어 절차의 다음 단계로 넘어갈 때까지, 이완 운동을 반복하거나, 또는 환자가 여전히 머물 수 있도록 VR 경험을 통한 지시 또는 인센티브를 제공하도록 구성될 수 있다. 일부 실시예에서, 바이오 피드백 데이터(예를 들어, 안구 운동 추적, 동공 확장, 장치 카메라 및 마이크를 사용하여 캡처될 수 있는 발성)는 VR 장치를 통해 모니터링될 수 있다. 장치에는 환자 온도, 호흡, 산소 포화도, 심박수 등을 모니터링하기위한 센서가 제공될 수도 있다. 대안적으로, 이러한 환자 바이오 피드백은 통상적인 장비 및 바이오 피드백 데이터가 VR 장치로 전송되는 것을 사용하여 모니터링될 수 있다. VR 경험의 동적 변경은 아래에서 더 자세히 논의된다.
VR 경험 프레임워크
본 발명의 중요한 측면은 VR 경험의 특성 및 각각의 경험의 물리적 절차에 대한 특이성이다. 각각의 VR 경험은, 사용자에 의한 물리적 절차 경험의 재 상상을 용이하게 하기 위해, 물리적 절차의 단계와 조화를 이루는 내러티브(narrative)를 제공하도록 설계되었다. VR과 물리적 절차 사이의 연출은 VR 경험의 맥락에서 물리적 감각 - 바람직하게는 덜 고통스럽거나 덜 위협적이다 - 의 재구성을 가능하게 하는데 중요하다. VR 경험은 신체 감각을 재구성하여 신체 감각에 대한 인식을 환자에게 덜 고통 스럽거나 덜 위협적인 것으로 바꾸는 것을 목표로 한다.
도 10은 발명자들이 장면과 스토리를 준비하는 방법론을 개발하기 위해 수행 한 개발 프로세스를 도시한다. 이러한 프로세스는 절차 특정 VR 경험을 개발하기 위해 발명자들이 사용하는 방법론의 개요를 제공한다.
1. 정보 수집
·본 발명자들은 관심 있는 임상 영역에서 과학 문헌 및 기존 연구를 검토했다(디지털 및 소아과에서 모범 사례 기술 검토, 도메인 전문가와의 토론을 통한 통증 관리, 필기 및 전자 자료).
·발명자들은 설문 조사를 수행하고 초기 VR 사용자 테스트를 통해 건강관리 절차, 이전 건강관리 경험, 및 잠재 사용자의 관심과 취미(예: 아동)에 대한 주요 관심사를 식별한다. 발명자들은 니들 절차가 아동의 건강관리 경험에서 가장 두려워하는 부분이며 건강관리 환경에서 가장 흔한 통증의 원인 중 하나임을 확인했다.
2. 요구사항
·정보 수집 결과를 통해 발명자들은 VR 경험에 대한 요구사항을 식별하고 특정했다.
·이러한 요구 사항은 가장 중요, 중요, 바람직, 제외 그룹으로 우선 순위가 결정되었다.
·기존의 재고품을 평가할 수 있는 범위가 갖추어졌다.
·발명자들은 니들 절차에 적합한 VR 경험이 없다는 것을 발견했다.
·니들 절차 중에 VR을 사용해 아동의 주의를 산만하게 했지만, 절차에 대한 여러 기술을 시간에 따른 VR 경험으로 결합시키는 것은 알려지지 않았다.
3. 설계
·스토리 보드 및 와이어프레임이 설계된다: 절차 내 활동과 이러한 활동 각각에 대한 특정 시점을 식별하기 위해 여러 의료 절차를 관찰하고 시간을 정한다. 이러한 스토리 보드는 VR 경험을 연출하는 데 사용된다. 스토리 보드는 이러한 시점 동안 발생하는 특정 타이밍 및 활동을 반영하도록 설계되었다. 각각의 활동에 대한 운영자(임상/운영자) 및 (환자)에 대한 요구 사항이 스토리 보드 개발에 제공된다.
·소아과 의사, 개발자, 및 디자이너는 스토리 보드 및 와이어 프레임을 반복하여 상당한 정보를 제공해야 한다. 스토리 보드에서 특히 중요한 것은 절차 단계에서 예상되는 신체적 감각과 VR 감각에 대한 창의적인 요소의 선택을 안내하는 각각의 감각에 대한 원하는 인식 전치를 특성화하는 것이다. 예를 들어, 도 13은 물리적 절차의 예와 이러한 절차에서 일반적으로 예상되는 생리적 통증 수준과 강도를 도시한다. 상이한 절차, 예를 들어 와이핑과 비교한 니들 찌름은 상이한 수준의 통증 및 강도를 가질 수 있음에 유의해야 한다. 이는 절차의 물리적 측면(예: 니들 크기, 열린 상처 또는 닫힌 상처 등)에 따라 달라질 수 있다. 절차의 실제 물리적 특성은 변경될 수 없다. VR 경험의 목표는 육체적 감각에 대한 인식을 덜 위협적인 것으로 바꾸는 것이고/것이거나 신체 절차에 의해 유발된 것과 유사하지만 (파인 콘에서 찌르거나 고양이의 혀에서의 거친 핥기와 같은 다소 고통스러운 경우에도) 통증이 적거나 기분이 좋은 것으로 환자에 의해 이해될 수 있는 것이다. 따라서, VR 경험으로의 몰입으로 인해, 환자의 인식은 보다 즐거운 경험의 인식으로 전치된다. 도 13은 다른 창의적 시나리오가 대안으로 물리적 감각을 특성화할 수 있으며 따라서 VR 경험에서 각 감각을 재구성하는 데 적용될 수 있음을 도시한다.
·스토리 보드를 기반으로 설계되고 압력 테스트를 거친 프로토 타입
4. 개발
·이 단계에서, 프로토 타입 VR 경험이 개발되고 테스트된다.
·프로토 타입 VR 경험은 Unity(C#)를 사용하여 개발되었으며 복수의 빌드가 생성되었다.
5. 개선 및 사용자 테스트
·이 단계에서, 운영자(임상) 및 최종 사용자(환자, 가족) 관점에서 VR 경험을 이해하기 위해 사용자 테스트(예: 100개 이상의 사용자 테스트)가 수행된다.
·사용자 피드백의 중요한 측면은 다음과 같다:
○ 스토리라인
○ 타이밍: 각각의 절차의 프로세스와 단계를 정확하게 반영(예: 예방 접종, 핑거 프릭 테스트, 정맥 천공, 정맥 캐뉼라). 타이밍을 조정하고 다시 테스트할 수 있다.
○ 시각 및 사운드 스케이프 개발
·품질 보증 테스트, 기술 최적화
6. 배포/구현, 통합
·임상 실험을 통해 VR 경험을 병원 및 클리닉에 배포
·임상 시험 중에 잠재적인 소프트웨어 변경이 있을 것이다.
·이 단계에는 시험 및 사용 데이터를 수집 및 분석하여 VR 장치 및 VR 경험을 개선할 수도 있다.
발명자들이 수행한 조사 연구에서, 발명자들은 절차 특정 VR 경험과 절차를 VR 경험에서 재특성화하기 위한 핵심 요구 사항을 식별했다. 도 11은 VR 절차 특정 경험 개발과 관련된 핵심 기술의 프레임워크를 도시한다.
프레임워크는 5가지 핵심 구성 요소로 구성된다.
1. 절차 특정: 절차 단계, 및 각각의 단계에 대한 절차에 대한 타이밍 및 활동 정의.
2. VR 시나리오 내에서 정보를 제공하고 상황에 맞는 인지 기술.
3. 절차로부터 감각 자극의 지각을 조절하기 위한 감각 기술
4. 물리적 측면
5. 환자, 가족, 또는 지원자, 및 임상의를 위한 교육 정보 및 지원.
절차 특정 측면은 절차에 필요한 물리적 단계 및 동작과 관련이 있다. 그러나, 많은 절차에서 일반적인 절차 단계는, 절차 정보를 제공하기 위한 초기 도입 및 오리엔테이션 단계, VR 경험을 조정하고 시작하는 단계를 포함하는, 도 12에 도시된 것과 일치하고, VR 컨텍스트 내에서 절차에 대한 정보가 제공될 수도 있다. 일반적으로, 환자에게 절차에 대한 중요한 활동을 준비하기 위한 이완 단계가 사용되며, 심호흡과 같은 이완 기법에 대한 지침은 VR 경험을 통해 제공될 수 있다. 애니메이션 및 사운드와 같은 VR 경험의 측면도 휴식을 위해 활용될 수 있다. 이러한 단계에서, 특허는 또한 절차를 위해 준비될 수 있으며, 이 프로세스에 대해 지시된 동작 및 감각은 VR 경험에서 맥락화 된다. 다음 단계는 주요 절차적 동작이 이루어지는(예: 주사, 니들 삽입, 치과 시추, 뼈 세팅, 상처 세척 또는 관개 등) 절차 임계점(또는 임계점들)이고, 이 단계에서 VR 경험의 특성은, 환자의 감각 인식을 위협하지 않거나 긍정적인 경험으로 바꾸는 것을 목표로 하면서, 실무자가 요구하는 대로 환자에게 지시(즉, 그대로 머물고 심호흡하시오)하고 VR 경험의 긍정적인 맥락에서 임상 동작의 감각을 재구성하는 것이다. 다음 단계는 남아있는 절차적 동작을 수용하여 VR 경험의 맥락에서 감각을 다시 이미징할 수 있게 한다. 마지막 이완 단계가 절차를 완료한다. 이들 각각의 단계 내에서 인지, 감각, 및 물리 기술의 조합은 VR 경험에서 절차의 재 상상을 가능하게 하기 위해 사용될 수 있다.
VR 경험의 주요 측면은 절차와 관련된 인식을 재구성하는 것이다. 따라서, 초기 단계에서, 절차와 관련된 예상 환자 응답, 예를 들어 예상 통증 및 불안 응답, 및 VR을 통한 반응 인식을 목표로 하는 원하는 전치를 이해하는 것이 중요하다. 도 14a 및 도 14b는 각각의 절차에 대한 통증 및 불안 반응의 모델 및 절차 동안 환자의 인지적 존재 또는 반응에 대한 요건을 예시한다. 이러한 모델은 각각의 절차에 대한 전치 VR 또는 AR 경험의 리소스 라이브러리를 개발하는 데 사용된다. 모델은 환자의 연령 및/또는 정신적 시력에 따라 달라질 수 있다.
용이한 참조를 위해 현재 설명은 확립된 VR 연속체 용어를 사용하고, "실제 환경"은 완전히 실제적인 사물과 상호 작용을 지칭하고, "증강 현실(AR)"은 컴퓨터 생성 콘텐츠를 실제 세계에 추가하는 것을 지칭하며, "증강 가상(AV, augmented virtuality)"은 컴퓨터 생성 환경에 실제 정보를 추가하는 것을 지칭하고, "가상 현실(VR)"은 완전히 컴퓨터로 생성된 환경이다. AR과 AV는 "혼합 현실"이라는 포괄적인 용어로 언급될 수도 있다.
절차 중 환자를 지원하는 가장 적절한 방법을 결정하는 데 사용되는 가장 중요한 프레임워크는 3가지 연속체로 결정된다: 1. 의료적인 절차로 인한 통증 수준; 2. 환자/고객의 기준 불안 수준; 3. 절차에 필요한 존재 수준(예: 환자가 특정 명령이나 동작을 따라야 하므로 존재하거나 인식되어야 한다) 또는 환자/클라이언트의 선호(예: 환자는 산만함에 비해 개인적으로 절차적 단계를 완전히 알고 있는 것을 선호함). 도 14a는 이 3개의 연속체를 3D 블록 모델의 축으로 나타내지만, 이것은 스펙트럼으로 동일하게 개념화될 수 있다. 절차를 겪는 환자의 위치에 따라 이러한 스펙트럼에 따라 VR 접근 방식이 결정된다. 일부 시나리오를 설명하기 위해, 도 14b에서, 각각의 스펙트럼은 (실제로 이는 연속체임에도 불구하고 인공적으로 간단하게 유지하기 위해) "낮음"과"높음"으로 구분된다. 도 14b는 이러한 단순화된 블록 모델의 섹터 및 환자 응답이 각각의 섹터에 대해 특징적인 것으로 간주 될 수 있는 절차 유형을 도시한다.
치료적 VR 전치 접근법은 기준 환자 및 절차적 요구 사항에 따라 달라질 것이다. 이러한 것이 적용될 수 있는 일반적인 시나리오의 일부 예는 아래의 것들을 포함하여 적용될 수 있으나 이들에 제한되지는 않는다:
블록 B(낮은 통증, 높은 불안, 높은 수준의 존재, 및 협력 필요): 예를 들어, 환자는 물리적 검사에 협조해야 하므로 임상의의 지시를 받아 실내의 실제 물체와 잠재적으로 상호작용할 수 있어야 한다. 예를 들어, 체중계에 서서 근력에 대한 실제 물체를 밀어낸다. AR 매체는 침착시키고 안심시키며, 정보를 제공하고, 환자(예: 아동)가 해야 할 일을 설명한다.
블록 D(높은 통증, 높은 불안, 높은 수준의 존재 및 협력 필요): 예를 들어, 환자는 수술 후 물리적 재활이 필요하다. 고통스럽고 불안을 불러일으킬 수 있지만 환자는 실제 세계에 있어야 하며 다른 운동에 협조해야 한다. AR/VR 매체는 적극적으로 통증 감각을 보다 긍정적인 방식으로 재구성할 뿐만 아니라 재활 운동을 재미있게 한다. 예를 들어, 이는 진행 및 보상 시스템에 대한 시각적 프롬프트로 게임 화될 수 있다.
블록 H(높은 통증, 높은 불안, 존재감의 수준이 낮음): 예를 들어, 환자는 니들 삽입 또는 상처 드레싱 변경과 같은 침습적 의료 절차를 겪을 수 있다. VR은 환자가 가상적으로 진료실을 빠져나가 산만하게 하고 통증을 보다 긍정적인 감각으로 바꾸는 것을 가능하게 한다.
VR과 관련하여, 환자의 고통과 불안에 대한 인식을 향상시키기 위해 조작하고 바꿀 수 있는 다른 감각이 있다. 일부 예는 아래의 것들을 포함한다:
물리적 감각(예를 들어, 손가락을 찌르는 니들의 감각이 솔방울을 가지고 놀 때의 감각으로 전치됨, 상처를 소독하는 감각이 고양이가 핥는 감각으로 전치).
시야(예를 들어, 혈액을 채취하는 니들이 빠르게 니블링하는 어류로 전치)
사운드(예를 들어, J-팁 국소 마취 주사기의 소음이 물이 튀는 소리로 전치, MRI 스캐너의 소음이 보트가 떨리는 소리로 전치).
후각(예를 들어, 소작(cauterisation)이 모닥불 또는 캠프파이어로 전치, 방부성 세척(antiseptic wash)이 대걸레 버킷에서 나는 냄새 또는 숲의 수액에서 나는 냄새로 전치).
의료 절차는 환자와 가족에게 무력감을 느끼고 스트레스를 유발할 수 있다. 본 발명자들은 전체적인 절차적 여정을 통해 의료 절차를 지원함으로써 아동이 의료 절차에 잘 대처할 수 있는 능력을 강화할 수 있다는 것을 인식했다. 여기에는 교육 및 시뮬레이션을 통해 가족을 위한 절차적 준비, 고통스러운 감각을 보다 긍정적인 감정으로 전환, 절차 후 브리핑 및 피드백 제공 등이 포함된다. 이러한 단계는 또한 절차 전문가의 준비 및 절차 전문가가 절차를 통합하는 가능한 형태의 최선의 경험, VR 경험, 및, 필요한 경우, 추가적인 약제 통증 관리 또는 진정을 제공하도록 절차 전문가에 대한 선택적인 훈련을 포함할 수 있다. 엔드 투 엔드 프레임워크의 일반적인 개요는 도 15에 도시되어 있다. 제1 단계는 자녀와 가족이 이해할 수 있는 교육 단계이다: 절차의 이론적 근거; 기대할 수 있는 것; 이들이 해야 하는 것; VR을 시도하는 것이다. 이러한 제1 단계는 종래의 2D 미디어 또는 VR 또는이 둘의 조합을 사용할 수 있다. 제2 단계는 아동과 가족이 캐릭터를 선택하고, 절차를 겪고 있는 캐릭터에게 어떤 일이 일어날지 관찰하는 것을 가능하게 하는 관찰 단계이다. 이 단계는 기존의 2D 미디어 또는 VR 또는 이 둘의 조합을 사용할 수 있다. 제3 단계는 아동이 진료실에 적응; 영역을 플레이하고 탐험; 절차의 시뮬레이션; 및 필요에 따라 조정된 요소(예를 들어, 사운드 볼륨)로 연습을 할 수 있게 하는 실습 단계이다. 부모 또는 임상의는 이러한 단계 동안 절차 및/또는 VR 경험의 요소를 수정하여 예를 들어 절차에서 사용하기 위해 다른 VR 시나리오를 선택할 수있다. 이러한 단계는 기존의 2D 미디어, AR 또는 VR 또는 조합을 사용할 수 있다. 시뮬레이션에 대한 환자 응답에 관한 데이터는 이러한 단계 동안 캡처될 수 있다. 제4 단계는 아동이 자신의 요구를 평가하기 위해 모의 절차를 겪을 수 있게 하는 평가 단계(절차 시뮬레이션, 및 절차를 준수하는 응답 및 능력을 모니터링)이다. 이러한 단계는 기존의 2D 미디어, AR 또는 VR 또는 조합을 사용할 수 있다. 시뮬레이션에 대한 환자 반응에 관한 데이터는 이 단계에서 캡처될 수 있다. 예를 들어, 이는 VR 장치 또는 시뮬레이션 중에 사용된 다른 장치를 통해 자동으로 수행될 수 있다. 임상의는, 이 단계 동안 환자에게 필요한 경우, 변경을 할 수 있다. 제5 단계는 임상의가 시뮬레이션 환경에서 환자의 반응을 검토(절차에 대한 적합성을 평가; 아동의 요구에 가장 적합한 전략과 접근 방식을 계획)할 수 있게 한다. 이 단계는 기존의 2D 미디어, AR 또는 VR 또는 조합을 사용할 수 있다.
제6 단계는 절차를 위해 아동와 가족을 준비시키는 준비 단계(절차 전 불안을 지원; 절차의 중요한 측면을 아동와 가족에게 상기시킴; 기다리는 동안 아이를 산만하게 함)이다. 이 단계는 기존의 2D 미디어, AR 또는 VR 또는 조합을 사용할 수 있다. 제7 번째 단계는, VR 또는 AR이 절차 중에 아동을 지원하기 위해 절차 중에 사용되는, 절차 단계(분산시킴; 리프레임 또는 감각의 전치; 통증, 걱정, 고통 감소; 협력 증가)이다. 이 단계 동안, VR 또는 AR은 환자의 절차에 대한 인식을 조절할 수 있다. 마지막 단계는 모든 참가자가 경험에 대한 피드백을 제공할 수있는 평가 단계(효과가 있는 것과 개선할 수 있는 것을 평가; 선호도를 명확하게 하기; 및 차후의 요구를 결정)이다. 환자(예: 화학 요법 또는 투석 환자)는 여러 절차를 거치거나 절차를 반복해야 할 수도 있는 것에 주의한다. 따라서, 평가 단계는 개별 환자에 대한 결과를 개선하기 위해 지속적인 치료 및 VR 경험의 지속적인 조정을 위한 피드백 루프의 일부를 형성할 수 있다.
MRI 절차에 적용되는 엔드 투 엔드 프레임워크의 특정 예가 도 16에 도시된다. 이러한 예에서, 교육 단계는 아동와 가족이 아래와 같은 것들을 이해할 수 있게 한다: 아동이 MRI를 받는 이유; 콘트라스트(contrast)를 주사하기 위한 니들을 포함하여 MRI 스캔에 수반되는 것; 및 환자가 20분 동안 MRI 스캐너에 계속 남아 있어야 한다는 것이다. 이어서, 아동은 VR 경험을 통해 아동이 MRI 절차의 일부 또는 전체를 겪을 수 있는 진료 단계로 진행하기 전에 MRI 절차를 거치는 동안 볼 캐릭터를 선택할 수 있다. 이를 통해 아동는, MRI 실에 적응하고; MRI 실을 탐험하며; 절차를 시뮬레이션하고; 더 부드러운 MRI 소리(아동이 시뮬레이션을 용인하면 점차 커진다)로 진료받으며, 편안히 진료를 받을 수 있다. 평가 단계는 아동이 VR에서 모의 절차를 거쳐 자신의 요구(니들 절차, IV 콘트라스트 주입, 및 MRI 스캔 시뮬레이션)를 평가할 수 있게 한다. VR 또는 기타 장비(임상 관찰과 함께 선택적으로)를 사용하여 반응을 모니터링할 수 있으며 센서는 아동이 절차를 준수할 수 있는지 여부를 평가한다 - 특히, MRI 스캔이 계속 유지되어야 한다. 임상의는 검토 단계(충분한 스캔 기간 동안 계속 머무를 수 있는 아동의 능력을 평가하고 접근 방식을 계획 - 예를 들어, 어웨이크 스캔 또는 진정 레벨 필요)를 통해 시뮬레이션에 대한 환자의 반응을 검토할 수 있다. 절차 준비 중, 대기실의 VR은, 콘트라스트를 위해, 정맥 주사 니들을 위해 아동와 가족을 준비시킨다(절차 전 불안을 지원; 정맥 주사 니들을 삽입 가능하게 한다 - 예를 들어, 고통과 불안을 최소화; 기다리는 동안 아이를 산만하게 한다). MRI 실에서 VR을 사용할 수 있는 곳에서, 이는 MRI 스캔 동안 아동이, 산만하고; 시끄러운 소음과 같은 인식을 재구성하거나 전치하고; 통증, 불안, 고통을 줄이며; 협력적이고 조용하게 있을 수 있게 한다. MRI와의 간섭을 피하려면 MRI 실에 MRI 호환 VR 헤드셋이 필요하다. 그러나, MRI 실 외부의 준비 단계에는 VR이 포함될 수 있다. MRI 실에서 풀 비주얼 VR을 사용할 수 없는 경우, MRI 환경에 대한 상상력 훈련과 VR 경험, 그리고 방으로 투사되거나 방에서 화면에 보이는 청각 VR 및/또는 시각적 이미지를 통해, 아동은 여전히 VR 시나리오를 상상할 수 있으며, 진정작용 또는 다른 개입에 대한 감소한 요구사항과 함께 절차에 대한 준수가 향상되었다.
절차 후 아동과 가족은 효과가 있고 개선될 수 있는 것과 차후 절차에 대한 선호도를 보고한다. 임상의는 일반적으로 사용된 접근 방식(예: 가벼운 진정, 소음 감소, 차분한 VR) 및 향후 절차에 권장되는 변경 사항을 기록한다.
이러한 엔드 투 엔드 여정은 발명자가 개발한 프레임워크로, 환자의 결과를 개선하는 일련의 VR 경험을 개발하는 방법을 안내한다. 절차에 대한 VR 경험은 실제 경험을 반영하며 VR 경험은 실제 경험에 맞게 조정되고 시간이 조정된다. 아동의 니들 절차에서 경험을 재구성하기 위해 이러한 것이 어떻게 반영되는지에 대한 예는 도 17에 요약되어 있다. 이 예는 실제 경험(혈액 채취)과 아동의 VR 경험 (수중 예)을 반영한다. 실제 경험의 각각의 감각은 가상 세계에서 상응하는 경험을 가지고 있다. 실제 경험과 VR은 환자 경험이 VR 세계의 것과 같고, 물리적 감각이 전치된 VR 경험으로 인식되도록 구성되어 있다. 인식의 조절은 절차에 대한 고통과 불안을 감소시킨다는 것을 의미한다.
VR 경험은 VR 리소스 라이브러리에서 설계 및 생성될 수 있으며, 절차, 치료 의도, 및 개별 최종 사용자 선호도에 따라 VR 경험을 사용자 정의할 수 있다. 이러한 구성 요소는 치료적 VR 경험의 기초를 형성한다. 일부 VR 경험은 특정 절차와 목적을 위해 미리 프로그래밍되어 있지만 개별 사용자에 맞게 사용자 지정할 수 있다. 그렇지 않을 경우, 필요한 개인 및 절차에 따라 처음부터 새로 생성할 수 있다. VR 경험을 언급하지만, 이는 실제 상황에 대한 인식과 상호 작용은 물론 완전한 몰입 VR을 허용하는 혼합 현실/AR을 포함한 VR 연속체에서의 경험일 수 있다는 것에 주의해야 한다.
도 18은 임상의가 통제하는/가변 양상 절차와 VR 경험을 개념화하며, 이는 절차의 요구 사항과 VR의 원하는 결과(예: 시술 중 환자의 순응, 통증 관리)와 실질적으로 관련되어 있다. 환자 가변/제어 가능한 양상은 환자 및 절차 특정 VR(또는 AR) 경험을 구축하기 위한 지각 변조 전략의 선택을 안내하는 것과 관련된다. VR 경험은 VR 리소스 라이브러리에서 설계 및 생성될 수 있으며, 절차, 치료 의도 및 개별 최종 사용자 선호도에 따라 VR 경험이 사용자 정의될 수 있다. 이러한 구성 요소는 치료적 VR 경험의 기초를 형성한다. 일부 VR 경험은 특정 절차 및 목적을 위해 이미 사전 프로그래밍 될 수 있지만, 개별 사용자에 맞게 사용자 정의될 수 있다. 그렇지 않을 경우, 필요한 개인 및 절차에 따라 처음부터 새로 생성할 수 있다.
리소스 라이브러리에 대한 자세한 내용을 제공하기 위해, 매우 중요한 구성 요소 중 하나는 실제 절차 요소가 가상 세계로 전치되는 방식으로 실제보다 위협이 적고 긍정적이다. 전치는 실제 세계는 여전히 경험될 수 있지만 컴퓨터에서 생성 된 지각 정보(예: 긍정적인 인식을 높이는 보완적인 감각으로 소리나 냄새가 더 긍정적으로 나타남)에 의해 특정 요소가 "증가"되는 실제 감각을 완전히 대체(예: 가상 현실 세계가 현실 세계를 완전히 차단하고 대체함)하거나 증강시킬 수 있다.
VR 경험을 개발하기 위한 프레임워크의 측면이 이제 보다 상세하게 논의될 것이다.
1. 절차 특정: VR 경험은 하나의 특정 절차(또는 관련 절차 그룹)에 초점을 맞추고 맞춤화된다. 이러한 원칙을 통해 VR 경험을 최적화하고 절차를 대상화할 수 있다. 예를 들어, 발명자들은 니들 절차를 위한 3가지 VR 경험의 프로토타입 시리즈를 개발했다. 이러한 경험은 절차 전체에 대해 구체적으로 시간이 정해지고 다른 절차 단계를 반영한다. 예를 들어, 정맥 천공(정맥에서 혈액을 채취하기 위한 니들)은 셋업에서 최종 드레싱을 확보하는 데 평균 3 내지 5분이 걸린다. 정맥 천공에 대한 VR 경험은 전체 절차(3 내지 5분) 동안 지속되도록 맞춤화되었으며 스토리라인은 특정 절차 단계를 반영하도록 개발되었다. 절차 시간은 다양할 수 있고, 예를 들어 1분(예를 들어, 주사), 3분(예를 들어, 정맥 천공) 및 7분(예를 들어, IV 캐뉼레이션)에 따라 상이한 길이의 VR 경험이 생성된다. 다른 기간 또는 단계의 수를 가질 수 있는 다른 유형의 절차가 또한 예상된다.
a. 니들 절차를 운영자와 최종 사용자의 특정 활동이 필요한 5단계로 분류했다. 이들은 각각의 단계에 대한 타임프레임과 기술을 나타내는 도 12에 도시되어 있다.
b. VR 경험의 타이밍은 최종 사용자에 의해 부분적으로 제어된다(예: VR 경험이 다음 단계로 넘어가기 전에 환자가 보고/상호작용해야 하는 특정 수의 어류가 있다). 환자가 해당 기간 내에 상호 작용/작업을 완료하지 않으면 VR 경험이 자동으로 다음 단계로 이동하도록 하는 시간 제한이 있다.
2. 인지 기술: 다양한 심리 및 정보 제공 기술이 VR 경험에 통합되어 환자에게 권한을 부여하고 절차적 경험을 향상시킨다. 이는 아래와 같은 것들을 포함한다.
a. 절차에 대한 정보: 오디오 및 비주얼 스타일로 제공된다. 여기에는 절차 단계, 예상 대상, 및 각각의 단계에서 환자가 해야 할 일(예: 팔을 뻗고, 움직이지 말고, 근육을 이완시킴)에 대한 설명이 포함된다. 더 구체적으로, 정보는 아래와 같다.
i. 적절성: 특정 대상, 연령, 문화 및 언어를 대상으로 한다.
ii. 중립성: 절차에 대한 정보는 의도적으로 위협적이지 않고 사실이 되도록 선택되었다. 예를 들어, 강압적이거나 부정적인 언어(예: "이 니들을 넣지 않으면 아플 것이다")를 사용하지 않고, "찌름(sting)" 또는 "고통(hurt)" 같은 설명자를 피하면서, 긍정적인 언어(예: "신체를 신속하게 치유하는 데 도움이 되는 약을 주기 위해서는 피부 아래에 스트로를 넣어야 합니다")를 사용한다.
iii. 재구성: 정보는 VR로 재구성되어 환자는 절차의 감각적 세부 사항을 보다 긍정적인 방식으로 재구성할 수 있다. 예를 들어, 마취 세척을 설명하기 위해 "시원한 파도가 팔을 씻기는 느낌이 드는 것" 및 니들 삽입을 재구성하기 위해 "니들이 몇 마리의 어류라 상상하고 어류가 인사하면서 빠르게 니블링한다고 상상하는" 것이다. 이를 통해 환자는 보고, 냄새 맡고, 듣고, 느낄 수 있는 것에 대해 VR 경험을 사용하여 감각을 재구성할 수 있다.
iv. 환자, 가족, 및 임상의를 지원하기 위해 VR 경험 전반에 걸쳐 프롬프트 및 지시가 제공되어, 이들이 절차의 각각의 단계마다 준비하게 된다. 예를 들어, 환자는 (혈액 검사를 위해) 팔을 뻗고 (니들 삽입 중에) 움직이지 말라고 요청받는다.
b. 스토리라인: 각각의 VR 경험에는 명확한 스토리라인이 있으며 환자에게 목적을 제공한다. 해설과 목적을 통해 환자는 절차보다는 VR 경험에 집중할 수 있다. 예를 들어, VR 경험이 시작될 때 환자는 "당신의 임무는 고래를 찾아서 확인하는 것이다" 라고 브리핑을 받는다.
c. 이완: 심호흡 및 근육 이완 프롬프트는 경험 전반에 걸쳐 구현된다. 이완 운동은 VR 경험 초기에 도입되어 의도적으로 이완에 초점을 맞추고 절차 중에 프롬프트를 표시한다. 이는 환자의 스트레스를 줄이는 데 도움이 된다.
d. 주의 산만: VR의 몰입 산만 기술을 통해 환자는 절차 과정에서 일시적으로 병원 환경을 "탈출"하고 몰입적이고 대화식이며 쾌적한 환경에 있게 된다.
3. 감각 기술: VR은 환자가 산만하고 몰입할 수 있는 몰입형 다중 감각 경험을 제공하여 더 나은 절차적 경험을 제공한다.
a. 다중 감각 경험: 모든 감각(시각, 청각, 촉각, 후각, 미각)을 통합하고 감각적 경험에 대한 일관된 해설이 제공된다. 예를 들어, 니들 삽입 단계가 어류에게 먹이를 주는 것으로 재구성되면 아동은 어류를 보게 되고(어류가 움직이도록 활성화된다), 어류가 움직이도록 활성화되면 어류가 음표를 연주하는 소리를 듣고, 어류가 아동의 팔에서 니블링/먹이를 먹는다고 느낀다(즉, 정맥에 대한 임상의의 감각과 니들 삽입). 진정 과정에서도 절차가 수행되면, 수술용 마스크의 냄새와 맛과 가스 마취제를 "다이빙" 마스크를 착용하고 심호흡을 하면서 거품을 불어넣도록 권장할 수 있다. 해설의 창의적으로 보이는 이러한 유형의 측면은 아래의 기준에 따라 신중하게 선택된다.
·물리적 절차 동안 경험된 감각과 적어도 유사한 연관된 물리적 감각을 갖는다.
·환자의 요구에 따라 환자가 신체적으로 반응하도록 장려 - 예를 들어, 움직이지 않고 수족을 재배치하고 필요한 시간이나 속도로 호흡하는 등
·위협적이지 않음
·해설의 맥락에서 적절성 - 감각이 가상 세계의 일부를 느낄 수 있다
·선택적으로 참여, 오락, 재미있음 등
b. 상호 작용: VR 경험은 이러한 경우 시각적으로 사물을 보면서 상호 작용 방식으로 설계되었지만 휴대용 센서 또는 제어기 및 음성을 통해서도 가능하다. 상호 작용은 선택 기반이며, 환자가 대상과의 상호 작용을 원하는지 여부를 선택할 수 있도록 오브젝트는 의도적으로 중심을 벗어나 있다. 이를 통해 환자는 자신의 상황과 환경을 보다 강력하게 통제할 수 있다고 느낀다. 이는, 환자 상호 작용이 완료되어 다음 단계로 가기 위한 준비가 되었음을 나타낼 때까지, 일부 환자가 VR 경험 내 상호 작용의 모니터링(예를 들어, 다음 단계를 지연시킴)에 기초하여 절차의 페이스를 제어할 수 있게 하고, 해설은 임상의의 동작을 조절한다. 다음 단계에 대한 준비는 센서의 생리적 피드백(즉, 심박수, 호흡수, 동공 확장, 혈액 산소화 등)을 기반으로 VR 장치에 의해 측정될 수도 있다.
c. 감각 정보의 특정 타이밍은 절차에서 일어나는 일을 반영하도록 설계되었다(도 12 참조).
d. 감각 정보 조절: 감각 정보의 양은 운영자(예: 임상의) 또는 지원 담당자(예: 가족)에 의해 제어될(증가/감소) 수 있다. 예를 들어, 환자가 시야에 있는 오브젝트의 수에 압도되면, 오브젝트의 수를 감소시킬 수 있다. 환자가 지루해하거나 집중력이 필요한 경우 감각 정보의 양을 증가시킬 수 있다. 이러한 조절은 음성, 센서, 활성화, 입력, 또는 생리적 증상의 감지된 변화에 의해 트리거될 수 있다.
e. 환자가 VR 내에서 안전하고 방향을 느끼도록 지원하기 위해 애니메이션 기술이 통합되었다. 예를 들어, VR 경험이 시작될 때 다이빙하는 보트는 최종 사용자가 수중에 있을 때도 시야를 유지하여 VR 내에서 안심하고 방향을 잡는다. 마찬가지로, 오브젝트는 아동에게 직접 접근하지 않지만 위협적이지 않은 경로에 있다.
4. 물리적 기술
a. 헤드셋을 통한 시각적 차단: 환자는 헤드셋을 착용함으로써 물리적인 시야가 차단되어 절차(예: 니들, 시도 누락, 혈액)를 볼 수 없다. 이는 많은 환자에게 선호되지만 절차의 일부를 보려고 하는 소수의 사람들이 있다. 이들 환자들은 VR 경험과 어류 상호 작용 내에서 가상의 팔을 볼 수 있다. 이는 환자가 자신의 실제 팔을 보고 있으나 어류가 상부에 오버레이 되어 임상의가 니들을 삽입하는 것을 보는 환자의 시야를 대체하는 대안적인 증강 현실일 수 있다.
b. 절차 포지셔닝: 포지셔닝 프롬프트는 환자가 절차 중에 특정 위치를 차지하도록 권장한다. 예를 들어, 환자는 (아바타 팔에 반영된) 팔을 펴고 (예: 돌고래를 타기 위해) 특정 방향을 향하게 한다.
c. 환자가 움직이지 않게 유지: 이는 임상의가 절차를 성공적으로 수행할 수 있도록 환자의 예측 가능한 신체 움직임을 장려하는 VR 경험의 중요한 특징이다. 예를 들어, 이는 아래와 같이 장려된다.
i. 조정된 시야: 시각 활동의 양은 70도 내지 100도의 시야로 제한된다. 정의된 시야 내에서의 활동은 환자가 움직이지 않는 상태를 유지하는 것이 중요한 시간 동안 환자의 상체 움직임을 감소시키도록 권장한다.
ii. 프롬프트: 환자가 움직이지 않는 것이 특히 중요한 경우
5. 교육 정보 제공: 기술은 환자, 가족, 및 임상의에게 지침과 정보를 제공하기 위해 결합되고 통합된다. 지침은 환자가 시술 과정에서 필요한 것을 이해하도록 지원하고, 정보는 절차 및/또는 감각 경험에 대한 맥락과 근거를 제공한다. 지침과 정보는 또한 임상의에게 "모범 사례"를 나타낸다. 임상의는 절차의 각각의 단계에서 지침을 따를 수 있다. 임상의는 VR 스크립트에 반복적으로 노출되어 언어 및 정보 제공 기술을 습득한다.
물리적 절차와 VR 경험 사이의 연출은 절차적 요구 사항, 특히 절차적 단계의 타이밍에서 파생된다. 이러한 타이밍은 환자 또는 임상의로부터의 피드백(예를 들어, 환자가 충분히 이완되기를 기다린다, 상황(즉, 치과 드릴링 또는 혈액 제공)에 따라 절차의 일부 단계가 더 길거나 짧을 수 있다)에 고정되거나 반응할 수 있다. 따라서, VR 경험은 일반적으로 (예: 이야기나 다른 신호를 통해) 임상의와 VR 경험 간의 고정된 타이밍 및 상호 작용이 아닌 VR로 절차의 연출을 실행하는 데 사용되는 절차 단계를 중심으로 구성된다. 도 19는 VR(또는 AR) 환자 지원으로부터 혜택을 받을 수 있는 3개의 절차의 단계를 나타낸다. 일반적인 절차에 대한 단계는 의료 리소스 라이브러리에서 정의될 수 있다. 주어진 예는 정맥 천공(혈액 채혈), 요추 천공(척수액 채혈), 및 아질성 가스 마취제이다. 천공에 대한 단계는: 1. 도입, 2. 장비 수집, 3. 지혈대 적용, 4. 피부 소독, 5. 니들 삽입, 6. 채혈, 7. 탐침 제거, 8. 유체의 포획, 및 9. 니들 제거이다. 아질성 가스 마취제에 대한 단계는: 1. 도입, 2. 장비 수집, 3. 환자에 마스크를 적용, 4. 심호흡을 하게 장려, 5. 진정작용 동안 모니터링하는 것이다.
의료 절차의 각각의 단계에 대하여, VR 전치 라이브러리는 절차의 물리적 감각을 재구성하거나 이완 및 환자 적응을 장려하기 위해 사용될 수 있는 다수의 상이한 VR 시나리오를 저장할 수 있다. VR 전치는 도 13, 도 14a, 및 도14b를 참조하여 위에서 논의된 모델에 기초하여 개발될 수 있다. VR 경험을 구축하기 위해 용이하게 참조할 수 있도록 창의적인 주제를 통해 전치를 그룹화할 수도 있다. 도 20은 질소 가스 마취 절차의 단계와 공간 주제 또는 수중 주제의 두 가지 대체 주제를 사용하는 해당 VR 전치의 예를 나타낸다. 도입 단계에서 절차의 준비 단계를 위해 VR 주제 컨텍스트(예를 들어, 다이빙을 준비하는 열대섬 근처의 보트 또는 우주 유영을 준비하는 우주선)가 설정된다. 이러한 각각의 시나리오에서, 환자에게는 약간의 산만함이 제공되고, 인공 호흡 장치를 사용하는 마인드셋에 도입되는데, 이는 마취 전달을 위한 마스크의 물리적 요건과 밀접한 관련이 있다. 마취 의사가 장비를 준비할 때, 환자는 또한 스쿠버 다이빙 또는 우주 유영을 준비하고 있다. 마취 마스크를 착용하는 신체 작용은 VR 시나리오에서 우주 유영을 위한 호흡 장치 또는다이빙을 하기 위한 안면 마스크를 착용하는 것으로 조정된다.
청각적 해설은 VR 경험과 마취의 동작을 조정하는 데 사용될 수 있다. 대안적으로, 마취 의사는, 예를 들어 버튼 또는 "마스크/헬멧을 착용할 때입니다" 및 일단 장비를 착용하면 환자에게 "심호흡을하여 장비를 테스트하십시오"라는 지시와 같은, 구두 큐(verval cue)를 통해 VR 경험에서 동작을 유발할 수 있거나, 또는 이는 동작을 조정하기 위해 마취 의사가 듣는 VR 해설의 일부일 수 있다. 이어서, VR 경험은 암초에서 다이빙하거나 우주를 떠다니는 이미지로 환자의 주의를 산만하게 하고 마취 효과가 나타날 때 침착함을 유지하도록 각각의 시나리오가 이어진다.
이러한 간단한 시나리오에 대하여, 감각의 전환 또는 절차적 단계의 재구성에 많은 다른 "창조적인" 시나리오가 활용될 수 있으나, 전치의 특성은 도 14a 및 도 14b를 참조하여 서술된 모델에 따라 원하는 방식으로 절차적 요구 사항 또는 응답 변경에 기초한다는 것이 분명하다. 예를 들어, 안면 마스크를 적용하고 마취제를 흡입하기 위해 심호흡을 하는 단계에서 예상되는 환자 반응은 통증이 아니라 불안 중 하나일 것이나, 환자는 인지적으로 반응해야 하고 - 심호흡을 하라는 지시를 따라야 한다 - 따라서, 재구성의 목적은 VR 경험의 맥락에서 재구성된 지시를 따르기에 충분한 인지적 존재를 유지하면서 불안을 감소시키는 것이다. 우주 또는 수중 스쿠버 다이빙 시나리오를 사용하면 재미있는 판타지 환경에서 절차적 요구 사항에 대한 지시에 대하여 신체적 감각과 인지 반응의 정렬이 제공된다. 물에 대한 두려움이 있는 환자의 경우, 다이빙 시나리오가 부적절하고 불안을 줄이기 위한 역할이 이루어질 수 없을 수 있으며, 이러한 환자의 경우 공간 주제가 더 적절할 수 있다. 예를 들어, 요정 향수 공장에서 향수 샘플 냄새 맡기, 의상 파티를 위해 옷 입기, 강아지의 코 마스크를 착용하고 여전히 제대로 호흡할 수 있는지 확인하는 등 다른 시나리오를 사용할 수도 있다. VR 경험의 창의적 맥락의 본질은 매우 가변적이고, 유사한 특성화된 VR 전치에 대해 많은 상이한 창의적 시나리오가 적용될 수 있음을 이해해야 한다. 통증, 불안, 또는 존재 중 적어도 하나에서의 동작에 대한 인식의 수정을 위한 VR 전치의 각각의 절차적 동작 특성이 정의될 수 있다. VR 전치는 신체적 감각을 유도하는 동작의 존재 및 측면, 및 존재, 불안 및 통증 인식 중 하나 이상에서의 변형을 위한 목표 방향에 대한 절차의 요건에 기초하여 정의된다. 전치는 동작에 의해 유발된 물리적 감각과 일치하지 않는 방식으로 물리적 상호 작용의 측면을 재구성하는 것을 특징으로 하며 물리적 감각에 대해 변화된 인식을 장려한다. 예를 들어, VR 맥락에서 전치 동작은 물리적 감각(예: 압력, 진동, 또는 선명도)의 지속 시간 및 속성을 모방하는 것을 특징으로 하나, 상호 작용의 맥락에서, 일반적으로 실제 신체 동작보다 통증이나 불안이 적다.
VR 전치는 환자의 인식을 변경하도록 설계될 수 있지만, 인식이 편향되는 정도는 환자마다 다를 수 있다. 예를 들어, 다른 환자는 여전히 약간의 통증 반응을 경험할 수 있지만 전치가 없는 경우보다 적은 반면, 고양이의 핥기가 거칠지만 고통스럽지는 않은 것으로 인식될 수 있는 환자가 상처를 닦는 것을 이미징하는 경이다. VR 시스템의 실시예는 통증 조절 및 등급에 관한 알고리즘을 사용할 수 있다. 환자 피드백(수동 또는 자동)을 모니터링하면 임상의 및/또는 VR 시스템이 VR 전치의 유효도를 측정할 수 있다.
물리 절차로 구성되는 가상 현실(VR) 연속체 경험을 생성하는 방법이 이제 서술될 것이다. 절차에는 신체적 감각과 관련되고 불안 또는 통증 반응을 유발할 수있는 적어도 하나의 절차적 동작이 포함된다. VR 경험을 생성하기 위해 절차 동작의 실행 순서가 결정된다. VR 전치의 각각의 절차적 동작 특징에 대해 통증, 불안, 또는 존재 중 임의의 하나 이상의 동작에 대한 인식을 수정하는 것이 정의된다. 이어서, VR 경험 구성 요소는 각각의 정의된 VR 전치에 대해 공통 VR 경험 주제를 사용하여 정의된 VR 전치의 특징을 충족시킨다. VR 경험 구성 요소를 획득하는 것은 미리 준비된 VR 경험 구성 요소의 라이브러리로부터 VR 경험 구성 요소를 선택하는 것을 포함할 수 있다. 예를 들어, 라이브러리 또는 데이터베이스는 주제 및 VR 전치 특성으로 색인화된 복수의 VR 경험 구성 요소 - 더 긴 VR 경험을 형성하기 위해 함께 결합/편집될 수 있는 짧은 VR 경험 세그먼트 - 를 저장할 수 있다. VR 경험 구성 요소는 물리적 동작에 대한 주제 및 전치 특성에 따라 검색하고 선택하여 획득될 수 있다. 대안적으로, VR 경험 구성 요소는 정의된 VR 전치의 특징에 기초하여 생성될 수 있다.
이어서, VR 경험 구성 요소는 절차에 대한 절차적 동작의 실행 순서에 따라 VR 경험으로 컴파일된다.
시스템의 실시예는 가상 현실(VR) 경험 생성 시스템을 포함한다. 이러한 시스템은 의료 절차 라이브러리, VR 전치 라이브러리, 및 VR 경험 컴파일러로 구성 될 수 있다. 의료 절차 라이브러리는 하나 이상의 의료 절차에 대한 하나 이상의 절차적 동작의 순서를 저장한다. 이들 순서는 각각의 절차를 수행하는 데 필요한 단계를 정의하고, 선택적으로 절차 단계의 실행을 위한 전형적인 시간 범위 및/또는 단계가 단계에서 반복될 수 있는지 여부와 같은 일부 타이밍 데이터를 포함 할 수 있다(예를 들어, 상처를 소독하면 상처의 크기에 따라 여러번 스와이프 해야 할 수 있다). VR 전치 리소스 라이브러리는 신체적 감각과 관련되고 잠재적으로 불안 또는 통증 반응, 잠재적으로 하나 이상의 통증, 불안 또는 존재의 동작에 대한 인식을 조정하기 위해 VR 전치의 정의된 특성을 유도하는 각각의 절차적 동작을 저장한다. 이러한 라이브러리는 또한 각각의 정의된 VR 전치에 대한 복수의 VR 경험 구성 요소를 저장한다. VR 경험 구성 요소는 물리적 동작과 직접적으로 연관된 VR 경험의 작은 부분이며, VR 경험 구성 요소는 하나 이상의 VR 경험 주제와 관련하여 정의된 VR 전치의 특성을 충족시킨다. 예를 들어, 어류의 니블링은 니들 찌르기 또는 봉합사의 뽑기와 같은 동작과 관련된 VR 경험 구성 요소이다. VR 전치 특성화가 상이한 각각의 동작에 대해 동일하다면, 동일한 VR 경험 구성 요소가 하나 이상의 물리적 동작과 연관되기에 적합할 수 있음을 이해해야 한다. 절차적 동작에 따라 선택되지만 공통 주제를 갖는 다른 구성 요소를 사용하여 VR 경험을 생성할 수 있도록, 각각의 VR 경험 구성 요소가 주제(예: 스쿠버 다이빙, 낚시, 숲, 우주)에 따라 개발된다. 따라서, 개별 VR 경험 구성 요소는 절차 단계에 따라 순서대로 엔드 투 엔드 VR 경험 및 서술로 컴파일될 수 있다.
VR 경험 컴파일러는 의료 절차 라이브러리로부터 의료 절차에 대한 일련의 절차적 동작을 검색함으로써 의료 절차에 대한 VR 경험을 컴파일하도록 구성된다. 컴파일러는 VR 전치 리소스 라이브러리에서 공통 VR 경험 주제를 사용하여 정의된 각각의 VR 전치에 대한 VR 경험 구성 요소를 선택한다. 선택한 VR 경험 구성 요소를 VR 경험으로 컴파일하는 것은 절차의 동작 순서를 기반으로 한다. 이는 액션 기반 VR 구성 요소를 합리적인 해설에 연결하기 위한 추가적인 VR 경험 구성 요소를 추가하는 것과 VR 경험을 절차와 함께 연출하는 것이 포함될 수 있다. 예를 들어, VR 구성 요소의 연결은 절차의 실행 중 물리적 액션과 가상 액션 간의 타이밍 정렬을 보장하는 데 사용될(반복되거나 생략될 수 있음) 수 있다. VR 생성 시스템은, 소프트웨어로 구현된 컴파일러와 의료 절차 및 VR 전치 리소스 라이브러리를 저장하는 데이터베이스를 갖는, 메모리 리소스을 처리하는 PC, 서버 또는 분산 (클라우드)와 같은, 메모리 리소스을 처리하는 종래의 컴퓨터 하드웨어를 사용하여 구현될 수 있다. VR 전치 라이브러리에 저장된 데이터는 전술한 바와 같이 VR 전치 정의 및 VR 경험 구성 요소를 포함한다는 것을 이해해야 한다. VR 리소스 라이브러리는 또한 VR 경험이 필요할 때마다 새로운 VR 경험을 컴파일할 필요를 방지하기 위해, 절차, 예를 들어 (하나 이상의 주제를 갖는) 공통 절차에 대한 엔드 투 엔드 VR 경험을 저장할 수 있다.
VR 전치 특징은 VR 주제 또는 창의적인 맥락과는 독립적으로 물리적 동작에 기초하여 정의된다는 것을 이해해야 한다. 예를 들어, 물리적 감각(즉, 지속 시간, 강도, 신체 접촉 부위, 사용된 물리적 장치의 측면 등) 속성의 정의, 환자의 인지적 존재 및 요구되는 환자 반응의 조정(즉, 통증 인식 감소, 진정/불안 감소)에 대한 요구 사항에 대해 정의된다. VR 경험 구성 요소는 VR 전치를 위해 창조적으로 제작될 수 있으며, 다수의 상이한 창조적 시나리오가 사용될 수 있음을 이해해야 한다.
실시예는 각각의 VR 경험이 자동으로 변경될 수 있도록 구성될 수 있다. 변경의 일부 예는 아래를 포함한다:
1. 센서 감지된 의인화 특징(머리 둘레(예: 헤드 밴드에 내장된 임피던스 체적 기록법(plethysmography)), 연령 적절한 콘텐츠 예측기로서의 보컬 피치(예: 마이크))에 따라, 경험 컨텐츠 및/또는 임상의 사용자 인터페이스의 자동 변경(예: 메뉴 표시 또는 기본 모드).
2. 센서(들)(예: 조명 또는 적외선으로 작동하는 실내 센서의 카메라, 음성, 착용된 밴드 또는 배지)에 의해 지시된 VR 경험(즉, 니들 절차에 대한)의 자동 변경(예를 들어, 운영자의 존재 여부에 따라 추가 그래픽 그림을 삽입하여 자극을 적절히 변경하거나 경험의 길이를 변경하거나 절차전 또는 후에 음악의 연주).
3. 사용자가 시각적 자극과 상호 작용하는 속도에 따라 경험의 자동 수정(예를 들어, 이전의 어류 스쿨을 완료하는데 걸린 시간에 기초하여 어류와 상호작용(거리, 수, 위치)하는 것을 더 어렵게 하거나 용이하게 한다).
4. VR 장치의 센서 또는 VR 장치와 통신하는 외부 센서/모니터링 장비로부터의 바이오 피드백에 기초하여 경험의 자동 변경.
데이터는 절차 후 분석(예를 들어, 환자 보고서 및 연구 목적)에 사용하기 위해 VR 장치 및 기타 장비를 통해 절차 중에 수집될 수 있다.
VR 경험의 수정을 위해 (절차가 진행 중이거나 또는 향후 절차를 위해 동적으로) 절차 중에 수집된 데이터가 활용될 수도 있다. 수집된 데이터는 절차의 의도와 복잡성 또는 환자의 요구에 따라 다르다. 이는 아래의 것들 중 임의의 하나 이상을 포함할 수 있으나 이들에 제한되지는 않는다:
생리적 관찰: 심박수, 호흡 수, 산소 포화도, 경련의 피부 전도도, 눈 추적, 시선, 깜박임, 동공 확장
절차: 타이밍, 주요 움직임, 주요 단계, 절차적 장소, 절차적 성공/실패
음성: 특정 음성 활성화 명령에 응답하고, 환자가 통증이 있거나 지나치게 진정되었는지 여부에 대한 표시를 제공할 수 있는 피치, 볼륨, 및 속도의 변화를 식별.
아래와 같은 것들을 위해, VR 경험 중에 데이터를 수집하고 분석할 수 있다:
VR 경험을 실제 이벤트에 시간과 동기화(예: 절차 및 절차 전문가의 동작)
참가자의 요구 사항을 모니터링하고 수용(예: 환자, 지원 담당자)
최종 사용자 또는 환자의 진행 상황 평가
특정 절차 및 접근 방식에 대한 환자의 적합성 평가(예: 가벼운 진정 또는 마취 필요)
차후 유사한 절차에서 환자의 요구에 대한 정보를 제공하기 위해 정보를 저장(예: 이전에는 통증에 대한 내성이 낮았으므로 VR은 향후 절차에서 이에 맞게 증가한 강도를 반영해야 한다).
VR 시스템의 실시예는 절차 동안 VR 경험의 동적 수정을 허용하도록 구성될 수 있다. 일부 실시예에서, VR 경험은 VR 경험의 전달 동안 변경될 수 있으며, 도 21은 시스템의 실시예에 대해 피드백 및 수정 루프를 도식적으로 도시한다. 피드백 루프의 목표는 VR 경험을 수정하여 목표 정신적 상태(예를 들어, 모든 상황에서 가능하지는 않지만 침착하고 실질적으로 통증이 없음)를 달성하는 것이다. 일부 실시 예는 도 21에 도시된 변경 옵션의 선택만을 구현할 수 있다는 것을 이해해야 한다.
경험의 수동 수정은 데이터 피드백을 기반으로 하며 운영자와 착용자의 상호 작용에 영향을 받을 수 있다. 일 실시예에서, 변경 프로세스는 환자와 임상의가 선택할 수 있고 자동 조정(예: 바이오 피드백, 센서) 뿐만 아니라 변경(수동)을 시작할 수 있는 이중 접근 방식이다.
예를 들어, 환자 경험의 관점에서, 환자는 개인적인 관심사/선호에 따라 콘텐츠(예: VR 경험 주제)를 선택할 수 있다. 환자는 VR/AR 경험에 몰입할 정도를 선택할 수도 있다. 예를 들어, 성인 환자의 경우, 적은 몰입이 바람직할 수 있다. 몰입 수준의 옵션은 절차 준비를 위해 임상의와 상의될 수 있다. VR 경험이 시작된 상태에서 절차가 시작되면, 환자에게 부정적인 감각이 있다면, 즉 불안이나 고통이 있다면(2120), 사용자는 VR 변경을 트리거할 수 있고, 환자의 필요에 따라 경험이 변경된다(2125). 예를 들어, 이는 감각 지각의 변경 정도를 증가시키기 위해 시나리오의 변경 또는 VR 전치의 변경일 수 있다. 환자는, 예를 들어 (AR이 있거나 또는 AR이 없는) 절차 중에 관찰하려고 하는 것에 대해 마음이 변하는 경우, 또는 산만함을 증가시키고 통증 인식을 감소시키기 위해, 몰입 수준을 조정할 수도 있다(예를 들어, VR 경험에 더 몰입할 수 있다). 이러한 변화는 정상 상태(2130) 및 목표 정신적 상태(2110)를 장려하기 위해 환자에게 전달된다. 변경 후에, 추가 수정이 필요한 경우 피드백 루프를 다시 실행할 수 있다. 일부 실시예에서, 통증을 재구성하는 것에 대하여, VR은 아래와 같은 피드백에 기초하여 통증 조절 및 등급에 관한 알고리즘을 사용한다:
바이오 피드백: 센서, 경고(아래의 바이오 피드백 섹션 참조)
자연어 감지: 환자의 말(고통, 특정 물체, 색상 등)에 대한 반응에 따라 자극 및 컨텐츠 변화를 선택하는 알고리즘
이는 아래와 같이 개별화된 변경을 제공한다:
신체적/정서적/심리적 고통, 불안/고난 - 절차를 통해 환자를 감지하고 지원.
시스템의 일부 실시예는 또한 물리적인 산만함을 제공할(터치, 소리, 또는 AR에서 특정 오브젝트로 표시) 수 있는 페어링된 장치를 사용할 수 있다. AR에 대하여, 환자는 실제 환경의 일부를 볼 수 있지만 이는 AR을 통해 변경된다. 예를 들어, 절차는 다르게 보일 수 있으며, 니들 센서는 환자에게 접근하는 어류로서 니들이 보이지 않지만, 오히려 VR을 통해 환자에게 VR 장치를 통해 니들의 추적을 가능하게 하는데 사용될 수 있다.
임상의는, 예를 들어 절차의 고통스러운 부분 또는 증가된 자극 이전에 절차 적 변화(2140)를 예상하여 VR 경험을 수동으로 조정할 수 있다. 대안적으로, 피부에 대한 니들의 근접성 또는 임상의의 움직임과 같은 환경의 변화를 감지함으로써 변경이 트리거될 수 있다. 경험은 환자 요구(2145)를 예상하여 변경되고, 목표 정신적 상태를 유지하거나 달성하도록 장려하기 위해 환자(2130)에게 변경된 것이 전달된다.
임상 경험의 관점에서, 임상의는 바이오 피드백을 사용하여 미주신경성 에피소드(vasovagal episodes) 주변의 환자/임상(예: 심박수 감속)을 감지하고 선점할 수 있다. 동공 확장, 휴지 EMG, 단일 리드 ECG, 얼굴 움직임, 및 처리 시간과 같은 다른 생체 피드백은 환자의 반응 및 통증 반응을 나타낼 수 있다. 다른 생체 피드백은 피부 컨덕턴스, 심박수(예: 산소 측정법), EMG를 포함할 수 있다. 주변 소음 감지 및 VR 경험에 대한 변경 볼륨에 대한 응답으로 또다른 변경이 있을 수 있다. 예를 들어, 치과 의사의 드릴이나 석션과 같은 주변 소음을 차단하거나 가린다.
임상의에게 유용한 바이오 피드백 외에도, 실시예는 또한 VR 경험의 자동 변경을 트리거 하기 위해 바이오 피드백을 이용할 수 있다. 예를 들어, 환자에 대한 생체 피드백 모니터링 기준이 확립될 수 있고(2150), 이어서 VR 시스템은 기준에서의 변경에 대해, 바이오 피드백(즉, 동공 확장, 얼굴 움직임, 장치를 통해 모니터링 되는 환자 소음 또는 ECG와 같은 다른 장비의 바이오 피드백)을 모니터링 하고, 바이오 피드백은 변화가 VR 경험에 대한 긍정적 또는 부정적인 환자 반응을 나타내는지를 결정하기 위해 알고리즘(2155)을 사용하여 자동으로 분석된다. 변화가 임계 값을 초과하는 경우, VR 경험이 자동으로 변경될 수 있다(2160). 예를 들어, 환자의 존재 및 인지 반응이 필요한 절차의 단계에 대해 경고하기에 환자가 너무 이완 된 경우, 환자는 즉시 VR 경험과 상호 작용하거나 자극받을 수 있고(예: 질문에 대답하거나 새로운 캐릭터에게 인사), 예를 들어 외부적으로 보이는 디스플레이 또는 가청 경고로의 조명/변경을 통해 임상의에게 경고가 발행될 수 있다. 대안적으로, 음성 표시 임계치(negative indication threshold)가 초과하면 통증 또는 불안 반응의 조절을 증가시키기 위해 VR 경험이 자동으로 수정될 수 있다. 변화에 대한 환자의 반응이 긍정적이면, 목표 정신적 상태(2110)를 달성하기 위해 변경이 계속될 수 있다(2165).
VR 시스템의 실시 예는 원격 측정을 통한 스크리닝 테스트를 가능하게 하도록 구성될 수 있다. 예를 들어, 절차 시뮬레이션을 위해 VR을 사용하여 환자를 원격으로 모니터링한다. VR 장치는 VR 경험 동안, 또는 VR 경험의 완료 이후에, 임상의에게 전자 의료 기록에 포함시키기 위해 캡처된 데이터를 전송하도록 구성될 수 있다. 이러한 데이터는 특정 절차(예: MRI 스캔에 대해 움직이지 않고 있는 것, 시뮬레이션, 지속 시간 동안의 연습 또는 연장, 탈감각 치료에 대한 반응 등)에 대한 환자 순응도를 평가하는 데 활용될 수 있다. VR에 대한 환자의 반응으로부터 데이터를 캡처하는 것도 지속적인 절차(예를 들어, VR 경험에 대한 시나리오에 대한 선호도 이해 또는 다른 VR 전치에 대한 개인에 대한 변경 구배의 이해)를 위한 VR 경험에 맞게 입력될 수 있다. 예를 들어, 긍정적인 통증 전치 기록 및 어떤 전치 시나리오가 다소 효과적인지가 입증되었다. 또한, 어떤 시나리오가 부정적인 불안 반응을 유발할 수 있는지(예: 수중 또는 비행) 인지하면 향후 VR 경험에서는 이를 피할 수 있다.
VR 시스템의 실시예는 또한, VR 경험을 환경과 더 가깝게 정렬하거나 소음과 같은 환경적 교란을 차단하기 위해, 실내로부터의 피드백, 예를 들어 온도, 주변 소음, 사람, 또는 장비의 근접성에 기초하여 VR 경험의 변경을 가능하게 할 수 있다.
VR 경험 또는 절차의 개인화된 변경을 제공하기 위해 변경은 또한, 예를 들어 전자 의료 기록(EMR)으로부터의 이전 의료 데이터에 기초할 수 있다. 예를 들어, EMR은 성공적인 캐뉼러 사이트에 대한 이력 정보를 제공하고, 직원의 절차적 성공을 안내하기 위해 제한의 필요성 등을 제공한다.
시스템의 실시예는 또한 인공 지능(AI) 또는 기계 학습 알고리즘을 이용하여 특정 환자 인구 통계, 프로세스, 및 절차에 대한 성공 및 위험 인자를 이해하기 위해 다수의 절차로부터 환자 데이터를 분석하도록 구성될 수 있다. AI를 활용하면 VR 경험의 환자 특정 맞춤화/개인화를 자동화할 수 있다. VR 경험 중에 감각의 전치는 수동 및 자동 피드백 루프를 기반으로 변경될 수 있다. 이는 환자, 절차, 및 임상의의 요구에 가장 잘 맞도록 VR 경험을 동적으로 변경할 수 있는 이점이 있다. 피드백 루프는 긍정적 및 부정적 피드백 모두를 위해 작동하며 그에 따라 응답한다.
VR 시스템의 실시예는 니들, 다른 절차, 치과, 드레싱과 같은 의료 절차 동안 통증 관리를 위해 사용될 수 있다. 이러한 절차들에서, 통증은 VR을 통해 관리되어 환자를 경험에서 배제시키거나 또는 산만하게 한다. 환자는 이를 통해 실제 환경에서"멀리 떨어져" 물리적 감각을 재구성할 수 있다.
시스템의 일부 실시예는 공포증 또는 재활을 위한 개인화되고 적용 가능한 VR 치료 프로그램에 이용될 수 있다. 이러한 실시예에서, 사용자는 단계별 접근 방식을 사용하여 공포증의 대립을 유발하거나 요구할 수 있는 환경을 경험하기 위해 경험에 몰입할 수 있다. 이는 두려워하는 대상/시나리오의 등급화된 탈감작(Graded desensitisation)을 가능하게 할 수 있다. VR 경험은 VR 환경에서 공포증에 대한 노출을 증가 또는 감소시키기 위해 전술한 바와 같은 반응의 평가에 기초하여 자동으로 수정될 수 있다.
실시예는 또한, 예를 들어 게임화, 인센티브화를 위해 VR을 사용하는 재활을 위해 사용될 수 있으며, 사용자가 재활 프로그램을 위한 환경에서 "즐거워질" 수 있게 한다. 여기에는 특정 건강 상태 및 운동에 대한 재활이 포함될 수 있다.
VR 시스템의 실시예는 또한 전문가 및 소비자 교육 프로그램 모두를 위한 교육에 사용될 수 있다. 예를 들어, VR 경험은 진단, 뇌졸중, 또는 심장 마비 증상 식별과 같은 기술 실습 또는 테스트 기술, 또는 장기에 대한 학습과 같은 지식 학습을 위해 설정될 수 있다. VR은 의료, 간호 및 연합 건강 교육 및 훈련(비상시 시뮬레이션 환경(예: 재해, 야생), 비상시에 부모 또는 환자 교육(예: 발작, 아나필락시스(anaphylaxis)에 대응하는 방법))에도 유용할 수 있다. VR은 또한 일반적인 환자 교육(예: 호흡기를 사용하는 방법)에 유용할 수 있다. 다른 애플리케이션으로는 휴식, 몰입 영화, 또는 명상용, 건강 및 정신건강용 비디오가 있다. VR 시스템의 적용 예는 아래 표에 제공된다.
그룹 주요 목표 사용자 여정(예) 데이터 입력(전/중/후) 사용
(개인 단독/개인의 물리적/개인의 원격)
경험
(자동/반자동/수동)
VR/AR
의료 경험으로부터 제거 니들, 치과, 상처 드레싱 치과(예: 공동 충진) 사전 및
중간
·업로드 기록
·중간 모니터링
개인적(물리적) 반자동
·풋 페달
·언어
·생체 인식
VR
경험에 몰입 공포증, 불안, 새로운 환경 공포증 전/중/후
·자연어
·영상
·경험 시간
·시선 방향
단독 자동/반자동 VR/AR
(예: VR: 실제 스파이더로 천천히 변신하는 가상 코믹 스파이더를 본다, AR:테이블 위의 물체→손
경험 훈련 재활, 환자 적합성 테스트 (예 : MRI) 재활 전/중/후 임의의 사용 시나리오 임의의·물리치료는 렙(rep) 또는 체중을 증가시킨다
·환자는 작업에 응답한다
VR/AR
(예: AR - 실제 문을 열고 항아리를 비트는 법 배우기)
진단 파킨슨 병, 운전 안전 파킨슨 병 중/후
·시선
·생체 인식
·자연어
·진단, 심각성, 우려
개인적
(물리적) - 자기 진단을 원하지 않는다
완전 자동화 VR/AR
교육 지식 장기 해부학, 세포 생리학, 제약 개발 장기 해부학 없음(학습 목적으로만 - 평가 테스트 참조) 단독 수동(예: 장기를 회전할 수 있고, 해부) VR/AR
연습 (시나리오) 재난 관리, 소생술, 외상 코드, 소비자 및 학부모/교사 교육 부모의 아나필락시스 또는 발작 훈련 중/후
·정보 보존
·동작 수행 능력
단독(또는 그룹과 공동으로) 임의 VR/AR
테스트 (시나리오) 전문가 용 (위와 같은 예) 소생술/응급 처치 지원 제공 포스트 데이터
·결과 - 합격/불합격
·격차와 학습 요구 파악
임의 자동/반자동
·특정 사건에 대한 반응 및 반응을 모니터링
VR/AR
기타 웰빙 단독 VR/AR
감정이입 단독 VR/AR
본 발명의 사상 및 범위를 벗어나지 않으면서 많은 변형이 이루어질 수 있음이 본 발명의 당업자에게 이해될 것이다.
임의의 선행 기술 공개가 본원에서 언급되는 경우, 그러한 참조는 공개된 선행 기술이 본 기술 분야의 일반적인 지식의 일부를 호주 또는 다른 국가에서 형성한다는 것을 인정하는 것은 아님을 이해해야 한다.
표현 언어 또는 필요한 의미로 인해 문맥이 달리 요구하는 경우를 제외하고, 본 발명의 전술한 서술 및 아래의 청구 범위에서, "포함하다" 라는 단어 또는 "포함하는" 또는 "포함하고 있는"과 같은 변형은 포괄적인 의미로 사용된다. 즉, 언급 된 특징의 존재를 특정하지만 본 발명의 다양한 실시예에서 추가적인 특징의 존재 또는 추가를 배제하지는 않는다.

Claims (24)

  1. 가상현실 장치에 있어서,
    상기 가상현실 장치는 착용자에 의해 착용되는 동안 운영자가 상기 장치의 조정 및 가상 현실(VR) 경험의 시작을 제어하고, 각각이 물리적 절차와 관련된 하나 이상의 VR 경험을 제공하도록 허용하기 위해, 상기 착용자에게 헤드 마운트가 가능하고 상기 착용자 이외의 상기 운영자에게 액세스할 수 있는 장치 사용자 인터페이를 통해 장치의 제어를 허용하도록 구성되고,
    상기 하나 이상의 VR 경험 중 적어도 하나는 상기 물리적 절차 동안에 상기 착용자에 의해 경험된 하나 이상의 물리적 감각의 재 상상(re-imagining)을 용이하게 하도록 설계되며, 상기 하나 이상의 물리적 감각 각각에 대해 대안적인 방식으로 상기 물리적 감각의 특징을 갖는 창의적 시나리오를 제공하기 위해, 각각의 VR 경험은 상기 물리적 절차로 연출되고, 이에 따라 상기 물리적 감각에 대한 인식이 덜 고통스럽거나 덜 위협적인 것으로 변경되며, 상기 VR 경험은 물리적 감각과 연관되며 잠재적으로 통증 반응을 유발하는 적어도 하나의 절차적 동작을 통합하는 물리적 절차의 동작에 대한 실행 순서, 및 상기 통증의 작용에 대한 인식을 변경하기 위한 VR 전치의 특징을 정의하는 잠재적으로 통증 반응을 유발하는 상기 절차적 동작 각각에 대한 실행 순서를 포함하는 VR 연속체 경험 프레임워크를 사용하여 생성되고,
    물리적 감각과 연관되며 잠재적으로 불안 또는 통증 반응을 유발하는 적어도 하나의 절차의 동작을 통합하는 물리적 절차에 연출되는 VR 연속체 경험을 생성하기 위한 상기 VR 연속체 경험 프레임워크는:
    상기 절차적 동작의 실행 순서; 및
    통증, 불안 또는 존재 중 하나 이상의 상기 동작에 대한 인식을 변경하기 위한 상기 절차적 동작 각각에 대한 VR 전치의 특성의 정의
    를 포함하는 것을 특징으로 하는 가상 현실 장치.
  2. 제1항에 있어서, 상기 장치는 상기 착용자에 대한 조정을 수행하며, 상기 운영자로부터의 단일 초기화 입력에 응답하여 VR 경험을 시작하도록 구성되는 것을 특징으로 하는 가상 현실 장치.
  3. 제2항에 있어서, 상기 VR 경험은 상기 초기화 입력 이전에 상기 장치 사용자 인터페이스를 통해 상기 운영자에 의해 선택되는 것을 특징으로 하는 가상 현실 장치.
  4. 제2항에 있어서, 상기 VR 경험은 미리 정의되어 있는 것을 특징으로 하는 가상 현실 장치.
  5. 제2항에 있어서, 상기 장치 사용자 인터페이스는 상기 헤드 마운트가 가능한 장치 상에 제공되는 것을 특징으로 하는 가상 현실 장치.
  6. 제1항에 있어서, 상기 VR 경험은 상기 물리적 절차 동안 상기 착용자에 의해 경험된 감각의 맥락적 재구성을 포함하는 것을 특징으로 하는 가상 현실 장치.
  7. 제6항에 있어서, 상기 VR 경험은 상기 물리적 절차에 대한 운영자의 타이밍을 상기 VR 경험으로 조정하도록 더 설계되는 것을 특징으로 하는 가상 현실 장치.
  8. 제7항에 있어서, 상기 VR 경험 및 물리적 절차 타이밍은 상기 착용자의 상기 VR 경험과의 상호 작용에 의해 영향을 받는 것을 특징으로 하는 가상 현실 장치.
  9. 삭제
  10. 제1항에 있어서, 상기 장치는 처리, 메모리, 시각적 디스플레이, 모션 감지, 오디오, 및 사용자 인터페이스 기능을 제공하는 휴대 전화와 상기 휴대 전화를 지지하는 헤드셋을 포함하고, 상기 휴대 전화에는 VR 소프트웨어 애플리케이션의 실행 중에 상기 휴대 전화의 기능을 상기 VR 기능으로 제한하도록 구성된 상기 VR 소프트웨어 애플리케이션이 로딩되어 있는 것을 특징으로 하는 가상 현실 장치.
  11. 제10항에 있어서, 상기 VR 소프트웨어 애플리케이션은 VR 경험 디스플레이와 동시에 디스플레이되는 터치 스크린 사용자 인터페이스를 제공하도록 구성되고, 상기 헤드셋은 상기 사용자에 의한 터치 스크린 사용자 인터페이스 뷰(view)를 방지하도록 구성되어 있는 것을 특징으로 하는 가상 현실 장치.
  12. 삭제
  13. 삭제
  14. 제1항에 있어서, VR 전치 각각은:
    상기 절차의 요구사항 및 물리적 감각을 유발하는 상기 동작의 측면(aspect)에 기초하여 정의된 기준, 및 존재, 불안 및 통증 인식 중 하나 이상을 변경하기 위한 목표 방향;
    상기 동작에 의해 유발된 상기 물리적 감각과 일치하지 않는 방식이며 상기 물리적 감각의 변형된 인식을 장려하는 물리적 상호작용의 측면의 재구성; 및
    실제 물리적 동작 보다 낮은 통증 또는 불안과 전형적으로 관련된 상호작용을 사용하여 VR 맥락에서 표현을 선택하기 위한 상기 물리적 감각의 지속시간과 속성의 모방
    중 하나 이상인 것을 특징으로 하는 가상 현실 장치.
  15. 삭제
  16. 삭제
  17. 제14항에 있어서, VR 경험은, 공통 주제의 VR 경험 구성 요소의 라이브러리에서, 각각의 정의된 VR 전치에 대하여 상기 정의된 VR 전치의 특징을 충족시키고, 상기 절차에 대한 상기 동작의 순서에 기초하여 상기 선택된 VR 경험 구성 요소를 VR 경험으로 컴파일링하는 VR 경험 구성 요소를 선택함으로써 생성되는 것을 특징으로 하는 가상 현실 장치.
  18. 삭제
  19. 가상 현실(VR) 경험 생성 시스템에 있어서, 상기 시스템은:
    하나 이상의 의료 절차에 대한 하나 이상의 절차적 동작의 순서를 저장하는 의료 절차 라이브러리;
    물리적 감각과 관련되고 잠재적으로 불안이나 통증 반응을 유발하는 각각의 절차적 동작에 대해, 통증, 불안 또는 존재 중 하나 이상의 동작에 대한 인식을 변경하기 위한 VR 전치의 정의된 특징, 및 각각의 정의된 VR 전치에 대한 복수의 VR 경험 구성 요소-상기 VR 경험 구성 요소는 하나 이상의 VR 경험 주제의 맥락으로 정의된 상기 VR 전치의 특징을 충족시킴-를 포함하는 VR 전치 리소스 라이브러리; 및
    상기 의료 절차 라이브러리에서 상기 의료 절차에 대한 일련의 절차적 동작을 검색하고, 상기 VR 전치 자원 라이브러리로부터 공통의 VR 경험 주제를 사용하여 각각의 정의된 VR 전치에 대한 VR 경험 구성요소를 선택하며, 상기 절차에 대한 상기 동작 순서에 기초하여 상기 선택된 VR 경험 구성 요소를 VR 경험으로 컴파일하여 의료 절차에 대하여 VR 경험을 컴파일하도록 구성된 VR 경험 컴파일러를 포함하는 것을 특징으로 하는 가상 현실(VR) 경험 생성 시스템.
  20. 제19항에 있어서, 상기 VR 경험은 VR 연속체 상의 경험이고, 상기 VR 연속체는 VR에 완전히 몰입함에 따라 일부 실세계 감각 및 상호 작용을 허용하는 혼합 현실 또는 증강 현실(AR)을 포함하는 것을 특징으로 하는 가상 현실(VR) 경험 생성 시스템.
  21. 물리적 감각과 관련되는 적어도 하나의 절차적 동작을 통합하고 잠재적으로 불안 또는 통증 반응을 유발하는 물리적인 절차로 연출된 가상 현실(VR) 연속체 경험을 생성하는 방법에 있어서, 상기 방법은:
    상기 절차적 동작의 실행 순서를 결정하는 단계;
    상기 절차적 동작 각각에 대해, 통증, 불안 또는 존재 중 임의의 하나 이상의 동작에 대한 인식을 변경하기 위해 VR 전치의 특성을 정의하는 단계;
    공통 VR 경험 주제를 사용하여 각각의 정의된 VR 전치에 대한 VR 경험 구성 요소를 획득하는 단계; 및
    상기 절차에 대한 상기 절차적 동작의 상기 실행 순서에 기초하여 선택된 상기 VR 경험 구성 요소를 VR 경험으로 컴파일하는 단계를 포함하고,
    상기 VR 경험 구성 요소는 상기 정의된 VR 전치의 특징을 충족시키는 것을 특징으로 하는 방법.
  22. 제21항에 있어서, 상기 VR 경험 구성 요소를 획득하는 단계는 VR 전치 리소스 라이브러리로부터 상기 VR 경험 구성 요소를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제21항에 있어서, 상기 VR 경험 구성 요소를 획득하는 단계는 상기 정의된 VR 전치의 상기 특징에 기초하여 VR 경험 구성 요소를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서, 상기 VR 경험은 VR 연속체 상의 경험이고, 상기 VR 연속체는 VR에 완전히 몰입함에 따라 일부 실세계 감각 및 상호 작용을 허용하는 혼합 현실 또는 증강 현실(AR)을 포함하는 것을 특징으로 하는 방법.
KR1020207004342A 2017-07-13 2018-07-13 가상 현실 장치 KR102586272B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2017902751A AU2017902751A0 (en) 2017-07-13 Virtual reality apparatus
AU2017902751 2017-07-13
PCT/AU2018/050732 WO2019010545A1 (en) 2017-07-13 2018-07-13 VIRTUAL REALITY DEVICE

Publications (2)

Publication Number Publication Date
KR20200031648A KR20200031648A (ko) 2020-03-24
KR102586272B1 true KR102586272B1 (ko) 2023-10-11

Family

ID=65000962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004342A KR102586272B1 (ko) 2017-07-13 2018-07-13 가상 현실 장치

Country Status (10)

Country Link
US (4) US11216063B2 (ko)
EP (1) EP3652744A4 (ko)
JP (1) JP7289540B2 (ko)
KR (1) KR102586272B1 (ko)
CN (1) CN110891638B (ko)
AU (1) AU2018299215B2 (ko)
BR (1) BR112020000444A2 (ko)
CA (1) CA3067667A1 (ko)
IL (1) IL271902A (ko)
WO (1) WO2019010545A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839707B2 (en) * 2016-09-08 2020-11-17 Wayne State University Augmented reality system and method for exposure therapy and motor skills training
US11294464B2 (en) * 2018-02-22 2022-04-05 TRIPP, Inc. Adapting media content to a sensed state of a user
US11392597B2 (en) 2019-03-12 2022-07-19 Cognitive Scale, Inc. Governance and assurance within an augmented intelligence system
EP3726535A1 (en) * 2019-04-15 2020-10-21 Nokia Technologies Oy Non-verbal communication
US20220151551A1 (en) * 2019-07-12 2022-05-19 The Regents Of The University Of California Systems and Methods for Memory Specificity with Virtual Reality
DE202019105341U1 (de) * 2019-09-26 2021-01-04 Vtplus Gmbh Expositionssystem und Verwendung eines Expositionssystems
WO2021119766A1 (en) * 2019-12-19 2021-06-24 John William Down Mixed reality system for treating or supplementing treatment of a subject with medical, mental or developmental conditions
CN111450511A (zh) * 2020-04-01 2020-07-28 福建医科大学附属第一医院 一种脑卒中的肢体功能评估和康复训练系统及方法
CN111917918B (zh) * 2020-07-24 2021-09-21 腾讯科技(深圳)有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN111948822B (zh) * 2020-08-05 2022-06-07 何学谦 一种vr支撑设备
EP3985647A1 (en) * 2020-10-13 2022-04-20 Koninklijke Philips N.V. Patient motion training device
CN112230773B (zh) * 2020-10-15 2021-06-22 同济大学 辅助肠镜检查的智能场景推送方法、系统和肠镜检查装置
KR102309821B1 (ko) 2020-11-25 2021-10-07 (주) 위너메디 간호 emr 프로그램에서 환자사례를 이용한 간호차팅 실습방법
EP4023152A1 (en) * 2021-01-05 2022-07-06 Koninklijke Philips N.V. System and method of patient profile creation
FR3120975B1 (fr) 2021-03-16 2023-09-29 Healthy Mind Système de thérapie par immersion dans un environnement virtuel et procédé de contrôle d’un tel système de thérapie
KR102611110B1 (ko) * 2021-04-01 2023-12-08 주식회사 휴먼브릿지 비대면 간호 실습교육 서비스 제공 시스템, 방법 및 프로그램
NL2028017B1 (en) * 2021-04-20 2022-10-31 Koninklijke Philips Nv Entertainment content provider
CN113223363A (zh) * 2021-06-28 2021-08-06 温州医科大学附属第一医院 基于vr技术以真人自我注射视角的糖尿病专用注射笔游戏练习系统
CN113539430A (zh) * 2021-07-02 2021-10-22 广东省人民医院 基于沉浸式vr的帕金森病抑郁认知行为治疗系统
US20230063681A1 (en) * 2021-08-25 2023-03-02 Sony Interactive Entertainment Inc. Dynamic augmentation of stimuli based on profile of user
WO2023139587A1 (en) * 2022-01-24 2023-07-27 Nihaytech Ltd. Therapeutical virtual reality application
US20230414132A1 (en) * 2022-06-24 2023-12-28 Shanghai United Imaging Intelligence Co., Ltd. System and method for providing rehabilitation in a virtual environment
WO2024079246A1 (en) 2022-10-14 2024-04-18 Its-Easy Boerlin System for reducing hypersensitivity and method of controlling a device that outputs a stimulus to a subject
CN117934233A (zh) * 2024-03-21 2024-04-26 中山市人民医院 一种基于vr的ecmo麻醉操作培训方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20150306340A1 (en) * 2014-03-06 2015-10-29 Virtual Realty Medical Applications, Inc. Virtual reality medical application system
US20160350609A1 (en) * 2015-05-26 2016-12-01 Nbcuniversal Media, Llc System and method for customizing content for a user

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY168264A (en) 2008-07-15 2018-10-16 Dtt holdings pty ltd Method for preparing a patent for a medical treatment
US9131205B2 (en) 2010-11-25 2015-09-08 Koninklijke Philips N.V. System and method for distraction of patient during scanning
WO2012140538A1 (en) * 2011-04-14 2012-10-18 Koninklijke Philips Electronics N.V. System and method to trigger breathing response for the reduction of associated anxiety
US9943250B2 (en) 2011-10-09 2018-04-17 The Medical Research, Infrastructure amd Health Services Fund of the Tel Aviv Medical Center Freezing of gait (FOG), detection, prediction and/or treatment
CN103405239B (zh) * 2013-08-07 2016-01-06 青岛赛博凯尔信息技术有限公司 驾驶创伤后应激障碍虚拟现实治疗系统
US9694155B2 (en) 2013-12-17 2017-07-04 Juliana Stoianova Panova Adjuvant method for the interface of psychosomatic approaches and technology for improving medical outcomes
EP3332322A4 (en) * 2015-08-06 2018-08-22 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies
WO2017037962A1 (ja) 2015-08-28 2017-03-09 株式会社タカラトミー 頭部装着型ディスプレイを備えた情報処理装置
JP2017049960A (ja) 2015-09-06 2017-03-09 株式会社ローレル・コード Hmd装置におけるセンサー類を用いたユーザーインタフェースプログラムおよび装置
WO2017066340A1 (en) 2015-10-12 2017-04-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Virtual reality systems and methods for improving clinical outcomes
JP2017119032A (ja) 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
CN106373172A (zh) * 2016-08-31 2017-02-01 南京意斯伽生态科技有限公司 一种基于虚拟现实技术的心理治疗模拟系统
US20180296794A1 (en) * 2017-04-13 2018-10-18 Christopher Clark Systems and methods for treating chronic pain

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20150306340A1 (en) * 2014-03-06 2015-10-29 Virtual Realty Medical Applications, Inc. Virtual reality medical application system
US20160350609A1 (en) * 2015-05-26 2016-12-01 Nbcuniversal Media, Llc System and method for customizing content for a user

Also Published As

Publication number Publication date
WO2019010545A1 (en) 2019-01-17
IL271902A (en) 2020-02-27
JP7289540B2 (ja) 2023-06-12
EP3652744A4 (en) 2020-07-08
AU2018299215A1 (en) 2020-01-16
KR20200031648A (ko) 2020-03-24
US20200233485A1 (en) 2020-07-23
US11216063B2 (en) 2022-01-04
CN110891638B (zh) 2023-06-02
EP3652744A1 (en) 2020-05-20
CA3067667A1 (en) 2019-01-17
US20230418367A1 (en) 2023-12-28
US20220164025A1 (en) 2022-05-26
US20230251707A1 (en) 2023-08-10
JP2020527273A (ja) 2020-09-03
BR112020000444A2 (pt) 2020-07-21
CN110891638A (zh) 2020-03-17
AU2018299215B2 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
KR102586272B1 (ko) 가상 현실 장치
US11051730B2 (en) Virtual reality biofeedback systems and methods
US11195340B2 (en) Systems and methods for rendering immersive environments
US10286179B2 (en) Virtual reality medical application system
US11000669B2 (en) Method of virtual reality system and implementing such method
AU2009268428B2 (en) Device, system, and method for treating psychiatric disorders
US9406096B2 (en) Method for preparing a patient for a medical treatment
US11490857B2 (en) Virtual reality biofeedback systems and methods
Antony et al. Overcoming medical phobias: How to conquer fear of blood, needles, doctors, and dentists
Khut et al. The BrightHearts project: a new approach to the management of procedure-related paediatric anxiety
Ohsuga et al. Possibility of virtual reality for mental care
Singha et al. Mindful Movement: VR-Enhanced Yoga and Exercise for Well-Being
JP2023546002A (ja) 患者動作訓練装置
Dahlquist et al. Treating Cognitive and Emotional Contributors to the Child’s Pain
Hoek et al. Development of a real-time adaptable Virtual Reality-scenario training for anaesthesiology education, a user-centered design

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant