WO2023121031A1 - 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법 - Google Patents

입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법 Download PDF

Info

Publication number
WO2023121031A1
WO2023121031A1 PCT/KR2022/019137 KR2022019137W WO2023121031A1 WO 2023121031 A1 WO2023121031 A1 WO 2023121031A1 KR 2022019137 W KR2022019137 W KR 2022019137W WO 2023121031 A1 WO2023121031 A1 WO 2023121031A1
Authority
WO
WIPO (PCT)
Prior art keywords
tinnitus
virtual
sound
user
image
Prior art date
Application number
PCT/KR2022/019137
Other languages
English (en)
French (fr)
Inventor
김기범
최준
한상선
안호준
히메네스에드가 펠리페 카나스토
박동현
김정환
황인태
Original Assignee
한양대학교 에리카산학협력단
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220124459A external-priority patent/KR20230095789A/ko
Priority claimed from KR1020220156867A external-priority patent/KR20230094967A/ko
Application filed by 한양대학교 에리카산학협력단, 고려대학교 산학협력단 filed Critical 한양대학교 에리카산학협력단
Publication of WO2023121031A1 publication Critical patent/WO2023121031A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception

Definitions

  • the present invention relates to a tinnitus treatment device and system using a stereoscopic virtual reality interface and an operation method thereof, and more particularly, to a tinnitus treatment device and system using a cognitive behavioral therapy method and an operation method thereof.
  • Tinnitus refers to the sensation of sound in the ear or head even when there is no external sound stimulus. Tinnitus can be divided into what occurs in the auditory organ itself (auditory) and what is felt through the auditory organ by structures around the auditory organ, such as muscles and blood vessels (non-auditory). makes up most of this
  • Conventional general tinnitus treatment methods include a sound treatment method. Sound therapy is used to modify patients' perceptions or reactions to tinnitus by masking tinnitus using external noise. Sound treatment methods can be divided into complete masking in which the entire tinnitus sound is masked with the stimulating sound, and partial masking in which the tinnitus sound is partially covered by the stimulating sound.
  • This sound therapy is a method in which the patient listens to a separate stimulus sound, and the patient has the inconvenience of spending a considerable amount of time a day.
  • the conventional tinnitus treatment method mainly corresponds to a method of focusing on the treatment sound, but there is a problem in that it is not easy to focus on the sound even in everyday life.
  • Tinnitus can be seen as a kind of virtual reality that the brain recognizes as important information even though it is incomplete information.
  • Virtual reality is a technology that acquires information by stimulating the human brain to be accepted as real, although it is not real.
  • Tinnitus is also a phenomenon in which people recognize as if there is a sound stimulus despite the absence of external sound stimulation, so they perceive virtual information by themselves. It can be seen as a kind of phantom pain.
  • a technical problem to be achieved by the present invention is to provide a tinnitus treatment apparatus and system using a stereophonic virtual reality interface that provides tinnitus retraining treatment through habituation of a response to tinnitus and an operating method thereof.
  • a tinnitus treatment apparatus using a stereoscopic virtual reality interface includes a display unit mounted on a user's head and displaying a VR image into which a virtual tinnitus object and a virtual environment object are inserted to a subject; a virtual tinnitus object and virtual environment object unit for generating the virtual tinnitus object by visualizing subjective tinnitus perceived by the user and generating the virtual environment object corresponding to a sound source generated in the virtual environment; a stereophonic sound processing unit that performs 3D sound processing to allow the user to recognize the location of the virtual tinnitus object and the location of the virtual environment object; a sound output unit outputting the 3D sound to the user; and a VR image control unit that changes content in the VR image in response to a user input signal provided from a user interface unit, wherein the VR image controller controls the virtual tinnitus object displayed in the VR image in response to the user input signal. control, and the output of the 3D
  • the VR image controller may remove the virtual tinnitus object displayed in the VR image in response to the user input signal and stop output of the 3D sound by the virtual tinnitus object.
  • the VR image control unit removes the virtual tinnitus object displayed in the VR image in response to the user input signal, and at the same time stops the output of the 3D sound by the virtual tinnitus object and controls the 3D sound by the virtual environment object. The output of sound can be maintained.
  • the VR image controller may gradually remove the virtual tinnitus object displayed in the VR image in response to the user input signal and at the same time reduce the output of the 3D sound by the virtual tinnitus object in stages.
  • the 3D sound may be a mixed sound in which the 3D sound by the virtual tinnitus object and the 3D sound by the virtual environment object are fused.
  • the sound output unit may include a left sound output unit and a right sound output unit that respectively output sound to both ears of the user.
  • the sound output unit may adjust time, volume, and height of the 3D sound in response to a distance between the user and the virtual tinnitus object and a distance between the user and the virtual environment object in the VR image.
  • the stereophonic sound processing unit may be implemented based on a Head-Related Transfer Function (HRTF), which is a function that sets the time, volume, and pitch of sound according to the movement of the head.
  • HRTF Head-Related Transfer Function
  • the display unit may be provided as a Head Mounted Display (HMD) providing a closed view environment blocked from the outside.
  • HMD Head Mounted Display
  • a tinnitus treatment system using a stereoscopic virtual reality interface includes a tinnitus treatment device; and a VR image controller that is connected to the tinnitus treatment device through a network and inputs a user input signal to the tinnitus treatment device, wherein the tinnitus treatment device is mounted on the head of the user and provides the subject with a virtual tinnitus object and a virtual environment.
  • a display unit displaying a VR image in which an object is inserted; a virtual tinnitus object and virtual environment object unit for generating the virtual tinnitus object by visualizing subjective tinnitus perceived by the user and generating the virtual environment object corresponding to a sound source generated in the virtual environment; a stereophonic sound processing unit that performs 3D sound processing to allow the user to recognize the location of the virtual tinnitus object and the location of the virtual environment object; a sound output unit outputting the 3D sound to the user; and a VR image controller configured to change contents in the VR image in response to a user input signal provided from the VR image controller, wherein the VR image controller responds to the user input signal to the virtual tinnitus object displayed in the VR image. and change the output of the 3D sound in response to the control of the virtual tinnitus object.
  • a tinnitus treatment apparatus using a stereoscopic virtual reality interface includes a user interface for obtaining subjective tinnitus information from a user;
  • a virtual tinnitus object is created by visualizing the subjective tinnitus perceived by the user from the obtained subjective tinnitus information, and a virtual environment object corresponding to a sound source generated in the virtual environment is created, and the location of the virtual tinnitus object and the virtual environment a processor performing 3D sound processing to allow the user to recognize the location of an object;
  • an HMD displaying a VR image in which the virtual tinnitus object and the virtual environment object are inserted to a subject and outputting the 3D sound; and a haptic device that receives a user input signal for changing the content in the VR image and transmits a corresponding tactile sense to the user according to the change in the content in the VR image, wherein the processor responds to the user input signal
  • the virtual tinnitus object is created by visual
  • the processor may gradually remove the virtual tinnitus object displayed in the VR image in response to the user input signal and at the same time reduce the output of the 3D sound by the virtual tinnitus object in stages.
  • the processor may gradually reduce the size of the virtual tinnitus object displayed in the VR image in response to the user input signal and at the same time reduce the output of the 3D sound by the virtual tinnitus object in stages.
  • a level at which the size of the virtual tinnitus object is gradually reduced and a level at which the output of the 3D sound by the virtual tinnitus object is gradually reduced may correspond to each other.
  • the haptic device may generate a corresponding tactile sensation and deliver it to the user.
  • the haptic device may be a phantom haptic device.
  • This technology induces the user's active participation and can obtain tinnitus symptom relief and treatment effects by controlling both visual and auditory cognitive actions.
  • this technology can increase the efficiency of tinnitus treatment through tinnitus treatment through surrealism (multi-sensory sensation) in which tactile functions are added to audiovisual.
  • FIG. 1 is a schematic block diagram of a tinnitus treatment device using a stereoscopic virtual reality interface according to an embodiment.
  • FIG. 2 is a flowchart illustrating an operation of a tinnitus treatment device according to an exemplary embodiment.
  • 3 is a diagram for explaining an implementation example of receiving subjective tinnitus information according to an embodiment.
  • FIG. 4 is a diagram for explaining a method of determining a viewpoint of a user wearing a tinnitus treatment device according to an embodiment.
  • FIG. 5 is a diagram for explaining a tinnitus treatment method using a stereoscopic virtual reality interface according to an embodiment.
  • 6A to 6E are diagrams for explaining a tinnitus treatment method using a stereoscopic virtual reality interface according to another embodiment.
  • FIG. 7 is a diagram of a tinnitus treatment system using a stereoscopic virtual reality interface according to an embodiment.
  • FIG. 8 illustrates a tinnitus treatment experimental setup according to an embodiment.
  • A The patient and clinician view the virtual environment through the HMD and screen, respectively. The patient listens to the spatial sound in the tinnitus avatar through the HMD headphones. The patient also moves the tinnitus avatar using the VIVE controller.
  • B Hardware and software settings.
  • the shiny object (red circle) emitting particles is the tinnitus avatar.
  • the yellow area is a tinnitus treatment site that instructs the patient to discard the tinnitus avatar.
  • FIG. 11 illustrates an example of a virtual reality tinnitus treatment scene according to an embodiment.
  • the scenes were arranged based on the environmental noise increasing from left to right. Participants experienced the scenes in order from left to right.
  • THI Total THI score
  • THI List of Tinnitus Disorders
  • FIG. 13 illustrates a cortical power difference localized to the origin of the prefrontal cortex according to an embodiment.
  • the power levels of the alpha and theta frequency band (A) and theta and beta 2 frequency band (B) increased after virtual reality (VR) tinnitus treatment.
  • VR virtual reality
  • FIG. 14 is a diagram illustrating an example of hardware implementation of a tinnitus treatment device according to an embodiment.
  • a 'module' or 'unit' refers to a functional part that performs at least one function or operation, and may be implemented with hardware or software or a combination of hardware and software.
  • unit or “module” used in the specification means a hardware component such as software, FPGA or ASIC, and "unit” or “module” performs certain roles. However, “unit” or “module” is not meant to be limited to software or hardware. A “unit” or “module” may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. Thus, as an example, a “unit” or “module” may refer to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Functions provided within components and “units” or “modules” may be combined into fewer components and “units” or “modules” or may be combined into additional components and “units” or “modules”. can be further separated.
  • FIG. 1 is a schematic block diagram of a tinnitus treatment device using a stereoscopic virtual reality interface according to an embodiment.
  • a tinnitus treatment device (hereinafter simply referred to as a 'tinnitus treatment device') 100 using a stereoscopic virtual reality interface according to an embodiment uses VR images and 3D sound as part of brain nerve activity. To provide tinnitus treatment training by the active participation of the user.
  • Tinnitus is a subjective feeling of noise perceived even in the absence of an external auditory stimulus, and the pathophysiological mechanism for subjective tinnitus involves hyperactivation and functional reallocation of auditory and non-auditory cortical or subcortical networks.
  • Subjective tinnitus may be accompanied by functional abnormalities in one part of the brain, as well as disorders of brain network connections, and hearing originates from the brain.
  • the tinnitus treatment device 100 includes a VR image control unit 110, a display unit 120, a virtual tinnitus object and virtual environment object unit 130, a stereophonic sound processing unit 140, a user interface unit 150, a sound It includes an output unit 160 and a storage unit 170 .
  • the VR image controller 110 may perform display control of VR images displayed on the display unit 120, output control of 3D sound output from the sound output unit 160, and determination of the user's gaze according to the user's movement. , the virtual tinnitus object and the tinnitus avatar created by the virtual environment object unit can be inserted into or removed from the VR image.
  • a method for treating tinnitus which is an object of the present invention, is for removing or alleviating symptoms of tinnitus through active participation of a user, and the VR image controller 110 displays contents in a VR image in response to a user input signal provided from the user interface unit 150. It can be changed, and the output of 3D sound can be changed in response to the change of contents in the VR image.
  • the display unit 120 may include a plurality of pixels and display a virtual reality (VR) image using input image data.
  • the display unit 120 may be implemented as an organic light emitting display panel, a liquid crystal display panel, a plasma display panel, or the like, but is not limited thereto. no.
  • the display unit 120 may be provided as an HMD that provides a closed viewing environment blocked from the outside. That is, the tinnitus treatment device 100 is an HMD device and may be mounted on the user's head to display a VR image. Since the tinnitus treatment device 100 is worn on the user's head, a change in the user's gaze can be determined by detecting a change in position of the HMD device according to the movement of the head.
  • the virtual tinnitus object and virtual environment object unit 130 may create a virtual tinnitus object (ie, a tinnitus avatar) by visualizing tinnitus perceived by the user (ie, subjective tinnitus).
  • a virtual environment object ie, tinnitus background
  • a sound source generated in the virtual environment may be created.
  • the former information on the position/size/rotation of an object corresponding to a source of tinnitus noise in a virtual environment may be used.
  • position/size/rotation information of an object corresponding to one or more sound sources occurring in a virtual environment may be used. These information may be stored in the storage unit.
  • Tinnitus perceived by each user may be different from each other, such as a scratching sound, a bee sound, and a wind sound. Accordingly, a process of matching the frequency and volume to correspond to the subjective tinnitus perceived by the user (ie, to be customized) may be performed in advance.
  • the virtual tinnitus object and virtual environment object unit 130 may visualize a tinnitus avatar based on subjective tinnitus information provided from the user. For example, when a user feels noise such as a vibration of a mobile phone as tinnitus, the virtual tinnitus object and virtual environment object unit 130 may generate a vibrating mobile phone image as a tinnitus avatar. However, since tinnitus generally felt by the user has only auditory information and no visual information, it is difficult to obtain direct visual information for generating a tinnitus avatar from the user. In this case, one of the preset images can be selected and set as the tinnitus avatar. .
  • the tinnitus avatar and the virtual environment object created by the virtual tinnitus object and virtual environment object unit 130 may be inserted and displayed at a predetermined position in the VR image by the VR image controller 110 .
  • the 3D sound processing unit 140 may perform 3D sound processing to allow the user to recognize the position of the tinnitus avatar and the position of the object in the virtual environment. To this end, it is possible to set the time, volume, and pitch of the sound of both sound output units using the position information/rotation information of the tinnitus avatar and the position information/rotation information of the left and right sound output units constituting the sound output unit 150. there is.
  • the stereophonic sound processing unit 140 may be implemented as a Head-Related Transfer Function (HRTF) of the Google Resonant Sound Software Development Kit (SDK) and designed to generate a spatial tinnitus sound.
  • HRTF is a function that sets the time, volume, and pitch of sound according to head movement.
  • the user simultaneously recognizes the position of the tinnitus avatar and the position of the object in the virtual environment through hearing, and the brain recognizes a mixed sound in which the two sounds are fused.
  • the volume of the 3D sound processed according to the user's symptom may be adjusted.
  • the type of virtual environment object ie, tinnitus background
  • the user interface unit 150 performs a function of transmitting commands or data input from a user or other external device to other components of the tinnitus treatment device 100, and provides the user's input signal to the VR image controller 110. can do.
  • the user interface unit 150 may refer to a series of means such as a keyboard, a joystick, and a touch panel for receiving input information from a user.
  • the sound output unit 160 is to individually provide 3D sound to the user's left and right hearing, and for example, the sound output unit 160 may be provided in the form of a headset covering both ears of the user. While the display unit is an HMD, the sound output unit may be thought of as a headphone or speaker included in the HMD.
  • the sound output unit 160 may output 3D sound only to the hearing ear on the opposite side of the user's left and right hearing where tinnitus occurs. That is, 3D sound generated from either the left side or the right side may not be output to the other side. This is to increase the treatment efficiency of the auditory region where tinnitus occurs.
  • the storage unit 170 stores VR images, tinnitus avatars, tinnitus backgrounds, and the like, and may be implemented as non-volatile memory such as flash memory or volatile memory such as dynamic RAM (DRAM), but is not limited thereto.
  • non-volatile memory such as flash memory or volatile memory such as dynamic RAM (DRAM), but is not limited thereto.
  • DRAM dynamic RAM
  • FIG. 2 is a flowchart illustrating an operation of a tinnitus treatment device according to an exemplary embodiment.
  • the tinnitus treatment apparatus 100 may receive subjective tinnitus information related to the tinnitus symptom of the user from the user or an assistant to determine the tinnitus symptom of the user (S100).
  • the subjective tinnitus information is the type of noise the user feels (eg, Beebp, Buzz, Crickets, Mechanism, Ocean, Whoosh, Wind_Noise, etc.), whether the tinnitus occurs in the left or right hearing (eg, bilateral hearing) tinnitus, unilateral tinnitus, etc.), frequency of occurrence (eg, seconds apart, minutes apart, continuous, etc.), tinnitus magnitude (eg, 40 dB, 45 dB, 50 dB, 55 dB, 60 dB, 65 dB, 70 dB, etc.) ), etc. may be included. This is a kind of customization step.
  • Reception of subjective tinnitus information may be performed through a user interface such as a keyboard, a joystick, or a touch panel (an example of receiving subjective tinnitus information through a touch panel is shown in FIG. 3 ).
  • the tinnitus treatment apparatus 100 may generate a tinnitus avatar and a tinnitus background based on the subjective tinnitus information (S110).
  • the tinnitus treatment device 100 may insert and display the tinnitus avatar and the tinnitus background in a preset position of the VR image, and output 3D sound corresponding to the tinnitus avatar and the tinnitus background (S120).
  • the tinnitus treatment device 100 may control the display of a VR image in response to an input signal received from a user (S130). For example, when the user wants to move within the VR image, the tinnitus treatment device 100 may display the VR image in which the user's viewpoint is moved in response to an input signal.
  • the tinnitus treatment device 100 may remove the tinnitus avatar from the VR image when a predetermined condition is satisfied, and at the same time stop 3D sound output by the corresponding tinnitus avatar (S140).
  • the tinnitus treatment method according to an embodiment is performed by the user's active participation, rather than passive training to provide and stop noise to the user.
  • the preset condition may be set such that the user finds and moves the location of the tinnitus avatar in the VR image, inserts the tinnitus avatar into a trash bin object through a user interface, or performs an arbitrary operation.
  • the tinnitus treatment device 100 may remove the tinnitus avatar from the VR image and stop 3D sound output by the tinnitus avatar at the same time when a preset condition is satisfied by the user's active intentional operation, thereby can simultaneously obtain a visual tinnitus blocking effect and an auditory tinnitus blocking effect.
  • FIG. 4 is a diagram for explaining a method of determining a viewpoint of a user wearing a tinnitus treatment device according to an embodiment.
  • the tinnitus treatment device 100 implemented as an HMD device is worn on the user's head, it is possible to estimate a change in the user's line of sight AR according to the movement of the tinnitus treatment device 100 .
  • the HMD device is equipped with a sensor module, and the sensor module can detect the movement of the HMD device and output information such as x coordinate, y coordinate, z coordinate, pitch, and roll.
  • the HMD device may detect the direction of the line of sight (AR) based on the output information and configure a background image corresponding to the line of sight (AR).
  • the background image varies depending on the viewing angle provided by the HMD device. It may vary depending on the specifications of the projector and optical system of the HMD device.
  • the HMD device obtains the direction of view (DoV) from the focus point based on the information output from the sensor module, and from the center of the line of sight (AR), the field of view that the projection module can provide.
  • DoV direction of view
  • AR center of the line of sight
  • FoV angle: FoV
  • FIG. 5 is a diagram for explaining a tinnitus treatment method using a stereoscopic virtual reality interface according to an embodiment.
  • the tinnitus treatment device 100 may display a VR image IM including a tinnitus avatar OB and tinnitus backgrounds SB1, SB2, and SB3.
  • a background image (BI) is displayed on the VR image so that the user can feel the virtual environment as a real environment, and the tinnitus avatar (OB) may be displayed as an object that does not cause discomfort in the background image.
  • the objects SB1 , SB2 , and SB3 corresponding to the background of tinnitus allow the user to recognize the fusion sound with the subjective tinnitus, and increase the level of difficulty in the process of the user finding the tinnitus avatar OB to enhance the treatment effect.
  • the tinnitus treatment device 100 displays VR images and outputs 3D sound at the same time, and measures the distance between the user and the tinnitus avatar (OB) and the distance between the user and the tinnitus background (SB1, SB2, SB3), and the user's point of view.
  • the output of the 3D sound may be controlled in consideration of the sensitivity of the left or right hearing according to the sound.
  • the tinnitus treatment method by the tinnitus treatment device 100 is for removing or alleviating tinnitus symptoms by active participation of the user, so the tinnitus treatment device 100 tasks the user to find the tinnitus avatar (OB) in the VR image. and the user can change the display of the VR image by providing an input signal through the user interface unit 150.
  • OB tinnitus avatar
  • the tinnitus treatment device 100 may display the VR image IM' at the forward point. As the viewpoint moves, the VR image changes and the output of 3D sound also changes. That is, as the user approaches the tinnitus avatar OB and/or the tinnitus background SB1, SB2, and SB3 in the 3D image, the tinnitus treatment device 100 outputs 3D sound by the tinnitus avatar and/or the corresponding tinnitus. The output of 3D sound by the background is increased.
  • the 3D sound by the tinnitus avatar OB increases in both left and right, and the 3D sound caused by the tinnitus background SB3 increases on both the left and right sides, but the left side becomes larger, and the tinnitus background SB1, 3D sound by SB2) may be very small or disappear.
  • the tinnitus treatment device 100 may control the tinnitus avatar (OB) in response to a user input signal. If the user removes the tinnitus avatar (OB) by putting it in the trash bin object (TS) in the VR image, the corresponding tinnitus avatar (OB) is removed. 3D sound output by the tinnitus avatar (OB) is stopped. Embodiments are also possible which reduce the sound output to a very low level instead of interruption. Meanwhile, it is noted that the 3D sound output due to the tinnitus backgrounds SB1 , SB2 , and SB3 that are not removed is not interrupted, and the 3D sound output suitable for the corresponding location information/rotation information continues.
  • FIG. 6A to 6E are diagrams for explaining a tinnitus treatment method using a stereoscopic virtual reality interface according to another embodiment. Differences from the above-described FIG. 5 will be mainly described.
  • the tinnitus treatment device 100 displays a VR image IM including a tinnitus avatar OB, a tinnitus background SB1, SB2, and SB3, and a background image BI, and displays the tinnitus avatar on the tinnitus avatar. It is possible to control the output of 3D sound, which is a mixed sound in which 3D sound by tinnitus and 3D sound by tinnitus background are fused. At this time, the tinnitus avatar OB may appear at a random position in the background image BI.
  • the tinnitus treatment device 100 displays the tinnitus avatar OB as a virtual image in the image. It can be captured with the tool VS and displayed in a state as if it is placed in the center of the image (as it is placed in the center, the tinnitus avatar OB_E is shown in a larger form in FIG. 6B compared to FIG. 6A).
  • the tinnitus treatment device 100 may control the tinnitus avatar OB_E in response to a user input signal. If the user cuts the edge of the tinnitus avatar OB_E with a virtual tool VS in the VR image, When at least partially removed, the 3D sound output by the corresponding tinnitus avatar (OB_E) is also reduced correspondingly (Fig. 6c shows the tinnitus avatar (OB_E_SD) with the tinnitus avatar (OB_E_SD) smaller than the border of Fig. 6b, and the 3D sound by the tinnitus avatar It can be seen that the amplitude of the output waveform (W_SD) is also reduced compared to FIG. 6B).
  • the border of the tinnitus avatar may be distorted and displayed by a virtual tool (VS) as shown in FIG. 6D to intuitively convey the cutting process to the user (referred to as OB_E_WP), and also
  • the 3D sound output waveform may also be irregular and output a sound that reproduces the sound of mowing (referred to as W_WP).
  • the tinnitus avatar with a size reduced by one step is displayed, Along with this, the 3D sound output by the tinnitus avatar is reduced by one level accordingly. If the user continuously cuts the border of the tinnitus avatar secondarily using a virtual tool, the tinnitus avatar with a size one step smaller than before is displayed, and the 3D sound output by the tinnitus avatar is also increased by one step accordingly. It decreases.
  • the tinnitus avatar with a size reduced by one step is displayed, and the 3D sound output by the tinnitus avatar is also reduced by one step accordingly.
  • the degree of reduction of the 3D sound output step by step from the 1st to the 3rd is reduced to a sufficient level so that the user can recognize that the tinnitus is reduced by the user's own intention (ie, by moving a virtual tool) (for example, 70dB at first, 50dB at 1st attenuation, 30dB at 2nd attenuation, 10dB at 3rd attenuation, etc.).
  • the above-described virtual tool VS may be interlocked with a haptic device or a phantom haptic device 200 (see FIG. 6E). Accordingly, the user wearing the HMD can move the above-described virtual tool according to his own intention using the phantom haptic device while being provided with audio-visual information according to the movement of the head through the HMD.
  • a tactile sensation as if he or she is directly shaved off can be delivered through the phantom haptic device. This enables tinnitus treatment through surrealism (multi-sensory sensation) with tactile function added.
  • the tinnitus treatment apparatus 100 is performed by the user's active participation and interactive interaction with the user, rather than passive training to provide and stop noise to the user, thereby increasing tinnitus treatment efficiency. there is.
  • FIG. 7 is a diagram of a tinnitus treatment system using a stereoscopic virtual reality interface according to an embodiment.
  • the user may input a user input signal through the user interface unit 150 (FIG. 1) mounted in the tinnitus treatment device 100, but through a separate VR image controller 200. may be provided to the tinnitus treatment device 100. It may be considered that a separate VR image controller exists in addition to or instead of the user interface unit described above in FIG. 1 .
  • the VR video controller 200 may include a button for moving the user back and forth, a button for displaying an action such as putting or throwing the tinnitus avatar into a trash can object, but is not limited thereto, and includes a button for receiving user input information.
  • a series of means may be included.
  • the VR image controller may be a haptic device or a phantom haptic device capable of transmitting a motion of a user's hand as an input and providing a specific tactile sensation to the user as an output.
  • the VR image controller 200 and the tinnitus treatment device 100 may transmit and receive data through wired or wireless communication, and may exchange data through, for example, short-distance communication (such as Bluetooth or Wi-Fi).
  • short-distance communication such as Bluetooth or Wi-Fi
  • a user ie, a tinnitus patient watching in virtual reality can check a virtual object from which a tinnitus treatment sound is heard in a virtual environment through stereophonic sound (ie, 3D sound). That is, an interface capable of confirming the virtual object of tinnitus through a visual virtual object and confirming a location through stereophonic sound is provided.
  • stereophonic sound ie, 3D sound
  • the stereoscopic virtual reality interface provides position/size/rotation information of an object corresponding to a source of tinnitus noise in a virtual environment and position/size/rotation information of an object corresponding to a sound source generated in a virtual environment. It receives the virtual tinnitus object and the virtual environment object part, the position information/rotation information of the virtual tinnitus object, and the position/rotation information of the audio output parts on both sides (left and right), and adjusts the time, volume, and pitch of the sound of the sound output parts on both sides.
  • a stereo sound processing unit that sets a stereo sound processor
  • a VR image control unit that controls an image output from the audio set value of the stereo audio processor to both audio output units and visual information of the virtual tinnitus object and the virtual environment object unit to the display unit.
  • the stereophonic audio processing unit may calculate time, volume, and pitch of sound in real time according to changes in position/size/rotation information of virtual tinnitus objects and objects in the virtual environment.
  • Stereophonic software based on HRTF which is a function that sets the time, volume, and height of sound according to head movement, can be applied.
  • Position/size/rotation information of virtual tinnitus objects and objects in the virtual environment may be detected and moved or changed due to other virtual objects.
  • Position/rotation information of the audio output unit on both sides may vary according to the movement of the user's head.
  • the changed position/size/rotation information of the virtual tinnitus object and the virtual environment object may output an image to the display unit and sound to the audio output units on both sides.
  • the stereophonic virtual reality interface for this can be performed with the following core configuration.
  • the computer and the virtual reality device visually and audibly output the virtual tinnitus object and the virtual object that generates the sound to the user, and computes the tinnitus object to be generated at a virtual location. Through this, it is possible to visualize the sound of virtual reality as a virtual object, giving an auditory sense of immersion as if the virtual object is present in a virtual location.
  • the stereo sound software calculates the user's location and the location of the virtual tinnitus, and calculates the sound of the audio output units on both sides so that the user's location can be known aurally. Through this, not only the position of the virtual tinnitus object is recognized auditorily, but also the tinnitus is actually heard at a specific position, thereby increasing the immersion in virtual reality.
  • Tinnitus Handicap Inventory TAI
  • P 0.025
  • Baseline EEG data showed a significant increase in brain activity in the orbitofrontal cortex in the alpha and theta frequency bands. Patients with improved THI scores after intervention also showed specific increases in brain activity in the theta and high beta bands of the orbitofrontal cortex.
  • Our findings suggest that virtual reality-based programs, as part of cognitive-behavioral therapy, can help alleviate tinnitus-related distress in patients with chronic subjective tinnitus.
  • VR virtual reality
  • This study aimed to provide a sense of control that can lead to tinnitus relief by allowing patients to manipulate and remove objects (VR avatars) that generate tinnitus sounds in a VR environment.
  • the patient goes beyond pointing and exploring the tinnitus avatar, grabbing the tinnitus avatar and throwing it into the trash can to actually get rid of it. Therefore, the patient feels that the tinnitus can be controlled by deleting the tinnitus avatar.
  • the patient's medical history, demographic information, physical examination, physical examination including vital signs (blood pressure, heart rate, temperature, respiratory rate), weight, height, and daily living ability were evaluated accordingly.
  • vital signs blood pressure, heart rate, temperature, respiratory rate
  • weight, height, and daily living ability were evaluated accordingly.
  • the audiogram and tinnitus symptoms before and after the experiment were investigated for these patients to exclude cases related to unnecessary bias. .
  • the patient's condition before and after the experiment was evaluated through a questionnaire about tinnitus itself, including THI, THQ, and visual numeric scale (VNS) related to the severity of tinnitus-related pain.
  • VNS visual numeric scale
  • a questionnaire on tinnitus-related symptoms such as PSQI, WHO-QoL, POMS, and HADS for depression, anxiety, and sleep disorder accompanying tinnitus was completed.
  • SSQ simulator sickness questionnaire
  • a tinnitus avatar was created to mimic each patient's subjective tinnitus by matching the frequency and loudness. Acoustic modelization of perceived tinnitus established by the signal matches the spectrum and intensity of the patient's perception of tinnitus. This indicates that a fusion process can occur between the subjective tinnitus and the matched stimulus presented to the contralateral ear.
  • a tutorial session was conducted before the main treatment session.
  • the tinnitus avatar is designed to generate spatial tinnitus sounds implemented with the head-related transfer function (HRTF) of the Google Resonance Sound software development kit (SDK). Participants learned how to move around in the VR environment and how to perform tasks handling tinnitus avatars (Fig. 8).
  • Tinnitus Avatar used HRTF to generate 3D tinnitus sounds of five types (whistling, hissing, roaring, humming and ringing). Participants had to use their hearing to find the tinnitus avatar. Participants can move around the virtual environment by pressing the top and bottom of the trackpad on the left VIVE controller. If you approach within a certain distance, you can see the tinnitus avatar. When holding the tinnitus avatar by pressing the trigger button on the right VIVE controller, the color of the avatar changed and a vibrating feedback was generated on the right VIVE controller to inform the participant that the tinnitus avatar was captured.
  • Tinnitus treatment stations are placed in noisy scenes on each virtual set (i.e. bedroom entrance, living room next to the television, restaurant order counter, city street car hood), absorbing tinnitus sounds into much louder environmental noises. created a cognitive illusion.
  • three rounds of tinnitus avatar processing tasks were performed.
  • sLORETA software that can analyze intracerebral electrical sources in scalp recorded activities based on EEG data.
  • EEG data were pre-processed and 30 epochs were prepared per participant. This epoch was analyzed for six frequency bands (delta, 1-4 Hz; theta, 4-8 Hz; alpha, 8-12 Hz; low beta, 12-18 Hz; high beta, 18-30 Hz; and gamma, 30-55 Hz). It became.
  • the source image is spatially modeled as a set of 6239 voxels (size 5 ⁇ 5 ⁇ 5 mm). These layers were obtained from the amygdala, hippocampus and cortical gray matter.
  • sLORETA data were based on reconstructions of digitized Montreal Neurological Institute (MNI) 152 coordinates into Talairach coordinates.
  • MNI Montreal Neurological Institute
  • the primary outcome measure was a questionnaire about the patient's condition and tinnitus-related symptoms before and after the experiment.
  • An exploratory outcome measure was the current source density for 10 ROIs.
  • the results of the questionnaire on VR sickness using the SSQ provided another measure.
  • THI List of Tinnitus Disorders
  • PSQI Pittsburgh Sleep Quality Index
  • THQ Tinnitus Disorder Questionnaire
  • WHO-QoL World Health Organization Quality of Life Assessment
  • HADS Hospital Anxiety and Depression Scale
  • POMS Profile of Mood State).
  • Figure 12 shows the tinnitus alleviation effect according to the individual's total THI score change before and after the program. In contrast to statistically significant change, clinically significant change was defined as comprising a minimum score of 7 on THI33. Six out of 19 patients in this sample met this threshold (37%). However, there was no correlation between THI score and PSQI. Other questionnaires, which are tools for assessing tinnitus-related symptoms, did not show statistically significant differences.
  • Total score nausea score + eye movement score + disorientation ⁇ 3.74).
  • the nausea, eye movement, disorientation, and total scores for this system were 48.20, 58.25, and 74.73, respectively (Table 4: Analysis of nausea, eye movement, disorientation, and total scores derived from the SSQ. sd: standard deviation). After weighting, the total score was 32.81 points.
  • the patient group with improved THI score and the patient group with no improvement in THI score were compared and evaluated for the change of each band.
  • the PSQI an indicator of sleep quality
  • the PSQI was also lowered after the intervention, indicating that the program helped relieve related symptoms such as insomnia caused by severe tinnitus.
  • the reason why other items did not show statistically significant differences is that indirect factors related to tinnitus are being evaluated, and the change may have been small because the treatment period was short.
  • this VR system showed relatively low motion sickness.
  • the SSQ score of the VR treatment system for chronic pain patients was 55.72, and the SSQ score of the VR wheelchair training simulator system was over 200.
  • the SSQ score of this VR system was 32.81.
  • a lower SSQ score indicates less motion sickness.
  • a low SSQ score for the VR system indicates that the system itself did not cause motion sickness problems.
  • EEG data before and after the experiment were carefully analyzed. The analysis confirmed that the alpha and theta band myogenic activity increased in the left orbitofrontal cortex in all patient groups after the VR treatment program.
  • the limbic system is highly related to acoustic functions such as tinnitus and phantom sounds. This is due to the interaction between the limbic system and the auditory system, which may be involved in the noise cancellation system. This system is closely linked to tinnitus-induced stress caused by corresponding changes in the prefrontal cortex of the brain.
  • the orbitofrontal cortex was proposed as a cortical region responsible for the emotional component of tinnitus in an integrated model of tinnitus, which proposes tinnitus as an integrated cognition in which separate subnetworks interact. Specifically, these areas serve to direct attention and emotion regulation to suppress unwanted sensory signals while passing through the thalamus and nucleus accumbens.
  • the beta band plays a similar role to the alpha band in the OFC region related to the emotional system.
  • the beta band is closely related to the unpleasant feeling of tinnitus.
  • the beta band is a representation of changes in pain perceived by a network composed of the limbic system activating the anterior cingulate, the amygdala and islets for the prefrontal cortical system.
  • DLPFC dorsolateral prefrontal cortex
  • the alpha, low beta, and gamma bands of the left OFC region were not significant, but showed a tendency to increase after the treatment program. Therefore, these results suggest that additional factors were found through a more detailed analysis as described above, and suggest the resultant consistency according to the increase in the alpha band of the left OFC region seen in all patient groups. Similar changes were found in the right OFC region in the alpha and theta bands. We also observed changes in the leftsgACC area of the subgroup with reduced THI in the patient groups participating in the experiment.
  • the sgACC region tightly regulates positive emotion, arousal processing networks, and error detection functions, and is also involved in tinnitus and adverse effects from similar disorders such as chronic pain and post-traumatic stress disorder. Another study found that higher activity of the ACC predicted higher levels of tinnitus distress felt by patients. Analysis of a group of patients with improved THI tended to increase theta and gamma bands in this area, which may be related to restoration of the processing system.
  • the stereoscopic sound virtual reality interface for treating tinnitus and alleviating symptoms according to the above-described embodiment can be applied to a rehabilitation device for tinnitus and can be applied using a computer. It can be applied to various fields such as symptom relief and treatment for tinnitus.
  • an interface capable of obtaining positional information of tinnitus existing in virtual reality and sound in a virtual environment may be provided.
  • virtual tinnitus objects and objects in the virtual environment it is possible to simulate everyday situations in which immersive tinnitus is heard. It goes beyond the prior art treatment of simply hearing the sound of tinnitus to experience hearing the sound of tinnitus in a virtual everyday space.
  • a simulation environment that can more effectively reduce tinnitus stress can be provided.
  • the tinnitus treatment apparatus 1000 may include a user interface 1010, a processor 1020, a memory 1030, an HMD 1040, and a haptic device 1050.
  • the user interface 1010 may obtain subjective tinnitus information from the user.
  • the subjective tinnitus information may include the type of noise felt by the user, whether tinnitus is generated in the left or right hearing, frequency of occurrence, size of tinnitus, and the like.
  • the user interface 1010 may include a keyboard, a joystick, and a touch panel for obtaining subjective tinnitus information.
  • the processor 1020 may generate a virtual tinnitus object by visualizing the subjective tinnitus perceived by the user from the subjective tinnitus information using the subjective tinnitus visualization model stored in the memory 1030, and generate a VR environment model stored in the memory 1030. It is possible to create a virtual environment object corresponding to a sound source generated in the virtual environment. Also, the processor 1020 may perform 3D sound processing to allow the user to recognize the location of the virtual tinnitus object and the location of the virtual environment object.
  • the processor 1020 may control a virtual tinnitus object displayed in the VR image in response to a user input signal input by the haptic device 1050, and change the output of 3D sound in response to the control of the virtual tinnitus object.
  • the operation of the processor 1020 is not limited thereto, and operations described in FIGS. 1 to 13 may be performed.
  • the memory 1030 may store a subjective tinnitus visualization model and a VR environment model.
  • the subjective tinnitus visualization model may be composed of an algorithm that generates a virtual tinnitus object from subjective tinnitus information.
  • the VR environment model can be composed of an algorithm that creates virtual environment objects that exist in a specific virtual environment (bedroom, living room, restaurant, city street, etc.).
  • the memory 1030 may temporarily or permanently store data required to perform the tinnitus treatment method according to an embodiment.
  • the memory 1030 may store subjective tinnitus information, virtual tinnitus objects, virtual environment objects, and user input signals.
  • the HMD 1040 may display a VR image in which a virtual tinnitus object and a virtual environment object are inserted to the subject and output 3D sound.
  • the HMD 1040 may display a virtual tinnitus object controlled in response to a user input signal, and may output 3D sound changed accordingly.
  • the haptic device 1050 may receive a user input signal for changing content in the VR image and deliver a corresponding tactile sensation to the user according to the content change in the VR image.
  • An interface according to an embodiment may be various types of electronic devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • Various embodiments of the present invention are software (eg, a program) including one or more instructions stored in a storage medium (eg, internal memory or external memory) readable by a machine (eg, an electronic device).
  • a processor eg, a processor
  • a device eg, an electronic device
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • signals e.g., electromagnetic waves
  • the method according to various embodiments disclosed in the present invention may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smartphones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component eg, module or program of the components described above may include a singular entity or a plurality of entities.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Abstract

본 발명의 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치는, 사용자의 두부에 장착되어 피검자에게 이명 아바타가 삽입된 VR 영상을 표시하는 디스플레이부와, 상기 사용자가 인지하는 이명을 시각화하여 상기 이명 아바타를 생성하는 가상환경 물체부와, 상기 사용자에게 상기 이명과 융합된 혼합 음향을 인지시키기 위해, 3D 음향을 생성하는 입체음향 처리부와, 상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부와, 사용자 인터페이스부로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고, 상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 이명 아바타를 제어하고, 상기 이명 아바타의 제어에 대응하여 상기 3D 음향의 출력을 변경한다.

Description

입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법
본 발명은 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법에 관한 것으로, 보다 구체적으로는 인지행동치료 방식의 이명 치료 장치 및 시스템과 이의 동작 방법에 관한 것이다.
이명은 외부 소리 자극이 없는데도 귓속 또는 머릿속에서 소리를 느끼는 현상을 말한다. 이명은 청각 기관 자체에서 생기는 것(청각성)과, 근육, 혈관 등 청각 기관의 주위 구조물에 의해 청각 기관을 통해 느껴지는 것(비청각성)으로 나눌 수 있으며, 청각 기관의 손상으로 인한 청각성 이명이 대부분을 차지한다.
종래의 일반적인 이명 치료 방법으로는 소리 치료 방식이 있다. 소리 치료 방식은 외부 소음을 이용하여 이명소리를 차폐함으로써 이명에 대한 환자들의 인식이나 반응을 수정하는 데 이용된다. 소리 치료 방식은 이명 소리 전체를 자극음으로 차폐하는 완전 차폐와 자극음이 이명소리를 부분적으로 덮는 부분 차폐로 나뉠 수 있다.
이러한 소리 치료는 별도의 자극음을 환자가 청취하게 하는 방식이며 환자는 하루에 상당 시간을 할애해야 하는 불편함이 있다. 또한 종래의 이명 치료 방법은 주로 치료음에 집중하는 방법에 해당하는데, 일상에서도 그 소리에 집중하는 것은 쉽지 않은 문제가 있다.
한편, 이명은 불완전한 정보임에도 뇌가 중요한 정보로 인식하는 가상현실의 한 종류로 볼 수 있다. 가상현실은 실제는 아니지만 실제라고 받아들여지도록 인간의 뇌를 자극하여 정보를 획득하는 기술로서, 이명도 외부의 소리 자극이 없음에도 불구하고 소리 자극이 있는 것처럼 인지하는 현상이므로 가상의 정보를 스스로 인지하는 환상통으로 일종으로 볼 수 있다.
이에 이명을 치료하는 방법 중 하나로써, 이명을 탐지하고자 하는 부분에서의 습관화, 이명으로 인한 괴로움에 대한 반응의 습관화를 통하는 이명 재훈련 치료에 관한 연구가 필요하다.
본 발명이 이루고자 하는 기술적인 과제는, 이명에 대한 반응의 습관화를 통하는 이명 재훈련 치료를 제공하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법을 제공하는 것이다.
일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치는, 사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부; 상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부; 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부; 상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및 사용자 인터페이스부로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고, 상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경할 수 있다.
상기 VR 영상 제어부는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단할 수 있다.
상기 VR 영상 제어부는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단하면서 상기 가상환경 물체에 의한 상기 3D 음향의 출력은 유지할 수 있다.
상기 VR 영상 제어부는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄일 수 있다.
상기 3D 음향은 상기 가상 이명 물체에 의한 3D 음향과 상기 가상환경 물체에 의한 3D 음향이 융합된 혼합 음향일 수 있다.
상기 음향 출력부는, 상기 사용자의 양쪽 귀에 각각 음향을 출력하는 좌측 음향 출력부와 우측 음향 출력부로 구성될 수 있다.
상기 음향 출력부는, 상기 VR 영상 내에서 상기 사용자와 상기 가상 이명 물체간 떨어진 거리 및 상기 사용자와 상기 가상환경 물체간 떨어진 거리에 대응하여 상기 3D 음향의 시간과 음량 및 높낮이를 조절할 수 있다.
상기 입체음향 처리부는, 머리의 움직임에 따라서 음향의 시간과 음량 그리고 높낮이를 설정하는 함수인 HRTF(Head-Related Transfer Function) 기반으로 구현될 수 있다.
상기 디스플레이부는, 외부와 차단된 폐쇄형 시야 환경을 제공하는 HMD(Head Mounted Display)로 제공될 수 있다.
또한 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템은, 이명 치료 장치; 및 상기 이명 치료 장치와 네트워크를 통해 연결되어 상기 이명 치료 장치로 사용자 입력신호를 입력하는 VR 영상 컨트롤러;를 포함하되, 상기 이명 치료 장치는, 사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부; 상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부; 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부; 상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및 상기 VR 영상 컨트롤러로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고, 상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경할 수 있다.
또한 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치는, 사용자로부터 주관적 이명 정보를 획득하는 사용자 인터페이스; 상기 획득된 주관적 이명 정보로부터 상기 사용자가 인지하는 주관적 이명을 시각화하여 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체를 생성하고, 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해 3D 음향 처리를 수행하는 프로세서; 피검자에게 상기 가상 이명 물체 및 상기 가상환경 물체가 삽입된 VR 영상을 표시하고 상기 3D 음향을 출력하는 HMD; 및 상기 VR 영상 내 컨텐츠를 변경하기 위한 사용자 입력신호를 입력받고, 상기 VR 영상 내 컨텐츠 변경에 따라 그에 상응하는 촉감각을 사용자에게 전달하는 햅틱 디바이스;를 포함하되, 상기 프로세서는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경할 수 있다.
상기 프로세서는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄일 수 있다.
상기 프로세서는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체의 크기를 단계적으로 줄임과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄일 수 있다.
상기 가상 이명 물체의 크기가 단계적으로 줄어드는 수준과 상기 가상 이명 물체에 의한 상기 3D 음향의 출력이 단계적으로 줄어드는 수준은 서로 상응할 수 있다.
상기 햅틱 디바이스는 상기 가상 이명 물체의 크기가 단계적으로 줄어들 때 그에 상응하는 촉감각을 발생시켜 사용자에게 전달할 수 있다.
상기 햅틱 디바이스는 팬텀 햅틱 디바이스일 수 있다.
본 기술은 사용자의 능동적인 참여를 유도하고, 시각적 인지 작용 및 청각적 인지 작용을 함께 제어함으로써 이명 증상 완화 및 치료 효과를 얻을 수 있다.
또한 본 기술은 시청각에 촉각의 기능이 더해진, 초현실감(다중감각감)을 통한 이명 치료를 통해 이명 치료 효율을 높일 수 있다.
도 1은 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치의 개략적인 블록도이다.
도 2는 일 실시 예에 따른 이명 치료 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 주관적 이명 정보를 수신하는 구현 예를 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 이명 치료 장치를 착용한 사용자의 시점을 판단하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다.
도 6a 내지 도 6e는 다른 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템의 도면이다.
도 8은 일 실시 예에 따른 이명 치료 실험 설정을 도시한다. (A) 환자와 임상의는 각각 HMD와 화면을 통해 가상 환경을 본다. 환자는 HMD 헤드폰을 통해 이명 아바타에서 공간 사운드를 듣는다. 환자는 또한 VIVE 컨트롤러를 사용하여 이명 아바타를 움직인다. (B) 하드웨어 및 소프트웨어 설정이다.
도 9는 일 실시 예에 따른 치료 세션(treatment session)을 위한 가상 환경의 예를 도시한다. 이때, 입자를 방출하는 반짝이는 물체(빨간색 원)는 이명 아바타이다. 노란색 영역은 환자에게 이명 아바타를 폐기하도록 지시하는 이명 처리 장소이다.
도 10은 일 실시 예에 따른 실험 프로토콜의 4단계를 도시한다.
도 11은 일 실시 예에 따른 가상 현실 이명 치료 장면의 예를 도시한다. 이때, 왼쪽에서 오른쪽으로 증가하는 환경 소음을 기반으로 장면을 배열했다. 참가자들은 왼쪽에서 오른쪽 순서로 장면을 경험했다.
도 12는 일 실시 예에 따른 THI 총점의 변화를 도시한다. 이때, 19명의 환자 중 12명의 환자가 THI 총점(THI, 이명 장애 목록)에서 개선을 보였다.
도 13은 일 실시 예에 따른 전전두엽 피질의 근원에 국한된 피질의 전력 차이를 도시한다. 이때, 가상 현실(VR) 이명 치료 후 알파 및 세타 주파수 대역(A) 및 세타 및 베타 2 주파수 대역(B)의 전력 수준이 증가했다.
도 14는 일 실시예에 따른 이명 치료 장치의 하드웨어 구현의 예를 도시하는 도면이다.
이하에서는, 본 발명의 가장 바람직한 실시예가 설명된다. 도면에 있어서, 두께와 간격은 설명의 편의를 위하여 표현된 것이며, 실제 물리적 두께에 비해 과장되어 도시될 수 있다. 본 발명을 설명함에 있어서, 본 발명의 요지와 무관한 공지의 구성은 생략될 수 있다. 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다. 본 명세서에 기재된 실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
도 1은 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치의 개략적인 블록도이다.
도 1을 참조하면, 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치(이하, 간단히 '이명 치료 장치'라 함)(100)는 뇌 신경 활동의 일환으로 VR 영상과 3D 음향을 이용하여 사용자의 능동적인 참여에 의한 이명 치료 훈련을 제공한다.
이명은 외부 청각 자극이 없을 때에도 인지하는 소음의 주관적인 느낌으로서, 주관적 이명에 대한 병태생리학적 메커니즘은 청각 및 비청각 피질 또는 하위 피질 네트워크의 과활성화와 기능적 재할당에 관련이 있다. 주관적인 이명은 뇌의 한 부분의 기능적 이상이 동반될 수 있을 뿐만 아니라 뇌 네트워크 연결의 장애도 동반될 수 있고, 청각은 뇌에서 기원한다.
따라서 청각 조절 메커니즘을 설명하기 위해서는 뇌 신경 활동의 모니터링이 필요하며, 피질 수준에서 신경 행동, 특히 청각 경로의 변화를 분석하는 것은 이명 발생 및 유지와 관련된 신경 동기 및 재조직에 대한 이해를 향상시키는 데 도움이 된다.
이를 위해, 이명 치료 장치(100)는 VR 영상 제어부(110), 디스플레이부(120), 가상 이명 물체 및 가상환경 물체부(130), 입체음향 처리부(140), 사용자 인터페이스부(150), 음향 출력부(160), 및 저장부(170)를 포함한다.
VR 영상 제어부(110)는 디스플레이부(120)에서 표시되는 VR 영상의 표시 제어, 음향 출력부(160)에서 출력되는 3D 음향의 출력 제어, 사용자의 움직임에 따른 사용자의 시선 판단을 수행할 수 있으며, 가상 이명 물체 및 가상환경 물체부에 의해 생성된 이명 아바타를 VR 영상에 삽입하거나 제거할 수 있다.
본 발명이 목적하는 이명 치료 방법은 사용자의 적극적인 참여에 의한 이명 증상 제거 또는 완화를 위한 것으로서, VR 영상 제어부(110)는 사용자 인터페이스부(150)로부터 제공된 사용자 입력신호에 대응하여 VR 영상 내 컨텐츠를 변경할 수 있으며, VR 영상 내 컨텐츠 변화에 대응하여 3D 음향의 출력을 변경할 수 있다.
디스플레이부(120)는 복수의 화소들을 포함하고, 입력된 영상 데이터를 이용하여 VR(virtual reality) 영상을 표시할 수 있다. 예컨대, 디스플레이부(120)는 유기전계발광 표시 패널(Organic Light Emitting Display Panel), 액정 표시 패널(Liquid Crystal Display Panel), 플라즈마 표시 패널(Plasma Display Panel) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
또한, 디스플레이부(120)는 외부와 차단된 폐쇄형 시야 환경을 제공하는 HMD로 제공될 수 있다. 즉, 이명 치료 장치(100)는 HMD 장치로서, 사용자의 두부에 장착되어 VR 영상을 표시할 수 있다. 이명 치료 장치(100)는 사용자의 두부에 착용되기 때문에, 두부의 움직임에 따른 HMD 장치의 위치 변화를 감지하여 사용자의 시선의 변화를 판단할 수 있다.
가상 이명 물체 및 가상환경 물체부(130)는 사용자가 인지하는 이명(즉, 주관적 이명)을 시각화하여 가상 이명 물체(즉, 이명 아바타)를 생성할 수 있다. 또한 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체(즉, 이명 배경)를 생성할 수 있다. 전자의 생성을 위해 가상 환경에서의 이명 잡음의 발생원에 대응하는 오브젝트의 위치/크기/회전 정보를 이용할 수 있다. 후자의 생성을 위해 가상 환경에서 발생하는 하나 이상의 소리원에 대응하는 오브젝트의 위치/크기/회전 정보를 이용할 수 있다. 이들 정보는 저장부에 저장되어 있을 수 있다.
사용자마다 인지하는 이명은 쇠긁는 소리, 벌 소리, 바람 소리 등 서로 상이하게 발생할 수 있다. 따라서, 사용자가 인지하는 주관적 이명에 대응하도록 (즉, 커스터마이즈화 되도록) 주파수와 음량을 일치시키는 과정이 사전에 수행될 수 있다.
한편, 일 실시예에 따르면, 가상 이명 물체 및 가상환경 물체부(130)는 사용자로부터 제공된 주관적 이명 정보를 기초로 이명 아바타를 시각화할 수도 있다. 예컨대, 사용자가 휴대폰 진동음과 같은 소음을 이명으로 느끼고 있는 경우, 가상 이명 물체 및 가상환경 물체부(130)는 진동하는 휴대폰 이미지를 이명 아바타로 생성할 수도 있다. 다만 일반적으로 사용자가 느끼는 이명은 시각 정보는 없고 청각 정보만을 가지므로 사용자로부터 이명 아바타 생성을 위한 직접적인 시각 정보를 얻기는 어려우며, 이 경우, 기설정된 이미지들 중 하나를 선택하여 이명 아바타로 설정할 수 있다.
가상 이명 물체 및 가상환경 물체부(130)에 의해 생성된 이명 아바타 및 가상환경 물체는 VR 영상 제어부(110)에 의해 VR 영상 내 기설정된 위치에 삽입되어 표시될 수 있다.
입체음향 처리부(140)는 이명 아바타의 위치 및 가상환경 물체의 위치를 사용자에게 인지시키기 위해 3D 음향 처리를 수행할 수 있다. 이를 위해, 이명 아바타의 위치 정보/회전 정보와 음향 출력부(150)를 구성하는 좌측 및 우측 음향 출력부의 위치 정보/회전 정보를 이용하여 양측의 음향 출력부의 소리의 시간과 음량 및 높낮이를 설정할 수 있다.
이를 위해 입체음향 처리부(140)는 구글 공명 사운드 소프트웨어 개발 키트(Software Development Kit; SDK)의 머리 관련 전송 기능(Head-Related Transfer Function; HRTF)으로 구현되어, 공간 이명 소리를 생성하도록 설계될 수 있다. HRTF는 머리의 움직임에 따라서 음향의 시간과 음량 그리고 높낮이를 설정하는 함수이다.
이로써, 사용자는 청각을 통해 이명 아바타의 위치 및 가상환경 물체의 위치를 동시에 인지하게 되어 뇌에서는 두가지 음향이 융합된 혼합 음향을 인지하게 된다.
실시 예에 따라, 사용자의 증상에 따라 처리되는 3D 음향의 크기는 조절될 수 있다. 또한 가상환경 물체(즉, 이명 배경)의 종류도 조절될 수 있다.
사용자 인터페이스부(150)는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 이명 치료 장치(100)의 다른 구성요소에 전달하는 기능을 수행하며, 사용자의 입력신호를 VR 영상 제어부(110)에 제공할 수 있다. 예컨대, 사용자 인터페이스부(150)는 사용자로부터 입력정보를 수신하기 위한 키보드, 조이스틱, 터치 패널 등 일련의 수단을 의미할 수 있다.
음향 출력부(160)는 사용자의 좌측 청각 및 우측 청각 각각에 개별적으로 3D 음향을 제공하기 위한 것으로서, 예컨대, 음향 출력부(160)는 사용자의 양쪽 귀를 덮는 헤드셋 형태로 제공될 수 있다. 디스플레이부가 HMD인 바 음향 출력부는 그러한 HMD에 구비되는 헤드폰 내지는 스피커라 생각해도 좋다.
실시 예에 따라, 음향 출력부(160)는 사용자의 좌측 및 우측 청각 중 이명이 발생하는 반대편 청각에만 3D 음향을 출력할 수도 있다. 즉, 좌측 또는 우측 어느 한쪽에서 발생하는 3D 음향이 타측에 출력되지 않도록 구현될 수 있다. 이는 이명이 발생하는 청각 영역의 치료 효율을 높이기 위함이다.
저장부(170)는 VR 영상, 이명 아바타, 이명 배경 등을 저장하며, 플래시(flash) 메모리 등과 같은 비휘발성 메모리 또는 DRAM(dynamic RAM) 등과 같은 휘발성 메모리로 구현될 수 있으나 이에 한정되는 것은 아니다.
도 2는 일 실시 예에 따른 이명 치료 장치의 동작을 설명하기 위한 흐름도이다.
도 2를 참조하면, 이명 치료 장치(100)는 사용자 또는 보조자로부터 사용자의 이명 증상과 관련된 주관적 이명 정보를 수신하여 사용자의 이명 증상을 판단할 수 있다(S100). 여기서, 주관적 이명 정보는 사용자가 느끼는 소음 종류(예를 들어, Beebp, Buzz, Crickets, Mechanism, Ocean, Whoosh, Wind_Noise 등과 같이), 이명의 좌측 청각 또는 우측 청각에서 발생 여부(예를 들어, 양측성이명, 일측성이명 등과 같이), 발생 빈도(예를 들어, 수초 간격, 수분 간격, 계속 지속 등과 같이), 이명 크기(예를 들어, 40dB, 45dB, 50dB, 55dB, 60dB, 65dB, 70dB 등과 같이) 등에 대한 정보가 포함될 수 있다. 일종의 커스터마이징 단계이다.
주관적 이명 정보의 수신은 키보드, 조이스틱, 터치 패널 등과 같은 사용자 인터페이스를 통해 이루어질 수 있다(도 3에서 터치 패널을 통해 주관적 이명 정보를 수신하는 예가 도시된다.).
이명 치료 장치(100)는 주관적 이명 정보에 기초하여 이명 아바타 및 이명 배경을 생성할 수 있다(S110).
이명 치료 장치(100)는 이명 아바타 및 이명 배경을 VR 영상의 기설정된 위치에 삽입하여 표시하고, 이명 아바타 및 이명 배경에 대응하는 3D 음향을 출력할 수 있다(S120).
이명 치료 장치(100)는 사용자로부터 수신된 입력신호에 대응하여 VR 영상의 표시를 제어할 수 있다(S130). 예컨대, 이명 치료 장치(100)는 사용자가 VR 영상 내에서 이동을 원하는 경우, 입력신호에 대응하여 사용자의 시점이 이동된 VR 영상을 표시할 수 있다.
이명 치료 장치(100)는 기설정된 조건 만족시 VR 영상 내에서 이명 아바타를 제거하고, 동시에 해당 이명 아바타에 의한 3D 음향 출력을 중단할 수 있다(S140). 일 실시 예에 따른 이명 치료 방법은 사용자에게 소음을 제공하고 중단하는 수동적으로 훈련이 아닌, 사용자의 능동적인 참여에 의해 이루어진다.
여기서, 기설정된 조건은 사용자가 VR 영상 내에서 이명 아바타의 위치를 찾아 이동하고, 사용자 인터페이스를 통해 이명 아바타를 휴지통 오브젝트에 투입하거나 임의의 조작을 수행하는 등으로 설정될 수 있다.
즉, 이명 치료 장치(100)는 사용자의 능동적인 작위 동작에 의해 기설정된 조건이 만족되면, VR 영상 내에서 이명 아바타를 제거함과 동시에 해당 이명 아바타에 의한 3D 음향 출력을 중단할 수 있고, 이로써 사용자는 시각적 이명 차단 효과 및 청각적 이명 차단 효과를 동시에 얻을 수 있다.
도 4는 일 실시 예에 따른 이명 치료 장치를 착용한 사용자의 시점을 판단하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, HMD 장치로 구현된 이명 치료 장치(100)는 사용자의 두부에 착용되기 때문에, 이명 치료 장치(100)의 움직임에 따라 사용자의 시선(AR)의 변화를 추정할 수 있다. 기본적으로 HMD 장치는 센서모듈을 탑재하고 있으며, 센서모듈은 HMD 장치의 움직임을 감지하여 x 좌표, y 좌표, z 좌표, 피치, 롤 등의 정보로 출력할 수 있다.
HMD 장치는 출력된 정보를 기초로 시선(AR)의 방향을 검출하고, 시선(AR)에 대응하는 배경영상을 구성할 수 있으며, 배경영상은 HMD 장치가 제공하는 시야각에 따라 달라지는데, 이러한 시야각은 HMD 장치의 프로젝터 및 광학계의 사양에 따라 달라질 수 있다.
따라서 HMD 장치는 센서모듈로부터 출력된 정보를 기초로 초점(Focus Point)으로부터 시선의 방향(Direction of View: DoV)을 구하고, 그 시선(AR)의 중심으로부터 영사모듈이 제공 가능한 시야각(Field of View angle: FoV)에 따라 가상공간에서 배경영상을 구현할 수 있다.
도 5는 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 이명 치료 장치(100)는 이명 아바타(OB) 및 이명 배경(SB1, SB2, SB3)이 포함된 VR 영상(IM)을 표시할 수 있다. VR 영상에는 사용자가 가상 환경을 실제 환경과 같이 느낄 수 있도록 배경 영상(BI)이 표시되며, 이명 아바타(OB)는 배경 영상에서 위화감을 주지 않는 객체로 표시될 수 있다. 이명 배경에 해당하는 오브젝트들(SB1, SB2, SB3)은 사용자에게 주관적 이명과의 융합 음향을 인지하도록 하며 사용자가 이명 아바타(OB)를 찾는 과정에 난이도를 상승시켜 치료 효과를 높일 수도 있다.
이명 치료 장치(100)는 VR 영상을 표시함과 동시에 3D 음향을 출력하며, 사용자와 이명 아바타(OB) 사이의 거리 및 사용자와 이명 배경(SB1, SB2, SB3) 사이의 거리, 사용자의 시점에 따른 좌측 청각 또는 우측 청각의 민감도를 고려하여 3D 음향의 출력을 제어할 수 있다.
이명 치료 장치(100)에 의한 이명 치료 방법은 사용자의 적극적인 참여에 의한 이명 증상 제거 또는 완화를 위한 것이어서, 이명 치료 장치(100)는 사용자에게 VR 영상 내에서 이명 아바타(OB)를 찾도록 임무를 부여하게 되며, 사용자는 사용자 인터페이스부(150)를 통해 입력신호를 제공하여 VR 영상의 표시를 변경할 수 있다.
만약, 사용자가 앞으로 전진하도록 사용자 입력신호를 제공하는 경우, 이명 치료 장치(100)는 전진된 시점의 VR 영상(IM')을 표시할 수 있다. 시점이 이동됨에 따라 VR 영상이 변화되고, 3D 음향의 출력도 변경된다. 즉, 이명 치료 장치(100)는 3D 영상 내에서 사용자가 이명 아바타(OB) 및/또는 이명 배경(SB1, SB2, SB3)에 가까워질수록 해당 이명 아바타에 의한 3D 음향의 출력 및/또는 해당 이명 배경에 의한 3D 음향의 출력을 높이게 된다. 예를 들어, IM에서 IM'으로 변화되면 이명 아바타(OB)에 의한 3D 음향은 좌우 공통적으로 커지고 이명 배경(SB3)에 의한 3D 음향은 좌우 모두가 커지되 좌측이 보다 커지며, 이명 배경(SB1, SB2)에 의한 3D 음향은 매우 작거나 소멸될 수 있다.
이명 치료 장치(100)는 사용자 입력신호에 대응하여 이명 아바타(OB)를 제어할 수 있는데, 만약 사용자가 VR 영상 내에서 이명 아바타(OB)를 휴지통 오브젝트(TS)에 넣는 방식으로 제거하는 경우 해당 이명 아바타(OB)에 의한 3D 음향 출력을 중단하게 된다. 중단 대신에 그 음향 출력 매우 작게 줄이는 실시예도 가능하다. 한편, 제거되지 않은 이명 배경(SB1, SB2, SB3)에 의한 3D 음향 출력은 중단되지 않고 해당 위치 정보/회전 정보에 맞는 3D 음향 출력이 지속됨을 주목한다.
도 6a 내지 도 6e는 다른 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다. 상술한 도 5에서와의 차이점을 위주로 설명한다.
도 6a를 참조하면, 이명 치료 장치(100)는 이명 아바타(OB), 이명 배경(SB1, SB2, SB3), 및 배경 영상(BI)이 포함된 VR 영상(IM)을 표시하며, 이명 아바타에 의한 3D 음향과 이명 배경에 의한 3D 음향이 융합된 혼합 음향인 3D 음향의 출력을 제어할 수 있다. 이때, 이명 아바타(OB)는 배경 영상(BI)에서 랜덤의 위치에 등장할 수 있다.
만약, 사용자가 시점을 변경하여 이명 아바타(OB)를 일정시간(일례로 5초) 이상 주시하는 사용자 입력신호를 제공하는 경우, 이명 치료 장치(100)는 이명 아바타(OB)를 영상 내 가상의 도구(VS)로 붙잡아 영상 내 가운데 놓은 듯한 상태로 표시할 수 있다(가운데 놓여짐에 따라 도 6b에서 도 6a 대비 더 큰 형태로 이명 아바타(OB_E)가 도시된다). 이 상태에서는 이명 아바타의 위치 변경(랜덤의 위치 -> 가운데)에 따라 이명 아바타에 의한 3D 음향의 출력을 높이게 된다(도 6b에서 이명 아바타에 의한 3D 음향의 출력을 파형으로 나타내는 그래픽 인터페이스(W_E)가 도시되며, 도 6a 대비 파형이 더욱 커졌음을 확인할 수 있다). 한편, 이명 아바타만 붙잡아 가운데 놓았으므로, 이명 배경에 의한 3D 음향은 원래 상태로 유지될 수 있다.
이명 치료 장치(100)는 사용자 입력신호에 대응하여 이명 아바타(OB_E)를 제어할 수 있는데, 만약 사용자가 VR 영상 내에서 가상의 도구(VS)로 이명 아바타(OB_E)의 테두리를 깎아내는 방식으로 적어도 부분적으로 제거하는 경우 해당 이명 아바타(OB_E)에 의한 3D 음향 출력도 그에 맞게 줄어들게 된다(도 6c에서 도 6b 대비 테두리가 깎아져서 작아진 이명 아바타(OB_E_SD)가 도시되며, 이명 아바타에 의한 3D 음향 출력 파형(W_SD)도 도 6b 대비 진폭이 줄었음을 확인할 수 있다).
이때, 깎아내는 과정을 사용자에게 직관적으로 전달할 수 있도록 도 6d에 도시된 바와 같이 가상의 도구(VS)에 의해 이명 아바타의 테두리가 찌그러져 표시될 수도 있고(OB_E_WP로 참조됨), 또한, 이명 아바타에 의한 3D 음향 출력 파형도 불규칙해져 깎는 소리를 재현한 것과 같은 음향을 출력할 수도 있다(W_WP로 참조됨).
일 실시예에 따라, 총 세 단계로 깎아내는 방식으로 제거하는 경우라면, 사용자가 가상의 도구를 이용해 이명 아바타의 테두리를 1차로 깎아낸 경우 기존보다 크기가 한 단계 줄어든 상태의 이명 아바타가 표시되고 이와 함께 이명 아바타에 의한 3D 음향 출력도 그에 맞게 한 단계 줄어든다. 계속하여 사용자가 가상의 도구를 이용해 이명 아바타의 테두리를 2차로 더 깎아낸 경우 기존보다 크기가 한 단계 더 줄어든 상태의 이명 아바타가 표시되고 이와 함께 이명 아바타에 의한 3D 음향 출력도 그에 맞게 한 단계 더 줄어든다. 이어서 사용자가 가상의 도구를 이용해 이명 아바타의 테두리를 3차로 깎아낸 경우 기존보다 크기가 한 단계 더 줄어든 상태의 이명 아바타가 표시되고 이와 함께 이명 아바타에 의한 3D 음향 출력도 그에 맞게 한 단계 더 줄어든다. 3D 음향 출력이 1차에서 3차로 단계별로 줄어드는 정도는 사용자가 자신의 작위에 의해(즉, 가상의 도구를 움직임으로써) 이명이 줄었음을 인지할 수 있도록 충분한 수준으로 줄어드는 것이 바람직하다(일례로 최초 70dB, 1차로 줄어들었을 때 50dB, 2차로 줄어들었을 때 30dB, 3차로 줄어들었을 때 10dB와 같이).
한편 상술한 가상의 도구(VS)는 햅틱 디바이스 또는 팬텀 햅틱 디바이스(200, 도 6e 참조)와 연동된 것일 수 있다. 이로써, HMD를 착용한 사용자는 HMD를 통해 머리의 움직임에 따른 시청각 정보를 제공받으면서 팬텀 햅틱 디바이스를 이용해 자신의 작위에 의해 상술한 가상의 도구를 움직이게 할 수 있다. 또한, 사용자는 이명 아바타를 깎아낼 때 직접 깎아내는 듯한 촉감각을 팬텀 햅틱 디바이스를 통해 전달받을 수 있다. 이는 촉각의 기능이 더해진, 초현실감(다중감각감)을 통한 이명 치료를 가능하게 한다.
이와 같이 일 실시 예에 따른 이명 치료 장치(100)는 사용자에게 소음을 제공하고 중단하는 수동적 훈련이 아닌, 사용자의 능동적인 참여에 의해 이루어지고 또한 사용자와 양방향 인터렉티브를 통해 이루어져 이명 치료 효율을 높일 수 있다.
도 7은 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템의 도면이다.
도 7을 참조하면, 사용자는 이명 치료 장치(100)에 탑재된 사용자 인터페이스부(150, 도 1)를 통해 사용자 입력신호를 입력할 수 있지만, 별도의 VR 영상 컨트롤러(200)를 통해 사용자 입력신호를 이명 치료 장치(100)에 제공할 수 있다. 도 1에서 상술한 사용자 인터페이스부에 더하여 또는 그에 대체하여 별도의 VR 영상 컨트롤러가 존재하는 것으로 생각해도 좋다.
VR 영상 컨트롤러(200)는 사용자의 전후 이동을 위한 버튼, 이명 아바타를 휴지통 오브젝트에 넣거나 던지는 등의 작위를 표시하기 위한 버튼을 포함할 수 있으나, 이에 한정되는 것은 아니며 사용자의 입력정보를 수신하기 위한 일련의 수단을 포함할 수 있다. VR 영상 컨트롤러는 일례로 사용자의 손의 움직임을 입력으로 전달 및 사용자에게 특정 촉감각을 출력으로 제공할 수 있는 햅틱 디바이스 또는 팬텀 햅틱 디바이스일 수 있다.
VR 영상 컨트롤러(200)와 이명 치료 장치(100)는 유선 또는 무선 통신을 통해 데이터를 송수신할 수 있으며, 예컨대 근거리 통신(블루투스, 와이파이 등과 같이)을 통해 데이터를 주고받을 수 있다.
이와 같이, 일 실시예에 따르면, 가상현실 내에 보고 있는 사용자(즉, 이명환자)는 가상환경에서 이명 치료음이 들리는 가상물체를 입체음향(즉, 3D 음향)을 통해서 확인 가능하다. 즉, 이명의 가상물체는 시각적인 가상물체를 통해서 확인이 가능하고, 입체음향을 통해서 위치를 확인할 수 있는 인터페이스가 제공된다.
상술한 바와 같이, 입체음향 가상현실 인터페이스는 가상 환경에서의 이명 잡음의 발생원에 대응하는 오브젝트의 위치/크기/회전 정보와 가상 환경에서 발생하는 소리원에 대응하는 오브젝트의 위치/크기/회전 정보를 가지고 있는 가상 이명 물체 및 가상환경 물체부, 가상 이명 물체의 위치 정보/회전 정보와 양측(좌측, 우측)의 음향 출력부의 위치/회전 정보를 받아서 양측의 음향 출력부의 소리의 시간과 음량 그리고 높낮이를 설정하는 입체음향 처리부, 및 상기 입체음향 처리부에서의 음향 설정값을 양측 음향 출력부에 음향과 상기 가상 이명 물체 및 가상환경 물체부의 시각 정보를 디스플레이부에 출력되는 영상을 제어하는 VR 영상 제어부를 포함할 수 있다.
이로써, 입체음향 가상현실 인터페이스는 가상 이명 물체 및 가상환경 물체의 위치/크기/회전 정보 변화에 따라서 입체음향 처리부가 실시간으로 음향의 시간과 음량 그리고 높낮이를 계산할 수 있다. 머리의 움직임에 따라서 음향의 시간과 음량 및 높낮이를 설정하는 함수인 HRTF 기반으로 제작한 입체음향 소프트웨어가 적용될 수 있다. 가상 이명 물체 및 가상환경 물체의 위치/크기/회전 정보가 검출되어 움직여지거나 다른 가상 물체로 인해 변화할 수 있다. 양측의 음향 출력부의 위치/회전 정보가 사용자의 머리의 움직임에 따라서 달라질 수 있다. 가상 이명 물체 및 가상환경 물체의 변화된 위치/크기/회전 정보가 디스플레이부로 영상 및 양측의 음향 출력부로 음향을 출력할 수 있다.
이를 위한 입체음향 가상현실 인터페이스는 다음의 핵심적인 구성으로 수행될 수 있다. 첫째, 컴퓨터 및 가상현실 기기는 사용자가 가상의 이명 물체 및 음향을 발생시키는 가상물체를 시각적으로, 청각적으로 가상 이명 물체와 가상현실 물체를 출력하고 가상의 위치에 이명 물체가 생성되도록 연산한다. 이를 통해서 가상현실의 음향을 가상 물체로 시각화를 할 수 있고, 청각적으로 가상의 위치에 가상물체가 있는 듯한 몰입감을 준다. 둘째, 입체음향 소프트웨어는 사용자의 위치와 가상 이명 위치를 계산하여 청각적으로 위치를 알 수 있게 양측 음향 출력부의 음향을 연산한다. 이를 통해서 가상 이명 물체의 위치를 청각적으로 인지할 뿐만 아니라 실제로 이명이 특정 위치에서 들리도록 만들어서 가상현실의 몰입감을 높인다.
<실험예>
본 연구에서는 만성 주관적 이명 환자에서 VR의 가능성을 평가했다. 임상적 이점에 대한 평가는 VR 기반 완화 프로그램에 환자가 참여한 후 6-8주 후 환자 뇌파도(electroencephalogram; EEG) 분석과 설문 응답을 기반으로 수행되었다. 임상 시험은 고등 교육 병원에서 수행되었다. 3개월 이상 만성 주관적 이명으로 병원을 찾은 19명의 환자(33-64세)가 연구에 등록되었다. 개입(intervention)은 VR에서 이명 아바타를 폐기하는 것으로 구성되었다. 환자들이 본 개입을 통해 이명을 통제하는 주관적인 느낌을 가질 것으로 기대했다. VR 환경은 침실, 거실, 레스토랑 및 도시 거리의 네 가지 설정에서 네 가지 세션으로 구성되었다. 표준화된 저해상도 뇌 전자 단층 촬영을 사용하여 이 환자의 이명과 관련된 전두엽 영역의 근원 활동 변화를 분석했다. VR 기반 이명 치료 프로그램 후 이명 핸디캡 인벤토리(Tinnitus Handicap Inventory; THI), 총점(50.11에서 44.21, P = 0.046) 및 등급(3.16에서 2.79, P = 0.035)이 유의하게 향상되었다(P < 0.05). Pittsburgh Sleep Quality Index도 개선된 결과를 보였다(P = 0.025). 반면, 이명 장애 설문지(Tinnitus Handicap Questionnaire), 삶의 질 평가(Quality of Life Assessment; WHO-QOL), HAD척도(Hospital Anxiety and Depression Scale), 기분 상태 프로필(Profile of Mood States)에서는 중재 후 큰 변화가 없는 것으로 나타났다. 기준선 EEG 데이터는 안와전두피질의 뇌 활동이 알파 및 세타 주파수 대역에서 유의하게 증가함을 보여주었다. 또한 중재 후 THI 점수가 개선된 환자는 안와전두피질의 세타 및 높은 베타 밴드에 대한 뇌 활동의 특정 증가를 보였다. 본 연구 결과는 인지 행동 치료의 일부에서와 같이 가상 현실 기반 프로그램이 만성 주관적 이명 환자의 이명 관련 고통을 완화하는 데 도움이 될 수 있음을 시사한다.
가상 현실(VR) 시스템은 360° 시각 디스플레이, 공간 음향 및 햅틱 피드백을 통해 사용자에게 존재감과 몰입감을 제공할 수 있다. 이러한 현실적인 사용자 경험은 VR이 실행 가능한 임상 치료 방법이 될 수 있음을 시사한다. 본 연구에서는 VR 환경에서 이명 소리를 발생시키는 물체(VR 아바타)를 환자가 조작하고 제거할 수 있도록 함으로써 이명 완화로 이어질 수 있는 제어감을 제공하는 것을 목표로 하였다. 환자가 이명 아바타를 가리키고 탐색하는 것에서 더 나아가 이명 아바타를 잡아서 쓰레기통에 던져 실제로 제거하고 있다. 따라서 환자는 이명 아바타를 지우면 이명을 조절할 수 있다고 느끼게 된다.
실험이 완료된 후 설문지, 뇌파도(electroencephalogram; EEG) 및 표준화된 저해상도 뇌 전자 단층 촬영(standardized low-resolution brain electromagnetic tomography; sLORETA)을 사용하여 이명 환자 치료를 위한 이 VR 기반 중재의 효과를 평가했다. 프로그램 전후에 수집된 참가자의 EEG 데이터 분석을 통해 청각 및 비청각 피질 또는 피질하 네트워크의 변화 요인을 평가할 수 있었다. 이 과정을 통해 본 연구에서는 VR이 이명 및 관련 증상을 줄이기 위한 선택 치료법으로 유용성을 판단하고자 했다.
방법
환자 및 설문지
이명을 주증상으로 내원한 환자(19~80세) 중 만성 비박동성 이명이 3개월 이상 지속되고 모국어로 원활한 의사소통이 가능하며 연구 참여에 동의한 환자를 선정하였다. 직업 또는 취미 활동으로 소음에 자주 노출되는 환자와 HMD 기반 VR 프로그램 운영에 어려움이 예상되는 환자는 제외하였다. 최종적으로 이명 환자 19명(남성 9명, 여성 10명)이 본 연구에 참여하였다.
환자의 병력, 인구통계학적 정보, 건강검진, 활력징후(혈압, 심박수, 체온, 호흡수), 체중, 키, 일상생활능력을 포함한 신체검사를 이에 따라 평가하였다. 또한 연구 전 이명, 신경학적, 심리적인 문제를 제외하고 이명과 관련된 기저질환 및 치료 이력을 확인한 후, 이들 환자들에 대해 실험 전후 청력도 및 이명 증상을 함께 조사하여 불필요한 편향과 관련된 사례를 배제하였다.
이명 관련 고통의 중증도와 관련된 THI, THQ, 시각 수치 척도(visual numeric scale; VNS)를 포함하는 이명 자체에 대한 설문지를 통해 실험 전후 환자 상태를 평가하였다. 이는 결과 측정으로 설계된 것은 아니지만 이명이 일상 생활에 미치는 영향을 평가하는 간단하고 쉽게 관리할 수 있는 심리 측정학적으로 강력한 측정이며 국가 의료 시스템에서 널리 사용된다. 이명을 동반한 우울증, 불안, 수면장애에 대한 PSQI, WHO-QoL, POMS, HADS 등 이명 관련 증상에 대한 설문지를 작성하였다. 또한 VR 시스템 사용 후 발생할 수 있는 실험 후 환자의 증상을 평가하기 위해 시뮬레이터 질병 설문지(simulator sickness questionnaire; SSQ)를 시행하였다.
실험 프로토콜
먼저, 주파수와 음량을 일치시켜(by matching the frequency and loudness) 각 환자의 주관적 이명(subjective tinnitus)을 모방하도록 이명 아바타(tinnitus avatar)를 만들었다. 신호에 의해 확립된 인지된 이명(perceived tinnitus)의 음향 모델링(acoustic modelization)은 환자의 이명 지각의 스펙트럼 및 강도(spectrum and intensity)와 일치한다. 이것은 주관적 이명(subjective tinnitus)과 반대쪽 귀(contralateral ear)에 제시된 일치하는 자극(the matched stimulus) 사이에 융합 과정이 발생할 수 있음을 나타낸다. 메인 트리트먼트 세션(main treatment session) 전에 튜토리얼 세션(tutorial session)이 진행되었다. 이명 아바타는 구글 공명 사운드 소프트웨어 개발 키트(software development kit; SDK)의 머리 관련 전달 함수(head-related transfer function; HRTF)로 구현된 공간적 이명 사운드(spatial tinnitus sounds)를 생성하도록 설계되었다. 참가자들은 VR 환경에서 이동하는 방법과 이명 아바타를 처리하는 작업을 수행하는 방법을 배웠다(도 8). 이명 아바타는 HRTF를 사용하여 5가지 유형(휘파람, 치찰음, 포효, 허밍 및 울리는 소리)의 3D 이명 소리를 생성했다. 참가자들은 이명 아바타를 찾기 위해 청력을 사용해야 했다. 참가자는 왼쪽 VIVE 컨트롤러에 있는 트랙패드의 상단과 하단을 눌러 가상 환경에서 이동할 수 있다. 일정 거리 이내에 접근하면 이명 아바타를 볼 수 있었다. 오른쪽 VIVE 컨트롤러의 트리거 버튼을 눌러 이명 아바타를 잡고 있을 때 아바타의 색상이 변경되고 오른쪽 VIVE 컨트롤러에 진동 피드백이 생성되어 참가자에게 이명 아바타를 캡처했음을 알렸다. 그런 다음 참가자들은 가상 환경 장면에서 이명 아바타를 이명 처리 장소로 이동했다(도 9). 이명 아바타를 버리자 이명 소리가 급격히 줄어들었다. 이명 VR 중재 세션(tinnitus VR intervention sessions)을 위해 각 도시의 거리, 식당, 거실 및 침실 장면에 대해 두 세트의 가상 환경이 개발되었다. 이명 처리 장소는 각 가상 세트의 시끄러운 장면에 배치되어(즉, 침실 입구, 거실의 텔레비전 옆, 식당의 주문 카운터, 도시 거리의 자동차 후드), 이명 소리를 훨씬 더 큰 환경 소음(environmental noises)으로 흡수하는 인지적 환상(cognitive illusion)을 만들었다. 각 치료 세션 동안 세 차례의 이명 아바타 처리 작업이 수행되었다.
환자들은 병원을 4번 방문했고 1~2주마다 VR 이명 중재(VR tinnitus intervention)를 경험했다(도 10). 실험 참여에 동의한 사람들은 첫 방문에서 내시경적 고막 검사와 청력/이명 검사를 받은 후 설문지를 받았다. 그들은 첫 번째 방문부터 세 번째 방문까지 총 3개의 세션 동안 VR 이명 중재 시스템을 경험했다. 첫 방문 동안 VR 이명 중재 시스템을 경험하기 전에 뇌파 상태를 확인하기 위해 뇌파 검사를 받았다. 첫 번째 세션(도시 거리)에 이어 튜토리얼 세션이 이어졌다. 참가자들은 두 번째 방문에서 두 번째(식당 장면) 및 세 번째(거실 장면) 세션을 모두 수행했다. 그들은 세 번째 방문에서 네 번째 세션(침실 장면)을 수행했다. 세션은 시퀀스를 진행하면서 환경 소음의 볼륨을 줄이도록 배열되었다(도 11). 네 번째 세션이 끝난 후 참가자들은 SSQ 설문지와 EEG 테스트를 받았다.
sLORETA를 사용한 소스 현지화
본 연구에서는 EEG 데이터를 기반으로 하는 두피 기록 활동에서 뇌내 전기 소스를 분석할 수 있는 sLORETA 소프트웨어를 사용했다. EEG 데이터를 사전 처리하고 참가자당 30개의 에포크를 준비했다. 이 에포크는 6개의 주파수 대역(델타, 1-4Hz; 세타, 4-8Hz; 알파, 8-12Hz; 낮은 베타, 12-18Hz; 높은 베타, 18-30Hz; 및 감마, 30-55Hz)에 대해 분석되었다. sLORETA에서 소스 이미지는 6239개의 복셀(크기 5 Х 5 Х 5mm) 집합으로 공간적으로 모델링되었다. 이 층들은 편도체, 해마 및 피질 회백질에서 얻은 것이다. sLORETA 데이터는 디지털화된 몬트리올 신경학 연구소(Montreal Neurological Institute; MNI) 152 좌표를 Talairach 좌표로 재구성한 것을 기반으로 했다.
이명에 대한 이전 문헌을 기반으로 전두엽 영역에서 10개의 ROI를 선택했다. 각 ROI는 하나 또는 두 개의 Brodmann 영역으로 구성되었다(표 1: 선택된 RIO 및 BA). 또한 SPSS를 사용하여 각 ROI에 대한 현재 소스 밀도를 비교했다.
Figure PCTKR2022019137-appb-img-000001
결과
1차 결과 측정은 실험 전후 환자 상태 및 이명과 관련된 증상에 대한 설문 결과였다. 탐색적 결과 측정은 10개의 ROI에 대한 현재 소스 밀도였다. SSQ를 이용한 VR 멀미(VR sickness)에 대한 설문 결과는 또 다른 척도를 제공했다.
통계 분석
기술 통계는 결과를 분석하는 데 사용되었다. THI 점수 및 이명 등급의 개선은 치료 전 측정치에 대한 차이의 변화를 이용하여 보고하였다. 처리 전 및 처리 후 차이는 절대값을 사용하여 보고되었다. 설문지에서 발견된 차이의 통계적 유의성은 Wilcoxon 부호 순위 검정(Wilcoxon signed-rank test)을 사용하여 평가되었다. 치료 전과 후의 절대값은 각 참가자에 대해 쌍을 이루었고 통계적 유의성은 p가 0.05 미만인 것으로 간주하였다. 모든 데이터는 SPSS(버전 20.0; SPSS, Chicago, Illinois, USA)를 사용하여 분석되었다. 또한 ROI 분석에서 치료 전후의 EEG 데이터 차이에 대해 THI 점수로 구분된 하위 그룹에서 치료 전과 치료 후의 EEG 데이터 사이의 Wilcoxon 부호 순위 테스트와 Mann-Whitney U 테스트를 수행했다. (THI < 0: n = 12, THI ≥ 0: n 7). 본 연구에서는 이명 관련 고통의 개선을 탐색적 수준에서 반영할 수 있는 잠재적인 EEG 지표를 조사하기 위해 다중 비교 보정을 수행하지 않고 유의 수준을 0.050으로 간주하였다.
결과
환자 인구 통계 및 임상 특징
비박동성 이명을 가진 19명의 환자가 이 연구를 위해 선택되었다. 평균 참가자 연령은 56.40(± 8.19)세였다. 참가자들은 평균 7.34년 동안 이명 증상을 경험했다. 양쪽에서 각각 8명의 환자, 좌측에서 8명, 우측에서 3명의 환자가 이명을 경험하였다. 이명 음량의 평균은 5.42 SL(sensation level; 감각 수준)이었다. 모든 유형의 이명을 배제하지 않고 연구했다. 환자 중 누구도 메니에르병, 고막 관련 질병 또는 기타 신경학적 상태가 없었다. 정신 질환이 있는 환자는 연구에서 제외되었다(표 2: 환자 인구 통계 및 임상 특징).
Figure PCTKR2022019137-appb-img-000002
연구 참가자에게 제공된 설문지 분석
참가자들은 VR 프로그램에 참여하기 전과 후에 동일한 이명 관련 설문지를 작성했다. 이명은 이명과 밀접한 관련이 있는 THI와 PSQI에 근거한 치료 후 호전되었다. THI 기능 점수(P = 0.005), 총점(P = 0.046), 등급(P = 0.035)에서 통계적으로 유의한 차이가 관찰되었다(표 3: 연구 참가자에게 실시된 설문지 결과. THI: 이명 장애 목록; PSQI: 피츠버그 수면 질 지수; THQ: 이명 장애 설문지; WHO-QoL: 세계보건기구 삶의 질 평가; HADS: 병원 불안 및 우울증 척도; POMS: 기분 상태의 프로필). 도 12는 프로그램 전후에 개인의 총 THI 점수 변화에 따른 이명 완화 효과를 보여준다. 통계적으로 유의한 변화와 달리 임상적으로 의미 있는 변화는 THI33에 대해 최소 7점을 포함하는 것으로 정의되었다. 본 샘플에서 19명의 환자 중 6명이 이 역치를 충족했다(37%). 그러나 THI 점수와 PSQI 사이에는 상관 관계가 없었다. 이명과 관련된 증상을 평가하기 위한 도구인 다른 설문지는 통계적으로 유의한 차이를 보이지 않았다.
Figure PCTKR2022019137-appb-img-000003
SSQ34의 경우 총 점수는 다음 공식을 사용하여 계산되었다. 총 점수 = 메스꺼움 점수 + 안구 운동 점수 + 방향 감각 상실 Х 3.74). 본 시스템의 메스꺼움, 안구 운동, 방향 감각 상실 및 총점은 각각 48.20, 58.25 및 74.73이었다(표 4: SSQ에서 파생된 메스꺼움, 안구 운동, 방향 감각 상실 및 총 점수의 분석. sd: 표준 편차). 가중치 적용 후 총점은 32.81점이었다.
Figure PCTKR2022019137-appb-img-000004
EEG 데이터 분석
VR 기반 이명 중재술 이전의 뇌파 데이터와 비교하여 소스 위치 분석 결과를 바탕으로 VR 이후의 뇌파 데이터를 분석하고 이에 따른 전전두피질의 ROI를 비교하였다. 안와전두피질(OFC)의 ROI에서 상당한 차이가 관찰되었다. 그 결과, 좌안와전두피질(OFC, 10 L, 11 L)에서 VR 치료 프로그램 후 모든 환자에서 알파(P=0.030)와 세타(P=0.040) 밴드가 유의하게 증가한 것으로 나타났다(도 13). 구체적으로, THI 점수가 개선된 환자군에서 좌측 OFC(10L, 11L)에서 세타(P=0.003)와 높은 베타(P=0.005)의 유의한 증가가 확인되었다.
또한 각 밴드의 변화에 대해 THI 점수가 개선된 환자군과 THI 점수가 개선되지 않은 환자군을 비교 평가하였다. 그 결과 THI 점수(THI < Grade 2, THI > Grade 3)를 기준으로 분리된 환자군(THI < Grade 2, THI > Grade 3)에서 왼쪽 OFC(10 L 및 11 L)의 세타(P = 0.007)와 높은 베타(P = 0.001) 대역에서 통계적으로 유의한 차이를 보였다.
또한 THI 점수의 변화가 특정 밴드의 근원 활성도 변화와 상관관계가 있는지 여부를 알아보기 위해 모든 환자군에서 비모수적 상관관계 분석을 시행한 결과 왼쪽 OFC에서(r = - 0.627, P = 0.004) THI 점수의 변화와 높은 베타 대역의 증가 간에 유의한 음의 상관관계가 있음을 확인하였다. 동일한 과정을 통해 세타 밴드를 분석한 결과, 좌측 OFC에서(r = - 0.490, P = 0.033) THI 점수와 ta 밴드 값 사이에 유의한 상관관계가 있음을 확인하였다. THI의 하위 척도에 대한 자세한 분석에서 THI 감정 점수와 왼쪽 OFC의(r = - 0.494, P = 0.032) 세타 값 사이에 유의한 상관 관계가 있음을 발견했다.
또한, THI 점수가 개선된 환자 그룹, 왼쪽 OFC 영역의 알파(P = 0.028), 낮은 베타(P = 0.012) 및 감마(P = 0.015) 밴드는 치료 프로그램 후에 유의했다. 유사한 변화가 알파(P = 0.041) 및 세타(P = 0.023) 밴드의 오른쪽 OFC 영역에서 발견되었다. 또한 THI가 개선된 하위 그룹에서 왼쪽 sgACC 영역에서 실험을 수행한 환자 그룹의 변화를 관찰했다. THI가 개선된 환자군에서 분석한 결과, 세타(P = 0.023) 및 감마(P = 0.028) 밴드가 이에 따라 이 영역에서 증가하는 경향이 있었다.
논의
본 연구는 이명환자의 행동인지치료의 일부인 VR 기반 심리 중재의 가치를 시각적, 청각적, 촉각적 현실감이 높은 VR 시스템을 이용하여 평가하였다. 본 연구에서는 이 방법이 중증 이명 환자의 회복에 사용될 수 있다는 가정에서 시작했다. 설문지에 대한 본 분석은 VR 기반 개입이 이명 및 관련 증상을 완화시키는 것으로 나타났다. THI 및 PSQI 점수는 특히 총점, 등급 및 기능 상태에서 상당한 개선을 보였다. 이명 관련 고통의 정도를 측정하고 심리적 고통을 예측하는 데 유용한 THI는 개인에 따라 다르지만 총 19명의 환자 중 12명의 환자에서 점수가 향상되었다. 수면의 질을 나타내는 PSQI도 중재 후 낮아져 프로그램이 중증 이명으로 인한 불면증 등 관련 증상 완화에 도움이 된 것으로 나타났다. 한편, 다른 문항들이 통계적으로 유의한 차이를 보이지 않은 이유는 이명과 관련된 간접적인 요인을 평가하고 있으며, 치료기간이 짧기 때문에 그 변화가 작았을 수 있기 때문이다.
본 VR 시스템은 SSQ 분석 결과 멀미가 상대적으로 낮은 것으로 나타났다. 선행 연구에서 만성 통증 환자에 대한 VR 치료 시스템의 SSQ 점수는 55.72, VR 휠체어 훈련 시뮬레이터 시스템의 SSQ 점수는 200 이상이었다. 반면 본 VR 시스템의 SSQ 점수는 32.81이었다. SSQ 점수가 낮을수록 멀미가 적음을 나타낸다. VR 시스템의 낮은 SSQ 점수는 시스템 자체가 멀미 문제를 일으키지 않았음을 나타낸다. 또한 실험 전후의 EEG 데이터를 주의 깊게 분석했다. 해당 분석은 VR 치료 프로그램 후 모든 환자군에서 왼쪽 안와전두피질에서 알파 밴드와 세타 밴드의 근원 활성이 증가했음을 확인했다.
일반적으로 변연계는 이명 및 팬텀 소리와 같은 음향 기능과 매우 관련이 있다. 이것은 소음 제거 시스템과 관련될 수 있는 변연계와 청각 시스템 간의 상호 작용 때문이다. 이 시스템은 뇌의 전전두엽 피질계의 상응하는 변화로 인해 발생하는 이명 유발 스트레스와 밀접하게 연결되어 있다. 최근, 이명을 분리된 하위 네트워크가 상호 작용하는 통합된 인식으로 제안하는 이명의 통합 모델에서 안와전두피질(OFC)이 이명의 감정적 구성요소를 담당하는 피질 영역으로 제안되었다. 특히, 이러한 영역은 시상과 측좌핵을 통과하는 동안 원치 않는 감각 신호를 억제하기 위해 주의 및 감정 조절을 지향하는 역할을 한다. 더욱이, PFC의 경미한 구조적 및 기능적 이상이 이명 환자에서 종종 관찰된다. 최근 연구에 따르면 OFC는 알파 주파수 대역에 대한 OFC의 수치적 평가 척도(NRS) 고통의 백분율 개선 및 OFC의 소스 국부 피질 전력 변화와 양의 상관 관계가 있음을 보여주었고, 이것은 이 피질 영역과 상관관계가 있는 유쾌함의 느낌에 관한 억제적 활동보다는 흥분성 활동과 관련이 있다. 또한 이러한 연구와 유사하게 EEG 결과에서도 OFC의 알파 밴드와 이명 사이의 연결이 확인되었다. 맞춤형 VR 중재 후 환자의 EEG 결과는 흥분성 기능의 증가를 나타내는 알파 밴드의 근원 활성이 증가하여 이명 발생과 관련된 감정 조절 시스템의 회복으로 제안되었다.
본 연구에서는 또한 OFC에서 증가된 세타 활성을 관찰했다. 선행 연구에서는 음악 치료를 통한 이명 개선 그룹의 세타 변화에 대한 근원 위치 분석을 통해 변화의 주요 원인이 상측두이랑과 같은 청각 처리 영역과 OFC과 같은 상위 감정 및 인지 처리 영역에서 시작된 것으로 나타났다. 또한 변연계 영역의 이상 및 세타 활성 변화는 이명 환자에서 자주 관찰되는데, 이는 이명과 관련된 정서적 기억의 축적을 유발할 수 있는 불확실성을 완화하기 위한 불충분한 감각 입력에 대한 보상으로 기억에서 청각 정보를 검색하는 것으로 해석된다. 또한, 이전 연구 결과에 따르면 작업을 시작하기 위한 제어 및 작업 기억 기능에도 역할을 하는 OFC는 증가된 세타 활동으로 표현될 수 있는 변연계에 연결되어 있다. 따라서 본 연구에 참여한 이명 환자에 대한 결과는 인지 제어, 특히 다감각 작업 및 기억 과정에서 억제 집행 제어가 향상되었다는 증거가 될 수 있다. 이것은 본 VR 프로그램에 의한 증상의 완화로 인한 이명 환자의 하향식 작업 수행 및 인지 조절 개선에서 이 영역과 상관관계가 있는 위상 고정 세타 활성으로 인해 발생할 수 있다.
본 연구에서는 THI 점수가 개선된 환자 그룹에 대해 추가 분석을 수행했으며 왼쪽 OFC에서 세타 및 높은 베타의 유의한 증가가 확인되었다. 또한, 비교 평가를 실시한 결과, 좌측 OFC의 세타 및 높은 베타 대역에서 통계적으로 유의한 차이를 보였다.
베타 밴드는 감정 시스템과 관련된 OFC 영역에서 알파 밴드와 유사한 역할을 한다. 위에서 제안한 바와 같이 베타 밴드는 이명의 불쾌한 감정과 밀접한 관련이 있다. 이와 같이 베타 밴드는 전전두엽 피질 시스템에 대한 전방 대상, 편도체 및 섬을 활성화하는 변연계로 구성된 네트워크에 의해 감지되는 고통의 변화의 표현이다. 본 결과에서와 같이 베타 밴드가 증가하면 감정 처리와 관련이 있고 차례로 이명 완화 시스템과 밀접하게 관련된 precuneus와 OFC 및 DLPFC(dorsolateral prefrontal cortex) 사이의 기능적 연결이 활성화될 수 있다. 이것은 이명으로 인한 자극을 억제하고 완화하기 위해 주의력 및 정서적 조절을 지향할 수 있다.
또한, THI 점수가 개선된 환자군에서 좌측 OFC 영역의 알파, 저 베타, 감마 밴드는 유의하지 않았으나 치료 프로그램 후에 증가하는 경향을 보였다. 따라서 이러한 결과는 상술한 바와 같이 보다 상세한 분석을 통해 추가적인 요인이 발견되었음을 시사하며, 모든 환자군에서 볼 수 있는 좌측 OFC 영역의 알파밴드 증가에 따른 결과적 일치성을 시사한다. 알파 및 세타 밴드의 오른쪽 OFC 영역에서도 유사한 변화가 발견되었다. 또한 THI가 감소된 하위 그룹의 leftsgACC 영역에서 실험에 참여한 환자 그룹의 변화를 관찰했다. sgACC 영역은 긍정적 감정, 각성 처리 네트워크 및 오류 감지 기능을 밀접하게 조절하며 이명 및 만성 통증 및 외상 후 스트레스 장애와 같은 유사한 장애로 인한 부작용에도 관여한다. 또 다른 연구에 따르면 ACC의 더 높은 활동은 환자가 느끼는 더 높은 수준의 이명 고통을 예측한다. THI가 개선된 환자 그룹에 대한 분석으로 인해 이 영역에서 세타 및 감마 밴드가 증가하는 경향이 있었으며 이는 처리 시스템의 복원과 관련이 있을 수 있다.
또한 모든 환자군에서 비모수적 상관관계 분석을 통해 VR 치료 프로그램을 경험한 후 THI 점수의 변화가 특정 밴드의 근원 활성도 변화와 상관관계가 있음을 확인하였으며, THI 점수의 변화와 OFC의 높은 베타 밴드 증가 사이에 유의한 음의 상관관계가 있음을 확인하였다(r = - 0.627). 즉, 높은 베타 밴드 값이 증가하면 환자에서 THI 점수가 향상되었다. 또한 동일한 과정을 통해 세타 밴드를 분석한 결과 OFC에서 THI score와 세타 밴드 값(r = - 0.490) 간에 유의한 상관관계가 있음을 확인하였다. 이러한 결과는 본 실험을 통해 수행된 VR 중재 프로그램이 THI 점수의 상관관계를 통해 이명 관련 고통을 임상적으로 개선하는 데 효과적임을 보여주고 이는 EEG를 통한 뇌 신호의 변화에 의해 검증된다. 본 연구는 이명 관련 고통의 중심 표현과 관련된 피질 영역을 포함하는 것으로 보이는 중재 관련 변화에 대한 이해를 제공한다.
본 연구에서는 VR 프로그램에 노출된 후 이명과 관련된 뇌피질의 기능적 차이를 평가하고 이 프로그램이 특히 OFC 및 sgACC 영역에서 뇌 수준의 변화를 유도함을 확인하였다. 이러한 변화는 관련 지역에서 교란된 네트워크의 재변조로 이어질 수 있으며 교란된 경로의 변조에 영향을 미칠 수 있다. 본 연구의 VR 프로그램을 통해 참가자는 청각 자극을 시각화할 수 있었고, 이는 이명을 처리하고 조절하는 OFC 및 sgACC 메커니즘의 변화를 일으켜 이명을 감소시켰다. 즉, 인지, 기분, 애정과 관련된 이들 영역의 역할은 이명의 예 및 그 영향과 밀접한 관련이 있으며 이는 이명의 기본 병태생리에 대한 단서가 될 수 있다. 더욱이, EEG에 나타난 대역 차이는 이러한 기능의 상보적 네트워크 활성화를 나타낸다. 따라서 인지 행동 치료는 이명 발생의 변화와 이명의 지속적인 경험을 유발할 수 있다.
결론
만성 자각성 이명은 환자의 삶에 여러 가지 나쁜 영향을 미치며 현재까지 진정으로 성공적인 치료법은 없다. 이용 가능한 치료법 중 인지행동치료가 최근 각광받고 있다. 그러나 환자들의 많은 관심과 순응이 필요한 한계가 있다. 따라서 본 연구에서는 인지 행동 치료 치료의 일부가 될 수 있는 실제 경험을 사용자에게 제공할 수 있는 VR 개입 시스템의 잠재력을 평가하려고 한다. 본 연구에서는 이명 발생 시스템과 관련된 이명 증상의 완화 및 EEG 패턴의 변화를 감지했으며, 이명 환자를 치료하는 새로운 방법을 찾을 수 있을 것으로 기대된다.
상술한 일 실시예에 따른 이명 치료 및 증상 완화를 위한 입체음향 가상현실 인터페이스는 이명에 대한 재활기기에 적용할 수 있으며, 컴퓨터를 활용하여 적용 가능하다. 이명에 대한 증상 완화 및 치료 분야 등 다양한 분야에 적용될 수 있다.
이와 같이, 일 실시예에 따르면, 가상현실에 존재하는 이명과 가상환경의 소리의 위치적인 정보를 구할 수 있는 인터페이스를 제공할 수 있다. 가상 이명 물체와 가상환경 물체의 소리를 통해서 몰입감 있는 이명이 들리는 일상 상황을 시뮬레이션 할 수 있도록 한다. 이명 소리를 단순히 들려주는 종래기술의 치료법에서 보다 나아가 가상의 일상 공간에서 이명 소리를 듣는 것을 경험하도록 하는 것으로서, 기존 인지행동치료의 자극 자체를 넘어서 실제와 같은 환경에서 자극을 들리게 함으로써 일상 환경에서의 이명 스트레스를 더욱 효과적으로 줄일 수 있는 시뮬레이션 환경을 제공할 수 있다.
도 14는 일 실시예에 따른 이명 치료 장치의 하드웨어 구현의 예를 도시한다. 일 실시예에 따른 이명 치료 장치(1000)는 사용자 인터페이스(1010), 프로세서(1020), 메모리(1030), HMD(1040), 및 햅틱 디바이스(1050)를 포함할 수 있다.
사용자 인터페이스(1010)는 사용자로부터 주관적 이명 정보를 획득할 수 있다. 주관적 이명 정보는 사용자가 느끼는 소음 종류, 이명의 좌측 청각 또는 우측 청각에서 발생 여부, 발생 빈도, 이명 크기 등을 포함할 수 있다. 사용자 인터페이스(1010)는 주관적 이명 정보를 획득하는 키보드, 조이스틱, 터치 패널 등을 포함할 수 있다.
프로세서(1020)는 메모리(1030)에 저장된 주관적 이명 시각화 모델을 이용하여 주관적 이명 정보로부터 사용자가 인지하는 주관적 이명을 시각화하여 가상 이명 물체를 생성할 수 있고, 메모리(1030)에 저장된 VR 환경 모델을 이용하여 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체를 생성할 수 있다. 또한, 프로세서(1020)는 가상 이명 물체의 위치 및 가상환경 물체의 위치를 사용자에게 인지시키기 위해 3D 음향 처리를 수행할 수 있다. 또한, 프로세서(1020)는 햅틱 디바이스(1050)에 의해 입력되는 사용자 입력신호에 대응하여 VR 영상에서 표시되는 가상 이명 물체를 제어하고, 가상 이명 물체의 제어에 대응하여 3D 음향의 출력을 변경할 수 있다. 다만, 프로세서(1020)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 13에서 설명된 동작들을 수행할 수도 있다.
메모리(1030)는 주관적 이명 시각화 모델 및 VR 환경 모델을 저장할 수 있다. 주관적 이명 시각화 모델은 주관적 이명 정보로부터 가상 이명 물체를 생성하는 알고리즘으로 구성될 수 있다. VR 환경 모델은 특정 가상환경(침실, 거실, 레스토랑, 도시 거리 등)에 존재하는 가상환경 물체를 생성하는 알고리즘으로 구성될 수 있다. 메모리(1030)는 일 실시예에 따른 이명 처리 방법을 수행하기 위해 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(1030)는 주관적 이명 정보, 가상 이명 물체, 가상환경 물체, 사용자 입력신호 등을 저장할 수 있다.
HMD(1040)는 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하고 3D 음향을 출력할 수 있다. HMD(1040)는 사용자 입력신호에 대응하여 제어되는 가상 이명 물체를 표시할 수도 있고, 그에 따라 변경된 3D 음향을 출력할 수도 있다.
햅틱 디바이스(1050)는 VR 영상 내 컨텐츠를 변경하기 위한 사용자 입력신호를 입력받고, VR 영상 내 컨텐츠 변경에 따라 그에 상응하는 촉감각을 사용자에게 전달할 수 있다.
일 실시예에 따른 장치(1000)는 이명환자에 커스터마이징된 이명 아바타를 생성 및 가상환경에 제공하고, 사용자의 능동적인 참여에 의해 이명 아바타를 VR 영상 내에서 제어할 수 있도록 한다. 또한, 사용자의 능동적인 촉각의 기능이 더해진, 초현실감(다중감각감)을 통한 이명 치료를 가능하게 한다.
일 실시예에 따른 인터페이스는 다양한 형태의 전자 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 발명의 다양한 실시예들은 기기(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치)의 프로세서(예: 프로세서)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 발명에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 발명의 기술 사상은 상기 바람직한 실시예들에 따라 구체적으로 기록되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상 범위내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
[부호의 설명]
100: 이명 치료 장치
110: VR 영상 제어부
120: 디스플레이부
130: 가상 이명 물체 및 가상환경 물체부
140: 입체음향 처리부
150: 사용자 인터페이스부
160: 음향 출력부
170: 저장부
200: VR 영상 컨트롤러

Claims (16)

  1. 사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부;
    상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부;
    상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부;
    상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및
    사용자 인터페이스부로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고,
    상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  2. 제1항에 있어서, 상기 VR 영상 제어부는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  3. 제2항에 있어서, 상기 VR 영상 제어부는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단하면서 상기 가상환경 물체에 의한 상기 3D 음향의 출력은 유지하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  4. 제1항에 있어서, 상기 VR 영상 제어부는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄이는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  5. 제1항에 있어서,
    상기 3D 음향은 상기 가상 이명 물체에 의한 3D 음향과 상기 가상환경 물체에 의한 3D 음향이 융합된 혼합 음향인 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  6. 제1항에 있어서, 상기 음향 출력부는,
    상기 사용자의 양쪽 귀에 각각 음향을 출력하는 좌측 음향 출력부와 우측 음향 출력부로 구성되는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  7. 제1항에 있어서, 상기 입체음향 처리부는,
    상기 VR 영상 내에서 상기 사용자와 상기 가상 이명 물체간 떨어진 거리 및 상기 사용자와 상기 가상환경 물체간 떨어진 거리에 대응하여 상기 3D 음향의 시간과 음량 및 높낮이를 조절하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  8. 제7항에 있어서, 상기 입체음향 처리부는,
    머리의 움직임에 따라서 음향의 시간과 음량 그리고 높낮이를 설정하는 함수인 HRTF(Head-Related Transfer Function) 기반으로 구현된 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  9. 제1항에 있어서, 상기 디스플레이부는,
    외부와 차단된 폐쇄형 시야 환경을 제공하는 HMD(Head Mounted Display)로 제공되는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  10. 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템으로서,
    이명 치료 장치; 및
    상기 이명 치료 장치와 네트워크를 통해 연결되어 상기 이명 치료 장치로 사용자 입력신호를 입력하는 VR 영상 컨트롤러;를 포함하되,
    상기 이명 치료 장치는,
    사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부;
    상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부;
    상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부;
    상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및
    상기 VR 영상 컨트롤러로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고,
    상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템.
  11. 사용자로부터 주관적 이명 정보를 획득하는 사용자 인터페이스;
    상기 획득된 주관적 이명 정보로부터 상기 사용자가 인지하는 주관적 이명을 시각화하여 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체를 생성하고, 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해 3D 음향 처리를 수행하는 프로세서;
    피검자에게 상기 가상 이명 물체 및 상기 가상환경 물체가 삽입된 VR 영상을 표시하고 상기 3D 음향을 출력하는 HMD; 및
    상기 VR 영상 내 컨텐츠를 변경하기 위한 사용자 입력신호를 입력받고, 상기 VR 영상 내 컨텐츠 변경에 따라 그에 상응하는 촉감각을 사용자에게 전달하는 햅틱 디바이스;를 포함하되,
    상기 프로세서는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경하는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  12. 제11항에 있어서, 상기 프로세서는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄이는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  13. 제11항에 있어서, 상기 프로세서는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체의 크기를 단계적으로 줄임과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄이는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  14. 제13항에 있어서,
    상기 가상 이명 물체의 크기가 단계적으로 줄어드는 수준과 상기 가상 이명 물체에 의한 상기 3D 음향의 출력이 단계적으로 줄어드는 수준은 서로 상응하는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  15. 제11항에 있어서,
    상기 햅틱 디바이스는 상기 가상 이명 물체의 크기가 단계적으로 줄어들 때 그에 상응하는 촉감각을 발생시켜 사용자에게 전달하는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
  16. 제11항에 있어서,
    상기 햅틱 디바이스는 팬텀 햅틱 디바이스인, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
PCT/KR2022/019137 2021-12-21 2022-11-30 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법 WO2023121031A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210183392 2021-12-21
KR10-2021-0183392 2021-12-21
KR10-2022-0124459 2022-09-29
KR1020220124459A KR20230095789A (ko) 2021-12-21 2022-09-29 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법
KR1020220156867A KR20230094967A (ko) 2021-12-21 2022-11-22 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법
KR10-2022-0156867 2022-11-22

Publications (1)

Publication Number Publication Date
WO2023121031A1 true WO2023121031A1 (ko) 2023-06-29

Family

ID=86902979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019137 WO2023121031A1 (ko) 2021-12-21 2022-11-30 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법

Country Status (1)

Country Link
WO (1) WO2023121031A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210338969A1 (en) * 2014-03-19 2021-11-04 Copa Animal Health, Llc Sensory stimulation or monitoring apparatus for the back of neck

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210338969A1 (en) * 2014-03-19 2021-11-04 Copa Animal Health, Llc Sensory stimulation or monitoring apparatus for the back of neck

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALAIN LONDERO ; ISABELLE VIAUD-DELMON ; ALEXIS BASKIND ; OLIVIER DELERUE ; STéPHANIE BERTET ; PIERRE BONFILS ; OLIVIER WARUSFEL: "Auditory and visual 3D virtual reality therapy for chronic subjective tinnitus: theoretical framework", VIRTUAL REALITY, SPRINGER-VERLAG, LO, vol. 14, no. 2, 25 September 2009 (2009-09-25), Lo , pages 143 - 151, XP019807173, ISSN: 1434-9957 *
PARK DONG HEUN, HAN SANG SUN, HAN MUNSOO, PARK SEONGBIN, KIM HAE NIM, KIM JIYEON, AAN HOJUN, KIM JIMOON, KIM SUNGKEAN, KIM KIBUM, : "A clinical trial of a patient-customized virtual reality intervention for tinnitus", SCIENTIFIC REPORTS, vol. 12, no. 1, 12441, 20 July 2022 (2022-07-20), XP093073877, DOI: 10.1038/s41598-022-16764-5 *
SNOSWELL AARON J, SNOSWELL CENTAINE L: "Immersive Virtual Reality in Health Care: Systematic Review of Technology and Disease States", JMIR BIOMEDICAL ENGINEERING, vol. 4, no. 1, 26 September 2019 (2019-09-26), pages e15025, XP093073876, DOI: 10.2196/15025 *
WOLF DENNIS; RIETZLER MICHAEL; HNATEK LEO; RUKZIO ENRICO: "Face/On: Multi-Modal Haptic Feedback for Head-Mounted Displays in Virtual Reality", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, IEEE, USA, vol. 25, no. 11, 1 November 2019 (2019-11-01), USA, pages 3169 - 3177, XP011748058, ISSN: 1077-2626, DOI: 10.1109/TVCG.2019.2932215 *

Similar Documents

Publication Publication Date Title
Si-Mohammed et al. Towards BCI-based interfaces for augmented reality: feasibility, design and evaluation
Bourdin et al. A virtual out-of-body experience reduces fear of death
Tieri et al. Mere observation of body discontinuity affects perceived ownership and vicarious agency over a virtual hand
Dementyev et al. DualBlink: a wearable device to continuously detect, track, and actuate blinking for alleviating dry eyes and computer vision syndrome
Serino et al. Peripersonal space: an index of multisensory body–environment interactions in real, virtual, and mixed realities
Maselli et al. Sliding perspectives: dissociating ownership from self-location during full body illusions in virtual reality
Koticha et al. Effectiveness of virtual reality eyeglasses as a distraction aid to reduce anxiety among 6–10-year-old children undergoing dental extraction procedure
Park et al. Effects of the aural and visual experience on psycho-physiological recovery in urban and rural environments
McCreadie et al. Is sensorimotor BCI performance influenced differently by mono, stereo, or 3-D auditory feedback?
Neugebauer et al. Navigation aid for blind persons by visual-to-auditory sensory substitution: A pilot study
Waterworth et al. Altered, expanded and distributed embodiment: the three stages of interactive presence
Meyer et al. Modulation of visually evoked postural responses by contextual visual, haptic and auditory information: a ‘virtual reality check’
WO2018101590A1 (ko) 이명 치료 시스템
Gordon et al. Interactive gaming reduces experimental pain with or without a head mounted display
WO2018152454A1 (en) Treatment of ocular disorders using a content guide for viewing images
Ghaderi et al. A wearable mobility device for the blind using retina-inspired dynamic vision sensors
Rossi Sebastiano et al. Diametrical modulation of tactile and visual perceptual thresholds during the rubber hand illusion: A predictive coding account
Groth et al. Omnidirectional galvanic vestibular stimulation in virtual reality
JP6611145B1 (ja) 三人称視点ｖｒシステム及びその使用方法
JP2022529730A (ja) Ｍｒｉスキャナ対応仮想現実システム
Moss et al. Simulator sickness during head mounted display (HMD) of real world video captured scenes
KB et al. Design of eyegaze-sensitive virtual reality based social communication platform for individuals with autism
WO2023121031A1 (ko) 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법
Juravle et al. Perceptual and decisional attenuation of tactile perception during the preparation of self-versus externally-generated movements
Kvansakul et al. Sensory augmentation to aid training with retinal prostheses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911664

Country of ref document: EP

Kind code of ref document: A1