WO2018174507A1 - 가상현실을 이용한 신경질환 진단 장치 및 방법 - Google Patents

가상현실을 이용한 신경질환 진단 장치 및 방법 Download PDF

Info

Publication number
WO2018174507A1
WO2018174507A1 PCT/KR2018/003203 KR2018003203W WO2018174507A1 WO 2018174507 A1 WO2018174507 A1 WO 2018174507A1 KR 2018003203 W KR2018003203 W KR 2018003203W WO 2018174507 A1 WO2018174507 A1 WO 2018174507A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
virtual reality
hidden
screen
reality device
Prior art date
Application number
PCT/KR2018/003203
Other languages
English (en)
French (fr)
Inventor
나덕렬
김고운
진주희
이병화
최종두
최지현
한효빈
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to CN201880014036.1A priority Critical patent/CN110430802B/zh
Priority to US16/496,100 priority patent/US11826160B2/en
Priority to EP18772442.2A priority patent/EP3603491A4/en
Publication of WO2018174507A1 publication Critical patent/WO2018174507A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an apparatus and method for diagnosing neurological diseases, and to diagnose neurological diseases such as dementia by using virtual reality, so that the diagnosis can be conveniently performed without giving mental stress to the user.
  • a method of diagnosing dementia through a psychological questionnaire is generally performed.
  • the method of diagnosing dementia through psychological questionnaire requires long-term questionnaire in the office environment, which can put stress or stress on the patient, which may lead to a decrease in the accuracy of the test.
  • Other methods for diagnosing dementia include imaging brain images using MRI equipment to diagnose dementia progression, and analyzing biomarkers for analyzing dementia progression by analyzing blood or cerebrospinal fluid extracted from patients with dementia. ) Or a method of diagnosing dementia by measuring brain waves (EEG or MEG).
  • EEG brain waves
  • the present invention has been made to solve the above problems, using a computer and virtual reality equipment to easily diagnose neurological diseases such as dementia, and can reduce the discomfort and mental stress of the user during the diagnosis of neurological diseases.
  • the purpose is to make it.
  • the virtual reality device provides a virtual reality environment by the image, the display for displaying the image; Sensing unit for detecting the user's motion; A communication unit communicating with an external device; And a controller configured to display a virtual reality image on the display based on a problem for diagnosing a neurological disease received from the external device through the communication unit, and to perform a test for diagnosing the neurological disease while detecting a user's motion through the sensing unit. It is made, including.
  • the problem for diagnosing the neurological disease is configured to include a first screen that introduces and hides at least one object in a virtual reality space and a second screen that includes a question about the at least one object.
  • the first screen may be configured such that an avatar appears to hide the at least one object in a specific space or a specific furniture.
  • the background of the first screen and the second screen may be configured to be identical to the internal environment of a home where the user resides.
  • the neurological disease diagnosis problem may be divided into a problem having any one of a plurality of difficulty levels, and may be configured to increase the number of hidden objects as the difficulty increases.
  • the second screen includes a recall step for diagnosing whether a user remembers a hidden object, a recognition step for diagnosing whether the user distinguishes a hidden object from another object, and diagnosing whether the user can associate a hidden object with a place. It may be configured to perform at least one or more of the matching step for.
  • the second screen for performing the recalling step may include a first user interface for sequentially displaying the hidden objects and asking the user to ask where the displayed objects are hidden.
  • the second screen for performing the recognition step displays a package screen in which the hidden objects are mixed with new objects not introduced in advance, and the user is asked to distinguish the hidden objects and the new objects on the package screen. It may include a second user interface to speak.
  • the second screen for performing the matching step may include a third user interface for displaying the virtual reality space in which the at least one objects are hidden and allowing the user to directly navigate and find the hidden objects.
  • the control unit may be a first condition that is the distance traveled by the user, a second condition that is the time required for the user to solve the problem for diagnosing the neurological disease, and a third condition that is an answer sheet prepared based on the voice or motion of the user.
  • a result processing module for calculating a score based on the.
  • the result processing module may calculate the score by applying a preset weight to each of the first to third conditions.
  • the controller may be configured to compare the calculated score with a reference score, and determine that the user is normal if the calculated score is equal to or greater than the reference score.
  • a method for driving a virtual reality device that provides a virtual reality environment based on an image to a user includes: receiving a problem for diagnosing a neurological disease from an external device; Displaying a virtual reality image on a display based on the problem for diagnosing a neurological disease, and performing a test using the virtual reality image according to a user's motion detected through a sensing unit; And transmitting information related to a test that is performed by using the virtual reality image to the external device.
  • the displaying of the virtual reality image may include displaying a first screen that introduces and hides at least one object in a virtual reality space, and displays a second screen including a question about the at least one object. It includes a step.
  • a virtual reality device can be used to conveniently and easily test for neurological diseases such as dementia.
  • the examination is done through a virtual reality environment that feels like the real world, and the burden on the patient is reduced by using images that the user can comfortably deal with, such as the internal environment of the home where the user lives. It can greatly reduce mental stress.
  • FIG. 1 is a block diagram of a dementia diagnosis system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a PC according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a virtual reality device according to an embodiment of the present invention.
  • FIG. 4 is an operation flowchart of a dementia diagnosis system according to an embodiment of the present invention.
  • FIG. 5 is an operation flowchart of a dementia diagnosis system according to another embodiment of the present invention.
  • FIG. 6 is an operation flowchart of a virtual reality device according to an embodiment of the present invention.
  • 7 to 12 are examples illustrating a method for diagnosing dementia by performing a hidden object searching test using the dementia diagnosis system of the present invention
  • 13 to 23 is another example illustrating a method for diagnosing dementia by performing a hidden object search test using the dementia diagnosis system of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • Neurodegenerative disorders for example Alzheimer's disease (AD), vascular disease dementia, frontal temporal lobe dementia (FTD), cortical basal degeneration (CBD), advanced nucleus palsy (PSP), Louis Bovine dementia, tangle-predominant senile dementia, Pick's disease (PiD), argyrophilic grain disease, amyotrophic lateral sclerosis (ALS), other motor neuron diseases, Guam Parkinsonism-dementia complex, FTDP-17, Lytico-Bodig disease, multiple sclerosis, traumatic brain injury (TBI) and Parkinson's disease are possible.
  • AD Alzheimer's disease
  • FDD frontal temporal lobe dementia
  • CBD cortical basal degeneration
  • PSP advanced nucleus palsy
  • ALS tangle-predominant senile dementia
  • PiD Pick's disease
  • ALS amyotrophic lateral sclerosis
  • other motor neuron diseases Guam Parkinsonism-dementia complex
  • the dementia diagnosis system 100 is a PC (computer, 101), virtual reality device 102, network 162, smart phone 104 , Server 106, and the like.
  • the virtual reality device 102 may be a display device worn on a user's head and capable of displaying an image directly in front of the user's eyes.
  • the virtual reality device 102 may be configured as a wearable glass or a head mount display (HMD).
  • the virtual reality device is denoted by the HMD 102 for convenience of description.
  • the virtual reality device 102 may take the form of glasses and may have a transparent display or an opaque display. Accordingly, the virtual reality device 102 may allow the user who wears it to recognize that the user is in the virtual reality space.
  • the virtual reality device 102 may further include a speaker, a microphone, a motion detection sensor, and the like, as well as a display for the user to experience the virtual reality.
  • the virtual reality device 102 will be described in detail later with reference to FIG. 3.
  • the PC 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, a communication interface 170, and the like.
  • the bus 110 may include circuitry that connects the components 110-170 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit, an application processor, or a communication processor.
  • the processor 120 may execute operations or data processing related to control and / or communication of at least one other component of the PC 101.
  • Memory 130 may include volatile and / or nonvolatile memory.
  • the memory 130 may store instructions or data related to at least one other component of the PC 101, and may store software and / or a program 140.
  • the program 140 may include a kernel 141, middleware 143, an application programming interface (API) 145, an application 147, and the like, and the kernel 141, middleware 143, and API 145. At least a portion of may be referred to as an operating system.
  • API application programming interface
  • the input / output interface 150 transmits a command or data input from a user or another external device to another component of the PC 101 or transmits a command or data received from another component of the PC 101 to the user or another external device.
  • the display 160 may include a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or the like.
  • the display 160 may include a touch screen, and may receive a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 170 enables the PC 101 to communicate with external devices such as the virtual reality device 102, the smartphone 104, the server 106, and the like through various wireless or wired communications.
  • Wireless communication methods include LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), and Global System for Mobile Communications (GSM). It may include cellular communication using at least one, and may include short-range communication.
  • the short range communication method may include at least one of wireless fidelity (WiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, and near field communication (NFC).
  • the wired communication scheme may include at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a reduced standard-232 (RS-232), a power line communication, and a plain old telephone service (POTS).
  • USB universal serial bus
  • HDMI high definition multimedia interface
  • RS-232 reduced standard-232
  • POTS plain old telephone service
  • Network 162 may include a telecommunications network, such as a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • a computer network eg, LAN or WAN
  • the Internet e.g., a GSM network
  • telephone network e.g., a GSM network
  • All or some of the operations executed in the PC 101 may be executed in cooperation with the smartphone 104 or the server 106.
  • the PC 101 when the PC 101 is to perform a function or service automatically or by request, the PC 101 may at least be associated with or instead of executing the function or service on its own. Some functionality may be requested from the smartphone 104 or the server 106. The smartphone 104 or server 106 may then execute the requested function or additional function and transmit the result to the PC 101.
  • the PC 101 can provide the requested function or service by processing the received result as it is or additionally.
  • the system of the present invention may use cloud computing, distributed computing, or client-server computing technology.
  • FIG. 2 is a block diagram illustrating a PC according to an embodiment of the present invention, and may include a processor 120, a memory 130, a communication interface 170, a display 160, an input / output interface 150, and the like. .
  • the processor 120 may include a content selecting unit 122 and a diagnosis result calculating unit 124.
  • the content selector 122 may receive information about the second user from the first user through the input / output interface 150 and select a problem based on any one of contents stored in the memory 130.
  • the first user may be a person who determines whether the second user has dementia as a professional person who undergoes a dementia test, for example, a doctor or a nurse as an examiner.
  • the second user may be a test subject who is a subject of a dementia test and who visits a hospital and is checked for dementia.
  • the first user may select any one of the problems provided by the content selecting unit 122 to allow the PC 101 to transmit the selected problem to the virtual reality device 102.
  • the PC 101 receives information for selecting at least one content or information for selecting a problem mapped to the at least one content from the first user, and determines a problem for examination based on the received information. 102).
  • the content selection unit 122 may refer to the examination record of the second user by referring to the user information storage unit of the memory 130, and automatically select and recommend content based on the reference result.
  • the content selector 122 may inform the first user of the same or similar content as the dementia test content which was examined last time by referring to the examination record of the second user through the display 160.
  • the content selection unit 122 may detect dementia based on an interrupt received from the virtual reality device 102 after the PC 101 transmits a problem for dementia check to the virtual reality device 102. It is possible to readjust the type or difficulty of the problem, and to send the readjusted dementia problem to the virtual reality device 102.
  • the interrupt received from the virtual reality device 102 may be generated by the virtual reality device 102 when the dementia test result of the second user through the virtual reality device 102 is lower than a reference threshold.
  • the virtual reality device 102 may generate an interrupt and transmit the interrupt to the PC 101 when the dementia test score of the second user is less than 50 points based on 100 points.
  • the virtual reality device 102 transmits an interrupt so that the second user may solve the problem of proper difficulty. Can be solved. Therefore, the present invention enables more accurate diagnosis of dementia, and may be used to improve brain function by performing brain training step by step when used by a dementia patient.
  • the diagnostic result calculator 124 of the processor 120 may receive test result information from the virtual reality device 102 and calculate a diagnostic result based on the test result information.
  • the diagnosis result calculator 124 may generate a report based on the calculated diagnosis result and output the generated report through the display 160.
  • the diagnosis result calculator 124 may generate a scoring result by comparing the correct answers of the problems transmitted to the virtual reality device 102 with a choice selected by the second user through the virtual reality device 102. .
  • the scoring result may be calculated based on 100 points.
  • the diagnosis result calculator 124 may calculate a scoring result for each problem item and generate a report based on the calculation result.
  • the plurality of problems transmitted from the PC 101 to the virtual reality device 102 may include attention content, space-time capability content, memory content, execution ability content, language capability content, computing ability content, and the like stored in the memory 130. It may be selected from at least one of the sound cognitive content.
  • the diagnosis result calculator ( 124 may calculate the scoring result of the memory content and the scoring result of the executive capability content, respectively. Therefore, the present invention can separately analyze the memory and execution ability of the examination subject, that is, the second user who has been examined.
  • the diagnosis result calculator 124 may store the diagnosis result in the user information storage unit 130h.
  • the memory 130 includes the attention concentration content 130a, the space-time capability content 130b, the memory content 130c, the executive ability content 130d, the language ability content 130e, the calculation ability content 130f, and the sound cognitive content ( 130g) and the like.
  • Attention content 130a may include content consisting of problems of finding the same picture or evaluating the word attention.
  • the spatiotemporal capability content 130b may include content composed of problems evaluating perceptual power or an initial combination ability.
  • the memory content 130c may include content with problems such as memorizing a flag, card memory, or number memory.
  • Execution capability content 130d may include content consisting of issues that complete picture or assess categorization and similarity capabilities.
  • the language capability content 130e may include content consisting of questions evaluating word fill or word search capabilities.
  • Computing capability content 130f may include content comprised of problems evaluating the ability to compute arithmetic operations.
  • the sound cognitive content 130g may include content consisting of problems such as finding a picture that matches sound or searching in order of hearing.
  • FIG. 3 is a block diagram illustrating a virtual reality device 102 according to an embodiment of the present invention, wherein the controller 310, the display 320, the sensing unit 330, the communication unit 380, the memory 370, and the user are shown in FIG.
  • the input unit 360 may include a power supply unit 340 and an output unit 350.
  • the sensing unit 330 may include at least one camera 332 and a sensor 334.
  • the camera 332 photographs an object in a real space.
  • the object image photographed by the camera 332 may be a moving image image or continuous still image images.
  • the virtual reality device 102 may be, for example, a glasses type device having a communication function and a data processing function.
  • the camera facing the second user in the virtual reality device 102 worn by the second user. 332 may photograph an object in a real space.
  • the camera 332 may photograph at least a part of the body of the second user.
  • the camera 332 may photograph the eye of the second user.
  • the virtual reality device 102 may include an eye tracking camera 332 facing the face of the second user, and may track the second by tracking at least one of a head pose, eyelids, and pupil of the second user. You can track your eyes.
  • the camera 332 may photograph the hand of the second user.
  • the virtual reality device 102 may include a hand tracking camera that tracks the hand of the second user, which tracks the second by tracking at least one of the back of the second user's hand, finger, wrist, or the like. User's hand gestures can be tracked.
  • the sensor 334 may detect a state of the virtual reality device 102 or a state around the virtual reality device 102 and transmit the detected information. For example, the sensor 334 may obtain wearing state information in which the second user wears the virtual reality device 102.
  • the senor 334 may include a geomagnetic sensor 334, an acceleration sensor 334, a gyroscope sensor 334, a proximity sensor 334, an optical sensor 334, a depth sensor 334, and an infrared sensor ( 334, an ultrasonic sensor 334, and the like.
  • the communication unit 380 allows the virtual reality device 102 to output an image and to transmit and receive information necessary for adjusting the output image with a device such as a PC 101, a smartphone 104, a server 106, or the like. .
  • the memory 370 may store information necessary for the virtual reality device 102 to display the image 320 and adjust the image based on the tilt of the virtual reality device 102.
  • the memory 370 may store information about a reference wearing state in which the virtual reality device 102 is worn at a position most suitable for the second user to receive an image.
  • the memory 370 may store reference wearing state information including an image of a body part of the second user acquired in the reference wearing state and characteristic values detected from an image of the body part obtained in the reference wearing state. Can be.
  • the user input unit 360 receives a user input for controlling the virtual reality device 102.
  • the user input unit 360 may receive a touch input, a key input, or the like for the virtual reality device 102.
  • the user input unit 360 may receive a gesture input of the second user photographed from the camera 332.
  • the power supply unit 340 supplies power required for the operation of the virtual reality device 102.
  • the power supply unit 340 may include a battery (not shown) capable of charging power, and may include a cable (not shown) or a cable port (not shown) capable of receiving power from the outside.
  • the output unit 350 outputs information received from the communication unit 380, processed by the controller, or stored in the memory 370 in at least one of light, sound, and vibration.
  • the output unit 350 may include a speaker 352 for outputting audio data.
  • the speaker 352 may output a sound signal associated with a function (eg, a signal reception sound, a message reception sound, and a notification sound) performed in the virtual reality device 102.
  • the controller 310 may control the overall operation of the virtual reality device 102.
  • the controller 310 executes programs stored in the memory 370 to display the display 320, the sensing unit 330, the communication unit 380, the memory 370, the user input unit 360, and the output unit ( 350, and the power supply unit 340.
  • the controller 310 may communicate with the PC 101 or the smartphone 104 to receive a problem for diagnosing dementia, and store the received problem in the memory 370 to execute the problem.
  • the virtual reality device 102 may be connected to the PC 101 or the smartphone 104 through wireless communication, short-range communication, wired communication, and the like, and a problem image for diagnosing dementia from the PC 101 or the smartphone 104. By receiving the information about, the image may be output to the display 320 of the virtual reality device 102.
  • the controller 310 displays a virtual reality image on the display 320 based on a problem for diagnosing a neurological disease received from an external device such as a PC 101 or a smartphone 104 through the communication unit 380, and the sensing unit 330. ) Detects the user's motion and proceeds to the diagnosis for neurological disease.
  • various processes required for the implementation and inspection of virtual reality may be performed, and various information may be exchanged with an external device. For example, whether a user wears a virtual reality device, user's gaze, voice, gesture, etc. detected user information, a second user's answer based on the detected information, and a second user's answer Various information related to an inspection performed using a virtual reality image such as a scoring result may be transmitted to an external device in real time or at a prescribed time point.
  • a problem for diagnosing dementia provided from the virtual reality device 102 may include a first screen that hides and then hides at least one object in the virtual reality space and a question about the at least one object. It may include a second screen including.
  • the background of the first and second screens is preferably configured to be the same as the home environment of the second user. This is to provide a comfortable psychological state for the user diagnosed with dementia.
  • the first screen may be an image in which an avatar appears to hide at least one object in a specific space or a specific furniture.
  • the second screen is a recall step for diagnosing whether the user remembers a hidden object, a recognition step for diagnosing whether the user distinguishes a hidden object from another, and a matching step for diagnosing whether the user can associate a hidden object with a place. It can be configured to perform.
  • the virtual reality device 102 may sequentially display hidden objects and provide a first user interface that allows the user to speak by asking where the displayed objects are hidden.
  • the virtual reality device 102 displays a package screen that mixes hidden objects and new objects that have not been introduced in advance, and asks the user to speak by asking the user to distinguish hidden objects and new objects on the package screen.
  • a user interface can be provided.
  • the virtual reality device 102 may provide a third user interface for displaying at least one virtual reality space where the at least one objects are hidden and allowing the user to directly navigate to find the hidden objects.
  • the problem for diagnosing dementia may be configured to have any difficulty level in each of a plurality of stages, for example, the first to ninth stages, and the number of hidden objects increases as the difficulty increases from the first stage to the ninth stage. Can be.
  • the virtual reality device 102 may directly calculate the result when the second user's dementia diagnosis problem solving is completed.
  • the controller of the virtual reality device 102 is an answer sheet prepared based on a first condition, which is the distance traveled by the user, a second condition, which is the time required for the user to solve all the problems for diagnosis of dementia, and a voice or an operation of the user. It may include a result processing module (not shown) for calculating the score based on the third condition.
  • the result processing module may calculate a score by assigning a preset weight to each of the first to third conditions.
  • the result processing module may set a high weight on the first condition, which is the distance traveled by the user, or set a high weight on the second condition, which is the time required for the second user to solve all the problems for diagnosis of dementia.
  • the weight may be set higher for the third condition, which is the answer sheet prepared based on the voice or motion.
  • the calculated score may be compared with the reference score, and if the calculated score is greater than or equal to the reference score, the second user may be determined to be normal.
  • the result processing module may transmit the calculated score to an external device such as the PC 101 or the smartphone 104 through the communication unit 380.
  • FIG. 4 is an operation flowchart of a dementia diagnosis system according to an embodiment of the present invention.
  • the virtual reality device 102 communicates with the PC 101 or the smartphone 104
  • the virtual reality device 102 communicates with the PC 101 for convenience of description below. do.
  • the operation in which the virtual reality device 102 and the PC 101 communicate may be performed between the virtual reality device 102 and the smartphone 104, and at least one operation performed in the PC 101. Can be performed by the smartphone 104.
  • the virtual reality device 102 may sense (401) that the second user wears the virtual reality device 102.
  • the virtual reality device 102 may generate a sensing signal based on the sensed result and transmit the generated sensing signal to the PC 101 ( 403).
  • the PC 101 may output a screen so that the first user can recognize that the second user wears the virtual reality device 102 in response to the sensing signal received from the virtual reality device 102.
  • the PC 101 may output a user interface for requesting input of content for diagnosing dementia of the second user.
  • the PC 101 may receive an input for selecting a problem and difficulty mapped to the content from the first user through the user interface (405).
  • the PC 101 may transmit the test problem and difficulty information to the virtual reality device 102 based on the information selected from the first user (407).
  • the test problem may include attention content 130a stored in the memory of the PC 101, space-time capability content 130b, memory content 130c, executive ability content 130d, language ability content 130e, It may be a problem included in at least one of the calculation capability content 130f, the sound perception content 130g, and the user information storage unit 130h.
  • the virtual reality device 102 may test 409 based on the test problem and difficulty information received from the PC 101.
  • the virtual reality device 102 may sense a line of sight, voice, or gesture of the second user using a sensor and a camera, and prepare an answer of the second user based on the sensed result. When the test is completed, the virtual reality device 102 may transmit data corresponding to the written answer to the PC 101 (411).
  • the virtual reality device 102 may sense a gaze, voice, or gesture of a second user, and store the sensed result in a buffer on a specific time basis.
  • the virtual reality device 102 may transmit the signal stored in the buffer to the PC 101 in real time.
  • the PC 101 may receive data corresponding to the answer written from the virtual reality device 102, and score the answer of the second user based on the received data (413).
  • the PC 101 may compare the scoring result score with the reference score (415), and generate and output a report based on the compared result (419).
  • the PC 101 may output a screen requesting to reselect the problem and the difficulty level of the problem. This is to readjust the problem and difficulty to accurately diagnose dementia when the test result score of the second user is significantly lower.
  • the reference score may be a score set to determine whether to proceed with the test of the second user again.
  • the PC 101 may receive an input for reselecting a problem or difficulty from the first user and generate data including the changed problem and difficulty (417).
  • the PC 101 may transmit data having the reselected problem or difficulty to the virtual reality device 102 (421).
  • the virtual reality device 102 may proceed with the test based on the test problem and difficulty information received from the PC 101 (423).
  • the virtual reality device 102 may sense a gaze, voice, or gesture of the second user by using a sensor and a camera, and prepare a second answer of the second user based on the sensed result.
  • the virtual reality device 102 may transmit data corresponding to the written answer to the PC 101 (425).
  • the PC 101 may receive data corresponding to the answer written from the virtual reality device 102, and score the answer of the second user based on the received data (427).
  • the PC 101 may compare the scoring result score with the reference score (415), and generate and output a report based on the compared result (419).
  • FIG. 5 is an operation flowchart of a dementia diagnosis system according to another embodiment of the present invention.
  • the virtual reality device 102 directly scores the selected answer of the second user and displays the scoring result in a PC ( 101).
  • the scoring result score and the reference score may generate an interrupt to readjust the problem or difficulty, and transmit the generated interrupt to the PC (101).
  • the virtual reality device 102 may sense 501 that the second user wears the virtual reality device 102.
  • the virtual reality device 102 may generate a sensing signal based on the sensed result and transmit the generated sensing signal to the PC 101 ( 503).
  • the PC 101 may output a screen so that the first user can recognize that the second user wears the virtual reality device 102 in response to the sensing signal received from the virtual reality device 102.
  • the PC 101 may output a user interface for requesting input of content for diagnosing dementia of the second user.
  • the PC 101 may receive an input for selecting a problem and difficulty mapped to the content from the first user through the user interface (505).
  • the PC 101 may transmit the problem and difficulty information for testing to the virtual reality device 102 based on the information selected from the first user (507).
  • the PC 101 may transmit not only the test problem but also the data corresponding to the correct answer to the virtual reality device 102.
  • the test problem may include attention content 130a stored in the memory of the PC 101, space-time capability content 130b, memory content 130c, executive ability content 130d, language ability content 130e, It may be a problem included in at least one of the calculation capability content 130f, the sound perception content 130g, and the user information storage unit 130h.
  • the virtual reality device 102 may proceed with the test based on the test problem and difficulty information received from the PC 101 (509).
  • the virtual reality device 102 may sense a line of sight, voice, or gesture of the second user using a sensor and a camera, and prepare an answer of the second user based on the sensed result.
  • the virtual reality device 102 may score an answer of the generated second user (511).
  • the virtual reality device 102 may compare the scoring result score with the reference score (513) and transmit data based on the compared result to the PC 101 (515).
  • the PC 101 may generate a report based on the scoring result received from the virtual reality device 102 (529).
  • the virtual reality device 102 may generate an interrupt requesting to reselect the problem and the difficulty of the problem and transmit the interrupt to the PC 101 (517 and 519). This is to readjust the problem and difficulty to accurately diagnose dementia when the test result score of the second user is significantly lower.
  • the reference score may be a score set to determine whether to proceed with the test of the second user again.
  • the PC 101 may output a screen requesting to reselect the problem and the difficulty level of the problem in response to the interrupt provided from the virtual reality device 102.
  • the PC 101 may receive an input for reselecting a problem or difficulty from the first user and generate data including the changed problem and difficulty (521, 523).
  • the virtual reality device 102 may proceed with the test based on the test problem and difficulty information received from the PC 101 (523).
  • the virtual reality device 102 may sense a gaze, voice, gesture, etc. of the second user by using a sensor and a camera, and prepare an answer of the second user based on the sensed result.
  • the virtual reality device 102 may score an answer of the generated second user (525).
  • the virtual reality device 102 may compare the scoring result score with the reference score (513) and transmit data based on the compared result to the PC 101 (527).
  • the PC 101 may generate a report based on the scoring result received from the virtual reality device 102 (529).
  • the virtual reality device 102 is created based on whether the user wears the virtual reality device, information detected through various sensors such as the user's gaze, voice, and gesture, and the detected information.
  • the information related to the inspection that is conducted using the virtual reality image such as the answer of the second user's answer and the scoring result of the second user's answer, in real time or at a prescribed time point to an external device that works with the PC or smart phone. I can send it.
  • FIG. 6 is an operation flowchart of the virtual reality device 102 according to an embodiment of the present invention
  • Figures 7 to 12 is a dementia diagnosis test through the dementia diagnosis system 100 in accordance with the present invention to diagnose dementia It is an example for explaining how to.
  • the virtual reality device 102 may sense that the second user wears the virtual reality device 102.
  • the virtual reality device 102 may generate a sensing signal based on the sensed result and transmit the generated sensing signal to the PC 101 ( 603).
  • the PC 101 may allow the first user to recognize that the second user wears the virtual reality device 102 in response to a sensing signal received from the virtual reality device 102.
  • the guide screen can be displayed.
  • the PC 101 may output a user interface for requesting input of content for diagnosing dementia of the second user.
  • the PC 101 may receive an input for selecting a problem and difficulty mapped to the content from the first user through the user interface.
  • the difficulty may be divided into a total of four levels that can hide 2 to 32, or may be divided into a total of 9 levels that may hide 2 to 32.
  • the virtual reality device 102 may receive test problem and difficulty information.
  • the virtual reality device 102 may output a screen describing a method of performing a test based on the received test problem and difficulty information.
  • the screen describing the test progress method may include an avatar 810 as a virtual reality space with the room 801 as a background and explaining the test method.
  • the avatar 810 may describe a test progress method in the form of visual information and sound information. For example, you can output the voice message "I'll show and hide things from now on. Guess where I hid the bear doll.”
  • the virtual reality device 102 may perform a test after the description of the test method is completed.
  • the virtual reality device 102 may sense a line of sight, voice, or gesture of the second user using a sensor and a camera, and prepare an answer of the second user based on the sensed result.
  • the avatar 810 may appear to show a plurality of objects in order, and then hide the displayed objects in various places of the room 801 displayed as a background.
  • the object hidden by the avatar 810 is a glove 901, a cake 903, a wallet 905, a camera 907, a watch 909, glasses 911, and a baseball 913. ), A candle 915, a key 917, an apple 919, a banana 921, a mobile phone 923, a teddy bear 925, a shoe 927, a remote control 929, or a hammer 931. At least a portion.
  • the object hidden by the avatar 810 in the present invention is not limited to the object shown in FIG. 9 and may be a human or an animal.
  • the background room can be configured in the form of a comfortable personal space, and the place where the object can be hidden and the number of objects can be freely adjusted according to the difficulty control.
  • the object may be selected from the high frequency of use in the Korean frequency dictionary, or may be selected from among the objects frequently used in daily life.
  • the virtual reality device 102 may output an interface screen to the second user to find a hidden object.
  • the virtual reality device 102 may output a problem that allows the second user to find out where the teddy bear 925, the banana 921, the apple 919, or the remote controller 929 are hidden.
  • the virtual reality device 102 detects the gaze, voice, or gesture of the second user using a sensor and a camera, and is displayed in a virtual reality space (eg, the room 801) displayed as a background based on the detected result.
  • a virtual reality space eg, the room 801 displayed as a background based on the detected result.
  • the eyes of the second user and the place of the second user may be moved. Accordingly, the second user may control a gaze and a place in the virtual reality space while wearing the virtual reality device 102.
  • FIG. 11 exemplarily illustrates a process in which the second user searches for the teddy bear 925 hidden in the chest of drawers 1101 by the avatar 810.
  • the virtual reality device 102 prepares an answer of the second user based on the gaze, voice, or gesture of the second user sensed by the second user during the test. And generate the result data.
  • the result data generated from the virtual reality device 102 includes distance information moved by the second user as shown in FIG. 12A, test participation time information of the second user as shown in FIG. 12B, and FIG. 12.
  • a score result as shown in (c) of FIG. 1, that is, answer sheet information may be included, and these information may be displayed separately.
  • the test image is preferably set appropriately. For example, it may be set to 6 minutes to 7 minutes. This is because, if the playback time of the test image is too short, sufficient content does not fit in the image, and if it is too long, the content of the test image is too large and the difficulty of the test rapidly increases, making accurate diagnosis difficult.
  • the virtual reality device 102 may transmit the generated result data to the PC 101 after the test is completed.
  • the virtual reality device 102 may proceed with the scoring itself, and transmit the scoring result to the PC (101).
  • the virtual reality device 102 may output a screen requesting to reselect the problem and the difficulty level of the problem. For example, in step 615, the virtual reality device 102 compares the scoring result score and the reference score, and if the test result score is lower than the reference score, generates an interrupt requesting to reselect the problem and the difficulty of the problem. And transmits to 101 (617).
  • 13 to 23 are examples for explaining another method of diagnosing dementia by performing a hidden object searching test through the dementia diagnosis system 100 of the present invention.
  • the PC 101 may output a user interface for inputting basic information about the second user before diagnosing dementia of the second user.
  • the user interface output from the PC 101 i.e., the basic information input screen, includes the name, gender, date of birth, age, educational background, handle, vision impairment, hearing impairment, test organization, test date, It may include the examiner's name, nationality, native language, memo, etc.
  • the PC 101 may output a menu for setting a test level (test difficulty).
  • the menu for setting the inspection level may be configured to select any one of the first to fourth steps, for example.
  • the first user may guide the second user (inspector) to wear the virtual reality device 102.
  • the first user may seat the second user on a chair corresponding to the test starting point, and guide the usage of the virtual reality device 102.
  • the virtual reality device 102 may include a headset, such as an HMD, and a controller configured to grip both hands.
  • the first user may guide the second user to wear the headset according to both eyes, and guide both hands to hold the controller.
  • the first user may check whether the second user wears the virtual reality device 102 correctly.
  • the process of checking whether a lamp provided on one side of the headset (for example, the left side) is turned on, a process of checking whether a subject is visible while moving his / her head from side to side, and a lamp provided on the controller held by both hands It may include a process for checking whether the lighting. If all of the above confirmation processes are normally completed, the first user may remove the chair from the space and guide the second user to stand at the point.
  • the first user may control the PC 101 to instruct the start of the dementia test.
  • the PC 101 may control the virtual reality device 102 in response to the dementia test start instruction from the first user.
  • the virtual reality device 102 may output a screen as shown in FIG. 16.
  • the virtual reality device 102 may output a guide such as “Please experience the living room in front of you and return to the starting position” so that the second user may recognize and learn the virtual reality space first.
  • the guide may be any one of a text and a voice, or a combination of a text and a voice.
  • the virtual reality device 102 may perform a practice trial process.
  • Practice trials include, for example, “Move along the red line on the floor”, “Open the drawer”, “Remove the item in the drawer”, “I'll put a sticker on the drawer” Then stand on a red circle and look at the box ", etc.
  • the virtual reality device 102 may output the guidance phrases one by one, and when the second user completes the operation according to the guidance. You can print a new announcement every time.
  • the virtual reality device 102 may perform a prospective memory process.
  • the virtual reality device 102 may output a guide phrase such as "Hidden objects and search will be performed after a while. Please open a window after finding the second object.”
  • the guide phrase may include a content such as "Please turn off the pot after finding all items after a while”.
  • the reason for testing prospective memory after finding all objects of place-item matching is to minimize the influence on other evaluations because the prospective memory during the test affects time and distance.
  • the virtual reality device 102 may perform an object hiding process.
  • the virtual reality device 102 may, in the process of hiding an object, "check the object out of the box and remember the place where it is hidden”, or “the object will now come out one by one and be hidden in the visible space. Remember the hidden place. "
  • the virtual reality device 102 may then output “apples”, “bananas”, etc. as examples of words corresponding to hidden objects.
  • the virtual reality device 102 displays an image in which the object comes out and rotates 360 degrees, and a word matched with the object is output as an audio signal, and the scenario image in which the object is hidden is displayed.
  • You can print The reason for calling the words here is to ensure that when evaluating the free-recall, the answer is based on the previously shown scenario image of various names of the same object (eg eggs, eggs).
  • the object may be configured to fly only the object without hiding the human avatar, the reason is that it is difficult to properly determine how the person is hidden by hiding the trajectory that the object is flying, because the object must control the movement of the object This is because flying speed is limited.
  • the virtual reality device 102 may perform an item free-recall process.
  • the virtual reality device 102 may, during the item free-recall process, say something like "tell me what you remember from the box” or "tell me what you just remembered the hidden object". You can output
  • the PC 101 receives the information about the object spoken by the second user through the virtual reality device 102, and outputs the answer check screen of the second user as shown in FIG. 19B based on the received information. can do. Accordingly, the first user can recognize the result of the item free-recall test being performed by the second user through the PC 101.
  • the virtual reality device 102 may perform a place free-recall process.
  • the virtual reality device 102 may, for example, place a sticker in the place where the object is hidden and return to the starting position. You can print the same announcement. The reason for sticking stickers only in the place free-recall process is that opening the drawer can affect the performance of the next place-item matching regardless of whether or not the object is present.
  • the virtual reality device 102 may perform an item recognition process.
  • the virtual reality device 102 may output a guide phrase, such as "Please select a hidden object from the four things you see now" in the item recognition process.
  • the virtual reality device 102 may display a plurality of objects, and output a scenario image for selecting objects output from at least one previous screen among them.
  • the virtual reality device 102 may perform place-item matching.
  • the virtual reality device 102 may say, “From now on, I will show you the objects one by one. Place this object in a hidden place, find it and put it in a box. Just come back. "
  • the dementia diagnosis system 100 is a case where the second user finds an article properly (O), opens a place containing another article ( ⁇ ), and there is no article (X). You can calculate the score by dividing by.
  • the present invention does not simply reflect the correct answer / incorrect answer in the score in the object search test, but also reflects the case of opening a place containing other objects ( ⁇ ), so that the number of more various cases is reflected in the score. Can increase the reliability.
  • the dementia diagnosis system 100 may output a test result screen as illustrated in FIG. 23 through the PC 101.
  • the present invention can easily diagnose dementia using a computer and virtual reality equipment, and can reduce the mental stress of the patient.
  • HMD Head Mount Display

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Epidemiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상현실을 이용하여 치매 등의 신경질환을 진단하기 위한 것으로서, 외부 장치로부터 신경질환 진단용 문제를 수신하고, 수신된 신경질환 진단용 문제에 기초하여 디스플레이를 통해 가상 현실 영상을 표시하며, 각종 센서를 통해 감지되는 사용자의 동작에 따라 가상 현실 영상을 이용한 검사를 진행한다. 이러한 과정은 PC나 스마트폰 등 외부 장치와 연동하여 이루어질 수 있다. 특히, 신경질환 진단용 문제는, 가상 현실 공간에서 적어도 하나의 물건을 소개한 후 숨기는 제1화면과, 숨겨진 물건에 대한 질문이 구비된 제2화면을 포함하도록 구성된다. 본 발명에 따르면, 환자에게 불편함이나 부담을 주지 않고, 편리하게 치매 등의 신경질환에 관한 검사를 수행할 수 있다.

Description

가상현실을 이용한 신경질환 진단 장치 및 방법
본 발명은 신경질환 진단 장치 및 방법에 관한 것으로서, 치매 등의 신경질환을 가상현실을 이용하여 진단할 수 있으며, 사용자에게 정신적 스트레스를 주지 않고 편리하게 진단이 이루어질 수 있도록 한다.
전 세계적으로 고령화가 급속히 진행 중에 있으며, 이와 함께 치매 환자도 급격히 증가하고 있다. 따라서 치매환자를 관리하고 치료하기 위한 경제적 비용이 증가하고 있다. 최근, 치매증상이 나타나는 것을 지연하고 개선할 수 있는 치료약들이 개발되고 있으며, 더욱 효능이 개선된 치료약들을 개발하기 위한 투자와 노력이 계속되고 있다. 그런데 상기 치료약은 치매의 초기 단계에 사용해야 효능이 있기 때문에 치매의 조기 진단과 조기 치료가 중요하다.
치매를 진단하기 위하여 심리학적인 문진을 통한 치매 진단 방법이 일반적으로 행해지고 있다. 그러나 심리학적인 문진을 통한 치매 진단 방법은 진료실 환경에서 장시간 문진이 필요하므로, 환자에게 정신적인 압박이나 스트레스를 줄 수 있고, 이는 테스트의 정확도 저하를 초래할 수 있다.
치매를 진단하기 위한 다른 방법으로는, MRI 장비 등을 이용해 뇌 영상을 촬영하여 치매 진행 정도를 진단하는 방법, 치매 환자로부터 추출한 혈액이나 뇌척수액을 분석 하여 치매 진행 정도를 진단하는 바이오 마커(Bio-marker) 방법, 또는 뇌파(EEG 또는 MEG)를 측정하여 치매를 진단하는 방법 등이 존재한다.
그러나, 이러한 방법들은 고가의 장비를 사용함으로써 비용 부담이 증가하고, 환자의 혈액이나 뇌척수액을 추출해야 하므로 환자의 고통이 수반된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 컴퓨터와 가상현실장비를 이용하여 치매 등과 같은 신경질환을 손쉽게 진단하고, 신경질환 진단 과정에서 발생하는 불편함과 사용자의 정신적 스트레스도 줄일 수 있도록 하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 가상 현실 장치는 영상에 의한 가상 현실 환경을 제공하며, 영상을 표시하는 디스플레이; 사용자의 동작을 감지하는 센싱부; 외부 장치와 통신하는 통신부; 및 상기 통신부를 통해 상기 외부 장치로부터 수신된 신경질환 진단용 문제에 기초하여, 상기 디스플레이에 가상 현실 영상을 표시하고, 상기 센싱부를 통해 사용자의 동작을 감지하면서 상기 신경질환 진단을 위한 검사를 진행하는 제어부를 포함하여 이루어진다.
이때 상기 신경질환 진단용 문제는, 가상 현실 공간에서 적어도 하나의 물건을 소개한 후 숨기는 제1화면과, 상기 적어도 하나의 물건에 대한 질문을 포함하는 제2화면을 포함하도록 구성된다.
상기 제1화면은 아바타가 등장하여 상기 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기도록 구성될 수 있다.
상기 제1화면 및 제2화면의 배경은 상기 사용자가 거주하는 가정의 내부 환경과 동일하게 구성될 수 있다.
상기 신경질환 진단용 문제는 각각 복수의 난이도 중 어느 하나의 난이도를 갖는 문제로 구분되고, 상기 난이도가 증가할수록 숨겨지는 물건의 개수가 증가하도록 구성될 수 있다.
상기 제2화면은, 사용자가 숨겨진 물건을 기억하는지를 진단하기 위한 회상 단계, 사용자가 숨겨진 물건과 다른 물건을 구분하는지를 진단하기 위한 인지 단계, 및 사용자가 숨겨진 물건과 장소를 연관 지을 수 있는지를 진단하기 위한 매칭 단계 중 적어도 하나 이상의 단계를 수행하도록 구성될 수 있다.
상기 회상 단계를 수행하는 제2화면은 상기 숨겨진 물건들을 순차적으로 표시하고, 상기 표시된 물건이 어디에 숨겨졌는지 질문하여 상기 사용자가 말하도록 하는 제1 사용자 인터페이스를 포함할 수 있다.
상기 인지 단계를 수행하는 제2화면은 상기 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하고, 상기 패키지 화면에서 상기 숨겨진 물건들 및 상기 새로운 물건들을 구분하도록 질문하여 상기 사용자가 말하도록 하는 제2 사용자 인터페이스를 포함할 수 있다.
상기 매칭 단계를 수행하는 제2화면은 상기 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하고, 상기 사용자가 직접 이동하면서 상기 숨겨진 물건들을 찾도록 하는 제3 사용자 인터페이스를 포함할 수 있다.
상기 제어부는, 상기 사용자의 움직인 거리인 제1 조건, 상기 사용자가 상기 신경질환 진단용 문제를 모두 푸는데 소요된 시간인 제2 조건, 및 상기 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제3 조건에 기초하여 점수를 산출하는 결과 처리 모듈을 포함할 수 있다.
상기 결과 처리 모듈은 상기 제1 내지 제3 조건 각각에 대하여 미리 설정된 가중치를 부여하여 상기 점수를 산출할 수 있다.
또한, 상기 제어부는 상기 산출된 점수와 기준 점수를 비교하고, 상기 산출된 점수가 상기 기준 점수 이상이면 상기 사용자가 정상인 것으로 결정하도록 구성될 수 있다.
한편, 본 발명에 따라 사용자에게 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치의 구동 방법은, 외부 장치로부터 신경질환 진단용 문제를 수신하는 단계; 상기 신경질환 진단용 문제에 기초하여, 디스플레이를 통해 가상 현실 영상을 표시하고, 센싱부를 통해 감지되는 사용자의 동작에 따라 상기 가상 현실 영상을 이용한 검사를 진행하는 단계; 및 상기 가상 현실 영상을 이용하여 진행되는 검사와 관련된 정보를 상기 외부 장치로 전송해 주는 단계를 포함하여 이루어질 수 있다.
이때 상기 가상 현실 영상을 표시하는 단계는, 가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제1화면을 표시하는 단계, 및 상기 적어도 하나의 물건에 대한 질문을 포함하는 제2화면을 표시하는 단계를 포함한다.
본 발명에 따르면, 가상현실장비를 이용하여 편리하고 부담 없이 치매 등의 신경질환에 관한 검사를 수행할 수 있다.
지루하고 복잡한 문진이 아니라, 마치 실제 세상인 것 같이 느낄 수 있는 가상 현실 환경을 통해 검사가 이루어지고, 사용자가 거주하는 가정의 내부 환경 등 사용자가 편하게 대할 수 있는 영상을 이용함으로써, 환자의 부담을 경감시켜 정신적 스트레스를 크게 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 치매 진단 시스템의 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 PC의 구성 블록도,
도 3은 본 발명의 일 실시예에 따른 가상 현실 장치의 구성 블록도,
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템의 동작 흐름도,
도 5는 본 발명의 다른 실시예에 따른 치매 진단 시스템의 동작 흐름도,
도 6은 본 발명의 일 실시예에 따른 가상 현실 장치의 동작 흐름도,
도 7 내지 도 12는 본 발명의 치매 진단 시스템을 이용하여 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단하는 방법을 설명하는 예,
도 13 내지 도 23은 본 발명의 치매 진단 시스템을 이용하여 숨긴 물건 찾기 테스트를 진행함으로써 치매를 진단하는 방법을 설명하는 또 다른 예이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 "신경질환"은 신경퇴행성 장애를 의미하고, 예를 들어 알츠하이머병(AD), 혈관 질환 치매, 전두측두엽 치매(FTD), 피질기저 퇴행(CBD), 진행핵상마비(PSP), 루이소체 치매, 매듭-우세 노인성 치매(tangle-predominant senile dementia), 픽병(Pick's disease)(PiD), 호은 과립(argyrophilic grain) 질환, 근위축성 측삭 경화증(ALS), 다른 운동 신경 질환, 괌(Guam) 파킨슨증-치매 복합, FTDP-17, 라이티코-보디그병(Lytico-Bodig disease), 다발성 경화증, 외상성 뇌손상(TBI) 및 파킨슨병으로 구성된 군으로부터 선택된 것이 가능하다.
도 1은 본 발명의 실시예에 따른 치매 진단 시스템의 구성 블록도로서, 치매 진단 시스템(100)은 PC(컴퓨터, 101), 가상 현실 장치(102), 네트워크(162), 스마트폰(104), 서버(106) 등을 포함할 수 있다.
가상 현실 장치(102)는 사용자의 머리에 착용되어 사용자의 눈 앞에 직접 영상을 표시할 수 있는 디스플레이 장치일 수 있다. 예를 들어, 가상 현실 장치(102)는 웨어러블 글래스 또는 헤드 마운트 디스플레이(Head Mount Display, HMD)로 구성될 수 있다. 도시된 예는, 설명의 편의를 위해 가상 현실 장치를 HMD(102)로 표기하였다. 가상 현실 장치(102)는 안경 형태를 가질 수 있으며, 투명한 디스플레이 또는 불투명한 디스플레이를 구비할 수 있다. 이에 따라, 가상 현실 장치(102)는 이를 착용한 사용자가 가상 현실 공간에 있는 것으로 인지하게 할 수 있다.
일 실시예에 따르면 가상 현실 장치(102)는 사용자에게 가상 현실을 체험시키기 위한 디스플레이뿐만 아니라, 스피커, 마이크, 동작 감지 센서 등을 더 포함할 수 있다. 이러한 가상 현실 장치(102)에 관해서는 도 3을 참조하여 구체적으로 후술하기로 한다.
PC(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 통신 인터페이스(170) 등을 포함할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor) 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(120)는 PC(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는 PC(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있고, 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다.
프로그램(140)은 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 어플리케이션(147) 등을 포함할 수 있으며, 커널(141), 미들웨어(143), API(145)의 적어도 일부는 운영 시스템으로 지칭될 수 있다.
입출력 인터페이스(150)는 사용자 또는 다른 외부 기기로부터 입력된 명령이나 데이터를 PC(101)의 다른 구성요소로 전달하거나, PC(101)의 다른 구성요소로부터 수신된 명령이나 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 등을 포함할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는 PC(101)가 다양한 무선 통신 또는 유선 통신을 통해 가상 현실 장치(102), 스마트폰(104), 서버(106) 등의 외부 장치와 서로 통신할 수 있도록 한다.
무선 통신 방식은 LTE, LTE-A(LTE Advance), CDMA(code division multipleaccess), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications) 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있으며, 근거리 통신을 포함할 수 있다. 근거리 통신 방식은 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication) 중 적어도 하나를 포함할 수 있다.
유선 통신 방식은 USB(universal serial bus),HDMI(high definition multimedia interface), RS-232(recommended standard-232), 전력선 통신, POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
네트워크(162)는 텔레 커뮤니케이션 네트워크, 예를 들면 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 등을 포함할 수 있다.
PC(101)에서 실행되는 동작들의 전부 또는 일부는 스마트폰(104) 또는 서버(106)에서 연동하여 실행될 수 있다.
일 실시예에 따르면, PC(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, PC(101)는 그 기능 또는 서비스를 자체적으로 실행하는 대신 또는 추가로 그와 연관된 적어도 일부 기능을 스마트폰(104) 또는 서버(106)에게 요청할 수 있다. 그러면, 스마트폰(104) 또는 서버(106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 PC(101)로 전달할 수 있다.
PC(101)는 수신된 결과를 그대로 또는 추가로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 본 발명의 시스템에는 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 PC의 구성 블록도로서, 프로세서(120), 메모리(130), 통신 인터페이스(170), 디스플레이(160), 입출력 인터페이스(150) 등을 포함할 수 있다.
프로세서(120)는 콘텐츠 선정부(122)와 진단 결과 산출부(124)를 포함할 수 있다. 콘텐츠 선정부(122)는 입출력 인터페이스(150)를 통해 제1 사용자로부터 제2 사용자에 대한 정보를 입력받고, 메모리(130)에 저장된 콘텐츠들 중 어느 하나에 기초한 문제를 선정할 수 있다.
여기서, 제1 사용자는 치매 검사를 진행하는 전문 인력으로서 제2 사용자의 치매 여부를 결정하는 사람, 예컨대 검사자로서의 의사 또는 간호사일 수 있다.
제2 사용자는 치매 검사의 대상자로서, 병원에 방문하여 치매 여부를 검진받는 피검사자일 수 있다.
제1 사용자는 콘텐츠 선정부(122)로부터 제공된 문제들 중 어느 하나를 선택하여 PC(101)가 선택된 문제를 가상 현실 장치(102)로 전송하도록 할 수 있다.
즉, PC(101)는 제1 사용자로부터 적어도 하나의 콘텐츠를 선택하는 정보 또는 적어도 하나의 콘텐츠에 매핑된 문제를 선택하는 정보를 수신하고, 수신된 정보에 기초하여 검사용 문제를 가상 현실 장치(102)로 전송할 수 있다.
일 실시예에 따르면, 콘텐츠 선정부(122)는 메모리(130)의 사용자 정보 저장부를 참조하여 제2 사용자의 검진 기록을 참조하고, 참조한 결과에 기초하여 콘텐츠를 자동적으로 선정 및 추천할 수 있다. 예를 들어, 콘텐츠 선정부(122)는 제2 사용자의 검진 기록를 참조하여, 지난번에 검사한 치매 검사용 콘텐츠와 동일 또는 유사한 콘텐츠를 디스플레이(160)를 통해 제1 사용자에게 알려줄 수 있다.
일 실시예에 따르면, 콘텐츠 선정부(122)는 PC(101)가 가상 현실 장치(102)로 치매 검사용 문제를 전송한 후, 가상 현실 장치(102)로부터 수신된 인터럽트에 기초하여, 치매 검사용 문제의 종류 또는 난이도를 재조정하고, 재조정된 치매 검사용 문제를 가상 현실 장치(102)로 전송할 수 있다.
여기서, 가상 현실 장치(102)로부터 수신된 인터럽트는 가상 현실 장치(102)를 통한 제2 사용자의 치매 테스트 결과가 기준 임계값보다 낮은 경우에 가상 현실 장치(102)가 생성하는 것일 수 있다. 예를 들어, 가상 현실 장치(102)는 제2 사용자의 치매 테스트 결과 점수가 100점 만점 기준으로 50점 미만인 경우, 인터럽트를 생성하여 PC(101)로 전송할 수 있다.
이와 같이, 최초에 전송된 치매 검사용 문제의 난이도가 적정하지 못해 제2 사용자의 검사 결과 점수가 현저히 낮은 경우, 가상 현실 장치(102)가 인터럽트를 전송하여, 제2 사용자가 적정 난이도의 문제를 풀 수 있게 할 수 있다. 따라서, 본 발명은 보다 정확한 치매 진단이 가능하며, 치매 환자가 이용할 경우 단계적으로 뇌 훈련을 수행하여 뇌 기능 향상에 도움이 될 수 있다.
프로세서(120)의 진단 결과 산출부(124)는 가상 현실 장치(102)로부터 테스트 결과 정보를 수신하고, 테스트 결과 정보에 기초하여 진단 결과를 산출할 수 있다. 진단 결과 산출부(124)는 산출된 진단 결과에 기초하여 보고서를 생성하고, 생성된 보고서를 디스플레이(160)를 통해 출력할 수 있다.
예를 들어, 진단 결과 산출부(124)는 가상 현실 장치(102)에 전송한 문제들의 정답과, 제2 사용자가 가상 현실 장치(102)를 통해 선택한 선택지를 비교하여 채점 결과를 생성할 수 있다. 예를 들어, 채점 결과는 100점 만점을 기준으로 산출될 수 있다. 진단 결과 산출부(124)는 각 문제 항목별로 채점 결과를 산출하고, 산출 결과에 기초하여 보고서를 생성할 수 있다.
구체적으로, PC(101)로부터 가상 현실 장치(102)에 전송된 복수의 문제는 메모리(130)에 저장된 주의 집중력 콘텐츠, 시공간 능력 콘텐츠, 기억력 콘텐츠, 집행 능력 콘텐츠, 언어 능력 콘텐츠, 계산 능력 콘텐츠, 소리 인지력 콘텐츠 중 적어도 하나로부터 선별된 것일 수 있다.
예를 들어, PC(101)로부터 가상 현실 장치(102)에 전송된 복수의 문제가 기억력 콘텐츠에 해당하는 5문제, 집행능력 콘텐츠에 해당하는 5문제를 포함하여 10문제인 경우, 진단 결과 산출부(124)는 기억력 콘텐츠의 채점 결과와, 집행 능력 콘텐츠의 채점 결과를 각각 산출할 수 있다. 따라서, 본 발명은 검진 대상자, 즉 검사를 받은 제2 사용자의 기억력과 집행 능력을 각각 따로 분석할 수 있다.
한편, 진단 결과 산출부(124)는 제2 사용자의 치매 진단이 완료되면, 사용자 정보 저장부(130h)에 진단 결과를 저장할 수 있다.
메모리(130)는 주의 집중력 콘텐츠(130a), 시공간 능력 콘텐츠(130b), 기억력 콘텐츠(130c), 집행 능력 콘텐츠(130d), 언어 능력 콘텐츠(130e), 계산 능력 콘텐츠(130f), 소리 인지력 콘텐츠(130g) 등을 포함할 수 있다.
주의 집중력 콘텐츠(130a)는 같은 그림 찾기나 글자 주의력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
시공간 능력 콘텐츠(130b)는 사물 지각력이나 시작적 조합 능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
기억력 콘텐츠(130c)는 국기 기억하기, 카드 기억하기 또는 숫자 기억하기 등의 문제들로 콘텐츠를 포함할 수 있다.
집행 능력 콘텐츠(130d)는 그림 완성하기나 범주화 능력과 유사성 능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
언어 능력 콘텐츠(130e)는 단어 채우기나 단어찾기 능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
계산 능력 콘텐츠(130f)는 사칙연산을 계산하는 능력을 평가하는 문제들로 구성된 콘텐츠를 포함할 수 있다.
소리 인지력 콘텐츠(130g)는 소리에 맞는 그림찾기나 들은 순서대로 찾기 등의 문제들로 구성된 콘텐츠를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 장치(102)의 구성 블록도로서, 제어부(310), 디스플레이(320), 센싱부(330), 통신부(380), 메모리(370), 사용자 입력부(360), 전원 공급부(340), 출력부(350)를 포함할 수 있다.
센싱부(330)는 적어도 하나의 카메라(332) 및 센서(334)를 포함할 수 있다.
카메라(332)는 실제 공간의 객체를 촬영한다. 카메라(332)에 의해 촬영된 객체 이미지는, 동영상 이미지이거나, 연속적인 정지 영상 이미지들일 수 있다. 가상 현실 장치(102)는, 예를 들어, 통신 기능 및 데이터 프로세싱 기능을 구비한 안경 형태의 장치일 수 있다 제2 사용자에 의해 착용된 가상 현실 장치(102)에서 제2 사용자의 전방을 향하는 카메라(332)는 실제 공간의 객체를 촬영할 수 있다.
카메라(332)는 제2 사용자의 신체 중 적어도 일부를 촬영할 수 있다. 예를 들어, 카메라(332)는 제2 사용자의 눈을 촬영할 수 있다.
가상 현실 장치(102)는 제2 사용자의 얼굴을 향하는 안구 추적용 카메라(332)를 구비할 수 있으며, 제2 사용자의 머리 자세(head pose), 눈꺼풀, 및 눈동자 중 적어도 하나를 추적함으로써 제2 사용자의 시선을 추적할 수 있다.
또한, 카메라(332)는 제2 사용자의 손을 촬영할 수 있다. 예를 들어, 가상 현실 장치(102)는 제2 사용자의 손을 추적하는 손 추적용 카메라를 구비할 수 있으며, 이는, 제2 사용자의 손등, 손가락, 또는 손목 등 중에서 적어도 하나를 추적함으로써 제2 사용자의 손 동작을 추적할 수 있다.
센서(334)는 가상 현실 장치(102)의 상태 또는 가상 현실 장치(102) 주변의 상태를 감지하고, 감지된 정보를 전달할 수 있다. 예를 들어, 센서(334)는, 제2 사용자가 가상 현실 장치(102)를 착용하고 있는 착용 상태 정보를 획득할 수 있다.
예를 들어, 센서(334)는 지자기 센서(334), 가속도 센서(334), 자이로스코프 센서(334), 근접 센서(334), 광학 센서(334), 깊이 감 센서(334), 적외선 센서(334), 초음파 센서(334) 등을 포함할 수 있다.
통신부(380)는 가상 현실 장치(102)가 영상을 출력하고, 출력 영상을 조정하기 위하여 필요한 정보를 PC(101), 스마트폰(104), 서버(106) 등의 장치와 송수신할 수 있도록 한다.
메모리(370)는 가상 현실 장치(102)가 영상을 디스플레이(320)하고, 가상 현실 장치(102)의 기울기에 기초하여 영상을 조정하기 위하여 필요한 정보를 저장할 수 있다. 메모리(370)는 제2 사용자가 영상을 제공받기에 가장 적합한 위치에 가상 현실 장치(102)가 착용된 상태인 기준 착용 상태에 대한 정보를 저장할 수 있다.
예를 들어, 메모리(370)는 기준 착용 상태에서 획득되는 제2 사용자의 신체 부위에 대한 영상 및 기준 착용 상태에서 획득되는 신체 부위에 대한 영상으로부터 검출되는 특성값을 포함하는 기준 착용 상태 정보를 저장할 수 있다.
사용자 입력부(360)는 가상 현실 장치(102)를 제어하기 위한 사용자 입력을 수신한다. 사용자 입력부(360)에는 가상 현실 장치(102)에 대한 터치 입력, 키 입력 등을 수신할 수 있다. 또한, 사용자 입력부(360)는 카메라(332)로부터 촬영되는 제2 사용자의 제스처 입력을 수신할 수도 있다.
전원 공급부(340)는 가상 현실 장치(102)의 동작을 위해 필요한 전원을 공급한다. 전원 공급부(340)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.
출력부(350)는 통신부(380)로부터 수신되거나, 제어부에서 처리되거나 메모리(370)에 저장된 정보 등을 빛, 소리, 진동 중 적어도 하나의 형태로 출력한다.
예를 들어, 출력부(350)는, 오디오 데이터를 출력하는 스피커(352)를 포함할 수 있다. 또한, 스피커(352)는 가상 현실 장치(102)에서 수행되는 기능(예를 들어, 신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다.
제어부(310)는 가상 현실 장치(102)의 전반적인 동작을 제어할 수 있다.
예를 들어, 제어부(310)는 메모리(370)에 저장된 프로그램들을 실행함으로써, 디스플레이(320), 센싱부(330), 통신부(380), 메모리(370), 사용자 입력부(360), 출력부(350), 및 전원 공급부(340)를 제어할 수 있다. 제어부(310)는 PC(101) 또는 스마트폰(104)과 통신하여 치매 진단을 위한 문제를 수신할 수 있으며, 수신된 문제를 메모리(370)에 저장하여 실행할 수 있다.
가상 현실 장치(102)는 무선 통신, 근거리 통신, 유선 통신 등을 통해 PC(101) 또는 스마트폰(104)과 연결될 수 있으며, PC(101) 또는 스마트폰(104)으로부터 치매 진단을 위한 문제 영상에 관한 정보를 수신함으로써, 가상 현실 장치(102)의 디스플레이(320)에 영상을 출력할 수 있다.
제어부(310)는 통신부(380)를 통해 PC(101)나 스마트폰(104) 등 외부 장치로부터 수신된 신경질환 진단용 문제에 기초하여 디스플레이(320)에 가상 현실 영상을 표시하고, 센싱부(330)를 통해 사용자의 동작을 감지하면서 신경질환 진단을 위한 검사를 진행한다.
이 과정에서 가상현실 구현과 검사를 위해 필요로 하는 다양한 처리가 이루어질 수 있고, 외부 장치와 연동하여 다양한 정보를 주고 받을 수 있다. 예를 들어, 사용자가 가상 현실 장치를 착용하였는지의 여부, 사용자의 시선, 음성, 제스처 등 감지되는 사용자 정보, 감지된 정보들에 기초하여 작성되는 제2 사용자의 답안, 제2 사용자의 답안에 대한 채점 결과 등 가상 현실 영상을 이용하여 진행되는 검사와 관련된 각종 정보를 실시간으로 또는 규정된 시점에 외부 장치로 전송해 줄 수 있다.
본 발명의 일 실시예에 따르면, 가상 현실 장치(102)로부터 제공되는 치매 진단용 문제는 가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제1화면과, 상기 적어도 하나의 물건에 대한 질문을 포함하는 제2화면을 포함할 수 있다. 여기서, 제1 및 제2화면의 배경은 제2 사용자가 거주하는 가정 내부 환경과 동일하도록 구성되는 것이 바람직하다. 이것은 치매 진단을 받는 사용자로 하여금 편안한 심리 상태를 제공하기 위한 것이다.
제1화면은 아바타가 등장하여 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기는 영상일 수 있다.
제2화면은 사용자가 숨겨진 물건을 기억하는지를 진단하기 위한 회상 단계, 사용자가 숨겨진 물건과 다른 물건을 구분하는지를 진단하기 위한 인지 단계, 사용자가 숨겨진 물건과 장소를 연관 지을 수 있는지를 진단하기 위한 매칭 단계를 수행할 수 있도록 구성될 수 있다.
회상 단계에서 가상 현실 장치(102)는 숨겨진 물건들을 순차적으로 표시하고, 표시된 물건이 어디에 숨겨졌는지 질문하여 사용자가 말하도록 하는 제1 사용자 인터페이스를 제공할 수 있다.
인지 단계에서 가상 현실 장치(102)는 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하고, 패키지 화면에서 숨겨진 물건들 및 새로운 물건들을 구분하도록 질문하여 사용자가 말하도록 하는 제2 사용자 인터페이스를 제공할 수 있다.
매칭 단계에서 가상 현실 장치(102)는 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하고, 사용자가 직접 이동하면서 숨겨진 물건들을 찾도록 하는 제3 사용자 인터페이스를 제공할 수 있다.
이러한 치매 진단용 문제는 각각 복수의 단계, 예컨대 제1 내지 제 9 단계의 난이도 중 어느 난이도를 갖도록 구성될 수 있으며, 난이도가 제1 단계로부터 제 9 단계까지 증가할수록 숨겨지는 물건의 개수가 증가하도록 구성될 수 있다.
한편, 가상 현실 장치(102)는 제2 사용자의 치매 진단용 문제 풀이가 끝나면, 그 결과를 직접 산출할 수 있다.
구체적으로, 가상 현실 장치(102)의 제어부는 사용자의 움직인 거리인 제1 조건, 사용자가 치매 진단용 문제를 모두 푸는데 소요된 시간인 제2 조건, 및 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제3 조건에 기초하여 점수를 산출하는 결과 처리 모듈(미도시)을 포함할 수 있다.
이때 결과 처리 모듈은 제1 내지 제3 조건 각각에 대하여 미리 설정된 가중치를 부여하여 점수를 산출할 수 있다.
예를 들어, 결과 처리 모듈은 사용자의 움직인 거리인 제1 조건에 가중치를 높게 설정하거나, 제2 사용자가 치매 진단용 문제를 모두 푸는데 소요된 시간인 제2 조건에 가중치를 높게 설정하거나, 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제3 조건에 가중치를 높게 설정할 수 있다.
이때 산출된 점수와 기준 점수를 비교하고, 산출된 점수가 기준 점수 이상이면 제2 사용자가 정상인 것으로 결정할 수 있다.
결과 처리 모듈은 산출된 점수를 통신부(380)를 통해 PC(101)나 스마트폰(104) 등의 외부 장치로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템의 동작 흐름도이다.
도시된 예는, 가상 현실 장치(102)가 PC(101) 또는 스마트폰(104)과 통신하는 것으로 하였지만, 이하 설명의 편의를 위해 가상 현실 장치(102)가 PC(101)와 통신하는 것으로 설명한다.
이하 설명에서 가상 현실 장치(102)와 PC(101)가 통신하는 동작은 가상 현실 장치(102)와 스마트폰(104) 간에 이루어질 수 있음에 주의해야 하며, PC(101)에서 이루어지는 적어도 하나의 동작은 스마트폰(104)이 수행할 수 있다.
가상 현실 장치(102)는 제2 사용자가 가상 현실 장치(102)를 착용하는 것을 센싱할 수 있다(401). 가상 현실 장치(102)는 제2 사용자가 가상 현실 장치(102)를 착용한 것이 센싱되면, 센싱된 결과에 기초하여 센싱 신호를 생성하고, 생성된 센싱 신호를 PC(101)로 전송할 수 있다(403).
PC(101)는 가상 현실 장치(102)로부터 수신된 센싱 신호에 응답하여 제2 사용자가 가상 현실 장치(102)를 착용하였다는 것을 제1 사용자가 인지할 수 있도록 화면을 출력할 수 있다. PC(101)는 센싱 신호에 응답하여, 제2 사용자의 치매를 진단하기 위한 콘텐츠의 입력을 요청하는 사용자 인터페이스를 출력할 수 있다. PC(101)는 사용자 인터페이스를 통해 제1 사용자로부터 콘텐츠에 매핑된 문제 및 난이도를 선택하는 입력을 수신할 수 있다(405).
PC(101)는 제1 사용자로부터 선택된 정보에 기초하여 테스트용 문제 및 난이도 정보를 가상 현실 장치(102)로 전송할 수 있다(407). 예를 들어, 테스트용 문제는 PC(101)의 메모리에 저장된 주의 집중력 콘텐츠(130a), 시공간 능력 콘텐츠(130b), 기억력 콘텐츠(130c), 집행 능력 콘텐츠(130d), 언어 능력 콘텐츠(130e), 계산 능력 콘텐츠(130f), 소리 인지력 콘텐츠(130g), 사용자 정보 저장부(130h) 중 적어도 하나에 포함된 문제일 수 있다.
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다(409).
가상 현실 장치(102)는 센서 및 카메라를 이용해 제2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제2 사용자의 답안을 작성할 수 있다. 가상 현실 장치(102)는 테스트가 완료되면 작성된 답안에 해당하는 데이터를 PC(101)로 전송할 수 있다(411).
다른 실시예에 따르면, 가상 현실 장치(102)는 제2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고, 센싱된 결과를 특정 시간 단위로 버퍼에 저장할 수 있다. 그리고, 가상 현실 장치(102)는 버퍼에 저장된 신호를 실시간으로 PC(101)에 전송할 수 있다.
PC(101)는 가상 현실 장치(102)로부터 작성된 답안에 해당하는 데이터를 수신하고, 수신된 데이터에 기초하여 제2 사용자의 답안을 채점할 수 있다(413).
PC(101)는 채점 결과 점수와 기준 점수를 비교하고(415), 비교된 결과에 기초하여 보고서를 생성하여 출력할 수 있다(419).
추가적으로, PC(101)는 채점 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 화면을 출력할 수 있다. 이는, 제2 사용자의 테스트 결과 점수가 현저히 낮은 경우, 치매를 정확하게 진단하기 위해 문제 및 난이도를 재조정하기 위함이다. 따라서, 기준 점수는 제2 사용자의 테스트를 다시 진행할지 여부를 결정짓도록 설정된 점수일 수 있다.
PC(101)는 제1 사용자로부터 문제 또는 난이도를 재선택하는 입력을 수신하여, 변경된 문제 및 난이도를 포함하는 데이터를 생성할 수 있다(417).
PC(101)는 재선택된 문제 또는 난이도를 갖는 데이터를 가상 현실 장치(102)로 전송할 수 있다(421).
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다(423). 가상 현실 장치(102)는 센서 및 카메라를 이용해 제2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고 센싱된 결과에 기초하여 제2 사용자의 2번째 답안을 작성할 수 있다.
가상 현실 장치(102)는 테스트가 완료되면 작성된 답안에 해당하는 데이터를 PC(101)로 전송할 수 있다(425).
PC(101)는 가상 현실 장치(102)로부터 작성된 답안에 해당하는 데이터를 수신하고, 수신된 데이터에 기초하여 제2 사용자의 답안을 채점할 수 있다(427). 그리고 PC(101)는 채점 결과 점수와 기준 점수를 비교하고(415), 비교된 결과에 기초하여 보고서를 생성하여 출력할 수 있다(419).
도 5는 본 발명의 다른 실시예에 따른 치매 진단 시스템의 동작 흐름도로서, 도 4에 도시된 예와 달리 가상 현실 장치(102)가 제2 사용자의 선택 답안을 직접 채점하고, 채점 결과를 PC(101)로 전송하도록 구성될 수 있다. 또한, 채점 결과 점수와 기준 점수를 비교하여 문제 또는 난이도를 재조정하기 위한 인터럽트를 생성하고, 생성된 인터럽트를 PC(101)로 전송할 수도 있다.
가상 현실 장치(102)는 제2 사용자가 가상 현실 장치(102)를 착용하는 것을 센싱할 수 있다(501).
가상 현실 장치(102)는 제2 사용자가 가상 현실 장치(102)를 착용한 것이 센싱되면, 센싱된 결과에 기초하여 센싱 신호를 생성하고, 생성된 센싱 신호를 PC(101)로 전송할 수 있다(503).
PC(101)는 가상 현실 장치(102)로부터 수신된 센싱 신호에 응답하여 제2 사용자가 가상 현실 장치(102)를 착용하였다는 것을 제1 사용자가 인지할 수 있도록 화면을 출력할 수 있다. PC(101)는 센싱 신호에 응답하여, 제2 사용자의 치매를 진단하기 위한 콘텐츠의 입력을 요청하는 사용자 인터페이스를 출력할 수 있다. PC(101)는 사용자 인터페이스를 통해 제1 사용자로부터 콘텐츠에 매핑된 문제 및 난이도를 선택하는 입력을 수신할 수 있다(505).
PC(101)는 제1 사용자로부터 선택된 정보에 기초하여 테스트용 문제 및 난이도 정보를 가상 현실 장치(102)로 전송할 수 있다(507).
이때, PC(101)는 테스트용 문제와 아울러 문제의 정답에 해당하는 데이터도 함께 가상 현실 장치(102)로 전송할 수 있다. 예를 들어, 테스트용 문제는 PC(101)의 메모리에 저장된 주의 집중력 콘텐츠(130a), 시공간 능력 콘텐츠(130b), 기억력 콘텐츠(130c), 집행 능력 콘텐츠(130d), 언어 능력 콘텐츠(130e), 계산 능력 콘텐츠(130f), 소리 인지력 콘텐츠(130g), 사용자 정보 저장부(130h) 중 적어도 하나에 포함된 문제일 수 있다.
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다(509). 가상 현실 장치(102)는 센서 및 카메라를 이용하여 제2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고, 센싱된 결과에 기초하여 제2 사용자의 답안을 작성할 수 있다.
가상 현실 장치(102)는 생성된 제2 사용자의 답안을 채점할 수 있다(511).
가상 현실 장치(102)는 채점 결과 점수와 기준 점수를 비교하고(513), 비교된 결과에 기초한 데이터를 PC(101)로 전송할 수 있다(515).
PC(101)는 가상 현실 장치(102)로부터 수신된 채점 결과에 기초하여 보고서를 생성할 수 있다(529).
추가로, 가상 현실 장치(102)는 테스트 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 인터럽트를 생성하여 PC(101)로 전송할 수 있다(517, 519). 이는, 제2 사용자의 테스트 결과 점수가 현저히 낮은 경우, 치매를 정확하게 진단하기 위하여 문제 및 난이도를 재조정하기 위함이다. 따라서, 기준 점수는 제2 사용자의 테스트를 다시 진행할지 여부를 결정하기 위해 설정된 점수일 수 있다.
PC(101)는 가상 현실 장치(102)로부터 제공된 인터럽트에 응답하여 문제 및 문제의 난이도를 재선택할 것을 요청하는 화면을 출력할 수 있다.
PC(101)는 제1 사용자로부터 문제 또는 난이도를 재선택하는 입력을 수신하여, 변경된 문제 및 난이도를 포함하는 데이터를 생성할 수 있다(521, 523).
가상 현실 장치(102)는 PC(101)로부터 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행할 수 있다(523). 가상 현실 장치(102)는 센서 및 카메라를 이용해 제2 사용자의 시선, 음성, 제스처 등을 센싱하고, 센싱된 결과에 기초하여 제2 사용자의 답안을 작성할 수 있다.
가상 현실 장치(102)는 생성된 제2 사용자의 답안을 채점할 수 있다(525).
가상 현실 장치(102)는 채점 결과 점수와 기준 점수를 비교하고(513), 비교된 결과에 기초한 데이터를 PC(101)로 전송할 수 있다(527).
PC(101)는 가상 현실 장치(102)로부터 수신된 채점 결과에 기초하여 보고서를 생성할 수 있다(529).
위에서 설명한 각 실시예와 같이, 가상 현실 장치(102)는 사용자가 가상 현실 장치를 착용하였는지의 여부, 사용자의 시선, 음성, 제스처 등 각종 센서를 통해 감지되는 정보, 감지된 정보들에 기초하여 작성되는 제2 사용자의 답안, 제2 사용자의 답안에 대한 채점 결과 등 가상 현실 영상을 이용하여 진행되는 검사와 관련된 각종 정보를 실시간으로 또는 규정된 시점에 PC나 스마트폰 등 자신과 연동하는 외부 장치로 전송해 줄 수 있다.
도 6은 본 발명의 일 실시예에 따른 가상 현실 장치(102)의 동작 흐름도이고, 도 7 내지 도 12는 본 발명에 따른 치매 진단 시스템(100)을 통해 숨긴 물건 찾기 테스트를 진행하여 치매를 진단하는 방법을 설명하기 위한 예시이다.
도 6 및 도 7을 참조하면, 단계 601에서 가상 현실 장치(102)는, 제2 사용자가 가상 현실 장치(102)를 착용하는 것을 센싱할 수 있다.
가상 현실 장치(102)는 제2 사용자가 가상 현실 장치(102)를 착용한 것이 센싱되면, 센싱된 결과에 기초하여 센싱 신호를 생성하고, 생성된 센싱 신호를 PC(101)로 전송할 수 있다(603).
PC(101)는 도 7에 도시된 바와 같이, 가상 현실 장치(102)로부터 수신된 센싱 신호에 응답하여 제2 사용자가 가상 현실 장치(102)를 착용하였다는 것을 제1 사용자가 인지할 수 있도록 안내 화면을 출력할 수 있다. PC(101)는 센싱 신호에 응답하여, 제2 사용자의 치매를 진단하기 위한 콘텐츠의 입력을 요청하는 사용자 인터페이스를 출력할 수 있다. PC(101)는 사용자 인터페이스를 통해 제1 사용자로부터 콘텐츠에 매핑된 문제 및 난이도를 선택하는 입력을 수신할 수 있다.
구체적인 예로서, 난이도는 2개에서 32개를 숨길 수 있는 총 4단계로 구분될 수 있고, 2개에서 32개를 숨길 수 있는 총 9단계로 구분될 수도 있다.
도 6 및 도 8을 참조하면, 단계 605에서 가상 현실 장치(102)는 테스트용 문제 및 난이도 정보를 수신할 수 있다. 단계 607에서 가상 현실 장치(102)는 수신된 테스트용 문제 및 난이도 정보에 기초하여 테스트를 진행하는 방법을 설명하는 화면을 출력할 수 있다. 예를 들어, 테스트 진행 방법을 설명하는 화면은 도 8에 도시된 바와 같이, 가상 현실 공간으로서 방(801)을 배경으로 하고, 테스트 방법을 설명하는 아바타(810)를 포함할 수 있다.
아바타(810)는 시각 정보 및 소리 정보의 형태로 테스트 진행 방법을 설명할 수 있다. 예를 들어, "지금부터 물건을 보여드리고 숨기겠습니다. 제가 곰인형을 어디에 숨겼는지 맞춰보세요"라는 음성 메시지를 출력할 수 있다.
도 6 및 도 9를 참조하면, 단계 609에서 가상 현실 장치(102)는 테스트 방법의 설명이 끝나면, 테스트를 수행할 수 있다.
가상 현실 장치(102)는 센서 및 카메라를 이용하여 제2 사용자의 시선, 음성, 또는 제스처 등을 센싱하고, 센싱된 결과에 기초하여 제2 사용자의 답안을 작성할 수 있다. 테스트 진행시, 아바타(810)가 등장하여 복수의 사물을 순서대로 보여준 다음, 보여준 사물을 배경으로 표시된 방(801)의 곳곳에 숨길 수 있다.
아바타(810)가 숨기는 물건은 도 9에 도시된 바와 같이, 장갑(901), 케이크(903), 지갑(905), 카메라(907), 시계(909), 안경(911), 야구공(913), 양초(915), 열쇠(917), 사과(919), 바나나(921), 핸드폰(923), 곰인형(925), 구두(927), 리모컨(929), 또는 망치(931) 중 선택된 적어도 일부일 수 있다. 그러나, 본 발명에서 아바타(810)가 숨기는 물건은 도 9에 도시된 사물에 국한되지 않으며 사람 또는 동물일 수도 있음에 주의해야 한다.
배경이 되는 방은 편안한 개인 공간의 형태로 구성될 수 있으며, 물건을 숨길 수 있는 장소와 물건의 개수는 난이도 조절에 따라 자유롭게 조정될 수 있다.
또한, 물건은 한국어 빈도 사전에서 사용 빈도가 높은 것을 선별하거나, 또는 일상 생활에서 많이 사용되는 물건 중에서 선별할 수도 있다.
도 10를 참조하면, 가상 현실 장치(102)는 아바타(810)에 의해 물건 숨기기가 끝나면, 제2 사용자에게 숨겨진 물건을 찾아달라는 인터페이스 화면을 출력할 수 있다. 예를 들어, 가상 현실 장치(102)는 곰인형(925), 바나나(921), 사과(919), 또는 리모컨(929)이 어디에 숨겨졌는지 제2 사용자가 찾도록 하는 문제를 출력할 수 있다.
가상 현실 장치(102)는 센서와 카메라를 이용하여 제2 사용자의 시선, 음성, 또는 제스처를 감지하고, 감지된 결과에 기초하여 배경으로 표시되는 가상 현실 공간(예: 방(801))에서 보이는 제2 사용자의 시선과 제2 사용자의 장소를 이동시킬 수 있다. 이에 따라, 제2 사용자는 가상 현실 장치(102)를 착용한 상태에서 가상 현실 공간에서의 시선 및 장소를 제어할 수 있다.
도 11에 도시된 예는 아바타(810)가 서랍장(1101)에 숨긴 곰인형(925)을 제2 사용자가 찾는 과정을 예시적으로 나타내고 있다.
도 6 및 도 12를 참조하면, 단계 611에서 가상 현실 장치(102)는 제2 사용자가 테스트를 진행하는 동안 센싱한 제2 사용자의 시선, 음성, 또는 제스처 등에 기초하여 제2 사용자의 답안을 작성하고, 결과 데이터를 생성할 수 있다.
이때, 가상 현실 장치(102)로부터 생성되는 결과 데이터는 도 12의 (a)와 같이 제2 사용자가 움직인 거리 정보, 도 12의 (b)와 같이 제2 사용자의 테스트 참여 시간 정보, 도 12의 (c)에 도시한 바와 같은 채점 결과, 즉 답안지 정보를 포함할 수 있으며, 이들 정보는 개별적으로 표시될 수 있다.
한편, 테스트 영상은 적절히 설정되는 것이 바람직하다. 예를 들어, 6분 내지 7분으로 설정될 수 있다. 이것은 테스트 영상의 재생 시간이 너무 짧으면 영상에 충분한 내용이 들어가지 못하고, 너무 길면 포함되는 내용이 너무 많아 테스트의 난이도가 급격히 증가하여 정확한 진단이 어렵기 때문이다.
단계 613에서, 가상 현실 장치(102)는 테스트 완료 후, 생성된 결과 데이터를 PC(101)로 전송할 수 있다.
한편, 본 발명의 다른 실시예에 따른 가상 현실 장치(102)는 자체적으로 채점을 진행하여, 채점 결과를 PC(101)로 전송할 수도 있다.
또한, 가상 현실 장치(102)는 채점 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 화면을 출력할 수 있다. 예를 들어, 단계 615에서 가상 현실 장치(102)는 채점 결과 점수와 기준 점수를 비교하고, 테스트 결과 점수가 기준 점수보다 낮은 경우, 문제 및 문제의 난이도를 재선택할 것을 요청하는 인터럽트를 생성하여 PC(101)로 전송할 수 있다(617).
도 13 내지 도 23은 본 발명의 치매 진단 시스템(100)을 통해 숨긴 물건 찾기 테스트를 진행하여 치매를 진단하는 또 다른 방법을 설명하기 위한 예시이다.
도 13을 참조하면, PC(101)는 제2 사용자의 치매를 진단하기에 앞서, 제2 사용자에 관한 기본적인 정보를 입력하기 위한 사용자 인터페이스를 출력할 수 있다.
PC(101)로부터 출력되는 사용자 인터페이스, 즉 기본 정보 입력 화면은 제2 사용자(피검사자)의 이름, 성별, 생년월일, 나이, 학력, 손잡이, 시력 장애 여부, 청력 장애 여부, 검사 실시 기관, 검사 날짜, 검사자 이름, 국적, 모국어, 메모 등을 포함할 수 있다.
도 14를 참조하면, PC(101)는 제1 사용자에 의해 기본 정보 입력이 완료된 것에 응답하여, 검사 레벨(검사 난이도)을 설정하기 위한 메뉴를 출력할 수 있다.
검사 레벨을 설정하기 위한 메뉴는, 예를 들어, 제1 단계 내지 제4 단계 중 어느 하나를 선택하도록 구성될 수 있다.
도 15를 참조하면, 제1 사용자(검사자)는 기본 정보 입력 및 검사 레벨 설정이 완료되면, 제2 사용자(피검사자)에게 가상 현실 장치(102)의 착용을 안내할 수 있다. 제1 사용자는 제2 사용자를 검사 시작점에 해당하는 의자에 착석시키고, 가상 현실 장치(102)의 사용법을 안내할 수 있다.
가상 현실 장치(102)는 HMD와 같은 헤드셋과, 양손에 파지하도록 구성된 컨트롤러를 포함할 수 있다. 이때, 제1 사용자는 제2 사용자가 헤드셋을 양쪽 눈에 맞춰 착용하도록 안내하고, 양쪽 손이 컨트롤러를 잡도록 안내할 수 있다. 그리고, 제1 사용자는 제2 사용자가 가상 현실 장치(102)의 착용이 올바르게 되었는지 확인할 수 있다.
확인 방법은, 예를 들어, 헤드셋의 일 측(예: 왼쪽)에 마련된 램프가 점등되었는지 확인하는 과정, 피검사자가 고개를 좌우로 움직이면서 공간이 보이는지 확인하는 과정, 양손에 잡고 있는 컨트롤러에 마련된 램프가 점등되었는지 확인하는 과정 등을 포함할 수 있다. 상기 확인 과정이 모두 정상적으로 완료되면, 제1 사용자는 의자를 공간에서 제거하고 제2 사용자가 해당 지점에서 서서 대기하도록 안내할 수 있다.
도 16을 참조하면, 제1 사용자는 PC(101)를 제어하여 치매 검사의 시작을 지시할 수 있다. PC(101)는 제1 사용자로부터의 치매 검사 시작 지시에 응답하여, 가상 현실 장치(102)를 제어할 수 있다. 치매 검사가 시작되면, 가상 현실 장치(102)는 도 16에 나타낸 바와 같은 화면을 출력할 수 있다.
예를 들어, 가상 현실 장치(102)는 제2 사용자가 가상 현실 공간을 먼저 인지 및 학습하도록 하기 위해 "눈앞에 보이는 거실을 돌아다니며 체험한 후 출발 위치로 돌아오세요"와 같은 안내를 출력할 수 있다. 이때, 안내는 문자, 음성 중 어느 하나이거나 문자 및 음성의 조합일 수 있다.
상기 안내 과정이 끝나면, 가상 현실 장치(102)는 Practice trial 과정을 수행할 수 있다. Practice trial과정은, 예를 들어, "바닥에 빨간 선을 따라 이동하세요", "서랍장을 열어주세요", "서랍장 안에 물건을 꺼내주세요", "서랍장에 스티커를 붙여보겠습니다", 자유롭게 거실을 돌아보신 후 빨간 원 위에 서서 박스를 봐주세요" 등과 같은 문구들을 포함할 수 있다. 가상 현실 장치(102)는 상기 안내 문구들을 순차적으로 하나씩 출력할 수 있으며, 제2 사용자가 해당 안내에 따른 동작을 이수할 때마다 새로운 안내 문구를 출력할 수 있다.
도 17을 참조하면, 가상 현실 장치(102)는 Practice trial 과정이 완료되면, Prospective memory 과정을 수행할 수 있다.
예를 들어, 가상 현실 장치(102)는 Prospective memory 과정에서 "잠시 후에 물건 숨기고 찾기가 진행될 것입니다. 2번째 물건을 찾으신 후에는 창문을 열어 주세요"와 같은 안내 문구를 출력할 수 있다. 상기 안내 문구는 "잠시 후 모든 물건을 다 찾은 후에 냄비의 불을 꺼주세요"와 같은 내용을 포함할 수도 있다.
이와 같이, Place-item matching의 모든 물건을 다 찾은 후 prospective memory를 테스트하는 이유는 검사 중 prospective memory를 수행하면 시간, 거리에 영향을 주므로, 다른 평가에 대한 영향을 최소화시키기 위해서이다.
도 18을 참조하면, 가상 현실 장치(102)는 Prospective memory 과정이 완료되면, 물건 숨기기 과정을 수행할 수 있다.
예를 들어, 가상 현실 장치(102)는 물건 숨기기 과정에서, "상자에서 나온 물체를 확인하고, 숨기는 장소를 기억하세요", 또는 "이제 물건이 하나씩 나와서 앞에 보이는 공간으로 숨겨질 것입니다. 물체와 숨겨지는 장소를 잘 기억하세요"와 같은 안내 문구를 출력할 수 있다.
그리고 가상 현실 장치(102)는 이어서 숨겨진 물체에 해당되는 단어의 예시로서 "사과", "바나나" 등을 출력할 수 있다.
일 실시예에 따르면, 물건 숨기기 과정에서, 가상 현실 장치(102)는 물건이 나와서 360도 돌아가는 영상이 표시되면서, 상기 물건에 매칭된 단어가 음성 신호로 출력되고, 상기 물건이 숨겨지는 시나리오 영상을 출력할 수 있다. 여기서 단어를 불러주는 이유는 free-recall 평가시 같은 물건의 다양한 이름(예: 달걀, 계란) 중 이전에 보였던 시나리오 영상대로 대답하는지 확인하기 위해서이다.
또한, 본 발명에서 물건은 사람 아바타가 나와 숨기지 않고 물건만 날아가도록 구성될 수 있는데, 그 이유는 물건이 날아가는 궤적을 사람이 가려 어떻게 숨겨지는지 제대로 확인이 어렵고, 사람의 움직임을 제어해야 하므로 물건이 날아가는 속도 조절이 제한적이기 때문이다.
도 19a를 참조하면, 가상 현실 장치(102)는 물건 숨기기 과정이 완료되면, Item free-recall 과정을 수행할 수 있다. 예를 들어, 가상 현실 장치(102)는 Item free-recall 과정에서, "상자에서 나온 물체를 기억나는 데로 말해보세요" 또는 "자, 방금 전 숨겨진 물건을 기억나는 대로 모두 말해보세요"와 같은 안내 문구를 출력할 수 있다.
한편, PC(101)는 가상 현실 장치(102)를 통해 제2 사용자가 말하는 물체에 대한 정보를 수신하고, 수신된 정보에 기초하여 도 19b에 도시한 바와 같은 제2 사용자의 답안 체크 화면을 출력할 수 있다. 이에 따라, 제1 사용자는 PC(101)를 통해 제2 사용자가 수행 중인 Item free-recall 테스트 결과를 인지할 수 있다.
도 20을 참조하면, 가상 현실 장치(102)는 Item free-recall 과정이 완료되면, Place free-recall 과정을 수행할 수 있다.
예를 들어, 가상 현실 장치(102)는 Place free-recall 과정에서 "물건이 숨겨진 위치에 스티커를 붙이고 출발 위치로 돌아오세요" 또는 "거실을 돌아다니며 물건이 숨겨진 장소에 스티커를 하나씩 붙여주세요"와 같은 안내 문구를 출력할 수 있다. Place free-recall 과정에서 스티커만 붙이는 이유는, 서랍을 열어 볼 경우 물건이 들어있는지에 관계없이 다음 place-item matching 수행에 영향을 줄 수 있기 때문이다.
도 21을 참조하면, 가상 현실 장치(102)는 Place free-recall 과정이 완료되면, Item recognition 과정을 수행할 수 있다.
예를 들어, 가상 현실 장치(102)는 Item recognition 과정에서 "지금 보시는 물건 4가지 중에서 조금 전 숨겨진 물건 하나를 선택하세요"와 같은 안내 문구를 출력할 수 있다. Item recognition 과정에서, 가상 현실 장치(102)는 복수의 물건을 표시하고, 그 중에서 적어도 하나의 이전 화면에서 출력된 물건들을 선택하도록 하는 시나리오 영상을 출력할 수 있다.
도 22를 참조하면, 가상 현실 장치(102)는 Item recognition 과정이 완료되면, Place-item matching을 수행할 수 있다.
예를 들어, 가상 현실 장치(102)는 Place-item matching 과정에서 "이제부터, 물건을 하나씩 보여 드리겠습니다. 이 물건이 숨겨진 장소에 가서 물건을 찾아 상자에 담아주세요. 찾는 물건이 없거나 다른 물건이 있으면 그냥 돌아오시면 됩니다."와 같은 안내 문구를 출력할 수 있다.
본 발명의 일 실시예에 따르면, 치매 진단 시스템(100)은 제2 사용자가 물건을 제대로 찾은 경우(O), 다른 물건이 든 장소를 열어본 경우(△), 아무 물건이 없는 경우(X)로 나누어 점수를 계산할 수 있다.
여기서, 다른 물건이 든 장소를 열어본 경우(△)는 다음 물건을 찾을 때 도움이 되며, 또한 해당 위치에 물건이 숨겨진 것을 기억하는 것이므로 점수 계산에 반영한 것이다. 이와 같이, 본 발명은 물건 찾기 테스트 있어서 단순히 정답/오답만을 점수에 반영하는 것이 아니고, 다른 물건이 든 장소를 열어본 경우(△)도 반영하여 더욱 다양한 경우의 수를 점수에 반영하므로, 검사 결과의 신뢰성을 높일 수 있다.
치매 진단 시스템(100)은 Place-item matching 과정까지 완료되면, 도 23에 도시된 바와 같은, 검사 결과 화면을 PC(101)를 통해 출력할 수 있다.
상술한 바와 같이, 본 발명은 컴퓨터와 가상현실장비를 이용하여 손쉽게 치매를 진단할 수 있고, 환자의 정신적 스트레스를 줄일 수 있다.
상기에서는 본 발명을 특정의 바람직한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 기술적 특징이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것은 당업계에서 통상의 지식을 가진 자에게 명백한 것이다.
[부호의 설명]
101: PC
102: 헤드 마운트 디스플레이(Head Mount Display, HMD)
104: 스마트폰
106: 서버

Claims (24)

  1. 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치에 있어서,
    영상을 표시하는 디스플레이;
    사용자의 동작을 감지하는 센싱부;
    외부 장치와 통신하는 통신부; 및
    상기 통신부를 통해 상기 외부 장치로부터 수신된 신경질환 진단용 문제에 기초하여, 상기 디스플레이에 가상 현실 영상을 표시하고, 상기 센싱부를 통해 사용자의 동작을 감지하면서 상기 신경질환 진단을 위한 검사를 진행하는 제어부를 포함하고,
    상기 신경질환 진단용 문제는,
    가상 현실 공간에서 적어도 하나의 물건을 소개한 후 숨기는 제1화면과,
    상기 적어도 하나의 물건에 대한 질문을 포함하는 제2화면을 포함하는 것을 특징으로 하는 가상 현실 장치.
  2. 제 1 항에 있어서,
    상기 제1화면은 아바타가 등장하여 상기 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기도록 구성된 것을 특징으로 하는 가상 현실 장치.
  3. 제 1 항에 있어서,
    상기 제1화면 및 제2화면의 배경은 상기 사용자가 거주하는 가정의 내부 환경과 동일하게 구성된 것을 특징으로 하는 가상 현실 장치.
  4. 제 1 항에 있어서,
    상기 신경질환 진단용 문제는 각각 복수의 난이도 중 어느 하나의 난이도를 갖는 문제로 구분되고,
    난이도가 증가할수록 숨겨지는 물건의 개수가 증가하도록 구성되는 것을 특징으로 하는 가상 현실 장치.
  5. 제 1 항에 있어서,
    상기 제2화면은, 상기 사용자가 숨겨진 물건을 기억하는지를 진단하기 위한 회상 단계, 상기 사용자가 숨겨진 물건과 다른 물건을 구분하는지를 진단하기 위한 인지 단계, 및 상기 사용자가 숨겨진 물건과 장소를 연관 지을 수 있는지를 진단하기 위한 매칭 단계 중 적어도 하나 이상의 단계를 수행할 수 있도록 구성되는 것을 특징으로 하는 가상 현실 장치.
  6. 제 5 항에 있어서,
    상기 회상 단계를 수행하는 제2화면은 상기 숨겨진 물건들을 순차적으로 표시하고, 상기 표시된 물건이 어디에 숨겨졌는지 질문하여 상기 사용자가 말하도록 하는 제1 사용자 인터페이스를 포함하는 것을 특징으로 하는 가상 현실 장치.
  7. 제 5 항에 있어서,
    상기 인지 단계를 수행하는 제2화면은 상기 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하고,
    상기 패키지 화면에서 상기 숨겨진 물건들 및 상기 새로운 물건들을 구분하도록 질문하여 상기 사용자가 말하도록 하는 제2 사용자 인터페이스를 포함하는 것을 특징으로 하는 가상 현실 장치.
  8. 제 5 항에 있어서,
    상기 매칭 단계를 수행하는 제2화면은 상기 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하고,
    상기 사용자가 직접 이동하면서 상기 숨겨진 물건들을 찾도록 하는 제3 사용자 인터페이스를 포함하는 것을 특징으로 하는 가상 현실 장치.
  9. 제 8 항에 있어서,
    상기 제어부는,
    상기 사용자의 움직인 거리인 제1 조건, 상기 사용자가 상기 신경질환 진단용 문제를 모두 푸는데 소요된 시간인 제2 조건, 및 상기 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제3 조건에 기초하여 점수를 산출하는 결과 처리 모듈을 포함하는 것을 특징으로 하는 가상 현실 장치.
  10. 제 9 항에 있어서,
    상기 결과 처리 모듈은 상기 제1 내지 제3 조건 각각에 대하여 미리 설정된 가중치를 부여하여 상기 점수를 산출하는 것을 특징으로 하는 가상 현실 장치.
  11. 제 9 항에 있어서,
    상기 제어부는 상기 산출된 점수와 기준 점수를 비교하고,
    상기 산출된 점수가 상기 기준 점수 이상이면 상기 사용자가 정상인 것으로 결정하는 것을 특징으로 하는 가상 현실 장치.
  12. 제 9 항에 있어서,
    상기 결과 처리 모듈은 상기 산출된 점수를 상기 통신부를 통해 상기 외부 장치로 전송하는 것을 특징으로 하는 가상 현실 장치.
  13. 제 1 항에 있어서,
    상기 통신부는 무선 통신 모듈 또는 유선 통신 모듈을 포함하고, 상기 외부 장치는 스마트폰 또는 PC인 것을 특징으로 하는 가상 현실 장치.
  14. 사용자에게 영상에 의한 가상 현실 환경을 제공하는 가상 현실 장치의 구동 방법에 있어서,
    외부 장치로부터 신경질환 진단용 문제를 수신하는 단계;
    상기 신경질환 진단용 문제에 기초하여, 디스플레이를 통해 가상 현실 영상을 표시하고, 센싱부를 통해 감지되는 사용자의 동작에 따라 상기 가상 현실 영상을 이용한 검사를 진행하는 단계; 및
    상기 가상 현실 영상을 이용하여 진행되는 검사와 관련된 정보를 상기 외부 장치로 전송해 주는 단계를 포함하고,
    상기 가상 현실 영상을 표시하는 단계는,
    가상 현실 공간에서 적어도 하나의 물건을 소개한 다음에 숨기는 제1화면을 표시하는 단계, 및
    상기 적어도 하나의 물건에 대한 질문을 포함하는 제2화면을 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제 14 항에 있어서,
    상기 제1화면은 아바타가 등장하여 상기 적어도 하나의 물건을 특정 공간 또는 특정 가구에 숨기도록 구성된 것을 특징으로 하는 방법.
  16. 제 15 항에 있어서,
    상기 제1화면 및 제2화면의 배경은 상기 사용자가 거주하는 가정의 내부 환경과 동일하게 구성된 것을 특징으로 하는 방법.
  17. 제 14 항에 있어서,
    상기 신경질환 진단용 문제는 각각 복수의 난이도 중 어느 하나의 난이도를 갖는 문제로 구분되고,
    난이도가 증가할수록 숨겨지는 물건의 개수가 증가하도록 구성되는 것을 특징으로 하는 방법.
  18. 제 14 항에 있어서,
    상기 제2화면은, 상기 사용자가 숨겨진 물건을 기억하는지를 진단하기 위한 회상 단계, 상기 사용자가 숨겨진 물건과 다른 물건을 구분하는지를 진단하기 위한 인지 단계, 및 상기 사용자가 숨겨진 물건과 장소를 연관 지을 수 있는지를 진단하기 위한 매칭 단계 중 적어도 하나 이상의 단계를 수행할 수 있도록 구성되는 것을 특징으로 하는 방법.
  19. 제 18 항에 있어서,
    상기 회상 단계는,
    상기 숨겨진 물건들을 순차적으로 표시하는 단계; 및
    상기 표시된 물건이 어디에 숨겨졌는지 질문하여 상기 사용자가 말하도록 하는 제1 사용자 인터페이스를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  20. 제 18 항에 있어서,
    상기 인지 단계는,
    상기 숨겨진 물건들과, 미리 소개하지 않았던 새로운 물건들을 섞은 패키지 화면을 표시하는 단계; 및
    상기 패키지 화면에서 상기 숨겨진 물건들 및 상기 새로운 물건들을 구분하도록 질문하여 상기 사용자가 말하도록 하는 제2 사용자 인터페이스를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제 18 항에 있어서,
    상기 매칭 단계는,
    상기 적어도 하나의 물건들이 숨겨진 가상 현실 공간을 표시하는 단계; 및
    상기 사용자가 직접 이동하면서 상기 숨겨진 물건들을 찾도록 하는 제3 사용자 인터페이스를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제 21 항에 있어서,
    상기 사용자의 움직인 거리인 제1 조건, 상기 사용자가 상기 치매 진단용 문제를 모두 푸는데 소요된 시간인 제2 조건, 및 상기 사용자의 음성 또는 동작에 기초하여 작성된 답안지인 제3 조건에 기초하여 점수를 산출하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  23. 제 22 항에 있어서,
    상기 점수를 산출하는 단계는 상기 제1 내지 제3 조건 각각에 대해 미리 설정된 가중치를 부여하여 상기 점수를 산출하는 것을 특징으로 하는 방법.
  24. 제 22 항에 있어서,
    상기 산출된 점수와 기준 점수를 비교하는 단계; 및
    상기 산출된 점수가 상기 기준 점수 이상이면 상기 사용자가 정상인 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
PCT/KR2018/003203 2017-03-23 2018-03-20 가상현실을 이용한 신경질환 진단 장치 및 방법 WO2018174507A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880014036.1A CN110430802B (zh) 2017-03-23 2018-03-20 利用虚拟现实的神经疾病诊断装置及方法
US16/496,100 US11826160B2 (en) 2017-03-23 2018-03-20 Nerve disorder diagnosis apparatus and method using virtual reality
EP18772442.2A EP3603491A4 (en) 2017-03-23 2018-03-20 DEVICE AND METHOD FOR DIAGNOSING NEUROLOGICAL DISORDERS USING VIRTUAL REALITY

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0037050 2017-03-23
KR1020170037050A KR101983279B1 (ko) 2017-03-23 2017-03-23 가상현실을 이용한 신경질환 진단 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2018174507A1 true WO2018174507A1 (ko) 2018-09-27

Family

ID=63586095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003203 WO2018174507A1 (ko) 2017-03-23 2018-03-20 가상현실을 이용한 신경질환 진단 장치 및 방법

Country Status (5)

Country Link
US (1) US11826160B2 (ko)
EP (1) EP3603491A4 (ko)
KR (1) KR101983279B1 (ko)
CN (1) CN110430802B (ko)
WO (1) WO2018174507A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612316B2 (en) 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122463A1 (ko) * 2018-12-10 2020-06-18 주식회사 씨투몬스터 가상 현실을 이용한 치매 환자 훈련 시스템
KR102200196B1 (ko) * 2019-09-11 2021-01-08 백종엽 위치 정보를 이용한 증강현실 기반의 캐릭터 제공 시스템
WO2022025563A1 (ko) * 2020-07-28 2022-02-03 재단법인 아산사회복지재단 가상 현실 기반 중추신경계 탈수초 질환 환자의 뇌 훈련 장치, 방법 및 시스템
KR20230047410A (ko) * 2020-10-30 2023-04-07 주식회사 이노베이션시스템 Vr을 이용한 치매 진단 방법 및 이를 이용하는 장치
KR102508262B1 (ko) * 2021-02-26 2023-03-09 (주)블라우비트 음성 및 시선 추적을 이용한 치매 진단 장치 및 치매 정보 제공 방법
KR102657044B1 (ko) * 2021-08-10 2024-04-15 충북대학교 산학협력단 가상환경을 이용한 자가 신체 검진 장치 및 그 제어방법
KR102392318B1 (ko) * 2022-01-17 2022-05-02 주식회사 하이 혼합 테스트에 기초하여 치매를 식별하는 기법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084873A (ko) * 2007-02-06 2008-09-22 프림포주식회사 치매예방 게임시스템
US20120022343A1 (en) * 2001-12-13 2012-01-26 Musc Foundation For Research Development Systems and methods for detecting deception by measuring brain activity
KR20140046629A (ko) * 2012-10-09 2014-04-21 대한민국(국립재활원장) 뇌손상 장애인의 운전능력을 판단하기 위한 인지 지각 능력 평가시스템
KR20140134417A (ko) * 2013-05-14 2014-11-24 주식회사 넷블루 치매 인지 평가 장치
US20160125748A1 (en) * 2014-11-04 2016-05-05 John Wesson Ashford Memory test for Alzheimer's disease

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7087015B1 (en) * 2000-01-31 2006-08-08 Panmedix, Inc. Neurological pathology diagnostic apparatus and methods
CA2530532A1 (en) * 2003-06-27 2005-01-06 Fralex Therapeutics Inc. System for image-guided pulsed magnetic field diagnosis and treatment
US20090298025A1 (en) * 2007-05-09 2009-12-03 Oregon Health & Science University Object recognition testing tools and techniques for measuring cognitive ability and cognitive impairment
US8392250B2 (en) * 2010-08-09 2013-03-05 The Nielsen Company (Us), Llc Neuro-response evaluated stimulus in virtual reality environments
US20120108909A1 (en) * 2010-11-03 2012-05-03 HeadRehab, LLC Assessment and Rehabilitation of Cognitive and Motor Functions Using Virtual Reality
KR101302193B1 (ko) * 2011-08-03 2013-08-30 포항공과대학교 산학협력단 삼킴 장애 측정 및 치료 장치
JP2014535080A (ja) * 2011-11-16 2014-12-25 ヴェロニク・デボラ・ボーボ 記憶を改善するためのコンピュータ生成三次元仮想現実環境
US8751039B1 (en) * 2013-02-22 2014-06-10 Remedev, Inc. Remotely-executed medical therapy device
KR102222983B1 (ko) * 2013-03-11 2021-03-04 링컨 글로벌, 인크. 가상 현실 환경에서의 향상된 교육 및 훈련을 제공하는 시스템 및 방법
TWI641943B (zh) * 2013-03-15 2018-11-21 美商英特爾公司 控制電源供應單元於閒置狀態期間的功率消耗之技術
AU2014234971A1 (en) * 2013-03-18 2015-11-12 Cognisens Inc. Perceptual-cognitive-motor learning system and method
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
KR101711093B1 (ko) * 2015-02-11 2017-03-02 울산과학기술원 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템
CN106293073A (zh) * 2016-07-29 2017-01-04 深圳市前海安测信息技术有限公司 基于虚拟现实的辅助老年痴呆症患者寻找物品的系统及方法
CN106355010A (zh) * 2016-08-30 2017-01-25 深圳市臻络科技有限公司 一种自助认知评估的装置和方法
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120022343A1 (en) * 2001-12-13 2012-01-26 Musc Foundation For Research Development Systems and methods for detecting deception by measuring brain activity
KR20080084873A (ko) * 2007-02-06 2008-09-22 프림포주식회사 치매예방 게임시스템
KR20140046629A (ko) * 2012-10-09 2014-04-21 대한민국(국립재활원장) 뇌손상 장애인의 운전능력을 판단하기 위한 인지 지각 능력 평가시스템
KR20140134417A (ko) * 2013-05-14 2014-11-24 주식회사 넷블루 치매 인지 평가 장치
US20160125748A1 (en) * 2014-11-04 2016-05-05 John Wesson Ashford Memory test for Alzheimer's disease

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612316B2 (en) 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes

Also Published As

Publication number Publication date
CN110430802A (zh) 2019-11-08
US20200093414A1 (en) 2020-03-26
KR20180108954A (ko) 2018-10-05
US11826160B2 (en) 2023-11-28
EP3603491A1 (en) 2020-02-05
CN110430802B (zh) 2022-07-05
KR101983279B1 (ko) 2019-05-30
EP3603491A4 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
WO2018174507A1 (ko) 가상현실을 이용한 신경질환 진단 장치 및 방법
US10231615B2 (en) Head-mounted display for performing ophthalmic examinations
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
CN109645955B (zh) 基于vr和眼动追踪的多功能视觉功能检测装置及方法
US11119573B2 (en) Pupil modulation as a cognitive control signal
WO2018080149A2 (ko) 생체신호연동 가상현실 인지재활 시스템
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
US10709328B2 (en) Main module, system and method for self-examination of a user's eye
WO2021162207A1 (ko) 인공지능에 기반한 외사시환자 재활훈련 가상현실 시스템, 방법 및 컴퓨터-판독가능매체
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2021241884A1 (en) Digital apparatus and application for treating myopia
EP3655204A1 (en) Electronic device capable of moving and operating method thereof
WO2018139792A1 (ko) 헬스케어 프로그램 관리 방법 및 그 전자 장치
US10936060B2 (en) System and method for using gaze control to control electronic switches and machinery
WO2017164562A1 (ko) 시력 검사 방법, 시력 검사기 및 이 시력 검사 방법의 프로그램을 저장하는 다운로더 서버
US10754425B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable recording medium
WO2022131488A1 (ko) 전자 장치 및 그 제어 방법
WO2024063573A1 (ko) 의과학 및 성분학 기반의 정신 상태 분석 장치, 방법 및 프로그램
WO2023080296A1 (ko) Ar 디바이스 및 ar 디바이스 제어 방법
WO2014112824A1 (ko) 생체 정보 측정 장치 및 생체 정보 측정 방법
CN111933277A (zh) 3d眩晕症的检测方法、装置、设备和存储介质
WO2022014819A1 (ko) 인지 훈련 제공 장치 및 이를 이용하는 인지 훈련 방법
WO2024111904A1 (ko) 아바타를 제어하기 위한 방법 및 이를 위한 전자 장치
US20230351676A1 (en) Transitioning content in views of three-dimensional environments using alternative positional constraints

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772442

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018772442

Country of ref document: EP

Effective date: 20191023