KR102302001B1 - Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality - Google Patents

Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality Download PDF

Info

Publication number
KR102302001B1
KR102302001B1 KR1020190142785A KR20190142785A KR102302001B1 KR 102302001 B1 KR102302001 B1 KR 102302001B1 KR 1020190142785 A KR1020190142785 A KR 1020190142785A KR 20190142785 A KR20190142785 A KR 20190142785A KR 102302001 B1 KR102302001 B1 KR 102302001B1
Authority
KR
South Korea
Prior art keywords
user
image
target
information
distance
Prior art date
Application number
KR1020190142785A
Other languages
Korean (ko)
Other versions
KR20210056491A (en
Inventor
유제광
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190142785A priority Critical patent/KR102302001B1/en
Publication of KR20210056491A publication Critical patent/KR20210056491A/en
Application granted granted Critical
Publication of KR102302001B1 publication Critical patent/KR102302001B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1104—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법은 사용자가 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 헤드 마운트 장치를 이용하며, 상기 영상 내에서 타겟을 설정하는 단계, 상기 영상의 전원 모드 및 변조 모드를 설정하는 단계, 사용자에게 피드백 과제를 수행하도록 요청하여, 상기 타겟에 대한 사용자 인지정보를 포함하는 사용자 피드백 정보를 수집하는 단계, 및 상기 수집된 사용자 피드백 정보의 분석하는 단계를 포함하고, 상기 각 모드 별로 수집된 상기 사용자 피드백 정보를 비교하여 오차를 분석하는 단계를 포함한다.A user spatial perception ability and adaptive ability evaluation method according to an embodiment of the present invention uses a head mounted device that provides a virtual reality environment to a user by displaying an image while the user is wearing it, and setting a target in the image. Step, setting the power mode and modulation mode of the image, requesting the user to perform a feedback task, collecting user feedback information including user recognition information for the target, and the collected user feedback information and analyzing the error by comparing the user feedback information collected for each mode.

Description

가상현실 상에서의 시각변조를 이용한 사용자 공간지각능력 및 적응능력 평가 방법 및 시스템{METHOD AND SYSTEM FOR DIAGNOSING SPATIAL PERCEPTION AND ADAPTATION ABILITY USING VISUAL AND SENSORIMOTOR MODULATION ON VIRTUAL REALITY}Method and system for evaluating user spatial perception ability and adaptive ability using visual modulation in virtual reality

본 발명은 가상현실 상에서 시각변조를 이용한 공간지각능력 및 적응능력 평가 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for evaluating spatial perception and adaptive ability using visual modulation in virtual reality.

종래의 경우, 공간지각능력 및 적응능력을 측정하기 위해 전문의료장비검사(fMRI, 뇌파)를 실시해야 했다. 이는 비용적 측면에서 실용적이지 못하다는 단점이 있다.
배경 기술이 기재된 특허문헌으로는 선행문헌 1(한국등록특허공보 10-1628117), 선행문헌 2(한국등록특허공보 10-1825047), 선행문헌 3(한국공개특허공보 10-2018-0127140) 및 선행문헌 4(한국공개특허공보 10-2019-0111218) 등이 있다.In the conventional case, in order to measure spatial perception ability and adaptive ability, specialized medical equipment examination (fMRI, EEG) had to be performed. This has the disadvantage that it is not practical in terms of cost.
As a patent document in which the background technology is described, Prior Document 1 (Korea Patent Publication No. 10-1628117), Prior Document 2 (Korea Patent Publication No. 10-1825047), Prior Document 3 (Korea Patent Publication No. 10-2018-0127140) and prior art Document 4 (Korean Patent Publication No. 10-2019-0111218) and the like.

본 발명의 목적은, 사용자의 시각 교란에 따른 공간지각능력 및 적응능력을 평가하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to evaluate a spatial perception ability and an adaptive ability according to a visual disturbance of a user.

본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법은 사용자가 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 헤드 마운트 장치, 사용자의 움직임을 센싱하고, 상기 헤드 마운트 장치에서 표시되는 가상 객체의 위치 및 움직임을 제어하는 컨트롤러, 및 상기 헤드 마운트 장치 내의 상기 가상 객체의 위치 정보 및 상기 가상 객체의 움직임 정보를 분석하는 분석 장치를 이용하고, 상기 영상 내에서 타겟을 설정하는 단계, 상기 영상의 전원 모드 및 변조 모드를 설정하는 단계, 사용자에게 피드백 과제를 수행하도록 요청하여, 상기 타겟에 대한 사용자 인지정보를 포함하는 사용자 피드백 정보를 수집하는 단계, 및 상기 수집된 사용자 피드백 정보의 분석하는 단계를 포함하고, 상기 각 모드 별로 수집된 상기 사용자 피드백 정보를 비교하여 오차를 분석하는 단계를 포함한다.A method for evaluating user spatial perception ability and adaptive ability according to an embodiment of the present invention includes a head mounted device that provides a virtual reality environment to a user by displaying an image in a state of being worn by the user, sensing the user's movement, and the head mounted device Setting a target in the image using a controller that controls the position and movement of a virtual object displayed in Step, setting the power mode and modulation mode of the image, requesting the user to perform a feedback task, collecting user feedback information including user recognition information for the target, and the collected user feedback information and analyzing the error by comparing the user feedback information collected for each mode.

상기 전원 모드 및 변조 모드를 설정하는 단계는 복수의 모드들로 변경 가능하고, 상기 사용자 피드백 정보를 수집하는 단계는 상기 전원 모드 또는 상기 변조 모드가 변경될 때마다 반복 수행된다.The step of setting the power mode and the modulation mode can be changed into a plurality of modes, and the step of collecting the user feedback information is repeatedly performed whenever the power mode or the modulation mode is changed.

상기 사용자 피드백 정보를 수집하는 단계는, 사용자가 상기 타겟까지 보행하는 보행 피드백 과제를 수행하여, 사용자의 보행 정보를 수집한다.The collecting of the user feedback information includes collecting the user's gait information by performing a gait feedback task in which the user walks to the target.

상기 전원 모드는 on 상태이다.The power mode is on.

상기 사용자 피드백 정보는, 상기 영상의 전원 모드가 on 인 상태에서 상기 보행 피드백 과제 수행 전, 사용자가 가늠하는 사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리 정보, 및 상기 영상의 전원 모드가 off 인 상태에서 상기 보행 피드백 과제 수행 후, 사용자가 상기 타겟까지 보행한 실제보행거리 정보를 포함하고, 상기 오차를 분석하는 단계에서, 상기 타겟거리 정보와 상기 실제보행거리 정보의 차이를 분석한다.The user feedback information includes target distance information defined as the distance between the user and the target that the user measures before performing the gait feedback task in a state in which the power mode of the image is on, and the power mode of the image is off After performing the gait feedback task in the state, the actual walking distance information that the user walked to the target is included, and in the step of analyzing the error, the difference between the target distance information and the actual walking distance information is analyzed.

상기 변조 모드는, 사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리와 실제보행거리 간의 비율을 조절하는 게인 변조 모드를 포함한다.The modulation mode includes a gain modulation mode for adjusting a ratio between a target distance defined as a distance between a user and the target and an actual walking distance.

상기 변조 모드는, 사용자의 보행 방향이 사용자의 정면 시선으로부터 소정의 각도를 갖도록 상기 영상을 변조시키는 각도 변조 모드를 포함한다.The modulation mode includes an angle modulation mode in which the image is modulated so that the walking direction of the user has a predetermined angle from the user's frontal gaze.

상기 사용자 피드백 정보를 수집하는 단계는, 상기 영상의 전원 모드가 on 인 상태에서, 사용자와 상기 타겟까지의 거리로 정의되는 타겟거리 정보를 사용자가 가늠하도록 요청하는 단계를 포함한다.The collecting of the user feedback information includes requesting the user to estimate target distance information defined as a distance between the user and the target while the power mode of the image is on.

상기 사용자 피드백 정보를 수집하는 단계는, 상기 타겟이 배치된 자리에 서브타겟을 생성하는 단계, 상기 타겟과 상기 서브 타겟 사이의 거리가 사용자와 상기 타겟 사이의 거리와 동일하도록 상기 서브타겟을 이동시키는 명령을 사용자에게 요청하는 단계를 포함한다.The collecting of the user feedback information may include generating a sub-target at a location where the target is disposed, and moving the sub-target so that a distance between the target and the sub-target is the same as the distance between the user and the target. requesting a command from the user.

상기 사용자 피드백 정보를 수집하는 단계는 동일 모드에서 복수 차례 반복 가능하다.The collecting of the user feedback information may be repeated a plurality of times in the same mode.

본 발명의 실시 예에 따른 사용자 공간감각능력 및 적응능력 평가 시스템은 사용자가 헤드 마운트 디스플레이 장치를 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 디스플레이부, 사용자의 움직임을 센싱하고, 상기 헤드 마운트 디스플레이에 표시되는 가상 객체의 움직임을 제어하는 컨트롤러, 및 상기 헤드 마운트 디스플레이 장치 및 상기 컨트롤러로부터 수신되는 사용자 피드백 정보를 분석하는 분석부를 포함하고, 상기 컨트롤러는, 사용자의 움직임을 센싱하는 센싱부, 상기 가상 객체의 움직임을 제어하는 제어부, 및 상기 사용자의 움직임에 대응하는 상기 영상의 움직임의 속도 및 각도를 변조시키는 변조부를 포함하고, 상기 분석부는 상기 변조부에 의하여 변조된 영상에 반응하는 사용자의 피드백 정보를 분석한다.The user's spatial sensory ability and adaptive ability evaluation system according to an embodiment of the present invention senses the user's movement, a display unit that provides a virtual reality environment to the user by displaying an image while the user is wearing a head mounted display device, a controller for controlling movement of a virtual object displayed on the head mounted display, and an analysis unit for analyzing user feedback information received from the head mounted display device and the controller, wherein the controller is configured to sense a user's movement a control unit for controlling the movement of the virtual object, and a modulator for modulating a speed and an angle of movement of the image corresponding to the user's movement, wherein the analysis unit responds to the image modulated by the modulator Analyze user feedback information.

상기 변조부는 상기 영상을 복수의 영상 모드들로 변조시키고, 상기 영상 모드들은, 상기 영상의 속도를 조절하는 게인 변조 모드, 및 사용자의 움직임이 상기 영상 속에서 사용자의 정면 방향 시선으로부터 소정의 각도를 갖도록 상기 영상의 각도을 변조시키는 각도 조절 모드를 포함한다.The modulator modulates the image into a plurality of image modes, and the image modes include a gain modulation mode for controlling the speed of the image, and a user's movement at a predetermined angle from the user's frontal gaze in the image. and an angle adjustment mode for modulating the angle of the image so as to have it.

상기 영상 모드들은 상기 영상의 온/오프를 제어하는 전원 모드를 더 포함한다.The image modes further include a power mode for controlling on/off of the image.

상기 사용자의 피드백 정보는 사용자의 보행 정보를 포함한다.The user's feedback information includes user's gait information.

본 발명에 의하면, 사용자의 시각 교란에 따른 공간지각능력 및 적응능력을 평가할 수 있다.According to the present invention, it is possible to evaluate the spatial perception ability and the adaptive ability according to the user's visual disturbance.

도 1은 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가장치가 개략적으로 도시된 도면이다.
도 2는 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가 시스템이 도시된 블록도이다.
도 3은 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가 방법의 순서도이다.
도 4는 영상 모드의 종류가 도시된 도면이다.
도 5는 본 발명의 실시 예에 따른 피드백 과제를 통한 사용자 피드백 정보를 수집하는 과정이 도시된 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 사용자 피드백 정보를 수집하는 과정이 도시된 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 피드백 과제가 도시된 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 사용자 피드백 정보를 수집하는 과정이 도시된 도면이다.1 is a diagram schematically illustrating an apparatus for evaluating spatial perception ability and adaptive ability according to an embodiment of the present invention.
2 is a block diagram illustrating a spatial perception ability and adaptive ability evaluation system according to an embodiment of the present invention.
3 is a flowchart of a method for evaluating spatial perception ability and adaptive ability according to an embodiment of the present invention.
4 is a diagram illustrating types of image modes.
5 is a diagram illustrating a process of collecting user feedback information through a feedback task according to an embodiment of the present invention.
6 is a diagram illustrating a process of collecting user feedback information through a feedback task according to another embodiment of the present invention.
7 is a view showing a feedback task according to another embodiment of the present invention.
8 is a diagram illustrating a process of collecting user feedback information through a feedback task according to another embodiment of the present invention.

이하에서 설명되는 모든 실시 예들은 본 발명의 이해를 돕기 위해 예시적으로 나타낸 것이며, 여기에 설명된 실시 예들과 다르게 변형되어 다양한 실시 형태로 실시될 수 있다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 공지 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명은 생략하도록 한다.All embodiments described below are illustratively shown to help the understanding of the present invention, and may be modified differently from the embodiments described herein and implemented in various embodiments. In addition, in describing the present invention, if it is determined that a detailed description of a related known function or known component may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

첨부된 도면은 발명의 이해를 돕기 위해서 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있으며, 각 구성요소들에 참조번호를 기재할 때, 동일한 구성요소들에 대해서는 다른 도면에 표시되더라도 가능한 한 동일한 부호로 표시하였다.The accompanying drawings are not drawn to scale in order to help the understanding of the present invention, but the dimensions of some components may be exaggerated. Even if they are indicated in , they are indicated with the same symbols as possible.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When it is described that a component is 'connected', 'coupled' or 'connected' to another component, the component may be directly connected, coupled or connected to the other component, but the component and the other component It should be understood that another element may be 'connected', 'coupled' or 'connected' between elements.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 발명에 대한 다양한 변형 실시 예들이 있을 수 있다. Therefore, since the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent all the technical spirit of the present invention, there may be various modified embodiments of the present invention. .

그리고, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.In addition, the terms or words used in the present specification and claims should not be limited to conventional or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. Based on the principle, it should be interpreted as meaning and concept consistent with the technical idea of the present invention.

또한, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.In addition, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

또한, 본 출원에서 사용된 단수의 표현은 문맥상 명백히 다른 것을 뜻하지 않는 한, 복수의 표현을 포함한다.Also, the singular expression used in this application includes the plural expression unless the context clearly dictates otherwise.

도 1은 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가장치가 개략적으로 도시된 도면이고, 도 2는 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가 시스템이 도시된 블록도이다.1 is a diagram schematically showing a spatial perception ability and adaptive ability evaluation apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram showing a spatial perception ability and adaptive ability evaluation system according to an embodiment of the present invention .

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 시스템(10)은 디스플레이부(100), 컨트롤러(200), 및 분석부(300)를 포함한다. 이하, 설명의 편의를 위하여, 사용자 공간지각능력 및 적응능력 평가 시스템(10)은 진단 시스템(10)으로 후술한다. 1 and 2 , the user spatial perception ability and adaptive ability evaluation system 10 according to an embodiment of the present invention includes a display unit 100 , a controller 200 , and an analysis unit 300 . Hereinafter, for convenience of description, the user spatial perception ability and adaptive ability evaluation system 10 will be described as a diagnosis system 10 .

디스플레이부(100), 컨트롤러(200), 및 분석부(300)는 서로 유선 또는 무선으로 연결되어 신호를 주고 받을 수 있다.The display unit 100 , the controller 200 , and the analysis unit 300 may be connected to each other by wire or wirelessly to transmit and receive signals.

도 1에 도시된 바와 같이, 디스플레이부(100)는 사용자의 머리에 착용 가능한 헤드 마운트 장치(HMD, Head Mount device)의 형태로 제공될 수 있다. 디스플레이부(100)는 사용자(UR)가 착용한 상태에서 영상을 표시하여 사용자(UR)에게 가상현실 환경을 제공할 수 있다.As shown in FIG. 1 , the display unit 100 may be provided in the form of a head mount device (HMD) that can be worn on the user's head. The display unit 100 may provide a virtual reality environment to the user UR by displaying an image in a state worn by the user UR.

디스플레이부(100)는 복수의 가상 객체들을 표시한다. 디스플레이부(100)는 컨트롤러(200)의 신호에 따라 적어도 하나의 가상 객체의 움직임 변화를 표시할 수 있다. 상기 가상 객체들은 타겟을 포함할 수 있다.The display unit 100 displays a plurality of virtual objects. The display 100 may display a change in movement of at least one virtual object according to a signal from the controller 200 . The virtual objects may include a target.

또한, 디스플레이부(100)는 컨트롤러(200)의 입력 신호에 따른 가상 객체의 움직임 정보를 변조하여 영상으로 표시할 수 있다. 변조된 영상에 관하여, 이하 도 4에서 보다 상세히 후술된다.Also, the display unit 100 may modulate motion information of a virtual object according to an input signal of the controller 200 and display it as an image. The modulated image will be described in more detail below with reference to FIG. 4 .

컨트롤러(200)는 사용자(UR)의 신체의 일부에 착용 가능한 장치 형태로 제공될 수 있다. 예시적으로, 도 1에서는 사용자(UR)의 손에 쥐어진 컨트롤러 장치(200)가 도시되었다. 이 외에도, 컨트롤러(200)는 사용자(UR)의 발, 다리, 팔, 머리 중 적어도 어느 하나에 착용되는 형태로 제공될 수 있다.The controller 200 may be provided in the form of a device that can be worn on a part of the body of the user UR. For example, in FIG. 1 , the controller device 200 held in the hand of the user UR is shown. In addition, the controller 200 may be provided to be worn on at least one of the user's UR's feet, legs, arms, and head.

컨트롤러(200)는 복수로 제공될 수 있다. 예시적으로, 도 1에서는 하나의 컨트롤러(200)만이 도시되었다.A plurality of controllers 200 may be provided. Exemplarily, only one controller 200 is shown in FIG. 1 .

컨트롤러(200)는 사용자(UR)의 움직임을 센싱하여, 디스플레이부(100)에서 표시되는 가상 객체의 움직임을 제어할 수 있다.The controller 200 may sense the movement of the user UR to control the movement of the virtual object displayed on the display unit 100 .

구체적으로, 컨트롤러(200)는 센싱부(210), 제어부(220), 및 변조부(230)를 포함한다.Specifically, the controller 200 includes a sensing unit 210 , a control unit 220 , and a modulator 230 .

센싱부(210)는 사용자(UR)의 움직임을 센싱한다. 예시적으로, 센싱부(210)는 변위 센서, 가속도 센서, 자이로센서, 나침반 센서, 블루투스 센서 등 중 적어도 어느 하나를 포함할 수 있다. The sensing unit 210 senses the movement of the user UR. For example, the sensing unit 210 may include at least one of a displacement sensor, an acceleration sensor, a gyro sensor, a compass sensor, a Bluetooth sensor, and the like.

제어부(220)는 사용자(UR)의 명령 신호를 수신하여 디스플레이부(100)에 표시되는 가상 객체의 움직임을 제어한다.The controller 220 receives a command signal from the user UR to control the movement of the virtual object displayed on the display unit 100 .

명령 신호는 여러가지 형태로 제공될 수 있다. 예시적으로, 명령 신호는 컨트롤러 장치(200)에 형성된 버튼(미도시)을 누르는 형태로 제어부(220)에 제공될 수 있다. 또한, 명령 신호는 컨트롤러 장치(200)의 움직임에 따른 제스쳐 명령 신호 또는 사용자(UR)의 음성 명령 신호일 수 있다. 제스쳐 명령 신호는 센싱부(210)로부터 센싱되어 제어부(220)에 수신된다. 명령 신호가 음성 명령 신호인 경우, 컨트롤러(200)는 마이크(미도시)를 더 포함할 수 있다.The command signal may be provided in various forms. For example, the command signal may be provided to the controller 220 in the form of pressing a button (not shown) formed on the controller device 200 . Also, the command signal may be a gesture command signal according to the movement of the controller device 200 or a voice command signal of the user UR. The gesture command signal is sensed by the sensing unit 210 and received by the control unit 220 . When the command signal is a voice command signal, the controller 200 may further include a microphone (not shown).

변조부(230)는 영상을 변조한다. 구체적으로, 변조부(230)는 영상의 온/오프, 속도, 및 각도 등을 조절한다. 사용자(UR)는 변조된 영상에 의하여 시각이 교란될 수 있다. 변조부(230)에 관하여, 이하 도 4에서 보다 상세히 후술된다.The modulator 230 modulates the image. Specifically, the modulator 230 controls on/off, speed, and angle of the image. The user's UR's vision may be disturbed by the modulated image. The modulator 230 will be described in more detail below with reference to FIG. 4 .

분석부(300)는 디스플레이부(100) 및 컨트롤러(200)로부터 수신되는 신호 및 정보를 수집한다. 수신된 신호 및 정보는 사용자 피드백 정보(미도시)로 정의된다. 예시적으로, 분석부(300)는 디스플레이부(100)에 표시되는 가상 객체의 위치 정보 및 움직임 정보 등을 수신할 수 있다. 또한. 분석부(300)는 컨트롤러(200)로부터 센싱된 움직임 신호, 음성 신호, 명령 신호 등을 수신할 수 있다.The analysis unit 300 collects signals and information received from the display unit 100 and the controller 200 . Received signals and information are defined as user feedback information (not shown). For example, the analysis unit 300 may receive location information and motion information of the virtual object displayed on the display unit 100 . In addition. The analysis unit 300 may receive a motion signal, a voice signal, a command signal, etc. sensed from the controller 200 .

분석부(300)는 수집된 사용자 피드백 정보를 분석하여 사용자(UR)의 공간감각능력 및 시각교란에 따른 적응능력을 평가할 수 있다. 사용자(UR)의 피드백 정보를 통하여 산출된 공간감각능력 지수 및 시각교란에 따른 적응능력 지수를 기설정된 공간감각능력 표준 지수 및 시각교란에 의한 적응능력 표준 지수와 비교하여 사용자(UR)의 공간감각능력 및 시각교란에 따른 적응능력을 평가할 수 있다.The analysis unit 300 may analyze the collected user feedback information to evaluate the spatial sensory ability of the user UR and the adaptive ability according to the visual disturbance. By comparing the spatial sensory ability index calculated through the user's (UR) feedback information and the adaptive ability index according to visual disturbance with the preset standard spatial sensory ability index and the adaptive ability standard index by visual disturbance, the user's (UR) spatial sense Ability and adaptive ability according to visual disturbance can be evaluated.

도면에 도시되지 않았으나, 본 발명의 실시 예에 따른 진단 시스템(10)은 상기 수집된 사용자 피드백 정보 및 기설정 값을 저장하는 저장부(미도시)를 더 포함할 수 있다.Although not shown in the drawings, the diagnostic system 10 according to an embodiment of the present invention may further include a storage unit (not shown) for storing the collected user feedback information and preset values.

또한, 도면에 도시되지 않았으나, 진단 시스템(10)은 사용자(UR)가 위치한 장소를 촬영하는 카메라(미도시) 등을 더 포함할 수 있다. 카메라에서 촬영한 영상은 디스플레이부(10)에 동기화될 수 있다. 따라서, 헤드 마운트 장치(100)를 착용한 사용자(UR)는 가상 현실과 실제 장소를 동일하게 인지할 수 있다.In addition, although not shown in the drawings, the diagnosis system 10 may further include a camera (not shown) that captures a location where the user UR is located. The image captured by the camera may be synchronized with the display unit 10 . Accordingly, the user UR wearing the head mounted device 100 may recognize the virtual reality and the real place identically.

도 3은 본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법의 순서도이고, 도 4는 영상 모드의 종류가 도시된 도면이다.3 is a flowchart of a method for evaluating a user's spatial perception ability and adaptive ability according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating types of image modes.

도 3 및 도 4를 참조하면, 본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법은 영상 내에서 타겟을 설정하는 단계(S1), 영상 모드를 설정하는 단계(S2), 사용자에게 피드백 과제를 수행하도록 요청하여, 사용자 피드백 정보를 수집하는 단계(S3) 및 오차를 분석하는 단계(S4)를 포함한다.3 and 4, the user spatial perception ability and adaptive ability evaluation method according to an embodiment of the present invention includes the steps of setting a target in an image (S1), setting an image mode (S2), and giving the user requesting to perform a feedback task, and collecting user feedback information (S3) and analyzing the error (S4).

타겟을 설정하는 단계(S1)에서, 타겟은 영상 내에 표시되는 가상 객체들 중 어느 하나일 수 있다. 타겟은 사용자(UR, 도 1)와 일정 거리 이격되어 있는 일 객체로 설정하는 것이 바람직하다. 헤드 마운트 장치(100)를 사용자(UR, 도 1)가 착용할 경우, 사용자(UR, 도 1)는 사용자 객체(V0, 도 7)와 목표 객체인 타겟(OB, 도 7)이 사용자에게 시인될 수 있다, 타겟은 다양한 형상으로 표시될 수 있다.In the step of setting the target ( S1 ), the target may be any one of virtual objects displayed in the image. It is preferable that the target be set as an object spaced apart from the user (UR, FIG. 1 ) by a predetermined distance. When the user (UR, FIG. 1) wears the head mounted device 100, the user (UR, FIG. 1) recognizes the user object (V0, FIG. 7) and the target object (OB, FIG. 7) as the target object to the user can be, the target can be displayed in various shapes.

영상 모드를 설정하는 단계(S2)에서, 영상 모드는 전원 모드(on/off 모드)와 변조 모드를 포함한다(도 4). 전원 모드는 영상의 온/오프 상태를 결정한다. 전원 모드가 on 상태일 경우, 사용자(UR, 도 1)에게 영상이 시인되고, 전원 모드가 off 상태일 경우, 사용자(UR, 도 1)에게 영상이 시인되지 않는다.In the step S2 of setting the video mode, the video mode includes a power mode (on/off mode) and a modulation mode ( FIG. 4 ). The power mode determines the on/off state of the image. When the power mode is on, an image is viewed by the user UR ( FIG. 1 ), and when the power mode is off, the image is not viewed by the user UR ( FIG. 1 ).

변조 모드는 영상을 변조하여 사용자(UR, 도 1)로 하여금 시각이 교란되도록 한다. 변조 모드는 전원 모드가 on 상태일 경우에 한하여 설정 가능하다.The modulation mode modulates the image so that the user (UR, FIG. 1 ) has a perturbed view. The modulation mode can be set only when the power mode is on.

변조 모드는 게인 변조 모드 및 각도 변조 모드를 포함한다. 게인 변조 모드 및 각도 변조 모드는 독립적으로 설정 가능하다.The modulation mode includes a gain modulation mode and an angle modulation mode. The gain modulation mode and angle modulation mode can be set independently.

게인 변조 모드는 영상의 속도를 조절한다. 예시적으로, 게인 변조 모드는 3가지 모드를 포함한다. 게인 변조 모드가 1인 경우(G=1), 사용자(UR, 도 1)가 실제로 움직인 속도와 가상 현실 내에서 사용자 객체가 움직인 속도는 동일하다. 즉, 사용자가 실제로 움직인 거리와 가상 현실 내에서 사용자 객체가 움직인 거리가 동일하다. 게인 변조 모드가 1인 경우는 영상이 변조되지 않으므로, 게인 변조 모드가 off 상태인 경우로 병기할 수 있다.The gain modulation mode controls the video speed. Exemplarily, the gain modulation mode includes three modes. When the gain modulation mode is 1 (G=1), the speed at which the user (UR, FIG. 1 ) actually moves is the same as the speed at which the user object moves in the virtual reality. That is, the distance the user actually moves is the same as the distance the user object moves in the virtual reality. When the gain modulation mode is 1, since the image is not modulated, it may also be referred to as the case where the gain modulation mode is off.

게인 변조 모드가 1보다 큰 경우(G>1), 사용자가 실제로 움직인 속도는 가상 현실 내에서 사용자 객체가 움직인 속도보다 작다. 즉, 사용자가 실제로 움직인 거리는 가상 현실 내에서 사용자 객체가 움직인 거리보다 짧다. 이 때, 사용자는 화면이 상대적으로 빠르게 전환되는 시각적 교란을 느낄 수 있다.When the gain modulation mode is greater than 1 (G>1), the speed at which the user actually moves is smaller than the speed at which the user object moves in the virtual reality. That is, the distance the user actually moves is shorter than the distance the user object moves in the virtual reality. At this time, the user may feel a visual disturbance in which the screen is changed relatively quickly.

게인 변조 모드가 1보다 작은 경우(G<1), 사용자가 실제로 움직인 속도는 가상 현실 내에서 사용자 객체가 움직인 속도보다 크다, 즉, 사용자가 실제로 움직인 거리는 가상 현실 내에서 사용자 객체가 움직인 거리보다 길다. 이 때, 사용자는 화면이 상대적으로 느리게 전환되는 시각적 교란을 느낄 수 있다.When the gain modulation mode is less than 1 (G<1), the speed at which the user actually moves is greater than the speed at which the user object moves in the virtual reality, that is, the distance the user actually moves is the distance the user object moves in the virtual reality. longer than the distance At this time, the user may feel a visual disturbance in which the screen is changed relatively slowly.

각도 변조 모드는 이동 방향을 조절한다. 각도 변조 모드가 on 상태일 경우, 가상 현실 내에서 사용자 객체의 이동 방향은 사용자의 정면 시선, 즉, 사용자의 실제 이동 방향과 소정의 각도를 가질 수 있다. 상기 각도는 -30°이상 30°이하 일 수 있다. 그러나, 본 발명은 상기 각도의 크기에 특별히 한정되는 것은 아니다.The angle modulation mode controls the direction of movement. When the angle modulation mode is on, the moving direction of the user object in the virtual reality may have a predetermined angle with the user's front gaze, that is, the actual moving direction of the user. The angle may be -30° or more and 30° or less. However, the present invention is not particularly limited to the size of the angle.

사용자 피드백 정보를 수집하는 단계(S3)에서, 사용자 피드백 정보는 사용자로 하여금 피드백 과제를 요청하는 단계가 선행된다. 예시적으로, 피드백 과제는 타겟까지 보행하는 보행 과제, 타겟거리를 가늠하는 타겟거리 정보 요청 과제, 및 타겟을 이동시키는 타겟이동 과제 등일 수 있다.In the step (S3) of collecting user feedback information, the user feedback information is preceded by a step of requesting a feedback task from the user. Illustratively, the feedback task may be a walking task to walk to the target, a task for requesting target distance information to estimate the target distance, and a target movement task for moving the target.

사용자가 피드백 과제를 수행함으로써, 사용자 피드백 정보가 생성될 수 있다. 사용자 피드백 정보는 사용자의 인지 정보를 포함한다. 보행 과제의 경우, 사용자 피드백 정보는 보행 거리, 보행 각도, 보행 속도 등일 수 있다. 타겟거리 정보 요청 과제의 경우, 사용자 피드백 정보는 타겟와 사용자 객체 사이의 거리로 정의되는 타겟거리 정보일 수 있다. 타겟이동 과제의 경우, 사용자 피드백 정보는 이동 전 타겟의 변위 정보, 이동된 타겟의 변위 정보, 및 사용자 객체의 변위 정보 등일 수 있다. 피드백 과제에 관하여, 이하 도 5 내지 도 8에서 보다 상세히 후술된다.As the user performs the feedback task, user feedback information may be generated. The user feedback information includes cognitive information of the user. In the case of a walking task, the user feedback information may be a walking distance, a walking angle, a walking speed, and the like. In the case of the target distance information request task, the user feedback information may be target distance information defined as a distance between a target and a user object. In the case of the target movement task, the user feedback information may include displacement information of the target before movement, displacement information of the moved target, and displacement information of the user object. The feedback task will be described in more detail below with reference to FIGS. 5 to 8 .

본 발명의 실시 예에 따르면, 영상 모드를 설정하는 단계(S2) 및 사용자 피드백 정보를 수집하는 단계(S3)는 일련의 단계(SS)로 통합되어 복수 차례 반복될 수 있다. 이하 상기 일련의 단계(SS)는 피드백 단계로 정의한다. 예시적으로, 영상 모드는 복수의 모드들로 변경될 수 있으며, 상기 모드들이 변경될 때마다, 상이한 피드백 정보가 수집될 수 있다. 반복되는 횟수가 증가할수록, 수집되는 사용자 피드백 정보가 증가하므로, 평가를 위한 정보의 신뢰성이 보다 증가할 수 있다.According to an embodiment of the present invention, the step (S2) of setting the image mode and the step (S3) of collecting user feedback information may be integrated into a series of steps (SS) and repeated a plurality of times. Hereinafter, the series of steps SS is defined as a feedback step. For example, the image mode may be changed into a plurality of modes, and each time the modes are changed, different feedback information may be collected. As the number of repetitions increases, the collected user feedback information increases, so that the reliability of information for evaluation may be further increased.

또한, 본 발명의 실시 예에 따르면, 사용자 피드백 정보를 수집하는 단계(S3)는 동일 영상 모드에서 복수 차례 반복 가능하다.Also, according to an embodiment of the present invention, the step (S3) of collecting user feedback information can be repeated a plurality of times in the same video mode.

오차를 분석하는 단계(S4)는 분석부(300)에서 이루어진다. 전술된 바와 같이, 수집된 사용자 피드백 정보를 통하여 산출된 공간감각능력 지수 및 시각교란에 따른 적응능력 지수를 기설정된 공간감각능력 표준 지수 및 시각교란에 따른 적응능력 표준 지수와 비교하여 사용자(UR)의 공간감각능력 및 시각교란에 따른 적응능력을 평가할 수 있다.The step of analyzing the error ( S4 ) is performed in the analysis unit 300 . As described above, by comparing the spatial sensory ability index calculated through the collected user feedback information and the adaptive ability index according to the visual disturbance with the preset spatial sensory ability standard index and the adaptive ability standard index according to the visual disturbance, the user (UR) It is possible to evaluate the spatial sensory ability and adaptive ability according to visual disturbance.

본 발명에 따르면, 가상 화면을 변조하여 사용자의 시각을 임의로 교란시킴에 따라, 사용자의 공간감각능력 및 시각 교란에 따른 적응능력을 정량적으로 평가할 수 있다.According to the present invention, as the user's vision is arbitrarily disturbed by modulating the virtual screen, it is possible to quantitatively evaluate the user's spatial sensory ability and the adaptive ability according to the visual disturbance.

도 5는 본 발명의 일 실시 예에 따른 피드백 과제를 통한 피드백 정보를 수집하는 과정이 도시된 도면이다. 도 5에 도시된 피드백 단계(SS-1)의 사용자 피드백 과제는 타겟거리 정보 요청 과제 및 보행 과제를 포함한다.5 is a diagram illustrating a process of collecting feedback information through a feedback task according to an embodiment of the present invention. The user feedback task of the feedback step SS-1 shown in FIG. 5 includes a target distance information request task and a walking task.

도 5를 참조하면, 먼저, 영상 모드를 설정하는 단계(S2a)에서, 전원 모드를 on 상태로 설정하고, 게인 변조 모드 및 각도 변조 모드는 off 상태로 설정한다. 이후, 사용자에게 사용자가 가늠하는 타겟거리 정보를 요청한다(S3a). 상기 타겟거리는 사용자 객체(OB, 도 7)와 타겟(OB, 도 7)과의 거리로 정의된다. 가늠된 타겟거리 정보(DT1)는 분석부(300)에 송신된다.Referring to FIG. 5 , first, in the step S2a of setting the image mode, the power mode is set to an on state, and the gain modulation mode and the angle modulation mode are set to an off state. Thereafter, the user requests target distance information measured by the user (S3a). The target distance is defined as the distance between the user object OB ( FIG. 7 ) and the target OB ( FIG. 7 ). The estimated target distance information DT1 is transmitted to the analysis unit 300 .

이후, 전원 모드를 off 상태로 변경하고(S2b), 보행 과제를 수행한다(S2b). 사용자는 가상 화면 내의 타겟을 향하여 보행하여, 실제 보행 거리, 보행 각도, 보행 속도 등의 정보(DT1')를 생성하고, 생성된 상기 정보(DT1')는 분석부(300)에 송신된다.Thereafter, the power mode is changed to the off state (S2b), and a walking task is performed (S2b). The user walks toward the target in the virtual screen to generate information DT1' such as an actual walking distance, a walking angle, and a walking speed, and the generated information DT1' is transmitted to the analysis unit 300 .

분석부(300)는 송신된 타겟거리 정보(DT1)와 실제 보행거리 정보(DT1')의 오차를 계산하여 거리에 대한 사용자의 공간지각능력을 평가할 수 있다. 구체적으로, 본 실시 예를 통하여 거리에 대한 사용자의 인지 능력 및 상기 인지 능력과 운동 감각 사이의 관계 등을 파악할 수 있다.The analysis unit 300 may calculate an error between the transmitted target distance information DT1 and the actual walking distance information DT1' to evaluate the user's spatial perception ability for distance. Specifically, through the present embodiment, the user's cognitive ability for distance and the relationship between the cognitive ability and the kinesthetic sense may be identified.

도면에 도시되지 않았으나, 본 발명의 실시 예에 따른 피드백 과제(SS-1)는 게인 변조 모드를 on 상태로 변경하여 반복 수행될 수 있다.Although not shown in the drawings, the feedback task SS-1 according to an embodiment of the present invention may be repeatedly performed by changing the gain modulation mode to an on state.

도 6은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 피드백 정보를 수집하는 과정이 도시된 도면이다. 도 6에 도시된 피드백 단계(SS-2)의 사용자 피드백 과제는 타겟거리 정보 요청 과제만을 포함한다. 즉, 도 5에서 전술된 보행 과제는 생략될 수 있다.6 is a diagram illustrating a process of collecting feedback information through a feedback task according to another embodiment of the present invention. The user feedback task of the feedback step SS-2 shown in FIG. 6 includes only the target distance information request task. That is, the gait task described above in FIG. 5 may be omitted.

도 6을 참조하면, 영상 모드를 설정하는 단계(S2)에서, 전원 모드를 on 상태로 설정하고, 게인 변조 모드 및 각도 변조 모드는 off 상태로 설정한다. 이후, 사용자에게 사용자가 가늠하는 타겟거리 정보(DT2)를 요청한다(S3). 분석부(300)는 상기 가늠된 타겟거리 정보(DT2)와 실제 타겟거리 정보(DT2')의 오차를 계산하여 거리에 대한 사용자의 공간지각능력을 평가할 수 있다. Referring to FIG. 6 , in the step S2 of setting the image mode, the power mode is set to an on state, and the gain modulation mode and the angle modulation mode are set to an off state. Thereafter, the user requests the target distance information DT2 measured by the user (S3). The analysis unit 300 may calculate an error between the estimated target distance information DT2 and the actual target distance information DT2' to evaluate the user's spatial perception ability for distance.

도 7은 본 발명의 다른 실시 예에 따른 피드백 과제가 도시된 도면이다.7 is a view showing a feedback task according to another embodiment of the present invention.

도 7에 도시된 피드백 과제는 타겟이동 과제에 해당한다. 먼저, 가상 화면 내에서, 타겟이 배치된 자리에 서브 타겟(OB')을 생성한다. 이 때, 사용자 객체(V0)와 서브타겟(OB') 사이의 거리는 타겟거리(d)와 동일하다.The feedback task shown in FIG. 7 corresponds to the target movement task. First, in the virtual screen, a sub-target OB' is generated at a location where the target is arranged. In this case, the distance between the user object V0 and the sub-target OB' is equal to the target distance d.

이후, 사용자에게 서브타겟(OB')과 타겟 사이의 거리(d')가 사용자 객체(V0)와 타겟 사이의 거리와 동일한 조건으로 서브타겟(OB')을 이동시키도록 요청한다. 사용자가 공간감각능력에 이상이 없을 경우, 이동된 서브타겟(OB')의 자취로 정의되는 기준자취(TR)는 타겟(OB)을 중심으로 하고 사용자 객체(OB)를 포함하는 원 형상일 수 있다. 도 7에 도시된 바와 같이, 이동된 서브 타겟(OB')과 타겟(OB) 사이의 거리(d')가 타겟거리(d)와 차이가 있을 경우, 즉, 이동된 서트 타겟(OB')이 기준자취(TR)에 벗어날 경우, 그 차이를 지수화 하여 사용자의 공간감각 능력을 평가할 수 있다.Thereafter, the user is requested to move the sub-target OB' under the condition that the distance d' between the sub-target OB' and the target is the same as the distance between the user object V0 and the target. If the user has no abnormality in spatial sensory ability, the reference trace TR defined as the trace of the moved sub-target OB' may have a circular shape centered on the target OB and including the user object OB. have. As shown in FIG. 7 , when the distance d' between the moved sub-target OB' and the target OB is different from the target distance d, that is, the moved sub-target OB' If it deviates from this reference trace (TR), the difference can be indexed to evaluate the user's spatial sense ability.

도 8은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 피드백 정보를 수집하는 과정이 도시된 도면이다. 도 8에 도시된 피드백 단계(SS-3)의 사용자 피드백 과제는 보행 과제를 포함하며, 각도 변조에 따른 사용자의 적응능력을 평가하는 데 목적이 있다.8 is a diagram illustrating a process of collecting feedback information through a feedback task according to another embodiment of the present invention. The user feedback task of the feedback step SS-3 shown in FIG. 8 includes a gait task, and aims to evaluate the user's adaptive ability according to angle modulation.

도 8을 참조하면, 영상 모드를 설정하는 단계(S2c)에서 전원 모드를 on 상태로 설정하고, 게인 변조 모드를 on 또는 off 상태로 설정한다. 각도 변조 모드는 off 상태로 설정한다.Referring to FIG. 8 , in step S2c of setting the image mode, the power mode is set to an on state, and the gain modulation mode is set to an on or off state. Angle modulation mode is set to off state.

이후, 보행 과제를 수행한다(S2d). 이는 해당 영상 모드에 대한 사용자의 적응 훈련을 위함이다. 이 때 생성되는 사용자 피드백 정보(DT3)는 분석부(300)에 송신된다.Thereafter, a walking task is performed (S2d). This is for adaptive training of the user to the corresponding video mode. The generated user feedback information DT3 is transmitted to the analysis unit 300 .

이후, 전원 모드 및 게인 변조 모드는 동일하게 유지하되, 각도 변조 모드를 on 상태로 변경한다(S2d). 사용자가 보행 과제를 수행할 경우(S3d), 사용자는 실제 보행 방향과 가상 화면의 이동 방향이 상이함을 인지할 수 있다. 이 때 사용자의 피드백 정보(DT3')는 분석부(300)에 송신되며, 상기 사용자 피드백 정보(DT3')은 보행 방향 정보, 보행 속도 정보 등일 수 있다.Thereafter, the power mode and the gain modulation mode are maintained the same, but the angle modulation mode is changed to an on state (S2d). When the user performs the walking task (S3d), the user may recognize that the actual walking direction and the moving direction of the virtual screen are different. At this time, the user feedback information DT3' is transmitted to the analysis unit 300, and the user feedback information DT3' may be walking direction information, walking speed information, or the like.

본 실시 예에 따르면 각도 변조를 통하여, 사용자의 시각 교란에 대한 적응능력을 평가할 수 있다. 분석부(300)는 각도 변조 모드가 off 상태일 때의 사용자 피드백 정보(DT3)와 각도 변조 모드가 on 상태일 때의 사용자 피드백 정보(DT3')을 비교하여 사용자의 시각 교란에 대한 적응 속도, 적응 정도 등을 파악할 수 있다.According to the present embodiment, it is possible to evaluate the user's ability to adapt to visual disturbances through angle modulation. The analysis unit 300 compares the user feedback information DT3 when the angle modulation mode is off with the user feedback information DT3 ' when the angle modulation mode is on to determine the user's adaptation speed for visual disturbance, The degree of adaptation can be determined.

예시적으로, 사용자가 적응능력이 우수한 경우, 사용자는 상대적으로 빠른 시간 안에 가상 화면의 이동 방향을 인지하여 실제 보행 방향을 변경할 수 있다.For example, when the user has excellent adaptability, the user may change the actual walking direction by recognizing the moving direction of the virtual screen within a relatively short time.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made within the scope without departing from the technical spirit of the present invention.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

10, 20: 평가 시스템
100: 디스플레이부
200: 컨트롤러
300: 분석부10, 20: rating system
100: display unit
200: controller
300: analysis unit

Claims (14)

사용자가 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 헤드 마운트 장치, 사용자의 움직임을 센싱하고, 상기 헤드 마운트 장치에서 표시되는 가상 객체의 위치 및 움직임을 제어하는 컨트롤러, 및 상기 헤드 마운트 장치 내의 상기 가상 객체의 위치 정보 및 상기 가상 객체의 움직임 정보를 분석하는 분석 장치를 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템을 이용한 사용자 공간지각능력 및 적응능력 평가 방법에 있어서,
상기 컨트롤러가 사용자의 명령 신호를 수신하여 상기 헤드 마운트 장치에서 제공하는 상기 영상 내에서 타겟을 설정하는 제1 단계;
상기 컨트롤러를 이용하여 상기 영상의 전원 모드 및 상기 영상의 변조 모드를 설정하는 제2 단계;
상기 컨트롤러가 사용자에게 피드백 과제를 수행하도록 요청하여, 상기 분석 장치가 상기 타겟에 대한 사용자 인지정보를 포함하는 사용자 피드백 정보를 수집하는 제3 단계;
상기 분석 장치가 상기 수집된 사용자 피드백 정보의 분석하는 제4 단계; 및
상기 분석 장치가 상기 각 모드 별로 수집된 상기 사용자 피드백 정보를 비교하여 오차를 분석하는 제5 단계를 포함하고,
상기 제2 단계에서, 상기 컨트롤러는 상기 영상의 전원의 온/오프 상태를 설정하거나, 영상의 속도 및 각도 등을 조절하여 상기 영상의 모드에 따라 사용자의 시각을 교란시키고,
상기 제4 단계에서, 상기 분석 장치는 상기 사용자 피드백 정보를 통하여 사용자의 공간감각능력 지수 및 시각교란에 따른 적응능력 지수를 산출하는 사용자 공간지각능력 및 적응능력 평가 방법.
A head mounted device that provides a virtual reality environment to a user by displaying an image while the user is wearing it, a controller that senses the user's movement and controls the position and movement of a virtual object displayed on the head mounted device, and the head A user spatial perception ability and adaptive ability evaluation method using a user spatial perception ability and adaptive ability evaluation system comprising an analysis device for analyzing the location information of the virtual object in a mounting device and the motion information of the virtual object,
a first step of the controller receiving a user's command signal and setting a target in the image provided by the head mounted device;
a second step of setting a power mode of the image and a modulation mode of the image using the controller;
a third step in which the controller requests the user to perform a feedback task, and the analysis device collects user feedback information including user recognition information on the target;
a fourth step of analyzing, by the analysis device, the collected user feedback information; and
A fifth step of analyzing the error by comparing the user feedback information collected for each mode by the analysis device,
In the second step, the controller disturbs the user's vision according to the mode of the image by setting the on/off state of the power of the image or adjusting the speed and angle of the image,
In the fourth step, the analysis device calculates a user's spatial sensory ability index and an adaptive ability index according to visual disturbance through the user feedback information.
 제 1 항에 있어서,
상기 제2 단계에서, 상기 영상은 복수의 모드들로 변경 가능하고,
상기 제4 단계는 상기 전원 모드 또는 상기 변조 모드가 변경될 때마다 반복 수행되는 사용자 공간지각능력 및 적응능력 평가 방법.
The method of claim 1,
In the second step, the image can be changed into a plurality of modes,
The fourth step is a user spatial perception ability and adaptive ability evaluation method that is repeatedly performed whenever the power mode or the modulation mode is changed.
 제 2 항에 있어서,
상기 제4 단계는,
사용자가 상기 타겟까지 보행하는 보행 피드백 과제를 수행하여, 사용자의 보행 정보를 수집하는 사용자 공간지각능력 및 적응능력 평가 방법.
3. The method of claim 2,
The fourth step is
A user spatial perception ability and adaptive ability evaluation method for collecting user's gait information by performing a gait feedback task in which the user walks to the target.
 제 3 항에 있어서,
상기 전원 모드는 on 상태인 사용자 공간지각능력 및 적응능력 평가 방법.
4. The method of claim 3,
The power mode is an on-state user spatial perception ability and adaptive ability evaluation method.
 제 3 항에 있어서,
상기 사용자 피드백 정보는,
상기 영상의 전원 모드가 on 인 상태에서 상기 보행 피드백 과제 수행 전, 사용자가 가늠하는 사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리 정보, 및 상기 영상의 전원 모드가 off 인 상태에서 상기 보행 피드백 과제 수행 후, 사용자가 상기 타겟까지 보행한 실제보행거리 정보를 포함하고,
상기 제5 단계에서, 상기 분석 장치는 상기 타겟거리 정보와 상기 실제보행거리 정보의 차이를 분석하는 사용자 공간지각능력 및 적응능력 평가 방법.
4. The method of claim 3,
The user feedback information,
Before performing the gait feedback task in a state in which the power mode of the image is on, target distance information defined as the distance between the user and the target measured by the user, and the gait feedback task in the state that the power mode of the image is off After performing, including information on the actual walking distance that the user walked to the target,
In the fifth step, the analysis apparatus analyzes the difference between the target distance information and the actual walking distance information, the user's spatial perception ability and adaptive ability evaluation method.
 제 3 항에 있어서,
상기 변조 모드는,
사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리와 실제보행거리 간의 비율을 조절하는 게인 변조 모드를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
4. The method of claim 3,
The modulation mode is
A user spatial perception ability and adaptive ability evaluation method comprising a gain modulation mode for adjusting a ratio between a target distance defined as a distance between a user and the target and an actual walking distance.
 제 3 항에 있어서,
상기 변조 모드는,
사용자의 보행 방향이 사용자의 정면 시선으로부터 소정의 각도를 갖도록 상기 영상을 변조시키는 각도 변조 모드를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
4. The method of claim 3,
The modulation mode is
A user spatial perception ability and adaptive ability evaluation method comprising an angle modulation mode for modulating the image so that the user's walking direction has a predetermined angle from the user's frontal gaze.
 제 1 항에 있어서,
상기 제3 단계는,
상기 영상의 전원 모드가 on 인 상태에서, 상기 컨트롤러가 사용자와 상기 타겟까지의 거리로 정의되는 타겟거리 정보를 사용자가 가늠하도록 요청하는 단계를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
The method of claim 1,
The third step is
and requesting, by the controller, to estimate target distance information defined as a distance between the user and the target while the power mode of the image is on.
 제 1 항에 있어서,
상기 제3 단계는,
상기 컨트롤러가 상기 영상 내에서 상기 타겟이 배치된 자리에 서브타겟을 생성하는 단계; 및
상기 컨트롤러가 상기 타겟과 상기 서브 타겟 사이의 거리가 사용자와 상기 타겟 사이의 거리와 동일하도록 상기 서브타겟을 이동시키는 명령을 사용자에게 요청하는 단계를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
The method of claim 1,
The third step is
generating, by the controller, a sub-target at a position where the target is disposed in the image; and
and requesting, by the controller, a command to move the sub-target so that the distance between the target and the sub-target is equal to the distance between the user and the target.
 제 1 항에 있어서,
상기 제3 단계는 동일 모드에서 복수 차례 반복 가능한 사용자 공간지각능력 및 적응능력 평가 방법.
The method of claim 1,
The third step is a user spatial perception ability and adaptive ability evaluation method that can be repeated a plurality of times in the same mode.
 사용자가 헤드 마운트 디스플레이 장치를 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 디스플레이부;
사용자의 움직임을 센싱하고, 상기 헤드 마운트 디스플레이에 표시되는 가상 객체의 움직임을 제어하는 컨트롤러; 및
상기 헤드 마운트 디스플레이 장치 및 상기 컨트롤러로부터 수신되는 사용자 피드백 정보를 분석하는 분석부를 포함하고,
상기 컨트롤러는,
사용자의 움직임을 센싱하는 센싱부;
상기 가상 객체의 움직임을 제어하는 제어부; 및
상기 사용자의 움직임에 대응하는 상기 영상의 움직임의 속도 및 각도를 변조시키는 변조부를 포함하고,
상기 분석부는 상기 변조부에 의하여 변조된 영상에 반응하는 사용자의 피드백 정보를 분석하는 사용자 공간지각능력 및 적응능력 평가 시스템.
a display unit that provides a virtual reality environment to the user by displaying an image while the user wears the head mounted display device;
a controller sensing the user's movement and controlling the movement of the virtual object displayed on the head mounted display; and
An analysis unit for analyzing user feedback information received from the head mounted display device and the controller,
The controller is
a sensing unit for sensing a user's movement;
a control unit controlling the movement of the virtual object; and
and a modulator for modulating the speed and angle of movement of the image corresponding to the user's movement,
The analysis unit is a user spatial perception ability and adaptive ability evaluation system that analyzes the user's feedback information responding to the image modulated by the modulator.
 제 11 항에 있어서,
상기 변조부는 상기 영상을 복수의 영상 모드들로 변조시키고,
상기 영상 모드들은,
상기 영상의 속도를 조절하는 게인 변조 모드; 및
사용자의 움직임이 상기 영상 속에서 사용자의 정면 방향 시선으로부터 소정의 각도를 갖도록 상기 영상의 각도을 변조시키는 각도 변조 모드를 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템.
12. The method of claim 11,
The modulator modulates the image into a plurality of image modes,
The video modes are
a gain modulation mode for controlling the speed of the image; and
and an angle modulation mode for modulating the angle of the image so that the user's movement has a predetermined angle from the user's frontal gaze in the image.
 제 12 항에 있어서,
상기 영상 모드들은 상기 영상의 온/오프를 제어하는 전원 모드를 더 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템.
13. The method of claim 12,
The image modes may further include a power mode for controlling on/off of the image.
 제 11 항에 있어서,
상기 사용자의 피드백 정보는 사용자의 보행 정보를 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템.12. The method of claim 11,
The user's feedback information is a user spatial perception ability and adaptive ability evaluation system including the user's gait information.
KR1020190142785A 2019-11-08 2019-11-08 Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality KR102302001B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190142785A KR102302001B1 (en) 2019-11-08 2019-11-08 Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142785A KR102302001B1 (en) 2019-11-08 2019-11-08 Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality

Publications (2)

Publication Number Publication Date
KR20210056491A KR20210056491A (en) 2021-05-20
KR102302001B1 true KR102302001B1 (en) 2021-09-16

Family

ID=76142846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142785A KR102302001B1 (en) 2019-11-08 2019-11-08 Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality

Country Status (1)

Country Link
KR (1) KR102302001B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395234B1 (en) * 2021-09-30 2022-05-09 주식회사 인피아이 A system for predicting drinking status and a prediction method using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3245954A4 (en) * 2015-01-16 2018-10-03 Olympus Corporation Ultrasonic observation system
KR20190097396A (en) * 2018-02-12 2019-08-21 호남대학교 산학협력단 Virtual reality based cognitive rehabilitation training system

Also Published As

Publication number Publication date
KR20210056491A (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US10795441B2 (en) Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
KR101986327B1 (en) Method for providing posture guide and apparatus thereof
KR101604024B1 (en) Motion counting measurement and display device
KR101283464B1 (en) Motion recognition system using footwear for motion recognition
US11134893B2 (en) Limb movement gesture judgment method and device
US8451130B2 (en) Gesture-based animal trainer
US20090267805A1 (en) Control apparatus and electronic device using the same
WO2016204990A1 (en) Apparatus and method for hybrid eye tracking
KR20200074609A (en) Supporting method and system for home fitness
KR102051946B1 (en) Apparatus and method for controlling smart wear
KR102029219B1 (en) Method for recogniging user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
KR20200093188A (en) Exercise guide system using smart mirror and vibration device
KR101651429B1 (en) Fitness monitoring system
KR102302001B1 (en) Method and system for diagnosing spatial perception and adaptation ability using visual and sensorimotor modulation on virtual reality
CN113341564A (en) Computer input device
CN104866104A (en) Parameter follow-up adjusting system and adjusting method of display device and display device
KR101087135B1 (en) Teaching apparatus and method based on motion content
US20080062124A1 (en) Mouse interface apparatus using camera, system and method using the same, and computer recordable medium for implementing the same
KR20150089371A (en) Apparatus for analyzing human motion
KR101992113B1 (en) Fitness monitoring system
KR20130014275A (en) Method for controlling display screen and display apparatus thereof
KR20180078619A (en) Method, system and readable recording medium of creating visual stimulation using virtual model
KR20120064921A (en) Portable electromyogram sensor and motion sensor with wireless data transmission
KR100520050B1 (en) Head mounted computer interfacing device and method using eye-gaze direction
KR101733746B1 (en) User context based motion counting method, sensor device and wearable device performing the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant