WO2020116739A1 - 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법 - Google Patents

가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법 Download PDF

Info

Publication number
WO2020116739A1
WO2020116739A1 PCT/KR2019/009329 KR2019009329W WO2020116739A1 WO 2020116739 A1 WO2020116739 A1 WO 2020116739A1 KR 2019009329 W KR2019009329 W KR 2019009329W WO 2020116739 A1 WO2020116739 A1 WO 2020116739A1
Authority
WO
WIPO (PCT)
Prior art keywords
angular velocity
image
feature
frame
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/009329
Other languages
English (en)
French (fr)
Inventor
이상훈
안세웅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Yonsei University
Original Assignee
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Yonsei University filed Critical Industry Academic Cooperation Foundation of Yonsei University
Publication of WO2020116739A1 publication Critical patent/WO2020116739A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Definitions

  • the present invention relates to a classification apparatus and method, and to a classification apparatus and method with reduced bias.
  • VR virtual reality
  • HMD head mounted display
  • FOV field of view
  • QoE quality of experience
  • the VR environment can be accompanied by a fatigue that degrades QoE, and since fatigue affects the safety and health of users using VR, various studies have been conducted on factors causing fatigue.
  • 1 is a view for explaining a visual vestibular sensory collision.
  • VR content causes a visually induced self-illusion of motion (called a section) that makes the user feel as if they are moving while the user's location is substantially fixed.
  • a section a visually induced self-illusion of motion
  • These visual vestibular sensory collisions can cause various side effects such as nausea, eye movement disorders, loss of direction, eye fatigue, decreased sensitivity to visual sensations, headaches, and sore throat.
  • An object of the present invention is to provide a VR fatigue prediction apparatus and method that can accurately predict fatigue of VR content.
  • Another object of the present invention is to provide a VR fatigue prediction apparatus and method for extracting a plurality of features capable of predicting fatigue of VR content and predicting fatigue using the extracted features.
  • VR fatigue prediction apparatus for achieving the above object is a VR input acquiring unit for acquiring a VR image, a camera rotation matrix of the VR image, and a rotation speed sensed by a head mounted display (HMD);
  • a perceptual motion feature extraction unit that extracts the user's head angular velocity, visual angular velocity, and perceived angular velocity from the camera rotation matrix and rotation speed in each frame of the VR image as perceptual motion features;
  • a statistical content feature extraction unit that extracts texture features and motion features from each frame of the VR image as statistical content features;
  • a pooling unit configured to obtain a feature vector by arranging the perceptual motion feature and the statistical content feature, and temporally pooling a plurality of feature vectors for a plurality of frames of the VR image;
  • a fatigue prediction unit that estimates and outputs fatigue from temporally pooled feature vectors according to a previously learned pattern estimation method. It includes.
  • the perceptual motion feature estimator calculates the user head angular velocity according to the rotation speed in each frame of the VR image, and the camera angular velocity and the user head angular velocity calculated using the camera rotation matrix in each frame of the VR image.
  • the visual angular velocity may be calculated according to a difference of, and the perceived angular velocity may be obtained from the user head angular velocity and the visual angular velocity.
  • the perceptual motion feature estimator may obtain the cognitive angular velocity by inputting the user's head angular velocity and the visual angular velocity into a Telban model modeled in a way that the brain perceives the user's head movement and visually sensed movement.
  • the statistical content feature extraction unit converts each frame of the VR image into a discrete Fourier, calculates the energy of the transformed frame to obtain the texture feature, applies an optical flow to the transformed frame, and multiple pixels in each frame Each of the vertical speed and the horizontal speed is obtained, and the motion characteristics can be extracted by calculating an average speed from the vertical and horizontal speeds of the obtained multiple pixels.
  • the pooling unit configures the feature vector including the user head angular velocity, the visual angular velocity, the perceived angular velocity, the texture feature, and the motion feature for each frame of the VR image, and for multiple frames of the VR image
  • a pooled feature vector can be obtained by calculating the p-percentile of the maximum and minimum values along with the mean and variance of multiple feature vectors.
  • VR fatigue prediction method for achieving the above object is a step of obtaining a VR input including a VR image, a camera rotation matrix of the VR image, and a rotation speed detected by a head mounted display (HMD). ; Extracting a user head angular velocity, a visual angular velocity, and a perceived angular velocity from the camera rotation matrix and rotation speed in each frame of the VR image as perceptual motion features; Extracting texture features and motion features from each frame of the VR image as statistical content features; Arranging the perceptual motion feature and the statistical content feature to obtain a feature vector, and temporally pooling a plurality of feature vectors for multiple frames of the VR image; And estimating fatigue from temporally pooled feature vectors according to a previously learned pattern estimation method. It includes.
  • the apparatus and method for predicting VR fatigue extracts user head angular velocity, visual angular velocity, and perceived angular velocity from VR contents as perceptual motion features, and extracts texture features and motion features as statistical content features, By constructing the feature vectors and predicting the fatigue of VR contents by temporal pooling, it is possible to objectively and accurately predict the fatigue of VR contents in which personal deviation is large.
  • 1 is a view for explaining a visual vestibular sensory collision.
  • FIG. 2 shows a schematic structure of a VR fatigue prediction apparatus according to an embodiment of the present invention.
  • FIG. 3 shows a detailed configuration of the perceptual motion feature extraction unit of FIG. 2.
  • FIG. 4 shows a VR fatigue prediction method according to an embodiment of the present invention.
  • FIG. 5 shows an example of a learning VR image for training the fatigue prediction unit of FIG. 2.
  • FIG 6 shows the correlation between the predicted fatigue and MOS and individual fatigue scores according to the present embodiment.
  • FIG. 2 shows a schematic structure of a VR fatigue prediction apparatus according to an embodiment of the present invention
  • FIG. 3 shows a detailed configuration of the perceptual motion feature extraction unit of FIG. 2
  • FIG. 5 trains the fatigue prediction unit of FIG. It shows an example of learning VR video for.
  • the apparatus for predicting VR fatigue includes a VR input acquisition unit 100, a feature extraction unit 200, a pooling unit 300, and a fatigue prediction unit 400.
  • the VR input acquiring unit 100 acquires a VR input for predicting fatigue.
  • the VR input acquiring unit 100 may receive VR content and extract and obtain a VR image included in the VR content.
  • the VR input acquiring unit 100 acquires a rotation matrix sensed by the camera rotation matrix and the HMD in the VR image together with the VR image input to the HMD.
  • the VR input acquiring unit 100 acquires a learning VR image in a learning process for learning the fatigue predicting unit 400.
  • the learning VR image means a VR image that has already been obtained as a statistical value of the subjective fatigue questionnaire (SSQ).
  • the feature extraction unit 200 includes a perceptual motion feature extraction unit 210 and a statistical content feature extraction unit 230 to analyze VR images applied from the VR input acquisition unit 100 in a predetermined manner, and to perceive them Enemy motion features and statistical content features are extracted respectively.
  • the perceptual motion feature extraction unit 210 extracts a user head angular velocity (w vest ) due to the movement of the user's head according to the rotational speed detected by the HMD's gyroscope in each frame of the VR image, The difference is extracted by extracting the visual angular velocity (w vis ) produced by the VR scenario from the rotational speed and the camera rotation matrix in each frame of the VR image.
  • w vest user head angular velocity
  • the perceptual motion feature extraction unit 210 is the roll (r), pitch (pitch) (p) and yaw (yaw) (y) of the user head angular velocity ( ⁇ vest ) and visual angular velocity ( ⁇ vis ), respectively.
  • ⁇ vest user head angular velocity
  • ⁇ vis visual angular velocity
  • the perceptual motion feature extraction unit 210 acquires a perceived angular velocity (w per ) perceived by the user by a difference between the extracted user head angular velocity ( ⁇ vest ) and the visual angular velocity ( ⁇ vis ).
  • the user head angular velocity ⁇ vest may be calculated according to Equation 1 using the head position difference of consecutive frames from the head position P t vest in the t-th frame t of the VR image.
  • t denotes the t-th frame of the VR image
  • t vest , p t vest , y t vest [r according to each axis of rotation of the roll (r), pitch (p), and yaw (y).
  • t vest , p t vest , y t vest [r according to each axis of rotation of the roll (r), pitch (p), and yaw (y).
  • t vest , p t vest , y t vest [r according to each axis of rotation of the roll (r), pitch (p), and yaw (y).
  • t vest , p t vest , y t vest [r according to each axis of rotation of the roll (r), pitch (p), and yaw (
  • the visual movement is affected by both the user's head rotation and the camera rotation controlled by the VR scenario. For example, if the user's head moves to the left and the camera rotation according to the VR scenario moves to the right at the same speed as the head rotation, the visually perceived speed is doubled. That is, the visual angular velocity ⁇ vis is calculated as the relative velocity of the user angular velocity ⁇ vest and the camera angular velocity ⁇ cam obtained by the camera matrix.
  • the camera angular velocity ⁇ cam is calculated according to Equation 2 from the camera position P t cam in the t-th frame.
  • the visual angular velocity ( ⁇ vis ) in the t-th frame of the VR image is calculated as the difference between the user head angular velocity ( ⁇ vest ) and the camera angular velocity ( ⁇ cam ) as shown in Equation (3). .
  • Perceptual motion feature extraction unit 210 is a user head angular velocity ( ⁇ vest) and when the visual angle velocity ( ⁇ vis) is obtained, the user head angular velocity ( ⁇ vest) and angular velocity ( ⁇ per) whether from a visual angular velocity ( ⁇ vis) To acquire.
  • the perceptual motion feature extraction unit 210 is an example of the Telban model shown in FIG. 3 (Robert Telban and Frank Cardullo.An integrated model of human motion perception with visual-vestibular interaction.In AIAA Modeling and Simulation Technologies Conference and Exhibit, page 4249, 2001.) to obtain the cognitive angular velocity ( ⁇ per ).
  • the Telban model is a model of the neural response of the vection phenomenon. It receives the user's head angular velocity ( ⁇ vest ) and the visual angular velocity ( ⁇ vis ) and outputs the cognitive angular velocity ( ⁇ per ), which is the movement perceived by the human brain.
  • the vestibular perception model 211 is modeled according to a human vestibular organ and receives a user head angular velocity ( ⁇ vest ) to output an actual vestibular signal (avs) in a predetermined manner. do.
  • the visual reception model 212 is modeled according to the human visual organ, converts the visual angular velocity ⁇ vis into a angular velocity form by movement, and outputs a visual vestibular signal (vvs).
  • the simulated vestibular perception model 213 is modeled in the same manner as the vestibular perception model 211, and receives a visual vestibular signal vvs to output an expected vestibular signal (evs). That is, the visual reception model 212 and the simulated vestibular perception model 213 convert movement detected from the user's perspective into the form of vestibular signals detected by the vestibular organ.
  • the first adder 214 obtains the error signal e from the difference between the real vestibular signal avs and the expected vestibular signal evs. That is, the difference between the vestibular signal for the motion sensed by the user's brain and the vestibular signal for motion detected through vision is calculated.
  • the adaptive calculating unit 215 is a configuration modeling the cognitive characteristics of the human brain, and outputs an error angular velocity ⁇ err corresponding to the error signal e.
  • the neural response model 216 is implemented with a cosine bell function modeling the neural response method of the human brain to obtain a neural filter gain K from the error angular velocity ⁇ err .
  • the second adder 217 calculates a difference between the time vesting signal vvs and the real vesting signal avs. That is, the second adder 217 calculates the difference between the visual input of the human brain and the vestibular organ input due to head movement differently from the first adder 214 to transmit a cognitive input error (pie).
  • the amplifying unit 218 amplifies and outputs the output of the second adder 217 according to the neural filter gain K applied from the neural response model 216.
  • the eye movement applying unit 219 receives a cognitive input error (a) amplified and output by the amplifying unit 218 and reflects an optokinetic influence to output a gaze movement visual signal (ovs) due to eye movement. do.
  • a person's vision can be rotated not only by head movement but also by eye movement. Therefore, the movement of the vision does not necessarily match the movement of the head, and the human brain recognizes the user's movement by considering both the movement of the head and the movement of the eye. Accordingly, in the Telban model, the second adder 217, the amplifying unit 218, and the eye movement applying unit 219 exclude the sense of the user's head movement from the visual vestibular signal vvs indicating visual movement, and gain (K After adjusting the reflection ratio of the eye movement according to ), it is converted to the form of eye movement and output.
  • the third adder 220 acquires the cognitive angular velocity ⁇ per by adding the real vestibular signal avs for the user's actual head movement and the gaze movement time signal ovs for the gaze movement.
  • the Telban model is a well-known technology, and will not be described in detail here. Also, in some cases, the perceptual motion feature extraction unit 210 according to the present embodiment may obtain a cognitive angular velocity ⁇ per by applying a model other than the Telban model.
  • the statistical content feature extraction unit 230 extracts a texture feature and a motion feature of a VR image as a statistical content feature.
  • texture information component when a large amount of texture information component is included in the space of the VR image, it is more sensitive to the movement of the subject. This corresponds to content included in a background such as a forest or a city, for example.
  • the statistical content feature extraction unit 230 extracts spatial energy from the frame of the VR image as a texture feature.
  • the DTF coefficient is B t ( ⁇ )
  • ⁇ represents a spatial frequency.
  • E t of the transform frame I t is given by Equation (4).
  • CSF( ⁇ ) represents a contrast sensitivity function modeling visual perception sensitivity according to frequency, and is defined by Equation (5).
  • ⁇ represents the spatial frequency (cycles/degree)
  • c 0 2.6
  • c 1 010192
  • c 2 0.114
  • c 3 1.1.
  • the statistical content feature extraction unit 230 measures a user's visual perception sensitivity in terms of a weighting function for a texture feature in a VR image according to Equation (4).
  • the distribution of motion in the VR image that is, the motion characteristic also greatly affects fatigue.
  • the statistical content feature extraction unit 230 extracts motion information to predict fatigue.
  • the statistical content feature extraction unit 230 applies an optical flow to the transform frame I t to obtain the vertical velocity u t and the horizontal velocity v t of each pixel of the t-th frame, and according to Equation 6
  • the average velocity (V t ) is calculated and output as motion characteristics.
  • N x and N y mean the number of x and y pixels.
  • the pooling unit 300 temporally pools features obtained from the feature extraction unit 200.
  • human perception of video content is perceived as a flow of multiple frames that are continuous in the time axis, not in frame units. Therefore, in order to predict human fatigue from VR content, a temporal pooling process is required.
  • the perceptual motion feature extraction unit 210 of the feature extraction unit 200 obtains user head angular velocity ( ⁇ vest ), visual angular velocity ( ⁇ vis ), and perceived angular velocity ( ⁇ per ) as features, and statistical content feature extraction unit (
  • M may be 11, for example.
  • f m t denotes the m-th feature vector of the t-frame
  • d(n) denotes the n-th feature value according to rank.
  • N is the total number of frames
  • N p l and N p h are the number of frames corresponding to the lower and upper p-percentiles (p-percentiles) (p is 10% in one example according to the experiment), respectively.
  • Equations 7 and 8 are equations that reflect the human tendency to sense the overall tendency of the image, and reflect the characteristic that the user pays more attention when watching the image in which a sudden change occurs.
  • Equations 9 and 10 reflect the features by calculating the average of the maximum and minimum values of the feature values, respectively.
  • Equation (11) the feature vector temporally pooled in the pooling unit 300 is defined by Equation (11).
  • the fatigue prediction unit 400 is implemented as a previously learned artificial neural network, and predicts and outputs fatigue in response to the pooled feature vector F applied from the pooling unit 300.
  • the fatigue predictor 400 predicts fatigue by receiving a pooled feature vector F for a plurality of VR learning images acquired in advance in the learning process, and a plurality of subjects evaluate the predicted fatigue on the corresponding learning VR image It can be learned by backpropagating the error compared to one fatigue.
  • the learning VR image may be obtained by varying parameters according to Table 1 for each of a plurality of images.
  • parameters may be largely classified according to object movement, camera movement, and content components.
  • the object can move horizontally, vertically, diagonally, forwardly and backwardly in the virtual VR space of the VR image. Accordingly, multiple learning VRs in which the object moves in each direction in the reference VR image You can create an image. In addition, it is possible to generate multiple learning VR images by varying the speed of objects moving in each direction.
  • the camera movement can be changed independently of the user's head movement as a background change as shown in (c), where the horizontal, vertical, forward and backward movements are respectively performed along with the roll, pitch, and yaw movements.
  • Multiple learning VR images can be generated, and multiple learning VR images can be generated by varying the camera movement speed in each direction.
  • parameters according to content components may include texture of content, FoV, and visual guidance.
  • (d) shows the change of the parameter for FoV, but as described above, texture can also affect fatigue.
  • various guides provided visually when experiencing VR content also affect the user's vision, and thus may affect fatigue.
  • the fatigue prediction unit 400 may be trained using a value (for example, an average).
  • the learned fatigue predictor 400 predicts and outputs fatigue from the easily pulled feature vector F.
  • FIG. 4 shows a VR fatigue prediction method according to an embodiment of the present invention.
  • a VR image for predicting fatigue is obtained (S10 ).
  • the fatigue prediction apparatus acquires the rotational speed detected by the camera rotation matrix and the HMD in the VR image together with the VR image.
  • the fatigue prediction apparatus can independently extract perceptual motion characteristics and statistical content characteristics of VR images.
  • the fatigue prediction apparatus calculates the user head angular velocity ( ⁇ vest ) according to Equation 1 according to the rotational speed detected by the GMD's gyroscope in each frame of the VR image (S21).
  • the visual angular velocity ⁇ vis is calculated according to Equation 3 by using the camera angular velocity ⁇ cam and the user head angular velocity ⁇ vest calculated according to Equation 2 (S22).
  • the fatigue predictor uses the user's head using a Telban model that models how the brain perceives the user's head movements and visually detected movements, etc.
  • the cognitive angular velocity ( ⁇ per ) is obtained from the angular velocity ( ⁇ vest ) and the visual angular velocity ( ⁇ vis ) (S23 ).
  • the user head angular velocity ⁇ vest and the visual angular velocity ⁇ vis and the perceived angular velocity ⁇ per include roll (r), pitch (p), and yaw (y) components, respectively.
  • the fatigue prediction apparatus converts each frame of the VR image into a discrete Fourier, calculates the energy E t of the transform frame I t according to Equation 4 and extracts it as a texture feature (S25).
  • the average velocity V t of a plurality of pixels in each frame is calculated according to Equation 6 to extract motion characteristics in the VR image (S26 ).
  • the p percentiles of the mean, variance, and maximum and minimum values are calculated according to Equations 7 to 10, and the multiple feature vectors (F) By pooling t ) temporally, the temporally pooled feature vector ( ) Is obtained (S40 ).
  • the fatigue prediction apparatus predicts fatigue by inputting the temporally pooled feature vector F into the fatigue prediction unit 400 implemented as a pre-trained artificial neural network. And output (S50).
  • MOS mean opinion scores
  • LCC linear correlation coefficient
  • SROCC Spearman rank-order correlation
  • LCC and SROCC using only the statistical feature (F con ) have an average of 0.421 and 0.439, respectively
  • LCC and SROCC obtained from a VR sickness predictor (VRSP) according to the present embodiment have an average of 0.724, respectively. And it can be confirmed that it is reasonable to predict VR fatigue as it is highly individualized at 0.710.
  • Table 4 and Table 5 show the results of evaluation by LCC and SROCC of the individual sickness score (Individual sickness Score).
  • FIG 6 shows the correlation between the predicted fatigue and MOS and individual fatigue scores according to the present embodiment.
  • FIG. 6 shows a correlation between MOS and predicted fatigue, and (b) shows a correlation between individual fatigue and predicted fatigue.
  • the method according to the present invention can be implemented as a computer program stored in a medium for execution on a computer.
  • the computer readable medium herein can be any available medium that can be accessed by a computer, and can also include any computer storage medium.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (readable) Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 VR 콘텐츠로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하고, 텍스쳐 특징 및 모션 특징을 통계적 콘텐츠 특징으로 추출하여, 특징 벡터를 구성하고 시간적 풀링하여 VR 콘텐츠의 피로도를 예측함으로써, 개인적 편차가 크게 나타나는 VR 콘텐츠의 피로도를 객관적이고 정확하게 예측할 수 있는 VR 피로도 예측 장치 및 방법을 제공할 수 있다.

Description

가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법
본 발명은 분류장치 및 방법에 관한 것으로, 편향성이 감소된 분류장치 및 방법에 관한 것이다.
가상 현실(virtual reality: 이하 VR)과 같은 콘텐츠들은 일반적으로 HMD (Head Mounted Display)를 통해 콘텐츠를 이용할 수 있도록 하여, 기존의 다른 디스플레이 방식에 비해 사용자에게 더 넓은 시야(field of view: 이하 FoV)를 제공한다. 따라서 VR은 사용자에게 콘텐츠에 더욱 몰입할 수 있는 체감 품질(Quality of Experience: 이하 QoE)를 제공한다.
그러나 VR 환경은 QoE를 저하시키는 피로도(sickness)를 동반할 수 있으며, 피로도는 VR을 이용하는 사용자의 안전 및 건강에 영향을 미치기 때문에, 피로도를 유발하는 요인에 대해 다양한 연구가 진행되어 왔다.
이에 피로도를 유발하는 요인으로는 넓은 FoV, 시간 지연(time latency), 낮은 프레임율(low frame rate), 렌더링 속도(rendering speed) 등이 확인되었으나, 피로도를 유발하는 가장 중요한 요인은 VR 콘텐츠에 의해 시각적으로 인식되는 동작과 사용자의 실제 동작의 충돌(conflict)로 인한 시각적 전정 감각 충돌(visual-vestibular sensory conflict)이다.
도1 은 시각적 전정 감각 충돌을 설명하기 위한 도면이다.
도1 에 도시된 바와 같이, 사용자가 HMD를 착용하여 VR 콘텐츠를 이용하는 경우, 사용자는 전정기관(vestibular system)을 통해 자신의 움직임(특히 머리의 움직임)을 느끼지만, 시각기관(visual system)은 HMD를 통해 제공되는 콘텐츠의 선형 동작을 인지한다. 즉 VR 콘텐츠는 사용자의 위치가 실질적으로 고정되어 있는 동안, 시각적으로는 이동하고 있는 것으로 느끼게 하는 자기 착시(visually induced self-illusion of motion: vection 이라 함)를 유발한다. 이러한 시각적 전정 감각 충돌은 메스꺼움, 안구 운동 장애, 방향 감각 상실, 눈의 피로, 시각 감각의 민감도 감소, 두통, 목의 통증과 같은 여러가지 부작용을 유발할 수 있다.
따라서 사용자의 안전을 보장하고 쾌적한 콘텐츠 이용 환경을 제공하기 위해서는 VR 환경에 의해 야기되는 VR 피로도를 예측할 수 있어야 한다.
기존에 VR 피로도를 예측하기 위한 연구는 주관적 피로도 설문(subjective sickness questionnaires: SSQ)에 의해 수행되거나, 뇌전도(electrosphalogram: EEG), 갈바닉 피부 반응(galvanic skin response: GSR), 위전도(electrogastrogram; EGG) 및 심장 박동수 등의 생리학적 검사에 의해 수행되었다.
그러나 주관적 피로도 설문은 검증 프로토콜이 복잡하고, 생리학적 검사의 경우, 생체 신호 센서에 많은 노이즈가 포함되기 때문에 대량의 VR 콘텐츠를 테스트하는 것은 매우 어렵다. 따라서 주관적 피로도 설문 또는 생리학적 검사 없이 VR 콘텐츠의 피로도를 객관적으로 예측할 수 있는 방법이 요구되고 있다.
본 발명의 목적은 VR 콘텐츠의 피로도를 정확하게 예측할 수 있는 VR 피로도 예측 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 VR 콘텐츠의 피로도를 예측할 수 있는 다수의 특징을 추출하고, 추출된 특징을 이용하여 피로도를 예측하는 VR 피로도 예측 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 VR 피로도 예측 장치는 VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도를 획득하는 VR 입력 획득부; 상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 지각적 움직임 특징 추출부; 상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 통계적 콘텐츠 특징 추출부; 상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 풀링부; 및 미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하여 출력하는 피로도 예측부; 를 포함한다.
상기 지각적 움직임 특징 추정부는 상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하고, 상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 계산되는 카메라 각속도와 상기 사용자 헤드 각속도의 차에 따라 상기 시각적 각속도를 계산하며, 상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득할 수 있다.
상기 지각적 움직임 특징 추정부는 사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득할 수 있다.
상기 통계적 콘텐츠 특징 추출부는 상기 VR 영상의 각 프레임을 이산 푸리에 변환하여, 변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하고, 상기 변환된 프레임에 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하며, 획득된 다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출할 수 있다.
상기 풀링부는 상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 VR 피로도 예측 방법은 VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도가 포함된 VR 입력을 획득하는 단계; 상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 단계; 상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 단계; 상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 단계; 및 미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하는 단계; 를 포함한다.
따라서, 본 발명의 실시예에 따른 VR 피로도 예측 장치 및 방법은 VR 콘텐츠로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하고, 텍스쳐 특징 및 모션 특징을 통계적 콘텐츠 특징으로 추출하여, 특징 벡터를 구성하고 시간적 풀링하여 VR 콘텐츠의 피로도를 예측함으로써, 개인적 편차가 크게 나타나는 VR 콘텐츠의 피로도를 객관적이고 정확하게 예측 할 수 있도록 한다.
도1 은 시각적 전정 감각 충돌을 설명하기 위한 도면이다.
도2 는 본 발명의 일 실시예에 따른 VR 피로도 예측 장치의 개략적 구조를 나타낸다.
도3 은 도2 의 지각적 움직임 특징 추출부의 상세 구성을 나타낸다.
도4 는 본 발명의 일 실시예에 따른 VR 피로도 예측 방법을 나타낸다.
도5 는 도2 의 피로도 예측부를 학습시키기 위한 학습 VR 영상의 예를 나타낸다.
도6 은 본 실시예에 따라 예측된 피로도와 MOS 및 개인별 피로도 점수의 상관 관계를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도2 는 본 발명의 일 실시예에 따른 VR 피로도 예측 장치의 개략적 구조를 나타내고, 도3 은 도2 의 지각적 움직임 특징 추출부의 상세 구성을 나타내며, 그리고 도5 는 도2 의 피로도 예측부를 학습시키기 위한 학습 VR 영상의 예를 나타낸다.
도2 를 참조하면, 본 실시예에 따른 VR 피로도 예측 장치는 VR 입력 획득부(100), 특징 추출부(200), 풀링부(300) 및 피로도 예측부(400)를 포함한다.
VR 입력 획득부(100)는 피로도를 예측하기 위한 VR 입력을 획득한다. 여기서 VR 입력 획득부(100)는 VR 콘텐츠를 인가받아, VR 콘텐츠에 포함된 VR 영상을 추출하여 획득할 수도 있다. 이때 VR 입력 획득부(100)는 HMD에 입력되는 VR 영상과 함께 VR 영상 내의 카메라 회전 행렬 및 HMD에서 감지된 회전 속도를 함께 획득한다.
한편, VR 입력 획득부(100)는 피로도 예측부(400)를 학습하기 위한 학습 과정에서는 학습 VR 영상을 획득한다. 여기서 학습 VR 영상은 피로도가 주관적 피로도 설문(SSQ)의 통계값 등으로 이미 획득된 VR 영상을 의미한다.
특징 추출부(200)는 지각적 움직임 특징 추출부(210)와 통계적 콘텐츠 특징 추출부(230)를 구비하여, VR 입력 획득부(100)에서 인가되는 VR 영상을 기지정된 방식으로 분석하여, 지각적 움직임 특징과 통계적 콘텐츠 특징을 각각 추출한다.
지각적 움직임 특징 추출부(210)는 VR 영상의 각 프레임에서 HMD의 자이로스코프에서 감지된 회전 속도에 따라 사용자의 머리의 움직임에 의한 사용자 헤드 각속도(User head angular velocity: w vest)를 추출하고, VR 영상의 각 프레임에서 회전 속도와 카메라 회전 행렬로부터 VR 시나리오에 의해 연출되는 시각적 각속도(Visual angular velocity: w vis)를 추출하여 차이를 비교한다.
이때 지각적 움직임 특징 추출부(210)는 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis) 각각의 롤(roll)(r), 피치(pitch)(p) 및 요(yaw)(y)의 각 회전축에 따라 서로 다른 수준의 피로도를 유발한다는 점을 고려하여 각 회전축(r, p, y)에 대해 독립적으로 지각적 움직임 특징을 추출한다.
그리고 지각적 움직임 특징 추출부(210)는 추출된 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis)의 차에 의해 사용자가 인지하는 인지 각속도(Perceived angular velocity: w per)를 획득한다.
우선 사용자 헤드 각속도(ω vest)는 VR 영상의 t번째 프레임(t)에서의 헤드 위치 (P t vest)로부터 연속되는 프레임들의 헤드 위치 차이를 이용하여 수학식 1에 따라 계산될 수 있다.
Figure PCTKR2019009329-appb-img-000001
여기서 t는 VR 영상의 t번째 프레임을 나타내고, t번째 프레임에서의 헤드 위치(P t vest)는 롤(r), 피치(p) 및 요(y)의 각 회전축에 따라 P t vest = [r t vest, p t vest, y t vest]이며, HMD에 장착된 자이로스코프 센서에 의해 획득된 값이다. 그리고 γ는 VR 영상의 프레임율(frame rate)을 나타낸다.
한편, VR 환경에서 시각적 움직임은 사용자의 머리 회전과 VR 시나리오에 의해 제어되는 카메라 회전 양측에 의해 영향을 받는다. 예를 들면, 사용자의 헤드가 왼쪽으로 향하는 동시에 VR 시나리오에 따른 카메라 회전이 머리회전과 동일한 속도로 오른쪽으로 이동하면, 시각적으로 감지되는 속도는 2배가 된다. 즉 시각적 각속도(ω vis)는 사용자 헤드 각속도(ω vest)와 카메라 행렬에 의해 획득되는 카메라 각속도(ω cam)의 상대 속도로서 계산된다.
카메라 각속도(ω cam)는 t번째 프레임에서의 카메라 위치(P t cam)로부터 수학식 2에 따라 계산된다.
Figure PCTKR2019009329-appb-img-000002
여기서 t번째 프레임에서의 카메라 위치(P t cam)는 롤(r), 피치(p) 및 요(y)의 각 회전축에 따라 P t cam = [r t cam, p t cam, y t cam]이다.
그리고 카메라 각속도(ω cam)가 획득되면, VR 영상의 t번째 프레임에서 시각적 각속도(ω vis)를 수학식 3과 같이, 사용자 헤드 각속도(ω vest)와 카메라 각속도(ω cam) 사이의 차로 계산한다.
Figure PCTKR2019009329-appb-img-000003
지각적 움직임 특징 추출부(210)는 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis)가 획득되면, 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis)로부터 인지 각속도(ω per)를 획득한다.
지각적 움직임 특징 추출부(210)는 일예로 도3 에 도시된 Telban 모델(Robert Telban and Frank Cardullo. An integrated model of human motion perception with visual-vestibular interaction. In AIAA Modeling and Simulation Technologies Conference and Exhibit, page 4249, 2001.)을 이용하여 인지 각속도(ω per)를 획득할 수 있다.
Telban 모델은 vection 현상의 신경 반응을 모델링 한 것으로, 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis)를 인가받아 사람의 두뇌가 인지하는 움직임인 인지 각속도(ω per)를 출력한다.
도3 을 참조하면, Telban 모델에서 전정 지각 모델(211)은 사람의 전정 기관에 따라 모델링되어 사용자 헤드 각속도(ω vest)를 인가받아 기지정된 방식으로 실질 전정 신호(Actual vestibular signal: avs)를 출력한다.
그리고 시각 수용 모델(212)은 사람의 시각 기관에 따라 모델링되어 시각적 각속도(ω vis)를 움직임에 의한 각속도 형태로 전환하여, 시각 전정 신호(Visual vestibular signal: vvs)를 출력한다. 모의 전정 지각 모델(213)은 전정 지각 모델(211)과 동일하게 모델링되어, 시각 전정 신호(vvs)를 인가받아 기대 전정 신호(Expected vestibular signal: evs)를 출력한다. 즉 시각 수용 모델(212)과 모의 전정 지각 모델(213)은 사용자의 시각에서 감지되는 움직임을 전정 기관에서 감지한 전정 신호의 형태로 변환한다.
제1 가산기(214)는 실질 전정 신호(avs)와 기대 전정 신호(evs) 사이의 차로부터 오차 신호(e)를 획득한다. 즉 사용자의 두뇌가 실제 헤드 움직임에 따라 감지하는 움직임에 대한 전정 신호와, 시각을 통해 감지하는 움직임에 대한 전정 신호 사이의 차이를 계산한다. 그리고 적응 연산부(215)는 사람의 두뇌의 인지적 특성을 모델링한 구성으로, 오차 신호(e)에 대응하는 오차 각속도(ω err)를 출력한다.
신경 응답 모델(216)은 인간 두뇌의 신경 응답 방식을 모델링한 코사인 벨 함수(Cosine Bell Function)로 구현되어, 오차 각속도(ω err)로부터 신경 필터 이득(K)을 획득한다.
한편, 제2 가산기(217)는 시각 전정 신호(vvs)와 실질 전정 신호(avs) 사이의 차를 계산한다. 즉 제2 가산기(217)는 제1 가산기(214)와 상이하게 인간 두뇌의 시각적 입력으로부터 헤드 움직임에 의한 전정 기관 입력 사이의 차이를 계산하여 인지 입력 오차(pie)를 전달한다. 증폭부(218)는 신경 응답 모델(216)에서 인가되는 신경 필터 이득(K)에 따라 제2 가산기(217)의 출력을 증폭하여 출력한다.
안구 운동 적용부(219)는 증폭부(218)에서 증폭되어 출력되는 인지 입력 오차(pie)를 인가받아 안구 운동 영향(optokinetic influence)을 반영하여 안구 움직임에 의한 시선 이동 시각 신호(ovs)를 출력한다.
사람의 시각은 머리의 움직임뿐만 아니라 안구의 움직임에 의해서도 회전될 수 있다. 따라서 시각의 움직임이 머리의 움직임과 반드시 일치하지 않으며, 인간의 두뇌는 머리의 움직임과 안구의 움직임을 함께 고려하여 사용자의 움직임을 인지한다. 이에 Telban 모델에서 제2 가산기(217)와 증폭부(218) 및 안구 운동 적용부(219)는 시각적 움직임을 나타내는 시각 전정 신호(vvs)에서 사용자의 헤드 움직임에 의한 감각을 제외하고, 이득(K)에 따라 안구 움직임의 반영 비를 조절한 후, 안구 운동의 형태로 전환하여 출력한다.
제3 가산기(220)는 사용자의 실제 헤드 움직임에 대한 실질 전정 신호(avs)와 시선 이동에 대한 시선 이동 시각 신호(ovs)를 가산하여 인지 각속도(ω per)를 획득한다.
Telban 모델은 공지된 기술이므로, 여기서는 더 이상 상세하게 설명하지 않는다. 또한 경우에 따라서, 본 실시예에 따른 지각적 움직임 특징 추출부(210)는 Telban 모델이 아닌 다른 모델을 적용하여 인지 각속도(ω per)를 획득할 수도 있다.
한편, 통계적 콘텐츠 특징 추출부(230)는 통계적 콘텐츠 특징으로 VR 영상의 텍스쳐 특징(Texture feature) 및 모션 특징(Motion feature)을 추출한다.
VR 영상에 포함된 시각적 콘텐츠는 피로도와 밀접한 관계가 있음이 기존의 연구들에서 확인된 바 있다. 그리고 VR 영상에 포함된 시각적 내용에서 피로도를 유발하는 시각적 콘텐츠의 특징으로는 텍스쳐 특징 및 모션 특징이 있다.
VR 영상에서 공간적 텍스쳐는 사람의 움직임 인지에 큰 영향을 미친다. 예를 들어, 단조로운 배경이나 피사체는 동작을 감지하기 위한 중요 포인트가 없기 때문에 움직임에 덜 민감하다. 이는 일예로 하늘이나 바다 등이 배경으로 포함된 콘텐츠에 해당한다.
그에 반해, 많은 양의 텍스쳐 정보 성분이 VR 영상의 공간에 포함되어 있을 경우, 피사체의 움직임에 보다 민감하다. 이는 일예로 숲이나 도시와 같은 배경으로 포함된 콘텐츠에 해당한다.
이에 통계적 콘텐츠 특징 추출부(230)는 VR 영상의 프레임에서 공간 에너지를 텍스쳐 특징으로 추출한다. t번째 프레임(t)을 이산 푸리에 변환(Discrete Fourier Transform: DFT)하여 획득된 변환 프레임(I t)에서 DTF 계수는 B t(Ω)이고, Ω는 공간 주파수를 나타낸다. 그리고 변환 프레임(I t)의 에너지(E t)는 수학식 4로 주어진다.
Figure PCTKR2019009329-appb-img-000004
여기서 CSF(Ω)는 주파수에 따른 시각 지각 감도를 모델링한 콘트라스트 감도 함수(Contrast Sensitivity Function)를 나타내며, 수학식 5 에 의해 정의된다.
Figure PCTKR2019009329-appb-img-000005
여기서 Ω는 공간 주파수(cycles/degree)를 나타내고, c 0 = 2.6, c 1 = 010192, c 2 = 0.114, c 3 = 1.1이다.
통계적 콘텐츠 특징 추출부(230)는 수학식 4에 따라 VR 영상에서 텍스쳐 특징을 가중 함수의 관점에서 사용자의 시각 지각 감도를 측정한다.
한편, VR 영상에서 운동의 분포, 즉 모션 특징 또한 피로도에 큰 영향을 미친다는 것이 알려져 있다. 예를 들어, VR 영상에서 움직임이 현저한 영역에서는 안구의 운동이 증가하여 피로도가 크게 높아지게 된다. 이에 통계적 콘텐츠 특징 추출부(230)는 피로도를 예측하기 위해 모션 정보를 추출한다.
통계적 콘텐츠 특징 추출부(230)는 변환 프레임(I t)에 옵티컬 플로우를 적용하여 t번째 프레임의 각 픽셀의 수직 속도(u t)와 수평 속도(v t)를 획득하고, 수학식 6에 따라 평균 속도(V t)를 계산하여 모션 특징으로 출력한다.
Figure PCTKR2019009329-appb-img-000006
여기서 N x, N y 는 x와 y 픽셀 수를 의미한다.
풀링부(300)는 특징 추출부(200)에서 획득된 특징들에 대해 시간적으로 풀링(pooling)한다. 일반적으로 영상 콘텐츠에 대한 인간의 지각은 프레임 단위가 아닌 시간 축에서 연속되는 다수 프레임의 흐름으로 인지한다. 따라서 VR 콘텐츠로부터 인간의 피로도를 예측하기 위해서는 시간적 풀링 과정이 필요하다.
특징 추출부(200)의 지각적 움직임 특징 추출부(210)에서 사용자 헤드 각속도(ω vest), 시각적 각속도(ω vis) 및 인지 각속도(ω per)가 특징으로 획득되고, 통계적 콘텐츠 특징 추출부(230)에서 변환 프레임(I t)의 에너지(E t), 평균 속도(V t)가 특징으로 획득되면, 풀링부(300)는 우선 t번째 프레임(t)에 대해 획득된 특징들을 M차원 특징 벡터(F t = {f 1 t, f 2 t, ..., f M t})로 나타낸다. 여기서 M차원 특징 벡터(F t)에는 사용자 헤드 각속도(ω vest), 시각적 각속도(ω vis) 및 인지 각속도(ω per) 각각의 롤(r), 피치(p) 및 요(y) 성분이 독립적으로 반영될 수 있다. 즉 M은 일예로 11일 수 있다.
그리고 풀링부(300)는 VR 영상에 T개의 프레임이 포함된 경우, T개의 M차원 특징 벡터(F t = {f 1 t, f 2 t, ..., f M t})에 대해 평균, 분산과 최대값 및 최저값의 p-백분위수 풀링을 각각 수학식 7 내지 10과 같이 각각 계산한다.
Figure PCTKR2019009329-appb-img-000007
Figure PCTKR2019009329-appb-img-000008
Figure PCTKR2019009329-appb-img-000009
Figure PCTKR2019009329-appb-img-000010
여기서 f m t은 t프레임의 m번째 특징 벡터를 나타내고, d(n)은 순위(rank-ordered)에 따른 n번째 특징값을 나타낸다. 그리고 N은 전체 프레임 수이며, N p l과 N p h 는 각각 하위 및 상위 p-백분위수(p-percentiles)(실험에 따른 일예에서 p는 10% 이다.)에 해당하는 프레임 수이다.
수학식 7 및 8 은 영상의 전체적인 경향을 감지하는 인간의 성향을 반영하는 수학식으로, 사용자는 급격한 변화가 발생하는 영상을 시청할 때 더 많은 주의를 기울이는 특성을 반영한다. 그리고 수학식 9 및 10 은 각각 특징값의 최대값과 최저값의 평균을 계산하여 특징을 반영한다.
결과적으로 풀링부(300)에서 시간적 풀링된 특징 벡터는 수학식 11로 정의된다.
Figure PCTKR2019009329-appb-img-000011
피로도 예측부(400)는 미리 학습된 인공 신경망(artificial neural network)으로 구현되어, 풀링부(300)에서 인가된 풀링된 특징 벡터(F)에 응답하여 피로도를 예측하여 출력한다.
피로도 예측부(400)는 학습 과정에서 미리 획득된 다수의 VR 학습 영상에 대해 풀링된 특징 벡터(F)를 인가받아 피로도를 예측하고, 예측된 피로도를 다수의 피험자가 해당 학습 VR 영상에 대해 평가한 피로도와 비교하여 오차를 역전파(backpropagation)하여 학습될 수 있다.
일예로 학습 VR 영상은 다수의 영상 각각에 표1 에 따른 파라미터를 가변하여 획득될 수 있다.
Figure PCTKR2019009329-appb-img-000012
표1 에 따르면, 각 학습 VR 영상에서 파라미터는 크게 객체 이동과 카메라 이동 및 콘텐츠 구성 요소에 따라 구분될 수 있다.
도5 를 참조하여, 피로도 예측을 위한 학습 VR 영상의 파라미터를 살펴보면, (a)는 파라미터가 반영되지 않은 기준 영상을 나타내고, (b)는 객체 이동 파라미터가 가변되는 영상을 나타내며, (c)는 카메라 이동 파라미터가 가변되는 영상을 나타낸다. 그리고 (d)는 콘텐츠 구성 요소가 가변되는 영상의 일예를 나타낸다.
사용자는 VR 공간 내의 가상의 객체와 상호 작용을 통해 VR 콘텐츠를 경험하므로, (a)에 도시된 바와 같이, VR 영상에서 객체가 이동하는 경우, 사용자는 VR 영상으로부터 피로도를 느낄 수 있다. 객체는 표1 에 나타난 바와 같이, VR 영상의 가상의 VR 공간에서 수평 방향, 수직 방향, 대각선 방향, 전방 및 후방으로 이동할 수 있으며, 이에 기준 VR 영상에서 객체가 각 방향으로 이동하는 다수의 학습 VR 영상을 생성할 수 있다. 또한 각 방향으로 이동하는 객체의 속도를 다양하게 가변하여 다수의 학습 VR 영상을 생성할 수 있다.
한편, VR 영상에서 카메라 움직임은 (c)와 같이 배경의 변화로서 사용자의 머리 움직임과 독립적으로 변화할 수 있으며, 여기서는 롤, 피치, 요 움직임과 함께 수평 방향, 수직 방향, 전방 및 후방 움직임 각각에 대한 다수의 학습 VR 영상을 생성할 수 있으며, 각 방향의 카메라 움직임 속도를 가변하여 다수의 학습 VR 영상을 생성할 수 있다.
또한 콘텐츠 구성 요소에 따른 파라미터로는 콘텐츠의 텍스쳐와 FoV 및 시각적 가이드가 포함될 수 있다. (d)에서는 FoV에 대한 파라미터의 변화를 도시하였으나, 앞서 설명한 바와 같이, 텍스쳐 또한 피로도에 영향을 미칠 수 있다. 뿐만 아니라, VR 콘텐츠를 경험할 때 시각적으로 제공되는 다양한 가이드 또한 사용자의 시각에 영향을 미치게 되므로, 피로도에 영향을 미칠 수 있다.
이렇게 다수의 VR 영상에서 표1 에 따른 다양한 매개 변수를 가변하여 학습 VR 영상을 생성할 수 있으며, 생성된 다수의 학습 VR 영상을 다수의 피험자에게 경험하도록 하고, 각 피험자가 주관적으로 기록한 피로도의 통계 값(예를 들면 평균)을 이용하여 피로도 예측부(400)를 학습 시킬 수 있다.
그리고 학습된 피로도 예측부(400)는 용이하게 풀링된 특징 벡터(F)로부터 피로도를 예측하여 출력한다.
도4 는 본 발명의 일 실시예에 따른 VR 피로도 예측 방법을 나타낸다.
도2 내지 도3 을 참조하여, 도4 의 VR 피로도 예측 방법을 설명하면, 우선 피로도를 예측할 VR 영상을 획득한다(S10). 이때, 피로도 예측 장치는 VR 영상과 함께 VR 영상 내의 카메라 회전 행렬 및 HMD에서 감지된 회전 속도를 함께 획득한다.
그리고 획득된 VR 영상의 지각적 움직임 및 통계적 콘텐츠 특징을 추출한다(S20). 피로도 예측 장치는 VR 영상의 지각적 움직임 특징과 통계적 콘텐츠 특징을 독립적으로 추출할 수 있다. 지각적 움직임 특징을 추출하기 위해, 피로도 예측 장치는 VR 영상의 각 프레임에서 HMD의 자이로스코프에서 감지된 회전 속도에 따라 사용자 헤드 각속도(ω vest)를 수학식 1에 따라 계산한다(S21). 그리고 카메라 회전 행렬로부터 수학식 2에 따라 계산되는 카메라 각속도(ω cam)와 사용자 헤드 각속도(ω vest)를 이용하여 수학식 3 에 따라 시각적 각속도(ω vis)를 계산한다(S22). 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis)가 계산되면, 피로도 예측 장치는 사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식을 모델링한 Telban 모델 등을 이용하여, 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis)로부터 인지 각속도(ω per)를 획득한다(S23). 여기서 사용자 헤드 각속도(ω vest)와 시각적 각속도(ω vis) 및 인지 각속도(ω per)는 각각 롤(r), 피치(p) 및 요(y) 성분을 포함한다.
한편, 피로도 예측 장치는 VR 영상의 각 프레임을 이산 푸리에 변환하고, 변환 프레임(I t)의 에너지(E t)를 수학식 4 에 따라 계산하여 텍스쳐 특징으로 추출한다(S25). 또한 변환 프레임(I t)에 대해 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀의 평균 속도(V t)를 수학식 6 에 따라 계산하여 VR 영상 내의 모션 특징을 추출한다(S26).
지각적 움직임 특징으로 사용자 헤드 각속도(ω vest), 시각적 각속도(ω vis) 및 인지 각속도(ω per)가 획득되고, 통계적 콘텐츠 특징으로 에너지(E t)와 평균 속도(V t)가 획득되면, 획득된 특징들을 지정된 방식으로 배열하여 특정 프레임에 대한 특징 벡터(F t)를 각각 획득한다(S30). 그리고 VR 영상을 구성하는 다수의 프레임에 대한 다수의 특징 벡터(F t)에 대해 평균, 분산과 최대값 및 최저값의 p 백분위수를 수학식 7 내지 10에 따라 계산하여, 다수의 특징 벡터(F t)를 시간적으로 풀링함으로써, 시간적 풀링된 특징 벡터(
Figure PCTKR2019009329-appb-img-000013
)를 획득한다(S40).
시간적 풀링된 특징 벡터(F)가 획득되면, 피로도 예측 장치는 미리 학습된 인공 신경망(artificial neural network)으로 구현된 피로도 예측부(400)에 시간적 풀링된 특징 벡터(F)를 입력하여 피로도를 예측하여 출력한다(S50).
표 2 및 표 3 은 80명의 피실험자를 대상으로 하여, 공통의 피로도 경향을 특징 벡터의 평균 견해 점수(mean opinion scores: MOS)를 선형 상관 계수(linear correlation coefficient: 이하 LCC)와 Spearman rank-order correlation coefficient(이하 SROCC)로 평가한 결과를 나타낸다.
Figure PCTKR2019009329-appb-img-000014
Figure PCTKR2019009329-appb-img-000015
표2 에서 사용자 헤드 각속도(ω vest)에 의한 특징(F vest)만을 이용한 LCC와 SROCC는 각각 평균이 0.484 및 0.434이나, 인지 각속도(ω per)를 결합한 경우, LCC와 SROCC의 평균이 각각 0.682 및 0.643으로 개선되었음을 알 수 있다.
한편, 통계적 특징(F con)만을 이용한 LCC와 SROCC는 각각 평균이 0.421, 0.439인 반면, 본 실시예에 따른 VR 피로도 예측 장치(VR sickness predictor: VRSP)로부터 획득되는 LCC와 SROCC는 각각 평균이 0.724 및 0.710으로 크게 개성되어 VR 피로도를 예측하는데 합리적이라는 것을 확인할 수 있다.
한편, 표 4 및 표 5 는 개인별 피로도 점수(Individual sickness Score)의 LCC와 SROCC로 평가한 결과를 나타낸다.
Figure PCTKR2019009329-appb-img-000016
Figure PCTKR2019009329-appb-img-000017
표4 및 표5 에 나타난 바와 같이, 추출된 특징에 따른 개인별 피로도 점수의 상관 관계는 표2 및 표2 에 나타난 MOS와의 상관관계보다 낮음을 알 수 있다. 이는 VR 영상의 피로도가 비록 개개인과 상관관계가 있으나, 개인별로 크게 차이가 날 수 있기 때문이다.
도6 은 본 실시예에 따라 예측된 피로도와 MOS 및 개인별 피로도 점수의 상관 관계를 나타낸다.
도6 에서 (a)는 MOS와 예측된 피로도 사이의 상관 관계를 나타내고, (b)는 개인별 피로도와 예측된 피로도 사이의 상관관계를 나타낸다.
도6 의 (a)와 (b)를 비교하면, 본 실시예에서 추출된 측징들은 개인별 피로도와도 높은 상관 관계가 있으나, MOS 피로도와 더 높은 상관 관계를 갖는다는 것을 알 수 있다. 즉 본 실시예에서 추출하는 특징 들이 인간의 일반적인 특성을 반영함을 알 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도를 획득하는 VR 입력 획득부;
    상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 지각적 움직임 특징 추출부;
    상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 통계적 콘텐츠 특징 추출부;
    상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 풀링부; 및
    미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하여 출력하는 피로도 예측부를 포함하는 피로도 예측 장치.
  2. 제1 항에 있어서, 상기 지각적 움직임 특징 추정부는
    상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하고,
    상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 계산되는 카메라 각속도와 상기 사용자 헤드 각속도의 차에 따라 상기 시각적 각속도를 계산하며,
    상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득하는 피로도 예측 장치.
  3. 제2 항에 있어서, 상기 지각적 움직임 특징 추정부는
    사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득하는 피로도 예측 장치.
  4. 제1 항에 있어서, 상기 통계적 콘텐츠 특징 추출부는
    상기 VR 영상의 각 프레임을 이산 푸리에 변환하여, 변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하고,
    상기 변환된 프레임에 옵티컬 플로우를 적용하여, 각 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하며, 획득된 다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출하는 피로도 예측 장치.
  5. 제1 항에 있어서, 상기 풀링부는
    상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하고,
    상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득하는 피로도 예측 장치.
  6. VR 영상과 상기 VR 영상의 카메라 회전 행렬 및 HMD(Head Mounted Display)에서 감지된 회전 속도가 포함된 VR 입력을 획득하는 단계;
    상기 VR 영상의 각 프레임에서 카메라 회전 행렬 및 회전 속도로부터 사용자 헤드 각속도와 시각적 각속도 및 인지 각속도를 지각적 움직임 특징으로 추출하는 단계;
    상기 VR 영상의 각 프레임에서 텍스쳐 특징과 모션 특징을 통계적 콘텐츠 특징으로 추출하는 단계;
    상기 지각적 움직임 특징과 상기 통계적 콘텐츠 특징을 배열하여 특징 벡터를 획득하고, 상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터를 시간적 풀링하는 단계; 및
    미리 학습된 패턴 추정 방식에 따라 시간적 풀링된 특징 벡터로부터 피로도를 추정하는 단계를 포함하는 피로도 예측 방법.
  7. 제6 항에 있어서, 지각적 움직임 특징으로 추출하는 단계는
    상기 VR 영상의 각 프레임에서 상기 회전 속도에 따라 상기 사용자 헤드 각속도를 계산하는 단계;
    상기 VR 영상의 각 프레임에서 상기 카메라 회전 행렬을 이용하여 카메라 각속도를 계산하는 단계;
    상기 사용자 헤드 각속도와 상기 카메라 각속도의 차에 따라 상기 시각적 각속도를 계산하는 단계; 및
    상기 사용자 헤드 각속도와 상기 시각적 각속도로부터 상기 인지 각속도를 획득하는 단계; 를 포함하는 피로도 예측 방법.
  8. 제7 항에 있어서, 상기 인지 각속도를 획득하는 단계는
    사용자의 머리 움직임과 시각적으로 감지한 움직임을 두뇌가 인지하는 방식으로 모델링된 Telban 모델에 상기 사용자 헤드 각속도와 상기 시각적 각속도를 입력하여 상기 인지 각속도를 획득하는 피로도 예측 방법.
  9. 제6 항에 있어서, 상기 통계적 콘텐츠 특징으로 추출하는 단계는
    상기 VR 영상의 각 프레임을 이산 푸리에 변환하는 단계;
    변환된 프레임의 에너지를 계산하여 상기 텍스쳐 특징을 획득하는 단계;
    상기 변환된 프레임에 옵티컬 플로우를 적용하는 단계;
    상기 변환된 프레임에서 다수의 픽셀 각각의 수직 속도와 수평 속도를 획득하는 단계; 및
    다수의 픽셀의 수직 속도와 수평 속도로부터 평균 속도를 계산하여 상기 모션 특징을 추출하는 단계를 포함하는 피로도 예측 방법.
  10. 제6 항에 있어서, 상기 풀링하는 단계는
    상기 VR 영상의 각 프레임에 대한 상기 사용자 헤드 각속도, 상기 시각적 각속도, 상기 인지 각속도, 상기 텍스쳐 특징 및 상기 모션 특징을 포함하는 상기 특징 벡터를 구성하는 단계; 및
    상기 VR 영상의 다수의 프레임에 대한 다수의 특징 벡터의 평균, 분산과 함께 최대값 및 최저값의 p-백분위수를 계산하여 풀링된 특징 벡터를 획득하는 단계 를 포함하는 피로도 예측 방법.
PCT/KR2019/009329 2018-12-06 2019-07-26 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법 Ceased WO2020116739A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180156048A KR102141740B1 (ko) 2018-12-06 2018-12-06 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법
KR10-2018-0156048 2018-12-06

Publications (1)

Publication Number Publication Date
WO2020116739A1 true WO2020116739A1 (ko) 2020-06-11

Family

ID=70973726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009329 Ceased WO2020116739A1 (ko) 2018-12-06 2019-07-26 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102141740B1 (ko)
WO (1) WO2020116739A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669002B1 (ko) 2021-08-24 2024-05-23 연세대학교 산학협력단 가상현실 콘텐츠 멀미 및 어지러움 예측 장치 및 방법
US12475543B2 (en) 2022-09-01 2025-11-18 Samsung Electronics Co., Ltd. Method for performing vignetting function and wearable electronic device supporting the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044291A1 (en) * 2011-05-20 2013-02-21 Panasonic Corporation Visual fatigue level measuring device, visual fatigue level measuring method, visual fatigue level measuring system, and three-dimensional glasses
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
KR20170106755A (ko) * 2016-03-14 2017-09-22 한국과학기술원 감성 tv를 위한 표정 인식 기반 스테레오스코픽 3d 콘텐츠에 기인한 시각 피로도 측정 방법 및 시스템
KR101845972B1 (ko) * 2016-10-24 2018-05-18 성균관대학교 산학협력단 사용자가 고려된 깊이 영상과 생체신호에 기반한 3차원 영상 시각피로도 측정방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364915A1 (en) 2015-06-15 2016-12-15 Google Inc. Virtual reality content presentation including viewpoint transitions to prevent simulator sickness
KR20180005528A (ko) * 2016-07-06 2018-01-16 삼성전자주식회사 영상 처리를 위한 디스플레이 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044291A1 (en) * 2011-05-20 2013-02-21 Panasonic Corporation Visual fatigue level measuring device, visual fatigue level measuring method, visual fatigue level measuring system, and three-dimensional glasses
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
KR20170106755A (ko) * 2016-03-14 2017-09-22 한국과학기술원 감성 tv를 위한 표정 인식 기반 스테레오스코픽 3d 콘텐츠에 기인한 시각 피로도 측정 방법 및 시스템
KR101845972B1 (ko) * 2016-10-24 2018-05-18 성균관대학교 산학협력단 사용자가 고려된 깊이 영상과 생체신호에 기반한 3차원 영상 시각피로도 측정방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAEKYUNG KIM: "Virtual Reality Sickness Predictor: Analysis of visual-vestibular conflict and VR contents", 2018 TENTH INTERNATIONAL CONFERENCE ON QUALITY OF MULTIMEDIA EXPERIENCE (QOMEX), 29 May 2018 (2018-05-29), pages 1 - 6, XP033402108 *

Also Published As

Publication number Publication date
KR20200069002A (ko) 2020-06-16
KR102141740B1 (ko) 2020-08-05

Similar Documents

Publication Publication Date Title
Kim et al. A deep motion sickness predictor induced by visual stimuli in virtual reality
So et al. A metric to quantify virtual scene movement for the study of cybersickness: Definition, implementation, and verification
CN101243471B (zh) 对用户的运动进行分析的系统和方法
JP7177224B2 (ja) 顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法および化粧効果の鑑別方法
US10817057B2 (en) Information processing device, information processing method, and program
US20180060757A1 (en) Data annotation method and apparatus for enhanced machine learning
JP7352914B2 (ja) 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
US11366520B2 (en) Method for analyzing element inducing motion sickness in virtual-reality content and apparatus using the same
US12422928B2 (en) Information processing apparatus, information processing method, and program
Ferdous et al. Investigating the reason for increased postural instability in virtual reality for persons with balance impairments
Ki et al. Visually evoked responses are enhanced when engaging in a video game
WO2021141186A1 (ko) 멀티형 인지재활 훈련 시스템 및 방법
US11249549B2 (en) Brain connectivity-based visual perception training device, method and program
KR102141740B1 (ko) 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법
Noorzadeh et al. 3-D Interface for the P300 speller BCI
Lee et al. A study on virtual reality sickness and visual attention
US10755088B2 (en) Augmented reality predictions using machine learning
KR101955293B1 (ko) 시각 피로도 분석 장치 및 그 방법
EP2774533A1 (en) Apparatuses and method for determining and using heart rate variability
US20210295730A1 (en) System and method for virtual reality mock mri
KR102260180B1 (ko) 딥 러닝 방법을 이용한 비디오 두부 충동 검사를 위한 임상 의사 결정 지원 시스템
Valeriani et al. Augmenting group performance in target-face recognition via collaborative brain-computer interfaces for surveillance applications
WO2018056790A1 (ko) 뇌 자극을 통한 기억력 훈련 장치, 방법 및 프로그램
WO2022196419A1 (ja) 筋電位計測器、方法、およびシステム
Arslan et al. The Identification of Individualized Eye Tracking Metrics in VR Using Data Driven Iterative-Adaptive Algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894257

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19894257

Country of ref document: EP

Kind code of ref document: A1