WO2018080202A1 - 머리 착용형 디스플레이 장치 및 그의 제어 방법 - Google Patents

머리 착용형 디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
WO2018080202A1
WO2018080202A1 PCT/KR2017/011924 KR2017011924W WO2018080202A1 WO 2018080202 A1 WO2018080202 A1 WO 2018080202A1 KR 2017011924 W KR2017011924 W KR 2017011924W WO 2018080202 A1 WO2018080202 A1 WO 2018080202A1
Authority
WO
WIPO (PCT)
Prior art keywords
gaze
dizziness
user
display device
signal
Prior art date
Application number
PCT/KR2017/011924
Other languages
English (en)
French (fr)
Inventor
원광현
이재성
이태미
김창한
이은영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2018080202A1 publication Critical patent/WO2018080202A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image

Definitions

  • the present disclosure relates to a head wearable display device and a control method thereof, and more particularly, to a head wearable display device and a control method thereof that can reduce dizziness.
  • Head mounted displays are one of a variety of devices that can experience virtual reality similar to reality through simulations implemented in software technology.
  • a user wearing a head wearable display device having a large display and supporting high resolution could experience virtual reality through head tracking through a sensor and a display provided in both eyes.
  • the user When watching a video while wearing a head wearable display device, the user may be dizzy depending on the characteristics of the video. The reason is that there is a mismatch between the visual system that senses movement by the image information and the vestibular system that senses and accepts the sense of equilibrium. This visual-vestibular discrepancy causes dizziness and postural shaking.
  • the present disclosure is to solve the above-mentioned problems, an object of the present disclosure is to provide a head-worn display device and a control method thereof that can reduce dizziness.
  • a head wearable display device includes a display unit displaying an image, a sensor generating a signal corresponding to a movement of the display device, and the signal corresponding to the signal.
  • a gaze tracking unit that tracks the position of the user's gaze on the image during movement of the display device and generates a gaze movement information, and a processor that determines whether to use the signal to determine the level of dizziness of the user based on the gaze movement information;
  • the processor when it is determined that the distance that the line of sight moves is greater than or equal to a preset distance based on the line of sight movement information, the processor does not use the signal to determine the level of dizziness of the user, and the distance at which the line of sight moves is a preset distance. If determined less than, the signal can be used to determine the level of dizziness of the user.
  • the head-worn display device further comprises a speaker for outputting sound
  • the processor if it is determined that the distance the eye gaze is based on the gaze movement information is less than a predetermined distance, Can be used based on the sound output through the speaker during the movement of the display device corresponding to the signal.
  • the processor may not use the signal to determine the level of dizziness of the user.
  • the processor may control the display unit to display the identification degree of the partial area of the image lower than the remaining area according to the dizziness level of the user.
  • the processor moves the viewpoint according to the signal generated by the sensor.
  • the display unit may control the display unit to display the displayed image, and to display an identification degree of a partial region of the image from which the viewpoint is moved lower than the remaining region.
  • the processor may control the display unit to change the size of the region of which the identification is lowered according to the change of the dizziness level of the user.
  • the region of which the identification is lowered may be a region other than the region where the user's gaze is detected in the displayed image.
  • the processor divides the image into a plurality of blocks, and selects a block having the least degree of dizziness among the plurality of blocks based on motion information of each of the plurality of blocks, And an area other than an area corresponding to the selected block among the displayed images.
  • the region of which the identification degree is lowered may be a region to which a blur filter is applied.
  • the processor may include a plurality of partial images which are not displayed through the display unit among all images corresponding to the VR content. And dividing the block into blocks, selecting a block having the least dizziness among the plurality of blocks based on the motion information of each of the plurality of blocks, and displaying a UI element for inducing a user's gaze in the direction in which the selected block is located.
  • the display unit may be controlled.
  • the processor may control the display unit to change the size of the UI element according to the change of the dizziness level of the user.
  • control method of the head-worn display device the step of displaying an image, generating a signal corresponding to the movement of the display device and the movement of the display device corresponding to the signal And generating gaze movement information by tracking the position of the user's gaze on the image, and determining whether to use the signal to determine the level of dizziness of the user based on the gaze movement information.
  • the determining step if it is determined that the distance the eye gaze moves based on the gaze movement information is greater than or equal to a preset distance, it is determined that the signal is not used to determine the level of dizziness of the user, and the gaze is moved. If it is determined that the distance is less than the preset distance, it may be determined that the signal is used to determine the level of dizziness of the user.
  • the display device includes a speaker for outputting sound
  • the determining step if it is determined that the distance moved by the line of sight based on the gaze movement information is less than a predetermined distance to determine the level of dizziness Whether to use may be determined based on the sound output through the speaker during the movement of the display device corresponding to the signal.
  • the determining may determine that the signal is not used to determine the level of dizziness of the user when the correlation value between the frequency corresponding to the output sound and the frequency corresponding to the signal is equal to or greater than a preset value.
  • control method of the head-worn display device may further comprise the step of displaying the identification of some areas of the image lower than the remaining areas according to the level of dizziness of the user.
  • the displaying may include displaying an image whose viewpoint is shifted according to the generated signal.
  • the identification degree of some regions of the image from which the viewpoint is moved may be displayed lower than the remaining regions.
  • the displaying may change the size of the region of which the identification is lowered according to the change of the dizziness level of the user.
  • a computer-readable recording medium including a program for executing a control method of the head-worn display device according to an embodiment of the present disclosure
  • the control method the step of displaying an image, the movement of the display device Generating a gaze movement information by tracking the position of the gaze of the user during the movement of the display device corresponding to the signal; and whether the signal is used to determine the level of dizziness of the user. And determining based on the gaze movement information.
  • FIG. 1 is a view for explaining a head-worn display device according to an embodiment of the present disclosure
  • FIG. 2 is a view for explaining the configuration of the head-wear display device according to an embodiment of the present disclosure
  • 3 to 6 are views showing a signal generated by the gyro sensor of the head-wear display device according to an embodiment of the present disclosure when showing a specific image to the subject
  • FIG. 7 to 9 are flowcharts illustrating a method of determining a dizziness level of a user according to various embodiments of the present disclosure
  • FIGS. 10 to 11 are views illustrating an image of dizzy reduction treatment according to various embodiments of the present disclosure.
  • 16 is a diagram for describing a method of controlling a head worn display device according to an exemplary embodiment.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the module or unit performs at least one function or operation, and may be implemented in hardware or software, or in a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module except for 'modules' or 'units' that need to be implemented by specific hardware, and may be implemented as at least one processor.
  • FIG. 1 is a schematic diagram illustrating a head worn display device according to an exemplary embodiment.
  • the display unit 110 is positioned inside the head wearable display device 100 to face the user's eyes.
  • the display 110 may not be visible from the outside of the head wearable display device 100, but may be disposed so as to be visible only from the inside.
  • the screen 111 displayed on the display unit 110 of the head wearable display device 100 may be an image corresponding to one time point among all images corresponding to VR (Virtual Reality) content (or virtual reality content).
  • VR Virtual Reality
  • virtual reality content or virtual reality content
  • VR content is an image having several viewpoints, for example, an image generated by combining a plurality of images taken by moving one camera, or a plurality of images captured at different viewpoints of the same space by multiple cameras.
  • the image may be generated by combining images of the camera, or may be an image taken by a single camera having a wide angle of view.
  • it is not necessarily limited to the image photographed by the camera, and artificially produced content such as a game image may also correspond to VR content.
  • the image is a concept that can include both a still image and a video.
  • An image having a 360 degree view refers to an image having the same start end and end, and may be called by various names such as a spherical image and an omnidirectional image.
  • At least one sensor of the head worn display apparatus 100 may detect a movement of the user's head.
  • a movement of the user's head For example, when the user wearing the head wearable display device 100 changes the direction of the head, an image of a viewpoint corresponding to the head direction among the entire images corresponding to the VR content may be displayed through the display 110.
  • the user may experience an approach such as approaching an object in the image viewed by the display 110.
  • the head worn display device 100 of the present disclosure may include a structure that can be fixed to the head as shown in FIG. 1.
  • the head worn display device 100 of the present disclosure may be implemented as a device that can be mounted and detached in a structure that can be fixed to the head.
  • the head worn display device 100 of the present disclosure may be a portable device such as a smartphone having a display function.
  • the head wearable display device 100 of the present disclosure does not include a display configuration and may be implemented in a form that can be connected to an external display device. In this case, a wireless or wired communication unit for connecting with an external display device may be provided.
  • FIG. 2 is a diagram for describing a configuration of a head wearable display device according to an exemplary embodiment.
  • the head wearable display device 100 includes a display 110, a sensor 120, a gaze tracker 130, and a processor 140.
  • the display 110 is a configuration for displaying an image.
  • the image includes a still image and a moving image.
  • the display unit 110 may display an image by a liquid crystal display (LCD) method, an organic light emitting diode (Organic LED) method, an LED method, or the like.
  • LCD liquid crystal display
  • Organic LED organic light emitting diode
  • the display unit 110 may display an image corresponding to one point in time of the entire image corresponding to the VR content, and the viewpoint of the displayed image may be changed according to the movement of the user wearing the head wearable display device 100. Can be.
  • the sensor 120 is configured to generate a signal corresponding to the movement of the head worn display apparatus 100.
  • the sensor 120 detects an inclination of the head wearable display device 100 and generates a signal corresponding thereto, and an acceleration that detects a movement state of the head wearable display device 100 and generates a signal corresponding thereto.
  • Sensor Gravity Sensor that detects the direction of action of gravity on the head-worn display device 100 and generates a corresponding signal, Detects the altitude by measuring atmospheric pressure and generates a corresponding signal It may include at least one of various sensors such as an altimeter.
  • the gaze tracking unit 130 is a component capable of generating gaze movement information, which is information about which part of the image displayed on the display 110 is viewed by the user and where the position of the gaze of the user moves on the image. .
  • the head worn display apparatus 100 may include an infrared light emitting device for generating infrared rays and a camera for photographing a subject, and the eye tracking unit 130 may control the infrared light emitting device and the camera.
  • the gaze tracking unit 130 may be a module including a device required for gaze detection, such as a camera and an infrared light emitting device.
  • the position where the infrared light emitting device is disposed may be a position where infrared light may be irradiated to the user's eyes in the head wearable display device 100, and the position where the camera is disposed may be a position where the user wears the head wearable display device 100. It may be a location where the eye can be photographed.
  • the infrared light emitting device may irradiate infrared rays to a user's eyes looking at an image displayed on the display 110 under the control of the eye tracking unit 130, and the camera may be controlled by the eye tracking unit 130.
  • the infrared irradiated eye may be photographed, and the infrared rays reflected from the cornea of the user appear in the captured image.
  • the gaze tracking unit 130 detects the pupil by dividing the iris and the pupil based on the position of infrared rays reflected from the cornea of the user in the captured image, and detects the position of the gaze on the image from the continuous image.
  • the gaze movement information may be generated by tracking the movement paths of the positions of the gazes detected in the frames, respectively.
  • the display apparatus 100 may include a camera for photographing a subject, and the gaze tracking unit 130 may control the camera.
  • the gaze tracking unit 130 may be a module including a device required for gaze detection, such as a camera.
  • the position where the camera is disposed may be a position where the user's eyes may be photographed by the head wearable display apparatus 100.
  • the gaze tracking unit 130 detects the position of the eye using a technique (eg, Haar-like features) of finding an object feature in an image of the user's eyes, and uses the edge detection technique to detect the eye position.
  • the iris and the pupil may be detected at the position of, and the position of the gaze of the user may be detected on the image displayed on the display 110 based on the relative position of the iris and the pupil.
  • the gaze tracking unit 130 may generate gaze movement information by tracking movement paths of positions of gazes detected in successive frames of the captured image.
  • various known eye tracking techniques may be applied to the eye tracking unit 130.
  • the gaze tracking unit 130 tracks the position of the user's gaze on the image displayed on the display unit 110 while the head wearable display device 100 moves in response to the signal generated by the sensor 120.
  • the gaze movement information may be generated. Therefore, information about how the position of the gaze of the user has changed while the user wearing the head wearable display device 100 is moving can be obtained.
  • the eye tracker 130 and the processor 140 are illustrated and described as if they are separate components, the eye tracker 130 is omitted according to an embodiment, and the function of the eye tracker 130 may be a processor ( 140 may perform.
  • the processor 140 may control the overall configuration of the head worn display apparatus 100.
  • the processor 140 may include a CPU, a RAM, a ROM, and a system bus. Although the processor 140 has been described as including only one CPU, the processor 140 may include a plurality of CPUs (or DSPs).
  • the processor 140 may display the head wearable display based on at least one of a signal generated in response to the movement of the head wearable display apparatus 100 in the sensor 120 and the gaze movement information generated by the gaze tracker 130.
  • the dizziness level (or degree) of the user wearing the device 100 may be determined.
  • the processor 140 may determine the dizziness level of the user based on the signal generated by the sensor 120.
  • the processor 140 may determine the dizziness level based on the pitch data and the roll data among the yaw data, the pitch data, and the roll data acquired through the gyro sensor included in the sensor 120.
  • the processor 140 converts the pitch data and the roll data of the time domain into the frequency domain, and selects a frequency value having the largest amplitude among the converted values. If the selected frequency value is greater than the preset frequency value, the processor 140 determines that there is dizziness. Based on the results of the study that body shaking of 1 Hz or more is caused by dizziness, the preset frequency value may be 1 Hz.
  • the processor 140 may determine the dizziness level corresponding to the magnitude of the selected frequency.
  • 3 to 6 illustrate signals generated by a sensor of the head worn display device 100 according to an exemplary embodiment of the present disclosure when a particular image is shown to a subject.
  • FIG. 3 is a result when the subject shows an image causing dizziness while sitting
  • FIG. 4 is a result when the subject shows an image which does not cause dizziness while sitting
  • FIG. 5 is a result when the subject shows an image causing dizziness while standing
  • FIG. 6 is a result when the subject shows an image which does not cause dizziness while standing.
  • the processor 140 may determine the dizziness level.
  • eye movement amplitude (Saccade amplitude) is associated with subjective dizziness. The greater the distance traveled by the line of sight, the stronger the dizziness. Therefore, the processor 140 may determine the dizziness level of the user based on the gaze movement information generated by the gaze tracker 130.
  • the dizziness level is determined by using the signal generated by the sensor 120 and the gaze movement information, respectively.
  • the dizziness level may be determined by a combination of the two.
  • the average of the dizziness level determined based on the signal generated by the sensor 120 and the dizziness level determined based on the gaze movement information may be determined as the final dizziness level.
  • the signal generated by the sensor 120 may correspond to movement caused by dizziness, or may correspond to intentional movement of the user. Therefore, the signal generated by the sensor 120 in response to the intentional movement of the user is preferably not used to determine the dizziness level.
  • the processor 140 determines whether the signal generated by the sensor 120 is used to determine the level of dizziness, while the position of the user's gaze is displayed while there is a movement corresponding to the signal. It may be determined based on the eye movement information generated by tracking.
  • the head movement is intentional movement. If the distance is less than the predetermined distance, the movement of the head is not intentional movement, that is, movement caused by dizziness. Can be judged. According to the experimental results, if the head shakes during the gaze stay within the range of 30 degrees and 20 degrees, this can be seen as unintentional shaking. According to another experimental result, the head is also moved in order to move the gaze in a wide field of view (FOV) environment (for example, when viewing 360-degree VR content on the head wearable display device).
  • FOV wide field of view
  • the processor 140 based on the gaze movement information generated as a result of tracking the position of the gaze of the user on the image displayed on the display 110 while there is a movement corresponding to the signal generated by the sensor 120, If the gaze determines that the movement distance is greater than or equal to the preset distance, the signal generated by the sensor 120 is not used to determine the dizziness level of the user, and when the gaze determines that the movement distance is less than the preset distance, the sensor 120 ) Can be used to determine the level of dizziness of the user.
  • whether the movement of the user wearing the head wearable display device 100 is intentional may be determined in consideration of various external environments. For example, if the user is listening to exciting music, the user may shake his body to the rhythm of the music. In other words, this is a deliberate move.
  • the head wearable display device 100 may further include a speaker for outputting sound, and the processor 140 may output a sound output from the speaker while there is a movement corresponding to the signal generated by the sensor 120, and the sensor. Based on the correlation between the signals generated at 120 may determine whether to use the generated signal to determine the level of dizziness of the user.
  • the processor 140 when the correlation value between the frequency corresponding to the generated signal and the frequency corresponding to the output sound is greater than or equal to a preset value, the processor 140 is considered to be a case where the user is shaking his body listening to music. As such, the signal may be unused to determine the level of dizziness of the user.
  • the processor 140 based on the gaze movement information generated as a result of tracking the position of the user's gaze on the image displayed on the display 110, the gaze is less than the predetermined distance of the movement distance If it is determined, the sound output from the speaker may be used. In other words, based on the gaze movement information, if the gaze determines that the movement distance is less than the preset distance, the processor 140 determines whether the signal is used to determine the dizziness level during the movement of the display device corresponding to the signal. The sound output through the speaker may also be determined.
  • the processor 140 may not use the signal to determine the level of dizziness of the user.
  • the above embodiment is applicable to the case where the headphone display device 100 is provided with an earphone jack as well as a speaker.
  • the head wearable display device 100 itself has been described as having a speaker or an earphone jack, but the head wearable display device 100 may be provided with a microphone and is output through an external speaker.
  • the processor 140 may determine a correlation between the acquired sound and the signal generated by the sensor 120.
  • the head wearable display device 100 may receive various information that may determine that the user is not dizzy. For example, the head wearable display device 100 may receive information from an earthquake sensor. Therefore, the head wearable display device 100 may include a communication unit to receive information from the external device.
  • the communication unit is configured to communicate with various external devices, and is connected to an external device through a local area network (LAN) and an internet network, as well as wireless communication (for example, Z-wave, 4LoWPAN, External devices by RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT +, NFC, IrDA, DECT, WLAN, Bluetooth, Wi-Fi, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO Can be connected to.
  • the communication unit may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, and a wireless communication chip.
  • FIG. 7 is a flowchart illustrating a method of determining the dizziness level of a user according to an embodiment of the present disclosure.
  • the gaze movement information generated by the gaze tracking unit 130 is indicated by A.
  • FIG. The gaze movement represents the difference between the position of the first gaze and the position of the last gaze in coordinates A x and A y .
  • the signal generated from the sensor 120 that is, head movement information is indicated by B.
  • the signal is generated by a gyro sensor and includes coordinates (B y , B p , B r ) for each of Yaw, Pitch, and Roll.
  • the audio signal corresponding to the sound output from the speaker of the head worn display device 100 is denoted by C.
  • gaze motion information A, head motion information B, and an audio signal C are obtained (S710).
  • the gaze motion information A, the head motion information B, and the audio signal C are all generated during the same period. That is, these pieces of information are information generated while the user wears the head wearable display device 100 and moves while listening to sound and moving his eyes.
  • the dizziness level is determined based on the gaze movement information A (S750).
  • the sensor responds to the frequency Freq (C) of the audio signal C corresponding to the sound output from the speaker and the head movement.
  • the degree of correlation between the frequency Freq (B) of the signal generated at 120, that is, a correlation coefficient (CC) value is calculated, and it is determined whether the calculated correlation coefficient value is smaller than 0.5, which is a preset value (S730). .
  • the dizziness level is determined based on the head movement information (A) (S740). On the contrary, if the correlation coefficient value is equal to or greater than the predetermined value (S730, N), the dizziness level is determined based on the gaze movement information A (S750).
  • step S730 can be omitted.
  • the dizziness level is determined based on the head movement information B (S740).
  • FIG. 8 is a flowchart illustrating a method of determining the dizziness level of a user according to another embodiment of the present disclosure.
  • the gaze motion information is denoted by A
  • the head motion information is denoted by B
  • the audio signal corresponding to the sound output from the speaker is denoted by C.
  • gaze motion information A head motion information B
  • an audio signal C are obtained (S810).
  • the gaze motion information A, the head motion information B, and the audio signal C are all generated during the same period.
  • the sensor 120 corresponds to the frequency Freq (C) of the audio signal C corresponding to the sound output from the speaker and the head movement.
  • Correlation between the frequencies Freq (B) of the signal generated i.e., the value of the correlation coefficient (Correlation Codfficient (CC)) is calculated, and it is determined whether the calculated correlation coefficient value is smaller than 0.5, which is a preset value (S830).
  • correlation coefficient value is greater than or equal to a predetermined value (S830, N)
  • newly input gaze motion information (A), head motion information (B), and an audio signal (C) are obtained (S810). That is, this process is repeated until the association coefficient value is smaller than the preset value.
  • the dizziness level is determined based on the head movement information (B) (S840).
  • the method described with reference to FIG. 8 is used only when determining whether head movement is intentional and is not used to determine the dizziness level. That is, in the method described in FIG. 8, when it is determined that the head movement is an unintentional movement, the dizziness level is determined based on it.
  • step S830 can be omitted.
  • the dizziness level is determined based on the head movement information B (S840).
  • FIG. 9 is a flowchart illustrating a specific method of determining the dizziness level in the case of using the gaze information and the case of using the head movement information.
  • steps S911 to S914 and S930 may be detailed steps included in step S740 in FIG. 7 or step S840 in FIG. 8.
  • a signal generated by the sensor 120 that is, head movement information is selected as data for determining dizziness level (S911).
  • the signal is converted from the time domain to the frequency domain (S912).
  • the frequency value MAX (Head) freq having the largest magnitude is selected, and it is determined whether the MAX (Head) freq is greater than or equal to the preset frequency value th 1 (S913).
  • th 1 may be set to 1 Hz. If MAX (Head) freq is less than or equal to the preset frequency value th 1 (S913, N), it is determined that there is no dizziness (S930).
  • the dizziness level is determined based on the MAX (Head) freq (S914).
  • steps S921 to S924 and S930 may be detailed steps included in step S750 in FIG. 7.
  • the gaze movement information generated by the gaze tracking unit 130 is selected as data for determining the dizziness level (S921).
  • the eye movement amplitude SA is calculated based on the gaze movement information (S922). Then, it is determined whether the eye movement amplitude is greater than a preset value (S923). If the eye movement amplitude is less than the predetermined value (th 2 ) (S923, N), it is determined that there is no dizziness (S930).
  • the dizziness level is determined based on the eye movement amplitude.
  • Normalization may be further performed so that the unit of the dizziness level determined based on the eye movement amplitude and the unit of the dizziness level determined based on the frequency value according to the head movement are equal to each other.
  • dizziness reduction processing is performed based on the dizzy level (S940).
  • FIG. 10 is a view for explaining an example of dizziness reduction processing according to an embodiment of the present disclosure.
  • the processor 140 may control the display 110 to display the identification of some areas of the image displayed on the display 110 lower than the remaining areas according to the level of dizziness of the user.
  • the identification degree of the remaining regions except for the partial region 1010 of the image 1000 displayed on the display 110 may be reduced.
  • Lowering the degree of identification decreases the amount of information (or optical flow) that the user's eyes receive, and thus feels less dizzy.
  • Lowering the degree of identification may include blurring the image.
  • the amount of blurring is adjustable.
  • the processor 140 may reduce the degree of identification by applying a blur filter to an image. When using a blur filter, small optical flows can converge to zero.
  • FIG. 11 illustrates an example of an image that may be displayed on the display 110 when the dizziness level is greater than that of FIG. 10.
  • the processor 140 may control the display 110 to change the size of the region whose identification is lowered according to the change of the dizziness level of the user.
  • the processor 140 is generated by the sensor 120.
  • the display 110 may be controlled to display an image in which a viewpoint is shifted according to a signal, and to display an identification of some regions of the image in which the viewpoint is shifted lower than the remaining regions. That is, while the viewpoint of the image changes in response to the head movement, the operation of lowering the identification of some regions of the image may also be performed.
  • the region of which the identification is lowered in the image displayed on the display 110 may be an area other than the region where the user's gaze is detected in the displayed image. That is, for example, in FIG. 11, the region 1110 may correspond to the region that the user is looking at.
  • portions of the image other than the portion that the user is looking at are displayed with lowered identification, areas other than the portion that the user is looking at are less concerned, so that dizziness of the user may be alleviated. Can be.
  • the processor 140 divides the image displayed on the display 110 into a plurality of blocks, and based on the motion information of each of the plurality of blocks, the block having the smallest dizziness among the plurality of blocks. Can be selected.
  • the incidence of dizziness is low in the region where the size of a specific frequency band (0.3 to 2.5 Hz) of the motion vector is the smallest.
  • the processor 140 performs frequency conversion on each motion vector of each of the plurality of blocks, and selects a block having the smallest dizziness incidence among the plurality of blocks having the smallest size of the specific frequency band (0.3 to 2.5 Hz).
  • the specific frequency band may be selected from other bands.
  • the processor 140 may control the display 110 to lower and display the identification of the remaining areas except for the area corresponding to the selected block. That is, referring to FIG. 11, the area 1110 may be an area corresponding to a block having the smallest dizziness in the entire image 1100.
  • dizziness of the user since the user can concentrate on a portion having a low degree of motion in the image, dizziness of the user may be alleviated.
  • a UI element may be displayed to induce the user's gaze to the portion of the dizziness incidence. This embodiment will be described with reference to FIG. 12.
  • FIG. 12 illustrates an entire image 1200 corresponding to VR content that a user can see while moving his or her head through the head wearing display apparatus 100, and viewed through the display 110 in the entire image 1200.
  • Possible area 1210 is indicated by a box. That is, in a situation where an image corresponding to the area 1210 is displayed through the display 110, when a user wearing the head wearing display device 100 turns his head to the left, an image on the left of the area 1210 is displayed. The display unit 110 will display the image. When the head is turned to the right, the image of the right side of the region 1210 will be displayed on the display 110.
  • the UI element 1210 that guides the user's gaze may be displayed in a portion corresponding to the block having the smallest dizziness. As the user moves his / her eyes toward the UI element 1210, dizziness may be reduced.
  • an embodiment of inducing a user's gaze to an area in which dizziness is induced is minimal in a screen currently viewed by a user, but according to another embodiment, dizziness induction is minimized in an area outside the viewable area. It is also possible to find the phosphorus region and induce a user's attention there. This will be described with reference to FIG. 13.
  • the processor 140 corresponds to the VR content.
  • Some images (parts corresponding to the search area) which are not displayed through the display 110 among the entire images are divided into a plurality of blocks, and dizziness is generated among the plurality of blocks based on motion information of each of the plurality of blocks.
  • the display 110 may be controlled to select a block having a minimum degree and to display a UI element for guiding a user's gaze in a direction in which the selected block is located.
  • the search area 1310 may be set to an area within a preset distance outside the viewing area 1320.
  • the processor 140 may divide the search area into a plurality of blocks, and select a block 1311 having a minimum dizziness occurrence among them.
  • the UI element may be displayed in an image currently viewed by the user in order to direct the user's gaze to the place where the block having the least dizziness in the search area is located. This will be described with reference to FIG. 14.
  • the processor 140 may divide the search area 1410 into a plurality of blocks, and select a block 1411 having a minimum degree of dizziness among the plurality of blocks.
  • the processor 140 may control the display 110 to display a UI element 1421 for guiding a gaze in a direction in which the selected block 1411 is located in the viewing area 1420.
  • the UI element 1421 is illustrated in the form of an arrow, but is not limited thereto.
  • the senor 110 detects the user's movement accordingly, and the processor 140 displays the image corresponding to the movement. Can be controlled. Accordingly, the user who feels dizzy in the currently displayed image may feel less dizzy by moving his head in the direction indicated by the UI element 1421.
  • the size of the above-described UI element may be changed according to the dizziness level of the user. That is, the processor 140 may control the display 110 to change the size of the UI element for inducing the gaze according to the change of the dizziness level of the user. In this case, the size of the UI element may be changed in proportion to the dizziness level change.
  • the dizziness level is lower than that of FIG. 14, the size of the UI element 1521 of FIG. 15 is smaller than that of the UI element 1421 of FIG. 14.
  • 16 is a flowchart for describing a method of controlling a head worn display device according to an exemplary embodiment.
  • the head wearable display apparatus 100 displays an image (S1610).
  • the image may be an image corresponding to one point of time among the entire images corresponding to the VR content, and the viewpoint of the image may be changed in response to the head movement of the user wearing the head wearable display device 100.
  • the head wearable display apparatus 100 generates a signal corresponding to the movement of the head wearable display apparatus 100 (S1620).
  • various sensors embedded in the head wearable display device 100 may be used.
  • a gyro sensor can be used.
  • the head wearable display apparatus 100 tracks the position of the user's gaze on the displayed image during the movement of the display device corresponding to the generated signal.
  • the head wearable display apparatus 100 determines whether to use a signal corresponding to the movement to determine the level of dizziness of the user.
  • the head wearable display apparatus 100 may determine whether the head movement is intentional based on the gaze movement information. If the gaze movement is larger than the preset threshold, it is intentional movement, and if it is small, it is considered unintentional movement. If the head movement is intentional, it is not accurate to determine the dizziness level based on the signal generated by detecting the movement. Therefore, in this case, the signal generated by detecting the movement should not be used to determine the dizziness level. Do.
  • a case may be considered in which the user has an intentional movement such as listening to music and shaking his head excitedly.
  • the correlation between the two frequency values is calculated. For example, a correlation coefficient value between two frequency values is calculated. If the calculated value is larger than the predetermined correlation coefficient value, it is highly likely that the user shook his body to the music. In other words, the movement is intentional.
  • the threshold value for the gaze movement or the threshold for the correlation coefficient may be adjusted in consideration of the current posture or the eye blink.
  • the dizziness level is determined using the signal generated by the sensor.
  • gyro sensor when the gyro sensor is built in the head wearable display device 100, two kinds of data (Pitch, Roll) among three types of gyro sensor data (Yaw, Pitch, and Roll) may be used to determine the dizziness level.
  • the Pitch and Roll data values accumulated in time units are frequency converted. After selecting a frequency band of 1 Hz or more among the converted values, a frequency value having the largest amplitude in the selected frequency band is determined as a quantification value of dizziness, that is, dizziness level.
  • the intention determination process is repeated until it is determined that it is not intentional motion without using the signal generated by the sensor.
  • the dizziness level may be determined based on the gaze movement information or the signal sensed by the movement.
  • the head wearable display device 100 has an electroencephalogram sensor, so that the user's brain wave
  • the dizziness level can be determined by acquiring the signal data.
  • the head wearable display apparatus 100 frequency-converts EEG data values accumulated in units of time, selects a frequency band greater than or equal to a threshold Hz among the converted values, and then selects a frequency band having the largest magnitude among the selected frequency bands.
  • the dizziness level can be determined based on this.
  • a dizzyness can be determined using a sensor built in the head wearable display device, a separate device is not required, and thus, no separate power is required, and the user wears the head wearable. Since the dizziness level is determined in real time while the display apparatus is worn and the processing is performed accordingly, the dizziness of the user can be reduced without deterioration of reality.
  • the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device by using software, hardware, or a combination thereof.
  • the embodiments described in the present disclosure may include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). ), Processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • Processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions.
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • the method of controlling the head wearable display device according to various embodiments of the present disclosure described above may be stored in a non-transitory readable medium.
  • Such non-transitory readable media can be mounted and used in a variety of devices.
  • a non-transitory readable medium refers to a medium that stores data semi-permanently and is read by a device, not a medium that stores data for a short time such as a register, a cache, or a memory.
  • programs for performing the above-described various methods may be stored and provided in a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, or a ROM.

Abstract

머리 착용형 디스플레이 장치가 개시된다. 본 장치는 영상을 표시하는 디스플레이부, 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서, 신호에 대응하는 디스플레이 장치의 움직임 동안 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부 및 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 시선 이동 정보에 기초하여 결정하는 프로세서를 포함한다.

Description

머리 착용형 디스플레이 장치 및 그의 제어 방법
본 개시는 머리 착용형 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는, 어지러움을 줄일 수 있는 머리 착용형 디스플레이 장치 및 그의 제어 방법에 대한 것이다.
머리 착용형 디스플레이 장치(head mounted display)는 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 다양한 장치들 중 하나이다. 디스플레이의 크기가 크고 고 해상도를 지원하는 머리 착용형 디스플레이 장치를 착용한 사용자는 센서를 통한 헤드 트랙킹 및 양안에 제공되는 디스플레이를 통해 가상현실을 체험할 수 있었다.
머리 착용형 디스플레이 장치를 착용하고 영상 시청시, 영상의 특성에 따라서 사용자에게 어지러움을 유발시킨다. 그 이유는 영상 정보에 의해 움직임을 느끼는 시각계와 몸의 평형감각을 감지하여 수용하는 전정계가 불일치하기 때문이다. 이러한 시각-전정계 불일치는 어지러움증을 유발시키고, 자세 흔들림을 유발시킨다.
이에 따라, 머리 착용형 디스플레이 장치 사용시 어지러움을 줄일 수 있는 방법에 대한 요구가 있었다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 어지러움을 줄일 수 있는 머리 착용형 디스플레이 장치 및 그의 제어 방법을 제공하기 위한 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치는, 영상을 표시하는 디스플레이부, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서, 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용할 수 있다.
한편, 본 개시에 따른 머리 착용형 디스플레이 장치는, 사운드를 출력하는 스피커를 더 포함하며, 상기 프로세서는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정할 수 있다.
이 경우, 상기 프로세서는, 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.
한편, 상기 프로세서는, 상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어할 수 있다.
이 경우, 상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 상기 프로세서는, 상기 센서에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 프로세서는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 식별도가 낮춰진 영역은, 상기 표시된 영상 중 상기 사용자 시선이 검출된 영역 이외의 영역일 수 있다.
한편, 상기 프로세서는, 상기 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하며, 상기 식별도가 낮춰진 영역은, 상기 표시된 영상 중 상기 선택된 블럭에 대응하는 영역 이외의 영역일 수 있다.
한편, 상기 식별도가 낮춰진 영역은, 블러 필터(Blur Filter)가 적용된 영역일 수 있다.
한편, 상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 중 일부 영상인 경우, 상기 프로세서는, 상기 VR 컨텐츠에 대응하는 전체 영상 중 상기 디스플레이부를 통해 표시되지 않은 일부 영상을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고, 상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 상기 디스플레이부를 제어할 수 있다.
이 경우, 상기 프로세서는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 UI 요소의 크기를 변경하도록 상기 디스플레이부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법은, 영상을 표시하는 단계, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계 및 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계를 포함한다.
이 경우, 상기 결정하는 단계는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 것으로 결정할 수 있다.
한편, 상기 디스플레이 장치는 사운드를 출력하는 스피커를 포함하며, 상기 결정하는 단계는, 상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정할 수 있다.
이 경우, 상기 결정하는 단계는, 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정할 수 있다.
한편, 본 개시에 따른 머리 착용형 디스플레이 장치의 제어방법은, 상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하는 단계를 더 포함할 수 있다.
이 경우, 상기 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 상기 표시하는 단계는, 상기 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시할 수 있다.
한편, 상기 표시하는 단계는, 상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경할 수 있다.
한편, 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어방법은, 영상을 표시하는 단계, 상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계 및 상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 사용자의 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계 및 상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 구성을 설명하기 위한 도면,
도 3 내지 도 6은 특정 영상을 피험자에게 보여줬을 때 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 자이로 센서에서 생성된 신호를 나타낸 도면,
도 7 내지 도 9는 본 개시의 다양한 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도,
도 10 내지 도 11은 본 개시의 다양한 실시 예에 따라 어지러움 저감 처리가 된 영상을 도시한 도면,
도 12 내지 도 15는 어지러움 미유발 위치에 대한 정보 제공 방법의 다양한 실시 예를 설명하기 위한 도면, 그리고
도 16은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 설명하기 위한 도면이다.
본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치를 나타내는 개략적인 도면이다.
도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 내부에 사용자의 눈과 마주보는 곳에 디스플레이부(110)가 위치한다. 디스플레이부(110)는 머리 착용형 디스플레이 장치(100)의 외부에선 보이지 않고, 내부에서만 보이도록 배치되어 있을 수 있다.
도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 디스플레이부(110)에 표시되는 화면(111)의 예를 표시하였다. 디스플레이부(110)에 표시되는 화면(111)은 VR(Virtual Reality) 컨텐츠(또는 가상현실 컨텐츠)에 대응하는 전체 영상 중 일 시점에 대응하는 영상일 수 있다.
VR 컨텐츠란, 여러 시점(view point)을 가진 영상으로서, 예컨대, 하나의 카메라를 이동시켜 가며 촬영한 복수의 영상을 결합하여 생성된 영상이거나, 여러 대의 카메라로 같은 공간의 다른 시점에서 촬영한 복수의 영상을 결합하여 생성된 영상이거나, 화각이 넓은 한 대의 카메라로 촬영한 영상일 수 있다. 또한, 반드시 카메라로 촬영된 영상에 제한되는 것은 아니고, 예컨대 게임 영상과 같이 인위적으로 제작된 컨텐츠도 VR 컨텐츠에 해당될 수 있다. 한편, 영상은, 정지 영상과 동영상을 모두 포함할 수 있는 개념이다.
VR 컨텐츠 중엔, 360도의 뷰를 가지는 영상이 있다. 360도의 뷰를 가지는 영상이란, 시작단과 끝단이 동일한 영상을 의미하는 것으로서, 구형 영상, 전 방향 영상 등 다양한 이름으로 불릴 수 있다.
머리 착용형 디스플레이 장치(100)의 적어도 하나의 센서는 사용자 머리의 움직임을 검출할 수 있다. 따라서, 예컨대 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 머리의 방향을 바꾸면, VR 컨텐츠에 대응하는 전체 영상 중 머리 방향에 대응하는 시점의 영상이 디스플레이부(110)를 통해 표시될 수 있다. 또한, 예컨대 사용자가 머리 착용형 디스플레이 장치(100)를 착용하고 걸어가면, 사용자는 디스플레이부(110)에서 보이는 영상 내의 사물에 가까이 다가가는 것과 같은 체험을 할 수 있다.
한편, 본 개시의 머리 착용형 디스플레이 장치(100)는 도 1에 도시한 것처럼 머리에 고정시킬 수 있는 구조까지 포함하는 것일 수 있다. 또는, 본 개시의 머리 착용형 디스플레이 장치(100)는 머리에 고정시킬 수 있는 구조에 장착, 탈착될 수 있는 장치로 구현될 수도 있다. 이 경우, 예컨대 본 개시의 머리 착용형 디스플레이 장치(100)는 디스플레이 기능을 가지는 스마트폰과 같은 휴대용 기기일 수 있다. 또 한편, 본 개시의 머리 착용형 디스플레이 장치(100)는 디스플레이 구성은 포함하지 않고, 외부의 디스플레이 장치와 연결될 수 있는 형태로도 구현될 수 있다. 이 경우, 외부의 디스플레이 장치와 연결되기 위한 무선 또는 유선 통신부를 구비할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 구성을 설명하기 위한 도면이다.
도 2를 참고하면, 머리 착용형 디스플레이 장치(100)는 디스플레이부(110), 센서(120), 시선 추적부(130) 및 프로세서(140)를 포함한다.
디스플레이부(110)는 영상을 표시하기 위한 구성이다. 여기서 영상은 정지 영상과 동영상을 모두 포함하는 개념이다. 예컨대 디스플레이부(110)는 액정 디스플레이(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등으로 영상을 표시할 수 있다.
디스플레이부(110)는 VR 컨텐츠에 대응하는 전체 영상 내의 일 시점에 대응하는 영상을 표시할 수 있고, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 움직임에 따라 표시되는 영상의 시점이 변경될 수 있다.
센서(120)는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하는 신호를 생성하는 구성이다.
센서(120)는 머리 착용형 디스플레이 장치(100)의 기울기를 감지하여 그에 대응하는 신호를 생성하는 자이로 센서, 머리 착용형 디스플레이 장치(100)의 이동 상태를 감지하여 그에 대응하는 신호를 생성하는 가속도 센서, 머리 착용형 디스플레이 장치(100)에 대한 중력의 작용 방향을 감지하여 그에 대응하는 신호를 생성하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 감지하고 그에 대응하는 신호를 생성하는 고도계(Altimeter) 등과 같은 다양한 센서들 중 적어도 어느 하나를 포함할 수 있다.
시선 추적부(130)는 디스플레이부(110)에 표시된 영상의 어느 부분을 사용자가 바라보고 있는지, 영상 상에서 사용자의 시선의 위치가 어디로 이동하는지에 관한 정보인 시선 이동 정보를 생성할 수 있는 구성이다.
일 예로, 머리 착용형 디스플레이 장치(100)는 적외선을 발생하는 적외선 발광 장치와 피사체를 촬영하는 카메라를 포함할 수 있고, 시선 추적부(130)는 상기 적외선 발광 장치와, 상기 카메라를 제어할 수 있다. 시선 추적부(130)는 카메라 및 적외선 발광 장치와 같이 시선 검출에 필요한 장치를 포함하는 모듈일 수 있다.
상기 적외선 발광 장치가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈에 적외선이 조사될 수 있는 위치일 수 있고, 카메라가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈을 촬영할 수 있는 위치일 수 있다. 그리고 상기 적외선 발광 장치는 시선 추적부(130)의 제어에 따라 디스플레이부(110)에 표시된 영상을 바라보고 있는 사용자 눈에 적외선을 조사할 수 있고, 상기 카메라는 시선 추적부(130)의 제어에 따라, 상기 적외선이 조사된 눈을 촬영할 수 있는데, 이때 촬영된 영상에선 사용자의 각막에서 반사된 적외선이 나타난다. 시선 추적부(130)는 촬영된 영상에서 사용자의 각막에서 반사된 적외선의 위치에 기초하여 홍채와 동공을 구분하여 동공을 검출하고, 이로부터 영상 상에서 시선의 위치를 검출할 수 있으며, 연속된 영상 프레임들에서 각각 검출된 시선의 위치의 이동 경로를 추적하여 시선 이동 정보를 생성할 수 있다.
또 다른 실시 예에선 디스플레이 장치(100)는 피사체를 촬영하는 카메라를 포함할 수 있고, 시선 추적부(130)는 상기 카메라를 제어할 수 있다. 시선 추적부(130)는 카메라와 같이 시선 검출에 필요한 장치를 포함하는 모듈일 수 있다.
카메라가 배치된 위치는 머리 착용형 디스플레이 장치(100)에서 사용자의 눈을 촬영할 수 있는 위치일 수 있다. 시선 추적부(130)는 사용자의 눈을 촬영한 영상에서 객체의 특징을 찾는 기법(예컨대, Haar-like features)을 이용하여 눈의 위치를 검출하고, 가장자리 검출(edge detection) 기법을 이용하여 눈의 위치에서 홍채와 동공을 검출하고, 홍채와 동공의 상대적인 위치에 기반하여 디스플레이부(110)에 표시된 영상 상에서 사용자의 시선의 위치를 검출할 수 있다. 그리고 시선 추적부(130)는 촬영 영상의 연속된 프레임에서 각각 검출된 시선의 위치의 이동 경로를 추적하여 시선 이동 정보를 생성할 수 있다.
상술한 방법 이외에도 알려진 다양한 시선 추적 기술이 시선 추적부(130)에 적용될 수 있다.
특히, 시선 추적부(130)는 센서(120)에서 생성된 신호에 대응하는 머리 착용형 디스플레이 장치(100)의 움직임이 있는 동안 디스플레이부(110)에서 표시되는 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성할 수 있다. 따라서, 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 움직이는 동안 그 사용자의 시선의 위치는 어떻게 변화하였는지에 대한 정보가 얻어질 수 있다.
한편, 시선 추적부(130)와 프로세서(140)를 별개의 구성인 것처럼 도시 및 설명하였으나, 실시 예에 따라서는 시선 추적부(130)는 생략되고, 시선 추적부(130)의 기능은 프로세서(140)가 수행할 수도 있다.
프로세서(140)는 머리 착용형 디스플레이 장치(100)의 구성을 전반적으로 제어할 수 있다. 프로세서(140)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 이상에서는 프로세서(140)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 복수의 CPU(또는 DSP 등)을 포함할 수 있다.
프로세서(140)는 센서(120)에서 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 생성된 신호 및 시선 추적부(130)를 통해 생성된 시선 이동 정보 중 적어도 하나에 기초하여 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 어지러움 레벨(또는 정도)을 결정할 수 있다.
사용자는 어지러움을 느끼는 동안 자신도 모르게 몸이 흔들린다. 따라서 프로세서(140)는 센서(120)에서 생성된 신호에 기초하여 사용자의 어지러움 레벨을 결정할 수 있다.
일 실시 예에 따르면, 프로세서(140)는 센서(120)에 포함된 자이로 센서를 통해 획득된 Yaw 데이터, Pitch 데이터, Roll 데이터 중, Pitch 데이터와 Roll 데이터에 기초하여 어지러움 레벨을 결정할 수 있다. 구체적으로 프로세서(140)는 시간 도메인의 Pitch 데이터와 Roll 데이터를 주파수 도메인으로 변환하고, 변환된 값들 중에서 크기(amplitude)가 가장 큰 주파수 값을 선택한다. 프로세서(140)는 선택된 주파수 값이 기 설정된 주파수 값보다 크다면, 어지러움 증이 있는 것으로 판단한다. 1Hz 이상의 몸 흔들림은 어지럼증에 의한 것이라는 연구 결과에 기초하였을 때, 상기 기 설정된 주파수 값은 1Hz일 수 있다. 그리고 프로세서(140)는 어지러움 증이 있는 것으로 판단한 경우, 상기 선택된 주파수의 크기에 대응하는 어지러움 레벨을 결정할 수 있다.
도 3 내지 도 6은 특정 영상을 피험자에게 보여줬을 때 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치(100)의 센서에서 생성된 신호를 나타낸 것이다.
구체적으로, 도 3은 피험자가 앉아 있는 동안에 피험자에게 어지러움을 유발하는 영상을 보여줬을 때의 결과이고, 도 4는 피험자가 앉아 있는 동안에 피험자에게 어지러움을 유발하지 않는 영상을 보여줬을 때의 결과이고, 도 5는 피험자가 서있는 동안에 피험자에게 어지러움을 유발하는 영상을 보여줬을 때의 결과이고, 도 6은 피험자가 서있는 동안에 피험자에게 어지러움을 유발하지 않는 영상을 보여줬을 때의 결과이다.
도 3 내지 도 6을 참고하였을 때, 앉아 있는 경우나 서있는 경우나 모두 어지러움 유발 영상에선 자세의 흔들림 정도가 높고, 어지러움 미유발 영상에는 자세 흔들림 정도가 낮음을 알 수 있다. 이러한 데이터에 기초하여 프로세서(140)는 어지러움 레벨을 결정할 수 있다.
또 한편, 안구 운동 진폭(Saccade amplitude)은 주관적 어지러움과 관계가 있다. 시선의 이동 거리가 클수록, 어지러움 정도가 강하다. 따라서, 프로세서(140)는 시선 추적부(130)에서 생성된 시선 이동 정보에 기초하여 사용자의 어지러움 레벨을 결정할 수 있다.
이상에선 센서(120)에서 생성된 신호와 시선 이동 정보 각각을 이용하여 어지러움 레벨을 결정하는 것으로 설명하였으나, 이 둘의 조합으로 어지러움 레벨을 결정하는 것도 가능하다. 일 예로, 센서(120)에서 생성된 신호에 기초하여 결정된 어지러움 레벨과, 시선 이동 정보에 기초하여 결정된 어지러움 레벨의 평균이 최종 어지러움 레벨로 결정될 수 있다.
한편, 센서(120)에서 생성되는 신호는 어지러움에 의한 움직임에 대응되는 것일 수도 있지만, 사용자의 의도적인 움직임에 대응하는 것일 수도 있다. 따라서, 사용자의 의도적인 움직임에 대응하여 센서(120)에서 생성된 신호는 어지러움 레벨을 결정하는데 사용하지 않는 것이 바람직하다. 이를 위해, 본 개시의 일 실시 예에 따르면, 프로세서(140)는 센서(120)에서 생성된 신호를 어지러움 레벨을 결정하는데 사용할지 여부를 그 신호에 대응하는 움직임이 있는 동안 사용자의 시선의 위치를 추적하여 생성된 시선 이동 정보에 기초하여 결정할 수 있다.
머리의 움직임이 있는 동안 시선이 움직인 거리가 기 설정된 거리 이상이면 그 머리의 움직임은 의도적인 움직임이고, 기 설정된 거리 미만이면, 그 머리의 움직임은 의도적인 움직임이 아닌, 즉 어지러움에 의한 움직임이라고 판단될 수 있다. 실험 결과에 따르면, 가로 30도 및 세로 20도의 범위 내에서 시선이 머무르는 동안에 머리가 흔들린다면, 이것은 의도하지 않은 흔들림으로 볼 수 있다. 또 다른 실험 결과에 따르면, 시야(Field Of View: FOV)가 넓은 환경(예컨대, 360도 VR 컨텐츠를 머리 착용형 디스플레이 장치로 보고 있는 경우)에서는 시선 이동을 위해 머리도 같이 움직이게 되는 비율이 높다.
따라서, 프로세서(140)는 센서(120)에서 생성된 신호에 대응하는 움직임이 있는 동안 디스플레이부(110)에서 표시된 영상 상의 사용자의 시선의 위치를 추적한 결과로 생성된 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 센서(120)에서 생성된 신호를 미사용하고, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 센서(120)에서 생성된 신호를 사용자의 어지러움 레벨을 결정하는데 사용할 수 있다.
또 다른 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 움직임이 의도적인 것인지 여부는 다양한 외부 환경이 고려되어 결정될 수 있다. 예를 들어, 사용자가 신나는 음악을 듣고 있는 경우라면, 사용자는 그 음악의 리듬에 맞추어 몸을 흔들 수 있다. 즉, 이것은 의도적인 움직임이다.
머리 착용형 디스플레이 장치(100)는 사운드를 출력하는 스피커를 더 포함할 수 있고, 프로세서(140)는 센서(120)에서 생성된 신호에 대응하는 움직임이 있는 동안 스피커에서 출력된 사운드와, 상기 센서(120)에서 생성된 신호 간의 상관관계에 기초하여 상기 생성된 신호를 사용자의 어지러움 레벨을 결정하는데 사용할지 여부를 결정할 수 있다.
구체적으로, 프로세서(140)는 상기 생성된 신호에 대응하는 주파수와, 상기 출력된 사운드에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면, 사용자가 음악을 듣고 흥겨워서 몸을 흔들고 있는 경우라고 볼 수 있으므로, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.
또 다른 실시 예에 따르면, 프로세서(140)는 디스플레이부(110)에서 표시된 영상 상의 사용자의 시선의 위치를 추적한 결과로 생성된 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단된 경우에 스피커에서 출력된 사운드가 이용될 수 있다. 다시 말해, 시선 이동 정보에 기초하여, 시선이 움직임 거리가 기 설정된 거리 미만인 것으로 판단되면, 프로세서(140)는 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드까지 고려하여 결정할 수 있다.
이 경우, 프로세서(140)는 상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용할 수 있다.
한편, 상기의 실시 예는 스피커뿐만 아니라 머리 착용형 디스플레이 장치(100)에 이어폰 잭이 구비되어 있는 경우도 적용 가능하다. 또한, 상술한 예에선 머리 착용형 디스플레이 장치(100) 자체에 스피커 또는 이어폰 잭이 구비되는 것으로 설명되었으나, 머리 착용형 디스플레이 장치(100)는 마이크를 구비할 수 있고, 외부의 스피커를 통해 출력되어 사용자가 듣고 있는 사운드가 마이크를 통해 획득되면, 프로세서(140)는 획득된 사운드와 센서(120)에서 생성된 신호 간의 상관관계를 판단할 수도 있다.
또한, 사운드뿐만 아니라 다양한 외부 환경이 고려될 수 있다. 머리 착용형 디스플레이 장치(100)는, 사용자가 어지러워서 움직인 것이 아니라는 것을 판단할 수 있는 다양한 정보를 수신할 수 있다. 예컨대, 머리 착용형 디스플레이 장치(100)는 지진 감지계로부터 정보를 수신할 수 있다. 따라서, 이러한 외부 장치로부터 정보를 수신하기 위해 머리 착용형 디스플레이 장치(100)는 통신부를 구비할 수 있다.
통신부는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 기기에 접속되는 형태뿐만 아니라, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도이다.
설명의 편의를 위해, 시선 추적부(130)에서 생성된 시선 이동 정보, 즉 시선 움직임 정보는 A로 표시하였다. 시선 움직임은 처음 시선의 위치와 마지막 시선의 위치의 차이 값을 좌표 Ax, Ay 로 나타내었다. 그리고 센서(120)에서 발생된 신호, 즉 머리 움직임 정보는 B로 표시하였다. 상기 신호는 자이로 센서를 통해 생성된 것으로, Yaw, Pitch 및 Roll 각각에 대한 좌표 (By, Bp, Br)을 포함한다. 그리고 머리 착용형 디스플레이 장치(100)의 스피커에서 출력되는 사운드에 대응하는 오디오 신호는 C로 표시하였다.
도 7을 참고하면, 먼저, 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S710). 여기서 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)는 모두 같은 기간 동안에 발생한 것이다. 즉, 이들 정보는 사용자가 머리 착용형 디스플레이 장치(100)를 착용하고 움직이면서 사운드를 듣고 또한 시선을 옮기는 과정에서 발생한 정보들이다.
그리고 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만인지 여부를 판단한다(S720).
판단 결과 시선이 이동한 거리가 기 설정된 거리 이상이면(S720, N), 시선 이동 정보(A)에 기초하여 어지러움 레벨을 결정한다(S750). 반대로, 상기 판단결과 시선이 이동한 거리가 기 설정된 거리 미만이면(S720, Y), 스피커에서 출력되는 사운드에 대응하는 오디오 신호(C)의 주파수(Freq(C))와 머리 움직임에 대응하여 센서(120)에서 발생한 신호의 주파수(Freq(B)) 간의 연관도, 즉 연관 계수(Correlation Coefficient: CC) 값을 산출하고, 산출된 연관 계수 값이 기 설정된 값인 0.5보다 작은지 판단한다(S730).
상기 연관 계수 값이 기 설정된 값보다 작다면(S730, Y), 머리 움직임 정보(A)에 기초하여 어지러움 레벨을 결정한다(S740). 반대로, 상기 연관 계수 값이 기 설정된 값 이상이면(S730, N), 시선 이동 정보(A)에 기초하여 어지러움 레벨을 결정한다(S750).
한편, S730 단계는 생략 가능하다. 이 경우, 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만이면(S720, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S740).
도 8은 본 개시의 또 다른 실시 예에 따른 사용자의 어지러움 레벨을 결정하는 방법을 설명하기 위한 흐름도이다. 도 7에서와 마찬가지로 시선 움직임 정보는 A로 표시하고, 머리 움직임 정보는 B로 표시하고, 스피커에서 출력되는 사운드에 대응하는 오디오 신호는 C로 표시되었다.
도 8을 참고하면 먼저, 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 여기서 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)는 모두 같은 기간 동안에 발생한 것이다.
그리고 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만인지 여부를 판단한다(S820).
판단 결과 시선이 이동한 거리가 기 설정된 거리 이상이면(S820, N), 새롭게 입력되는 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 즉, 시선이 이동한 거리가 기 설정된 거리 미만이 될 때까지 이 과정이 반복된다.
마침내 시선이 이동한 거리가 기 설정된 거리 이상이 되었으면(S820, Y), 스피커에서 출력되는 사운드에 대응하는 오디오 신호(C)의 주파수(Freq(C))와 머리 움직임에 대응하여 센서(120)에서 발생한 신호의 주파수(Freq(B)) 간의 연관도, 즉 연관 계수(Correlation Codfficient: CC) 값을 산출하고, 산출된 연관 계수 값이 기 설정된 값인 0.5보다 작은지 판단한다(S830).
상기 연관 계수 값이 기 설정된 값 이상이면(S830, N), 새롭게 입력되는 시선 움직임 정보(A), 머리 움직임 정보(B) 및 오디오 신호(C)를 획득한다(S810). 즉, 상기 연관 계수 값이 기 설정된 값보다 작아질 때까지 이 과정이 반복된다.
마침내 상기 연관 계수 값이 기 설정된 값보다 작아지면(S830, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S840).
도 8에서 설명한 방법은, 도 7에서 설명한 방법과 달리 시선 움직임 정보는 머리 움직임이 의도적인지 여부를 판단할 때에만 사용되고 어지러움 레벨을 결정하는 데에는 사용되지 않는다. 즉, 도 8에서 설명한 방법은 머리 움직임이 비의도적인 움직임이라고 판단되었을 때 그에 기초하여 어지러움 레벨이 결정된다.
한편, S830 단계는 생략 가능하다. 이 경우, 시선이 이동한 거리(Ax, Ay)가 기 설정된 거리(thx, thy) 미만이면(S820, Y), 머리 움직임 정보(B)에 기초하여 어지러움 레벨을 결정한다(S840).
도 9는 시선 정보를 이용하는 경우와, 머리 움직임 정보를 이용하는 경우 각각에서 어지러움 레벨을 결정하는 구체적인 방법을 설명하기 위한 흐름도이다.
우선, 머리 움직임 정보를 이용하는 경우에 대해 설명하자면, S911 내지 S914 및 S930 단계는, 도 7에서 S740 단계 또는 도 8에서 S840 단계에 포함된 세부 단계들일 수 있다.
먼저, 어지러움 레벨 결정을 위한 데이터로 센서(120)에서 생성된 신호, 즉 머리 움직임 정보를 선택한다(S911). 그리고 그 신호를 시간 도메인에서 주파수 도메인으로 변환한다(S912). 주파수 값들 중, 크기가 가장 큰 주파수 값(MAX(Head)freq)을 선택하고, MAX(Head)freq이 기 설정된 주파수 값(th1) 이상인지 판단한다(S913). 어지러움에 의한 흔들림인 경우 1Hz 이상의 흔들림을 보이므로, th1은 1Hz로 설정될 수 있다. MAX(Head)freq이 기 설정된 주파수 값(th1) 이하이면(S913, N), 어지러움이 없는 것으로 판단한다(S930).
MAX(Head)freq이 기 설정된 주파수 값(th1)보다 크면(S913, Y), MAX(Head)freq을 기초로 어지러움 레벨을 결정한다(S914).
시선 움직임 정보를 이용하는 경우에 대해 설명하자면, S921 내지 S924 및 S930 단계는, 도 7에서 S750 단계에 포함된 세부 단계들일 수 있다.
먼저, 어지러움 레벨 결정을 위한 데이터로 시선 추적부(130)에서 생성된 시선 이동 정보를 선택한다(S921). 그리고 시선 이동 정보에 기초하여 안구 운동 진폭(Saccade amplitude: SA)을 계산한다(S922). 그리고 안구운동진폭이 기 설정된 값보다 큰지를 판단한다(S923). 안구운동진폭이 기 설정된 값(th2) 이하이면(S923, N), 어지러움이 없는 것으로 판단한다(S930).
안구운동진폭이 기 설정된 값(th2)보다 크면(S923, Y), 안구운동진폭을 기초로 어지러움 레벨을 결정한다.
안구운동진폭에 기초하여 결정한 어지러움 레벨의 단위와, 머리 움직임에 따른 주파수 값에 기초하여 결정한 어지러움 레벨의 단위가 서로 같아지도록 하기 위한 정규화(normalization)가 추가로 수행될 수 있다.
어지러움 레벨이 결정되면, 그에 기초하여 어지러움 저감 프로세싱을 수행한다(S940).
도 10은 본 개시의 일 실시 예에 따른 어지러움 저감 프로세싱의 일 예를 설명하기 위한 도면이다.
프로세서(140)는 사용자의 어지러움 레벨에 따라 디스플레이부(110)에 표시된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다.
예컨대, 도 10에 도시한 것처럼 디스플레이부(110)에 표시된 영상(1000) 중 일부 영역(1010)을 제외한 나머지 영역의 식별도를 낮추어 표시할 수 있다. 식별도를 낮추게 되면 사용자의 눈이 받아들이는 정보의 양(또는 옵티칼 플로우(Optical Flow))이 감소하게 되므로, 그만큼 어지러움을 덜 느끼게 된다. 식별도를 낮추는 것에는, 영상에 흐림 처리를 하는 것을 포함할 수 있다. 이 경우, 얼마나 흐리게 처리할 것인지는 조절 가능하다. 일 실시 예에 따르면, 프로세서(140)는 블러 필터(blur filter)를 영상에 적용하여 식별도를 낮출 수 있다. 블러 필터를 사용할 경우 작은 크기의 옵티칼 플로우는 0으로 수렴 가능하다.
한편, 어지러움 정도가 심할수록 식별도가 낮추어진 영역의 크기를 증가시킬 수 있다. 도 11은 도 10의 경우보다 어지러움 레벨이 큰 경우에 디스플레이부(110)에서 표시될 수 있는 영상의 일 예를 도시한 것이다.
도 11을 참고하면, 디스플레이부(110)에 표시된 영상(1100)에서 식별도가 낮추어진 영역(즉, 영역(1110)을 제외한 영역)의 크기가 도 10에 비해 늘어났음을 알 수 있다. 즉, 프로세서(140)는 사용자의 어지러움 레벨의 변화에 따라 식별도가 낮춰진 영역의 크기를 변경하도록 디스플레이부(110)를 제어할 수 있다.
한편, 디스플레이부(110)에 표시되는 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우, 프로세서(140)는, 센서(120)에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. 즉, 머리 움직임에 대응하여 영상의 시점이 변하면서 동시에 그 영상의 일부 영역의 식별도를 낮추는 작업도 수행될 수 있다.
본 개시의 일 실시 예에 따르면, 디스플레이부(110)에서 표시된 영상에서 식별도가 낮춰진 영역은, 상기 표시된 영상 중 사용자 시선이 검출된 영역 이외의 영역일 수 있다. 즉, 예컨대 도 11에서, 영역(1110)이 사용자가 바라보고 있는 영역에 해당할 수 있다.
상기 실시 예에 따르면, 영상에서 사용자가 바라보고 있는 부분 이외의 부분은 식별도가 낮춰져서 표시됨에 따라, 사용자가 바라보고 있는 부분 이외의 영역은 신경이 덜 쓰이게 되므로, 사용자의 어지러움 증상이 완화될 수 있다.
또 다른 실시 예에 따르면, 프로세서(140)는 디스플레이부(110)에 표시된 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택할 수 있다.
연구 결과에 따르면, 모션 벡터의 특정 주파수 대역(0.3 ~ 2.5Hz)의 크기가 최소인 영역이 어지러움의 유발도가 낮다고 볼 수 있다.
따라서, 프로세서(140)는 복수의 블럭 각각의 모션 벡터를 주파수 변환을 하고, 복수의 블럭 중 상기 특정 주파수 대역(0.3 ~ 2.5Hz)의 크기가 최소인 블럭을 어지러움 유발도가 최소인 블럭으로 선택할 수 있다. 다만, 0.3 ~ 2.5Hz은 일 예이고, 상기 특정 주파수 대역은 다른 대역에서 선택될 수도 있다.
그리고 프로세서(140)는 선택된 블럭에 대응하는 영역을 제외한 나머지 영역의 식별도를 낮추어 표시하도록 디스플레이부(110)를 제어할 수 있다. 즉, 도 11을 통해 설명하자면, 영역(1110)은 전체 영상(1100) 중에서 어지러움 유발도가 최소인 블럭에 대응하는 영역일 수 있다.
상기 실시 예에 따르면, 영상에서 모션 정도가 낮은 부분에 사용자가 집중할 수 있게 되므로, 사용자의 어지러움 증상이 완화될 수 있다.
상기 실시 예에선 어지러움 유발도가 최소인 부분을 제외한 부분의 식별도를 낮추는 것으로 설명하였지만, 또 다른 실시 예에선 어지러움 유발도가 최소인 부분으로 사용자 시선을 유도하도록 하는 UI 요소가 표시될 수 있다. 본 실시 예를 도 12를 통해 설명하도록 한다.
도 12는 머리 착용 디스플레이 장치(100)를 통해 사용자가 머리를 움직여가며 볼 수 있는 VR 컨텐츠에 대응하는 전체 영상(1200)을 도시한 것이고, 전체 영상(1200)에서 디스플레이부(110)를 통해 시청 가능한 영역(1210)을 박스로 표시한 것이다. 즉, 디스플레이부(110)를 통해 영역(1210)에 대응하는 영상이 표시되고 있는 상황에서 머리 착용 디스플레이 장치(100)를 착용한 사용자가 머리를 왼쪽으로 돌리면 영역(1210)의 왼쪽의 영상이 디스플레이부(110)에서 표시될 것이고, 머리를 오른쪽으로 돌리면 영역(1210)의 오른쪽의 영상이 디스플레이부(110)에서 표시될 것이다.
사용자가 보고 있는 영역(1210)에선, 어지러움 유발도가 최소인 블럭에 대응하는 부분에 사용자의 시선을 유도하는 UI 요소(1210)가 표시될 수 있다. UI 요소(1210)쪽으로 사용자가 시선을 옮기면 어지럼움 정도가 감소될 수 있다.
한편, 도 12에선 현재 사용자가 보고 있는 화면 내에서 어지러움 유발도가 최소인 영역으로 사용자 시선을 유도시키는 실시 예를 설명하였으나, 또 다른 실시 예에 따르면, 시청 가능한 영역 밖의 영역에서 어지러움 유발도가 최소인 영역을 찾아, 그곳으로 사용자 시선을 유도시킬 수도 있다. 이에 대해선 도 13을 참고하여 설명하도록 한다.
도 13을 참고하면, 디스플레이부(110)를 통해 표시된 영상이 VR 컨텐츠에 대응하는 전체 영상(1300) 중 일부 영상(시청 영역에 해당하는 부분)인 경우, 프로세서(140)는 상기 VR 컨텐츠에 대응하는 전체 영상 중 디스플레이부(110)를 통해 표시되지 않은 일부 영상(탐색 영역에 해당하는 부분)을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고, 상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 디스플레이부(110)를 제어할 수 있다.
도 13에 도시한 것처럼, 탐색 영역(1310)은 시청 영역(1320) 밖으로 기 설정된 거리 이내에 있는 영역으로 설정될 수 있다. 그리고 프로세서(140)는 이 탐색 영역을 복수의 블럭으로 구분하고, 그 중에서 어지러움 유발도가 최소인 블럭(1311)을 선택할 수 있다.
탐색 영역 내에서 어지러움 유발도가 최소인 블럭이 있는 곳으로 사용자 시선을 유도하기 위해, 현재 사용자가 보고 있는 영상에서 UI 요소가 표시될 수 있다. 이에 대해선 도 14를 통해 설명하도록 한다.
도 14를 참고하면, 프로세서(140)는 탐색 영역(1410)을 복수의 블럭으로 구분하고, 복수의 블럭 중에서 어지러움 유발도가 최소인 블럭(1411)을 선택할 수 있다. 그리고 프로세서(140)는 시청 영역(1420)에서 상기 선택된 블럭(1411)이 위치한 방향으로 시선을 유도하는 UI 요소(1421)를 표시하도록 디스플레이부(110)를 제어할 수 있다. 도 14에선 UI 요소(1421)를 화살표 형태로 도시하였으나 이러한 형태에 한정되는 것은 아니다.
표시된 UI 요소(1421)에 근거하여 사용자가 머리를 오른쪽 및 위쪽으로 움직이면, 그에 따라 센서(110)에서 사용자 움직임을 감지하고, 프로세서(140)는 움직임에 대응하는 영상을 표시하도록 디스플레이부(110)를 제어할 수 있다. 따라서, 현재 보여지는 영상에서 어지러움을 느낀 사용자는, UI 요소(1421)가 가르키는 방향으로 머리를 움직임으로써 어지러움을 덜 느끼게 될 수 있다.
한편, 상술한 UI 요소의 크기는 사용자의 어지러움 레벨에 따라 변화될 수 있다. 즉, 프로세서(140)는 사용자의 어지러움 레벨의 변화에 따라 시선을 유도하기 위한 UI 요소의 크기를 변경하도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 어지러움 레벨 변화에 비례하여 UI 요소의 크기가 변경될 수 있다.
도 15를 참고하여 설명하자면, 전체 영상(1500) 내의 탐색 영역(1510)에서 어지러움 유발도가 최소인 블럭(1511)이 위치한 방향으로 시선을 유도하는 UI 요소(1521)가 시청 영역(1520)에 표시될 수 있는데, 도 14의 경우보다 도 15의 경우가 어지러움 레벨이 더 낮은 경우이므로, 도 15의 UI 요소(1521)의 크기는 도 14의 UI 요소(1421)의 크기보다 작다.
도 16은 본 개시의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다.
도 16을 참고하면 먼저, 머리 착용형 디스플레이 장치(100)는 영상을 표시한다(S1610).
여기서 영상은 VR 컨텐츠에 대응하는 전체 영상 중 일 시점에 대응하는 영상일 수 있고, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 머리 움직임에 대응하여 영상의 시점이 변경될 수 있다.
그리고 머리 착용형 디스플레이 장치(100)는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하는 신호를 생성한다(S1620). 이 경우 머리 착용형 디스플레이 장치(100)에 내장되어 있는 다양한 센서가 이용될 수 있다. 예컨대 자이로 센서가 이용될 수 있다.
그리고 머리 착용형 디스플레이 장치(100)는 상기 생성된 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 표시된 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성한다(S1630).
그리고 머리 착용형 디스플레이 장치(100)는 상기 움직임에 대응하는 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정한다(S1640).
구체적으로, 머리 착용형 디스플레이 장치(100)는 시선 이동 정보에 기초하여 머리 움직임에 의도성이 있는지 여부를 판단할 수 있다. 시선 움직임이 기 설정된 임계값보다 크면 의도적 움직임이고, 작으면 비의도적 움직임이라고 볼 수 있다. 머리 움직임에 의도성이 있는 경우, 움직임을 감지하여 생성된 신호에 기초하여 어지러움 레벨을 결정하게 되면 정확도가 떨어지게 되므로, 이 경우엔 움직임을 감지하여 생성된 신호는 어지러움 레벨 결정에 사용되지 않는 것이 바람직하다.
또 다른 예로, 사용자가 음악을 듣고 신이 나서 머리를 흔드는 것과 같은 의도적인 움직임이 있는 경우도 고려될 수 있다. 이 경우, 사용자에게 제공되는 사운드에 대응하는 오디오 데이터와, 센서에서 측정된 데이터를 주파수 변환한 후, 두 주파수 값들의 연관성을 계산한다. 예컨대, 두 주파수 값들 간의 연관성 계수(Correlation Coefficient) 값을 계산한다. 상기 계산된 값이 기 설정된 연관성 계수 값 보다 크면, 사용자가 음악에 맞추어 몸을 흔들었을 가능성이 높다. 즉, 움직임이 의도적인 것이라고 볼 수 있다.
상기와 같은 방식에 따라 움직임의 의도성 여부를 판단할 수 있다. 상술한 의도성 판별 기준은 현재 자세나 눈의 깜빡임에 따라서 조금씩 달라질 수 있으므로, 현재 자세나 눈의 깜빡임 정도를 고려하여 시선 움직임에 대한 임계값 또는 연관성 계수에 대한 임계값 등을 조정할 수 있다.
비의도적인 움직임인 경우엔 상기 센서에서 생성된 신호를 이용하여 어지러움 레벨을 결정한다.
구체적으로, 머리 착용형 디스플레이 장치(100)에 자이로 센서가 내장된 경우, 자이로센서 데이터 3종류(Yaw, Pitch, Roll) 중 2종류(Pitch, Roll) 데이터가 어지러움 레벨을 결정하는 데 사용될 수 있다. 그리고 시간단위로 누적된 Pitch와 Roll 데이터 값들을 주파수 변환한다. 변환된 값들 중에서 1Hz 이상 주파수 대역을 선택한 후, 선택된 주파수 대역에서 크기(amplitude)가 가장 큰 주파수 값을 어지러움을 정량화한 값, 즉 어지러움 레벨로 결정한다.
의도적인 움직임인 경우엔 상기 센서에서 생성된 신호를 이용하지 않고, 의도적인 움직임이 아니라고 판단될 때까지 상기의 의도성 판단 과정을 반복한다. 또는, 의도적인 움직임인 경우에 시선 이동 정보에 기초하여 어지러움 레벨을 결정할 수 있다. 이 경우, 안구 운동 진폭(Saccade amplitude) 값(= 안구 움직임 동안 안구가 이동한 각거리(angular distance))을 계산하여 어지러움 레벨을 결정할 수 있다. 상기 결정된 어지러움 레벨이 기 설정된 레벨 이상인 경우에, 어지러움을 줄이기 위한 추가의 프로세스가 수행될 수 있다.
한편, 상술한 내용에선 시선 이동 정보 또는 움직임을 센싱한 신호에 기초하여 어지러움 레벨이 결정될 수 있는 것으로 설명하였으나, 이 밖에도, 머리 착용형 디스플레이 장치(100)엔 뇌파 센서가 내장되어 있어, 사용자의 뇌파 신호 데이터를 획득하여 어지러움 레벨을 결정할 수 있다. 구체적으로, 머리 착용형 디스플레이 장치(100)는 시간단위로 누적된 뇌파 데이터 값들을 주파수 변환하고, 변환된 값들 중에서 임계 Hz 이상의 주파수 대역을 선택한 후, 선택된 주파수 대역들 중 크기가 가장 큰 주파수 값에 기초하여 어지러움 레벨을 결정할 수 있다.
상술한 다양한 실시 예에 따르면, 머리 착용형 디스플레이 장치에 내장되어 있는 센서를 사용하여 어지러움 정도를 결정할 수 있기 때문에 별도의 장치가 요구되지 않으며, 따라서 별도의 전력도 요구되지 않고, 사용자가 머리 착용형 디스플레이 장치를 착용하고 있는 동안에 실시간으로 상기와 같은 어지러움 레벨이 결정되어 이에 따른 처리가 수행되므로, 현실감 저하 없이 사용자의 어지러움을 줄여줄 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 머리 착용형 디스플레이 장치의 제어방법은 비 일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 머리 착용형 디스플레이 장치에 있어서,
    영상을 표시하는 디스플레이부;
    상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 센서;
    상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 시선 추적부; 및
    상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 프로세서;를 포함하는 머리 착용형 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 머리 착용형 디스플레이 장치.
  3. 제1항에 있어서,
    사운드를 출력하는 스피커;를 더 포함하며,
    상기 프로세서는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정하는 머리 착용형 디스플레이 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 출력된 사운드에 대응하는 주파수와 상기 신호에 대응하는 주파수 간의 연관성 수치가 기 설정된 값 이상이면 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 머리 착용형 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 어지러움 레벨에 따라 상기 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  6. 제5항에 있어서
    상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 내의 일 시점(view point)에 대응하는 영상인 경우,
    상기 프로세서는,
    상기 센서에서 생성된 신호에 따라 시점이 이동된 영상을 표시하고, 상기 시점이 이동된 영상 중 일부 영역의 식별도를 나머지 영역보다 낮추어 표시하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 사용자의 어지러움 레벨의 변화에 따라 상기 식별도가 낮춰진 영역의 크기를 변경하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  8. 제5항에 있어서,
    상기 식별도가 낮춰진 영역은,
    상기 표시된 영상 중 상기 사용자 시선이 검출된 영역 이외의 영역인, 머리 착용형 디스플레이 장치.
  9. 제5항에 있어서,
    상기 프로세서는,
    상기 영상을 복수의 블럭으로 구분하고, 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하며,
    상기 식별도가 낮춰진 영역은,
    상기 표시된 영상 중 상기 선택된 블럭에 대응하는 영역 이외의 영역인, 머리 착용형 디스플레이 장치.
  10. 제5항에 있어서,
    상기 식별도가 낮춰진 영역은,
    블러 필터(Blur Filter)가 적용된 영역인 머리 착용형 디스플레이 장치.
  11. 제1항에 있어서,
    상기 디스플레이부를 통해 표시된 영상이 VR(Virtual Reality) 컨텐츠에 대응하는 전체 영상 중 일부 영상인 경우,
    상기 프로세서는,
    상기 VR 컨텐츠에 대응하는 전체 영상 중 상기 디스플레이부를 통해 표시되지 않은 일부 영상을 복수의 블럭으로 구분하고, 상기 복수의 블럭 각각의 모션 정보에 기초하여 상기 복수의 블럭 중 어지러움 유발도가 최소인 블럭을 선택하고,
    상기 선택된 블럭이 위치한 방향으로 사용자 시선을 유도하는 UI 요소를 표시하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 사용자의 어지러움 레벨의 변화에 따라 상기 UI 요소의 크기를 변경하도록 상기 디스플레이부를 제어하는 머리 착용형 디스플레이 장치.
  13. 머리 착용형 디스플레이 장치의 제어방법에 있어서,
    영상을 표시하는 단계;
    상기 디스플레이 장치의 움직임에 대응하는 신호를 생성하는 단계; 및
    상기 신호에 대응하는 상기 디스플레이 장치의 움직임 동안 상기 영상 상의 사용자 시선의 위치를 추적하여 시선 이동 정보를 생성하는 단계; 및
    상기 신호를 사용자의 어지러움 레벨을 결정하는데 이용할지 여부를 상기 시선 이동 정보에 기초하여 결정하는 단계;를 포함하는 머리 착용형 디스플레이 장치의 제어방법.
  14. 제13항에 있어서,
    상기 결정하는 단계는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 이상인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 미사용하는 것으로 결정하고, 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 사용자의 어지러움 레벨을 결정하는데 상기 신호를 사용하는 것으로 결정하는 머리 착용형 디스플레이 장치의 제어방법.
  15. 제13항에 있어서,
    상기 디스플레이 장치는 사운드를 출력하는 스피커를 포함하며,
    상기 결정하는 단계는,
    상기 시선 이동 정보에 기초하여 시선이 움직인 거리가 기 설정된 거리 미만인 것으로 판단되면, 상기 신호를 어지러움 레벨을 결정하는데 이용할지 여부를 상기 신호에 대응하는 디스플레이 장치의 움직임 동안 상기 스피커를 통해 출력되는 사운드에 기초하여 결정하는 머리 착용형 디스플레이 장치의 제어방법.
PCT/KR2017/011924 2016-10-26 2017-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법 WO2018080202A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0140235 2016-10-26
KR1020160140235A KR20180045644A (ko) 2016-10-26 2016-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
WO2018080202A1 true WO2018080202A1 (ko) 2018-05-03

Family

ID=62023747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011924 WO2018080202A1 (ko) 2016-10-26 2017-10-26 머리 착용형 디스플레이 장치 및 그의 제어 방법

Country Status (2)

Country Link
KR (1) KR20180045644A (ko)
WO (1) WO2018080202A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656404A (zh) * 2020-12-30 2021-04-16 浙江凡聚科技有限公司 一种基于图像处理的虚拟现实眩晕程度测量系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619429B1 (ko) * 2021-06-23 2024-01-02 주식회사 피앤씨솔루션 시선 추적을 통해 동공 간 거리를 자동 조절하는 머리 착용형 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127472A (ko) * 2010-12-17 2013-11-22 마이크로소프트 코포레이션 증강 현실 디스플레이용 최적화 초점 영역
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150005587A1 (en) * 2013-06-27 2015-01-01 Yinhong Qu Goggles for emergency diagnosis of balance disorders
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
KR20150122952A (ko) * 2014-04-24 2015-11-03 한국과학기술연구원 시선 추적 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130127472A (ko) * 2010-12-17 2013-11-22 마이크로소프트 코포레이션 증강 현실 디스플레이용 최적화 초점 영역
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150005587A1 (en) * 2013-06-27 2015-01-01 Yinhong Qu Goggles for emergency diagnosis of balance disorders
KR20150122952A (ko) * 2014-04-24 2015-11-03 한국과학기술연구원 시선 추적 장치 및 방법
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656404A (zh) * 2020-12-30 2021-04-16 浙江凡聚科技有限公司 一种基于图像处理的虚拟现实眩晕程度测量系统及方法
CN112656404B (zh) * 2020-12-30 2023-05-02 浙江凡聚科技有限公司 一种基于图像处理的虚拟现实眩晕程度测量系统及方法

Also Published As

Publication number Publication date
KR20180045644A (ko) 2018-05-04

Similar Documents

Publication Publication Date Title
EP3029550B1 (en) Virtual reality system
WO2019216491A1 (en) A method of analyzing objects in images recorded by a camera of a head mounted device
WO2017126797A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2017030266A1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2015183033A1 (en) Data processing method and electronic device thereof
WO2015046686A1 (en) Wearable display device and method for controlling layer in the same
WO2015046687A1 (en) Wearable computing device and user interface method
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2015037912A1 (ko) 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
EP3785103A1 (en) Electronic device and control method thereof
WO2018008991A1 (ko) 영상 처리를 위한 디스플레이 장치 및 방법
EP3683774A1 (en) Information processing device, information processing method, and program
KR20160001178A (ko) 글래스 타입 단말기 및 이의 제어방법
US10630892B2 (en) Display control apparatus to perform predetermined process on captured image
WO2019168275A1 (en) A high-speed staggered binocular eye tracking systems
KR101467529B1 (ko) 착용형 정보 제공 시스템
WO2018080202A1 (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
EP4273672A2 (en) Head mounted display and information processing method
JP7078568B2 (ja) 表示装置、表示制御方法、及び表示システム
WO2019074228A2 (ko) 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
WO2018093075A1 (ko) 전자 장치 및 그의 제어 방법
WO2022075686A1 (ko) 전자 장치 및 그 동작 방법
JP2011186007A (ja) 表示制御装置及び情報表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17864909

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17864909

Country of ref document: EP

Kind code of ref document: A1