KR101564964B1 - Electrical stimulating head mounted display device reducing motion sickness in virtual reality - Google Patents

Electrical stimulating head mounted display device reducing motion sickness in virtual reality Download PDF

Info

Publication number
KR101564964B1
KR101564964B1 KR1020150017781A KR20150017781A KR101564964B1 KR 101564964 B1 KR101564964 B1 KR 101564964B1 KR 1020150017781 A KR1020150017781 A KR 1020150017781A KR 20150017781 A KR20150017781 A KR 20150017781A KR 101564964 B1 KR101564964 B1 KR 101564964B1
Authority
KR
South Korea
Prior art keywords
motion
user
display device
head
mounted display
Prior art date
Application number
KR1020150017781A
Other languages
Korean (ko)
Inventor
구정훈
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020150017781A priority Critical patent/KR101564964B1/en
Application granted granted Critical
Publication of KR101564964B1 publication Critical patent/KR101564964B1/en
Priority to PCT/KR2016/001199 priority patent/WO2016126110A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention relates to an electrically stimulating head-mounted display device for reducing motion sickness in virtual reality, which more specifically comprises: a head-mounted display device (100) worn on the face to entirely block the view of a user to display images to the user at a predetermined first frame rate; a motion sensing sensor (200) electrically connected to the head-mounted display device (100) to sense the motion of the user face and transmit the sensed face motion information to the head-mounted display device (100); and an electrical stimulation device (300) electrically connected to the head-mounted display device (100) to provide electrical stimulation to a contact area adjacent to the ears of the user based on the sensed face motion information. According to the electrically stimulating head-mounted display device for reducing motion sickness in virtual reality provided by the present invention, when the head-mounted display device displays the images at a predetermined frame rate, the motion sensing sensor connected thereto senses the face motion of the user. If there is great difference between motion changes in the face and motion changes in the images, electrical stimulation is provided to a contact area adjacent to the ears of the user, thereby reducing virtual motion sickness of the user wearing the head-mounted display device.

Description

가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치{ELECTRICAL STIMULATING HEAD MOUNTED DISPLAY DEVICE REDUCING MOTION SICKNESS IN VIRTUAL REALITY}TECHNICAL FIELD [0001] The present invention relates to an electric stimulation head mount display device for reducing virtual reality motion,

본 발명은 헤드 마운트 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치에 관한 것이다.The present invention relates to a head mounted display device, and more particularly, to an electric stimulated head mounted display device that reduces virtual reality motion.

사용자 인터페이스(User Interface) 기술의 발전에 따라, 사용자에게 다양한 시청각 자극을 제공하기 위한 입출력 장치들도 개발되고 있다. 예를 들어, 종래에 단순히 키보드, 마우스, 조이스틱 등으로만 입력 신호를 제공하던 입력 장치들은, 중력 변화, 가속도 변화 등을 이용하여 다양한 방식으로 입력 신호를 제공하도록 개발되고 있다.
With the development of user interface technology, input / output devices for providing various audiovisual stimuli to users have been developed. For example, input devices that have conventionally provided input signals only with a keyboard, a mouse, a joystick, and the like have been developed to provide input signals in various ways using gravity change, acceleration change, or the like.

또한, 출력 장치의 경우, 사용자에게 대화면을 제공하거나, 초 고화질의 영상을 제공하는 것을 넘어, 입체감 있는 영상을 제공하고, 보다 실재감 있는 시청각 자극을 제공하도록 개발되고 있다. 예를 들어, 오큘러스 리프트, 갤럭시 VR, 모피어스 등과 같이, 머리에 착용하여 가상현실(virtual reality)을 체험하게 하는 출력 장치들이 개발되고 있다.
In addition, in the case of an output device, it has been developed to provide a stereoscopic image and to provide a more realistic audiovisual stimulation, in addition to providing a large screen to a user or providing an ultra-high-quality image. For example, output devices that allow users to experience virtual reality by wearing their heads, such as Oculus Lift, Galaxy VR, Morpheus, etc., are being developed.

이러한 가상현실 출력 장치들은, 일반적인 시청각 출력 장치와 다르게, 사용자의 시야를 전체적으로 가린 상태에서 출력 화면에 나타나는 영상에 의해서만 사용자의 시각적 인지가 가능하도록 구성되기 때문에, 사용자가 신체적으로 느끼는 움직임과, 출력 화면에 나타나는 영상의 움직임에 차이가 발생할 경우, 멀미를 느낄 수 있다. 이러한 멀미 증상은 사이버 멀미(cyber sickness)(또는, 가상 멀미)로 불리기도 하는데, 가상 멀미가 누적되는 경우, 출력 장치 자체에 대한 사용 편의성이 현저히 감소될 수 있는 문제점이 있다.
Since these virtual reality output devices are configured to enable the user's visual perception only by the images displayed on the output screen in a state in which the user's view is totally obscured, unlike the general audiovisual output device, the motion felt by the user physically, If there is a difference in the motion of the image shown in FIG. Such nausea may be referred to as cyber sickness (or virtual nausea). However, when the virtual nausea accumulates, the ease of use of the output device itself may be significantly reduced.

이와 관련하여, 대한민국 공개특허공보 제10-2014-0010715호(2014.01.27.), 대한민국 공개특허공보 제10-2012-0129134호(2012.11.28.) 등에서는, 헤드 마운트 디스플레이 장치를 이용하여 콘텐츠를 표시하기 위한 기술들을 개시하고 있으나, 사용자에게 야기될 수 있는 가상 멀미 증상을 감소시키기 위한 구성을 개시하지 못하는 한계가 있다.In this connection, in Korean Patent Laid-Open Publication No. 10-2014-0010715 (Apr. 21, 2014), Korean Patent Laid-Open Publication No. 10-2012-0129134 (November 28, 2012) There is a limitation in not disclosing a configuration for reducing the virtual nausea symptom that may be caused to the user.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 헤드 마운트 디스플레이 장치가 소정의 프레임 속도에 따라 영상을 표시할 때, 이에 연결된 모션 감지 센서가 사용자의 안면의 움직임을 감지하고, 안면의 움직임 변화와 영상의 움직임 변화 간의 차이가 큰 경우, 사용자의 귀에 인접한 접촉 부위에 전기 자극이 제공됨으로써, 헤드 마운트 디스플레이 장치를 이용한 사용자의 가상 멀미 증상을 감소시킬 수 있는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치를 제공하는 것을 그 목적으로 한다.The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. When the head-mounted display device displays an image at a predetermined frame rate, a motion sensing sensor connected to the head- Which is capable of reducing the user's virtual nausea using the head-mounted display device by providing electric stimulation to the contact area adjacent to the ear of the user when the difference between the motion change of the face and the motion change of the image is large, It is an object of the present invention to provide an electric stimulation head mount display device that reduces motion sickness.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치는,According to an aspect of the present invention, there is provided an electric stimulation head mount display device for reducing virtual reality motion,

사용자의 시야를 전체적으로 커버하도록 안면에 착용되어, 상기 사용자에게 미리 설정된 제1 프레임 속도에 따라 영상을 표시하도록 구성되는 헤드 마운트 디스플레이 장치;A head mount display device configured to display an image in accordance with a first frame rate preset to the user, the head mounted display device being worn on the face so as to cover the entire view of the user;

상기 헤드 마운트 디스플레이 장치에 전기적으로 연결되고, 상기 사용자의 안면의 움직임을 감지하여, 상기 감지된 안면의 움직임 정보를 상기 헤드 마운트 디스플레이 장치에 제공하도록 구성되는 모션 감지 센서; 및A motion sensing sensor electrically connected to the head mounted display device and configured to sense movement of the user's face and provide motion information of the sensed face to the head mounted display device; And

상기 헤드 마운트 디스플레이 장치에 전기적으로 연결되고, 상기 감지된 안면의 움직임 정보에 기초하여 상기 사용자의 귀에 인접한 접촉 부위에 대해 전기 자극을 제공하도록 구성되는 전기 자극 장치를 포함하는 것을 그 구성상의 특징으로 한다.
And an electric stimulation device electrically connected to the head-mounted display device and configured to provide an electric stimulus to a contact area adjacent to the user's ear based on the detected motion information of the face .

바람직하게는, 상기 헤드 마운트 디스플레이 장치는,Preferably, the head-mounted display device includes:

상기 제1 프레임 속도에 따라 상기 영상을 표시하는 표시부;A display unit displaying the image according to the first frame rate;

상기 사용자에게 상기 영상에 따른 사운드를 출력하는 스피커; 및A speaker for outputting sound corresponding to the image to the user; And

상기 표시부에 대하여 상기 영상을 표시하기 위한 영상 데이터를 제공하고, 상기 스피커에 대하여 상기 사운드를 출력하기 위한 사운드 데이터를 제공하는 제어부를 포함하여 구성될 수 있다.
And a controller for providing image data for displaying the image to the display unit and providing sound data for outputting the sound to the speaker.

더욱 바람직하게는, 상기 표시부는,More preferably, the display unit displays,

액정표시장치 및 유기발광표시장치 중 어느 하나를 포함하여 구성될 수 있다.
A liquid crystal display device, and an organic light emitting display device.

더욱 바람직하게는, 상기 영상은,More preferably,

상기 사용자의 시점에서 바라보는 원근감을 가진 3차원 영상을 포함하여 구성될 수 있다.
And a three-dimensional image having a perspective that is viewed from the user's viewpoint.

더욱 바람직하게는,More preferably,

상기 모션 감지 센서 및 상기 전기 자극 장치는, 상기 제어부에 대하여 전선을 통해 연결되도록 구성될 수 있다.
The motion detection sensor and the electric stimulation device may be connected to the control unit through an electric wire.

바람직하게는,Preferably,

상기 모션 감지 센서 및 상기 전기 자극 장치는, 상기 헤드 마운트 디스플레이 장치에 대해 일체로 형성되도록 구성될 수 있다.
The motion sensing sensor and the electric stimulation device may be configured to be integrally formed with respect to the head-mounted display device.

바람직하게는,Preferably,

상기 모션 감지 센서는 상기 사용자의 머리 위에서 상기 헤드 마운트 디스플레이 장치보다 높게 배치되도록 구성될 수 있다.
The motion sensing sensor may be arranged above the head of the user above the head-mounted display device.

바람직하게는, 상기 모션 감지 센서는,Preferably, the motion detection sensor includes:

상기 사용자의 전면에서 미리 설정된 시야각 내에 들어오는 사물의 상대적인 변화를 감지하여, 상기 사용자의 안면의 움직임을 산출하도록 구성될 수 있다.
And may be configured to detect a relative change of an object entering a predetermined viewing angle on the front surface of the user to calculate a motion of the user's face.

더욱 바람직하게는, 상기 모션 감지 센서는,More preferably, the motion detection sensor comprises:

미리 설정된 제2 프레임 속도에 따라 상기 사물의 상대적인 변화를 감지하고,Detecting a relative change of the object according to a preset second frame rate,

상기 사물의 상대적인 변화는,The relative change of the object,

상기 사물의 상기 시야각 내에서의 좌향 이동, 우향 이동, 상향 이동, 하향 이동 및 대각 방향 이동을 포함하는 군에서 선택되는 적어도 한 방향으로의 이동인 것으로 구성될 수 있다.
And moving in at least one direction selected from the group including leftward movement, rightward movement, upward movement, downward movement, and diagonal movement within the viewing angle of the object.

바람직하게는, 상기 전기 자극 장치는,Preferably, the electric stimulation apparatus includes:

상기 사용자의 적어도 어느 하나의 귀에 인접하여 배치되도록 구성될 수 있다.
And may be configured to be disposed adjacent to at least one of the ears of the user.

더욱 바람직하게는, 상기 전기 자극 장치는,More preferably, the electric stimulation apparatus includes:

상기 사용자의 양쪽 귀를 각각 전체적으로 커버하여 배치되도록 구성될 수 있다.
And can be configured to cover both ears of the user as a whole.

더욱 바람직하게는, 상기 전기 자극 장치는,More preferably, the electric stimulation apparatus includes:

상기 제어부의 제어에 기초하여, 상기 사용자에게 제공될 전기 자극을 생성하는 자극 생성부; 및A stimulus generator for generating an electric stimulus to be provided to the user based on the control of the controller; And

상기 생성된 전기 자극을 상기 접촉 부위에 대해 전달하는 자극 전달부를 포함하여 구성될 수 있다.
And a stimulation transmitting portion for transmitting the generated electrical stimulation to the contact portion.

더욱 바람직하게는,More preferably,

상기 자극 전달부는 상기 사용자의 귀에 인접한 복수의 부위들에 접촉하도록 구성될 수 있다.
The stimulation transmitting portion may be configured to contact a plurality of portions adjacent to the ear of the user.

더욱 바람직하게는,More preferably,

상기 자극 전달부는 상기 귀에 인접한 접촉 부위들에 따라 서로 다른 전기 자극 경로를 통해 상기 생성된 전기 자극을 전달하도록 구성될 수 있다.
The stimulation transmitter may be configured to transmit the generated electrical stimulation through different electrical stimulation paths according to the contact areas adjacent to the ear.

더욱 바람직하게는,More preferably,

상기 전기 자극은, 상기 사용자의 전정 기관에 대해 전자기적으로 작용하도록 구성될 수 있다.
The electrical stimulation may be configured to act electromagnetically against the vestibule of the user.

더욱 바람직하게는, 상기 제어부는,More preferably,

상기 감지된 안면의 제1 움직임 변화율과, 상기 표시부에서 표시되는 영상의 제2 움직임 변화율을 비교하여, 상기 제1 움직임 변화율 및 제2 움직임 변화율이 미리 설정된 임계 범위를 넘게 차이나는 경우, 상기 사용자에게 전기 자극이 제공되도록 상기 전기 자극 장치를 제어하도록 구성될 수 있다.
A first motion change rate of the detected face and a second motion change rate of an image displayed on the display unit are compared and when the first motion change rate and the second motion change rate are different from each other by more than a predetermined threshold range, And to control the electrical stimulation device to provide electrical stimulation.

더욱 바람직하게는, 상기 제어부는,More preferably,

상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 1보다 크게 점진적으로 증가하는 경우, 상기 전기 자극의 세기가 증가되게 제어하도록 구성될 수 있다.
And to control the intensity of the electric stimulation to be increased when the ratio of the first motion change rate to the second motion variation rate increases gradually more than one.

더욱 바람직하게는, 상기 제어부는,More preferably,

상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 0보다 크되 1보다 작게 점진적으로 감소하는 경우, 상기 전기 자극의 세기가 증가되게 제어하도록 구성될 수 있다.
And to control the intensity of the electric stimulus to be increased when the ratio of the first motion change rate to the second motion variation rate is gradually decreased from 0 to less than 1.

더욱 바람직하게는, 상기 제어부는,More preferably,

상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 1보다 크게 점진적으로 증가하는 경우, 상기 전기 자극의 주파수가 증가되게 제어하도록 구성될 수 있다.
And to control the frequency of the electrical stimulation to be increased when the ratio of the first motion change rate to the second motion variation rate increases gradually more than one.

더욱 바람직하게는, 상기 제어부는,More preferably,

상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 0보다 크되 1보다 작게 점진적으로 감소하는 경우, 상기 전기 자극의 주파수가 증가되게 제어하도록 구성될 수 있다.And to control the frequency of the electric stimulation to be increased when the ratio of the first motion change rate to the second motion variation rate is greater than 0 but gradually decreases to less than 1.

본 발명에서 제안하고 있는 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치에 따르면, 헤드 마운트 디스플레이 장치가 소정의 프레임 속도에 따라 영상을 표시할 때, 이에 연결된 모션 감지 센서가 사용자의 안면의 움직임을 감지하고, 안면의 움직임 변화와 영상의 움직임 변화 간의 차이가 큰 경우, 사용자의 귀에 인접한 접촉 부위에 전기 자극이 제공됨으로써, 헤드 마운트 디스플레이 장치를 이용한 사용자의 가상 멀미 증상을 감소시킬 수 있다.According to the electric stimulation head mount display apparatus that reduces the virtual reality nuisance proposed in the present invention, when the head mount display apparatus displays an image according to a predetermined frame rate, the motion detection sensor connected thereto displays the movement of the user's face And when the difference between the motion change of the face and the motion change of the image is large, electric stimulation is provided to the contact portion adjacent to the ear of the user, thereby reducing the user's virtual motion sickness using the head mount display device.

도 1은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 구성을 개략적으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 세부 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 외관을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 표시부에 출력되는 표시 영상을 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 모션 감지 센서가 동작되는 모습을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 전기 자극 장치가 동작되는 모습을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치로부터 제공되는 전기 자극의 세기를 움직임 변화율의 차이에 따라 도시한 도면.
도 9는 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치로부터 제공되는 전기 자극의 주파수를 움직임 변화율의 차이에 따라 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a schematic view of a configuration of an electric stimulation head mount display device for reducing virtual reality nausea according to an embodiment of the present invention; Fig.
2 is a view illustrating a detailed configuration of an electric stimulation head mount display device for reducing virtual reality nausea according to an embodiment of the present invention;
3 is a view showing an appearance of an electric stimulation head mount display device for reducing virtual reality nausea according to an embodiment of the present invention;
4 is a view illustrating a display image output to a display unit of an electric stimulation head mount display device for reducing virtual reality nausea according to an exemplary embodiment of the present invention.
FIG. 5 and FIG. 6 are views showing operations of a motion sensing sensor of an electric stimulation head mount display device for reducing virtual reality motion sickness according to an embodiment of the present invention;
7 is a view illustrating operation of an electric stimulation device of an electric stimulation head-mounted display device for reducing virtual reality nausea according to an exemplary embodiment of the present invention.
FIG. 8 is a graph showing the intensity of electric stimulation provided from an electric stimulation head mount display device for reducing virtual reality motion sickness according to an embodiment of the present invention, in accordance with a difference in the rate of motion change. FIG.
FIG. 9 is a diagram illustrating a frequency of an electric stimulus provided from an electric stimulation head-mounted display device for reducing a virtual reality nausea according to an embodiment of the present invention in accordance with a difference in a rate of motion change. FIG.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 세부 구성을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치는 헤드 마운트 디스플레이(head mounted display, HMD) 장치(100), 모션 감지 센서(200) 및 전기 자극 장치(300)를 포함하여 구성될 수 있다. 헤드 마운트 디스플레이 장치(100)는 표시부(110), 스피커(130) 및 제어부(150)를 포함하여 구성될 수 있다. 모션 감지 센서(200) 및 전기 자극 장치(300)는 헤드 마운트 디스플레이 장치(100)의 제어부(150)에 전기적으로 연결될 수 있다. 예를 들어, 헤드 마운트 디스플레이 장치(100)의 제어부(150)는 모션 감지 센서(200)로부터 소정의 움직임 정보를 제공받고, 전기 자극 장치(300)에 대하여 전기 자극 생성 및 전달을 위한 제어 신호를 제공할 수 있다. 전기 자극 장치(300)는 자극 생성부(310) 및 자극 전달부(330)를 포함하여 구성될 수 있다. 이하에서는, 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 각각의 구성에 대해 보다 상세히 설명하도록 한다.
FIG. 1 is a schematic view illustrating a configuration of an electric stimulation head mount display device for reducing virtual reality motion sickness according to an exemplary embodiment of the present invention. Fig. 6 is a view showing a detailed configuration of an electric stimulation head mount display device. 1 and 2, an electric stimulation head-mounted display device for reducing virtual reality motion sickness according to an embodiment of the present invention includes a head mounted display (HMD) device 100, a motion sensing sensor (200) and an electric stimulation apparatus (300). The head mount display device 100 may include a display unit 110, a speaker 130, and a control unit 150. [ The motion sensing sensor 200 and the electric stimulation device 300 may be electrically connected to the control unit 150 of the head-mounted display device 100. For example, the control unit 150 of the head-mounted display device 100 receives predetermined motion information from the motion detection sensor 200 and transmits a control signal for generating and delivering electrical stimulation to the electrical stimulation apparatus 300 . The electric stimulation apparatus 300 may include a stimulus generation unit 310 and a stimulus transmission unit 330. Hereinafter, each configuration of the electric stimulation head mount display device for reducing the virtual reality nausea according to the embodiment of the present invention will be described in more detail.

도 3은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 외관을 도시한 도면이다. 도 2 및 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 헤드 마운트 디스플레이 장치(100)는, 사용자의 시야를 전체적으로 커버하도록 사용자의 안면에 착용될 수 있다. 헤드 마운트 디스플레이 장치(100)의 표시부(110)는, 미리 설정된 제1 프레임 속도(frame rate)(예컨대, 1초당 90 내지 120 프레임의 속도)에 따라 영상을 표시하도록 구성될 수 있다. 이러한 표시부(110)는, 액정표시장치(liquid crystal display, LCD), 유기발광표시장치(organic light emitting display, OLED), 플렉시블(flexible) 표시 장치, 투명 표시 장치 등을 포함할 수 있다. 이러한 표시부(110)에는 소정의 영상이 표시될 수 있는데, 이는 도 4를 참조하여 설명하도록 한다.
FIG. 3 is a view showing an appearance of an electric stimulation head mount display device for reducing virtual reality motion sickness according to an embodiment of the present invention. As shown in FIGS. 2 and 3, the head-mounted display device 100 of the electric stimulation head-mounted display device for reducing the virtual reality nausea according to an embodiment of the present invention includes a user's Can be worn on the face. The display unit 110 of the head mounted display apparatus 100 may be configured to display an image according to a preset first frame rate (for example, a speed of 90 to 120 frames per second). The display unit 110 may include a liquid crystal display (LCD), an organic light emitting display (OLED), a flexible display, a transparent display, and the like. A predetermined image may be displayed on the display unit 110, which will be described with reference to FIG.

도 4는 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 표시부에 출력되는 표시 영상을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 표시부(110)에서는, 3차원 영상(111)이 표시될 수 있다. 예를 들어, 이러한 3차원 영상(111)은, 사용자의 시점에서 바라보는 원근감을 가진 3차원 영상을 포함할 수 있다.
4 is a diagram illustrating a display image output to a display unit of an electric stimulation head mount display apparatus for reducing virtual reality nausea according to an exemplary embodiment of the present invention. As shown in FIG. 4, in the display unit 110 of the electric stimulation head mount display device for reducing the virtual reality nausea according to an embodiment of the present invention, a three-dimensional image 111 can be displayed. For example, such a three-dimensional image 111 may include a three-dimensional image having a perspective that is viewed from the user's viewpoint.

한편, 헤드 마운트 디스플레이 장치(100)의 스피커(130)는, 이러한 영상에 따른 사운드를 사용자에게 출력할 수 있다. 예를 들어, 스피커(130)는 사용자의 귓구멍에 부분적으로 인입되는 이어폰이나, 사용자의 귓바퀴 일부에 중첩하는 헤드셋 스피커를 포함할 수 있다.
On the other hand, the speaker 130 of the head mount display device 100 can output a sound according to such an image to the user. For example, the speaker 130 may include an earphone that partially fits into the ear canal of a user, or a headset speaker that overlaps a portion of a user's ear canal.

이와 같이 표시부(110)에 표시되는 영상 및 스피커(130)를 통해 출력되는 사운드는 제어부(150)에 의해 제어될 수 있다. 예를 들어, 제어부(150)는, 표시부(110)에 대하여 영상을 표시하기 위한 영상 데이터를 제공하고, 스피커(130)에 대하여 사운드를 출력하기 위한 사운드 데이터를 제공할 수 있다.
In this way, the image displayed on the display unit 110 and the sound output through the speaker 130 can be controlled by the controller 150. For example, the control unit 150 may provide image data for displaying an image to the display unit 110, and may provide sound data for outputting sound to the speaker 130.

도 3에 도시된 바와 같이, 모션 감지 센서(200) 및 전기 자극 장치(300)는 헤드 마운트 디스플레이 장치(100)에 대해 일체로 형성될 수 있다. 또한, 모션 감지 센서(200) 및 전기 자극 장치(300)는 헤드 마운트 디스플레이 장치(100)와 유선으로 연결될 수 있다. 예를 들어, 모션 감지 센서(200) 및 전기 자극 장치(300)는 전도성 와이어를 통해 헤드 마운트 디스플레이 장치(100)에 전기적으로 연결될 수 있다.
As shown in FIG. 3, the motion sensing sensor 200 and the electric stimulation device 300 may be integrally formed with respect to the head-mounted display device 100. In addition, the motion sensing sensor 200 and the electric stimulation device 300 may be connected to the head-mounted display device 100 in a wired manner. For example, the motion sensing sensor 200 and the electrical stimulation device 300 may be electrically connected to the head-mounted display device 100 via a conductive wire.

모션 감지 센서(200)는, 사용자의 머리 위에서 헤드 마운트 디스플레이 장치(100)보다 높게 배치될 수 있다. 이러한 모션 감지 센서(200)는 사용자의 전면에서, 미리 설정된 시야각 내에 들어오는 사물의 상대적인 변화를 감지하여, 사용자의 안면의 움직임을 산출할 수 있고, 이렇게 산출된 안면의 움직임 정보를 헤드 마운트 디스플레이 장치(100)의 제어부(150)에 제공할 수 있다. 모션 감지 센서(200)의 동작은 도 5 및 도 6을 참조하여 보다 상세히 설명하도록 한다.
The motion detection sensor 200 can be disposed higher than the head-mounted display device 100 on the head of the user. The motion detecting sensor 200 can detect a relative change of an object in a predetermined viewing angle on the user's front surface and calculate the motion of the user's face. 100 to the control unit 150 of FIG. The operation of the motion detection sensor 200 will be described in more detail with reference to FIGS. 5 and 6. FIG.

도 5 및 도 6은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 모션 감지 센서가 동작되는 모습을 도시한 도면들이다. 도 5에 도시된 바와 같이, 모션 감지 센서(200)는 사용자의 머리(70) 위에 배치되어, 사용자의 전면 시선 방향을 따라 소정의 시야각의 범위에 포함되는 사물들을 감지할 수 있다. 예를 들어, 모션 감지 센서(200)는 PIR(pyroelectric infrared) 센서 등과 같이, 적외선을 이용하여 동물이나 사물로부터 방사되는 적외선을 증폭시켜 감지하도록 구성될 수 있다. 도 5에서는, 사용자의 시선 방향에 따른 시야각 내에서, 예를 들어, 왼쪽에 배치된 원통(510)과, 오른쪽에 배치된 사각 기둥(520)이 감지되는 모습이 도시되었다. 이때, 도 6에 도시된 바와 같이, 사용자가 헤드 마운트 디스플레이 장치(100)의 표시부(110)에 표시되는 영상에 반응하여 소정의 각도로 머리(70)를 움직이는 경우, 모션 감지 센서(200)는 이동된 시야각 내에서 감지되는 주변 사물들에 의해 사용자의 움직임을 감지할 수 있다. 예를 들어, 도 6에서는, 사용자의 머리(70)가 왼쪽을 향하도록 움직임에 따라, 모션 감지 센서(200)의 시야각 내에서, 왼쪽에 배치된 사각 패널(530)과, 오른쪽에 배치된 원통(510)이 감지되는 모습이 도시되었다. 이 경우, 도 5 및 도 6에 도시된 바와 같이, 모션 감지 센서(200)의 시야각 내에 의해 감지되는 원통(510)의 상대적인 움직임(즉, 왼쪽에서 오른쪽으로의 이동)에 따라, 모션 감지 센서(200)는 사용자의 머리(70)의 움직임(즉, 오른쪽에서 왼쪽으로의 이동)을 산출할 수 있다.
FIGS. 5 and 6 are diagrams illustrating a motion sensing sensor of an electric stimulation head mount display apparatus for reducing virtual reality nausea according to an exemplary embodiment of the present invention. As shown in FIG. 5, the motion sensing sensor 200 may be placed on the user's head 70 to sense objects included in a range of viewing angles along the direction of the user's front line of sight. For example, the motion sensing sensor 200 may be configured to amplify and sense infrared rays radiated from an animal or object using infrared rays, such as a pyroelectric infrared (PIR) sensor. In Fig. 5, for example, a cylinder 510 disposed on the left side and a rectangular column 520 disposed on the right side are detected within a viewing angle according to the direction of the user's gaze. 6, when the user moves the head 70 at a predetermined angle in response to the image displayed on the display unit 110 of the head-mounted display device 100, the motion sensing sensor 200 The motion of the user can be detected by the surrounding objects sensed within the moved viewing angle. For example, in FIG. 6, as the user's head 70 moves toward the left, within the viewing angle of the motion sensing sensor 200, a square panel 530 disposed on the left side, (510) is detected. In this case, as shown in FIGS. 5 and 6, in accordance with the relative movement (i.e., from left to right) of the cylinder 510 sensed by the viewing angle of the motion sensing sensor 200, 200 may calculate the movement of the user's head 70 (i.e., movement from right to left).

이와 같이, 모션 감지 센서(200)는 미리 설정된 제2 프레임 속도에 따라 사물의 상대적인 변화를 감지할 수 있다. 예를 들어, 사물의 상대적인 변화는, 시야각 내에서 사물이 좌향으로 이동되거나, 우향으로 이동되거나, 상향으로 이동되거나, 하향으로 이동되거나, 대각 방향으로 이동되는 등의 움직임을 포함할 수 있다. 이 경우, 모션 감지 센서(200)는 제2 프레임 속도(예컨대, 1초당 30 프레임의 속도)로 감지되는 사물의 이동 거리를 감지하여, 사용자의 머리(70)가 움직이는 속도를 감지할 수 있다. 이러한 사용자의 움직임 변화와, 헤드 마운트 디스플레이 장치(100)에서 출력되는 표시 영상의 움직임 변화가 서로 일치하지 않거나, 허용 가능한 임계 범위를 초과하도록 차이나는 경우, 사용자는 가상 멀미 증상을 겪을 수 있는데, 이러한 가상 멀미를 감소시키기 위해 전기 자극 장치(300)가 구동될 수 있다.
In this way, the motion sensing sensor 200 can sense a relative change of objects according to a preset second frame rate. For example, a relative change of an object may include movement such that the object is moved leftward, rightwardly, upwardly, downwardly, diagonally, etc., within the viewing angle. In this case, the motion sensing sensor 200 can sense the moving distance of the object sensed at the second frame rate (for example, a speed of 30 frames per second) to detect the moving speed of the user's head 70. If the change of the user's movement and the change of the motion of the display image output from the head-mounted display device 100 do not coincide with each other or exceed the allowable threshold range, the user may suffer from the virtual nausea symptom. The electric stimulation apparatus 300 may be driven to reduce the virtual motion.

전기 자극 장치(300)는, 헤드 마운트 디스플레이 장치(100)의 제어부(150)에 전기적으로 연결되어, 모션 감지 센서(200)에 의해 감지된 안면의 움직임 정보에 기초하여, 사용자의 귀에 인접한 접촉 부위에 대해 전기 자극을 제공할 수 있다. 이러한 전기 자극 장치(300)는, 사용자의 적어도 어느 하나의 귀에 인접하여 배치될 수 있고, 실시예에 따라서, 양쪽 귀를 각각 전체적으로 커버하도록 배치될 수도 있다.
The electric stimulation apparatus 300 is electrically connected to the control unit 150 of the head mounted display apparatus 100 and is configured to detect a contact area adjacent to the ear of the user based on the movement information of the face detected by the motion detection sensor 200. [ Lt; / RTI > The electric stimulation apparatus 300 may be disposed adjacent to at least one ear of the user and may be arranged to cover the both ears as a whole, depending on the embodiment.

도 7은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치의 전기 자극 장치가 동작되는 모습을 도시한 도면이다. 도 7에 도시된 바와 같이, 전기 자극 장치(300)는, 제어부(150)의 제어에 기초하여, 사용자에게 제공될 전기 자극을 생성하는 자극 생성부(310)와, 생성된 전기 자극을 접촉 부위에 대해 전달하는 자극 전달부(330a, 330b)를 포함하여 구성될 수 있다. 자극 전달부(330a, 330b)는 도 7에서와 같이, 사용자의 귀에 인접한 복수의 부위들에 접촉할 수 있다. 예를 들어, 자극 전달부(330a, 330b)는 사용자의 귀의 윗부분 및 아랫부분에 각각 접촉할 수 있다. 이 경우, 자극 전달부(330a, 330b)는, 귀에 인접하는 각각의 접촉 부위들에 따라 서로 다른 전기 자극 경로를 통해 전기 자극을 전달할 수 있다. 예를 들어, 사용자의 귀의 윗부분에 접촉하는 자극 전달부(330a)에서 제공되는 전기 자극의 세기, 주파수 등은, 사용자의 귀의 아랫부분에 접촉하는 자극 전달부(330b)에서 제공되는 전기 자극의 세기, 주파수 등과 상이할 수 있으며, 각각의 자극 전달부(330a, 330b)로부터 전달되는 자극들은 내귀의 윗부분에 배치된 피하 조직 및 아랫부분에 배치된 피하 조직을 통해 전정 기관으로 전달될 수 있다. 그에 따라, 자극 생성부(310)에서 생성된 전기 자극이, 사용자의 전정 기관에 대해 전자기적으로 작용할 수 있다.
7 is a view illustrating an operation of an electric stimulation apparatus of an electric stimulation head mount display apparatus for reducing virtual reality nausea according to an embodiment of the present invention. 7, the electric stimulation apparatus 300 includes a stimulus generation unit 310 that generates an electric stimulus to be provided to the user based on the control of the control unit 150, And the stimulus transmission parts 330a and 330b. The stimulus transmission parts 330a and 330b may contact a plurality of sites adjacent to the user's ear, as in FIG. For example, the stimulation transmitters 330a and 330b may contact the upper and lower portions of the user's ears, respectively. In this case, the stimulus transmission parts 330a and 330b may transmit electric stimulation through different electric stimulation paths depending on respective contact parts adjacent to the ear. For example, the strength, frequency, and the like of the electric stimulus provided in the stimulus transmission portion 330a that contacts the upper portion of the user's ear can be determined based on the strength of the electric stimulus provided in the stimulus transmission portion 330b contacting the lower portion of the user's ear , And the like, and the stimuli transmitted from the stimulus transmitters 330a and 330b may be transmitted to the vestibular organ through the subcutaneous tissues disposed at the upper portion of the infrarenatum and the subcutaneous tissues disposed at the lower portion thereof. Accordingly, the electric stimulus generated in the stimulus generator 310 can act electromagnetically on the user's vestibular organ.

도 8은 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치로부터 제공되는 전기 자극의 세기를 움직임 변화율의 차이에 따라 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치에서는 안면의 움직임과, 표시 영상의 움직임의 변화 정도에 따라, 사용자에게 전기 자극이 제공될 수 있다. 예를 들어, 제어부(150)는, 모션 감지 센서(200)에 의해 감지된 안면의 제1 움직임 변화율과, 표시부(110)에서 출력되는 표시 영상의 제2 움직임 변화율을 비교하여, 제1 움직임 변화율 및 제2 움직임 변화율이 미리 설정된 임계 범위를 초과하여 차이나는 경우, 사용자에게 전기 자극이 제공되도록 전기 자극 장치(300)를 제어할 수 있다.
8 is a graph showing the intensity of electric stimulation provided from an electric stimulation head mount display device for reducing virtual reality motion sickness according to an embodiment of the present invention in accordance with a difference in a rate of change in motion. As shown in FIG. 8, in the electric stimulation head mount display device for reducing the virtual reality nausea according to the embodiment of the present invention, electric stimulation is provided to the user according to the movement of the face and the degree of movement of the display image . For example, the control unit 150 compares the first motion change rate of the face detected by the motion detection sensor 200 with the second motion change rate of the display image output from the display unit 110, And to control the electric stimulation apparatus 300 so that the electric stimulation is provided to the user when the second motion variation rate exceeds a preset threshold range.

구체적으로는, 상기 표시 영상의 제2 움직임 변화율에 대한 상기 안면의 제1 움직임 변화율의 비율이 1보다 크게 점진적으로 증가하는 경우, 표시 영상이 안면 움직임에 비해 상대적으로 점점 더 느리게 변화함에 따라 야기될 수 있는 가상 멀미를 감소시키기 위하여, 사용자에게 제공되는 전기 자극의 세기가 증가될 수 있다. 반대로, 상기 표시 영상의 제2 움직임 변화율에 대한 상기 안면의 제1 움직임 변화율의 비율이 0보다 크되 1보다 작게 점진적으로 감소하는 경우, 표시 영상이 안면 움직임에 비해 상대적으로 점점 더 빠르게 변화함에 따라 야기될 수 있는 가상 멀미를 감소시키기 위하여, 사용자에게 제공되는 전기 자극의 세기가 증가될 수 있다. 한편, 제1 움직임 변화율과 제2 움직임 변화율이 실질적으로 동일한 경우, 사용자에게 전기 자극이 제공되지 않거나, 사용자에게 인지되지 못할 정도의 작은 크기(Er)를 갖는 전기 자극이 제공될 수 있다.
Specifically, when the ratio of the first motion change rate of the face to the second motion change rate of the display image is gradually increased larger than 1, the display image is caused to change more and more slowly relative to the facial motion In order to reduce the possible virtual motion, the intensity of the electrical stimulus provided to the user can be increased. In contrast, when the ratio of the first motion change rate of the face to the second motion change rate of the display image is gradually decreased from 0 to less than 1, as the display image changes relatively more rapidly than the face motion, In order to reduce the possible virtual motion, the intensity of the electrical stimulus provided to the user may be increased. On the other hand, when the first motion change rate and the second motion change rate are substantially equal to each other, an electric stimulation can be provided with a small size (Er) such that the user is not provided with electric stimulation or can not be perceived by the user.

도 9는 본 발명의 일실시예에 따른 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치로부터 제공되는 전기 자극의 주파수를 움직임 변화율의 차이에 따라 도시한 도면이다. 도 9에서도, 앞선 도 8의 경우와 비슷하게, 안면의 움직임과, 표시 영상의 움직임의 변화 정도에 따라, 사용자에게 제공되는 전기 자극의 주파수가 달라질 수 있다. 예를 들어, 표시 영상의 제2 움직임 변화율에 대한 안면의 제1 움직임 변화율의 비율이 1보다 크게 점진적으로 증가하는 경우, 표시 영상이 안면 움직임에 비해 상대적으로 점점 더 느리게 변화함에 따라 야기될 수 있는 가상 멀미를 감소시키기 위하여, 사용자에게 제공되는 전기 자극의 주파수가 증가될 수 있다. 반대로, 상기 표시 영상의 제2 움직임 변화율에 대한 상기 안면의 제1 움직임 변화율의 비율이 0보다 크되 1보다 작게 점진적으로 감소하는 경우, 표시 영상이 안면 움직임에 비해 상대적으로 점점 더 빠르게 변화함에 따라 야기될 수 있는 가상 멀미를 감소시키기 위하여, 사용자에게 제공되는 전기 자극의 주파수가 증가될 수 있다. 한편, 제1 움직임 변화율과 제2 움직임 변화율이 실질적으로 동일한 경우, 사용자에게 전기 자극이 제공되지 않거나, 사용자에게 인지되지 못할 정도의 작은 주파수(Fr)를 갖는 전기 자극이 제공될 수 있다.
FIG. 9 is a diagram showing frequencies of electrical stimulation provided from an electrical stimulation head mount display device for reducing virtual reality motion sickness according to an embodiment of the present invention, in accordance with a difference in a rate of change in motion. 9, similarly to the case of FIG. 8, the frequency of the electric stimulus provided to the user can be changed according to the movement of the face and the degree of change of the motion of the display image. For example, when the ratio of the first motion change rate of the face to the second motion change rate of the display image is gradually increased larger than 1, the display image may be caused to change as the display image changes relatively slowly relative to the facial motion In order to reduce virtual nausea, the frequency of electrical stimulation provided to the user may be increased. In contrast, when the ratio of the first motion change rate of the face to the second motion change rate of the display image is gradually decreased from 0 to less than 1, as the display image changes relatively more rapidly than the face motion, The frequency of the electrical stimulation provided to the user may be increased in order to reduce the possible virtual motion. On the other hand, when the first motion change rate and the second motion change rate are substantially equal to each other, an electric stimulation can be provided with a small frequency (Fr) such that the user is not provided with electric stimulation or can not be perceived by the user.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.

70: 사용자(머리) 71: 전정 기관
100: 헤드 마운트 디스플레이 장치 110: 표시부
111: 표시 영상 130: 스피커
150: 제어부 200: 모션 감지 센서
300: 전기 자극 장치 310: 자극 생성부
330: 자극 전달부70: user (head) 71: vestibular organ
100: head mount display device 110: display part
111: display image 130: speaker
150: control unit 200: motion detection sensor
300: electric stimulator 310: stimulus generator
330:

Claims (20)

사용자의 시야를 전체적으로 커버하도록 안면에 착용되어, 상기 사용자에게 미리 설정된 제1 프레임 속도에 따라 영상을 표시하도록 구성되는 헤드 마운트 디스플레이 장치(100);
상기 헤드 마운트 디스플레이 장치(100)에 전기적으로 연결되고, 상기 사용자의 안면의 움직임을 감지하여, 상기 감지된 안면의 움직임 정보를 상기 헤드 마운트 디스플레이 장치(100)에 제공하도록 구성되는 모션 감지 센서(200); 및
상기 헤드 마운트 디스플레이 장치(100)에 전기적으로 연결되고, 상기 감지된 안면의 움직임 정보에 기초하여 상기 사용자의 귀에 인접한 접촉 부위에 대해 전기 자극을 제공하도록 구성되는 전기 자극 장치(300)를 포함하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
A head-mounted display device (100) configured to display an image according to a first frame rate preset to a user, the user being worn on the face so as to cover the entire view of the user;
A motion sensing sensor (200) electrically connected to the head-mounted display device (100) and configured to sense movement of the face of the user and to provide motion information of the sensed face to the head-mounted display device ); And
And an electrical stimulation device (300) electrically connected to the head-mounted display device (100) and configured to provide electrical stimulation to a contact site adjacent to the user's ear based on sensed facial motion information Wherein the virtual stimulus head-mounted display device reduces virtual reality motion sickness.
제1항에 있어서, 상기 헤드 마운트 디스플레이 장치(100)는,
상기 제1 프레임 속도에 따라 상기 영상을 표시하는 표시부(110);
상기 사용자에게 상기 영상에 따른 사운드를 출력하는 스피커(130); 및
상기 표시부(110)에 대하여 상기 영상을 표시하기 위한 영상 데이터를 제공하고, 상기 스피커(130)에 대하여 상기 사운드를 출력하기 위한 사운드 데이터를 제공하는 제어부(150)를 포함하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The head-mounted display device (100) according to claim 1,
A display unit 110 displaying the image according to the first frame rate;
A speaker 130 for outputting a sound according to the image to the user; And
And a control unit (150) for providing image data for displaying the image to the display unit (110) and providing sound data for outputting the sound to the speaker (130) An electrical stimulation head-mounted display device for reducing real-time motion sickness.
제2항에 있어서, 상기 표시부(110)는,
액정표시장치 및 유기발광표시장치 중 어느 하나를 포함하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The display device according to claim 2, wherein the display unit (110)
A liquid crystal display device, and an organic light emitting display device.
제2항에 있어서, 상기 영상은,
상기 사용자의 시점에서 바라보는 원근감을 가진 3차원 영상을 포함하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
3. The method according to claim 2,
Wherein the visual stimulation includes a three-dimensional image having a perspective that is viewed from the user's point of view.
제2항에 있어서,
상기 모션 감지 센서(200) 및 상기 전기 자극 장치(300)는, 상기 제어부(150)에 대하여 전선을 통해 연결되는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
3. The method of claim 2,
Wherein the motion sensing sensor (200) and the electric stimulation apparatus (300) are connected to the control unit (150) through an electric wire.
제1항에 있어서,
상기 모션 감지 센서(200) 및 상기 전기 자극 장치(300)는, 상기 헤드 마운트 디스플레이 장치(100)에 대해 일체로 형성되는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The method according to claim 1,
Characterized in that the motion sensing sensor (200) and the electric stimulation device (300) are integrally formed with the head-mounted display device (100).
제1항에 있어서,
상기 모션 감지 센서(200)는 상기 사용자의 머리 위에서 상기 헤드 마운트 디스플레이 장치(100)보다 높게 배치되는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The method according to claim 1,
Characterized in that the motion sensing sensor (200) is positioned above the head-mounted display device (100) above the head of the user.
제1항에 있어서, 상기 모션 감지 센서(200)는,
상기 사용자의 전면에서 미리 설정된 시야각 내에 들어오는 사물의 상대적인 변화를 감지하여, 상기 사용자의 안면의 움직임을 산출하도록 구성되는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The apparatus of claim 1, wherein the motion sensor (200)
Wherein the controller is configured to detect a relative change of an object entering a predetermined viewing angle at a front surface of the user to calculate a motion of the user's face.
제8항에 있어서, 상기 모션 감지 센서(200)는,
미리 설정된 제2 프레임 속도에 따라 상기 사물의 상대적인 변화를 감지하고,
상기 사물의 상대적인 변화는,
상기 사물의 상기 시야각 내에서의 좌향 이동, 우향 이동, 상향 이동, 하향 이동 및 대각 방향 이동을 포함하는 군에서 선택되는 적어도 한 방향으로의 이동인 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
9. The apparatus of claim 8, wherein the motion sensor (200)
Detecting a relative change of the object according to a preset second frame rate,
The relative change of the object,
Wherein the virtual movement is a movement in at least one direction selected from the group including the leftward movement, the rightward movement, the upward movement, the downward movement, and the diagonal movement within the viewing angle of the object. Head mounted display device.
제1항에 있어서, 상기 전기 자극 장치(300)는,
상기 사용자의 적어도 어느 하나의 귀에 인접하여 배치되는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The apparatus of claim 1, wherein the electric stimulation apparatus (300)
Wherein the at least one ear is positioned adjacent to at least one ear of the user.
제10항에 있어서, 상기 전기 자극 장치(300)는,
상기 사용자의 양쪽 귀를 각각 전체적으로 커버하도록 배치되는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
11. The apparatus of claim 10, wherein the electric stimulation apparatus (300)
Wherein the headrest is arranged to cover the user's both ears as a whole.
제2항에 있어서, 상기 전기 자극 장치(300)는,
상기 제어부(150)의 제어에 기초하여, 상기 사용자에게 제공될 전기 자극을 생성하는 자극 생성부(310); 및
상기 생성된 전기 자극을 상기 접촉 부위에 대해 전달하는 자극 전달부(330)를 포함하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
3. The apparatus of claim 2, wherein the electric stimulation apparatus (300)
A stimulus generator 310 for generating an electric stimulus to be provided to the user based on the control of the controller 150; And
And a stimulation transmitting portion (330) for transmitting the generated electrical stimulation to the contact portion.
제12항에 있어서,
상기 자극 전달부(330)는 상기 사용자의 귀에 인접한 복수의 부위들에 접촉하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
13. The method of claim 12,
Characterized in that the stimulation transmitter (330) is in contact with a plurality of sites adjacent to the ear of the user.
제13항에 있어서,
상기 자극 전달부(330)는 상기 귀에 인접한 접촉 부위들에 따라 서로 다른 전기 자극 경로를 통해 상기 생성된 전기 자극을 전달하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
14. The method of claim 13,
Wherein the stimulation transmitting part (330) transmits the generated electric stimulation through different electric stimulation paths according to the contact areas adjacent to the ear.
제12항에 있어서,
상기 전기 자극은, 상기 사용자의 전정 기관에 대해 전자기적으로 작용하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
13. The method of claim 12,
Wherein said electrical stimulation acts on said vestibule of said user electromagnetically. ≪ Desc / Clms Page number 20 >
제2항에 있어서, 상기 제어부(150)는,
상기 감지된 안면의 제1 움직임 변화율과, 상기 표시부(110)에서 표시되는 영상의 제2 움직임 변화율을 비교하여, 상기 제1 움직임 변화율 및 제2 움직임 변화율이 미리 설정된 임계 범위를 넘게 차이나는 경우, 상기 사용자에게 전기 자극이 제공되도록 상기 전기 자극 장치(300)를 제어하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
The apparatus of claim 2, wherein the controller (150)
When the first motion change rate of the sensed face is compared with the second motion change rate of the image displayed on the display unit 110 and the first motion change rate and the second motion change rate are different from each other by more than a predetermined threshold range, And controls the electric stimulation device (300) so that the user is provided with an electric stimulus.
제16항에 있어서, 상기 제어부(150)는,
상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 1보다 크게 점진적으로 증가하는 경우, 상기 전기 자극의 세기가 증가되도록 제어하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
17. The apparatus of claim 16, wherein the controller (150)
Wherein the controller controls the intensity of the electric stimulus to be increased when the ratio of the first rate of change of the motion to the second rate of change is greater than 1 so as to increase the intensity of the electric stimulus. Device.
제16항에 있어서, 상기 제어부(150)는,
상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 0보다 크되 1보다 작게 점진적으로 감소하는 경우, 상기 전기 자극의 세기가 증가되도록 제어하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
17. The apparatus of claim 16, wherein the controller (150)
Wherein the controller controls the intensity of the electric stimulus to increase when the ratio of the first motion change rate to the second motion variation rate is more than 0 but gradually decreases to less than 1, Head mounted display device.
제16항에 있어서, 상기 제어부(150)는,
상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 1보다 크게 점진적으로 증가하는 경우, 상기 전기 자극의 주파수가 증가되도록 제어하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.
17. The apparatus of claim 16, wherein the controller (150)
Wherein the controller controls the frequency of the electrical stimulation to be increased when the ratio of the first rate of motion change to the second rate of change is greater than 1 so as to increase the frequency of the electrical stimulation. Device.
제16항에 있어서, 상기 제어부(150)는,
상기 제2 움직임 변화율에 대한 상기 제1 움직임 변화율의 비율이 0보다 크되 1보다 작게 점진적으로 감소하는 경우, 상기 전기 자극의 주파수가 증가되도록 제어하는 것을 특징으로 하는, 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치.17. The apparatus of claim 16, wherein the controller (150)
Wherein the controller controls the frequency of the electrical stimulation to be increased when the ratio of the first rate of motion change to the second rate of motion change is greater than 0 but gradually decreases to less than 1, Head mounted display device.
KR1020150017781A 2015-02-05 2015-02-05 Electrical stimulating head mounted display device reducing motion sickness in virtual reality KR101564964B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150017781A KR101564964B1 (en) 2015-02-05 2015-02-05 Electrical stimulating head mounted display device reducing motion sickness in virtual reality
PCT/KR2016/001199 WO2016126110A1 (en) 2015-02-05 2016-02-03 Electrically stimulating head-mounted display device for reducing virtual reality motion sickness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150017781A KR101564964B1 (en) 2015-02-05 2015-02-05 Electrical stimulating head mounted display device reducing motion sickness in virtual reality

Publications (1)

Publication Number Publication Date
KR101564964B1 true KR101564964B1 (en) 2015-11-02

Family

ID=54599788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150017781A KR101564964B1 (en) 2015-02-05 2015-02-05 Electrical stimulating head mounted display device reducing motion sickness in virtual reality

Country Status (2)

Country Link
KR (1) KR101564964B1 (en)
WO (1) WO2016126110A1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170101757A (en) * 2016-02-29 2017-09-06 삼성전자주식회사 Video display apparatus and method for reducing sickness
WO2017150795A1 (en) * 2016-02-29 2017-09-08 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
KR101806715B1 (en) * 2016-06-23 2017-12-07 연세대학교 산학협력단 System and method for interlocking simulation using acceleration and angular acceleration
WO2018080202A1 (en) * 2016-10-26 2018-05-03 삼성전자 주식회사 Head-mounted display device and method for controlling same
KR101855863B1 (en) 2017-10-18 2018-05-09 (주)이노시뮬레이션 real-time simulation system for preventing motion sickness
KR101913934B1 (en) 2017-03-23 2018-10-31 한림대학교 산학협력단 System for bestibular rehabilitation training based on virtual reality
JP2019057009A (en) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 Information processing apparatus and program
JP2019067195A (en) * 2017-10-02 2019-04-25 株式会社コロプラ Information processing method, computer, and program
KR20190069684A (en) * 2017-12-12 2019-06-20 한국과학기술원 Apparatus for sickness assessment of vr contents using deep learning based analysis of visual­vestibular mismatch and the method thereof
WO2020105849A1 (en) * 2018-11-23 2020-05-28 주식회사 쓰리디아이 Motion sickness reduction method and apparatus for vr motion platform
WO2020116739A1 (en) * 2018-12-06 2020-06-11 연세대학교 산학협력단 Device and method for predicting sickness experienced by user when viewing virtual reality content
CN113498503A (en) * 2019-01-17 2021-10-12 苹果公司 Head mounted display with facial interface for sensing physiological conditions
US11366318B2 (en) 2016-11-16 2022-06-21 Samsung Electronics Co., Ltd. Electronic device and control method thereof
US11904165B2 (en) 2015-12-23 2024-02-20 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107765861B (en) * 2017-12-07 2023-04-14 河北迈拓港湾数字信息股份有限公司 Method and device for preventing virtual reality equipment from generating dizziness to human body
FR3098605B1 (en) * 2019-07-10 2021-07-23 Photonis France DIGITAL NIGHT VISION DEVICE WITH ADJUSTABLE IMAGE ACQUISITION SPEED.

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120043940A (en) * 2010-10-27 2012-05-07 주식회사 파이오메드 Vomit teating device using low frequency stimulus
KR101861380B1 (en) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 A Method of Providing Contents Using Head Mounted Display and a Head Mounted Display Thereof
KR20140106309A (en) * 2013-02-26 2014-09-03 주식회사 엠게임 Input device for virual reality having the fuction of forth-feedback
KR102155001B1 (en) * 2013-06-27 2020-09-11 엘지전자 주식회사 Head mount display apparatus and method for operating the same
KR20150006128A (en) * 2013-07-08 2015-01-16 엘지전자 주식회사 Head mount display apparatus and method for operating the same

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904165B2 (en) 2015-12-23 2024-02-20 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation
US10248202B2 (en) 2016-02-29 2019-04-02 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing VR sickness
WO2017150795A1 (en) * 2016-02-29 2017-09-08 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
KR102365162B1 (en) * 2016-02-29 2022-02-21 삼성전자주식회사 Video display apparatus and method for reducing sickness
EP3365755A4 (en) * 2016-02-29 2018-10-17 Samsung Electronics Co., Ltd. Video display apparatus and method for reducing vr sickness
CN108700937A (en) * 2016-02-29 2018-10-23 三星电子株式会社 Video display apparatus and method for mitigating VR discomforts
KR20170101757A (en) * 2016-02-29 2017-09-06 삼성전자주식회사 Video display apparatus and method for reducing sickness
KR101806715B1 (en) * 2016-06-23 2017-12-07 연세대학교 산학협력단 System and method for interlocking simulation using acceleration and angular acceleration
WO2018080202A1 (en) * 2016-10-26 2018-05-03 삼성전자 주식회사 Head-mounted display device and method for controlling same
US11366318B2 (en) 2016-11-16 2022-06-21 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR101913934B1 (en) 2017-03-23 2018-10-31 한림대학교 산학협력단 System for bestibular rehabilitation training based on virtual reality
JP2019057009A (en) * 2017-09-20 2019-04-11 富士ゼロックス株式会社 Information processing apparatus and program
JP7027753B2 (en) 2017-09-20 2022-03-02 富士フイルムビジネスイノベーション株式会社 Information processing equipment and programs
JP2019067195A (en) * 2017-10-02 2019-04-25 株式会社コロプラ Information processing method, computer, and program
KR101855863B1 (en) 2017-10-18 2018-05-09 (주)이노시뮬레이션 real-time simulation system for preventing motion sickness
KR102055486B1 (en) 2017-12-12 2019-12-12 한국과학기술원 Apparatus for sickness assessment of vr contents using deep learning based analysis of visual­vestibular mismatch and the method thereof
KR20190069684A (en) * 2017-12-12 2019-06-20 한국과학기술원 Apparatus for sickness assessment of vr contents using deep learning based analysis of visual­vestibular mismatch and the method thereof
WO2020105849A1 (en) * 2018-11-23 2020-05-28 주식회사 쓰리디아이 Motion sickness reduction method and apparatus for vr motion platform
US11928251B2 (en) 2018-11-23 2024-03-12 3D Interactive Co., Ltd. Motion sickness reduction method and apparatus for VR motion platform
WO2020116739A1 (en) * 2018-12-06 2020-06-11 연세대학교 산학협력단 Device and method for predicting sickness experienced by user when viewing virtual reality content
KR20200069002A (en) * 2018-12-06 2020-06-16 연세대학교 산학협력단 Apparatus and method for predicting virtual reality sickness
KR102141740B1 (en) 2018-12-06 2020-08-05 연세대학교 산학협력단 Apparatus and method for predicting virtual reality sickness
CN113498503A (en) * 2019-01-17 2021-10-12 苹果公司 Head mounted display with facial interface for sensing physiological conditions

Also Published As

Publication number Publication date
WO2016126110A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
KR101564964B1 (en) Electrical stimulating head mounted display device reducing motion sickness in virtual reality
CN105677011B (en) The control method of the operation mode of virtual reality system and virtual reality system
US10528815B2 (en) Method and device for visually impaired assistance
TWI625549B (en) Electronic contact lenses, image system comprising the same, method of providing content and non-transitory computer readable medium
CN103926694B (en) Head-mounted display apparatus and its control method and image display system
US11067809B1 (en) Systems and methods for minimizing external light leakage from artificial-reality displays
WO2012125596A2 (en) Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
KR101203921B1 (en) Information providing apparatus using an eye tracking and local based service
US11695908B2 (en) Information processing apparatus and information processing method
KR20210098521A (en) Head-mounted display with facial interface for sensing physiological condition
CN103995685A (en) Information processing device and control method for information processing device
US20170337736A1 (en) Threat warning system adapted to a virtual reality display system and method thereof
US11347312B1 (en) Ultrasonic haptic output devices
CN103914128B (en) Wear-type electronic equipment and input method
CN112506336A (en) Head mounted display with haptic output
KR20120048981A (en) A versatile wearable computer for driver
US20180040212A1 (en) Threat warning system adapted to a virtual reality display system and method thereof
KR102064183B1 (en) Virtual reality apparatus and virtual reality system including the same
WO2020050186A1 (en) Information processing apparatus, information processing method, and recording medium
JP2014130204A (en) Display device, display system, and control method of display device
US20190041982A1 (en) Method for operating a virtual reality system, and virtual reality system
JP2017151576A (en) Training device, training method, and program
EP3673348B1 (en) Data processing device, method and non-transitory machine-readable medium for detecting motion of the data processing device
KR101045825B1 (en) Display system for transmitting the sense of touch and its operation method
CN108267860B (en) Head-mounted display device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 5