KR20190048370A - Head mounted display and method for executing action in virtual environment using the same - Google Patents

Head mounted display and method for executing action in virtual environment using the same Download PDF

Info

Publication number
KR20190048370A
KR20190048370A KR1020170143281A KR20170143281A KR20190048370A KR 20190048370 A KR20190048370 A KR 20190048370A KR 1020170143281 A KR1020170143281 A KR 1020170143281A KR 20170143281 A KR20170143281 A KR 20170143281A KR 20190048370 A KR20190048370 A KR 20190048370A
Authority
KR
South Korea
Prior art keywords
wearer
motion information
virtual space
space image
motion
Prior art date
Application number
KR1020170143281A
Other languages
Korean (ko)
Other versions
KR102461024B1 (en
Inventor
김휴대
임국찬
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170143281A priority Critical patent/KR102461024B1/en
Publication of KR20190048370A publication Critical patent/KR20190048370A/en
Application granted granted Critical
Publication of KR102461024B1 publication Critical patent/KR102461024B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

According to an embodiment of the present invention, a head mounted display comprises: a sensor unit for detecting motion of a wearer; an image display unit for displaying a virtual space image and motion information indicating the detected motion; a storage unit for storing a plurality of pieces of motion information and information on action mapped to each of the plurality of pieces of motion information; an operation unit for accepting a confirm input from the wearer; and a controller for acquiring information on action mapped to the displayed motion information from the storage unit and controlling the action according to the obtained information to be performed or not performed in the virtual space image according to the confirm input received by the operation unit.

Description

헤드 마운티드 디스플레이 및 이를 이용하여 가상 공간에서 동작이 수행되도록 하는 방법{HEAD MOUNTED DISPLAY AND METHOD FOR EXECUTING ACTION IN VIRTUAL ENVIRONMENT USING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a head-mounted display and a method of operating the same in a virtual space using the head-

본 발명은 헤드 마운티드 디스플레이 및 이를 이용하여 가상 공간에서 동작이 수행되도록 하는 방법에 관한 것이다.The present invention relates to a head-mounted display and a method for using the same to perform an operation in a virtual space.

온라인 커뮤니티 활동이 보편화 되면서 가상 공간은 정보탐색 목적 이상으로 인간관계 형성과 욕구를 실현하는 공간으로 자리 잡았다. 사용자는 가상 공간에서 정보검색, 전자상거래 또는 커뮤니케이션과 같은 다양한 서비스를 이용할 수 있다. As online community activities become more common, virtual space has become a space to realize human relationship formation and desire beyond information search purpose. The user can use various services such as information retrieval, e-commerce, or communication in virtual space.

아바타(avatar)는 이러한 가상 공간에서 사용자를 나타내는 매개체이다. 사용자는 가상 공간에서 자신의 아바타를 이용하여서 타인의 아바타와 끊임없는 의사소통을 할 수 있다. 이러한 아바타는 원격회의(teleconference) 등 다양한 분야에서 유용하게 사용되고 있다. An avatar is a medium that represents a user in this virtual space. The user can communicate with the avatar of the other person by using his / her avatar in the virtual space. These avatars are useful in various fields such as teleconference.

한편, 가상 공간에서의 의사 소통에서 시각적 요소는 비교적 큰 비중을 차지한다. 가상 공간에서 사용자를 시각적으로 나타내는 것이 아바타라는 점에서, 효과적인 의사 소통 내지는 의사 전달을 목적으로, 아바타를 시각적으로 모델링하는 방법에 대한 다양한 연구들이 진행되고 있다. 예컨대, 사용자가 발한 음성에 기반하여서, 아바타의 입모양을 이러한 음성에 실시간으로 부합되도록 구현하는 연구들이 진행된 바 있다.On the other hand, the visual element occupies a relatively large proportion in communication in virtual space. Since visual representation of a user in the virtual space is an avatar, various researches on a method for visually modeling an avatar for the purpose of effective communication or communicating are underway. For example, research has been conducted on realizing the mouth shape of the avatar in real time based on the voice uttered by the user.

한국특허공개공보, 제 10-2011-0002005호 (2011.01.06. 공개)Korean Patent Laid-Open Publication No. 10-2011-0002005 (published on Jan. 11, 2011)

본 발명이 해결하고자 하는 과제는, 가상 공간에서 사용자가 자신의 의사를 아바타를 통하여 반영할 수 있도록 하는 것이다. 예컨대, 사용자가 자신의 기분이나 표정을 아바타를 통하여 표현하도록 하는 기술 또는 사용자가 아바타를 이용하여서 특정 객체에 사전에 정의된 동작을 수행하도록 하는 기술을 제공하는 것이다.A problem to be solved by the present invention is that a user can reflect his / her intention through an avatar in a virtual space. For example, the present invention provides a technique for allowing a user to express his or her mood or expression through an avatar, or a technique for allowing a user to perform an action defined in advance for a specific object using an avatar.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. will be.

일 실시예에 따른 헤드 마운티드 디스플레이(head mounted display)는 착용자의 움직임을 감지하는 센서부와, 가상 공간 영상과 상기 감지된 움직임을 나타내는 움직임 정보를 표시하는 영상 표시부와, 복수 개의 움직임 정보 및 상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작에 대한 정보를 저장하는 저장부와, 상기 착용자로부터 컨펌 입력을 받아들이는 조작부와, 상기 표시된 움직임 정보에 맵핑되어 있는 동작에 대한 정보를 상기 저장부로부터 획득하며, 상기 조작부가 받아들인 컨펌 입력에 따라서 상기 획득된 정보에 따른 동작이 상기 가상 공간 영상에서 수행되거나 수행되지 않도록 제어하는 제어부를 포함한다.According to one embodiment, a head mounted display includes a sensor unit for sensing movement of a wearer, an image display unit for displaying a virtual space image and motion information indicating the detected motion, a plurality of motion information, A control unit for receiving a match input from the wearer; and a control unit for acquiring information about an operation mapped to the displayed motion information from the storage unit, And a control unit for controlling the operation according to the acquired information according to a consult input received by the operation unit to be performed or not performed in the virtual space image.

일 실시예에 따른 가상 공간 영상에서 동작이 수행되도록 하는 방법은 헤드 마운티드 디스플레이(head mounted display)에 의해 수행되며, 가상 공간 영상을 표시하는 단계와, 착용자의 움직임을 감지하는 단계와, 상기 감지된 움직임을 나타내는 움직임 정보를 표시하는 단계와, 상기 표시된 움직임 정보에 맵핑되어 있는 동작에 대한 정보를, 상기 헤드 마운티드 디스플레이에 기 저장되어 있는 복수 개의 움직임 정보 및 상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작에 대한 정보 중에서 획득하는 단계와, 상기 착용자로부터 컨펌 입력을 받아들이는 단계와, 상기 컨펌 입력에 따라서 상기 획득된 정보에 따른 동작이 상기 가상 공간 영상에서 수행되거나 수행되지 않도록 제어하는 단계를 포함한다.A method for performing an operation on a virtual space image according to an embodiment is performed by a head mounted display, comprising the steps of displaying a virtual space image, sensing movement of the wearer, The method of claim 1, further comprising the steps of: displaying motion information indicative of motion; mapping information about motion mapped to the displayed motion information to motion information that is stored in the head-mounted display and mapped to each of the plurality of motion information A step of accepting a conform input from the wearer, and a step of controlling whether an operation according to the acquired information is performed or not performed in the virtual space image according to the confirm input.

일 실시예에 따르면 가상 공간에서 착용자는 자신의 기분이나 표정을 아바타를 통하여 표현할 수 있다. 또한, 착용자는 가상 공간 영상에 존재하는 특정 객체에 대해 사전에 정의된 동작이 수행되도록 할 수 있다.According to one embodiment, the wearer can express his or her mood or expression through the avatar in the virtual space. The wearer may also be allowed to perform predefined actions on a particular object present in the virtual space image.

도 1은 헤드 마운티드 디스플레이를 착용자들이 착용한 것을 도시하고 있다.
도 2는 도 1에 도시된 착용자들이 경험하고 있는 가상 공간 내지는 가상 현실에 대한 예시적인 형태를 도시하고 있다.
도 3은 일 실시예에 따른 헤드 마운티드 디스플레이의 구성을 예시적으로 도시하고 있다.
도 4는 도 3에 도시된 센서부에 의해 감지 가능한 착용자의 움직임을 예를 들어 도시하고 있다.
도 5는 도 3에 도시된 헤드 마운티드 디스플레이를 착용한 착용자에게, 도 3에 도시된 영상 표시부가 제공하는 화면을 예시적으로 도시하고 있다.
도 6은 도 3에 도시된 저장부가 저장하는 정보의 예를 도시하고 있다.
도 7은 일 실시예에 따라, 가상 공간에서 아바타가 착용자의 표정을 나타내는 것을 예시적으로 도시하고 있다.
도 8은 도 3에 도시된 조작부의 외형을 예시적으로 도시하고 있다.
도 9는 일 실시예에 따라 가상 공간에서 동작이 수행되도록 하는 방법의 절차를 예시적으로 도시하고 있다.
도 10은 착용자의 움직임에 의해, 가상 공간에서 특정 객체가 선택되는 과정을 예시적으로 도시하고 있다.
도 11은 도 3에 도시된 저장부가 저장하는 정보에 대한 또 다른 예를 도시하고 있다.Figure 1 shows a wearer wearing a head-mounted display.
FIG. 2 illustrates an exemplary form of virtual space or virtual reality experienced by the wearers shown in FIG.
3 illustrates an exemplary configuration of a head-mounted display according to one embodiment.
FIG. 4 illustrates, for example, the movement of the wearer, which is detectable by the sensor unit shown in FIG.
FIG. 5 exemplarily shows a screen provided by the image display unit shown in FIG. 3 for a wearer wearing the head-mounted display shown in FIG.
Fig. 6 shows an example of information stored in the storage unit shown in Fig.
FIG. 7 exemplarily shows that the avatar represents the wearer's facial expression in the virtual space, according to an embodiment.
Fig. 8 exemplarily shows the external shape of the operating portion shown in Fig.
9 illustrates, by way of example, a procedure of a method for causing an operation to be performed in a virtual space according to an embodiment.
FIG. 10 exemplarily shows a process of selecting a specific object in the virtual space by the movement of the wearer.
Fig. 11 shows another example of information stored by the storage unit shown in Fig.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 헤드 마운티드 디스플레이(head mounted display, HMD)(100)를 착용자들(10)이 착용한 것을 도시하고 있다. 각각의 착용자들(10)은 인접하거나 같은 현실 공간에 존재하거나 또는 서로 이격된 현실 공간에 존재할 수 있다.Figure 1 shows a wearer wearing a head mounted display (HMD) 100. Each wearer 10 may be in a contiguous or same physical space or in a physical space spaced from each other.

도 2는 도 1에 도시된 착용자들(10)이 경험하고 있는 가상 공간(virtual circumstance) 내지는 가상 현실(virtual reality, VR)의 예시적인 형태를 도시하고 있다. 도 2를 참조하면, 착용자들(10)은 각각 가상 공간에서 아바타(avatar)로 나타내어 진다. 이 때, 도 1에 도시된 착용자들(10)이 서로 인접하거나 같은 현실 공간에 존재하거나 서로 이격된 현실 공간에 존재하는 것과는 무관하게, 이들 착용자들(10)의 아바타들은 같은 가상 공간에서 존재할 수 있다. FIG. 2 shows an exemplary form of virtual circumstance or virtual reality (VR) experienced by the wearers 10 shown in FIG. 2, the wearers 10 are each represented by an avatar in virtual space. At this time, regardless of whether the wearers 10 shown in FIG. 1 are adjacent to each other or exist in the same physical space or in a real space separated from each other, the avatars of these wearers 10 may exist in the same virtual space have.

착용자들(10)은 가상 공간에서 자신의 아바타를 통해 회의를 진행하거나 물건을 사고팔 수 있다. 또한, 착용자들(10)은 아바타를 통해 자신의 정보 내지는 의사를 표현할 수 있고, 타 착용자(10)의 아바타와 의사 소통을 수행할 수 있다. 도 2에 도시된 바와 같이 아바타에는 착용자(10) 자신의 이름 또는 아바타에 부여된 이름 등이 표시될 수 있다. The wearers 10 can conduct meetings or buy objects through their avatars in the virtual space. In addition, the wearers 10 can express their own information or intention through the avatar, and can communicate with the avatar of the other wearer 10. As shown in FIG. 2, the name of the wearer 10 or the name given to the avatar may be displayed on the avatar.

착용자들(10)은 가상 공간에서 아바타를 통해 기 정의된 동작이 수행되도록 할 수 있다. 기 정의된 동작에는 예컨대 자신의 아바타가 가상 공간 상에서 다양한 표정을 갖도록 하는 것, 가상 공간에 배치된 특정 객체에 대해 기 정의된 동작이 수행되도록 하는 것 등이 있을 수 있다. 이를 위해 착용자들(10)은 자신이 착용하고 있는 헤드 마운티드 디스플레이(100)를 이용할 수 있다. 이하에서는 이러한 헤드 마운티드 디스플레이(100)에 대해 구체적으로 살펴보기로 한다.The wearers 10 can make predefined actions to be performed through the avatar in virtual space. The predefined actions may include, for example, allowing the avatar to have various facial expressions in the virtual space, and allowing the predefined actions to be performed on specific objects placed in the virtual space. To this end, the wearer 10 may use the head-mounted display 100 worn by him / herself. Hereinafter, the head-mounted display 100 will be described in detail.

도 3은 도 1에 도시된 헤드 마운티드 디스플레이(100)의 구성을 예시적으로 도시하고 있다. 도 3을 도 1 및 2와 함께 이하에서 참조하면, 헤드 마운티드 디스플레이(100)는 센서부(110), 영상 표시부(120), 저장부(130), 조작부(140) 및 제어부(150)를 포함하며, 다만 헤드 마운티드 디스플레이(100)의 구성이 도 3에 도시된 것으로 한정 해석되지는 않는다. 예컨대, 헤드 마운티드 디스플레이(100)는 도 3에는 도시되지 않았지만 스마트폰과 같은 스마트기기와 통신을 수행하기 위한 통신부, 전원부, 착용자(10)의 머리에 착용되는 수단을 제공하는 착용부 등을 포함할 수 있다. 실시예에 따라, 헤드 마운티드 디스플레이(100)는 스마트폰과 같은 스마트기기와 결합되어서 전술한 구성, 예컨대 센서부(110), 영상 표시부(120), 저장부(130), 조작부(140) 또는 제어부(150) 등이 구현될 수도 있다.Fig. 3 exemplarily shows the configuration of the head-mounted display 100 shown in Fig. 3, the head-mounted display 100 includes a sensor unit 110, an image display unit 120, a storage unit 130, an operation unit 140, and a control unit 150 However, the configuration of the head-mounted display 100 is not limited to that shown in FIG. For example, the head-mounted display 100 includes a communication unit for performing communication with a smart device such as a smart phone, a power supply unit, a wearing unit for providing a means to be worn on the head of the wearer 10 . The head mounted display 100 may be coupled to a smart device such as a smart phone to perform the above-described configuration such as the sensor unit 110, the image display unit 120, the storage unit 130, the operation unit 140, (150) or the like may be implemented.

이 중에서 센서부(110)는 헤드 마운티드 디스플레이(100)에 장착되어서, 헤드 마운티드 디스플레이(100) 자체의 움직임을 감지한다. 여기서, 헤드 마운티드 디스플레이(100)는 착용자(10)의 머리에 장착된다. 따라서, 센서부(110)가 감지하는 움직임은 착용자(10)의 머리 움직임일 수 있다. 도 4는 센서부(110)가 감지 가능한 착용자(10)의 머리 움직임을 예를 들어 도시하고 있으며, 다만 도 4에 도시된 움직임으로 한정 해석되는 것은 아니다. 이러한 센서부(110)는 관성 측정 센서(inertial measurement unit, IMU) 등으로 구현될 수 있으나 이에 한정되지 않는다.The sensor unit 110 is mounted on the head-mounted display 100 to detect movement of the head-mounted display 100 itself. Here, the head-mounted display 100 is mounted on the head of the wearer 10. Accordingly, the movement sensed by the sensor unit 110 may be the head movement of the wearer 10. FIG. 4 illustrates, for example, the head movement of the wearer 10 which can be sensed by the sensor unit 110, but is not limited to the motion shown in FIG. The sensor unit 110 may be an inertial measurement unit (IMU) or the like, but is not limited thereto.

다시 도 3을 참조하면, 영상 표시부(120)는 가상 공간에 대한 영상이 착용자(10)에게 제공되도록 표시한다. 도 5는 영상 표시부(120)가 착용자(10)에게 제공하는 가상 공간 영상을 예시적으로 도시하고 있다. Referring again to FIG. 3, the image display unit 120 displays images for the virtual space to be provided to the wearer 10. FIG. 5 exemplarily shows a virtual space image provided by the image display unit 120 to the wearer 10. FIG.

도 5를 참조하면, 영상 표시부(120)에는 가상 공간에 존재하는 다양한 객체들(A,B)이 표시될 수 있다. Referring to FIG. 5, the image display unit 120 may display various objects A and B existing in a virtual space.

또한, 영상 표시부(120)에는 센서부(110)에 의해 감지된 착용자(10) 자신의 움직임, 예컨대 착용자(10)의 머리 움직임이 표시될 수 있다. 이 때 도 5의 하단에 표시된 것과 같이 자이로(gyro)(121)의 형상으로 머리 움직임이 표시될 수 있다. 예컨대, 착용자(10)가 머리를 끄덕이는 경우 자이로(121) 역시 착용자(10)의 머리가 끄덕여지는 방향으로 움직일 수 있다.In addition, the movement of the wearer 10 perceived by the sensor unit 110, for example, the head movement of the wearer 10, may be displayed on the image display unit 120. At this time, the head movement can be displayed in the shape of the gyro 121 as shown in the bottom of FIG. For example, when the wearer 10 nods his or her head, the gyro 121 can also move in the direction in which the head of the wearer 10 is nodded.

영상 표시부(120)의 화면 가운데에는 화면의 가운데를 나타내면서 또한 착용자(10)의 시선 방향을 나타내는 중심마크(123)가 배치될 수 있다. 중심마크(123)는 추후 착용자(10)가 특정 객체를 선택할 때 이용될 수 있는데, 이에 대해서는 도 10에서 후술하기로 한다.A center mark 123 indicating the center of the screen and indicating the direction of the wearer 10 may be disposed in the center of the screen of the image display unit 120. The center mark 123 can be used later when the wearer 10 selects a specific object, which will be described later with reference to FIG.

영상 표시부(120)에는 기 정의된 표식(122)이 표시될 수 있다. 이러한 표식(122)이 표시된 상황은, 후술할 제어부(150)가 착용자(10)의 머리 움직임을 착용자(10)의 명령 내지 특정한 의사로 받아들여서 해석할 준비가 되어 있다는 것을 의미한다. 즉, 표식(122)이 영상 표시부(120)에 표시 중인 경우에 센서부(110)가 감지한 착용자(10)의 머리 움직임은, 제어부(150)에 의해 착용자(10)의 명령이나 특정한 의사로 해석될 수 있는 반면, 표식(122)이 영상 표시부(120)에 표시되지 않은 경우에 착용자(10)의 머리 움직임은 착용자(10)의 명령이나 특정한 의사로 해석되지 않을 수 있다. 표식(122)은 특정한 이미지 또는 텍스트일 수 있다. 이러한 표식(122)은 후술할 조작부(140)에 대한 착용자(10)의 조작이 있어야 표시될 수 있는데, 이에 대해서는 후술하기로 한다.The predefined markers 122 may be displayed on the image display unit 120. [ The situation in which the mark 122 is displayed means that the control unit 150 to be described later is ready to interpret the head movement of the wearer 10 as a command or a specific intention of the wearer 10. That is, the head movement of the wearer 10 sensed by the sensor unit 110 when the marker 122 is being displayed on the image display unit 120 is controlled by the control unit 150, The head movement of the wearer 10 may not be interpreted as a command of the wearer 10 or a specific intention when the mark 122 is not displayed on the image display 120. [ The indicia 122 may be a specific image or text. Such a mark 122 can be displayed only when there is an operation of the wearer 10 with respect to the operation unit 140, which will be described later, which will be described later.

한편, 실시예에 따라서 전술한 표식(122) 자체를 도입하지 않은 영상 표시부(120)가 구현될 수도 있는데, 이 경우에 제어부(150)가 착용자(10)의 머리 움직임을 해석하는 절차에 대해서는 제어부(150)에 대해 설명하면서 보다 자세하게 설명하기로 한다.In the meantime, according to the embodiment, the image display unit 120 in which the mark 122 itself is not introduced may be implemented. In this case, for the procedure for the controller 150 to analyze the head movement of the wearer 10, Will now be described in more detail.

저장부(130)는 데이터를 저장하며, 메모리 등으로 구현 가능하다. 도 6은 저장부(140)에 저장된 데이터를 예를 들어 도시하고 있다. 도 6을 참조하면, 저장부(140)에는 기 정의된 복수 개의 움직임 정보, 그리고 이들 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작 정보가 저장될 수 있다. 즉, 저장부(130)에는 특정 움직임이 센서부(110)에서 감지되었을 때 어떤 동작이 수행되어야 하는지에 대한 정보가 저장될 수 있다.The storage unit 130 stores data, and can be implemented as a memory or the like. 6 shows data stored in the storage unit 140 as an example. Referring to FIG. 6, the storage unit 140 may store a plurality of predefined motion information, and motion information mapped to each of the plurality of motion information. That is, the storage unit 130 may store information as to which operation should be performed when a specific motion is sensed by the sensor unit 110.

여기서, 움직임 정보는 착용자(10)의 움직임을 나타낸다. 예컨대, 움직임 정보에는 착용자(10)의 머리 움직임이 도 4에 도시된 것과 같이 종류 별로 포함될 수 있다. 동작 정보는 가상 공간 영상에서 수행될 수 있는 동작을 나타낸다. 예컨대, 동작 정보에는 착용자(10)의 아바타가 특정 얼굴 표정(기쁜 표정, 슬픈 표정, 놀란 표정 등)을 짓는 것, 도 7에 도시된 것과 같이 착용자(10)의 아바타(124)가 표정이나 기분 등을 나타내는 이모티콘(125)을 표시하는 것, 착용자(10)의 아바타가 착용자(10)의 기분을 텍스트로 표시하도록 하는 것, 현재 저장부(130)에 저장되어 있는 움직임 정보 및 각각의 움직임 정보에 맵핑되어 있는 동작 정보를 리스트의 형태로 해당 착용자(10)에게 표시하는 것 등이 포함될 수 있다.Here, the motion information indicates the movement of the wearer 10. For example, the head movement of the wearer 10 may be included in the movement information as shown in FIG. The operation information indicates an operation that can be performed in the virtual space image. For example, in the operation information, the avatar of the wearer 10 constructs a specific facial expression (a happy facial expression, a sad facial expression, a surprised facial expression, and the like) Displaying the mood of the wearer 10 in text, displaying the emotion of the wearer 10 in the form of text, the motion information stored in the current storage unit 130, and the motion information And displaying the operation information mapped to the wearer 10 in the form of a list.

조작부(140)는 착용자(10)로부터 입력을 받아들이는 구성이다. 도 8은 이러한 조작부(140)의 외형을 예시적으로 도시하고 있는데, 이러한 외형을 갖는 조작부(140)는 헤드 마운티드 디스플레이(100)와 유선 또는 무선 방식으로 연결될 수 있다. 다만, 도 8에 도시된 것과는 달리 조작부(140)는 헤드 마운티드 디스플레이(100)에 버튼 형식으로 구현될 수도 있다. 한편, 이하에서는 조작부(140)는 도 8에 도시된 외형을 갖는 것을 전제로 설명하기로 한다. The operation unit 140 receives the input from the wearer 10. FIG. 8 exemplarily shows the outer shape of the operation unit 140, and the operation unit 140 having such an outer shape can be connected to the head-mounted display 100 in a wired or wireless manner. However, unlike the one shown in FIG. 8, the operation unit 140 may be implemented as a button on the head-mounted display 100. FIG. On the other hand, in the following, the operation unit 140 will be described on the premise that it has the appearance shown in Fig.

도 8을 참조하면, 조작부(140)에는 입력 버튼(141)이 구비될 수 있다. 착용자(10)가 입력 버튼(141)을 누른 경우 또는 누른 상태가 해제(release)된 경우 각각에 신호가 발생될 수 있으며, 각각의 신호는 후술할 제어부(150)에게 전달될 수 있다. 제어부(150)는 조작부(140)로부터 신호를 전달받아서 기 정의된 기능이 수행되도록 할 수 있는데, 이는 이하에서 보다 자세하게 설명하기로 한다.Referring to FIG. 8, the operation unit 140 may be provided with an input button 141. A signal may be generated in each case when the wearer 10 depresses the input button 141 or when the depressed state is released and each signal may be transmitted to the control unit 150 to be described later. The control unit 150 may receive a signal from the operation unit 140 to perform a predetermined function, which will be described in more detail below.

도 3을 참조하면, 헤드 마운티드 디스플레이(100)는 제어부(150)를 포함한다. 제어부(150)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.Referring to FIG. 3, the head-mounted display 100 includes a control unit 150. The control unit 150 can be implemented by a memory that stores instructions programmed to perform the functions described below, and a microprocessor that executes such instructions.

조작부(140)의 입력 버튼(141)이 눌리면 조작부(140)는 제어부(150)에게 제1 신호를 전달할 수 있으며, 이 경우 제어부(150)는 제1 신호를 기초로 영상 표시부(120)에 전술한 표식(122)이 표시되도록 제어할 수 있다. 이러한 표식(122)은, 표식(122)이 표시된 이후에 센서부(110)가 감지한 착용자(10)의 움직임을 제어부(150)가 착용자(10)의 명령 내지 특정한 의사로 해석할 준비가 완료되었다는 것을 의미할 수 있다. 이하에서는 영상 표시부(120)가 표식(122)을 표시하도록, 조작부(140)에 가해지는 착용자(10)의 조작 자체를 '준비 완료 입력'이라고 지칭하기로 한다.When the input button 141 of the operation unit 140 is pressed, the operation unit 140 may transmit the first signal to the control unit 150. In this case, the control unit 150 may transmit the first signal to the image display unit 120 It is possible to control so that one landmark 122 is displayed. Such a marking mark 122 indicates that the control unit 150 is ready to interpret the movement of the wearer 10 sensed by the sensor unit 110 after the marking mark 122 is displayed as a command or a specific intention of the wearer 10 It can mean that Hereinafter, the operation of the wearer 10 applied to the operation unit 140 so that the image display unit 120 displays the mark 122 will be referred to as a " ready-made input ".

아울러, 조작부(140)의 입력 버튼(141)이 눌렸다가 해제(release)되면 조작부(140)는 제어부(150)에게 제2 신호를 전달할 수 있으며, 이 경우 제어부(150)는 이러한 제2 신호를 기초로, 센서부(110)가 감지한 착용자(10)의 움직임에 맵핑되는 동작 정보를 저장부(130)로부터 획득한 뒤, 해당 동작 정보에 상응하는 동작이 수행되도록 제어할 수 있다. 즉, 조작부(140)의 입력 버튼(141)이 눌렸다가 해제되는 동작 자체는, 착용자(10)의 움직임에 맵핑되어 있는 기 정의된 동작이 수행되도록 컨펌하는 것을 의미할 수 있다. 전술한 기 정의된 동작이 수행되도록, 조작부(140)에 가해지는 착용자(10)의 조작 자체를 '컨펌 입력'이라고 지칭하기로 한다. 여기서, 조작부(140)의 입력 버튼(141)이 눌렸다가 해제되지 않은 시간이 일정 시간, 예컨대 5초를 경과한다면 조작부(140)는 제어부(150)에게 제3 신호를 전달할 수 있으며, 이 경우 제어부(150)는 이러한 제3 신호를 기초로, 착용자(10)의 움직임이 감지되는 것과는 별개로, 저장부(130)에 저장된 어떠한 동작도 수행되지 않도록 제어할 수 있다.When the input button 141 of the operation unit 140 is pressed and released, the operation unit 140 may transmit the second signal to the controller 150. In this case, It is possible to acquire the operation information mapped to the movement of the wearer 10 sensed by the sensor unit 110 from the storage unit 130 and to control the operation corresponding to the operation information to be performed. That is, the operation in which the input button 141 of the operation unit 140 is pressed and released may mean that the predefined operation mapped to the movement of the wearer 10 is performed. The operation itself of the wearer 10 applied to the operation unit 140 is referred to as " confirm input " so that the previously defined operation is performed. Here, if the input button 141 of the operation unit 140 is depressed but not released for a predetermined time, for example, 5 seconds, the operation unit 140 may transmit the third signal to the control unit 150. In this case, The control unit 150 can control not to perform any operation stored in the storage unit 130 separately from the detection of the movement of the wearer 10 based on the third signal.

한편, 실시예에 따라서 영상 표시부(120)가 표식(122)을 표시하는 동작은 수행되지 않을 수 있다. 즉, 이 경우는 '준비 완료 입력'이 요구되지 않으며, 따라서 착용자(10)는 준비 완료 입력을 위해서 조작부(140)를 조작하지 않는다. 이러한 실시예에서, 표식(122)과는 무관하게 센서부(110)는 착용자(10)의 움직임을 감지하고, 영상 표시부(120)는 감지된 움직임에 대한 움직임 정보를 표시하며, 제어부(150)는 이러한 움직임 정보를 착용자(10)의 명령 내지는 특정한 의사로 해석할 수 있다. 만약 움직임 정보가 부정확하거나 저장부(130)에 저장되지 않은 움직임 정보라면 어떠한 동작도 수행되지 않도록 할 수 있다.Meanwhile, according to the embodiment, the operation of displaying the image 122 by the image display unit 120 may not be performed. That is, in this case, the 'ready input' is not required, and therefore the wearer 10 does not operate the operation unit 140 for the ready input. In this embodiment, the sensor unit 110 senses the movement of the wearer 10, the image display unit 120 displays the motion information of the sensed movement, Can interpret this motion information as a command of the wearer 10 or as a specific intention. If motion information is inaccurate or motion information is not stored in the storage unit 130, no operation can be performed.

이하에서는 도 9를 참조하여서 헤드 마운티드 디스플레이(100)에 의해 가상 공간 영상에서 기 정의된 동작이 수행되는 과정에 대해 살펴보기로 한다.Hereinafter, a process of performing a predefined operation in the virtual space image by the head-mounted display 100 will be described with reference to FIG.

도 9를 참조하면, 먼저 영상 표시부(120)는 가상 공간 영상이 착용자(10)에게 제공되도록 표시할 수 있다(S100). Referring to FIG. 9, the image display unit 120 may display a virtual space image to be provided to the wearer 10 (S100).

이 후, 조작부(140)의 입력 버튼(141)이 눌리면, 조작부(140)는 이를 준비 완료 입력으로 받아들이며(S110), 영상 표시부(120)는 가상 공간 영상에 기 정의된 표식(122)을 표시할 수 있다(S120). 그러나, 조작부(140)의 입력 버튼(141)이 눌리지 않으면, 영상 표시부(120)는 가상 공간 영상에 기 정의된 표식(122)을 표시하지 않는다. 여기서, 실시예에 따라서, 단계 S110과 S120은 수행되지 않을 수 있으며, 이 경우 단계 S100에서 곧바로 이하의 단계 S130이 수행될 수 있다.When the input button 141 of the operation unit 140 is pressed, the operation unit 140 receives the input as a preparation completion input (S110), and the image display unit 120 displays the predefined mark 122 in the virtual space image (S120). However, if the input button 141 of the operation unit 140 is not depressed, the image display unit 120 does not display the predefined mark 122 in the virtual space image. Here, according to the embodiment, steps S110 and S120 may not be performed, and in this case, the following step S130 may be performed immediately after step S100.

센서부(110)에서 감지된(S130) 착용자(10)의 움직임은 영상 표시부(120)에서 움직임 정보로 표시될 수 있다(S140). 움직임 정보는 자이로(gyro) 형상으로 표시될 수 있다.The movement of the wearer 10 sensed by the sensor unit 110 (S130) may be displayed as motion information in the image display unit 120 (S140). The motion information can be displayed in a gyro shape.

착용자(10)가 조작부(140)의 입력 버튼(141)을 기 정의된 시간 이내에 해제하면, 조작부(140)는 이를 컨펌 입력으로 받아들인다(S150). 이 경우 제어부(150)는 영상 표시부(120)에 표시된 움직임 정보에 맵핑되어 있는 동작 정보를 저장부(130)로부터 획득한 뒤, 이러한 동작 정보에 따른 동작이 수행되도록 할 수 있다(S170). 여기서의 동작은 착용자(10)의 아바타가 특정 얼굴 표정(기쁜 표정, 슬픈 표정, 놀란 표정 등)을 짓는 것, 도 7에 도시된 것과 같이 착용자(10)의 아바타(124)가 특정 표정 이모티콘(125)을 표시하는 것, 착용자(10)의 아바타가 착용자(10)의 기분을 텍스트로 표시하도록 하는 것, 현재 저장부(130)에 저장되어 있는 움직임 정보 및 각각의 움직임 정보에 맵핑되어 있는 동작 정보를 리스트의 형태로 해당 착용자(10)에게 표시하는 것 등이 포함될 수 있다. When the wearer 10 releases the input button 141 of the operation unit 140 within a predetermined time, the operation unit 140 receives it as a conform input (S150). In this case, the control unit 150 may obtain the operation information mapped to the motion information displayed on the image display unit 120 from the storage unit 130, and then perform an operation according to the operation information (S170). The action here is that the avatar of the wearer 10 builds a specific facial expression (glad expression, sad expression, surprised facial expression, etc.) Displaying the mood of the wearer 10 in text, displaying the motion information stored in the current storage unit 130 and the motion mapped to each motion information, Displaying the information to the wearer 10 in the form of a list, and the like.

반면, 착용자(10)가 조작부(140)의 입력 버튼(141)을 기 정의된 시간이 경과하여도 해제하지 않거나 기 정의된 시간 이후에 해제할 경우, 제어부(150)는 이를 컨펌되지 않은 것으로 받아들인다. 이 경우 제어부(150)는 영상 표시부(120)에서 착용자(10)에게 움직임을 재요청하는 메시지가 표시되도록 제어할 수 있다(S160).On the other hand, if the wearer 10 does not release the input button 141 of the operation unit 140 after a predetermined time elapses or releases it after a predetermined time, the control unit 150 receives the input button 141 as unconfused . In this case, the control unit 150 may control the display unit 120 to display a message requesting the wearer 10 to move again (S160).

여기서, 만약 실시예에 따라서 단계 S110과 S120이 수행되지 않았을 경우, 단계 S150의 컨펌 입력은 착용자(10)가 조작부(140)의 입력 버튼(141)을 누름으로써 입력될 수 있다.Here, if steps S110 and S120 are not performed according to the embodiment, the confirm input of step S150 may be input by the wearer 10 pressing the input button 141 of the operation unit 140. [

이상에서 살펴본 바와 같이, 일 실시예에 따르면 가상 공간에서 착용자는 자신의 기분이나 표정을 아바타를 통하여 표현할 수 있다. 이 경우, 자신의 머리 움직임을 나타내는 영상 표시부, 그리고 이러한 머리 움직임이 자신의 의도한 움직임인지를 컨펌하는데 사용되는 조작부에 의해, 정확하게 자신의 기분이나 표정이 아바타를 통하여 표현되도록 할 수 있다.As described above, according to one embodiment, the wearer can express his or her mood or expression through the avatar in the virtual space. In this case, it is possible to accurately display the mood or expression through the avatar by using the image display unit representing the head movement of the user and the operation unit used to confirm whether the head movement is the intended movement of the user.

한편, 전술한 실시예는 착용자(10)의 기분이나 표정을 아바타를 통해 표시하는 것인데, 이와는 달리 또는 이에 추가하여서 가상 공간 영상에 존재하는 특정 객체에 기 정의된 동작이 수행되도록 할 수도 있다. 이에 대해서는 도 10과 도 11을 참고하여서 살펴보기로 한다.Meanwhile, in the above-described embodiment, the mood or expression of the wearer 10 is displayed through the avatar. Alternatively, or in addition thereto, the predetermined operation may be performed on a specific object existing in the virtual space image. This will be described with reference to FIGS. 10 and 11. FIG.

도 10은 가상 공간 영상에 존재하는 복수 개의 객체 중 어느 하나의 객체가 선택되는 과정을 예시적으로 도시하고 있다. 도 10을 참조하면, 영상 표시부(120)에는 중심마크(123)가 표시될 수 있다. 중심마크(123)는 영상 표시부(120)의 화면 가운데에서 화면의 가운데를 나타내며 또한 착용자(10)의 시선 방향을 나타낸다. FIG. 10 exemplarily shows a process in which any one of a plurality of objects existing in a virtual space image is selected. Referring to FIG. 10, a center mark 123 may be displayed on the image display unit 120. FIG. The center mark 123 indicates the center of the screen in the center of the screen of the image display unit 120 and also indicates the direction of the line of sight of the wearer 10.

착용자(10)는 자신의 머리 움직임을 이용해서 중심마크(123)가 가상 공간 영상에서 움직이도록 할 수 있다. 예컨대, 착용자(10)가 자신의 머리를 좌우로 회전할 경우 그 궤적(125)은 도 10에 도시된 것과 같을 수 있다. 이 경우 제어부(150)는 해당 궤적(125)이 지나가는 경로에 있는 객체 A를 착용자(10)가 선택한 객체로 인식할 수 있다. 즉, 가상 공간 영상에는 복수 개의 객체가 존재하며, 영상 표시부(120)에 표시된 객체 또한 적어도 한 개 이상일 수 있는데, 일 실시예에서는 이 중 어느 하나의 객체를 선택하는 방법으로서 착용자(10) 자신의 머리 움직임의 궤적(125)을 이용하는 방법을 제시하고 있다. 다만, 도 10에 도시된 궤적(125)의 모양은 예시적인 것이며, 다양한 모양의 궤적이 사전에 정의되어 있을 수 있다.The wearer 10 can make the center mark 123 move in the virtual space image using his / her head motion. For example, when the wearer 10 rotates his / her head to the left and right, the locus 125 may be as shown in Fig. In this case, the control unit 150 can recognize the object A on the path passing through the locus 125 as an object selected by the wearer 10. That is, a plurality of objects exist in the virtual space image, and at least one object displayed in the image display unit 120 may be at least one. In one embodiment, as a method of selecting one of the objects, And a trajectory 125 of head movement is used. However, the shape of the locus 125 shown in Fig. 10 is an example, and loci of various shapes may be defined in advance.

이러한 실시예에서 저장부(130)에는 가상 공간 영상에 존재하는 모든 객체, 즉 복수 개의 객체 각각에 대해 움직임 정보와, 각각의 움직임 정보에 맵핑되는 동작 정보가 저장되어 있을 수 있다. 도 11은 이러한 정보의 형태를 리스트의 형태로 예를 들어서 표시하고 있다. 도 11을 참조하면, 복수 개의 서로 상이한 움직임 정보가 설정 및 저장되어 있다. 아울러, 객체마다 특정 움직임에 의해 수행되는 동작이 서로 상이하거나 동일할 수 있다. 예컨대, 움직임이 a일 때 객체 A에서는 해당 객체 A를 여는 동작이 수행되지만 객체 B에서는 해당 객체 B를 마시는 동작이 수행될 수 있다. 착용자(10)는 사전에 어떠한 머리 움직임이 어떠한 동작을 수행하는데에 필요한지에 대해 알고 있어야 한다.In this embodiment, the storage unit 130 may store motion information for all objects existing in the virtual space image, i.e., a plurality of objects, and motion information mapped to each motion information. FIG. 11 shows this type of information as an example in the form of a list. Referring to FIG. 11, a plurality of different motion information are set and stored. In addition, the operations performed by specific movements of objects may be different from each other or may be the same. For example, when the motion is a, an operation to open the object A is performed in the object A, while an operation in which the object B is drilled in the object B can be performed. The wearer 10 must know in advance what hair movement is required to perform an action.

이하에서는 이러한 실시예가 실시되는 구체적인 과정에 대해 다시 도 9를 참조하여서 예를 들어 살펴보기로 한다.Hereinafter, a specific process in which such an embodiment is performed will be described with reference to FIG. 9 again.

먼저 영상 표시부(120)는 가상 공간 영상이 착용자(10)에게 제공되도록 표시할 수 있다(S100). First, the image display unit 120 may display a virtual space image to be provided to the wearer 10 (S100).

이 후, 조작부(140)의 입력 버튼(141)이 눌리면, 조작부(140)는 이를 준비 완료 입력으로 받아들이며(S110), 영상 표시부(120)는 가상 공간 영상에 기 정의된 표식(122)을 표시할 수 있다(S120). 그러나, 조작부(140)의 입력 버튼(141)이 눌리지 않으면, 영상 표시부(120)는 가상 공간 영상에 기 정의된 표식(122)을 표시하지 않는다. 여기서, 실시예에 따라서, 단계 S110과 S120은 수행되지 않을 수 있으며, 이 경우 단계 S100에서 곧바로 이하의 단계 S130이 수행될 수 있다.When the input button 141 of the operation unit 140 is pressed, the operation unit 140 receives the input as a preparation completion input (S110), and the image display unit 120 displays the predefined mark 122 in the virtual space image (S120). However, if the input button 141 of the operation unit 140 is not depressed, the image display unit 120 does not display the predefined mark 122 in the virtual space image. Here, according to the embodiment, steps S110 and S120 may not be performed, and in this case, the following step S130 may be performed immediately after step S100.

센서부(110)에서 감지된(S130) 착용자(10)의 움직임은 영상 표시부(120)에서 움직임 정보로 표시될 수 있다(S140). 움직임 정보는 자이로(gyro) 형상으로 표시될 수 있다. 아울러, 이러한 움직임은 제어부(150)에 의해 가상 공간 영상에 존재하는 복수 개의 객체 중 어느 하나를 선택하는 정보로 활용될 수 있다. 즉, 움직임에 의해 중심마크(123)의 궤적이 변할 때, 그 궤적에 있는 객체가 선택될 수 있다.The movement of the wearer 10 sensed by the sensor unit 110 (S130) may be displayed as motion information in the image display unit 120 (S140). The motion information can be displayed in a gyro shape. In addition, such a motion can be utilized as information for selecting any one of a plurality of objects existing in the virtual space image by the control unit 150. That is, when the trajectory of the center mark 123 is changed by the motion, the object in the trajectory can be selected.

착용자(10)가 조작부(140)의 입력 버튼(141)을 기 정의된 시간 이내에 해제함으로써 컨펌 입력이 조작부(140)에 받아들여지면(S150), 제어부(150)는 영상 표시부(120)에 표시된 움직임 정보에 맵핑되어 있는 동작 정보를 저장부(130)로부터 획득한 뒤, 이러한 동작 정보에 따른 동작이 수행되도록 할 수 있다(S170). 여기서의 동작은 선택된 특정 객체에 미리 저장되어 있는 동작, 예컨대 해당 객체를 열거나 듣거나 던지거나 마시거나 버리는 동작 등일 수 있으며, 또한 현재 저장부(130)에 저장되어 있는 움직임 정보 및 각각의 움직임 정보에 맵핑되어 있는 동작 정보를 리스트의 형태로 해당 착용자(10)에게 표시하는 것 등이 포함될 수 있다. When the wearer 10 releases the input button 141 of the operation unit 140 within a predetermined period of time and the conform input is received by the operation unit 140 at step S150, the control unit 150 displays the confirmation input displayed on the image display unit 120 After the operation information mapped to the motion information is acquired from the storage unit 130, an operation according to the operation information may be performed (S170). Here, the operation may be an operation previously stored in the selected specific object, for example, an operation of opening, listening, throwing, drinking, or discarding the object, and may also include motion information stored in the current storage unit 130, And displaying the operation information mapped to the wearer 10 in the form of a list.

반면, 착용자(10)가 조작부(140)의 입력 버튼(141)을 기 정의된 시간이 경과하여도 해제하지 않거나 기 정의된 시간 이후에 해제할 경우, 제어부(150)는 컨펌되지 않은 것으로 받아들일 수 있고, 이 경우 제어부(150)는 영상 표시부(120)에서 착용자(10)에게 움직임을 재요청하는 메시지가 표시되도록 제어할 수 있다(S160). On the other hand, when the wearer 10 does not release the input button 141 of the operation unit 140 after a predetermined time elapses or releases it after a predefined time, the control unit 150 receives the uncommitted In this case, the control unit 150 may control the display unit 120 to display a message requesting the wearer 10 to move again (S160).

여기서, 만약 실시예에 따라서 단계 S110과 S120이 수행되지 않았을 경우, 단계 S150의 컨펌 입력은 착용자(10)가 조작부(140)의 입력 버튼(141)을 누른 것에 의해 조작부(140)에 받아들여질 수 있다.Here, if the steps S110 and S120 are not performed according to the embodiment, the confirm input of step S150 may be accepted by the operator 140 by pressing the input button 141 of the operation unit 140 have.

이상에서 살펴본 바와 같이, 일 실시예에 따르면 착용자는 아바타를 이용하여서 가상 공간 영상에 존재하는 특정 객체에 사전에 정의된 동작을 수행하도록 할 수 있다. As described above, according to one embodiment, the wearer can use avatars to perform a predefined operation on a specific object existing in the virtual space image.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and changes may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as falling within the scope of the present invention.

일 실시예에 따르면, 가상 공간에서 헤드 마운티드 디스플레이의 착용자는 자신의 의사를 아바타를 통하여 반영할 수 있다.According to one embodiment, the wearer of the head-mounted display in the virtual space can reflect his or her intention through the avatar.

100: 헤드 마운티드 디스플레이100: Head-mounted display

Claims (12)

착용자의 움직임을 감지하는 센서부와,
가상 공간 영상과 상기 감지된 움직임을 나타내는 움직임 정보를 표시하는 영상 표시부와,
복수 개의 움직임 정보 및 상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작에 대한 정보를 저장하는 저장부와,
상기 착용자로부터 컨펌 입력을 받아들이는 조작부와,
상기 표시된 움직임 정보에 맵핑되어 있는 동작에 대한 정보를 상기 저장부로부터 획득하며, 상기 조작부가 받아들인 컨펌 입력에 따라서 상기 획득된 정보에 따른 동작이 상기 가상 공간 영상에서 수행되거나 수행되지 않도록 제어하는 제어부를 포함하는
헤드 마운티드 디스플레이.A sensor unit for detecting movement of the wearer,
An image display unit for displaying a virtual space image and motion information indicating the sensed motion,
A storage unit for storing information on a plurality of pieces of motion information and an operation mapped to each of the plurality of pieces of motion information,
An operation unit for accepting a confirm input from the wearer;
A control unit for acquiring information on an operation mapped to the displayed motion information from the storage unit and for controlling the operation according to the obtained information according to a consult input accepted by the operation unit, Containing
Head-mounted display. 제 1 항에 있어서,
상기 영상 표시부는,
상기 복수 개의 움직임 정보 중에서 상기 착용자의 머리 움직임에 대응되는 움직임 정보를 표시하는
헤드 마운티드 디스플레이.The method according to claim 1,
The image display unit includes:
And displaying motion information corresponding to head movement of the wearer among the plurality of motion information
Head-mounted display. 제 2 항에 있어서,
상기 영상 표시부는,
상기 착용자의 머리 움직임에 대응되는 움직임 정보를 자이로(gyro) 형상으로 표시하는
헤드 마운티드 디스플레이.3. The method of claim 2,
The image display unit includes:
And displays the motion information corresponding to the head movement of the wearer in the form of a gyro
Head-mounted display. 제 1 항에 있어서,
상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작은,
상기 가상 공간 영상에서 상기 착용자에 대응되는 아바타의 표정을 나타내는 것을 포함하는
헤드 마운티드 디스플레이.The method according to claim 1,
Wherein the motion mapped to each of the plurality of motion information comprises:
And displaying the expression of the avatar corresponding to the wearer in the virtual space image
Head-mounted display. 제 1 항에 있어서,
상기 저장부에 저장된 동작은,
상기 복수 개의 움직임 정보 및 상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작에 대한 정보를 상기 가상 공간 영상에서 상기 착용자에게 제공되도록 표시하는 것을 포함하는
헤드 마운티드 디스플레이.The method according to claim 1,
The operation stored in the storage unit may include:
And displaying information about an action mapped to each of the plurality of motion information and the plurality of motion information to be provided to the wearer in the virtual space image
Head-mounted display. 제 1 항에 있어서,
상기 조작부는 상기 착용자로부터 준비 완료 입력을 받아들이고,
상기 영상 표시부는 상기 가상 공간 영상에 기 정의된 표식을 표시한 뒤, 상기 착용자가 행한, 상기 센서부에 의해 감지된 움직임에 대한 움직임 정보를 표시하는
헤드 마운티드 디스플레이.The method according to claim 1,
The operation unit accepts a preparation completion input from the wearer,
Wherein the image display unit displays a predefined mark on the virtual space image and displays motion information on the motion sensed by the sensor unit by the wearer
Head-mounted display. 가상 공간 영상에서 동작이 수행되도록 하는 방법으로서, 상기 방법은 헤드 마운티드 디스플레이(head mounted display)에 의해 수행되며,
상기 가상 공간 영상을 표시하는 단계와,
착용자의 움직임을 감지하는 단계와,
상기 감지된 움직임을 나타내는 움직임 정보를 표시하는 단계와,
상기 표시된 움직임 정보에 맵핑되어 있는 동작에 대한 정보를, 상기 헤드 마운티드 디스플레이에 기 저장되어 있는 복수 개의 움직임 정보 및 상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작에 대한 정보 중에서 획득하는 단계와,
상기 착용자로부터 컨펌 입력을 받아들이는 단계와,
상기 컨펌 입력에 따라서 상기 획득된 정보에 따른 동작이 상기 가상 공간 영상에서 수행되거나 수행되지 않도록 제어하는 단계를 포함하는
가상 공간 영상에서 동작이 수행되도록 하는 방법.A method for causing an operation to be performed in a virtual space image, the method being performed by a head mounted display,
Displaying the virtual space image,
Sensing a movement of the wearer,
Displaying motion information indicating the sensed motion,
Obtaining information on an operation mapped to the displayed motion information from among a plurality of motion information stored in the head-mounted display and information about an operation mapped to each of the plurality of motion information;
Accepting a confirm input from the wearer;
And controlling the operation according to the obtained information according to the confirm input to be performed or not performed in the virtual space image
A method for allowing an operation to be performed in a virtual space image. 제 7 항에 있어서,
상기 움직임 정보를 표시하는 단계는,
상기 복수 개의 움직임 정보 중에서 상기 착용자의 머리 움직임에 대응되는 움직임 정보를 표시하는
가상 공간 영상에서 동작이 수행되도록 하는 방법.8. The method of claim 7,
Wherein the step of displaying the motion information comprises:
And displaying motion information corresponding to head movement of the wearer among the plurality of motion information
A method for allowing an operation to be performed in a virtual space image. 제 8 항에 있어서,
상기 움직임 정보를 표시하는 단계는,
상기 착용자의 머리 움직임에 대응되는 움직임 정보를 자이로(gyro) 형상으로 표시하는
가상 공간 영상에서 동작이 수행되도록 하는 방법.9. The method of claim 8,
Wherein the step of displaying the motion information comprises:
And displays the motion information corresponding to the head movement of the wearer in the form of a gyro
A method for allowing an operation to be performed in a virtual space image. 제 7 항에 있어서,
상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작은,
상기 가상 공간 영상에서 상기 착용자에 대응되는 아바타의 표정을 나타내는 것을 포함하는
가상 공간 영상에서 동작이 수행되도록 하는 방법.8. The method of claim 7,
Wherein the motion mapped to each of the plurality of motion information comprises:
And displaying the expression of the avatar corresponding to the wearer in the virtual space image
A method for allowing an operation to be performed in a virtual space image. 제 7 항에 있어서,
상기 기 저장된 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작은,
상기 복수 개의 움직임 정보 및 상기 복수 개의 움직임 정보 각각에 맵핑되어 있는 동작에 대한 정보를 상기 가상 공간 영상을 통해 상기 착용자에게 제공되도록 표시하는 것을 포함하는
가상 공간 영상에서 동작이 수행되도록 하는 방법.8. The method of claim 7,
Wherein the motion mapped to each of the plurality of previously stored motion information includes:
And displaying information about an operation mapped to each of the plurality of pieces of motion information and the plurality of pieces of motion information to be provided to the wearer through the virtual space image
A method for allowing an operation to be performed in a virtual space image. 제 7 항에 있어서,
상기 방법은,
상기 착용자로부터 준비 완료 입력을 받아들이는 단계와,
상기 가상 공간 영상에 기 정의된 표식을 표시하는 단계를 더 포함하고,
상기 움직임 정보를 표시하는 단계는,
상기 표식이 상기 가상 공간 영상에 표시된 이후에 상기 착용자가 행함으로써 감지된 움직임에 대한 움직임 정보를 표시하는
가상 공간 영상에서 동작이 수행되도록 하는 방법.8. The method of claim 7,
The method comprises:
Accepting a ready input from the wearer;
Further comprising the step of displaying a predefined marker in the virtual space image,
Wherein the step of displaying the motion information comprises:
And displays the motion information on the motion sensed by the wearer after the mark is displayed on the virtual space image
A method for allowing an operation to be performed in a virtual space image.
KR1020170143281A 2017-10-31 2017-10-31 Head mounted display and method for executing action in virtual environment using the same KR102461024B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143281A KR102461024B1 (en) 2017-10-31 2017-10-31 Head mounted display and method for executing action in virtual environment using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143281A KR102461024B1 (en) 2017-10-31 2017-10-31 Head mounted display and method for executing action in virtual environment using the same

Publications (2)

Publication Number Publication Date
KR20190048370A true KR20190048370A (en) 2019-05-09
KR102461024B1 KR102461024B1 (en) 2022-10-31

Family

ID=66545956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143281A KR102461024B1 (en) 2017-10-31 2017-10-31 Head mounted display and method for executing action in virtual environment using the same

Country Status (1)

Country Link
KR (1) KR102461024B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061256A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 System and method for on-line fighting aaction game using tracker
KR20100000174A (en) * 2008-06-24 2010-01-06 한국전자통신연구원 Registration method of reference gesture data, operation method of mobile terminal and mobile terminal
KR20110002005A (en) 2008-01-17 2011-01-06 비복스 인크. Scalable techniques for providing real-time per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments
KR20150002786A (en) * 2012-04-16 2015-01-07 퀄컴 인코포레이티드 Interacting with a device using gestures
KR20170089228A (en) * 2016-01-26 2017-08-03 이재민 Method for controlling a virtual reality head mounted display using smart phone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061256A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 System and method for on-line fighting aaction game using tracker
KR20110002005A (en) 2008-01-17 2011-01-06 비복스 인크. Scalable techniques for providing real-time per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments
KR20100000174A (en) * 2008-06-24 2010-01-06 한국전자통신연구원 Registration method of reference gesture data, operation method of mobile terminal and mobile terminal
KR20150002786A (en) * 2012-04-16 2015-01-07 퀄컴 인코포레이티드 Interacting with a device using gestures
KR20170089228A (en) * 2016-01-26 2017-08-03 이재민 Method for controlling a virtual reality head mounted display using smart phone

Also Published As

Publication number Publication date
KR102461024B1 (en) 2022-10-31

Similar Documents

Publication Publication Date Title
JP6057396B2 (en) 3D user interface device and 3D operation processing method
JP5936155B2 (en) 3D user interface device and 3D operation method
JP6288372B2 (en) Interface control system, interface control device, interface control method, and program
JP5871345B2 (en) 3D user interface device and 3D operation method
CN109416580A (en) Selection to the object in three-dimensional space
CN108700982B (en) Information processing apparatus, information processing method, and program
CN117441362A (en) Indication of remote control pairs with remote device functionality
JP5843340B2 (en) 3D environment sharing system and 3D environment sharing method
KR20160128119A (en) Mobile terminal and controlling metohd thereof
US20120176370A1 (en) Storage medium encoded with display control program, display, display system, and display control method
US20190377474A1 (en) Systems and methods for a mixed reality user interface
CN108431667A (en) Information processing unit, information processing method and program
JPWO2016158000A1 (en) Information processing apparatus, information processing method, and information processing system
EP3389020A1 (en) Information processing device, information processing method, and program
CN111949128A (en) Information processing method, program for causing computer to execute the information processing method, and computer
KR20220042126A (en) Apparatus for providing virtual fitting and method for providing the same
JP6122537B1 (en) Information processing method and program for causing computer to execute information processing method
US20150185852A1 (en) Ring mobile device and operation method of the same
CN110113659A (en) Generate method, apparatus, electronic equipment and the medium of video
WO2019142560A1 (en) Information processing device for guiding gaze
WO2018128542A1 (en) Method and system for providing information of an animal
KR20190048370A (en) Head mounted display and method for executing action in virtual environment using the same
CN107928668A (en) Body composition measuring device and the mobile terminal with its wireless connection
EP3677995B1 (en) Display device, display method, program, and non-temporary computer-readable information storage medium
CN107317986A (en) Terminal installation, information acquiring system and its information acquisition method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant