KR20220025618A - Method for providing reality feeling learning contents based on user behavior - Google Patents

Method for providing reality feeling learning contents based on user behavior Download PDF

Info

Publication number
KR20220025618A
KR20220025618A KR1020200111520A KR20200111520A KR20220025618A KR 20220025618 A KR20220025618 A KR 20220025618A KR 1020200111520 A KR1020200111520 A KR 1020200111520A KR 20200111520 A KR20200111520 A KR 20200111520A KR 20220025618 A KR20220025618 A KR 20220025618A
Authority
KR
South Korea
Prior art keywords
user
content
card
learning content
cards
Prior art date
Application number
KR1020200111520A
Other languages
Korean (ko)
Other versions
KR102616505B1 (en
Inventor
박정호
조민영
Original Assignee
주식회사 듀코젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 듀코젠 filed Critical 주식회사 듀코젠
Publication of KR20220025618A publication Critical patent/KR20220025618A/en
Application granted granted Critical
Publication of KR102616505B1 publication Critical patent/KR102616505B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

Disclosed is a method for providing real feel learning content based on a user behavior. The present invention provides a method for providing real feel learning content based on a user behavior, performed by a virtual reality (VR) content providing computer interlinked with a head mounted display (HMD) and a VR controller for an input by both hands, comprising the steps of: displaying an inventory, including interest items of a user who wears the HMD, at the top of a screen in the direction which the user is looking at; selecting a plurality of pieces of VR content to be recommended to the corresponding user based on the behavioral data of the user and determining a recommendation order for each piece of VR content; arranging cards in the form of thumbnails representing the selected VR content at the bottom of the inventory, while alternately placing the cards on the right and the left side of the screen with a difference in distance according to the recommendation order, and placing the cards preferentially on the right side or the left side of the screen depending on whether the user is right-handed or left-handed; acquiring preview data of VR content corresponding to a clicked card when a user's gesture of clicking one of the cards by opening the finger is detected through the VR controller; and overlaying the preview data on the card in a size greater than that of the card and reproducing the preview data in the form of a hologram. The present invention enables a user to manipulate VR content by a convenient operation.

Description

사용자 행동 기반의 실감 학습 콘텐츠 제공 방법{Method for providing reality feeling learning contents based on user behavior}Method for providing reality feeling learning contents based on user behavior}

본 발명은 VR 콘텐츠(Virtual Reality Contents)의 제공 방법에 대한 것으로, 더 구체적으로는 사용자가 VR HMD(Virtual Reality Head Mounted Display)를 쓰고 양손에 VR 콘트롤러(Controller)를 잡고 실감 학습 콘텐츠를 저작하거나 체험함에 있어서 편리하게 작업할 수 있도록 VR 콘텐츠를 사용자 맞춤형으로 효율적으로 표시하는 방법에 대한 것이다.The present invention relates to a method of providing VR contents (Virtual Reality Contents), and more specifically, a user wears a VR HMD (Virtual Reality Head Mounted Display) and holds VR controllers in both hands to author or experience realistic learning contents It is about a method of efficiently displaying VR contents in a user-customized manner so that users can work conveniently in the process.

실감형 콘텐츠란 다양한 센서를 이용해서 사람의 제스처, 모션, 음성 등 행위를 인식하고 분석하는 기술을 활용하여 가상의 디지털 콘텐츠를 실제의 물체처럼 조작할 수 있게 만든 디지털 콘텐츠를 말한다.Immersive content refers to digital content that uses various sensors to recognize and analyze human gestures, motions, and voices, so that virtual digital content can be manipulated like real objects.

근래에는 온라인 학습에 대한 수요가 증가하고 있으며 온라인 학습 콘텐츠 저작시 실감형으로 제작되는 경우도 많아지고 있다.In recent years, the demand for online learning is increasing, and there are more cases where online learning content is produced in a realistic way.

종래의 실감 학습 콘텐츠 저작 도구나 재생 도구에 따르면 사용자의 취향이나 선호도에 따라 사용자별로 적절한 리소스나 콘텐츠를 추천해주고 효율적으로 원하는 아이템을 선택할 수 있는 사용자 인터페이스가 부족한 실정이다.According to a conventional sensory learning content authoring tool or a reproduction tool, there is a lack of a user interface that can efficiently select a desired item by recommending an appropriate resource or content for each user according to the user's taste or preference.

본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 사용자가 로그인할 때마다 자신의 최신 관심사 및 취향이 반영된 VR 콘텐츠 리스트를 추천하며, 가장 선순위로 추천된 VR 콘텐츠를 가장 조작하기 쉬운 위치에 배치하여 사용자 편의를 도모할 수 있는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 마련하고자 한다.The present invention is to solve the problems of the prior art as described above, and every time a user logs in, a list of VR contents reflecting his/her latest interests and tastes is recommended, and the most convenient location for operating the highest-priority recommended VR contents It is intended to provide a method for providing sensory learning content based on user behavior to promote user convenience by placing it in

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, HMD(Head Mounted Display) 및 양손 입력을 위한 VR 콘트롤러(Virtual Reality Controller)와 연동하는 VR 콘텐츠 제공용 컴퓨터가, 상기 HMD를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 상기 사용자가 바라보는 방향의 화면 상단에 표시하는 단계; 상기 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정하는 단계; 상기 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 상기 인벤토리의 하단에 배열하되, 상기 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치하고 상기 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 상기 화면의 우측 또는 좌측에 우선적으로 배치하는 단계; 상기 VR 콘트롤러를 통해 상기 사용자가 손가락을 펴서 상기 카드 중 하나를 클릭하는 제스처가 감지되면, 상기 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하는 단계; 및 상기 획득된 미리보기 데이터를 상기 선택된 카드보다 큰 사이즈로 상기 선택된 카드에 오버레이하여 홀로그램 형태로 재생하는 단계;를 포함할 수 있다.In order to achieve the above object, a method for providing sensory learning content based on user behavior according to an embodiment of the present invention is a VR that works with a Head Mounted Display (HMD) and a VR controller for both hands input (Virtual Reality Controller) displaying, by the computer for content provision, an inventory including items of interest of the user wearing the HMD on the top of the screen in the direction the user is looking; selecting a plurality of VR contents to be recommended to a corresponding user based on the user's behavior data and determining a recommendation order for each VR contents; Thumbnail-type cards representing the selected VR content are arranged at the bottom of the inventory, and placed alternately on the right and left sides of the screen according to the recommendation order, with a distance difference, and depending on whether the user is right-handed or left-handed arranging preferentially on the right or left side of the screen; acquiring preview data of VR content corresponding to the clicked card when a gesture of clicking one of the cards by the user spreading a finger is detected through the VR controller; and overlaying the obtained preview data on the selected card in a size larger than that of the selected card to reproduce the obtained preview data in the form of a hologram.

상기 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, 상기 VR 콘트롤러를 통해 상기 사용자가 상기 카드 중 하나를 손으로 움켜쥐는 제스처가 감지되면, 해당 카드의 사이즈를 축소하여 상기 사용자의 손에 쥐어지도록 표시하는 단계; 및 상기 VR 콘트롤러를 통해 상기 사용자가 손에 쥔 카드를 상기 인벤토리에 던져 넣는 제스처가 감지되면, 해당 카드를 상기 인벤토리 내부로 이동시키고 나머지 카드들을 재배치하는 단계;를 더 포함할 수 있다.In the method for providing sensory learning content based on user behavior, when a gesture of the user grasping one of the cards with a hand is detected through the VR controller, the size of the corresponding card is reduced and displayed to be held in the user's hand step; and when a gesture of throwing the card in the user's hand into the inventory is sensed through the VR controller, moving the card into the inventory and rearranging the remaining cards.

상기 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, 상기 사용자가 최초 로그인시 선택한 관심 있는 실감 학습 콘텐츠의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서 수집되는 정보, 상기 사용자의 방문 이력, 상기 사용자가 체험한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함할 수 있다.The method for providing sensory learning content based on user behavior includes: information about the type of sensory learning content that the user is interested in selected when logging in for the first time; information collected in the process of the user playing and learning the sensory learning content; The method may further include generating behavior data of the user by using at least one of a visit history, metadata of sensory learning content experienced by the user, and personal information about the user.

상기 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법은, 상기 사용자가 최초 로그인시 선택한 관심 있는 VR 리소스의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 저작하는 과정에서 수집되는 정보, 상기 사용자가 반복 사용한 VR 리소스의 메타데이터, 상기 사용자가 저작한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함할 수 있다.In the method for providing sensory learning content based on user behavior, information on the type of VR resource of interest selected by the user at initial login, information collected in the process of authoring the sensory learning content by the user, and VR repeatedly used by the user The method may further include generating behavior data of the user by using at least one of resource metadata, sensory learning content metadata authored by the user, and personal information about the user.

본 발명에 의하면, 사용자는 로그인시 자신의 최신 관심사 및 취향이 반영된 추천 VR 콘텐츠 리스트를 볼 수 있으며, 가장 선순위로 추천된 VR 콘텐츠가 편한 손에 가까이 배치되므로 가장 편한 동작으로 VR 콘텐츠를 조작할 수 있다.According to the present invention, a user can view a list of recommended VR contents reflecting his/her latest interests and tastes when logging in, and since the highest-priority recommended VR contents are placed close to a comfortable hand, VR contents can be manipulated with the most comfortable operation. there is.

도 1은 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 설명하기 위한 순서도이다.
도 3 내지 도 12는 본 발명의 일 실시예에 따라 사용자 행동 기반의 실감 학습 콘텐츠를 제공하기 위한 사용자 인터페이스를 예시한 것이다.1 is a diagram for explaining the configuration of a system for providing sensory learning content based on user behavior according to an embodiment of the present invention.
2 is a flowchart illustrating a method for providing sensory learning content based on user behavior according to an embodiment of the present invention.
3 to 12 are diagrams illustrating a user interface for providing sensory learning content based on user behavior according to an embodiment of the present invention.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "... means", "... unit", and "module" described in the specification mean a unit that processes at least one function or operation, which is implemented in hardware or software, or is implemented in hardware and software. It can be implemented as a combination of

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

도 1은 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 시스템의 구성을 설명하기 위한 도면이다.1 is a diagram for explaining the configuration of a system for providing sensory learning content based on user behavior according to an embodiment of the present invention.

도 1을 참조하면, VR(Virtual Reality) 장비는 HMD(Head Mounted Display, 110) 및 양손 입력을 위한 VR 콘트롤러(VR Controller, 120, 130)를 포함하며, VR 장비는 VR 콘텐츠를 사용자에게 제공하는 VR 콘텐츠 제공 장치(100)와 연동하여 VR 콘텐츠의 저작 및 재생을 위한 입출력 기능을 수행한다.Referring to FIG. 1 , the VR (Virtual Reality) equipment includes a Head Mounted Display (HMD) 110 and VR controllers (VR Controllers, 120, 130) for input with both hands, and the VR equipment provides VR contents to the user. In conjunction with the VR content providing device 100, an input/output function for authoring and reproducing VR content is performed.

본 발명에서 VR 콘텐츠는 VR 환경 내에서 학습 환경을 지원하는 실감 학습 콘텐츠와 이를 저작하는데 사용되는 VR 리소스(Resource)를 포함할 수 있다.In the present invention, VR content may include sensory learning content supporting a learning environment within the VR environment and VR resources used for authoring the same.

VR 콘텐츠 제공 장치(100)는 VR 콘트롤러(120, 130)를 통한 사용자의 입력에 따라 VR 리소스 즉, 인물 또는 사물을 나타내는 적어도 하나의 오브젝트를 가상 공간에 추가하고 편집하여 실감 학습 콘텐츠를 생성한다. 또한, VR 콘텐츠 제공 장치(100)는 사용자의 시선 이동 및 VR 콘트롤러(120, 130)를 통한 입력에 따라 복수의 VR 콘텐츠를 사용자에게 추천하고 사용자가 선택한 VR 콘텐츠의 미리보기, 체험, 인벤토리 저장 등이 가능하도록 제어한다.The VR content providing apparatus 100 generates sensory learning content by adding and editing VR resources, ie, at least one object representing a person or thing, to a virtual space according to a user input through the VR controllers 120 and 130 . In addition, the VR content providing apparatus 100 recommends a plurality of VR contents to the user according to the user's gaze movement and input through the VR controllers 120 and 130, and previews the VR contents selected by the user, experiences, inventory storage, etc. control to make this possible.

HMD(110)는 사용자가 눈에 착용하는 장비로 VR 영상의 원점을 기준으로 사용자의 회전이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지부와 감지된 시선에 따라 VR 영상 구동 중 대응하는 시야 영역을 표시하는 표시부를 구비할 수 있다. 감지부는, HMD(110)의 회전을 감지하기 위해 각속도 센서, 자이로 센서 등을 구비할 수 있으며, 눈의 방향(시선)이나 움직임을 감지하는 아이트래킹 센서 등을 구비할 수 있다.The HMD 110 is a device worn by the user on the eyes. A sensor that detects the user's gaze based on the user's rotation or eye movement based on the origin of the VR image, and a corresponding sensor while driving the VR image according to the detected gaze A display unit for displaying a viewing area may be provided. The sensing unit may include an angular velocity sensor, a gyro sensor, and the like to detect the rotation of the HMD 110 , and an eye tracking sensor that detects the direction (line of sight) or movement of the eye.

VR 콘트롤러(120, 130)는 사용자로부터 선택 신호, 조작 신호 등을 입력받는 구성으로서, 다양한 조작 버튼과 사용자 손의 제스처를 인식할 수 있는 구성요소를 포함할 수 있다. VR 콘트롤러(120, 130)는 왼손에 쥐고 사용하는 제1 콘트롤러(120)와 오른손에 쥐고 사용하는 제2 콘트롤러(130)로 구성될 수 있으며, 왼손과 오른손에 의한 버튼 누름, 각 손가락의 펼침, 각 손가락의 오므림, 손의 움직임 등의 제스처를 인식할 수 있다.The VR controllers 120 and 130 are configured to receive a selection signal, a manipulation signal, and the like from a user, and may include various manipulation buttons and components capable of recognizing a user's hand gesture. The VR controllers 120 and 130 may be composed of a first controller 120 held and used in the left hand and a second controller 130 held in the right hand, pressing a button by the left and right hands, spreading each finger, Gestures such as closure of each finger and hand movement can be recognized.

VR 콘텐츠 제공 장치(100)는 VR 콘텐츠의 선택, 생성 및 재생을 지원하는 컴퓨팅 장치로, 사용자 인터페이스 제공부(101), VR 콘텐츠 생성부(102), VR 콘텐츠 재생부(103), 사용자정보 저장부(104), 실감 학습 콘텐츠 저장부(105), VR 리소스 저장부(106)를 포함할 수 있다. The VR content providing device 100 is a computing device that supports selection, creation, and playback of VR content, and includes a user interface providing unit 101 , a VR content generating unit 102 , a VR content playing unit 103 , and storing user information. It may include a unit 104 , a sensory learning content storage unit 105 , and a VR resource storage unit 106 .

사용자 인터페이스 제공부(101)는 VR 콘텐츠 제공을 위한 GUI(Graphic User Interface)를 VR 공간에 표시한다. 구체적으로, 실감 학습 콘텐츠의 생성을 위한 VR 리소스의 선택 및 편집, 사용자별 맞춤형 VR 콘텐츠 추천, VR 콘텐츠의 선택 및 미리보기, 사용자별 인벤토리 관리, 사용자의 관심 유형을 포함한 설정 정보 입력 등을 위한 사용자 인터페이스를 생성하여 제공한다.The user interface providing unit 101 displays a graphic user interface (GUI) for providing VR content in the VR space. Specifically, a user for selection and editing of VR resources for creation of realistic learning content, recommendation of customized VR content for each user, selection and preview of VR content, inventory management for each user, input of setting information including the user's interest type, etc. Creates and provides an interface.

VR 콘텐츠 생성부(102)는 사용자의 편집에 따라 VR 콘텐츠를 생성하여 실감 학습 콘텐츠 저장부(105) 및 VR 리소스 저장부(106)에 저장한다. VR 콘텐츠 재생부(103)는 사용자의 입력에 따라 선택된 VR 콘텐츠나 사용자가 편집중인 VR 콘텐츠를 재생하며, VR 영상을 3차원 좌표계에 매칭시켜 구동시킨다.The VR content generator 102 generates VR content according to the user's editing and stores it in the sensory learning content storage 105 and the VR resource storage 106 . The VR content playback unit 103 plays the selected VR content or VR content being edited by the user according to the user's input, and drives the VR image by matching it with the three-dimensional coordinate system.

사용자정보 저장부(104)는 사용자의 성별, 연령, 방문 이력 등의 개인 정보, 사용자가 최초 로그인시 선택한 관심 있는 VR 콘텐츠의 유형에 대한 정보, VR 콘텐츠 사용 이력에 대한 정보, 이들 정보를 통해 수집ㆍ생성ㆍ업데이트되는 행동 데이터 등을 저장한다.The user information storage unit 104 collects personal information such as the user's gender, age, visit history, etc., information on the type of VR content that the user is interested in selected when logging in for the first time, information on the VR content use history, and these information ㆍStoring generated/updated behavior data, etc.

제어부(140)는 다른 구성 요소를 제어하여 VR 콘텐츠 제공 방법을 실행하는 구성으로서, VR 영상 구동 중 사용자에 대한 정보, 사용자의 시선 정보 및 사용자 입력 신호 중 적어도 하나에 기초하여 사용자별 맞춤 서비스를 제공할 수 있다. 특히, 사용자 인터페이스 제공부(101)를 제어하여 사용자별 행동 데이터에 따라 사용자별로 다른 인터페이스 화면을 제공할 수 있다.The controller 140 controls other components to execute a VR content providing method, and provides a customized service for each user based on at least one of information about the user, user gaze information, and user input signal while driving a VR image. can do. In particular, by controlling the user interface providing unit 101, it is possible to provide a different interface screen for each user according to the behavior data for each user.

본 발명에서 사용자는 실감 학습 콘텐츠를 저작하는 저작자(선생님) 또는 실감 학습 콘텐츠를 재생하는 학생 이용자일 수 있다. 저작자는 방을 만들어서 해당 방을 꾸미고 여기서 재생될 실감 학습 콘텐츠를 저작할 수 있으며, 학생 사용자는 방에 참여하여 관심사에 부합하는 실감 학습 콘텐츠를 선택하여 재생할 수 있다.In the present invention, a user may be an author (teacher) who authores sensory learning content or a student user who reproduces sensory learning content. The author can create a room, decorate the room, and author the sensory learning content to be played there, and the student user can participate in the room and select and play the sensory learning content that meets their interests.

본 발명에서 실감 학습 콘텐츠의 저작을 위한 리소스는 썸네일 형태의 카드로 생성되어 저작자에게 제공될 수 있다. 구체적으로, VR 리소스와 관련된 3D 그래픽 데이터, 공간 정보, 시나리오 정보를 카드의 형태로 저장하여 VR 저작 환경 내에서 복제하여 사용하도록 제공할 수 있다. 저작자가 카드를 선택하면 그에 해당하는 VR 리소스가 VR 환경 내에 표현된다. 저작자는 다수의 카드를 조합하고 각 카드의 옵션을 선택하는 방식으로 손쉽게 실감 학습 콘텐츠를 저작할 수 있다.In the present invention, a resource for authoring sensory learning content may be generated as a card in the form of a thumbnail and provided to the author. Specifically, 3D graphic data, spatial information, and scenario information related to VR resources may be stored in the form of a card and provided to be copied and used within the VR authoring environment. When the author selects a card, the corresponding VR resource is expressed in the VR environment. Authors can easily create sensory learning content by combining multiple cards and selecting options for each card.

저작자가 본 발명에 따른 실감 학습 콘텐츠 제공 시스템에 처음 로그인하면 선호하는 리소스의 유형을 선택하도록 사용자 인터페이스를 제공한다. 또한, 저작자가 실감 학습 콘텐츠를 저작하는 과정에서의 행동을 분석하고, 저작된 실감 학습 콘텐츠의 메타데이터, 반복적으로 사용한 리소스 카드의 메타데이터, 저작자의 전공에 대한 정보 등 관련 정보를 수집하고, 수집된 정보를 이용하여 해당 저작자에 대한 행동 데이터를 생성 및 저장하고 관리한다. 다음 로그인시부터는 저작자가 선택한 관심 유형에 기반하되, 해당 저작자의 행동 데이터를 이용하여 새로운 VR 리소스를 VR 환경 내에서 추천한다.When an author logs in to the sensory learning content providing system according to the present invention for the first time, a user interface is provided to select a preferred resource type. In addition, the author analyzes the behavior in the process of authoring sensory learning contents, and collects and collects related information such as metadata of the authored sensory learning contents, metadata of repeatedly used resource cards, and information on the author's major It creates, stores, and manages behavioral data about the corresponding author using the published information. From the next login, new VR resources are recommended within the VR environment based on the type of interest selected by the author, but using the author's behavioral data.

학생 사용자가 본 발명에 따른 실감 학습 콘텐츠 제공 시스템에 처음 로그인하면 선호하는 실감 학습 콘텐츠의 유형을 선택하도록 사용자 인터페이스를 제공한다. 또한, 학생 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서의 행동을 분석하고, 방문 횟수, 체험한 실감 학습 콘텐츠의 메타데이터, 사용자의 성별, 학년 등의 개인 정보 등 관련 정보를 수집하고, 수집된 정보를 이용하여 해당 사용자에 대한 행동 데이터를 생성 및 저장하고 관리한다. 다음 로그인시부터는 사용자가 선택한 관심 유형에 기반하되, 해당 사용자의 행동 데이터를 이용하여 새로운 실감 학습 콘텐츠를 VR 환경 내에서 추천한다.When a student user logs into the sensory learning content providing system according to the present invention for the first time, a user interface is provided to select a preferred type of sensory learning content. In addition, it analyzes the behavior of the student user in the process of learning by playing the sensory learning content, and collects and collects related information such as the number of visits, metadata of the experienced sensory learning content, and personal information such as the user's gender and grade. Creates, stores, and manages behavioral data about the user using the information obtained. From the next login, new sensory learning content is recommended in the VR environment based on the user's selected interest type, but using the user's behavioral data.

상기와 같이 사용자의 행동 데이터에 기반하여 추천되는 VR 리소스 또는 실감 학습 콘텐츠를 VR 환경 내에서 표시할 수 있으며, 사용자는 VR HMD(110)와 콘트롤러(120, 130)를 착용한 상태에서 몇가지 유형의 행동을 통해 원하는 VR 리소스를 선택하거나 실감 학습 콘텐츠를 선택하여 재생할 수 있다.As described above, VR resources or sensory learning contents recommended based on the user's behavior data can be displayed in the VR environment, and the user can use the VR HMD 110 and the controllers 120 and 130 while wearing the VR HMD 110 and the controllers 120 and 130. Through actions, you can select a desired VR resource or select and play realistic learning content.

도 2는 본 발명의 일 실시예에 따른 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 설명하기 위한 순서도이고, 도 3 내지 도 12는 사용자 행동 기반의 실감 학습 콘텐츠를 제공하기 위한 사용자 인터페이스를 예시한 것이다.2 is a flowchart illustrating a method for providing sensory learning content based on user behavior according to an embodiment of the present invention, and FIGS. 3 to 12 illustrate a user interface for providing sensory learning content based on user behavior .

도 2를 참조하면, 단계 S21에서는 HMD(110)를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 사용자가 바라보는 방향의 화면 상단에 표시한다. 인벤토리는 사용자가 소유하거나 관심이 있는 콘텐츠 아이템을 보관하는 장소로 사용자별로 생성되고 관리되는 저장 공간이다.Referring to FIG. 2 , in step S21 , an inventory including items of interest of the user wearing the HMD 110 is displayed on the top of the screen in the direction the user is looking. Inventory is a storage space created and managed for each user as a place to store content items owned or interested by users.

도 3은 HMD(110)를 착용하고 및 콘트롤러(120, 130)를 양손에 쥔 사용자(330)가 시스템에 로그인했을 때 보여지는 VR 화면을 예시한 것으로, 해당 사용자의 관심 항목(310)이 들어있는 인벤토리(300)가 VR 화면의 상단 즉 추천 콘텐츠 리스트(320)의 위에 디스플레이된다.3 illustrates a VR screen that is displayed when a user 330 wearing the HMD 110 and holding the controllers 120 and 130 in both hands logs in to the system, and the user's interest item 310 is included. The existing inventory 300 is displayed on the top of the VR screen, that is, on the recommended content list 320 .

사용자(330)가 왼편을 바라보고 있기 때문에 인벤토리(300)가 디스플레이되는 구체적인 위치는 화면의 좌측 상단이다. 인벤토리(300)에 들어 있는 아이템들은 사용자가 자주 사용하기 때문에 사용자의 시각 방향에서 바로 보이는 쪽에 배치하는 것이 바람직하다. 사용자가 바라보는 방향이 어느 쪽인지는 HMD(110)를 통해 감지될 수 있다.Since the user 330 is looking to the left, a specific location where the inventory 300 is displayed is the upper left of the screen. Since the items in the inventory 300 are frequently used by the user, it is preferable to arrange the items in a direction directly visible from the user's viewing direction. Which direction the user looks at may be detected through the HMD 110 .

인벤토리(300)의 화면상 위치는 사용자(330)가 바라보는 방향이 바뀜에 따라 자동으로 이동될 수 있다. 도 4에 도시된 바와 같이, 사용자(330)가 제자리에 서서 왼쪽을 바라보다가 오른쪽으로 고개를 돌리는 경우 즉 사용자(330)가 왼쪽에서 오른쪽으로 회전하여 방향을 바꾸면 인벤토리(300)도 왼쪽에서 오른쪽으로 이동될 것이다. 이에 따라 인벤토리는 항상 사용자(330)의 눈앞에서 제자리를 유지할 것이므로, 사용자(330)는 현재의 시각 방향에서 인벤토리(300)를 쉽게 확인하고 조작하여 이용할 수 있다.The position on the screen of the inventory 300 may be automatically moved as the direction in which the user 330 looks is changed. As shown in FIG. 4 , when the user 330 stands in place and looks to the left and turns his head to the right, that is, when the user 330 rotates from left to right and changes direction, the inventory 300 is also from left to right will be moved to Accordingly, since the inventory will always be maintained in front of the user 330 , the user 330 can easily check and manipulate the inventory 300 in the current visual direction.

본 발명에서 인벤토리는 사용자의 시선을 따라다니되 머리보다 살짝 위에 위치하므로 눈앞에 표시되는 VR 콘텐츠들을 가리지 않는다.In the present invention, the inventory follows the user's gaze but is located slightly above the head, so it does not cover the VR contents displayed in front of the user.

단계 S22에서는, 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정한다.In step S22, a plurality of VR contents to be recommended to the user are selected based on the user's behavior data, and a recommendation order for each VR contents is determined.

사용자가 학생 이용자인 경우 사용자의 행동 데이터는 해당 사용자가 최초 로그인시 선택한 관심 있는 실감 학습 콘텐츠의 유형에 대한 정보, 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서 수집되는 정보, 사용자의 방문 이력, 사용자가 체험한 실감 학습 콘텐츠의 메타데이터 및 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 생성될 수 있다.If the user is a student user, the user's behavioral data includes information about the type of sensory learning content that the user is interested in selected when logging in for the first time, information collected in the process of the user playing and learning the sensory learning content, the user's visit history, It may be generated using at least one of metadata of sensory learning content experienced by the user and personal information about the user.

사용자가 교사인 경우 사용자의 행동 데이터는 해당 사용자가 최초 로그인시 선택한 관심 있는 VR 리소스의 유형에 대한 정보, 사용자가 실감 학습 콘텐츠를 저작하는 과정에서 수집되는 정보, 사용자가 반복 사용한 VR 리소스의 메타데이터, 사용자가 저작한 실감 학습 콘텐츠의 메타데이터 및 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 생성될 수 있다.If the user is a teacher, the user's behavioral data includes information about the type of VR resource of interest selected by the user at the time of initial login, information collected in the process of authoring the user's sensory learning content, and metadata of the VR resource that the user has repeatedly used. , may be generated using at least one of metadata of sensory learning content authored by the user and personal information about the user.

이와 같이, 사용자의 관심 항목이 선택되면 처음에는 관심 유형의 VR 콘텐츠들을 추천하다가, 이후에는 사용자가 매번 로그인할 때의 사용 이력을 반영하여 행동 데이터를 수집 및 업데이트하고 이를 이용하여 추천할만한 VR 콘텐츠들과 추천 순서를 결정한다. 콘텐츠 추천은 온톨로지(Ontology) 기반 또는 빅데이터 기반 알고리즘에 따라 수행될 수 있다.In this way, when a user's interest item is selected, VR contents of the interest type are initially recommended, and thereafter, behavior data is collected and updated by reflecting the usage history each time the user logs in, and then recommended VR contents are used. and the order of recommendations. Content recommendation may be performed according to an ontology-based or big data-based algorithm.

단계 S23에서는, 추천을 위해 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 인벤토리의 하단에 배열한다. 각 카드는 대응하는 실감 학습 콘텐츠에 대한 메타데이터를 포함할 수 있으며, 이 경우 메타데이터는 장르, 과목, 학습방식, 난이도, 권장 연령 등을 포함할 수 있다. VR 리소스에 대응하는 썸네일 카드의 경우는 VR 리소스와 관련된 3D 그래픽 데이터, 공간 정보, 시나리오 정보를 카드의 형태로 제작한 것일 수 있다.In step S23, thumbnail-type cards representing the VR content selected for recommendation are arranged at the bottom of the inventory. Each card may include metadata for corresponding sensory learning content, and in this case, the metadata may include genre, subject, learning method, difficulty level, recommended age, and the like. In the case of a thumbnail card corresponding to a VR resource, 3D graphic data, spatial information, and scenario information related to the VR resource may be produced in the form of a card.

VR 콘텐츠 카드들은, 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치되고 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 화면의 우측 또는 좌측에 우선적으로 배치될 수 있다.The VR content cards may be alternately disposed on the right and left sides of the screen with a difference in distance according to the recommendation order, and may be preferentially disposed on the right or left side of the screen depending on whether the user is right-handed or left-handed.

도 3을 참조하면, 사용자에게 추천되는 VR 콘텐츠들이 카드(320)로 표시되어 인벤토리(300)의 하단에 배치된다. 화면의 좌측과 우측에 사용자와의 거리 차이가 있도록 카드들을 배치하되, 추천 순서가 높은 것은 가까이에 추천 순서가 낮은 것은 멀리에 해당 카드를 나열할 것이다.Referring to FIG. 3 , VR contents recommended to a user are displayed as a card 320 and arranged at the bottom of the inventory 300 . The cards are arranged so that there is a difference in distance from the user on the left and right sides of the screen, and the cards with a higher recommendation order will be listed nearer and those with a lower recommendation order will be arranged farther away.

또한, 사용자가 오른손잡이인 경우와 왼손잡이인 경우 서로 다른 순서로 VR 콘텐츠 카드들이 배치될 것이다.In addition, the VR content cards will be arranged in a different order when the user is right-handed and when the user is left-handed.

사용자가 오른손잡이인 경우는 추천 순서에 따라 우측-좌측-우측-좌측-ㆍㆍㆍ의 순으로 우측에 우선적으로 배치한다. 도 5는 사용자가 오른손잡이인 경우의 VR 콘텐츠 카드 배치를 예시한 것으로, 우측의 가장 가까이에 배치되는 카드가 추천 순서가 1로 가장 높은 것이고 다음으로 추천 순서가 높은 2번째 카드는 좌측의 가장 가까운 위치에 배치됨을 알 수 있다. 유사한 방법으로 수천 순위가 3번째 및 4번째인 카드는 우측에서 조금 먼 위치 및 좌측에서 조금 먼 위치에 각각 배치되어 있다.If the user is right-handed, it is preferentially placed on the right side in the order of right-left-right-left-··· according to the recommended order. FIG. 5 exemplifies the arrangement of VR content cards when the user is right-handed. The card placed closest to the right has the highest recommendation order of 1, and the second card with the next highest recommendation order is the closest card on the left. It can be seen that the position is placed. In a similar way, the 3rd and 4th cards with a rank of thousands are placed farther from the right and farther from the left, respectively.

사용자가 왼손잡이인 경우는 추천 순서에 따라 좌측-우측-좌측-우측-ㆍㆍㆍ의 순으로 좌측에 우선적으로 배치되고 좌측과 우측에 번갈아 가며 배치될 것이다.In case the user is left-handed, it will be preferentially disposed on the left side in the order of left-right-left-right-···· and alternately on the left and right according to the recommendation order.

단계 S24에서는, VR 콘트롤러를 든 사용자의 제스처를 인식한다.In step S24, the gesture of the user holding the VR controller is recognized.

도 6을 참조하면, 사용자가 오른쪽 또는 왼쪽 눈앞에 표시된 VR 콘텐츠들을 가리키며 손바닥을 편 상태로 손을 쭉 밀어서 뒤로 보낼 수 있다. 이때 좌우의 콘텐츠들이 동시에 뒤고 밀려 나갈 것이다. 손바닥을 편 동작을 하는지 여부는 양손에 착용하고 있는 콘트롤러(120, 130)를 통해 인식될 수 있다.Referring to FIG. 6 , the user may point to the VR contents displayed in front of the right or left eye and slide the hand back with the palm open. At this time, the contents on the left and right will be pushed back and pushed out at the same time. Whether or not the palm is opened may be recognized through the controllers 120 and 130 worn on both hands.

VR 콘트롤러(120, 130)를 통해 사용자가 손가락을 펴서 상기 카드 중 하나를 클릭하는 제스처가 감지되면, 단계 S25로 이행하여 사용자가 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하고, 획득된 미리보기 데이터를 카드보다 큰 사이즈로 카드에 오버레이하여 홀로그램 형태로 재생한다.When a gesture of clicking one of the cards by the user with an extended finger is detected through the VR controller 120, 130, the process proceeds to step S25 to obtain and obtain preview data of the VR content corresponding to the card clicked by the user The preview data is overlaid on the card in a larger size than the card and played in the form of a hologram.

도 7은 사용자가 손(700)의 손가락 하나를 펴서 소정의 카드(710)를 눌러주는 경우를 예시한 것이다. 제어부(140)는 이를 소정 카드(710)에 대한 클릭으로 인식하며, 해당 입력에 대한 응답으로 카드(710)에 대응하는 VR 콘텐츠의 미리보기를 재생할 것이다.7 exemplifies a case in which the user presses a predetermined card 710 by spreading one finger of the hand 700 . The controller 140 recognizes this as a click on the predetermined card 710 and plays a preview of the VR content corresponding to the card 710 in response to the input.

도 8은 선택된 카드(710)의 미리보기를 재생하는 화면을 예시한 것으로, 미리보기 데이터(800)를 카드(710) 위치보다 조금 아래에 카드(710) 사이즈보다 조금 더 크게 홀로그램처럼 재생하는 모습을 보여준다.8 is an example of a screen for playing a preview of the selected card 710, and the preview data 800 is reproduced like a hologram slightly below the position of the card 710 and slightly larger than the size of the card 710 shows

사용자는 미리보기를 재생해보고 마음에 들면 해당 VR 콘텐츠를 재생하여 체험하거나 인벤토리(300)에 던져 넣을 수 있다.The user can play the preview and if he likes it, he can play and experience the VR content or throw it into the inventory 300 .

VR 콘트롤러(120, 130)를 통해 사용자가 카드 중 하나를 손으로 움켜쥐는 제스처가 감지되면, 단계 S26으로 이행하여 해당 카드의 사이즈를 축소하여 사용자의 손에 쥐어지도록 표시한다.When a gesture of the user grasping one of the cards is detected through the VR controllers 120 and 130, the process proceeds to step S26, and the size of the corresponding card is reduced and displayed to be held in the user's hand.

도 9 및 도 10을 참조하면, 사용자가 손으로 카드(900)를 움켜쥐는 동작을 하였을 때 VR 환경상 눈앞에 커다랗게 표시되는 카드(900)가 앞으로 쑥 밀려나오고 크기가 작아지면서 작은 카드(900')로 변형되어 손에 쥐어지는 모습으로 사용자 인터페이스가 표시됨을 알 수 있다9 and 10 , when the user grips the card 900 with his/her hand, the card 900 displayed in a large size in front of his/her eyes in the VR environment is pushed forward and the size of the small card 900' is reduced. ), and you can see that the user interface is displayed in the shape of being held in the hand.

VR 콘트롤러(120, 130)를 통해 사용자에 손에 쥔 카드를 인벤토리에 던져 넣는 제스처가 감지되면, 단계 S27로 이행하여 해당 카드를 인벤토리 내부로 이동시키고, 단계 S28에서는 나머지 카드들을 재배치한다.When the gesture of throwing the card in the user's hand into the inventory is detected through the VR controllers 120 and 130, the process proceeds to step S27 to move the card into the inventory, and in step S28, the remaining cards are rearranged.

도 11은 사용자가 손에 쥔 카드(900')를 인벤토리로 던져 넣었을 때 해당 아이템(900〃)이 인벤토리로 이동하고 해당 카드의 뒤쪽에 배치되어 있던 카드들이 앞으로 당겨 오면서 채워지는 모습을 도시한 것이다.11 is a diagram illustrating a state in which the corresponding item (900〃) moves to the inventory when the user throws the card 900' in his hand into the inventory, and the cards placed on the back of the card are filled as they are pulled forward. .

사용자가 인벤토리에서 아이템(900〃)을 꺼내어 오른쪽이나 왼쪽 눈앞에 놓으면, 해당 위치에 아이템(900〃)에 대응하는 카드가 삽입되고 다른 카드들이 한칸씩 밀려나 재배치될 것이다.When the user takes an item (900〃) from the inventory and places it in front of the right or left eye, a card corresponding to the item (900〃) is inserted in the corresponding position, and other cards are pushed one by one and rearranged.

추천되는 VR 콘텐츠가 많은 경우 동시에 2줄 이상으로 배치될 수 있다.If there are many recommended VR contents, they can be arranged in two or more lines at the same time.

도 12는 VR 콘텐츠 카드들이 2줄로 배치되는 예를 도시한 것이다.12 illustrates an example in which VR content cards are arranged in two rows.

도 12의 예에서, 사용자의 눈높이(1200)를 기준으로 가까운 쪽에 추천 순위가 높은 카드가 우선 배치될 수 있다. 오른쪽 아래가 1순위, 오른쪽 위가 2순위, 왼쪽 아래가 3순위, 왼쪽 위가 4순위로 카드 배치가 해당 순서에 따라 수행될 것이다.In the example of FIG. 12 , a card having a high recommendation rank may be preferentially disposed closer to the user's eye level 1200 . Card placement will be performed according to the order in which the lower right is the 1st, the upper right is the 2nd, the lower left is the 3rd, and the upper left is the 4th.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. belong to the scope of the right.

본 발명은 VR 콘텐츠 재생 기술 분야에 적용될 수 있다.The present invention can be applied to the field of VR content reproduction technology.

100: VR 콘텐츠 제공 장치
140: 제어부
101: 사용자 인터페이스 제공부
102: VR 콘텐츠 생성부
103: VR 콘텐츠 재생부
104: 사용자정보 저장부
105: 실감 학습 콘텐츠 저장부
106: VR 리소스 저장부
110: HMD
120: 제1 콘트롤러
130: 제2 콘트롤러100: VR content providing device
140: control unit
101: user interface providing unit
102: VR content generation unit
103: VR content playback unit
104: user information storage unit
105: sensory learning content storage unit
106: VR resource storage
110: HMD
120: first controller
130: second controller

Claims (5)

HMD(Head Mounted Display) 및 양손 입력을 위한 VR 콘트롤러(Virtual Reality Controller)와 연동하는 VR 콘텐츠 제공용 컴퓨터가,
상기 HMD를 착용한 사용자의 관심 항목을 포함하는 인벤토리를 상기 사용자가 바라보는 방향의 화면 상단에 표시하는 단계;
상기 사용자의 행동 데이터에 기초하여 해당 사용자에게 추천할 복수의 VR 콘텐츠를 선정하고 각 VR 콘텐츠에 대한 추천 순서를 결정하는 단계;
상기 선정된 VR 콘텐츠를 나타내는 썸네일 형태의 카드들을 상기 인벤토리의 하단에 배열하되, 상기 추천 순서에 따라 화면의 우측 및 좌측에 번갈아가며 거리 차이를 두어 배치하고 상기 사용자가 오른손잡이인지 왼손잡이인지 여부에 따라 상기 화면의 우측 또는 좌측에 우선적으로 배치하는 단계;
상기 VR 콘트롤러를 통해 상기 사용자가 손가락을 펴서 상기 카드 중 하나를 클릭하는 제스처가 감지되면, 상기 클릭한 카드에 대응하는 VR 콘텐츠의 미리보기 데이터를 획득하는 단계; 및
상기 획득된 미리보기 데이터를 상기 선택된 카드보다 큰 사이즈로 상기 선택된 카드에 오버레이하여 홀로그램 형태로 재생하는 단계;를 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.A computer for providing VR content that works with HMD (Head Mounted Display) and a VR controller (Virtual Reality Controller) for both hands input,
displaying an inventory including items of interest of the user wearing the HMD on the top of the screen in the direction the user is looking;
selecting a plurality of VR contents to be recommended to a corresponding user based on the user's behavior data and determining a recommendation order for each VR contents;
Thumbnail-type cards representing the selected VR content are arranged at the bottom of the inventory, and placed alternately on the right and left sides of the screen according to the recommendation order, with a distance difference, and depending on whether the user is right-handed or left-handed arranging preferentially on the right or left side of the screen;
acquiring preview data of VR content corresponding to the clicked card when a gesture of clicking one of the cards by the user spreading a finger is detected through the VR controller; and
and overlaying the obtained preview data on the selected card in a size larger than that of the selected card to reproduce the obtained preview data in the form of a hologram. 제1항에 있어서,
상기 VR 콘트롤러를 통해 상기 사용자가 상기 카드 중 하나를 손으로 움켜쥐는 제스처가 감지되면, 해당 카드의 사이즈를 축소하여 상기 사용자의 손에 쥐어지도록 표시하는 단계; 및
상기 VR 콘트롤러를 통해 상기 사용자가 손에 쥔 카드를 상기 인벤토리에 던져 넣는 제스처가 감지되면, 해당 카드를 상기 인벤토리 내부로 이동시키고 나머지 카드들을 재배치하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.The method of claim 1,
when a gesture of the user grasping one of the cards with a hand is detected through the VR controller, reducing the size of the card and displaying it to be held in the user's hand; and
When a gesture of throwing the card in the user's hand into the inventory is detected through the VR controller, moving the card into the inventory and relocating the remaining cards; of providing realistic learning content. 제1항에 있어서,
상기 사용자가 최초 로그인시 선택한 관심 있는 실감 학습 콘텐츠의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 재생하여 학습하는 과정에서 수집되는 정보, 상기 사용자의 방문 이력, 상기 사용자가 체험한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.According to claim 1,
Information on the type of sensory learning content that the user is interested in selected when logging in for the first time, information collected while the user plays and learns the sensory learning content, visit history of the user, and sensory learning content experienced by the user Generating the behavior data of the user by using at least one of metadata and personal information about the user; the method for providing sensory learning content based on user behavior further comprising the steps of: 제1항에 있어서,
상기 사용자가 최초 로그인시 선택한 관심 있는 VR 리소스의 유형에 대한 정보, 상기 사용자가 실감 학습 콘텐츠를 저작하는 과정에서 수집되는 정보, 상기 사용자가 반복 사용한 VR 리소스의 메타데이터, 상기 사용자가 저작한 실감 학습 콘텐츠의 메타데이터 및 상기 사용자에 대한 개인 정보 중 적어도 하나를 이용하여 상기 사용자의 행동 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법.According to claim 1,
Information on the type of VR resource of interest selected by the user when logging in for the first time, information collected in the process of authoring the sensory learning content by the user, metadata of the VR resource repeatedly used by the user, sensory learning authored by the user The method of providing sensory learning content based on user behavior further comprising; generating the behavior data of the user by using at least one of metadata of the content and personal information about the user. 제1항 내지 제4항 중 어느 한 항의 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법을 수행하기 위해 기록매체에 기록된 컴퓨터 프로그램.
A computer program recorded on a recording medium to perform the method for providing sensory learning content based on user behavior according to any one of claims 1 to 4.
KR1020200111520A 2020-08-24 2020-09-02 Method for providing reality feeling learning contents based on user behavior KR102616505B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200106101 2020-08-24
KR20200106101 2020-08-24

Publications (2)

Publication Number Publication Date
KR20220025618A true KR20220025618A (en) 2022-03-03
KR102616505B1 KR102616505B1 (en) 2023-12-21

Family

ID=80818935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200111520A KR102616505B1 (en) 2020-08-24 2020-09-02 Method for providing reality feeling learning contents based on user behavior

Country Status (1)

Country Link
KR (1) KR102616505B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130140896A (en) * 2012-03-06 2013-12-24 애플 인크. Application for viewing images
KR101910074B1 (en) * 2018-05-17 2018-10-19 이희주 Method, apparatus and computer program for preschool education contents
JP2019101457A (en) * 2017-11-28 2019-06-24 株式会社コロプラ Method executed by computer for providing information via head mount device, program for causing computer to execute the same, and information processing device
KR102141841B1 (en) * 2020-01-30 2020-08-06 주식회사 트리플 System and method for providing customized contents based on behavior pattern analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130140896A (en) * 2012-03-06 2013-12-24 애플 인크. Application for viewing images
JP2019101457A (en) * 2017-11-28 2019-06-24 株式会社コロプラ Method executed by computer for providing information via head mount device, program for causing computer to execute the same, and information processing device
KR101910074B1 (en) * 2018-05-17 2018-10-19 이희주 Method, apparatus and computer program for preschool education contents
KR102141841B1 (en) * 2020-01-30 2020-08-06 주식회사 트리플 System and method for providing customized contents based on behavior pattern analysis

Also Published As

Publication number Publication date
KR102616505B1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US11520477B2 (en) Augmented reality scrollbar
US20230266859A1 (en) Eclipse cursor for virtual content in mixed reality displays
US10586391B2 (en) Interactive virtual reality platforms
CN104081319B (en) Message processing device and information processing method
US11747896B2 (en) Methods and systems of extended reality environment interaction based on eye motions
Lilija et al. Who put that there? temporal navigation of spatial recordings by direct manipulation
US11392198B2 (en) Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) Methods and systems of extended reality environment interaction based on eye motions
CN111064999B (en) Method and system for processing virtual reality input
US11609629B2 (en) Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) Methods and systems of extended reality environment interaction based on eye motions
Pongnumkul et al. Creating map-based storyboards for browsing tour videos
Pittarello Experimenting with PlayVR, a virtual reality experience for the world of theater
Gillies et al. Embodied design of full bodied interaction with virtual humans
KR102616505B1 (en) Method for providing reality feeling learning contents based on user behavior
Ren et al. Interactive virtual percussion instruments on mobile devices
US20240112418A1 (en) XR World Build Capture and Playback Engine
Zeches Rotation Methods for 360° Videos in Virtual Reality-A Comparative Study
WO2022086577A1 (en) Methods and systems of extended reality environment interaction based on eye motions
Savvidou Evaluation of different interaction concepts to manipulate the viewing direction of 360-degree videos in a desktop environment
Collares et al. Soundanchoring: content-based exploration of music collections with anchored self-organized maps
Byam Best practices and metrics for virtual reality user interfaces
WO2024072608A1 (en) Xr world build capture and playback engine
Guerra et al. Designing a User Interface for Musical Gameplay
Veugen 3D Content Discovery UI

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant