KR102088335B1 - Mixed reality-based learning game providing system that can simultaneously learn and exercise - Google Patents

Mixed reality-based learning game providing system that can simultaneously learn and exercise Download PDF

Info

Publication number
KR102088335B1
KR102088335B1 KR1020190038108A KR20190038108A KR102088335B1 KR 102088335 B1 KR102088335 B1 KR 102088335B1 KR 1020190038108 A KR1020190038108 A KR 1020190038108A KR 20190038108 A KR20190038108 A KR 20190038108A KR 102088335 B1 KR102088335 B1 KR 102088335B1
Authority
KR
South Korea
Prior art keywords
game
learning
user
unit
touch
Prior art date
Application number
KR1020190038108A
Other languages
Korean (ko)
Inventor
김한종
박치성
권희진
Original Assignee
주식회사 마이베네핏
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마이베네핏 filed Critical 주식회사 마이베네핏
Priority to KR1020190038108A priority Critical patent/KR102088335B1/en
Application granted granted Critical
Publication of KR102088335B1 publication Critical patent/KR102088335B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a mixed reality-based learning game providing system capable of enabling simultaneous learning and exercising comprising an image output unit, an image projection unit, a motion guide provision unit, a motion detection unit, a game control unit, and a feedback provision unit. According to the present invention, body movements for game play can be induced and a user can use muscles of various parts of his or her body.

Description

학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템{MIXED REALITY-BASED LEARNING GAME PROVIDING SYSTEM THAT CAN SIMULTANEOUSLY LEARN AND EXERCISE}A mixed reality-based learning game providing system capable of learning and exercising at the same time {MIXED REALITY-BASED LEARNING GAME PROVIDING SYSTEM THAT CAN SIMULTANEOUSLY LEARN AND EXERCISE}

본 발명은 학습 게임 제공 시스템에 관한 것으로서, 보다 구체적으로는 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에 관한 것이다.The present invention relates to a learning game providing system, and more particularly, to a learning game providing system based on a mixed reality capable of learning and exercising simultaneously.

현대인들은 의자에 앉아 있는 시간이 길고, 여가 시간에 휴대 단말기나 컴퓨터를 사용해 게임을 하거나 영화를 보는 등 여가를 즐길 때도 앉아 있는 경우가 많아서, 신체 활동이 부족한 문제가 있다. 특히, 활발한 신체 활동이 필요한 어린이 또는 청소년들도 학습 위주의 교육 시스템으로 인하여, 학업 및 여가 시간에 충분히 신체 활동을 하지 못하는 경우가 많다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 기술이 필요하다. 그러나, 실내 체육 시설의 부족, 협소한 공간 등으로 실내 체육 활동으로는 충분한 신체 활동이 부족하게 되는 한계가 있다.
Modern people have a long time sitting on a chair, and they often sit while enjoying leisure, such as playing a game or watching a movie using a mobile terminal or a computer in their spare time. In particular, children or adolescents in need of vigorous physical activity often fail to sufficiently engage in physical activity during school and leisure time due to a learning-oriented education system. In addition, as outdoor activities are limited due to rapid weather changes, environmental pollution, and fine dust, there is a need for a technique capable of performing sufficient physical activity indoors. However, due to the lack of indoor sports facilities and a limited space, indoor sports activities have a limitation of insufficient physical activity.

한편, 단순한 운동이나 학습은 사용자가 쉽게 지루함을 느끼고 꾸준히 계속하기가 어렵기 때문에, 게임 형태로 운동이나 학습을 제공하는 기술이 개발되어 왔다. 이와 관련된 기술로서, 한국등록특허 제10-1390213호(발명의 명칭: 사용자의 움직임을 이용한 운동 겸용 게임장치, 공고 일자: 2014년 07월 09일) 등이 개시된 바 있다. 그러나 선행기술과 같이, 게임과 운동을 결합하거나, 게임과 학습을 결합하고 있을 뿐, 학습과 운동을 동시에 할 수 있는 기술은 아직까지 개발된 바가 없다. 특히, 성장 단계에 따라 적절한 운동이 필요함에도 불구하고, 학습에 중점을 맞추어 충분한 신체 활동 시간이 보장되지 못하는 어린이 또는 청소년들을 위해, 학습과 운동을 동시에 할 수 있는 기술의 개발이 필요한 실정이다.
On the other hand, since simple exercise or learning is easily bored by the user and difficult to continue steadily, a technique for providing exercise or learning in the form of a game has been developed. As a related technology, Korean Patent Registration No. 10-1390213 (invention name: a game device for exercise using a user's movement, announcement date: July 09, 2014) has been disclosed. However, as in the prior art, the technology that combines game and exercise or combines game and learning, and can simultaneously learn and exercise, has not been developed. In particular, despite the need for proper exercise depending on the stage of growth, for children or adolescents who are unable to ensure sufficient physical activity time by focusing on learning, it is necessary to develop a technique capable of simultaneously learning and exercising.

한편, 본 발명과 관련된 선행기술로서, 한국등록특허 제10-1881774호(발명의 명칭: 외국어 리듬 동작 감지 센서 기반의 운동 학습 장치, 그리고 이를 이용한 운동 학습 방법, 공고 일자: 2018년 07월 25일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Korean Registered Patent No. 10-1881774 (Invention name: a motion learning device based on a foreign language rhythm motion detection sensor, and a motion learning method using the same, announcement date: July 25, 2018 ) Has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 영상 출력부 및 영상 투사부를 통해 혼합 현실 기반으로 학습 게임 콘텐츠를 제공함으로써, 게임 플레이를 위한 신체 움직임을 유도할 수 있고, 영상 출력부와 영상 투사부를 학습 게임 콘텐츠에 따라 적절하게 활용하여, 하나의 학습 게임 제공 시스템을 이용해 다양한 동작을 유도하고, 사용자가 신체 여러 부위의 근육을 사용하도록 하며, 게임 플레이에 따라 학습뿐 아니라, 협응성, 민첩성 등을 기를 수 있는, 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템을 제공하는 것을 그 목적으로 한다.
The present invention is proposed to solve the above problems of the previously proposed methods, by providing learning game content based on mixed reality through an image output unit and an image projection unit, it is possible to induce body movement for game play. In addition, the image output unit and the image projection unit are appropriately used according to the learning game content to induce various motions using a single learning game providing system, allowing the user to use muscles of various parts of the body, and learning according to the game play. In addition, the object of the present invention is to provide a system for providing a learning game based on a mixed reality capable of learning and exercising at the same time, which can foster coordination and agility.

또한, 본 발명은, 게임 플레이를 돕기 위한 동작 가이드를 영상 출력부 및 영상 투사부 중 적어도 하나 이상을 통해 제공함으로써, 사용자가 직관적으로 정확하게 동작을 수행하도록 할 수 있고, 복수의 사용자에게 동시에 학습 게임 콘텐츠를 제공하여 가장 높은 게임 스코어를 달성한 사용자를 우승자로 선정함으로써, 사용자 사이에 경쟁심을 유발하여 학습 효과를 높일 수 있는, 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention, by providing an operation guide for helping the game play through at least one of the image output unit and the image projection unit, it is possible for the user to intuitively and accurately perform the operation, a plurality of users simultaneously learning game By providing the content and selecting the user who achieved the highest game score as the winner, providing a mixed reality-based learning game providing system capable of learning and exercising at the same time, which can increase the learning effect by inducing competition among users For another purpose.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템은,A system for providing a learning game based on a mixed reality capable of simultaneously learning and exercising according to the features of the present invention for achieving the above object,

사용자의 전면에서 학습 게임 콘텐츠를 혼합 현실 기반으로 출력하는 영상 출력부;A video output unit for outputting learning game content based on a mixed reality from the front of the user;

상기 학습 게임 콘텐츠에 따라 바닥면을 포함하는 미리 정해진 위치에 학습 게임 플레이를 위한 정보를 투사하는 영상 투사부;An image projection unit that projects information for learning game play to a predetermined location including a bottom surface according to the learning game content;

상기 학습 게임 콘텐츠에 따라, 게임 플레이를 돕기 위한 동작 가이드를 상기 영상 출력부 및 영상 투사부 중 적어도 하나 이상을 통해 제공하는 동작 가이드 제공부;An operation guide providing unit providing an operation guide for assisting game play through at least one of the image output unit and the image projection unit according to the learning game content;

카메라 모듈을 통해 상기 사용자의 동작을 감지하는 동작 감지부;A motion detection unit that detects the user's motion through a camera module;

상기 영상 출력부 및 영상 투사부를 통해 상기 학습 게임 콘텐츠를 제공하되, 상기 동작 감지부에서 감지한 상기 사용자의 동작으로부터 사용자 입력 정보를 추출하고, 추출된 사용자 입력 정보를 이용해 상기 학습 게임 콘텐츠를 제어하는 게임 제어부; 및Providing the learning game content through the image output unit and the image projection unit, extracting user input information from the user's motion detected by the motion detection unit, and controlling the learning game content using the extracted user input information Game control unit; And

상기 게임 제어부의 게임 제어에 따라, 상기 영상 출력부 및 영상 투사부 중 적어도 하나 이상을 통해 게임 스코어를 포함하는 피드백을 제공하는 피드백 제공부를 포함하는 것을 그 구성상의 특징으로 한다.
In accordance with the game control of the game control unit, it comprises a feedback providing unit for providing feedback including a game score through at least one of the image output unit and the image projection unit.

바람직하게는,Preferably,

상기 게임 제어부는, 복수의 사용자에게 동시에 상기 학습 게임 콘텐츠를 제공하며,The game control unit simultaneously provides the learning game content to a plurality of users,

상기 피드백 제공부는, 상기 게임 스코어를 포함하는 피드백을 상기 복수의 사용자에게 제공하고, 상기 복수의 사용자 중에서 가장 높은 게임 스코어를 달성한 사용자를 우승자로 선정할 수 있다.
The feedback providing unit may provide feedback including the game score to the plurality of users, and select a user who has achieved the highest game score among the plurality of users as a winner.

바람직하게는,Preferably,

상기 학습 게임 콘텐츠는, 단어 학습을 위한 카드 찾기 게임이며,The learning game content is a card search game for learning words,

상기 게임 제어부는,The game control unit,

상기 영상 출력부를 통해 학습 카드를 출력한 다음, 상기 학습 카드를 포함하는 복수의 보기 카드를 매트릭스 형태로 출력하는 게임 출력 모듈;A game output module that outputs a learning card through the image output unit and then outputs a plurality of viewing cards including the learning card in a matrix form;

상기 동작 감지부에서 감지한 사용자의 동작으로부터, 상기 복수의 보기 카드 사이의 이동 또는 선택을 사용자 입력 정보로 추출하는 입력 정보 추출 모듈; 및An input information extraction module for extracting movement or selection between the plurality of viewing cards as user input information from a user's motion detected by the motion detector; And

상기 추출된 사용자 입력 정보를 이용해, 상기 매트릭스 형태로 출력된 복수의 보기 카드 사이에서 위치 이동 또는 선택을 처리하며, 사용자에 의해 선택된 보기 카드와 상기 학습 카드의 일치 여부를 판단하여 정답인지 판단하고, 게임 스코어를 부여하는 게임 플레이 모듈을 포함할 수 있다.
Using the extracted user input information, processing a position movement or selection between a plurality of view cards output in the matrix form, determining whether the view card selected by the user matches the learning card, and determining whether the answer is correct, It may include a game play module that gives a game score.

더욱 바람직하게는, 상기 입력 정보 추출 모듈은,More preferably, the input information extraction module,

위, 아래, 오른쪽 및 왼쪽을 포함하는 이동 및 선택을 포함하는 군에서 선택된 어느 하나를 사용자 입력 정보로 추출할 수 있다.
Any one selected from the group including movement and selection including up, down, right, and left may be extracted as user input information.

바람직하게는,Preferably,

상기 학습 게임 콘텐츠는, 컬러공 터치 게임이며,The learning game content is a color ball touch game,

상기 게임 제어부는,The game control unit,

상기 영상 투사부를 통해 바닥면에 미리 정해진 크기의 매트릭스 형태의 발판을 투사하고, 상기 발판 상의 랜덤 위치에 컬러공을 표시하는 게임 출력 모듈;A game output module projecting a matrix-shaped scaffold of a predetermined size on a floor surface through the image projection unit and displaying color balls at random locations on the scaffold;

상기 동작 감지부에서 감지한 사용자의 동작으로부터, 표시된 컬러공을 터치하는 사용자 입력 정보를 추출하는 입력 정보 추출 모듈; 및An input information extraction module for extracting user input information touching the displayed color ball from the user's motion detected by the motion detector; And

상기 추출된 사용자 입력 정보를 이용해, 상기 표시된 컬러공의 터치 수행 성공을 판단하고, 판단 결과에 따라 게임 스코어를 부여하는 게임 플레이 모듈을 포함할 수 있다.
It may include a game play module using the extracted user input information, determining the success of the touch of the displayed color ball, and giving a game score according to the determination result.

더욱 바람직하게는, 상기 게임 제어부는,More preferably, the game control unit,

미리 정해진 시간 동안 상기 학습 게임 콘텐츠를 제공하며, 상기 컬러공의 표시 속도가 시간이 흐름에 따라 빨라지도록 조절할 수 있다.
The learning game content is provided for a predetermined time, and the display speed of the color ball can be adjusted to increase as time passes.

더욱 바람직하게는, 상기 게임 플레이 모듈은,More preferably, the game play module,

상기 컬러공의 색상에 따라, 터치 수행 성공을 판단하는 터치 방식이 서로 상이할 수 있다.
Depending on the color of the color balls, touch methods for determining success of touch may be different from each other.

더더욱 바람직하게는, 상기 터치 방식은,Even more preferably, the touch method,

한 발 터치, 두 발 터치, 한 손 터치, 두 손 터치 및 노 터치를 포함하는 군에서 선택된 어느 하나일 수 있다.It may be any one selected from the group including one foot touch, two foot touch, one hand touch, two hand touch and no touch.

본 발명에서 제안하고 있는 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에 따르면, 영상 출력부 및 영상 투사부를 통해 혼합 현실 기반으로 학습 게임 콘텐츠를 제공함으로써, 게임 플레이를 위한 신체 움직임을 유도할 수 있고, 영상 출력부와 영상 투사부를 학습 게임 콘텐츠에 따라 적절하게 활용하여, 하나의 학습 게임 제공 시스템을 이용해 다양한 동작을 유도하고, 사용자가 신체 여러 부위의 근육을 사용하도록 하며, 게임 플레이에 따라 학습뿐 아니라, 협응성, 민첩성 등을 기를 수 있다.
According to the mixed reality based learning game providing system capable of simultaneously learning and exercising proposed in the present invention, by providing the learning game content based on the mixed reality through the image output unit and the image projection unit, inducing body movement for game play Can be used, and the image output unit and the image projection unit are appropriately used according to the learning game content, inducing various movements using one learning game providing system, allowing the user to use muscles of various parts of the body, and Therefore, you can develop not only learning but also coordination and agility.

또한, 본 발명에서 제안하고 있는 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에 따르면, 게임 플레이를 돕기 위한 동작 가이드를 영상 출력부 및 영상 투사부 중 적어도 하나 이상을 통해 제공함으로써, 사용자가 직관적으로 정확하게 동작을 수행하도록 할 수 있고, 복수의 사용자에게 동시에 학습 게임 콘텐츠를 제공하여 가장 높은 게임 스코어를 달성한 사용자를 우승자로 선정함으로써, 사용자 사이에 경쟁심을 유발하여 학습 효과를 높일 수 있다.In addition, according to the system for providing a learning game based on a mixed reality capable of simultaneously learning and exercising proposed by the present invention, by providing an operation guide for helping a game play through at least one of an image output unit and an image projection unit, a user It is possible to intuitively and accurately perform the operation, and by providing the learning game content to a plurality of users at the same time, by selecting the user who achieved the highest game score as a winner, it is possible to induce competition between users and enhance the learning effect. .

도 1은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템의 외관을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에서, 학습 게임 콘텐츠가 제공되는 영상 출력부를 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템의 실행 모습을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에서, 게임 제어부의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에서, 단어 학습을 위한 카드 찾기 게임이 제공되는 과정을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에서, 컬러공 터치 게임이 제공되는 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템에서, 컬러공 터치 게임이 제공되는 과정을 예를 들어 도시한 도면.1 is a view showing the appearance of a mixed reality-based learning game providing system capable of learning and exercising simultaneously according to an embodiment of the present invention.
FIG. 2 is a diagram showing the configuration of a mixed reality based learning game providing system capable of learning and exercising simultaneously according to an embodiment of the present invention.
3 is a diagram illustrating, for example, an image output unit in which learning game contents are provided in a mixed reality based learning game providing system capable of learning and exercising simultaneously according to an embodiment of the present invention.
4 is a diagram showing an example of execution of a mixed reality based learning game providing system capable of simultaneously learning and exercising according to an embodiment of the present invention.
5 is a diagram illustrating a detailed configuration of a game control unit in a system for providing a learning game based on a mixed reality capable of learning and exercising simultaneously according to an embodiment of the present invention.
6 is a diagram illustrating an example of a process in which a card search game for word learning is provided in a mixed reality based learning game providing system capable of learning and exercising simultaneously according to an embodiment of the present invention.
7 is a diagram illustrating an example in which a color ball touch game is provided in a system for providing a learning game based on a mixed reality capable of simultaneously learning and exercising according to an embodiment of the present invention.
8 is a diagram illustrating an example of a process in which a color ball touch game is provided in a system for providing a learning game based on a mixed reality capable of simultaneously learning and exercising according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily implement the present invention. However, in the detailed description of a preferred embodiment of the present invention, when it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is connected to another part, this includes not only the case of being directly connected, but also the case of being connected indirectly with another element in between. In addition, the inclusion of any component means that other components may be further included rather than excluding other components, unless otherwise stated.

도 1은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 외관을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 구성을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)은, 영상 출력부(110), 영상 투사부(120), 동작 가이드 제공부(140), 동작 감지부(150), 게임 제어부(160) 및 피드백 제공부(170)를 포함하여 구성될 수 있으며, 사용자 인증부(130)를 더 포함하여 구성될 수 있다.
1 is a view showing the appearance of a mixed reality-based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention, and FIG. 2 shows learning and exercising according to an embodiment of the present invention This is a diagram showing the configuration of a system 100 for providing a learning game based on a mixed reality possible at the same time. 1 and 2, a mixed reality based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention includes an image output unit 110 and an image projection unit 120 ), An operation guide providing unit 140, a motion detection unit 150, a game control unit 160, and a feedback providing unit 170, and may further include a user authentication unit 130. have.

본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)을 통해 제공되는 학습 게임 콘텐츠는, 학습 내용을 포함하는 게임의 플레이를 위해 사용자의 다양한 신체 움직임을 유도하여 학습과 운동을 동시에 할 수 있도록 하는 콘텐츠일 수 있다. 이하에서는, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 각 구성요소에 대하여 상세히 설명하도록 한다.
Learning game content provided through a mixed reality based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention, provides various body movements of a user for playing a game including learning content. It may be content that can be induced to learn and exercise at the same time. Hereinafter, each component of the mixed reality based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention will be described.

영상 출력부(110)는, 사용자의 전면에서 학습 게임 콘텐츠를 혼합 현실 기반으로 출력할 수 있다. 도 1에 도시된 바와 같이, 영상 출력부(110)는, 학습 게임 제공 시스템(100)의 전면에 구비되어, 디스플레이를 통해 영상을 출력할 수 있다. 실시예에 따라서는, 영상 출력부(110)는, 터치스크린으로 구성되어 사용자로부터 입력 신호를 수신할 수도 있다.
The video output unit 110 may output the learning game content from the front of the user based on the mixed reality. As shown in FIG. 1, the image output unit 110 is provided on the front surface of the learning game providing system 100 and can output an image through a display. According to an embodiment, the image output unit 110 may be configured as a touch screen and receive an input signal from a user.

특히, 영상 출력부(110)는, 혼합 현실 기반으로 학습 게임 콘텐츠를 출력할 수 있는데, 보다 구체적으로는, 학습 게임 제공 시스템(100)의 전면에 위치하여 사용자의 모습을 촬영하는 카메라 모듈(미도시)과 연동하여, 카메라 모듈에서 촬영된 사용자의 모습을 실시간으로 출력하면서, 각종 학습 게임 콘텐츠를 위한 정보를 혼합 현실로 출력할 수 있다.
In particular, the image output unit 110 may output learning game content based on a mixed reality. More specifically, it is located at the front of the learning game providing system 100, and a camera module (not shown) for photographing a user's appearance City), it is possible to output information for various learning game contents to a mixed reality while outputting a user's appearance taken in the camera module in real time.

도 3은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)에서, 학습 게임 콘텐츠가 제공되는 영상 출력부(110)를 예를 들어 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 영상 출력부(110)는, 혼합 현실 기반으로 사용자의 모습과 함께 학습 게임 콘텐츠를 위한 정보를 출력할 수 있다. 여기서, 학습 게임 콘텐츠를 위한 정보는, 학습을 위한 정보(도 3의 영상 출력부(110)의 좌측 상단에 영어 단어 카드(의자 그림 및 chair) 표시), 운동 동작을 설명하는 레퍼런스 동작 이미지(도 3의 영상 출력부(110)의 하단에 표시), 추후 상세히 설명할 동작 가이드 제공부(140)에 의해 제공되는 동작 가이드(20), 학습 내용 또는 운동 동작의 반복 횟수(도 3의 우측 상단에 표시) 등을 출력할 수 있다. 그밖에, 영상 출력부(110)는, 사용자 정보, 추후 상세히 설명할 동작 감지부(150)에 의해 감지된 사용자의 신체 부위, 정확한 운동 동작을 하는 트레이너 영상, 피드백으로 제공되는 학습 게임 콘텐츠의 플레이 성취도(도 3의 상단에 Excellent 표시), 게임 스코어(도 3의 좌측 하단에 Score 표시) 등을 혼합 현실로 출력할 수 있다.
3 is a diagram illustrating, for example, an image output unit 110 in which learning game contents are provided, in a mixed reality-based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention. . As illustrated in FIG. 3, the video output unit 110 of the mixed reality based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention is based on the mixed reality and the user's appearance. Together, information for learning game content can be output. Here, the information for the learning game content, information for learning (display the English word card (chair figure and chair) on the upper left of the video output unit 110 of FIG. 3), a reference motion image (Fig. Displayed at the bottom of the image output unit 110 of 3), the operation guide 20 provided by the operation guide providing unit 140 to be described in detail later, the number of repetitions of learning content or exercise (at the top right of FIG. 3) Display). In addition, the image output unit 110, the user information, the user's body part detected by the motion detection unit 150 to be described in detail later, the trainer image to perform the correct movement, learning performance of learning game content provided as feedback (Excellent display at the top of FIG. 3), a game score (display of Score at the bottom left of FIG. 3), and the like can be output as mixed reality.

한편, 학습 게임 콘텐츠는, 학습 대상이 되는 단어 카드와 운동 동작을 연결하여, 단어 카드에 대한 학습 효과를 높일 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 영상 출력부(110)를 통해 학습을 위한 chair 단어 카드를 출력하면서, 의자에 앉는 것과 비슷한 운동 동작인 스쿼트 동작을 하도록 구성됨으로써, 정확한 동작 수행을 함에 따라 게임 스코어를 획득할 수 있고, 단어와 동작을 연결하여 학습 효과가 높아지도록 할 수 있다. 실시예에 따라서는, 스피커를 통해 학습 중인 단어 카드의 발음과 뜻을 운동 동작에 맞추어 출력함으로써, 학습 효과를 극대화할 수 있다. 또한, bear 단어 카드를 출력하면서, 엎드려서 손과 발로 이동하는 운동 동작을 하도록 구성하는 등, 사용자가 신체의 다양한 부위의 근육을 사용할 수 있도록 하면서 동시에 학습 효과를 높일 수 있도록, 학습 게임 콘텐츠를 구성할 수 있다.
On the other hand, the learning game content can increase the learning effect on the word card by connecting the word card to be the learning object and the movement motion. For example, as shown in FIG. 3, while outputting the chair word card for learning through the image output unit 110, it is configured to perform a squat motion, which is an exercise motion similar to sitting in a chair, thereby performing accurate motion Accordingly, the game score can be obtained, and the learning effect can be increased by connecting words and actions. Depending on the embodiment, the learning effect can be maximized by outputting the pronunciation and meaning of the word card being learned through the speaker in accordance with the motion. In addition, while outputting the bear word card, it is possible to configure the learning game content so that the user can use the muscles of various parts of the body while simultaneously increasing the learning effect while configuring the movement motion to move on his hands and feet. You can.

영상 투사부(120)는, 학습 게임 콘텐츠에 따라 바닥면을 포함하는 미리 정해진 위치에 학습 게임 플레이를 위한 정보를 투사할 수 있다. 영상 투사부(120)는, 프로젝터로 구현될 수 있으며, 학습 게임 제공 시스템(100)의 전면의 바닥면 등에 영상을 투사하여, 보다 다양한 학습 게임 콘텐츠의 구성이 가능하도록 할 수 있다.
The image projecting unit 120 may project information for learning game play to a predetermined location including a floor surface according to the learning game content. The image projection unit 120 may be implemented as a projector and project an image on the bottom surface of the front surface of the learning game providing system 100 to enable the construction of various learning game contents.

도 4는 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 실행 모습을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 영상 투사부(120)는, 학습 게임 제공 시스템(100)의 전면의 바닥면에 투사 영역(10)에 해당하는 영상 정보를 투사할 수 있다. 투사 영역(10)은, 미리 설정된 크기와 형태일 수 있으며, 사용자가 학습 게임 콘텐츠를 하면서 움직이는 영역으로 동작 감지부(150)에 의해 감지 가능한 영역일 수 있다. 실시예에 따라서는, 영상 투사부(120)는 바닥면 뿐 아니라 벽면에도 영상을 투사할 수 있다.
4 is a diagram showing an example of execution of a mixed reality based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention. As shown in FIG. 4, the image projection unit 120 of the mixed reality based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention, the learning game providing system 100 It is possible to project image information corresponding to the projection area 10 on the front bottom surface. The projection area 10 may be a predetermined size and shape, and may be an area that can be sensed by the motion detection unit 150 as a user moves while learning content. Depending on the embodiment, the image projector 120 may project an image on the wall surface as well as the bottom surface.

또한, 영상 투사부(120)는, 사용자의 발 위치, 손 위치 등에 동작 가이드(20)를 투사하여 운동을 도울 수 있다. 이때, 영상 투사부(120)는, 사용자 정보를 활용하여 사용자의 신체 사이즈에 맞도록 스케일링을 하여, 정확한 동작이 가능하도록 위치 등이 조절된 동작 가이드(20)를 투사할 수 있다. 동작 가이드(20)에 대해서는, 추후 상세히 설명할 동작 가이드 제공부(140)에서 추가적으로 설명하도록 한다.
In addition, the image projection unit 120 may assist the exercise by projecting the motion guide 20 on the user's foot position, hand position, and the like. At this time, the image projection unit 120 may use the user information to scale to fit the user's body size, and project the motion guide 20 whose position and the like are adjusted to enable accurate operation. The operation guide 20 will be further described in the operation guide providing unit 140 which will be described in detail later.

사용자 인증부(130)는, 사용자 식별 정보를 입력받고 사용자를 인증할 수 있다. 사용자 식별 정보는, QR 코드, RFID 태그, NFC 태그 등을 통해 입력받을 수 있으며, 회원 번호 등일 수 있다. 사용자 인증부(130)는, 사용자에게 제공된 회원 코드, 회원 카드 등을 이용하거나, 사용자의 스마트폰, 스마트 워치 등 휴대 단말을 이용하여 사용자 식별 정보를 입력받고 사용자 인증을 할 수 있다. 다만, 나열한 바와 같은 사용자 식별 정보의 종류나 입력 방식에 한정되는 것은 아니다. 사용자 인증을 위해 사용자 인증부(130)는 사용자의 휴대 단말, 예를 들어 스마트폰이 거치될 만한 공간을 가질 수 있다. 사용자 인증부(130)를 통해 사용자 인증이 이루어지면, 인증된 사용자별 개인화 서비스가 제공될 수 있다.
The user authentication unit 130 may receive user identification information and authenticate the user. User identification information may be input through a QR code, RFID tag, NFC tag, or the like, and may be a member number. The user authentication unit 130 may receive user identification information and authenticate the user by using a user code provided to the user, a member card, or the like, or a user's smart phone or smart watch. However, it is not limited to the type or input method of user identification information as listed. For user authentication, the user authentication unit 130 may have a space in which a user's portable terminal, for example, a smartphone is mounted. When user authentication is performed through the user authentication unit 130, a personalized service for each authenticated user may be provided.

동작 가이드 제공부(140)는, 학습 게임 콘텐츠에 따라, 게임 플레이를 돕기 위한 동작 가이드(20)를 영상 출력부(110) 및 영상 투사부(120) 중 적어도 하나 이상을 통해 제공할 수 있다. 이때, 동작 가이드 제공부(140)가 제공하는 동작 가이드(20)는, 정확한 동작을 위한 사용자의 신체 부위의 위치를 나타낼 수 있으며, 게임 플레이를 돕기 위한 동작 방식을 나타낼 수도 있다.
The operation guide providing unit 140 may provide an operation guide 20 for assisting game play through at least one of the image output unit 110 and the image projection unit 120 according to the learning game content. At this time, the operation guide 20 provided by the operation guide providing unit 140 may indicate a location of a user's body part for accurate operation, and may also indicate an operation method to help game play.

즉, 동작 가이드 제공부(140)는, 도 3에 도시된 바와 같이 영상 출력부(110), 또는 도 4에 도시된 바와 같이 영상 투사부(120)를 통해 바닥면 등에 동작 가이드(20)를 출력할 수 있으며, 학습 게임 콘텐츠의 특징에 따라 영상 출력부(110)와 영상 투사부(120) 모두를 통해 동작 가이드(20)를 제공할 수도 있다.
That is, the operation guide providing unit 140, the image output unit 110 as shown in FIG. 3, or the operation guide 20, such as the floor surface through the image projection unit 120 as shown in FIG. It can be output, and the operation guide 20 can be provided through both the image output unit 110 and the image projection unit 120 according to the characteristics of the learning game content.

보다 구체적으로, 동작 가이드 제공부(140)는, 도 3에 도시된 바와 같이, 정확한 운동 동작을 위해 사용자의 신체 부위의 위치를 동작 가이드(20)로 출력할 수 있고, 도 4에 도시된 바와 같이, 게임 플레이를 위한 준비 위치 등을 동작 가이드(20)로 출력할 수도 있다. 실시예에 따라서는, 게임 플레이 시에 사용자 입력 정보를 정확하게 입력할 수 있도록, 사용자의 발, 손, 몸통 및 관절 중 적어도 하나 이상의 신체 부위의 위치, 점프 위치, 이동 위치 등을 동작 가이드(20)로 출력할 수도 있다. 따라서 사용자가 동작 가이드(20)에 따라 정확한 동작을 하고, 운동 효과 및 학습 효과를 극대화하도록 하며, 직관적인 게임 플레이가 가능하도록 할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 사용자는 레퍼런스 동작 이미지를 참조하여, touch here라고 표시된 동그라미로 구현된 동작 가이드(20)에 엉덩이가 닿도록 학습 게임 콘텐츠에 포함된 운동 동작을 수행할 수 있다.
More specifically, as shown in FIG. 3, the operation guide providing unit 140 may output the location of the user's body part to the operation guide 20 for accurate exercise operation, as shown in FIG. 4 Likewise, it is also possible to output the preparation position for game play to the operation guide 20. Depending on the embodiment, in order to accurately input the user input information during game play, the motion guide 20 determines the position, jump position, movement position, etc. of at least one body part of the user's feet, hands, torso, and joints You can also output Therefore, the user can make an accurate operation according to the operation guide 20, maximize the exercise effect and the learning effect, and enable intuitive game play. For example, as shown in FIG. 3, the user performs an exercise motion included in the learning game content so that the hips touch the motion guide 20 implemented in a circle marked touch here with reference to the reference motion image. You can.

특히, 동작 가이드 제공부(140)는, 사용자의 신장 및 신체 부위별 길이를 포함하는 신체 측정 데이터를 기초로, 동작 가이드(20)의 위치를 조절하여 제공할 수 있다. 즉, 사용자마다 신체 크기나 비율 등은 상이할 수 있으므로, 동작 가이드 제공부(140)는 동작 가이드(20)를 신체 사이즈에 맞게 스케일링하여 구체적인 출력 위치를 조절함으로써, 사용자가 학습 게임 콘텐츠에 따라 동작을 하면서 무리한 자세를 하지 않고, 부상 위험을 최소화하여 안전하게 게임 플레이를 하도록 할 수 있다. 예를 들어, 도 3에 도시된 바와 같은 화면에서, 동작 가이드(20)의 높이와 좌우 위치는 사용자에 따라 상이할 수 있다. 실시예에 따라서는, 사용자의 신체 측정 데이터 이외에도, 나이와 건강 상태 등을 고려하는 등, 동작 가이드(20)의 구체적인 위치를 조절하여 제공할 수 있다.
In particular, the operation guide providing unit 140 may adjust and provide the location of the operation guide 20 based on the body measurement data including the user's height and the length of each body part. That is, since the body size or ratio may be different for each user, the motion guide providing unit 140 scales the motion guide 20 to fit the body size to adjust a specific output position, so that the user operates according to the learning game content. While doing so, you can safely play the game by minimizing the risk of injury, without overdoing it. For example, in a screen as illustrated in FIG. 3, the height and left and right positions of the operation guide 20 may be different depending on the user. Depending on the embodiment, in addition to the user's body measurement data, it may be provided by adjusting the specific position of the operation guide 20, such as considering the age and health status.

동작 감지부(150)는, 카메라 모듈을 통해 사용자의 동작을 감지할 수 있다. 여기서, 동작 감지부(150)는, 키넥트(Kinect) 장치와 같은 동작 인식 카메라, 3D 카메라 등을 이용해 사용자의 동작을 감지할 수 있다. 보다 구체적으로, 동작 감지부(150)는, 사용자의 자세를 감지하여 사용자의 스켈레톤 정보를 획득하고, 스켈레톤 정보로부터 손, 발 및 주요 관절 등 25개의 신체 부위를 감지할 수 있다. 이와 같이, 동작 감지부(150)는, 사용자가 별도의 장치를 신체에 착용 또는 부착할 필요 없이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 앞에 있는 것만으로 동작 감지를 할 수 있으므로, 사용자가 편하게 학습 게임을 플레이할 수 있고, 별도의 장치에 소요되는 비용이나 분실의 위험이 없어 경제적이다. 물론, 더욱 정확한 사용자 운동 측정을 위하여 관성 센서, 심박수 측정 센서 등, 각종 센서가 구비된 동작 감지 장치 또는 스마트밴드 등을 추가로 활용할 수 있다.
The motion detector 150 may detect a user's motion through a camera module. Here, the motion detection unit 150 may detect a user's motion using a motion recognition camera such as a Kinect device, a 3D camera, or the like. More specifically, the motion detection unit 150 may detect the user's posture to obtain the user's skeleton information, and may detect 25 body parts such as hands, feet, and major joints from the skeleton information. As described above, the motion detection unit 150 does not require a user to wear or attach a separate device to the body, and provides a mixed reality based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention. Since the motion detection can be performed only by being in front of), the user can conveniently play the learning game and is economical because there is no risk of cost or loss in a separate device. Of course, a motion detection device equipped with various sensors, such as an inertial sensor, a heart rate measurement sensor, or a smart band may be additionally used for more accurate user motion measurement.

또한, 동작 감지부(150)는, 사용자의 신체 부위를 트래킹하여 사용자의 동작을 감지하되, 미리 정해진 비율 이상 트래킹에 실패하면, 사용자의 신체 부위 트래킹을 위해 미리 설정된 준비 자세의 요청을 출력할 수 있다. 즉, 동작 감지부(150)는, 사용자의 신체 부위가 감지되면, 감지된 신체 부위를 트래킹하여 사용자의 동작을 지속적으로 감지할 수 있는데, 동작 감지부(150)가 사용자의 신체 부위를 감지하지 못한 상태에서, 바닥면에 엎드리거나 누운 자세를 취하는 경우에는, 동작 감지부(150)가 사용자 신체 부위를 트래킹할 수 없는 문제가 있다. 따라서 본 발명에서는, 동작 감지부(150)가 획득한 스켈레톤 정보에서 미리 정해진 비율 이상 트래킹에 실패하면, 학습 게임 제공 시스템(100) 앞에서 정면 자세 등, 미리 설정된 준비 자세를 취해달라는 요청을 영상 출력부(110), 영상 투사부(120) 및 스피커 중 적어도 하나 이상을 통해 출력할 수 있다.
In addition, the motion detection unit 150 may detect a user's motion by tracking a user's body part, but if tracking fails more than a predetermined ratio, the motion detection unit 150 may output a request for a preset preparation posture for tracking the user's body part. have. That is, when the user's body part is detected, the motion detector 150 may continuously detect the user's motion by tracking the detected body part, but the motion detector 150 does not detect the user's body part. In an unsuccessful state, when a person is lying on the floor or lying on the floor, there is a problem that the motion detector 150 cannot track a user's body part. Therefore, in the present invention, when the tracking of a predetermined ratio or more in the skeleton information acquired by the motion detection unit 150 fails, the video output unit requests a predetermined preparation posture, such as a frontal posture, in front of the learning game providing system 100. (110), the image projection unit 120 and the speaker may be output through at least one or more.

게임 제어부(160)는, 영상 출력부(110) 및 영상 투사부(120)를 통해 학습 게임 콘텐츠를 제공하되, 동작 감지부(150)에서 감지한 사용자의 동작으로부터 사용자 입력 정보를 추출하고, 추출된 사용자 입력 정보를 이용해 학습 게임 콘텐츠를 제어할 수 있다. 게임 제어부(160)가 추출하는 사용자 입력 정보 및 이를 이용한 제어는, 학습 게임 콘텐츠에 따라 상이할 수 있다. 게임 제어부(160)의 세부적인 구성에 대해서는 추후 도 5를 참조하여 상세히 설명하도록 한다.
The game control unit 160 provides learning game contents through the image output unit 110 and the image projection unit 120, but extracts user input information from the user's motion detected by the motion detection unit 150 and extracts Learning game content can be controlled by using the user input information. The user input information extracted by the game control unit 160 and control using the same may be different according to the learning game content. The detailed configuration of the game control unit 160 will be described in detail later with reference to FIG. 5.

한편, 게임 제어부(160)는 동작 가이드 제공부(140)와 연동하여, 제공되는 학습 게임 콘텐츠에 최적화된 동작 가이드(20)를 제공할 수 있으며, 학습 게임 콘텐츠의 순서에 따라 차례대로 동작 가이드(20)를 제공할 수 있다. 예를 들어, bear 단어 카드를 출력하면서, 엎드려서 손과 발로 이동하는 운동 동작을 하도록 구성된 학습 게임 콘텐츠의 경우, bear 단어 카드는 영상 출력부(110)와 스피커로 출력하고, 손과 발의 위치를 영상 투사부(120)를 통해 바닥면의 투사 영역 내에 동작 가이드(20)로 제공할 수 있으며, 이동하는 동작이 가능하도록 순서에 따라 차례대로 동작 가이드(20)를 제공할 수 있다. 실시예에 따라서는, 복수의 동작 가이드(20) 중에서 현재 동작 시에 사용되는 동작 가이드(20)는 명도, 채도, 깜박임 등을 조절하여 가시성이 높아지도록 함으로써, 직관적으로 쉽게 게임 플레이를 할 수 있도록 동작 가이드(20)를 제공할 수 있다. 이와 같이, 동작 가이드(20)를 이용하여, 사용자가 신체의 다양한 부위의 근육을 사용할 수 있도록 하면서도 학습 효과를 높일 수 있도록, 학습 게임 콘텐츠를 구성할 수 있다.
On the other hand, the game control unit 160 may provide an operation guide 20 optimized for the provided learning game content in conjunction with the operation guide providing unit 140, and sequentially operate the guides according to the order of the learning game contents ( 20). For example, in the case of learning game contents configured to exercise motions that fall on the hands and feet while outputting the bear word card, the bear word card is output to the image output unit 110 and the speaker, and the position of the hands and feet is visualized. Through the projection unit 120 may be provided as the operation guide 20 in the projection area of the bottom surface, it is possible to provide the operation guide 20 in order in order to enable a moving operation. According to an embodiment, among the plurality of operation guides 20, the operation guide 20 used at the time of the current operation controls brightness, saturation, flickering, etc. to increase visibility, so that intuitive game play is easy. An operation guide 20 may be provided. In this way, by using the operation guide 20, the user can use the muscles of various parts of the body, but also can configure the learning game content so as to enhance the learning effect.

또한, 게임 제어부(160)는, 동작 가이드 제공부(140)에 의해 제공되는 동작 가이드(20)의 기준 범위와 사용자 동작을 비교하여, 학습 게임 콘텐츠에서 요구하는 동작을 수행 완료한 것으로 평가할 수 있다. 즉, 추출된 사용자 입력 정보가, 도 3에 도시된 바와 같은 동작 가이드의 표시 범위 내에 위치하여 일치하는 것으로 판단되면, 학습 게임 콘텐츠에서 요구하는 운동 동작을 수행 완료한 것으로 평가하고, 다음 학습 내용이나 다음 운동 동작으로 넘어갈 수 있다.
In addition, the game control unit 160 may compare the reference range of the operation guide 20 provided by the operation guide providing unit 140 with a user operation, and evaluate that the operation required by the learning game content is completed. . That is, if it is determined that the extracted user input information is located within the display range of the motion guide as shown in FIG. 3 and matches, it is evaluated that the exercise motion required by the learning game content is completed, and the next learning content or You can move on to the next exercise.

실시예에 따라서는, 게임 제어부(160)는, 추출된 사용자 입력 정보를 이용해, 미리 저장된 운동 동작에 대한 레퍼런스 동작 데이터와 비교하여 실시간으로 평가할 수 있다. 보다 구체적으로, 게임 제어부(160)는, 동작 감지부(150)에서 스켈레톤 정보로부터 감지한 손, 발 및 주요 관절 등 25개의 신체 부위의 위치, 상대적 위치, 각도 등을, 트레이너 등의 동작 감지를 통해 미리 저장된 레퍼런스 동작 데이터와의 비교를 통해, 실시간 평가를 할 수 있다. 이때, 사용자의 신장 및 신체 부위별 길이를 포함하는 신체 측정 데이터를 기초로, 레퍼런스 동작 데이터를 스케일링하여 사용자 입력 정보와 비교함으로써, 정확한 비교가 가능하도록 할 수 있다.
According to an embodiment, the game controller 160 may evaluate in real time by comparing the reference motion data for a pre-stored exercise motion using the extracted user input information. More specifically, the game control unit 160 detects the position, relative position, angle, etc. of 25 body parts such as hands, feet, and major joints detected by the skeleton information by the motion detection unit 150, and detects motion of a trainer, etc. Through comparison with the reference motion data stored in advance, real-time evaluation can be performed. At this time, based on the body measurement data including the height of each user's body and body parts, the reference motion data may be scaled and compared with the user input information, thereby enabling accurate comparison.

피드백 제공부(170)는, 게임 제어부(160)의 게임 제어에 따라, 영상 출력부(110) 및 영상 투사부(120) 중 적어도 하나 이상을 통해 게임 스코어를 포함하는 피드백을 제공할 수 있다. 보다 구체적으로는, 피드백 제공부(170)는, 게임 제어부(160)의 학습 게임 콘텐츠 제어에 따라, 학습 게임 콘텐츠에 포함된 세부 학습 또는 동작의 수행 여부, 성공 여부, 수행 정확도, 레퍼런스 동작 데이터와 차이나는 신체 부위 등에 대한 피드백을 제공할 수 있다. 이때, 피드백은, 영상 출력부(110)를 통해 디스플레이되는 영상으로 제공될 수 있으나, 스피커 등을 통해 음향으로 제공될 수 있으며, 사용자가 착용한 스마트 워치, 스마트 밴드 등 웨어러블 디바이스를 통해 음향 또는 햅틱으로 제공될 수도 있다.
The feedback providing unit 170 may provide feedback including a game score through at least one of the image output unit 110 and the image projection unit 120 according to game control of the game control unit 160. More specifically, the feedback providing unit 170, according to the learning game content control of the game control unit 160, whether the detailed learning or operation included in the learning game content, whether the success, success, performance accuracy, reference operation data and It can provide feedback on differences in body parts. At this time, the feedback may be provided as an image displayed through the image output unit 110, but may be provided as sound through a speaker or the like, or sound or haptic through a wearable device such as a smart watch or smart band worn by a user. It may also be provided.

특히, 도 3에 도시된 바와 같은 동작을 하는 사용자에게, 무릎을 더 굽히세요 등과 같은 구체적인 지시사항을 담은 음성으로 피드백을 제공하면, 학습 및 운동 동작에 집중한 사용자가 즉각적으로 피드백 내용을 반영할 수 있다. 또한, 영상 출력부(110) 또는 영상 투사부(120)를 통해, 텍스트, 이미지, 색상 등으로 피드백을 제공할 수 있고, 동작 수정이 필요한 사용자의 신체 부위에 표시하여 피드백을 제공할 수도 있다. 예를 들어, 도 3에 도시된 바와 같이, Excellent라는 수행 정확도를 표시하거나, 수행 여부 및 수행 정확도를 이용해 점수를 피드백으로 제공할 수 있다.
In particular, when feedback is provided to a user who performs an operation as illustrated in FIG. 3 with specific instructions such as bend the knee more, a user who focuses on learning and exercise may immediately reflect the feedback. You can. In addition, through the image output unit 110 or the image projection unit 120, it is possible to provide feedback in text, images, colors, etc., and provide feedback by displaying it on a body part of the user who needs to correct the motion. For example, as illustrated in FIG. 3, a performance accuracy of Excellent may be displayed, or a score may be provided as feedback using performance and performance accuracy.

도 5는 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)에서, 게임 제어부(160)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 게임 제어부(160)는, 게임 출력 모듈(161), 입력 정보 추출 모듈(162) 및 게임 플레이 모듈(163)을 포함하여 구성될 수 있다.
5 is a diagram illustrating a detailed configuration of the game controller 160 in the mixed reality based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention. As shown in FIG. 5, the game control unit 160 of the mixed reality based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention includes a game output module 161 and input information It may be configured to include an extraction module 162 and the game play module 163.

즉, 게임 제어부(160)는, 학습 게임 콘텐츠를 영상 출력부(110) 및 영상 투사부(120)를 통해 출력하는 게임 출력 모듈(161), 동작 감지부(150)에서 감지한 사용자의 동작으로부터 사용자 입력 정보를 추출하는 입력 정보 추출 모듈(162), 및 추출된 사용자 입력 정보를 이용해 학습 게임 콘텐츠를 제어하여 게임을 플레이하는 게임 플레이 모듈(163)을 포함하여 구성될 수 있다.
That is, the game control unit 160, the game output module 161 for outputting the learning game content through the image output unit 110 and the image projection unit 120, the motion detection unit 150 detected by the user's motion And an input information extraction module 162 for extracting user input information, and a game play module 163 for controlling the learning game content using the extracted user input information to play the game.

이하에서는, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 게임 제어부(160)를 구성하는 각 구성요소에 대하여, 학습 게임 콘텐츠를 예를 들어 상세히 설명하도록 한다.
Hereinafter, for each component constituting the game control unit 160 of the mixed reality based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention, for example, learning game content This will be explained in detail.

도 6은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)에서, 단어 학습을 위한 카드 찾기 게임이 제공되는 과정을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 게임 제어부(160)에서 제공하는 학습 게임 콘텐츠는, 단어 학습을 위한 카드 찾기 게임일 수 있다.
6 is a diagram illustrating an example of a process in which a card search game for word learning is provided in a mixed reality based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention. As illustrated in FIG. 6, the learning game content provided by the game control unit 160 of the mixed reality-based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention is capable of learning words. It can be a card finding game for.

게임 출력 모듈(161)은, 영상 출력부(110)를 통해 학습 카드를 출력한 다음, 학습 카드를 포함하는 복수의 보기 카드를 매트릭스 형태로 출력할 수 있다. 도 6에 예를 들어 도시된 바와 같이, chair를 학습하는 학습 카드를 영상 출력부(110)를 통해 출력한 다음, chair 학습 카드를 포함하는 총 4개의 보기 카드를 매트릭스 형태로 출력할 수 있다.
The game output module 161 may output a learning card through the image output unit 110 and then output a plurality of viewing cards including a learning card in a matrix form. As illustrated in FIG. 6, for example, a learning card for learning a chair may be output through the image output unit 110, and a total of four viewing cards including a chair learning card may be output in a matrix form.

입력 정보 추출 모듈(162)은, 동작 감지부(150)에서 감지한 사용자의 동작으로부터, 복수의 보기 카드 사이의 이동 또는 선택을 사용자 입력 정보로 추출할 수 있다. 여기서, 입력 정보 추출 모듈(162)은, 위, 아래, 오른쪽 및 왼쪽을 포함하는 이동, 및 선택을 포함하는 군에서 선택된 어느 하나를 사용자 입력 정보로 추출할 수 있다. 예를 들어, 제자리 점프 동작은 위로 이동, 앉았다 일어나는 동작은 아래로 이동, 오른쪽으로 점프하여 이동하는 동작은 오른쪽 이동, 왼쪽으로 점프하여 이동하는 동작은 왼쪽 이동, 옆으로 나란히 후 앞으로 나란히 동작은 선택으로 각각 매칭하고, 감지된 사용자의 동작으로부터 사용자 입력 정보를 추출할 수 있다.
The input information extraction module 162 may extract movement or selection between a plurality of viewing cards as user input information from a user's motion detected by the motion detector 150. Here, the input information extraction module 162 may extract any one selected from the group including movement, and selection including up, down, right, and left as user input information. For example, in-place jump moves up, sit-up moves down, jump-to-right moves to the right, jump-to-left moves to the left, side-to-side and forward-to-side moves are selected. With each matching, user input information can be extracted from the detected user's motion.

게임 플레이 모듈(163)은, 추출된 사용자 입력 정보를 이용해, 매트릭스 형태로 출력된 복수의 보기 카드 사이에서 위치 이동 또는 선택을 처리하며, 사용자에 의해 선택된 보기 카드와 학습 카드의 일치 여부를 판단하여 정답인지 판단하고, 게임 스코어를 부여할 수 있다.
The game play module 163 uses the extracted user input information to process position movement or selection between a plurality of view cards output in a matrix form, and determines whether the view card selected by the user matches the learning card It is possible to judge whether it is the correct answer and to give a game score.

예를 들어, 도 6에 도시된 바와 같이, 사용자가 오른쪽으로 점프하여 이동하는 동작을 하면, 입력 정보 추출 모듈(162)은 오른쪽 이동으로 사용자 입력 정보를 추출하고, 게임 플레이 모듈(163)은, eye 보기 카드에서 오른쪽 이동된 chair 보기 카드로 카드 사이에서 위치 이동이 처리되도록 할 수 있다. 또한, 사용자가 머리 위에서 손뼉을 치는 동작을 하면, 입력 정보 추출 모듈(162)은 현재 위치의 보기 카드를 선택한 것으로 사용자 입력 정보를 추출하고, 게임 플레이 모듈(163)은, chair 보기 카드로 답안을 입력한 것으로 처리할 수 있다.
For example, as illustrated in FIG. 6, when the user jumps to the right and moves, the input information extraction module 162 extracts the user input information by moving to the right, and the game play module 163, From the eye view card, the chair view card moved to the right can be used to process the position movement between cards. In addition, when the user taps his or her hands over the head, the input information extraction module 162 extracts the user input information by selecting the view card of the current location, and the game play module 163 answers the answer with the chair view card. It can be processed as input.

그다음, 게임 플레이 모듈(163)은, 사용자에 의해 선택된 보기 카드와 학습 카드의 일치 여부를 판단하여 정답인지 판단하고, 게임 스코어를 부여할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, chair 보기 카드로 답안이 입력되면, 최초에 제시된 학습 카드와 일치하므로 판단 모듈이 정답으로 판단하고 게임 스코어를 부여할 수 있다. 피드백 모듈은, 정답입니다.라는 글자 또는 음성을 출력하여 피드백을 제공할 수 있으며, 게임 플레이 모듈(163)에 의해 부여된 게임 스코어를 누적하여 영상 출력부(110) 또는 영상 투사부(120)를 통해 제공할 수도 있다.
Thereafter, the game play module 163 may determine whether the view card selected by the user matches the learning card and determine whether the answer is correct, and may give a game score. For example, as illustrated in FIG. 6, if an answer is input to the chair viewing card, the determination module may determine the correct answer and give a game score because the answer matches the initially presented learning card. The feedback module may provide the feedback by outputting the text or voice of 'correct answer', and accumulate the game scores given by the game play module 163 to display the image output unit 110 or the image projection unit 120. It can also be provided through.

도 7은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)에서, 컬러공 터치 게임이 제공되는 모습을 예를 들어 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)에서, 컬러공 터치 게임이 제공되는 과정을 예를 들어 도시한 도면이다. 도 7 및 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)의 게임 제어부(160)에서 제공하는 학습 게임 콘텐츠는, 컬러공 터치 게임일 수 있다.
7 is a diagram illustrating an example in which a color ball touch game is provided in a system 100 for providing a mixed game game based on mixed reality capable of learning and exercising simultaneously according to an embodiment of the present invention, and FIG. In a mixed reality-based learning game providing system 100 capable of simultaneously learning and exercising according to an embodiment of the present invention, it is a diagram illustrating, for example, a process in which a color ball touch game is provided. 7 and 8, the learning game content provided by the game control unit 160 of the mixed reality based learning game providing system 100 capable of learning and exercising simultaneously according to an embodiment of the present invention, It can be a color ball touch game.

게임 출력 모듈(161)은, 영상 투사부(120)를 통해 바닥면에 미리 정해진 크기의 매트릭스 형태의 발판을 투사하고, 발판 상의 랜덤 위치에 컬러공을 표시할 수 있다. 도 7에 예를 들어 도시된 바와 같이, 게임 출력 모듈(161)은 투사 영역(10)에 매트릭스 형태의 발판을 투사하고, 준비 위치에 동작 가이드(20)를 투사하여, 사용자가 게임 준비 시에 서 있어야 할 위치를 정해줄 수 있다. 게임 출력 모듈(161)은, 발판 상의 랜덤 위치에 컬러공을 표시하게 되며, 영상 출력부(110)에 각 컬러공에 따른 지시사항을 표시함으로써, 사용자가 표시된 지시사항에 따라 게임 플레이를 하도록 할 수 있다.
The game output module 161 may project a matrix-shaped scaffold of a predetermined size on the floor surface through the image projector 120 and display color balls at random locations on the scaffold. As illustrated in FIG. 7 for example, the game output module 161 projects a matrix-shaped scaffold onto the projection area 10, and projects an operation guide 20 into a ready position, so that the user is ready to play the game. You can decide where to stand. The game output module 161 displays color balls at random locations on the scaffold, and displays instructions according to each color ball on the image output unit 110 so that the user can play the game according to the displayed instructions. You can.

입력 정보 추출 모듈(162)은, 동작 감지부(150)에서 감지한 사용자의 동작으로부터, 표시된 컬러공을 터치하는 사용자 입력 정보를 추출할 수 있다. 사용자 동작으로부터 매트릭스 형태의 발판 위에서 사용자의 신체 부위의 위치를 감지하여, 사용자의 발이나 손 등이 발판 중 어느 부분을 터치하는지를 사용자 입력 정보로 추출할 수 있다. 예를 들어, 도 8의 세 번째에 도시된 바와 같이, 발판의 좌측 상단 칸에 사용자의 두 발이 터치한 것으로 사용자 입력 정보를 추출할 수 있다.
The input information extraction module 162 may extract user input information touching the displayed color ball from the user's motion detected by the motion detector 150. By detecting the position of the user's body part on the matrix type scaffold from the user's motion, it is possible to extract which part of the scaffold the user's foot or hand touches as user input information. For example, as shown in the third of FIG. 8, the user input information may be extracted as the user's two feet touched the upper left column of the footrest.

게임 플레이 모듈(163)은, 추출된 사용자 입력 정보를 이용해, 표시된 컬러공의 터치 수행 성공을 판단하고, 판단 결과에 따라 게임 스코어를 부여할 수 있다. 이때, 게임 플레이 모듈(163)은, 컬러공의 색상에 따라, 터치 수행 성공을 판단하는 터치 방식이 서로 상이할 수 있고, 터치 방식은, 한 발 터치, 두 발 터치, 한 손 터치, 두 손 터치 및 노 터치를 포함하는 군에서 선택된 어느 하나일 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 파란 공의 경우 터치, 빨간 공의 경우 노 터치로 설정될 수 있으며, 실시예에 따라서는, 파란 공은 두 발 터치, 노란 공은 한 발 터치, 초록 공은 한 손 터치 등으로 다양하게 설정될 수 있다. 게임 플레이 모듈(163)은, 이와 같은 터치 방식 설정에 따라 터치 수행 성공을 판단하고, 판단 결과에 따라 게임 스코어를 부여할 수 있다. 이때, 터치 정확도가 미리 정해진 기준 이상일 때에 터치 수행 성공으로 판단하고, 미리 정해진 기준 미만이면 실패로 판단하여, 컬러공을 지시사항에 따라 정확하게 터치하였을 때 높은 게임 스코어의 획득이 가능하도록 할 수 있다.
The game play module 163 may use the extracted user input information to determine the success of performing the touch of the displayed color ball, and assign a game score according to the determination result. In this case, the game play module 163 may have different touch methods for determining success in performing the touch according to the color of the color ball, and the touch methods include one foot touch, two foot touch, one hand touch, and two hands. It may be any one selected from the group including touch and no touch. For example, as illustrated in FIG. 7, a blue ball may be set as a touch, and a red ball may be set as a no touch. According to an embodiment, the blue ball touches two feet and the yellow ball touches one foot, The green ball can be set in various ways with one hand touch. The game play module 163 may determine the success of the touch according to the setting of the touch method, and may give a game score according to the determination result. At this time, when the touch accuracy is higher than a predetermined criterion, it is determined that the touch is successful, and if the touch accuracy is less than the predetermined criterion, it is determined as a failure, so that when the color ball is accurately touched according to the instruction, high game score can be obtained.

또한, 게임 제어부(160)는, 미리 정해진 시간 동안 학습 게임 콘텐츠를 제공하며, 컬러공의 표시 속도가 시간이 흐름에 따라 빨라지도록 조절할 수 있고, 시간이 경과할수록 다양한 컬러공 패턴이 출력되도록 할 수 있다. 따라서, 학습 게임 콘텐츠를 수행하면서, 사용자는 색상 및 위치 인지 학습뿐 아니라, 협응성, 밸런스, 민첩성 강화 운동을 할 수 있다.
In addition, the game control unit 160 provides learning game content for a predetermined period of time, and the display speed of the color balls can be adjusted to increase with time, and various color ball patterns can be output over time. have. Therefore, while performing the learning game content, the user can perform not only color and position cognitive learning, but also an exercise of enhancing coordination, balance, and agility.

한편, 게임 제어부(160)는, 복수의 사용자에게 동시에 학습 게임 콘텐츠를 제공하며, 피드백 제공부(170)는, 게임 스코어를 포함하는 피드백을 복수의 사용자에게 제공하고, 복수의 사용자 중에서 가장 높은 게임 스코어를 달성한 사용자를 우승자로 선정할 수 있다. 즉, 도 3, 도 6 내지 도 8 등에 도시된 바와 같은 다양한 학습 게임 콘텐츠를 제공함에 있어서, 동일한 학습 게임 콘텐츠를 복수의 사용자에게 제공하여 대결하도록 할 수 있다. 예를 들어, 도 6에 도시된 바와 같은 단어 학습을 위한 카드 찾기 게임의 경우, 가장 빨리 모든 단어 카드에 대한 정답을 맞힌 사용자의 게임 스코어가 가장 높게 되고, 해당 사용자를 우승자로 선정할 수 있다. 이때, 복수의 학습 게임 제공 시스템(100)을 통해 복수의 사용자에게 각각 학습 게임 콘텐츠를 제공할 수 있으며, 실시예에 따라서는, 하나의 학습 게임 제공 시스템(100)으로 둘 이상의 사용자가 동시에 학습 게임 콘텐츠를 이용 가능하도록 할 수도 있다.
Meanwhile, the game control unit 160 provides learning game content to a plurality of users at the same time, and the feedback providing unit 170 provides feedback including a game score to a plurality of users, and the highest game among the plurality of users The user who achieved the score can be selected as the winner. That is, in providing various learning game contents as shown in FIGS. 3, 6 to 8 and the like, it is possible to provide the same learning game contents to a plurality of users to confront. For example, in the case of a card search game for word learning as shown in FIG. 6, the game score of the user who hit the correct answer for all the word cards is the highest, and the user can be selected as the winner. In this case, the learning game content may be provided to a plurality of users through the plurality of learning game providing systems 100, and according to an embodiment, two or more users may simultaneously learn the learning game with one learning game providing system 100. You can also make the content available.

본 발명에서 제안하고 있는 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100)에 따르면, 영상 출력부(110) 및 영상 투사부(120)를 통해 혼합 현실 기반으로 학습 게임 콘텐츠를 제공함으로써, 게임 플레이를 위한 신체 움직임을 유도할 수 있고, 영상 출력부(110)와 영상 투사부(120)를 학습 게임 콘텐츠에 따라 적절하게 활용하여, 하나의 학습 게임 제공 시스템(100)을 이용해 다양한 동작을 유도하고, 사용자가 신체 여러 부위의 근육을 사용하도록 하며, 게임 플레이에 따라 학습뿐 아니라, 협응성, 민첩성 등을 기를 수 있다. 또한, 본 발명에 따르면, 게임 플레이를 돕기 위한 동작 가이드를 영상 출력부(110) 및 영상 투사부(120) 중 적어도 하나 이상을 통해 제공함으로써, 사용자가 직관적으로 정확하게 동작을 수행하도록 할 수 있고, 복수의 사용자에게 동시에 학습 게임 콘텐츠를 제공하여 가장 높은 게임 스코어를 달성한 사용자를 우승자로 선정함으로써, 사용자 사이에 경쟁심을 유발하여 학습 효과를 높일 수 있다.
According to the mixed reality based learning game providing system 100 capable of simultaneously learning and exercising proposed in the present invention, the learning game content is provided based on the mixed reality through the image output unit 110 and the image projection unit 120. By doing so, it is possible to induce body movement for game play, and utilize the image output unit 110 and the image projection unit 120 appropriately according to the learning game content, and use a single learning game providing system 100 for various It induces movement, allows the user to use muscles in various parts of the body, and can develop coordination, agility, etc. as well as learning according to game play. In addition, according to the present invention, by providing an operation guide for helping the game play through at least one of the image output unit 110 and the image projection unit 120, the user can intuitively and accurately perform the operation, By providing learning game content to a plurality of users at the same time, by selecting a user who achieves the highest game score as a winner, it is possible to induce competition between users and enhance the learning effect.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be variously modified or applied by a person having ordinary knowledge in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be defined by the following claims.

10: 투사 영역
20: 동작 가이드
100: 학습 게임 제공 시스템
110: 영상 출력부
120: 영상 투사부
130: 사용자 인증부
140: 동작 가이드 제공부
150: 동작 감지부
160: 게임 제어부
161: 게임 출력 모듈
162: 입력 정보 추출 모듈
163: 게임 플레이 모듈
170: 피드백 제공부10: Projection area
20: Operation Guide
100: learning game providing system
110: video output
120: image projection unit
130: user authentication unit
140: operation guide providing unit
150: motion detector
160: game control
161: game output module
162: input information extraction module
163: gameplay module
170: feedback providing unit

Claims (8)

사용자의 전면에서 학습 게임 콘텐츠를 혼합 현실 기반으로 출력하는 영상 출력부(110);
상기 학습 게임 콘텐츠에 따라 바닥면을 포함하는 미리 정해진 위치에 학습 게임 플레이를 위한 정보를 투사하는 영상 투사부(120);
상기 학습 게임 콘텐츠에 따라, 게임 플레이를 돕기 위한 동작 가이드를 상기 영상 출력부(110) 및 영상 투사부(120) 중 적어도 하나 이상을 통해 제공하는 동작 가이드 제공부(140);
카메라 모듈을 통해 상기 사용자의 동작을 감지하는 동작 감지부(150);
상기 영상 출력부(110) 및 영상 투사부(120)를 통해 상기 학습 게임 콘텐츠를 제공하되, 상기 동작 감지부(150)에서 감지한 상기 사용자의 동작으로부터 사용자 입력 정보를 추출하고, 추출된 사용자 입력 정보를 이용해 상기 학습 게임 콘텐츠를 제어하는 게임 제어부(160); 및
상기 게임 제어부(160)의 게임 제어에 따라, 상기 영상 출력부(110) 및 영상 투사부(120) 중 적어도 하나 이상을 통해 게임 스코어를 포함하는 피드백을 제공하는 피드백 제공부(170)를 포함하며,
상기 동작 감지부(150)는,
사용자의 신체 부위를 트래킹하여 사용자의 동작을 감지하되, 미리 정해진 비율 이상 트래킹에 실패하면, 사용자의 신체 부위 트래킹을 위해 미리 설정된 준비 자세의 요청을 출력하고,
상기 게임 제어부(160)는 상기 동작 가이드 제공부(140)와 연동하여, 제공되는 학습 게임 콘텐츠를 위한 동작 가이드(20)를 제공하며, 상기 학습 게임 콘텐츠의 순서에 따라 차례대로 동작 가이드(20)를 제공하되, 복수의 동작 가이드(20) 중에서 현재 동작 시에 사용되는 동작 가이드(20)는 명도, 채도 또는 깜박임을 조절하여 가시성이 높아지도록 함으로써, 직관적으로 쉽게 게임 플레이를 할 수 있도록 동작 가이드(20)를 제공하며,
상기 게임 제어부(160)는,
상기 동작 가이드 제공부(140)에 의해 제공되는 동작 가이드(20)의 기준 범위와 사용자 동작을 비교하여, 상기 학습 게임 콘텐츠에서 요구하는 동작을 수행 완료한 것으로 평가하고,
상기 학습 게임 콘텐츠는, 컬러공 터치 게임이며,
상기 게임 제어부(160)는,
상기 영상 투사부(120)를 통해 바닥면에 미리 정해진 크기의 매트릭스 형태의 발판을 투사하고, 준비 위치에 동작 가이드(20)를 투사하여, 사용자가 게임 준비 시에 서 있어야 할 위치를 정해주며, 상기 발판 상의 랜덤 위치에 컬러공을 표시하고, 상기 영상 출력부(110)에 각 컬러공에 따른 지시사항을 표시하여 사용자가 표시된 지시사항에 따라 게임 플레이를 하도록 하는 게임 출력 모듈(161);
상기 동작 감지부(150)에서 감지한 사용자의 동작으로부터, 사용자의 발 또는 손이 상기 투사된 발판 중 어느 부분을 터치하는지를 추출하여, 표시된 컬러공을 터치하는 사용자 입력 정보를 추출하는 입력 정보 추출 모듈(162); 및
상기 추출된 사용자 입력 정보를 이용해, 상기 표시된 컬러공의 터치 수행 성공을 판단하고, 판단 결과에 따라 게임 스코어를 부여하는 게임 플레이 모듈(163)을 포함하며,
상기 게임 제어부(160)는,
미리 정해진 시간 동안 상기 학습 게임 콘텐츠를 제공하며, 상기 컬러공의 표시 속도가 시간이 흐름에 따라 빨라지도록 조절하고,
상기 게임 플레이 모듈(163)은,
상기 컬러공의 색상에 따라, 터치 수행 성공을 판단하는 터치 방식이 서로 상이하며, 상기 터치 방식은, 한 발 터치, 두 발 터치, 한 손 터치, 두 손 터치 및 노 터치를 포함하는 군에서 선택된 어느 하나이고, 터치 정확도가 미리 정해진 기준 이상일 때에 터치 수행 성공으로 판단하고, 미리 정해진 기준 미만이면 실패로 판단하는 것을 특징으로 하는, 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100).An image output unit 110 for outputting learning game content based on a mixed reality from the front of the user;
An image projecting unit 120 projecting information for learning game play to a predetermined location including a bottom surface according to the learning game content;
An operation guide providing unit 140 providing an operation guide for assisting game play through at least one of the image output unit 110 and the image projection unit 120 according to the learning game content;
A motion detection unit 150 that detects the user's motion through a camera module;
The learning game content is provided through the image output unit 110 and the image projection unit 120, but user input information is extracted from the user's motion detected by the motion detection unit 150, and the extracted user input A game controller 160 that controls the learning game content using information; And
And a feedback providing unit 170 providing feedback including a game score through at least one of the image output unit 110 and the image projection unit 120 according to the game control of the game control unit 160, ,
The motion detector 150,
Tracking the user's body part to detect the user's motion, but if the tracking fails more than a predetermined ratio, output a request for a preset posture for tracking the user's body part,
The game control unit 160 provides an operation guide 20 for the provided learning game content in cooperation with the operation guide providing unit 140, and the operation guide 20 in turn according to the order of the learning game contents Provided, the motion guide 20 used during the current operation among the plurality of motion guides 20 controls brightness, saturation, or flicker to increase visibility, so that the motion guide can be intuitively played easily ( 20),
The game control unit 160,
Comparing the reference range of the operation guide 20 provided by the operation guide providing unit 140 and a user's operation, evaluates that the operation required by the learning game content is completed,
The learning game content is a color ball touch game,
The game control unit 160,
Through the image projecting unit 120, a matrix-shaped scaffold of a predetermined size is projected on the floor surface, and an operation guide 20 is projected at a preparation position, thereby determining a position where a user should stand when preparing a game, A game output module 161 that displays color balls at random locations on the scaffold and displays instructions according to each color ball on the image output unit 110 to allow a user to play games according to the displayed instructions;
An input information extraction module extracting user input information touching a displayed color ball by extracting which part of the projected scaffold the user's foot or hand touches from the user's motion detected by the motion detection unit 150 (162); And
And a game play module 163 for determining success of performing the touch of the displayed color ball using the extracted user input information and giving a game score according to the determination result,
The game control unit 160,
Provide the learning game content for a predetermined time, and adjust the display speed of the color ball to increase as time passes,
The game play module 163,
Depending on the color of the color ball, touch methods for determining success of touch are different from each other, and the touch method is selected from the group including one foot touch, two foot touch, one hand touch, two hand touch and no touch. Any one, and when the touch accuracy is more than a predetermined criterion, it is judged as a success in performing the touch, and if it is less than a predetermined criterion, it is judged as a failure. . 제1항에 있어서,
상기 게임 제어부(160)는, 복수의 사용자에게 동시에 상기 학습 게임 콘텐츠를 제공하며,
상기 피드백 제공부(170)는, 상기 게임 스코어를 포함하는 피드백을 상기 복수의 사용자에게 제공하고, 상기 복수의 사용자 중에서 가장 높은 게임 스코어를 달성한 사용자를 우승자로 선정하는 것을 특징으로 하는, 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템(100).According to claim 1,
The game control unit 160 provides the learning game content to a plurality of users at the same time,
The feedback providing unit 170 provides feedback including the game score to the plurality of users, and selects a user who achieves the highest game score among the plurality of users as a winner. A mixed reality based learning game providing system capable of simultaneously exercising (100). 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190038108A 2019-04-01 2019-04-01 Mixed reality-based learning game providing system that can simultaneously learn and exercise KR102088335B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190038108A KR102088335B1 (en) 2019-04-01 2019-04-01 Mixed reality-based learning game providing system that can simultaneously learn and exercise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190038108A KR102088335B1 (en) 2019-04-01 2019-04-01 Mixed reality-based learning game providing system that can simultaneously learn and exercise

Publications (1)

Publication Number Publication Date
KR102088335B1 true KR102088335B1 (en) 2020-03-12

Family

ID=69803167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190038108A KR102088335B1 (en) 2019-04-01 2019-04-01 Mixed reality-based learning game providing system that can simultaneously learn and exercise

Country Status (1)

Country Link
KR (1) KR102088335B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153822A (en) * 2020-06-11 2021-12-20 순천대학교 산학협력단 Method and system for responsive game service using artificial intelligence
WO2021261791A1 (en) * 2020-06-23 2021-12-30 주식회사 홍유니버셜 Game device
KR102401955B1 (en) * 2021-05-20 2022-05-25 (주)에어패스 Virtual sports game contents providing system and method using Finite State Machine
KR20230085640A (en) 2021-12-07 2023-06-14 동의과학대학교산학협력단 Game apparatus for child education

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110008313A (en) * 2008-06-03 2011-01-26 시마네켄 Image recognizing device, operation judging method, and program
KR20110030524A (en) * 2011-02-25 2011-03-23 서장원 Method for a music game using equipped with motion sensors attached to foot-stage or a touch screen display in an arcade game
KR20150097050A (en) * 2014-02-17 2015-08-26 경북대학교 산학협력단 learning system using clap game for child and developmental disorder child
KR101959079B1 (en) * 2018-10-08 2019-03-18 주식회사 마이베네핏 Method for measuring and evaluating body performance of user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110008313A (en) * 2008-06-03 2011-01-26 시마네켄 Image recognizing device, operation judging method, and program
KR20110030524A (en) * 2011-02-25 2011-03-23 서장원 Method for a music game using equipped with motion sensors attached to foot-stage or a touch screen display in an arcade game
KR20150097050A (en) * 2014-02-17 2015-08-26 경북대학교 산학협력단 learning system using clap game for child and developmental disorder child
KR101959079B1 (en) * 2018-10-08 2019-03-18 주식회사 마이베네핏 Method for measuring and evaluating body performance of user

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153822A (en) * 2020-06-11 2021-12-20 순천대학교 산학협력단 Method and system for responsive game service using artificial intelligence
KR102391027B1 (en) * 2020-06-11 2022-04-25 순천대학교 산학협력단 Method and system for responsive game service using artificial intelligence
WO2021261791A1 (en) * 2020-06-23 2021-12-30 주식회사 홍유니버셜 Game device
KR20210158098A (en) * 2020-06-23 2021-12-30 주식회사 홍유니버셜 Game apparatus
KR102536329B1 (en) * 2020-06-23 2023-05-24 주식회사 피닉스다트 Game apparatus
KR102401955B1 (en) * 2021-05-20 2022-05-25 (주)에어패스 Virtual sports game contents providing system and method using Finite State Machine
WO2022245043A1 (en) * 2021-05-20 2022-11-24 (주)에어패스 System for providing ar sports game content by using fsm characteristic
KR20230085640A (en) 2021-12-07 2023-06-14 동의과학대학교산학협력단 Game apparatus for child education

Similar Documents

Publication Publication Date Title
KR102088333B1 (en) Team training system with mixed reality based exercise apparatus
KR102088335B1 (en) Mixed reality-based learning game providing system that can simultaneously learn and exercise
CN106448277B (en) Simulation rock-climbing learning system and method based on interactive palisades
US20090258703A1 (en) Motion Assessment Using a Game Controller
US11996090B2 (en) System and method for artificial intelligence (AI) assisted activity training
KR102049096B1 (en) Mixed reality based exercise system
US20080146329A1 (en) Movement Information Processing System
TWI537767B (en) System and method of multi-user coaching inside a tunable motion-sensing range
KR20130098770A (en) Expanded 3d space based virtual sports simulation system
CN114078190B (en) Guide device for body-building exercise
KR102058547B1 (en) Mixed reality based exercise system for multi user match
WO2022034771A1 (en) Program, method, and information processing device
KR102259011B1 (en) user interface service system and method for user motion correction direction
KR102051004B1 (en) Mixed reality based exercise system providing optimized sound
KR102138639B1 (en) System and method for providing cognitive rehabilitation contents for dementia patients
KR102213869B1 (en) System and method for billiard lessons
JP2023168557A (en) Program, method, and information processing device
KR20190011159A (en) Learning And Serious Game System and Method Using Big Screen
KR102158218B1 (en) Smart mirror for processing motivation scenario, method of performing thereof and motivation scenario processing system including the smart mirror
JP2022032362A (en) System, method, and information processing device
KR102095647B1 (en) Comparison of operation using smart devices Comparison device and operation Comparison method through dance comparison method
Losilla et al. An Augmented Reality Mirror Exergame using 2D Pose Estimation.
KR101247794B1 (en) Virtual golf simulation apparatus and method providing golf lessons
KR102287721B1 (en) Method for teaching billiard using terminal and computer readable recording medium
KR20150001268U (en) Auditory sensor for activation of golf simulation system with multiple processor

Legal Events

Date Code Title Description
X091 Application refused [patent]
GRNT Written decision to grant