KR20200022576A - Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition - Google Patents

Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition Download PDF

Info

Publication number
KR20200022576A
KR20200022576A KR1020180098324A KR20180098324A KR20200022576A KR 20200022576 A KR20200022576 A KR 20200022576A KR 1020180098324 A KR1020180098324 A KR 1020180098324A KR 20180098324 A KR20180098324 A KR 20180098324A KR 20200022576 A KR20200022576 A KR 20200022576A
Authority
KR
South Korea
Prior art keywords
screen
voice
image
content providing
providing device
Prior art date
Application number
KR1020180098324A
Other languages
Korean (ko)
Other versions
KR102085880B1 (en
Inventor
이세환
박지영
박상우
Original Assignee
제이에스씨(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제이에스씨(주) filed Critical 제이에스씨(주)
Priority to KR1020180098324A priority Critical patent/KR102085880B1/en
Publication of KR20200022576A publication Critical patent/KR20200022576A/en
Application granted granted Critical
Publication of KR102085880B1 publication Critical patent/KR102085880B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

An apparatus for providing interactive education content comprises: an IR emitter to emit an infrared ray; a diffractive optical element (DOE) to optically diffract an infrared ray emitted by the IR emitter; an IR camera to photograph an infrared image; an RGB camera to sense a color; a microphone to receive a sound wave to convert the sound wave into an electrical signal; a speaker to convert an electrical signal into a sound wave to output the sound wave; a beam projection unit to emit an augmented reality (AR) screen to a bottom surface; a storage unit to store data including content for education; and a control unit to allow the AR screen to be emitted to the bottom surface by the beam projection unit based on the content for education stored in the storage unit, detect a touch position of a finger on the AR screen emitted to the bottom surface by using the DOE and the IR camera, execute an event corresponding to the detected touch position, detect an image by the RGB camera, recognize a voice inputted through the microphone, execute an event corresponding to the voice, and output an event as a voice through the speaker or output an event as an AR screen by the beam projection unit. According to the present invention, students get interested and learning capabilities can be increased.

Description

AR 및 음성인식 AI 기반 인터랙티브 교육 콘텐츠 제공 장치 {Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition}Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition}

본 발명은 교육 콘텐츠 제공 기술에 관한 것으로서, 더욱 상세하게는 증강 현실 영상을 프로젝션하는 기능을 포함하여 인터랙션을 통한 교육 콘텐츠를 제공하는 장치에 관한 것이다. The present invention relates to an education content providing technology, and more particularly, to an apparatus for providing education content through interaction, including a function of projecting an augmented reality image.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 하며, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다.Augmented Reality (AR) is one of virtual reality that combines the real world that the user sees with the virtual world with additional information. AR, which complements the real world with the virtual world, uses a virtual environment made of computer graphics, but the main role is the real environment. Computer graphics play a role of providing additional information necessary for the real environment, and the distinction between the real environment and the virtual screen is blurred by overlapping the 3D virtual image on the live image which the user views.

가상현실은 자신(객체)과 배경, 환경 모두 현실이 아닌 가상의 이미지를 사용하는데 반해, 증강현실(AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다.Virtual reality uses virtual images instead of reality, both of itself (object), background, and environment, whereas augmented reality (AR) is a technology that shows a 3D virtual image on the reality image or background as a single image.

또한, 증강현실은 혼합 현실(Mixed Reality, MR)이라고도 하는데, 비행기 제조사인 보잉사에서 1990경 비행기 조립 과정에 가상의 이미지를 첨가하면서 증강현실이 처음으로 세상에 소개됐다.Augmented reality is also known as Mixed Reality (MR), augmented reality was first introduced to the world by adding virtual images to the aircraft assembly process around 1990.

증강현실과 가상현실(Virtual Reality, VR)은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분된다. 예를 들어, 가상현실 격투 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강현실 격투 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 따라서, 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.Augmented reality and virtual reality (VR) seem to be similar to each other, but are clearly distinguished according to whether the subject is a virtual or a real. For example, in a virtual reality fighting game, a character who replaces me confronts a virtual enemy in a virtual space, but an augmented reality fighting game is a form in which I confront a virtual enemy in a real space. Therefore, the augmented reality has a feature that the reality is superior to the virtual reality.

이 밖에 가상현실은 일반적으로 영화나 영상 분야 등 특수 환경에서만 사용되지만 증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태다.In addition, virtual reality is generally used only in special environments such as film and video fields, but augmented reality is now popularized for the general public.

예를 들어, 인터넷을 통한 지도 검색, 위치 검색 등도 넓은 의미에서는 증강현실에 포함된다.For example, map search and location search through the Internet are included in augmented reality in a broad sense.

일반적으로, 유아 및 어린이는 동화책을 보거나 놀이기구로서 퍼즐 맞추기나 블럭쌓기를 하며 성장한다. 이처럼, 아동에게 동화책 또는 놀이기구는 다양한 정보와 지식을 자연스럽게 습득하게 하는 중요한 매체로, 동화책이나 퍼즐 또는 블럭은 아동의 정서, 상상력, 창의력 발달에 도움을 주면서 그 교육적인 내용을 통해 사회, 언어, 인지 발달 등에 고른 영향을 미친다.In general, toddlers and children grow up with puzzles or blocks as a playbook or as play equipment. As such, children's books or rides are an important medium for naturally acquiring a variety of information and knowledge. Children's books, puzzles, or blocks help children develop their emotions, imagination, and creativity, and their educational, social, language, Evenly affect cognitive development.

2015년 국민독서실태조사 보고서에 의하면, 성장 과정에서 책을 매개로 한 소통(책 읽기, 책 놀이, 독서대화 등)은 독서에 대한 친밀감을 키우고 독서습관을 기르는데 중요한 역할을 한다고 한다.According to the 2015 National Reading Research Report, communication through books (reading books, playing books, reading conversations, etc.) plays an important role in developing intimacy with reading and developing reading habits.

이처럼 최근 연구 결과에 의하면, 독서량이 많은 아이는 학업성적은 물론, 사고력과 창의력이 높다는 사실이 밝혀졌다. 그리고, 디지털 매체의 발달로 급변하는 독서환경 및 독서인구 감소에 따른 대응이 요구되는 상황이다. 이에 정부는 독서문화진흥기본계획을 수립하여, 독서진흥 및 독서문화 확산을 위한 사업을 추진하고 있으나, 국민이 체감하기에는 미흡한 실정이며, 독서 콘텐츠의 지속적 확충이 요구된다. Recent studies have shown that children with high reading volumes have high levels of thinking, creativity, as well as academic performance. In addition, due to the development of digital media, the situation is required to respond to the rapidly changing reading environment and reading population. Accordingly, the government has established a basic plan for promoting reading culture and is promoting projects to promote reading and spreading reading culture. However, it is insufficient for the people to experience and it is required to continuously expand reading contents.

이처럼, 유아용 시장이 틈새시장에서 핵심(엔젤)시장으로 부상함에 따라 모바일 키즈를 겨냥한 학습용 게임형 모바일 에듀테인먼트 콘텐츠 소비시장이 성장하고 있다. As the infant market emerges as a core (angel) market in a niche market, a market for learning game-type mobile edutainment contents for mobile kids is growing.

그리고, 가상현실(VR)이 미래 산업을 이끌 블루오션으로 떠오르면서 게임, 의료, 교육, 전시 등 다양한 분야에 적용사례가 증가하고 있으나, 킬러 콘텐츠 발굴이 필요한 실정이다. In addition, as VR becomes the blue ocean to lead the future industry, applications are increasing in various fields such as games, medical care, education, and exhibitions, but killer content needs to be discovered.

최근 아날로그와 디지털 정보를 결합한 증강현실 기반의 차세대 전자책의 일종인 디지로그 북(Digilog Book) 기술이 주목을 받고 있다. 이는 종이로 인쇄된 실사물을 손으로 만지고 느끼면서 자연마커를 통해 다양한 증강현실 기반의 멀티미디어 효과를 제공한다.Recently, Digilog Book technology, a kind of augmented reality-based next generation e-book combining analog and digital information, is drawing attention. It provides a variety of augmented reality-based multimedia effects through natural markers while touching and feeling the real thing printed on paper.

또한 사용자와의 손쉬운 인터렉션을 통해 다양한 방향으로 이야기를 전개해나가는 흥미로운 특징들을 가지고 있다. 아날로그와 디지털 정보를 결합하기 위해 다양한 연구들이 진행되고 있지만, 그 중 프로젝션 방식으로 실사물 위에 디지털 정보를 그대로 투사하여 실사물 위에서 다양한 멀티미디어 콘텐츠가 동작되는 효과를 얻을 수 있다. 이는 실사물을 보면서 실감 있는 부가 정보를 체험할 수 있어 몰입도를 높일 수 있는 장점을 가진다.It also has interesting features that tell stories in various directions through easy interaction with the user. Various researches are being conducted to combine analog and digital information, but among them, it is possible to obtain various effects of operating various multimedia contents on the real object by projecting digital information onto the real object in the projection method. This has the advantage of being able to experience immersive additional information while looking at the real thing and increasing the immersion degree.

대한민국 공개특허 10-2009-0003445Republic of Korea Patent Publication 10-2009-0003445

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 음성인식 AI(Artificial Intelligence) 기반 AR 프로젝션 기술을 이용하여 인터랙티브 교육 콘텐츠 제공 장치를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object thereof is to provide an apparatus for providing interactive educational contents using AR recognition technology based on voice recognition AI (Artificial Intelligence).

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects which are not mentioned will be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 인터랙티브 교육 콘텐츠 제공 장치는 적외선(infrared ray)을 방출하기 위한 IR 에미터, 상기 IR 에미터에서 방출되는 적외선을 광학적으로 회절시키기 위한 DOE(Diffractive Optical Element), 적외선 영상을 촬영하기 위한 IR 카메라, 색상을 감지하기 위한 RGB 카메라, 음파를 입력받아 전기신호로 변환하기 위한 마이크, 전기신호를 음파로 변환하여 출력시키기 위한 스피커, 바닥 면에 AR(Augmented Reality) 화면을 조사하기 위한 빔 프로젝션부, 교육용 콘텐츠를 비롯한 데이터를 저장하기 위한 저장부 및 상기 저장부에 저장되어 있는 교육용 콘텐츠를 기반으로 상기 빔 프로젝션부를 통해 AR 화면이 바닥 면에 조사되도록 하고, 바닥 면에 조사된 AR 화면 상에서 상기 DOE와 IR 카메라를 이용하여 손가락의 터치 위치를 검출하고, 검출된 터치 위치에 대응하는 이벤트를 실행하고, 상기 RGB 카메라를 통해 이미지를 검출하고, 상기 마이크를 통해 입력된 음성을 인식하고 이에 대응하는 이벤트를 실행하되 상기 스피커를 통해 음성으로 이벤트를 출력하거나 상기 빔 프로젝션부를 통해 AR 화면으로 이벤트를 출력하는 제어부를 포함한다. Interactive educational content providing apparatus of the present invention for achieving the above object is an IR emitter for emitting infrared rays (Diffractive Optical Element (DOE) for optically diffractating the infrared rays emitted from the IR emitter, IR camera for capturing infrared images, RGB camera for detecting color, microphone for receiving sound waves and converting them into electric signals, speakers for converting electric signals into sound waves and outputting them, AR (Augmented Reality) screen on the bottom A beam projection unit for irradiating the light, a storage unit for storing data including educational contents, and an AR screen is irradiated onto the floor surface through the beam projection unit based on the educational contents stored in the storage unit. Detect the touch position of the finger using the DOE and IR camera on the irradiated AR screen, Executes an event corresponding to the touched position, detects an image through the RGB camera, recognizes a voice input through the microphone and executes an event corresponding thereto, and outputs an event as a voice through the speaker or transmits the beam And a controller for outputting an event to the AR screen through the projection unit.

상기 제어부는 OCR(optical character reader)을 이용하여 이미지에서 문자를 검출하고, 검출된 문자를 음성으로 변환하여 상기 스피커를 통해 출력할 수 있다. The controller may detect a character in an image by using an optical character reader (OCR), convert the detected character into a voice, and output the voice through the speaker.

상기 인터랙티브 교육 콘텐츠 제공 장치는 무선통신망을 통해 외부 기기와 통신하기 위한 무선통신부를 더 포함할 수 있다. The interactive educational content providing device may further include a wireless communication unit for communicating with an external device through a wireless communication network.

이때, 상기 제어부는 현재 조사되고 있는 AR 화면을 상기 무선통신부를 통해 외부의 이동통신 단말에 전송하고, 상기 무선통신부를 통해 외부의 이동통신 단말로부터 수신한 음성을 상기 스피커를 통해 출력하고, 상기 무선통신부를 통해 외부의 이동통신 단말로부터 수신한 영상 데이터를 상기 빔 프로젝션부를 통해 AR 화면으로 조사할 수 있다. In this case, the controller transmits the AR screen currently being investigated to an external mobile communication terminal through the wireless communication unit, outputs a voice received from an external mobile communication terminal through the wireless communication unit through the speaker, and wirelessly Image data received from an external mobile communication terminal through a communication unit may be irradiated to the AR screen through the beam projection unit.

본 발명에 의하면, 음성인식 AI(Artificial Intelligence) 기반 AR 프로젝션 기술을 이용하여 인터랙티브 교육 콘텐츠 제공 장치를 제공함으로써, 학생들에게 흥미를 유발시키고, 학습 능력을 향상시킬 수 있는 효과가 있다. According to the present invention, by providing an interactive educational content providing device using the AR (Artificial Intelligence) -based AR projection technology, there is an effect that can induce interest to students and improve the learning ability.

도 1은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치의 내부 구성을 보여주는 블록도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치의 외관을 도시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 손가락 터치를 인식하는 기능을 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 이미지를 검출하는 기능을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 음성 인식 기능이 수행되는 과정을 도시한 예시도이다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 보이스 AI 서비스를 설명하기 위한 예시도이다.
도 13 내지 도 15는 본 발명의 일 실시예에 따른 원격 어시스턴트 서비스를 설명하기 위한 예시도이다.
도 16은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 문자를 인식하여 음성으로 출력하는 기능을 설명하기 위한 도면이다.
도 17 및 도 18은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 AR 2D 콘텐츠를 서비스하는 예를 도시한 것이다.
도 19 내지 도 26은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 애니메이션 북을 예시한 것이다.
도 27 내지 도 32는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 영어 단어학습 카드를 예시한 것이다.
도 33 내지 도 40은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 별자리 학습을 예시한 것이다.
도 41 내지 도 52는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 가베놀이 및 수학 등분 학습을 예시한 것이다.
도 53 내지 도 60은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 미술놀이를 예시한 것이다.
도 61 내지 도 66은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 칠교놀이를 예시한 것이다.
도 67 내지 도 74는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 영어 단어학습 개인활동을 예시한 것이다.
도 75 내지 도 82는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 영어 단어학습 팀 활동을 예시한 것이다.
도 83 내지 도 90은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 원격 어시스턴트를 예시한 것이다. 1 is a block diagram illustrating an internal configuration of an apparatus for providing interactive educational content according to an embodiment of the present invention.
2 to 4 is a view showing the appearance of the interactive education content providing apparatus according to an embodiment of the present invention.
5 and 6 are exemplary diagrams for explaining a function of recognizing a finger touch in the apparatus for providing interactive educational content according to an embodiment of the present invention.
7 and 8 are exemplary diagrams for explaining a function of detecting an image in the apparatus for providing interactive educational content according to an embodiment of the present invention.
9 is an exemplary diagram illustrating a process of performing a voice recognition function in the apparatus for providing interactive educational content according to an embodiment of the present invention.
10 to 12 are exemplary diagrams for describing a voice AI service according to an embodiment of the present invention.
13 to 15 are exemplary diagrams for describing a remote assistant service according to an embodiment of the present invention.
FIG. 16 is a diagram for explaining a function of recognizing a character and outputting a voice in an interactive educational content providing device according to an embodiment of the present invention.
17 and 18 illustrate an example of serving AR 2D content in an apparatus for providing interactive educational content according to an embodiment of the present invention.
19 to 26 illustrate an AR animation book in a service scenario according to an embodiment of the present invention.
27 to 32 illustrate an AR English word learning card in a service scenario according to an embodiment of the present invention.
33 to 40 illustrate AR constellation learning in a service scenario according to an embodiment of the present invention.
41 to 52 illustrate AR gabe nori and math equal learning in a service scenario according to an embodiment of the present invention.
53 to 60 illustrate AR art play in a service scenario according to an embodiment of the present invention.
61 to 66 illustrate an AR seventh school game in a service scenario according to an embodiment of the present invention.
67 to 74 illustrate AR English word learning personal activities in a service scenario according to an embodiment of the present invention.
75 to 82 illustrate AR English word learning team activities in a service scenario according to an embodiment of the present invention.
83 through 90 illustrate a remote assistant in a service scenario according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same reference numerals and redundant description thereof will be omitted. In the following description of the present invention, when it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치의 내부 구성을 보여주는 블록도이다. 1 is a block diagram illustrating an internal configuration of an apparatus for providing interactive educational content according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 인터랙티브 교육 콘텐츠 제공 장치(10)는 RGB 카메라(110), IR 카메라(120), IR 에미터(emitter)(130), DOE(Diffractive Optical Element)(140), 마이크(150), 제어부(160), 무선통신부(170), 빔 프로젝션부(180), 스피커(190), 저장부(200)를 포함한다. Referring to FIG. 1, the interactive education content providing apparatus 10 of the present invention may include an RGB camera 110, an IR camera 120, an IR emitter 130, a DOE (Diffractive Optical Element) 140, The microphone 150, the controller 160, the wireless communication unit 170, the beam projection unit 180, the speaker 190, and the storage unit 200 are included.

RGB 카메라(110)는 색상을 감지하는 역할을 한다. The RGB camera 110 detects color.

IR 카메라(120)는 적외선 영상을 촬영하는 역할을 한다. The IR camera 120 serves to take an infrared image.

IR 에미터(130)는 적외선(infrared ray)을 방출하는 역할을 한다. The IR emitter 130 serves to emit infrared rays.

DOE(140)는 IR 에미터(130)에서 방출되는 적외선을 광학적으로 회절시켜서 스팟 어레이(spot array)가 형성되도록 한다. DOE 140 optically diffracts the infrared light emitted from IR emitter 130 to form a spot array.

마이크(150)는 음파를 입력받아 전기신호로 변환하는 역할을 한다. The microphone 150 receives sound waves and converts them into electrical signals.

무선통신부(170)는 무선통신망을 통해 외부 기기와 통신하도록 하는 역할을 한다. 본 발명의 일 실시예에서 무선통신부(170)는 와이파이(WiFi), 블루투스(Bluetooth) 등을 지원하는 것일 수 있다. 또한, 무선통신부(170)는 이동통신망을 통해 핸드폰, 스마트 폰 등의 이동통신 단말기와 통신하도록 지원할 수 있다. The wireless communication unit 170 serves to communicate with an external device through a wireless communication network. In one embodiment of the present invention, the wireless communication unit 170 may support Wi-Fi, Bluetooth, and the like. In addition, the wireless communication unit 170 may support communication with a mobile communication terminal such as a mobile phone or a smart phone through a mobile communication network.

본 발명의 일 실시예에서 인터랙티브 교육 콘텐츠 제공 장치(10)는 USB(Universal serial bus) 기기와 연결되도록 하는 USB 포트(port)를 구비할 수 있다. In one embodiment of the present invention, the interactive education content providing apparatus 10 may be provided with a USB port for connecting to a universal serial bus (USB) device.

빔 프로젝션부(180)는 바닥 면에 AR(Augmented Reality) 화면을 조사하는 역할을 한다. The beam projection unit 180 serves to irradiate an AR (Augmented Reality) screen on the floor.

스피커(190)는 전기신호를 음파로 변환하여 출력시키는 역할을 한다. The speaker 190 converts an electrical signal into sound waves and outputs the sound signal.

저장부(200)는 교육용 콘텐츠를 비롯한 데이터를 저장하는 역할을 한다. The storage unit 200 stores data including educational contents.

제어부(160)는 저장부(200)에 저장되어 있는 교육용 콘텐츠를 기반으로 빔 프로젝션부(180)를 통해 AR 화면이 바닥 면에 조사되도록 하고, 바닥 면에 조사된 AR 화면 상에서 DOE(140)와 IR 카메라(120)를 이용하여 손가락의 터치 위치를 검출한다. 그리고, 검출된 터치 위치에 대응하는 이벤트를 실행한다. The controller 160 allows the AR screen to be irradiated to the floor surface through the beam projection unit 180 based on the educational content stored in the storage unit 200, and the DOE 140 and the DO screen on the AR screen irradiated to the floor surface. The touch position of the finger is detected using the IR camera 120. Then, an event corresponding to the detected touch position is executed.

그리고, 제어부(160)는 RGB 카메라(110)를 통해 이미지를 검출하고, 마이크(150)를 통해 입력된 음성을 인식하고 이에 대응하는 이벤트를 실행하되, 스피커(190)를 통해 음성으로 이벤트를 출력하거나 빔 프로젝션부(180)를 통해 AR 화면으로 이벤트를 출력한다. The controller 160 detects an image through the RGB camera 110, recognizes a voice input through the microphone 150, and executes an event corresponding to the voice, and outputs the event as a voice through the speaker 190. Alternatively, the event is output to the AR screen through the beam projection unit 180.

본 발명에서 제어부(160)는 OCR(optical character reader)을 이용하여 이미지에서 문자를 검출하고, 검출된 문자를 음성으로 변환하여 스피커(190)를 통해 출력할 수 있다. In the present invention, the controller 160 may detect a character in an image using an optical character reader (OCR), convert the detected character into a voice, and output the voice through the speaker 190.

이때, 제어부(160)는 현재 조사되고 있는 AR 화면을 무선통신부(170)를 통해 외부의 이동통신 단말에 전송하고, 무선통신부(170)를 통해 외부의 이동통신 단말로부터 수신한 음성을 스피커(190)를 통해 출력할 수 있다. 그리고, 무선통신부(170)를 통해 외부의 이동통신 단말로부터 수신한 영상 데이터를 빔 프로젝션부(180)를 통해 AR 화면으로 조사할 수 있다. In this case, the controller 160 transmits the AR screen currently being irradiated to the external mobile communication terminal through the wireless communication unit 170, and transmits the voice received from the external mobile communication terminal through the wireless communication unit 170 to the speaker 190. Can be output via In addition, the image data received from the external mobile communication terminal through the wireless communication unit 170 may be irradiated to the AR screen through the beam projection unit 180.

도 2 내지 도 4는 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치의 외관을 도시한 도면이다. 2 to 4 is a view showing the appearance of the interactive education content providing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 인터랙티브 교육 콘텐츠 제공 장치(10)의 빔 프로젝션부(180)에서 AR 영상이 바닥 면에 조사되는 모습을 확인할 수 있다. Referring to FIG. 2, the beam projection unit 180 of the interactive educational content providing apparatus 10 according to the present invention may confirm that the AR image is irradiated onto the floor.

도 3 및 도 4를 참조하면, 본 발명의 인터랙티브 교육 콘텐츠 제공 장치(10)의 상단부에 RGB 카메라(110)와 IR 카메라(120)가 구비되어 있고, 하단부에 DOE(140)가 구비되어 있다. 3 and 4, an RGB camera 110 and an IR camera 120 are provided at an upper end of the interactive educational content providing device 10 of the present invention, and a DOE 140 is provided at a lower end thereof.

도 5 및 도 6은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 손가락 터치를 인식하는 기능을 설명하기 위한 예시도이다. 5 and 6 are exemplary diagrams for explaining a function of recognizing a finger touch in the apparatus for providing interactive educational content according to an embodiment of the present invention.

도 5 및 도 6을 참조하면, IR 카메라(120)의 FOV(Field of View)와 DOE(140)를 통해 방출되는 적외선 영역인 스팟 어레이가 도시되어 있다. 이때, IR 에미터를 통해 방출되는 적외선은 일정 높이 이하로 방출되는 것이 바람직한데, 가령 최대 5mm 이하의 높이에서 적외선이 방출되는 것이 바람직하다. 5 and 6, a spot array, which is an infrared region emitted through a field of view (FOV) and a DOE 140 of the IR camera 120, is illustrated. In this case, the infrared rays emitted through the IR emitter are preferably emitted below a certain height, for example, it is preferable that the infrared rays are emitted at a maximum height of 5 mm or less.

도 6에서 보는 바와 같이, IR 카메라(120)의 FOV(Field of View)와 DOE(140)를 통해 방출되는 적외선 영역인 스팟 어레이에서 손가락에 의한 터치가 발생하면, 적외선 그림자(Infrared light's shadow)(620)가 생긴다. 본 발명에서는 적외선 그림자(620)가 시작하는 시작 포인트(610)를 터치 포인트로 인식하는 원리에 의해, 손가락 터치 위치를 검출한다. 보다 정확하게 기술하면, 적외선 그림자(620) 영역에서 DOE 쪽에 가장 가깝게 위치한 포인트를 터치 포인트로 인식하여 검출한다. As shown in FIG. 6, when a touch by a finger occurs in a spot array, which is an infrared region emitted through the field of view (FOV) and the DOE 140 of the IR camera 120, an infrared light's shadow ( 620). In the present invention, the finger touch position is detected by the principle of recognizing the starting point 610 at which the infrared shadow 620 starts as a touch point. More precisely, the point located closest to the DOE side in the infrared shadow 620 region is recognized as a touch point and detected.

도 7 및 도 8은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 이미지를 검출하는 기능을 설명하기 위한 예시도이다. 7 and 8 are exemplary diagrams for explaining a function of detecting an image in the apparatus for providing interactive educational content according to an embodiment of the present invention.

도 7 및 도 8을 참조하면, 본 발명에서 인터랙티브 교육 콘텐츠 제공 장치(10)는 RGB 카메라(110)를 통해 이미지를 검출한다. 7 and 8, in the present invention, the interactive education content providing apparatus 10 detects an image through the RGB camera 110.

도 7 및 도 8에서는 카드를 이용한 실시예가 예시되어 있는데, RGB 카메라(110)의 FOV 안에, 이미지가 인쇄된 카드(810)가 바닥 면에 위치하면, RGB 카메라(110)가 이를 촬영하고, 제어부(160)가 카드(810)에 인쇄된 이미지를 검출하게 된다. 7 and 8 illustrate an embodiment using a card. When the card 810 on which an image is printed is located on the bottom surface in the FOV of the RGB camera 110, the RGB camera 110 captures the image and the controller. 160 detects an image printed on the card 810.

도 9는 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 음성 인식 기능이 수행되는 과정을 도시한 예시도이다. 도 9를 참조하면, 인터랙티브 교육 콘텐츠 제공 장치에서 음성인식 과정이 도시되어 있다. 9 is an exemplary diagram illustrating a process of performing a voice recognition function in the apparatus for providing interactive educational content according to an embodiment of the present invention. Referring to FIG. 9, a speech recognition process is illustrated in an interactive educational content providing device.

도 9의 실시예에서, 360°에서 음성을 입력받기 위하여, 본체 주위를 둘러싸는 방식으로 6개의 마이크(150)가 구비되어 있다. In the embodiment of Figure 9, in order to receive the voice at 360 °, six microphones 150 are provided in a manner surrounding the body.

센서리 보이스 칩(Sensory voice chip)(910)은 6개의 마이크(150)에서 수집된 음성 신호에 대해 잡음을 제거하고(Noise canceling), 보이스 트리거(Voice trigger)를 발생시킨다. The sensory voice chip 910 cancels noise and generates a voice trigger on the voice signals collected by the six microphones 150.

그리고, 제어부(160)는 보이스 AI 엔진(Voice AI engine)을 포함하는 소프트웨어 알고리즘에 의해, 음성 신호에 의해 발생한 이벤트를 스피커(190)로 출력하거나, 빔 프로젝션부(180)를 통해 이미지 또는 비디오 영상을 바닥 면에 조사하도록 한다.The controller 160 outputs an event generated by a voice signal to the speaker 190 by a software algorithm including a voice AI engine, or an image or video image through the beam projection unit 180. To the floor.

도 10 내지 도 12는 본 발명의 일 실시예에 따른 보이스 AI 서비스를 설명하기 위한 예시도이다. 10 to 12 are exemplary diagrams for describing a voice AI service according to an embodiment of the present invention.

도 10은 본 발명의 인터랙티브 교육 콘텐츠 제공 장치에서 어린이의 책 읽기 서비스 시나리오를 예시한 것이다.10 illustrates a scenario for reading a child's book service in the apparatus for providing interactive educational content of the present invention.

도 10을 참조하면, 인터랙티브 교육 콘텐츠 제공 장치 앞에 책을 펼쳐 놓은 상태에서, 어린이가 책의 특정 부분을 가리키며 “읽어 달라”고 요청하면, 인터랙티브 교육 콘텐츠 제공 장치는 이 음성을 인식하고, 스피커(190)를 통해 해당 부분을 음성으로 출력한다. Referring to FIG. 10, when a child opens a book in front of the interactive educational content providing device and the child points to a specific portion of the book and requests to read, the interactive educational content providing device recognizes the voice and the speaker 190. ) To output the corresponding part by voice.

도 11은 본 발명의 인터랙티브 교육 콘텐츠 제공 장치에서 단어 카드 학습 서비스 시나리오를 예시한 것이다.11 illustrates a word card learning service scenario in the interactive educational content providing device of the present invention.

도 11을 참조하면, 인터랙티브 교육 콘텐츠 제공 장치에서 코끼리 그림을 바닥 면에 조사한다. 그러면, 그림에 맞는 영어 단어를 맞추는 게임 학습인데, 도 11의 실시예에서는 코끼리 그림에 맞는 “ELEPHANT”라는 영어 단어 카드를 인터랙티브 교육 콘텐츠 제공 장치 앞에 올려 놓아야 한다. 어린이들이 올려 놓은 단어 카드가 제시한 그림에 맞지 않으면 인터랙티브 교육 콘텐츠 제공 장치에서 “틀렸음”을 의미하는 단어를 음성으로 출력하고, 단어 카드가 제시한 그림에 부합하면 “맞음”을 의미하는 단어를 음성으로 출력한다. Referring to Figure 11, the interactive education content providing apparatus is irradiated with the elephant picture on the bottom surface. Then, the game learning to match the English words to match the picture, in the embodiment of Figure 11 English word card "ELEPHANT" for the elephant picture should be placed in front of the interactive education content providing device. If the word card placed by the children does not match the picture presented, the interactive educational content providing device outputs a word meaning "wrong" to the user. If the word card matches the picture, the word card indicates the word "correct." Output by voice.

도 12는 본 발명의 인터랙티브 교육 콘텐츠 제공 장치에서 그림 그리기 서비스 시나리오를 예시한 것이다.12 illustrates a drawing service scenario in the interactive educational content providing device of the present invention.

도 12를 참조하면, 인터랙티브 교육 콘텐츠 제공 장치가 음성과 함께 그림의 가이드 라인을 차례대로 바닥 면에 조사한다. 그리고, 인터랙티브 교육 콘텐츠 제공 장치는 어린이와 대화를 주고받으며, 가이드 라인의 내부를 칠할 색상을 결정하고, 어린이는 결정된 색상을 바닥 면에 그려진 가이드 라인 내부에 칠하게 된다. Referring to FIG. 12, the interactive educational content providing device sequentially irradiates the guideline of the figure on the bottom surface together with the voice. The interactive educational content providing device communicates with the child, determines a color to paint the inside of the guideline, and the child paints the determined color inside the guideline drawn on the floor.

도 13 내지 도 15는 본 발명의 일 실시예에 따른 원격 어시스턴트 서비스를 설명하기 위한 예시도이다. 13 to 15 are exemplary diagrams for describing a remote assistant service according to an embodiment of the present invention.

도 13 내지 도 15는 인터랙티브 교육 콘텐츠 제공 장치(10)가 무선통신부(170)를 통해 외부에 떨어져 있는 부모 등의 보호자가 소지한 스마트폰, 태블릿 PC 등의 이동통신 단말기와 통신하며 발생할 수 있는 시나리오를 예시한 것이다. 13 to 15 illustrate a scenario in which the interactive education content providing device 10 may communicate with a mobile communication terminal such as a smartphone, a tablet PC, or the like held by a guardian such as a parent who is remotely connected through the wireless communication unit 170. It is an example.

도 13은 책 읽기 시나리오를 예시한 것이다. 13 illustrates a book reading scenario.

도 13을 참조하면, 아이가 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 책을 펼쳐 놓고, 음성으로 책을 읽어달라는 도움을 요청하면, 미리 설정된 부모의 이동통신 단말기에 책과 동일한 화면이 실시간으로 전송된다. 그리고, 부모가 이동통신 단말기를 통해 화면에 디스플레이되어 있는 책을 읽어주면, 이 음성이 전송되어 인터랙티브 교육 콘텐츠 제공 장치(10)의 스피커(190)를 통해 출력된다. Referring to FIG. 13, when a child opens a book in front of the interactive educational content providing device 10 and requests help for reading a book by voice, a screen identical to a book is transmitted to a mobile terminal of a preset parent in real time. . When the parent reads the book displayed on the screen through the mobile communication terminal, the voice is transmitted and output through the speaker 190 of the interactive educational content providing device 10.

도 14는 숙제 도와주기 시나리오를 예시한 것이다. 14 illustrates a homework help scenario.

도 14를 참조하면, 아이가 숙제를 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 펼쳐 놓으면, 미리 설정된 부모의 이동통신 단말기에 동일한 숙제 영상 화면이 실시간으로 전송된다. 그리고, 부모가 이동통신 단말기의 숙제가 표출된 화면 상에 전자 펜으로 표시를 하고, 음성을 표출하면, 전자 펜으로 표시된 숙제 영상 화면과 음성이 인터랙티브 교육 콘텐츠 제공 장치(10)에 전송된다. Referring to FIG. 14, when a child spreads homework in front of the interactive educational content providing device 10, the same homework image screen is transmitted to a mobile communication terminal of a preset parent in real time. When the parent displays the homework on the screen of the mobile communication terminal by using an electronic pen and expresses a voice, the homework video screen and the voice displayed by the electronic pen are transmitted to the interactive educational content providing device 10.

도 15는 그림 그리기 도와주기 시나리오를 예시한 것이다. 15 illustrates a drawing help scenario.

도 15를 참조하면, 아이가 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 자신이 그린 그림을 펼쳐 놓으면, 미리 설정된 부모의 이동통신 단말기에 동일한 그림 화면이 실시간으로 전송된다. 그리고, 부모가 이동통신 단말기의 그림이 표출된 화면 상에 전자 펜으로 표시를 하고, 음성을 표출하면, 전자 펜으로 표시된 것과 음성이 인터랙티브 교육 콘텐츠 제공 장치(10)에 전송되고, 전자 펜으로 표시한 것이 아이가 그림 상에 오버랩되어 표시된다. Referring to FIG. 15, when a child spreads a picture drawn by the child in front of the interactive education content providing device 10, the same picture screen is transmitted to the mobile communication terminal of the preset parent in real time. Then, when the parent displays an electronic pen on the screen on which the picture of the mobile communication terminal is displayed and expresses the voice, the voice and the voice are transmitted to the interactive educational content providing device 10 and displayed by the electronic pen. What is shown is the child overlaps on the picture.

도 16은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 문자를 인식하여 음성으로 출력하는 기능을 설명하기 위한 도면이다. FIG. 16 is a diagram for explaining a function of recognizing a character and outputting a voice in an interactive educational content providing device according to an embodiment of the present invention.

도 16을 참조하면, 본 발명에서는 OCR 기술을 이용하여 인터랙티브 교육 콘텐츠 제공 장치에서 글자를 디지털 텍스트 정보로 변환한다(a). 그리고, 스피커(190) 변환된 디지털 텍스트 정보를 음성으로 출력한다(b).Referring to FIG. 16, in the present invention, text is converted into digital text information in an interactive educational content providing device using OCR technology. Then, the speaker 190 outputs the converted digital text information as a voice (b).

도 17 및 도 18은 본 발명의 일 실시예에 따른 인터랙티브 교육 콘텐츠 제공 장치에서 AR 2D 콘텐츠를 서비스하는 예를 도시한 것이다. 17 and 18 illustrate an example of serving AR 2D content in an apparatus for providing interactive educational content according to an embodiment of the present invention.

도 17에서 보는 바와 같이, 본 발명의 인터랙티브 교육 콘텐츠 제공 장치에 그림책을 펼쳐 놓으면, AR 화면을 조사함으로써, 그림책 위에 다양한 색깔을 입혀 볼 수 있다. As shown in FIG. 17, when the picture book is spread out on the interactive educational content providing device of the present invention, various colors may be applied to the picture book by examining the AR screen.

또한, 도 18에서 보는 바와 같이, 본 발명의 인터랙티브 교육 콘텐츠 제공 장치에 창문이 표시된 책을 펼쳐 놓으면, 창문 밖에 바람이 부는 2D AR 영상을 표시하도록 하거나(a), 비가 오는 2D AR 영상을 표시하도록 하거나(b), 눈이 오는 2D AR 영상을 표시할 수 있다. In addition, as shown in FIG. 18, when a book with a window is opened on the interactive educational content providing device of the present invention, a windy 2D AR image is displayed outside the window (a), or a rainy 2D AR image is displayed. Or (b) a snowy 2D AR image can be displayed.

이처럼, 본 발명에서 인터랙티브 교육 콘텐츠 제공 장치는 책과 결합하여 다양한 2D AR 영상을 표시함으로써, 학습자의 상상력을 자극시키고, 학습의욕을 고취시킬 수 있다. As such, in the present invention, the apparatus for providing interactive education content displays various 2D AR images in combination with a book, thereby stimulating the imagination of the learner and inspiring learning motivation.

도 19 내지 도 90은 본 발명의 일 실시예에 따른 서비스 시나리오를 예시한 도면들이다. 예시한 각각의 서비스 시나리오에 대해 구체적으로 설명하면 다음과 같다. 19 to 90 are diagrams illustrating a service scenario according to an embodiment of the present invention. Each of the illustrated service scenarios is described in detail as follows.

도 19 내지 도 26은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 애니메이션 북을 예시한 것이다. 19 to 26 illustrate an AR animation book in a service scenario according to an embodiment of the present invention.

도 19에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 실물의 AR 애니메이션 북(Animation book)을 펼쳐 놓으면, 펼쳐진 페이지에 텍스트와 함께 흑백의 가이드 라인이 그려진 피노키오 이미지가 디스플레이된다. In FIG. 19, when a real AR animation book is opened in front of the interactive education content providing device 10, a pinocchio image in which black and white guide lines are drawn along with text is displayed on the expanded page.

그리고, 도 20에서 책에 표시된 텍스트에서 “Pinocchio” 단어를 손가락으로 터치하면, 터치한 글씨(단어)를 인식하여 음영처리되고, 흑백의 피노키오 가이드라인 이미지에 2D 컬러 그래픽 피노키오 이미지가 증강되어 투사된다. In addition, when a finger touches the word “Pinocchio” in the text displayed on the book in FIG. 20, the touched letter (word) is recognized and shaded, and a 2D color graphic Pinocchio image is augmented and projected onto a black and white Pinocchio guideline image. .

그리고, 도 21에서 책에서 “Geppetto” 단어를 손가락으로 터치하면, 터치한 글씨(단어)를 인식하여 음영처리되고, 2D 컬러 그래픽 재패토 이미지가 책 위에 증강되어 투사된다.In FIG. 21, when the word “Geppetto” is touched by a finger in a book, the touched letters (words) are recognized and shaded, and a 2D color graphic Japanese image is augmented and projected on the book.

그리고, 도 22에서 사용자가 “책 읽어줘”라고 음성 명령하면, 인터랙티브 교육 콘텐츠 제공 장치(10)가 이 음성을 인식하고, 도 23에서 증강된 2D 컬러 그래픽 화면이 페이드 아웃(fade out)된다. When the user commands a voice to read a book in FIG. 22, the interactive education content providing apparatus 10 recognizes the voice, and the augmented 2D color graphic screen fades out in FIG. 23.

그리고, 도 24에서 전체 배경까지 포함된 2D 그래픽 애니메이션이 페이드 인(fade in)되면서, 도 25에서 증강된 2D 애니메이션과 함께 책 속의 대사가 사운드로 재생되어, 확장된 공간감과 실제감을 불러일으킨다ㅣ. In addition, as the 2D graphic animation including the entire background in FIG. 24 fades in, the dialogue in the book is reproduced as a sound along with the 2D animation augmented in FIG. 25 to induce an expanded sense of space and realism.

그리고, 도 26에서 상황에 따라 일부 콘텐츠에서는 3D 애니메이션 객체로 증강되어 사운드와 함께 재생된다. 증강된 3D 애니메이션 객체는 손가락을 사용하여 이동, 확대, 축소, 회전 등 인터랙션이 가능하다. In some cases, the content is augmented with a 3D animation object and reproduced with sound in accordance with the situation in FIG. 26. Augmented 3D animation objects can be moved, zoomed in, zoomed out, and rotated using a finger.

도 27 내지 도 32는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 영어 단어학습 카드를 예시한 것이다. 27 to 32 illustrate an AR English word learning card in a service scenario according to an embodiment of the present invention.

도 27에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 실물의 AR 영어 단어학습 카드를 펼쳐놓는다. 그러면, “CAR” 단어가 적힌 카드에는 자동차가 다닐 수 있는 도로가 이미지로 표시된다. In FIG. 27, the AR English word learning card is laid out in front of the interactive educational content providing device 10. The card with the word "CAR" then displays an image of the road the car can travel.

그리고, 도 28에서, 인터랙티브 교육 콘텐츠 제공 장치(10)에서 카드를 인식하면, “CAR”라는 사운드와 함께 도로 이미지 위에 자동차가 3D로 프로젝션 맵핑되어 투사되고, 도로를 따라 달리는 자동차 3D 애니메이션이 증강되어 재생되어, 확장된 공간감과 실제감을 불러일으킨다.In FIG. 28, when the card is recognized by the interactive education content providing apparatus 10, a car is projected and projected in 3D onto a road image with a sound “CAR”, and a car 3D animation running along the road is augmented. Are reproduced, bringing about an expanded sense of space and realism.

도 29에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 실물의 AR 영어 단어학습 카드를 펼쳐놓는다. 그러면, “AIRPLANE” 단어가 적힌 카드에는 태양과 구름이 있는 하늘 이미지가 표시된다.In FIG. 29, an AR English word learning card is laid out in front of the interactive educational content providing device 10. The card with the word “AIRPLANE” will then show an image of the sky with the sun and clouds.

도 30에서 카드를 인식하면, “AIRPLANE”이라는 사운드와 함께 하늘 이미지 위에 비행기가 3D로 프로젝션 맵핑되어 투사되고, 하늘 위를 날아다니는 비행기 3D 애니메이션이 증강되어 재생되어, 확장된 공간감과 실제감을 불러일으킨다.When the card is recognized in FIG. 30, the plane is projected and projected in 3D on the sky image with the sound of “AIRPLANE”, and the plane 3D animation flying in the sky is augmented and reproduced, resulting in an expanded space and realism. .

도 31에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 실물의 AR 영어 단어학습 카드를 펼쳐놓는다. 그러면, “TRAIN” 단어가 적힌 카드에는 기찻길이 이미지로 표시된다. In FIG. 31, an AR English word learning card is laid out in front of the interactive educational content providing device 10. The card with the word “TRAIN” is then displayed as an image of train tracks.

도 32에서 카드를 인식하면, “TRAIN”이라는 사운드와 함께 기찻길 이미지 위에 기차가 3D로 프로젝션 맵핑되어 투사되고, 기찻길을 따라 달리는 기차 3D 애니메이션이 증강되어 재생되어, 확장된 공간감과 실제감을 불러일으킨다.When the card is recognized in FIG. 32, the train is projected and projected in 3D on the train image with the sound “TRAIN”, and the train 3D animation running along the train is augmented and reproduced, causing an expanded sense of space and realism.

도 33 내지 도 40은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 별자리 학습을 예시한 것이다. 33 to 40 illustrate AR constellation learning in a service scenario according to an embodiment of the present invention.

도 33에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 실물의 AR 별자리 학습 북(또는 카드)을 펼쳐 놓으면, 책(또는 카드)에는 밤하늘에 떠 있는 별이 그려진 배경 이미지가 표시된다. In FIG. 33, if the AR constellation learning book (or card) is spread out in front of the interactive educational content providing device 10, the book (or card) displays a background image of a star floating in the night sky.

그리고, 도 34에서 사용자가 책(or 카드)의 한 지점을 손가락으로 터치하며 “여기에 있는 별자리에 대해서 알려 줄래?”라고 음성명령하면, 인터랙티브 교육 콘텐츠 제공 장치(10)가 손가락 위치와 음성을 인식한다. In addition, in FIG. 34, when the user touches a point of a book (or card) with a finger and voice command, “Would you tell me about the constellation here?”, The interactive educational content providing device 10 provides the finger position and voice. Recognize.

그리고, 도 35에서 인터랙티브 교육 콘텐츠 제공 장치(10)에서 “반짝이는 별들을 따라 손가락으로 선을 그려봐!”라는 사운드가 재생되며, 사용자가 따라 그리게 될 별자리의 위치에 별이 3D로 증강되어 반짝인다.Then, in FIG. 35, the sound “play a line with your fingers along the twinkling stars!” Is played on the interactive educational content providing device 10, and the star is augmented and shimmered in 3D at the position of the constellation to be drawn by the user. .

그리고, 도 36에서 흰색으로 증강되어 반짝이는 별을 손가락으로 터치하면, 별의 색상이 노란색으로 바뀌고, 도 37에서 손가락으로 따라 그릴 수 있도록 반짝이는 별이 순서대로 3D로 증강되고, 손가락으로 터치하여 선을 따라 그리면 흰색 별이 노란색으로 바뀐다. In addition, when a user touches a shiny star that has been augmented to white in FIG. 36 with a finger, the color of the star changes to yellow, and the shiny star is augmented in 3D in order to draw with a finger in FIG. As you draw along the line, the white star turns yellow.

그리고, 도 38에서 반짝이는 별을 순서대로 손가락으로 선을 따라 그리면 별자리가 완성되고, 인터랙티브 교육 콘텐츠 제공 장치(10)에서 완성된 별자리의 이름이 “카시오페이아 자리야”라는 사운드가 재생된다. 38, the constellation is completed by drawing the sparkling stars along the lines in order, and the sound of the completed constellation “Cassiopeia” is played in the interactive educational content providing device 10.

그리고, 도 39에서 완성된 별자리 위에 카시오페아 별자리에 대한 이야기 사운드와 함께 카시오페어 형상의 3D 애미메이션이 별자리 위에 프로젝션 맵핑되어 투사되어 재생된다.The 3D animation of the Cassiopeia shape is projected onto the constellation and projected and reproduced along with the story sound of the Cassiopeia constellation on the constellation completed in FIG. 39.

그리고, 도 40에서 이후 북극성과 지구의 자전에 대한 원리를 설명하는 3D 애니메이션이 책(또는 카드) 위에 증강되어 재생됨으로써, 확장된 공간감과 실제감을 불러일으킨다. Then, in FIG. 40, a 3D animation explaining the principle of the polarity and the rotation of the earth is augmented and reproduced on a book (or a card), resulting in an expanded sense of space and realism.

도 41 내지 도 52는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 가베놀이 및 수학 등분 학습을 예시한 것이다. 41 to 52 illustrate AR gabe nori and math equal learning in a service scenario according to an embodiment of the present invention.

도 41에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 동그란 원 모양의 실물 가베를 펼쳐 놓는다. 원모양의 실물 가베는 8등분되어 있고, 자석이 붙어 있어 붙이거나 나눌 수 있다.In FIG. 41, a round-shaped real Gabe is laid out in front of the interactive educational content providing device 10. The circular physical Gabe is divided into eight pieces, and the magnet is attached so that it can be attached or divided.

도 42에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 실물 가베를 인식하면 “접시위의 재료로 피자를 만들어 봅시다“라는 사운드가 재생되며, 실물 가베 오른쪽에 피자 토핑 재료가 담긴 접시를 3D로 증강하여 투사한다.In FIG. 42, when the interactive educational content providing device 10 recognizes the real Gabe, the sound “Let's make a pizza from the ingredients of the plate” is played, and the plate containing the pizza topping material is projected by 3D on the right side of the real Gabe. do.

그리고, 도 43에서 증강된 접시 위의 토핑 재료를 손가락으로 터치하여 드래그하여 실물 가베 피자 판에 올려놓는다. Then, the topping material on the augmented plate in FIG. 43 is touched and dragged with a finger and placed on the real Gabe pizza plate.

그리고, 도 44에서 원하는 토핑 재료를 다 올려놓은 후, 바닥에 증강된 “오븐에 굽기” 버튼을 클릭하면, 도 45에서 피자가 구워지는 애니메이션 영상이 실물 가베 피자판 위에 증강되어 투사된다. 피자 굽기가 완료되면 인터랙티브 교육 콘텐츠 제공 장치(10)가 “피자 완성! 맛있겠다~ 피자를 중앙에 놓아주세요”라는 사운드를 재생한다. Then, after placing all the desired topping materials in FIG. 44, and clicking the "burn in oven" button augmented on the floor, the animation image of pizza baked in FIG. 45 is augmented and projected onto the real Gabe pizza plate. When the pizza baking is completed, the interactive educational content providing device 10 “Pizza complete! It looks yummy ~ Put the pizza in the center. ”

그리고, 도 46에서, 피자를 가운데 놓으면, 인터랙티브 교육 콘텐츠 제공 장치(10)가 피자를 인식하여 “2명이 공평하게 먹으려면 어떻게 잘라야 할까?”라는 사운드가 재생되며, 수학 등분 학습을 위한 ½로 등분하는 가이드 라인을 실물 피자판 위에 증강하여 투사한다.In FIG. 46, when the pizza is placed in the middle, the interactive educational content providing device 10 recognizes the pizza and plays the sound, "How should two people cut to eat equally?" And divides into half for math equal learning. The guideline is augmented and projected onto a real pizza plate.

그리고, 도 47에서 사용자가 가이드 라인에 따라 피자를 ½로 2등분하면, 도 48에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 2등분된 피자를 인식하여 “4명이 공평하게 먹으려면 어떻게 잘라야 할까?”라는 사운드가 재생되며, ¼로 등분하는 가이드라인을 실물 피자판 위에 증강하여 투사한다. 그리고, 도 49에서 사용자가 가이드 라인에 따라 피자를 ¼로 4등분한다. In addition, in FIG. 47, when the user divides the pizza into two halves according to the guidelines, the interactive educational content providing device 10 recognizes the pizza divided into two in FIG. 48 and asks, "How should four people eat to be fair?" Sound is reproduced, and the guideline divided into quarters is augmented and projected on the real pizza plate. In FIG. 49, the user divides the pizza into quarters according to the guidelines.

그리고, 도 50에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 피자를 인식하여 “8명이 공평하게 먹으려면 어떻게 잘라야 할까?”라는 사운드가 재생되며, 도 51에서 1/8로 등분하는 가이드라인을 실물 피자판 위에 증강하여 투사한다. 그리고, 도 52에서 사용자는 가이드 라인에 따라 실물 피자판을 1/8로 8등분한다. In addition, in FIG. 50, the interactive education content providing device 10 recognizes the pizza, and the sound “How should eight people eat to be fair?” Is reproduced. Augment and project onto the board. In FIG. 52, the user divides the real pizza plate into eighths by eighths according to the guidelines.

도 53 내지 도 60은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 미술놀이를 예시한 것이다. 53 to 60 illustrate AR art play in a service scenario according to an embodiment of the present invention.

도 53에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 흰 종이를 펼쳐 놓고, 사용자가 “나비 그림 그리는 거 도와줄래?”라고 음성 명령하면, 도 54에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 음성을 인식하고, “우리 같이 나비를 그려보자, 나를 따라 그려봐”라는 사운드를 재생하면서, 나비 그림 그리기 과정을 순서대로 증강하여 투사한다. In FIG. 53, when white paper is laid out in front of the interactive education content providing device 10 and the user commands a voice, “Can you help me draw a butterfly picture?”, The interactive education content providing device 10 recognizes the voice in FIG. 54. , Playing the sound “Let's draw butterflies together, follow me”, augmenting and projecting the butterfly drawing process in order.

그리고, 도 55에서 사용자가 첫번째로 증강된 이미지 위에 실제 펜으로 따라 그린다. 그리기를 완료한 후, 그림 하단에 증강된 다음 화살표 버튼을 손가락으로 터치하거나, “다음 그림 보여줘”라는 음성명령으로 다음 단계로 넘어간다. In FIG. 55, the user first draws with a real pen on the augmented image. After completing the drawing, touch the next augmented arrow button at the bottom of the picture with your finger, or go to the next step with the voice command “Show next picture”.

그리고, 도 56에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 다음 단계의 가이드 이미지를 증강한다. In addition, in FIG. 56, the interactive education content providing apparatus 10 augments the guide image of the next step.

그리고, 도 57에서 사용자가 첫번째로 증강된 이미지 위에 실제 펜으로 따라 그린다. 그리기를 완료한 후, 그림 하단에 증강된 다음 화살표 버튼을 손가락으로 터치하거나, “다음 그림 보여줘＂라는 음성명령으로 다음 단계로 넘어간다.In FIG. 57, the user first draws with a real pen on the augmented image. After completing the drawing, touch the next augmented arrow button at the bottom of the picture with your finger, or go to the next step with the voice command “Show next picture”.

그리고, 도 58에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 스케치 위에 색칠 가이드를 증강하여 투사하고, 사용자는 실제 크레파스를 사용하여 가이드에 따라 색칠한다. In addition, in FIG. 58, the interactive education content providing device 10 augments and projects the coloring guide on the sketch, and the user colors the guide according to the guide using actual crayons.

그리고, 도 59에서 사용자가 그림을 다 따라 그린 후, “다 그렸어! 내가 그린 그림을 보여줘”라고 음성명령하면, 도 60에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 이 음성을 인식하고, 나비가 날아다니는 3D 애니메이션을 증강하여 투사한다. In addition, in FIG. 59, after the user has finished drawing the picture, “they drew it! Show me the picture I drew ”, the interactive educational content providing device 10 in FIG. 60 recognizes the voice and augments and projects the 3D animation in which the butterfly flies.

도 61 내지 도 66은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 칠교놀이를 예시한 것이다. 61 to 66 illustrate an AR seventh school game in a service scenario according to an embodiment of the present invention.

도 61에서 인터랙티브 교육 콘텐츠 제공 장치(10)에서 AR 칠교놀이 앱을 실행하면, 어떤 놀이를 할 것인지 선택할 수 있는 화면이 바닥에 투사되고, 사용자가 고양이를 손가락으로 터치하면 고양이 칠교놀이가 실행된다. In FIG. 61, when the AR educational game application is executed in the interactive educational content providing device 10, a screen for selecting which game to play is projected on the floor, and when the user touches the cat with a finger, the cat interactive game is executed.

그리고, 도 62에서 인터랙티브 교육 콘텐츠 제공 장치(10)에서 “7개의 조각을 사용해서 고양이를 만들어 보세요“라는 사운드가 재생되며, 바닥에 고양이 칠교 가이드 화면이 증강되어 투사된다.In addition, in FIG. 62, the sound “Try to make a cat using seven pieces” is reproduced in the interactive educational content providing device 10, and the cat seventh guide screen is augmented and projected on the floor.

그리고, 도 63에서 사용자는 7개의 도형모양의 실제 퍼즐 조각을 손으로 옮겨 증강된 고양이 칠교 가이드 화면의 모양과 일치하도록 퍼즐을 맞춘다. 인터랙티브 교육 콘텐츠 제공 장치(10)가 퍼즐조각 모양을 인식하여, 증강된 고양일 가이드 모양과 일치하면, “잘했어요” 사운드를 재생하고, 일치하지 않으면 “다시해보세요”라는 사운드를 재생한다.In FIG. 63, the user moves the seven pieces of actual puzzle pieces by hand to match the puzzle to match the shape of the augmented cat Seven Guide. When the interactive educational content providing device 10 recognizes a puzzle piece shape and matches the enhanced cat guide shape, the interactive education content providing device 10 plays a “good job” sound, and if it does not match, plays a sound “try again”.

그리고, 도 64에서 사용자는 인터랙티브 교육 콘텐츠 제공 장치(10)의 사운드와 증강된 가이드 화면의 안내에 따라 퍼즐조각을 맞춘다. In addition, in FIG. 64, the user adjusts the puzzle pieces according to the sound of the interactive educational content providing device 10 and the guidance of the enhanced guide screen.

그리고, 도 65에서 사용자가 퍼즐 조각 맞추기를 완성한 후, “다 맞췄다! 내가 맞춘 고양이를 보여줘”라고 음성 명령하면, 도 66에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 이 음성을 인식하고, 실사의 고양이 3D 애니메이션을 증강하여 투사한다. And, after the user completes the puzzle piece in Figure 65, "it is all right! Show me a cat that I've tailored ”, the interactive educational content providing device 10 recognizes this voice in FIG. 66, and augments and projects the real-life cat 3D animation.

도 67 내지 도 74는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 영어 단어학습 개인활동을 예시한 것이다. 67 to 74 illustrate AR English word learning personal activities in a service scenario according to an embodiment of the present invention.

도 67에서 인터랙티브 교육 콘텐츠 제공 장치(10)의 주변 바닥에 영어 알파벳이 적힌 실물 카드가 놓여져 있다. In FIG. 67, a physical card in which the English alphabet is written is placed on the periphery of the interactive educational content providing device 10.

도 68에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 “Elephant”라는 사운드 재생과 함께, 코끼리 이미지와 해당 단어에 맞게 알파벳 실물 카드를 옮겨 놓을 8개의 동그라미 빈 칸 이미지를 바닥에 증강하여 투사한다.In FIG. 68, the interactive education content providing device 10 augments and projects the eight circle blank images on which the alphabet object card is to be placed in accordance with the elephant image and the corresponding word together with the sound reproduction “Elephant”.

그리고, 도 69에서 사용자는 코끼리 이미지와 “Elephant” 사운드를 듣고, 알파벳 실물 카드를 순서에 맞게 동그라미 빈 칸에 옮겨 놓는다. 인터랙티브 교육 콘텐츠 제공 장치(10)는 알파벳을 맞추면 +2점 이미지를 화면에 증강하여 투사한다.In addition, in FIG. 69, the user hears the elephant image and the “Elephant” sound, and moves the real cards of the alphabet in the circled blanks in order. When the interactive educational content providing device 10 matches the alphabet, the +2 point image is augmented and projected on the screen.

도 70에서 알파벳이 틀리면, 인터랙티브 교육 콘텐츠 제공 장치(10)는 “한번 더 생각해 보세요＂라는 사운드 재생과 함께, -2점 이미지를 표시하고 틀린 알파벳 동그라미 빈 칸을 빨간색으로 증강한다.If the alphabet is wrong in FIG. 70, the interactive education content providing apparatus 10 displays a -2 point image and augments the wrong alphabet circle with a red color, with a sound reproduction of “Think Again.”

도 71에서 사용자는 틀린 알파벳 실물 카드와 맞는 알파벳 실물 카드를 동그라미 빈 칸에 옮겨 놓으며 단어를 맞춰나간다. In FIG. 71, a user moves an alphabetical real card matching the wrong alphabet real card to a blank space to match a word.

도 72에서 사용자가 단어를 맞추기 어려울 경우 “도와줘”라고 음성명령하면, 인터랙티브 교육 콘텐츠 제공 장치(10)가 이 음성을 인식하고, 알파벳 가이드를 동그라미 빈 칸에 증강하여 투사한다.In FIG. 72, when the user finds it difficult to match a word, the voice command “Help” indicates that the interactive education content providing apparatus 10 recognizes the voice and augments the alphabet guide to the circle space.

그리고, 도 73에서 사용자는 증강된 가이드 알파벳에 맞는 실물 카드를 옮겨 놓으며 계속 학습하고, 알파벳을 모두 맞추고 나면 인터랙티브 교육 콘텐츠 제공 장치(10)가 가 “Elephant”라는 사운드를 재생한다.In addition, in FIG. 73, the user continues to study by moving a physical card corresponding to the enhanced guide alphabet, and after all the alphabets are matched, the interactive educational content providing device 10 plays a sound “Elephant”.

그리고, 도 74에서 단어 학습활동이 끝나면, 사용자가 획득한 점수가 화면에 증강되어 투사된다. In addition, when the word learning activity is finished in FIG. 74, the score obtained by the user is augmented and projected on the screen.

도 75 내지 도 82는 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 AR 영어 단어학습 팀 활동을 예시한 것이다. 75 to 82 illustrate AR English word learning team activities in a service scenario according to an embodiment of the present invention.

도 75에서 인터랙티브 교육 콘텐츠 제공 장치(10)의 주변 바닥에 영어 알파벳이 적힌 파란색과 빨간색 실물 카드 2세트가 놓여있다. 이 시나리오는 사용자 2명(파란색, 빨간색)이 서로 경쟁하는 게임형식의 단어학습이다.In FIG. 75, two sets of blue and red physical cards written in the English alphabet are placed on the bottom of the interactive educational content providing device 10. This scenario is a game-type word learning in which two users (blue and red) compete with each other.

도 76에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 “Dog”라는 사운드 재생과 함께, 강아지 이미지와 해당 단어에 맞게 알파벳 실물 카드를 옮겨 놓을 3개의 동그라미 빈 칸 이미지를 바닥에 증강하여 투사한다. In FIG. 76, the interactive education content providing device 10 augments and projects three circle blank images on which the alphabet object card is to be placed in accordance with the dog image and the corresponding word together with the sound reproduction “Dog”.

그리고, 도 77에서 2명의 사용자는 강아지 이미지와 “Dog” 사운드를 듣고, 해당 알파벳 실물 카드를 화면 위에 옮겨 놓는다. 맞는 알파벳 실물 카드를 상대방보다 먼저 옮겨 놓으면 점수를 획득하게 된다.Then, in FIG. 77, two users hear the dog image and the “Dog” sound, and place the corresponding alphabet real card on the screen. If you place the correct real card before your opponent, you get points.

도 78에서 파란색 사용자가 먼저 알파벳을 맞추면 파란색 +2점 이미지와 파란색 점수가 올라가는 이미지를 화면에 증강하여 투사한다. 반면, 도 79에서 빨간색 사용자가 먼저 알파벳을 맞추면 빨간색 +2점 이미지와 빨간색 점수가 올라가는 이미지를 화면에 증강하여 투사한다.In FIG. 78, when the blue user first matches the alphabet, the blue +2 point image and the blue point up image are augmented and projected on the screen. On the other hand, in FIG. 79, when the red user first matches the alphabet, the image of which the red +2 point image and the red score are raised is augmented and projected on the screen.

도 80에서 2명의 사용자는 서로 경쟁하며 알파벳을 맞춰나간다. 알파벳 맞추기가 완성되면 인터랙티브 교육 콘텐츠 제공 장치(10)가 “Dog”라는 사운드를 재생하고, 도 81에서 파란색 사용자와 빨간색 사용자가 맞춘 최종 점수를 증강하여 투사한다. In FIG. 80, two users compete with each other to match the alphabet. When the alphabet matching is completed, the interactive educational content providing device 10 plays a sound called “Dog” and augments and projects the final scores of the blue user and the red user in FIG. 81.

그리고, 도 82에서 더 많이 맞춘 빨간색 사용자가 승리했다는 의미로 “Red Team VICTORY”라는 텍스트와 이펙트를 증강하여 투사한다. In addition, in FIG. 82, the text “Red Team VICTORY” and the effect are augmented and projected to mean that the red user who matched more wins.

도 83 내지 도 90은 본 발명의 일 실시예에 따른 서비스 시나리오 중에서 원격 어시스턴트(Remote Assistant)를 예시한 것이다. 특히, 도 83 내지 도 90의 실시예는 원격으로 엄마와 함께 그림 그리기를 예시한 시나리오이다. 83 through 90 illustrate a remote assistant in a service scenario according to an embodiment of the present invention. In particular, the embodiment of FIGS. 83-90 is a scenario illustrating painting with a mother remotely.

도 83에서 인터랙티브 교육 콘텐츠 제공 장치(10) 앞에 흰 종이를 펼쳐 놓는다. 그리고, 도 84에서 사용자가 흰 종이에 그림을 그리기 시작한다. In FIG. 83, a white sheet of paper is laid out in front of the interactive educational content providing device 10. Then, in FIG. 84, the user starts drawing on white paper.

도 85에서 사용자가 “엄마한테 같이 그림 그리고 싶다고 전해줘＂라는 음성명령을 하면, 도 86에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 이 음성을 인식하고, “네 알겠습니다. 지금 엄마에게 전송중입니다.”라는 사운드를 재생하며, 직장에서 일하고 있는 엄마 휴대폰(또는 태블릿)에 그림 그리고 있는 화면을 원격으로 전송한다.In FIG. 85, when the user gives a voice command to the mother, “I want to draw a picture with her,” the interactive education content providing device 10 recognizes the voice in FIG. I'm sending it to my mom now. ”Remotely transmits the picture on the mother's phone (or tablet) at work.

그리고, 도 87에서 직장에서 일하고 있는 엄마 휴대폰(또는 태블릿)에 “아이가 그림을 같이 그리고 싶어합니다”라는 알림 팝업이 뜨고, 이 팝업을 클릭하면 엄마의 휴대폰(또는 태블릿) 화면에 아이가 그림 그리고 있는 화면이 재생된다.In addition, in FIG. 87, a pop-up pops up on the mother's mobile phone (or tablet) that says, "I want to draw a picture together." Screen is played.

그리고, 도 88에서 엄마는 휴대폰(또는 태블릿)에 화면에 재생된 아이가 그림 그리고 있는 화면 위에 색을 덧칠한다거나, great 등의 문구를 그리고, “우리 아기 그림 정말 잘그리네 라고 전해줘＂라고 음성명령을 하면, 도 89에서 인터랙티브 교육 콘텐츠 제공 장치(10)가 아이가 그리고 있는 종이 위에 엄마가 함께 그린 이미지를 실시간으로 증강하여 투사하고, “우리 아기 그림 정말 잘그리네!”라는 사운드를 재생한다.In addition, in FIG. 88, the mother puts a color such as a color on the screen where the child played on the screen is drawing on the mobile phone (or tablet), or draws a phrase such as “great. In FIG. 89, the interactive educational content providing device 10 augments and projects, in real time, an image drawn by a mother on a paper on which a child is drawing, and plays a sound of “our baby picture is really good!”.

도 90에서 엄마와 함께 그림그리기를 다 마치고 난 후, 사용자는 인터랙티브 교육 콘텐츠 제공 장치(10)를 눕혀서 벽에 투영함으로써, 자기가 그린 그림을 벽에 투영하여 볼 수 있다.After finishing drawing with the mother in FIG. 90, the user can lay down the interactive education content providing apparatus 10 and project it on the wall, thereby projecting the picture drawn by him on the wall.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the invention has been described using some preferred embodiments, these embodiments are illustrative and not restrictive. Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the invention and the scope of rights set forth in the appended claims.

10 인터랙티브 교육 콘텐츠 제공 장치
110 RGB 카메라
120 IR 카메라
130 IR 에미터(emitter)
140 DOE(Diffractive Optical Element)
150 마이크
160 제어부
170 무선통신부
180 빔 프로젝션부
190 스피커
200 저장부10 Interactive educational content providing device
110 RGB camera
120 IR camera
130 IR emitter
140 Diffractive Optical Element (DOE)
150 microphones
160 control unit
170 Wireless Communications Department
180 beam projection
190 speakers
200 storage

Claims (4)

적외선(infrared ray)을 방출하기 위한 IR 에미터;
상기 IR 에미터에서 방출되는 적외선을 광학적으로 회절시키기 위한 DOE(Diffractive Optical Element);
적외선 영상을 촬영하기 위한 IR 카메라;
색상을 감지하기 위한 RGB 카메라;
음파를 입력받아 전기신호로 변환하기 위한 마이크;
전기신호를 음파로 변환하여 출력시키기 위한 스피커;
바닥 면에 AR(Augmented Reality) 화면을 조사하기 위한 빔 프로젝션부;
교육용 콘텐츠를 비롯한 데이터를 저장하기 위한 저장부; 및
상기 저장부에 저장되어 있는 교육용 콘텐츠를 기반으로 상기 빔 프로젝션부를 통해 AR 화면이 바닥 면에 조사되도록 하고, 바닥 면에 조사된 AR 화면 상에서 상기 DOE와 IR 카메라를 이용하여 손가락의 터치 위치를 검출하고, 검출된 터치 위치에 대응하는 이벤트를 실행하고, 상기 RGB 카메라를 통해 이미지를 검출하고, 상기 마이크를 통해 입력된 음성을 인식하고 이에 대응하는 이벤트를 실행하되 상기 스피커를 통해 음성으로 이벤트를 출력하거나 상기 빔 프로젝션부를 통해 AR 화면으로 이벤트를 출력하는 제어부를 포함하는 인터랙티브 교육 콘텐츠 제공 장치.
IR emitters for emitting infrared rays;
A diffractive optical element (DOE) for optically diffracting infrared light emitted from the IR emitter;
An IR camera for capturing infrared images;
An RGB camera for detecting color;
A microphone for receiving sound waves and converting them into electrical signals;
A speaker for converting and outputting an electrical signal into sound waves;
A beam projection unit for irradiating an AR (Augmented Reality) screen on the floor;
A storage unit for storing data including educational contents; And
Based on the educational content stored in the storage unit AR screen is irradiated to the floor surface through the beam projection unit, and using the DOE and IR camera on the AR screen irradiated on the floor surface to detect the touch position of the finger Executes an event corresponding to the detected touch position, detects an image through the RGB camera, recognizes a voice input through the microphone and executes an event corresponding thereto, and outputs the event as a voice through the speaker; And a controller for outputting an event to an AR screen through the beam projection unit.
청구항 1에 있어서,
상기 제어부는 OCR(optical character reader)을 이용하여 이미지에서 문자를 검출하고, 검출된 문자를 음성으로 변환하여 상기 스피커를 통해 출력하는 것을 특징으로 하는 인터랙티브 교육 콘텐츠 제공 장치.
The method according to claim 1,
The controller detects a character in an image using an optical character reader (OCR), converts the detected character into a voice, and outputs the same through the speaker.
청구항 1에 있어서,
상기 인터랙티브 교육 콘텐츠 제공 장치는 무선통신망을 통해 외부 기기와 통신하기 위한 무선통신부를 더 포함하는 것을 특징으로 하는 인터랙티브 교육 콘텐츠 제공 장치.
The method according to claim 1,
The interactive educational content providing device further includes a wireless communication unit for communicating with an external device through a wireless communication network.
청구항 3에 있어서,
상기 제어부는 현재 조사되고 있는 AR 화면을 상기 무선통신부를 통해 외부의 이동통신 단말에 전송하고, 상기 무선통신부를 통해 외부의 이동통신 단말로부터 수신한 음성을 상기 스피커를 통해 출력하고, 상기 무선통신부를 통해 외부의 이동통신 단말로부터 수신한 영상 데이터를 상기 빔 프로젝션부를 통해 AR 화면으로 조사하는 것을 특징으로 하는 인터랙티브 교육 콘텐츠 제공 장치.
The method according to claim 3,
The controller transmits an AR screen currently being investigated to an external mobile communication terminal through the wireless communication unit, outputs a voice received from an external mobile communication terminal through the wireless communication unit through the speaker, and outputs the wireless communication unit. And interactively irradiating image data received from an external mobile communication terminal to an AR screen through the beam projection unit.
KR1020180098324A 2018-08-23 2018-08-23 Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition KR102085880B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180098324A KR102085880B1 (en) 2018-08-23 2018-08-23 Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098324A KR102085880B1 (en) 2018-08-23 2018-08-23 Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition

Publications (2)

Publication Number Publication Date
KR20200022576A true KR20200022576A (en) 2020-03-04
KR102085880B1 KR102085880B1 (en) 2020-03-06

Family

ID=69783386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098324A KR102085880B1 (en) 2018-08-23 2018-08-23 Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition

Country Status (1)

Country Link
KR (1) KR102085880B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090117A (en) * 2007-04-04 2008-10-08 주식회사 지팡이 The automatic talking book
KR20090003445A (en) 2007-06-11 2009-01-12 주식회사 디지투 Service device for on-line child studying of used virtual reality technique and service method thereof
KR20120074977A (en) * 2010-12-28 2012-07-06 (주)이지런 Educational materials and methods using augmented reality the performance of voice recognition and command
KR20150137232A (en) * 2014-05-28 2015-12-09 주식회사 에프지아이 Method and tangible education device using projector for the special education

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090117A (en) * 2007-04-04 2008-10-08 주식회사 지팡이 The automatic talking book
KR20090003445A (en) 2007-06-11 2009-01-12 주식회사 디지투 Service device for on-line child studying of used virtual reality technique and service method thereof
KR20120074977A (en) * 2010-12-28 2012-07-06 (주)이지런 Educational materials and methods using augmented reality the performance of voice recognition and command
KR20150137232A (en) * 2014-05-28 2015-12-09 주식회사 에프지아이 Method and tangible education device using projector for the special education

Also Published As

Publication number Publication date
KR102085880B1 (en) 2020-03-06

Similar Documents

Publication Publication Date Title
Sherman et al. Understanding virtual reality: Interface, application, and design
Brown The doodle revolution: Unlock the power to think differently
Matthews The art of childhood and adolescence: The construction of meaning
Peters Interface design for learning: Design strategies for learning experiences
Stern Interactive art and embodiment: The implicit body as performance
Carruthers et al. Understanding Children'S Mathematical Graphics: Beginnings In Play: Beginnings in Play
Morgan et al. Using ICT in the early years: Parents and practitioners in partnership
Levin et al. Code as creative medium: a handbook for computational art and design
Wohlwend Play as the literacy of children: Imagining otherwise in contemporary childhoods
Lee et al. Improving the experience of teaching and learning kindergarten-level English vocabulary using augmented reality
McDonald et al. Teaching literacy through the arts
KR101916146B1 (en) Method and system for providing book reading experience service based on augmented reality and virtual reality
KR102085880B1 (en) Apparatus for presenting interactive education contents based on augmented reality and artificial intelligence of voice recognition
Rose To teach science, tell stories
Anderson et al. Patterns of Power, Grades 6–8: Inviting Adolescent Writers into the Conventions of Language
KR102299065B1 (en) Apparatus and Method for Providing learning platform based on XR
Palaigeorgiou et al. Improving vocabulary acquisition in a second/foreign language with a mixed reality environment and a drone
Wang et al. Construction of a somatosensory interactive system based on computer vision and augmented reality techniques using the kinect device for food and agricultural education
Scott Visualizing the future
Bakala et al. Programmable floor robot Robotito and its Tangible and Virtual Interface
Montemayor Physical programming: tools for kindergarten children to author physical interactive environments
Albalawi Evaluating tangible user interface-based mobile-learning system for young children
Liu et al. Human Sense-Based Simulation-Experience Model for Interactive Art Production
Tornatzky et al. An Artistic Approach to Virtual Reality
RU2720842C1 (en) Method for development of creative abilities (versions) and device for its implementation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant