KR102178894B1 - Education support system and method using mat and Augmented Reality - Google Patents

Education support system and method using mat and Augmented Reality Download PDF

Info

Publication number
KR102178894B1
KR102178894B1 KR1020180147956A KR20180147956A KR102178894B1 KR 102178894 B1 KR102178894 B1 KR 102178894B1 KR 1020180147956 A KR1020180147956 A KR 1020180147956A KR 20180147956 A KR20180147956 A KR 20180147956A KR 102178894 B1 KR102178894 B1 KR 102178894B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
mobile terminal
displayed
screen
Prior art date
Application number
KR1020180147956A
Other languages
Korean (ko)
Other versions
KR20200062500A (en
Inventor
방현우
Original Assignee
주식회사 엔비져블
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔비져블 filed Critical 주식회사 엔비져블
Priority to KR1020180147956A priority Critical patent/KR102178894B1/en
Publication of KR20200062500A publication Critical patent/KR20200062500A/en
Application granted granted Critical
Publication of KR102178894B1 publication Critical patent/KR102178894B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G27/00—Floor fabrics; Fastenings therefor
    • A47G27/02—Carpets; Stair runners; Bedside rugs; Foot mats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

매트에 인쇄되어 있는 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되는 매트 및 증강현실을 이용한 학습시스템이 개시된다. 상기 매트 및 증강현실을 이용한 학습시스템은, 상기 이동단말에서 촬영된 영상에서 상기 매트에 인쇄되어 있는 이미지를 인식하는 인식부, 상기 인식된 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 표시제어부 및 상기 인식부에서 상기 매트의 제 1 이미지를 인식한 시점 직전의 시점에서 상기 이동단말의 화면에 표시된 증강현실 콘텐츠에 대응하는 상기 매트의 제 2 이미지가 상기 제 1 이미지와 매칭되는지 판단하는 비교부를 구비하고, 상기 표시제어부는 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.A learning system using a mat and augmented reality in which the corresponding augmented reality content is displayed on the screen of the mobile terminal when an image printed on the mat is photographed by a mobile terminal is disclosed. The learning system using the mat and augmented reality includes a recognition unit that recognizes an image printed on the mat from an image captured by the mobile terminal, and an augmented reality content corresponding to the recognized image is displayed on the screen of the mobile terminal. The second image of the mat corresponding to the augmented reality content displayed on the screen of the mobile terminal is matched with the first image at a viewpoint immediately before the point of time when the first image of the mat is recognized by the display control unit and the recognition unit And a comparison unit for determining whether or not, the display control unit may control to display an augmented reality content corresponding to the first image on the screen of the mobile terminal when the first image is an image matching the second image. .

Description

매트 및 증강현실을 이용한 학습시스템 및 학습방법{Education support system and method using mat and Augmented Reality}Learning support system and method using mat and Augmented Reality}

본 발명은 매트 및 증강현실을 이용한 학습시스템 및 학습방법에 관한 것으로, 특히 매트에 인쇄된 이미지를 이용하여 증강현실 컨텐츠를 제공함으로써 놀이와 학습을 동시에 할 수 있는 매트 및 증강현실을 이용한 학습시스템 및 학습방법에 관한 것이다.The present invention relates to a learning system and a learning method using a mat and augmented reality, and in particular, a learning system using a mat and augmented reality capable of simultaneously playing and learning by providing augmented reality content using images printed on the mat, and It is about learning methods.

증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여 주는 기술을 말하며, 이와 같은 증강현실(AR)은 사용자가 눈으로 보는 현실세계에 가상의 콘텐츠를 겹쳐 보여주는 기술로 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality (AR) refers to a technology that superimposes a 3D virtual image on a real image or background to show a single image. Such augmented reality (AR) is a virtual content in the real world that the user sees. It is also called Mixed Reality (MR) because it combines the real world with the virtual world with additional information in real time and shows it as a single image.

이처럼, 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하여 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹쳐서 제공하는 방법으로 많은 분야에서 사용되고 있다.As such, augmented reality, a concept that complements the real world with a virtual world, is used in many fields as a method of providing a 3D virtual image superimposed on a real-life image viewed by a user using a virtual environment made of computer graphics.

예를 들어, 전시관의 전시물 설명 제공, 교육용 콘텐츠 제공, 각종 정보 제공, 사물에 관한 정보 제공 등 현실세계의 대상에 대한 부가정보를 제공하는데 주로 이용되고 있다. 관련 종래기술로 대한민국 특허출원 제10-2012-0147219호 '증강현실 콘텐츠 재생 시스템' 등이 있다.For example, it is mainly used to provide additional information on objects in the real world, such as providing explanations of exhibits in exhibition halls, providing educational contents, providing various information, and providing information on objects. As related prior art, there is Korean Patent Application No. 10-2012-0147219'Augmented Reality Content Playback System'.

최근 층간 소음을 방지하고 안전을 위해서 아동이나 어린이를 위한 바닥 매트를 실내에 깔고 생활하게 되는 것이 일상적인 일이 되고 있다. 통상 영유아를 키우는 가정의 경우 거의 모든 집에서 거실이나 방에 바닥 매트를 깔고 생활하고 있다. 이와 같은 매트는 영유아들이 좋아하는 캐릭터, 숫자, 한글, 알파벳 등이 인쇄된다. 그러나, 종래 바닥 매트는 단순 매트 이상의 기능을 제공하지 못하고 있다. 관련 종래기술로 대한민국 특허출원 10-2011-0088359호 '하우스로 변형 가능한 매트' 등이 있다.In recent years, it has become a common practice to have floor mats for children or children indoors to prevent noise between floors and for safety. In general, families with infants and toddlers are living with floor mats in living rooms or rooms in almost all homes. On such a mat, characters, numbers, Korean characters, and alphabets that infants and toddlers like are printed. However, the conventional floor mat does not provide more than a simple mat. As related prior art, there are Korean Patent Application No. 10-2011-0088359'A mat that can be transformed into a house'.

또한, 매트에 인쇄된 이미지를 이용하여 사용자에게 증강현실 콘텐츠를 제공하는 시스템 및 방법에 관한 것으로 대한민국 등록특허 제10-1522834호 '증강현실 마커가 인쇄된 바닥 매트 및 이를 포함하는 증강현실 시스템' 등이 있다. 그러나 이와 같은 종래기술은 단순히 매트에 인쇄된 이미지를 촬영하는 경우 대응하는 증강현실을 화면에 표시하여 주는 기술에 불과하여 사용자가 쉽게 흥미를 잃을 수 있고 학습 효과가 낮은 문제가 있다.In addition, it relates to a system and method for providing augmented reality content to a user using an image printed on a mat, and Korean Patent No. 10-1522834'Augmented reality marker printed floor mat and an augmented reality system including the same' There is this. However, such a conventional technique is merely a technique for displaying a corresponding augmented reality on a screen when an image printed on a mat is photographed, so that the user may easily lose interest and the learning effect is low.

본 발명이 해결하고자 하는 과제는 매트에 인쇄된 이미지를 이용하여 증강현실 컨텐츠를 제공함과 동시에 흥미를 가지고 다음 이미지를 찾아갈 수 있도록 함으로써 놀이와 학습을 동시에 할 수 있는 매트 및 증강현실을 이용한 학습시스템 및 학습방법을 제공하는데 있다.The problem to be solved by the present invention is a learning system using a mat and augmented reality that can play and learn at the same time by providing augmented reality content using an image printed on a mat and allowing people to visit the next image with interest. And to provide a learning method.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 매트에 인쇄되어 있는 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되는 매트 및 증강현실을 이용한 학습시스템은, 상기 이동단말에서 촬영된 영상에서 상기 매트에 인쇄되어 있는 이미지를 인식하는 인식부, 상기 인식된 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 표시제어부 및 상기 인식부에서 상기 매트의 제 1 이미지를 인식한 시점 직전의 시점에서 상기 이동단말의 화면에 표시된 증강현실 콘텐츠에 대응하는 상기 매트의 제 2 이미지가 상기 제 1 이미지와 매칭되는지 판단하는 비교부를 구비하고, 상기 표시제어부는 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.A learning system using a mat and augmented reality in which the corresponding augmented reality content is displayed on the screen of the mobile terminal when an image printed on a mat according to an embodiment of the present invention for achieving the above is captured by a mobile terminal, A recognition unit for recognizing an image printed on the mat from an image captured by the mobile terminal, a display control unit for controlling the augmented reality content corresponding to the recognized image to be displayed on the screen of the mobile terminal, and the recognition unit A comparison unit for determining whether the second image of the mat corresponding to the augmented reality content displayed on the screen of the mobile terminal matches the first image at a point in time immediately before the first image of the mat is recognized, and the display control unit May control the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal when the first image is an image matching the second image.

상기 매트 및 증강현실을 이용한 학습시스템은 상기 이미지간의 매칭관계가 저장되어 있는 매칭테이블을 더 구비하고, 상기 비교부는 상기 제 1 이미지 또는 상기 제 2 이미지의 매칭관계를 상기 매칭테이블에서 검색하고, 상기 매칭테이블에서 검색된 매칭관계를 이용하여 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는지 판단할 수 있다.The learning system using the mat and augmented reality further includes a matching table in which a matching relationship between the images is stored, and the comparison unit searches for a matching relationship between the first image or the second image in the matching table, and the It may be determined whether the first image matches the second image by using the matching relationship retrieved from the matching table.

상기 표시제어부는, 상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않는 이미지인 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되지 않도록 제어하거나 오류메시지가 포함된 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.When the first image is an image that does not match the second image, the display control unit controls the augmented reality content corresponding to the first image not to be displayed on the screen of the mobile terminal or an image containing an error message. Alternatively, the augmented reality content may be controlled to be displayed on the screen of the mobile terminal.

상기 표시제어부는, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 경우, 상기 이동단말이 사용자 지시사항이 포함된 이미지 또는 음성을 제공하도록 제어하거나 상기 제 1 이미지에 대응하는 증강현실 콘텐츠에 상기 사용자 지시사항을 포함시켜 상기 이동단말의 화면에 표시되도록 제어할 수 있다.When controlling the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal, the display control unit controls the mobile terminal to provide an image or sound including user instructions, or the first image The user instruction may be included in the augmented reality content corresponding to and may be controlled to be displayed on the screen of the mobile terminal.

상기 표시제어부는, 상기 매트에 인쇄되어 있는 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시하는 어플리케이션이 시작된 경우 또는 상기 인식부에서 상기 제 1 이미지를 인식한 시점 이전에 상기 이동단말의 화면에 표시된 증강현실 콘텐츠가 존재하지 않는 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.When the application for displaying the augmented reality content corresponding to the image printed on the mat on the screen of the mobile terminal is started or before the time when the recognition unit recognizes the first image, the display control unit When the augmented reality content displayed on the screen does not exist, the augmented reality content corresponding to the first image may be controlled to be displayed on the screen of the mobile terminal.

상기 표시제어부는, 상기 매트에 인쇄되어 있는 모든 이미지들에 대한 증강현실 콘텐츠가 상기 이동단말로 전송된 경우 또는 상기 매트의 이미지들 중 종료용 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시된 경우, 종료 메시지를 포함하는 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.When the augmented reality content for all the images printed on the mat is transmitted to the mobile terminal or the augmented reality content corresponding to the end image among the images of the mat is displayed on the screen of the mobile terminal. When displayed, an image or augmented reality content including an end message may be controlled to be displayed on the screen of the mobile terminal.

상기 과제를 달성하기 위한 본 발명의 다른 일 실시예에 따른 매트에 인쇄되어 있는 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되는 매트 및 증강현실을 이용한 학습방법은, 상기 매트의 제 1 이미지를 상기 이동단말을 이용하여 촬영하는 경우, 비교부에서 상기 제 1 이미지를 촬영하기 직전에 상기 이동단말에 표시된 증강현실 콘텐츠에 대응하는 제 2 이미지가 상기 제 1 이미지와 매칭되는지 판단하는 단계 및 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우 상기 표시제어부에서 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 단계를 포함할 수 있다.A learning method using a mat and augmented reality in which the corresponding augmented reality content is displayed on the screen of the mobile terminal when an image printed on a mat according to another embodiment of the present invention for achieving the above is captured by a mobile terminal When the first image of the mat is photographed using the mobile terminal, a second image corresponding to the augmented reality content displayed on the mobile terminal immediately before photographing the first image in the comparison unit is Determining whether the first image matches the second image, and controlling the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal by the display control unit when the first image is an image matching the second image. I can.

본 발명의 기술적 사상에 의한 일 실시예에 따른 매트 및 증강현실을 이용한 학습시스템 및 학습방법은 매트에 그려진 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 이동단말에 표시되고 사용자는 표시된 증강현실 콘텐츠 또는 함께 표시되는 지시사항에 따라 다른 이미지를 찾을 수 있도록 함으로써 사용자가 흥미를 가지고 놀이와 학습을 동시에 수행할 수 있는 장점이 있다. 예를 들어, 상기 매트에 인쇄된 산수나 수학문제를 상기 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말에 표시되고, 사용자가 정답을 찾아 정답에 해당하는 이미지를 비추면 대응하는 증강현실 콘텐츠가 표시되고 틀린 이미지를 비추면 증강현실 콘텐츠가 표시되지 않거나 틀렸음을 알리는 이미지가 표시됨으로써 사용자는 놀이를 하면서 학습을 할 수 있는 장점이 있다. 다른 예로, 상기 매트에 인쇄된 동물을 상기 이동단말로 촬영하면 대응하는 증강현실 콘텐츠와 다른 동물을 찾도록 하는 내용이 상기 이동단말에 표시되고 상기 지시사항에 따라 다른 동물을 찾으면 그에 해당하는 증강현실 콘텐츠가 상기 이동단말에 표시됨으로써 쉽고 재미있게 학습할 수 있는 장점이 있다. 또한, 본 발명의 기술적 사상에 의한 일 실시예에 따른 매트 및 증강현실을 이용한 학습시스템 및 학습방법은 매트를 다시 구입하지 않아도 대응하는 증강현실 컨텐츠나 지시사항을 업데이트함으로써 동일한 매트에서 다른 이미지를 찾아갈 수 있도록 할 수 있어 지속적으로 사용자가 흥미를 가지고 학습을 할 수 있는 장점이 있다.The learning system and learning method using a mat and augmented reality according to an embodiment according to the technical idea of the present invention, when an image drawn on the mat is photographed by a mobile terminal, the corresponding augmented reality content is displayed on the mobile terminal, and the user is displayed augmented reality. By allowing users to find different images according to content or instructions displayed together, there is an advantage that users can play and learn simultaneously with interest. For example, when arithmetic or math problems printed on the mat are photographed with the mobile terminal, corresponding augmented reality content is displayed on the mobile terminal, and when the user finds the correct answer and projects an image corresponding to the correct answer, the corresponding augmented reality When the content is displayed and the wrong image is illuminated, the augmented reality content is not displayed or an image indicating that the augmented reality content is wrong is displayed, so that the user can learn while playing. As another example, when an animal printed on the mat is photographed with the mobile terminal, the corresponding augmented reality content and the content for finding other animals are displayed on the mobile terminal, and when other animals are found according to the instructions, corresponding augmented reality As content is displayed on the mobile terminal, there is an advantage in that it is easy and fun to learn. In addition, the learning system and learning method using a mat and augmented reality according to an embodiment according to the technical idea of the present invention search for another image on the same mat by updating the corresponding augmented reality content or instructions without purchasing the mat again. There is an advantage that users can continue to learn with interest since it can be made to go.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 의한 일 실시예에 따른 매트 및 증강현실을 이용한 학습시스템의 블록도이다.
도 2는 도 1의 매트 및 증강현실을 이용한 학습시스템을 이용하는 방법의 흐름도이다.Brief description of each drawing is provided in order to more fully understand the drawings cited in the detailed description of the present invention.
1 is a block diagram of a learning system using a mat and augmented reality according to an embodiment according to the technical idea of the present invention.
2 is a flowchart of a method of using a learning system using the mat and augmented reality of FIG. 1.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. The same reference numerals in each drawing indicate the same member.

도 1은 본 발명의 기술적 사상에 의한 일 실시예에 따른 매트 및 증강현실을 이용한 학습시스템(100)의 블록도이다. 매트 및 증강현실을 이용한 학습시스템(100)은 매트에 인쇄되어 있는 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 할 수 있다.1 is a block diagram of a learning system 100 using a mat and augmented reality according to an embodiment of the inventive concept. The learning system 100 using a mat and augmented reality may allow a corresponding augmented reality content to be displayed on the screen of the mobile terminal when an image printed on the mat is captured by a mobile terminal.

도 1을 참조하면, 매트 및 증강현실을 이용한 학습시스템(100)은 인식부(110), 비교부(120) 및 표시제어부(130)를 구비하고, 매칭테이블(140)을 더 구비할 수 있다.Referring to FIG. 1, the learning system 100 using a mat and augmented reality may include a recognition unit 110, a comparison unit 120, and a display control unit 130, and may further include a matching table 140. .

인식부(110)는 상기 이동단말에서 촬영된 영상에서 상기 매트에 인쇄되어 있는 이미지를 인식할 수 있다. 즉, 인식부(110)은 상기 이동단말에서 촬영된 영상에서 상기 매트에 인쇄된 이미지들 중 증강현실 콘텐츠에 대응하는 이미지를 인식할 수 있다. 인식부(110)는 상기 이동단말 내의 어플리케이션에서 동작될 수도 있고 상기 이동단말과 통신하는 서버에서 동작될 수도 있다. 예를 들어, 상기 이동단말 내의 대응하는 어플리케이션이 실행되면 상기 이동단말의 카메라로 상기 매트에 인쇄되어 있는 이미지를 촬영할 수 있고, 상기 어플리케이션 상의 인식부(110)는 상기 촬영된 영상에서 상기 매트에 인쇄되어 있는 이미지를 인식할 수 있다. 다른 예로, 상기 이동단말 내의 대응하는 어플리케이션이 실행되면 상기 이동단말의 카메라로 상기 매트에 인쇄되어 있는 이미지를 촬영할 수 있고, 상기 어플리케이션을 통하여 상기 촬영된 이미지를 상기 서버로 전송하면 상기 서버 상의 인식부(110)는 상기 촬영된 영상에서 상기 매트에 인쇄되어 있는 이미지를 인식할 수 있다. The recognition unit 110 may recognize an image printed on the mat from an image captured by the mobile terminal. That is, the recognition unit 110 may recognize an image corresponding to the augmented reality content among images printed on the mat from the image captured by the mobile terminal. The recognition unit 110 may be operated in an application in the mobile terminal or in a server communicating with the mobile terminal. For example, when a corresponding application in the mobile terminal is executed, an image printed on the mat can be photographed with the camera of the mobile terminal, and the recognition unit 110 on the application prints on the mat from the captured image. You can recognize the image. As another example, when a corresponding application in the mobile terminal is executed, an image printed on the mat can be photographed with the camera of the mobile terminal, and when the photographed image is transmitted to the server through the application, the recognition unit on the server Reference numeral 110 may recognize an image printed on the mat from the captured image.

인식부(110)는 상기 매트의 이미지에 대응하여 매트에 인쇄되어 있는 증강현실 마커를 인식함으로써 상기 이미지를 인식할 수 있다. 상기 증강현실 마커는 상기 매트의 이미지의 특징점일 수도 있고 이미지와 별도로 표시된 마커일 수도 있다. 예를 들어, 원숭이의 이미지가 상기 매트에 인쇄되어 있는 경우, 인식부(110)는 상기 촬영된 영상에서 상기 원숭이의 이미지 중 특징점을 추출하거나 상기 원숭이의 이미지 주변에 인쇄된 마커를 이용하여 상기 원숭이 이미지가 증강현실 컨텐츠에 대응하는 이미지임을 인식할 수 있다.The recognition unit 110 may recognize the image by recognizing the augmented reality marker printed on the mat corresponding to the image of the mat. The augmented reality marker may be a feature point of the image of the mat or a marker displayed separately from the image. For example, when an image of a monkey is printed on the mat, the recognition unit 110 extracts a feature point from the image of the monkey from the captured image or uses a marker printed around the image of the monkey. It can be recognized that the image is an image corresponding to the augmented reality content.

비교부(120)는 제 1 이미지와 제 2 이미지가 매칭되는지 판단할 수 있다. 상기 제 1 이미지는 인식부(110)에서 현재 인식한 이미지일 수 있다. 그리고 상기 제 2 이미지는 상기 제 1 이미지를 인식한 시점 직전의 시점에서 상기 이동단말의 화면에 표시된 증강현실 콘텐츠에 대응하는 상기 매트의 이미지일 수 있다. 즉, 제 1 시점에 상기 제 2 이미지를 인식부(110)에서 인식하여 상기 제 2 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되었고, 이후 현재시점에 인식부(110)에서 상기 매트의 특정 이미지를 인식한 경우에 해당한다. 만약, 제 1 시점에 인식부(110)가 '원숭이' 이미지를 인식하여 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되었고, 제 1 시점 이후 시점인 제 2 시점에 인식부(110)가 '사자' 이미지를 인식하였으나 '사자' 이미지는 매칭되는 이미지가 아니여서 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되지 않았다면, 상기 제 1 이미지를 인식한 현재시점을 기준으로 상기 제 2 이미지는 '사자'가 아닌 '원숭이' 이미지가 된다. 즉, 상기 제 1 이미지를 인식한 시점에서 '사자'이미지를 인식한 시점이 더 가깝지만 '사자' 이미지는 증강현실 콘텐츠가 화면에 표시되지 않았으므로 제 1 시점이전에 증강현실 콘텐츠가 화면에 표시된 '원숭이' 이미지가 상기 제 2 이미지가 된다. The comparison unit 120 may determine whether the first image and the second image match. The first image may be an image currently recognized by the recognition unit 110. In addition, the second image may be an image of the mat corresponding to the augmented reality content displayed on the screen of the mobile terminal at a point in time immediately before the point in time when the first image is recognized. That is, the second image was recognized by the recognition unit 110 at the first time point, and the augmented reality content corresponding to the second image was displayed on the screen of the mobile terminal, and then at the present time, the recognition unit 110 This is the case when you recognize a specific image of the mat. If, at the first point of view, the recognition unit 110 recognizes the'monkey' image and the corresponding augmented reality content is displayed on the screen of the mobile terminal, and the recognition unit 110 is If the'lion' image is recognized but the'lion' image is not a matched image and the corresponding augmented reality content is not displayed on the screen of the mobile terminal, the second image is based on the current point of time when the first image is recognized. Becomes a'monkey' image rather than a'lion'. That is, the point of recognizing the'lion' image is closer to the point of recognizing the first image, but the'lion' image is not displayed on the screen, so the augmented reality content is displayed on the screen before the first point of view. The monkey' image becomes the second image.

비교부(120)가 상기 제 1 이미지와 상기 제 2 이미지가 매칭되는 이미지인지 판단하기 위하여 매칭테이블(140)에 저장되어 있는 상기 이미지간의 매칭관계를 이용할 수 있다. 즉, 인식부(110)에서 상기 제 2 이미지가 먼저 인식되어 대응하는 증강현실 콘텐츠가 상기 화면에 표시된 이후 상기 제 1 이미지가 인식되면, 상기 제 1 이미지 또는 상기 제 2 이미지의 매칭관계를 매칭테이블(140)에서 검색하고, 매칭테이블(140)에서 검색된 매칭관계를 이용하여 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는지 판단할 수 있다. 예를 들어, 상기 제 2 이미지가 '5 - 3 = ?'이라는 이미지이고 상기 제 2 이미지와 매칭되는 이미지는 해당 문제의 답인 '2'인 경우, 비교부(120)는 상기 제 1 이미지가 '2'인 경우 상기 제 1 이미지와 상기 제 2 이미지가 매칭된다고 판단하고 상기 제 1 이미지가 '3'인 경우 상기 제 1 이미지와 상기 제 2 이미지가 매칭되지 않는다고 판단한다.The comparison unit 120 may use a matching relationship between the images stored in the matching table 140 to determine whether the first image and the second image are matched images. That is, if the first image is recognized after the second image is first recognized by the recognition unit 110 and the corresponding augmented reality content is displayed on the screen, the matching relationship between the first image or the second image is determined by a matching table. It may be determined whether the first image matches the second image by searching at 140 and using the matching relationship searched at the matching table 140. For example, if the second image is an image of '5-3 = ?'and the image matching the second image is '2', which is the answer to the corresponding problem, the comparison unit 120 determines that the first image is' In the case of 2', it is determined that the first image and the second image are matched, and when the first image is '3', it is determined that the first image and the second image do not match.

비교부(120)는 인식부(110)와 마찬가지로 상기 이동단말 내의 어플리케이션에서 동작될 수도 있고 상기 이동단말과 통신하는 서버에서 동작될 수도 있다. 마찬가지로, 매칭테이블(140)도 상기 이동단말 내의 어플리케이션에서 동작될 수도 있고 상기 이동단말과 통신하는 서버에 저장되어 있을 수도 있다. 예를 들어, 매칭테이블(140)이 상기 서버에 저장되어 있고 비교부(120)가 상기 이동단말 내의 어플리케이션에서 동작된다면, 비교부(120)는 상기 매칭관계를 서버에 요청하여 받아와 상기 제 1 이미지와 상기 제 2 이미지를 비교할 수 있다. 다른 예로, 매칭테이블(140)이 상기 서버에 저장되어 있고 비교부(120)도 상기 서버에서 동작된다면, 비교부(120)는 상기 서버에서 저장되어 있는 매칭테이블(140)의 매칭관계를 이용하여 상기 제 1 이미지와 상기 제 2 이미지를 비교할 수 있다. Like the recognition unit 110, the comparison unit 120 may be operated in an application in the mobile terminal or in a server communicating with the mobile terminal. Similarly, the matching table 140 may be operated by an application in the mobile terminal or stored in a server communicating with the mobile terminal. For example, if the matching table 140 is stored in the server and the comparison unit 120 is operated in an application in the mobile terminal, the comparison unit 120 requests and receives the matching relationship from the server, and the first The image and the second image can be compared. As another example, if the matching table 140 is stored in the server and the comparison unit 120 is also operated in the server, the comparison unit 120 uses the matching relationship of the matching table 140 stored in the server. The first image and the second image may be compared.

표시제어부(130)는 상기 인식된 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 다만, 표시제어부(130)는 상기 이미지가 인식되기만 하면 항상 대응하는 증강현실 콘텐츠가 상기 화면에 표시되도록 제어하는 것은 아니며, 이하에서 설명하는 것과 같이 일정한 조건에 해당하는 경우에만 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.The display control unit 130 may control the augmented reality content corresponding to the recognized image to be displayed on the screen of the mobile terminal. However, the display control unit 130 does not always control the corresponding augmented reality content to be displayed on the screen as long as the image is recognized, and as described below, the corresponding augmented reality content is It can be controlled to be displayed on the screen of the mobile terminal.

표시제어부(130)는 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 즉, 비교부(120)의 판단결과 상기 제 1 이미지가 상기 제 2 이미지에 매칭되는 경우, 표시제어부(130)는 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다.When the first image is an image matching the second image, the display control unit 130 may control the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal. That is, when the comparison unit 120 determines that the first image matches the second image, the display control unit 130 controls the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal. can do.

만약, 상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않는 이미지인 경우, 표시제어부(130)는 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되지 않도록 제어하거나 오류메시지가 포함된 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 즉, 상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않는 이미지인 경우, 표시제어부(130)는 상기 제 1 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시하지 않게 된다. 그리고 필요에 따라 표시제어부(130)는 상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않음에 대한 알림이 포함된 오류메시지를 이미지 또는 증강현실 콘텐츠로 상기 이동단말의 화면에 표시하거나 음성으로 상기 이동단말을 통하여 알림을 줄 수도 있다.If the first image is an image that does not match the second image, the display control unit 130 controls the augmented reality content corresponding to the first image not to be displayed on the screen of the mobile terminal, or an error message is displayed. It is possible to control the included image or augmented reality content to be displayed on the screen of the mobile terminal. That is, when the first image is an image that does not match the second image, the display control unit 130 does not display the augmented reality content corresponding to the first image on the screen of the mobile terminal. And, if necessary, the display control unit 130 displays an error message including a notification that the first image does not match the second image on the screen of the mobile terminal as an image or augmented reality content, or moves the message by voice. You can also give notifications through the terminal.

표시제어부(130)는 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 경우, 상기 이동단말이 사용자 지시사항이 포함된 이미지 또는 음성을 제공하도록 제어하거나 상기 제 1 이미지에 대응하는 증강현실 콘텐츠에 상기 사용자 지시사항을 포함시켜 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 예를 들어, 상기 이동단말이 '원숭이' 이미지를 촬영하는 경우 표시제어부(130)는 '원숭이' 이미지에 대응하는 증강현실 콘텐츠 안에 "코끼리에게 고민이 있대. 코끼리를 찾아서 도와주자!"라는 사용자 지시사항이 이미지 또는 음성으로 포함된 상태로 상기 이동단말이 제공하도록 제어할 수 있다. 따라서 사용자는 이와 같은 사용자 지시사항에 따라 '코끼리' 이미지를 찾아서 상기 이동단말로 촬영하면 '코끼리' 이미지에 대응하는 증강현실 콘텐츠가 다시 상기 화면에 표시될 수 있다. 다만, 이와 같은 사용자 지시사항은 이미지 자체에 포함될 수 있다. 예를 들어, 상기 매트에 '3 + 5 = ?'이라는 이미지가 있어 이를 촬영하여 대응하는 증강현실 콘텐츠가 상기 화면에 표시되는 경우, 별도의 사용자 지시사항이 없어도 정답을 찾으라는 지시사항이 이미 포함되어 있다고 사용자가 알 수 있으므로, 사용자는 정답에 해당하는 숫자를 찾아 촬영을 하면 된다.When controlling the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal, the display control unit 130 controls the mobile terminal to provide an image or sound including user instructions, or the first The user instruction may be included in the augmented reality content corresponding to the image to be displayed on the screen of the mobile terminal. For example, when the mobile terminal captures a'monkey' image, the display control unit 130 instructs the user to "The elephant has a problem. Let's find an elephant and help!" in the augmented reality content corresponding to the image of the'monkey'. It is possible to control so that the information is provided by the mobile terminal in a state that is included as an image or voice. Accordingly, when the user finds an image of'elephant' according to the user's instructions and photographs it with the mobile terminal, augmented reality content corresponding to the image of'elephant' may be displayed on the screen again. However, such user instructions may be included in the image itself. For example, if there is an image of '3 + 5 = ?'on the mat and the corresponding augmented reality content is displayed on the screen by photographing it, an instruction to find the correct answer even if there is no user instruction is already included. Since the user can know that the answer is correct, the user can take a picture by finding the number corresponding to the correct answer.

표시제어부(130)는 상기 매트에 인쇄되어 있는 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시하는 어플리케이션이 시작된 경우 또는 인식부(110)에서 상기 제 1 이미지를 인식한 시점 이전에 상기 이동단말의 화면에 표시된 증강현실 콘텐츠가 존재하지 않는 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 즉, 상기 어플리케이션이 시작된 경우 최초로 인식부(110)에서 인식한 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시할 수 있다. 또는, 상기 어플리케이션이 시작되면서 사용자 지시사항을 화면에 표시하여 주거나 음성으로 제공함으로써 상기 사용자 지시사항에 대응하는 이미지를 인식부(110)에서 인식하는 경우에만 상기 이미지에 대응하는 증강현실 콘텐츠를 상기 화면에 표시할 수도 있다. 또는, 상기 제 1 이미지를 인식한 시점에서 임계시간 이내에 상기 이동단말의 화면에 표시된 증강현실 콘텐츠가 존재하지 않는 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 예를 들어, 상기 제 1 이미지를 인식한 시점에서 과거 10분 이내의 시간동안 상기 화면에 표시된 증강현실 콘텐츠가 존재하지 않는 경우, 표시제어부(130)는 상기 제 1 이미지의 매칭 여부와 무관하게 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 이외에도 다양한 방법에 의하여 시작시점을 설정할 수 있으며, 시작시점에서는 매칭관계를 확인하지 않고 대응하는 증강현실 콘텐츠를 상기 화면에 표시할 수 있다.When the application for displaying the augmented reality content corresponding to the image printed on the mat on the screen of the mobile terminal is started or before the time point when the recognition unit 110 recognizes the first image, the display control unit 130 When the augmented reality content displayed on the screen of the mobile terminal does not exist, the augmented reality content corresponding to the first image may be controlled to be displayed on the screen of the mobile terminal. That is, when the application is started, the augmented reality content corresponding to the image recognized by the recognition unit 110 for the first time may be displayed on the screen of the mobile terminal. Alternatively, the augmented reality content corresponding to the image is displayed on the screen only when the recognition unit 110 recognizes the image corresponding to the user instruction by displaying the user instruction on the screen or providing a voice while the application is started. You can also mark it. Or, when the augmented reality content displayed on the screen of the mobile terminal does not exist within a critical time from the time point when the first image is recognized, the augmented reality content corresponding to the first image is controlled to be displayed on the screen of the mobile terminal. can do. For example, when the augmented reality content displayed on the screen does not exist for a period of time within the past 10 minutes from the time when the first image is recognized, the display control unit 130 determines whether the first image is matched or not. The augmented reality content corresponding to the first image may be controlled to be displayed on the screen of the mobile terminal. In addition, the starting point may be set by various methods, and the corresponding augmented reality content may be displayed on the screen without checking the matching relationship at the starting point.

또한, 표시제어부(130)는 상기 매트에 인쇄되어 있는 모든 이미지들에 대한 증강현실 콘텐츠가 상기 이동단말로 전송된 경우 또는 상기 매트의 이미지들 중 종료용 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시된 경우, 종료 메시지를 포함하는 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다. 상기 매트의 이미지들을 따라가면서 촬영을 하다가 모든 이미지에 대하여 촬영이 되어 증강현실 콘텐츠가 화면에 표시된 경우 별도의 표시없이 어플리케이션을 종료시키거나 종료 메시지를 포함하는 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 할 수 있다. 또는, 상기 매트의 이미지들 중 종료용 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시된 경우 도의 표시없이 어플리케이션을 종료시키거나 종료 메시지를 포함하는 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 할 수 있다. 이외에도 다양한 방법에 의하여 종료시점을 설정할 수 있다.In addition, the display control unit 130 when augmented reality content for all images printed on the mat is transmitted to the mobile terminal, or an augmented reality content corresponding to an end image among the images of the mat is transmitted to the mobile terminal. When displayed on the screen of, an image or augmented reality content including an end message may be controlled to be displayed on the screen of the mobile terminal. When the augmented reality content is displayed on the screen while taking pictures while following the images of the mat, the application is terminated without a separate display, or the image or augmented reality content including the end message is displayed on the screen of the mobile terminal. Can be displayed in Alternatively, when an augmented reality content corresponding to an end image among the images of the mat is displayed on the screen of the mobile terminal, the application is terminated without a diagram or an image or augmented reality content including an end message is displayed on the screen of the mobile terminal. Can be displayed in In addition, the end point can be set by various methods.

표시제어부(130)에서 상기 매트에 인쇄되어 있는 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시함에 있어, 상기 매트에 인쇄되어 있는 이미지의 3D 공간상의 정보를 이용하여 상기 이동단말의 화면 속의 가상 좌표 상에 대응하는 증강현실 콘텐츠를 표시할 수 있다. 예를 들어, 상기 매트에 인쇄되어 있는 '원숭이' 이미지에 대응하는 증강현실 콘텐츠에서는 '원숭이'가 손을 움직이면서 말을 한다고 가정하자. 이 경우, 상기 매트에 인쇄되어 있는 '원숭이' 이미지를 정면에서 촬영한 경우 표시제어부(130)는 '원숭이'가 손을 움직이는 증강현실 콘텐츠를 정면에서 보는 시점에서 상기 이동단말의 화면에 표시되도록 제어하고, 상기 매트에 인쇄되어 있는 '원숭이' 이미지를 우측에서 촬영한 경우 표시제어부(130)는 '원숭이'가 손을 움직이는 증강현실 콘텐츠를 우측에서 보는 시점에서 상기 이동단말의 화면에 표시되도록 제어할 수 있다.When the display control unit 130 displays the augmented reality content corresponding to the image printed on the mat on the screen of the mobile terminal, the screen of the mobile terminal using information on the 3D space of the image printed on the mat Augmented reality content corresponding to the inside virtual coordinates can be displayed. For example, suppose that in augmented reality content corresponding to the'monkey' image printed on the mat, the'monkey' speaks while moving his hand. In this case, when the'monkey' image printed on the mat is photographed from the front, the display control unit 130 controls the'monkey' to be displayed on the screen of the mobile terminal when viewing the augmented reality content moving its hand from the front. And, when the'monkey' image printed on the mat is photographed from the right, the display control unit 130 controls the'monkey' to be displayed on the screen of the mobile terminal when viewing the augmented reality content moving its hand from the right. I can.

이상에서 설명한 것과 같이 하나의 이미지를 촬영하여 대응하는 증강현실 콘텐츠가 화면에 표시되면 매칭된 다른 이미지를 찾아 촬영하여 대응하는 증강현실 콘텐츠가 화면에 표시되고 또 이에 매칭된 다른 이미지를 찾아 촬영하는 동작을 반복하면서 사용자가 놀이와 학습을 동시에 할 수 있다.As described above, when one image is photographed and the corresponding augmented reality content is displayed on the screen, the operation of finding and photographing another matched image and displaying the corresponding augmented reality content on the screen, and finding and photographing another matched image While repeating, the user can play and learn at the same time.

도 2는 도 1의 매트 및 증강현실을 이용한 학습시스템을 이용하는 방법의 흐름도이다.2 is a flowchart of a method of using a learning system using the mat and augmented reality of FIG. 1.

도 1 및 도 2를 참조하면, 매트 및 증강현실을 이용한 학습방법은 먼저 상기 매트의 제 1 이미지가 상기 이동단말을 이용하여 촬영될 수 있다(S310). S310 단계에서 촬영된 이미지는 인식부(110)에서 인식할 수 있다. 상기 인식된 이미지를 이용하여 비교부(120)에서는 매칭여부를 판단할 수 있는데, 도 1과 관련하여 설명한 것과 같이 비교부(120)는 상기 제 1 이미지를 촬영하기 직전에 상기 이동단말에 표시된 증강현실 콘텐츠에 대응하는 제 2 이미지가 상기 제 1 이미지와 매칭되는지 판단할 수 있다(S320). S320 단계는 상기 이미지간의 매칭관계가 저장되어 있는 매칭테이블(140)에서 상기 제 1 이미지의 매칭관계를 검색하는 단계 및 상기 검색된 매칭관계를 이용하여 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는지 판단하는 단계를 포함할 수 있다. S320 단계에 대하여는 도 1의 비교부(120)와 관련하여 상세하게 설명하였으므로 이하 중복된 설명은 비교부(120)와 관련된 설명으로 대체한다.Referring to FIGS. 1 and 2, in a learning method using a mat and augmented reality, first, a first image of the mat may be photographed using the mobile terminal (S310). The image captured in step S310 may be recognized by the recognition unit 110. Using the recognized image, the comparison unit 120 may determine whether or not there is a match. As described in connection with FIG. 1, the comparison unit 120 uses the augmentation displayed on the mobile terminal immediately before capturing the first image. It may be determined whether the second image corresponding to the real content matches the first image (S320). In step S320, searching for a matching relationship of the first image in a matching table 140 in which the matching relationship between the images is stored, and determining whether the first image matches the second image using the searched matching relationship It may include the step of. Since step S320 has been described in detail with respect to the comparison unit 120 of FIG. 1, the overlapping description below is replaced with a description related to the comparison unit 120.

S320 단계의 판단 결과 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우, 표시제어부(130)는 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다(S330). S320 단계의 판단 결과 상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않는 이미지인 경우, 표시제어부(130)는 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되지 않도록 제어하거나 오류메시지가 포함된 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어할 수 있다(S340). S330 단계 및 S340 단계와 이상의 단계들이 시작되는 시점을 판단하는 방법 및 종료시점을 판단하는 방법 등에 대하여도 도 1과 관련하여 상세하게 설명하였으므로 이하 중복되는 설명은 도 1과 관련된 설명으로 대체한다.As a result of the determination in step S320, if the first image is an image matching the second image, the display control unit 130 may control the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal. (S330). As a result of the determination in step S320, if the first image is an image that does not match the second image, the display control unit 130 controls the augmented reality content corresponding to the first image not to be displayed on the screen of the mobile terminal, or An image or augmented reality content including an error message may be controlled to be displayed on the screen of the mobile terminal (S340). Since steps S330 and S340 and a method of determining a starting point and a method of determining an end point have been described in detail with reference to FIG. 1, the overlapping description will be replaced with the description related to FIG. 1.

이상의 단계들은 시작시점부터 종료시점까지 반복하여 수행될 수 있고 이와 같이 이미지를 찾아가는 과정에서 사용자는 놀이와 학습을 함께 수행할 수 있는 장점이 있다.The above steps can be repeatedly performed from the start point to the end point, and in the process of finding an image in this way, the user has the advantage of being able to play and learn together.

일 예로, '원숭이', '코끼리', '얼룩말','부엉이'의 이미지가 있는 동물그림 매트가 있고, 각각의 이미지는 대응하는 증강현실 콘텐츠가 있다고 가정하자. 사용자가 상기 이동단말에서 해당하는 어플리케이션을 실행시키고 에피소드를 플레이하면, 에피소드 시작과 함께 음성으로 '원숭이'를 찾아가도록 제안할 수 있다. 사용자가 '원숭이' 이미지를 찾아가서 이동단말로 촬영을 하면 '원숭이' 이미지에 해당하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되고, 사용자가 '원숭이'가 아닌 '코끼리' 이미지를 찾아가서 이동단말로 촬영을 하면 증강현실 콘텐츠가 화면에 표시되지 않을 수 있다. '원숭이' 이미지에 해당하는 증강현실 콘텐츠가 상기 화면에 표시되면서 '코끼리'를 찾아가도록 미션을 줄 수 있다. 이 경우 이상에서 설명한 상기 제 1 이미지는 '코끼리'이미지가 되고 상기 제 2 이미지는 '원숭이' 이미지가 된다. 사용자가 '코끼리' 이미지를 찾아가서 이동단말로 촬영을 하면 비교부(120)에서는 '코끼리' 이미지와 '원숭이' 이미지가 매칭되어 있는지 판단하고, 양자가 매칭되어 있으므로 표시제어부(130)에서 '코끼리' 이미지에 해당하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되면서 '얼룩말'을 찾아가도록 미션을 줄 수 있다. 이 경우 이상에서 설명한 상기 제 1 이미지는 '얼룩말'이미지가 되고 상기 제 2 이미지는 '코끼리' 이미지가 된다. 사용자가 '얼룩말' 이미지를 찾아가서 이동단말로 촬영을 하면 비교부(120)에서는 '얼룩말' 이미지와 '코끼리' 이미지가 매칭되어 있는지 판단하고, 양자가 매칭되어 있으므로 표시제어부(130)에서 '얼룩말' 이미지에 해당하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어한다. 즉, 매칭테이블(140)에는 제 2 이미지 '코끼리'가 제 1 이미지 '얼룩말'과 매칭되어 있고 제 1 이미지 '코끼리'가 제 2 이미지 '원숭이'와 매칭되어 있음을 알 수 있다. 이처럼 매칭테이블(140)에는 상기 제 1 이미지와 상기 제 2 이미지로 구분되어 매칭관계가 설정되어 있을 수 있다. '얼룩말' 이미지에 해당하는 증강현실 콘텐츠가 상기 화면에 표시된 후 '얼룩말'이 감사인사를 하며 에피소드가 마무리될 수 있다. 이상의 에피소드 결과 화면에는 해당 에피소드에서 찾았던 동물들이 로드맵 형식으로 나타날 수 있다.For example, suppose there is an animal picture mat with images of'monkey','elephant','zebra', and'owl', and each image has corresponding augmented reality content. When a user runs a corresponding application on the mobile terminal and plays an episode, it may be suggested to go to the'monkey' by voice at the beginning of the episode. When the user goes to the'monkey' image and shoots with the mobile terminal, the augmented reality content corresponding to the'monkey' image is displayed on the screen of the mobile terminal, and the user moves by looking for the'elephant' image instead of the'monkey' When shooting with a terminal, the augmented reality content may not be displayed on the screen. Augmented reality content corresponding to the'monkey' image is displayed on the screen, and a mission can be given to go to the'elephant'. In this case, the first image described above becomes a'elephant' image, and the second image becomes a'monkey' image. When the user searches for the'elephant' image and takes a picture with the mobile terminal, the comparison unit 120 determines whether the'elephant' image and the'monkey' image are matched, and since both are matched, the display control unit 130 'As the augmented reality content corresponding to the image is displayed on the screen of the mobile terminal, a mission can be given to go to the'zebra'. In this case, the first image described above becomes a'zebra' image and the second image becomes a'elephant' image. When a user searches for a'zebra' image and takes a picture with a mobile terminal, the comparison unit 120 determines whether the'zebra' image and the'elephant' image are matched, and since both are matched, the display control unit 130 'Control so that the augmented reality content corresponding to the image is displayed on the screen of the mobile terminal. That is, in the matching table 140, it can be seen that the second image'elephant' is matched with the first image'zebra' and the first image'elephant' is matched with the second image'monkey'. As described above, the matching table 140 may be divided into the first image and the second image to establish a matching relationship. After the augmented reality content corresponding to the'zebra' image is displayed on the screen, the'zebra' may give thanks and the episode may end. On the above episode result screen, animals found in the episode can be displayed in the form of a roadmap.

다른 예로, 더하기와 빼기의 수식이미지와 다양한 숫자 이미지가 있는 그림매트가 있고, 각각의 이미지는 대응하는 증강현실 콘텐츠가 있다고 가정하자. 사용자가 상기 이동단말에서 해당하는 어플리케이션을 실행시키고 상기 매트의 수식이미지들 중 '4 + 7 = ?'이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되면서 해답을 찾도록 제안할 수 있다. 사용자는 매트에 인쇄된 많은 숫자들 중 '11'을 찾아가서 이동단말로 촬영을 하면 '11'이미지에 해당하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되고, 사용자가 '11'이 아닌 다른 이미지를 찾아가서 이동단말로 촬영을 하면 증강현실 콘텐츠가 화면에 표시되지 않을 수 있다. 여기서 상기 제 2 이미지는 '4 + 7 = ?'이미지가 되고 상기 제 1 이미지는 '11' 이미지가 되고, 매칭테이블(140)에는 상기 제 2 이미지 '4 + 7 = ?'과 상기 제 1 이미지 '11'이 매칭되어 있음을 알 수 있다. 다음으로 사용자가 상기 매트의 수식이미지들 중 '15 - 11 = ?'이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되면서 해답을 찾도록 제안할 수 있다. 사용자는 매트에 인쇄된 많은 숫자들 중 '4'를 찾아가서 이동단말로 촬영을 하면 '4'이미지에 해당하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되고, 사용자가 '4'가 아닌 다른 이미지를 찾아가서 이동단말로 촬영을 하면 증강현실 콘텐츠가 화면에 표시되지 않을 수 있다. 여기서 상기 제 2 이미지는 '15 - 11 = ?'이미지가 되고 상기 제 1 이미지는 '4' 이미지가 되며, 매칭테이블(140)에는 상기 제 2 이미지 '15 - 11 = ?'과 상기 제 1 이미지 '4'가 매칭되어 있음을 알 수 있다. 이와 같은 동작을 반복하면서 사용자는 재미를 느끼면서 산수공부를 할 수 있다.As another example, suppose that there is a picture mat with a formula image of addition and subtraction and a variety of numeric images, and each image has a corresponding augmented reality content. When the user executes the corresponding application on the mobile terminal and captures the '4 + 7 = ?'image among the mathematical images of the mat with the mobile terminal, the corresponding augmented reality content is displayed on the screen of the mobile terminal to find an answer. I can suggest to do it. If the user goes to '11' among the many numbers printed on the mat and shoots with the mobile terminal, the augmented reality content corresponding to the '11' image is displayed on the screen of the mobile terminal, and the user If you go to an image and take a picture with a mobile terminal, the augmented reality content may not be displayed on the screen. Here, the second image becomes a '4 + 7 = ?'image and the first image becomes an '11' image, and the second image '4 + 7 = ?'and the first image are in the matching table 140 It can be seen that '11' is matched. Next, when the user photographs the '15-11 = ?'image among the mathematical images of the mat with the mobile terminal, the corresponding augmented reality content is displayed on the screen of the mobile terminal, and it may be suggested to find an answer. If the user goes to '4' among the many numbers printed on the mat and shoots with the mobile terminal, the augmented reality content corresponding to the '4' image is displayed on the screen of the mobile terminal, and the user If you go to an image and take a picture with a mobile terminal, the augmented reality content may not be displayed on the screen. Here, the second image becomes a '15-11 = ?'image and the first image becomes a '4' image, and the second image '15-11 = ?'and the first image are in the matching table 140 It can be seen that '4' is matched. While repeating such an operation, the user can do arithmetic studies while having fun.

이상의 예 뿐 아니라 매트에 다양한 그림, 문자, 숫자 등을 인쇄하여 놓고 이를 이미지로 인식하여 증강현실 콘텐츠를 이동단말에 표시하여 주고 다른 이미지로 자연스럽에 이동하면서 학습을 할 수 있다.In addition to the above example, various pictures, letters, numbers, etc. are printed on the mat and recognized as an image to display augmented reality content on the mobile terminal, and learning can be performed while moving naturally to other images.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specifications. Although specific terms have been used herein, these are used only for the purpose of describing the present invention, and are not used to limit the meaning or the scope of the present invention described in the claims. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical scope of the present invention should be determined by the technical spirit of the appended claims.

Claims (12)

매트에 인쇄되어 있는 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되는 매트 및 증강현실을 이용한 학습시스템에 있어서,
상기 이동단말에서 촬영된 영상에서 상기 매트에 인쇄되어 있는 이미지를 인식하는 인식부;
상기 인식된 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 표시제어부;
상기 이미지간의 매칭관계가 저장되어 있는 매칭테이블; 및
상기 인식부에서 상기 매트의 제 1 이미지를 인식한 시점 직전의 시점에서 상기 이동단말의 화면에 표시된 증강현실 콘텐츠에 대응하는 상기 매트의 제 2 이미지가 상기 제 1 이미지와 매칭되는지 판단하는 비교부를 구비하고,
상기 비교부는,
상기 제 1 이미지 또는 상기 제 2 이미지의 매칭관계를 상기 매칭테이블에서 검색하고, 상기 매칭테이블에서 검색된 매칭관계를 이용하여 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는지 판단하며,
상기 표시제어부는,
상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하고, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 경우 상기 이동단말이 사용자 지시사항이 포함된 이미지 또는 음성을 제공하도록 제어하거나 상기 제 1 이미지에 대응하는 증강현실 콘텐츠에 상기 사용자 지시사항을 포함시켜 상기 이동단말의 화면에 표시되도록 제어하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습시스템.In a learning system using a mat and augmented reality in which an image printed on a mat is photographed with a mobile terminal, corresponding augmented reality content is displayed on the screen of the mobile terminal,
A recognition unit for recognizing an image printed on the mat from the image captured by the mobile terminal;
A display control unit for controlling the augmented reality content corresponding to the recognized image to be displayed on the screen of the mobile terminal;
A matching table in which a matching relationship between the images is stored; And
A comparison unit for determining whether the second image of the mat corresponding to the augmented reality content displayed on the screen of the mobile terminal matches the first image at a point in time just before the time point at which the recognition unit recognizes the first image of the mat. and,
The comparison unit,
Searching for a matching relationship between the first image or the second image in the matching table, and determining whether the first image matches the second image by using the matching relationship found in the matching table,
The display control unit,
When the first image is an image matching the second image, the augmented reality content corresponding to the first image is controlled to be displayed on the screen of the mobile terminal, and the augmented reality content corresponding to the first image is moved When controlling to be displayed on the screen of the terminal, the mobile terminal is controlled to provide an image or sound including user instructions, or by including the user instructions in an augmented reality content corresponding to the first image to display the screen of the mobile terminal. Learning system using a mat and augmented reality, characterized in that to control to be displayed on. 삭제delete 제1항에 있어서, 상기 표시제어부는,
상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않는 이미지인 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되지 않도록 제어하거나 오류메시지가 포함된 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습시스템.The method of claim 1, wherein the display control unit,
When the first image is an image that does not match the second image, the augmented reality content corresponding to the first image is controlled to not be displayed on the screen of the mobile terminal, or an image or augmented reality content including an error message is displayed. Learning system using a mat and augmented reality, characterized in that control to be displayed on the screen of the mobile terminal. 삭제delete 제1항에 있어서, 상기 표시제어부는,
상기 매트에 인쇄되어 있는 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시하는 어플리케이션이 시작된 경우 또는 상기 인식부에서 상기 제 1 이미지를 인식한 시점 이전에 상기 이동단말의 화면에 표시된 증강현실 콘텐츠가 존재하지 않는 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습시스템.The method of claim 1, wherein the display control unit,
Augmented reality displayed on the screen of the mobile terminal when an application for displaying an augmented reality content corresponding to the image printed on the mat on the screen of the mobile terminal is started or before the time when the recognition unit recognizes the first image Learning system using a mat and augmented reality, characterized in that when the content does not exist, the augmented reality content corresponding to the first image is controlled to be displayed on the screen of the mobile terminal. 제1항에 있어서, 상기 표시제어부는,
상기 매트에 인쇄되어 있는 모든 이미지들에 대한 증강현실 콘텐츠가 상기 이동단말로 전송된 경우 또는 상기 매트의 이미지들 중 종료용 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시된 경우, 종료 메시지를 포함하는 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습시스템.The method of claim 1, wherein the display control unit,
When augmented reality content for all images printed on the mat is transmitted to the mobile terminal, or when an augmented reality content corresponding to an end image among images of the mat is displayed on the screen of the mobile terminal, an end message Learning system using a mat and augmented reality, characterized in that for controlling the image or augmented reality content to be displayed on the screen of the mobile terminal. 제1항에 있어서, 상기 인식부는,
상기 매트에 인쇄된 각각의 이미지에 대응하여 상기 매트에 인쇄되어 있는 증강현실 마커를 인식하여 상기 이미지를 인식하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습시스템.The method of claim 1, wherein the recognition unit,
Learning system using a mat and augmented reality, characterized in that to recognize the image by recognizing the augmented reality marker printed on the mat in correspondence with each image printed on the mat. 매트에 인쇄되어 있는 이미지를 이동단말로 촬영하면 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되는 매트 및 증강현실을 이용한 학습방법에 있어서,
상기 매트의 제 1 이미지를 상기 이동단말을 이용하여 촬영하는 경우, 비교부에서 상기 제 1 이미지를 촬영하기 직전에 상기 이동단말에 표시된 증강현실 콘텐츠에 대응하는 제 2 이미지가 상기 제 1 이미지와 매칭되는지 판단하는 단계; 및
상기 제 1 이미지가 상기 제 2 이미지와 매칭되는 이미지인 경우 표시제어부에서 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 단계를 포함하고,
상기 매칭되는지 판단하는 단계는,
상기 이미지간의 매칭관계가 저장되어 있는 매칭테이블에서 상기 제 1 이미지의 매칭관계를 검색하는 단계; 및
상기 검색된 매칭관계를 이용하여 상기 제 1 이미지가 상기 제 2 이미지와 매칭되는지 판단하는 단계를 포함하며,
상기 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 단계는,
상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 경우 상기 이동단말이 사용자 지시사항이 포함된 이미지 또는 음성을 제공하도록 제어하거나 상기 제 1 이미지에 대응하는 증강현실 콘텐츠에 상기 사용자 지시사항을 포함시켜 상기 이동단말의 화면에 표시되도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습방법.In the learning method using a mat and augmented reality, in which an image printed on a mat is photographed by a mobile terminal and corresponding augmented reality content is displayed on the screen of the mobile terminal,
When the first image of the mat is photographed using the mobile terminal, a second image corresponding to the augmented reality content displayed on the mobile terminal is matched with the first image just before the first image is photographed by the comparison unit. Determining whether or not; And
When the first image is an image matching the second image, controlling, in a display control unit, an augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal,
The step of determining whether the match is performed,
Searching for a matching relationship of the first image from a matching table in which the matching relationship between the images is stored; And
Determining whether the first image matches the second image using the searched matching relationship,
Controlling the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal,
When the augmented reality content corresponding to the first image is controlled to be displayed on the screen of the mobile terminal, the mobile terminal controls to provide an image or voice including user instructions, or augmented reality content corresponding to the first image Including the user instruction in the learning method using a mat and augmented reality further comprising the step of controlling to be displayed on the screen of the mobile terminal. 삭제delete 제8항에 있어서, 상기 이동단말의 화면에 표시되도록 제어하는 단계는,
상기 제 1 이미지가 상기 제 2 이미지와 매칭되지 않는 이미지인 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되지 않도록 제어하거나 오류메시지가 포함된 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습방법.The method of claim 8, wherein the controlling to be displayed on the screen of the mobile terminal,
When the first image is an image that does not match the second image, the augmented reality content corresponding to the first image is controlled to not be displayed on the screen of the mobile terminal, or an image or augmented reality content including an error message is displayed. Learning method using a mat and augmented reality, comprising the step of controlling to be displayed on the screen of the mobile terminal. 제8항에 있어서, 상기 이동단말의 화면에 표시되도록 제어하는 단계는,
상기 매트에 인쇄되어 있는 이미지에 대응하는 증강현실 콘텐츠를 상기 이동단말의 화면에 표시하는 어플리케이션이 시작된 경우 또는 상기 제 1 이미지를 촬영하기 직전에 상기 이동단말에 표시된 증강현실 콘텐츠가 존재하지 않는 경우, 상기 제 1 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습방법.The method of claim 8, wherein the controlling to be displayed on the screen of the mobile terminal,
When an application for displaying an augmented reality content corresponding to the image printed on the mat on the screen of the mobile terminal is started or when the augmented reality content displayed on the mobile terminal does not exist immediately before the first image is photographed, Learning method using a mat and augmented reality, characterized in that controlling the augmented reality content corresponding to the first image to be displayed on the screen of the mobile terminal. 제8항에 있어서, 상기 이동단말의 화면에 표시되도록 제어하는 단계는,
상기 매트에 인쇄되어 있는 모든 이미지들에 대한 증강현실 콘텐츠가 상기 이동단말로 전송된 경우 또는 상기 매트의 이미지들 중 종료용 이미지에 대응하는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시된 경우, 종료 메시지를 포함하는 이미지 또는 증강현실 콘텐츠가 상기 이동단말의 화면에 표시되도록 제어하는 것을 특징으로 하는 매트 및 증강현실을 이용한 학습방법.The method of claim 8, wherein the controlling to be displayed on the screen of the mobile terminal,
When augmented reality content for all images printed on the mat is transmitted to the mobile terminal, or when an augmented reality content corresponding to an end image among images of the mat is displayed on the screen of the mobile terminal, an end message Learning method using a matte and augmented reality, characterized in that controlling the image or augmented reality content including a display on the screen of the mobile terminal.
KR1020180147956A 2018-11-27 2018-11-27 Education support system and method using mat and Augmented Reality KR102178894B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180147956A KR102178894B1 (en) 2018-11-27 2018-11-27 Education support system and method using mat and Augmented Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180147956A KR102178894B1 (en) 2018-11-27 2018-11-27 Education support system and method using mat and Augmented Reality

Publications (2)

Publication Number Publication Date
KR20200062500A KR20200062500A (en) 2020-06-04
KR102178894B1 true KR102178894B1 (en) 2020-11-13

Family

ID=71081008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180147956A KR102178894B1 (en) 2018-11-27 2018-11-27 Education support system and method using mat and Augmented Reality

Country Status (1)

Country Link
KR (1) KR102178894B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920296B (en) * 2021-11-23 2022-07-15 厦门市美亚柏科信息股份有限公司 Text recognition method and system based on comparative learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973680B1 (en) * 2009-06-25 2010-08-04 (주)첨소리 Learning system that learning execution used the mat shown by the game form and methodthat this was used
KR101629894B1 (en) 2015-11-02 2016-06-13 함덕표 System and method of learning language service for mat
KR101900834B1 (en) * 2018-04-02 2018-09-20 (주)언리얼컴퍼니 Method of escape game using optical mark
KR101923507B1 (en) * 2018-01-11 2018-11-29 김승은 Method for providing interactive story-telling contents based on augmented reality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124177A (en) * 2016-05-02 2017-11-10 임성훈 Child language education system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973680B1 (en) * 2009-06-25 2010-08-04 (주)첨소리 Learning system that learning execution used the mat shown by the game form and methodthat this was used
KR101629894B1 (en) 2015-11-02 2016-06-13 함덕표 System and method of learning language service for mat
KR101923507B1 (en) * 2018-01-11 2018-11-29 김승은 Method for providing interactive story-telling contents based on augmented reality
KR101900834B1 (en) * 2018-04-02 2018-09-20 (주)언리얼컴퍼니 Method of escape game using optical mark

Also Published As

Publication number Publication date
KR20200062500A (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US11871109B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
KR101692335B1 (en) System for augmented reality image display and method for augmented reality image display
KR100860250B1 (en) Game device, control method of computer, and information storage medium
WO2010063409A1 (en) Mobile device for augmented reality application
CN106464773B (en) Augmented reality device and method
CN109908589B (en) Game implementation method, game system and storage medium based on AR technology
JP2014217566A (en) Hunting game distribution system
JP5350427B2 (en) Image processing apparatus, image processing apparatus control method, and program
Revelle et al. Electric agents: Combining collaborative mobile augmented reality and web-based video to reinvent interactive television
KR102178894B1 (en) Education support system and method using mat and Augmented Reality
TWI702504B (en) System for splicing and converting images of chinese character into vocabularies and mobile terminal
CN112947756A (en) Content navigation method, device, system, computer equipment and storage medium
US20070298396A1 (en) Computer executable dynamic presentation system for simulating human meridian points and method thereof
WO2023155477A1 (en) Painting display method and apparatus, electronic device, storage medium, and program product
KR20180056728A (en) Method for controlling an image processing apparatus
CN114846808B (en) Content distribution system, content distribution method, and storage medium
CN114900738A (en) Film viewing interaction method and device and computer readable storage medium
CN111652986B (en) Stage effect presentation method and device, electronic equipment and storage medium
Nam et al. A Study on Elementary Students' Virtual Reality Content Production Education
KR102064402B1 (en) Placement System of Billiard Ball Using Internet and Method thereof
KR101998037B1 (en) Method and Smart device for matching character type with user based augmented reality
Li et al. Kaidan: An outdoor AR puzzle adventure game
Egusa et al. Development of an interactive puppet show system for the hearing-impaired people
KR102022007B1 (en) Game system for coding training and game method thereof
JP6733027B1 (en) Content control system, content control method, and content control program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant