KR20170131859A - Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof - Google Patents

Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof Download PDF

Info

Publication number
KR20170131859A
KR20170131859A KR1020160062545A KR20160062545A KR20170131859A KR 20170131859 A KR20170131859 A KR 20170131859A KR 1020160062545 A KR1020160062545 A KR 1020160062545A KR 20160062545 A KR20160062545 A KR 20160062545A KR 20170131859 A KR20170131859 A KR 20170131859A
Authority
KR
South Korea
Prior art keywords
augmented reality
image
marker
book
providing system
Prior art date
Application number
KR1020160062545A
Other languages
Korean (ko)
Inventor
이종민
Original Assignee
이종민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종민 filed Critical 이종민
Priority to KR1020160062545A priority Critical patent/KR20170131859A/en
Publication of KR20170131859A publication Critical patent/KR20170131859A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof

Abstract

The present invention relates to a system for providing content using a book including an augmented reality (AR) marker, and to a method for providing an AR image using the same. According to an embodiment of the present invention, the system for providing content using a book including an AR marker comprises: a book including an AR marker; an image storage unit for storing an image corresponding to the AR marker included in the book; a device including a camera for collecting the AR marker; a control unit for controlling to output content stored in the image storage unit which matches the AR marker collected through the camera; a mixing unit for reproducing an image using data collected by the control unit; and an image processing unit for reproducing an AR image mixed by the mixing unit.

Description

증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템 및 이러한 시스템을 이용한 증강 현실 영상 제공 방법 {CONTENTS PROVIDING SYSTEM USING BOOKS COMPRISING AUGMENTED REALITY MARKER AND METHOD OF PROVIDING AUGMENTED REALITY IMAGES USING THEREOF}TECHNICAL FIELD [0001] The present invention relates to a content providing system using a book including augmented reality markers, and a method of providing augmented reality image using the system. [0002]

본 발명은 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템에 관한 것이고, 또한 본 발명은 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템을 이용한 증강 현실 영상 제공 방법에 관한 것이다.
The present invention relates to a content providing system using a book including an augmented reality marker, and the present invention also relates to a method of providing augmented reality image using a content providing system using a book including an augmented reality marker.

증강현실(AR : Augmented Reality)이란 실 세계의 영상과 가상적인 그래픽 객체를 컴퓨터로 합성하여 사용자의 상호작용을 통해 실제와 비슷한 현실감을 제공할 수 있는 가상의 세계를 의미하며, 완전한 몰입환경을 구현한 가상현실 수준보다는 약한 단계의 가상환경이라 할 수 있다.Augmented Reality (AR) is a virtual world in which real-world images and virtual graphic objects are synthesized by computer to provide realistic reality through user interaction. It is a weak virtual environment rather than a virtual reality level.

증강현실을 구현하기 위해 카메라 또는 추적 대상체의 움직임을 정확하게 추정하는 것은 매우 중요하다. 종래 일반적인 증강현실의 구현방법은 크게 다음과 같다. It is very important to accurately estimate the motion of the camera or tracked object to realize the augmented reality. Conventional general augmented reality implementation methods are as follows.

첫째, 실세계에 존재하는 물체로부터 수집된 특징점들을 이용하여 증강현실을 구현한다. 이 방법은 매 프레임마다 영상을 전체 검색함으로써 특징점을 인식하고 이에 따라 추적 기능을 수행하게 된다. 따라서, 제공되는 이미지가 많거나 텍스처가 매우 복잡할 경우 인식 속도나 추적 속도가 급격히 저하되어 증강현실 구현에 많은 시간이 소요되는 문제점이 발생된다. 게다가, 수집된 특징점이 적거나 조명과 같은 환경 조건이 불안정한 경우에는 성능이 크게 떨어지는 문제점도 발생된다.First, the augmented reality is implemented using the minutiae collected from objects in the real world. In this method, the feature point is recognized by searching the whole image every frame and the tracking function is performed accordingly. Therefore, when the number of images to be provided is large or the texture is very complicated, the recognition speed or tracking speed is rapidly deteriorated, which results in a time-consuming implementation of the augmented reality. In addition, when the collected feature points are small or the environmental conditions such as illumination are unstable, there is a problem that the performance is greatly deteriorated.

둘째, AR 마커(AR marker)를 이용하여 증강현실을 구현한다. AR 마커는 추적 대상체의 위치와 방위를 정확하게 추정하기 위해 인위적으로 실세계에 삽입되는데, 종래의 이러한 AR 마커는 인식 및 추적이 가능하도록 임의로 지정된 고유 아이디(unique ID)를 필요로 하였다. 이에 따라 종래에는 영상을 전체 검색하여 고유 아이디를 추출하고 이를 해석해야만 마커의 위치를 찾아내고 증강시킴이 가능하였다
Second, an augmented reality is implemented using an AR marker (AR marker). The AR marker is artificially inserted into the real world to accurately estimate the position and orientation of the tracked object. Such conventional AR markers require a unique ID that is arbitrarily designated to enable recognition and tracking. Accordingly, in the conventional art, it is possible to locate and enhance the marker by searching the entire image, extracting a unique ID, and interpreting it

본 발명은 증강 현실을 이용한 컨텐츠의 제공을 이용해, 오프라인 서적을 볼 때 온라인 상의 증강현실 컨텐츠를 함께 제공받음으로써 서적에 대한 몰입감 및 이해도를 높이기 위한 발명 내용을 제공한다.
The present invention provides contents of an invention for enhancing a feeling of immersion and understanding of a book by receiving supplemental augmented reality contents on-line when viewing offline books, using provision of contents using an augmented reality.

본 발명의 일 실시예에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템은, 증강 현실 마커를 포함한 서적; 상기 서적에 포함된 증강 현실 마커에 해당하는 영상을 저장하는 영상 저장부; 상기 증강 현실 마커를 수집하기 위한 카메라를 포함하는 장치; 상기 카메라를 통해 수집된 증강 현실 마커와 매칭되는 상기 영상 저장부에 저장된 컨텐츠를 출력하도록 제어하는 제어부; 상기 제어부에서 수집한 데이터를 이용해 영상을 재생되도록 만드는 믹스부; 및 상기 믹스부에서 믹스된 증강 현실 영상을 재생하는 영상처리부를 포함한다.According to an embodiment of the present invention, there is provided a content providing system using a book including an augmented reality marker, including: a book including an augmented reality marker; An image storage unit for storing an image corresponding to an augmented reality marker included in the book; An apparatus comprising a camera for collecting the augmented reality markers; A control unit for controlling the content stored in the image storage unit to match with the augmented reality markers collected through the camera; A mixer for reproducing an image using data collected by the controller; And an image processor for reproducing the mixed augmented reality image from the mixer.

상기 영상 저장부는 영상을 저장하고 있는 서버이다.The image storage unit is a server for storing images.

상기 서적은 증강 현실을 구현하기 위한 마커를 표기하여 제작된 것이다.The book is produced by marking a marker for realizing an augmented reality.

상기 영상은 상기 서적과 관련된 컨텐츠를 포함한다. 상기 컨텐츠는 애니메이션을 포함한다.The image includes content related to the book. The content includes animation.

상기 제어부는 증강 현실 구현을 제어하고, 상기 증강 현실 영상이 재생되는 동안 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어한다.The control unit controls the implementation of the augmented reality and controls to move to a specific page when the user's touch is input while the augmented reality image is being reproduced.

본 발명의 일 실시예에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템을 이용하기 위한 어플리케이션은 휴대용 단말기를 이용해 내려받기 가능한 것이다.An application for using a book-based content providing system including an augmented reality marker according to an embodiment of the present invention can be downloaded using a portable terminal.

본 발명의 일 실시예에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템을 이용한 증강 현실 영상 제공 방법은, 서적에 있는 마커를 인식하는 단계; 상기 인식한 마커에 기초해 영상 저장부에 인식된 마커에 해당하는 영상이 있는지 확인하는 단계; 및 확인된 영상이 존재하는 경우 해당 영상 정보를 이용해 3차원 가상 모델을 추출하여 증강 현실 영상을 재생하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for providing augmented reality image using a content providing system using a book including an augmented reality marker, comprising: recognizing a marker in a book; Determining whether an image corresponding to the recognized marker is present in the image storage unit based on the recognized marker; And extracting a 3D virtual model using the image information if the identified image exists, thereby reproducing the augmented reality image.

상기 증강 현실 영상을 재생하는 단계는, 카메라를 통해 수집된 증강 현실 마커와 매칭되는 상기 영상 저장부에 저장된 컨텐츠를 출력하도록 제어하는 단계; 수집한 데이터를 이용해 영상을 재생되도록 만드는 단계; 및 믹스부에서 믹스된 증강 현실 영상을 재생하는 단계를 포함한다.
Wherein the step of reproducing the augmented reality image comprises: controlling a content stored in the image storage unit to be matched with an augmented reality marker collected through a camera; Reproducing the image using the collected data; And reproducing the mixed augmented reality image from the mixer.

본 발명에 따르면, 증강 현실을 이용한 컨텐츠의 제공을 이용해 오프라인 서적을 볼 때 온라인 상의 증강현실 컨텐츠를 함께 제공받음으로써 서적에 대한 몰입감 및 이해도를 높아진다. 이러한 컨텐츠 제공 시스템을 아이들의 학습에 이용시 학습의 관심도와 몰입감, 자발적인 참여를 증가시킬 수 있다.
According to the present invention, when an offline book is viewed using the provision of contents using the augmented reality, the augmented reality and the understanding of the book are enhanced by receiving the augmented reality contents on-line together. When using these contents providing systems for children's learning, it is possible to increase interest, immersion feeling, and voluntary participation of learning.

도 1은 본 발명의 일 실시예에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템의 구성도를 도시한다.
도 2는 본 발명의 시스템을 이용해 증강 현실 영상을 재생하는 방법에 관한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 영상을 재생하는 방법의 순서도를 도시한다.
도 4는 본 발명의 애니메이션 컨텐츠에서 퀴즈를 제공하는 모습을 도시한다.
도 5는 증강현실 기술을 이용한 애니메이션 컨텐츠의 제공의 실시예를 도시한다.
다양한 실시예들이 이제 도면을 참조하여 설명되며, 전체 도면에서 걸쳐 유사한 도면번호는 유사한 엘리먼트를 나타내기 위해서 사용된다. 설명을 위해 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 특정 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이아그램 형태로 제시된다. 1 is a block diagram of a content providing system using a book including an augmented reality marker according to an embodiment of the present invention.
2 is a flowchart illustrating a method of reproducing an augmented reality image using the system of the present invention.
FIG. 3 shows a flowchart of a method of reproducing an augmented reality image according to an embodiment of the present invention.
FIG. 4 shows a quiz provided in the animation contents of the present invention.
FIG. 5 shows an embodiment of providing animation contents using the augmented reality technique.
Various embodiments are now described with reference to the drawings, wherein like reference numerals are used throughout the drawings to refer to like elements. For purposes of explanation, various descriptions are set forth herein to provide an understanding of the present invention. It is evident, however, that such embodiments may be practiced without these specific details. In other instances, well-known structures and devices are shown in block diagram form in order to facilitate describing the embodiments.

하기 설명은 본 발명의 실시예에 대한 기본적인 이해를 제공하기 위해서 하나 이상의 실시예들의 간략화된 설명을 제공한다. 본 섹션은 모든 가능한 실시예들에 대한 포괄적인 개요는 아니며, 모든 엘리먼트들 중 핵심 엘리먼트를 식별하거나, 모든 실시예의 범위를 커버하고자 할 의도도 아니다. 그 유일한 목적은 후에 제시되는 상세한 설명에 대한 도입부로서 간략화된 형태로 하나 이상의 실시예들의 개념을 제공하기 위함이다.The following description provides a simplified description of one or more embodiments in order to provide a basic understanding of embodiments of the invention. This section is not a comprehensive overview of all possible embodiments and is not intended to identify key elements or to cover the scope of all embodiments of all elements. Its sole purpose is to present the concept of one or more embodiments in a simplified form as a prelude to the more detailed description that is presented later.

증강현실을 구현하는 방법에는, 만화 콘텐츠의 페이지를 펼쳐 이를 카메라를 통해 촬영하고 촬영된 실시간 영상을 화면에 디스플레이함에 있어서, 페이지 내에 특정 마커(marker)가 기록되어 있음에 따라 촬영된 영상 내에서 특정 마커가 인지되면 해당 마커에 연결된 3차원 가상 모델을 실제 영상, 즉 페이지를 촬영한 영상 위에 그려주는 방법이 있다. 여기서의 마커란 실제로 2차원 평면 위에 존재하면서, 자신과 연결된 3차원 그래픽 모델이 그려질 크기, 방향 및 위치 정보를 제공하는 것을 말한다.In a method of realizing an augmented reality, a page of a cartoon content is unfolded, and a real-time image is displayed on a screen by photographing the page and a specific marker is recorded in the page. When a marker is recognized, there is a method of drawing a 3D virtual model connected to the marker on an actual image, that is, an image of a page. The marker here refers to providing size, direction, and position information to be drawn on a three-dimensional graphic model that is actually present on a two-dimensional plane and connected to itself.

도 1은 본 발명의 일 실시예에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템의 구성도를 도시한다.1 is a block diagram of a content providing system using a book including an augmented reality marker according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 일 실시예에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템은, 증강 현실 마커를 포함한 서적(10); 서적에 포함된 증강 현실 마커에 해당하는 영상을 저장하는 영상 저장부(20); 증강 현실 마커를 수집하기 위한 카메라를 포함하는 장치(30)를 포함한다.Referring to FIG. 1, a content providing system using a book including an augmented reality marker according to an embodiment of the present invention includes a book 10 including an augmented reality marker; An image storage unit 20 for storing an image corresponding to an augmented reality marker included in a book; And an apparatus 30 including a camera for collecting augmented reality markers.

서적(10)은 증강 현실 마커를 포함하고 있다. 증강 현실을 구현하기 위한 기본적인 기술은, 레지스트레이션(registration), 트래킹(Tracking), 그리고 카메라 보정(Camera calibration)을 포함한다. 레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다. 증강 현실 기술에 대한 일반적인 기술에 대해서는 현재 알려진 기술을 모두 포함하며, 특별히 제한되는 내용은 없다.The book 10 includes augmented reality markers. The basic techniques for implementing an augmented reality include registration, tracking, and camera calibration. Registration refers to a process of registering a virtual object to be augmented and a position to reinforce a virtual object in a virtual environment. Typically, a marker (a two-dimensional marker, a three-dimensional image, or a two-dimensional image) representing a virtual object in a real environment is positioned for registration, and then the marker is identified. General techniques for augmented reality technologies include all currently known techniques and are not specifically limited.

영상 저장부(20)는 서적에 포함된 증강 현실 마커에 해당하는 영상을 저장하고 있다. 이러한 영상 저장부는 클라우드 서버와 같은 외부 서버이며, 이러한 서버에 미리 증강 현실 마커에 해당하는 영상을 저장하고 있다가, 마커의 인식에 따라 해당 영상을 불러내어 재생함으로써 증강 현실 영상을 재생하게 된다. 영상 저장부는 이러한 영상을 저장할 수 있는 장치면 무엇이든 가능하며, 외부에 존재할 수도 있고, 마커를 인식하기 위한 장치(30) 내부에 포함되어 설치될 수도 있다.The image storage unit 20 stores images corresponding to the augmented reality markers included in the book. Such an image storage unit is an external server such as a cloud server, stores an image corresponding to the augmented reality marker in advance, and plays the augmented reality image by recalling the corresponding image according to the recognition of the marker. The image storage unit may be any device capable of storing such an image, may exist outside, or may be installed in the device 30 for recognizing the marker.

이러한 영상 저장부(20)는 3차원 가상 모델 데이터베이스(21)를 포함할 수 있고, 이러한 3차원 가상 모델 데이터베이스에는 컨텐츠 별로 3차원 가상 모델이 저장되어 있을 수 있다. The image storage unit 20 may include a three-dimensional virtual model database 21, and a three-dimensional virtual model may be stored in the three-dimensional virtual model database.

장치(30)는 증강 현실 마커를 수집하기 위한 카메라(31)를 포함하고 있다. 카메라(31)와 같은 영상 획득부는 실제 환경의 영상을 취득하는 기능을 수행한다. 여기서 실제 환경은 마커를 포함한 실제 만화책일 수 있다. 마커는 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 또는 3차원 이미지일 수 있다. 또한, 마커는 문자, 숫자, 기호, 그림 또는 이들의 조합을 이용하여 다양한 형태로 설정될 수 있다. 이러한, 마커는 다양한 방식으로 만화책 내에 포함될 수 있다.The apparatus 30 includes a camera 31 for collecting augmented reality markers. The image acquisition unit, such as the camera 31, performs a function of acquiring an image of a real environment. Here, the actual environment may be an actual comic book including a marker. The marker may be a two-dimensional marker, a two-dimensional image, or a three-dimensional image expressed in a two-dimensional pattern. In addition, the markers can be set in various forms using letters, numbers, symbols, pictures or a combination thereof. These markers can be included in a comic book in a variety of ways.

증강 현실을 구현하는 장치(30)는 위에서 설명한 카메라부(31) 이외에 제어부(32), 믹스부(33), 영상처리부(34) 및 키입력부(35) 등을 포함한다.The apparatus 30 for implementing the augmented reality includes a control unit 32, a mix unit 33, an image processing unit 34, and a key input unit 35 in addition to the camera unit 31 described above.

제어부(32)는 카메라를 통해 수집된 증강 현실 마커와 매칭되는 영상 저장부(20)에 저장된 컨텐츠를 출력하도록 제어는 부분이다. The control unit 32 controls the output of the content stored in the image storage unit 20, which matches the augmented reality markers collected through the camera.

제어부(32)는 영상 획득부(31)로부터 입력된 서적에서의 마커를 트래킹하여 증강될 3차원 가상 모델의 저작을 위한 기준 좌표계를 설정하고 수동 조작 장치로부터 입력된 신호를 바탕으로 증강될 가상 객체의 선택과 속성 변경 및 저작이 이루어지도록 하는 기능을 수행할 수 있다. 일 실시예에서, 제어부(32)는 영상 획득부(31)로부터 입력된 마커가 존재하면 해당 마커에 대응하여 기 설정된 증강현실구현기능(예를 들어, 3D의 그래픽 모델 렌더링)을 수행하여 3차원 가상 모델을 증상하여 출력하도록 한다.The control unit 32 sets a reference coordinate system for authoring a three-dimensional virtual model to be augmented by tracking markers in a book input from the image acquisition unit 31, and generates a virtual object to be augmented based on a signal input from the manual operation device And a function of changing the attribute and authoring can be performed. In one embodiment, if there is a marker input from the image acquiring unit 31, the control unit 32 performs a predetermined augmented reality implementing function (for example, 3D graphic model rendering) corresponding to the marker, Output the virtual model symptomatically.

제어부(32)는 사용자의 조작에 따른 3차원 가상 모델이 반응할 속성을 부여하여 3차원 가상 모델이 속성에 따라 반응하도록 제어할 수도 있다. 제어부(32)는 3차원 가상 모델이 반응하는 증강 현실용 애니메이션 콘텐츠의 내용에 따라 휴대 단말기에 진동을 발생시키도록 진동 발생부(미도시됨)을 제어할 수 있다.The control unit 32 may control the three-dimensional virtual model to react according to the attribute by giving the attribute to be reacted by the three-dimensional virtual model according to the user's operation. The control unit 32 may control the vibration generator (not shown) to generate vibration in the portable terminal according to the contents of the animation contents for the augmented reality in which the 3D virtual model responds.

제어부(32)는 3차원 가상 모델이 반응하는 증강 현실용 애니메이션 콘텐츠가 증강되는 동안에 사용자 조작에 상관없이 증강 현실용 애니메이션 콘텐츠가 디스플레이되도록 제어할 수 있다.The control unit 32 can control to display the animation contents for the augmented reality regardless of the user's operation while the animation contents for the augmented reality in which the three-dimensional virtual model is reacted are enhanced.

또한, 제어부(32)는 증강 현실 영상이 재생되는 동안 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어한다.In addition, the controller 32 controls to move to a specific page when the user's touch is input while the augmented reality image is being reproduced.

믹스부(33)는 제어부(32)에서 수집한 증강 현실 관련 데이터를 모두 믹스하여 실제 서적 위에서 영상이 재생되도록 만드는 부분이고, 영상처리부(34)는 믹스부에서 믹스된 증강현실 영상을 재생하는 부분이다.The mixer 33 mixes all the augmented reality data collected by the controller 32 and reproduces the image on an actual book. The image processor 34 includes a mixer 30 for mixing the mixed augmented reality image to be.

장치(30)는 위에서 설명한 기능부 이외에 키입력부(35)를 통해 사용자로부터 입력 신호 등을 받을 수도 있고, 스피커(미도시) 등과 같은 기본적인 휴대 단말 장치의 기능부를 모두 포함할 수 있다.The device 30 may receive an input signal from a user through the key input unit 35 in addition to the functional unit described above, or may include all functional units of a basic portable terminal device such as a speaker (not shown).

이러한 장치(30)는 휴대폰과 같은 장치일 수 있으며, 이러한 휴대폰에는 본 발명에서 설명하는 증강 현실 시스템을 작동시키기 위한 어플리케이션을 포함하고 있으며, 이러한 어플리케이션은 내려받기 가능할 수 있다.Such a device 30 may be a device such as a cellular phone, and the mobile phone includes an application for operating the augmented reality system described in the present invention, and such application may be downloadable.

한편, 서적(10), 영상저장부(20) 및 장치(30)는 서로 유선 또는 무선으로 네트워크 연결될 수 있으며, 그 연결 방식에는 특별한 제한은 없다.On the other hand, the book 10, the image storage unit 20, and the device 30 may be connected to each other by wire or wirelessly, and the connection method thereof is not particularly limited.

도 2는 본 발명의 시스템을 이용해 증강 현실 영상을 재생하는 방법에 관한 순서도이다.2 is a flowchart illustrating a method of reproducing an augmented reality image using the system of the present invention.

도 2를 참고하면, 본 발명의 시스템을 이용해 증강 현실 영상을 재생하는 방법은, 서적에 있는 마커를 인식하는 단계(S 210); 상기 인식한 마커에 기초해 영상 저장부에 인식된 마커에 해당하는 영상이 있는지 확인하는 단계(S 220); 및 확인된 영상이 존재하는 경우 해당 영상 정보를 이용해 3차원 가상 모델을 추출하여 증강 현실 영상을 재생하는 단계(S 230)를 포함한다.Referring to FIG. 2, a method for reproducing an augmented reality image using a system of the present invention includes: recognizing (S210) a marker in a book; (S 220) checking whether there is an image corresponding to the recognized marker in the image storage unit based on the recognized marker; And a step (S 230) of extracting a 3D virtual model using the image information and reproducing the augmented reality image if the identified image exists.

S 210 단계에서는 마커를 인식할 수 있는 영상 획득부(카메라부)를 포함한 장치를 이용해 서적에 포함되어 있는 마커를 인식하게 된다.In step S 210, the marker included in the book is recognized using an apparatus including an image acquisition unit (camera unit) capable of recognizing the marker.

S 220 단계에서는 인식된 마커에 기초에 미리 컨텐츠를 저장하고 있는 영상 저장부에 인식된 마커에 해당하는 영상 정보가 있는지 확인하게 된다.In step S 220, it is determined whether image information corresponding to the recognized marker is present in the image storage unit storing the content in advance based on the recognized marker.

S 230 단계에서는 정보가 영상 저장부에 존재하는 경우 해당 영상 정보를 이용해 3차원 가상 모델을 추출하여 증강 현실 영상을 제공하게 된다.In step 230, if the information exists in the image storage unit, the 3D virtual model is extracted using the image information to provide an augmented reality image.

한편, S 230 단계의 증강현실 영상 제공 단계는 도 3에서와 같이 도시된다. 도 3은 본 발명의 일 실시예에 따른 증강 현실 영상을 재생하는 방법의 순서도를 도시한다.Meanwhile, the step of providing the augmented reality image of step 230 is shown in Fig. FIG. 3 shows a flowchart of a method of reproducing an augmented reality image according to an embodiment of the present invention.

도 3에서 도시된 것처럼, 증강 현실 영상을 재생하는 단계는, 카메라를 통해 수집된 증강 현실 마커와 매칭되는 상기 영상 저장부에 저장된 컨텐츠를 출력하도록 제어하는 단계(S 310); 수집한 데이터를 이용해 영상을 재생되도록 만드는 단계(S 320); 및 믹스부에서 믹스된 증강 현실 영상을 재생하는 단계(S 330)를 포함한다.As shown in FIG. 3, the step of reproducing the augmented reality image includes: controlling (S 310) outputting the content stored in the image storage unit, which matches the augmented reality marker collected through the camera, to output; A step (S 320) of reproducing the image using the collected data; And a step (S 330) of reproducing the mixed augmented reality image in the mix part.

S 310 단계에서는 장치의 카메라부를 통해 수집된 증강 현실 마커와 매칭되는 영상 저장부의 컨텐츠를 제어하도록 제어부에 의해 제어되고, 이후 S 320 단계에서는 제어부에 의해 수집된 데이터를 이용해 믹스부에 의해 영상을 재생되도록 만들며 이 경우 3차원 가상모델의 추출도 이루어진다. 마지막으로 S 330 단계에서는 믹스부에서 믹스된 증강 현실 영상을 실제로 사용자에게 제공하는 단계를 수행하게 된다.In step S 310, the control unit controls the content of the image storage unit to be matched with the augmented reality markers collected through the camera unit of the apparatus. Then, in step S 320, the image is reproduced by the mix unit using the data collected by the control unit. In this case, extraction of a 3D virtual model is also performed. Finally, in step S 330, a mixed reality is provided to the user.

본 발명에서는 위와 같은 증강 현실 영상 제공 시스템 및 방법을 이용해 O2O 서적(online to offline book)을 제공함으로써, 아날로그인 서적과 디지털인 증강 현실의 조화를 통해 아이들의 학습에 이용시 학습의 관심도와 몰입감, 자발적인 참여를 증가시킬 수 있다.According to the present invention, by providing an O2O book (online to offline book) using the system and method for providing an augmented reality image as described above, it is possible to improve the interest, Participation can be increased.

또한, 본 발명에서는 증강현실 컨텐츠의 제공에 있어서 중간 중간에 퀴즈 풀이, 틀린 그림 찾기, 숨은그림 찾기 등을 삽입하고 이러한 내용에 대한 보상 제도도 제공함으로써 더욱 몰입감을 유발할 수 있다.In addition, in the present invention, it is possible to induce more immersion feeling by inserting quizzing, wrong picture search, hidden picture search, etc. in the middle of provision of the augmented reality contents and providing a compensation system for such contents.

본 발명의 구체적인 실시예는 도 4 및 도 5를 통해 볼 수 있다.A specific embodiment of the present invention can be seen from FIGS. 4 and 5. FIG.

도 4는 본 발명의 애니메이션 컨텐츠에서 퀴즈를 제공하는 모습을 도시한다. 서적을 읽으면서 애니메이션의 시청을 가능하게 하고, 이를 통해 애니메이션 시청 후 사용자(유아)는 간단한 퀴즈풀이, 틀린그림찾기, 숨은그림찾기의 게임을 통해 아이템을 획득할 수 있으며 이 아이템은 애니메이션시청과 홈페이지를 통한 온라인 콘텐츠를 이용하는데 사용할 수 있다.FIG. 4 shows a quiz provided in the animation contents of the present invention. After reading animation, the user (infant) can acquire the item through a simple quiz game, a wrong picture search, a hidden picture search game, Can be used to access online contents through the Internet.

또한, 도 5는 증강현실 기술을 이용한 애니메이션 컨텐츠의 제공의 실시예로서, 도 5에서 보는 것처럼 컨텐츠의 몰입감을 줄 수 있는 증강 현실 영상 제공을 통해 사용자 참여와 더불어 인터액티브한 컨텐츠 제공이 가능하게 된다.5 is an embodiment of providing animation contents using the augmented reality technology. As shown in Fig. 5, interactive contents can be provided along with user participation through provision of an augmented reality image that can give a feeling of immersion of contents .

본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer-readable medium may include program instructions, local data files, local data structures, etc., alone or in combination. The media may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, And hardware devices specifically configured to store and execute the same program instructions. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다. The description of the disclosed embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features presented herein.

Claims (9)

증강 현실 마커를 포함한 서적;
상기 서적에 포함된 증강 현실 마커에 해당하는 영상을 저장하는 영상 저장부;
상기 증강 현실 마커를 수집하기 위한 카메라를 포함하는 장치;
상기 카메라를 통해 수집된 증강 현실 마커와 매칭되는 상기 영상 저장부에 저장된 컨텐츠를 출력하도록 제어하는 제어부;
상기 제어부에서 수집한 데이터를 이용해 영상을 재생되도록 만드는 믹스부; 및
상기 믹스부에서 믹스된 증강 현실 영상을 재생하는 영상처리부를 포함하는,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템.
Books including augmented reality markers;
An image storage unit for storing an image corresponding to an augmented reality marker included in the book;
An apparatus comprising a camera for collecting the augmented reality markers;
A control unit for controlling the content stored in the image storage unit to match with the augmented reality markers collected through the camera;
A mixer for reproducing an image using data collected by the controller; And
And an image processor for reproducing the mixed augmented reality image from the mixer.
Contents providing system using books including augmented reality markers.
제 1 항에 있어서,
상기 영상 저장부는 영상을 저장하고 있는 서버인,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템.
The method according to claim 1,
The image storage unit may include a server for storing images,
Contents providing system using books including augmented reality markers.
제 1 항에 있어서,
상기 서적은 증강 현실을 구현하기 위한 마커를 표기하여 제작된 것인,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템.
The method according to claim 1,
The book is produced by marking a marker for realizing an augmented reality.
Contents providing system using books including augmented reality markers.
제 1 항에 있어서,
상기 영상은 상기 서적과 관련된 컨텐츠를 포함하는,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템.
The method according to claim 1,
Wherein the image includes content related to the book,
Contents providing system using books including augmented reality markers.
제 4 항에 있어서,
상기 컨텐츠는 애니메이션을 포함하는,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템.
5. The method of claim 4,
Wherein the content includes animation,
Contents providing system using books including augmented reality markers.
제 1 항에 있어서,
상기 제어부는 증강 현실 구현을 제어하고,
상기 증강 현실 영상이 재생되는 동안 사용자의 터치가 입력되면 특정 페이지로 이동되도록 제어하는,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템.
The method according to claim 1,
The control unit controls the augmented reality implementation,
When the user's touch is input while the augmented reality image is being reproduced,
Contents providing system using books including augmented reality markers.
제 1 항 내지 제 6 항 중 어느 한 항에 따른 증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템을 이용하기 위한 어플리케이션으로서,
휴대용 단말기를 이용해 내려 받기 가능한, 어플리케이션.
8. An application for using a content providing system using a book including an augmented reality marker according to any one of claims 1 to 6,
An application that can be downloaded using a portable terminal.
서적에 있는 마커를 인식하는 단계;
상기 인식한 마커에 기초해 영상 저장부에 인식된 마커에 해당하는 영상이 있는지 확인하는 단계; 및
확인된 영상이 존재하는 경우 해당 영상 정보를 이용해 3차원 가상 모델을 추출하여 증강 현실 영상을 재생하는 단계를 포함하는,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템을 이용한 증강 현실 영상 제공 방법.
Recognizing a marker in the book;
Determining whether an image corresponding to the recognized marker is present in the image storage unit based on the recognized marker; And
Extracting a 3D virtual model using the image information if the identified image exists, and reproducing the augmented reality image.
A method for providing an augmented reality image using a content providing system using a book including augmented reality markers.
제 8 항에 있어서,
상기 증강 현실 영상을 재생하는 단계는,
카메라를 통해 수집된 증강 현실 마커와 매칭되는 상기 영상 저장부에 저장된 컨텐츠를 출력하도록 제어하는 단계;
수집한 데이터를 이용해 영상을 재생되도록 만드는 단계; 및
믹스부에서 믹스된 증강 현실 영상을 재생하는 단계를 포함하는,
증강 현실 마커를 포함한 책을 이용한 컨텐츠 제공 시스템을 이용한 증강 현실 영상 제공 방법.
9. The method of claim 8,
Wherein the step of reproducing the augmented reality image comprises:
Controlling to output the contents stored in the image storage unit matching with the augmented reality markers collected through the camera;
Reproducing the image using the collected data; And
And reproducing the mixed augmented reality image in the mix section.
A method for providing an augmented reality image using a content providing system using a book including augmented reality markers.
KR1020160062545A 2016-05-23 2016-05-23 Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof KR20170131859A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160062545A KR20170131859A (en) 2016-05-23 2016-05-23 Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062545A KR20170131859A (en) 2016-05-23 2016-05-23 Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof

Publications (1)

Publication Number Publication Date
KR20170131859A true KR20170131859A (en) 2017-12-01

Family

ID=60921658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062545A KR20170131859A (en) 2016-05-23 2016-05-23 Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof

Country Status (1)

Country Link
KR (1) KR20170131859A (en)

Similar Documents

Publication Publication Date Title
KR102417645B1 (en) AR scene image processing method, device, electronic device and storage medium
CN109462776B (en) Video special effect adding method and device, terminal equipment and storage medium
Oufqir et al. ARKit and ARCore in serve to augmented reality
US8805016B2 (en) Method for augmenting a real scene
Romli et al. Mobile augmented reality (AR) marker-based for indoor library navigation
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
Koca et al. Augmented reality application for preschool children with unity 3D platform
KR20140082610A (en) Method and apaaratus for augmented exhibition contents in portable terminal
CN103258338A (en) Method and system for driving simulated virtual environments with real data
KR101545138B1 (en) Method for Providing Advertisement by Using Augmented Reality, System, Apparatus, Server And Terminal Therefor
CN110827376A (en) Augmented reality multi-plane model animation interaction method, device, equipment and storage medium
CN110471530A (en) It is a kind of based on children's book equipped AR interactive learning method, apparatus, medium
CN113721804A (en) Display method, display device, electronic equipment and computer readable storage medium
CN113359986B (en) Augmented reality data display method and device, electronic equipment and storage medium
KR20120038616A (en) Method and system for providing marker-less immersive augmented reality
KR20120099814A (en) Augmented reality contents service system and apparatus and method
CN111744197B (en) Data processing method, device and equipment and readable storage medium
CN114153548A (en) Display method and device, computer equipment and storage medium
Chen et al. Research on augmented reality system for childhood education reading
KR20170131859A (en) Contents providing system using books comprising augmented reality marker and method of providing augmented reality images using thereof
CN114967914A (en) Virtual display method, device, equipment and storage medium
KR20140078083A (en) Method of manufacturing cartoon contents for augemented reality and apparatus performing the same
Alshi et al. Interactive augmented reality-based system for traditional educational media using marker-derived contextual overlays
Beder Language learning via an android augmented reality system
Unal et al. Augmented Reality and New Opportunities for Cultural Heritage