KR20200060202A - Implementing method and apparatus for children's story based on augmented reality - Google Patents

Implementing method and apparatus for children's story based on augmented reality Download PDF

Info

Publication number
KR20200060202A
KR20200060202A KR1020190040002A KR20190040002A KR20200060202A KR 20200060202 A KR20200060202 A KR 20200060202A KR 1020190040002 A KR1020190040002 A KR 1020190040002A KR 20190040002 A KR20190040002 A KR 20190040002A KR 20200060202 A KR20200060202 A KR 20200060202A
Authority
KR
South Korea
Prior art keywords
image
marker
augmented reality
output
moving
Prior art date
Application number
KR1020190040002A
Other languages
Korean (ko)
Other versions
KR102195517B1 (en
Inventor
배상민
배효신
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20200060202A publication Critical patent/KR20200060202A/en
Application granted granted Critical
Publication of KR102195517B1 publication Critical patent/KR102195517B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

According to the present invention, an augmented reality based children′s story realization method comprises the steps of: capturing an object marker with a camera; tracking a position and a movement path of the object marker using an image including the object marker; determining an image object corresponding to the object marker; and projecting the image object using a projector. The object marker is located on a specific object and the image object is projected at a position corresponding to the position of the object marker and moves to a path corresponding to the movement path.

Description

증강현실 기반의 동화 구현 방법 및 장치{IMPLEMENTING METHOD AND APPARATUS FOR CHILDREN'S STORY BASED ON AUGMENTED REALITY}Method and device for realizing augmented reality-based assimilation {IMPLEMENTING METHOD AND APPARATUS FOR CHILDREN'S STORY BASED ON AUGMENTED REALITY}

이하 설명하는 기술은 증강 현실 기술을 이용한 동화 구현 기법에 관한 것이다.The technology described below relates to a moving picture realization technique using augmented reality technology.

스마트 기기가 등장하면서 다양한 동화 콘텐츠가 공개되었다. 영상 출력 장치가 동화의 내용 및 사운드를 출력하여, 동화 내용을 일방적으로 사용자에게 제공하는 방식이다. 사용자가 기기에 일정한 입력(문자 입력, 터치 입력 등)을 하여 동화 진행을 제어하거나 일정한 선택을 할 수는 있지만, 이를 상호 작용 콘텐츠로 보기는 어렵다.With the advent of smart devices, various fairy tale contents have been released. This is a method in which the video output device outputs the content and sound of a moving picture, and provides the moving content unilaterally to a user. Although the user can control the progress of a fairy tale or make a certain selection by making a certain input (character input, touch input, etc.) to the device, it is difficult to view it as interactive content.

한국등록특허 제10-1743530호Korean Registered Patent No. 10-1743530

이하 설명하는 기술은 증강 현실 기술을 이용하여 사용자와 상호작용 가능한 동화 콘텐츠를 제공하고자 한다.The technology described below is intended to provide a fairy tale content that can interact with a user using augmented reality technology.

증강현실 기반의 동화 구현 방법은 카라로 객체 마커를 캡쳐하는 단계, 상기 객체 마커를 포함하는 영상을 이용하여 상기 객체 마커의 위치 및 이동 경로를 추적하는 단계, 상기 객체 마커에 대응되는 영상 객체를 결정하는 단계 및 상기 영상 객체를 프로젝터를 이용하여 투사하는 단계를 포함한다. 상기 객체 마커는 특정 객체에 위치하고, 상기 영상 객체는 상기 객체 마커의 위치에 대응되는 위치에 투사되고, 상기 이동 경로에 대응되는 경로로 이동한다.The augmented reality based moving picture implementation method includes capturing an object marker in color, tracking an object marker's location and movement path using an image including the object marker, and determining an image object corresponding to the object marker And projecting the image object using a projector. The object marker is located on a specific object, and the image object is projected at a position corresponding to the position of the object marker, and moves to a path corresponding to the movement path.

증강현실 기반의 동화 구현 장치는 영상에서 객체를 검출하는 프로그램 및 객체 정보에 대응하는 영상 객체 데이터를 저장하는 저장장치, 특정 객체에 위치하는 객체 마커를 포함하는 소스 영상을 획득하는 영상센서, 영상 객체를 투사하는 프로젝터 및 상기 영상 객체 데이터에서 상기 객체 마커에 대응하는 상기 영상 객체를 결정하고, 상기 소스 영상에서 상기 객체 마커의 위치 및 이동 경로를 추적하고, 상기 위치 내지 상기 이동 경로에 대응되는 위치에 상기 영상 객체가 투사되도록 제어하는 연산장치를 포함한다.The augmented reality-based moving image realization device includes a program for detecting an object in an image and a storage device for storing image object data corresponding to object information, an image sensor for acquiring a source image including an object marker located at a specific object, and an image object Determines the image object corresponding to the object marker from the projector projecting the image object data and the image object data, tracks the location and movement path of the object marker in the source image, and locates the location to the location corresponding to the movement path. And an arithmetic unit that controls the image object to be projected.

이하 설명하는 기술은 사용자가 움직이는 객체를 기준으로 영상 객체인 동화 캐릭터를 제어하여 실감 있는 동화를 구현한다. 이하 설명하는 기술은 아이들이 좋아하는 그림자 영상으로 동화 캐릭터를 재현하여 재미있고 몰입감 높은 동화를 구현한다.The technique described below implements a realistic fairy tale by controlling a fairy tale character, which is a video object, based on a user moving object. The technique described below reproduces a fairy tale character with shadow images that children like to create a fun and immersive fairy tale.

도 1은 동화 구현 장치에 대한 예이다.
도 2는 동화 구현 과정에 대한 예이다.
도 3은 동화 구현 장치를 이용한 동화 구현의 예이다.
도 4는 동화 구현 장치를 이용한 동화 구현의 다른 예이다.
도 5는 증강 현실 기반의 영상 객체가 출력되는 예이다.
도 6은 증강 현실 기반의 영상 객체가 출력되는 다른 예이다.
도 7은 동화 구현 장치의 구성을 도시한 예이다.1 is an example of an apparatus for implementing a moving picture.
2 is an example of a process of implementing a fairy tale.
3 is an example of a moving picture realization using a moving picture realization device.
4 is another example of a moving picture realization using a moving picture realization device.
5 is an example of outputting an augmented reality-based image object.
6 is another example in which an augmented reality-based image object is output.
7 is an example showing the configuration of a moving picture realization device.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technique described below may be applied to various changes and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology described below to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the technology described below.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, and only for distinguishing one component from other components Used only. For example, the first component may be referred to as a second component, and similarly, the second component may be referred to as a first component without departing from the scope of the technology described below. The term and / or includes a combination of a plurality of related described items or any one of a plurality of related described items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In the terminology used herein, a singular expression should be understood to include a plurality of expressions unless the context clearly interprets otherwise, and terms such as “comprises” describe features, numbers, steps, operations, and components described. It is to be understood that it means that a part or a combination thereof is present, and does not exclude the presence or addition possibility of one or more other features or numbers, step operation components, parts or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is intended to clarify that the division of the components in this specification is only divided by the main functions of each component. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each subdivided function. In addition, each of the components described below may additionally perform some or all of the functions of other components in addition to the main functions in charge of the components, and some of the main functions of each component are different. Needless to say, it may also be carried out exclusively by.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing a method or a method of operation, each process constituting the method may occur differently from a specified order unless a specific order is explicitly described in context. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

이하 설명하는 기술은 동화를 구현하는 장치이다. 이하 설명하는 기술은 동화 스토리 진행을 시각적으로 보여주는 동화 구현 장치이다. 이하 설명하는 기술은 증강 현실 기술을 이용하여 아이들에게 친숙한 영상으로 캐릭터 또는 장면을 보여준다. The technique described below is a device for realizing a fairy tale. The technique described below is a fairy tale implementation device that visually shows the progress of a fairy tale story. The technique described below uses augmented reality technology to show a character or scene in a video familiar to children.

이하 사용하는 용어에 대하여 설명한다.Hereinafter, terms used will be described.

동화 객체는 동화에 등장하는 캐릭터, 물건 또는 배경을 나타내는 물리적인 객체이다. 동화 객체는 다양한 형태로 구현될 수 있다. 예컨대, 동화 객체는 동화책에 삽입 내지 부착가능한 캐릭터 형태일 수 있다. 동화 객체는 종이, 합성수지, 금속 등 다양한 재질로 구성될 수 있다. 동화 객체는 일정한 두께를 갖는 평면 형태일 수 있다. 이 경우 평면에는 동화 캐릭터 도안이나 그림이 배치될 수 있다. 또 동화 객체는 입체감 있는 캐릭터 형태를 가질 수도 있다.A fairy tale object is a physical object that represents a character, object, or background appearing in a fairy tale. The fairy tale object can be implemented in various forms. For example, the moving object may be in the form of a character that can be inserted or attached to a moving book. The fairy tale object may be composed of various materials such as paper, synthetic resin, and metal. The moving object may be in the form of a plane having a constant thickness. In this case, a drawing or a picture of a fairy tale character may be arranged on a plane. Also, a fairy tale object may have a three-dimensional character form.

객체 마커는 동화 객체에 부착되는 마커(marker)이다. 객체 마커는 마커가 부착된 특정 동화 객체를 식별하는 용도이다. 객체 마커는 다양한 형태로 구현될 수 있다. 객체 마커는 QR 코드, 바코드 등과 같이 일정한 정보를 포함하는 코드일 수 있다. 또 객체 마커는 근거리 무선통신으로 일정한 정보를 전송할 수 있는 칩(RFID 칩, NFC 칩 등)일 수도 있다. The object marker is a marker attached to a moving object. The object marker is for identifying a specific moving object to which the marker is attached. The object marker can be implemented in various forms. The object marker may be a code including certain information, such as a QR code or barcode. Also, the object marker may be a chip (RFID chip, NFC chip, etc.) capable of transmitting certain information through short-range wireless communication.

객체 마커는 영상에서 다른 객체와 구별되어 식별될 수 있으면 된다. 즉, 객체 마커는 영상에서 특정 객체 마커를 식별할 수 있고, 식별한 객체 마커가 어떤 동화 객체를 나타내는지 정보를 전달하면 충분하다. 따라서 객체 마커는 이와 같은 기능을 갖는 다양한 형태가 사용될 수 있다.The object marker may be distinguished from other objects in the image. That is, the object marker can identify a specific object marker in an image, and it is sufficient to convey information on which moving object the identified object marker represents. Accordingly, various types of object markers having such functions can be used.

영상 객체는 디지털 영상에서 특정 동화 객체를 나타내는 영상이다. 예컨대, 영상 객체는 동화에 등장하는 캐릭터, 물건 또는 배경일 수 있다. The image object is an image representing a specific moving object in a digital image. For example, the image object may be a character, object, or background appearing in a fairy tale.

이하 설명의 편의를 위하여 동화 객체는 동화에 등장하는 캐릭터라고 가정한다.For convenience of description, it is assumed that the fairy tale object is a character appearing in the fairy tale.

도 1은 동화 구현 장치(100)에 대한 예이다. 동화 구현 장치(100)는 영상인식장치(120) 및 프로젝터(130)를 포함한다. 도 1은 동화 구현 장치(100)에 대한 하나의 예이다. 예컨대, 동화 구현 장치(100)는 프로젝터가 내장된 영상인식장치와 같이 일체형으로 구현될 수 있다.1 is an example of a moving picture implementing apparatus 100. The moving image realization device 100 includes an image recognition device 120 and a projector 130. 1 is an example of a moving picture implementing apparatus 100. For example, the moving image realization apparatus 100 may be embodied as an integrated image recognition apparatus with a built-in projector.

도 1에서 동화 객체(110)는 객체 마커(111)를 외부에 부착한 형태이다. 동화 객체(110)는 고래 모양의 물리적인 객체이다. In Figure 1, the moving object 110 is a form in which the object marker 111 is attached to the outside. The fairy tale object 110 is a whale-shaped physical object.

영상인식장치(120)는 카메라로 영상을 촬영하고, 영상에 포함된 객체를 인식할 수 있다. 영상인식장치(120)는 영상 내의 특정 객체를 추적하여 해당 객체의 위치를 추적할 수 있다. 영상인식장치(120)는 스마트기기와 같은 장치일 수 있다. The image recognition device 120 may capture an image with a camera and recognize an object included in the image. The image recognition device 120 may track a specific object in the image to track the location of the object. The image recognition device 120 may be a device such as a smart device.

(1) 영상인식장치(120)는 동화 객체(110)를 자체를 인식할 수도 있다. 영상인식장치(120)가 동화 객체(110)를 인식하여 어떤 유형의 객체인지 파악할 수도 있다. 또 영상인식장치(120)는 동화 객체(110)를 추적하여 위치 및 이동 경로를 파악할 수도 있다. (2) 영상인식장치(120)는 객체 마커(110)를 기준으로 동화 객체(110)를 인식할 수도 있다. 영상인식장치(120)는 객체 마커(111)를 추적하여 동화 객체(110)의 위치, 방향, 이동 경로를 추적할 수 있다. (1) The image recognition device 120 may recognize the moving object 110 itself. The image recognition device 120 may recognize the moving object 110 and determine what type of object it is. In addition, the image recognition device 120 may track the moving object 110 to grasp the location and the moving path. (2) The image recognition device 120 may recognize the moving object 110 based on the object marker 110. The image recognition device 120 may track the object marker 111 to track the location, direction, and movement path of the moving object 110.

영상인식장치(120)는 동화 객체(110)에 대응하는 영상 객체를 생성한다. 따라서 영상인식장치(120)는 동화 객체(110)가 동화에 등장하는 어떤 캐릭터인지 파악해야 한다. 영상인식장치(120)가 동화 객체(110)를 검출하고, 인식하여 어떤 캐릭터인지 파악할 수도 있다. 다양한 동화 콘텐츠, 다양한 캐릭터 등을 고려하면 객체 마커(111)를 기준으로 동화 객체(110)를 파악하는 것이 바람직할 수 있다. 따라서 이하 영상인식장치(120)는 객체 마커(111)를 기준으로 동화 객체(110)를 인식한다고 가정한다.The image recognition device 120 generates an image object corresponding to the moving object 110. Therefore, the image recognition device 120 needs to understand what character the fairy tale object 110 appears in the fairy tale. The image recognition device 120 may detect and recognize the moving object 110 to determine which character it is. Considering various fairy tale contents, various characters, and the like, it may be desirable to identify the fairy tale object 110 based on the object marker 111. Therefore, hereinafter, it is assumed that the image recognition device 120 recognizes the moving object 110 based on the object marker 111.

영상인식장치(120)는 객체 마커(111)를 기준으로 2차원 평면에서 동화 객체(110)의 위치를 추적할 수 있다. 나아가 영상인식장치(120)는 객체 마커(110)를 기준으로 3차원 공간에서 동화 객체(110)의 위치를 추적할 수도 있다. 영상인식장치(120)는 동화 객체(110) 또는 객체 마커(111)의 크기를 기준으로 3차원 공간에서의 높이 내지 깊이를 추정할 수 있다. 또는 영상인식장치(120)는 스테레오 카메라 내지 적외선 카메라를 사용하여 동화 객체(110)의 높이 내지 깊이를 측정할 수도 있다.The image recognition device 120 may track the position of the moving object 110 in the two-dimensional plane based on the object marker 111. Furthermore, the image recognition device 120 may track the position of the moving object 110 in the 3D space based on the object marker 110. The image recognition device 120 may estimate the height or depth in the 3D space based on the size of the moving object 110 or the object marker 111. Alternatively, the image recognition device 120 may measure the height or depth of the moving object 110 using a stereo camera or an infrared camera.

영상인식장치(120)는 객체 마커(111)에 포함된 정보를 해석하여 동화 객체(110)를 식별한다. 예컨대, 도 1과 같이 영상인식장치(120)는 객체 마커(111)를 캡쳐하고, 객체 마커(111)에 포함된 정보를 추출할 수 있다. 영상인식장치(120)는 객체 마커(111)가 부착된 동화 객체(110)가 고래라고 식별한다. 이 경우 영상인식장치(120)는 사전에 보유한 영상 데이터를 기준으로 고래를 나타내는 영상 객체를 생성할 수 있다. 또는 영상인식장치(120)는 사전에 저장한 영상 객체 집합에서 고래 객체를 선택할 수 있다.The image recognition device 120 analyzes the information included in the object marker 111 to identify the moving object 110. For example, as shown in FIG. 1, the image recognition device 120 may capture the object marker 111 and extract information included in the object marker 111. The image recognition device 120 identifies that the moving object 110 to which the object marker 111 is attached is a whale. In this case, the image recognition device 120 may generate an image object representing a whale based on the image data previously held. Alternatively, the image recognition device 120 may select a whale object from a set of previously stored image objects.

영상 객체는 칼러 영상, 흑백 영상, 그림자 영상 등일 수 있다. 그림자 영상은 2차원 평면에서 동화 객체의 그림자 형태를 나타내는 영상을 의미한다. 나아가 영상 객체는 입체감 있는 3차원 객체일 수도 있다. The image object may be a color image, a black and white image, or a shadow image. The shadow image refers to an image representing a shadow shape of a moving object in a 2D plane. Furthermore, the image object may be a three-dimensional object with a three-dimensional effect.

영상인식장치(120)는 생성한 영상 객체를 프로젝터(130)에 전달할 수 있다. 영상인식장치(120)는 프로젝터(130)에 삽입된 형태, 유선으로 연결된 형태 또는 무선으로 연결된 형태일 수 있다. 영상인식장치(120)는 연결된 프로젝터(130)에 영상 객체를 전달한다. 영상인식장치(120)는 영상 객체가 포함된 일정한 영상을 프로젝터(130)에 전달한다. 영상인식장치(120)는 객체 마커(111)의 위치를 기준으로 영상 객체의 위치를 설정하여 영상을 생성한다. The image recognition device 120 may transmit the generated image object to the projector 130. The image recognition device 120 may be a form inserted into the projector 130, a wired connection, or a wireless connection. The image recognition device 120 transmits an image object to the connected projector 130. The image recognition device 120 transmits a certain image including an image object to the projector 130. The image recognition device 120 creates an image by setting the location of the image object based on the location of the object marker 111.

프로젝터(130)는 영상인식장치(120)가 전달하는 영상을 외부에 투사한다.The projector 130 projects an image transmitted by the image recognition device 120 to the outside.

도 2는 동화 구현 과정(200)에 대한 예이다. 동화 구현 장치는 객체 마커를 인식한다(210). 동화 구현 장치는 캡쳐한 영상에서 객체 마커를 검출하고, 객체 마커의 내용을 분석하여 정보를 추출한다. 이 과정에서 동화 구현 장치는 객체 마커가 나타내는 동화 객체를 식별할 수 있다. 2 is an example of a process 200 for implementing a fairy tale. The moving picture realization device recognizes the object marker (210). The moving picture realization device detects an object marker from the captured image and extracts information by analyzing the content of the object marker. In this process, the moving picture realization device may identify the moving picture object indicated by the object marker.

동화 구현 장치는 객체 마커의 위치, 방향 및 이동 경로를 추적한다(220). 동화 구현 장치는 카메라(영상 센서)로 캡쳐한 영상에서 객체 마커의 위치를 추적할 수 있다.The moving image realization device tracks the location, direction, and movement path of the object marker (220). The moving image realization device may track the position of the object marker in the image captured by the camera (image sensor).

동화 구현 장치는 객체 마커에 대응하는 영상 객체를 결정하고 생성한다(230). 동화 구현 장치는 객체 마커에 포함된 정보를 기준으로 영상 객체를 결정할 수 있다. 동화 구현 장치는 사전에 보유한 데이터를 이용하여 영상 객체를 생성할 수 있다. The moving image realization apparatus determines and generates an image object corresponding to the object marker (230). The moving image realization apparatus may determine the image object based on the information included in the object marker. The moving image realization apparatus may generate an image object using data previously held.

동화 구현 장치는 사전에 영상 객체 세트를 보유할 수 있다. 이 경우 동화 구현 장치는 객체 마커에 포함된 식별자 정보를 기준으로 영상 객체 세트 중 특정 영상 객체를 선택할 수 있다. 동일한 동화에 등장하는 캐릭터에 대해서도, 서로 다른 영상 객체가 존재할 수 있다. 동화 구현 장치는 객체 마커에 포함된 식별자 정보를 기준으로 특정한 영상 객체를 선택할 수 있다. The moving image realization device may have a set of image objects in advance. In this case, the moving image realization device may select a specific image object from the set of image objects based on the identifier information included in the object marker. Different image objects may exist for characters appearing in the same fairy tale. The moving image realization device may select a specific image object based on the identifier information included in the object marker.

한편 동화 구현 장치는 동화 객체 자체를 분석하여, 영상 객체를 결정할 수도 있다.Meanwhile, the moving image realization device may analyze the moving image object itself and determine an image object.

동화 구현 장치는 객체 마커의 위치, 방향 및 움직임을 추적하였다. 동화 구현 장치는 실시간으로 변경되는 객체 마커의 위치, 방향 등에 대응되는 영상 객체를 출력할수 있다(240). 예컨대, 동화 구현 장치는 객체 마커의 이동에 따라 실시간으로 영상에서 영상 객체가 이동하도록 표현할 수 있다. 영상 객체가 표현되는 다양한 예에 대하여 후술한다. The moving picture realization device tracked the position, direction, and movement of the object marker. The moving image realization device may output an image object corresponding to the position, direction, etc. of the object marker that is changed in real time (240). For example, the moving image realization device may express the moving image object in the image in real time according to the movement of the object marker. Various examples in which image objects are represented will be described later.

도 3은 동화 구현 장치를 이용한 동화 구현의 예이다. 도 3은 상호 작용형 동화 구현의 예이다. 사용자는 동화책(50)에서 특정한 동화 객체(110A)를 선택한다. 사용자는 영상인식장치(120)가 동화 객체(110A)를 인식할 수 있도록 적당한 위치에 동화 객체를 위치시킨다(도 3의 동화 객체 후면에 객체 마커 위치). 3 is an example of a moving picture realization using a moving picture realization device. 3 is an example of an interactive assimilation implementation. The user selects a specific moving object 110A from the moving book 50. The user places the moving object in a suitable position so that the image recognition device 120 can recognize the moving object 110A (object marker position on the back of the moving object in FIG. 3).

영상인식장치(120)는 객체 마커를 기준으로 동화 객체(110A)를 인식하고, 동화 객체(110A)를 추적한다. The image recognition device 120 recognizes the moving object 110A based on the object marker, and tracks the moving object 110A.

영상인식장치(120)는 객체 마커에 포함된 정보를 기준으로 동화 객체(110A)에 대응하는 영상 객체를 선택 내지 생성한다. 영상인식장치(120)는 영상 객체가 포함된 영상을 생성하여 프로젝터(130)에 전달한다. 프로젝터(130)는 영상 객체가 포함된 영상을 외부 벽면 또는 스크린에 투사한다. 도 3은 고래에 대한 그림자 영상을 생성하여 외부에 투사한 예이다. The image recognition device 120 selects or generates an image object corresponding to the moving object 110A based on the information included in the object marker. The image recognition device 120 generates an image including an image object and transmits it to the projector 130. The projector 130 projects an image including an image object onto an external wall or screen. 3 is an example in which a shadow image of a whale is generated and projected to the outside.

영상인식장치(120)는 객체 마커 또는 동화 객체(110A)의 위치를 인식하여 영상 객체도 대응되게 위치하도록 표현할 수 있다. 나아가 영상인식장치(120)는 영상 객체에 일정한 효과를 부여할 수 있다. 예컨대, 영상인식장치(120) 영상 객체(고래)가 수영하는 애니메이션 효과를 갖는 영상을 생성할 수 있다.The image recognition device 120 may recognize the position of the object marker or the moving object 110A and express the image object to be positioned correspondingly. Furthermore, the image recognition device 120 may give a certain effect to the image object. For example, the image recognition device 120 may generate an image having an animation effect in which an image object (whale) swims.

도 4는 동화 구현 장치를 이용한 동화 구현의 다른 예이다. 도 4는 상호 작용형 동화 구현의 다른 예이다. 도 4는 두 개의 동화 객체를 이용하는 예이다. 도 4는 제1 동화 객체(110A)와 제2 동화 객체(110B)를 도시한다. 도 4는 영상인식장치, 프로젝터와 같은 구성은 도시하지 않았다.4 is another example of a moving picture realization using a moving picture realization device. 4 is another example of an interactive assimilation implementation. 4 is an example of using two moving objects. 4 shows the first moving object 110A and the second moving object 110B. 4, the configuration such as an image recognition device and a projector is not illustrated.

사용자가 제1 동화 객체(110A)와 제2 동화 객체(110B)를 선택하여 영상인식장치가 해당 동화 객체를 인식하게 한다. 영상인식장치는 동화 객체의 객체 마커를 기준으로 복수의 동화 객체를 동시에 인식할 수 있다. 영상인식장치는 복수의 동화 객체의 위치 및 움직임을 추적할 수 있다.The user selects the first moving object 110A and the second moving object 110B so that the image recognition device recognizes the moving object. The image recognition device may recognize a plurality of moving object simultaneously based on the object marker of the moving object. The image recognition device may track the positions and movements of a plurality of moving object.

영상인식장치는 인식한 동화 객체에 대응하는 영상 객체를 생성할 수 있다. 프로젝터는 영상인식장치가 생성한 영상을 외부에 투사한다. 도 4는 제1 동화 객체(110A)에 대한 영상 객체(고래, A 표시) 및 제2 동화 객체(110B)에 대한 영상 객체(배를 탄 피노키오, B 표시)를 도시한다. 도 4는 동화 객체에 대한 그림자 영상이 생성되어 투사된 예이다. 또 영상인식장치는 영상 객체에 대한 일정한 효과를 부여할 수 있다. 예컨대, 영상인식장치는 제1 동화 객체(110A)의 이동에 따라 영상 객체 A(고래)가 헤엄치는 영상을 생성할 수 있다. 영상인식장치는 제2 동화 객체(110B)의 이동에 따라 영상 객체 B(배)가 이동하는 장면을 생성할 수 있다.The image recognition device may generate an image object corresponding to the recognized moving object. The projector projects the image generated by the image recognition device to the outside. FIG. 4 shows a video object (whale, A display) for the first moving object 110A and a video object (pinocchio, B display on the boat) for the second moving object 110B. 4 is an example in which a shadow image of a moving object is generated and projected. In addition, the image recognition device may give a certain effect to the image object. For example, the image recognition device may generate an image in which the image object A (whale) swims as the first moving object 110A moves. The image recognition device may generate a scene in which the image object B (ship) moves according to the movement of the second moving object 110B.

영상인식장치는 동화 객체 내지 객체 마커를 기준으로 영상 객체를 생성한다. 이때 영상인식장치는 동화 객체 내지 객체 마커의 위치 및 방향을 모니터링한다. 영상인식장치는 동화 객체 내지 객체 마커의 위치 및 방향에 대응되게 영상 객체의 위치 및 방향을 변경할 수 있다. The image recognition device generates an image object based on a moving object or an object marker. At this time, the image recognition device monitors the position and direction of the moving object or the object marker. The image recognition device may change the location and direction of the image object to correspond to the location and direction of the moving object or object marker.

도 5는 증강 현실 기반의 영상 객체가 출력되는 예이다. 도 5의 상단은 동화 객체 내지 객체 마커의 방향이 변경되는 예를 도시한다. 동화 객체는 (a)에서 (d)까지 도시하였다. 동화 객체 (a)는 영상인식장치(120)와 평행한 상태라고 가정한다. 동화 객체 (b)는 (a) 기준 반시계 방향으로 30° 회전한 상태이다. 동화 객체 (c)는 (a) 기준 반시계 방향으로 85°회전한 상태이다. 동화 객체 (d)는 (a) 기준 반시계 방향으로 130°회전한 상태이다.5 is an example of outputting an augmented reality-based image object. 5 shows an example in which the direction of the moving object or the object marker is changed. The moving object is shown in (a) to (d). It is assumed that the moving object (a) is parallel to the image recognition device 120. The moving object (b) is rotated by 30 ° counterclockwise (a). The moving object (c) is rotated 85 ° counterclockwise to the reference (a). The moving object (d) is rotated by 130 ° counterclockwise (a).

도 5의 하단은 상단에 도시한 동화 객체의 방향에 따라 영상 객체가 변경되는 예를 도시한다. 영상 객체 (A)는 동화 객체 (a)에 대한 영상이다. 영상 객체 (B)는 동화 객체 (b)에 대한 영상이다. 영상 객체 (C)는 동화 객체 (c)에 대한 영상이다. 영상 객체 (D)는 동화 객체 (d)에 대한 영상이다. 이와 같이 영상 객체는 동화 객체의 방향에 따라 일정하게 방향이 전환되는 형태로 구현될 수 있다. 또 영상 객체가 평면 형태인 그림자인 경우, 평면 객체의 특성을 고려하여 영상 객체가 회전하는 효과를 부여할 수 있다. 예컨대, 동화 객체를 비스듬히 두면 그림자도 얇아질 수 있다.The lower part of FIG. 5 shows an example in which the video object is changed according to the direction of the moving object shown in the upper part. The image object (A) is an image of the moving object (a). The image object (B) is an image of the moving object (b). The image object (C) is an image of the moving object (c). The image object (D) is an image of the moving object (d). In this way, the image object may be implemented in a form in which the direction is constantly changed according to the direction of the moving object. In addition, when the image object is a shadow in the form of a plane, the effect of rotating the image object may be given in consideration of the characteristics of the plane object. For example, if the fairy tale object is placed at an angle, the shadow may also be thinned.

영상 생성 장치는 객체 인식 장치가 인식한 동화 객체의 위치 및 움직임에 따라 일정한 효과를 갖는 영상을 생성할 수 있다. 이하 동화 객체의 위치 및 움직임에 따라 영상에서 나타나는 효과를 인터랙션(interaction) 효과라고 명명한다. 인터랙션 효과는 사운드 출력, 영상 객체의 움직임, 배경 영상 출력, 영상 객체와 배경의 인터랙션 영상 출력, 별도의 애니메이션 영상 출력 등 다양할 수 있다. The image generating apparatus may generate an image having a certain effect according to the position and movement of the moving object recognized by the object recognition apparatus. Hereinafter, the effect appearing in the image according to the position and movement of the moving object is referred to as an interaction effect. The interaction effect may be various, such as sound output, motion of an image object, output of a background image, output of an interaction image of an image object and a background, output of a separate animation image.

동화 객체 또는 객체 마커가 일정한 영역 내지 지점에 위치하는 경우 특정한 인터랙션 효과가 발생할 수 있다. 동화 객체 또는 객체 마커의 움직임 내지 이동 경로가 일정한 제스처인 경우 특정한 인터랙션 효과가 발생할 수 있다. 예컨대, 제스처는 사용자가 동화 객체를 흔드는 경우, 동화 객체로 원을 그리는 경우 등일 수 있다.When a moving object or object marker is located at a certain area or point, a specific interaction effect may occur. When a motion or a movement path of a moving object or an object marker is a constant gesture, a specific interaction effect may occur. For example, the gesture may be when the user shakes the moving object, draws a circle with the moving object, or the like.

나아가 두 개의 동화 객체가 서로 근접하거나, 중첩되는 경우 인터랙션 효과가 발생할 수도 있다. 도 6은 증강 현실 기반의 영상 객체가 출력되는 다른 예이다. 도 6은 두 개의 동화 객체가 근접한 경우 발생하는 이벤트를 도시한 예이다. 근접은 두 개의 동화 객체가 사전에 정의된 반경 내에 위치는 경우일 수 있다. 영상인식장치는 두 개의 동화 객체의 위치를 추적하므로, 두 개의 동화 객체가 일정하게 근접하는지 여부를 알 수 있다. 중첩은 두 개의 동화 객체가 2차원 평면에서 서로 중복되는 경우를 의미한다. 영상인식장치는 두 개의 동화 객체의 위치를 추적하므로, 두 개의 동화 객체가 평면에서 서로 중복되는 상태인지 여부를 추정할 수 있다.Furthermore, when two fairy tale objects are close to each other or overlap, an interaction effect may occur. 6 is another example in which an augmented reality-based image object is output. 6 is an example of an event occurring when two moving objects are in close proximity. Proximity may be the case when two moving objects are positioned within a predefined radius. Since the image recognition device tracks the positions of two moving object, it is possible to know whether the two moving object are in constant proximity. Overlapping means the case where two moving object overlap each other in the 2D plane. Since the image recognition device tracks the positions of two moving object, it is possible to estimate whether the two moving object overlap with each other in a plane.

도 6은 피노키오에 등장하는 캐릭터를 도시한 예이다. 귀뚜라미(A)와 피노키오(B)가 이동하면서 근접하는 예이다. A 및 B는 동화 객체 또는 영상 객체를 의미한다. 귀뚜라미(A)와 피노키오(B)가 근접하면 또는 충돌하면 일정한 이벤트가 발생한다. C는 피노키오의 코 위에 올라가는 영상이다. 즉, C는 두 개의 동화 객체가 상호 작용하여 스토리 진행을 위한 영상(두 개의 객체가 출연)이 출력되는 예이다. D는 피노키오의 코가 길어지는 예이다. D는 두 개의 동화 객체의 상호 작용으로 하나의 객체에 일정한 애니메이션 효과가 나타나는 예이다.6 is an example of a character appearing in Pinocchio. An example of a cricket (A) and pinocchio (B) moving in close proximity. A and B mean moving object or video object. When a cricket (A) and Pinocchio (B) are close or collide, a certain event occurs. C is a video of Pinocchio's nose. That is, C is an example in which two fairy tale objects interact to output an image (two objects appearing) for a story progression. D is an example of Pinocchio's long nose. D is an example in which a certain animation effect appears on one object through the interaction of two fairy tale objects.

이와 같이 복수의 동화 객체가 서로 인터랙션하여 다양한 인터랙션 효과를 발생시킬 수 있다. 예컨대, 인터랙션 효과는 사운드 출력(배경 음악, 음성 등), 복수의 영상 객체의 인터랙션 영상 출력, 배경 영상 출력, 영상객체와 배경 영상의 인터랙션 영상 출력, 복수의 영상 객체를 대체하는 하나의 영상 객체 출력 및 애니메이션 영상 출력 중 적어도 하나일 수 있다.In this way, a plurality of moving object can interact with each other to generate various interaction effects. For example, the interaction effects include sound output (background music, voice, etc.), interactive video output of multiple video objects, background video output, interactive video output of video objects and background images, and output of one video object that replaces multiple video objects. And an animation image output.

예컨대, 영상 객체들이 서로 근접할 때 캐릭터 간의 인터랙션을 애니메이션으로 구현할 수 있다. 예컨대, 백설공주가 난장이에 근접하면, 기본 애니메이션 대신 백설공주와 난장이가 악수를 하는 협동 애니메이션을 만들어서 재생할 수 있다.For example, when the image objects are close to each other, interactions between characters may be animated. For example, if Snow White approaches the dwarf, you can create and play a cooperative animation where Snow White and the Dwarf shake hands instead of the basic animation.

이러한 근접성을 활용하면 게임이나 퍼즐같은 종류의 인터랙션도 가능하다. 예컨대, 스토리텔링을 진행할 때 여러 종류의 그림자를 합쳐서 퍼즐을 풀었을 때만 특정 애니메이션이 나오게 할 수도 있다. 예컨대, 브레멘 음악대는 4마리의 동물들이 합체해서 도적떼를 쫓아내는 장면이 나온다. 이때 사용자가 등장하는 동물들을 합쳤을 때 하나의 거대한 동물처럼 보이는 영상을 출력할 수 있다. 이후 도적떼가 도방가는 애니메이션을 출력할 수도 있다. This proximity can also be used to interact with games or puzzles. For example, when performing storytelling, different types of shadows may be combined to cause a specific animation to appear only when the puzzle is solved. For example, the Bremen Conservatory has a scene where four animals are united to chase away a band of thieves. At this time, when the users combine the animals appearing, it can output an image that looks like a giant animal. After that, the bandits may output animations.

전술한 동화 구현은 1: 1 스토리텔링에 해당한다. 1:1 스토리텔링 외에도 다양한 실시예에 본 기술이 적용될 수 있다. 예를 들어 다음과 같다.The above-described fairy tale implementation corresponds to 1: 1 storytelling. In addition to 1: 1 storytelling, the present technology can be applied to various embodiments. For example:

1 대 다수 스토리텔링 One-to-many storytelling

동화책을 이용해서 1인 사용자가 다수의 대중에게 그림자 연극과 함께 동화책을 읽어줄 수 있다. 연극 스크립트를 직접 준비하지 않아도 동화책의 텍스트를 읽고 움직이는 그림자를 보여주며 생동감 있는 스토리텔링 진행이 가능하다.Using a fairy tale book, a single user can read a fairy tale book along with a shadow play to a large number of the public. Even if you do not prepare the drama script yourself, you can read the text of the fairy tale book, show the moving shadows, and proceed to lively storytelling.

캐릭터 전시 활용Character exhibition utilization

그래픽 아티스트, 일러스터 등등의 캐릭터 전시에 활용할 수 있다. 캐릭터 상품의 후면에 AR마커를 부착하여 살아 움직이는 듯한 캐릭터 그림자를 프로젝터로 구현할 수 있으며 인테리어 또는 행사 전시에 사용할 수 있다. It can be used to display characters such as graphic artists and illustrators. By attaching an AR marker to the back of the character product, the character shadow that appears to be alive can be realized as a projector and used for interior or event exhibitions.

도 7은 동화 구현 장치(300)의 구성을 도시한 예이다. 동화 구현 장치(300)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 동화 구현 장치(300)는 PC, 스마트 기기, 네트워크 서버, 영상 처리 전용 칩셋 등의 형태를 가질 수 있다. 7 is an example showing the configuration of the moving picture implementing apparatus 300. The moving picture realization device 300 may be physically implemented in various forms. For example, the moving picture realization device 300 may take the form of a PC, a smart device, a network server, an image processing dedicated chipset, and the like.

동화 구현 장치(300)는 저장 장치(310), 메모리(320), 영상 센서(330), 연산장치(340), 인터페이스 장치(350), 통신 장치(360), 디스플레이 장치(370) 및 프로젝터(380)를 포함할 수 있다.The moving picture implementing device 300 includes a storage device 310, a memory 320, an image sensor 330, a computing device 340, an interface device 350, a communication device 360, a display device 370, and a projector ( 380).

저장 장치(310)는 전술한 바와 같이 영상에서 객체를 검출하는 검출 프로그램을 저장할 수 있다. 검출 프로그램은 캡쳐한 영상에서 동화 객체 또는 객체 마커를 검출할 수 있다. 검출 프로그램은 캡쳐한 영상에서 동화 객체를 식별할 수도 있다. 저장 장치(310)는 객체 마커에서 정보를 추출하는 프로그램을 저장할 수 있다. 저장 장치(310)는 영상 객체 생성을 위한 영상 데이터를 저장할 수 있다. 저장 장치(310)는 영상 객체 세트를 저장할 수 있다. 저장 장치(310)는 영상 센서(330)가 캡쳐한 영상을 저장할 수 있다. 저장 장치(310)는 영상 객체가 포함된 영상을 저장할 수 있다.As described above, the storage device 310 may store a detection program for detecting an object in an image. The detection program can detect a moving object or an object marker from the captured image. The detection program may identify a moving object in the captured image. The storage device 310 may store a program for extracting information from an object marker. The storage device 310 may store image data for generating image objects. The storage device 310 may store a set of image objects. The storage device 310 may store an image captured by the image sensor 330. The storage device 310 may store an image including an image object.

메모리(320)는 동화 구현 장치(300)가 영상 처리 및 영상 생성과정에서 생성하는 임시 데이터 및 정보 등을 저장할 수 있다.The memory 320 may store temporary data and information generated by the moving image generator 300 during image processing and image generation.

영상 센서(330)는 영상을 캡처하는 센서이다. 영상 센서(330)는 CMOS, CCD 등 다양한 센서 중 적어도 하나일 수 있다. 나아가 영상 센서(330)는 스테레오 카메라에 사용되는 복수의 센서일 수도 있다. 영상 센서(330)는 동화 객체 내지 객체 마커를 캡쳐한다.The image sensor 330 is a sensor that captures an image. The image sensor 330 may be at least one of various sensors such as CMOS and CCD. Furthermore, the image sensor 330 may be a plurality of sensors used in a stereo camera. The image sensor 330 captures a moving object or an object marker.

연산 장치(340)는 저장장치(310)에 저장된 프로그램을 이용하여 영상 센서(330)가 캡쳐한 영상에서 동화 객체 내지 객체 마커를 검출할 수 있다. 연산 장치(340)는 동화 객체 내지 객체 마커를 지속적으로 검출하여 동화 객체 내지 객체 마커 위치 내지 이동 경로를 추적할 수 있다. 연산 장치(340)는 동화 객체 내지 객체 마커를 검출하여 동화 객체의 방향성을 추정할 수 있다. The computing device 340 may detect a moving object or an object marker from an image captured by the image sensor 330 using a program stored in the storage device 310. The computing device 340 may continuously detect the moving object or the object marker to track the moving object or the object marker position or the moving path. The computing device 340 may detect a moving object or an object marker to estimate the direction of the moving object.

연산 장치(340)는 저장장치(310)에 저장된 프로그램을 이용하여 객체 마커에서 객체 정보를 추출할 수 있다. 연산 장치(340)는 추출한 객체 정보(식별자)를 기준으로 영상 객체를 생성할 수 있다. 연산 장치(340)는 추출한 객체 정보(식별자)를 기준으로 영상 객체 세트에서 특정 영상 객체를 선택할 수도 있다. 연산 장치(340)는 일정한 배경과 함께 영상 객체를 포함하는 영상을 생성할 수 있다. 연산 장치(340)는 영상 객체와 함께 전술한 다양한 인터랙션 효과에 해당하는 영상을 생성할 수 있다. 연산 장치(340)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.The computing device 340 may extract object information from the object marker using a program stored in the storage device 310. The computing device 340 may generate an image object based on the extracted object information (identifier). The computing device 340 may select a specific image object from the set of image objects based on the extracted object information (identifier). The computing device 340 may generate an image including an image object with a constant background. The computing device 340 may generate an image corresponding to the various interaction effects described above together with the image object. The computing device 340 may be a device such as a processor embedded in a processor, an AP, or a program that processes data and processes certain operations.

인터페이스 장치(350)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(350)는 물리적으로 연결된 입력 장치 또는 외부 저장 장치로부터 영상을 입력받을 수 있다. 인터페이스 장치(350)는 영상 처리를 위한 모델 내지 프로그램을 입력받을 수 있다. 인터페이스 장치(350)는 영상 생성에 사용되는 영상 데이터를 입력받을 수 있다.The interface device 350 is a device that receives certain commands and data from the outside. The interface device 350 may receive an image from a physically connected input device or an external storage device. The interface device 350 may receive a model or a program for image processing. The interface device 350 may receive image data used for image generation.

통신 장치(360)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(360)는 외부 객체(예컨대, 별도의 카메라)로부터 동화 객체 또는 객체 마커가 포함된 영상을 수신할 수 있다. 통신 장치(360)는 연산 장치(340)가 생성한 최종 영상을 외부 객체(예컨대, 프로젝터 또는 디스플레이 장치)에 송신할 수 있다.The communication device 360 refers to a configuration that receives and transmits certain information through a wired or wireless network. The communication device 360 may receive an image including a moving object or an object marker from an external object (eg, a separate camera). The communication device 360 may transmit the final image generated by the computing device 340 to an external object (eg, a projector or display device).

통신 장치(350) 내지 인터페이스 장치(360)를 입력장치라고 명명할 수 있다.The communication device 350 to the interface device 360 may be referred to as an input device.

디스플레이장치(370)는 연산 장치(340)가 생성한 최종 영상을 출력하는 장치이다. 디스플레이장치(370)는 물리적인 화면(패널)에 영상을 출력한다. 프로젝터(380)는 연산 장치(340)가 생성한 최종 영상을 투사하는 장치이다. 디스플레이장치(370) 내지 프로젝터(380)는 이격된 별도의 장치로 구현될 수도 있다. 이 경우 디스플레이장치(370) 내지 프로젝터(380)는 유선 또는 무선으로 최종 영상을 수신할 수 있다.The display device 370 is a device that outputs the final image generated by the computing device 340. The display device 370 outputs an image on a physical screen (panel). The projector 380 is a device that projects the final image generated by the computing device 340. The display devices 370 to 380 may be implemented as separate devices spaced apart. In this case, the display devices 370 to 380 may receive the final image through wired or wireless.

또한, 상술한 바와 같은 동화 구현 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.In addition, the method for implementing a moving picture as described above may be implemented as a program (or application) including an executable algorithm that can be executed on a computer. The program may be provided stored in a non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory. Specifically, the various applications or programs described above may be stored and provided in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.The drawings attached to the present embodiment and the present specification merely show a part of the technical spirit included in the above-described technology, and are easily understood by those skilled in the art within the scope of the technical spirit included in the above-described technical specification and drawings. It will be apparent that all examples and specific examples that can be inferred are included in the scope of the above-described technology.

100 : 동화 구현 장치
110 : 동화 객체
111 : 객체 마커
120 : 영상인식장치
130 : 프로젝터
300 : 동화 구현 장치
310 : 저장장치
320 : 메모리
330 : 영상 센서
340 : 연산장치
350 : 인터페이스장치
360 : 통신장치
370 : 디스플레이장치
380 : 프로젝터100: assimilation device
110: fairy tale object
111: object marker
120: image recognition device
130: projector
300: fairy tale implementation device
310: storage device
320: memory
330: image sensor
340: computing device
350: interface device
360: communication device
370: display device
380: projector

Claims (16)

카메라로 객체 마커를 캡쳐하는 단계;
상기 객체 마커를 포함하는 영상을 이용하여 상기 객체 마커의 위치 및 이동 경로를 추적하는 단계;
상기 객체 마커에 대응되는 영상 객체를 결정하는 단계; 및
상기 영상 객체를 프로젝터를 이용하여 투사하는 단계를 포함하되,
상기 객체 마커는 특정 객체에 위치하고, 상기 영상 객체는 상기 객체 마커의 위치에 대응되는 위치에 투사되고, 상기 이동 경로에 대응되는 경로로 이동하는 증강현실 기반의 동화 구현 방법.Capturing an object marker with a camera;
Tracking a location and a movement path of the object marker using an image including the object marker;
Determining an image object corresponding to the object marker; And
Projecting the image object using a projector,
The object marker is located on a specific object, the image object is projected at a position corresponding to the position of the object marker, augmented reality-based moving picture implementation method to move to a path corresponding to the movement path. 제1항에 있어서,
상기 객체 마커에 포함된 객체 정보를 추출하고, 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 방법.According to claim 1,
Augmented reality-based moving picture realization method for extracting object information included in the object marker and determining the image object based on the object information. 제1항에 있어서,
근거리 통신을 이용하여 상기 특정 객체 또는 상기 객체 마커로부터 객체 정보를 수신하고, 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 방법. According to claim 1,
Augmented reality-based moving picture realization method for receiving object information from the specific object or the object marker using short-range communication and determining the image object based on the object information. 제1항에 있어서,
상기 영상 객체는 그림자 형태의 객체인 증강현실 기반의 동화 구현 방법.According to claim 1,
The image object is a shadow-type object, augmented reality-based assimilation method. 제4항에 있어서,
상기 영상 객체는 상기 특정 객체 또는 상기 객체 마커의 위치 내지 방향에 따라 2차원 공간 또는 3차원 공간상에서 지향하는 방향이 변화하는 모양으로 표현되는 증강현실 기반의 동화 구현 방법.The method of claim 4,
The image object is augmented reality-based assimilation method represented by a shape in which a direction directed in a two-dimensional space or a three-dimensional space changes according to the position or direction of the specific object or the object marker. 제1항에 있어서,
상기 특정 객체는 동화에 등장하는 캐릭터 모양 내지 형태이고, 평면 또는 입체 형태를 갖는 유형의 객체인 증강현실 기반의 동화 구현 방법.According to claim 1,
The specific object is a character shape or form appearing in a fairy tale, and the augmented reality based fairy tale realization method, which is a type object having a flat or three-dimensional shape. 제1항에 있어서,
상기 객체 마커가 특정한 위치로 이동하거나, 상기 객체 마커의 이동 경로가 특정한 제스처를 나타내는 경우, 상기 영상 객체와 관련된 사운드가 출력되거나, 애니메이션 영상이 투사되는 증강현실 기반의 동화 구현 방법.According to claim 1,
When the object marker moves to a specific location, or when the movement path of the object marker indicates a specific gesture, a sound related to the image object is output or an animation image is projected. 제1항에 있어서,
상기 객체 마커가 복수인 경우, 상기 복수의 객체 마커에 대응하는 복수의 영상 객체를 투사하되, 상기 복수의 영상 객체가 일정한 범위 내로 근접 또는 중첩되는 경우 일정한 인터랙션(interaction) 효과가 출력되는 증강현실 기반의 동화 구현 방법.According to claim 1,
When the object markers are plural, a plurality of image objects corresponding to the plural object markers are projected, but augmented reality based on which a certain interaction effect is output when the plural image objects are proximate or overlap within a certain range How to implement fairy tales. 제8항에 있어서,
상기 인터랙션 효과는 사운드 출력, 상기 복수의 영상 객체의 인터랙션 영상 출력, 배경 영상 출력, 상기 영상객체와 배경 영상의 인터랙션 영상 출력, 상기 복수의 영상 객체를 대체하는 하나의 영상 객체 출력 및 애니메이션 영상 출력 중 적어도 하나인 증강현실 기반의 동화 구현 방법.The method of claim 8,
The interaction effect includes sound output, interaction image output of the plurality of image objects, background image output, interaction image output of the image object and background image, output of one image object replacing the plurality of image objects, and animation image output At least one augmented reality based assimilation method. 영상에서 객체를 검출하는 프로그램 및 객체 정보에 대응하는 영상 객체 데이터를 저장하는 저장장치;
특정 객체에 위치하는 객체 마커를 포함하는 소스 영상을 획득하는 영상센서;
영상 객체를 투사하는 프로젝터; 및
상기 영상 객체 데이터에서 상기 객체 마커에 대응하는 상기 영상 객체를 결정하고, 상기 소스 영상에서 상기 객체 마커의 위치 및 이동 경로를 추적하고, 상기 위치 내지 상기 이동 경로에 대응되는 위치에 상기 영상 객체가 투사되도록 제어하는 연산장치를 포함하는 증강현실 기반의 동화 구현 장치.A storage device for storing image object data corresponding to object information and a program for detecting an object in an image;
An image sensor for acquiring a source image including an object marker located at a specific object;
A projector that projects an image object; And
Determine the image object corresponding to the object marker from the image object data, track the location and movement path of the object marker in the source image, and project the image object at a location corresponding to the location to the movement path Augmented reality-based moving picture realization device comprising a computing device that controls as much as possible. 제10항에 있어서,
상기 연산 장치는 상기 객체 마커에 포함된 객체 정보를 추출하고, 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
The computing device extracts object information included in the object marker, and determines an image object based on the object information. 제10항에 있어서,
상기 특정 객체 또는 상기 객체 마커로부터 객체 정보를 수신하는 통신장치를 더 포함하고, 상기 연산장치는 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
And a communication device for receiving object information from the specific object or the object marker, wherein the arithmetic device determines the image object based on the object information. 제10항에 있어서,
상기 연산 장치는 상기 영상에서 상기 특정 객체 또는 상기 객체 마커의 위치 내지 방향을 결정하고, 상기 영상 객체 데이터를 이용하여 상기 위치 내지 방향에 따라 지향하는 방향이 변화하는 상기 영상 객체를 생성하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
The computing device determines the location or direction of the specific object or the object marker in the image, and uses the image object data to generate the image object whose direction is changed according to the location or direction. Device for the implementation of fairy tales. 제10항에 있어서,
상기 객체 마커가 복수인 경우, 상기 프로젝터는 상기 복수의 객체 마커에 대응하는 복수의 영상 객체를 투사하고,
상기 연산 장치는 상기 복수의 영상 객체가 일정한 범위 내로 근접 또는 중첩되는 경우 일정한 인터랙션(interaction) 효과를 생성하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
When the object markers are plural, the projector projects a plurality of image objects corresponding to the plural object markers,
The arithmetic device based on augmented reality that generates a certain interaction effect when the plurality of image objects are proximate or overlap within a certain range. 제10항에 있어서,
상기 인터랙션 효과는 사운드 출력, 상기 복수의 영상 객체의 인터랙션 영상 출력, 배경 영상 출력, 상기 영상객체와 배경 영상의 인터랙션 영상 출력, 상기 복수의 영상 객체를 대체하는 하나의 영상 객체 출력 및 애니메이션 영상 출력 중 적어도 하나인 증강현실 기반의 동화 구현 장치.The method of claim 10,
The interaction effect includes sound output, interaction image output of the plurality of image objects, background image output, interaction image output of the image object and background image, output of one image object replacing the plurality of image objects, and animation image output At least one augmented reality-based assimilation device. 컴퓨터에서 제1항 내지 제10항 중 어느 하나의 항에 기재된 증강현실 기반의 동화 구현 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium in which a program for executing the augmented reality-based moving picture realization method according to any one of claims 1 to 10 is recorded on a computer.
KR1020190040002A 2018-11-21 2019-04-05 Implementing method and apparatus for children's story based on augmented reality KR102195517B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180144340 2018-11-21
KR20180144340 2018-11-21

Publications (2)

Publication Number Publication Date
KR20200060202A true KR20200060202A (en) 2020-05-29
KR102195517B1 KR102195517B1 (en) 2020-12-28

Family

ID=70911960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190040002A KR102195517B1 (en) 2018-11-21 2019-04-05 Implementing method and apparatus for children's story based on augmented reality

Country Status (1)

Country Link
KR (1) KR102195517B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539395B1 (en) * 2021-12-30 2023-06-05 (주)웅진씽크빅 Electronic device for implementing metaverse environment using drawing motion and method for operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743530B1 (en) 2015-06-05 2017-06-07 아이알링크 주식회사 Shadow picture maker linked with smart phone and system of narration of the fairy tale using the same
KR101757627B1 (en) * 2016-01-28 2017-07-14 허상훈 Marker tracking apparatus for projection area in augmented reality environment using three-dimensional model and marker tracking method thereof
KR20180028764A (en) * 2016-09-09 2018-03-19 몬스터스쿨 주식회사 Apparatus and method for children learning using augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743530B1 (en) 2015-06-05 2017-06-07 아이알링크 주식회사 Shadow picture maker linked with smart phone and system of narration of the fairy tale using the same
KR101757627B1 (en) * 2016-01-28 2017-07-14 허상훈 Marker tracking apparatus for projection area in augmented reality environment using three-dimensional model and marker tracking method thereof
KR20180028764A (en) * 2016-09-09 2018-03-19 몬스터스쿨 주식회사 Apparatus and method for children learning using augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539395B1 (en) * 2021-12-30 2023-06-05 (주)웅진씽크빅 Electronic device for implementing metaverse environment using drawing motion and method for operating the same

Also Published As

Publication number Publication date
KR102195517B1 (en) 2020-12-28

Similar Documents

Publication Publication Date Title
US11112934B2 (en) Systems and methods of generating augmented reality (AR) objects
US11237638B2 (en) Systems and methods for extensions to alternative control of touch-based devices
CN102441276B (en) Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US8805016B2 (en) Method for augmenting a real scene
CN105279795B (en) Augmented reality system based on 3D marker
CN107683165B (en) Techniques for generating computer models, and devices, systems, and methods utilizing same
US8866898B2 (en) Living room movie creation
US20130222427A1 (en) System and method for implementing interactive augmented reality
CN115239926A (en) Augmented modification based on user interaction with augmented reality scene
WO2016122973A1 (en) Real time texture mapping
US10096165B2 (en) Technologies for virtual camera scene generation using physical object sensing
CN104508680B (en) Improved video signal is tracked
CN102222329A (en) Raster scanning for depth detection
KR101227237B1 (en) Augmented reality system and method for realizing interaction between virtual object using the plural marker
CN106464773B (en) Augmented reality device and method
US10950056B2 (en) Apparatus and method for generating point cloud data
KR101927150B1 (en) 3d display apparatus and method for providing user interface
US11889222B2 (en) Multilayer three-dimensional presentation
CN106536004B (en) enhanced gaming platform
US8885878B2 (en) Interactive secret sharing
US20210019900A1 (en) Recording medium, object detection apparatus, object detection method, and object detection system
KR102195517B1 (en) Implementing method and apparatus for children's story based on augmented reality
US20120309530A1 (en) Rein-controlling gestures
KR102635477B1 (en) Device for providing performance content based on augmented reality and method therefor
KR20200052812A (en) Activity character creating method in virtual environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant