KR20210138357A - Method and system of content playback using recognizing reality - Google Patents

Method and system of content playback using recognizing reality Download PDF

Info

Publication number
KR20210138357A
KR20210138357A KR1020200056584A KR20200056584A KR20210138357A KR 20210138357 A KR20210138357 A KR 20210138357A KR 1020200056584 A KR1020200056584 A KR 1020200056584A KR 20200056584 A KR20200056584 A KR 20200056584A KR 20210138357 A KR20210138357 A KR 20210138357A
Authority
KR
South Korea
Prior art keywords
content
information
terminal
reproduction
service server
Prior art date
Application number
KR1020200056584A
Other languages
Korean (ko)
Inventor
이창익
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200056584A priority Critical patent/KR20210138357A/en
Publication of KR20210138357A publication Critical patent/KR20210138357A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

Disclosed is a method for reproducing a content in a terminal. The method of one embodiment of the present invention includes the steps of: disposing content in a space photographed through a camera; acquiring information for reproduction of the content when the content is disposed; transmitting the obtained information to a service server; receiving content reproduction information determined based on the obtained information from the service server; and reproducing the content based on the received content reproduction information. Therefore, the method can reproduce a character according to reality rather than simple 3D character movement.

Description

현실 인식을 이용한 콘텐츠 재생 방법과 시스템{METHOD AND SYSTEM OF CONTENT PLAYBACK USING RECOGNIZING REALITY}Content playback method and system using reality recognition

아래 실시예들은 현실 인식을 통한 콘텐츠 재생 방법과 시스템에 관한 것이다.The following embodiments relate to a content reproduction method and system through reality recognition.

최근 증강 현실 기술이 이용되고 있다. 하지만, 증강 현실 콘텐츠들은 공간과 현실 인식 없이 재생된다. Recently, augmented reality technology has been used. However, augmented reality content is played without spatial and reality awareness.

관련 선행기술로, 한국 공개특허공보 제10-2015-0022233호(발명의 명칭: 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법, 출원인: 김정한)가 있다. 해당 공개특허공보에는 실시간 동영상을 촬영할 수 있는 카메라부, 상기 카메라부에서 촬영된 이미지를 실시간으로 표시하는 터치스크린 방식의 디스플레이부, 및 상기 카메라부와 피사체 사이의 거리를 측정할 수 있는 거리측정부를 포함하는 모바일 기기가 개시되어 있고, 상기 모바일 기기와 무선통신으로 연결되어 정보를 주고 받고 상기 모바일 기기에서 촬영된 영상을 이미지프로세싱하여 실제 공간의 바닥면과 거리를 인식하며, 그에 대응하는 각도의 증강 현실 컨텐츠를 상기 모바일 기기로 제공하는 증강 현실 컨텐츠 제공서버가 개시된다.As a related prior art, there is Korean Patent Application Laid-Open No. 10-2015-0022233 (Title of the Invention: Augmented Reality Implementation Device and Augmented Reality Implementation Method Using a Mobile Device, Applicant: Kim Jung-han). The Patent Publication discloses a camera unit capable of capturing a real-time video, a touch screen type display unit for displaying images captured by the camera unit in real time, and a distance measuring unit capable of measuring the distance between the camera unit and the subject. Disclosed is a mobile device including, connected to the mobile device through wireless communication to exchange information, and image processing an image captured by the mobile device to recognize the floor and distance of the real space, and to increase the angle corresponding thereto An augmented reality content providing server for providing real content to the mobile device is disclosed.

전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다. The above-mentioned background art is possessed or acquired by the inventor in the process of deriving the disclosure of the present application, and it cannot be said that it is necessarily known technology disclosed to the general public prior to the present application.

일 측에 따른 단말의 콘텐츠 재생 방법은 카메라를 통해 촬영된 공간 상에 콘텐츠를 배치하는 단계; 상기 콘텐츠가 배치된 경우, 상기 콘텐츠의 재생을 위한 정보를 획득하는 단계; 상기 획득된 정보를 서비스 서버로 전송하는 단계; 상기 서비스 서버로부터 상기 획득된 정보에 기반하여 결정된 콘텐츠 재생 정보를 수신하는 단계; 및 상기 수신된 콘텐츠 재생 정보를 기초로 상기 콘텐츠를 재생하는 단계를 포함한다.A method for reproducing content of a terminal according to one side includes: arranging content on a space photographed through a camera; obtaining information for reproducing the content when the content is arranged; transmitting the obtained information to a service server; receiving content reproduction information determined based on the obtained information from the service server; and reproducing the content based on the received content reproduction information.

상기 콘텐츠의 재생을 위한 정보는 상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함할 수 있다.The information for the reproduction of the content includes identification information of the content, space recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a user's viewing angle may include at least one of

상기 수신된 콘텐츠 재생 정보는 상기 콘텐츠의 크기값과 동작값을 포함할 수 있다.The received content reproduction information may include a size value and an operation value of the content.

상기 크기값과 상기 동작값은 상기 콘텐츠의 재생을 위한 정보를 기초로 계산될 수 있다.The size value and the operation value may be calculated based on information for reproduction of the content.

상기 크기값과 상기 동작값은 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 이용하여 계산될 수 있다.The size value and the operation value are obtained by using at least one of spatial recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user. can be calculated.

상기 콘텐츠를 재생하는 단계는 상기 크기값을 기초로 상기 콘텐츠의 크기를 조정하고, 상기 동작값을 기초로 상기 콘텐츠에 애니메이션을 적용하는 단계를 포함할 수 있다.Playing the content may include adjusting a size of the content based on the size value and applying an animation to the content based on the motion value.

상기 콘텐츠의 재생을 위한 정보를 획득하는 단계는 상기 콘텐츠의 배치 위치를 획득하는 단계; 사물 인식을 수행하여 상기 공간 상의 사물의 크기를 획득하는 단계; 공간 인식을 수행하여 상기 콘텐츠와 상기 인식된 사물 사이의 거리를 획득하는 단계; 및 상기 카메라의 각도를 획득하는 단계를 포함할 수 있다.Acquiring the information for the reproduction of the content may include: obtaining an arrangement position of the content; acquiring the size of the object in the space by performing object recognition; performing spatial recognition to obtain a distance between the content and the recognized object; and obtaining the angle of the camera.

상기 콘텐츠는 증강 현실 캐릭터를 포함할 수 있다.The content may include augmented reality characters.

일 측에 따른 서비스 서버의 동작 방법은 단말의 카메라를 통해 촬영된 공간 상에 콘텐츠가 배치된 경우, 상기 단말로부터 상기 콘텐츠의 재생을 위한 정보를 수신하는 단계; 상기 수신된 정보를 기초로 콘텐츠 재생 정보를 결정하는 단계; 및 상기 결정된 콘텐츠 재생 정보를 상기 단말로 전송하는 단계를 포함할 수 있다.The method of operating a service server according to one side includes: receiving information for reproduction of the content from the terminal when the content is arranged on a space photographed through a camera of the terminal; determining content reproduction information based on the received information; and transmitting the determined content reproduction information to the terminal.

상기 콘텐츠의 재생을 위한 정보는 상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함할 수 있다.The information for the reproduction of the content includes identification information of the content, space recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a user's viewing angle may include at least one of

상기 콘텐츠 재생 정보를 결정하는 단계는 상기 공간 인식 정보, 상기 사물 인식 정보, 상기 배치 위치, 및 상기 시청 각도 중 적어도 하나를 기초로 상기 콘텐츠의 크기값과 동작값을 계산하는 단계를 포함할 수 있다.The determining of the content reproduction information may include calculating a size value and an operation value of the content based on at least one of the spatial recognition information, the object recognition information, the arrangement position, and the viewing angle. .

상기 콘텐츠는 증강 현실 캐릭터를 포함할 수 있다.The content may include augmented reality characters.

일 측에 따른 단말은 카메라; 통신부; 및 상기 카메라를 통해 촬영된 공간 상에 콘텐츠를 배치하고, 상기 콘텐츠가 배치된 경우, 상기 콘텐츠의 재생을 위한 정보를 획득하며, 상기 획득된 정보를 상기 통신부를 통해 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 획득된 정보에 기반하여 결정된 콘텐츠 재생 정보를 상기 통신부를 통해 수신하고, 상기 수신된 콘텐츠 재생 정보를 기초로 상기 콘텐츠를 재생하는 컨트롤러를 포함한다.The terminal according to one side is a camera; communication department; and arranging content on a space photographed by the camera, acquiring information for reproducing the content when the content is arranged, transmitting the obtained information to a service server through the communication unit, and providing the service and a controller that receives content reproduction information determined based on the obtained information from a server through the communication unit, and reproduces the content based on the received content reproduction information.

상기 콘텐츠의 재생을 위한 정보는 상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함할 수 있다.The information for the reproduction of the content includes identification information of the content, space recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a user's viewing angle may include at least one of

상기 수신된 콘텐츠 재생 정보는 상기 콘텐츠의 크기값과 동작값을 포함할 수 있다. The received content reproduction information may include a size value and an operation value of the content.

상기 크기값과 상기 동작값은 상기 콘텐츠의 재생을 위한 정보를 기초로 계산될 수 있다.The size value and the operation value may be calculated based on information for reproduction of the content.

상기 크기값과 상기 동작값은 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 이용하여 계산될 수 있다.The size value and the operation value are obtained by using at least one of spatial recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user. can be calculated.

상기 컨트롤러는 상기 크기값을 기초로 상기 콘텐츠의 크기를 조정하고, 상기 동작값을 기초로 상기 콘텐츠에 애니메이션을 적용할 수 있다.The controller may adjust the size of the content based on the size value and apply animation to the content based on the operation value.

상기 콘텐츠가 배치되었을 때 상기 컨트롤러는 상기 콘텐츠의 배치 위치를 획득하고, 사물 인식을 수행하여 상기 공간 상의 사물의 크기를 획득하며, 공간 인식을 수행하여 상기 콘텐츠와 상기 인식된 사물 사이의 거리를 획득하고, 상기 카메라의 각도를 획득할 수 있다.When the content is placed, the controller obtains the arrangement position of the content, performs object recognition to obtain the size of the object in the space, and performs spatial recognition to obtain a distance between the content and the recognized object and obtain the angle of the camera.

상기 콘텐츠는 증강 현실 캐릭터를 포함할 수 있다.The content may include augmented reality characters.

일 측에 따른 서비스 서버는 통신부; 및 단말의 카메라를 통해 촬영된 공간 상에 콘텐츠가 배치된 경우, 상기 단말로부터 상기 콘텐츠의 재생을 위한 정보를 상기 통신부를 통해 수신하고, 상기 수신된 정보를 기초로 콘텐츠 재생 정보를 결정하며, 상기 결정된 콘텐츠 재생 정보를 상기 통신부를 통해 상기 단말로 전송하는 컨트롤러를 포함한다. A service server according to one side includes a communication unit; and when the content is arranged in a space photographed by the camera of the terminal, information for reproduction of the content is received from the terminal through the communication unit, and content reproduction information is determined based on the received information, and a controller for transmitting the determined content reproduction information to the terminal through the communication unit.

상기 콘텐츠의 재생을 위한 정보는 상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함할 수 있다.The information for the reproduction of the content includes identification information of the content, space recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a user's viewing angle may include at least one of

상기 컨트롤러는 상기 공간 인식 정보, 상기 사물 인식 정보, 상기 배치 위치, 및 상기 시청 각도 중 적어도 하나를 기초로 상기 콘텐츠의 크기값과 동작값을 계산할 수 있다.The controller may calculate a size value and an operation value of the content based on at least one of the spatial recognition information, the object recognition information, the arrangement position, and the viewing angle.

상기 콘텐츠는 증강 현실 캐릭터를 포함할 수 있다.The content may include augmented reality characters.

실시예들은 단순한 3D 캐릭터 움직임이 아니라 현실에 맞춘 캐릭터 재생이 가능하다.In the embodiments, it is possible to reproduce a character according to reality rather than a simple 3D character movement.

도 1은 일 실시예에 따른 콘텐츠 재생 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 콘텐츠 재생 시스템의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 단말을 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 서비스 서버를 설명하기 위한 블록도이다.
도 5는 일 실시예에 따른 단말의 콘텐츠 재생 방법을 설명하기 위한 순서도이다.
도 6은 일 실시예에 따른 서비스 서버의 동작 방법을 설명하기 위한 블록도이다.
1 is a diagram for explaining a content reproduction system according to an embodiment.
2 is a flowchart illustrating an operation of a content reproduction system according to an exemplary embodiment.
3 is a block diagram illustrating a terminal according to an embodiment.
4 is a block diagram illustrating a service server according to an embodiment.
5 is a flowchart illustrating a method for reproducing content in a terminal according to an embodiment.
6 is a block diagram illustrating a method of operating a service server according to an exemplary embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for description purposes only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It will be understood that may also be "connected", "coupled" or "connected".

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having a common function will be described using the same names in other embodiments. Unless otherwise stated, a description described in one embodiment may be applied to another embodiment, and a detailed description in the overlapping range will be omitted.

도 1은 일 실시예에 따른 콘텐츠 재생 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a content reproduction system according to an embodiment.

도 1을 참조하면, 일 실시예에 따른 콘텐츠 재생 시스템(100)은 단말(110), 서비스 서버(120), 및 콘텐츠 서버(130)를 포함한다. 콘텐츠 재생 시스템(100)은 증강 현실 콘텐츠를 재생할 수 있으므로, 증강 현실 콘텐츠 재생 시스템으로 달리 표현될 수 있다.Referring to FIG. 1 , a content reproduction system 100 according to an embodiment includes a terminal 110 , a service server 120 , and a content server 130 . Since the content reproduction system 100 may reproduce augmented reality content, it may be expressed differently as an augmented reality content reproduction system.

단말(110)은 이동 단말(예를 들어, 스마트폰, 태블릿 PC 등)에 해당할 수 있다.The terminal 110 may correspond to a mobile terminal (eg, a smart phone, a tablet PC, etc.).

단말(110)은 증강 현실 구현을 위한 어플리케이션을 실행할 수 있다. The terminal 110 may execute an application for realizing augmented reality.

사용자는 단말(110)에서 여러 증강 현실 콘텐츠들(예를 들어, 증강 현실 캐릭터들) 중에서 하나를 선택할 수 있다.The user may select one of several augmented reality contents (eg, augmented reality characters) in the terminal 110 .

단말(110)은 사용자에 의해 선택된 증강 현실 콘텐츠를 카메라를 통해 촬영된 공간 상에 배치할 수 있고, 해당 증강 현실 콘텐츠가 배치된 경우 해당 증강 현실 콘텐츠의 재생을 위한 정보를 획득할 수 있다. 증강 현실 콘텐츠의 재생을 위한 정보는, 예를 들어, 증강 현실 콘텐츠의 식별 정보, 공간 인식 정보, 사물 인식 정보, 증강 현실 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함할 수 있으나 이에 제한되지 않는다. 증강 현실 콘텐츠의 재생을 위한 정보에 대해선 도 2를 통해 자세히 설명한다. 단말(110)은 증강 현실 콘텐츠의 재생을 위한 정보를 서비스 서버(120)로 전송한다. The terminal 110 may arrange the augmented reality content selected by the user on a space photographed through the camera, and when the augmented reality content is arranged, information for reproducing the augmented reality content may be obtained. The information for the reproduction of the augmented reality content may include, for example, at least one of identification information of the augmented reality content, spatial recognition information, object recognition information, an arrangement position of the augmented reality content, and a viewing angle of the user. not limited Information for the reproduction of augmented reality content will be described in detail with reference to FIG. 2 . The terminal 110 transmits information for the reproduction of the augmented reality content to the service server 120 .

서비스 서버(120)는 단말(110)로부터 증강 현실 콘텐츠의 재생을 위한 정보를 수신하는 경우, 증강 현실 콘텐츠의 식별 정보를 콘텐츠 서버(130)로 전송할 수 있다.When the service server 120 receives the information for the reproduction of the augmented reality content from the terminal 110 , the service server 120 may transmit identification information of the augmented reality content to the content server 130 .

콘텐츠 서버(130)는 여러 증강 현실 콘텐츠들 각각의 콘텐츠 asset을 저장할 수 있다. 또한, 콘텐츠 서버(130)는 액션 별 속도값(또는 시간값)을 저장할 수 있다. 액션은, 예를 들어, 달리기, 뛰어넘기 등을 포함할 수 있으나 이에 제한되지 않는다. 일례로, 콘텐츠 서버(130)는 "달리기 액션의 속도값 1cm/s(또는 달리기 액션의 시간값 5초)"를 저장할 수 있다. 뛰어넘기 액션은 뛰어넘는 동작과 공중 동작을 포함할 수 있는데, 콘텐츠 서버(130)는 "뛰어넘는 동작의 속도값 1cm/s"와 "공중 동작의 속도값 1cm/s"을 저장할 수 있다. The content server 130 may store a content asset of each of several augmented reality content. Also, the content server 130 may store a speed value (or a time value) for each action. Actions may include, but are not limited to, running, jumping, and the like, for example. As an example, the content server 130 may store "a speed value of 1 cm/s of a running action (or a time value of 5 seconds of a running action)". The jumping action may include a jumping action and an aerial action, and the content server 130 may store "a speed value of the jumping action of 1 cm/s" and "a speed value of the aerial action of 1 cm/s".

콘텐츠 서버(130)는 서비스 서버(120)로부터 수신한 식별 정보에 해당하는 콘텐츠 asset을 서비스 서버(120)로 전송할 수 있다. 또한, 콘텐츠 서버(130)는 액션 별 속도값(또는 시간값)을 서비스 서버(120)로 전송할 수 있다. The content server 130 may transmit a content asset corresponding to the identification information received from the service server 120 to the service server 120 . Also, the content server 130 may transmit a speed value (or time value) for each action to the service server 120 .

서비스 서버(120)는 단말(110)로부터 수신한 정보 및 콘텐츠 서버(130)로부터 수신한 액션별 속도값을 통해 콘텐츠 재생 정보를 결정할 수 있다. 이에 대해선 도 2를 통해 자세히 설명한다.The service server 120 may determine the content reproduction information based on the information received from the terminal 110 and the speed value for each action received from the content server 130 . This will be described in detail with reference to FIG. 2 .

서비스 서버(120)는 콘텐츠 재생 정보를 단말(110)로 전송할 수 있다. The service server 120 may transmit content reproduction information to the terminal 110 .

단말(110)은 콘텐츠 재생 정보를 기초로 증강 현실 콘텐츠를 재생할 수 있다. 기존의 증강 현실 콘텐츠는 공간과 현실 인식 없이 화면 안에서 재생될 수 있다. 일례로, 기존의 증강 현실 캐릭터의 달리기 애니메이션이 5초이고 증강 현실 공간 상에 장애물이 있다고 하자. 이 경우, 증강 현실 캐릭터는 5초 동안 달리기 동작만 수행할 수 있다. 하지만, 일 실시예에 따르면, 증강 현실 캐릭터는 카메라를 통해 촬영 중인 공간에 맞게 재생될 수 있다. 이에 따라, 일 실시예에 따르면, 증강 현실 캐릭터는 장애물 앞까지 달리기 동작을 수행한 뒤 장애물을 뛰어넘는 동작을 수행할 수 있다.The terminal 110 may reproduce the augmented reality content based on the content reproduction information. Existing augmented reality content can be played on the screen without space and reality recognition. For example, suppose that the existing augmented reality character's running animation is 5 seconds and there is an obstacle in the augmented reality space. In this case, the augmented reality character can only perform a running motion for 5 seconds. However, according to an embodiment, the augmented reality character may be reproduced according to the space being photographed through the camera. Accordingly, according to an embodiment, the augmented reality character may perform a running motion to the front of the obstacle and then may perform an operation to jump over the obstacle.

도 2는 일 실시예에 따른 콘텐츠 재생 시스템의 동작을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an operation of a content reproduction system according to an exemplary embodiment.

도 2를 참조하면, 단말(110)은 사용자의 선택 입력에 따라 여러 증강 현실 콘텐츠들 중 하나를 선택할 수 있다(210). 이 때, 단말(110)은 선택된 증강 현실 콘텐츠의 식별 정보를 획득할 수 있다.Referring to FIG. 2 , the terminal 110 may select one of several augmented reality contents according to a user's selection input ( 210 ). In this case, the terminal 110 may obtain identification information of the selected augmented reality content.

단말(110)은 선택된 증강 현실 콘텐츠를 배치할 수 있다(211). 일례로, 단말(110)은 카메라를 통해 바닥을 인식할 수 있고, 바닥 인식 후 선택된 증강 현실 콘텐츠를 증강 현실 공간 상에 배치할 수 있다. 단계(211)을 다르게 표현하면, 사용자는 증강 현실 공간 상에서 증강 현실 콘텐츠를 배치하고 싶어하는 위치를 선택할 수 있고, 이러한 선택을 통해 단말(110)은 사용자가 증강 현실 콘텐츠를 배치하고자 하는 위치를 감지할 수 있다.The terminal 110 may arrange the selected augmented reality content ( 211 ). For example, the terminal 110 may recognize the floor through the camera, and after recognizing the floor, the selected augmented reality content may be disposed on the augmented reality space. If the step 211 is expressed differently, the user may select a location where the augmented reality content is to be placed on the augmented reality space, and through this selection, the terminal 110 detects the location where the user wants to place the augmented reality content. can

단말(110)은 선택된 증강 현실 콘텐츠가 배치된 경우, 선택된 증강 현실 콘텐츠의 재생을 위한 정보를 획득할 수 있다(212). 일례로, 단말(110)은 선택된 증강 현실 콘텐츠가 배치된 경우, 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 해당 공간 상의 사물을 인식한 사물 인식 정보, 선택된 증강 현실 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 획득할 수 있다. 사물 인식 정보는, 예를 들어, 공간 상에 사물이 있는지 여부 및 사물의 크기를 포함할 수 있고, 공간 인식 정보는, 예를 들어, 바닥에 대한 정보, 선택된 증강 현실 콘텐츠와 사물 사이의 거리를 포함할 수 있다. 일례로, 단말(110)은 공간 인식을 수행함으로써 사물과 선택된 증강 현실 콘텐츠의 배치 위치 사이의 거리를 측정할 수 있다. 시청 각도는 사용자의 카메라 각도 또는 단말(110)의 카메라가 기울어진 각도로, 예를 들어, 단말(110)은 자이로 센서 또는 지자기 센서를 통해 사용자의 시청 각도를 획득할 수 있다.When the selected augmented reality content is arranged, the terminal 110 may acquire information for playing the selected augmented reality content ( 212 ). As an example, when the selected augmented reality content is arranged, the terminal 110 includes spatial recognition information for recognizing a space photographed through a camera, object recognition information for recognizing an object in the corresponding space, an arrangement position of the selected augmented reality content, and At least one of the viewing angles of the user may be acquired. The object recognition information may include, for example, whether there is an object in space and the size of the object, and the spatial recognition information may include, for example, information on the floor, the distance between the selected augmented reality content and the object. may include For example, the terminal 110 may measure the distance between the object and the arrangement position of the selected augmented reality content by performing spatial recognition. The viewing angle is a user's camera angle or an angle at which the camera of the terminal 110 is inclined, for example, the terminal 110 may obtain the user's viewing angle through a gyro sensor or a geomagnetic sensor.

단말(110)은 선택된 증강 현실 콘텐츠의 재생을 위한 정보를 서비스 서버(120)로 전송할 수 있다(213). 일례로, 단말(110)은 선택된 증강 현실 콘텐츠의 식별 정보, 공간 인식 정보, 사물 인식 정보, 선택된 증강 현실 콘텐츠의 배치 위치, 및 사용자의 시청 각도(또는 카메라 각도) 중 적어도 하나를 서비스 서버(120)로 전송할 수 있다.The terminal 110 may transmit information for playing the selected augmented reality content to the service server 120 ( 213 ). As an example, the terminal 110 transmits at least one of identification information of the selected augmented reality content, spatial recognition information, object recognition information, an arrangement position of the selected augmented reality content, and a user's viewing angle (or camera angle) to the service server 120 . ) can be transmitted.

서비스 서버(120)는 선택된 증강 현실 콘텐츠의 재생을 위한 정보를 단말(110)로부터 수신한 경우, 선택된 증강 현실 콘텐츠의 식별 정보를 콘텐츠 서버(130)로 전송할 수 있다(214).When the service server 120 receives the information for playing the selected augmented reality content from the terminal 110 , the service server 120 may transmit identification information of the selected augmented reality content to the content server 130 ( 214 ).

콘텐츠 서버(130)는 선택된 증강 현실 콘텐츠의 식별 정보를 서비스 서버(120)로부터 수신한 경우, 해당 식별 정보의 콘텐츠 asset과 액션별 속도값을 서비스 서버(120)로 전송할 수 있다(215). 일례로, 콘텐츠 서버(130)는 선택된 증강 현실 콘텐츠의 식별 정보가 "ID_A"인 경우, "ID_A"에 해당하는 콘텐츠 asset을 서비스 서버(120)로 전송할 수 있다. 또한, 콘텐츠 서버(130)는 "ID_A"에 맵핑되어 있는 액션 별 속도값을 서비스 서버(120)로 전송할 수 있다. 달리기 액션의 속도값과 뛰어넘기 액션의 속도값이 "ID_A"에 맵핑되어 있으면, 콘텐츠 서버(130)는 달리기 액션의 속도값과 뛰어넘기 액션의 속도값을 서비스 서버(120)로 전송할 수 있다. 뛰어넘기 액션의 속도값은, 예를 들어, 뛰어넘는 동작의 속도값과 공중동작의 속도값을 포함할 수 있다.When the identification information of the selected augmented reality content is received from the service server 120 , the content server 130 may transmit the content asset of the corresponding identification information and the speed value for each action to the service server 120 ( 215 ). For example, when identification information of the selected augmented reality content is “ID_A”, the content server 130 may transmit a content asset corresponding to “ID_A” to the service server 120 . Also, the content server 130 may transmit a speed value for each action mapped to “ID_A” to the service server 120 . If the speed value of the running action and the speed value of the jumping action are mapped to "ID_A", the content server 130 may transmit the speed value of the running action and the speed value of the jumping action to the service server 120 . The speed value of the jumping action may include, for example, a speed value of the jumping action and a speed value of the aerial action.

서비스 서버(120)는 콘텐츠 재생 정보를 결정할 수 있다(216). 일 실시예에 있어서, 서비스 서버(120)는 단말(110)로부터 수신한 사물 인식 정보를 통해 사물의 크기를 확인할 수 있고 단말(110)로부터 수신한 공간 인식 정보를 통해 공간 상의 사물과 선택된 증강 현실 콘텐츠 사이의 거리를 확인할 수 있다. 서비스 서버(120)는 선택된 증강 현실 콘텐츠가 인식된 사물에 방해받지 않는 액션을 수행 또는 해당 사물을 활용하는 액션을 수행하도록 해당 증강 현실 콘텐츠의 크기값과 애니메이션의 시간값을 계산할 수 있다.The service server 120 may determine content reproduction information ( 216 ). In one embodiment, the service server 120 may check the size of the object through the object recognition information received from the terminal 110 and the object in space and the selected augmented reality through the spatial recognition information received from the terminal 110 . You can check the distance between the contents. The service server 120 may calculate the size value of the augmented reality content and the time value of the animation so that the selected augmented reality content performs an action that is not disturbed by the recognized object or performs an action using the object.

일례로, 사용자에 의해 선택된 증강 현실 캐릭터의 가로 길이, 세로 길이, 및 높이 각각이 1cm이고 해당 증강 현실 캐릭터의 달리기 액션의 속도값, 해당 증강 현실 캐릭터의 뛰어넘는 동작의 속도값, 및 해당 증강 현실 캐릭터의 공중동작의 속도값 각각이 1cm/s라 하자. 또한, 단말(110)은 공간 상에 위치한 컵의 높이를 1cm로 인식하고 해당 컵과 증강 현실 캐릭터 사이의 거리를 30cm로 인식한다고 하자. 서비스 서버(120)는 선택된 증강 현실 캐릭터의 크기를 조정하기 위한 크기값을 컵의 높이를 고려하여 계산할 수 있다. 위에서 설명한 예에서, 컵의 높이와 선택된 증강 현실 캐릭터의 높이가 서로 동일하므로, 서비스 서버(120)는 선택된 증강 현실 캐릭터의 크기값을 1로 계산할 수 있다. 다시 말해, 서비스 서버(120)는 선택된 증강 현실 캐릭터의 크기를 유지하기로 결정할 수 있다. 구현에 따라, 서비스 서버(120)는 사용자의 시청 각도를 고려하여 크기값을 크게 또는 작게 조정할 수 있다. 만약, 컵의 높이가 1.5cm이면, 서비스 서버(120)는 선택된 증강 현실 캐릭터의 크기를 조정하기 위한 크기값을 1.5로 계산할 수 있다. 달리 표현하면, 서비스 서버(120)는 선택된 증강 현실 캐릭터의 크기(또는 높이)가 1.5배가 되도록 크기값을 계산할 수 있다. 서비스 서버(120)는 선택된 증강 현실 캐릭터와 컵 사이의 거리가 30cm이고 선택된 증강 현실 캐릭터의 달리기 액션의 속도값이 1cm/s이므로, 선택된 증강 현실 캐릭터의 달리기 애니메이션을 30초로 계산할 수 있다. 또한, 서비스 서버(120)는 선택된 증강 현실 캐릭터의 뛰어넘는 동작의 애니메이션과 공중동작의 애니메이션 각각을 1초로 계산할 수 있다. 구현에 따라, 서비스 서버(120)는 사용자의 시청 각도를 고려하여 애니메이션의 시간값을 크게 또는 작게 조정할 수 있다.As an example, each of the horizontal length, vertical length, and height of the augmented reality character selected by the user is 1 cm, and the speed value of the running action of the augmented reality character, the speed value of the jumping motion of the augmented reality character, and the corresponding augmented reality Let's assume that each speed value of the character's air movement is 1 cm/s. Also, suppose that the terminal 110 recognizes the height of the cup positioned in space as 1 cm and the distance between the cup and the augmented reality character as 30 cm. The service server 120 may calculate a size value for adjusting the size of the selected augmented reality character in consideration of the height of the cup. In the example described above, since the height of the cup and the height of the selected augmented reality character are the same, the service server 120 may calculate the size value of the selected augmented reality character as 1. In other words, the service server 120 may decide to keep the size of the selected augmented reality character. Depending on the implementation, the service server 120 may increase or decrease the size value in consideration of the user's viewing angle. If the height of the cup is 1.5 cm, the service server 120 may calculate a size value for adjusting the size of the selected augmented reality character as 1.5. In other words, the service server 120 may calculate the size value so that the size (or height) of the selected augmented reality character is 1.5 times. Since the distance between the selected augmented reality character and the cup is 30 cm and the speed value of the running action of the selected augmented reality character is 1 cm/s, the service server 120 may calculate the running animation of the selected augmented reality character as 30 seconds. In addition, the service server 120 may calculate each of the animation of the jumping motion and the animation of the aerial motion of the selected augmented reality character as 1 second. Depending on the implementation, the service server 120 may increase or decrease the time value of the animation in consideration of the user's viewing angle.

서비스 서버(120)는 결정된 콘텐츠 재생 정보를 단말(110)로 전송할 수 있다(217). 일례로, 서비스 서버(120)는 선택된 증강 현실 콘텐츠의 크기값과 선택된 증강 현실 콘텐츠의 애니메이션의 시간값을 단말(110)로 전송할 수 있다. 위에서 설명한 예에서, 서비스 서버(120)는 선택된 증강 현실 캐릭터의 크기값 1, 달리기 애니메이션의 시간값 30초, 뛰어넘는 동작의 애니메이션의 시간값 1초, 및 공중동작의 애니메이션의 시간값 1초를 단말(110)로 전송할 수 있다. The service server 120 may transmit the determined content reproduction information to the terminal 110 ( 217 ). For example, the service server 120 may transmit the size value of the selected augmented reality content and the time value of the animation of the selected augmented reality content to the terminal 110 . In the example described above, the service server 120 determines the size value of the selected augmented reality character of 1, the running animation time value of 30 seconds, the jumping motion animation time value of 1 second, and the aerial motion animation time value of 1 second. It can be transmitted to the terminal 110 .

단말(110)은 선택된 증강 현실 콘텐츠를 서비스 서버(120)로부터 수신한 콘텐츠 재생 정보를 반영하여 재생할 수 있다. 위에서 설명한 예에서, 단말(110)은 증강 현실 공간 상에서 증강 현실 캐릭터가 컵까지 30초 동안 달리기 하게 끔 재생할 수 있고 해당 증강 현실 콘텐츠가 컵을 뛰어넘게 끔 재생할 수 있다. 이에 따라, 현실 인식에 맞게 증강 현실 콘텐츠가 재생될 수 있다.The terminal 110 may reproduce the selected augmented reality content by reflecting the content reproduction information received from the service server 120 . In the example described above, the terminal 110 may play the augmented reality character running to the cup for 30 seconds in the augmented reality space, and may play the augmented reality content to jump over the cup. Accordingly, augmented reality content may be reproduced according to reality recognition.

실시예에 따르면, 상술한 선택된 증강 현실 콘텐츠는 단말(110)에 저장되어 있거나 단말(110)이 서비스 서버(120)로 요청할 때 서비스 서버(120)에서 단말(110)로 전송될 수 있다. 선택된 증강 현실 콘텐츠가 단말(110)에 저장된 케이스의 경우, 단말(110)은 서비스 서버(120)로부터 증강 현실 콘텐츠의 크기값과 애니메이션의 시간값을 수신함으로써 해당 증강 현실 콘텐츠를 재생할 수 있다. 이와 다른 구현으로, 단말(110)은 선택된 증강 현실 콘텐츠, 선택된 증강 현실 콘텐츠의 크기값, 및 선택된 증강 현실 콘텐츠의 애니메이션의 시간값을 서비스 서버(120)로부터 수신함으로써 해당 증강 현실 콘텐츠를 재생할 수 있다.According to an embodiment, the above-described selected augmented reality content may be stored in the terminal 110 or transmitted from the service server 120 to the terminal 110 when the terminal 110 requests the service server 120 . In the case where the selected augmented reality content is stored in the terminal 110 , the terminal 110 may reproduce the corresponding augmented reality content by receiving the size value of the augmented reality content and the time value of the animation from the service server 120 . In another implementation, the terminal 110 may reproduce the corresponding augmented reality content by receiving the selected augmented reality content, the size value of the selected augmented reality content, and the time value of the animation of the selected augmented reality content from the service server 120 . .

도 3은 일 실시예에 따른 단말을 설명하기 위한 블록도이다.3 is a block diagram illustrating a terminal according to an embodiment.

도 3을 참조하면, 단말(110)은 카메라(310), 컨트롤러(320), 및 통신부(330)를 포함한다. Referring to FIG. 3 , the terminal 110 includes a camera 310 , a controller 320 , and a communication unit 330 .

도 3에 도시되지 않았으나, 단말(110)은 메모리를 더 포함할 수 있고 메모리는 증강 현실을 구현하는 어플리케이션을 저장할 수 있다.Although not shown in FIG. 3 , the terminal 110 may further include a memory, and the memory may store an application for implementing augmented reality.

컨트롤러(320)는 증강 현실을 구현하는 어플리케이션을 실행할 수 있다. The controller 320 may execute an application implementing augmented reality.

컨트롤러(320)는 증강 현실을 구현하는 어플리케이션을 실행하는 경우, 카메라(310)는 공간을 촬영할 수 있다.When the controller 320 executes an application implementing augmented reality, the camera 310 may photograph the space.

컨트롤러(320)는 사용자에게 다양한 콘텐츠를 보여줄 수 있다. 일례로, 컨트롤러(320)는 디스플레이에 다양한 증강 현실 캐릭터를 표시할 수 있다.The controller 320 may show various contents to the user. As an example, the controller 320 may display various augmented reality characters on the display.

사용자는 다양한 콘텐츠 중에서 하나를 선택할 수 있고 선택된 콘텐츠를 증강 현실 공간 상에 배치할 것을 단말(110)에 입력할 수 있다.The user may select one of various contents and may input to the terminal 110 to arrange the selected contents on the augmented reality space.

컨트롤러(320)는 증강 현실 공간(또는 카메라(310)를 통해 촬영된 공간) 상에 콘텐츠(예를 들어, 증강 현실 콘텐츠)를 배치할 수 있다. 달리 표현하면, 컨트롤러(320)는 증강 현실 공간 상에 사용자가 콘텐츠를 배치하고자 하는 위치를 감지할 수 있다. The controller 320 may place content (eg, augmented reality content) on an augmented reality space (or a space captured through the camera 310 ). In other words, the controller 320 may detect a location where the user intends to place the content on the augmented reality space.

컨트롤러(320)는 콘텐츠가 배치된 경우, 콘텐츠의 재생을 위한 정보를 획득한다. 콘텐츠의 재생을 위한 정보는, 예를 들어, 해당 콘텐츠의 식별 정보, 컨트롤러(320)가 카메라(310)를 통해 촬영한 공간을 인식한 공간 인식 정보, 컨트롤러(320)가 공간 상의 사물을 인식한 사물 인식 정보, 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함할 수 있다.When the content is arranged, the controller 320 acquires information for content reproduction. Information for content reproduction includes, for example, identification information of the corresponding content, space recognition information that the controller 320 recognizes a space photographed through the camera 310, and information that the controller 320 recognizes an object in space. It may include at least one of object recognition information, a content arrangement position, and a user's viewing angle.

컨트롤러(320)는 획득된 정보를 통신부(330)를 통해 서비스 서버(120)로 전송한다.The controller 320 transmits the obtained information to the service server 120 through the communication unit 330 .

컨트롤러(320)는 서비스 서버(120)로부터 획득된 정보에 기반하여 결정된 콘텐츠 재생 정보를 통신부(330)를 통해 수신한다. 콘텐츠 재생 정보는, 예를 들어, 콘텐츠의 크기값과 동작값을 포함할 수 있다. 여기서, 콘텐츠의 크기값은 콘텐츠의 크기를 조정 또는 유지하기 위한 값을 나타낼 수 있고 동작값은 콘텐츠를 재생하는 시간값에 해당할 수 있다. 동작값은 상술한 애니메이션의 시간값에 해당할 수 있다. The controller 320 receives the content reproduction information determined based on the information obtained from the service server 120 through the communication unit 330 . The content reproduction information may include, for example, a size value and an operation value of the content. Here, the size value of the content may indicate a value for adjusting or maintaining the size of the content, and the operation value may correspond to a time value for reproducing the content. The motion value may correspond to the time value of the above-described animation.

컨트롤러(320)는 수신된 콘텐츠 재생 정보를 기초로 콘텐츠를 재생한다. 일례로, 컨트롤러(320)는 크기값을 기초로 콘텐츠의 크기를 조정 또는 유지할 수 있고 동작값을 기초로 콘텐츠에 애니메이션을 적용할 수 있다.The controller 320 reproduces content based on the received content reproduction information. For example, the controller 320 may adjust or maintain the size of the content based on the size value and apply animation to the content based on the motion value.

도 1 내지 도 2를 통해 기술된 사항들은 도 3을 통해 기술된 사항들에 적용될 수 있으므로 상세한 설명을 생략한다.Since the details described with reference to FIGS. 1 and 2 may be applied to the matters described with reference to FIG. 3 , a detailed description thereof will be omitted.

도 4는 일 실시예에 따른 서비스 서버를 설명하기 위한 블록도이다.4 is a block diagram illustrating a service server according to an embodiment.

도 4를 참조하면, 서비스 서버(120)는 통신부(410) 및 컨트롤러(420)를 포함한다.Referring to FIG. 4 , the service server 120 includes a communication unit 410 and a controller 420 .

컨트롤러(420)는 단말(110)의 카메라(410)를 통해 촬영된 공간 상에 콘텐츠가 배치된 경우, 단말(110)로부터 콘텐츠의 재생을 위한 정보를 통신부(410)를 통해 수신한다.When the content is placed on the space photographed by the camera 410 of the terminal 110 , the controller 420 receives information for reproducing the content from the terminal 110 through the communication unit 410 .

컨트롤러(420)는 수신된 정보를 기초로 콘텐츠 재생 정보를 결정한다.The controller 420 determines content reproduction information based on the received information.

컨트롤러(420)는 결정된 콘텐츠 재생 정보를 통신부(410)를 통해 단말(110)로 전송한다.The controller 420 transmits the determined content reproduction information to the terminal 110 through the communication unit 410 .

도 1 내지 도 3을 통해 기술된 사항들은 도 4를 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.Since the matters described with reference to FIGS. 1 to 3 may be applied to the matters described with reference to FIG. 4 , a detailed description thereof will be omitted.

도 5는 일 실시예에 따른 단말의 콘텐츠 재생 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a method for reproducing content in a terminal according to an embodiment.

도 5를 참조하면, 단말(110)은 카메라(410)를 통해 촬영된 공간 상에 콘텐츠를 배치한다(510).Referring to FIG. 5 , the terminal 110 arranges the content on the space photographed by the camera 410 ( 510 ).

단말(110)은 콘텐츠가 배치된 경우, 콘텐츠의 재생을 위한 정보를 획득한다(520).When the content is arranged, the terminal 110 acquires information for content reproduction ( 520 ).

단말(110)은 획득된 정보를 서비스 서버(120)로 전송한다(530).The terminal 110 transmits the obtained information to the service server 120 (530).

단말(110)은 획득된 정보에 기반하여 결정된 콘텐츠 재생 정보를 서비스 서버(120)로부터 수신한다(540).The terminal 110 receives the content reproduction information determined based on the obtained information from the service server 120 (540).

단말(110)은 수신된 콘텐츠 재생 정보를 기초로 콘텐츠를 재생한다(550).The terminal 110 reproduces content based on the received content reproduction information ( 550 ).

도 1 내지 도 4를 통해 기술된 사항들은 도 5를 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.Since the matters described with reference to FIGS. 1 to 4 may be applied to the matters described with reference to FIG. 5 , a detailed description thereof will be omitted.

도 6은 일 실시예에 따른 서비스 서버의 동작 방법을 설명하기 위한 블록도이다.6 is a block diagram illustrating a method of operating a service server according to an exemplary embodiment.

도 6을 참조하면, 서비스 서버(120)는 단말(110)의 카메라(410)를 통해 촬영된 공간 상에 콘텐츠가 배치된 경우, 단말(110)로부터 콘텐츠의 재생을 위한 정보를 수신한다(610).Referring to FIG. 6 , the service server 120 receives information for content reproduction from the terminal 110 when the content is placed in a space photographed through the camera 410 of the terminal 110 (610). ).

서비스 서버(120)는 수신된 정보를 기초로 콘텐츠 재생 정보를 결정한다(620).The service server 120 determines content reproduction information based on the received information ( 620 ).

서비스 서버(120)는 결정된 콘텐츠 재생 정보를 단말(110)로 전송한다(630).The service server 120 transmits the determined content reproduction information to the terminal 110 ( 630 ).

도 1 내지 도 5를 통해 기술된 사항들은 도 6을 통해 기술된 사항들에 적용될 수 있으므로, 상세한 설명을 생략한다.Since the matters described with reference to FIGS. 1 to 5 may be applied to the matters described with reference to FIG. 6 , a detailed description thereof will be omitted.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more of these, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (22)

단말의 콘텐츠 재생 방법에 있어서,
카메라를 통해 촬영된 공간 상에 콘텐츠를 배치하는 단계;
상기 콘텐츠가 배치된 경우, 상기 콘텐츠의 재생을 위한 정보를 획득하는 단계;
상기 획득된 정보를 서비스 서버로 전송하는 단계;
상기 서비스 서버로부터 상기 획득된 정보에 기반하여 결정된 콘텐츠 재생 정보를 수신하는 단계; 및
상기 수신된 콘텐츠 재생 정보를 기초로 상기 콘텐츠를 재생하는 단계
를 포함하는,
단말의 콘텐츠 재생 방법.
In the content playback method of the terminal,
arranging content on a space photographed through a camera;
obtaining information for reproducing the content when the content is arranged;
transmitting the obtained information to a service server;
receiving content reproduction information determined based on the obtained information from the service server; and
reproducing the content based on the received content reproduction information
containing,
How to play content in a terminal.
제1항에 있어서,
상기 콘텐츠의 재생을 위한 정보는,
상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함하는,
단말의 콘텐츠 재생 방법.
According to claim 1,
Information for the reproduction of the content,
Including at least one of identification information of the content, spatial recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user,
How to play content in a terminal.
제1항에 있어서,
상기 수신된 콘텐츠 재생 정보는 상기 콘텐츠의 크기값과 동작값을 포함하고,
상기 크기값과 상기 동작값은 상기 콘텐츠의 재생을 위한 정보를 기초로 계산되는,
단말의 콘텐츠 재생 방법.
According to claim 1,
The received content reproduction information includes a size value and an operation value of the content,
The size value and the operation value are calculated based on information for reproduction of the content,
How to play content in a terminal.
제3항에 있어서,
상기 크기값과 상기 동작값은 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 이용하여 계산되는,
단말의 콘텐츠 재생 방법.
4. The method of claim 3,
The size value and the operation value are obtained by using at least one of spatial recognition information for recognizing a space photographed by the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user. calculated,
How to play content in a terminal.
제1항에 있어서,
상기 수신된 콘텐츠 재생 정보는 상기 콘텐츠의 크기값 및 동작값을 포함하고,
상기 콘텐츠를 재생하는 단계는,
상기 크기값을 기초로 상기 콘텐츠의 크기를 조정하고, 상기 동작값을 기초로 상기 콘텐츠에 애니메이션을 적용하는 단계
를 포함하는,
단말의 콘텐츠 재생 방법.
According to claim 1,
The received content reproduction information includes a size value and an operation value of the content,
Playing the content includes:
adjusting the size of the content based on the size value and applying animation to the content based on the motion value
containing,
How to play content in a terminal.
제1항에 있어서,
상기 콘텐츠의 재생을 위한 정보를 획득하는 단계는,
상기 콘텐츠의 배치 위치를 획득하는 단계;
사물 인식을 수행하여 상기 공간 상의 사물의 크기를 획득하는 단계;
공간 인식을 수행하여 상기 콘텐츠와 상기 인식된 사물 사이의 거리를 획득하는 단계; 및
상기 카메라의 각도를 획득하는 단계
를 포함하는,
단말의 콘텐츠 재생 방법.
According to claim 1,
The step of obtaining information for the reproduction of the content comprises:
obtaining a placement position of the content;
acquiring the size of the object in the space by performing object recognition;
performing spatial recognition to obtain a distance between the content and the recognized object; and
obtaining the angle of the camera
containing,
How to play content in a terminal.
제1항에 있어서,
상기 콘텐츠는 증강 현실 캐릭터를 포함하는,
단말의 콘텐츠 재생 방법.
According to claim 1,
The content includes augmented reality characters,
How to play content in a terminal.
서비스 서버의 동작 방법에 있어서,
단말의 카메라를 통해 촬영된 공간 상에 콘텐츠가 배치된 경우, 상기 단말로부터 상기 콘텐츠의 재생을 위한 정보를 수신하는 단계;
상기 수신된 정보를 기초로 콘텐츠 재생 정보를 결정하는 단계; 및
상기 결정된 콘텐츠 재생 정보를 상기 단말로 전송하는 단계
를 포함하는,
서비스 서버의 동작 방법.
In the operating method of the service server,
receiving information for reproducing the content from the terminal when the content is arranged in a space photographed by the camera of the terminal;
determining content reproduction information based on the received information; and
transmitting the determined content reproduction information to the terminal
containing,
How the service server works.
제8항에 있어서,
상기 콘텐츠의 재생을 위한 정보는,
상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함하는,
서비스 서버의 동작 방법.
9. The method of claim 8,
Information for the reproduction of the content,
Including at least one of identification information of the content, spatial recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user,
How the service server works.
제9항에 있어서,
상기 콘텐츠 재생 정보를 결정하는 단계는,
상기 공간 인식 정보, 상기 사물 인식 정보, 상기 배치 위치, 및 상기 시청 각도 중 적어도 하나를 기초로 상기 콘텐츠의 크기값과 동작값을 계산하는 단계
를 포함하는,
서비스 서버의 동작 방법.
10. The method of claim 9,
The step of determining the content reproduction information includes:
calculating a size value and an operation value of the content based on at least one of the spatial recognition information, the object recognition information, the arrangement position, and the viewing angle;
containing,
How the service server works.
제8항에 있어서,
상기 콘텐츠는 증강 현실 캐릭터를 포함하는,
서비스 서버의 동작 방법.
9. The method of claim 8,
The content includes augmented reality characters,
How the service server works.
단말에 있어서,
카메라;
통신부; 및
상기 카메라를 통해 촬영된 공간 상에 콘텐츠를 배치하고, 상기 콘텐츠가 배치된 경우, 상기 콘텐츠의 재생을 위한 정보를 획득하며, 상기 획득된 정보를 상기 통신부를 통해 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 획득된 정보에 기반하여 결정된 콘텐츠 재생 정보를 상기 통신부를 통해 수신하고, 상기 수신된 콘텐츠 재생 정보를 기초로 상기 콘텐츠를 재생하는 컨트롤러
를 포함하는,
단말.
In the terminal,
camera;
communication department; and
The content is arranged in a space photographed by the camera, and when the content is arranged, information for reproduction of the content is obtained, and the obtained information is transmitted to a service server through the communication unit, and the service server A controller that receives content reproduction information determined based on the obtained information from the communication unit, and reproduces the content based on the received content reproduction information
containing,
terminal.
제12항에 있어서,
상기 콘텐츠의 재생을 위한 정보는,
상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함하는,
단말.
13. The method of claim 12,
Information for the reproduction of the content,
Including at least one of identification information of the content, spatial recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user,
terminal.
제12항에 있어서,
상기 수신된 콘텐츠 재생 정보는 상기 콘텐츠의 크기값과 동작값을 포함하고,
상기 크기값과 상기 동작값은 상기 콘텐츠의 재생을 위한 정보를 기초로 계산되는,
단말.
13. The method of claim 12,
The received content reproduction information includes a size value and an operation value of the content,
The size value and the operation value are calculated based on information for reproduction of the content,
terminal.
제14항에 있어서,
상기 크기값과 상기 동작값은 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 이용하여 계산되는,
단말.
15. The method of claim 14,
The size value and the operation value are obtained by using at least one of spatial recognition information for recognizing a space photographed by the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user. calculated,
terminal.
제12항에 있어서,
상기 수신된 콘텐츠 재생 정보는 상기 콘텐츠의 크기값 및 동작값을 포함하고,
상기 컨트롤러는,
상기 크기값을 기초로 상기 콘텐츠의 크기를 조정하고, 상기 동작값을 기초로 상기 콘텐츠에 애니메이션을 적용하는,
단말.
13. The method of claim 12,
The received content reproduction information includes a size value and an operation value of the content,
The controller is
Adjusting the size of the content based on the size value, and applying an animation to the content based on the motion value,
terminal.
제12항에 있어서,
상기 콘텐츠가 배치되었을 때 상기 컨트롤러는,
상기 콘텐츠의 배치 위치를 획득하고, 사물 인식을 수행하여 상기 공간 상의 사물의 크기를 획득하고, 공간 인식을 수행하여 상기 콘텐츠와 상기 인식된 사물 사이의 거리를 획득하고, 상기 카메라의 각도를 획득하는,
단말.
13. The method of claim 12,
When the content is placed, the controller,
Obtaining the arrangement position of the content, performing object recognition to obtain the size of an object in the space, performing spatial recognition to obtain a distance between the content and the recognized object, and obtaining the angle of the camera ,
terminal.
제12항에 있어서,
상기 콘텐츠는 증강 현실 캐릭터를 포함하는,
단말.
13. The method of claim 12,
The content includes augmented reality characters,
terminal.
서비스 서버에 있어서,
통신부; 및
단말의 카메라를 통해 촬영된 공간 상에 콘텐츠가 배치된 경우, 상기 단말로부터 상기 콘텐츠의 재생을 위한 정보를 상기 통신부를 통해 수신하고, 상기 수신된 정보를 기초로 콘텐츠 재생 정보를 결정하며, 상기 결정된 콘텐츠 재생 정보를 상기 통신부를 통해 상기 단말로 전송하는 컨트롤러
를 포함하는,
서비스 서버.
In the service server,
communication department; and
When content is arranged in a space photographed by the camera of the terminal, information for reproduction of the content is received from the terminal through the communication unit, content reproduction information is determined based on the received information, and the determined A controller that transmits content reproduction information to the terminal through the communication unit
containing,
service server.
제19항에 있어서,
상기 콘텐츠의 재생을 위한 정보는,
상기 콘텐츠의 식별 정보, 상기 카메라를 통해 촬영한 공간을 인식한 공간 인식 정보, 상기 공간 상의 사물을 인식한 사물 인식 정보, 상기 콘텐츠의 배치 위치, 및 사용자의 시청 각도 중 적어도 하나를 포함하는,
서비스 서버.
20. The method of claim 19,
Information for the reproduction of the content,
Including at least one of identification information of the content, spatial recognition information for recognizing a space photographed through the camera, object recognition information for recognizing an object in the space, an arrangement position of the content, and a viewing angle of a user,
service server.
제20항에 있어서,
상기 컨트롤러는,
상기 공간 인식 정보, 상기 사물 인식 정보, 상기 배치 위치, 및 상기 시청 각도 중 적어도 하나를 기초로 상기 콘텐츠의 크기값과 동작값을 계산하는,
서비스 서버.
21. The method of claim 20,
The controller is
calculating a size value and an operation value of the content based on at least one of the spatial recognition information, the object recognition information, the arrangement position, and the viewing angle,
service server.
제19항에 있어서,
상기 콘텐츠는 증강 현실 캐릭터를 포함하는,
서비스 서버.
20. The method of claim 19,
The content includes augmented reality characters,
service server.
KR1020200056584A 2020-05-12 2020-05-12 Method and system of content playback using recognizing reality KR20210138357A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200056584A KR20210138357A (en) 2020-05-12 2020-05-12 Method and system of content playback using recognizing reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200056584A KR20210138357A (en) 2020-05-12 2020-05-12 Method and system of content playback using recognizing reality

Publications (1)

Publication Number Publication Date
KR20210138357A true KR20210138357A (en) 2021-11-19

Family

ID=78718117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200056584A KR20210138357A (en) 2020-05-12 2020-05-12 Method and system of content playback using recognizing reality

Country Status (1)

Country Link
KR (1) KR20210138357A (en)

Similar Documents

Publication Publication Date Title
US8984406B2 (en) Method and system for annotating video content
JP6932206B2 (en) Equipment and related methods for the presentation of spatial audio
US20150080072A1 (en) Karaoke and dance game
JP4859876B2 (en) Information processing device
JP6999516B2 (en) Information processing equipment
US20150117831A1 (en) Information processing device, information processing method, and program
KR20130056529A (en) Apparatus and method for providing augmented reality service in portable terminal
JP2020520576A5 (en)
KR20140078171A (en) A method for play a contents of augmented reality and a system for excuting the method
US11758217B2 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
KR20160013649A (en) Video display method and user terminal for creating subtitles based on ambient noise
KR102004884B1 (en) Method and apparatus for controlling animated image in an electronic device
US11086587B2 (en) Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
CN112288877A (en) Video playing method and device, electronic equipment and storage medium
CN114143568B (en) Method and device for determining augmented reality live image
KR20210138357A (en) Method and system of content playback using recognizing reality
KR102471792B1 (en) Cloud server for rendering ar contents and operaing method of thereof
KR101908068B1 (en) System for Authoring and Playing 360° VR Contents
KR20160141087A (en) Providing system and method of moving picture contents for based on augmented reality location of multimedia broadcast scene
KR101860215B1 (en) Content Display System and Method based on Projector Position
KR101572348B1 (en) Image data process method using interactive computing device and system thereof
KR20190122053A (en) object image tracking streaming system and method using the same
JP6975489B1 (en) Information processing system, information processing method and information processing program
TWI762830B (en) System for displaying hint in augmented reality to play continuing film and method thereof
KR102530644B1 (en) Infrared interactive projection system

Legal Events

Date Code Title Description
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment