KR20210046626A - Method for providing augmented reality service by cloud server, terminal and cloud server using the same - Google Patents

Method for providing augmented reality service by cloud server, terminal and cloud server using the same Download PDF

Info

Publication number
KR20210046626A
KR20210046626A KR1020210051109A KR20210051109A KR20210046626A KR 20210046626 A KR20210046626 A KR 20210046626A KR 1020210051109 A KR1020210051109 A KR 1020210051109A KR 20210051109 A KR20210051109 A KR 20210051109A KR 20210046626 A KR20210046626 A KR 20210046626A
Authority
KR
South Korea
Prior art keywords
virtual content
terminal
cloud server
augmented reality
unit
Prior art date
Application number
KR1020210051109A
Other languages
Korean (ko)
Inventor
최지희
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210051109A priority Critical patent/KR20210046626A/en
Publication of KR20210046626A publication Critical patent/KR20210046626A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

According to an embodiment of the present invention, a cloud server-based augmented reality service provision method may comprise the following steps of: receiving, by a cloud server, an augmented reality service request signal from a plurality of terminals; searching, by the cloud server, for virtual content based on real images and location information of the plurality of terminals included in the augmented reality service request signal; determining, by the cloud server, the location and direction of each terminal based on the real images and location information; matching, by the cloud server, the determined location and direction of each terminal with the searched virtual content; and transmitting, by the cloud server, the matched virtual content to each terminal.

Description

클라우드 서버 기반 증강현실 서비스 제공 방법, 이를 이용한 단말 및 클라우드 서버{METHOD FOR PROVIDING AUGMENTED REALITY SERVICE BY CLOUD SERVER, TERMINAL AND CLOUD SERVER USING THE SAME}A method of providing augmented reality service based on a cloud server, a terminal and a cloud server using it {METHOD FOR PROVIDING AUGMENTED REALITY SERVICE BY CLOUD SERVER, TERMINAL AND CLOUD SERVER USING THE SAME}

본 발명은 클라우드 서버 기반 증강현실 서비스 제공 방법, 이를 이용한 단말 및 클라우드 서버에 관한 것이다.The present invention relates to a cloud server-based augmented reality service providing method, a terminal and a cloud server using the same.

증강현실(AR: Augmented Reality)은 사용자가 보는 현실세계에 가상 영상을 겹쳐 보여주는 기술로서, 현실세계에 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality (AR) is a technology that superimposes a virtual image on the real world that the user sees. It is also called Mixed Reality (MR) because it combines the virtual world with additional information in the real world and shows it as a single image. .

증강현실 서비스는 가상의 공간과 사물만을 대상으로 하는 가상현실과 달리, 실제 환경이라는 기반 위에 가상의 사물이나 정보를 합성함으로써, 현실 세계만으로는 얻기 어려운 부가 정보를 보강한다. 증강현실 서비스가 가능한 단말기는 구비된 카메라에 의해 영상이 촬영되면, 촬영된 영상의 객체를 자체적으로 분석하고, 분석 결과를 바탕으로 증강현실 콘텐츠를 제공한다.Unlike virtual reality, which targets only virtual spaces and objects, augmented reality service reinforces additional information that is difficult to obtain in the real world by synthesizing virtual objects or information on the basis of a real environment. When an image is captured by an equipped camera, a terminal capable of augmented reality service analyzes the object of the captured image by itself and provides augmented reality content based on the analysis result.

최근, 이동통신단말 등을 이용하여 제공되는 증강현실 콘텐츠는 대부분 콘텐츠 제작자가 제작한 콘텐츠를 사용자들이 내려받아 이용할 수 있도록 하는 것인데, 이와 같이 특정 제작자가 콘텐츠를 제작하고, 일반 사용자들은 단지 이용만 하게 되면, 다양한 콘텐츠의 개발이 어려워지고, 동일한 오브젝트에 대해서는 동일한 증강현실 정보만 보여지는 획일성이 문제가 된다.Recently, augmented reality contents provided using mobile communication terminals are mostly intended to allow users to download and use contents produced by contents creators. In this way, specific creators produce contents, and general users only use them. Then, development of various contents becomes difficult, and uniformity in which only the same augmented reality information is displayed for the same object becomes a problem.

본 발명에서는 다수의 단말의 위치 및 방향에 대응하여 가상 콘텐츠가 현재 공유공간에 있는 것처럼 보이도록 각 단말에 표시하는 클라우드 서버 기반 증강현실 서비스 제공 방법을 제공할 수 있다.In the present invention, it is possible to provide a cloud server-based augmented reality service providing method that displays virtual content on each terminal so that it appears as if it is currently in a shared space in response to the locations and directions of a plurality of terminals.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 따른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 기술적 과제를 해결하기 위하여 증강현실 서비스를 단말에 제공하는 클라우드 서버는 복수의 단말과 데이터를 주고받는 송수신부; 상기 복수의 단말의 위치정보를 저장하는 위치공간정보 데이터 베이스; 상기 복수의 단말에 제공할 가상 콘텐츠를 저장하는 가상 콘텐츠 데이터 베이스; 및 상기 송수신부, 위치공간정보 데이터 베이스 및 가상 콘텐츠 데이터 베이스를 제어하는 콘텐츠 제어부를 포함하고, 상기 콘텐츠 제어부는 상기 복수의 단말로부터 증강 현실 서비스 요청 신호를 수신하고, 상기 증강 현실 서비스 요청 신호에 포함된 상기 복수의 단말의 현실 영상 및 위치정보에 기초하여 가상 콘텐츠를 검색하고, 상기 현실 영상 및 위치정보에 기초하여 각 단말의 위치 및 방향을 판단하고, 상기 판단된 각 단말의 위치 및 방향을 상기 검색된 가상 콘텐츠와 매칭하고, 상기 매칭된 가상 콘텐츠를 각 단말에게 송신할 수 있다.In order to solve the above technical problem, a cloud server providing an augmented reality service to a terminal includes: a transmission/reception unit for exchanging data with a plurality of terminals; A location spatial information database storing location information of the plurality of terminals; A virtual content database for storing virtual content to be provided to the plurality of terminals; And a content control unit for controlling the transmission/reception unit, the geospatial information database, and a virtual content database, wherein the content control unit receives an augmented reality service request signal from the plurality of terminals, and includes it in the augmented reality service request signal. Search virtual content based on the real images and location information of the plurality of terminals, determine the location and direction of each terminal based on the real image and location information, and determine the location and direction of each terminal determined. The searched virtual content may be matched, and the matched virtual content may be transmitted to each terminal.

한편, 상기와 같은 기술적 과제를 해결하기 위하여 클라우드 서버로부터 증강현실 서비스를 제공받는 단말은 상기 클라우드 서버와 데이터를 주고 받는 통신부; 현실 영상을 획득하는 카메라부; 상기 현실 영상 내에 가상 콘텐츠를 표시하는 디스플레이부; 및 상기 통신부, 카메라부 및 디스플레이부를 제어하는 제어부를 포함하고, 상기 제어부는 사용자의 증강 현실 서비스 요청에 대응하여 가상 콘텐츠 공유 요청 신호를 생성하고, 상기 생성된 가상 콘텐츠 공유 요청 신호를 상기 클라우드 서버로 송신하고, 상기 클라우드 서버로부터 상기 가상 콘텐츠 공유 요청 신호에 대응하는 가상 콘텐츠를 수신하고, 상기 수신한 가상 콘텐츠와 상기 현실 영상을 상기 디스플레이부에 표시할 수 있다.On the other hand, in order to solve the above technical problem, a terminal receiving an augmented reality service from a cloud server includes: a communication unit that exchanges data with the cloud server; A camera unit that acquires a real image; A display unit for displaying virtual content in the real image; And a control unit for controlling the communication unit, the camera unit, and the display unit, wherein the control unit generates a virtual content sharing request signal in response to a user's request for an augmented reality service, and sends the generated virtual content sharing request signal to the cloud server. It transmits, receives virtual content corresponding to the virtual content sharing request signal from the cloud server, and displays the received virtual content and the real image on the display unit.

한편, 상기와 같은 기술적 과제를 해결하기 위하여 클라우드 서버의 증강현실 서비스 제공 방법에 있어서, 상기 클라우드 서버가 복수의 단말로부터 증강 현실 서비스 요청 신호를 수신하는 단계; 상기 클라우드 서버가 상기 증강 현실 서비스 요청 신호에 포함된 상기 복수의 단말의 현실 영상 및 위치정보에 기초하여 가상 콘텐츠를 검색하는 단계; 상기 클라우드 서버가 상기 현실 영상 및 위치정보에 기초하여 각 단말의 위치 및 방향을 판단하는 단계; 상기 클라우드 서버가 상기 판단된 각 단말의 위치 및 방향을 상기 검색된 가상 콘텐츠와 매칭하는 단계; 및 상기 클라우드 서버가 상기 매칭된 가상 콘텐츠를 각 단말에게 송신하는 단계를 포함할 수 있다.On the other hand, in order to solve the above technical problem, a method for providing an augmented reality service of a cloud server, the method comprising: receiving, by the cloud server, an augmented reality service request signal from a plurality of terminals; Searching, by the cloud server, virtual content based on the real images and location information of the plurality of terminals included in the augmented reality service request signal; Determining, by the cloud server, the location and direction of each terminal based on the real image and location information; Matching, by the cloud server, the determined location and direction of each terminal with the searched virtual content; And transmitting, by the cloud server, the matched virtual content to each terminal.

한편, 본 발명의 일 실시 예는, 상기 증강 현실 서비스 제공 방법들 중 어느 하나의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램 및 상기 프로그램이 기록된 기록매체를 더 제공할 수도 있다.Meanwhile, an embodiment of the present invention may further provide a computer-readable program for executing any one of the augmented reality service providing methods and a recording medium on which the program is recorded.

본 발명에 따른 클라우드 서버 기반 증강현실 서비스 제공 방법은 공간에 대한 정보를 클라우드 서버에 등록하여, 공유공간 내에서 보는 가상 콘텐츠는 현재 그 공간에 있는 것처럼 보여줌으로써 여러 사용자간 같이 공유하고 제어할 수 있는 효과가 있다.The method for providing augmented reality service based on a cloud server according to the present invention registers information about a space in a cloud server, and the virtual contents viewed in the shared space appear as if they are currently in the space, so that multiple users can share and control together. It works.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 따른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those of ordinary skill in the art from the following description. will be.

도 1은 본 발명의 일 실시 예에 따른 클라우드 서버 기반 증강현실 서비스 시스템의 구성을 도시한 블록도이다.
도 2는 도 1에 도시된 제1 단말을 상세히 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 공유공간에서 가상 콘텐츠를 공유하는 복수의 단말을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 복수의 단말에 표시되는 가상 콘텐츠를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 가상 콘텐츠의 공유 제어를 설명하기 위한 도면이다.
도 6은 본 발명에 따른 증강 현실 서비스 제공 방법에 따른 콘텐츠 공유 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 증강 현실 서비스 제공 방법에 따른 공유 콘텐츠 상호작용을 설명하기 위한 흐름도이다.1 is a block diagram showing the configuration of a cloud server-based augmented reality service system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a first terminal illustrated in FIG. 1 in detail.
3 is a diagram illustrating a plurality of terminals sharing virtual content in a shared space according to an embodiment of the present invention.
4 is a diagram illustrating virtual content displayed on a plurality of terminals according to an embodiment of the present invention.
5 is a diagram for explaining a control for sharing virtual content according to an embodiment of the present invention.
6 is a flowchart illustrating a content sharing method according to the method of providing an augmented reality service according to the present invention.
7 is a flowchart illustrating a shared content interaction according to a method for providing an augmented reality service according to the present invention.

이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, an apparatus and various methods to which embodiments of the present invention are applied will be described in more detail with reference to the drawings. The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In the above, even if all the constituent elements constituting the embodiments of the present invention have been described as being combined into one or operating in combination, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all the constituent elements may be selectively combined and operated in one or more. In addition, although all of the components may be implemented as one independent hardware, a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of the components. It may be implemented as a computer program having Codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program is stored in a computer-readable storage medium, and is read and executed by a computer, thereby implementing an embodiment of the present invention. The storage medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

실시예의 설명에 있어서, 각 구성 요소의 " 상(위) 또는 하(아래)", "전(앞) 또는 후(뒤)"에 형성되는 것으로 기재되는 경우에 있어, "상(위) 또는 하(아래)" 및"전(앞) 또는 후(뒤)"는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다.In the description of the embodiment, in the case of being described as being formed in "top (top) or bottom (bottom)", "before (front) or after (back)" of each component, "top (top) or bottom (Bottom)" and "Before (front) or after (back)" include both components formed by direct contact with each other or one or more other components disposed between the two components.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재 될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, the terms such as "include", "consist of" or "have" described above mean that the corresponding component can be embedded unless otherwise stated, excluding other components. It should not be construed as being able to further include other components. All terms, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms generally used, such as terms defined in the dictionary, should be interpreted as being consistent with the meaning of the context of the related technology, and are not interpreted as ideal or excessively formal meanings unless explicitly defined in the present invention.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the constituent elements of the present invention, terms such as first, second, A, B, (a) and (b) may be used. These terms are for distinguishing the constituent element from other constituent elements, and the nature, order, or order of the constituent element is not limited by the term. When a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected or connected to that other component, but another component between each component It will be understood that elements may be “connected”, “coupled” or “connected”.

그리고 본 발명을 설명함에 있어 관련된 공지기술에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.In addition, in describing the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured as matters apparent to those skilled in the art with respect to related known technologies, a detailed description thereof will be omitted.

도 1은 본 발명의 일 실시 예에 따른 클라우드 서버 기반 증강현실 서비스 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a cloud server-based augmented reality service system according to an embodiment of the present invention.

도 1을 참조하면, 클라우드 서버 기반 증강현실 서비스 시스템은 클라우드 서버(100) 및 복수의 단말(210,220,230)을 포함할 수 있다.Referring to FIG. 1, a cloud server-based augmented reality service system may include a cloud server 100 and a plurality of terminals 210, 220, and 230.

클라우드 서버(100)는 송수신부(110), 위치공간정보 데이터 베이스(120), 가상 콘텐츠 데이터 베이스(130) 및 콘텐츠 제어부(140)를 포함할 수 있다. 여기서, 클라우드 서버(100)는 가상 콘텐츠 서비스를 단말에 제공하는 서버 일 수 있다.The cloud server 100 may include a transmission/reception unit 110, a locational spatial information database 120, a virtual content database 130, and a content control unit 140. Here, the cloud server 100 may be a server that provides a virtual content service to a terminal.

송수신부(110)는 무선통신을 통해 증강현실 서비스를 제공받을 단말과 데이터를 송수신할 수 있다.The transceiver 110 may transmit and receive data to and from a terminal to be provided with an augmented reality service through wireless communication.

송수신부(110)는 복수의 단말(210,220,230)로부터 수신한 가상 콘텐츠 공유 요청 신호를 수신할 수 있다. 상기 가상 콘텐츠 공유 요청 신호는 단말이 촬영한 현실 영상 및 단말의 위치정보를 포함할 수 있다.The transceiver 110 may receive a virtual content sharing request signal received from a plurality of terminals 210, 220, and 230. The virtual content sharing request signal may include a real image captured by the terminal and location information of the terminal.

송수신부(110)는 상기 가상 콘텐츠 공유 요청 신호에 기초하여 생성된 가상 콘텐츠를 복수의 단말(210,220,230)로 송신할 수 있다.The transceiving unit 110 may transmit the virtual content generated based on the virtual content sharing request signal to the plurality of terminals 210, 220, and 230.

송수신부(110)는 복수의 단말(210,220,230) 중 하나의 단말로부터 가상 콘텐츠 제어 신호를 수신할 수 있다. 이후, 송수신부(110)는 상기 가상 콘텐츠 제어 신호에 대응하여 생성된 가상 콘텐츠 제어 정지 신호를 나머지 단말에게 송신할 수 있다.The transmission/reception unit 110 may receive a virtual content control signal from one of the plurality of terminals 210, 220, and 230. Thereafter, the transmission/reception unit 110 may transmit a virtual content control stop signal generated in response to the virtual content control signal to the remaining terminals.

또한, 송수신부(110)는 상기 가상 콘텐츠 제어 신호에 대응하여 생성된 가상 콘텐츠 제어 신호를 나머지 단말에게 송신할 수 있다.In addition, the transmission/reception unit 110 may transmit a virtual content control signal generated in response to the virtual content control signal to the remaining terminals.

위치공간정보 데이터 베이스(120)는 단말로부터 수신한 위치정보 및 영상정보를 저장할 수 있다. 위치정보는 단말에 포함된 GPS가 측정한 GPS 정보일 수 있다.The location spatial information database 120 may store location information and image information received from a terminal. The location information may be GPS information measured by GPS included in the terminal.

또한, 위치공간정보 데이터 베이스(120)는 단말로부터 수신한 위치 정보와 영상 정보에 기초하여 생성된 공간 정보를 저장할 수 있다.In addition, the locational spatial information database 120 may store spatial information generated based on location information and image information received from the terminal.

가상 콘텐츠 데이터 베이스(130)는 상기 복수의 단말(210,220,230)에 제공할 가상 콘텐츠를 저장할 수 있다. 이때, 저장되는 가상 콘텐츠는 사람, 동물, 식물, 물체, 건물 중 적어도 어느 하나일 수 있지만, 이에 한정되는 것은 아니다.The virtual content database 130 may store virtual content to be provided to the plurality of terminals 210, 220, and 230. In this case, the stored virtual content may be at least one of people, animals, plants, objects, and buildings, but is not limited thereto.

콘텐츠 제어부(140)는 복수의 단말(210,220,230)로부터 가상 콘텐츠 공유 요청 신호를 수신하는 경우, 콘텐츠 제어부(140)는 복수의 단말(210,220,230)에 제공할 가상 콘텐츠를 검색할 수 있다.When the content control unit 140 receives a virtual content sharing request signal from the plurality of terminals 210, 220, and 230, the content control unit 140 may search for virtual content to be provided to the plurality of terminals 210, 220, and 230.

이때, 콘텐츠 제어부(140)는 가상 콘텐츠 공유 요청 신호에 포함된 각 단말의 위치정보 및 현실 영상을 분석하여, 분석된 정보에 기초하여 위치공간정보 데이터 베이스(120)에서 공간 정보를 검색할 수 있다. 이후, 콘텐츠 제어부(140)는 검색된 공간 정보에 기초하여 가상 콘텐츠를 가상 콘텐츠 데이터 베이스(130)에서 검색할 수 있다.In this case, the content control unit 140 may analyze the location information and the real image of each terminal included in the virtual content sharing request signal, and search for spatial information in the location-spatial information database 120 based on the analyzed information. . Thereafter, the content controller 140 may search for virtual content in the virtual content database 130 based on the searched spatial information.

다음, 콘텐츠 제어부(140)는 복수의 단말(210,220,230)로부터 수신한 위치 정보에 기초하여 상기 검색된 공간 내의 단말의 각각 위치를 판단할 수 있다. 이후, 콘텐츠 제어부(140)는 현실 영상 정보에 기초하여 각 단말의 방향을 판단할 수 있다.Next, the content control unit 140 may determine each location of the terminal within the searched space based on the location information received from the plurality of terminals 210, 220, and 230. Thereafter, the content control unit 140 may determine the direction of each terminal based on the actual image information.

콘텐츠 제어부(140)는 상기 판단된 각 단말의 위치 및 방향을 상기 검색된 가상 콘텐츠와 매칭할 수 있다.The content control unit 140 may match the determined location and direction of each terminal with the searched virtual content.

이후, 콘텐츠 제어부(140)는 매칭된 가상 콘텐츠 각각을 대응하는 단말에게 전달할 수 있다.Thereafter, the content control unit 140 may deliver each matched virtual content to a corresponding terminal.

한편, 콘텐츠 제어부(140)는 공유공간 안에서 가상 콘텐츠를 공유하는 복수의 단말(210,220,230) 중 하나의 단말로부터 가상 콘텐츠 제어 신호를 수신하는 경우, 가상 콘텐츠 제어 정지 신호를 생성할 수 있다. 이후, 콘텐츠 제어부(140)는 복수의 단말(210,220,230) 중 가상 콘텐츠 제어 신호를 제공한 단말을 제외한 나머지 단말에게 가상 콘텐츠 제어 정지 신호를 송신할 수 있다.Meanwhile, the content control unit 140 may generate a virtual content control stop signal when receiving a virtual content control signal from one of a plurality of terminals 210, 220, and 230 that share virtual content in the shared space. Thereafter, the content control unit 140 may transmit a virtual content control stop signal to other terminals except for a terminal that has provided the virtual content control signal among the plurality of terminals 210, 220, and 230.

한편, 콘텐츠 제어부(140)는 공유공간 안에서 가상 콘텐츠를 공유하는 복수의 단말(210,220,230) 중 하나의 단말로부터 가상 콘텐츠 제어 신호를 수신하는 경우, 콘텐츠 제어부(140)는 복수의 단말(210,220,230) 중 가상 콘텐츠 제어 신호를 제공한 단말을 제외한 나머지 단말에 공유 제어 신호를 생성할 수 있다.On the other hand, when the content control unit 140 receives a virtual content control signal from one of the plurality of terminals 210, 220, 230 that share the virtual content in the shared space, the content control unit 140 It is possible to generate a shared control signal to other terminals except for the terminal that provided the content control signal.

상기 공유 제어 신호는 상기 나머지 단말에 표시되는 가상 콘텐츠를 각각 제어하기 위한 신호 일 수 있다.The sharing control signal may be a signal for respectively controlling virtual contents displayed on the other terminals.

이후, 콘텐츠 제어부(140)는 공유공간 안에서 가상 콘텐츠를 공유하는 복수의 단말(210,220,230) 중 가상 콘텐츠 제어 신호를 제공한 단말을 제외한 나머지 단말에게 공유 제어 신호를 송신할 수 있다.Thereafter, the content control unit 140 may transmit the sharing control signal to the remaining terminals except for the terminal providing the virtual content control signal among the plurality of terminals 210, 220, and 230 that share the virtual content in the shared space.

실시 예에 따라, 복수의 단말(210,220,230) 중 하나의 단말의 사용자가 가상 콘텐츠를 확대하는 경우, 콘텐츠 제어부(140)는 상기 가상 콘텐츠를 확대한 단말로부터 상기 확대에 대응하는 가상 콘텐츠 제어 신호를 수신할 수 있다. 이후, 콘텐츠 제어부(140)는 상기 확대에 대응하는 가상 콘텐츠 제어 신호에 대응하는 나머지 단말의 공유 제어 신호를 생성할 수 있다. 다음, 콘텐츠 제어부(140)는 상기 생성된 공유 제어 신호를 나머지 단말에게 제공할 수 있다.According to an embodiment, when a user of one of the plurality of terminals 210, 220, 230 enlarges the virtual content, the content control unit 140 receives a virtual content control signal corresponding to the enlargement from the terminal in which the virtual content is enlarged. can do. Thereafter, the content control unit 140 may generate a sharing control signal of the remaining terminals corresponding to the virtual content control signal corresponding to the enlargement. Next, the content control unit 140 may provide the generated sharing control signal to the remaining terminals.

실시 예에 따라, 복수의 단말(210,220,230) 중 하나의 단말의 사용자가 가상 콘텐츠를 회전하는 경우, 콘텐츠 제어부(140)는 상기 가상 콘텐츠를 회전한 단말로부터 상기 회전 제어에 대응하는 가상 콘텐츠 제어 신호를 수신할 수 있다. 이후, 콘텐츠 제어부(140)는 상기 회전 제어에 대응하는 가상 콘텐츠 제어 신호에 대응하는 나머지 단말의 공유 제어 신호를 생성할 수 있다. 다음, 콘텐츠 제어부(140)는 상기 생성된 공유 제어 신호를 나머지 단말에게 제공할 수 있다.According to an embodiment, when a user of one of the plurality of terminals 210, 220, 230 rotates virtual content, the content control unit 140 transmits a virtual content control signal corresponding to the rotation control from the terminal that rotates the virtual content. You can receive it. Thereafter, the content control unit 140 may generate a sharing control signal of the remaining terminals corresponding to the virtual content control signal corresponding to the rotation control. Next, the content control unit 140 may provide the generated sharing control signal to the remaining terminals.

한편, 클라우드 서버 기반 증강현실 서비스 제공 시스템은 적어도 하나 이상의 단말을 포함할 수 있다. 이때, 단말은 클라우드 서버(100)가 제공하는 가상 콘텐츠 서비스를 이용하는 단말로서, 단말에 설치된 애플리케이션, 웹 브라우저 등을 통하여 클라우드 서버(100)와 데이터를 송수신하는 장치일 수 있다.Meanwhile, the cloud server-based augmented reality service providing system may include at least one terminal. In this case, the terminal is a terminal using a virtual content service provided by the cloud server 100, and may be a device that transmits and receives data to and from the cloud server 100 through an application installed on the terminal, a web browser, or the like.

복수의 단말(210,220,230)은 이동 통신 네트워크(예컨대 2G(second generation), 3G(third generation), LTE(Long Term Evolution) 또는 5G(fifth generation) 방식 네트워크)를 사용하는 단말로서, 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말 (smartwatch), 글래스형 단말 (smart glass), HMD(head mounted display) 등이 포함되는 이동 단말에 적용될 수 있다.A plurality of terminals 210, 220, 230 are terminals using a mobile communication network (e.g., a second generation (2G), third generation (3G), a long term evolution (LTE), or a fifth generation (5G) network)). smart phone), laptop computer, digital broadcasting terminal, personal digital assistants (PDA), portable multimedia player (PMP), navigation, slate PC, tablet PC, ultrabook , It can be applied to a mobile terminal including a wearable device, for example, a watch-type terminal (smartwatch), a glass-type terminal (smart glass), a head mounted display (HMD), and the like.

그러나 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be readily apparent to those skilled in the art that the configuration according to the embodiment described in the present specification may also be applied to fixed terminals such as digital TV, desktop computer, digital signage, etc., except when applicable only to mobile terminals. .

도 2는 도 1에 도시된 제1 단말을 상세히 설명하기 위한 블록 구성도이다.FIG. 2 is a block diagram illustrating a first terminal illustrated in FIG. 1 in detail.

도 2에 도시된 바와 같이, 제1 단말(210)은 외부와 데이터를 주고받는 통신부(211), 현실 영상을 획득하는 카메라부(212), 현실 영상 내에 가상 콘텐츠를 표시하는 디스플레이부(213), 그리고 통신부(211), 카메라부(212) 및 디스플레이부(213)를 제어하는 제어부(214)를 포함할 수 있다.As shown in FIG. 2, the first terminal 210 includes a communication unit 211 for exchanging data with the outside, a camera unit 212 for acquiring a real image, and a display unit 213 for displaying virtual content in the real image. , And a control unit 214 that controls the communication unit 211, the camera unit 212 and the display unit 213.

통신부(211)는 이동 통신 네트워크를 통해 외부의 클라우드 서버에 카메라부(212)로부터 수신한 현실 영상을 송신할 수 있다. 또한, 통신부(211)은 단말의 GPS 정보를 클라우드 서버(100)로 송신할 수 있다.The communication unit 211 may transmit a real image received from the camera unit 212 to an external cloud server through a mobile communication network. In addition, the communication unit 211 may transmit GPS information of the terminal to the cloud server 100.

한편, 통신부(211)는 클라우드 서버(100)로부터 가상 콘텐츠를 수신할 수 있다.Meanwhile, the communication unit 211 may receive virtual content from the cloud server 100.

여기서, 디스플레이부(213)는 가상 콘텐츠에 대한 터치 입력이 가능한 터치 디스플레이를 포함할 수 있다. 디스플레이부(213)는 증강현실 서비스 장치와 사용자 사이의 입력 인터페이스를 제공하는 입력부로 기능 함과 동시에, 증강현실 서비스 장치와 사용자 사이의 출력 인터페이스를 제공하는 출력부의 기능을 수행할 수 있다.Here, the display unit 213 may include a touch display capable of a touch input for virtual content. The display unit 213 may function as an input unit that provides an input interface between the augmented reality service device and a user, and may perform a function of an output unit that provides an output interface between the augmented reality service device and the user.

제어부(214)는 클라우드 서버(100)로부터 수신한 가상 콘텐츠를 디스플레이부(213)에 출력하도록 제어할 수 있다.The control unit 214 may control to output the virtual content received from the cloud server 100 to the display unit 213.

실시 예에 따라, 제어부(214)는 클라우드 서버(100)로부터 수신한 가상 콘텐츠를 현실 영상에 표시할 수 있다. 이때, 상기 클라우드 서버(100)로부터 수신한 가상 콘텐츠는 상기 단말기의 위치 및 방향이 매칭되어 공유를 위한 가상 콘텐츠 일 수 있다.According to an embodiment, the controller 214 may display virtual content received from the cloud server 100 on a real image. In this case, the virtual content received from the cloud server 100 may be a virtual content for sharing by matching the location and direction of the terminal.

제어부(214)는 사용자 입력에 기초하여, 가상 콘텐츠를 제어할 수 있다.The controller 214 may control virtual content based on a user input.

즉, 제어부(214)는, 사용자가 단말에 표시된 가상 콘텐츠를 제어하는 경우, 사용자 입력에 따라 제어된 가상 콘텐츠를 디스플레이부(213)에 표시할 수 있다. 이때, 상기 가상 콘텐츠 제어는 회전, 확대, 축소 등을 포함할 수 있다.That is, when the user controls the virtual content displayed on the terminal, the controller 214 may display the virtual content controlled according to the user input on the display unit 213. In this case, the virtual content control may include rotation, expansion, reduction, and the like.

이와 함께, 제어부(214)는 공유공간 안에서 가상 콘텐츠를 공유하는 다른 단말과 상호작용하기 위하여, 사용자 입력에 대응하는 가상 콘텐츠 제어 신호를 통신부(211)를 통해 클라우드 서버(100)로 송신할 수 있다.In addition, the controller 214 may transmit a virtual content control signal corresponding to a user input to the cloud server 100 through the communication unit 211 in order to interact with other terminals that share virtual content in the shared space. .

한편, 제어부는(400)는 공유공간 안에서 가상 콘텐츠를 공유하는 다른 단말이 가상 콘텐츠를 제어하는 경우, 클라우드 서버(100)로부터 가상 콘텐츠 제어 정지 신호를 통신부(211)를 통해 수신할 수 있다.On the other hand, the controller 400 may receive a virtual content control stop signal from the cloud server 100 through the communication unit 211 when another terminal that shares the virtual content in the shared space controls the virtual content.

이후, 제어부(214)는 가상 콘텐츠 제어 정지 신호에 대응하여 디스플레이부(213)에 표시되는 가상 콘텐츠의 제어를 정지할 수 있다. 즉, 제어부(214)는 제어 정지 신호를 수신한 경우, 디스플레이부(213)에 표시되는 가상 콘텐츠에 사용자 입력을 반영하지 않을 수 있다.Thereafter, the controller 214 may stop controlling the virtual content displayed on the display 213 in response to the virtual content control stop signal. That is, when the control stop signal is received, the control unit 214 may not reflect the user input to the virtual content displayed on the display unit 213.

이와 함께, 제어부(214)는 통신부(211)를 통해 클라우드 서버(100)로부터 공유 제어 신호를 수신하는 경우, 수신한 공유 제어 신호에 기초하여 디스플레이부(213)에 표시되는 가상 콘텐츠를 제어할 수 있다.In addition, when receiving a sharing control signal from the cloud server 100 through the communication unit 211, the control unit 214 can control the virtual content displayed on the display unit 213 based on the received sharing control signal. have.

실시 예에 따라, 공유공간 안에서 가상 콘텐츠를 공유하는 복수의 단말(210,220,230) 중 하나의 단말의 사용자가 가상 콘텐츠를 확대하는 경우, 제어부(214)는 클라우드 서버(100)로부터 가상 콘텐츠 확대에 대응하는 공유 제어 신호를 수신할 수 있다. 이후 제어부(214)는 상기 가상 콘텐츠 확대에 대응하는 공유 제어 신호에 대응하여 현재 디스플레이부(213) 표시되는 가상 콘텐츠를 확대하여 표시되도록 제어할 수 있다.According to an embodiment, when a user of one of the plurality of terminals 210, 220, 230 sharing virtual content in the shared space enlarges the virtual content, the controller 214 corresponds to the expansion of the virtual content from the cloud server 100. It can receive a shared control signal. Thereafter, the controller 214 may control to enlarge and display the virtual content currently displayed by the display unit 213 in response to a sharing control signal corresponding to the expansion of the virtual content.

실시 예에 따라, 공유공간 안에서 가상 콘텐츠를 공유하는 복수의 단말(210,220,230) 중 하나의 단말의 사용자가 가상 콘텐츠를 회전하는 경우, 제어부(214)는 클라우드 서버(100)로부터 가상 콘텐츠 회전 제어에 대응하는 공유 제어 신호를 수신할 수 있다. 이후 제어부(214)는 상기 가상 콘텐츠 회전 제어에 대응하는 공유 제어 신호에 대응하여 현재 디스플레이부(213)에 표시되는 가상 콘텐츠를 회전하여 표시되도록 제어할 수 있다.According to an embodiment, when a user of one of the plurality of terminals 210, 220, 230 sharing virtual content in the shared space rotates the virtual content, the controller 214 responds to the virtual content rotation control from the cloud server 100 It is possible to receive a shared control signal. Thereafter, the controller 214 may control the virtual content currently displayed on the display 213 to be rotated and displayed in response to a sharing control signal corresponding to the virtual content rotation control.

도 3은 본 발명의 일 실시 예에 따른 공유공간에서 가상 콘텐츠를 공유하는 복수의 단말을 도시한 도면이다.3 is a diagram illustrating a plurality of terminals sharing virtual content in a shared space according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 가상 콘텐츠(320)를 공유하는 공유공간(310) 내에서 제1 내지 제3 단말(210,220,230)이 배치될 수 있다.As shown in FIG. 3, first to third terminals 210, 220, and 230 may be disposed in a shared space 310 that shares virtual content 320.

이때, 제1 단말(210)은 가상 콘텐츠(320)의 앞면에 위치할 수 있으며, 제2 단말(220)은 가상 콘텐츠(320)의 측면에 위치할 수 있으며, 제3 단말(230)은 가상 콘텐츠(320)의 뒷면에 위치할 수 있다. 이때, 상기 제2 단말(220)은 가상 콘텐츠 정면으로부터 좌측에 위치할 수 있다.At this time, the first terminal 210 may be located on the front of the virtual content 320, the second terminal 220 may be located on the side of the virtual content 320, and the third terminal 230 It may be located on the back side of the content 320. In this case, the second terminal 220 may be located on the left side from the front of the virtual content.

도 4는 본 발명의 일 실시 예에 따른 복수의 단말에 표시되는 가상 콘텐츠를 설명하기 위한 도면이다.4 is a diagram illustrating virtual content displayed on a plurality of terminals according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 제1 단말(210)의 디스플레이부에 표시되는 가상 콘텐츠(410)는 가상 콘텐츠(320)의 정면을 표시할 수 있으며, 제2 단말(220)의 디스플레이부에 표시되는 가상 콘텐츠(420)는 가상 콘텐츠(320)의 좌측 측면을 표시할 수 있으며, 제3 단말(230)의 디스플레이부에 표시되는 가상 콘텐츠(430)는 가상 콘텐츠(320)의 뒷면을 표시할 수 있다.As shown in FIG. 4, the virtual content 410 displayed on the display unit of the first terminal 210 may display the front of the virtual content 320 and displayed on the display unit of the second terminal 220. The virtual content 420 may display the left side of the virtual content 320, and the virtual content 430 displayed on the display unit of the third terminal 230 may display the back side of the virtual content 320. have.

따라서, 본 발명은 공유공간(310)에 위치하는 제1 내지 제3 단말(210,220,230)의 사용자들이 같은 가상 콘텐츠(320)를 공유하는 느낌을 가지도록 각 단말마다 서로 다른 방향의 가상 콘텐츠(410,420,430)를 표시할 수 있다.Accordingly, the present invention provides virtual contents 410, 420, and 430 in different directions for each terminal so that users of the first to third terminals 210, 220, and 230 located in the shared space 310 have a feeling of sharing the same virtual contents 320. Can be displayed.

도 5는 본 발명의 일 실시 예에 따른 가상 콘텐츠의 공유 제어를 설명하기 위한 도면이다.5 is a diagram for explaining a control for sharing virtual content according to an embodiment of the present invention.

도 5를 참조하면, 제1 단말(210)의 디스플레이부에 표시되는 가상 콘텐츠(410)를 제1 단말(210)의 사용자가 회전하는 경우, 제1 단말(210)은 회전 제어에 대응하는 가상 콘텐츠 제어 신호를 클라우드 서버(100)로 송신할 수 있다.5, when the user of the first terminal 210 rotates the virtual content 410 displayed on the display unit of the first terminal 210, the first terminal 210 The content control signal may be transmitted to the cloud server 100.

이에 따라, 클라우드 서버(100)는 상기 가상 콘텐츠 제어 신호에 대응하는 공유 제어 신호를 생성하여, 공유공간 안에서 가상 콘텐츠를 공유하는 제2 단말(220), 제3 단말(230) 각각에게 공유 제어 신호를 송신할 수 있다.Accordingly, the cloud server 100 generates a sharing control signal corresponding to the virtual content control signal, and provides a sharing control signal to each of the second terminal 220 and the third terminal 230 sharing the virtual content in the shared space. Can be sent.

클라우드 서버(100)로부터 상기 공유 제어 신호를 수신한 제2 단말(220)은 제1 단말(210)의 가상 콘텐츠 회전 제어에 대응하여 제2 단말(220)의 디스플레이부에 표시된 가상 콘텐츠(420)를 회전하여 표시할 수 있다. 또한, 클라우드 서버(100)로부터 상기 공유 제어 신호를 수신한 제3 단말(230)은 제1 단말(210)의 가상 콘텐츠 회전 제어에 대응하여 제3 단말(230)의 디스플레이부에 표시된 가상 콘텐츠(430)를 회전하여 표시할 수 있다.The second terminal 220, which has received the sharing control signal from the cloud server 100, is the virtual content 420 displayed on the display of the second terminal 220 in response to the virtual content rotation control of the first terminal 210. Can be displayed by rotating. In addition, the third terminal 230, which has received the sharing control signal from the cloud server 100, responds to the virtual content rotation control of the first terminal 210, and displays the virtual content displayed on the display unit of the third terminal 230 ( 430) can be rotated to display.

한편, 제1 단말(210)의 디스플레이부에 표시되는 가상 콘텐츠(410)를 제1 단말(210)의 사용자가 확대 또는 축소하는 경우, 제1 단말(210)은 확대 또는 축소에 대응하는 가상 콘텐츠 제어 신호를 클라우드 서버(100)로 송신할 수 있다.On the other hand, when the user of the first terminal 210 enlarges or reduces the virtual content 410 displayed on the display unit of the first terminal 210, the first terminal 210 is a virtual content corresponding to the enlargement or reduction. The control signal may be transmitted to the cloud server 100.

이에 따라, 클라우드 서버(100)는 상기 가상 콘텐츠 제어 신호에 대응하는 공유 제어 신호를 생성하여, 공유공간 안에서 가상 콘텐츠를 공유하는 제2 단말(220), 제3 단말(230) 각각에게 공유 제어 신호를 송신할 수 있다.Accordingly, the cloud server 100 generates a sharing control signal corresponding to the virtual content control signal, and provides a sharing control signal to each of the second terminal 220 and the third terminal 230 sharing the virtual content in the shared space. Can be sent.

클라우드 서버(100)로부터 상기 공유 제어 신호를 수신한 제2 단말(220)은 제1 단말(210)의 가상 콘텐츠 확대 또는 축소 제어에 대응하여 제2 단말(230)의 디스플레이부에 표시된 가상 콘텐츠(420)를 확대 또는 축소하여 표시할 수 있다. 또한, 클라우드 서버(100)로부터 상기 공유 제어 신호를 수신한 제3 단말(230)은 제1 단말(210)의 가상 콘텐츠 확대 또는 축소 제어에 대응하여 제3 단말(230)의 디스플레이부에 표시된 가상 콘텐츠(430)를 확대 또는 축소하여 표시할 수 있다.The second terminal 220, which has received the sharing control signal from the cloud server 100, corresponds to the virtual content expansion or reduction control of the first terminal 210, and the virtual content displayed on the display unit of the second terminal 230 ( 420) may be enlarged or reduced to be displayed. In addition, the third terminal 230, which has received the sharing control signal from the cloud server 100, is a virtual content displayed on the display of the third terminal 230 in response to the virtual content expansion or reduction control of the first terminal 210. The content 430 may be enlarged or reduced to be displayed.

도 6은 본 발명에 따른 증강 현실 서비스 제공 방법에 따른 콘텐츠 공유 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a content sharing method according to the method of providing an augmented reality service according to the present invention.

도 6에 도시된 바와 같이, 본 발명의 클라우드 서버(100)는 복수의 단말(210,220,230)로부터 증강 현실 서비스 요청(S10)에 따른 가상 콘텐츠 공유 요청 신호를 수신할 수 있다(S20). 이때, 상기 가상 콘텐츠 공유 요청 신호는 각 단말이 촬영한 현실 영상 및 단말의 위치정보를 포함할 수 있다.As shown in FIG. 6, the cloud server 100 of the present invention may receive a virtual content sharing request signal according to an augmented reality service request (S10) from a plurality of terminals 210, 220, and 230 (S20 ). In this case, the virtual content sharing request signal may include a real image captured by each terminal and location information of the terminal.

상기 S20 단계 이후, 클라우드 서버(100)는 복수의 단말(210,220,230)로부터 수신된 가상 콘텐츠 공유 요청 신호에 기초하여 위치정보 및 가상 콘텐츠를 검색할 수 있다(S30).After the step S20, the cloud server 100 may search for location information and virtual content based on the virtual content sharing request signal received from the plurality of terminals 210, 220, and 230 (S30).

상기 S30 단계 이후, 클라우드 서버(100)는 가상 콘텐츠 공유 요청 신호에 기초하여 각 단말의 위치 및 방향을 판단할 수 있다(S40).After the step S30, the cloud server 100 may determine the location and direction of each terminal based on the virtual content sharing request signal (S40).

상기 S40 단계 이후, 클라우드 서버(100)는 각 단말의 현실 영상 속에 해당 가상 콘텐츠의 위치 및 방향을 매칭할 수 있다(S50).After the step S40, the cloud server 100 may match the location and direction of the corresponding virtual content in the real image of each terminal (S50).

상기 S50 단계 이후, 클라우드 서버(100)는 위치 및 방향이 매칭된 가상 콘텐츠를 각 단말에게 송신할 수 있다(S60).After the step S50, the cloud server 100 may transmit the virtual content matched with the location and direction to each terminal (S60).

상기 S60 단계 이후, 복수의 단말(210,220,230)은 위치 및 방향이 매칭된 가상 콘텐츠를 각각 수신하여 해당 가상 콘텐츠를 현실 영상 내에 각각 표시할 수 있다(S70).After the step S60, the plurality of terminals 210, 220, and 230 may each receive virtual content whose location and direction are matched and display the corresponding virtual content in the real image (S70).

이와 같이, 본 발명은, 공유공간 안에 위치하는 다수의 단말의 위치 및 방향에 대응하여 콘텐츠를 제공함으로써, 하나의 가상 콘텐츠가 현재 공유공간에 있는 것처럼 보이도록 각 단말에 표시할 수 있다.As described above, according to the present invention, by providing contents corresponding to the positions and directions of a plurality of terminals located in the shared space, one virtual content can be displayed on each terminal so that it appears as if it is currently in the shared space.

도 7은 본 발명에 따른 증강 현실 서비스 제공 방법에 따른 공유 콘텐츠 상호작용을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a shared content interaction according to a method for providing an augmented reality service according to the present invention.

도 7을 참조하면, 본 발명의 공유공간에서 공유 콘텐츠를 공유하는 제1 내지 제3 단말(230)이 존재할 때, 제1 단말(210)은 사용자 입력에 따라 제1 단말(210)에 표시되는 가상 콘텐츠를 제어하고(S110), 제어된 가상 콘텐츠를 제1 단말(210)의 디스플레이부에 표시할 수 있다(S120).Referring to FIG. 7, when the first to third terminals 230 for sharing shared content exist in the shared space of the present invention, the first terminal 210 is displayed on the first terminal 210 according to a user input. The virtual content may be controlled (S110), and the controlled virtual content may be displayed on the display unit of the first terminal 210 (S120).

상기 S120 단계 이후, 제1 단말(210)은 사용자 입력에 따른 가상 콘텐츠 제어 신호를 생성하여, 클라우드 서버(100)로 송신할 수 있다(S130).After the step S120, the first terminal 210 may generate a virtual content control signal according to a user input and transmit it to the cloud server 100 (S130).

상기 S130 단계 이후, 클라우드 서버(100)는 제1 단말(210)로부터 수신한 가상 콘텐츠 제어 신호에 대응하여 가상 콘텐츠 제어 정지 신호를 생성하고(S140), 클라우드 서버(100)는 생성한 가상 콘텐츠 제어 정지 신호를 공유공간에서 공유 콘텐츠를 공유하는 제1 내지 제3 단말(210,220,230) 중 제2 단말(220) 및 제3 단말(230)로 송신할 수 있다(S150).After the step S130, the cloud server 100 generates a virtual content control stop signal in response to the virtual content control signal received from the first terminal 210 (S140), and the cloud server 100 controls the generated virtual content. The stop signal may be transmitted to the second terminal 220 and the third terminal 230 among the first to third terminals 210, 220, and 230 that share the shared content in the shared space (S150).

상기 S150 단계 이후, 가상 콘텐츠 제어 정지 신호를 수신한 제2 단말 및 제3 단말은 각 단말에 표시되는 가상 콘텐츠 제어가 정지될 수 있다. 이에 따라, 제2 단말(220) 및 제3 단말(230)은 각 단말의 표시되는 가상 콘텐츠의 제어권을 정지할 수 있다(S160).After the step S150, the second terminal and the third terminal receiving the virtual content control stop signal may stop controlling the virtual content displayed on each terminal. Accordingly, the second terminal 220 and the third terminal 230 may stop the control right of the displayed virtual content of each terminal (S160).

한편, 상기 S150 단계 이후, 클라우드 서버(100)는 가상 콘텐츠 제어 신호에 대응하여 공유 제어 신호 생성하고(S170), 클라우드 서버(100)는 생성한 공유 제어 신호를 공유공간에서 공유 콘텐츠를 공유하는 제1 내지 제3 단말(210,220,230) 중 제2 단말(220) 및 제3 단말(230)로 송신할 수 있다(S180).Meanwhile, after the step S150, the cloud server 100 generates a sharing control signal in response to the virtual content control signal (S170), and the cloud server 100 uses the generated sharing control signal to share the shared content in the shared space. It may be transmitted to the second terminal 220 and the third terminal 230 among the first to third terminals 210, 220, and 230 (S180).

상기 S180 단계 이후, 공유 제어 신호를 수신한 제2 단말 및 제3 단말은 각 단말에 표시되는 가상 콘텐츠를 상기 공유 제어 신호에 기초하여 제어할 수 있다(S190). 즉, 제2 단말(220) 및 제3 단말은 공유 제어 신호에 기초하여, 제2 단말 및 제3 단말의 디스플레이부에 각각 표시된 가상 콘텐츠(420)를 상기 공유 제어 신호에 기초하여 회전, 확대 및 축소할 수 있다.After the step S180, the second terminal and the third terminal, which have received the sharing control signal, may control the virtual content displayed on each terminal based on the sharing control signal (S190). That is, the second terminal 220 and the third terminal rotate, enlarge, and rotate the virtual content 420 displayed on the display units of the second terminal and the third terminal, respectively, based on the sharing control signal, based on the shared control signal. Can be reduced.

상기 S190 단계 이후, 제2 단말(220) 및 제3 단말(230)은 각 공유 제어 신호에 의해 제어된 각각의 가상 콘텐츠를 각 단말의 디스플레이부에 표시할 수 있다(S200).After the step S190, the second terminal 220 and the third terminal 230 may display each virtual content controlled by each shared control signal on the display of each terminal (S200).

이와 같이, 본 발명은, 공유공간 안에 위치하여 하나의 공유 가상 콘텐츠를 여러 사용자가 같이 공유하고 제어함으로써, 하나의 가상 콘텐츠가 현재 공유공간에 있는 것처럼 보이도록 각 단말에 표시할 수 있다.As described above, according to the present invention, by being located in a shared space and sharing and controlling one shared virtual content with multiple users, one virtual content can be displayed on each terminal so that it appears as if it is currently in the shared space.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Various embodiments described herein may be implemented in a recording medium that can be read by a computer or a similar device using, for example, software, hardware, or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시 예들이 제어부에 의해 구현될 수 있다.According to hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing functions. It can be implemented by the control unit.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰인 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 로딩되어 실행될 수 있다.According to a software implementation, embodiments such as procedures or functions may be implemented together with separate software modules that perform at least one function or operation. The software code can be implemented by a software application written in an appropriate programming language. In addition, the software code may be stored in a memory and loaded and executed by the control unit.

상기한 실시 예에서 정보 노출 방지 영상 제공 장치는, 하나 또는 복수의 응용 주문형 집적회로(ASIC), 디지털신호 프로세서(DSP), 디지털신호 처리기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 기타 전자 부품에 의해 실현될 수 있다.In the above embodiment, the information exposure prevention image providing apparatus includes one or more application-specific integrated circuits (ASIC), digital signal processors (DSP), digital signal processing devices (DSPD), programmable logic devices (PLDs), and field programs. It can be realized by a possible gate array (FPGA), controller, microcontroller, microprocessor or other electronic component.

상술한 실시 예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 형태로 구현되는 것도 포함된다.The method according to the above-described embodiment may be produced as a program to be executed on a computer and stored in a computer-readable recording medium. Examples of computer-readable recording media include ROM, RAM, CD-ROM, and magnetic tape. , Floppy disks, optical data storage devices, etc. are also included.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트는 실시 예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, a functional program, a code, and a code segment for implementing the above-described method can be easily inferred by programmers in the technical field to which the embodiment belongs.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.It is apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit and essential features of the present invention.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

100: 클라우드 서버
110: 송수신부
120: 위치공간 데이터 베이스
130: 가상콘텐츠 데이터 베이스
210: 제1 단말
220: 제2 단말
230: 제3 단말100: cloud server
110: transmitting and receiving unit
120: location space database
130: virtual content database
210: first terminal
220: second terminal
230: third terminal

Claims (8)

클라우드 서버로부터 증강현실 서비스를 제공받는 단말에 있어서,
상기 클라우드 서버와 데이터를 주고받는 통신부;
현실 영상을 획득하는 카메라부;
상기 현실 영상 내에 가상 콘텐츠를 표시하는 디스플레이부; 및
상기 통신부, 카메라부 및 디스플레이부를 제어하는 제어부를 포함하고,
상기 제어부는
사용자의 증강 현실 서비스 요청에 대응하여 가상 콘텐츠 공유 요청 신호를 생성하고,
상기 생성된 가상 콘텐츠 공유 요청 신호를 상기 클라우드 서버로 송신하고,
상기 클라우드 서버로부터 상기 가상 콘텐츠 공유 요청 신호에 대응하는 가상 콘텐츠를 수신하고,
상기 수신한 가상 콘텐츠와 상기 현실 영상을 상기 디스플레이부에 표시하며,
상기 가상 콘텐츠 공유 요청신호에는 상기 현실 영상 및 상기 단말의 위치정보를 포함하는 것을 특징으로 하는 단말.In a terminal receiving an augmented reality service from a cloud server,
A communication unit for exchanging data with the cloud server;
A camera unit that acquires a real image;
A display unit for displaying virtual content in the real image; And
And a control unit for controlling the communication unit, the camera unit, and the display unit,
The control unit
In response to a user's request for augmented reality service, a virtual content sharing request signal is generated,
Transmitting the generated virtual content sharing request signal to the cloud server,
Receiving virtual content corresponding to the virtual content sharing request signal from the cloud server,
Displaying the received virtual content and the real image on the display unit,
The terminal, characterized in that the virtual content sharing request signal includes the real image and location information of the terminal. 제1항에 있어서, 상기 제어부는,
사용자 입력에 기초하여 상기 가상 콘텐츠를 제어하고,
상기 제어된 가상 콘텐츠를 상기 디스플레이부에 표시하는 것을 특징으로 하는 단말.The method of claim 1, wherein the control unit,
Controlling the virtual content based on user input,
And displaying the controlled virtual content on the display unit. 제2항에 있어서, 상기 제어부는,
상기 사용자 입력에 기초하여 가상 콘텐츠 제어 신호를 생성하고,
상기 생성한 가상 콘텐츠 제어 신호를 상기 클라우드 서버로 송신하는 것을 특징으로 하는 단말.The method of claim 2, wherein the control unit,
Generate a virtual content control signal based on the user input,
The terminal, characterized in that transmitting the generated virtual content control signal to the cloud server. 제3항에 있어서, 상기 가상 콘텐츠 제어 신호는,
상기 사용자 입력에 따른 상기 가상 콘텐츠의 회전, 확대, 축소 중 적어도 하나를 포함하는 것을 특징으로 하는 단말.The method of claim 3, wherein the virtual content control signal,
And at least one of rotation, enlargement, and reduction of the virtual content according to the user input. 제1항에 있어서, 상기 제어부는,
상기 클라우드 서버로부터 가상 콘텐츠 제어 정지 신호를 수신하는 것을 특징으로 하는 단말.The method of claim 1, wherein the control unit,
A terminal, characterized in that receiving a virtual content control stop signal from the cloud server. 제5항에 있어서, 상기 제어부는,
상기 수신한 가상 콘텐츠 제어 정지 신호에 대응하여 상기 가상 콘텐츠의 제어권을 정지하는 것을 특징으로 하는 단말.The method of claim 5, wherein the control unit,
And stopping the control right of the virtual content in response to the received virtual content control stop signal. 제6항에 있어서, 상기 제어부는,
상기 클라우드 서버로부터 공유 제어 신호를 수신하는 것을 특징으로 하는 단말.The method of claim 6, wherein the control unit,
A terminal, characterized in that receiving a shared control signal from the cloud server. 제7항에 있어서, 상기 제어부는,
상기 수신한 공유 제어 신호에 기초하여 상가 가상 콘텐츠를 제어하고, 상기 제어된 가상 콘텐츠를 상기 디스플레이부에 표시하는 것을 특징으로 하는 단말.The method of claim 7, wherein the control unit,
And controlling the virtual content of a shopping mall based on the received sharing control signal, and displaying the controlled virtual content on the display unit.
KR1020210051109A 2021-04-20 2021-04-20 Method for providing augmented reality service by cloud server, terminal and cloud server using the same KR20210046626A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210051109A KR20210046626A (en) 2021-04-20 2021-04-20 Method for providing augmented reality service by cloud server, terminal and cloud server using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210051109A KR20210046626A (en) 2021-04-20 2021-04-20 Method for providing augmented reality service by cloud server, terminal and cloud server using the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190087502A Division KR102288323B1 (en) 2019-07-19 2019-07-19 Method for providing augmented reality service by cloud server, terminal and cloud server using the same

Publications (1)

Publication Number Publication Date
KR20210046626A true KR20210046626A (en) 2021-04-28

Family

ID=75721124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051109A KR20210046626A (en) 2021-04-20 2021-04-20 Method for providing augmented reality service by cloud server, terminal and cloud server using the same

Country Status (1)

Country Link
KR (1) KR20210046626A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156009A (en) * 2023-01-12 2023-05-23 杭州龙境科技有限公司 Method for sharing display service between An Zhuoyun mobile phone containers
KR20230120973A (en) * 2022-02-10 2023-08-17 주식회사 이매지니어스 Method for providing augmented reality service with non-fungible token content
WO2024053845A1 (en) * 2022-09-08 2024-03-14 삼성전자주식회사 Electronic device and method for providing content sharing based on object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230120973A (en) * 2022-02-10 2023-08-17 주식회사 이매지니어스 Method for providing augmented reality service with non-fungible token content
WO2024053845A1 (en) * 2022-09-08 2024-03-14 삼성전자주식회사 Electronic device and method for providing content sharing based on object
CN116156009A (en) * 2023-01-12 2023-05-23 杭州龙境科技有限公司 Method for sharing display service between An Zhuoyun mobile phone containers
CN116156009B (en) * 2023-01-12 2023-10-20 杭州龙境科技有限公司 Method for sharing display service between An Zhuoyun mobile phone containers

Similar Documents

Publication Publication Date Title
KR20210046626A (en) Method for providing augmented reality service by cloud server, terminal and cloud server using the same
CN108885522B (en) Rendering content in a 3D environment
US20220086600A1 (en) Method for activating service based on user scenario perception, terminal device, and system
US11941762B2 (en) System and method for augmented reality scenes
CN109195675B (en) Sharing of sparse SLAM coordinate systems
US10930056B2 (en) Electronic device for generating images having rendering qualities differing by view vector
KR102288323B1 (en) Method for providing augmented reality service by cloud server, terminal and cloud server using the same
US20170011557A1 (en) Method for providing augmented reality and virtual reality and electronic device using the same
EP2974509B1 (en) Personal information communicator
US11366564B2 (en) Electronic device and method for multi-view browsing in an augmented reality environment
KR20160035248A (en) Method for providing a virtual object and electronic device thereof
WO2021204001A1 (en) Overlay comment display method, device, electronic apparatus, and computer storage medium
CN112420217B (en) Message pushing method, device, equipment and storage medium
Braud et al. Dios-an extended reality operating system for the metaverse
CN111416756A (en) Protocol testing method, device, computer equipment and storage medium
CN111597465A (en) Display method and device and electronic equipment
CN111597466A (en) Display method and device and electronic equipment
US20170154455A1 (en) Electronic device and method for displaying and generating panoramic image
CN114461064A (en) Virtual reality interaction method, device, equipment and storage medium
WO2019072213A1 (en) Wireless access point information processing method, device and computer readable storage medium
CN111652675A (en) Display method and device and electronic equipment
KR20190056523A (en) System and method for synchronizing display of virtual reality content
US11194538B2 (en) Image management system, image management method, and program
KR20180082273A (en) Computer readable recording medium and electronic apparatus for performing video call
US20230094880A1 (en) Rendering Method and Apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application