KR102550491B1 - Ar contents platform system for multiple users in indoor environment and its operation method - Google Patents

Ar contents platform system for multiple users in indoor environment and its operation method Download PDF

Info

Publication number
KR102550491B1
KR102550491B1 KR1020210053985A KR20210053985A KR102550491B1 KR 102550491 B1 KR102550491 B1 KR 102550491B1 KR 1020210053985 A KR1020210053985 A KR 1020210053985A KR 20210053985 A KR20210053985 A KR 20210053985A KR 102550491 B1 KR102550491 B1 KR 102550491B1
Authority
KR
South Korea
Prior art keywords
augmented reality
space
devices
spatial information
session
Prior art date
Application number
KR1020210053985A
Other languages
Korean (ko)
Other versions
KR20220146980A (en
Inventor
최치원
최지웅
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210053985A priority Critical patent/KR102550491B1/en
Priority to PCT/KR2022/005819 priority patent/WO2022231223A1/en
Publication of KR20220146980A publication Critical patent/KR20220146980A/en
Application granted granted Critical
Publication of KR102550491B1 publication Critical patent/KR102550491B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 콘텐츠 플랫폼 시스템에 있어서, 상기 증강현실 콘텐츠가 제공되는 실내 공간 내에서 복수의 사용자가 각각 사용하는 복수의 증강현실 장치; 및 복수의 상기 증강현실 장치가 참여하여 증강현실 콘텐츠를 공유하되, 증강현실 공간, 가상 객체 및 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영하는 서버를 포함하며, 상기 서버는, 세션에 참여한 복수의 상기 증강현실 장치로부터, 상기 증강현실 장치가 상기 실내 공간 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간을 생성하는 공간 정보 통합부; 및 상기 공간 정보 통합부에서 생성한 증강현실 공간을 상기 증강현실 장치에 제공하되, 상기 증강현실 장치에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 상기 가상 객체 및 이벤트를 상기 세션에 참여한 복수의 상기 증강현실 장치에 공유하여 상호작용하는 증강현실 공유부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 따르면, 실내 공간 내에서 복수의 사용자가 사용하는 증강현실 장치가 인식한 공간 정보를 이용해 증강현실 공간을 생성하고, 생성한 증강현실 공간에서 가상 객체 및 이벤트 발생 정보 등을 복수의 증강현실 장치가 공유함으로써, 다수 사용자가 동시에 참여하여 증강현실 콘텐츠를 이용하면서 함께 상호작용을 할 수 있다.
또한, 본 발명에서 제안하고 있는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 따르면, 세션에 참여한 복수의 증강현실 장치가 실내 공간 내에서 인식한 공간 정보로 증강현실 공간을 생성하므로, 새로운 실내 공간에서도 사용자 간 상호작용이 가능한 증강현실 콘텐츠를 이용할 수 있다.The present invention relates to an augmented reality content platform system for multiple users in an indoor environment, and more specifically, to an augmented reality content platform system, which is used by a plurality of users in an indoor space where the augmented reality content is provided. of augmented reality device; And a server for operating an augmented reality content platform for sharing augmented reality content by participating in a plurality of the augmented reality devices, providing and synchronizing interactions between an augmented reality space, a virtual object, and a plurality of users, wherein the server Receives and stores spatial information acquired by recognizing surrounding objects in the indoor space from the plurality of augmented reality devices participating in the session, and compares and integrates the stored spatial information to augment the augmented reality space a spatial information integration unit that generates and providing the augmented reality space generated by the spatial information integrator to the augmented reality device, receiving virtual objects and event occurrence information generated by the augmented reality device, and transmitting the virtual objects and events to a plurality of parties participating in the session. It is characterized by its configuration to include an augmented reality sharing unit that shares and interacts with the augmented reality device.
According to the augmented reality content platform system for multiple users in an indoor environment and its operating method proposed in the present invention, an augmented reality space is created using space information recognized by an augmented reality device used by a plurality of users in an indoor space. And, by sharing a plurality of augmented reality devices, such as virtual objects and event occurrence information in the created augmented reality space, multiple users can participate at the same time and interact together while using augmented reality content.
In addition, according to the augmented reality content platform system for multiple users in an indoor environment and its operating method proposed in the present invention, a plurality of augmented reality devices participating in a session create an augmented reality space with spatial information recognized in an indoor space. Therefore, it is possible to use augmented reality contents capable of interaction between users even in a new indoor space.

Description

실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법{AR CONTENTS PLATFORM SYSTEM FOR MULTIPLE USERS IN INDOOR ENVIRONMENT AND ITS OPERATION METHOD}AR CONTENTS PLATFORM SYSTEM FOR MULTIPLE USERS IN INDOOR ENVIRONMENT AND ITS OPERATION METHOD}

본 발명은 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 관한 것으로서, 보다 구체적으로는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 관한 것이다.The present invention relates to an augmented reality content platform system and its operating method, and more particularly to an augmented reality content platform system for multiple users in an indoor environment and its operating method.

증강현실(augmented reality, AR)은 가상현실(VR)의 한 분야로 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.Augmented reality (AR) is a field of virtual reality (VR), which is a computer graphics technique that synthesizes virtual objects or information in an actual environment to make them look like objects in the original environment.

최근에는 페이스북의 ‘AR 스튜디오(ARStudio)’, 애플의 ‘AR 키트(AR Kit)’, 구글의 ‘AR 코어(AR Core)’ 등의 AR 플랫폼이 공개되면서, AR 콘텐츠를 제작할 수 있는 환경이 갖추어졌으며, 수준 높은 AR 콘텐츠에 대한 사용자들의 니즈도 높은 상태이다.Recently, with the release of AR platforms such as Facebook's 'ARStudio', Apple's 'AR Kit', and Google's 'AR Core', the environment in which AR contents can be created has been improved. and users' needs for high-quality AR content are also high.

그러나 기존의 AR 콘텐츠들은, 개인의 단방향 체험이나 3차원 영상 정보의 단순 결합 정도의 증강현실을 경험할 수 있을 뿐, 여러 사용자 사이의 상호작용을 지원하지 못하는 한계가 있다.However, existing AR contents have limitations in that they can only experience augmented reality at the degree of simple combination of individual unidirectional experience or 3D image information, but cannot support interaction between multiple users.

또한, 증강현실 제공을 위해 마커를 사용하거나, 해당 AR 콘텐츠가 개발된 특정 지역을 증강현실 공간으로 구성해 사용하므로, 특정 지역 내에서만 제한적으로 사용할 수 있어서 콘텐츠 활용성이 저하되는 한계가 있다.In addition, since a marker is used to provide augmented reality, or a specific area where the corresponding AR content is developed is configured and used as an augmented reality space, it can be used limitedly within a specific area, so there is a limit in reducing the usability of the content.

따라서 여러 사용자가 동시에 증강현실 콘텐츠를 이용하면서, 함께 상호작용을 할 수 있는 기술의 개발이 필요한 실정이다.Therefore, it is necessary to develop a technology that allows multiple users to interact with each other while using augmented reality content at the same time.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 실내 공간 내에서 복수의 사용자가 사용하는 증강현실 장치가 인식한 공간 정보를 이용해 증강현실 공간을 생성하고, 생성한 증강현실 공간에서 가상 객체 및 이벤트 발생 정보 등을 복수의 증강현실 장치가 공유함으로써, 다수 사용자가 동시에 참여하여 증강현실 콘텐츠를 이용하면서 함께 상호작용을 할 수 있는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and creates an augmented reality space using spatial information recognized by an augmented reality device used by a plurality of users in an indoor space, and creates an augmented reality space. Augmented reality for multiple users in an indoor environment where virtual objects and event occurrence information are shared by a plurality of augmented reality devices in an augmented reality space, allowing multiple users to participate simultaneously and interact while using augmented reality content. Its purpose is to provide a content platform system and its operating method.

또한, 본 발명은, 세션에 참여한 복수의 증강현실 장치가 실내 공간 내에서 인식한 공간 정보로 증강현실 공간을 생성하므로, 새로운 실내 공간에서도 사용자 간 상호작용이 가능한 증강현실 콘텐츠를 이용할 수 있는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention creates an augmented reality space with spatial information recognized in an indoor space by a plurality of augmented reality devices participating in the session, so that augmented reality content capable of interaction between users can be used even in a new indoor space, indoor Another object is to provide an augmented reality content platform system and its operating method for multiple users in an environment.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템은,An augmented reality content platform system for multiple users in an indoor environment according to the features of the present invention for achieving the above object is,

증강현실 콘텐츠 플랫폼 시스템에 있어서,In the augmented reality content platform system,

상기 증강현실 콘텐츠가 제공되는 실내 공간 내에서 복수의 사용자가 각각 사용하는 복수의 증강현실 장치; 및a plurality of augmented reality devices each used by a plurality of users in an indoor space where the augmented reality contents are provided; and

복수의 상기 증강현실 장치가 참여하여 증강현실 콘텐츠를 공유하되, 증강현실 공간, 가상 객체 및 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영하는 서버를 포함하며,A plurality of the augmented reality devices participate and share augmented reality content, including a server that operates an augmented reality content platform that provides and synchronizes interaction between an augmented reality space, a virtual object, and a plurality of users,

상기 서버는,The server,

세션에 참여한 복수의 상기 증강현실 장치로부터, 상기 증강현실 장치가 상기 실내 공간 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간을 생성하는 공간 정보 통합부; 및From the plurality of augmented reality devices participating in the session, the augmented reality device receives and stores spatial information obtained by recognizing surrounding objects in the indoor space, and compares and integrates the stored spatial information to create an augmented reality space. a spatial information integration unit; and

상기 공간 정보 통합부에서 생성한 증강현실 공간을 상기 증강현실 장치에 제공하되, 상기 증강현실 장치에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 상기 가상 객체 및 이벤트를 상기 세션에 참여한 복수의 상기 증강현실 장치에 공유하여 상호작용하는 증강현실 공유부를 포함하는 것을 그 구성상의 특징으로 한다.The augmented reality space generated by the space information integrator is provided to the augmented reality device, virtual objects generated by the augmented reality device and event generation information are received, and the virtual objects and events are transmitted to the plurality of devices participating in the session. It is characterized by its configuration to include an augmented reality sharing unit for sharing and interacting with an augmented reality device.

바람직하게는, 상기 공간 정보 통합부는,Preferably, the spatial information integration unit,

복수의 상기 증강현실 장치로부터 수신한 공간 정보에서 특징점을 추출하며, 서로 다른 증강현실 장치로부터 수신한 공간 정보에서 각각 추출한 특징점 중에서 유사도가 임계값 이상인 특징점을 기준으로 공간 정보를 통합할 수 있다.Characteristic points may be extracted from spatial information received from a plurality of augmented reality devices, and spatial information may be integrated based on feature points having a similarity equal to or greater than a threshold value among feature points extracted from spatial information received from different augmented reality devices.

바람직하게는, 상기 증강현실 공유부는,Preferably, the augmented reality sharing unit,

상기 증강현실 공간에서 상기 증강현실 장치의 위치를 추정하고, 추정한 위치를 기반으로 상기 증강현실 장치로부터 수신한 가상 객체 및 이벤트 발생 정보를 복수의 상기 증강현실 장치와 공유하는 것을 특징으로 하는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템.Estimating the location of the augmented reality device in the augmented reality space, and sharing virtual objects and event generation information received from the augmented reality device based on the estimated location with a plurality of the augmented reality devices, An augmented reality content platform system for multiple users in an environment.

더욱 바람직하게는, 상기 증강현실 공유부는,More preferably, the augmented reality sharing unit,

상기 추정한 상기 증강현실 장치의 위치를 기초로, 상기 증강현실 공간 내의 가상 객체의 위치를 산출하고, 상기 산출한 가상 객체의 위치를 상기 세션에 참여한 복수의 상기 증강현실 장치와 공유할 수 있다.Based on the estimated location of the augmented reality device, a location of a virtual object in the augmented reality space may be calculated, and the calculated location of the virtual object may be shared with a plurality of augmented reality devices participating in the session.

바람직하게는, 상기 증강현실 장치는,Preferably, the augmented reality device,

세션을 생성하는 제1 증강현실 장치와 상기 생성된 세션에 참여하는 적어도 하나 이상의 제2 증강현실 장치를 포함할 수 있다.It may include a first augmented reality device that creates a session and at least one or more second augmented reality devices that participate in the created session.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법은,A method for operating an augmented reality content platform system for multiple users in an indoor environment according to a feature of the present invention for achieving the above object is,

증강현실 콘텐츠 플랫폼 시스템 운영 방법으로서,As an augmented reality content platform system operation method,

상기 증강현실 콘텐츠가 제공되는 실내 공간 내에서 복수의 사용자가 각각 사용하는 복수의 증강현실 장치; 및a plurality of augmented reality devices each used by a plurality of users in an indoor space where the augmented reality contents are provided; and

복수의 상기 증강현실 장치가 참여하여 증강현실 콘텐츠를 공유하되, 증강현실 공간, 가상 객체 및 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영하는 서버를 포함하는 증강현실 콘텐츠 플랫폼 시스템에 의해 각 단계가 수행되며,An augmented reality content platform including a server that operates an augmented reality content platform in which a plurality of the augmented reality devices participate and share augmented reality content, providing and synchronizing interactions between an augmented reality space, a virtual object, and a plurality of users. Each step is performed by the system,

(1) 상기 서버가, 세션에 참여한 복수의 상기 증강현실 장치로부터, 상기 증강현실 장치가 상기 실내 공간 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간을 생성하는 단계; 및(1) The server receives and stores spatial information obtained by recognizing surrounding objects in the indoor space from the plurality of augmented reality devices participating in the session, compares the stored spatial information, and Integrating to create an augmented reality space; and

(2) 상기 서버가 상기 단계 (1)에서 생성한 증강현실 공간을 상기 세션에 참여한 복수의 증강현실 장치에 제공하되, 상기 증강현실 장치에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 상기 가상 객체 및 이벤트를 상기 세션에 참여한 복수의 상기 증강현실 장치에 공유하여 상호작용하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(2) The server provides the augmented reality space created in step (1) to a plurality of augmented reality devices participating in the session, receives virtual objects and event generation information generated by the augmented reality devices, and It is characterized in that it includes the step of sharing and interacting with a plurality of the augmented reality devices participating in the session with the object and event.

바람직하게는, 상기 단계 (1)은,Preferably, the step (1) is,

(1-1) 제1 증강현실 장치가 세션을 생성하는 단계;(1-1) generating a session by the first augmented reality device;

(1-2) 상기 제1 증강현실 장치와 같은 실내 공간에 있는 적어도 하나 이상의 제2 증강현실 장치가 상기 생성된 세션에 참여하는 단계;(1-2) at least one or more second augmented reality devices located in the same indoor space as the first augmented reality device participate in the created session;

(1-3) 상기 세션에 참여한 복수의 증강현실 장치(상기 제1 증강현실 장치 및 제2 증강현실 장치를 포함함)가 주위 사물을 인식하고 인식한 공간 정보를 저장하는 단계;(1-3) a plurality of augmented reality devices participating in the session (including the first augmented reality device and the second augmented reality device) recognizing surrounding objects and storing the recognized space information;

(1-4) 상기 서버가 복수의 상기 증강현실 장치로부터 상기 공간 정보를 수신해 저장하는 단계; 및(1-4) the server receiving and storing the space information from the plurality of augmented reality devices; and

(1-5) 상기 서버가 복수의 상기 증강현실 장치로부터 수신한 공간 정보를 비교 및 통합하여 상기 증강현실 공간 정보를 생성하는 단계를 포함하며,(1-5) generating the augmented reality spatial information by the server by comparing and integrating the spatial information received from the plurality of augmented reality devices;

상기 단계 (1-5)에서는,In the above step (1-5),

복수의 상기 증강현실 장치로부터 수신한 공간 정보에서 특징점을 추출하며, 서로 다른 증강현실 장치로부터 수신한 공간 정보에서 각각 추출한 특징점 중에서 유사도가 임계값 이상인 특징점을 기준으로 공간 정보를 통합할 수 있다.Characteristic points may be extracted from spatial information received from a plurality of augmented reality devices, and spatial information may be integrated based on feature points having a similarity equal to or greater than a threshold value among feature points extracted from spatial information received from different augmented reality devices.

더욱 바람직하게는, 상기 단계 (2)는,More preferably, the step (2) is,

(2-1) 상기 서버가 복수의 상기 증강현실 장치에 상기 증강현실 공간 및 증강현실 콘텐츠를 제공하는 단계;(2-1) providing, by the server, the augmented reality space and augmented reality content to a plurality of augmented reality devices;

(2-2) 상기 증강현실 장치가 상기 증강현실 공간 내에서 가상 객체를 생성하고 이벤트를 발생하는 단계;(2-2) generating a virtual object and generating an event in the augmented reality space by the augmented reality device;

(2-3) 상기 서버가 상기 증강현실 장치에서 생성된 가상 객체 및 이벤트 발생 정보를 수신하고, 상기 증강현실 공간에서 복수의 상기 증강현실 장치의 위치를 추정하는 단계; 및(2-3) receiving, by the server, the virtual object and event occurrence information generated by the augmented reality device, and estimating the locations of the plurality of augmented reality devices in the augmented reality space; and

(2-4) 상기 서버가 상기 단계 (2-3)에서 추정한 위치를 기반으로 상기 증강현실 장치로부터 수신한 가상 객체 및 이벤트 발생 정보를 상기 세션에 참여한 복수의 증강현실 장치와 공유하는 단계를 포함할 수 있다.(2-4) the server sharing the virtual object and event generation information received from the augmented reality device based on the location estimated in step (2-3) with a plurality of augmented reality devices participating in the session; can include

본 발명에서 제안하고 있는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 따르면, 실내 공간 내에서 복수의 사용자가 사용하는 증강현실 장치가 인식한 공간 정보를 이용해 증강현실 공간을 생성하고, 생성한 증강현실 공간에서 가상 객체 및 이벤트 발생 정보 등을 복수의 증강현실 장치가 공유함으로써, 다수 사용자가 동시에 참여하여 증강현실 콘텐츠를 이용하면서 함께 상호작용을 할 수 있다.According to the augmented reality content platform system for multiple users in an indoor environment and its operating method proposed in the present invention, an augmented reality space is created using space information recognized by an augmented reality device used by a plurality of users in an indoor space. And, by sharing a plurality of augmented reality devices, such as virtual objects and event occurrence information in the created augmented reality space, multiple users can participate at the same time and interact together while using augmented reality content.

또한, 본 발명에서 제안하고 있는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 따르면, 세션에 참여한 복수의 증강현실 장치가 실내 공간 내에서 인식한 공간 정보로 증강현실 공간을 생성하므로, 새로운 실내 공간에서도 사용자 간 상호작용이 가능한 증강현실 콘텐츠를 이용할 수 있다.In addition, according to the augmented reality content platform system for multiple users in an indoor environment and its operating method proposed in the present invention, a plurality of augmented reality devices participating in a session create an augmented reality space with spatial information recognized in an indoor space. Therefore, it is possible to use augmented reality contents capable of interaction between users even in a new indoor space.

도 1은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에 의해 증강현실이 제공되는 실내 환경의 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에서, 서버의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에서, 증강현실 장치와 서버의 동작 및 데이터 공유를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.1 is a diagram showing the configuration of an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention.
2 is a view showing, for example, an indoor environment in which augmented reality is provided by an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention.
3 is a diagram showing a detailed configuration of a server in an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention.
4 is a diagram illustrating operations and data sharing of an augmented reality device and a server in an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention.
5 is a diagram illustrating a flow of a method for operating an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention.
6 is a diagram showing a detailed flow of step S100 in the augmented reality content platform system operating method for multiple users in an indoor environment according to an embodiment of the present invention.
7 is a diagram showing a detailed flow of step S200 in the augmented reality content platform system operating method for multiple users in an indoor environment according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case where it is 'directly connected', but also the case where it is 'indirectly connected' with another element in between. include In addition, 'including' a certain component means that other components may be further included, rather than excluding other components unless otherwise specified.

도 1은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템은, 증강현실 콘텐츠가 제공되는 실내 공간(10) 내에서 복수의 사용자가 각각 사용하는 복수의 증강현실 장치(100) 및 복수의 증강현실 장치(100)가 참여하여 증강현실 콘텐츠와 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영하는 서버(200)를 포함하여 구성될 수 있다.1 is a diagram showing the configuration of an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention. As shown in FIG. 1, the augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention is used by a plurality of users in an indoor space 10 where augmented reality content is provided. A plurality of augmented reality devices 100 and a plurality of augmented reality devices 100 participate, including a server 200 that operates an augmented reality content platform that provides and synchronizes interaction between augmented reality content and a plurality of users can be configured.

도 2는 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에 의해 증강현실이 제공되는 실내 환경의 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에서는, 실내 공간(10)에서 세션에 참여한 다수의 사용자가 증강현실 장치(100)를 사용해 서로 상호작용하면서 증강현실 콘텐츠를 이용할 수 있다. 여기서, 증강현실 장치(100)는, 세션을 생성하는 제1 증강현실 장치(110)와 생성된 세션에 참여하는 적어도 하나 이상의 제2 증강현실 장치(120)를 포함할 수 있다.2 is a view showing, for example, an indoor environment in which augmented reality is provided by an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention. As shown in FIG. 2, in the augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention, a plurality of users participating in a session in an indoor space 10 use an augmented reality device 100. You can use augmented reality content while interacting with each other. Here, the augmented reality device 100 may include a first augmented reality device 110 generating a session and at least one second augmented reality device 120 participating in the created session.

본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템은, GPS 신호의 사용이나 외부의 증강현실 장치(100)의 참여가 제한되는 실내 환경을 고려한 것으로서, 제1 증강현실 장치(110)가 증강현실 콘텐츠 공유를 위한 세션을 생성하면, 적어도 하나 이상의 제2 증강현실 장치(120)가 생성된 세션에 참여함으로써, 복수의 증강현실 장치(100)(제1 증강현실 장치(110) 및 제2 증강현실 장치(120)를 포함함)가 위치와 자세에 최적화된 증강현실 콘텐츠를 제공받고 상호작용할 수 있다.An augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention considers an indoor environment in which the use of a GPS signal or the participation of an external augmented reality device 100 is restricted, and the first augmented reality When the device 110 creates a session for sharing augmented reality content, at least one or more second augmented reality devices 120 participate in the created session, so that the plurality of augmented reality devices 100 (the first augmented reality device ( 110) and the second augmented reality device 120) may receive augmented reality content optimized for a position and posture and interact with each other.

여기서, 증강현실 콘텐츠는, 증강현실이 제공되는 증강현실 공간(20) 정보, 가상 객체, 이벤트를 모두 포함하여 사용자에게 증강된 현실의 경험을 제공하는 것으로, 가상 객체와 이벤트 등을 통해 증강현실 콘텐츠와 사용자가 상호작용하며, 복수의 증강현실 장치(100)가 가상 객체와 이벤트 발생 정보 등을 서버(200)를 통해 실시간으로 공유하여, 복수의 사용자들이 상호작용할 수 있다.Here, the augmented reality content is to provide the user with an augmented reality experience by including all of the augmented reality space 20 information, virtual objects, and events in which augmented reality is provided, and augmented reality content through virtual objects and events. A user interacts with, and a plurality of augmented reality devices 100 share virtual objects and event generation information in real time through the server 200, so that a plurality of users can interact.

종래의 증강현실 콘텐츠는 개인의 단방향 체험이나 3차원 영상 정보의 단순 결합 정도가 제공될 뿐, 복수의 사용자 사이의 상호작용은 포함하지 못하였다. 본 발명에서는, 증강현실 콘텐츠가 제공되는 환경을 실내 공간(10)으로 제한하고, 세션에 참여한 사용자들이 사용하는 증강현실 장치(100)에 의해 인식한 실내 공간(10)을 증강현실 공간(20)으로 구성한 다음, 서버(200)를 통해 세션에 참여한 복수의 증강현실 장치(100)의 데이터를 공유함으로써, 여러 사용자가 상호작용할 수 있는 증강현실 콘텐츠를 제공할 수 있다.Conventional augmented reality content provides only a simple combination of individual unidirectional experience or 3D image information, but does not include interaction between a plurality of users. In the present invention, the environment in which augmented reality content is provided is limited to the indoor space 10, and the indoor space 10 recognized by the augmented reality device 100 used by users participating in the session is referred to as the augmented reality space 20. Then, by sharing the data of the plurality of augmented reality devices 100 participating in the session through the server 200, it is possible to provide augmented reality content with which several users can interact.

이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템을 구성하는 각 구성요소에 대해 상세히 설명하도록 한다.Hereinafter, with reference to FIGS. 1 and 2, each component constituting the augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention will be described in detail.

증강현실 장치(100)는, 증강현실 콘텐츠가 제공되는 실내 공간(10) 내에서 복수의 사용자가 각각 사용하는 장치로서, 복수일 수 있다. 여기서, 증강현실 장치(100)는, 디스플레이, 카메라, 센서 모듈, 통신 모듈 등을 포함하여 증강현실을 출력할 수 있는 장치로서, 스마트폰, 태블릿(tablet) PC(personal computer), 머리착용형 장치(HMD, head-mounted-device), 스마트 글라스(smart glasses) 등 각종 전자 장치로 구현될 수 있다.The augmented reality device 100 is a device each used by a plurality of users within the indoor space 10 where augmented reality content is provided, and may be plural. Here, the augmented reality device 100 is a device capable of outputting augmented reality including a display, a camera, a sensor module, a communication module, and the like, such as a smartphone, a tablet PC (personal computer), and a head-wearing device. (HMD, head-mounted-device), and can be implemented in various electronic devices such as smart glasses.

보다 구체적으로, 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.More specifically, the electronic device includes a smartphone, a tablet PC (personal computer), a mobile phone, a video phone, an e-book reader, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device. device), and the wearable device is an accessory type (eg, watch, ring, bracelet, anklet, necklace, glasses, contact lens, or head-mounted-device (HMD), textile Alternatively, it may include at least one of a clothing-integrated type (eg, electronic clothing), a body-attached type (eg, a skin pad or tattoo), or a bio-implantable circuit. The electronic device is not limited to the above devices, and may be a combination of two or more of the above various devices.

서버(200)는, 복수의 증강현실 장치(100)가 참여하여 증강현실 콘텐츠를 공유하되, 증강현실 공간(20), 가상 객체 및 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영할 수 있다. 여기서, 증강현실 콘텐츠 플랫폼은, 여러 증강현실 장치(100)의 접속을 허용하고 세션 생성 및 참여, 증강현실 콘텐츠의 생성, 업로드, 이용, 편집 등을 할 수 있도록 각종 인터페이스를 제공할 수 있다. 이하에서는, 도 3을 참조하여 서버(200)의 세부적인 구성에 대해 상세히 설명하도록 한다.The server 200 is an augmented reality content platform in which a plurality of augmented reality devices 100 participate and share augmented reality content, providing and synchronizing interactions between the augmented reality space 20, virtual objects, and a plurality of users. can operate. Here, the augmented reality content platform may provide various interfaces to permit connection of various augmented reality devices 100 and to create and participate in sessions, create, upload, use, edit, and the like, augmented reality content. Hereinafter, a detailed configuration of the server 200 will be described in detail with reference to FIG. 3 .

도 3은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에서, 서버(200)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템의 서버(200)는, 공간 정보 통합부(210) 및 증강현실 공유부(220)를 포함하여 구성될 수 있다.3 is a diagram showing a detailed configuration of a server 200 in an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention. As shown in FIG. 3, the server 200 of the augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention includes a spatial information integration unit 210 and an augmented reality sharing unit 220 It can be configured to include.

도 4는 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템에서, 증강현실 장치(100)와 서버(200)의 동작 및 데이터 공유를 설명하기 위해 도시한 도면이다. 이하에서는, 도 3 및 도 4를 참고하여 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템의 서버(200)를 구성하는 각 구성요소에 대해 상세히 설명하도록 한다.4 is a diagram illustrating operations and data sharing of the augmented reality device 100 and the server 200 in the augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention. Hereinafter, each component constituting the server 200 of the augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention will be described in detail with reference to FIGS. 3 and 4 .

공간 정보 통합부(210)는, 세션에 참여한 복수의 증강현실 장치(100)로부터, 증강현실 장치(100)가 실내 공간(10) 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간(20)을 생성할 수 있다. 즉, 제1 증강현실 장치(110)와 제2 증강현실 장치(120)가 각각 인식한 공간 정보를 저장, 비교 및 통합할 수 있다.The spatial information integrator 210 receives and stores spatial information obtained by the augmented reality device 100 recognizing surrounding objects in the indoor space 10 from the plurality of augmented reality devices 100 participating in the session, and stores the space information. , It is possible to create an augmented reality space 20 by comparing and integrating stored spatial information. That is, spatial information recognized by the first augmented reality device 110 and the second augmented reality device 120 may be stored, compared, and integrated.

여기서, 공간 정보는 증강현실 장치(100)에 구비된 카메라로 수집한 이미지나 동영상, 라이다 센서로 수집한 정보 등을 포함할 수 있다. 이와 같이 증강현실 장치(100)에서 사물 인식을 통해 획득한 공간 정보는 각 증강현실 장치(100)의 위치와 방향 등에 의존하므로, 실내 공간(10) 내에서 각각의 증강현실 장치(100)로부터 수신한 공간 정보는 같은 사물에 대한 정보라도 서로 다를 수 있는데, 공간 정보 통합부(210)는 이같이 서로 다른 공간 정보를 비교하고 통합해 증강현실 공간(20)을 생성할 수 있다.Here, the space information may include images or videos collected by a camera provided in the augmented reality device 100, information collected by a LIDAR sensor, and the like. In this way, spatial information obtained through object recognition in the augmented reality device 100 depends on the position and direction of each augmented reality device 100, and thus is received from each augmented reality device 100 within the indoor space 10. One piece of spatial information may be different from each other even if it is information about the same object, and the spatial information integrator 210 may generate the augmented reality space 20 by comparing and integrating the different spatial information.

보다 구체적으로, 공간 정보 통합부(210)는, 복수의 증강현실 장치(100)로부터 수신한 공간 정보에서 특징점을 추출하며, 서로 다른 증강현실 장치(100)로부터 수신한 공간 정보에서 각각 추출한 특징점 중에서 유사도가 임계값 이상인 특징점을 기준으로 공간 정보를 통합할 수 있다. 즉, 도 2에 도시된 바와 같이, 제1 증강현실 장치(110)와 제2 증강현실 장치(120)에서 인식한 공간 정보 중 공통점이 많은 특징점을 기준으로 공간 정보를 통합해 실내 공간(10)에 대한 증강현실 월드 맵을 생성할 수 있다. 이렇게 생성한 증강현실 월드 맵이 증강현실 공간(20)이 된다.More specifically, the spatial information integration unit 210 extracts feature points from spatial information received from a plurality of augmented reality devices 100, and among the feature points extracted from spatial information received from different augmented reality devices 100, respectively. Spatial information may be integrated based on a feature point having a similarity greater than or equal to a threshold value. That is, as shown in FIG. 2 , the indoor space 10 is created by integrating spatial information based on feature points that have many features in common among the spatial information recognized by the first augmented reality device 110 and the second augmented reality device 120. You can create an augmented reality world map for The augmented reality world map thus generated becomes the augmented reality space 20 .

한편, 공간 정보 통합부(210)는, 공간 정보에서 특징점을 추출하고 공간 정보를 통합하기 위해 인공지능 기반의 사물 인식(object detection) 기술, 영상 정합(Image registration) 기술 등을 사용할 수 있다.Meanwhile, the spatial information integration unit 210 may use artificial intelligence-based object detection technology, image registration technology, and the like to extract feature points from spatial information and integrate the spatial information.

증강현실 공유부(220)는, 공간 정보 통합부(210)에서 생성한 증강현실 공간(20)을 증강현실 장치(100)에 제공하되, 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 가상 객체 및 이벤트를 세션에 참여한 복수의 증강현실 장치(100)에 공유하여 상호작용할 수 있다. 즉, 증강현실 공유부(220)는 세션에 참여한 복수의 증강현실 장치(100)가 증강현실 콘텐츠와 함께 상호작용할 수 있도록, 가상 객체, 위치, 이벤트 등을 공유할 수 있다.The augmented reality sharing unit 220 provides the augmented reality space 20 generated by the spatial information integration unit 210 to the augmented reality device 100, but generates virtual objects and events generated by the augmented reality device 100. Information may be received, and virtual objects and events may be shared and interacted with a plurality of augmented reality devices 100 participating in the session. That is, the augmented reality sharing unit 220 may share virtual objects, locations, events, and the like so that the plurality of augmented reality devices 100 participating in the session can interact with augmented reality content.

보다 구체적으로, 도 4에 도시된 바와 같이 증강현실 공유를 위해, 서버(200)는 공간 정보 통합부(210)에서 생성한 증강현실 공간(20)을 복수의 증강현실 장치(100)에 제공하며, 증강현실 장치(100)에서 증강현실 콘텐츠를 이용하면서 생성한 가상 객체와 이벤트 발생에 대한 정보를 증강현실 공유부(220)가 수신할 수 있다.More specifically, as shown in FIG. 4, for augmented reality sharing, the server 200 provides the augmented reality space 20 generated by the spatial information integrator 210 to a plurality of augmented reality devices 100, , The augmented reality sharing unit 220 may receive virtual objects generated while using augmented reality content in the augmented reality device 100 and information about event occurrence.

증강현실 공유부(220)는, 증강현실 공간(20)에서 증강현실 장치(100)의 위치를 추정하고, 추정한 위치를 기반으로 증강현실 장치(100)로부터 수신한 가상 객체 및 이벤트 발생 정보를 복수의 증강현실 장치(100)와 공유할 수 있다. 또한, 증강현실 공유부(220)는, 추정한 증강현실 장치(100)의 위치를 기초로, 증강현실 공간(20) 내의 가상 객체의 위치를 산출하고, 산출한 가상 객체의 위치를 세션에 참여한 복수의 증강현실 장치(100)와 공유할 수 있다.The augmented reality sharing unit 220 estimates the location of the augmented reality device 100 in the augmented reality space 20, and the virtual object and event generation information received from the augmented reality device 100 based on the estimated location. It can be shared with a plurality of augmented reality devices (100). In addition, the augmented reality sharing unit 220 calculates the position of the virtual object in the augmented reality space 20 based on the estimated position of the augmented reality device 100, and the calculated position of the virtual object participates in the session. It can be shared with a plurality of augmented reality devices (100).

여기서, 증강현실 장치(100)의 위치는, 증강현실 장치(100)에 구비된 IMU 센서와 카메라에서 수집된 데이터 등을 사용해 추정할 수 있으며, IMU 센서에서 수집된 자세 정보 등을 사용해 GPS나 통신망 등을 사용한 위치 추적이 불가능한 실내 환경에서도 정밀하게 증강현실 장치(100)의 위치를 추정할 수 있다. 실시예에 따라서는, RF 신호나 비콘 신호를 이용한 실내 측위 기술을 사용할 수도 있다.Here, the location of the augmented reality device 100 can be estimated using data collected from the IMU sensor and camera provided in the augmented reality device 100, and the position information collected from the IMU sensor can be used to estimate GPS or communication networks. The location of the augmented reality device 100 can be precisely estimated even in an indoor environment where location tracking using a lamp is impossible. Depending on embodiments, an indoor positioning technique using an RF signal or a beacon signal may be used.

이와 같이, 증강현실 공유부(220)가 실시간으로 객체, 위치 및 이벤트를 복수의 증강현실 장치(100)에 공유함으로써, 단방향 체험이나 개인 경험이 아닌, 복수의 사용자가 함께 상호작용하면서 하나의 증강현실 콘텐츠를 경험할 수 있다.In this way, the augmented reality sharing unit 220 shares objects, locations, and events with the plurality of augmented reality devices 100 in real time, so that a plurality of users interact together, rather than a one-way experience or personal experience, to create one augmented reality. You can experience real content.

도 5는 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법은, 증강현실 콘텐츠 플랫폼 시스템에 의해 각 단계가 수행되며, 증강현실 공간(20)을 생성하는 단계(S100) 및 증강현실 공간(20)을 증강현실 장치(100)에 제공하고, 가상 객체 및 이벤트를 세션에 참여한 복수의 증강현실 장치(100)에 공유하여 상호작용하는 단계(S200)를 포함하여 구현될 수 있다.5 is a diagram illustrating a flow of a method for operating an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention. As shown in FIG. 5, in the method for operating an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention, each step is performed by the augmented reality content platform system, and the augmented reality space (20 ) Generating (S100) and providing the augmented reality space 20 to the augmented reality device 100, and sharing virtual objects and events with a plurality of augmented reality devices 100 participating in the session to interact with each other ( S200) may be implemented.

본 발명은 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법에 관한 것으로서, 본 발명의 특징에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법은, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버(200) 컴퓨터, PDA, 스마트폰, 태블릿 PC 등에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.The present invention relates to a method for operating an augmented reality content platform system for multiple users in an indoor environment. It can be configured with recorded software. For example, the augmented reality content platform system operating method for multiple users in an indoor environment of the present invention may be stored and implemented in a personal computer, a notebook computer, a server 200 computer, a PDA, a smartphone, a tablet PC, etc. In the following, for convenience of explanation, the subject performing each step may be omitted.

단계 S100에서는, 서버(200)가, 세션에 참여한 복수의 증강현실 장치(100)로부터, 증강현실 장치(100)가 실내 공간(10) 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간(20)을 생성할 수 있다. 이하에서는, 도 6을 참조하여 단계 S100의 세부적인 구성에 대해 상세히 설명하도록 한다.In step S100, the server 200 receives and stores spatial information obtained by the augmented reality device 100 recognizing surrounding objects in the indoor space 10 from the plurality of augmented reality devices 100 participating in the session and storing the space information. And, it is possible to create an augmented reality space 20 by comparing and integrating the stored spatial information. Hereinafter, the detailed configuration of step S100 will be described in detail with reference to FIG. 6 .

도 6은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법의 단계 S100은, 제1 증강현실 장치(110)가 세션을 생성하는 단계(S110), 제1 증강현실 장치(110)와 같은 실내 공간(10)에 있는 적어도 하나 이상의 제2 증강현실 장치(120)가 생성된 세션에 참여하는 단계(S120), 세션에 참여한 복수의 증강현실 장치(100)가 주위 사물을 인식하고 인식한 공간 정보를 저장하는 단계(S130), 서버(200)가 복수의 증강현실 장치(100)로부터 공간 정보를 수신해 저장하는 단계(S140) 및 서버(200)가 복수의 증강현실 장치(100)로부터 수신한 공간 정보를 비교 및 통합하여 증강현실 공간(20) 정보를 생성하는 단계(S150)를 포함하여 구현될 수 있다.6 is a diagram showing a detailed flow of step S100 in the augmented reality content platform system operating method for multiple users in an indoor environment according to an embodiment of the present invention. As shown in FIG. 6, in step S100 of the method for operating an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention, the first augmented reality device 110 creates a session ( S110), a step of participating in a session in which at least one or more second augmented reality devices 120 in the same indoor space 10 as the first augmented reality device 110 are created (S120), a plurality of augmented reality participants participating in the session The device 100 recognizing surrounding objects and storing the recognized spatial information (S130), the server 200 receiving and storing spatial information from the plurality of augmented reality devices 100 (S140), and the server ( 200) may be implemented including a step of generating augmented reality space 20 information by comparing and integrating spatial information received from a plurality of augmented reality devices 100 (S150).

단계 S110에서는, 제1 증강현실 장치(110)가 세션을 생성할 수 있다. 즉, 도 4에 도시된 바와 같이, 실내 공간(10)에 있는 복수의 증강현실 장치(100) 중에서 제1 증강현실 장치(110)가 증강현실 콘텐츠 공유를 위한 세션을 생성할 수 있다.In step S110, the first augmented reality device 110 may create a session. That is, as shown in FIG. 4 , the first augmented reality device 110 among the plurality of augmented reality devices 100 in the indoor space 10 may create a session for sharing augmented reality content.

단계 S120에서는, 제1 증강현실 장치(110)와 같은 실내 공간(10)에 있는 적어도 하나 이상의 제2 증강현실 장치(120)가 생성된 세션에 참여할 수 있다. 증강현실 콘텐츠 공유를 위한 세션에 참여하면, 세션을 통해 서버(200)와 데이터 통신을 할 수 있다.In step S120, at least one or more second augmented reality devices 120 in the same indoor space 10 as the first augmented reality device 110 may participate in the created session. When participating in a session for sharing augmented reality content, data communication with the server 200 may be performed through the session.

단계 S130에서는, 세션에 참여한 복수의 증강현실 장치(100)(제1 증강현실 장치(110) 및 제2 증강현실 장치(120)를 포함함)가 주위 사물을 인식하고 인식한 공간 정보를 저장할 수 있다. 여기서, 주위 사물을 인식해 공간 정보를 획득하기 위해서, 증강현실 장치(100)에 구비된 각종 센서를 사용할 수 있으며, 인공지능 기반의 사물 인식 모델을 사용할 수도 있다.In step S130, the plurality of augmented reality devices 100 participating in the session (including the first augmented reality device 110 and the second augmented reality device 120) may recognize surrounding objects and store the recognized space information. there is. Here, in order to acquire spatial information by recognizing surrounding objects, various sensors provided in the augmented reality device 100 may be used, and an artificial intelligence-based object recognition model may be used.

단계 S140에서는, 서버(200)가 복수의 증강현실 장치(100)로부터 공간 정보를 수신해 저장할 수 있다. 증강현실 장치(100)가 획득한 공간 정보를 서버(200)에 송신하면, 서버(200)는 복수의 증강현실 장치(100)들로부터 수신한 공간 정보를 세션별로 저장할 수 있다.In step S140, the server 200 may receive and store spatial information from the plurality of augmented reality devices 100. When the augmented reality device 100 transmits the acquired spatial information to the server 200, the server 200 may store the spatial information received from the plurality of augmented reality devices 100 for each session.

단계 S150에서는, 서버(200)가 복수의 증강현실 장치(100)로부터 수신한 공간 정보를 비교 및 통합하여 증강현실 공간(20) 정보를 생성할 수 있다. 즉, 세션별로 저장된 공간 정보를 서로 비교 및 통합해 실내 공간(10)에 대한 증강현실 공간(20) 정보를 생성할 수 있다.In step S150 , the server 200 may generate augmented reality space 20 information by comparing and integrating space information received from a plurality of augmented reality devices 100 . That is, augmented reality space 20 information for the indoor space 10 may be generated by comparing and integrating space information stored for each session.

보다 구체적으로, 단계 S150에서는, 복수의 증강현실 장치(100)로부터 수신한 공간 정보에서 특징점을 추출하며, 서로 다른 증강현실 장치(100)로부터 수신한 공간 정보에서 각각 추출한 특징점 중에서 유사도가 임계값 이상인 특징점을 기준으로 공간 정보를 통합할 수 있다.More specifically, in step S150, feature points are extracted from spatial information received from a plurality of augmented reality devices 100, and similarities among feature points extracted from spatial information received from different augmented reality devices 100 are equal to or greater than a threshold value. Spatial information can be integrated based on feature points.

단계 S200에서는, 서버(200)가 단계 S100에서 생성한 증강현실 공간(20)을 세션에 참여한 복수의 증강현실 장치(100)에 제공하되, 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 가상 객체 및 이벤트를 세션에 참여한 복수의 증강현실 장치(100)에 공유하여 상호작용할 수 있다. 이하에서는, 도 7을 참조하여 단계 S200의 세부적인 구성에 대해 상세히 설명하도록 한다.In step S200, the server 200 provides the augmented reality space 20 created in step S100 to a plurality of augmented reality devices 100 participating in the session, but virtual objects and events generated in the augmented reality devices 100 occur. Information may be received, and virtual objects and events may be shared and interacted with a plurality of augmented reality devices 100 participating in the session. Hereinafter, the detailed configuration of step S200 will be described in detail with reference to FIG. 7 .

도 7은 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법의 단계 S200은, 서버(200)가 복수의 증강현실 장치(100)에 증강현실 공간(20) 및 증강현실 콘텐츠를 제공하는 단계(S210), 증강현실 장치(100)가 증강현실 공간(20) 내에서 가상 객체를 생성하고 이벤트를 발생하는 단계(S220), 서버(200)가 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신하고, 증강현실 공간(20)에서 복수의 증강현실 장치(100)의 위치를 추정하는 단계(S230) 및 서버(200)가 추정한 위치를 기반으로 증강현실 장치(100)로부터 수신한 가상 객체 및 이벤트 발생 정보를 세션에 참여한 복수의 증강현실 장치(100)와 공유하는 단계(S240)를 포함하여 구현될 수 있다.7 is a diagram showing a detailed flow of step S200 in the augmented reality content platform system operating method for multiple users in an indoor environment according to an embodiment of the present invention. As shown in FIG. 7 , in step S200 of the method for operating an augmented reality content platform system for multiple users in an indoor environment according to an embodiment of the present invention, the server 200 is augmented with a plurality of augmented reality devices 100. Step of providing the real space 20 and augmented reality content (S210), step of the augmented reality device 100 generating a virtual object and generating an event in the augmented reality space 20 (S220), server 200 A step (S230) of receiving the virtual object and event occurrence information generated by the augmented reality device 100 and estimating the locations of the plurality of augmented reality devices 100 in the augmented reality space 20 and the server 200 It may be implemented by including sharing the virtual object and event occurrence information received from the augmented reality device 100 based on the estimated location with the plurality of augmented reality devices 100 participating in the session (S240).

단계 S210에서는, 서버(200)가 복수의 증강현실 장치(100)에 증강현실 공간(20) 및 증강현실 콘텐츠를 제공할 수 있다. 즉, 단계 S210에서는, 세션에 참여한 제1 증강현실 장치(110)와 제2 증강현실 장치(120)에 증강현실 콘텐츠를 제공할 수 있다.In step S210, the server 200 may provide the augmented reality space 20 and augmented reality content to the plurality of augmented reality devices 100. That is, in step S210, augmented reality content may be provided to the first augmented reality device 110 and the second augmented reality device 120 participating in the session.

단계 S220에서는, 증강현실 장치(100)가 증강현실 공간(20) 내에서 가상 객체를 생성하고 이벤트를 발생할 수 있다. 즉, 증강현실 콘텐츠를 이용하면서, 증강현실 장치(100)에서는 가상 객체를 생성하고 이벤트를 발생하며, 사용자와 상호작용을 할 수 있다.In step S220, the augmented reality device 100 may generate a virtual object and generate an event within the augmented reality space 20. That is, while using augmented reality content, the augmented reality device 100 can generate virtual objects, generate events, and interact with users.

단계 S230에서는, 서버(200)가 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신하고, 증강현실 공간(20)에서 복수의 증강현실 장치(100)의 위치를 추정할 수 있다. 즉, 서버(200)는 세션에 참여한 증강현실 장치(100)들로부터 가상 객체 및 이벤트 발생 정보를 실시간으로 수신하고, 센서나 가상 객체 정보 등을 사용해 증강현실 장치(100)의 위치와 가상 객체의 위치를 추정하고 저장할 수 있다.In step S230, the server 200 may receive the virtual object and event generation information generated by the augmented reality device 100, and estimate the locations of the plurality of augmented reality devices 100 in the augmented reality space 20. . That is, the server 200 receives virtual object and event generation information from the augmented reality devices 100 participating in the session in real time, and uses sensors or virtual object information to determine the position of the augmented reality device 100 and the virtual object. Location can be estimated and stored.

단계 S240에서는, 서버(200)가 단계 S230에서 추정한 위치를 기반으로 증강현실 장치(100)로부터 수신한 가상 객체 및 이벤트 발생 정보를 세션에 참여한 복수의 증강현실 장치(100)와 공유할 수 있다. 즉, 단계 S240에서는, 세션에 참여한 복수의 증강현실 장치(100)들이 가상 객체와 이벤트를 공유하여, 하나의 증강현실 콘텐츠를 함께 경험하고 상호작용하도록 할 수 있다.In step S240, the server 200 may share the virtual object and event generation information received from the augmented reality device 100 based on the location estimated in step S230 with the plurality of augmented reality devices 100 participating in the session. . That is, in step S240, the plurality of augmented reality devices 100 participating in the session may share virtual objects and events to experience and interact with one augmented reality content together.

전술한 바와 같이, 본 발명에서 제안하고 있는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 따르면, 실내 공간(10) 내에서 복수의 사용자가 사용하는 증강현실 장치(100)가 인식한 공간 정보를 이용해 증강현실 공간(20)을 생성하고, 생성한 증강현실 공간(20)에서 가상 객체 및 이벤트 발생 정보 등을 복수의 증강현실 장치(100)가 공유함으로써, 다수 사용자가 동시에 참여하여 증강현실 콘텐츠를 이용하면서 함께 상호작용을 할 수 있다.As described above, according to the augmented reality content platform system for multiple users in an indoor environment and its operating method proposed in the present invention, the augmented reality device 100 used by a plurality of users in the indoor space 10 By using the recognized spatial information, an augmented reality space 20 is created, and a plurality of augmented reality devices 100 share virtual objects and event occurrence information in the created augmented reality space 20, so that multiple users participate simultaneously. You can interact with each other while using augmented reality content.

또한, 본 발명에서 제안하고 있는 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 및 그 운영 방법에 따르면, 세션에 참여한 복수의 증강현실 장치(100)가 실내 공간(10) 내에서 인식한 공간 정보로 증강현실 공간(20)을 생성하므로, 새로운 실내 공간(10)에서도 사용자 간 상호작용이 가능한 증강현실 콘텐츠를 이용할 수 있다.In addition, according to the augmented reality content platform system for multiple users in an indoor environment and its operating method proposed in the present invention, spatial information recognized by a plurality of augmented reality devices 100 participating in a session within the indoor space 10 Since the augmented reality space 20 is created, augmented reality content capable of interaction between users can be used even in the new indoor space 10 .

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals. For example, computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD_ROMs and DVDs, and floptical disks. It may include hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such computer-readable media may include program instructions, data files, data structures, etc. alone or in combination. At this time, program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and usable to those skilled in computer software. For example, it may include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes generated by a compiler.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be variously modified or applied by those skilled in the art to which the present invention belongs, and the scope of the technical idea according to the present invention should be defined by the claims below.

10: 실내 공간
20: 증강현실 공간
100: 증강현실 장치
110: 제1 증강현실 장치
120: 제2 증강현실 장치
200: 서버
210: 공간 정보 통합부
220: 증강현실 공유부
S100: 증강현실 공간을 생성하는 단계
S110: 제1 증강현실 장치가 세션을 생성하는 단계
S120: 제1 증강현실 장치와 같은 실내 공간에 있는 적어도 하나 이상의 제2 증강현실 장치가 생성된 세션에 참여하는 단계
S130: 세션에 참여한 복수의 증강현실 장치가 주위 사물을 인식하고 인식한 공간 정보를 저장하는 단계
S140: 서버가 복수의 증강현실 장치로부터 공간 정보를 수신해 저장하는 단계
S150: 서버가 복수의 증강현실 장치로부터 수신한 공간 정보를 비교 및 통합하여 증강현실 공간 정보를 생성하는 단계
S200: 증강현실 공간을 증강현실 장치에 제공하고, 가상 객체 및 이벤트를 세션에 참여한 복수의 증강현실 장치에 공유하여 상호작용하는 단계
S210: 서버가 복수의 증강현실 장치에 증강현실 공간 및 증강현실 콘텐츠를 제공하는 단계
S220: 증강현실 장치가 증강현실 공간 내에서 가상 객체를 생성하고 이벤트를 발생하는 단계
S230: 서버가 증강현실 장치에서 생성된 가상 객체 및 이벤트 발생 정보를 수신하고, 증강현실 공간에서 복수의 증강현실 장치의 위치를 추정하는 단계
S240: 서버가 추정한 위치를 기반으로 증강현실 장치로부터 수신한 가상 객체 및 이벤트 발생 정보를 세션에 참여한 복수의 증강현실 장치와 공유하는 단계10: Indoor space
20: augmented reality space
100: augmented reality device
110: first augmented reality device
120: second augmented reality device
200: server
210: spatial information integration unit
220: augmented reality sharing unit
S100: Step of creating an augmented reality space
S110: Step of creating a session by the first augmented reality device
S120: Participating in a session created by at least one second augmented reality device in the same indoor space as the first augmented reality device
S130: A plurality of augmented reality devices participating in the session recognizing surrounding objects and storing the recognized spatial information
S140: Server receiving and storing spatial information from a plurality of augmented reality devices
S150: step of generating augmented reality spatial information by comparing and integrating spatial information received from a plurality of augmented reality devices by the server
S200: step of providing an augmented reality space to an augmented reality device and sharing virtual objects and events with a plurality of augmented reality devices participating in the session to interact with each other
S210: Server providing augmented reality space and augmented reality content to a plurality of augmented reality devices
S220: step of the augmented reality device generating a virtual object and generating an event in the augmented reality space
S230: Step of the server receiving the virtual object and event generation information generated by the augmented reality device, and estimating the location of a plurality of augmented reality devices in the augmented reality space
S240: Step of sharing the virtual object and event generation information received from the augmented reality device based on the location estimated by the server with a plurality of augmented reality devices participating in the session

Claims (8)

증강현실 콘텐츠 플랫폼 시스템에 있어서,
상기 증강현실 콘텐츠가 제공되는 실내 공간(10) 내에서 복수의 사용자가 각각 사용하는 복수의 증강현실 장치(100); 및
복수의 상기 증강현실 장치(100)가 참여하여 증강현실 콘텐츠를 공유하되, 증강현실 공간(20), 가상 객체 및 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영하는 서버(200)를 포함하며,
상기 증강현실 콘텐츠 플랫폼은,
여러 증강현실 장치(100)의 접속을 허용하고 세션 생성 및 참여, 증강현실 콘텐츠의 생성, 업로드, 이용 및 편집을 할 수 있도록 인터페이스를 제공하는 플랫폼이며,
상기 서버(200)는,
세션에 참여한 복수의 상기 증강현실 장치(100)로부터, 상기 증강현실 장치(100)가 상기 실내 공간(10) 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간(20)을 생성하는 공간 정보 통합부(210); 및
상기 공간 정보 통합부(210)에서 생성한 증강현실 공간(20)을 상기 증강현실 장치(100)에 제공하되, 상기 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 상기 가상 객체 및 이벤트를 상기 세션에 참여한 복수의 상기 증강현실 장치(100)에 공유하여 상호작용하는 증강현실 공유부(220)를 포함하며,
상기 공간 정보는,
상기 증강현실 장치(100)에 구비된 카메라로 수집한 이미지나 동영상, 및 라이다 센서로 수집한 정보를 포함하고,
상기 공간 정보 통합부(210)는,
복수의 상기 증강현실 장치(100)로부터 수신한 공간 정보에서 특징점을 추출하며, 서로 다른 증강현실 장치(100)로부터 수신한 공간 정보에서 각각 추출한 특징점 중에서 유사도가 임계값 이상인 특징점을 기준으로 공간 정보를 통합하여, 상기 실내 공간(10)에 대한 증강현실 월드 맵을 생성하며, 생성한 증강현실 월드 맵이 상기 증강현실 공간(20)이 되며,
상기 증강현실 장치(100)는,
세션을 생성하는 제1 증강현실 장치(110)와 상기 생성된 세션에 참여하는 적어도 하나 이상의 제2 증강현실 장치(120)를 포함하는 것을 특징으로 하는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템.
In the augmented reality content platform system,
a plurality of augmented reality devices 100 each used by a plurality of users within the indoor space 10 where the augmented reality contents are provided; and
A server operating an augmented reality content platform in which a plurality of the augmented reality devices 100 participate and share augmented reality content, providing and synchronizing interactions between the augmented reality space 20, virtual objects, and a plurality of users ( 200),
The augmented reality content platform,
A platform that allows access to multiple augmented reality devices 100 and provides an interface to create, participate in, create, upload, use, and edit augmented reality content,
The server 200,
From the plurality of augmented reality devices 100 participating in the session, the augmented reality device 100 receives and stores spatial information obtained by recognizing surrounding objects in the indoor space 10, and stores the stored spatial information Spatial information integrator 210 for generating an augmented reality space 20 by comparing and integrating; and
The augmented reality space 20 generated by the space information integrator 210 is provided to the augmented reality device 100, and virtual objects and event occurrence information generated by the augmented reality device 100 are received. It includes an augmented reality sharing unit 220 that shares virtual objects and events with the plurality of augmented reality devices 100 participating in the session and interacts with them,
The spatial information,
Including images or videos collected by a camera provided in the augmented reality device 100, and information collected by a lidar sensor,
The spatial information integration unit 210,
Characteristic points are extracted from the spatial information received from the plurality of augmented reality devices 100, and spatial information is obtained based on the feature points having a similarity equal to or greater than a threshold value among the feature points extracted from the spatial information received from different augmented reality devices 100. By integrating, an augmented reality world map for the indoor space 10 is created, and the generated augmented reality world map becomes the augmented reality space 20,
The augmented reality device 100,
Characterized in that it includes a first augmented reality device 110 for creating a session and at least one or more second augmented reality devices 120 participating in the created session, an augmented reality content platform for multiple users in an indoor environment. system.
 삭제delete 제1항에 있어서, 상기 증강현실 공유부(220)는,
상기 증강현실 공간(20)에서 상기 증강현실 장치(100)의 위치를 추정하고, 추정한 위치를 기반으로 상기 증강현실 장치(100)로부터 수신한 가상 객체 및 이벤트 발생 정보를 복수의 상기 증강현실 장치(100)와 공유하는 것을 특징으로 하는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템.
The method of claim 1, wherein the augmented reality sharing unit 220,
The location of the augmented reality device 100 is estimated in the augmented reality space 20, and based on the estimated location, virtual objects and event generation information received from the augmented reality device 100 are stored in a plurality of the augmented reality devices. Characterized in sharing with (100), augmented reality content platform system for multiple users in an indoor environment.
 제3항에 있어서, 상기 증강현실 공유부(220)는,
상기 추정한 상기 증강현실 장치(100)의 위치를 기초로, 상기 증강현실 공간(20) 내의 가상 객체의 위치를 산출하고, 상기 산출한 가상 객체의 위치를 상기 세션에 참여한 복수의 상기 증강현실 장치(100)와 공유하는 것을 특징으로 하는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템.
The method of claim 3, wherein the augmented reality sharing unit 220,
Based on the estimated position of the augmented reality device 100, the position of a virtual object in the augmented reality space 20 is calculated, and the calculated position of the virtual object is used by a plurality of augmented reality devices participating in the session. Characterized in sharing with (100), augmented reality content platform system for multiple users in an indoor environment.
 삭제delete 증강현실 콘텐츠 플랫폼 시스템 운영 방법으로서,
상기 증강현실 콘텐츠가 제공되는 실내 공간(10) 내에서 복수의 사용자가 각각 사용하는 복수의 증강현실 장치(100); 및
복수의 상기 증강현실 장치(100)가 참여하여 증강현실 콘텐츠를 공유하되, 증강현실 공간(20), 가상 객체 및 복수의 사용자 사이의 상호작용을 제공하고 동기화하는 증강현실 콘텐츠 플랫폼을 운영하는 서버(200)를 포함하는 증강현실 콘텐츠 플랫폼 시스템에 의해 각 단계가 수행되며,
상기 증강현실 콘텐츠 플랫폼은,
여러 증강현실 장치(100)의 접속을 허용하고 세션 생성 및 참여, 증강현실 콘텐츠의 생성, 업로드, 이용 및 편집을 할 수 있도록 인터페이스를 제공하는 플랫폼이며,
(1) 상기 서버(200)가, 세션에 참여한 복수의 상기 증강현실 장치(100)로부터, 상기 증강현실 장치(100)가 상기 실내 공간(10) 내에서 주위 사물을 인식하여 획득한 공간 정보를 수신해 저장하고, 저장한 공간 정보를 비교 및 통합하여 증강현실 공간(20)을 생성하는 단계; 및
(2) 상기 서버(200)가 상기 단계 (1)에서 생성한 증강현실 공간(20)을 상기 세션에 참여한 복수의 증강현실 장치(100)에 제공하되, 상기 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신해, 상기 가상 객체 및 이벤트를 상기 세션에 참여한 복수의 상기 증강현실 장치(100)에 공유하여 상호작용하는 단계를 포함하며,
상기 공간 정보는,
상기 증강현실 장치(100)에 구비된 카메라로 수집한 이미지나 동영상, 및 라이다 센서로 수집한 정보를 포함하고,
상기 단계 (1)은,
(1-1) 제1 증강현실 장치(110)가 세션을 생성하는 단계;
(1-2) 상기 제1 증강현실 장치(110)와 같은 실내 공간(10)에 있는 적어도 하나 이상의 제2 증강현실 장치(120)가 상기 생성된 세션에 참여하는 단계;
(1-3) 상기 세션에 참여한 복수의 증강현실 장치(100)(상기 제1 증강현실 장치(110) 및 제2 증강현실 장치(120)를 포함함)가 주위 사물을 인식하고 인식한 공간 정보를 저장하는 단계;
(1-4) 상기 서버(200)가 복수의 상기 증강현실 장치(100)로부터 상기 공간 정보를 수신해 저장하는 단계; 및
(1-5) 상기 서버(200)가 복수의 상기 증강현실 장치(100)로부터 수신한 공간 정보를 비교 및 통합하여 상기 증강현실 공간(20) 정보를 생성하는 단계를 포함하며,
상기 단계 (1-5)에서는,
복수의 상기 증강현실 장치(100)로부터 수신한 공간 정보에서 특징점을 추출하며, 서로 다른 증강현실 장치(100)로부터 수신한 공간 정보에서 각각 추출한 특징점 중에서 유사도가 임계값 이상인 특징점을 기준으로 공간 정보를 통합하여, 상기 실내 공간(10)에 대한 증강현실 월드 맵을 생성하며, 생성한 증강현실 월드 맵이 상기 증강현실 공간(20)이 되는 것을 특징으로 하는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법.
As an augmented reality content platform system operation method,
a plurality of augmented reality devices 100 each used by a plurality of users within the indoor space 10 where the augmented reality contents are provided; and
A server operating an augmented reality content platform in which a plurality of the augmented reality devices 100 participate and share augmented reality content, providing and synchronizing interactions between the augmented reality space 20, virtual objects, and a plurality of users ( 200), each step is performed by the augmented reality content platform system,
The augmented reality content platform,
A platform that allows access to multiple augmented reality devices 100 and provides an interface to create, participate in, create, upload, use, and edit augmented reality content,
(1) The server 200 transmits spatial information obtained by the augmented reality devices 100 recognizing surrounding objects in the indoor space 10 from the plurality of augmented reality devices 100 participating in the session. generating an augmented reality space 20 by receiving, storing, and comparing and integrating the stored spatial information; and
(2) The server 200 provides the augmented reality space 20 created in step (1) to the plurality of augmented reality devices 100 participating in the session, Receiving virtual object and event occurrence information, and sharing and interacting with the plurality of augmented reality devices 100 participating in the session,
The spatial information,
Including images or videos collected by a camera provided in the augmented reality device 100, and information collected by a lidar sensor,
In step (1),
(1-1) generating a session by the first augmented reality device 110;
(1-2) at least one or more second augmented reality devices 120 in the same indoor space 10 as the first augmented reality device 110 participating in the created session;
(1-3) A plurality of augmented reality devices 100 participating in the session (including the first augmented reality device 110 and the second augmented reality device 120) recognize surrounding objects and recognized space information storing;
(1-4) the server 200 receiving and storing the space information from the plurality of augmented reality devices 100; and
(1-5) generating the augmented reality space 20 information by comparing and integrating spatial information received from the plurality of augmented reality devices 100 by the server 200;
In the above step (1-5),
Characteristic points are extracted from the spatial information received from the plurality of augmented reality devices 100, and spatial information is obtained based on the feature points having a similarity equal to or greater than a threshold value among the feature points extracted from the spatial information received from different augmented reality devices 100. By integrating, an augmented reality world map for the indoor space (10) is generated, and the generated augmented reality world map becomes the augmented reality space (20), augmented reality content for multiple users in an indoor environment. How the platform system operates.
 삭제delete 제6항에 있어서, 상기 단계 (2)는,
(2-1) 상기 서버(200)가 복수의 상기 증강현실 장치(100)에 상기 증강현실 공간(20) 및 증강현실 콘텐츠를 제공하는 단계;
(2-2) 상기 증강현실 장치(100)가 상기 증강현실 공간(20) 내에서 가상 객체를 생성하고 이벤트를 발생하는 단계;
(2-3) 상기 서버(200)가 상기 증강현실 장치(100)에서 생성된 가상 객체 및 이벤트 발생 정보를 수신하고, 상기 증강현실 공간(20)에서 복수의 상기 증강현실 장치(100)의 위치를 추정하는 단계; 및
(2-4) 상기 서버(200)가 상기 단계 (2-3)에서 추정한 위치를 기반으로 상기 증강현실 장치(100)로부터 수신한 가상 객체 및 이벤트 발생 정보를 상기 세션에 참여한 복수의 증강현실 장치(100)와 공유하는 단계를 포함하는 것을 특징으로 하는, 실내 환경에서 다수 사용자를 위한 증강현실 콘텐츠 플랫폼 시스템 운영 방법.The method of claim 6, wherein the step (2),
(2-1) providing, by the server 200, the augmented reality space 20 and augmented reality content to the plurality of augmented reality devices 100;
(2-2) generating a virtual object and generating an event in the augmented reality space 20 by the augmented reality device 100;
(2-3) The server 200 receives virtual objects and event occurrence information generated by the augmented reality device 100, and positions of the plurality of augmented reality devices 100 in the augmented reality space 20. estimating; and
(2-4) The virtual object and event generation information received from the augmented reality device 100 based on the location estimated in step (2-3) by the server 200 are provided to the plurality of augmented reality participants participating in the session. Characterized in that it comprises the step of sharing with the device 100, augmented reality content platform system operating method for multiple users in an indoor environment.
KR1020210053985A 2021-04-26 2021-04-26 Ar contents platform system for multiple users in indoor environment and its operation method KR102550491B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210053985A KR102550491B1 (en) 2021-04-26 2021-04-26 Ar contents platform system for multiple users in indoor environment and its operation method
PCT/KR2022/005819 WO2022231223A1 (en) 2021-04-26 2022-04-23 Augmented reality content platform system for plurality of users in indoor environment and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053985A KR102550491B1 (en) 2021-04-26 2021-04-26 Ar contents platform system for multiple users in indoor environment and its operation method

Publications (2)

Publication Number Publication Date
KR20220146980A KR20220146980A (en) 2022-11-02
KR102550491B1 true KR102550491B1 (en) 2023-07-04

Family

ID=83848182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053985A KR102550491B1 (en) 2021-04-26 2021-04-26 Ar contents platform system for multiple users in indoor environment and its operation method

Country Status (2)

Country Link
KR (1) KR102550491B1 (en)
WO (1) WO2022231223A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102035388B1 (en) * 2017-09-20 2019-10-22 (주)다스콘 Real-Time Positioning System and Contents Providing Service System Using Real-Time Positioning System
KR102074370B1 (en) * 2017-10-26 2020-02-06 한국전자통신연구원 Method for providing augmented reality contents
KR101898075B1 (en) * 2017-12-29 2018-09-12 주식회사 버넥트 Augmented Reality System with Space and Object Recognition
KR102316714B1 (en) * 2018-08-01 2021-10-26 한국전자통신연구원 Method for providing augmented reality based on multi-user and apparatus using the same
KR102182314B1 (en) * 2018-09-21 2020-11-24 김승진 Management server for integrated space information management platform using virtual reality video and operation method thereof

Also Published As

Publication number Publication date
WO2022231223A1 (en) 2022-11-03
KR20220146980A (en) 2022-11-02

Similar Documents

Publication Publication Date Title
US11869158B2 (en) Cross reality system with localization service and shared location-based content
CN113395542A (en) Video generation method and device based on artificial intelligence, computer equipment and medium
CN103999455A (en) Collaborative cross-platform video capture
US11556784B2 (en) Multi-task fusion neural network architecture
EP3087727B1 (en) An emotion based self-portrait mechanism
KR20230062857A (en) augmented reality messenger system
US20220319061A1 (en) Transmitting metadata via invisible light
KR20210060411A (en) Method for image compression and method for image restoration
KR20230124081A (en) Communication interface with haptic feedback response
KR20230128063A (en) Real-time video communication interface with haptic feedback
US20220329918A1 (en) Video modification and transmission using tokens
KR102197615B1 (en) Method of providing augmented reality service and server for the providing augmented reality service
US20240143073A1 (en) Pausing device operation based on facial movement
CN109308740B (en) 3D scene data processing method and device and electronic equipment
KR102550491B1 (en) Ar contents platform system for multiple users in indoor environment and its operation method
CN110084306B (en) Method and apparatus for generating dynamic image
CN112767541A (en) Three-dimensional reconstruction method and device, electronic equipment and storage medium
US12072930B2 (en) Transmitting metadata via inaudible frequencies
JP2020112895A (en) Control program of information processing apparatus, control method of information processing apparatus, and information processing apparatus
KR20160012909A (en) Electronic device for displyaing image and method for controlling thereof
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
KR102484313B1 (en) Interworking system between metaverse avatars and location-based augmented reality characters
US11924541B2 (en) Automatic camera exposures for use with wearable multimedia devices
CN115563338B (en) Photo pushing method and related device
US20220377309A1 (en) Hardware encoder for stereo stitching

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant