KR20200014587A - Method for providing augmented reality based on multi-user and apparatus using the same - Google Patents

Method for providing augmented reality based on multi-user and apparatus using the same Download PDF

Info

Publication number
KR20200014587A
KR20200014587A KR1020180089941A KR20180089941A KR20200014587A KR 20200014587 A KR20200014587 A KR 20200014587A KR 1020180089941 A KR1020180089941 A KR 1020180089941A KR 20180089941 A KR20180089941 A KR 20180089941A KR 20200014587 A KR20200014587 A KR 20200014587A
Authority
KR
South Korea
Prior art keywords
augmented reality
users
user
viewpoint
providing
Prior art date
Application number
KR1020180089941A
Other languages
Korean (ko)
Other versions
KR102316714B1 (en
Inventor
서병국
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180089941A priority Critical patent/KR102316714B1/en
Publication of KR20200014587A publication Critical patent/KR20200014587A/en
Application granted granted Critical
Publication of KR102316714B1 publication Critical patent/KR102316714B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

Disclosed are a multi-user based augmented reality providing method and an apparatus for the same. According to an embodiment of the present invention, the multi-user based augmented reality providing method is performed by an augmented reality providing apparatus. The method comprises the steps of: identifying at least one reality object included in an augmented reality area based on a viewpoint of a user; and providing an augmented reality event by an interaction to correspond to the viewpoint of the user when a virtual object augmented in the augmented reality area and the at least one reality object interact each other, wherein the augmented reality event is provided to correspond to each of a plurality of users in consideration of a viewpoint of each of the plurality of users when the plurality of users are included in the augmented reality area.

Description

다중 사용자 기반의 증강현실 제공 방법 및 이를 위한 장치 {METHOD FOR PROVIDING AUGMENTED REALITY BASED ON MULTI-USER AND APPARATUS USING THE SAME}Method for providing augmented reality based on multi-user and apparatus therefor {METHOD FOR PROVIDING AUGMENTED REALITY BASED ON MULTI-USER AND APPARATUS USING THE SAME}

본 발명은 다중 사용자 기반의 증강현실 제공 기술에 관한 것으로, 특히 다중 사용자가 참여 가능한 환경에서 다양한 상호작용을 제공하는 증강현실 기술에 관한 것이다.The present invention relates to a multi-user based augmented reality providing technology, and more particularly to an augmented reality technology that provides a variety of interactions in a multi-user participation environment.

최근 애플의 ARKit이나 구글의 ARCore와 같은 증강현실 개발 솔루션의 등장과 함께 착용형 증강현실 장치가 급속히 발전하고, 이를 이용한 증강현실 서비스 및 어플리케이션에 대한 관심도 매우 높아지고 있다. Recently, with the advent of augmented reality development solutions such as Apple's ARKit and Google's ARCore, wearable augmented reality devices are rapidly developing, and interest in augmented reality services and applications using them is also increasing.

증강현실 기술은 현실 공간이 촬영된 카메라 영상으로부터 위치나 방향과 같은 카메라의 자세를 추정하고, 이를 기반으로 현실 공간안에 마치 가상 객체가 실제로 있는 것처럼 증강시키는 기술이다. 한편, 가상 객체와 사용자 간의 상호작용, 즉 증강된 가상 객체와 사용자 간의 시각적, 촉각적 상호작용에 대한 연구도 활발히 진행되고 있다. Augmented reality technology is a technique of estimating the attitude of the camera such as the position and the direction from the camera image taken in the real space, and based on this, augmented reality technology as if the virtual object is actually augmented. Meanwhile, research on the interaction between the virtual object and the user, that is, the visual and tactile interaction between the augmented virtual object and the user, is being actively conducted.

그러나, 대부분의 증강현실 컨텐츠는 증강된 가상 객체를 대상으로 하는 상호작용에 초점을 두고 있지만, 현실 공간을 대상으로 하는 상호작용에 대해서는 구체적인 프레임워크를 제공하고 있지 않다. 또한, 감소현실 기술을 통해서 현실 공간에 있는 현실 객체를 보이지 않게 하는 연구가 있어 왔으나, 대부분 단일 사용자 시점에서만 제공한다는 기술적 한계가 있다. 즉, 서로 다른 시점에서 서로 다른 삭제 대상 영역에 대해서 시점에 맞게 처리해야 하는 부분에 대해서는 다루고 있지 않다.However, while most augmented reality content focuses on interactions for augmented virtual objects, it does not provide a concrete framework for interactions for real spaces. In addition, there have been studies to make the reality objects in the real space invisible through the reduced reality technology, but most of them have a technical limitation that they are provided only from a single user point of view. That is, the parts that need to be processed at different time points for different deletion target areas are not covered.

한국 등록 특허 제10-1740213호, 2017년 5월 19일 공개(명칭: 가상 객체의 충돌 체크에 의한 반응형 증강현실 카드 게임 플레이 장치)Korean Registered Patent No. 10-1740213, published May 19, 2017 (Name: Responsive augmented reality card game play device by checking the collision of virtual objects)

본 발명의 목적은 다중 사용자가 참여하는 증강현실 환경에서 사용자 또는 객체들 간에 보다 향상된 상호작용을 제공하는 것이다.It is an object of the present invention to provide improved interaction between users or objects in an augmented reality environment in which multiple users participate.

또한, 본 발명의 목적은 보다 현실감 있고 풍부한 경험을 제공할 수 있는 증강현실 컨텐츠를 제공하는 것이다.It is also an object of the present invention to provide augmented reality content that can provide a more realistic and rich experience.

또한, 본 발명의 목적은 각 사용자의 시점에 맞게 가상 객체를 증강함으로써 다중 사용자 환경에서 보다 자연스럽고 다양한 증강현실 컨텐츠를 제공하는 것이다.In addition, an object of the present invention is to provide a more natural and diverse augmented reality content in a multi-user environment by augmenting a virtual object according to each user's viewpoint.

상기한 목적을 달성하기 위한 본 발명에 따른 증강현실 제공 방법은 증강현실 제공 장치가, 사용자의 시점을 기준으로 증강현실 영역에 포함된 적어도 하나의 현실 객체를 식별하는 단계; 및 상기 증강현실 제공 장치가, 상기 증강현실 영역에 증강된 가상 객체와 상기 적어도 하나의 현실 객체가 상호작용하는 경우에 상기 사용자의 시점에 상응하도록 상기 상호작용에 의한 증강현실 이벤트를 제공하는 단계를 포함하고, 상기 증강현실 이벤트는 복수의 사용자들이 상기 증강현실 영역에 포함된 경우, 상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들 각각에 상응하도록 제공된다.Augmented reality providing method according to the present invention for achieving the above object comprises the steps of identifying, by the apparatus for augmented reality, at least one reality object included in the augmented reality region on the basis of the user's viewpoint; And providing, by the apparatus for augmented reality, an augmented reality event by the interaction to correspond to the viewpoint of the user when the augmented virtual object and the at least one reality object interact with the augmented reality region. The augmented reality event is provided to correspond to each of the plurality of users in consideration of a viewpoint of each of the plurality of users when a plurality of users are included in the augmented reality area.

이 때, 증강현실 이벤트는 상기 복수의 사용자들 각각의 시점에서 상기 적어도 하나의 현실 객체 및 상기 가상 객체 중 적어도 하나를 기반으로 실행될 수 있다.In this case, an augmented reality event may be executed based on at least one of the at least one reality object and the virtual object at each viewpoint of the plurality of users.

이 때, 증간현실 이벤트를 제공하는 단계는 객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 상기 증강현실 재생정보를 상기 복수의 사용자들에게 각각 재생할 수 있다.In this case, the providing of the augmented reality event may generate augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration, and reproduce the augmented reality reproduction information to the plurality of users, respectively.

이 때, 증강현실 재생정보는 상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들마다 상이하게 생성될 수 있다.At this time, the augmented reality reproduction information may be generated differently for each of the plurality of users in consideration of the viewpoint of each of the plurality of users.

이 때, 증강현실 재생정보는 상기 복수의 사용자들 각각에 상응하는 증강현실 제공 장치를 기반으로 상기 복수의 사용자들에게 각각 디스플레이 될 수 있다.At this time, the augmented reality reproduction information may be displayed to each of the plurality of users based on the augmented reality providing apparatus corresponding to each of the plurality of users.

이 때, 가상 객체는 상기 복수의 사용자들 각각의 시점을 기반으로 상기 복수의 사용자들마다 상이한 형태로 증강될 수 있다.In this case, the virtual object may be augmented in a different form for each of the plurality of users based on a viewpoint of each of the plurality of users.

이 때, 증강현실 제공 방법은 상기 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 상기 복수의 사용자들 각각의 시점을 추정하는 단계; 상기 복수의 사용자들 각각의 시점을 기반으로 상기 복수의 사용자들 각각에 대한 상기 가상 객체의 상대적 위치를 추정하는 단계; 및 상기 가상 객체의 상대적 위치를 기반으로 상기 복수의 사용자들 각각의 시점에 상응하게 상기 가상 객체를 증강시키는 단계를 더 포함할 수 있다.In this case, the method of providing augmented reality includes estimating a viewpoint of each of the plurality of users based on user posture information of each of the plurality of users; Estimating a relative position of the virtual object with respect to each of the plurality of users based on a viewpoint of each of the plurality of users; And augmenting the virtual object corresponding to a viewpoint of each of the plurality of users based on the relative position of the virtual object.

이 때, 복수의 사용자들이 이용하는 복수의 증강현실 제공 장치들은 상호간에 무선 통신이 가능할 수 있다.At this time, the plurality of augmented reality providing devices used by a plurality of users may be capable of wireless communication with each other.

이 때, 증강현실 이벤트를 제공하는 단계는 상기 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 상기 객체 복원을 수행할 수 있다.In this case, the providing of the augmented reality event may perform the object restoration based on the 3D structure information of the at least one reality object.

또한, 본 발명의 일실시예에 따른 증강현실 제공 장치는, 사용자의 시점을 기준으로 증강현실 영역에 포함된 적어도 하나의 현실 객체를 식별하고, 상기 증강현실 영역에 증강된 가상 객체와 상기 적어도 하나의 현실 객체가 상호작용하는 경우에 상기 사용자의 시점에 상응하도록 상기 상호작용에 의한 증강현실 이벤트를 제공하는 프로세서; 및 상기 현실 객체에 대한 식별 정보 및 상기 가상 객체에 대한 증강 데이터 중 적어도 하나를 저장하는 메모리를 포함하고, 상기 증강현실 이벤트는 복수의 사용자들이 상기 증강현실 영역에 포함된 경우, 상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들 각각에 상응하도록 제공된다.In addition, the apparatus for providing augmented reality according to an embodiment of the present invention identifies at least one reality object included in an augmented reality region based on a viewpoint of a user, and the at least one virtual object augmented in the augmented reality region. A processor configured to provide an augmented reality event by the interaction corresponding to a viewpoint of the user when the reality object of the user interacts; And a memory configured to store at least one of identification information of the real object and augmented data of the virtual object, wherein the augmented reality event includes the plurality of users when the plurality of users are included in the augmented reality area. In consideration of each viewpoint, a corresponding one of the plurality of users is provided.

이 때, 증강현실 이벤트는 상기 복수의 사용자들 각각의 시점에서 상기 적어도 하나의 현실 객체 및 상기 가상 객체 중 적어도 하나를 기반으로 실행될 수 있다.In this case, an augmented reality event may be executed based on at least one of the at least one reality object and the virtual object at each viewpoint of the plurality of users.

이 때, 프로세서는 객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 상기 증강현실 재생정보를 상기 복수의 사용자들에게 각각 재생할 수 있다.In this case, the processor may generate augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration, and reproduce the augmented reality reproduction information to the plurality of users, respectively.

이 때, 증강현실 재생정보는 상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들마다 상이하게 생성될 수 있다.At this time, the augmented reality reproduction information may be generated differently for each of the plurality of users in consideration of the viewpoint of each of the plurality of users.

이 때, 증강현실 재생정보는 상기 복수의 사용자들 각각에 상응하는 증강현실 제공 장치를 기반으로 상기 복수의 사용자들에게 각각 디스플레이 될 수 있다.At this time, the augmented reality reproduction information may be displayed to each of the plurality of users based on the augmented reality providing apparatus corresponding to each of the plurality of users.

이 때, 가상 객체는 상기 복수의 사용자들 각각의 시점을 기반으로 상기 복수의 사용자들마다 상이한 형태로 증강될 수 있다.In this case, the virtual object may be augmented in a different form for each of the plurality of users based on a viewpoint of each of the plurality of users.

이 때, 프로세서는 상기 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 상기 복수의 사용자들 각각의 시점을 추정하고, 상기 복수의 사용자들 각각의 시점을 기반으로 상기 복수의 사용자들 각각에 대한 상기 가상 객체의 상대적 위치를 추정하고, 상기 가상 객체의 상대적 위치를 기반으로 상기 복수의 사용자들 각각의 시점에 상응하게 상기 가상 객체를 증강시킬 수 있다.In this case, the processor estimates a viewpoint of each of the plurality of users based on user attitude information of each of the plurality of users, and based on the viewpoint of each of the plurality of users, The relative position of the virtual object may be estimated, and the virtual object may be augmented corresponding to the viewpoints of the plurality of users based on the relative position of the virtual object.

이 때, 증강현실 제공 장치는 상기 복수의 사용자들이 이용하는 복수의 증강현실 제공 장치들과 무선 통신이 가능할 수 있다.At this time, the apparatus for providing augmented reality may enable wireless communication with a plurality of apparatuses for providing augmented reality used by the plurality of users.

이 때, 프로세서는 상기 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 상기 객체 복원을 수행할 수 있다.In this case, the processor may perform the object restoration based on the 3D structure information of the at least one real object.

본 발명에 따르면, 다중 사용자가 참여하는 증강현실 환경에서 사용자 또는 객체들 간에 보다 향상된 상호작용을 제공할 수 있다.According to the present invention, it is possible to provide improved interaction between users or objects in an augmented reality environment in which multiple users participate.

또한, 본 발명은 보다 현실감 있고 풍부한 경험을 제공할 수 있는 증강현실 컨텐츠를 제공할 수 있다.In addition, the present invention can provide augmented reality content that can provide a more realistic and rich experience.

또한, 본 발명은 각 사용자의 시점에 맞게 가상 객체를 증강함으로써 다중 사용자 환경에서 보다 자연스럽고 다양한 증강현실 컨텐츠를 제공할 수 있다.In addition, the present invention can provide a more natural and diverse augmented reality content in a multi-user environment by augmenting a virtual object according to the viewpoint of each user.

도 1은 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 4는 도 1에 도시된 사용자 1의 시점에 대한 증강현실 재생정보의 일 예를 나타낸 도면이다.
도 5 내지 도 6은 도 1에 도시된 사용자 4의 시점에 대한 증강현실 재생정보의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 객체 변형의 일 예를 나타낸 도면이다.
도 8 내지 도 10은 본 발명에 따른 객체 변형 및 객체 복원의 일 예를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 장치를 나타낸 블록도이다.1 is a diagram showing a multi-user based augmented reality providing system according to an embodiment of the present invention.
2 is an operation flowchart illustrating a multi-user based augmented reality providing method according to an embodiment of the present invention.
3 to 4 are diagrams showing an example of augmented reality playback information for the viewpoint of user 1 shown in FIG.
5 to 6 are diagrams showing an example of augmented reality reproduction information for the viewpoint of user 4 shown in FIG.
7 is a diagram illustrating an example of object deformation according to the present invention.
8 to 10 are diagrams illustrating an example of object deformation and object restoration according to the present invention.
11 is a block diagram illustrating an apparatus for providing augmented reality based on multiple users according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Here, repeated descriptions, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 시스템을 나타낸 도면이다. 1 is a diagram showing a multi-user based augmented reality providing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 시스템은 증강현실 영역(100), 증간현실 영역(100) 내에서 가상 객체(120)를 증강하기 위해 타겟이 되는 타겟 영역(101), 복수의 증강현실 제공 장치들(111~114) 및 가상 객체(120)를 포함한다.Referring to FIG. 1, a multi-user-based augmented reality providing system according to an embodiment of the present invention may be a target for augmenting a virtual object 120 in an augmented reality region 100 and an augmented reality region 100. The target area 101 includes a plurality of augmented reality providing devices 111 to 114 and a virtual object 120.

증강현실 영역(100)은 다중 사용자 환경에서 증강현실 컨텐츠 또는 증강현실 서비스가 제공되는 영역에 상응할 수 있다. 따라서, 증강현실 제공 장치(111~114)를 소지하거나 또는 증강현실 제공 장치(111~1114)를 착용한 사용자들은 증강현실 영역(100)에서 증강현실 제공 장치(111~1114)를 통해 증강현실 컨텐츠를 이용할 수 있다. The augmented reality area 100 may correspond to an area where an augmented reality content or an augmented reality service is provided in a multi-user environment. Accordingly, users who possess the augmented reality providing apparatuses 111 to 114 or wear the augmented reality providing apparatuses 111 to 1114 may use the augmented reality contents through the augmented reality providing apparatuses 111 to 1114 in the augmented reality region 100. Can be used.

이 때, 증강현실 영역(100)에 포함된 타겟 영역(101)은 증강현실 영역(100)에 포함된 복수의 사용자들이 본 발명의 일실시예에 따른 증강현실 컨텐츠 또는 증강현실 서비스를 이용하는 실질적인 영역에 해당하는 것으로, 증강현실 컨텐츠에 따른 현실 객체나 가상 객체(120)가 증강되는 영역에 해당할 수 있다.At this time, the target area 101 included in the augmented reality area 100 is a substantial area in which a plurality of users included in the augmented reality area 100 use augmented reality content or augmented reality service according to an embodiment of the present invention. Corresponding to the present invention may correspond to an area where the real object or the virtual object 120 according to the augmented reality content is augmented.

즉, 복수의 사용자들은 증강현실 제공 장치(111~114)에 장착된 카메라의 카메라 뷰 영역(140)이 타겟 영역(101)를 향하도록 함으로써 타겟 영역(101)에 증강되는 가상 객체(120)를 확인할 수 있다. That is, the plurality of users may view the virtual object 120 augmented in the target area 101 by directing the camera view area 140 of the camera mounted on the augmented reality providing apparatuses 111 to 114 toward the target area 101. You can check it.

이 때, 본 발명은 다중 사용자 환경에 기반한 증강현실을 제공하기 때문에 도 1과 같이 동시에 복수의 사용자들이 증강현실 영역(100)에서 증강현실 컨텐츠를 이용할 수 있다. 따라서, 각각의 사용자들은 타겟 영역(101)에 증강된 가상 객체(120)를 각각의 시점에서 관찰하게 되고, 시점의 차이에 따라 각각의 사용자들에게 제공되는 증강현실 재생화면도 상이할 수 있다. In this case, since the present invention provides an augmented reality based on a multi-user environment, a plurality of users may simultaneously use the augmented reality content in the augmented reality region 100 as shown in FIG. 1. Accordingly, each user observes the virtual object 120 augmented in the target area 101 at each time point, and the augmented reality playback screen provided to each user may be different according to the difference in time points.

즉, 도 1에 도시된 사용자 1이 타겟 영역(101)에 증강된 가상 객체(120)를 바라볼 때의 디스플레이 되는 화면과 사용자 4가 동일한 가상 객체(120)를 바라볼 때의 디스플레이 되는 화면은 각각의 증강현실 제공 장치(111, 114)에서 상이하게 제공될 수 있다. That is, the screen displayed when the user 1 shown in FIG. 1 looks at the augmented virtual object 120 in the target area 101 and the screen displayed when the user 4 looks at the same virtual object 120 are displayed. The augmented reality providing device 111, 114 may be provided differently.

예를 들어, 가상 객체(120)가 앞면과 뒷면이 구분되는 형태에 상응하고, 가상 객체(120)의 앞면이 사용자 1을 향하고 있다고 가정한다면, 사용자 1의 증강현실 제공 장치(111)에 디스플레이 되는 화면에서는 가상 객체(120)의 앞면이 증강되어 보여지고, 사용자 4의 증강현실 제공 장치(114)에 디스플레이 되는 화면에서는 가상 객체(120)의 뒷면이 증강되어 보여질 수 있다.For example, assuming that the virtual object 120 corresponds to a form in which a front side and a back side are distinguished, and the front side of the virtual object 120 faces the user 1, the virtual object 120 is displayed on the augmented reality providing device 111 of the user 1. On the screen, the front surface of the virtual object 120 may be augmented, and on the screen displayed on the augmented reality providing device 114 of the user 4, the rear surface of the virtual object 120 may be augmented.

또한, 복수의 사용자들이 사용하는 증강현실 제공 장치(111~114)는 복수의 사용자들 각각의 시점을 기준으로 증강현실 영역(100)에 포함된 적어도 하나의 현실 객체를 식별한다.Also, the augmented reality providing apparatuses 111 to 114 used by the plurality of users identify at least one reality object included in the augmented reality region 100 based on a viewpoint of each of the plurality of users.

이 때, 현실 객체를 식별하는 과정을 통해 현실 객체에 대한 3차원 구조 정보 또는 3차원 위치 정보를 획득할 수도 있다. In this case, the 3D structure information or the 3D location information of the real object may be obtained through the process of identifying the real object.

또한, 증강현실 제공 장치(111~114)는 증강현실 영역(100)에 증강된 가상 객체(120)와 적어도 하나의 현실 객체가 상호작용하는 경우에 복수의 사용자들 각각의 시점에 상응하도록 상호작용에 의한 증강현실 이벤트를 제공한다.The augmented reality providing apparatuses 111 to 114 may interact with each other to correspond to the viewpoints of a plurality of users when the augmented reality area 100 and the augmented virtual object 120 and at least one reality object interact with each other. Provides augmented reality events by.

이 때, 증강현실 이벤트는 복수의 사용자들 각각의 시점에서 적어도 하나의 현실 객체 및 가상 객체(120) 중 적어도 하나를 기반으로 실행될 수 있다. In this case, the AR event may be executed based on at least one of the at least one reality object and the virtual object 120 at each viewpoint of the plurality of users.

이 때, 증강현실 제공 장치(111~114)는 객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 증강현실 재생정보를 복수의 사용자들에게 각각 재생할 수 있다. 이 때, 증강현실 제공 장치(111~114)는 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 객체 복원을 수행할 수 있다.In this case, the AR providing apparatuses 111 to 114 may generate augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration, and reproduce the augmented reality reproduction information to a plurality of users, respectively. In this case, the augmented reality providing apparatuses 111 to 114 may perform object restoration based on three-dimensional structure information of at least one real object.

이 때, 증강현실 재생정보는 복수의 사용자들 각각의 시점을 고려하여 복수의 사용자들마다 상이하게 생성될 수 있다.At this time, the augmented reality reproduction information may be generated differently for a plurality of users in consideration of the viewpoints of each of the plurality of users.

이 때, 증강현실 재생정보는 복수의 사용자들 각각에 상응하는 증강현실 제공 장치(111~114)를 기반으로 복수의 사용자들에게 각각 디스플레이 될 수 있다.At this time, the augmented reality reproduction information may be displayed to a plurality of users, respectively, based on the augmented reality providing apparatus (111 ~ 114) corresponding to each of the plurality of users.

이 때, 증강현실 제공 장치(111~114)는 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 복수의 사용자들 각각의 시점을 추정할 수 있다. 또한, 증강현실 제공 장치(111~114)는 복수의 사용자들 각각의 시점을 기반으로 복수의 사용자들 각각에 대한 가상 객체의 상대적 위치를 추정하고, 가상 객체의 상대적 위치를 기반으로 복수의 사용자들 각각의 시점에 상응하게 가상 객체를 증강시킬 수 있다.In this case, the AR providing apparatuses 111 to 114 may estimate viewpoints of each of the plurality of users based on user posture information regarding each of the plurality of users. In addition, the AR providing apparatuses 111 to 114 estimate a relative position of the virtual object with respect to each of the plurality of users based on a viewpoint of each of the plurality of users, and based on the relative position of the virtual object. The virtual object may be augmented corresponding to each viewpoint.

이 때, 증강현실 제공 장치(111~114)는 상호간에 무선통신이 가능할 수 있다.At this time, the augmented reality providing apparatus 111 ~ 114 may be capable of wireless communication with each other.

또한, 증강현실 제공 장치(111~114)는 단말기 또는 웨어러블 장치에 상응할 수 있으며, 서버와 클라이언트의 형태로 구성될 수도 있다. 예를 들어, 증강현실 제공 장치(111~114)는 클라우드 서버와 클라이언트 단말 간의 형태로 동작할 수 있다.In addition, the AR providing apparatuses 111 to 114 may correspond to a terminal or a wearable device, and may be configured in the form of a server and a client. For example, the apparatus for providing augmented reality 111 to 114 may operate in a form between a cloud server and a client terminal.

이와 같이 본 발명에서는 다중 사용자 시점을 고려한 증강현실 컨텐츠 또는 증강현실 서비스를 제공함으로써 이를 이용하는 사용자들에게 보다 현실감 있는 경험을 제공해줄 수 있다.As such, the present invention can provide a more realistic experience to users using the augmented reality content or augmented reality service considering the multi-user viewpoint.

도 2는 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법을 나타낸 동작흐름도이다.2 is a flowchart illustrating a method for providing augmented reality based on multiple users according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법은 증강현실 제공 장치가, 사용자의 시점을 기준으로 증강현실 영역에 포함된 적어도 하나의 현실 객체를 식별한다(S210).Referring to FIG. 2, in the multi-user-based augmented reality providing method according to an embodiment of the present invention, the augmented reality providing apparatus identifies at least one reality object included in the augmented reality region based on a user's viewpoint ( S210).

예를 들어, 증강현실 제공 장치가 증강현실 영역에 해당하는 현실 공간에 대한 3차원 정보를 복원하고, 이를 이용하여 사용자의 위치나 방향 등의 자세 정보를 추정함으로써 사용자의 시점을 판단할 수 있다. 이 후, 추정된 자세를 기반으로 사용자의 시점에 해당하는 증강현실 영역에 포함된 현실 객체를 식별할 수 있다. For example, the apparatus for providing augmented reality may determine 3D information of a real space corresponding to an augmented reality region, and determine a user's viewpoint by estimating posture information such as a position or a direction of the user using the same. Thereafter, the reality object included in the augmented reality region corresponding to the viewpoint of the user may be identified based on the estimated posture.

이 때, 사용자의 시점은 사용자가 사용하거나 착용하고 있는 증강현실 제공 장치의 카메라 시점에 상응할 수 있다.In this case, the user's viewpoint may correspond to the camera viewpoint of the augmented reality providing device that the user uses or wears.

또한, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법은 증강현실 영역에 증강된 가상 객체와 적어도 하나의 현실 객체가 상호작용하는지 여부를 판단한다(S215).In addition, the multi-user-based augmented reality providing method according to an embodiment of the present invention determines whether the augmented virtual region and at least one reality object interacts with the augmented reality region (S215).

예를 들어, 가상 객체가 움직이다가 현실 객체와 충돌하거나 또는 가상 객체와 현실 객체가 겹쳐져서 어느 하나의 객체가 보이지 않는 등의 상호작용이 발생하였는지 여부를 판단할 수 있다. For example, it may be determined whether an interaction such as a virtual object moves while colliding with a real object or an overlapping virtual object and a real object is invisible.

단계(S215)의 판단결과 가상 객체와 현실 객체가 상호작용하였으면, 증강현실 영역에 증강된 가상 객체와 적어도 하나의 현실 객체가 상호작용하는 경우에 증강현실 영역에 복수의 사용자들이 포함되었는지 여부를 판단할 수 있다(S225).If the virtual object and the real object interact with each other as a result of the determination in step S215, it is determined whether a plurality of users are included in the augmented reality area when the augmented virtual area and the at least one real object interact with each other. Can be (S225).

또한, 단계(S215)의 판단결과 가상 객체와 적어도 하나의 현실 객체가 상호작용하지 않았으면, 객체간 상호작용이 발생할 때까지 대기할 수 있다.In addition, if the virtual object and the at least one real object do not interact with each other as a result of the determination in step S215, the user may wait until the interaction between the objects occurs.

단계(S225)의 판단결과 증강현실 영역에 복수의 사용자들이 포함되었으면, 증강현실 제공 장치가 복수의 사용자들 각각의 시점을 고려하여 복수의 사용자들 각각에 상응하도록 증강현실 이벤트를 제공한다(S230).If a plurality of users are included in the augmented reality region as a result of the determination in step S225, the augmented reality providing apparatus provides an augmented reality event to correspond to each of the plurality of users in consideration of the viewpoints of the plurality of users (S230). .

이 때, 증강현실 이벤트는 복수의 사용자들 각각의 시점에서 적어도 하나의 현실 객체 및 가상 객체 중 적어도 하나를 기반으로 실행될 수 있다. In this case, the augmented reality event may be executed based on at least one of at least one reality object and a virtual object at each viewpoint of the plurality of users.

예를 들어, 증강현실 영역에 증강된 가상 객체가 자유롭게 움직이거나 현실 객체와 충돌하는 등 객체의 움직임이나 변화에 상응하게 증강현실 이벤트가 실행될 수 있다. For example, an augmented reality event may be executed corresponding to a movement or a change of an object such as a virtual object augmented in the augmented reality area freely moves or collides with a real object.

이 때, 객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 증강현실 재생정보를 복수의 사용자들에게 각각 재생할 수 있다. At this time, augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration may be generated, and augmented reality reproduction information may be reproduced to a plurality of users, respectively.

이 때, 증강현실 재생정보는 복수의 사용자들 각각에 상응하는 증강현실 제공 장치를 기반으로 복수의 사용자들에게 각각 디스플레이 될 수 있다. At this time, the augmented reality reproduction information may be displayed to a plurality of users based on the augmented reality providing apparatus corresponding to each of the plurality of users.

이 때, 가상 객체는 복수의 사용자들 각각의 시점을 기반으로 복수의 사용자들마다 상이한 형태로 증강될 수 있다.In this case, the virtual object may be augmented in a different form for each of the plurality of users based on a viewpoint of each of the plurality of users.

예를 들어, 도 1에 도시된 것처럼 4명의 사용자들이 배치된 상황이라는 가정하에 사용자 1에게 도 3과 같은 증강현실 화면이 디스플레이 될 수 있다. 도 3을 참고하면, 사용자들의 배치에 따라 사용자 3(303)과 사용자 4(304)가 사용자 1의 시점에서 보이는 것을 알 수 있다. 이 때, 증강현실 이벤트는 도 3에 도시된 2개의 현실 객체들(321, 322)이나 하나의 가상 객체(310)를 기반으로 실행될 수 있다. 만약, 도 3에 도시된 가상 객체(310)가 이동하여 현실 객체(322)와 충돌하는 경우, 도 4에 도시된 것처럼 현실 객체(322)가 삭제되는 증강현실 이벤트가 발생할 수 있고, 이에 대한 증강현실 재생정보를 생성하여 사용자 1에게 재생할 수 있다.For example, on the assumption that four users are arranged as shown in FIG. 1, the augmented reality screen as shown in FIG. 3 may be displayed to user 1. Referring to FIG. 3, it can be seen that the user 3 303 and the user 4 304 are viewed from the user 1's point of view according to the arrangement of the users. In this case, the augmented reality event may be executed based on two reality objects 321 and 322 or one virtual object 310 shown in FIG. 3. If the virtual object 310 shown in FIG. 3 moves and collides with the reality object 322, an augmented reality event in which the reality object 322 is deleted may occur as shown in FIG. 4, and an augmentation thereto may be performed. Real playback information can be generated and played back to user 1.

이 때, 현실 객체는 도 4에 도시된 것처럼 가상 객체(310)와 상호작용한 후 전체가 삭제될 수도 있고 또는 가상 객체(310)와 충돌한 일부분만 삭제될 수도 있다. In this case, the real object may be deleted after interacting with the virtual object 310 as shown in FIG. 4, or only a part that collides with the virtual object 310 may be deleted.

이 때, 도 1에 도시된 것처럼, 사용자 1과 동일한 증강현실 영역에 포함된 사용자 4에게는 도 5 내지 도 6과 같은 증강현실 화면이 디스플레이 될 수 있다. 이 때, 도 5는 도 3에 도시된 상황을 사용자 4의 시점에서 보여준 증강현실 화면에 상응하는 것으로, 도 3과 상이하게 현실 객체(322)가 현실 객체(321)을 가리는 모양으로 디스플레이 되는 것을 알 수 있다. 즉, 사용자 1(301)의 시점에서는 현실 객체(321)가 더 앞쪽에 위치하고 있기 때문에 현실 객체(321)과 현실 객체(322)를 가리는 모양으로 디스플레이 되지만, 사용자 4의 시점에서는 반대로 보여질 수 있다.In this case, as illustrated in FIG. 1, the augmented reality screen as illustrated in FIGS. 5 to 6 may be displayed to the user 4 included in the same augmented reality region as the user 1. In this case, FIG. 5 corresponds to the augmented reality screen showing the situation illustrated in FIG. 3 from the viewpoint of the user 4, and differently from FIG. 3, the reality object 322 is displayed to cover the reality object 321. Able to know. That is, since the real object 321 is located in front of the user 1 301, the real object 321 and the real object 322 are displayed in a shape that covers the real object 321, but the user object 321 may be viewed in reverse. .

따라서, 도 4에 도시된 상황을 사용자 4의 시점에서 보여준 도 6을 참조하면, 가상 객체(310)가 현실 객체(322)에 충돌함에 의해 현실 객체(322)가 삭제될 뿐만 아니라 현실 객체(322)에 가려져 있던 현실 객체(321)의 일부분이 복원된 것을 확인할 수 있다. 즉, 사용자 1(301)의 시점에서는 현실 객체(322)를 삭제하는 증강현실 재생정보만이 생성되었으나, 사용자 4의 시점에서는 현실 객체(322)가 삭제됨과 동시에 현실 객체(321)의 일부가 복원되는 증강현실 재생정보도 추가로 생성되어 재생될 수 있다.Thus, referring to FIG. 6, which shows the situation illustrated in FIG. 4 from the perspective of user 4, the reality object 322 is deleted as well as the reality object 322 is deleted by the virtual object 310 colliding with the reality object 322. It can be seen that a part of the real object 321 that was hidden by) is restored. That is, only the augmented reality reproduction information for deleting the reality object 322 is generated at the time of user 1 301, but at the time of user 4, the reality object 322 is deleted and a part of the reality object 321 is restored. The augmented reality playback information is also generated and can be reproduced additionally.

이 때, 도 4 및 도 6에 도시된 것처럼 현실 객체를 삭제하거나 복원하기 위해서는 영상 인페인팅(Inpainting) 또는 영상 컴플리션(Completion)을 사용할 수 있다. 이를 위해서, 본 발명에서는 각각의 현실 객체 영역을 분할하는 처리를 수행할 수 있고, 일부 가려진 부분에 대한 3차원 구조 정보가 필요한 경우에는 복원된 3차원 정보를 활용할 수도 있다. In this case, as shown in FIGS. 4 and 6, in order to delete or reconstruct a real object, image inpainting or image completion may be used. To this end, in the present invention, a process of dividing each real object region may be performed, and when three-dimensional structure information on some hidden portions is required, the restored three-dimensional information may be used.

이 때, 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 객체 복원을 수행할 수 있다. In this case, object restoration may be performed based on three-dimensional structure information of at least one real object.

다른 예를 들어, 도 3에 도시된 가상 객체(310)가 이동하여 현실 객체(322)와 충돌하는 경우, 도 7에 도시된 것처럼 현실 객체(322)가 삭제되는 동시에 도 3에 도시된 것과 같은 가상 객체(310)의 형태가 도 7에 도시된 것과 같은 가상 객체(710)의 형태로 변형되는 증강현실 재생정보가 생성되어 재생될 수 있다.As another example, when the virtual object 310 shown in FIG. 3 moves and collides with the reality object 322, as shown in FIG. 7, the reality object 322 is deleted and at the same time as shown in FIG. 3. Augmented reality reproduction information in which the shape of the virtual object 310 is transformed into the shape of the virtual object 710 as shown in FIG. 7 may be generated and reproduced.

또 다른 예를 들어, 이번에는 도 8에 도시된 것처럼 두 개의 가상 객체들(811, 812)과 하나의 현실 객체(820)를 기반으로 증강현실 이벤트가 실행되었다고 가정할 수 있다. 만약, 도 9에 도시된 것처럼 가상 객체(811)가 이동하여 현실 객체(820)와 충돌하고 이동하는 경우, 도 10에 도시된 것처럼 도 8 내지 도 9에 도시된 현실 객체(811)의 형태가 도 10에 도시된 현실 객체(821)의 형태로 변형되는 증강현실 재생정보가 생성되어 재생될 수도 있다. 이 때, 현실 객체(821)의 형태가 변화함에 따라 이에 가려져 있던 가상 객체(812)는 일부분이 복원되는 증강현실 재생정보가 동시에 생성되어 재생될 수 있다. For another example, it may be assumed that an augmented reality event is executed based on two virtual objects 811 and 812 and one reality object 820 as shown in FIG. 8. If the virtual object 811 moves and collides with the reality object 820 as shown in FIG. 9, the shape of the reality object 811 illustrated in FIGS. 8 to 9 as shown in FIG. Augmented reality reproduction information that is transformed into the shape of the reality object 821 illustrated in FIG. 10 may be generated and reproduced. At this time, as the shape of the reality object 821 changes, the virtual object 812 covered by the reality object 821 may be simultaneously generated and reproduced with augmented reality reproduction information in which a part is restored.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법은 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 복수의 사용자들 각각의 시점을 추정할 수 있다. In addition, although not shown in FIG. 2, the multi-user based augmented reality providing method according to an embodiment of the present invention may estimate a viewpoint of each of a plurality of users based on user posture information for each of the plurality of users. Can be.

예를 들어, 복수의 사용자들 각각이 사용하는 증강현실 제공 장치가 증강현실 영역에 해당하는 현실 공간의 3차원 정보를 복원하고, 이를 이용하여 각 사용자의 위치나 방향을 추정함으로써 사용자 자세 정보를 획득할 수 있다. 이 후, 추정된 사용자 자세 정보와 현실 공간의 3차원 정보를 매칭하여 복수의 사용자들 각각의 시점을 추정할 수 있다.For example, the augmented reality providing apparatus used by each of the plurality of users restores the 3D information of the real space corresponding to the augmented reality region, and uses the same to estimate the position or direction of each user to obtain user posture information. can do. Thereafter, the viewpoints of each of the plurality of users may be estimated by matching the estimated user posture information with three-dimensional information of the real space.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법은 복수의 사용자들 각각의 시점을 기반으로 복수의 사용자들 각각에 대한 가상 객체의 상대적 위치를 추정할 수 있다.In addition, although not shown in Figure 2, the multi-user-based augmented reality providing method according to an embodiment of the present invention based on the relative position of the virtual object for each of the plurality of users based on the viewpoint of each of the plurality of users It can be estimated.

이 때, 가상 객체의 상대적 위치를 기반으로 복수의 사용자들 각각의 시점에 상응하게 가상 객체를 증강시킬 수 있다. In this case, the virtual object may be augmented corresponding to the viewpoints of the plurality of users based on the relative positions of the virtual objects.

예를 들어, 도 1에 도시된 사용자 2와 사용자 4를 참조하면, 사용자 2와 가상 객체(120) 사이의 거리가 사용자 4와 가상 객체(120) 사이의 거리보다 먼 것을 알 수 있다. 즉, 사용자 2는 사용자 4보다 가상 객체(120)에서 멀리 떨어져있기 때문에 사용자 2의 증강현실 제공 장치(112)는 가상 객체(120)를 좀 더 작은 형태로 증강시킴으로써 사용자 2가 원근감을 느낄 수 있도록 할 수도 있다.For example, referring to user 2 and user 4 shown in FIG. 1, it can be seen that the distance between user 2 and virtual object 120 is greater than the distance between user 4 and virtual object 120. That is, since the user 2 is farther from the virtual object 120 than the user 4, the augmented reality providing device 112 of the user 2 may augment the virtual object 120 in a smaller form so that the user 2 may feel perspective. You may.

이 때, 복수의 사용자들이 이용하는 복수의 증강현실 제공 장치들은 상호간에 무선 통신이 가능할 수 있다. At this time, the plurality of augmented reality providing devices used by a plurality of users may be capable of wireless communication with each other.

예를 들어, 복수의 사용자들 각각에 대한 가상 객체의 상대적 위치를 추정하는 경우, 임의로 어느 하나의 기준 사용자를 설정하고, 기준 사용자의 상대적 위치와 나머지 사용자들의 상대적 위치를 비교하여 가상 객체의 원근감을 조절할 수 있다. 따라서, 복수의 증강현실 제공 장치들은 무선 통신을 기반으로 상대적 위치 정보를 송수신하고, 가상 객체를 증강시키는 과정에서 수신된 정보를 활용할 수도 있다.For example, when estimating the relative position of the virtual object with respect to each of the plurality of users, one of the reference users is arbitrarily set, and the relative position of the reference user and the relative positions of the remaining users are compared to determine the perspective of the virtual object. I can regulate it. Accordingly, the plurality of augmented reality providing apparatuses may transmit and receive relative position information based on wireless communication, and may use information received in the process of augmenting a virtual object.

또한, 단계(S225)의 판단결과 증강현실 영역에 복수의 사용자들이 포함되지 않고 한 명의 사용자만 포함되었으면, 한 명의 사용자의 시점에 상응하도록 상호작용에 의한 증강현실 이벤트를 제공한다(S240).In addition, if a plurality of users are not included in the augmented reality region as a result of the determination in step S225, only a single user is included, and an augmented reality event is provided by interaction to correspond to the viewpoint of one user (S240).

이 때, 한 명의 사용자에 대해 증강현실 이벤트를 제공하는 과정은 단계(S230)에서 복수의 사용자들 중 어느 한 명의 사용자에게 증강현실 이벤트를 제공하는 과정과 동일하므로 상세한 설명은 생략하도록 한다. In this case, the process of providing an augmented reality event for one user is the same as the process of providing an augmented reality event to any one user of the plurality of users in step S230, so a detailed description thereof will be omitted.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 방법은 상술한 바와 같이 본 발명의 실시예에 따른 증강현실 제공 과정에서 발생되는 다양한 정보를 저장할 수 있다. In addition, although not shown in Figure 2, the multi-user based augmented reality providing method according to an embodiment of the present invention can store a variety of information generated in the augmented reality providing process according to an embodiment of the present invention as described above have.

이와 같은 다중 사용자 기반의 증강현실 제공 방법을 통해 다중 사용자가 참여하는 증강현실 환경에서 사용자 또는 객체들 간에 보다 향상된 상호작용을 제공할 수 있다. Such a multi-user-based augmented reality providing method can provide a more improved interaction between users or objects in an augmented reality environment in which multiple users participate.

또한, 보다 현실감 있고 풍부한 경험을 제공할 수 있는 증강현실 컨텐츠를 제공할 수 있다.In addition, it is possible to provide augmented reality content that can provide a more realistic and rich experience.

도 11은 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 장치를 나타낸 블록도이다.11 is a block diagram illustrating an apparatus for providing augmented reality based on multiple users according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일실시예에 따른 다중 사용자 기반의 증강현실 제공 장치는 통신부(1110), 프로세서(1120) 및 메모리(1130)를 포함한다.Referring to FIG. 11, an apparatus for providing augmented reality based on multiple users according to an embodiment of the present invention includes a communication unit 1110, a processor 1120, and a memory 1130.

통신부(1110)는 네트워크와 같은 통신망을 통해 다중 사용자 기반의 증강현실 제공을 위해 필요한 데이터를 송수신하는 역할을 할 수 있다. 특히, 본 발명의 일실시예에 따른 통신부(1110)는 무선 통신을 기반으로 다른 사용자의 증강현실 제공 장치와 증강현실 제공에 필요한 데이터를 송수신할 수 있다.The communication unit 1110 may play a role of transmitting and receiving data necessary for providing augmented reality based on a multi-user through a communication network such as a network. In particular, the communication unit 1110 according to an embodiment of the present invention may transmit / receive data necessary for providing augmented reality with an augmented reality providing device of another user based on wireless communication.

프로세서(1120)는 사용자의 시점을 기준으로 증강현실 영역에 포함된 적어도 하나의 현실 객체를 식별한다. The processor 1120 identifies at least one reality object included in the augmented reality region based on the viewpoint of the user.

예를 들어, 증강현실 영역에 해당하는 현실 공간에 대한 3차원 정보를 복원하고, 이를 이용하여 사용자의 위치나 방향 등의 자세 정보를 추정함으로써 사용자의 시점을 판단할 수 있다. 이 후, 추정된 자세를 기반으로 사용자의 시점에 해당하는 증강현실 영역에 포함된 현실 객체를 식별할 수 있다. For example, the viewpoint of the user may be determined by restoring three-dimensional information about the real space corresponding to the augmented reality region and estimating posture information such as the position or the direction of the user using the same. Thereafter, the reality object included in the augmented reality region corresponding to the viewpoint of the user may be identified based on the estimated posture.

이 때, 사용자의 시점은 사용자가 사용하거나 착용하고 있는 증강현실 제공 장치의 카메라 시점에 상응할 수 있다.In this case, the user's viewpoint may correspond to the camera viewpoint of the augmented reality providing device that the user uses or wears.

또한, 프로세서(1120)는 증강현실 영역에 증강된 가상 객체와 적어도 하나의 현실 객체가 상호작용하는 경우에 사용자의 시점에 상응하도록 상호작용에 의한 증강현실 이벤트를 제공한다.In addition, the processor 1120 may provide an augmented reality event by interaction to correspond to the viewpoint of the user when the augmented virtual object and the at least one reality object interact in the augmented reality area.

따라서, 프로세서(1120)는 먼저 증강현실 영역에 증강된 가상 객체와 적어도 하나의 현실 객체가 상호작용하는지 여부를 판단할 수 있다.Therefore, the processor 1120 may first determine whether the augmented virtual area and the at least one reality object interact with each other in the augmented reality area.

예를 들어, 가상 객체가 움직이다가 현실 객체와 충돌하거나 또는 가상 객체와 현실 객체가 겹쳐져서 어느 하나의 객체가 보이지 않는 등의 상호작용이 발생하였는지 여부를 판단할 수 있다.For example, it may be determined whether an interaction such as a virtual object moves while colliding with a real object or an overlapping virtual object and a real object is invisible.

이 때, 증강현실 이벤트는 복수의 사용자들이 증강현실 영역에 포함된 경우, 복수의 사용자들 각각의 시점을 고려하여 복수의 사용자들 각각에 상응하도록 제공될 수 있다.In this case, when the plurality of users are included in the augmented reality region, the augmented reality event may be provided to correspond to each of the plurality of users in consideration of a viewpoint of each of the plurality of users.

이 때, 증강현실 이벤트는 복수의 사용자들 각각의 시점에서 적어도 하나의 현실 객체 및 가상 객체 중 적어도 하나를 기반으로 실행될 수 있다. In this case, the augmented reality event may be executed based on at least one of at least one reality object and a virtual object at each viewpoint of the plurality of users.

예를 들어, 증강현실 영역에 증강된 가상 객체가 자유롭게 움직이거나 현실 객체와 충돌하는 등 객체의 움직임이나 변화에 상응하게 증강현실 이벤트가 실행될 수 있다. For example, an augmented reality event may be executed corresponding to a movement or a change of an object such as a virtual object augmented in the augmented reality area freely moves or collides with a real object.

이 때, 객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 증강현실 재생정보를 복수의 사용자들에게 각각 재생할 수 있다. At this time, augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration may be generated, and augmented reality reproduction information may be reproduced to a plurality of users, respectively.

이 때, 증강현실 재생정보는 복수의 사용자들 각각에 상응하는 증강현실 제공 장치를 기반으로 복수의 사용자들에게 각각 디스플레이 될 수 있다. At this time, the augmented reality reproduction information may be displayed to a plurality of users based on the augmented reality providing apparatus corresponding to each of the plurality of users.

이 때, 가상 객체는 복수의 사용자들 각각의 시점을 기반으로 복수의 사용자들마다 상이한 형태로 증강될 수 있다.In this case, the virtual object may be augmented in a different form for each of the plurality of users based on a viewpoint of each of the plurality of users.

예를 들어, 도 1에 도시된 것처럼 4명의 사용자들이 배치된 상황이라는 가정하에 사용자 1에게 도 3과 같은 증강현실 화면이 디스플레이 될 수 있다. 도 3을 참고하면, 사용자들의 배치에 따라 사용자 3(303)과 사용자 4(304)가 사용자 1의 시점에서 보이는 것을 알 수 있다. 이 때, 증강현실 이벤트는 도 3에 도시된 2개의 현실 객체들(321, 322)이나 하나의 가상 객체(310)를 기반으로 실행될 수 있다. 만약, 도 3에 도시된 가상 객체(310)가 이동하여 현실 객체(322)와 충돌하는 경우, 도 4에 도시된 것처럼 현실 객체(322)가 삭제되는 증강현실 이벤트가 발생할 수 있고, 이에 대한 증강현실 재생정보를 생성하여 사용자 1에게 재생할 수 있다.For example, on the assumption that four users are arranged as shown in FIG. 1, the augmented reality screen as shown in FIG. 3 may be displayed to user 1. Referring to FIG. 3, it can be seen that the user 3 303 and the user 4 304 are viewed from the user 1's viewpoint according to the arrangement of the users. In this case, the augmented reality event may be executed based on two reality objects 321 and 322 or one virtual object 310 shown in FIG. 3. If the virtual object 310 shown in FIG. 3 moves and collides with the reality object 322, an augmented reality event in which the reality object 322 is deleted may occur as shown in FIG. 4, and an augmentation thereto may be performed. Real playback information can be generated and played back to user 1.

이 때, 현실 객체는 도 4에 도시된 것처럼 가상 객체(310)와 상호작용한 후 전체가 삭제될 수도 있고 또는 가상 객체(310)와 충돌한 일부분만 삭제될 수도 있다. In this case, the real object may be deleted after interacting with the virtual object 310 as shown in FIG. 4, or only a part that collides with the virtual object 310 may be deleted.

이 때, 도 1에 도시된 것처럼, 사용자 1과 동일한 증강현실 영역에 포함된 사용자 4에게는 도 5 내지 도 6과 같은 증강현실 화면이 디스플레이 될 수 있다. 이 때, 도 5는 도 3에 도시된 상황을 사용자 4의 시점에서 보여준 증강현실 화면에 상응하는 것으로, 도 3과 상이하게 현실 객체(322)가 현실 객체(321)을 가리는 모양으로 디스플레이 되는 것을 알 수 있다. 즉, 사용자 1(301)의 시점에서는 현실 객체(321)가 더 앞쪽에 위치하고 있기 때문에 현실 객체(321)과 현실 객체(322)를 가리는 모양으로 디스플레이 되지만, 사용자 4의 시점에서는 반대로 보여질 수 있다.In this case, as illustrated in FIG. 1, the augmented reality screen as illustrated in FIGS. 5 to 6 may be displayed to the user 4 included in the same augmented reality region as the user 1. In this case, FIG. 5 corresponds to the augmented reality screen showing the situation illustrated in FIG. 3 from the viewpoint of the user 4, and differently from FIG. 3, the reality object 322 is displayed to cover the reality object 321. Able to know. That is, since the real object 321 is located in front of the user 1 301, the real object 321 and the real object 322 are displayed in a shape that covers the real object 321, but the user object 321 may be viewed in reverse. .

따라서, 도 4에 도시된 상황을 사용자 4의 시점에서 보여준 도 6을 참조하면, 가상 객체(310)가 현실 객체(322)에 충돌함에 의해 현실 객체(322)가 삭제될 뿐만 아니라 현실 객체(322)에 가려져 있던 현실 객체(321)의 일부분이 복원된 것을 확인할 수 있다. 즉, 사용자 1(301)의 시점에서는 현실 객체(322)를 삭제하는 증강현실 재생정보만이 생성되었으나, 사용자 4의 시점에서는 현실 객체(322)가 삭제됨과 동시에 현실 객체(321)의 일부가 복원되는 증강현실 재생정보도 추가로 생성되어 재생될 수 있다.Thus, referring to FIG. 6, which shows the situation illustrated in FIG. 4 from the perspective of user 4, the reality object 322 is deleted as well as the reality object 322 is deleted by the virtual object 310 colliding with the reality object 322. It can be seen that a part of the real object 321 that was hidden by) is restored. That is, only the augmented reality reproduction information for deleting the reality object 322 is generated at the time of user 1 301, but at the time of user 4, the reality object 322 is deleted and a part of the reality object 321 is restored. The augmented reality playback information is also generated and can be reproduced additionally.

이 때, 도 4 및 도 6에 도시된 것처럼 현실 객체를 삭제하거나 복원하기 위해서는 영상 인페인팅(Inpainting) 또는 영상 컴플리션(Completion)을 사용할 수 있다. 이를 위해서, 본 발명에서는 각각의 현실 객체 영역을 분할하는 처리를 수행할 수 있고, 일부 가려진 부분에 대한 3차원 구조 정보가 필요한 경우에는 복원된 3차원 정보를 활용할 수도 있다. In this case, as shown in FIGS. 4 and 6, in order to delete or reconstruct a real object, image inpainting or image completion may be used. To this end, in the present invention, a process of dividing each real object region may be performed, and when three-dimensional structure information on some hidden portions is required, the restored three-dimensional information may be used.

이 때, 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 객체 복원을 수행할 수 있다. In this case, object restoration may be performed based on three-dimensional structure information of at least one real object.

다른 예를 들어, 도 3에 도시된 가상 객체(310)가 이동하여 현실 객체(322)와 충돌하는 경우, 도 7에 도시된 것처럼 현실 객체(322)가 삭제되는 동시에 도 3에 도시된 것과 같은 가상 객체(310)의 형태가 도 7에 도시된 것과 같은 가상 객체(710)의 형태로 변형되는 증강현실 재생정보가 생성되어 재생될 수 있다.As another example, when the virtual object 310 shown in FIG. 3 moves and collides with the reality object 322, as shown in FIG. 7, the reality object 322 is deleted and at the same time as shown in FIG. 3. Augmented reality reproduction information in which the shape of the virtual object 310 is transformed into the shape of the virtual object 710 as shown in FIG. 7 may be generated and reproduced.

또 다른 예를 들어, 이번에는 도 8에 도시된 것처럼 두 개의 가상 객체들(811, 812)과 하나의 현실 객체(820)를 기반으로 증강현실 이벤트가 실행되었다고 가정할 수 있다. 만약, 도 9에 도시된 것처럼 가상 객체(811)가 이동하여 현실 객체(820)와 충돌하고 이동하는 경우, 도 10에 도시된 것처럼 도 8 내지 도 9에 도시된 현실 객체(811)의 형태가 도 10에 도시된 현실 객체(821)의 형태로 변형되는 증강현실 재생정보가 생성되어 재생될 수도 있다. 이 때, 현실 객체(821)의 형태가 변화함에 따라 이에 가려져 있던 가상 객체(812)는 일부분이 복원되는 증강현실 재생정보가 동시에 생성되어 재생될 수 있다.For another example, it may be assumed that an augmented reality event is executed based on two virtual objects 811 and 812 and one reality object 820 as shown in FIG. 8. If the virtual object 811 moves and collides with the reality object 820 as shown in FIG. 9, the shape of the reality object 811 illustrated in FIGS. 8 to 9 as shown in FIG. Augmented reality reproduction information that is transformed into the shape of the reality object 821 illustrated in FIG. 10 may be generated and reproduced. At this time, as the shape of the reality object 821 changes, the virtual object 812 covered by the reality object 821 may be simultaneously generated and reproduced with augmented reality reproduction information in which a part is restored.

또한, 프로세서(1120)는 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 복수의 사용자들 각각의 시점을 추정할 수 있다.In addition, the processor 1120 may estimate a viewpoint of each of the plurality of users based on user attitude information of each of the plurality of users.

예를 들어, 복수의 사용자들 각각이 사용하는 증강현실 제공 장치가 증강현실 영역에 해당하는 현실 공간의 3차원 정보를 복원하고, 이를 이용하여 각 사용자의 위치나 방향을 추정함으로써 사용자 자세 정보를 획득할 수 있다. 이 후, 추정된 사용자 자세 정보와 현실 공간의 3차원 정보를 매칭하여 복수의 사용자들 각각의 시점을 추정할 수 있다.For example, the augmented reality providing apparatus used by each of the plurality of users restores the 3D information of the real space corresponding to the augmented reality region, and uses the same to estimate the position or direction of each user to obtain user posture information. can do. Thereafter, the viewpoints of each of the plurality of users may be estimated by matching the estimated user posture information with three-dimensional information of the real space.

또한, 프로세서(1120)는 복수의 사용자들 각각의 시점을 기반으로 복수의 사용자들 각각에 대한 가상 객체의 상대적 위치를 추정할 수 있다.In addition, the processor 1120 may estimate a relative position of the virtual object with respect to each of the plurality of users based on a viewpoint of each of the plurality of users.

이 때, 가상 객체의 상대적 위치를 기반으로 복수의 사용자들 각각의 시점에 상응하게 가상 객체를 증강시킬 수 있다. In this case, the virtual object may be augmented corresponding to the viewpoints of the plurality of users based on the relative positions of the virtual objects.

예를 들어, 도 1에 도시된 사용자 2와 사용자 4를 참조하면, 사용자 2와 가상 객체(120) 사이의 거리가 사용자 4와 가상 객체(120) 사이의 거리보다 먼 것을 알 수 있다. 즉, 사용자 2는 사용자 4보다 가상 객체(120)에서 멀리 떨어져있기 때문에 사용자 2의 증강현실 제공 장치(112)는 가상 객체(120)를 좀 더 작은 형태로 증강시킴으로써 사용자 2가 원근감을 느낄 수 있도록 할 수도 있다.For example, referring to user 2 and user 4 shown in FIG. 1, it can be seen that the distance between user 2 and virtual object 120 is greater than the distance between user 4 and virtual object 120. That is, since the user 2 is farther from the virtual object 120 than the user 4, the augmented reality providing device 112 of the user 2 may augment the virtual object 120 in a smaller form so that the user 2 may feel perspective. You may.

이 때, 복수의 사용자들이 이용하는 복수의 증강현실 제공 장치들은 상호간에 무선 통신이 가능할 수 있다. At this time, the plurality of augmented reality providing devices used by a plurality of users may be capable of wireless communication with each other.

예를 들어, 복수의 사용자들 각각에 대한 가상 객체의 상대적 위치를 추정하는 경우, 임의로 어느 하나의 기준 사용자를 설정하고, 기준 사용자의 상대적 위치와 나머지 사용자들의 상대적 위치를 비교하여 가상 객체의 원근감을 조절할 수 있다. 따라서, 복수의 증강현실 제공 장치들은 무선 통신을 기반으로 상대적 위치 정보를 송수신하고, 가상 객체를 증강시키는 과정에서 수신된 정보를 활용할 수도 있다.For example, when estimating the relative position of the virtual object with respect to each of the plurality of users, one of the reference users is arbitrarily set, and the relative position of the reference user and the relative positions of the remaining users are compared to determine the perspective of the virtual object. I can regulate it. Accordingly, the plurality of augmented reality providing apparatuses may transmit and receive relative position information based on wireless communication, and may use information received in the process of augmenting a virtual object.

메모리(1130)는 현실 객체에 대한 식별 정보 및 가상 객체에 대한 증강 데이터 중 적어도 하나를 저장한다.The memory 1130 stores at least one of identification information about the real object and augmented data about the virtual object.

또한, 메모리(1130)는 상술한 바와 같이 본 발명의 실시예에 따른 다중 사용자 기반의 증강현실 제공 과정에서 발생되는 다양한 정보를 저장한다.In addition, the memory 1130 stores various information generated in the process of providing augmented reality based on a multi-user according to an embodiment of the present invention as described above.

실시예에 따라, 메모리(1130)는 증강현실 제공 장치와 독립적으로 구성되어 증강현실 제공을 위한 기능을 지원할 수 있다. 이 때, 메모리(1130)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 지능을 포함할 수 있다.According to an embodiment, the memory 1130 may be configured independently of the augmented reality providing apparatus to support a function for providing augmented reality. In this case, the memory 1130 may operate as a separate mass storage, and may include control intelligence for performing an operation.

한편, 증강현실 제공 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the apparatus for providing augmented reality may include a memory and store information in the apparatus. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. In one embodiment, the storage device is a computer readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

또한, 증강현실 제공 장치는 단말기 또는 웨어러블 장치에 상응할 수 있으며, 서버와 클라이언트의 형태로 구성될 수도 있다. 예를 들어, 증강현실 제공 장치는 클라우드 서버와 클라이언트 단말 간의 형태로 동작할 수 있다.In addition, the apparatus for providing augmented reality may correspond to a terminal or a wearable device, and may be configured in the form of a server and a client. For example, the apparatus for providing augmented reality may operate in a form between a cloud server and a client terminal.

이와 같은 다중 사용자 기반의 증강현실 제공 장치를 이용함으로써 다중 사용자가 참여하는 증강현실 환경에서 사용자 또는 객체들 간에 보다 향상된 상호작용을 제공할 수 있다. By using the multi-user-based augmented reality providing apparatus, it is possible to provide more improved interaction between users or objects in an augmented reality environment in which multiple users participate.

또한, 보다 현실감 있고 풍부한 경험을 제공할 수 있는 증강현실 컨텐츠를 제공할 수 있다.In addition, it is possible to provide augmented reality content that can provide a more realistic and rich experience.

이상에서와 같이 본 발명에 따른 다중 사용자 기반의 증강현실 제공 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the multi-user-based augmented reality providing method and apparatus for the same are not limited to the configuration and method of the embodiments described as described above, the embodiments are various modifications All or part of each of the embodiments may be configured to be selectively combined to enable the combination.

100: 증강현실 영역 101: 타겟 영역
111~114: 증강현실 제공 장치 120, 310, 811, 812: 가상 객체
140: 카메라 뷰 영역(Field of View)
301~304: 사용자 321, 322, 820: 현실 객체
710: 변형된 가상 객체 821: 변형된 현실 객체
1110: 통신부 1120: 프로세서
1130: 메모리100: augmented reality area 101: target area
111 to 114: augmented reality providing apparatus 120, 310, 811, 812: virtual object
140: field of view of the camera
301-304: User 321, 322, 820: Reality object
710: deformed virtual object 821: deformed reality object
1110: communication unit 1120: processor
1130: memory

Claims (16)

증강현실 제공 장치가, 사용자의 시점을 기준으로 증강현실 영역에 포함된 적어도 하나의 현실 객체를 식별하는 단계; 및
상기 증강현실 제공 장치가, 상기 증강현실 영역에 증강된 가상 객체와 상기 적어도 하나의 현실 객체가 상호작용하는 경우에 상기 사용자의 시점에 상응하도록 상기 상호작용에 의한 증강현실 이벤트를 제공하는 단계를 포함하고,
상기 증강현실 이벤트는
복수의 사용자들이 상기 증강현실 영역에 포함된 경우, 상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들 각각에 상응하도록 제공되는 것을 특징으로 하는 증강현실 제공 방법.Identifying, by the apparatus for providing augmented reality, at least one reality object included in an augmented reality region based on a viewpoint of a user; And
The apparatus for providing augmented reality includes providing an augmented reality event by the interaction to correspond to the viewpoint of the user when the augmented virtual object and the at least one reality object interact with the augmented reality region. and,
The augmented reality event
When a plurality of users is included in the augmented reality region, augmented reality providing method characterized in that provided in correspondence with each of the plurality of users in consideration of the viewpoint of each of the plurality of users. 청구항 1에 있어서,
상기 증강현실 이벤트는
상기 복수의 사용자들 각각의 시점에서 상기 적어도 하나의 현실 객체 및 상기 가상 객체 중 적어도 하나를 기반으로 실행되는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 1,
The augmented reality event
And at least one of the at least one reality object and the virtual object at each time point of the plurality of users. 청구항 1에 있어서,
상기 증간현실 이벤트를 제공하는 단계는
객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 상기 증강현실 재생정보를 상기 복수의 사용자들에게 각각 재생하는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 1,
Providing the additional reality event is
And generating augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration, and reproducing the augmented reality reproduction information to the plurality of users, respectively. 청구항 3에 있어서,
상기 증강현실 재생정보는
상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들마다 상이하게 생성되는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 3,
The augmented reality reproduction information
Augmented reality providing method for generating a different for each of the plurality of users in consideration of the viewpoint of each of the plurality of users. 청구항 3에 있어서,
상기 증강현실 재생정보는
상기 복수의 사용자들 각각에 상응하는 증강현실 제공 장치를 기반으로 상기 복수의 사용자들에게 각각 디스플레이 되는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 3,
The augmented reality reproduction information
Augmented reality providing method, characterized in that displayed on each of the plurality of users based on the augmented reality providing apparatus corresponding to each of the plurality of users. 청구항 3에 있어서,
상기 가상 객체는
상기 복수의 사용자들 각각의 시점을 기반으로 상기 객체 변형, 상기 객체 삭제 및 상기 객체 복원 중 적어도 하나에 대응하도록 상기 복수의 사용자들마다 상이한 형태로 증강되는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 3,
The virtual object
And augmented reality in different forms for each of the plurality of users so as to correspond to at least one of the object modification, the object deletion, and the object restoration based on a viewpoint of each of the plurality of users. 청구항 6에 있어서,
상기 증강현실 제공 방법은
상기 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 상기 복수의 사용자들 각각의 시점을 추정하는 단계;
상기 복수의 사용자들 각각의 시점을 기반으로 상기 복수의 사용자들 각각에 대한 상기 가상 객체의 상대적 위치를 추정하는 단계; 및
상기 가상 객체의 상대적 위치를 기반으로 상기 복수의 사용자들 각각의 시점에 상응하게 상기 가상 객체를 증강시키는 단계를 더 포함하는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 6,
The augmented reality providing method
Estimating a viewpoint of each of the plurality of users based on user attitude information of each of the plurality of users;
Estimating a relative position of the virtual object with respect to each of the plurality of users based on a viewpoint of each of the plurality of users; And
And augmenting the virtual object corresponding to a viewpoint of each of the plurality of users based on the relative position of the virtual object. 청구항 3에 있어서,
상기 증강현실 이벤트를 제공하는 단계는
상기 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 상기 객체 복원을 수행하는 것을 특징으로 하는 증강현실 제공 방법.The method according to claim 3,
Providing the augmented reality event is
Augmented reality providing method characterized in that for performing the object restoration based on the three-dimensional structure information for the at least one real object. 사용자의 시점을 기준으로 증강현실 영역에 포함된 적어도 하나의 현실 객체를 식별하고, 상기 증강현실 영역에 증강된 가상 객체와 상기 적어도 하나의 현실 객체가 상호작용하는 경우에 상기 사용자의 시점에 상응하도록 상기 상호작용에 의한 증강현실 이벤트를 제공하는 프로세서; 및
상기 현실 객체에 대한 식별 정보 및 상기 가상 객체에 대한 증강 데이터 중 적어도 하나를 저장하는 메모리를 포함하고,
상기 증강현실 이벤트는
복수의 사용자들이 상기 증강현실 영역에 포함된 경우, 상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들 각각에 상응하도록 제공되는 것을 특징으로 하는 증강현실 제공 장치.Identify at least one reality object included in the augmented reality region based on the viewpoint of the user, and correspond to the viewpoint of the user when the augmented virtual object and the at least one reality object interact with the augmented reality region. A processor providing an augmented reality event by the interaction; And
A memory configured to store at least one of identification information of the real object and augmented data of the virtual object;
The augmented reality event
When the plurality of users are included in the augmented reality region, the augmented reality providing apparatus is provided to correspond to each of the plurality of users in consideration of the viewpoint of each of the plurality of users. 청구항 9에 있어서,
상기 증강현실 이벤트는
상기 복수의 사용자들 각각의 시점에서 상기 적어도 하나의 현실 객체 및 상기 가상 객체 중 적어도 하나를 기반으로 실행되는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 9,
The augmented reality event
The apparatus for providing augmented reality, characterized in that executed in at least one of the at least one real object and the virtual object at each time point of the plurality of users. 청구항 9에 있어서,
상기 프로세서는
객체 변형, 객체 삭제 및 객체 복원 중 적어도 하나에 상응하는 증강현실 재생정보를 생성하고, 상기 증강현실 재생정보를 상기 복수의 사용자들에게 각각 재생하는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 9,
The processor is
And generating augmented reality reproduction information corresponding to at least one of object deformation, object deletion, and object restoration, and reproducing the augmented reality reproduction information to the plurality of users, respectively. 청구항 11에 있어서,
상기 증강현실 재생정보는
상기 복수의 사용자들 각각의 시점을 고려하여 상기 복수의 사용자들마다 상이하게 생성되는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 11,
The augmented reality reproduction information
Augmented reality providing apparatus for generating a different for each of the plurality of users in consideration of the viewpoint of each of the plurality of users. 청구항 11에 있어서,
상기 증강현실 재생정보는
상기 복수의 사용자들 각각에 상응하는 증강현실 제공 장치를 기반으로 상기 복수의 사용자들에게 각각 디스플레이 되는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 11,
The augmented reality reproduction information
Augmented reality providing apparatus, characterized in that displayed on each of the plurality of users based on the augmented reality providing apparatus corresponding to each of the plurality of users. 청구항 11에 있어서,
상기 가상 객체는
상기 복수의 사용자들 각각의 시점을 기반으로 상기 객체 변형, 상기 객체 삭제 및 상기 객체 복원 중 적어도 하나에 대응하도록 상기 복수의 사용자들마다 상이한 형태로 증강되는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 11,
The virtual object
The apparatus for providing augmented reality according to the viewpoint of each of the plurality of users, wherein the plurality of users are augmented in a different form to correspond to at least one of the object modification, the object deletion, and the object restoration. 청구항 14에 있어서,
상기 프로세서는
상기 복수의 사용자들 각각에 대한 사용자 자세 정보를 기반으로 상기 복수의 사용자들 각각의 시점을 추정하고, 상기 복수의 사용자들 각각의 시점을 기반으로 상기 복수의 사용자들 각각에 대한 상기 가상 객체의 상대적 위치를 추정하고, 상기 가상 객체의 상대적 위치를 기반으로 상기 복수의 사용자들 각각의 시점에 상응하게 상기 가상 객체를 증강시키는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 14,
The processor is
Estimate a viewpoint of each of the plurality of users based on user attitude information of each of the plurality of users, and relative to the virtual object with respect to each of the plurality of users based on the viewpoints of each of the plurality of users. And estimating a location and augmenting the virtual object corresponding to a viewpoint of each of the plurality of users based on a relative position of the virtual object. 청구항 11에 있어서,
상기 프로세서는
상기 적어도 하나의 현실 객체에 대한 3차원 구조 정보를 기반으로 상기 객체 복원을 수행하는 것을 특징으로 하는 증강현실 제공 장치.The method according to claim 11,
The processor is
Augmented reality providing apparatus for performing the object restoration based on the three-dimensional structure information for the at least one real object.
KR1020180089941A 2018-08-01 2018-08-01 Method for providing augmented reality based on multi-user and apparatus using the same KR102316714B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180089941A KR102316714B1 (en) 2018-08-01 2018-08-01 Method for providing augmented reality based on multi-user and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180089941A KR102316714B1 (en) 2018-08-01 2018-08-01 Method for providing augmented reality based on multi-user and apparatus using the same

Publications (2)

Publication Number Publication Date
KR20200014587A true KR20200014587A (en) 2020-02-11
KR102316714B1 KR102316714B1 (en) 2021-10-26

Family

ID=69569037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180089941A KR102316714B1 (en) 2018-08-01 2018-08-01 Method for providing augmented reality based on multi-user and apparatus using the same

Country Status (1)

Country Link
KR (1) KR102316714B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220146980A (en) * 2021-04-26 2022-11-02 주식회사 피앤씨솔루션 Ar contents platform system for multiple users in indoor environment and its operation method
WO2024050231A1 (en) * 2022-08-31 2024-03-07 Snap Inc. Social memory re-experiencing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240026691A (en) * 2022-08-22 2024-02-29 주식회사 브이알크루 Apparatus and method for supporting tactical training using visual localization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112898A (en) * 2015-03-20 2016-09-28 한국과학기술원 Method and apparatus for providing dynamic service based augmented reality
KR101723823B1 (en) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 Interaction Implementation device of Dynamic objects and Virtual objects for Interactive Augmented space experience
KR101740213B1 (en) 2017-01-09 2017-05-26 오철환 Device for playing responsive augmented reality card game

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112898A (en) * 2015-03-20 2016-09-28 한국과학기술원 Method and apparatus for providing dynamic service based augmented reality
KR101723823B1 (en) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 Interaction Implementation device of Dynamic objects and Virtual objects for Interactive Augmented space experience
KR101740213B1 (en) 2017-01-09 2017-05-26 오철환 Device for playing responsive augmented reality card game

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220146980A (en) * 2021-04-26 2022-11-02 주식회사 피앤씨솔루션 Ar contents platform system for multiple users in indoor environment and its operation method
WO2022231223A1 (en) * 2021-04-26 2022-11-03 주식회사 피앤씨솔루션 Augmented reality content platform system for plurality of users in indoor environment and operation method therefor
WO2024050231A1 (en) * 2022-08-31 2024-03-07 Snap Inc. Social memory re-experiencing system

Also Published As

Publication number Publication date
KR102316714B1 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
JP7079231B2 (en) Information processing equipment, information processing system, control method, program
KR101918262B1 (en) Method and system for providing mixed reality service
US20090282429A1 (en) Viewer tracking for displaying three dimensional views
US7884823B2 (en) Three dimensional rendering of display information using viewer eye coordinates
EP3473311B1 (en) Providing apparatus, providing method and computer program
CN107943275B (en) Simulated environment display system and method
KR102316714B1 (en) Method for providing augmented reality based on multi-user and apparatus using the same
US20140232819A1 (en) Systems and methods for generating and sharing panoramic moments
CN103248810A (en) Image processing device, image processing method, and program
KR20140082610A (en) Method and apaaratus for augmented exhibition contents in portable terminal
KR102030322B1 (en) Methods, systems, and media for detecting stereoscopic videos by generating fingerprints for multiple portions of a video frame
JP6236573B2 (en) Free-viewpoint video data distribution system
CN111679742A (en) Interaction control method and device based on AR, electronic equipment and storage medium
JP2011077710A (en) Video communication system and video communication method
CN110710203B (en) Methods, systems, and media for generating and rendering immersive video content
CN116057577A (en) Map for augmented reality
CN114153548A (en) Display method and device, computer equipment and storage medium
US10482671B2 (en) System and method of providing a virtual environment
CN114489337A (en) AR interaction method, device, equipment and storage medium
KR20210098130A (en) Method for providing augmented reality based on multi user using interaction with real object and apparatus using the same
CN111344744A (en) Method for presenting a three-dimensional object, and related computer program product, digital storage medium and computer system
CN114051151B (en) Live interaction method and device, storage medium and electronic equipment
Pettersson et al. Collaborative 3d visualizations of geo-spatial information for command and control
WO2023132269A1 (en) Information processing device, information processing method, and program
WO2021085320A1 (en) Information processing device and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant