KR102317134B1 - Apparatus and method for authoring augmented reality contents - Google Patents

Apparatus and method for authoring augmented reality contents Download PDF

Info

Publication number
KR102317134B1
KR102317134B1 KR1020170144113A KR20170144113A KR102317134B1 KR 102317134 B1 KR102317134 B1 KR 102317134B1 KR 1020170144113 A KR1020170144113 A KR 1020170144113A KR 20170144113 A KR20170144113 A KR 20170144113A KR 102317134 B1 KR102317134 B1 KR 102317134B1
Authority
KR
South Korea
Prior art keywords
slam
data
augmented reality
content
space
Prior art date
Application number
KR1020170144113A
Other languages
Korean (ko)
Other versions
KR20190048857A (en
Inventor
송형주
임국찬
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170144113A priority Critical patent/KR102317134B1/en
Publication of KR20190048857A publication Critical patent/KR20190048857A/en
Application granted granted Critical
Publication of KR102317134B1 publication Critical patent/KR102317134B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 증강현실 컨텐츠 저작 장치는 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한 슬램용 데이터를 저장하는 저장부와, 상기 저장된 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 슬램 에뮬레이터와, 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 이용하여서 상기 현실공간을 모델링한 가상공간을 생성하고, 증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하는 저작부를 포함한다.Augmented reality content authoring device according to an embodiment is a slam (simultaneous localization and mapping, SLAM) recorder for storing the slam data acquired while moving the real space, and by driving the stored data for slam, the reality A slam emulator for generating the same situation in which the data for slam is obtained in real time from space, and a virtual space modeling the real space using the same situation in which the data for slam is obtained in real time, and augmented reality and an authoring unit for arranging the contents for use in the generated virtual space.

Description

증강현실용 컨텐츠 저작 장치 및 방법{APPARATUS AND METHOD FOR AUTHORING AUGMENTED REALITY CONTENTS}Apparatus and method for content authoring for augmented reality {APPARATUS AND METHOD FOR AUTHORING AUGMENTED REALITY CONTENTS}

본 발명은 증강현실용 컨텐츠 저작 장치 및 방법에 관한 것이다.The present invention relates to a content authoring apparatus and method for augmented reality.

증강현실(AR; Augmented Reality)은 가상세계와 사용자가 눈으로 보는 현실세계를 합쳐 하나의 영상으로 보여주는 가상현실 서비스의 일종이다. 가상현실은 게임처럼 공간을 새롭게 창조하는 반면, 증강현실은 현실에 대한 실사영상(현실영상) 위에 가상의 컨텐츠를 결합함으로써 부가적인 정보를 제공할 수 있다. Augmented reality (AR) is a kind of virtual reality service that combines the virtual world and the real world that the user sees as a single image. While virtual reality creates a new space like a game, augmented reality can provide additional information by combining virtual content on an actual image (real image) of reality.

이러한 증강현실을 구현하기 위해서는 카메라, 센서, 컴퓨터 그래픽, 정합 (Registration)기술 또는 디스플레이 기기 등과 같은 요소기술이 필요하다. 아울러, 현실세계에서의 위치 정보 내지는 현실세계를 촬영하는 카메라의 위치 정보가 필요할 수도 있다. 현실세계에서의 위치마다 증강되어 표시되어야 할 증강현실용 컨텐츠가 서로 상이할 수 있기 때문이다.In order to implement such augmented reality, elemental technologies such as cameras, sensors, computer graphics, registration technology, or display devices are required. In addition, location information in the real world or location information of a camera that captures the real world may be required. This is because the augmented reality content to be augmented and displayed for each location in the real world may be different from each other.

한편, 슬램(Simultaneous Localization And Mapping, SLAM)은 미지의 환경에서 카메라의 위치 및/또는 배향을 결정하고 이러한 미지의 환경의 맵을 생성하기 위한 기술이다. 이러한 SLAM은 미지의 환경에서 전술한 증강현실과 결합됨으로써 다양한 서비스의 구현을 가능하게 한다.Meanwhile, Simultaneous Localization And Mapping (SLAM) is a technique for determining the position and/or orientation of a camera in an unknown environment and generating a map of the unknown environment. Such SLAM enables the implementation of various services by being combined with the above-described augmented reality in an unknown environment.

한국특허공개공보, 제 10-2011-0002005호 (2011.01.06. 공개)Korean Patent Laid-Open Publication No. 10-2011-0002005 (published on Jan. 6, 2011)

전술한 증강현실을 구현하기 위해서는 현실공간을 스캔하는 과정이 수반되어야 한다. 이를 위해, 도 1을 참조하면, 저작자(40)는 스캔 장치(50) 등을 이용해서 현실공간(30)을 스캔한다. 스캔된 데이터는 저작 장치가 설치되어 있는 저작자의 컴퓨터(20) 등으로 전달될 수 있다. 저작자(40)는 저작 장치를 이용해서 스캔된 데이터를 기초로 가상공간(160)을 형성한다. 저작자(40)는 저작 장치를 이용해서 가상공간(160)에 증강현실용 컨텐츠(A,B,C)를 배치한다.In order to implement the aforementioned augmented reality, a process of scanning the real space should be accompanied. To this end, referring to FIG. 1 , the author 40 scans the real space 30 using a scanning device 50 or the like. The scanned data may be transmitted to the author's computer 20 or the like in which the authoring device is installed. The author 40 forms the virtual space 160 based on the scanned data using the authoring device. The author 40 arranges the augmented reality content (A, B, C) in the virtual space 160 using an authoring device.

여기서, 가상공간(160)을 생성하기 위해서는, 현실공간(30)이 스캔 장치(50)에 의해 스캔되어야 한다. 또한, 가상공간(160)에 증강현실용 컨텐츠(A,B,C)가 적합하게 배치되었는지를 확인하기 위해서, 저작자(40)는 현실공간(30)에 직접 가서 증강현실용 장치(도면에는 도시되지 않음)를 이용하여서 테스트를 해봐야 한다. 그런데, 이를 위해 저작자(40)가 매번 현실공간(30)을 방문하는 일은 번거로운 일이다.Here, in order to generate the virtual space 160 , the real space 30 must be scanned by the scanning device 50 . In addition, in order to check whether the augmented reality content (A, B, C) is properly arranged in the virtual space 160, the author 40 goes directly to the real space 30 and an augmented reality device (shown in the drawing) not working) should be used for testing. However, it is cumbersome for the author 40 to visit the real space 30 every time for this purpose.

이에, 본 발명이 해결하고자 하는 과제는, 저작자 등이 매번 현실공간을 방문하지 않아도 가상공간을 생성 및 이러한 가상공간에 배치된 증강현실용 컨텐츠에 대해 확인할 수 있도록 구현된 저작 장치에 관한 기술을 제공하는 것이다.Accordingly, the problem to be solved by the present invention is to provide a technology related to an authoring device implemented so that the author can create a virtual space without visiting the real space every time and check the contents for augmented reality placed in the virtual space will do

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved of the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

일 실시예에 따른 증강현실 컨텐츠 저작 장치는 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한 슬램용 데이터를 저장하는 저장부와, 상기 저장된 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 슬램 에뮬레이터와, 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 이용하여서 상기 현실공간을 모델링한 가상공간을 생성하고, 증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하는 저작부를 포함한다.Augmented reality content authoring device according to an embodiment is a slam (simultaneous localization and mapping, SLAM) recorder for storing the slam data acquired while moving the real space, and by driving the stored data for slam, the reality A slam emulator for generating the same situation in which the data for slam is obtained in real time from space, and a virtual space modeling the real space using the same situation in which the data for slam is obtained in real time, and augmented reality and an authoring unit for arranging the contents for use in the generated virtual space.

일 실시예에 따른 증강현실용 컨텐츠 저작 장치에 의해 수행되는 증강현실용 컨텐츠를 저작하는 방법은 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한, 기 저장된 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 단계와, 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 기초로 상기 현실공간을 모델링한 가상공간을 생성하는 단계와, 증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하는 단계를 포함한다.The method of authoring content for augmented reality performed by the content authoring device for augmented reality according to an embodiment is to drive pre-stored data for slam, obtained by a slam (simultaneous localization and mapping, SLAM) recorder moving in real space. generating the same situation in which the data for slam is obtained in real time from the real space; and creating a virtual space in which the real space is modeled based on the same situation in which the data for slam is obtained in real time and arranging augmented reality content in the generated virtual space.

일 실시예에 따른 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램은 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한, 기 저장된 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 단계와, 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 기초로 상기 현실공간을 모델링한 가상공간을 생성하는 단계와, 증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하는 단계를 수행하도록 프로그램된다.The computer program stored in the computer-readable recording medium according to an embodiment drives the pre-stored data for the slam, which the slam (simultaneous localization and mapping, SLAM) recorder acquired while moving the real space, and from the real space for the slam. Creating a situation identical to that in which data is obtained in real time; and generating a virtual space in which the real space is modeled based on the same situation in which the data for slam is obtained in real time; It is programmed to perform the steps of placing in the created virtual space.

일 실시예에 따른 컴퓨터 판독가능한 기록매체는 컴퓨터 프로그램을 포함하되, 이러한 컴퓨터 프로그램은 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한, 기 저장된 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 단계와, 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 기초로 상기 현실공간을 모델링한 가상공간을 생성하는 단계와, 증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하는 단계를 수행하도록 프로그램된다.The computer-readable recording medium according to an embodiment includes a computer program, which computer program drives the pre-stored data for slam obtained by the simultaneous localization and mapping (SLAM) recorder while moving the real space, Generating the same situation in which the data for slam is obtained from real space in real time, and generating a virtual space in which the real space is modeled based on the same situation in which the data for slam is obtained in real time; It is programmed to perform the step of arranging augmented reality content in the generated virtual space.

일 실시예에 따르면 슬램 레코더에 의해 확보된 슬램용 데이터를 이용하여서, 저작자가 원할 때마다 슬램 동작이 수행되도록 할 수 있다. 따라서, 가상공간을 생성하거나, 가상공간에 기 배치된 증강현실용 컨텐츠가 가상공간에 제대로 배치되어 있는지를 확인해야 할 때마다, 저작자가 매번 현실공간에 방문하지 않아도 된다.According to an embodiment, the slam operation may be performed whenever the author wishes by using the slam data secured by the slam recorder. Therefore, whenever it is necessary to generate a virtual space or to check whether the augmented reality content previously placed in the virtual space is properly arranged in the virtual space, the author does not have to visit the real space every time.

도 1은 현실공간으로부터 가상공간을 생성하고, 증강현실용 컨텐츠를 가상공간에 배치하는 과정을 도시하고 있다.
도 2는 일 실시예에 따른 증강현실용 컨텐츠 저작 장치의 구성을 도시하고 있다.
도 3은 슬램 레코더의 구성을 도시하고 있다.
도 4는 도 3에 도시된 슬램 레코더가 현실공간에서 슬램용 데이터를 획득하는 과정을 도시하고 있다.
도 5는 일 실시예에 따라 증강현실용 컨텐츠를 저작하는 과정을 도시하고 있다.1 illustrates a process of creating a virtual space from a real space and arranging augmented reality content in the virtual space.
2 shows the configuration of a content authoring apparatus for augmented reality according to an embodiment.
3 shows the configuration of a slam recorder.
FIG. 4 illustrates a process in which the slam recorder shown in FIG. 3 acquires data for slam in real space.
5 illustrates a process of authoring content for augmented reality according to an embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 2는 일 실시예에 따른 증강현실용 컨텐츠 저작 장치(100)의 구성을 도시하고 있으며, 다만 도 2는 예시적인 것에 불과하므로 증강현실용 컨텐츠 저작 장치(100)의 구성이 도 2에 도시된 것으로 한정해석되는 것은 아니다.FIG. 2 shows the configuration of the content authoring apparatus 100 for augmented reality according to an embodiment. However, since FIG. 2 is merely exemplary, the configuration of the content authoring apparatus 100 for augmented reality is shown in FIG. It is not to be construed as being limited.

먼저, 증강현실용 컨텐츠 저작 장치(100)는 PC(personal computer)나 서버와 같은 컴퓨터, 스마트폰이나 스마트패드와 같은 모바일 기기 등에서 구현될 수 있다. 또는 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램, 또는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체에서 구현될 수도 있다.First, the content authoring apparatus 100 for augmented reality may be implemented in a computer such as a personal computer (PC) or a server, or a mobile device such as a smart phone or a smart pad. Alternatively, a computer program stored in a computer-readable recording medium, or a computer-readable recording medium storing the computer program may be implemented.

도 2를 참조하면, 증강현실용 컨텐츠 저작 장치(100)는 저장부(110), 슬램 에뮬레이터(120) 및 저작부(130)를 포함하며, 실시예에 따라서 테스트용 영상 표시부(140)를 더 포함할 수 있다.Referring to FIG. 2 , the augmented reality content authoring apparatus 100 includes a storage unit 110 , a slam emulator 120 , and an authoring unit 130 , and according to an embodiment, a test image display unit 140 is further included. may include

저장부(110)는 데이터를 저장하는 메모리에 의해 구현 가능하다. 저장부(110)에는 슬램(simultaneous localization and mapping, SLAM)용 데이터가 있다. 슬램용 데이터란, 슬램 레코더(recorder)에 의해 사전에 획득된 데이터이다. 이하에서는 슬램 레코더에 대해 도 3을 참조하여 먼저 살펴보도록 한다.The storage unit 110 may be implemented by a memory that stores data. The storage unit 110 includes data for simultaneous localization and mapping (SLAM). The data for slam is data previously acquired by a slam recorder. Hereinafter, a slam recorder will be described first with reference to FIG. 3 .

도 3은 슬램 레코더(200)의 구성을 도시한 도면이다. 다만, 도 3은 예시적인 것에 불과하므로, 슬램 레코더(200)가 도 3에 도시된 것으로 한정해석되는 것은 아니다. 3 is a diagram illustrating the configuration of the slam recorder 200 . However, since FIG. 3 is merely exemplary, the slam recorder 200 is not interpreted as being limited to that shown in FIG. 3 .

도 3을 참조하면, 슬램 레코더(200)는 촬영부(210), 관성 센서부(220), 저장부(230) 및 포트부(240) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 3 , the slam recorder 200 may include at least one of a photographing unit 210 , an inertial sensor unit 220 , a storage unit 230 , and a port unit 240 .

촬영부(210)는 슬램 레코더(200)가 현실공간에서 움직일 때, 예컨대 이동하거나 회전할 때 현실공간을 연속적으로 촬영할 수 있는 구성이다. 이러한 촬영부(210)는 양안 카메라, 깊이(depth) 카메라 등으로 구현 가능하다.The photographing unit 210 is configured to continuously photograph the real space when the slam recorder 200 moves in the real space, for example, when it moves or rotates. The photographing unit 210 may be implemented as a binocular camera, a depth camera, or the like.

촬영부(120)에 의해 촬영된 영상, 즉 현실영상에는 깊이(depth) 정보가 포함될 수 있다. 아울러, 현실영상에는 평면(plane)에 대한 정보, 포인트 클라우드 데이터 등이 포함될 수 있다. The image captured by the photographing unit 120, that is, the real image may include depth information. In addition, the real image may include information on a plane, point cloud data, and the like.

관성 센서부(220)는 슬램 레코더(200)의 움직임, 예컨대 가속도 또는 각속도 등을 측정할 수 있는 관성 측정 센서(inertial measurement unit, IMU)에 의해 구현 가능하다. 가속도는 슬램 레코더(200)의 이동 운동 감지에 사용되며 각속도는 슬램 레코더(200)의 이동이나 회전 운동 감지에 사용될 수 있다.The inertial sensor unit 220 may be implemented by an inertial measurement unit (IMU) capable of measuring the motion of the slam recorder 200 , for example, acceleration or angular velocity. The acceleration is used to detect the movement motion of the slam recorder 200 , and the angular velocity may be used to detect the movement or rotation motion of the slam recorder 200 .

저장부(230)는 촬영부(210)에 의해 촬영된 현실영상 또는 관성 센서부(220)에 의해 감지된 움직임 정보 등이 저장될 수 있으며, 메모리 등으로 구현 가능하다. 여기서, 저장부(230)에 저장된 현실영상과 움직임 정보는 슬램용 데이터라고 지칭될 수 있다.The storage unit 230 may store a real image photographed by the photographing unit 210 or motion information detected by the inertial sensor unit 220 , and may be implemented as a memory or the like. Here, the real image and motion information stored in the storage unit 230 may be referred to as slam data.

포트부(240)는 슬램 레코더(200)를 증강현실용 저작 장치(100)와 연결시키는 구성이다. 저장부(230)에 저장된 슬램용 데이터는, 포트부(240)를 통해 증강현실용 컨텐츠 저작 장치(100)에게 전달될 수 있다.The port unit 240 is configured to connect the slam recorder 200 to the authoring device 100 for augmented reality. The slam data stored in the storage unit 230 may be transmitted to the augmented reality content authoring apparatus 100 through the port unit 240 .

이러한 슬램 레코더(200)는 현실공간에서 스스로 이동하거나 또는 저작자 등에 의해 이동되면서 현실공간으로부터 슬램용 데이터를 획득할 수 있는데, 그 과정에 대해서는 도 4를 참조하여 살펴보기로 한다.The slam recorder 200 can acquire data for slam from the real space while moving by itself or by an author or the like in the real space. The process will be described with reference to FIG. 4 .

도 4는 도 3에 도시된 슬램 레코더(200)에 의해 슬램용 데이터가 획득되는 과정을 도시하고 있다. 도 4를 참조하면, 먼저 현실공간에서 슬램 레코더(200)의 이동 경로가 설정될 수 있다(S10). 이동 경로는 적어도 하나 이상이 될 수 있으며, 가능하면 타겟이 되는 현실공간을 모두 커버할 수 있도록 설정될 수 있다. FIG. 4 illustrates a process in which data for slam is acquired by the slam recorder 200 shown in FIG. 3 . Referring to FIG. 4 , first, a movement path of the slam recorder 200 in real space may be set ( S10 ). The movement path may be at least one, and, if possible, may be set to cover all of the target real space.

다음으로, 슬램 레코더(200)는 단계 S10에서 선택된 이동 경로를 따라 현실공간에서 이동되며, 이동 중 또는 이동 후에 슬램용 데이터를 획득할 수 있다(S11). Next, the slam recorder 200 is moved in real space along the movement path selected in step S10, and may acquire data for slam during or after movement (S11).

획득된 슬램용 데이터는 슬램 레코더(200)의 저장부(230)에 저장될 수 있다(S12). The acquired data for slam may be stored in the storage 230 of the slam recorder 200 (S12).

단계 S10에서 선택된 이동 경로 이외의 다른 경로에 대해서도 슬램용 데이터의 획득이 필요한지가 저작자에 의해 판단될 수 있다(S13). 만약 다른 경로에 대해서도 슬램용 데이터의 획득이 필요하다면 단계 S10으로 되돌아가서 단계 S10 내지 S13이 반복되며, 그렇지 않다면 종료될 수 있다.It may be determined by the author whether it is necessary to obtain slam data for a path other than the moving path selected in step S10 (S13). If it is necessary to acquire data for slam for another path, the process returns to step S10 and steps S10 to S13 are repeated, otherwise the process may be ended.

다시 도 2를 참조하면, 슬램 에뮬레이터(120)는 저장부(110)에 저장된 슬램용 데이터를 구동시켜서, 슬램 동작이 수행되는 것과 동일한 상황을 생성할 수 있다. 여기서의 슬램 동작이란, 별도의 슬램 디바이스가 현실공간을 돌아다니면서 현실공간을 촬영하고 움직임 정보를 획득한 뒤, 이러한 정보(현실영상과 움직임 정보 등)를 기초로 현실공간에서의 자신의 위치를 파악하는 동작을 의미한다.Referring back to FIG. 2 , the slam emulator 120 drives the slam data stored in the storage unit 110 to create the same situation in which the slam operation is performed. The slam motion here means that a separate slam device travels around the real space, captures the real space, acquires motion information, and grasps its position in the real space based on this information (real image and motion information, etc.) means an action.

슬램 에뮬레이터(120)를 이용하면, 저작자는 자신이 원하는 순간마다 슬램 동작을 수행시킬 수 있다. 슬램 에뮬레이터(120)에 의해 수행되는 슬램 동작은 예컨대 저작자가 가상공간을 생성하는 경우, 생성된 가상공간에 증강현실용 컨텐츠를 배치하는 경우 또는 증강현실용 컨텐츠가 가상공간에 제대로 배치되어 있는지를 테스트하길 원하는 경우 등에 활용될 수 있다.If the slam emulator 120 is used, the author can perform the slam operation whenever he/she wants. The slam operation performed by the slam emulator 120 tests whether the author creates a virtual space, arranges the augmented reality content in the created virtual space, or whether the augmented reality content is properly arranged in the virtual space. It can be used when you want to.

즉, 일 실시예에 따르면 슬램 레코더에 의해 확보된 슬램용 데이터를 이용하여서, 저작자가 원할 때마다 슬램 동작이 수행되도록 할 수 있다. 따라서, 가상공간을 생성하거나, 가상공간에 기 배치된 증강현실용 컨텐츠가 가상공간에 제대로 배치되어 있는지를 확인해야 할 때마다, 저작자가 매번 현실공간에 방문하지 않아도 된다.That is, according to an embodiment, the slam operation may be performed whenever the author wishes by using the slam data secured by the slam recorder. Therefore, whenever it is necessary to generate a virtual space or to check whether the augmented reality content previously placed in the virtual space is properly arranged in the virtual space, the author does not have to visit the real space every time.

저작부(130)는 슬램 에뮬레이터(120)에 의해 수행된 슬램 동작을 이용하여서 가상공간을 생성한다. 즉, 저작부(130)는 이러한 슬램 에뮬레이터(120)에 의해 수행되는 슬램 동작의 결과물을 이용하여서, 현실공간을 모델링한 가상공간을 생성할 수 있다.The authoring unit 130 creates a virtual space by using the slam operation performed by the slam emulator 120 . That is, the authoring unit 130 may use the result of the slam operation performed by the slam emulator 120 to generate a virtual space modeling the real space.

또한, 저작부(130)는 이와 같이 생성된 가상공간에 증강현실용 컨텐츠를 배치할 수 있다. 즉, 이미 저장된 슬램용 데이터를 이용하여 슬램 동작이 슬램 에뮬레이터(120)에 의해 수행되도록 하여서 가상공간을 생성한 뒤, 이러한 가상공간에 증강현실용 컨텐츠가 배치되도록 할 수 있다.In addition, the authoring unit 130 may arrange content for augmented reality in the virtual space created in this way. That is, the slam operation is performed by the slam emulator 120 using the previously stored slam data to create a virtual space, and then the augmented reality content can be arranged in the virtual space.

한편, 실시예에 따라 증강현실용 컨텐츠 저작 장치(100)는 테스트용 영상 표시부(140)를 더 포함할 수 있다. 테스트용 영상 표시부(140)는 현실영상을 표시하면서, 이러한 현실영상에 증강현실용 컨텐츠를 증강시켜서 표시하는 화면으로 구성 될 수 있다. 이러한 테스트용 영상 표시부(140)에는 먼저 슬램 에뮬레이터(120)에 의해 수행된 슬램 동작이 로딩될 수 있으며, 이에 따라 테스트용 영상 표시부(140)에는 슬램용 데이터에 포함된 현실영상이 표시될 수 있다.Meanwhile, according to an embodiment, the content authoring apparatus 100 for augmented reality may further include a test image display unit 140 . The test image display unit 140 may be configured as a screen for augmenting and displaying content for augmented reality on the real image while displaying the real image. The slam operation performed by the slam emulator 120 may be loaded into the test image display unit 140 first, and accordingly, the real image included in the slam data may be displayed on the test image display unit 140 . .

아울러, 테스트용 영상 표시부(140)에는 저작부(130)가 생성한 가상공간에 대한 정보가 로딩될 수 있다. 아울러, 슬램 에뮬레이터(120)에 의해 슬램 동작이 수행되면, 슬램용 데이터에 포함된 현실영상 위에 증강현실용 컨텐츠가 표시될 수 있다. 이를 통해 저작자는 자신이 배치한 증강현실용 컨텐츠가 제대로 표시되고 있는지 여부를 테스트해볼 수 있다.In addition, information on the virtual space generated by the authoring unit 130 may be loaded into the test image display unit 140 . In addition, when the slam operation is performed by the slam emulator 120 , the augmented reality content may be displayed on the real image included in the slam data. Through this, authors can test whether the content for augmented reality they have placed is being displayed properly.

한편, 실시예에 따라 가상공간의 생성을 위해 슬램 에뮬레이터(120)에 제공된 슬램용 데이터는, 테스트를 위해 슬램 에뮬레이터(120)에 제공된 입력된 슬램용 데이터와 서로 상이할 수 있다. 가상공간의 생성에 사용된 슬램용 데이터와 동일한 슬램용 데이터를 이용해서 테스트를 하는 경우보다 서로 상이한 슬램용 데이터를 이용해서 테스트를 하는 경우가, 증강현실용 컨텐츠가 가상공간에 저작자의 의도대로 배치되어서 구동되는지를 보다 정교하게 판단해볼 수 있다.Meanwhile, according to an embodiment, the slam data provided to the slam emulator 120 for generating a virtual space may be different from the slam data provided to the slam emulator 120 for testing. In the case of testing using different slam data than in the case of testing using the same slam data as the slam data used in the creation of the virtual space, augmented reality content is placed in the virtual space as intended by the author. It can be judged more precisely whether it is running or not.

도 5는 일 실시예에 따른 증강현실용 컨텐츠 저작 방법의 절차를 도시하고 있다. 도 5에 도시된 방법은 도 2에 도시된 증강현실용 컨텐츠 저작 장치(100)에 의해 수행될 수 있다. 아울러, 도 5에 도시된 방법의 절차는 예시적인 것에 불과하므로, 도 5에 도시된 것에 한정해석되는 것은 아니다.5 illustrates a procedure of a content authoring method for augmented reality according to an embodiment. The method shown in FIG. 5 may be performed by the content authoring apparatus 100 for augmented reality shown in FIG. 2 . In addition, since the procedure of the method shown in FIG. 5 is merely exemplary, it is not construed as being limited to that shown in FIG. 5 .

도 5를 참조하면, 증강현실용 컨텐츠 저작 장치(100)의 슬램 에뮬레이터(120)는 저장부(110)에 저장된 슬램용 데이터를 구동시켜서, 현실공간으로부터 슬램용 데이터가 실시간으로 증강현실용 저작 장치(100)에서 획득되는 것과 동일한 상황이 일어나도록, 즉 슬램 동작이 일어나도록 할 수 있다(S100). 여기서, 저장부(110)에 저장된 슬램용 데이터는 도 3에 도시된 슬램 레코더(200)에 의해 사전에 현실공간으로부터 획득된 것일 수 있으며, 현실공간에 대해 촬영된 현실영상 또는 슬램 레코더(200)의 움직임 데이터 등을 포함할 수 있다.Referring to FIG. 5 , the slam emulator 120 of the augmented reality content authoring device 100 drives the slam data stored in the storage 110 , so that the slam data from the real space is generated by the augmented reality authoring device in real time. The same situation as that obtained in (100) may occur, that is, a slam operation may occur (S100). Here, the slam data stored in the storage 110 may be obtained from the real space in advance by the slam recorder 200 shown in FIG. may include motion data of

다음으로, 증강현실용 컨텐츠 저작 장치(100)의 저작부(130)는 단계 S100에서 발생한 상황, 즉 현실공간으로부터 슬램용 데이터가 실시간으로 증강현실용 저작 장치(100)에서 획득되는 것과 동일한 상황을 이용하여서 현실공간을 모델링한 가상공간을 생성한다(S120). Next, the authoring unit 130 of the content authoring device 100 for augmented reality is the same situation as the situation that occurred in step S100, that is, data for slam from real space is obtained in real time from the authoring device 100 for augmented reality. A virtual space in which the real space is modeled is created by using (S120).

다음으로, 증강현실용 컨텐츠 저작 장치(100)의 저작부(130)는 증강현실용 컨텐츠를 증강현실용 공간, 즉 가상공간에 배치한다(S140). 이 때, 증강현실용 컨텐츠에는 배치된 위치에 대한 정보가 할당될 수 있다.Next, the authoring unit 130 of the augmented reality content authoring device 100 arranges the augmented reality content in the augmented reality space, that is, the virtual space (S140). In this case, information on a location in which the augmented reality content is arranged may be allocated.

여기서, 단계 S100에서 슬램 에뮬레이터(120)에 제공되는 슬램용 데이터는, 실시예에 따라서 단계 S140에서 테스트를 위해 슬램 에뮬레이터(120)에 제공되는 슬램용 데이터와 상이할 수 있다.Here, the slam data provided to the slam emulator 120 in step S100 may be different from the slam data provided to the slam emulator 120 for testing in step S140 according to an embodiment.

이상에서 살펴본 바와 같이, 일 실시예에 따르면 슬램 레코더에 의해 확보된 슬램용 데이터를 이용하여서, 저작자가 원할 때마다 슬램 동작이 수행되도록 할 수 있다. 따라서, 가상공간을 생성하거나, 가상공간에 기 배치된 증강현실용 컨텐츠가 가상공간에 제대로 배치되어 있는지를 확인해야 할 때마다 저작자가 현실공간에 방문하지 않아도 된다.As described above, according to an embodiment, the slam operation may be performed whenever the author wishes by using the slam data secured by the slam recorder. Accordingly, the author does not have to visit the real space whenever it is necessary to create a virtual space or to check whether the augmented reality content previously placed in the virtual space is properly arranged in the virtual space.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

일 실시예에 따르면 슬램 레코더에 의해 확보된 슬램용 데이터를 이용하여서, 저작자가 원할 때마다 슬램 동작이 수행되도록 할 수 있다.According to an embodiment, the slam operation may be performed whenever the author wishes by using the slam data secured by the slam recorder.

100: 증강현실용 컨텐츠 저작 장치100: content authoring device for augmented reality

Claims (7)

슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한 슬램 동작에 필요한 데이터와 이동 정보를 기록한 데이터를 포함하는 슬램용 데이터를 저장하는 저장부와,
상기 저장된 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 슬램 에뮬레이터와,
상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 이용하여서 상기 현실공간을 모델링한 가상공간을 생성하고, 증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하고, 획득한 상기 이동 정보에 기초하여 상기 증강현실용 컨텐츠의 위치를 조정하는 저작부를 포함하는
증강현실용 컨텐츠 저작 장치.A slam (simultaneous localization and mapping, SLAM) recorder comprising: a storage unit for storing data for slam, including data required for slam motion acquired while moving in real space, and data for recording movement information;
a slam emulator that drives the stored data for slam to create the same situation as when the data for slam is obtained from the real space in real time;
A virtual space modeling the real space is generated using the same situation in which the data for slam is obtained in real time, the augmented reality content is placed in the generated virtual space, and based on the obtained movement information, the Including an authoring unit that adjusts the location of content for augmented reality
Content authoring device for augmented reality. 제 1 항에 있어서,
상기 슬램용 데이터는,
상기 슬램 레코더에 의해 측정된 가속도값, 상기 슬램 레코더에 의해 측정된 각속도값 및 상기 슬램 레코더에 의해 촬영된 상기 현실공간에 대한 촬영 데이터 중 적어도 하나를 포함하는
증강현실용 컨텐츠 저작 장치.The method of claim 1,
The data for the slam is,
At least one of an acceleration value measured by the slam recorder, an angular velocity value measured by the slam recorder, and shooting data for the real space captured by the slam recorder
Content authoring device for augmented reality. 제 1 항에 있어서,
상기 슬램 에뮬레이터는,
상기 저작부로부터 상기 증강현실용 컨텐츠가 배치된 가상공간에 대한 정보를 전달받은 뒤, 상기 저장된 슬램용 데이터를 테스트를 위해 구동시켜서 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하며,
상기 증강현실용 컨텐츠 저작 장치는,
상기 테스트를 위해 구동된 슬램용 데이터를 기초로, 상기 테스트를 위해 구동된 슬램용 데이터에 포함된 촬영 데이터 상에 증강현실용 컨텐츠를 표시하는 테스트용 영상 표시부를 더 포함하는
증강현실용 컨텐츠 저작 장치.The method of claim 1,
The slam emulator is,
After receiving the information on the virtual space in which the augmented reality content is arranged from the authoring unit, the stored data for slam is driven for a test, and the same situation as when the data for slam is obtained from the real space in real time create,
The content authoring device for augmented reality,
Based on the slam data driven for the test, further comprising a test image display unit for displaying the augmented reality content on the captured data included in the slam data driven for the test
Content authoring device for augmented reality. 제 3 항에 있어서,
상기 테스트를 위해 구동된 슬램용 데이터는,
상기 가상공간의 생성의 기초가 된 슬램용 데이터와 서로 상이한
증강현실용 컨텐츠 저작 장치.4. The method of claim 3,
The data for the slam driven for the test is,
It is different from the data for slam, which is the basis for the creation of the virtual space.
Content authoring device for augmented reality. 증강현실용 컨텐츠 저작 장치에 의해 수행되는 증강현실용 컨텐츠를 저작하는 방법으로서,
슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한, 기 저장된 슬램 동작에 필요한 데이터와 이동 정보를 기록한 데이터를 포함하는 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 단계와,
상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 기초로 상기 현실공간을 모델링한 가상공간을 생성하는 단계와,
증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하고, 상기 획득한 이동 정보에 기초하여 상기 증강현실용 컨텐츠의 위치를 조정하는 단계를 포함하는
증강현실용 컨텐츠를 저작하는 방법.As a method of authoring content for augmented reality performed by a content authoring device for augmented reality,
The slam (simultaneous localization and mapping, SLAM) recorder drives the slam data, which includes data recorded with the data required for the pre-stored slam operation and movement information, acquired while moving in the real space, and the slam data from the real space creating the same situation as is obtained in real time;
generating a virtual space in which the real space is modeled based on the same situation in which the data for the slam is obtained in real time;
Placing the content for augmented reality in the generated virtual space, and adjusting the location of the content for augmented reality based on the obtained movement information
How to author content for augmented reality. 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한, 기 저장된 슬램 동작에 필요한 데이터와 이동 정보를 기록한 데이터를 포함하는 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 단계와,
상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 기초로 상기 현실공간을 모델링한 가상공간을 생성하는 단계와,
증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하고, 획득한 상기 이동 정보에 기초하여 상기 증강현실용 컨텐츠의 위치를 조정하는 단계를 수행하도록 프로그램된
컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.The slam (simultaneous localization and mapping, SLAM) recorder drives the slam data, which includes data recorded with the data required for the pre-stored slam operation and movement information, acquired while moving in the real space, and the slam data from the real space creating the same situation as is obtained in real time;
generating a virtual space in which the real space is modeled based on the same situation in which the data for the slam is obtained in real time;
Placing the content for augmented reality in the generated virtual space, based on the obtained movement information, programmed to perform the step of adjusting the position of the content for augmented reality
A computer program stored in a computer-readable recording medium. 슬램(simultaneous localization and mapping, SLAM) 레코더가 현실공간을 이동하면서 획득한, 기 저장된 슬램 동작에 필요한 데이터와 이동 정보를 기록한 데이터를 포함하는 슬램용 데이터를 구동시켜서, 상기 현실공간으로부터 상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 생성하는 단계와,
상기 슬램용 데이터가 실시간으로 획득되는 것과 동일한 상황을 기초로 상기 현실공간을 모델링한 가상공간을 생성하는 단계와,
증강현실용 컨텐츠를 상기 생성된 가상공간에 배치하고, 획득한 상기 이동 정보에 기초하여 상기 증강현실용 컨텐츠의 위치를 조정하는 단계를 수행하도록 프로그램된
컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.The slam (simultaneous localization and mapping, SLAM) recorder drives the slam data, which includes data recorded with the data required for the pre-stored slam operation and movement information, acquired while moving in the real space, and the slam data from the real space creating the same situation as is obtained in real time;
generating a virtual space in which the real space is modeled based on the same situation in which the data for the slam is obtained in real time;
Placing the content for augmented reality in the generated virtual space, based on the obtained movement information, programmed to perform the step of adjusting the position of the content for augmented reality
A computer-readable recording medium storing a computer program.
KR1020170144113A 2017-10-31 2017-10-31 Apparatus and method for authoring augmented reality contents KR102317134B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170144113A KR102317134B1 (en) 2017-10-31 2017-10-31 Apparatus and method for authoring augmented reality contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144113A KR102317134B1 (en) 2017-10-31 2017-10-31 Apparatus and method for authoring augmented reality contents

Publications (2)

Publication Number Publication Date
KR20190048857A KR20190048857A (en) 2019-05-09
KR102317134B1 true KR102317134B1 (en) 2021-10-25

Family

ID=66546452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144113A KR102317134B1 (en) 2017-10-31 2017-10-31 Apparatus and method for authoring augmented reality contents

Country Status (1)

Country Link
KR (1) KR102317134B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047947A (en) * 2019-12-10 2020-04-21 塔普翊海（上海）智能科技有限公司 Writing guider based on AR technology and writing guiding method
KR102597124B1 (en) * 2021-01-06 2023-11-02 주식회사 소프트그라운드 Industrial augmented reality content authoring system and work guide platform including the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186544B (en) 2008-01-17 2014-05-14 维沃克斯公司 Scalable techniques for providing real-lime per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments
KR101135186B1 (en) * 2010-03-03 2012-04-16 광주과학기술원 System and method for interactive and real-time augmented reality, and the recording media storing the program performing the said method
KR101772977B1 (en) * 2010-10-07 2017-08-31 삼성전자주식회사 Moving robot and map-building method thereof

Also Published As

Publication number Publication date
KR20190048857A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102414587B1 (en) Augmented reality data presentation method, apparatus, device and storage medium
CN107208836B (en) System and method for supporting the photography with different-effect
US20240112430A1 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
ES2791823T3 (en) Mobile device-based content correlation for augmented reality environment
CN104904200B (en) Catch the unit and system of moving scene
CN105144249B (en) Part installation exercise supports system and part mounting method
EP1708139A2 (en) Calibration method and apparatus
CN105141942B (en) 3D rendering synthetic method and device
CN104471519A (en) Method and apparatus for displaying panoramic photo in mobile terminal, and mobile terminal
KR102317134B1 (en) Apparatus and method for authoring augmented reality contents
CN110336973B (en) Information processing method and device, electronic device and medium
CN110049246A (en) Video anti-fluttering method, device and the electronic equipment of electronic equipment
JP6409644B2 (en) Display control method, display control program, and information processing apparatus
BR112019009494A2 (en) computing device to support an augmented reality application, augmented reality application support method, and computer readable storage
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
KR20190100133A (en) Apparatus and method for providing augmented reality contents
KR20210148074A (en) AR scenario content creation method, display method, device and storage medium
CN112788443B (en) Interaction method and system based on optical communication device
KR20190047922A (en) System for sharing information using mixed reality
JP4447896B2 (en) Image processing apparatus and method
CN111242107B (en) Method and electronic device for setting virtual object in space
CN113345108B (en) Augmented reality data display method and device, electronic equipment and storage medium
JP2016133701A (en) Information providing system and information providing method
KR101914660B1 (en) Method and apparatus for controlling displaying of augmented reality contents based on gyro sensor
KR20190048810A (en) Apparatus and method for providing augmented reality contents

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant