KR20190048738A - Apparatus and method for providing augmented reality contents - Google Patents

Apparatus and method for providing augmented reality contents Download PDF

Info

Publication number
KR20190048738A
KR20190048738A KR1020170143922A KR20170143922A KR20190048738A KR 20190048738 A KR20190048738 A KR 20190048738A KR 1020170143922 A KR1020170143922 A KR 1020170143922A KR 20170143922 A KR20170143922 A KR 20170143922A KR 20190048738 A KR20190048738 A KR 20190048738A
Authority
KR
South Korea
Prior art keywords
augmented reality
providing apparatus
information
content providing
image
Prior art date
Application number
KR1020170143922A
Other languages
Korean (ko)
Inventor
송형주
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170143922A priority Critical patent/KR20190048738A/en
Publication of KR20190048738A publication Critical patent/KR20190048738A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335—
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—

Abstract

The present invention relates to an apparatus for providing content for augmented reality and a method thereof. According to an embodiment of the present invention, the apparatus for providing content for augmented reality comprises: a photographing unit which photographs a reference object placed in a real space, photographs the real space seen as the apparatus for providing content for augmented reality moves, and acquires a real video which does not include depth information; a position information acquisition unit which acquires information on an initial position of the apparatus for providing content for augmented reality in a virtual space made by modeling the real space from the photographed video on the reference object; a simultaneous localization and mapping (SLAM) unit which determines a current position of the apparatus for providing content for augmented reality in accordance with the movement based on information on the initial position and real video; and a video display unit which displays the content for augmented reality placed in advance in the virtual space based on the current position by an augmented reality method. The present invention aims to provide a technology which is able to provide content for augmented reality based on a mono SLAM.

Description

증강현실용 컨텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS}[0001] APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS [0002]

본 발명은 증강현실용 컨텐츠 제공 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing contents for augmented reality.

증강현실(AR; Augmented Reality)은 가상세계와 사용자가 눈으로 보는 현실세계를 합쳐 하나의 영상으로 보여주는 가상현실 서비스의 일종이다. 가상현실은 게임처럼 공간을 새롭게 창조하는 반면, 증강현실은 현실에 대한 실사영상(현실영상) 위에 가상의 컨텐츠를 결합하여서 부가적인 정보를 제공할 수 있다. Augmented Reality (AR) is a kind of virtual reality service that combines the virtual world and the reality that the user sees with one image. The virtual reality creates a space like a game while the augmented reality can provide additional information by combining virtual contents on a real image (real image) of the reality.

이러한 증강현실을 구현하기 위해서는 카메라, 센서, 컴퓨터 그래픽, 정합 (Registration)기술, 디스플레이 기기 등 요소기술이 필요하다. 아울러, 현실세계에서의 위치 정보 내지는 현실세계를 촬영하는 카메라의 위치 정보가 필요할 수도 있다. 현실세계에서의 위치마다 표시되어야 할 가상 컨텐츠가 서로 상이할 수 있기 때문이다.In order to realize such augmented reality, element technology such as camera, sensor, computer graphic, registration technology and display device is required. In addition, positional information in the real world or position information of the camera for photographing the real world may be required. This is because the virtual contents to be displayed for each position in the real world may be different from each other.

한편, 슬램(Simultaneous Localization And Mapping, SLAM)은 미지의 환경에서 카메라의 위치 및/또는 배향을 결정하고 이러한 미지의 환경의 맵을 생성하기 위한 기술이다. 이러한 SLAM은 미지의 환경에서 전술한 증강현실과 결합됨으로써 다양한 서비스의 구현을 가능하게 한다.Simultaneous Localization And Mapping (SLAM), on the other hand, is a technique for determining the position and / or orientation of a camera in an unknown environment and generating a map of the unknown environment. This SLAM enables various services to be realized by combining with the augmented reality in the unknown environment.

한국특허공개공보, 제 10-2016-0088909호 (2016.07.26. 공개)Korean Patent Laid-Open Publication No. 10-2016-0088909 (published on June 26, 2016)

본 발명의 해결하고자 하는 과제는, 모노(mono) 슬램에 기초한 증강현실용 컨텐츠를 제공하는 기술을 제공하는 것이다.A problem to be solved by the present invention is to provide a technique for providing contents for augmented reality based on a mono slam.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. will be.

일 실시예에 따른 증강현실용 컨텐츠 제공 장치는 현실공간에 배치된 기준 객체를 촬영하고, 상기 증강현실용 컨텐츠 제공 장치의 이동에 따라 보이는 현실공간을 촬영하여 깊이(depth) 정보를 포함하지 않는 현실영상을 획득하는 촬영부와, 상기 기준 객체에 대한 촬영 영상으로부터, 상기 현실공간을 모델링한 가상공간에서 상기 증강현실용 컨텐츠 제공 장치가 갖는 초기 위치에 대한 정보를 획득하는 위치 정보 획득부와, 상기 초기 위치에 대한 정보 및 상기 현실영상을 기초로 상기 이동에 따른 상기 증강현실용 컨텐츠 제공 장치의 현재위치를 결정하는 슬램(Simultaneous Localization And Mapping)부와, 상기 현재위치를 기반으로 상기 가상공간에 미리 배치된 증강현실용 컨텐츠를 증강현실 방식으로 표시하는 영상 표시부를 포함한다.According to an exemplary embodiment of the present invention, a content providing apparatus for augmented reality photographs a reference object disposed in a real space, photographs a real space viewed according to movement of the content providing apparatus for augmented reality, A position information acquiring unit for acquiring information on an initial position of the augmented reality contents providing apparatus in a virtual space modeled by the real space from an imaged image of the reference object; A simultaneous localization and mapping unit for determining a current position of the augmented reality contents providing apparatus according to the movement based on the information on the initial position and the moving image; And an image display unit for displaying the arranged contents for augmented reality in an augmented reality manner.

일 실시예에 따른 증강현실용 컨텐츠 제공 방법은 증강현실용 컨텐츠 제공 장치에 의해 수행되며, 현실공간에 배치된 기준 객체를 촬영하는 단계와, 상기 기준 객체에 대한 촬영 영상으로부터, 상기 현실공간을 모델링한 가상공간에서 상기 증강현실용 컨텐츠 제공 장치가 갖는 초기 위치에 대한 정보를 획득하는 단계와, 상기 증강현실용 컨텐츠 제공 장치의 이동에 따라 보이는 현실공간을 촬영하여서 깊이(depth) 정보를 포함하지 않는 현실영상을 획득하는 단계와, 상기 초기 위치에 대한 정보 및 상기 현실영상을 기초로 상기 이동에 따른 상기 증강현실용 컨텐츠 제공 장치의 현재위치를 결정하는 단계와, 상기 현재위치를 기반으로 상기 가상공간에 미리 배치된 증강현실용 컨텐츠를 증강현실 방식으로 표시하는 단계를 포함한다.According to an embodiment of the present invention, there is provided a content providing method for augmented reality, comprising: capturing a reference object disposed in a real space, which is performed by a content providing apparatus for augmented reality; Acquiring information on an initial position of the content providing apparatus for augmented reality in a virtual space; acquiring information on an initial position of the augmented reality content providing apparatus in a virtual space; Determining a current position of the content providing apparatus for augmented reality based on the information on the initial position and the moving image based on the moving image; And displaying the contents for augmented reality arranged in advance in the augmented reality manner.

일 실시예에 따르면, 증강현실용 컨텐츠 제공 장치는 이미지 마커를 촬영하고 그로부터 절대적인 타입의 초기 위치에 대한 정보를 획득한 뒤, 모노(mono) 슬램, 즉 단안 카메라를 이용하여서 깊이 정보가 부재(不在)된 현실영상을 획득한 뒤 이를 기초로 상대적인 타입의 이동 정보를 획득할 수 있다. 따라서, 단안 카메라를 구비한 증강현실용 컨텐츠 제공 장치에서도 이러한 초기 위치와 이동 정보를 결합함으로써 증강현실용 컨텐츠 제공 장치의 현재위치를 결정 내지는 파악할 수 있다.According to one embodiment, the augmented reality content providing apparatus captures an image marker, acquires information on an initial position of an absolute type therefrom, and then acquires information on an initial position of an absolute type using a mono slam, that is, ), And acquire movement information of a relative type on the basis thereof. Therefore, in the content providing apparatus for augmented reality provided with a monocular camera, the current position of the content providing apparatus for augmented reality can be determined or determined by combining the initial position and the movement information.

아울러, 슬램의 과정에서 발생할 수 있는 증강현실용 컨텐츠 제공 장치의 현재위치에 대한 오차는, 보간용 객체에 의해 보간될 수 있다.In addition, an error with respect to the current position of the content providing apparatus for augmented reality, which may occur in the course of the slam, may be interpolated by the interpolation object.

도 1은 현실공간을 모델링한 가상공간을 기초로, 일 실시예에 따른 증강현실용 컨텐츠 제공 장치가 적용된 상황을 도시하고 있다.
도 2는 현실공간을 모델링하는 과정을 예시적으로 도시하고 있다.
도 3은 일 실시예에 따른 증강현실용 컨텐츠 제공 장치의 구성을 도시하고 있다.
도 4는 일 실시예에 따른 증강현실용 컨텐츠 제공 장치가 현실공간에서 이동하는 상황을 개념적으로 도시하고 있다.
도 5는 일 실시예에 따른 증강현실용 컨텐츠 제공 방법의 절차를 예시적으로 도시하고 있다.FIG. 1 illustrates a situation in which a content providing apparatus for augmented reality according to an embodiment is applied, based on a virtual space modeling a real space.
FIG. 2 exemplarily illustrates a process of modeling a real space.
FIG. 3 shows a configuration of a content providing apparatus for augmented reality according to an embodiment.
FIG. 4 conceptually illustrates a situation where a content providing apparatus for augmented reality according to an embodiment moves in a real space.
FIG. 5 exemplarily shows a procedure of a content providing method for augmented reality according to an embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 현실공간에서 일 실시예에 따른 증강현실용 컨텐츠 제공 장치가 적용된 상황을 도시하고 있다. 도 1에 도시된 화살표는 사용자(10)가 현실공간에서 이동하는 경로를 나타낸다. 이동 중에 사용자(10)는 현실공간의 각각의 위치(ㄱ,ㄴ,ㄷ)에서 증강현실용 컨텐츠 제공 장치(100)를 통해 증강현실용 컨텐츠를 제공받을 수 있다. 이 때 제공받는 증강현실용 컨텐츠의 종류는 사용자(10)의 위치에 따라 서로 상이할 수 있다. 이는 도면에는 도시되지 않은 증강현실용 컨텐츠 저작 도구(이하 저작 도구라고 지칭함)에 의해서, 각각의 위치마다 그에 맞는 증강현실용 컨텐츠가 표시되도록 저작되었기 때문이다.FIG. 1 illustrates a situation where a content providing apparatus for augmented reality according to an embodiment is applied in a real space. The arrows shown in Fig. 1 represent the paths through which the user 10 moves in the real space. The user 10 can receive the augmented reality contents through the augmented reality contents providing apparatus 100 at the respective positions (a, b, c) of the real space. At this time, the types of the augmented reality contents may be different depending on the location of the user 10. This is because the augmented reality contents authoring tool (hereinafter referred to as an authoring tool) not shown in the figure is authored to display the augmented reality contents corresponding to each position.

여기서, 저작 도구에 대해 살펴보기 위해, 도 2를 참조하기로 한다. 도 2는 가상공간이 생성되고 이러한 가상공간에 증강현실용 컨텐츠가 배치되는 절차를 예시적으로 도시한 도면이다. Here, for a description of the authoring tool, reference is made to Fig. FIG. 2 is an exemplary diagram illustrating a procedure in which a virtual space is created and content for augmented reality is placed in the virtual space.

도 1을 도 2와 함께 참조하면, 먼저 현실공간에 대한 스캐닝이 수행될 수 있다(S10). 스캐닝은 도면에는 도시되지 않은 별도의 공간 스캐너에 의해 수행될 수 있는데, 이 때의 스캐너는 영상에 대한 깊이 정보를 획득할 수 있는 깊이(depth) 카메라를 포함할 수 있다.Referring to FIG. 1 together with FIG. 2, first, scanning of a real space may be performed (S10). Scanning may be performed by a separate spatial scanner, not shown in the figure, wherein the scanner may include a depth camera capable of acquiring depth information about the image.

단계 S10에서 현실공간을 스캐닝한 정보, 즉 공간 정보는 별도의 서버 또는 클라우드에 저장될 수 있으며, 이러한 공간 정보는 가상공간의 생성을 위해 저작 도구에 로딩될 수 있다(S11). In step S10, the information obtained by scanning the physical space, that is, the spatial information may be stored in a separate server or in a cloud, and the spatial information may be loaded into the authoring tool for creation of the virtual space (S11).

저작 도구는 공간 정보를 기초로 가상공간을 생성할 수 있다(S12). The authoring tool can create a virtual space based on the spatial information (S12).

아울러, 저작 도구는 가상공간에 증강현실용 컨텐츠를 배치할 수 있다(S13). 도 1에서 '가상 공간'에 배치된 부재번호 'A', 'B', 'C'는 각각 증강현실용 컨텐츠를 의미한다.In addition, the authoring tool can arrange the augmented reality contents in the virtual space (S13). In FIG. 1, the member numbers 'A', 'B' and 'C' arranged in the 'virtual space' respectively indicate contents for augmented reality.

다시 도 2를 참조하면, 저작 도구는 현실공간에 배치된 이미지 마커(또는 기준 객체라고 지칭될 수도 있음)에, 가상공간에서의 절대적인 위치 정보를 할당할 수 있다(S14). 이미지 마커에 대해서는 후술하기로 한다.Referring again to FIG. 2, the authoring tool may assign absolute position information in the virtual space to an image marker (or may be referred to as a reference object) disposed in the real space (S14). The image marker will be described later.

다시 도 1을 참조하면, 현실공간에서의 위치에서 그 위치에 할당된 증강현실용 컨텐츠가 제공되기 위해서는, 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 파악될 수 있어야 한다. 일 실시예에서는 현재위치의 파악을 위해, 이미지 마커(image marker) 및 슬램(Simultaneous Localization And Mapping, SLAM)을 이용할 수 있다. Referring back to FIG. 1, in order to provide contents for augmented reality assigned to a position in a position in a real space, a current position of the augmented reality contents providing apparatus 100 should be grasped. In one embodiment, an image marker and a slam (SLAM) may be used to identify the current location.

이미지 마커는 현실공간에 배치된 특정한 사물이나 사진과 같은 임의의 객체일 수 있으며, 기준 객체라고 지칭될 수도 있다. 이미지 마커는 현실공간에 적어도 하나 이상이 배치될 수 있으며, 도 1에서는 부재번호 'a'와 'b'로 표시되어 있다. 이미지 마커는 가상공간에서 이미지 마커가 갖는 절대적인 위치 정보를 갖고 있는데, 이러한 위치 정보는 전술한 저작 도구에 의해 부여된 것일 수 있다. The image marker may be any object such as a specific object or a photograph placed in a real space, and may be referred to as a reference object. At least one or more image markers may be arranged in the real space, and are denoted by reference numerals 'a' and 'b' in FIG. The image marker has absolute position information of the image marker in the virtual space, and the position information may be given by the above-described authoring tool.

증강현실용 컨텐츠 제공 장치(100)는 이미지 마커를 촬영하며, 촬영된 영상으로부터 이미지 마커의 위치 정보를 획득할 수 있다. 이를 위해, 이미지 마커는 현실공간에서 사용자(10)가 이미지 마커임을 알아차릴 수 있도록 표시될 수 있다.The augmented reality content providing apparatus 100 may capture an image marker and acquire position information of the image marker from the captured image. To this end, the image marker may be displayed so that the user 10 is aware of the image marker in the real space.

증강현실용 컨텐츠 제공 장치(100)는 이미지 마커의 위치 정보와 이미지 마커에 대한 촬영 영상을 이용하여서 증강현실용 컨텐츠 제공 장치(100) 자신이 가상공간에서 갖는, 절대적인 타입의 초기 위치 정보를 획득할 수 있는데, 이에 대해서는 뒤에 자세하게 설명하기로 한다.The augmented reality content providing apparatus 100 acquires an absolute type initial position information that the augmented reality content providing apparatus 100 itself has in the virtual space by using the image marker position information and the image marker image This will be described in detail later.

이미지 마커를 촬영한 증강현실용 컨텐츠 제공 장치(100)는, 그 후 사용자(10)에 의해 다른 위치로 이동될 수 있다. 이 경우, 증강현실용 컨텐츠 제공 장치(100)는 슬램(Simultaneous Localization And Mapping, SLAM)을 이용하여서 이동한 거리와 방향 등에 대한 이동 정보를 획득할 수 있다. The content providing apparatus 100 for augmented reality in which an image marker is photographed can then be moved to another position by the user 10. In this case, the augmented reality content providing apparatus 100 can acquire movement information on the distance, direction, and the like moved using Simultaneous Localization And Mapping (SLAM).

여기서, 이미지 마커로부터 획득되는 초기 위치 정보는 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 갖는 절대적인 타입의 위치 정보이다. 따라서, 만약 증강현실용 컨텐츠 제공 장치(100)가 슬램을 이용하여서 획득하는 이동 정보가 상대적인 타입의 정보라고 하더라도, 전술한 절대적인 타입의 초기 위치 정보를 상대적인 타입의 이동 정보와 결합함으로써, 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 결정 내지는 파악될 수 있다. The initial position information obtained from the image marker is absolute type position information that the content providing apparatus 100 for augmented reality has in the virtual space. Therefore, even if the movement information acquired by the augmented reality content providing apparatus 100 using the slam is a relative type information, by combining the above-described initial position information of the absolute type with the movement information of the relative type, The current position of the content providing apparatus 100 can be determined or grasped.

즉, 일 실시예에 따르면, 증강현실용 컨텐츠 제공 장치(100)가 모노(mono) 슬램, 즉 단안 카메라를 이용하여서 깊이 정보가 부재(不在)된 현실영상을 획득한 뒤 이를 기초로 상대적인 타입의 이동 정보만을 획득할 수 있다고 하여도, 이미지 마커로부터 절대적인 타입의 초기 위치에 대한 정보를 획득할 수 있으므로, 이러한 초기 위치 정보와 이동 정보를 결합함으로써 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 결정 내지는 파악될 수 있다.That is, according to one embodiment, the augmented reality content providing apparatus 100 acquires a real image in which depth information is absent using a mono slam, that is, a monocular camera, The information on the initial position of an absolute type can be obtained from the image marker even if only the movement information can be obtained. By combining the initial position information and the movement information, the current position of the augmented reality content providing apparatus 100 can be obtained Can be determined or grasped.

이하에서는 이러한 증강현실용 컨텐츠 제공 장치(100)의 구성에 대해 살펴보기로 한다.Hereinafter, a configuration of the content providing apparatus 100 for augmented reality will be described.

도 3은 일 실시예에 따른 증강현실용 컨텐츠 제공 장치(100)의 구성을 도시한 도면이다. 다만, 도 3은 예시적인 것에 불과하므로, 증강현실용 컨텐츠 제공 장치(100)의 구성이 도 3에 도시된 것으로 한정해석되는 것은 아니다.3 is a diagram showing a configuration of an augmented reality content providing apparatus 100 according to an embodiment. However, since Fig. 3 is merely an example, the configuration of the augmented reality content providing apparatus 100 is not limited to that shown in Fig.

먼저, 증강현실용 컨텐츠 제공 장치(100)는 스마트폰이나 스마트패드와 같은 기기에서 구현되거나 또는 별도로 제작된 기기에서 구현될 수 있다.First, the augmented reality content providing apparatus 100 may be implemented in a device such as a smart phone or a smart pad, or may be implemented in a separately manufactured device.

도 3을 참조하면, 증강현실용 컨텐츠 제공 장치(100)는 촬영부(120), 위치 정보 획득부(130), 슬램부(140) 및 영상 표시부(160)를 포함하며, 실시예에 따라서 통신부(110), 움직임 감지부(150)를 더 포함할 수 있다.3, the augmented reality contents providing apparatus 100 includes a photographing unit 120, a location information obtaining unit 130, a slam unit 140, and a video display unit 160, (110), and a motion sensing unit (150).

촬영부(120)는 현실공간에 배치된 기준 객체를 촬영한다. 또한, 촬영부(120)는 증강현실용 컨텐츠 제공 장치(100)가 이동할 때, 현실공간을 연속하여서 촬영할 수 있다. 촬영부(120)는 예컨대 단안(mono) 카메라로 구현 가능하며, 이 경우 촬영부(120)에 의해 촬영된 영상, 즉 현실영상에는 깊이(depth) 정보가 포함되지 않을 수 있다.The photographing unit 120 photographs a reference object disposed in a real space. Also, when the augmented reality content providing apparatus 100 moves, the photographing unit 120 can photograph the real space continuously. The photographing unit 120 may be implemented, for example, by a mono camera. In this case, depth information may not be included in the image photographed by the photographing unit 120, that is, the real image.

위치 정보 획득부(130)와 슬램부(140)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리, 그리고 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.The position information acquisition unit 130 and the slam unit 140 may be implemented by a memory that stores instructions programmed to perform the functions described below, and a microprocessor that executes such instructions.

위치 정보 획득부(130)에 대해 살펴보면, 위치 정보 획득부(130)는 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 갖는 초기 위치에 대한 정보를 획득한다. 이를 위해, 위치 정보 획득부(130)는 촬영부(120)가 촬영한 기준 객체의 영상으로부터 기준 객체의 위치 정보를 추출할 수 있다. 기준 객체의 위치 정보는 기준 객체가 가상공간에서 갖는 절대적인 타입의 위치를 나타낸다. Referring to the location information obtaining unit 130, the location information obtaining unit 130 obtains information on an initial location of the augmented reality content providing apparatus 100 in the virtual space. For this, the position information obtaining unit 130 may extract the position information of the reference object from the image of the reference object photographed by the photographing unit 120. The location information of the reference object indicates the position of the absolute type that the reference object has in the virtual space.

아울러, 위치 정보 획득부(130)는 촬영부(120)가 촬영한 기준 객체의 영상을 분석한 뒤 그 결과를 기준 객체의 위치 정보와 결합함으로써, 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 갖는 절대적인 타입의 위치를 추출할 수 있다. 예컨대, 촬영된 영상에 나타난 기준 객체의 크기가 미리 정의된 크기보다 큰 정도 또는 작은 정도를 기초로 증강현실용 컨텐츠 제공 장치(100)와 기준 객체 간의 절대적인 거리가 추출될 수 있다. 아울러, 촬영된 영상에 나타난 기준 객체의 형태가 미리 정의된 형태에 비해 기울어진 정도를 기초로, 기준 객체를 정면에서 바라본 방향에서 얼만큼의 각도만큼 옆에서 증강현실용 컨텐츠 제공 장치(100)가 기준 객체를 촬영하였는지가 추출될 수 있다.In addition, the position information obtaining unit 130 analyzes the image of the reference object photographed by the photographing unit 120 and combines the result with the position information of the reference object, so that the augmented reality content providing apparatus 100 searches the virtual space The position of the absolute type possessed by the user can be extracted. For example, an absolute distance between the augmented reality content providing apparatus 100 and the reference object may be extracted based on a degree of degree or a degree of a size of the reference object shown in the photographed image being larger than a predetermined size. In addition, based on the degree of inclination of the reference object shown in the photographed image with respect to the predefined shape, the augmented reality content providing apparatus 100 can calculate the angle of inclination of the reference object, Whether the reference object has been photographed can be extracted.

슬램부(140)는 촬영부(120)에 의해 촬영된 현실영상을 분석하여서, 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 이동한 거리나 방향 등에 대한, 상대적인 타입의 이동 정보를 추출할 수 있다. 현실영상은 증강현실용 컨텐츠 제공 장치(100)가 움직일 때 연속적으로 촬영된 것일 수 있다. 여기서, 연속적으로 촬영된 영상 분석을 통해 이동 정보를 추출하는 기술 자체는 슬램 분야에서 이미 공지된 것이므로 이에 대한 설명은 생략하기로 한다. 아울러, 촬영부(120)에 의해 촬영된 현실영상은 깊이 정보를 갖지 않을 수 있다.The slam unit 140 analyzes the real image photographed by the photographing unit 120 and extracts relative type movement information about the distance and direction in which the augmented reality content providing apparatus 100 has moved in the virtual space . The real image may be continuously photographed when the contents providing apparatus 100 for augmented reality moves. Here, the technique of extracting the movement information through continuous image analysis is already known in the slam field, and therefore, a description thereof will be omitted. In addition, the real image photographed by the photographing unit 120 may not have depth information.

다음으로, 슬램부(140)는 절대적인 타입의 초기 위치 정보 및 상대적인 타입의 이동 정보를 결합하여서 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 갖는 현재위치를 결정할 수 있다. 여기서, 초기 위치 정보는 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 갖는 절대적인 타입의 위치 정보이므로, 이후에 획득되는 이동 정보가 상대적인 타입의 정보라고 하더라도 전술한 초기 위치와 이동 정보를 결합함으로써 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 결정 내지는 파악될 수 있다. Next, the slam unit 140 may determine the present position of the augmented reality content providing apparatus 100 in the virtual space by combining absolute type initial position information and relative type movement information. Here, since the initial position information is absolute type position information of the augmented reality content providing apparatus 100 in the virtual space, even if the movement information obtained thereafter is information of a relative type, the initial position and the movement information are combined The current position of the augmented reality content providing apparatus 100 can be determined or grasped.

영상 표시부(160)는 촬영부(120)에 의해 촬영된 현실영상에 증강현실용 컨텐츠를 증강현실 방식으로 표시하는 구성이며, 이는 디스플레이에 의해 구현 가능하다. 증강현실용 컨텐츠는 증강현실용 컨텐츠 제공 장치(100)의 현재위치에 배치된 것이 표시될 수 있다. 여기서, 증강현실용 컨텐츠 제공 장치(100)의 현재위치에 따라 해당 위치에 배치된 증강현실용 컨텐츠가 영상 표시부(160)를 통해 표시되는 기술 자체는 이미 공지된 것이므로, 이에 대한 설명은 생략하기로 한다.The image display unit 160 displays the augmented reality contents in the augmented reality mode on the real image photographed by the photographing unit 120, and can be implemented by a display. The content for the augmented reality may be displayed at the current position of the augmented reality content providing apparatus 100. [ Here, the technique itself in which the content for augmented reality arranged at the corresponding position is displayed through the video display unit 160 according to the current position of the content providing apparatus for augmented reality is already known, and a description thereof will be omitted do.

이상에서 살펴본 바와 같이, 일 실시예에 따르면, 증강현실용 컨텐츠 제공 장치(100)가 모노(mono) 슬램, 즉 단안 카메라를 이용하여서 깊이 정보가 부재(不在)된 현실영상을 획득한 뒤 이를 기초로 상대적인 타입의 이동 정보만을 획득할 수 있다고 하여도, 이미지 마커로부터 절대적인 타입의 초기 위치에 대한 정보를 획득할 수 있으므로, 이러한 초기 위치와 이동 정보를 결합함으로써 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 결정 내지는 파악될 수 있다.As described above, according to one embodiment, after the augmented reality content providing apparatus 100 acquires a real image in which depth information is absent using a mono slam, that is, a monocular camera, It is possible to acquire information on the initial position of an absolute type from the image marker, so that by combining the initial position and the movement information, the content providing apparatus 100 for augmented reality The current position can be determined or grasped.

한편, 실시예에 따라서 증강현실용 컨텐츠 제공 장치(100)는 움직임 감지부(150)를 더 포함할 수 있다. 움직임 감지부(150)는 증강현실용 컨텐츠 제공 장치(100)의 움직임, 예컨대 가속도, 각속도 등을 측정할 수 있는 관성 측정 센서(inertial measurement unit, IMU)에 의해 구현 가능하다. 이 경우, 슬램부(140)는 초기 위치 정보와 현실영상 및 움직임 감지부(150)에 의해 촬영된 움직임을 결합하여서 증강현실용 컨텐츠 제공 장치(100)의 현재위치를 결정 내지는 파악할 수 있다.Meanwhile, the augmented reality content providing apparatus 100 may further include a motion sensing unit 150 according to an exemplary embodiment of the present invention. The motion sensing unit 150 may be implemented by an inertial measurement unit (IMU) capable of measuring motion of the augmented reality content providing apparatus 100, for example, acceleration, angular velocity, and the like. In this case, the slam unit 140 may determine the current position of the augmented reality content providing apparatus 100 by combining the initial position information and the motion image captured by the motion sensing unit 150 with the real image.

아울러, 증강현실용 컨텐츠 제공 장치(100)는 통신부(110)를 더 포함할 수 있다. 통신부(110)는 서버(200)와 데이터를 주고받는 무선 통신 모듈로 구현 가능하다. 이러한 통신부(110)를 통해서 증강현실용 컨텐츠 제공 장치(100)는 서버(200)와 데이터를 주고받을 수 있다. 예컨대 증강현실용 컨텐츠 제공 장치(100)는 서버(200)에게 기준 객체를 촬영한 영상을 송신할 수 있고, 그에 대한 응답으로 기준 객체가 가상공간에서 갖는 위치 정보를 수신하거나, 증강현실용 컨텐츠 및 각각의 증강현실용 컨텐츠가 가상공간에서 배치된 위치에 대한 정보 등을 수신받을 수 있다. In addition, the augmented reality content providing apparatus 100 may further include a communication unit 110. [ The communication unit 110 may be implemented as a wireless communication module for exchanging data with the server 200. The augmented reality content providing apparatus 100 can exchange data with the server 200 through the communication unit 110. [ For example, the augmented reality content providing apparatus 100 may transmit the image of the reference object to the server 200, receive the position information of the reference object in the virtual space in response thereto, Information on the location where each augmented reality contents are arranged in the virtual space, and the like can be received.

한편, 도 1에 도시된 바와 같이 기준 객체는 적어도 두 개 이상이 현실공간에 배치될 수 있다. 이 경우, 'a'와 달리 'b'는 보간용 객체라고 지칭될 수 있다. 보간용 객체 'b'는 기준 객체 'a'처럼, 자신이 가상공간에서 갖는 위치 정보를 절대적인 타입으로 갖고 있다. 만약 증강현실용 컨텐츠 제공 장치(100)가 'a'의 기준 객체를 촬영함으로써 초기 위치 정보를 획득한 뒤 이동하는 중에, 보간용 개체 'b'를 촬영할 경우, 보간용 객체 'b'에 대한 위치(이하에서는 보간 위치라고 지칭)의 정보가 획득되며, 이 경우 위치 정보 획득부(130)는 보간 위치 정보를 기초로, 보간용 객체를 촬영 시에 증강현실용 컨텐츠 제공 장치(100)가 가상공간에서 갖는 절대적인 타입의 위치 정보를 획득할 수 있다. 따라서, 증강현실용 컨텐츠 제공 장치(100)의 이동 중에 슬램부(140)에 의해 결정된 증강현실용 컨텐츠 제공 장치(100)의 현재위치에 오류가 있다고 하더라도, 보간용 객체를 통해 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 보간될 수 있다.Meanwhile, as shown in FIG. 1, at least two reference objects may be placed in the real space. In this case, unlike 'a', 'b' can be referred to as an interpolation object. The interpolation object 'b' has the absolute position information of the virtual space itself as the reference object 'a'. If the augmented reality content providing apparatus 100 captures the reference object of 'a' and acquires the initial position information and then moves while capturing the object 'b' for interpolation, the position of the object for interpolation 'b' (Hereinafter, referred to as an interpolation position) is obtained. In this case, the position information obtaining unit 130 obtains the position information of the augmented reality contents providing apparatus 100 based on the interpolation position information, It is possible to obtain position information of an absolute type possessed by the user. Therefore, even if there is an error in the current position of the augmented reality content providing apparatus 100 determined by the slam unit 140 during the movement of the augmented reality content providing apparatus 100, The current position of the device 100 may be interpolated.

도 4는 일 실시예에 따른 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 이동하면서 사용자(10)에게 증강현실용 컨텐츠를 제공하는 것을 개념적으로 도시한 도면이다. 도 4를 참조하면, 좌표축은 가상공간에서의 평면 위치를 의미한다. 4 is a diagram conceptually showing that an AR content providing apparatus 100 according to an exemplary embodiment provides contents for augmented reality to a user 10 while moving in a real space. Referring to FIG. 4, a coordinate axis means a plane position in a virtual space.

증강현실용 컨텐츠 제공 장치(100)는 현실공간에서 기준 객체를 촬영한다. 기준 객체에 대한 촬영 영상으로부터 증강현실용 컨텐츠 제공 장치(100)의 초기 위치가 결정 내지는 파악된다. 이 후, 증강현실용 컨텐츠 제공 장치(100)가 사용자(100)에 의해 이동될 경우, 이동되면서 현실공간에 대한 현실영상이 촬영되며, 실시예에 따라서 이동될 때의 움직임에 대한 정보가 획득된다. 증강현실용 컨텐츠 제공 장치(100)가 이동에 따라 위치하게 되는 지점, 즉 현재위치는 증강현실용 컨텐츠 제공 장치(100)에 의해 전술한 초기 위치와 현재위치 또는 움직임에 대한 정보 등의 결합으로부터 결정 내지는 파악될 수 있다. 도 4는 이동경로에 따라 현재위치에 따라 증강현실용 컨텐츠 제공 장치(100)에 증강되어서 표시되는 증강현실용 컨텐츠를 'A', 'B', 'C'로 표시하고 있다. 반면, 이동경로에 있지 않은 증강현실용 컨텐츠 'D', 'E'는 증강현실용 컨텐츠 제공 장치(100)에 표시되지 않는다.The augmented reality content providing apparatus 100 captures a reference object in a real space. The initial position of the augmented reality content providing apparatus 100 is determined or determined from the captured image of the reference object. Thereafter, when the augmented reality content providing apparatus 100 is moved by the user 100, the moving image is photographed with respect to the real space, and information on the movement when the moving image is moved according to the embodiment is obtained . The position at which the content providing apparatus 100 for augmented reality is located according to the movement, that is, the current position is determined from the combination of the initial position, the current position, or the motion information by the augmented reality content providing apparatus 100 Can be grasped. FIG. 4 shows the contents for augmented reality displayed in Augmented Reality contents providing apparatus 100 according to the current position as 'A', 'B', and 'C' according to the movement route. On the other hand, the augmented reality contents 'D' and 'E' which are not on the movement route are not displayed on the augmented reality contents providing apparatus 100.

도 5는 일 실시예에 따른 증강현실용 컨텐츠를 제공하는 방법의 절차를 도시한 도면이다. 도 5에 도시된 방법은 도 3에 도시된 증강현실용 컨텐츠 제공 장치(100)에 의해 수행될 수 있다. 아울러, 도 5에 도시된 방법의 절차는 예시적인 것에 불과하므로, 도 5에 도시된 것에 한정해석되는 것은 아니다.5 is a flowchart illustrating a method of providing content for augmented reality according to an exemplary embodiment of the present invention. The method shown in FIG. 5 can be performed by the content providing apparatus 100 for augmented reality shown in FIG. In addition, the procedure of the method shown in Fig. 5 is merely an example, and thus is not limited to what is shown in Fig.

도 5를 참조하면, 먼저 증강현실용 컨텐츠 제공 장치(100)의 촬영부(120)는 현실공간에 배치된 기준 객체를 촬영한다(S100). Referring to FIG. 5, the photographing unit 120 of the augmented reality content providing apparatus 100 photographs a reference object disposed in a real space (S100).

다음으로, 증강현실용 컨텐츠 제공 장치(100)의 위치 정보 획득부(130)는 기준 객체에 대한 촬영 영상으로부터, 현실공간을 모델링한 가상공간에서 증강현실용 컨텐츠 제공 장치(100)가 갖는 초기 위치에 대한 정보를 획득한다(S110).Next, the positional information obtaining unit 130 of the augmented reality content providing apparatus 100 obtains, from the captured image of the reference object, the initial position of the augmented reality content providing apparatus 100 in the virtual space modeled in the real space (S110).

다음으로, 증강현실용 컨텐츠 제공 장치(100)의 촬영부(120)는 현실공간을 촬영하여서, 깊이 정보를 포함하지 않는 현실영상을 획득한다(S120). 이 때, 촬영부(120)는 증강현실용 컨텐츠 제공 장치(100)의 이동 중에 연속적으로 촬영할 수 있다.Next, the capturing unit 120 of the augmented reality content providing apparatus 100 captures a real space and acquires a real image that does not include depth information (S120). At this time, the photographing unit 120 can continuously photograph while the contents providing apparatus 100 for augmented reality is moving.

다음으로, 증강현실용 컨텐츠 제공 장치(100)의 슬램부(140)는 증강현실용 컨텐츠 제공 장치(100)의 현재위치를 단계 S110에서 획득된 초기 위치, 단계 S120에서 촬영된 현실영상을 기초로 결정 내지는 파악한다(S130).Next, the slam unit 140 of the augmented reality content providing apparatus 100 determines the current position of the augmented reality content providing apparatus 100 based on the initial position acquired in step S110, the real image photographed in step S120 (S130).

다음으로, 증강현실용 컨텐츠 제공 장치(100)의 영상 표시부(150)는 단계 S130에서 결정된 현실위치를 기반으로, 단계 S120에서 획득된 현실영상에 증강현실용 컨텐츠를 표시한다(S140).Next, the video display unit 150 of the content providing apparatus 100 for augmented reality displays content for augmented reality on the real image obtained in step S120 based on the real position determined in step S130 (S140).

이하, 증강현실용 컨텐츠 제공 방법은 전술한 증강현실용 컨텐츠 제공 장치(100)에 대한 기술 내용과 동일하므로, 이에 대한 중복된 설명은 생략하기로 한다.Hereinafter, the contents providing method for the augmented reality contents is the same as the description contents for the augmented reality contents providing apparatus 100 described above, so that a duplicate description thereof will be omitted.

이상에서 살펴본 바와 같이, 일 실시예에 따르면, 증강현실용 컨텐츠 제공 장치(100)가 모노(mono) 슬램, 즉 단안 카메라를 이용하여서 깊이 정보가 부재(不在)된 현실영상을 획득한 뒤 이를 기초로 상대적인 타입의 이동 정보만을 획득할 수 있다고 하여도, 이미지 마커로부터 절대적인 타입의 초기 위치에 대한 정보를 획득할 수 있으므로, 이러한 초기 위치와 이동 정보를 결합함으로써 증강현실용 컨텐츠 제공 장치(100)의 현재위치가 결정 내지는 파악될 수 있다.As described above, according to one embodiment, after the augmented reality content providing apparatus 100 acquires a real image in which depth information is absent using a mono slam, that is, a monocular camera, It is possible to acquire information on the initial position of an absolute type from the image marker, so that by combining the initial position and the movement information, the content providing apparatus 100 for augmented reality The current position can be determined or grasped.

아울러, 슬램의 과정에서 발생할 수 있는 증강현실용 컨텐츠 제공 장치(100)의 현재위치에 대한 오차는, 보간용 객체에 의해 보간될 수 있다.In addition, an error with respect to the current position of the augmented reality content providing apparatus 100, which may occur in the course of the slam, may be interpolated by the interpolation object.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and changes may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as falling within the scope of the present invention.

일 실시예에 따르면, 증강현실용 컨텐츠 제공 장치는 이미지 마커를 촬영하고 그로부터 절대적인 타입의 초기 위치에 대한 정보를 획득한 뒤, 모노(mono) 슬램, 즉 단안 카메라를 이용하여서 깊이 정보가 부재(不在)된 현실영상을 획득한 뒤 이를 기초로 상대적인 타입의 이동 정보를 획득할 수 있다. 따라서, 단안 카메라를 구비한 증강현실용 컨텐츠 제공 장치에서도 이러한 초기 위치와 이동 정보를 결합함으로써 증강현실용 컨텐츠 제공 장치의 현재위치를 결정 내지는 파악할 수 있다.According to one embodiment, the augmented reality content providing apparatus captures an image marker, acquires information on an initial position of an absolute type therefrom, and then acquires information on an initial position of an absolute type using a mono slam, that is, ), And acquire movement information of a relative type on the basis thereof. Therefore, in the content providing apparatus for augmented reality provided with a monocular camera, the current position of the content providing apparatus for augmented reality can be determined or determined by combining the initial position and the movement information.

100: 증강현실용 컨텐츠 제공 장치100: Content providing device for augmented reality

Claims (5)

증강현실용 컨텐츠 제공 장치로서,
현실공간에 배치된 기준 객체를 촬영하고, 상기 증강현실용 컨텐츠 제공 장치의 이동에 따라 보이는 현실공간을 촬영하여 깊이(depth) 정보를 포함하지 않는 현실영상을 획득하는 촬영부와,
상기 기준 객체에 대한 촬영 영상으로부터, 상기 현실공간을 모델링한 가상공간에서 상기 증강현실용 컨텐츠 제공 장치가 갖는 초기 위치에 대한 정보를 획득하는 위치 정보 획득부와,
상기 초기 위치에 대한 정보 및 상기 현실영상을 기초로 상기 이동에 따른 상기 증강현실용 컨텐츠 제공 장치의 현재위치를 결정하는 슬램(Simultaneous Localization And Mapping)부와,
상기 현재위치를 기반으로 상기 가상공간에 미리 배치된 증강현실용 컨텐츠를 증강현실 방식으로 표시하는 영상 표시부를 포함하는
증강현실용 컨텐츠 제공 장치.A content providing apparatus for an augmented reality,
A photographing unit photographing a reference object disposed in a real space and photographing a real space viewed according to the movement of the augmented reality contents providing apparatus to obtain a real image not including depth information;
A position information obtaining unit for obtaining information on an initial position of the contents providing apparatus for augmented reality in a virtual space modeled by the physical space from an image taken with respect to the reference object;
A simultaneous localization and mapping unit for determining the current position of the augmented reality contents providing apparatus according to the movement based on the information about the initial position and the real image,
And an image display unit for displaying the augmented reality contents arranged in advance in the virtual space based on the current position in an augmented reality manner
Content providing device for augmented reality. 제 1 항에 있어서,
상기 촬영부는 단안(mono) 카메라인
증강현실용 컨텐츠 제공 장치.The method according to claim 1,
The photographing unit is a mono camera
Content providing device for augmented reality. 제 1 항에 있어서,
상기 증강현실용 컨텐츠 제공 장치는,
상기 증강현실용 컨텐츠 제공 장치의 움직임을 감지하는 움직임 감지부를 더 포함하고,
상기 슬램부는,
상기 초기 위치에 대한 정보, 상기 현실영상 및 상기 감지된 움직임을 기초로 상기 현재위치를 결정하는
증강현실용 컨텐츠 제공 장치.The method according to claim 1,
Wherein the augmented reality contents providing apparatus comprises:
Further comprising a motion detection unit for detecting a motion of the content providing apparatus for augmented reality,
The slum portion,
Determining the current position based on the information on the initial position, the real image, and the sensed motion
Content providing device for augmented reality. 제 1 항에 있어서,
상기 촬영부는 상기 현실공간에 배치된 보간용 객체를 촬영하며,
상기 위치 정보 획득부는,
상기 보간용 객체에 대한 촬영 영상으로부터, 상기 보간용 객체 촬영 시에 상기 증강현실용 컨텐츠 제공 장치가 갖는 상기 가상공간에서의 보간 위치에 대한 정보를 획득하며,
상기 슬램부는,
상기 보간 위치에 대한 정보 및 상기 현실영상을 기초로 상기 보간용 객체 촬영 이후 상기 증강현실용 컨텐츠 제공 장치의 이동에 따른 현재위치를 결정하는
증강현실용 컨텐츠 제공 장치.The method according to claim 1,
The photographing unit photographs an object for interpolation placed in the real space,
Wherein the position information obtaining unit obtains,
Acquiring information on an interpolation position in the virtual space of the content providing apparatus for augmented reality at the time of photographing the object for interpolation from a captured image of the object for interpolation,
The slum portion,
Based on the information about the interpolation position and the actual image, determines a current position according to the movement of the augmented reality content providing apparatus after the object for the interpolation
Content providing device for augmented reality. 증강현실용 컨텐츠 제공 장치에 의해 수행되는 증강현실용 컨텐츠를 제공하는 방법으로서,
현실공간에 배치된 기준 객체를 촬영하는 단계와,
상기 기준 객체에 대한 촬영 영상으로부터, 상기 현실공간을 모델링한 가상공간에서 상기 증강현실용 컨텐츠 제공 장치가 갖는 초기 위치에 대한 정보를 획득하는 단계와,
상기 증강현실용 컨텐츠 제공 장치의 이동에 따라 보이는 현실공간을 촬영하여서 깊이(depth) 정보를 포함하지 않는 현실영상을 획득하는 단계와,
상기 초기 위치에 대한 정보 및 상기 현실영상을 기초로 상기 이동에 따른 상기 증강현실용 컨텐츠 제공 장치의 현재위치를 결정하는 단계와,
상기 현재위치를 기반으로 상기 가상공간에 미리 배치된 증강현실용 컨텐츠를 증강현실 방식으로 표시하는 단계를 포함하는
증강현실용 컨텐츠를 제공하는 방법.A method for providing content for augmented reality performed by a content providing apparatus for augmented reality,
Capturing a reference object disposed in a real space;
Acquiring information on an initial position of the contents providing apparatus for augmented reality in a virtual space modeled by the physical space from an image of the reference object;
Capturing a real space viewed according to the movement of the augmented reality contents providing apparatus and acquiring a real image not including depth information;
Determining a current position of the content providing apparatus for augmented reality according to the movement based on the information on the initial position and the real image;
And displaying the augmented reality contents arranged in advance in the virtual space based on the current position in an augmented reality manner
A method for providing content for augmented reality.
KR1020170143922A 2017-10-31 2017-10-31 Apparatus and method for providing augmented reality contents KR20190048738A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143922A KR20190048738A (en) 2017-10-31 2017-10-31 Apparatus and method for providing augmented reality contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143922A KR20190048738A (en) 2017-10-31 2017-10-31 Apparatus and method for providing augmented reality contents

Publications (1)

Publication Number Publication Date
KR20190048738A true KR20190048738A (en) 2019-05-09

Family

ID=66545727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143922A KR20190048738A (en) 2017-10-31 2017-10-31 Apparatus and method for providing augmented reality contents

Country Status (1)

Country Link
KR (1) KR20190048738A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166586B1 (en) * 2019-07-19 2020-10-16 백호암 Mobile Augmented Reality Service Apparatus and Method Using Deep Learning Based Positioning Technology

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088909A (en) 2013-12-19 2016-07-26 메타이오 게엠베하 Slam on a mobile device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088909A (en) 2013-12-19 2016-07-26 메타이오 게엠베하 Slam on a mobile device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166586B1 (en) * 2019-07-19 2020-10-16 백호암 Mobile Augmented Reality Service Apparatus and Method Using Deep Learning Based Positioning Technology

Similar Documents

Publication Publication Date Title
US10499002B2 (en) Information processing apparatus and information processing method
US10462406B2 (en) Information processing apparatus and information processing method
JP4757142B2 (en) Imaging environment calibration method and information processing apparatus
CN108028871B (en) Label-free multi-user multi-object augmented reality on mobile devices
JP5255595B2 (en) Terminal location specifying system and terminal location specifying method
EP1521213A2 (en) Index identification method and apparatus
JP2020535509A (en) Methods, devices and systems for automatically annotating target objects in images
KR101633620B1 (en) Feature registration apparatus for image based localization and method the same
WO2011118282A1 (en) Server using world coordinate system database and terminal
CN104160426B (en) Image processing apparatus and image processing method
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
JP2019067383A5 (en)
WO2015123774A1 (en) System and method for augmented reality and virtual reality applications
JP4132068B2 (en) Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus
KR20180131033A (en) Calibration apparatus and method of camera and rader
JP5456175B2 (en) Video surveillance device
CN108430032B (en) Method and equipment for realizing position sharing of VR/AR equipment
JP5843288B2 (en) Information presentation system
JP7001711B2 (en) A position information system that uses images taken by a camera, and an information device with a camera that uses it.
KR20190048738A (en) Apparatus and method for providing augmented reality contents
WO2006043319A1 (en) Terminal and server
KR20190048810A (en) Apparatus and method for providing augmented reality contents
KR20190048857A (en) Apparatus and method for authoring augmented reality contents
JP2018032991A (en) Image display unit, image display method and computer program for image display
JP6849331B2 (en) Devices and computer programs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment