KR20140128654A - Apparatus for providing augmented reality and method thereof - Google Patents

Apparatus for providing augmented reality and method thereof Download PDF

Info

Publication number
KR20140128654A
KR20140128654A KR20130047334A KR20130047334A KR20140128654A KR 20140128654 A KR20140128654 A KR 20140128654A KR 20130047334 A KR20130047334 A KR 20130047334A KR 20130047334 A KR20130047334 A KR 20130047334A KR 20140128654 A KR20140128654 A KR 20140128654A
Authority
KR
South Korea
Prior art keywords
image
camera module
advertisement information
information
coordinate
Prior art date
Application number
KR20130047334A
Other languages
Korean (ko)
Other versions
KR101506610B1 (en
Inventor
이봉규
Original Assignee
주식회사 제이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이엠랩 filed Critical 주식회사 제이엠랩
Priority to KR1020130047334A priority Critical patent/KR101506610B1/en
Publication of KR20140128654A publication Critical patent/KR20140128654A/en
Application granted granted Critical
Publication of KR101506610B1 publication Critical patent/KR101506610B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An apparatus for providing augmented reality comprises: a camera unit which generates an image; an image recognizing unit which recognizes an object included in the image; an object extracting unit which extracts characteristic points of the object; an advertisement information acquiring unit which acquires advertisement information corresponding to the characteristic points; a composing unit which compares the characteristic points of the object with object characteristic information stored in a database to call for content information corresponding to the object and composes the content information and the advertisement information with the image to generate a composition image; and a display unit which displays the composition image. According to the present invention, advertisement information corresponding to an object extracted by a markerless augmented reality technology can be provided, and three dimensional positions of the object can be obtained by taking the images of the object using a stereo camera. In addition, the object can be easily tracked with respect to rotation and translation of the object in up and down directions. Furthermore, three dimensional coordinates of the object are calculated in real time, such that real world information can be accurately matched with content information and advertisement information by using the extracted three dimensional coordinates.

Description

증강현실 제공 장치 및 그 방법{APPARATUS FOR PROVIDING AUGMENTED REALITY AND METHOD THEREOF}[0001] APPARATUS FOR PROVIDING AUGMENTED REALITY AND METHOD THEREOF [0002]

본 발명은 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 마커리스(markerless) 기반의 증강현실 제공 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for providing an augmented reality, and more particularly, to an apparatus and method for providing a markerless based augmented reality.

증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.The Augmented Reality is a method to grasp the approximate position using the location and direction information and to grasp the desired service through comparison between the facility information such as the building information in the vicinity and the real image information inputted according to the movement of the camera And to provide relevant information.

이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.These augmented reality technologies include marker-based augmented reality technologies and sensor-based augmented reality technologies. The marker-based augmented reality technology is a technology for recognizing a marker by recognizing a marker corresponding to a particular building after taking it with the building. The sensor-based augmented reality technology uses the GPS and the electronic compass mounted on the terminal to infer the current position and the direction of the terminal and overlay the point of interest (POI) information corresponding to the image in the derived direction. (Overlay) technology.

최근에는 마커를 필요로 하지 않고 특정 객체를 추적할 수 있는 마커리스(markerless) 기반의 증강현실 기술이 연구되고 있다. 즉, 마커리스 기반의 증강현실 기술은 인공적으로 프린트된 인쇄물로서의 마커가 아니라 현실 세계에서의 객체의 특징점을 추출하여 추적하는 기술이다. In recent years, markerless based augmented reality techniques have been studied to track specific objects without requiring markers. That is, the markerless based augmented reality technology is a technology for extracting and tracking feature points of an object in the real world rather than a marker as an artificially printed print.

이러한 마커리스 기반의 증강현실 기술은 현실의 영상에 가상의 그래픽을 합성하여 제공하는 수준에 그치고 있다. Such a markerless based augmented reality technology is still in a level of synthesizing and providing virtual graphics to realistic images.

한편, 마커리스 기반의 증강현실 기술에서 객체의 특징점에 대응하는 가상의 그래픽을 합성하기 위해서는 객체의 3차원 좌표가 필요하다. 그러나, 단일 카메라로 현실의 영상을 촬영하는 경우에는 객체의 3차원 위치 파악이 정확히 이루어지지 않아 객체의 회전과 이동에 대한 객체 추적에 많은 문제점이 있다.On the other hand, in order to synthesize a virtual graphic corresponding to a minutiae point of an object in a markerless based augmented reality technique, three-dimensional coordinates of the object are required. However, when a real camera is photographed with a single camera, the 3D position of the object is not accurately detected, and thus there are many problems in object tracking for the rotation and movement of the object.

한국공개특허 제10-2010-0124571호Korean Patent Publication No. 10-2010-0124571 미국공개특허 제2007- 0130001호U.S. Published Patent Application No. 2007-0130001

본 발명이 해결하고자 하는 기술적 과제는 마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있고, 스테레오 카메라(Stereoscopic camera)를 이용하여 객체의 3차원 위치를 정확하게 파악할 수 있는 증강현실 제공 장치 및 그 방법을 제공함에 있다.The object of the present invention is to provide advertisement information corresponding to an object extracted from a markerless based augmented reality technique and to accurately recognize a three-dimensional position of an object using a stereoscopic camera An augmented reality providing apparatus and a method thereof.

본 발명의 일 실시예에 따른 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체를 인식하는 영상 인식부, 상기 객체의 특징점을 추출하는 객체 추출부, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부, 및 상기 합성영상을 디스플레이하는 디스플레이부를 포함한다.The apparatus for providing an augmented reality according to an embodiment of the present invention includes a camera unit for capturing an image, an image recognition unit for recognizing an object included in the image, an object extraction unit for extracting a feature point of the object, An advertisement information acquiring unit for acquiring advertisement information for the object by comparing the minutiae point of the object with the object feature information stored in the database and calling the content information corresponding to the object, A synthesizer for generating an image, and a display for displaying the synthesized image.

상기 카메라부는, 제1 영상을 촬영하는 제1 카메라 모듈, 및 제2 영상을 촬영하는 제2 카메라 모듈을 포함할 수 있다.The camera unit may include a first camera module for capturing a first image and a second camera module for capturing a second image.

상기 객체 추출부는 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출할 수 있다.Wherein the object extracting unit calculates a first coordinate of the object in the first image, calculates a second coordinate of the object in the second image, and calculates a distance between the first camera module and the second camera module, The three-dimensional coordinates of the object can be calculated by calculating depth information of the object using the first coordinate and the second coordinate.

상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 객체 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출할 수 있다.The first camera module and the second camera module are pinhole cameras and the object extractor can calculate the depth information of the object by further using the depth of focus from the image generated in the pinhole camera to the pinhole.

상기 객체 추출부는 수학식

Figure pat00001
을 이용하여 상기 객체의 깊이 정보를 산출할 수 있고, 상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표이다.Wherein the object extracting unit extracts
Figure pat00001
Wherein Z is the depth information of the object, f is the depth of focus, B is the distance between the pinhole of the first camera module and the pinhole of the second camera module X 1 is the x-axis coordinate of the object in the first image, and x 2 is the x-axis coordinate of the object in the second image.

상기 광고 정보 획득부는 상기 객체의 특징점 정보를 광고 정보 서버에 전송하고, 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신할 수 있다. The advertisement information obtaining unit may transmit the minutia information of the object to the advertisement information server and receive advertisement information corresponding to the minutiae of the object from the advertisement information server.

본 발명의 다른 실시예에 따른 증강현실 제공 방법은 영상을 촬영하는 단계, 상기 영상에 포함된 객체를 인식하는 단계, 상기 객체의 특징점을 추출하는 단계, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 단계, 및 상기 합성영상을 디스플레이하는 단계를 포함한다.According to another aspect of the present invention, there is provided an augmented reality providing method including: capturing an image; recognizing an object included in the image; extracting feature points of the object; acquiring advertisement information corresponding to the feature points of the object; Comparing the minutiae point of the object with the object feature information stored in the database to invoke content information corresponding to the object and synthesizing the content information and the advertisement information to the image to generate a composite image; And displaying the composite image.

상기 영상을 촬영하는 단계는, 제1 카메라 모듈을 이용하여 제1 영상을 촬영하는 단계, 및 제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계를 포함할 수 있다. The step of photographing the image may include photographing the first image using the first camera module and photographing the second image using the second camera module.

상기 객체의 특징점을 추출하는 단계는, 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하는 단계, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하는 단계, 및 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 단계를 포함할 수 있다.The step of extracting feature points of the object may include calculating a first coordinate of the object in the first image, calculating a second coordinate of the object in the second image, Calculating the three-dimensional coordinates of the object by calculating depth information of the object using the distance between the first and second camera modules, the first coordinate and the second coordinate.

상기 객체의 3차원 좌표를 산출하는 단계는, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출하는 단계를 포함할 수 있다. The calculating of the three-dimensional coordinates of the object may be performed by the first camera module and the second camera module being a pinhole camera, wherein the depth of focus from the image generated in the pinhole camera to the pinhole is further used, And a step of calculating

상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계는, 상기 객체의 특징점 정보를 광고 정보 서버에 전송하는 단계, 및 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계를 포함할 수 있다. The step of acquiring the advertisement information corresponding to the minutiae of the object may include transmitting minutia information of the object to the advertisement information server and acquiring the advertisement information corresponding to the minutiae point of the object from the advertisement information server can do.

마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있다. The advertisement information corresponding to the object extracted from the markerless based AR technique can be provided.

스테레오 카메라를 이용하여 객체를 촬영함으로써, 객체의 3차원 위치를 정확하게 파악할 수 있고, 객체의 상하 회전 및 이동에 대해 객체를 용이하게 추적할 수 있다. By capturing an object using a stereo camera, it is possible to accurately grasp the three-dimensional position of the object and easily track the object with respect to up-down rotation and movement of the object.

또한, 실시간으로 객체의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보에 컨텐츠 정보 및 광고 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.In addition, by calculating the three-dimensional coordinates of the object in real time, the extracted three-dimensional coordinates can be used to more accurately match the real-time information with the content information and the advertisement information in real time.

도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 객체의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 1 is a block diagram illustrating an apparatus for providing augmented reality according to an embodiment of the present invention.
2 is a schematic diagram for explaining a method of calculating three-dimensional coordinates of an object using a stereo camera according to an embodiment of the present invention.
3 is a schematic view showing a camera coordinate system and an actual coordinate system according to an embodiment of the present invention.
4 is a flowchart illustrating an augmented reality providing method according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in the various embodiments, components having the same configuration are represented by the same reference symbols in the first embodiment. In the other embodiments, only components different from those in the first embodiment will be described .

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.

도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.1 is a block diagram illustrating an apparatus for providing augmented reality according to an embodiment of the present invention.

도 1을 참조하면, 증강현실 제공 장치(100)는 카메라부(110), 영상 인식부(120), 객체 추출부(130), 광고 정보 획득부(140), 합성부(150) 및 디스플레이부(160)를 포함한다.1, an augmented reality providing apparatus 100 includes a camera unit 110, an image recognition unit 120, an object extraction unit 130, an advertisement information acquisition unit 140, a synthesis unit 150, (160).

카메라부(110)는 영상 정보를 획득하기 위한 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)을 포함한다. 제1 카메라 모듈(111)은 실시간으로 제1 영상을 촬영하고, 제2 카메라 모듈(112)은 실시간으로 제2 영상을 촬영할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 카메라 렌즈를 대신하여 핀홀을 사용하는 핀홀 카메라(pinhole camera)로 마련될 수 있다. 이때, 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련된다. 카메라부(110)는 제1 영상 및 제2 영상을 영상 인식부(120) 및 합성부(150)에 전달한다.The camera unit 110 includes a first camera module 111 and a second camera module 112 for acquiring image information. The first camera module 111 may capture a first image in real time and the second camera module 112 may capture a second image in real time. The first camera module 111 and the second camera module 112 may be provided as a pinhole camera using a pinhole instead of the camera lens. At this time, the pinhole of the first camera module 111 and the pinhole of the second camera module 112 are spaced apart from each other by a predetermined distance. The camera unit 110 transmits the first image and the second image to the image recognition unit 120 and the synthesis unit 150. [

영상 인식부(120)는 제1 영상 및 제2 영상에 포함된 객체를 인식한다. 이때, 객체는 마커(maker)처럼 인식될 수 있도록 미리 등록된 실세계의 물체를 의미한다. 즉, 영상 인식부(120)는 마커처럼 인식될 수 있는 다수의 물체 형상을 저장하고, 제1 영상 및 제2 영상에 포함된 객체가 저장되어 있는 물체의 형상에 대응하는지 여부로 객체를 인식할 수 있다.The image recognition unit 120 recognizes the objects included in the first image and the second image. In this case, the object refers to a real-world object registered in advance so that it can be recognized as a maker. That is, the image recognition unit 120 stores a plurality of object shapes that can be recognized as a marker, and recognizes the object by determining whether the objects included in the first and second images correspond to the shape of the object .

객체 추출부(130)는 인식된 객체에 대한 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들 뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다. The object extracting unit 130 extracts feature points of the object based on at least one or more pieces of information about the recognized object such as a pattern, a logo, a color, a corner point, an outline, a texture, The feature points of an object can be partial features of the object as well as the overall features of the object. For example, the corner point of an object has the most information about the shape of an object, and thus can be used as a most important feature point for object representation, analysis, and recognition.

객체 추출부(130)는 객체의 크기를 검출하고, 객체의 2차원 좌표를 산출할 수 있다. 이때, 객체 추출부(130)는 제1 영상에서 인식된 객체의 제1 좌표를 산출하고, 제2 영상에서 인식된 객체의 제2 좌표를 산출할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)이 핀홀 카메라이고 각각의 핀홀이 소정의 이격 거리로 이격되어 있으므로, 동일한 객체가 제1 영상 및 제2 영상에서 서로 다른 위치에 위치할 수 있다. 즉, 제1 영상에서 객체의 2차원의 제1 좌표와 제2 영상에서 객체의 2차원의 제2 좌표는 서로 다를 수 있다. The object extracting unit 130 may detect the size of the object and calculate the two-dimensional coordinates of the object. At this time, the object extracting unit 130 may calculate the first coordinate of the object recognized in the first image, and may calculate the second coordinate of the object recognized in the second image. Since the first camera module 111 and the second camera module 112 are pinhole cameras and the respective pinholes are spaced apart by a predetermined distance, the same objects may be located at different positions in the first and second images have. That is, the first two-dimensional coordinate of the object in the first image and the second two-dimensional coordinate of the object in the second image may be different from each other.

객체 추출부(130)는 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 객체의 깊이 정보를 산출하고, 객체의 자세 및 위치 오차가 보정된 객체의 3차원 좌표를 산출할 수 있다. 이에 대한 상세한 설명은 도 2 및 3에서 후술한다. The object extracting unit 130 calculates the depth information of the object using the distance between the first camera module 111 and the second camera module 112, the first coordinate, the second coordinate, and the focal depth , The three-dimensional coordinates of the object whose posture and position error are corrected can be calculated. A detailed description thereof will be described later with reference to FIGS. 2 and 3.

객체 추출부(130)는 객체의 특징점 정보를 광고 정보 획득부(140)에 전달한다. 그리고 객체 추출부(130)는 객체의 3차원 좌표 및 특징점 정보를 합성부(150)에 전달한다. The object extracting unit 130 delivers the minutia information of the object to the advertisement information obtaining unit 140. Then, the object extracting unit 130 transmits the three-dimensional coordinates and the minutia information of the object to the synthesizer 150.

광고 정보 획득부(140)는 객체에 대한 광고 정보를 제공하는 광고 정보 서버(미도시)에 전송하고, 광고 정보 서버로부터 객체의 특징점에 대응하는 광고 정보를 획득한다. 광고 정보 서버는 건물, 상점, 물건 등에 대한 광고를 의뢰받고, 증강현실 제공 장치(100)에서 인식되는 객체에 대한 광고 정보를 증강현실 제공 장치(100)에 제공하는 서버일 수 있다. 광고 정보 획득부(140)는 획득된 광고 정보를 합성부(150)에 전달한다. The advertisement information obtaining unit 140 transmits the advertisement information to an advertisement information server (not shown) that provides advertisement information about the object, and obtains advertisement information corresponding to the minutiae point of the object from the advertisement information server. The advertisement information server may be a server that receives an advertisement for a building, a store, an article, and the like, and provides the advertisement information about the object recognized by the augmented reality providing apparatus 100 to the augmented reality providing apparatus 100. The advertisement information obtaining unit 140 transmits the obtained advertisement information to the combining unit 150. [

합성부(150)는 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(150)는 객체의 3차원 좌표를 이용하여 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보를 합성하여 합성 영상을 생성한다.The composing unit 150 compares the minutiae point of the object with the feature information of the object stored in the database and calls the content information corresponding to the object. The composer 150 composites the content information and the advertisement information to at least one of the first image and the second image using the three-dimensional coordinates of the object to generate a composite image.

디스플레이부(160)는 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보가 합성된 합성 영상을 디스플레이한다. The display unit 160 displays a composite image in which the content information and the advertisement information are synthesized in at least one of the first image and the second image.

이때, 카메라부(110)에서 실시간으로 촬영되는 제1 영상 및 제2 영상에 대해 영상 인식부(120)에서 지속적인 객체 추적이 이루어지고, 객체 추출부(130)에서 객체의 3차원 좌표가 실시간으로 산출되면, 합성부(150)에서 컨텐츠 정보 및 광고 정보가 합성된 합성 영상이 실시간으로 생성되어 디스플레이될 수 있다.At this time, continuous object tracking is performed on the first image and the second image captured in real time by the camera unit 110 in the image recognition unit 120. In the object extraction unit 130, the three- The synthesized image obtained by synthesizing the content information and the advertisement information in the synthesizer 150 can be generated and displayed in real time.

이제, 도 2 및 3을 참조하여 객체의 3차원 좌표를 산출하는 방법에 대하여 설명한다.Now, a method of calculating three-dimensional coordinates of an object will be described with reference to FIGS. 2 and 3. FIG.

도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 객체의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다. 도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.2 is a schematic diagram for explaining a method of calculating three-dimensional coordinates of an object using a stereo camera according to an embodiment of the present invention. 3 is a schematic view showing a camera coordinate system and an actual coordinate system according to an embodiment of the present invention.

도 2 및 3을 참조하면, 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리가 B 이고, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상과 핀홀(C1') 간의 초점 심도(f)와 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상과 핀홀(C2') 간의 초점 심도(f)는 동일하다고 가정한다. 2 and 3, the distance between the pinhole C1 'of the first camera module 111 and the pinhole C2' of the second camera module 112 is B, A focal depth f between the first image generated through the pinhole C1 'and the pinhole C1' and a second image generated through the pinhole C2 'of the second camera module 112 and the pinhole C2' ) Are assumed to be the same.

이때, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상에서 객체는 카메라 좌표계의 m1(x1, y1)에 위치하게 되고, 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상에서 객체는 카메라 좌표계의 m2(x2, y2)에 위치하게 된다. 그리고 제1 영상의 중심점(C1)과 핀홀(C1')을 잇는 광학축과 제2 영상의 중심점(C2)과 핀홀(C2')을 잇는 광학축은 z 축 방향이 된다. At this time, in the first image generated through the pinhole C1 'of the first camera module 111, the object is located at m 1 (x 1 , y 1 ) of the camera coordinate system, In the second image generated through the pinhole C2 ', the object is located at m 2 (x 2 , y 2 ) of the camera coordinate system. The optical axis connecting the center point C1 of the first image and the pinhole C1 'and the optical axis connecting the center point C2 of the second image and the pinhole C2' are in the z-axis direction.

실제 좌표계에서 객체의 좌표는 m(X, Y, Z)이고, 제1 카메라 모듈(111)의 핀홀(C1')의 좌표는 C1'(X1, Y1, Z1)이고, 제2 카메라 모듈(112)의 핀홀(C2')의 좌표는 C2'(X2, Y2, Z2)이다. The coordinate of the object in the actual coordinate system is m (X, Y, Z), the coordinate of the pinhole C1 'of the first camera module 111 is C1' (X 1 , Y 1 , Z 1 ) pin hole (C2 ') of the module (112) coordinates of the C2' is (X 2, Y 2, Z 2).

카메라 좌표계와 실제 좌표계가 일치된다고 가정하면, 도 3에 도시한 바와 같이 영상 평면과 실제 평면이 나란히 존재하게 된다. 영상 평면은 제1 영상 및 제2 영상의 평면을 의미하고, 실제 평면은 객체가 위치하고 있는 평면을 의미한다.Assuming that the camera coordinate system coincides with the actual coordinate system, the image plane and the actual plane exist side by side as shown in Fig. The image plane means the plane of the first image and the second image, and the actual plane means the plane on which the object is located.

이러한 경우, 실제 좌표계에서 객체의 좌표 m(X, Y, Z)은 수학식 1과 같이 나타낼 수 있다.In such a case, the coordinate m (X, Y, Z) of the object in the actual coordinate system can be expressed by Equation (1).

Figure pat00002
Figure pat00002

이때, 객체의 좌표 m(X, Y, Z)의 Z 좌표는 제1 카메라 모듈(111)의 카메라 좌표계에서의 Z1 좌표 및 제2 카메라 모듈(112)의 카메라 좌표계에서의 Z2 좌표와 동일하다(Z1 = Z2 = Z). In this case, Z coordinates of the object's coordinates m (X, Y, Z) is the same as Z 2 coordinate in the camera coordinate system of the first camera module Z 1 coordinate in the camera coordinate system 111 and the second camera module 112 (Z 1 = Z 2 = Z).

그리고 X2 = X1 + B 이므로, 수학식 1을 수학식 2와 같이 나타낼 수 있고, 이로부터 수학식 3이 도출된다. Since X 2 = X 1 + B, Equation 1 can be expressed as Equation 2, and Equation 3 is derived therefrom.

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

여기서, Z는 객체의 깊이 정보, f는 초점 심도, B는 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리, x1은 제1 영상에서 객체의 x축 좌표, x2는 제2 영상에서 객체의 x축 좌표이다. B is a distance between the pinhole C1 'of the first camera module 111 and the pinhole C2' of the second camera module 112, x 1 is a distance between the first camera module 111 and the second camera module 112, Z is depth information of the object, f is depth of focus, The x-axis coordinate of the object in the first image and x 2 are the x-axis coordinate of the object in the second image.

제1 영상의 카메라 좌표계에서 객체의 좌표 m1(x1, y1)에 Z 값을 추가하면, 제1 영상에서 객체의 3차원 좌표 m1(x1, y1, z1)이 산출된다(z1 = Z). 그리고, 제2 영상의 카메라 좌표계에서 객체의 좌표 m2(x2, y2)에 Z 값을 추가하면, 제2 영상에서 객체의 3차원 좌표 m2(x2, y2, z2)이 산출된다(z2 = Z). When the Z value is added to the object coordinate m 1 (x 1 , y 1 ) in the camera coordinate system of the first image, the three-dimensional coordinate m 1 (x 1 , y 1 , z 1 ) of the object is calculated in the first image (z 1 = Z). When the Z value is added to the object coordinate m 2 (x 2 , y 2 ) in the camera coordinate system of the second image, the three-dimensional coordinate m 2 (x 2 , y 2 , z 2 ) It is calculated (z 2 = Z).

즉, 객체의 깊이 정보를 산출하여 제1 영상 및 제2 영상에서 객체의 3차원 좌표를 얻을 수 있다.That is, the depth information of the object can be calculated to obtain the three-dimensional coordinates of the object in the first image and the second image.

도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 4 is a flowchart illustrating an augmented reality providing method according to an embodiment of the present invention.

도 4를 참조하면, 제1 카메라 모듈(111)을 이용하여 제1 영상이 촬영되고, 제2 카메라 모듈(112)을 이용하여 제2 영상이 촬영된다(S110). 이때, 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 핀홀을 이용하여 영상을 촬영하는 핀홀 카메라일 수 있다. 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련될 수 있다.Referring to FIG. 4, a first image is captured using the first camera module 111, and a second image is captured using the second camera module 112 (S110). In this case, the first camera module 111 and the second camera module 112 may be pinhole cameras that photograph images using pinholes. The pinhole of the first camera module 111 and the pinhole of the second camera module 112 may be spaced apart from each other by a predetermined distance.

제1 영상 및 제2 영상에 포함된 객체가 인식된다(S120). 객체는 마커처럼 인식될 수 있도록 미리 등록된 실세계의 물체로서, 제1 영상 및 제2 영상에 포함된 객체가 저장되어 있는 물체의 형상에 대응하는지 여부로 객체가 인식될 수 있다.The objects included in the first image and the second image are recognized (S120). The object can be recognized by whether the object corresponds to the shape of the object in which the object included in the first image and the second image is stored, which is an object of the real world registered in advance so as to be recognized as a marker.

인식된 객체에 대한 패턴, 로고, 색상, 외곽선, 텍스처, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점이 추출된다(S130). 이때, 객체의 크기가 검출되고, 객체의 2차원 좌표가 산출될 수 있다. 제1 영상에서 인식된 객체의 제1 좌표가 산출되고, 제2 영상에서 인식된 객체의 제2 좌표가 산출될 수 있다. 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 객체의 깊이 정보가 산출되고, 객체의 자세 및 위치 오차가 보정된 객체의 3차원 좌표가 산출될 수 있다.At step S130, feature points of the object are extracted based on at least one of information on a recognized object, such as a pattern, a logo, a color, an outline, a texture, and an outline according to an angle. At this time, the size of the object is detected, and the two-dimensional coordinates of the object can be calculated. The first coordinate of the object recognized in the first image is calculated and the second coordinate of the object recognized in the second image can be calculated. The depth information of the object is calculated using the distance between the first camera module 111 and the second camera module 112, the first coordinate, the second coordinate, and the focal depth, The three-dimensional coordinates of the corrected object can be calculated.

객체의 특징점에 대응하는 광고 정보가 획득된다(S150). 객체의 특징점 정보가 객체에 대한 광고 정보를 제공하는 광고 정보 서버에 전송되고, 광고 정보 서버로부터 객체의 특징점에 대응하는 광고 정보가 획득될 수 있다. 광고 정보 서버는 건물, 상점, 물건 등에 대한 광고를 의뢰받고, 증강현실 제공 장치(100)에서 인식되는 객체에 대한 광고 정보를 증강현실 제공 장치(100)에 제공하는 서버일 수 있다. The advertisement information corresponding to the minutiae of the object is obtained (S150). The minutia information of the object is transmitted to the advertisement information server providing the advertisement information for the object and the advertisement information corresponding to the minutiae point of the object can be obtained from the advertisement information server. The advertisement information server may be a server that receives an advertisement for a building, a store, an article, and the like, and provides the advertisement information about the object recognized by the augmented reality providing apparatus 100 to the augmented reality providing apparatus 100.

객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보가 호출되고, 호출된 컨텐츠 정보 및 광고 정보가 제1 영상 및 제2 영상 중 적어도 어느 하나에 합성되어 합성 영상이 생성된다(S150).The content information corresponding to the object is called by comparing the minutiae point of the object with the feature information of the object stored in the database, and the called content information and the advertisement information are synthesized in at least one of the first image and the second image, (S150).

제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보가 합성된 합성 영상이 디스플레이부(160)를 통해 디스플레이된다(S160). The synthesized image obtained by synthesizing the content information and the advertisement information on at least one of the first image and the second image is displayed through the display unit 160 (S160).

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100 : 증강현실 제공 장치
110 : 카메라부
111 : 제1 카메라 모듈
112 : 제2 카메라 모듈
120 : 영상 인식부
130 : 객체 추출부
140 : 광고 정보 획득부
150 : 합성부
160 : 디스플레이부100: augmented reality providing device
110:
111: first camera module
112: Second camera module
120:
130:
140: Ad information obtaining unit
150:
160:

Claims (11)

영상을 촬영하는 카메라부;
상기 영상에 포함된 객체를 인식하는 영상 인식부;
상기 객체의 특징점을 추출하는 객체 추출부;
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부;
상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부; 및
상기 합성영상을 디스플레이하는 디스플레이부를 포함하는 증강현실 제공 장치.A camera unit for capturing an image;
An image recognition unit for recognizing an object included in the image;
An object extraction unit for extracting minutiae points of the object;
An advertisement information acquisition unit for acquiring advertisement information corresponding to the minutiae of the object;
A synthesizing unit for generating a synthesized image by synthesizing the content information and the advertisement information with the image by comparing the minutiae point of the object with object feature information stored in the database and calling the content information corresponding to the object; And
And a display unit for displaying the synthesized image. 제1 항에 있어서,
상기 카메라부는,
제1 영상을 촬영하는 제1 카메라 모듈; 및
제2 영상을 촬영하는 제2 카메라 모듈을 포함하는 증강현실 제공 장치.The method according to claim 1,
The camera unit includes:
A first camera module for photographing a first image; And
And a second camera module for capturing a second image. 제2 항에 있어서,
상기 객체 추출부는 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 증강현실 제공 장치.3. The method of claim 2,
Wherein the object extracting unit calculates a first coordinate of the object in the first image, calculates a second coordinate of the object in the second image, and calculates a distance between the first camera module and the second camera module, Wherein the depth information of the object is calculated using the first coordinate and the second coordinate to calculate the three-dimensional coordinates of the object. 제3 항에 있어서,
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 객체 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출하는 증강현실 제공 장치.The method of claim 3,
Wherein the first camera module and the second camera module are pinhole cameras, and the object extractor calculates depth information of the object by further using a depth of focus from an image generated in the pinhole camera to a pinhole. 제4 항에 있어서,
상기 객체 추출부는 수학식
Figure pat00005

을 이용하여 상기 객체의 깊이 정보를 산출하고,
상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표인 증강현실 제공 장치.5. The method of claim 4,
Wherein the object extracting unit extracts
Figure pat00005

The depth information of the object is calculated using the depth information,
Where Z is the depth information of the object, f is the depth of focus, B is the distance between the pinhole of the first camera module and the pinhole of the second camera module, and x 1 is the depth of the object axis coordinates of the object in the first image, and x 2 is the x-axis coordinate of the object in the second image. 제1 항에 있어서,
상기 광고 정보 획득부는 상기 객체의 특징점 정보를 광고 정보 서버에 전송하고, 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신하는 증강현실 제공 장치.The method according to claim 1,
Wherein the advertisement information acquisition unit transmits minutia information of the object to the advertisement information server and receives advertisement information corresponding to minutiae points of the object from the advertisement information server. 영상을 촬영하는 단계;
상기 영상에 포함된 객체를 인식하는 단계;
상기 객체의 특징점을 추출하는 단계;
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계;
상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 단계; 및
상기 합성영상을 디스플레이하는 단계를 포함하는 증강현실 제공 방법.Capturing an image;
Recognizing an object included in the image;
Extracting feature points of the object;
Obtaining advertisement information corresponding to a minutiae of the object;
Comparing the minutiae point of the object with object feature information stored in a database to call content information corresponding to the object, and synthesizing the content information and the advertisement information to the image to generate a composite image; And
And displaying the synthesized image. 제7 항에 있어서,
상기 영상을 촬영하는 단계는,
제1 카메라 모듈을 이용하여 제1 영상을 촬영하는 단계; 및
제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the step of photographing comprises:
Capturing a first image using the first camera module; And
And photographing a second image using the second camera module. 제8 항에 있어서,
상기 객체의 특징점을 추출하는 단계는,
상기 제1 영상에서 상기 객체의 제1 좌표를 산출하는 단계;
상기 제2 영상에서 상기 객체의 제2 좌표를 산출하는 단계; 및
상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 단계를 더 포함하는 증강현실 제공 방법.9. The method of claim 8,
Wherein the extracting of the feature points of the object comprises:
Calculating a first coordinate of the object in the first image;
Calculating a second coordinate of the object in the second image; And
Calculating depth information of the object using the distance between the first camera module and the second camera module, the first coordinate and the second coordinate, and calculating three-dimensional coordinates of the object How to provide reality. 제9 항에 있어서,
상기 객체의 3차원 좌표를 산출하는 단계는,
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출하는 단계를 포함하는 증강현실 제공 방법.10. The method of claim 9,
The step of calculating the three-dimensional coordinates of the object may include:
Wherein the first camera module and the second camera module are pinhole cameras and calculating the depth information of the object by further using the depth of focus from the image to the pinhole generated in the pinhole camera. 제7 항에 있어서,
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계는,
상기 객체의 특징점 정보를 광고 정보 서버에 전송하는 단계; 및
상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the step of acquiring advertisement information corresponding to the minutiae of the object comprises:
Transmitting minutia information of the object to an advertisement information server; And
And receiving advertisement information corresponding to a minutiae of the object from the advertisement information server.
KR1020130047334A 2013-04-29 2013-04-29 Apparatus for providing augmented reality and method thereof KR101506610B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130047334A KR101506610B1 (en) 2013-04-29 2013-04-29 Apparatus for providing augmented reality and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130047334A KR101506610B1 (en) 2013-04-29 2013-04-29 Apparatus for providing augmented reality and method thereof

Publications (2)

Publication Number Publication Date
KR20140128654A true KR20140128654A (en) 2014-11-06
KR101506610B1 KR101506610B1 (en) 2015-03-27

Family

ID=52454485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130047334A KR101506610B1 (en) 2013-04-29 2013-04-29 Apparatus for providing augmented reality and method thereof

Country Status (1)

Country Link
KR (1) KR101506610B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016085007A1 (en) * 2014-11-25 2016-06-02 전자부품연구원 Augmented reality content mashup service method, and mobile device to which same is applied
WO2018021707A1 (en) * 2016-07-29 2018-02-01 황문상 Vr video advertisement system and vr advertisement production system
KR101889025B1 (en) * 2017-05-22 2018-08-16 동서대학교산학협력단 System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm
WO2018164351A1 (en) * 2017-03-10 2018-09-13 박태현 Apparatus and method for performing advertisement on basis of temporary tattoo
WO2018136199A3 (en) * 2016-12-30 2018-11-08 Facebook, Inc. Systems and methods for providing augmented reality overlays
KR20190023906A (en) * 2017-08-30 2019-03-08 연세대학교 산학협력단 Augmented Reality Server and System and its Method, and Recording Medium thereof
KR20190066817A (en) * 2017-12-06 2019-06-14 한국광기술원 Apparatus and Method for Making Augmented Reality Image
KR20190075177A (en) * 2017-01-04 2019-06-28 삼성전자주식회사 Context-based augmented ad
WO2020032404A1 (en) * 2018-08-08 2020-02-13 주식회사 소울핑거 Augmented reality content providing system and method
KR20200077049A (en) * 2018-12-20 2020-06-30 전자부품연구원 Markerless type augmented reality presentation apparatus
KR102186821B1 (en) * 2019-06-25 2020-12-04 티팟스튜디오 주식회사 Method for providing ar information based on 3d object recognition using deep learning and system using the same
KR20210111622A (en) * 2020-03-03 2021-09-13 주식회사 케이티 Server, metohd and computer program for providing immersive contents

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725478B1 (en) 2015-05-21 2017-04-11 주식회사 맥스트 Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120032336A (en) * 2010-09-28 2012-04-05 엘지전자 주식회사 Method for displaying information of augmented reality and terminal thereof
KR101545138B1 (en) * 2010-12-23 2015-08-19 에스케이플래닛 주식회사 Method for Providing Advertisement by Using Augmented Reality, System, Apparatus, Server And Terminal Therefor
KR101342589B1 (en) * 2011-01-14 2013-12-17 주식회사 케이티 Portable terminal apparatus, augment reality service System and augment reality service providing method thereof

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016085007A1 (en) * 2014-11-25 2016-06-02 전자부품연구원 Augmented reality content mashup service method, and mobile device to which same is applied
WO2018021707A1 (en) * 2016-07-29 2018-02-01 황문상 Vr video advertisement system and vr advertisement production system
KR20180013712A (en) * 2016-07-29 2018-02-07 황문상 Vr image advertising system and vr advertisemnet producing system
US11030440B2 (en) 2016-12-30 2021-06-08 Facebook, Inc. Systems and methods for providing augmented reality overlays
WO2018136199A3 (en) * 2016-12-30 2018-11-08 Facebook, Inc. Systems and methods for providing augmented reality overlays
US10229312B2 (en) 2016-12-30 2019-03-12 Facebook, Inc. Systems and methods for providing augmented reality overlays
US10452898B2 (en) 2016-12-30 2019-10-22 Facebook, Inc. Systems and methods for providing augmented reality overlays
KR20190075177A (en) * 2017-01-04 2019-06-28 삼성전자주식회사 Context-based augmented ad
WO2018164351A1 (en) * 2017-03-10 2018-09-13 박태현 Apparatus and method for performing advertisement on basis of temporary tattoo
KR101889025B1 (en) * 2017-05-22 2018-08-16 동서대학교산학협력단 System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm
KR20190023906A (en) * 2017-08-30 2019-03-08 연세대학교 산학협력단 Augmented Reality Server and System and its Method, and Recording Medium thereof
KR20190066817A (en) * 2017-12-06 2019-06-14 한국광기술원 Apparatus and Method for Making Augmented Reality Image
WO2020032404A1 (en) * 2018-08-08 2020-02-13 주식회사 소울핑거 Augmented reality content providing system and method
KR20200077049A (en) * 2018-12-20 2020-06-30 전자부품연구원 Markerless type augmented reality presentation apparatus
KR102186821B1 (en) * 2019-06-25 2020-12-04 티팟스튜디오 주식회사 Method for providing ar information based on 3d object recognition using deep learning and system using the same
KR20210111622A (en) * 2020-03-03 2021-09-13 주식회사 케이티 Server, metohd and computer program for providing immersive contents

Also Published As

Publication number Publication date
KR101506610B1 (en) 2015-03-27

Similar Documents

Publication Publication Date Title
KR101506610B1 (en) Apparatus for providing augmented reality and method thereof
US10740975B2 (en) Mobile augmented reality system
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
CN104160426B (en) Image processing apparatus and image processing method
CN107273846B (en) Human body shape parameter determination method and device
KR101295714B1 (en) Apparatus and Method for providing 3D Augmented Reality
KR101633620B1 (en) Feature registration apparatus for image based localization and method the same
EP3096290B1 (en) Method and system for determining camera pose
KR101665399B1 (en) Object generation apparatus and method of based augmented reality using actual measured
US20130257908A1 (en) Object display device, object display method, and object display program
EP2733675B1 (en) Object display device, object display method, and object display program
CN111194416A (en) Apparatus and method for generating a representation of a scene
JP2016218905A (en) Information processing device, information processing method and program
TW201142745A (en) Information processing apparatus, information processing system, and information processing method
JP2008535116A (en) Method and apparatus for three-dimensional rendering
JP2005268847A (en) Image generating apparatus, image generating method, and image generating program
JP2002259976A (en) Method and device for detecting specific point
KR101575954B1 (en) Apparatus for augmented reality using 3d reconstruction and mehhod thereof
CN112116631A (en) Industrial augmented reality combined positioning system
JP5349224B2 (en) Image processing apparatus and image processing method
JP2021060868A (en) Information processing apparatus, information processing method, and program
KR20160146567A (en) Method and device for detecting variable and fast moving object
KR101509105B1 (en) Apparatus for providing augmented reality and method thereof
KR102410300B1 (en) Apparatus for measuring position of camera using stereo camera and method using the same
KR20090000777A (en) Augmented reality system using tangible object and method for providing augmented reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 4