KR101506610B1 - Apparatus for providing augmented reality and method thereof - Google Patents
Apparatus for providing augmented reality and method thereof Download PDFInfo
- Publication number
- KR101506610B1 KR101506610B1 KR1020130047334A KR20130047334A KR101506610B1 KR 101506610 B1 KR101506610 B1 KR 101506610B1 KR 1020130047334 A KR1020130047334 A KR 1020130047334A KR 20130047334 A KR20130047334 A KR 20130047334A KR 101506610 B1 KR101506610 B1 KR 101506610B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera module
- advertisement information
- coordinate
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Abstract
증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체를 인식하는 영상 인식부, 상기 객체의 특징점을 추출하는 객체 추출부, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부, 및 상기 합성영상을 디스플레이하는 디스플레이부를 포함한다. 마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있고, 스테레오 카메라를 이용하여 객체를 촬영함으로써, 객체의 3차원 위치를 정확하게 파악할 수 있고, 객체의 상하 회전 및 이동에 대해 객체를 용이하게 추적할 수 있으며, 실시간으로 객체의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보에 컨텐츠 정보 및 광고 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.The augmented reality providing apparatus includes a camera section for capturing an image, an image recognizing section for recognizing an object included in the image, an object extracting section for extracting a feature point of the object, an advertisement information acquiring section for acquiring advertisement information corresponding to the feature point of the object, A synthesizing unit for generating a synthesized image by synthesizing the content information and the advertisement information with the image by comparing the minutiae point of the object with the object feature information stored in the database and calling the content information corresponding to the object, And a display unit for displaying the composite image. It is possible to provide the advertisement information corresponding to the object extracted from the markerless based augmented reality technology and to accurately grasp the three dimensional position of the object by photographing the object using the stereo camera, It is possible to track the object easily and calculate the three-dimensional coordinates of the object in real time, so that the real-time information can be more accurately matched with the real-time information by using the extracted three-dimensional coordinates.
Description
본 발명은 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 마커리스(markerless) 기반의 증강현실 제공 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for providing an augmented reality, and more particularly, to an apparatus and method for providing a markerless based augmented reality.
증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.The Augmented Reality is a method to grasp the approximate position using the location and direction information and to grasp the desired service through comparison between the facility information such as the building information in the vicinity and the real image information inputted according to the movement of the camera And to provide relevant information.
이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.These augmented reality technologies include marker-based augmented reality technologies and sensor-based augmented reality technologies. The marker-based augmented reality technology is a technology for recognizing a marker by recognizing a marker corresponding to a particular building after taking it with the building. The sensor-based augmented reality technology uses the GPS and the electronic compass mounted on the terminal to infer the current position and the direction of the terminal and overlay the point of interest (POI) information corresponding to the image in the derived direction. (Overlay) technology.
최근에는 마커를 필요로 하지 않고 특정 객체를 추적할 수 있는 마커리스(markerless) 기반의 증강현실 기술이 연구되고 있다. 즉, 마커리스 기반의 증강현실 기술은 인공적으로 프린트된 인쇄물로서의 마커가 아니라 현실 세계에서의 객체의 특징점을 추출하여 추적하는 기술이다. In recent years, markerless based augmented reality techniques have been studied to track specific objects without requiring markers. That is, the markerless based augmented reality technology is a technology for extracting and tracking feature points of an object in the real world rather than a marker as an artificially printed print.
이러한 마커리스 기반의 증강현실 기술은 현실의 영상에 가상의 그래픽을 합성하여 제공하는 수준에 그치고 있다. Such a markerless based augmented reality technology is still in a level of synthesizing and providing virtual graphics to realistic images.
한편, 마커리스 기반의 증강현실 기술에서 객체의 특징점에 대응하는 가상의 그래픽을 합성하기 위해서는 객체의 3차원 좌표가 필요하다. 그러나, 단일 카메라로 현실의 영상을 촬영하는 경우에는 객체의 3차원 위치 파악이 정확히 이루어지지 않아 객체의 회전과 이동에 대한 객체 추적에 많은 문제점이 있다.On the other hand, in order to synthesize a virtual graphic corresponding to a minutiae point of an object in a markerless based augmented reality technique, three-dimensional coordinates of the object are required. However, when a real camera is photographed with a single camera, the 3D position of the object is not accurately detected, and thus there are many problems in object tracking for the rotation and movement of the object.
본 발명이 해결하고자 하는 기술적 과제는 마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있고, 스테레오 카메라(Stereoscopic camera)를 이용하여 객체의 3차원 위치를 정확하게 파악할 수 있는 증강현실 제공 장치 및 그 방법을 제공함에 있다.The object of the present invention is to provide advertisement information corresponding to an object extracted from a markerless based augmented reality technique and to accurately recognize a three-dimensional position of an object using a stereoscopic camera An augmented reality providing apparatus and a method thereof.
본 발명의 일 실시예에 따른 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체를 인식하는 영상 인식부, 상기 객체의 특징점을 추출하는 객체 추출부, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부, 및 상기 합성영상을 디스플레이하는 디스플레이부를 포함한다.The apparatus for providing an augmented reality according to an embodiment of the present invention includes a camera unit for capturing an image, an image recognition unit for recognizing an object included in the image, an object extraction unit for extracting a feature point of the object, An advertisement information acquiring unit for acquiring advertisement information for the object by comparing the minutiae point of the object with the object feature information stored in the database and calling the content information corresponding to the object, A synthesizer for generating an image, and a display for displaying the synthesized image.
상기 카메라부는, 제1 영상을 촬영하는 제1 카메라 모듈, 및 제2 영상을 촬영하는 제2 카메라 모듈을 포함할 수 있다.The camera unit may include a first camera module for capturing a first image and a second camera module for capturing a second image.
상기 객체 추출부는 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출할 수 있다.Wherein the object extracting unit calculates a first coordinate of the object in the first image, calculates a second coordinate of the object in the second image, and calculates a distance between the first camera module and the second camera module, The three-dimensional coordinates of the object can be calculated by calculating depth information of the object using the first coordinate and the second coordinate.
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 객체 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출할 수 있다.The first camera module and the second camera module are pinhole cameras and the object extractor can calculate the depth information of the object by further using the depth of focus from the image generated in the pinhole camera to the pinhole.
상기 객체 추출부는 수학식 
상기 광고 정보 획득부는 상기 객체의 특징점 정보를 광고 정보 서버에 전송하고, 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신할 수 있다. The advertisement information obtaining unit may transmit the minutia information of the object to the advertisement information server and receive advertisement information corresponding to the minutiae of the object from the advertisement information server.
본 발명의 다른 실시예에 따른 증강현실 제공 방법은 영상을 촬영하는 단계, 상기 영상에 포함된 객체를 인식하는 단계, 상기 객체의 특징점을 추출하는 단계, 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계, 상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 단계, 및 상기 합성영상을 디스플레이하는 단계를 포함한다.According to another aspect of the present invention, there is provided an augmented reality providing method including: capturing an image; recognizing an object included in the image; extracting feature points of the object; acquiring advertisement information corresponding to the feature points of the object; Comparing the minutiae point of the object with the object feature information stored in the database to invoke content information corresponding to the object and synthesizing the content information and the advertisement information to the image to generate a composite image; And displaying the composite image.
상기 영상을 촬영하는 단계는, 제1 카메라 모듈을 이용하여 제1 영상을 촬영하는 단계, 및 제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계를 포함할 수 있다. The step of photographing the image may include photographing the first image using the first camera module and photographing the second image using the second camera module.
상기 객체의 특징점을 추출하는 단계는, 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하는 단계, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하는 단계, 및 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 단계를 포함할 수 있다.The step of extracting feature points of the object may include calculating a first coordinate of the object in the first image, calculating a second coordinate of the object in the second image, Calculating the three-dimensional coordinates of the object by calculating depth information of the object using the distance between the first and second camera modules, the first coordinate and the second coordinate.
상기 객체의 3차원 좌표를 산출하는 단계는, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도를 더 이용하여 상기 객체의 깊이 정보를 산출하는 단계를 포함할 수 있다. The calculating of the three-dimensional coordinates of the object may be performed by the first camera module and the second camera module being a pinhole camera, wherein the depth of focus from the image generated in the pinhole camera to the pinhole is further used, And a step of calculating
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계는, 상기 객체의 특징점 정보를 광고 정보 서버에 전송하는 단계, 및 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계를 포함할 수 있다. The step of acquiring the advertisement information corresponding to the minutiae of the object may include transmitting minutia information of the object to the advertisement information server and acquiring the advertisement information corresponding to the minutiae point of the object from the advertisement information server can do.
마커리스 기반의 증강현실 기술에서 추출된 객체에 대응하는 광고 정보를 제공할 수 있다. The advertisement information corresponding to the object extracted from the markerless based AR technique can be provided.
스테레오 카메라를 이용하여 객체를 촬영함으로써, 객체의 3차원 위치를 정확하게 파악할 수 있고, 객체의 상하 회전 및 이동에 대해 객체를 용이하게 추적할 수 있다. By capturing an object using a stereo camera, it is possible to accurately grasp the three-dimensional position of the object and easily track the object with respect to up-down rotation and movement of the object.
또한, 실시간으로 객체의 3차원 좌표를 산출함으로써, 추출된 3차원 좌표를 이용하여 실세계 정보에 컨텐츠 정보 및 광고 정보를 실시간으로 더욱 정확하게 일치시킬 수 있다.In addition, by calculating the three-dimensional coordinates of the object in real time, the extracted three-dimensional coordinates can be used to more accurately match the real-time information with the content information and the advertisement information in real time.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 객체의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 1 is a block diagram illustrating an apparatus for providing augmented reality according to an embodiment of the present invention.
2 is a schematic diagram for explaining a method of calculating three-dimensional coordinates of an object using a stereo camera according to an embodiment of the present invention.
3 is a schematic view showing a camera coordinate system and an actual coordinate system according to an embodiment of the present invention.
4 is a flowchart illustrating an augmented reality providing method according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in the various embodiments, components having the same configuration are represented by the same reference symbols in the first embodiment. In the other embodiments, only components different from those in the first embodiment will be described .
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 장치를 나타내는 블록도이다.1 is a block diagram illustrating an apparatus for providing augmented reality according to an embodiment of the present invention.
도 1을 참조하면, 증강현실 제공 장치(100)는 카메라부(110), 영상 인식부(120), 객체 추출부(130), 광고 정보 획득부(140), 합성부(150) 및 디스플레이부(160)를 포함한다.1, an augmented
카메라부(110)는 영상 정보를 획득하기 위한 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)을 포함한다. 제1 카메라 모듈(111)은 실시간으로 제1 영상을 촬영하고, 제2 카메라 모듈(112)은 실시간으로 제2 영상을 촬영할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 카메라 렌즈를 대신하여 핀홀을 사용하는 핀홀 카메라(pinhole camera)로 마련될 수 있다. 이때, 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련된다. 카메라부(110)는 제1 영상 및 제2 영상을 영상 인식부(120) 및 합성부(150)에 전달한다.The
영상 인식부(120)는 제1 영상 및 제2 영상에 포함된 객체를 인식한다. 이때, 객체는 마커(maker)처럼 인식될 수 있도록 미리 등록된 실세계의 물체를 의미한다. 즉, 영상 인식부(120)는 마커처럼 인식될 수 있는 다수의 물체 형상을 저장하고, 제1 영상 및 제2 영상에 포함된 객체가 저장되어 있는 물체의 형상에 대응하는지 여부로 객체를 인식할 수 있다.The
객체 추출부(130)는 인식된 객체에 대한 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들 뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다. The
객체 추출부(130)는 객체의 크기를 검출하고, 객체의 2차원 좌표를 산출할 수 있다. 이때, 객체 추출부(130)는 제1 영상에서 인식된 객체의 제1 좌표를 산출하고, 제2 영상에서 인식된 객체의 제2 좌표를 산출할 수 있다. 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)이 핀홀 카메라이고 각각의 핀홀이 소정의 이격 거리로 이격되어 있으므로, 동일한 객체가 제1 영상 및 제2 영상에서 서로 다른 위치에 위치할 수 있다. 즉, 제1 영상에서 객체의 2차원의 제1 좌표와 제2 영상에서 객체의 2차원의 제2 좌표는 서로 다를 수 있다. The
객체 추출부(130)는 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 객체의 깊이 정보를 산출하고, 객체의 자세 및 위치 오차가 보정된 객체의 3차원 좌표를 산출할 수 있다. 이에 대한 상세한 설명은 도 2 및 3에서 후술한다. The
객체 추출부(130)는 객체의 특징점 정보를 광고 정보 획득부(140)에 전달한다. 그리고 객체 추출부(130)는 객체의 3차원 좌표 및 특징점 정보를 합성부(150)에 전달한다. The
광고 정보 획득부(140)는 객체에 대한 광고 정보를 제공하는 광고 정보 서버(미도시)에 전송하고, 광고 정보 서버로부터 객체의 특징점에 대응하는 광고 정보를 획득한다. 광고 정보 서버는 건물, 상점, 물건 등에 대한 광고를 의뢰받고, 증강현실 제공 장치(100)에서 인식되는 객체에 대한 광고 정보를 증강현실 제공 장치(100)에 제공하는 서버일 수 있다. 광고 정보 획득부(140)는 획득된 광고 정보를 합성부(150)에 전달한다. The advertisement
합성부(150)는 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(150)는 객체의 3차원 좌표를 이용하여 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보를 합성하여 합성 영상을 생성한다.The
디스플레이부(160)는 제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보가 합성된 합성 영상을 디스플레이한다. The
이때, 카메라부(110)에서 실시간으로 촬영되는 제1 영상 및 제2 영상에 대해 영상 인식부(120)에서 지속적인 객체 추적이 이루어지고, 객체 추출부(130)에서 객체의 3차원 좌표가 실시간으로 산출되면, 합성부(150)에서 컨텐츠 정보 및 광고 정보가 합성된 합성 영상이 실시간으로 생성되어 디스플레이될 수 있다.At this time, continuous object tracking is performed on the first image and the second image captured in real time by the
이제, 도 2 및 3을 참조하여 객체의 3차원 좌표를 산출하는 방법에 대하여 설명한다.Now, a method of calculating three-dimensional coordinates of an object will be described with reference to FIGS. 2 and 3. FIG.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용하여 객체의 3차원 좌표를 산출하는 방법을 설명하기 위한 나타내는 개략도이다. 도 3은 본 발명의 일 실시예에 따른 카메라 좌표계와 실제 좌표계를 나타내는 개략도이다.2 is a schematic diagram for explaining a method of calculating three-dimensional coordinates of an object using a stereo camera according to an embodiment of the present invention. 3 is a schematic view showing a camera coordinate system and an actual coordinate system according to an embodiment of the present invention.
도 2 및 3을 참조하면, 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리가 B 이고, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상과 핀홀(C1') 간의 초점 심도(f)와 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상과 핀홀(C2') 간의 초점 심도(f)는 동일하다고 가정한다. 2 and 3, the distance between the pinhole C1 'of the
이때, 제1 카메라 모듈(111)의 핀홀(C1')을 통해 생성되는 제1 영상에서 객체는 카메라 좌표계의 m1(x1, y1)에 위치하게 되고, 제2 카메라 모듈(112)의 핀홀(C2')을 통해 생성되는 제2 영상에서 객체는 카메라 좌표계의 m2(x2, y2)에 위치하게 된다. 그리고 제1 영상의 중심점(C1)과 핀홀(C1')을 잇는 광학축과 제2 영상의 중심점(C2)과 핀홀(C2')을 잇는 광학축은 z 축 방향이 된다. At this time, in the first image generated through the pinhole C1 'of the
실제 좌표계에서 객체의 좌표는 m(X, Y, Z)이고, 제1 카메라 모듈(111)의 핀홀(C1')의 좌표는 C1'(X1, Y1, Z1)이고, 제2 카메라 모듈(112)의 핀홀(C2')의 좌표는 C2'(X2, Y2, Z2)이다. The coordinate of the object in the actual coordinate system is m (X, Y, Z), the coordinate of the pinhole C1 'of the
카메라 좌표계와 실제 좌표계가 일치된다고 가정하면, 도 3에 도시한 바와 같이 영상 평면과 실제 평면이 나란히 존재하게 된다. 영상 평면은 제1 영상 및 제2 영상의 평면을 의미하고, 실제 평면은 객체가 위치하고 있는 평면을 의미한다.Assuming that the camera coordinate system coincides with the actual coordinate system, the image plane and the actual plane exist side by side as shown in Fig. The image plane means the plane of the first image and the second image, and the actual plane means the plane on which the object is located.
이러한 경우, 실제 좌표계에서 객체의 좌표 m(X, Y, Z)은 수학식 1과 같이 나타낼 수 있다.In such a case, the coordinate m (X, Y, Z) of the object in the actual coordinate system can be expressed by Equation (1).
이때, 객체의 좌표 m(X, Y, Z)의 Z 좌표는 제1 카메라 모듈(111)의 카메라 좌표계에서의 Z1 좌표 및 제2 카메라 모듈(112)의 카메라 좌표계에서의 Z2 좌표와 동일하다(Z1 = Z2 = Z). In this case, Z coordinates of the object's coordinates m (X, Y, Z) is the same as Z 2 coordinate in the camera coordinate system of the first camera module Z 1 coordinate in the camera coordinate
그리고 X2 = X1 + B 이므로, 수학식 1을 수학식 2와 같이 나타낼 수 있고, 이로부터 수학식 3이 도출된다. Since X 2 = X 1 + B, Equation 1 can be expressed as Equation 2, and Equation 3 is derived therefrom.
여기서, Z는 객체의 깊이 정보, f는 초점 심도, B는 제1 카메라 모듈(111)의 핀홀(C1')과 제2 카메라 모듈(112)의 핀홀(C2') 간의 이격 거리, x1은 제1 영상에서 객체의 x축 좌표, x2는 제2 영상에서 객체의 x축 좌표이다. B is a distance between the pinhole C1 'of the
제1 영상의 카메라 좌표계에서 객체의 좌표 m1(x1, y1)에 Z 값을 추가하면, 제1 영상에서 객체의 3차원 좌표 m1(x1, y1, z1)이 산출된다(z1 = Z). 그리고, 제2 영상의 카메라 좌표계에서 객체의 좌표 m2(x2, y2)에 Z 값을 추가하면, 제2 영상에서 객체의 3차원 좌표 m2(x2, y2, z2)이 산출된다(z2 = Z). When the Z value is added to the object coordinate m 1 (x 1 , y 1 ) in the camera coordinate system of the first image, the three-dimensional coordinate m 1 (x 1 , y 1 , z 1 ) of the object is calculated in the first image (z 1 = Z). When the Z value is added to the object coordinate m 2 (x 2 , y 2 ) in the camera coordinate system of the second image, the three-dimensional coordinate m 2 (x 2 , y 2 , z 2 ) It is calculated (z 2 = Z).
즉, 객체의 깊이 정보를 산출하여 제1 영상 및 제2 영상에서 객체의 3차원 좌표를 얻을 수 있다.That is, the depth information of the object can be calculated to obtain the three-dimensional coordinates of the object in the first image and the second image.
도 4는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 4 is a flowchart illustrating an augmented reality providing method according to an embodiment of the present invention.
도 4를 참조하면, 제1 카메라 모듈(111)을 이용하여 제1 영상이 촬영되고, 제2 카메라 모듈(112)을 이용하여 제2 영상이 촬영된다(S110). 이때, 제1 카메라 모듈(111) 및 제2 카메라 모듈(112)은 핀홀을 이용하여 영상을 촬영하는 핀홀 카메라일 수 있다. 제1 카메라 모듈(111)의 핀홀과 제2 카메라 모듈(112)의 핀홀은 소정의 이격 거리로 이격되어 마련될 수 있다.Referring to FIG. 4, a first image is captured using the
제1 영상 및 제2 영상에 포함된 객체가 인식된다(S120). 객체는 마커처럼 인식될 수 있도록 미리 등록된 실세계의 물체로서, 제1 영상 및 제2 영상에 포함된 객체가 저장되어 있는 물체의 형상에 대응하는지 여부로 객체가 인식될 수 있다.The objects included in the first image and the second image are recognized (S120). The object can be recognized by whether the object corresponds to the shape of the object in which the object included in the first image and the second image is stored, which is an object of the real world registered in advance so as to be recognized as a marker.
인식된 객체에 대한 패턴, 로고, 색상, 외곽선, 텍스처, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점이 추출된다(S130). 이때, 객체의 크기가 검출되고, 객체의 2차원 좌표가 산출될 수 있다. 제1 영상에서 인식된 객체의 제1 좌표가 산출되고, 제2 영상에서 인식된 객체의 제2 좌표가 산출될 수 있다. 제1 카메라 모듈(111)과 제2 카메라 모듈(112) 간의 이격 거리, 제1 좌표, 제2 좌표 및 초점 심도(focal depth)를 이용하여 객체의 깊이 정보가 산출되고, 객체의 자세 및 위치 오차가 보정된 객체의 3차원 좌표가 산출될 수 있다.At step S130, feature points of the object are extracted based on at least one of information on a recognized object, such as a pattern, a logo, a color, an outline, a texture, and an outline according to an angle. At this time, the size of the object is detected, and the two-dimensional coordinates of the object can be calculated. The first coordinate of the object recognized in the first image is calculated and the second coordinate of the object recognized in the second image can be calculated. The depth information of the object is calculated using the distance between the
객체의 특징점에 대응하는 광고 정보가 획득된다(S150). 객체의 특징점 정보가 객체에 대한 광고 정보를 제공하는 광고 정보 서버에 전송되고, 광고 정보 서버로부터 객체의 특징점에 대응하는 광고 정보가 획득될 수 있다. 광고 정보 서버는 건물, 상점, 물건 등에 대한 광고를 의뢰받고, 증강현실 제공 장치(100)에서 인식되는 객체에 대한 광고 정보를 증강현실 제공 장치(100)에 제공하는 서버일 수 있다. The advertisement information corresponding to the minutiae of the object is obtained (S150). The minutia information of the object is transmitted to the advertisement information server providing the advertisement information for the object and the advertisement information corresponding to the minutiae point of the object can be obtained from the advertisement information server. The advertisement information server may be a server that receives an advertisement for a building, a store, an article, and the like, and provides the advertisement information about the object recognized by the augmented
객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보가 호출되고, 호출된 컨텐츠 정보 및 광고 정보가 제1 영상 및 제2 영상 중 적어도 어느 하나에 합성되어 합성 영상이 생성된다(S150).The content information corresponding to the object is called by comparing the minutiae point of the object with the feature information of the object stored in the database, and the called content information and the advertisement information are synthesized in at least one of the first image and the second image, (S150).
제1 영상 및 제2 영상 중 적어도 어느 하나에 컨텐츠 정보 및 광고 정보가 합성된 합성 영상이 디스플레이부(160)를 통해 디스플레이된다(S160). The synthesized image obtained by synthesizing the content information and the advertisement information on at least one of the first image and the second image is displayed through the display unit 160 (S160).
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 증강현실 제공 장치
110 : 카메라부
111 : 제1 카메라 모듈
112 : 제2 카메라 모듈
120 : 영상 인식부
130 : 객체 추출부
140 : 광고 정보 획득부
150 : 합성부
160 : 디스플레이부100: augmented reality providing device
110:
111: first camera module
112: Second camera module
120:
130:
140: Ad information obtaining unit
150:
160:
Claims (11)
상기 영상에 포함된 객체를 인식하는 영상 인식부;
상기 제1 영상에서 상기 객체의 제1 좌표를 산출하고, 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하고, 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하고, 상기 객체의 특징점을 추출하는 객체 추출부;
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 광고 정보 획득부;
상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 합성부; 및
상기 합성영상을 디스플레이하는 디스플레이부를 포함하며,
상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 객체 추출부는 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도와 하기 수학식을 이용하여 상기 객체의 깊이 정보를 산출하는 증강현실 제공 장치.
[수학식]
(상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표)A camera unit including a first camera module for capturing a first image and a second camera module for capturing a second image;
An image recognition unit for recognizing an object included in the image;
Calculating a first coordinate of the object in the first image, calculating a second coordinate of the object in the second image, and calculating a second coordinate of the object based on a distance between the first camera module and the second camera module, An object extraction unit for calculating three-dimensional coordinates of the object by calculating depth information of the object using the second coordinates, and extracting feature points of the object;
An advertisement information acquisition unit for acquiring advertisement information corresponding to the minutiae of the object;
A synthesizing unit for generating a synthesized image by synthesizing the content information and the advertisement information with the image by comparing the minutiae point of the object with object feature information stored in the database and calling the content information corresponding to the object; And
And a display unit for displaying the composite image,
Wherein the first camera module and the second camera module are pinhole cameras, and the object extractor extracts depth information of the object from the image generated in the pinhole camera and the pinhole using the following mathematical expression, .
[Mathematical Expression]
(Wherein Z is depth information of the object, wherein f is the focal depth, the B is the first pin hole of the camera module and the second distance between the camera module pinhole, the x 1 is the object in said first image the x coordinate, x 2 is the x coordinate of the object in the second image)
상기 광고 정보 획득부는 상기 객체의 특징점 정보를 광고 정보 서버에 전송하고, 상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신하는 증강현실 제공 장치.The method according to claim 1,
Wherein the advertisement information acquisition unit transmits minutia information of the object to the advertisement information server and receives advertisement information corresponding to minutiae points of the object from the advertisement information server.
제2 카메라 모듈을 이용하여 제2 영상을 촬영하는 단계;
상기 영상에 포함된 객체를 인식하는 단계;
상기 객체의 특징점을 추출하는 단계;
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계;
상기 객체의 특징점을 데이터베이스에 저장된 객체 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 컨텐츠 정보 및 상기 광고 정보를 상기 영상에 합성하여 합성영상을 생성하는 단계; 및
상기 합성영상을 디스플레이하는 단계를 포함하며,
상기 객체의 특징점을 추출하는 단계는, 상기 제1 영상에서 상기 객체의 제1 좌표를 산출하는 단계; 상기 제2 영상에서 상기 객체의 제2 좌표를 산출하는 단계; 및 상기 제1 카메라 모듈과 상기 제2 카메라 모듈 간의 이격 거리, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 객체의 깊이 정보를 산출하여 상기 객체의 3차원 좌표를 산출하는 단계를 더 포함하고,
상기 객체의 3차원 좌표를 산출하는 단계는, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈은 핀홀 카메라이고, 상기 핀홀 카메라에 생성되는 이미지에서 핀홀까지의 초점 심도와 하기 수학식을 이용하여 상기 객체의 깊이 정보를 산출하는 증강현실 제공 방법.
[수학식]
(상기 Z는 상기 객체의 깊이 정보, 상기 f는 상기 초점 심도, 상기 B는 상기 제1 카메라 모듈의 핀홀과 상기 제2 카메라 모듈의 핀홀 간의 이격 거리, 상기 x1은 상기 제1 영상에서 상기 객체의 x축 좌표, 상기 x2는 상기 제2 영상에서 상기 객체의 x축 좌표)Capturing a first image using the first camera module;
Capturing a second image using a second camera module;
Recognizing an object included in the image;
Extracting feature points of the object;
Obtaining advertisement information corresponding to a minutiae of the object;
Comparing the minutiae point of the object with object feature information stored in a database to call content information corresponding to the object, and synthesizing the content information and the advertisement information to the image to generate a composite image; And
And displaying the composite image,
Wherein the extracting of feature points of the object comprises: calculating a first coordinate of the object in the first image; Calculating a second coordinate of the object in the second image; And calculating three-dimensional coordinates of the object by calculating depth information of the object using the distance between the first camera module and the second camera module, the first coordinate and the second coordinate, ,
Wherein the calculating of the three-dimensional coordinates of the object is performed by using the first camera module and the second camera module as a pinhole camera, using the depth of focus from the image generated in the pinhole camera to the pinhole, The depth information of the augmented reality is calculated.
[Mathematical Expression]
(Wherein Z is depth information of the object, wherein f is the focal depth, the B is the first pin hole of the camera module and the second distance between the camera module pinhole, the x 1 is the object in said first image the x coordinate, x 2 is the x coordinate of the object in the second image)
상기 객체의 특징점에 대응하는 광고 정보를 획득하는 단계는,
상기 객체의 특징점 정보를 광고 정보 서버에 전송하는 단계; 및
상기 광고 정보 서버로부터 상기 객체의 특징점에 대응하는 광고 정보를 수신하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the step of acquiring advertisement information corresponding to the minutiae of the object comprises:
Transmitting minutia information of the object to an advertisement information server; And
And receiving advertisement information corresponding to a minutiae of the object from the advertisement information server.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130047334A KR101506610B1 (en) | 2013-04-29 | 2013-04-29 | Apparatus for providing augmented reality and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130047334A KR101506610B1 (en) | 2013-04-29 | 2013-04-29 | Apparatus for providing augmented reality and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140128654A KR20140128654A (en) | 2014-11-06 |
| KR101506610B1 true KR101506610B1 (en) | 2015-03-27 |
Family
ID=52454485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130047334A KR101506610B1 (en) | 2013-04-29 | 2013-04-29 | Apparatus for providing augmented reality and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101506610B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160136817A (en) | 2015-05-21 | 2016-11-30 | 주식회사 맥스트 | Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160062770A (en) * | 2014-11-25 | 2016-06-03 | 전자부품연구원 | Mashup service method for augmented reality and mobile device applying the same |
| WO2018021707A1 (en) * | 2016-07-29 | 2018-02-01 | 황문상 | Vr video advertisement system and vr advertisement production system |
| US10229312B2 (en) | 2016-12-30 | 2019-03-12 | Facebook, Inc. | Systems and methods for providing augmented reality overlays |
| US10575067B2 (en) * | 2017-01-04 | 2020-02-25 | Samsung Electronics Co., Ltd. | Context based augmented advertisement |
| KR101947258B1 (en) * | 2017-03-10 | 2019-02-12 | 박태현 | Apparatus and method for advertising based on temporary tattoo |
| KR101889025B1 (en) * | 2017-05-22 | 2018-08-16 | 동서대학교산학협력단 | System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm |
| KR101980444B1 (en) * | 2017-08-30 | 2019-08-28 | 연세대학교 산학협력단 | Augmented Reality Server and System and its Method, and Recording Medium thereof |
| KR101997770B1 (en) * | 2017-12-06 | 2019-07-08 | 한국광기술원 | Apparatus and Method for Making Augmented Reality Image |
| KR20200017325A (en) * | 2018-08-08 | 2020-02-18 | 주식회사 소울핑거 | Augmented Reality Contents Providing System and Method |
| KR102376767B1 (en) * | 2018-12-20 | 2022-03-21 | 한국전자기술연구원 | Markerless type augmented reality presentation apparatus |
| WO2020262725A1 (en) * | 2019-06-25 | 2020-12-30 | 티팟스튜디오 주식회사 | Augmented reality method for providing information on basis of three-dimensional object recognition using deep learning, and system using same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120032336A (en) * | 2010-09-28 | 2012-04-05 | 엘지전자 주식회사 | Method for displaying information of augmented reality and terminal thereof |
| KR20120071444A (en) * | 2010-12-23 | 2012-07-03 | 에스케이플래닛 주식회사 | Method for providing advertisement by using augmented reality, system, apparatus, server and terminal therefor |
| KR20120082672A (en) * | 2011-01-14 | 2012-07-24 | 주식회사 케이티 | Portable terminal apparatus, augment reality service system and augment reality service providing method thereof |
-
2013
- 2013-04-29 KR KR1020130047334A patent/KR101506610B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120032336A (en) * | 2010-09-28 | 2012-04-05 | 엘지전자 주식회사 | Method for displaying information of augmented reality and terminal thereof |
| KR20120071444A (en) * | 2010-12-23 | 2012-07-03 | 에스케이플래닛 주식회사 | Method for providing advertisement by using augmented reality, system, apparatus, server and terminal therefor |
| KR20120082672A (en) * | 2011-01-14 | 2012-07-24 | 주식회사 케이티 | Portable terminal apparatus, augment reality service system and augment reality service providing method thereof |
Non-Patent Citations (2)
| Title |
|---|
| 이동석 외4, "스테레오 카메라를 이용한 이동객체의 실시간 추적과 거리 측정 시스템", 한국방송공학회, 방송공학회논문지 14(3), 2009.5, 366-377. * |
| 이동석 외4, "스테레오 카메라를 이용한 이동객체의 실시간 추적과 거리 측정 시스템", 한국방송공학회, 방송공학회논문지 14(3), 2009.5, 366-377.* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160136817A (en) | 2015-05-21 | 2016-11-30 | 주식회사 맥스트 | Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140128654A (en) | 2014-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101506610B1 (en) | Apparatus for providing augmented reality and method thereof | |
| US11393173B2 (en) | Mobile augmented reality system | |
| US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
| CN107273846B (en) | Human body shape parameter determination method and device | |
| TWI496108B (en) | AR image processing apparatus and method | |
| JP6507730B2 (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
| KR101633620B1 (en) | Feature registration apparatus for image based localization and method the same | |
| JP5812599B2 (en) | Information processing method and apparatus | |
| WO2014181725A1 (en) | Image measurement device | |
| KR101665399B1 (en) | Object generation apparatus and method of based augmented reality using actual measured | |
| US20130257908A1 (en) | Object display device, object display method, and object display program | |
| KR101575954B1 (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
| JP2005268847A (en) | Image generating apparatus, image generating method, and image generating program | |
| JP5349224B2 (en) | Image processing apparatus and image processing method | |
| CN112116631A (en) | Industrial augmented reality combined positioning system | |
| CN104204848A (en) | Surveying apparatus having a range camera | |
| KR20160146567A (en) | Method and device for detecting variable and fast moving object | |
| KR101509105B1 (en) | Apparatus for providing augmented reality and method thereof | |
| KR102410300B1 (en) | Apparatus for measuring position of camera using stereo camera and method using the same | |
| KR20090000777A (en) | Augmented reality system using tangible object and method for providing augmented reality | |
| KR101837269B1 (en) | Coordination guide method and system based on multiple marker | |
| KR20120091749A (en) | Visualization system for augment reality and method thereof | |
| Thangarajah et al. | Vision-based registration for augmented reality-a short survey | |
| JP2014178967A (en) | Three-dimensional object recognition device and three-dimensional object recognition method | |
| US20200005527A1 (en) | Method and apparatus for constructing lighting environment representations of 3d scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20180323 Year of fee payment: 4 |