KR101253644B1 - Apparatus and method for displaying augmented reality content using geographic information - Google Patents

Apparatus and method for displaying augmented reality content using geographic information Download PDF

Info

Publication number
KR101253644B1
KR101253644B1 KR1020120155799A KR20120155799A KR101253644B1 KR 101253644 B1 KR101253644 B1 KR 101253644B1 KR 1020120155799 A KR1020120155799 A KR 1020120155799A KR 20120155799 A KR20120155799 A KR 20120155799A KR 101253644 B1 KR101253644 B1 KR 101253644B1
Authority
KR
South Korea
Prior art keywords
augmented reality
image
camera module
geographical position
reality object
Prior art date
Application number
KR1020120155799A
Other languages
Korean (ko)
Inventor
박재완
권기석
김승균
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020120155799A priority Critical patent/KR101253644B1/en
Application granted granted Critical
Publication of KR101253644B1 publication Critical patent/KR101253644B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An apparatus and a method for displaying augmented reality content using geographic information are provided to determine the position of an augmented reality object using information about a bottom surface, thereby enhancing reality of the object. CONSTITUTION: A camera module(102) takes a picture. A position calculation module(104) calculates a geographic position of a captured image by using the geographic position and shooting direction of the camera module. An object extraction module(106) extracts an augmented reality object corresponding to the geographic position of the image. A bottom recognition module(108) recognizes the bottom surface of the image. A display module(110) displays the synthesis of the augmented reality object and the image. [Reference numerals] (102) Camera module; (104) Position calculation module; (106) Object extraction module; (108,112) Bottom recognition module; (110) Display module;

Description

위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING AUGMENTED REALITY CONTENT USING GEOGRAPHIC INFORMATION}Augmented reality content output device and method using location information {APPARATUS AND METHOD FOR DISPLAYING AUGMENTED REALITY CONTENT USING GEOGRAPHIC INFORMATION}

본 발명은 화면 상에 증강 현실 콘텐츠를 디스플레이하기 위한 기술과 관련된다.
The present invention relates to a technique for displaying augmented reality content on a screen.

최근 들어, 스마트폰 등의 대중화와 더불어 증강 현실(Augmented Reality) 기술이 다양한 분야에서 활용되고 있다. 이러한 증강 현실의 일례로는 카메라로부터 촬영되는 영상으로부터 증강 현실 마커를 감지하고 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 출력하는 기술을 들 수 있다. 이와 같은 기술을 사용함으로써 현실에는 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 할 수 있다.Recently, augmented reality (Augmented Reality) technology is being used in various fields along with the popularization of smart phones. An example of such an augmented reality may be a technique of detecting an augmented reality marker from an image captured by a camera and synthesizing the 3D virtual object according to the detected marker to the image and outputting the same. By using such a technique, a virtual character or the like that does not exist in reality can be made to exist on the screen.

가상 물체를 화면상에 나타내기 위해서는 입력되는 각 영상의 각 프레임 별로 마커를 인지하고 마커의 종류 및 위치 등에 대응되도록 가상 물체의 크기, 위치, 형태 등을 계산하여 계산된 위치에 상기 가상 물체를 영상과 합성하여야 한다. 그런데, 이와 같은 마커 방식의 증강현실 콘텐츠 출력 방식의 경우 화면 상에 마커가 명확히 인식되어야 하는 바, 마커가 원거리에 있을 경우에는 카메라가 마커를 인식할 수 없어 가상 물체(증강 현실 오브젝트)를 화면 상에 증강시키는 것이 매우 어려웠다. 이를 해결하기 위한 방법의 하나로서, 마커 대신 GPS 등의 위치 정보에 가상 물체를 맵핑함으로써 단말의 위치 정보 만으로 현재 위치 근처에 맵핑된 증강 현실 오브젝트를 디스플레이하는 방법을 생각할 수 있다. 그러나, GPS 위치 정보 등은 해당 지점의 (x, y) 정보만을 알 수 있을 뿐 높이 정보는 알 수 없으므로, GPS를 이용한 증강현실 기법의 경우 단말의 위치에 따라 오브젝트가 공중에 떠 있거나 또는 지면 보다 아래에 디스플레이되는 등의 문제가 발생하게 된다.
In order to display the virtual object on the screen, it recognizes the marker for each frame of each input image, calculates the size, position, shape, etc. of the virtual object to correspond to the type and position of the marker, and displays the virtual object at the calculated position. It must be synthesized with However, in the case of the augmented reality content output method of the marker method, the marker must be clearly recognized on the screen. When the marker is far away, the camera cannot recognize the marker so that the virtual object (augmented reality object) is displayed on the screen. It was very difficult to reinforce. As a method for solving this problem, a method of displaying an augmented reality object mapped near a current location using only the location information of the terminal may be considered by mapping a virtual object to location information such as GPS instead of a marker. However, since the GPS location information only knows (x, y) information of the corresponding point, but not the height information, in the case of the augmented reality technique using GPS, the object floats in the air depending on the location of the terminal, Problems such as displayed below will occur.

본 발명의 실시예들은 단말의 지리적 위치 정보 및 영상으로부터 인식된 바닥면 정보를 이용하여 화면 상에 증강 현실 오브젝트를 효과적으로 디스플레이하기 위한 수단을 제공하기 위한 것이다.
Embodiments of the present invention provide a means for effectively displaying an augmented reality object on a screen by using geographical position information of a terminal and floor information recognized from an image.

본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 장치는, 영상을 촬영하는 카메라 모듈, 상기 카메라 모듈의 지리적 위치 및 영상 촬영 방향을 이용하여 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 계산하는 위치 계산 모듈, 계산된 상기 영상의 지리적 위치에 대응되는 증강 현실 오브젝트를 추출하는 오브젝트 추출 모듈, 촬영된 상기 영상의 바닥면을 인식하는 바닥면 인식 모듈, 및 상기 증강 현실 오브젝트가 인식된 상기 영상의 바닥면에 위치하도록, 추출된 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하는 디스플레이 모듈을 포함한다.The apparatus for outputting augmented reality content according to an embodiment of the present invention includes a camera module for capturing an image, a position calculation for calculating a geographical position of an image photographed by the camera module using a geographical position and an image capturing direction of the camera module. A module, an object extraction module for extracting an augmented reality object corresponding to the calculated geographic position of the image, a floor recognition module for recognizing a bottom surface of the photographed image, and a bottom surface of the image in which the augmented reality object is recognized And a display module configured to display the extracted augmented reality object by combining the image with the image.

한편, 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 장치에서 수행되는 증강 현실 콘텐츠 출력 방법은, 카메라 모듈을 이용하여 영상을 촬영하는 단계, 상기 카메라 모듈의 지리적 위치 및 영상 촬영 방향을 이용하여 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 계산하는 단계, 계산된 상기 영상의 지리적 위치에 대응되는 증강 현실 오브젝트를 추출하는 단계, 촬영된 상기 영상의 바닥면을 인식하는 단계, 및 상기 증강 현실 오브젝트가 인식된 상기 영상의 바닥면에 위치하도록, 추출된 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하는 단계를 포함한다.
On the other hand, augmented reality content output method performed in the augmented reality content output device according to an embodiment of the present invention, the step of capturing an image using a camera module, the geographic location of the camera module and the image capturing direction Calculating a geographical position of the captured image by the camera module, extracting an augmented reality object corresponding to the calculated geographical position of the image, recognizing a bottom surface of the captured image, and the augmented reality object And synthesizing the extracted augmented reality object with the image so as to be located on a bottom surface of the recognized image.

본 발명의 실시예들에 따를 경우, 단말에서 측정한 지리적 위치 정보를 이용하여 적절한 증강 현실 오브젝트를 출력할 수 있는 효과가 있다. 또한, 영상에서 인식된 바닥면 정보를 이용하여 상기 증강 현실 오브젝트의 위치를 결정함으로써 디스플레이되는 증강 현실 오브젝트의 현실감을 높일 수 있는 장점이 있다.
According to embodiments of the present invention, it is possible to output an appropriate augmented reality object by using the geographical position information measured by the terminal. In addition, there is an advantage in that the reality of the displayed augmented reality object can be enhanced by determining the position of the augmented reality object using the floor information recognized in the image.

도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 장치(100)의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 위치 계산 모듈(104)의 상세 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 방법(300)을 도시한 순서도이다.1 is a diagram showing the configuration of an augmented reality content output device 100 according to an embodiment of the present invention.
2 is a diagram showing the detailed configuration of the position calculation module 104 according to an embodiment of the present invention.
3 is a flowchart illustrating a method 300 for outputting augmented reality content according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is merely an example and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.

도 1은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 장치(100)의 구성을 나타낸 도면이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 장치(100)는 카메라 모듈(102), 위치 계산 모듈(104), 오브젝트 추출 모듈(106), 바닥면 인식 모듈(108) 및 디스플레이 모듈(110)을 포함하며, 필요에 따라 입력 모듈(112)을 더 포함할 수 있다. 포함한다. 이와 같은 증강 현실 콘텐츠 출력 장치는 카메라 모듈 및 디스플레이를 갖춘 디지털 카메라 또는 스마트폰 등 이용자가 필요에 따라 이동하면서 촬영할 수 있는 모바일 장치로 구현될 수 있다.1 is a diagram showing the configuration of an augmented reality content output device 100 according to an embodiment of the present invention. As shown, the augmented reality content output device 100 according to an embodiment of the present invention is a camera module 102, position calculation module 104, object extraction module 106, floor recognition module 108 and It includes a display module 110, and may further include an input module 112, if necessary. . Such augmented reality content output device may be implemented as a mobile device that can be taken while the user moves as needed, such as a digital camera or a smartphone having a camera module and a display.

카메라 모듈(102)은 증강 현실 오브젝트를 합성하기 위한 영상을 촬영하기 위한 모듈로서, 사용자의 조작에 따라 카메라 모듈(102)이 위치한 방향의 영상을 촬영한다. 이때 상기 영상은 정지 영상 또는 동영상 중 어느 하나일 수 있다.The camera module 102 is a module for capturing an image for synthesizing an augmented reality object, and captures an image of a direction in which the camera module 102 is located according to a user's manipulation. In this case, the image may be either a still image or a video.

위치 계산 모듈(104)은 상기 카메라 모듈의 지리적 위치 및 영상 촬영 방향을 이용하여 카메라 모듈(102)이 촬영한 영상의 지리적 위치를 계산한다.The position calculation module 104 calculates the geographical position of the image photographed by the camera module 102 by using the geographical position and the image photographing direction of the camera module.

도 2는 본 발명의 일 실시예에 따른 위치 계산 모듈(104)의 상세 구성을 나타낸 도면이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 위치 계산 모듈(104)은 위치 측정부(200), 자세 측정부(202) 및 계산부(204)를 포함한다.2 is a diagram showing the detailed configuration of the position calculation module 104 according to an embodiment of the present invention. As shown, the position calculation module 104 according to an embodiment of the present invention includes a position measuring unit 200, a posture measuring unit 202 and a calculation unit 204.

위치 측정부(200)는 카메라 모듈(102)의 지리적 위치(geographic location)를 측정하기 위한 모듈이다. 본 발명의 실시예에서, 특별한 사정이 없는 한 카메라 모듈(102)은 증강 현실 콘텐츠 출력 장치(100)의 내부에 위치하게 되므로, 카메라 모듈(102)의 지리적 위치는 증강 현실 콘텐츠 출력 장치(100)의 지리적 위치와 동일한 것으로 간주될 수 있다. 위치 측정부(200)는 예를 들어, 증강 현실 콘텐츠 출력 장치(100)에 포함된 GPS 모듈(미도시)을 이용하여 카메라 모듈(102)의 지리적 위치를 측정할 수 있다. 또한, 증강 현실 콘텐츠 출력 장치(100)가 이동통신 단말기인 경우, 위치 측정부(200)는 증강 현실 콘텐츠 출력 장치(100)와 기지국 간의 신호 세기를 이용한 삼각 측량법을 이용하여 카메라 모듈(102)의 지리적 위치를 측정할 수 있다. 또한, 증강 현실 콘텐츠 출력 장치(100)가 무선랜 연결이 가능한 단말일 경우, 위치 측정부(200)는 연결된 무선 액세스포인트와의 신호 세기를 이용하여 카메라 모듈(102)의 지리적 위치를 측정하도록 구성될 수도 있다. 즉, 본 발명의 실시예에서 위치 측정부(200)에서의 구체적인 위치 측정 방법은 특별히 제한되지 않으며, 본 발명이 속하는 기술분야에서 알려진 방법들을 이용하여 카메라 모듈(102)의 위치를 측정할 수 있다.The position measuring unit 200 is a module for measuring the geographic location of the camera module 102. In the embodiment of the present invention, since there is no special situation, the camera module 102 is located inside the augmented reality content output device 100, so that the geographical position of the camera module 102 is the augmented reality content output device 100. It may be considered to be the same as the geographic location of. For example, the location measuring unit 200 may measure the geographical location of the camera module 102 using a GPS module (not shown) included in the augmented reality content output device 100. In addition, when the augmented reality content output device 100 is a mobile communication terminal, the position measuring unit 200 uses the triangulation method using the signal strength between the augmented reality content output device 100 and the base station to determine the camera module 102. Geographic location can be measured. In addition, when the augmented reality content output device 100 is a terminal capable of wireless LAN connection, the position measuring unit 200 is configured to measure the geographical position of the camera module 102 using the signal strength with the connected wireless access point. May be That is, in the exemplary embodiment of the present invention, a specific position measuring method in the position measuring unit 200 is not particularly limited, and the position of the camera module 102 may be measured using methods known in the art. .

자세 측정부(202)는 카메라 모듈(102)의 자세를 측정한다. 이때 카메라 모듈(102)의 자세란 카메라 모듈(102)이 3차원 공간 내에서 어떠한 방향을 향하고 있는지에 대한 정보로서, 이로부터 카메라 모듈(102)이 촬영하는 영상과 카메라 모듈(102) 간의 상대적인 위치를 추정할 수 있다. 자세 측정부(202)는 예를 들어 카메라 모듈(102)의 3차원 위치 이동 및 3차원 회전을 감지할 수 있는 6축 센서(6 axis sensor)로 구성될 수 있다.The posture measuring unit 202 measures the posture of the camera module 102. At this time, the attitude of the camera module 102 is information about which direction the camera module 102 is facing in the three-dimensional space, and from this, the relative position between the image captured by the camera module 102 and the camera module 102. Can be estimated. The posture measuring unit 202 may be configured as, for example, a six axis sensor capable of detecting three-dimensional position movement and three-dimensional rotation of the camera module 102.

계산부(204)는 자세 측정부(202)에서 계산된 상기 자세로부터 카메라 모듈(102)의 촬영 방향을 계산하고 이를 통하여 카메라 모듈(102)과 촬영된 영상 간의 상대적 위치를 추정한다. 또한, 계산부(204)는 상기 상대적 위치 및 위치 측정부(200)에서 계산된 카메라 모듈(102)의 지리적 위치를 이용하여 카메라 모듈(102)이 촬영한 영상의 지리적 위치를 계산할 수 있다. 즉, 계산부(204)는 카메라 모듈(102)의 지리적 위치 및 카메라 모듈(102)이 향하고 있는 방향으로부터 영상의 위치를 추정하도록 구성된다. 이때, 상기 영상의 위치는 정확한 지점(point)이 아닌, 카메라 모듈(102)이 향하고 있는 방향을 포함하는 일종의 영역(area)에 대한 위치 정보일 수 있다. 즉, 상기 카메라 모듈(102)은 특정 지점만을 촬영하는 것이 아니라 해당 지점을 포함하는 소정 영역을 촬영하며, 단안 렌즈의 특성 상 해당 지점까지의 정확한 거리를 측정하는 것도 어려우므로, 계산부(204)는 카메라 모듈(102)이 위치한 지리적 위치에서 카메라 모듈(102)이 향하고 있는 방향 내의 소정 크기의 구역을 상기 영상의 지리적 위치로 추정하도록 구성될 수 있다.The calculator 204 calculates a photographing direction of the camera module 102 from the posture calculated by the posture measurer 202 and estimates a relative position between the camera module 102 and the photographed image. In addition, the calculator 204 may calculate the geographical position of the image captured by the camera module 102 using the relative position and the geographical position of the camera module 102 calculated by the position measuring unit 200. That is, the calculator 204 is configured to estimate the position of the image from the geographical position of the camera module 102 and the direction in which the camera module 102 is facing. In this case, the position of the image may not be an exact point, but may be position information about a kind of area including a direction that the camera module 102 is facing. That is, the camera module 102 not only photographs a specific point but also photographs a predetermined area including the corresponding point, and because it is difficult to measure an accurate distance to the corresponding point due to the characteristics of the monocular lens, the calculation unit 204 May be configured to estimate an area of a predetermined size in the direction that the camera module 102 is facing at the geographical location where the camera module 102 is located as the geographical location of the image.

또한, 계산부(204)는 증강 현실 오브젝트가 화면 상에 디스플레이된 후 위치 측정부(200) 또는 자세 측정부(202)로부터 증강 현실 콘텐츠 출력 장치(100)의 지리적 위치 또는 자세의 변화가 감지될 경우 이를 반영하여 증강 현실 오브젝트의 위치를 재계산할 수 있다. 이에 따라 증강 현실 콘텐츠 출력 장치(100)가 이동할 경우에도 화면 상의 증강 현실 오브젝트의 출력 위치는 일정하게 유지될 수 있다.In addition, after the augmented reality object is displayed on the screen, the calculator 204 detects a change in the geographical position or the attitude of the augmented reality content output device 100 from the position measuring unit 200 or the posture measuring unit 202. In this case, the position of the augmented reality object may be recalculated by reflecting this. Accordingly, even when the augmented reality content output device 100 moves, the output position of the augmented reality object on the screen may be kept constant.

오브젝트 추출 모듈(106)은 계산된 상기 영상의 지리적 위치에 대응되는 증강 현실 오브젝트를 추출한다. 일 실시예에서, 오브젝트 추출 모듈(106)은 네트워크를 통하여 콘텐츠 제공 서버(미도시)와 연결될 수 있다. 이 경우, 오브젝트 추출 모듈(106)은 계산된 상기 영상의 지리적 위치 정보를 네트워크를 통하여 상기 콘텐츠 제공 서버로 송신하고, 상기 콘텐츠 제공 서버로부터 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 수신하도록 구성될 수 있다.The object extraction module 106 extracts an augmented reality object corresponding to the calculated geographical position of the image. In one embodiment, the object extraction module 106 may be connected to a content providing server (not shown) via a network. In this case, the object extraction module 106 transmits the calculated geographical position information of the image to the content providing server through a network, and receives an augmented reality object corresponding to the geographical position information of the image from the content providing server. Can be configured.

한편 본 발명의 다른 실시예에서, 증강 현실 콘텐츠 출력 장치(100)는, 하나 이상의 증강 현실 오브젝트 및 해당 증강 현실 오브젝트의 지리적 위치 정보가 저장된 데이터베이스(미도시)를 더 포함하도록 구성될 수 있다. 이 경우, 오브젝트 추출 모듈(106)은, 상기 데이터베이스에 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 질의하고 이로부터 상기 증강 현실 오브젝트 정보를 추출할 수 있다.Meanwhile, in another embodiment of the present invention, the augmented reality content output device 100 may be configured to further include a database (not shown) in which one or more augmented reality objects and geographical position information of the augmented reality object are stored. In this case, the object extraction module 106 may query the database for the augmented reality object corresponding to the geographical position information of the image and extract the augmented reality object information therefrom.

바닥면 인식 모듈(108)은 촬영된 상기 영상의 바닥면을 인식한다. 바닥면 인식 모듈(108)은 촬영된 영상으로부터 복수 개의 특징점(keypoint)을 추출하고, 추출된 특징점을 연결하여 선(line)을 구성하며, 구성된 라인을 이용하여 화면 상에서의 소실점 및 시점을 추정함으로써 수평선 및 바닥면을 인식하도록 구성될 수 있다. 바닥면 인식 모듈(108)은 이와 같은 바닥면 인식을 위하여, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 알고리즘을 사용할 수 있으나, 이에 한정되는 것은 아니며 이 외에도 다양한 영상 인식 알고리즘을 이용하여 영상에서 바닥면을 인식할 수 있다.The floor recognition module 108 recognizes a bottom surface of the photographed image. The floor recognition module 108 extracts a plurality of keypoints from the captured image, connects the extracted feature points to form a line, and estimates vanishing points and viewpoints on the screen using the configured lines. It can be configured to recognize the horizontal line and the bottom surface. The bottom recognition module 108 may use an algorithm such as SLAM (Simultaneous Localization and Mapping), for example, but the present invention is not limited thereto. The bottom surface can be recognized.

디스플레이 모듈(110)은 추출된 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이한다. 이때, 디스플레이 모듈(110)은 상기 증강 현실 오브젝트가 인식된 상기 영상의 바닥면에 위치하도록 상기 증강 현실 오브젝트를 상기 영상과 합성할 수 있다. 이와 같이 디스플레이 모듈(110)에서 증강 현실 오브젝트를 인식된 영상 내의 바닥면에 위치시킴으로써, 증강 현실 오브젝트의 영상 내에서의 현실감을 높일 수 있다.The display module 110 displays the extracted augmented reality object synthesized with the image. In this case, the display module 110 may synthesize the augmented reality object with the image so that the augmented reality object is located on the bottom surface of the recognized image. As described above, the display module 110 places the augmented reality object on the bottom surface of the recognized image, thereby enhancing the realism in the image of the augmented reality object.

입력 모듈(112)은 사용자로부터 촬영된 상기 영상 내의 상기 증강 현실 오브젝트 출력 위치를 입력받는다. 입력 모듈(112)은 예를 들어, 터치스크린 또는 4방향 화살표 키 등, 화면 상에서 사용자가 특정 위치를 지정하기 위한 수단을 포함할 수 있다. 예를 들어, 상기 사용자는 상기 영상 내에서 증강 현실 오브젝트를 출력할 위치를 화면 터치 등으로 지정할 수 있다. 이 경우, 디스플레이 모듈(110)은, 입력 모듈(112)에서 입력된 위치에 대응하는 바닥면에 상기 증강 현실 오브젝트가 위치하도록, 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이할 수 있다.The input module 112 receives the augmented reality object output position in the image captured by the user. The input module 112 may include means for the user to designate a specific location on the screen, such as a touch screen or a four-way arrow key. For example, the user may designate a position of outputting an augmented reality object in the image using a screen touch. In this case, the display module 110 may display the augmented reality object by synthesizing the augmented reality object so that the augmented reality object is located on the bottom surface corresponding to the position input by the input module 112.

전술한 바와 같이, 카메라 모듈(102)은 특정 지점을 촬영하는 것이 아니라 해당 지점을 포함하는 소정의 영역을 촬영하며, 특히 단안 렌즈만으로 화면 상의 각 지점 별 정확한 위치 정보를 계산하기는 매우 어려우므로, 경우에 따라 증강 현실 오브젝트를 정확하게 원하는 위치에 디스플레이하는 것이 어려울 수 있다. 따라서 본 발명과 같이 위치 계산 모듈(104)에서 증강 현실 오브젝트가 출력된 위치를 1차 계산한 뒤, 입력 모듈(112)을 통하여 사용자로부터 입력된 위치에 따라 증강 현실 오브젝트의 정확한 위치를 보정함으로써 증강 현실 오브젝트가 화면 상에서 정확한 위치에 출력되도록 할 수 있다.
As described above, the camera module 102 photographs a predetermined area including the corresponding point instead of photographing a specific point, and in particular, since it is very difficult to calculate accurate position information for each point on the screen using only a monocular lens, In some cases, it may be difficult to display an augmented reality object accurately at a desired position. Therefore, after calculating the position where the augmented reality object is output by the position calculation module 104 as shown in the present invention, the augmented reality is corrected by correcting the exact position of the augmented reality object according to the position input from the user through the input module 112. The reality object may be output at the correct position on the screen.

도 3은 본 발명의 일 실시예에 따른 증강 현실 콘텐츠 출력 방법(300)을 도시한 순서도이다. 3 is a flowchart illustrating a method 300 for outputting augmented reality content according to an embodiment of the present invention.

먼저, 카메라 모듈(102)에서 영상을 촬영하고(302), 카메라 모듈(102)의 지리적 위치 및 감지된 영상 촬영 방향을 이용하여 카메라 모듈(102)이 촬영한 영상의 지리적 위치를 계산한다(304). 구체적으로, 상기 304단계는, 카메라 모듈(102)의 지리적 위치를 측정하는 단계, 카메라 모듈(102)의 자세를 측정하는 단계, 계산된 상기 자세로부터 카메라 모듈(102)의 촬영 방향을 계산하고, 상기 지리적 위치 및 상기 촬영 방향에 따라 카메라 모듈(102)이 촬영한 영상의 지리적 위치를 계산하는 단계를 포함할 수 있다. First, an image is captured by the camera module 102 (302), and a geographical position of the image captured by the camera module 102 is calculated (304) by using the geographical position of the camera module 102 and the detected image capturing direction (304). ). Specifically, in step 304, measuring the geographical position of the camera module 102, measuring the pose of the camera module 102, calculating the shooting direction of the camera module 102 from the calculated pose, The method may include calculating a geographical position of an image captured by the camera module 102 according to the geographical position and the photographing direction.

또한, 상기 영상의 지리적 위치 계산 이후, 카메라 모듈(102)의 지리적 위치 또는 자세 중 하나 이상의 변경을 감지한 경우에는, 이를 반영하여 상기 영상의 지리적 위치를 재계산할 수 있다.In addition, when the geographical position of the image is calculated, when one or more changes in the geographical position or the attitude of the camera module 102 are detected, the geographical position of the image may be recalculated to reflect the change.

다음으로, 계산된 상기 영상의 지리적 위치에 대응되는 증강 현실 오브젝트를 추출한다(306). 이때 상기 증강 현실 오브젝트는 네트워크를 통하여 콘텐츠 제공 서버로부터 제공될 수 있다. 또는 증강 현실 오브젝트 및 해당 증강 현실 오브젝트의 지리적 위치 정보가 저장된 데이터베이스를 이용하여 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 추출하는 것도 가능함은 전술하였다.Next, an augmented reality object corresponding to the calculated geographical position of the image is extracted (306). In this case, the augmented reality object may be provided from a content providing server through a network. Alternatively, the augmented reality object and the augmented reality object corresponding to the geographic location information of the image may be extracted using a database storing the geographic location information of the augmented reality object.

다음으로, 바닥면 인식 알고리즘을 이용하여 촬영된 상기 영상의 바닥면을 인식하고(308), 상기 증강 현실 오브젝트가 인식된 상기 영상의 바닥면에 위치하도록, 추출된 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이한다(310). Next, the bottom surface of the image photographed using the floor recognition algorithm is recognized (308), and the extracted augmented reality object is extracted from the image to be located on the bottom surface of the recognized image. The display is synthesized (310).

이때, 전술한 바와 같이, 상기 308 단계의 수행 이후, 사용자로부터 촬영된 상기 영상 내의 상기 증강 현실 오브젝트 출력 위치를 화면 터치 등으로 입력받고, 상기 입력된 위치에 대응하는 바닥면에 상기 증강 현실 오브젝트가 위치하도록, 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하도록 구성되는 것 또한 가능하다.
In this case, as described above, after performing step 308, the augmented reality object output position is input to the augmented reality object in the image captured by the user through a screen touch or the like, and the augmented reality object is placed on the bottom surface corresponding to the input position. It is also possible to be configured to display the augmented reality object composited with the image so that it is located.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
On the other hand, an embodiment of the present invention may include a computer-readable recording medium including a program for performing the methods described herein on a computer. The computer-readable recording medium may include a program command, a local data file, a local data structure, or the like, alone or in combination. The media may be those specially designed and constructed for the present invention or may be known and available to those of ordinary skill in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and magnetic media such as ROMs, And hardware devices specifically configured to store and execute program instructions. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand.

그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100: 증강 현실 콘텐츠 출력 장치
102: 카메라 모듈
104: 위치 계산 모듈
106: 오브젝트 추출 모듈
108: 바닥면 인식 모듈
110: 디스플레이 모듈
112: 입력 모듈100: augmented reality content output device
102: camera module
104: position calculation module
106: object extraction module
108: bottom recognition module
110: display module
112: input module

Claims (12)

영상을 촬영하는 카메라 모듈;
상기 카메라 모듈의 지리적 위치 및 영상 촬영 방향을 이용하여 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 계산하는 위치 계산 모듈;
계산된 상기 영상의 지리적 위치에 대응되는 증강 현실 오브젝트를 추출하는 오브젝트 추출 모듈;
촬영된 상기 영상의 바닥면을 인식하는 바닥면 인식 모듈; 및
상기 증강 현실 오브젝트가 인식된 상기 영상의 바닥면에 위치하도록, 추출된 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하는 디스플레이 모듈을 포함하는 증강 현실 콘텐츠 출력 장치.
A camera module for capturing an image;
A position calculation module for calculating a geographical position of an image photographed by the camera module by using a geographical position and an image photographing direction of the camera module;
An object extraction module for extracting an augmented reality object corresponding to the calculated geographical position of the image;
A bottom recognition module for recognizing a bottom of the photographed image; And
And a display module for synthesizing the extracted augmented reality object with the image to display the augmented reality object on a bottom surface of the recognized image.
청구항 1에 있어서,
상기 위치 계산 모듈은,
상기 카메라 모듈의 지리적 위치를 측정하는 위치 측정부;
상기 카메라 모듈의 자세를 측정하는 자세 측정부; 및
측정된 상기 자세로부터 상기 카메라 모듈의 촬영 방향을 계산하고, 상기 지리적 위치 및 상기 촬영 방향에 따라 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 계산하는 계산부를 포함하는, 증강 현실 콘텐츠 출력 장치.
The method according to claim 1,
The position calculation module,
A position measuring unit measuring a geographical position of the camera module;
A posture measuring unit configured to measure a posture of the camera module; And
And a calculation unit configured to calculate a photographing direction of the camera module from the measured posture, and calculate a geographical position of an image photographed by the camera module according to the geographical position and the photographing direction.
청구항 2에 있어서,
상기 계산부는, 상기 카메라 모듈의 지리적 위치 또는 자세 중 하나 이상의 변경을 감지한 경우, 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 재계산하는, 증강 현실 콘텐츠 출력 장치.
The method according to claim 2,
And the calculator is configured to recalculate a geographical position of an image photographed by the camera module when detecting at least one change of a geographical position or a posture of the camera module.
청구항 1에 있어서,
상기 오브젝트 추출 모듈은, 계산된 상기 영상의 지리적 위치 정보를 네트워크를 통하여 콘텐츠 제공 서버로 송신하고,
상기 콘텐츠 제공 서버로부터 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 수신하는, 증강 현실 콘텐츠 출력 장치.
The method according to claim 1,
The object extraction module transmits the calculated geographical position information of the image to a content providing server through a network,
Augmented reality content output device for receiving an augmented reality object corresponding to the geographic location information of the image from the content providing server.
청구항 1에 있어서,
상기 증강 현실 콘텐츠 출력 장치는, 하나 이상의 증강 현실 오브젝트 및 상기 하나 이상의 증강 현실 오브젝트의 지리적 위치 정보가 저장된 데이터베이스를 더 포함하며,
상기 오브젝트 추출 모듈은, 상기 데이터베이스로부터 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 추출하는, 증강 현실 콘텐츠 출력 장치.
The method according to claim 1,
The apparatus for outputting augmented reality content further includes a database storing at least one augmented reality object and geographical position information of the at least one augmented reality object,
The object extracting module extracts an augmented reality object corresponding to the geographical position information of the image from the database.
청구항 1에 있어서,
사용자로부터 촬영된 상기 영상 내의 상기 증강 현실 오브젝트를 디스플레이할 위치를 입력받는 입력 모듈을 더 포함하며,
상기 디스플레이 모듈은, 상기 입력 모듈에서 입력된 위치에 대응하는 바닥면에 상기 증강 현실 오브젝트가 위치하도록, 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하는, 증강 현실 콘텐츠 출력 장치.
The method according to claim 1,
The apparatus may further include an input module configured to receive a position for displaying the augmented reality object in the image captured by a user.
The display module, the augmented reality content output device for synthesizing and displaying the augmented reality object and the image so that the augmented reality object is located on the bottom surface corresponding to the position input by the input module.
증강 현실 콘텐츠 출력 장치에서 수행되는 증강 현실 콘텐츠 출력 방법으로서,
카메라 모듈을 이용하여 영상을 촬영하는 단계;
상기 카메라 모듈의 지리적 위치 및 영상 촬영 방향을 이용하여 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 계산하는 단계;
계산된 상기 영상의 지리적 위치에 대응되는 증강 현실 오브젝트를 추출하는 단계;
촬영된 상기 영상의 바닥면을 인식하는 단계; 및
상기 증강 현실 오브젝트가 인식된 상기 영상의 바닥면에 위치하도록, 추출된 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하는 단계를 포함하는 증강 현실 콘텐츠 출력 방법.
An augmented reality content output method performed in an augmented reality content output device,
Photographing an image using a camera module;
Calculating a geographical position of an image captured by the camera module by using the geographical position and the image capturing direction of the camera module;
Extracting an augmented reality object corresponding to the calculated geographical position of the image;
Recognizing a bottom surface of the captured image; And
And displaying the extracted augmented reality object synthesized with the image so that the augmented reality object is located on a bottom surface of the recognized image.
청구항 7에 있어서,
상기 영상의 지리적 위치를 계산하는 단계는,
상기 카메라 모듈의 지리적 위치를 측정하는 제1단계;
상기 카메라 모듈의 자세를 측정하는 제2단계; 및
측정된 상기 자세로부터 상기 카메라 모듈의 촬영 방향을 계산하고, 상기 지리적 위치 및 상기 촬영 방향에 따라 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 계산하는 제3단계를 포함하는, 증강 현실 콘텐츠 출력 방법.
The method of claim 7,
Computing the geographic location of the image,
A first step of measuring a geographical position of the camera module;
A second step of measuring a posture of the camera module; And
And a third step of calculating a photographing direction of the camera module from the measured posture and calculating a geographical position of an image photographed by the camera module according to the geographical position and the photographing direction.
청구항 8에 있어서,
상기 제3단계의 수행 이후, 상기 카메라 모듈의 지리적 위치 또는 자세 중 하나 이상의 변경을 감지한 경우, 상기 카메라 모듈이 촬영한 영상의 지리적 위치를 재계산하는 단계를 더 포함하는, 증강 현실 콘텐츠 출력 방법.
The method according to claim 8,
After detecting the change of one or more of the geographic position or the attitude of the camera module after performing the third step, recalculating the geographic position of the image photographed by the camera module. .
청구항 7에 있어서,
상기 증강 현실 오브젝트를 추출하는 단계는,
계산된 상기 영상의 지리적 위치 정보를 네트워크를 통하여 콘텐츠 제공 서버로 송신하는 단계; 및,
상기 콘텐츠 제공 서버로부터 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 수신하는 단계를 더 포함하는, 증강 현실 콘텐츠 출력 방법.
The method of claim 7,
Extracting the augmented reality object,
Transmitting the calculated geographical position information of the image to a content providing server through a network; And
And receiving an augmented reality object corresponding to the geographical position information of the image from the content providing server.
청구항 7에 있어서,
상기 증강 현실 오브젝트를 추출하는 단계는, 하나 이상의 증강 현실 오브젝트 및 상기 하나 이상의 증강 현실 오브젝트의 지리적 위치 정보가 저장된 데이터베이스를 이용하여 상기 영상의 지리적 위치 정보에 대응되는 증강 현실 오브젝트를 추출하는, 증강 현실 콘텐츠 출력 방법.
The method of claim 7,
The extracting of the augmented reality object may include extracting an augmented reality object corresponding to the geographical position information of the image by using at least one augmented reality object and a database storing the geographical position information of the at least one augmented reality object. How to output content.
청구항 7에 있어서,
상기 영상의 바닥면을 인식하는 단계의 수행 이후, 사용자로부터 촬영된 상기 영상 내의 상기 증강 현실 오브젝트를 디스플레이할 위치를 입력받는 단계를 더 포함하며,
상기 디스플레이 단계는, 상기 입력된 위치에 대응하는 바닥면에 상기 증강 현실 오브젝트가 위치하도록, 상기 증강 현실 오브젝트를 상기 영상과 합성하여 디스플레이하는, 증강 현실 콘텐츠 출력 방법.
The method of claim 7,
After performing the step of recognizing the bottom surface of the image, receiving a position for displaying the augmented reality object in the image captured by the user;
The displaying may include displaying the augmented reality object by combining the image with the image such that the augmented reality object is located on a bottom surface corresponding to the input position.
KR1020120155799A 2012-12-28 2012-12-28 Apparatus and method for displaying augmented reality content using geographic information KR101253644B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120155799A KR101253644B1 (en) 2012-12-28 2012-12-28 Apparatus and method for displaying augmented reality content using geographic information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120155799A KR101253644B1 (en) 2012-12-28 2012-12-28 Apparatus and method for displaying augmented reality content using geographic information

Publications (1)

Publication Number Publication Date
KR101253644B1 true KR101253644B1 (en) 2013-04-11

Family

ID=48442952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120155799A KR101253644B1 (en) 2012-12-28 2012-12-28 Apparatus and method for displaying augmented reality content using geographic information

Country Status (1)

Country Link
KR (1) KR101253644B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478908B1 (en) * 2013-05-14 2015-01-02 고려대학교 산학협력단 Remote navigation system of mobile robot using augmented reality technology
KR101983496B1 (en) * 2018-03-12 2019-05-28 순천향대학교 산학협력단 Augmented reality dialogue system reflecting character location and location of objects, and method thereof
KR102204721B1 (en) 2019-10-18 2021-01-19 주식회사 도넛 Method and user terminal for providing AR(Augmented Reality) documentary service
WO2024005474A1 (en) * 2022-06-30 2024-01-04 주식회사 와이엠엑스 Augmented-reality service device and method for providing proper distance display
KR102639282B1 (en) 2023-11-28 2024-02-21 주식회사 오르카소프트 Server, method and system for providing extended reality output service using point cloud

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164701A (en) * 2010-02-04 2011-08-25 Ntt Docomo Inc Object display control device and object display control method
KR20120017869A (en) * 2010-08-20 2012-02-29 주식회사 팬택 Terminal device and method for providing step object information
KR101126449B1 (en) * 2011-06-30 2012-03-29 양재일 System and method for augmented reality service
KR20120106519A (en) * 2011-03-16 2012-09-26 성준형 Apparatus and method for providing user interface based on augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164701A (en) * 2010-02-04 2011-08-25 Ntt Docomo Inc Object display control device and object display control method
KR20120017869A (en) * 2010-08-20 2012-02-29 주식회사 팬택 Terminal device and method for providing step object information
KR20120106519A (en) * 2011-03-16 2012-09-26 성준형 Apparatus and method for providing user interface based on augmented reality
KR101126449B1 (en) * 2011-06-30 2012-03-29 양재일 System and method for augmented reality service

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478908B1 (en) * 2013-05-14 2015-01-02 고려대학교 산학협력단 Remote navigation system of mobile robot using augmented reality technology
KR101983496B1 (en) * 2018-03-12 2019-05-28 순천향대학교 산학협력단 Augmented reality dialogue system reflecting character location and location of objects, and method thereof
KR102204721B1 (en) 2019-10-18 2021-01-19 주식회사 도넛 Method and user terminal for providing AR(Augmented Reality) documentary service
WO2024005474A1 (en) * 2022-06-30 2024-01-04 주식회사 와이엠엑스 Augmented-reality service device and method for providing proper distance display
KR102639282B1 (en) 2023-11-28 2024-02-21 주식회사 오르카소프트 Server, method and system for providing extended reality output service using point cloud

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
US10499002B2 (en) Information processing apparatus and information processing method
US10462406B2 (en) Information processing apparatus and information processing method
US9576183B2 (en) Fast initialization for monocular visual SLAM
TWI574223B (en) Navigation system using augmented reality technology
CN106920279B (en) Three-dimensional map construction method and device
KR101056418B1 (en) Apparatus and method for tracking augmented reality contents using mobile sensors
US9013550B2 (en) Online reference generation and tracking for multi-user augmented reality
KR101330805B1 (en) Apparatus and Method for Providing Augmented Reality
US10733798B2 (en) In situ creation of planar natural feature targets
KR101253644B1 (en) Apparatus and method for displaying augmented reality content using geographic information
KR20120002261A (en) Apparatus and method for providing 3d augmented reality
JP2020067978A (en) Floor detection program, floor detection method, and terminal device
TWM560099U (en) Indoor precise navigation system using augmented reality technology
KR20180068483A (en) System and method for building a location information database of road sign, apparatus and method for estimating location of vehicle using the same
US9245192B2 (en) Ad collateral detection
Reinhardt et al. DETERMINATION OF DEVICE POSE USING TEXT MATCHING FROM CAPTURED IMAGES
JP2017111034A (en) Terminal having camera, navigation information providing system, and navigation information display method
KR20150130121A (en) System and method for coordinates calculating of target at a long distance

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170322

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 6