KR20140065043A - Apparatus and method for providing augmented reality based on time - Google Patents

Apparatus and method for providing augmented reality based on time Download PDF

Info

Publication number
KR20140065043A
KR20140065043A KR1020120132068A KR20120132068A KR20140065043A KR 20140065043 A KR20140065043 A KR 20140065043A KR 1020120132068 A KR1020120132068 A KR 1020120132068A KR 20120132068 A KR20120132068 A KR 20120132068A KR 20140065043 A KR20140065043 A KR 20140065043A
Authority
KR
South Korea
Prior art keywords
image
terminal
information
augmented reality
time
Prior art date
Application number
KR1020120132068A
Other languages
Korean (ko)
Other versions
KR101643024B1 (en
Inventor
민진석
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020120132068A priority Critical patent/KR101643024B1/en
Publication of KR20140065043A publication Critical patent/KR20140065043A/en
Application granted granted Critical
Publication of KR101643024B1 publication Critical patent/KR101643024B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

Disclosed are a device and a method to provide augmented reality based on time. The device to provide augmented reality based on time comprises: an information acquisition unit to acquire location information and time information of a terminal from an augmented reality request by interworking with the augmented reality request by the terminal; and a processor to search a first image corresponding to the location information in a database and combining m (m is a natural number) image selected in connection to the time information as a second image in the searched first image be provided for the terminal.

Description

시간에 기초한 증강 현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY BASED ON TIME}[0001] APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY BASED ON TIME [0002]

본 발명의 실시예들은 단말의 위치정보에 대응하는 복수의 이미지 중에서 단말로부터 수신한 시간정보와 연관하여 일부 이미지를 선택하고, 선택된 일부 이미지를 조합하여, 단말로 제공하는 기술에 관한 것이다.Embodiments of the present invention relate to a technique of selecting some images in association with time information received from a terminal among a plurality of images corresponding to position information of a terminal, combining selected images, and providing the selected images to the terminal.

이동 단말은 음성 통화 또는 메시지 통신 뿐만 아니라, 다양한 서비스를 제공할 수 있다. 예컨대, 이동 단말은 AR(Augmented Reality)에 기반하여, 현재 위치와 바라보는 방향 정보에 기초하여 카메라로 인식되는 사물(또는, 지형, 건물) 정보를 제공할 수 있다.The mobile terminal can provide various services as well as voice call or message communication. For example, based on the Augmented Reality (AR), the mobile terminal can provide object (or terrain, building) information recognized by the camera on the basis of the current location and direction information.

이때, 현재 시점을 기준으로 사물 정보를 제공 함에 따라, 정보의 제공이 제한적일 수 있다.At this time, providing the object information based on the current time point may provide limited information.

본 발명은 단말의 위치정보에 대응하는 복수의 이미지 중에서 단말로부터 수신한 시간정보와 연관하여 일부 이미지를 선택하고, 선택된 일부 이미지를 조합하여, 단말로 전송 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실로 제공하는 것을 목적으로 한다.According to the present invention, among a plurality of images corresponding to position information of a terminal, some images are selected in association with time information received from the terminal, and some selected images are combined and transmitted to the terminal, As an augmented reality.

본 발명은 단말로부터 수신한 촬상 이미지 내 사물 이미지를 이용하여 단말의 위치정보를 조정 함으로써, 보다 정확한 위치에 연관된 이미지를 조합하여 단말로 제공하는 것을 목적으로 한다.An object of the present invention is to provide a terminal that combines images related to a more accurate position by adjusting position information of a terminal using an image of an object in the captured image received from a terminal.

본 발명은 단말의 위치정보에 대응하는 복수의 이미지 중에서 이미지의 방향이 서로 상이한 일부 이미지를 선택하고, 선택된 일부 이미지를 입체적으로 조합하여 단말로 전송 함으로써, 입체 영상의 주변 정보를 증강 현실로 제공하는 것을 목적으로 한다.According to the present invention, a plurality of images corresponding to position information of a terminal are selected from a plurality of images having different directions of images, and a plurality of selected images are combined in a stereoscopic manner and transmitted to the terminal, thereby providing peripheral information of the stereoscopic image to an augmented reality .

상기의 목적을 이루기 위한 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 정보 획득부와, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 검색된 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서를 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus for providing augmented reality based on time, the apparatus comprising: an information acquisition unit operable to acquire location information and time information of the terminal from the augmented reality request, (M is a natural number) images, which are selected in association with the time information, among the first images retrieved, into a second image, and provides the selected image to the terminal have.

또한, 상기 목적을 달성하기 위한 시간에 기초한 증강 현실 제공 방법은 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계와, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하는 단계와, 상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of providing time-based augmented reality, the method comprising: acquiring location information and time information of the terminal from the augmented reality request in association with a request for augmented reality from the terminal; (M is a natural number) images selected in association with the time information among the searched first images into a second image and providing the m images to the terminal .

본 발명의 실시예에 따르면, 단말의 위치정보에 대응하는 복수의 이미지 중에서 단말로부터 수신한 시간정보와 연관하여 일부 이미지를 선택하고, 선택된 일부 이미지를 조합하여, 단말로 전송 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실로 제공할 수 있다.According to an embodiment of the present invention, among a plurality of images corresponding to position information of a terminal, some images are selected in association with time information received from the terminal, and a selected part of images is combined and transmitted to the terminal, Can be provided to the augmented reality.

본 발명의 실시예에 따르면, 단말로부터 수신한 촬상 이미지 내 사물 이미지를 이용하여 단말의 위치정보를 조정 함으로써, 보다 정확한 위치에 연관된 이미지를 조합하여 단말로 제공할 수 있다.According to the embodiment of the present invention, by adjusting the position information of the terminal using the object image in the captured image received from the terminal, it is possible to provide the terminal with a combination of images associated with more accurate positions.

또한, 본 발명의 실시예에 따르면, 단말의 위치정보에 대응하는 복수의 이미지 중에서 이미지의 방향이 서로 상이한 일부 이미지를 선택하고, 선택된 일부 이미지를 입체적으로 조합하여 단말로 전송 함으로써, 입체 영상의 주변 정보를 증강 현실로 제공할 수 있다.In addition, according to an embodiment of the present invention, a plurality of images corresponding to position information of a terminal are selected from a plurality of images having different directions of images, and a plurality of selected images are stereoscopically combined and transmitted to the terminal, Information can be provided as augmented reality.

도 1은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 시스템의 구성 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 서비스 일례를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서 이용하는 복수의 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 이미지 조합 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 방법을 나타내는 메시지 흐름도이다.1 is a diagram illustrating an example of the configuration of a time-based augmented reality providing system according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of a time-based augmented reality providing apparatus according to an embodiment of the present invention.
3 is a view for explaining an example of a service in the time-based augmented reality providing apparatus according to an embodiment of the present invention.
4 is a diagram for explaining a plurality of images used in the augmented reality providing apparatus based on time according to an embodiment of the present invention.
5 is a view for explaining an example of an image combination in a time-based augmented reality providing apparatus according to an embodiment of the present invention.
6 is a message flow diagram illustrating a time-based augmented reality providing method according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른, 시간에 기초한 증강 현실 제공 장치 및 방법에 대해 상세히 설명한다.Hereinafter, a time-based augmented reality providing apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 시스템의 구성 일례를 도시한 도면이다.1 is a diagram illustrating an example of the configuration of a time-based augmented reality providing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 시스템(100)은 단말(101) 및 시간에 기초한 증강 현실 제공 장치(103)를 포함할 수 있다.Referring to FIG. 1, a time-based augmented reality providing system 100 according to an embodiment of the present invention may include a terminal 101 and a time-based augmented reality providing apparatus 103. [

단말(101)은 예컨대, 스마트폰일 수 있으며, 사전에, 어플 서버(도시하지 않음)로부터 시간에 기초한 증강 현실 제공 서비스에 관한 어플리케이션을 수신하여 설치할 수 있다.The terminal 101 may be, for example, a smart phone, and may receive and install an application related to time-based augmented reality providing services from an application server (not shown) in advance.

단말(101)은 상기 어플리케이션을 활성화하고, 증강현실 요청을 발생하여 시간에 기초한 증강 현실 제공 장치(103)로 전송할 수 있다. 이때, 단말(101)은 예컨대, GPS(Global Positioning System) 모듈을 통해 획득한 단말(101)의 위치정보 및 사용자로부터 입력된 시간정보를 상기 증강현실 요청에 포함시켜 발생할 수 있다. 또한, 단말(101)은 예컨대, 지자기 센서를 통해 획득한 시야방향 정보를 시간에 기초한 증강 현실 제공 장치(103)로 더 전송할 수 있다.The terminal 101 activates the application, generates an augmented reality request, and transmits it to the augmented reality providing apparatus 103 based on time. At this time, the terminal 101 may generate the augmented reality request by including position information of the terminal 101 acquired through a Global Positioning System (GPS) module and time information input from the user. Further, the terminal 101 can further transmit the visual field direction information acquired through the geomagnetic sensor, for example, to the augmented reality providing apparatus 103 based on time.

단말(101)은 증강현실 요청에 대한 응답으로서, 주변 정보에 관한 복수의 이미지가 조합된 입체 영상을 수신할 수 있으며, 수신된 입체 영상을 표시하여, 증강현실을 구현할 수 있다.As a response to the augmented reality request, the terminal 101 can receive a stereoscopic image in which a plurality of images related to peripheral information are combined, and display the received stereoscopic image to realize an augmented reality.

시간에 기초한 증강 현실 제공 장치(103)는 단말(101)로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 단말(101)의 위치정보 및 시간정보를 획득하고, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색한 후, 상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 단말(101)로 제공할 수 있다. 여기서, m개의 이미지는 이미지의 방향이 서로 상이할 수 있다. 예컨대, 4개의 이미지는 '동, 서, 남, 북'의 이미지의 방향을 각각 갖을 수 있다.The time-based augmented reality providing apparatus 103 acquires positional information and time information of the terminal 101 from the augmented reality request in association with the augmented reality request from the terminal 101, (M is a natural number) images selected in association with the time information among the searched first images, as a second image, and provides the combined images to the terminal (101). Here, the m images may have different images from each other. For example, the four images may have directions of images of 'east, west, south, north' respectively.

시간에 기초한 증강 현실 제공 장치(103)는 단말(101)로부터 단말(101)의 시야방향 정보를 수신하고, 상기 시야방향 정보를 고려하여 상기 제2 이미지를 가공한 후, 상기 가공된 제2 이미지를 단말(101)로 제공할 수 있다.The time-based augmented reality providing apparatus 103 receives the view direction information of the terminal 101 from the terminal 101, processes the second image in consideration of the view direction information, To the terminal (101).

도 2는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치의 구성을 도시한 도면이다.2 is a diagram illustrating a configuration of a time-based augmented reality providing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치(103)는 정보 획득부(201), 프로세서(203) 및 데이터베이스(205)를 포함할 수 있다.Referring to FIG. 2, the time-based augmented reality providing apparatus 103 according to an embodiment of the present invention may include an information obtaining unit 201, a processor 203, and a database 205.

정보 획득부(201)는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득할 수 있다. 여기서, 상기 단말의 위치정보는 상기 단말 내 GPS 모듈을 통해 획득한 정보일 수 있으며, 시간정보는 상기 단말에서 사용자로부터 입력받은 정보일 수 있다.The information acquisition unit 201 may acquire the location information and the time information of the terminal from the augmented reality request in conjunction with the augmented reality request from the terminal. Here, the location information of the terminal may be information acquired through the GPS module in the terminal, and the time information may be information received from the terminal by the user.

정보 획득부(201)는 상기 단말로부터 상기 단말의 시야방향 정보를 수신할 수 있다. 여기서, 시야방향 정보는 상기 단말 내 지자기 센서를 통해 획득한 정보일 수 있다.The information acquisition unit 201 may receive the view direction information of the terminal from the terminal. Here, the view direction information may be information obtained through the geomagnetic sensor in the terminal.

정보 획득부(201)는 단말로부터 단말의 위치정보 또는 시야방향 정보를 주기적으로 수신할 수 있다.The information obtaining unit 201 may periodically receive location information or direction information of the terminal from the terminal.

또한, 정보 획득부(201)는 상기 단말로부터 촬상 이미지(예컨대, 증강현실을 요청한 위치와 시야방향에서의 단말에 의해 촬상된 이미지)를 더 수신하고, 상기 수신된 촬상 이미지로부터 오브젝트 정보 또는 초점 거리 정보 중 적어도 하나의 정보를 추출할 수 있다. 여기서, 정보 획득부(201)는 오브젝트 정보로서, 예컨대, 지형, 지물 등에 관한 윤곽선을 고려하여, 상기 초점 거리 정보를 추출할 수 있다.Further, the information obtaining unit 201 further receives the captured image (for example, the position requested by the augmented reality and the image captured by the terminal in the view direction) from the terminal, and extracts the object information or the focal distance At least one piece of information can be extracted. Here, the information obtaining unit 201 can extract the focal length information in consideration of, for example, contours relating to a terrain, an object, etc., as object information.

프로세서(203)는 상기 위치정보에 대응하는 제1 이미지를 데이터베이스(205)에서 검색하고, 상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실로 제공할 수 있다.The processor 203 searches the database 205 for a first image corresponding to the position information, and combines m (m is a natural number) images selected in association with the time information among the first images retrieved as a second image And provides the peripheral information corresponding to the user's desired time to the augmented reality.

이때, 프로세서(203)는 정보 획득부(201)에서 촬상 이미지로부터 추출한 오브젝트 정보 또는 초점 거리 정보를 분석한 결과에 따라, 단말의 위치정보를 조정하거나, 또는 상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정할 수 있다. 프로세서(203)는 조정된 위치정보에 대응하여 제1 이미지를 데이터베이스(205)에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공 함으로써, 보다 정확한 위치정보에 기초한 주변 정보를 제공할 수 있다.At this time, the processor 203 adjusts the position information of the terminal according to the result of analyzing the object information or the focal length information extracted from the captured image by the information obtaining unit 201, Location information can be adjusted. The processor 203 searches the database 205 for a first image corresponding to the adjusted position information and combines m (m is a natural number) images selected from the first image in association with the time information into a second image By providing the information to the terminal, it is possible to provide peripheral information based on more accurate position information.

이미지 조합을 위한 이미지 선택시, 프로세서(203)는 상기 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지(예컨대, '동, 서, 남, 북'의 이미지의 방향을 각각 갖는 4개의 이미지)를 선택할 수 있다. 또한, 프로세서(203)는 정보 획득부(201)를 통해, 촬상 이미지로부터 추출된 오브젝트 정보 또는 초점 거리 정보를 더 고려하여, 상기 제1 이미지 중에서 m개의 이미지를 선택할 수 있다. 예컨대, 프로세서(203)는 상기 제1 이미지 중에서 상기 추출된 오브젝트 정보와의 매핑률이 상대적으로 높은 이미지를 선택하거나, 또는 추출된 초점 거리 정보와 일치하는 초점 거리를 갖는 이미지를 선택할 수 있다. When selecting an image for image combination, the processor 203 determines four images having the directions of images of the m images (e.g., the directions of the images of 'east, west, south, north' Image) can be selected. In addition, the processor 203 can select m images from the first image, considering the object information or the focal length information extracted from the captured image through the information obtaining unit 201. [ For example, the processor 203 may select an image having a relatively high mapping ratio with the extracted object information from the first image, or may select an image having a focal distance corresponding to the extracted focal length information.

프로세서(203)는 상기 선택된 m개의 이미지를 입체적으로 조합하여 입체 영상을 생성하고, 상기 생성된 입체 영상을 상기 단말로 전송 함으로써, 입체 영상의 주변 정보를 증강 현실로 제공할 수 있다. 이때, 프로세서(203)는 예컨대, 에지 추출 방식(edge detecting method)을 통해, 상기 선택된 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하고, 상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 입체 영상을 생성할 수 있다. 예컨대, 프로세서(203)는 이미지_#1의 양측 가장자리 영역 즉, 제1 좌측 영역 및 제1 우측 영역 및 이미지_#2의 양측 가장자리 영역 즉, 제2 좌측 영역 및 제2 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출할 수 있다. 이때, 프로세서(203)는 제1 우측 영역으로부터 추출된 윤곽선과 제2 좌측 영역으로부터 추출된 윤곽선의 매핑 결과, 매핑률이 기설정된 설정값 이상일 경우, 이미지_#1의 제1 우측 영역과 이미지_#2의 제2 좌측 영역을 오버랩(overlap)하여, 이미지_#1과 이미지_#2를 입체적으로 조합할 수 있다.The processor 203 generates a stereoscopic image by three-dimensionally combining the selected m images, and transmits the generated stereoscopic image to the terminal, thereby providing peripheral information of the stereoscopic image to the augmented reality. At this time, the processor 203 extracts the contours of the objects from the left and right regions of each of the selected m images through, for example, an edge detecting method, and, through the mapping between the extracted contours, And the stereoscopic image may be generated by three-dimensionally combining the m images. For example, the processor 203 determines whether or not the object from the side edge areas of the image_ # 1, that is, the first left side area and the first right side area, and the side edge areas of the image_ # 2, i.e. the second left side area and the second right side area Contour lines can be extracted. At this time, when the mapping ratio between the outline extracted from the first right region and the outline extracted from the second left region is equal to or greater than the predetermined set value, the processor 203 determines that the first right region of the image_ # # 2 and the second left region of the second image # 2 overlap each other, so that the image_ # 1 and the image_ # 2 can be stereoscopically combined.

또한, 프로세서(203)는 정보 획득부(201)에서, 단말의 시야방향 정보가 수신되는 경우, 단말로의 제공 전, 상기 시야방향 정보를 고려하여, 상기 제2 이미지를 가공(예컨대, 시야방향으로, 조합된 이미지에 대한 시야각도 회전)하고, 상기 가공된 제2 이미지를 상기 단말로 제공할 수 있다.The processor 203 may be configured to process the second image in consideration of the view direction information before providing the terminal to the terminal when the view direction information of the terminal is received in the information obtaining unit 201 And the viewing angle of the combined image is also rotated), and provide the processed second image to the terminal.

한편, 프로세서(203)는 상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우, 상기 가공된 제2 이미지를 축소 또는 확대하여, 상기 단말로 제공할 수 있다. 여기서, 프로세서(203)는 정보 획득부(201)에 의해, 주기적으로 수신되는 단말의 위치정보 또는 시야방향 정보를 이용하여, 각 변화량을 통해 상기 시야방향 정보의 유지 또는 단말의 위치 변경을 감지할 수 있다.Meanwhile, when the processor 203 detects the position change of the terminal while maintaining the view direction information, the processor 203 may reduce or enlarge the processed second image and provide the processed second image to the terminal. Here, the processor 203 uses the position information or the view direction information of the terminal periodically received by the information obtaining unit 201 to detect the change of the position of the terminal or the maintenance of the view direction information through each change amount .

데이터베이스(205)는 위치정보별 위치정보에 대응하는 제1 이미지를 저장할 수 있다. 여기서, 위치정보에 대응하는 제1 이미지는 상기 위치정보에 위치하는 단말에 의해, 다양한 방향으로 촬상된 이미지일 수 있다.The database 205 may store a first image corresponding to the positional information by positional information. Here, the first image corresponding to the position information may be an image captured in various directions by the terminal located in the position information.

또한, 데이터베이스(205)는 상기 제1 이미지를 시간정보(예컨대, 년, 월, 일) 별로 구분하여 저장할 수 있다.In addition, the database 205 may store the first image by time information (for example, year, month, day).

도 3은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 서비스 일례를 설명하기 위한 도면이다.3 is a view for explaining an example of a service in the time-based augmented reality providing apparatus according to an embodiment of the present invention.

도 3을 참조하면, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득할 수 있다. 시간에 기초한 증강 현실 제공 장치는 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 조합하여, 상기 단말로 제공할 수 있다.Referring to FIG. 3, the time-based augmented reality providing apparatus can acquire positional information and time information of the terminal from the augmented reality request, interlocked with the augmented reality request from the terminal. The time-based augmented reality providing apparatus searches a database for a first image corresponding to the position information, combines m (m is a natural number) images selected from among the first images in association with the time information, .

예컨대, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보로서, '강남구 논현동 XX'를 획득하고, 상기 시간정보로서, '2012년 5월 10일'을 획득할 수 있다. 시간에 기초한 증강 현실 제공 장치는 '강남구 논현동 XX'에 대응하는 복수의 이미지를 데이터베이스에서 검색하고, 복수의 이미지 중에서 '2012년 5월 10일'을 고려하여 4개의 이미지를 선택한 후, 선택된 4개의 이미지를 조합하여 상기 단말로 제공할 수 있다.For example, the time-based augmented reality providing apparatus, in association with the augmented reality request from the terminal, obtains 'Nonhyun-dong XX' as the location information of the terminal from the augmented reality request, Month ten days'. The time-based augmented reality providing apparatus searches a database for a plurality of images corresponding to 'Nonhyun-dong XX' in Gangnam-gu, selects four images in consideration of 'May 10, 2012' among a plurality of images, Images can be combined and provided to the terminal.

도 4는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서 이용하는 복수의 이미지를 설명하기 위한 도면이다.4 is a diagram for explaining a plurality of images used in the augmented reality providing apparatus based on time according to an embodiment of the present invention.

도 4를 참조하면, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득할 수 있다. 시간에 기초한 증강 현실 제공 장치는 상기 위치정보 및 시간정보에 기초하여, 데이터베이스에서 복수의 이미지를 검색하고, 검색된 복수의 이미지를 조합하여 상기 단말로 제공할 수 있다.Referring to FIG. 4, the time-based augmented reality providing apparatus can acquire positional information and time information of the terminal from the augmented reality request in conjunction with a request for augmented reality from the terminal. The time-based augmented reality providing apparatus may search a plurality of images in the database based on the positional information and the time information, and may provide the retrieved plurality of images to the terminal.

이때, 시간에 기초한 증강 현실 제공 장치는 이미지의 방향이 서로 상이한 상기 복수의 이미지를 조합하여 상기 단말로 제공할 수 있다. 예컨대, 시간에 기초한 증강 현실 제공 장치는 데이터베이스로부터 '동, 서, 남, 북'의 이미지의 방향을 각각 갖는 4개의 이미지(401, 403, 405, 407)를 검색하고, 4개의 이미지(401, 403, 405, 407)를 조합하여 상기 단말로 제공할 수 있다. 여기서, '동, 서, 남, 북'의 이미지의 방향을 각각 갖는 4개의 이미지(401, 403, 405, 407)는 상기 위치정보에 대응하여 위치하는 단말에 의해, 상기 시간정보에 대응하는 시각에, '동, 서, 남, 북' 방향으로 각각 촬상되어 상기 데이터베이스에 기저장된 이미지일 수 있다.At this time, the augmented reality providing apparatus based on time may provide the terminal with a combination of the plurality of images whose directions are different from each other. For example, the augmented reality providing apparatus based on time searches four images 401, 403, 405, and 407 having directions of images of 'east, west, south and north' 403, 405, and 407 to the terminal. Here, four images 401, 403, 405, and 407 each having an image direction of 'East, West, South, North' are displayed by the terminal located corresponding to the position information, Stored in the database, respectively, in the direction of " east, west, south, north "

도 5는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 이미지 조합 일례를 설명하기 위한 도면이다.5 is a view for explaining an example of an image combination in a time-based augmented reality providing apparatus according to an embodiment of the present invention.

도 5를 참조하면, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하고, 위치정보 및 시간정보에 기초하여 데이터베이스에서 검색된 복수의 이미지를 조합하여 상기 단말로 제공할 수 있다.Referring to FIG. 5, the time-based augmented reality providing apparatus acquires location information and time information of the terminal from the augmented reality request in conjunction with the augmented reality request from the terminal, And provides the combined image to the terminal.

이때, 시간에 기초한 증강 현실 제공 장치는 이미지_#1(501)의 양측 가장자리 영역(즉, 제1 좌측 영역 및 제1 우측 영역) 및 이미지_#2(503)의 양측 가장자리 영역(즉, 제2 좌측 영역 및 제2 우측 영역)으로부터 오브젝트에 관한 윤곽선을 추출할 수 있다. 이때, 시간에 기초한 증강 현실 제공 장치는 제1 우측 영역으로부터 추출된 윤곽선과 제2 좌측 영역으로부터 추출된 윤곽선의 매핑 결과, 매핑률이 기설정된 설정값 이상일 경우(즉, 동일한 지형 또는 지물의 윤곽이 겹치는 경우), 이미지_#1의 제1 우측 영역과 이미지_#2의 제2 좌측 영역을 오버랩(overlap)(505)하여, 이미지_#1과 이미지_#2를 입체적으로 조합할 수 있다. 여기서, 이미지_#1 및 이미지_#2 간의 조합에 대해 설명하였으나, 상기 이미지 간 조합 방법은 이미지_#2와 이미지_#3, 이미지_#3과 이미지_#4 및 이미지_#4와 이미지_#1 간의 조합에 대해서도 마찬가지로 적용될 수 있다.At this time, the augmented reality providing apparatus based on time is provided with the side edge regions (i.e., the first left side region and the first right side region) of the image_ # 1 501 and both side edge regions 2 left region and second right region) of the object. At this time, the augmented reality providing apparatus based on time, when the mapping result of the contour extracted from the first right region and the contour extracted from the second left region is equal to or greater than a predetermined set value (i.e., # 1 and # 2 can be assembled in a stereoscopic manner by overlapping (505) the first right region of the image_ # 1 and the second left region of the image_ # 2. Here, the combination between the image_ # 1 and the image_ # 2 has been described. However, the above-mentioned image-to-image combination method is not limited to the combination of the image_ # 2 and the image_ # 3, the image_ # 3, the image_ # 4, # 1 < / RTI >

도 6은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 방법을 나타내는 메시지 흐름도이다.6 is a message flow diagram illustrating a time-based augmented reality providing method according to an embodiment of the present invention.

도 6을 참조하면, 단계 601에서, 단말은 증강현실 요청을 발생하여, 시간에 기초한 증강 현실 제공 장치로 전송할 수 있다. 이때, 단말은 GPS(Global Positioning System) 모듈을 통해 획득한 단말의 위치정보 및 사용자로부터 입력된 시간정보를 상기 증강현실 요청에 포함시켜 발생할 수 있다. 또한, 단말은 예컨대, 지자기 센서를 통해 획득한 시야방향 정보 또는 카메라 모듈에 의해 획득한 촬상 이미지를 시간에 기초한 증강 현실 제공 장치로 더 전송할 수 있다.Referring to FIG. 6, in step 601, the terminal generates and transmits an augmented reality request to a time-based augmented reality providing apparatus. At this time, the terminal can generate the augmented reality request by including the position information of the terminal acquired through the Global Positioning System (GPS) module and the time information input from the user. Further, the terminal may further transmit, for example, visual field direction information obtained through the geomagnetism sensor or the sensed image acquired by the camera module to the time-based augmented reality providing apparatus.

단계 603에서, 시간에 기초한 증강 현실 제공 장치는 증강현실 요청으로부터 단말의 위치정보 및 시간정보를 획득할 수 있다.In step 603, the augmented reality providing apparatus based on time can acquire position information and time information of the terminal from the augmented reality request.

단계 605에서, 시간에 기초한 증강 현실 제공 장치는 단말의 위치정보 및 시간정보를 이용하여, 데이터베이스에서 복수의 이미지를 선택할 수 있다. 구체적으로, 시간에 기초한 증강 현실 제공 장치는 단말의 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 m(m은 자연수)개의 이미지를 선택할 수 있다. 이때, 시간에 기초한 증강 현실 제공 장치는 상기 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지를 선택할 수 있다.In step 605, the augmented reality providing apparatus based on time can select a plurality of images in the database using the position information and the time information of the terminal. Specifically, the augmented reality providing apparatus based on time may search the database for a first image corresponding to the location information of the terminal, and may select m (m is a natural number) images in association with the time information from the first image . At this time, the augmented reality providing apparatus based on time can select the m images in which the directions of images are different from each other among the first images.

한편, 시간에 기초한 증강 현실 제공 장치는 제1 이미지를 검색하기 전에, 상기 단말의 위치정보를 조정할 수 있다. 구체적으로, 시간에 기초한 증강 현실 제공 장치는 단말로부터 촬상 이미지를 수신하고, 상기 수신된 촬상 이미지로부터 추출한 오브젝트 정보 또는 초점 거리 정보를 분석한 결과에 따라, 단말의 위치정보를 조정하거나, 또는 상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정할 수 있다. 이후, 시간에 기초한 증강 현실 제공 장치는 조정된 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 m(m은 자연수)개의 이미지를 선택할 수 있다.On the other hand, the time-based augmented reality providing apparatus can adjust the position information of the terminal before searching for the first image. Specifically, the time-based augmented reality providing apparatus receives the captured image from the terminal, adjusts the position information of the terminal according to the result of analyzing the object information or the focal distance information extracted from the received captured image, The position information can be adjusted using an image of an object in the image. Thereafter, the augmented reality providing apparatus based on time may search the database for a first image corresponding to the adjusted position information, and may select m (m is a natural number) images in association with the time information among the first images.

단계 607에서, 시간에 기초한 증강 현실 제공 장치는 선택된 m개의 이미지를 제2 이미지로 조합하여 단말로 제공할 수 있다. 이때, 시간에 기초한 증강 현실 제공 장치는 상기 선택된 m개의 이미지를 입체적으로 조합하여 입체 영상을 생성하고, 상기 생성된 입체 영상을 상기 단말로 제공할 수 있다. 구체적으로, 시간에 기초한 증강 현실 제공 장치는 상기 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하고, 상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 입체 영상을 생성할 수 있다.In step 607, the augmented reality providing apparatus based on time may combine the selected m images into a second image and provide the combined images to the terminal. At this time, the augmented reality providing apparatus based on time may generate a stereoscopic image by three-dimensionally combining the selected m images, and provide the generated stereoscopic image to the terminal. Specifically, the time-based augmented reality providing apparatus extracts contours of objects from the left and right regions of each of the m images, and combines the m images in a stereoscopic manner through mapping between the extracted contours, A stereoscopic image can be generated.

또한, 시간에 기초한 증강 현실 제공 장치는 단말로부터 시야방향 정보를 더 수신할 수 있으며, 수신된 시야방향 정보를 고려하여, 상기 제2 이미지를 가공하고, 상기 가공된 제2 이미지를 상기 단말로 제공할 수 있다.Also, the time-based augmented reality providing apparatus can further receive the view direction information from the terminal, process the second image in consideration of the received view direction information, and provide the processed second image to the terminal can do.

시간에 기초한 증강 현실 제공 장치는 상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우, 상기 가공된 제2 이미지를 축소 또는 확대하여, 상기 단말로 제공할 수 있다.The augmented reality providing apparatus based on time may reduce or enlarge the processed second image and provide the processed second image to the terminal when the positional change of the terminal is detected while maintaining the view direction information.

단계 609에서, 단말은 시간에 기초한 증강 현실 제공 장치로부터 상기 제2 이미지를 수신하고, 수신된 제2 이미지를 표시 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실을 구현할 수 있다.In step 609, the terminal receives the second image from the augmented reality providing apparatus based on time, and displays the received second image, so that the augmented reality can be implemented by peripheral information corresponding to the user's desired time.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 시간에 기초한 증강 현실 제공 시스템
101: 단말 103: 시간에 기초한 증강 현실 제공 장치
201: 정보 획득부 203: 프로세서
205: 데이터베이스100: Time-based Augmented Reality System
101: terminal 103: time-based augmented reality providing apparatus
201: information obtaining unit 203:
205: Database

Claims (16)

단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 정보 획득부; 및
상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 검색된 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서
를 포함하는 시간에 기초한 증강 현실 제공 장치.An information obtaining unit operable to obtain location information and time information of the terminal from the augmented reality request, in association with the augmented reality request from the terminal; And
(M is a natural number) images, which are selected in association with the time information, among the searched first images, into a second image, and provides the first image to the terminal Processor
Based on time. 제1항에 있어서,
상기 정보 획득부는,
상기 단말로부터 촬상 이미지를 수신하여, 상기 수신된 촬상 이미지로부터 오브젝트 정보 또는 초점 거리 정보를 추출하고,
상기 프로세서는,
상기 오브젝트 정보 또는 상기 초점 거리 정보를 분석한 결과에 따라 상기 위치정보를 조정하고, 상기 조정된 위치정보에 대응하여 상기 제1 이미지를 검색하는
시간에 기초한 증강 현실 제공 장치.The method according to claim 1,
The information obtaining unit obtains,
Receiving an imaging image from the terminal, extracting object information or focal length information from the received imaging image,
The processor comprising:
Adjusts the position information according to a result of analyzing the object information or the focal length information, and searches the first image corresponding to the adjusted position information
Time augmented reality presentation device. 제1항에 있어서,
상기 정보 획득부는,
상기 단말로부터 촬상 이미지를 수신하고,
상기 프로세서는,
상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정하고, 상기 조정된 위치정보에 대응하여 상기 제1 이미지를 검색하는
시간에 기초한 증강 현실 제공 장치.The method according to claim 1,
The information obtaining unit obtains,
Receiving an imaging image from the terminal,
The processor comprising:
Adjusting the position information using the object image in the captured image, and searching the first image corresponding to the adjusted position information
Time augmented reality presentation device. 제1항에 있어서,
상기 정보 획득부는,
상기 단말로부터 상기 단말의 시야방향 정보를 수신하고,
상기 프로세서는,
상기 단말로의 제공 전, 상기 시야방향 정보를 고려하여 상기 제2 이미지를 가공하는
시간에 기초한 증강 현실 제공 장치.The method according to claim 1,
The information obtaining unit obtains,
Receiving direction information of the terminal from the terminal,
The processor comprising:
Processing the second image in consideration of the view direction information before provision to the terminal
Time augmented reality presentation device. 제4항에 있어서,
상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우,
상기 프로세서는,
상기 가공된 제2 이미지를 축소 또는 확대하여, 상기 단말로 제공하는
시간에 기초한 증강 현실 제공 장치.5. The method of claim 4,
When the position change of the terminal is sensed while the visual direction information is maintained,
The processor comprising:
The second image is reduced or enlarged, and the second image is provided to the terminal
Time augmented reality presentation device. 제1항에 있어서,
상기 프로세서는,
상기 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지를 선택하는
시간에 기초한 증강 현실 제공 장치.The method according to claim 1,
The processor comprising:
Selecting the m images in which the directions of images in the first image are different from each other
Time augmented reality presentation device. 제1항에 있어서,
상기 프로세서는,
상기 선택된 m개의 이미지를 입체적으로 조합하여 입체 영상을 생성하고, 상기 생성된 입체 영상을 상기 단말로 제공하는
시간에 기초한 증강 현실 제공 장치.The method according to claim 1,
The processor comprising:
Generates stereoscopic images by three-dimensionally combining the selected m images, and provides the generated stereoscopic images to the terminal
Time augmented reality presentation device. 제7항에 있어서,
상기 프로세서는,
상기 선택된 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하고, 상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 입체 영상을 생성하는
시간에 기초한 증강 현실 제공 장치.8. The method of claim 7,
The processor comprising:
Extracting contours of the objects from the left and right regions of each of the selected m images and combining the m images by mapping between the extracted contours to generate the stereoscopic image
Time augmented reality presentation device. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계;
상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하는 단계; 및
상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계
를 포함하는 시간에 기초한 증강 현실 제공 방법.Acquiring location information and time information of the terminal from the augmented reality request, in association with the augmented reality request from the terminal;
Searching a database for a first image corresponding to the location information; And
Combining m (m is a natural number) images selected from among the searched first images in association with the time information into a second image and providing the m images to the terminal
And a time-based augmented reality providing method. 제9항에 있어서,
상기 단말로부터 촬상 이미지를 수신하여, 상기 수신된 촬상 이미지로부터 오브젝트 정보 또는 초점 거리 정보를 추출하는 단계; 및
상기 오브젝트 정보 또는 상기 초점 거리 정보를 분석한 결과에 따라 상기 위치정보를 조정하고, 상기 조정된 위치정보에 대응하여 상기 제1 이미지를 검색하는 단계
를 더 포함하는 시간에 기초한 증강 현실 제공 방법.10. The method of claim 9,
Receiving an imaging image from the terminal and extracting object information or focal length information from the received imaging image; And
Adjusting the position information according to a result of analyzing the object information or the focal length information, and searching the first image corresponding to the adjusted position information
Based on the time-based augmented reality. 제9항에 있어서,
상기 단말로부터 촬상 이미지를 수신하는 단계; 및
상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정하고, 상기 조정된 위치정보에 대응하여 상기 제1 이미지를 검색하는 단계
를 더 포함하는 시간에 기초한 증강 현실 제공 방법.10. The method of claim 9,
Receiving an imaging image from the terminal; And
Adjusting the position information using the object image in the captured image, and searching the first image corresponding to the adjusted position information
Based on the time-based augmented reality. 제9항에 있어서,
상기 제2 이미지로 조합하여, 상기 단말로 제공하는 단계는,
상기 단말로부터 상기 단말의 시야방향 정보를 수신하는 단계; 및
상기 시야방향 정보를 고려하여 상기 제2 이미지를 가공하고, 상기 가공된 제2 이미지를 상기 단말로 제공하는 단계
를 포함하는 시간에 기초한 증강 현실 제공 방법.10. The method of claim 9,
Combining the first image and the second image,
Receiving direction information of the terminal from the terminal; And
Processing the second image in consideration of the view direction information, and providing the processed second image to the terminal
And a time-based augmented reality providing method. 제12항에 있어서,
상기 가공된 제2 이미지를 상기 단말로 제공하는 단계는,
상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우,
상기 가공된 제2 이미지를 축소 또는 확대하는 단계
를 포함하는 시간에 기초한 증강 현실 제공 방법.13. The method of claim 12,
Wherein providing the processed second image to the terminal comprises:
When the position change of the terminal is sensed while the visual direction information is maintained,
Reducing or enlarging the processed second image
And a time-based augmented reality providing method. 제9항에 있어서,
상기 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지를 선택하는 단계
를 더 포함하는 시간에 기초한 증강 현실 제공 방법.10. The method of claim 9,
Selecting the m images in which the directions of the images in the first image are different from each other
Based on the time-based augmented reality. 제9항에 있어서,
상기 제2 이미지로 조합하여, 상기 단말로 제공하는 단계는
상기 선택된 m개의 이미지를 입체적으로 조합하여 입체 영상을 생성하고, 상기 생성된 입체 영상을 상기 단말로 제공하는 단계
를 포함하는 시간에 기초한 증강 현실 제공 방법.10. The method of claim 9,
Combining the first image and the second image and providing the second image to the terminal
Generating a stereoscopic image by three-dimensionally combining the selected m images, and providing the stereoscopic image to the terminal
And a time-based augmented reality providing method. 제15항에 있어서,
상기 생성된 입체 영상을 상기 단말로 제공하는 단계는,
상기 선택된 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하는 단계; 및
상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 입체 영상을 생성하는 단계
를 포함하는 시간에 기초한 증강 현실 제공 방법.
16. The method of claim 15,
The providing of the generated stereoscopic image to the terminal may include:
Extracting an outline of the object from the left and right regions of each of the selected m images; And
And generating the stereoscopic image by combining the m images in a stereoscopic manner through mapping between the extracted contours
And a time-based augmented reality providing method.
KR1020120132068A 2012-11-21 2012-11-21 Apparatus and method for providing augmented reality based on time KR101643024B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120132068A KR101643024B1 (en) 2012-11-21 2012-11-21 Apparatus and method for providing augmented reality based on time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120132068A KR101643024B1 (en) 2012-11-21 2012-11-21 Apparatus and method for providing augmented reality based on time

Publications (2)

Publication Number Publication Date
KR20140065043A true KR20140065043A (en) 2014-05-29
KR101643024B1 KR101643024B1 (en) 2016-07-26

Family

ID=50892044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120132068A KR101643024B1 (en) 2012-11-21 2012-11-21 Apparatus and method for providing augmented reality based on time

Country Status (1)

Country Link
KR (1) KR101643024B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015460A (en) * 2005-07-25 2006-02-17 미코이 코포레이션 Stereoscopic panoramic image capture device
JP2010509668A (en) * 2006-11-14 2010-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for identifying an object acquired by a digital image
JP2010129032A (en) * 2008-12-01 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> Device and program for retrieving image
KR20120000695A (en) * 2010-06-28 2012-01-04 삼성에스디에스 주식회사 System for generating 3d mobile augmented reality based on the user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015460A (en) * 2005-07-25 2006-02-17 미코이 코포레이션 Stereoscopic panoramic image capture device
JP2010509668A (en) * 2006-11-14 2010-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for identifying an object acquired by a digital image
JP2010129032A (en) * 2008-12-01 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> Device and program for retrieving image
KR20120000695A (en) * 2010-06-28 2012-01-04 삼성에스디에스 주식회사 System for generating 3d mobile augmented reality based on the user

Also Published As

Publication number Publication date
KR101643024B1 (en) 2016-07-26

Similar Documents

Publication Publication Date Title
US10740975B2 (en) Mobile augmented reality system
US8633970B1 (en) Augmented reality with earth data
US10462406B2 (en) Information processing apparatus and information processing method
US10225506B2 (en) Information processing apparatus and information processing method
KR101509415B1 (en) Position searching method and apparatus based on electronic map
JP5582548B2 (en) Display method of virtual information in real environment image
US20120113143A1 (en) Augmented reality system for position identification
US9361731B2 (en) Method and apparatus for displaying video on 3D map
JP6849634B2 (en) Terminal device and control method of terminal device
WO2013180840A1 (en) Pose estimation based on peripheral information
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
KR20150075532A (en) Apparatus and Method of Providing AR
JP2015194473A (en) Information display device, information display method, and program
US9804748B2 (en) Scale sensitive treatment of features in a geographic information system
US9418284B1 (en) Method, system and computer program for locating mobile devices based on imaging
CN112165629A (en) Intelligent live broadcast method, wearable device and intelligent live broadcast system
KR100975128B1 (en) Method, system and computer-readable recording medium for providing information of object using viewing frustum
KR20130137076A (en) Device and method for providing 3d map representing positon of interest in real time
KR20180133052A (en) Method for authoring augmented reality contents based on 360 degree image and video
KR101643024B1 (en) Apparatus and method for providing augmented reality based on time
KR101135525B1 (en) Method for updating panoramic image and location search service using the same
KR102010252B1 (en) Apparatus and method for providing augmented reality service
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices
US10157189B1 (en) Method and computer program for providing location data to mobile devices
US9911190B1 (en) Method and computer program for generating a database for use in locating mobile devices based on imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 6