KR20190064720A - Augmented reality system that displays past images based on location information - Google Patents

Augmented reality system that displays past images based on location information Download PDF

Info

Publication number
KR20190064720A
KR20190064720A KR1020170163838A KR20170163838A KR20190064720A KR 20190064720 A KR20190064720 A KR 20190064720A KR 1020170163838 A KR1020170163838 A KR 1020170163838A KR 20170163838 A KR20170163838 A KR 20170163838A KR 20190064720 A KR20190064720 A KR 20190064720A
Authority
KR
South Korea
Prior art keywords
past
image
portable terminal
information
augmented reality
Prior art date
Application number
KR1020170163838A
Other languages
Korean (ko)
Inventor
이영찬
김성수
이영우
Original Assignee
이영찬
이영우
김성수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이영찬, 이영우, 김성수 filed Critical 이영찬
Priority to KR1020170163838A priority Critical patent/KR20190064720A/en
Publication of KR20190064720A publication Critical patent/KR20190064720A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

According to the present invention, an augmented reality system for displaying a past image comprises: a data server for providing past geographic information and past image information of an area where a portable terminal is located based on satellite location information transmitted from the portable terminal; and the portable terminal for changing a current image photographed by a camera on the basis of the past geographic information and the past image information transmitted from the data server to a past image corresponding to a selected past year.

Description

위치정보를 기반으로 과거의 영상을 표시하는 증강현실 시스템{Augmented reality system that displays past images based on location information}[0001] The present invention relates to an Augmented Reality System for displaying past images on the basis of location information,

본 발명은 증강현실 시스템에 관한 것으로서, 더 상세하게는 위치정보를 기반으로 선택된 과거지점의 영상을 표시할 수 있는 증강현실 시스템에 관한 것이다.The present invention relates to an augmented reality system, and more particularly, to an augmented reality system capable of displaying an image of a past point selected based on position information.

최근 각종 통신기술의 발달로 인하여 근거리통신도 함께 발달하고 있는데, 기존 근거리 통신의 일 예인 블루투스의 경우 종래에는 블루투스 통신을 사용하기 앞서 장치 간에 페어링(pairing) 이라는 장치를 등록하는 단계가 필요하며, 소량이지만 전력소모가 지속적으로 발생하기에 배터리를 가진 장치에서 장시간 사용하기에는 어려움이 있었다.In recent years, in the case of Bluetooth, which is an example of conventional short distance communication, a step of registering a pairing device between devices is required prior to using Bluetooth communication, and a small amount However, since power consumption is continuously generated, it has been difficult to use the battery for a long time in a device having a battery.

최근 블루투스 장치 예를 들면 블루투스 4.0 스마트, 또는 BLE(Bluetooth Low Energy)를 지원하는 장치들은 페어링 단계 없이 장치 간에 정보를 전송할 수 있으며, 데이터를 전송하는 주기도 기존 블루투스 장치에 비해 길기에 전력 소모가 무척 작고, 이에 동전 크기의 배터리만으로도 1년 이상 동작시킬 수 있게 되었다. 또한 장치를 만드는 단가도 저렴하기에 위치 정보를 알려주는 비콘(beacon)으로 사용할 수 있게 되었다.Recently, devices supporting Bluetooth devices such as Bluetooth 4.0 smart or BLE (Bluetooth Low Energy) can transmit information between devices without a pairing step, and the data transmission period is longer than conventional Bluetooth devices and power consumption is very small , So that it is possible to operate for more than a year with only a coin-sized battery. In addition, the unit cost of making a device is also low, so it can be used as a beacon for indicating location information.

BLE 기반의 비콘을 인식한 이동통신단말기는 필요한 정보를 와이파이 또는 3G, LTE같은 통신망을 통해 인터넷에 접속하여 서버로부터 필요한 정보를 가져와 이동통신단말기 화면에 할인쿠폰 등의 콘텐츠를 보여줄 수 있다.The mobile communication terminal recognizing the BLE-based beacon can display necessary contents such as discount coupons on the screen of the mobile communication terminal by connecting necessary information to the Internet through a communication network such as Wi-Fi or 3G or LTE.

한편, 최근에는 특정 지역을 방문하는 사용자에게 해당 지역의 관광 및 여행관련 정보를 제공하는 서비스를 시행하고 있으나, 그 제공정보가 미흡한 실정이고, 다량의 정보를 획득하고자 하는 경우에는 사용자가 검색을 통해 여행정보를 확인할 수밖에 없었다.Meanwhile, recently, a service for providing information related to tourism and travel in a specific area is provided to a user who visits a specific area. However, the information provided is insufficient, and when a user wants to acquire a large amount of information, I had to check the travel information.

더욱이, 사용자가 수작업으로 검색을 하는 것은 매우 제한적일 수밖에 없고, 사용자가 각 서버에 접속하여 해당 관광지의 여행정보를 제공받아야 함으로써 사용상 번거롭고 불편하였다.Furthermore, it is very limited that the user can manually perform the search, and the user has to access each server and receive travel information of the tourist spot, which is troublesome and inconvenient to use.

상기 문제점을 해결하기 위하여 한국특허 공개번호 제10-2017-0063138호는 비콘을 이용한 관광 안내 시스템에 관한 것으로서, 관광객이 여행지를 지나칠 때 그 여행지와 관련된 정보를 관광객의 이동통신단말기로 전달하여 화면에 디스플레이해주는 시스템을 제안하고 있다.In order to solve the above problem, Korean Patent Publication No. 10-2017-0063138 discloses a tour guide system using a beacon. When a tourist passes through a tourist destination, information related to the travel destination is transmitted to a mobile communication terminal of a tourist, A display system is proposed.

하지만, 이와 같은 종래의 시스템은 사물 인터넷 서비스를 제공하기 위해 문화재 및 주변 시설물에 비콘이 설치되어 있어야하며, 비콘이 설치된 지역 주위에만 서비스를 제공할 수 있었다.However, in order to provide the Internet service for objects, the conventional system has to install the beacon in the cultural property and the surrounding facilities, and can provide the service only around the area where the beacon is installed.

KRKR 10-2017-006313810-2017-0063138 AA

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 사용자가 소지하고 있는 휴대용 단말기의 위성위치정보를 기반으로 하여 현재위치의 과거 공간적 모습과 역사적인 데이터를 융합해서 휴대용 단말기에 2D, 3D 및 증강현실영상으로 표시할 수 있는 과거의 영상을 표시하는 증강현실 시스템을 제공한다.SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the above-mentioned technical problems, and it is an object of the present invention to provide a portable terminal capable of receiving 2D, 3D, and 3D data by fusing historical data of a current location and historical data based on satellite position information of a portable terminal possessed by a user. The present invention provides an augmented reality system that displays a past image that can be displayed as an augmented reality image.

또한, 촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시하는 증강현실 시스템을 제공한다.Also, the present invention provides an augmented reality system in which at least one current building image existing in a photographed current image is changed to a past building image corresponding to a selected past year and displayed.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 휴대용 단말기로부터 전송된 위성위치정보를 토대로 상기 휴대용 단말기가 위치하는 영역의 과거지리정보 및 과거영상정보를 상기 휴대용 단말기에 제공하는 데이터 서버 및 상기 데이터 서버로부터 전송된 상기 과거지리정보 및 상기 과거영상정보를 바탕으로 카메라에서 촬영된 현재영상을 선택된 과거년도에 해당하는 과거영상으로 변경하여 표시하는 휴대용 단말기를 포함하는 과거의 영상을 표시하는 증강현실 시스템이 제공된다.According to an aspect of the present invention, there is provided a portable terminal including a data server for providing past geographic information and past image information of a region where the portable terminal is located based on satellite position information transmitted from the portable terminal, And a portable terminal for displaying a current image captured by the camera on the basis of the past geographical information and the past image information transmitted from the data server into a past image corresponding to a selected past year and displaying the past image A real system is provided.

또한 본 발명에 포함되는 상기 휴대용 단말기는, 촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시하는 것을 특징으로 한다.Also, the portable terminal according to the present invention is characterized in that at least one or more current building images existing in the photographed current image are converted into past building images corresponding to the selected past year and displayed.

또한, 본 발명에 포함되는 상기 휴대용 단말기는, 상기 과거건물영상을 증강현실영상으로 표시함에 있어서, 상기 현재건물영상에 상기 과거건물영상을 중첩하여 표시하되 상기 현재건물영상의 영상 투명도를 50%이상으로 설정하여 표시하는 것을 특징으로 한다.In addition, the portable terminal according to the present invention may display the past building image as an augmented reality image, wherein the past building image is superimposed on the current building image, and the image transparency of the current building image is at least 50% Is displayed and displayed.

또한, 본 발명은 유료정보에 대한 결제를 진행하는 결제 서버;를 더 포함하고, 상기 결제 서버에 의해 결제가 진행된 후 상기 휴대용 단말기는 상기 과거건물영상을 3D 형태로 표시함에 있어서, 분해모드가 선택될 경우 과거건물의 분해사시도가 표시되고 상기 분해사시도를 바탕으로 과거건물의 조립과정영상이 순차적으로 표시되는 것을 특징으로 한다.In addition, the present invention further includes a settlement server for performing settlement of paid information, wherein, after the settlement is performed by the settlement server, the portable terminal displays the past building image in 3D form, The disassembled perspective view of the past building is displayed and the assembling process images of the past building are sequentially displayed based on the disassembled perspective view.

또한, 본 발명에 포함되는 상기 휴대용 단말기에 내장된 상기 카메라는 3D 센서를 포함하여 3D영상을 촬영할 수 있도록 구성되며, 상기 카메라에서 촬영된 현재영상에 대한 3D정보를 상기 데이터 서버에 제공하는 것을 특징으로 한다.The camera included in the portable terminal of the present invention is configured to capture a 3D image including a 3D sensor and to provide 3D information on a current image photographed by the camera to the data server .

또한, 본 발명에 포함되는 상기 휴대용 단말기는, 상기 데이터 서버에 제공하는 3D정보의 데이터량에 대응하는 적립 포인트를 지급받는 것을 특징으로 한다.In addition, the portable terminal according to the present invention is characterized by being provided with an accumulation point corresponding to the amount of 3D information to be provided to the data server.

본 발명에 실시예에 따른 과거의 영상을 표시하는 증강현실 시스템은, 사용자가 소지하고 있는 휴대용 단말기의 위성위치정보를 기반으로 하여 현재위치의 과거 공간적 모습과 역사적인 데이터를 융합해서 휴대용 단말기에 2D, 3D 및 증강현실영상으로 표시할 수 있다.According to an embodiment of the present invention, an augmented reality system for displaying a past image is configured to integrate historical data of a current location with historical data based on satellite position information of a portable terminal possessed by a user, 3D and augmented reality images.

또한, 촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시할 수 있다.Also, at least one or more current building images existing in the photographed current image may be displayed as a past building image corresponding to a selected past year.

도 1은 본 발명의 실시예에 따른 과거의 영상을 표시하는 증강현실 시스템(1)의 구성도
도 2는 도 1의 과거의 영상을 표시하는 증강현실 시스템(1)의 동작 예시도
도 3은 휴대용 단말기에 표시되는 영상의 예시도
도 4는 휴대용 단말기에 표시되는 과거의 영상의 제1 예시도
도 5는 휴대용 단말기에 표시되는 과거의 영상의 제2 예시도
도 6 내지 도 9는 사용자와 상호 대화형으로 진행되는 증강현실 시스템(1)의 예시도1 is a block diagram of an augmented reality system 1 for displaying a past image according to an embodiment of the present invention
Fig. 2 is a diagram illustrating an operation example of the augmented reality system 1 displaying the past image of Fig. 1
3 is a diagram illustrating an example of a video displayed on a portable terminal
4 shows a first example of a past image displayed on the portable terminal
5 is a second example of a past image displayed on the portable terminal
6 to 9 illustrate an example of an augmented reality system 1 that proceeds interactively with a user

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention.

도 1은 본 발명의 실시예에 따른 과거의 영상을 표시하는 증강현실 시스템(1)의 구성도이고, 도 2는 도 1의 과거의 영상을 표시하는 증강현실 시스템(1)의 동작 예시도이고, 도 3은 휴대용 단말기(200)에 표시되는 영상의 예시도이다.FIG. 1 is a configuration diagram of an augmented reality system 1 for displaying a past image according to an embodiment of the present invention, FIG. 2 is an operation example of an augmented reality system 1 for displaying a past image of FIG. 1 And FIG. 3 is an exemplary view of an image displayed on the portable terminal 200.

본 실시예에 따른 과거의 영상을 표시하는 증강현실 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The augmented reality system 1 for displaying past images according to the present embodiment includes only a simple structure for clearly explaining the technical idea to be proposed.

도 1 내지 도 3을 참조하면, 과거의 영상을 표시하는 증강현실 시스템(1)은 데이터 서버(100)와, 휴대용 단말기(200)와, 결제 서버(300)를 포함하여 구성된다.1 to 3, an augmented reality system 1 for displaying a past image includes a data server 100, a portable terminal 200, and a payment server 300.

상기와 같이 구성되는 과거의 영상을 표시하는 증강현실 시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.The detailed configuration and main operations of the augmented reality system 1 for displaying past images configured as above will be described below.

데이터 서버(100)는 공간정보 오픈플랫폼 지도서비스(V-world), KISA 위치정보지원센터, 지도정보 온라인 유통시스템(NS 센터), 문화재청, 국립문화재연구소 등의 기관서버로부터 데이터를 제공받거나, 자체적으로 구축된 데이터베이스 정보를 바탕으로 서비스를 제공할 수 있도록 구성된다.The data server 100 receives data from institutional servers such as a spatial information open platform map service (V-world), a KISA location information support center, a map information online distribution system (NS center) It is configured to provide services based on the database information built up by itself.

데이터 서버(100)는 휴대용 단말기(200)로부터 전송된 위성위치정보를 토대로 휴대용 단말기(200)가 위치하는 영역의 과거지리정보 및 과거영상정보를 휴대용 단말기(200)에 제공한다. The data server 100 provides the portable terminal 200 with past geographic information and past image information of the area where the portable terminal 200 is located based on the satellite position information transmitted from the portable terminal 200. [

참고적으로, 데이터 서버(100)는 휴대용 단말기(200)가 접속한 기지국 위치정보 또는 와이파이(Wi-Fi) 접속정보를 추가적으로 제공받아 휴대용 단말기(200)의 현재위치를 더욱 정확하게 파악할 수도 있다.For reference, the data server 100 may additionally receive base station location information or Wi-Fi access information to which the portable terminal 200 is connected, thereby more accurately grasping the current location of the portable terminal 200. [

휴대용 단말기(200)는 데이터 서버(100)로부터 전송된 과거지리정보 및 과거영상정보를 바탕으로 카메라에서 촬영된 현재영상을 선택된 과거년도에 해당하는 과거영상으로 변경하여 표시한다. 여기에서 카메라는 휴대용 단말기(200)에 내장된 카메라를 지칭한다.The portable terminal 200 changes the current image photographed by the camera to the past image corresponding to the selected past year based on the past geographical information and the past image information transmitted from the data server 100. Here, the camera refers to a camera built in the portable terminal 200.

휴대용 단말기는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.The portable terminal is a general term for a portable device such as a mobile phone, a smart phone, a smart pad and the like that the user can carry while using the portable terminal. In the present embodiment, the portable terminal is assumed to be a portable terminal configured as a smart phone.

이때, 휴대용 단말기(200)는 촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시할 수 있다. 즉, 휴대용 단말기(200)는 과거건물영상을 증강현실영상으로 표시함에 있어서, 현재건물영상에 과거건물영상을 중첩하여 표시하되 현재건물영상의 영상 투명도를 50%이상으로 설정하여 표시할 수 있다.At this time, the portable terminal 200 can display at least one or more current building images existing in the photographed current image into a past building image corresponding to the selected past year. That is, in displaying the past building image as an augmented reality image, the portable terminal 200 can display the past building image superimposed on the current building image, and set the image transparency of the current building image to 50% or more.

영상 투명도가 0% 라는 것은 현재건물영상에 투명도가 적용되지 않은 것을 의미하며, 영상 투명도가 100% 라는 것은 현재건물영상이 100% 투명하게 표시되는 것을 의미한다.The image transparency of 0% means that no transparency is applied to the current building image, and 100% of the image transparency means that the current building image is displayed 100% transparent.

휴대용 단말기(200)에 내장된 카메라는 3D 센서를 포함하여 3D영상을 촬영할 수 있도록 구성될 수 있다.The camera built in the portable terminal 200 may be configured to capture a 3D image including a 3D sensor.

이와 같이 휴대용 단말기(200)에 3D 센서가 구비될 경우, 휴대용 단말기(200)는 카메라에서 촬영된 현재영상에 대한 3D정보를 데이터 서버(100)에 제공하도록 구성될 수 있다.When the portable terminal 200 is provided with the 3D sensor, the portable terminal 200 may be configured to provide 3D information on the current image captured by the camera to the data server 100.

휴대용 단말기(200)는 데이터 서버(100)에 제공하는 3D정보의 데이터량에 대응하는 적립 포인트를 지급받는데, 적립 포인트는 결제 서버(300)에서 유료정보를 이용할 때 사용할 수 있도록 구성된다.The portable terminal 200 is provided with a credit point corresponding to the amount of 3D information to be provided to the data server 100 and the credit point is configured to be used when the payment server 300 uses the fee information.

결제 서버(300)는 유료정보에 대한 결제를 진행하도록 구성된다.The payment server 300 is configured to proceed with settlement of paid information.

하나의 예시로써 결제 서버(300)에 의해 결제가 진행된 후 휴대용 단말기(200)는 과거건물영상을 3D 형태로 표시함에 있어서, 분해모드가 선택될 경우 과거건물의 분해사시도가 표시되고 분해사시도를 바탕으로 과거건물의 조립과정영상이 순차적으로 표시될 수 있다. As one example, when the payment server 300 proceeds to settlement, the portable terminal 200 displays the past building image in 3D form. When the decomposition mode is selected, the portable terminal 200 displays an exploded perspective view of the past building, The assembly process image of the past building can be sequentially displayed.

즉, 과거건물영상 또는 현재건물영상의 분해사시도를 확인하기 위해서는 유료결제가 진행되어야 하므로 결제 서버(300)에서 소정의 금액을 결제한 후 분해모드로 진입할 수 있도록 구성된다. 이때, 휴대용 단말기(200)에 적립 포인트가 지급되어 있을 경우, 적립 포인트를 이용하여 결제를 진행할 수 있도록 구성되는 것이 바람직하다.That is, in order to check the disassembled perspective of the past building image or the current building image, the payment server 300 must settle the predetermined amount and then enter the decomposition mode. In this case, when the mobile terminal 200 is provided with the earning point, it is preferable that the mobile terminal 200 can proceed to settlement using the earned point.

과거의 영상을 표시하는 증강현실 시스템(1)은, 문화재를 직접 찾아가야만 역사와 문화를 배울 수 있는 것이 아니라, 지금 내가 서 있는 위치에서부터 역사와 문화를 배울 수 있고 자율적으로 탐구 할 수 있는 서비스 및 기회를 제공한다.The augmented reality system (1), which displays past images, is not a place to learn history and culture only by searching for cultural assets, but it is a service that can learn history and culture from the position where I am now, Provide opportunities.

즉, 과거의 영상을 표시하는 증강현실 시스템(1)은 현재 내가 서 있는 위치에 과거 50년 전, 100년 전, 200년 전에는 무엇이 있었는지, 어떤 국토정보가 있었는지를 여러 문화관광 및 국토정보를 취합하여 해당 장소의 옛 모습을 표시한다.In other words, the augmented reality system (1) that displays the past images shows what kind of land information there was in past 50 years, 100 years ago, 200 years ago, And displays the old appearance of the place.

과거의 영상을 표시하는 증강현실 시스템(1)은 문화재 및 시설물에 비콘(Beacon) 등의 디바이스를 설치할 필요 없이, 위성위치정보(외부위치) 및 WIFI/블루투스(내부위치) 기능을 이용하여 사용자의 스마트폰에서 실행될 수 있다.The augmented reality system 1 for displaying past images can be configured to use the satellite position information (external position) and the WIFI / Bluetooth (internal position) functions without installing a device such as a beacon in cultural properties and facilities, And can be executed on a smart phone.

도 4는 휴대용 단말기에 표시되는 과거의 영상의 제1 예시도이고, 도 5는 휴대용 단말기에 표시되는 과거의 영상의 제2 예시도이다.FIG. 4 is a first exemplary view of a past image displayed on the portable terminal, and FIG. 5 is a second exemplary view of a past image displayed on the portable terminal.

도 4 및 도 5를 참조하면, 과거의 영상을 표시하는 증강현실 시스템(1)은 사용자가 기입한 날짜의 과거 약령시 일대의 모습을 표시하고, 약령시에 관련된 역사적인 내용도 동시에 표시한다.4 and 5, an augmented reality system 1 for displaying a past image displays a state of a past medicines of a date written by a user, and simultaneously displays historical contents related to medicines.

즉, 증강현실 시스템(1)은 현재 사용자가 서 있는 위치에 과거 50년 전, 100년 전, 200년 전에는 무엇이 있었는지, 어떤 국토정보가 있었는지를 여러 문화관광 및 국토정보를 취합하여 해당 장소의 옛 모습을 표시한다.In other words, the augmented reality system (1) collects information on what kind of land information was present 50 years ago, 100 years ago, 200 years ago, It shows the old form of.

휴대용 단말기(200)는 데이터 서버(100)로부터 전송된 과거지리정보 및 과거영상정보를 바탕으로 카메라에서 촬영된 현재영상을 선택된 과거년도에 해당하는 과거영상으로 변경하여 표시하는데, 이때, 휴대용 단말기(200)는 촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시할 수 있다. The portable terminal 200 changes the current image photographed by the camera to the past image corresponding to the selected past year on the basis of the past geographical information and past image information transmitted from the data server 100. At this time, 200 may display at least one or more current building images existing in the photographed current image into a past building image corresponding to the selected past year.

즉, 복수의 현재건물영상 중에서 과거년도에 해당하는 영상이 존재하는 건물만 과거건물영상으로 변경하여 표시할 수 있다.That is, only a building in which a video corresponding to a past year exists among a plurality of current building images can be changed to a past building image and displayed.

한편, 복수의 현재건물영상 중에서 과거년도에 해당하는 영상이 존재하지 않을 경우, 해당 건물을 그 시대에 해당하는 건물형태(2D or 3D)로 변경하여 표시할 수 있다. 즉, 그 시대에 해당하는 건축형태, 색상, 색감으로 변경하여 표시함으로써 과거영상을 보다 실감 있게 표현할 수 있다.On the other hand, if there is no image corresponding to the past year among a plurality of current building images, the building can be changed to a building type (2D or 3D) corresponding to the time and displayed. In other words, it is possible to display past images more realistically by changing to an architectural form, color, or color corresponding to the time.

이때, 데이터 서버(100)는 휴대용 단말기(200)가 위치한 곳의 현재영상과, 과거영상을 비교한 후 과거영상의 건물비율, 예를 들면 기왓집 50%, 초가집 40%, 행상 가건물 10%가 존재한다고 가정하면, 건물비율을 고려하여 과거년도에 해당하는 영상정보가 존재하지 않는 건물을 그 시대에 해당하는 건물형태로 자동 변경하는 것이 바람직하다.At this time, the data server 100 compares the past image with the current image of the place where the portable terminal 200 is located, and there is a building ratio of the past image, for example, 50%, 40% , It is desirable to automatically change the building in which the image information corresponding to the past year does not exist to the building type corresponding to the time in consideration of the building ratio.

데이터 서버(100)에서 휴대용 단말기(200)에 과거지리정보 및 과거영상정보를 제공하고, 휴대용 단말기(200)에서 3D 증강현실 과거영상을 표시할 때, When the data server 100 provides past geographic information and past image information to the portable terminal 200 and displays the 3D augmented reality past image on the portable terminal 200,

현재 휴대용 단말기(200)의 카메라가 촬영하는 영역과, 과거영상정보의 영역을 유사하게 매칭 시키는 과정이 필요하다.There is a need for a process of similarly matching an area photographed by a camera of the portable terminal 200 with a region of past image information.

따라서 휴대용 단말기(200)에서 현재 위치를 중심으로 360도 파노라마 영상을 촬영하여 데이터 서버(100)에 제공할 경우, 데이터 서버(100)는 현재영상을 촬영한 360도 파노라마 영상과, 과거영상정보를 비교한 후, 특정 현재건물영상과 특정 과거건물영상의 매칭정보를 토대로 현재영상의 영역과 과거영상의 영역을 매칭시키게 된다. 이때, 특정 현재건물영상과 특정 과거건물영상의 매칭정보는 휴대용 단말기(200)의 화면에 표시되어 사용자가 확인할 수 있다.Therefore, when the 360-degree panorama image is photographed around the current position in the portable terminal 200 and is provided to the data server 100, the data server 100 displays the 360-degree panorama image and the past image information After matching, the area of the current image and the area of the past image are matched based on the matching information of the specific current building image and the specific past building image. At this time, the matching information of the specific current building image and the specific past building image is displayed on the screen of the portable terminal 200 and can be confirmed by the user.

한편, 일반적으로 드라마 세트장, 영화 세트장은 해당 드라마와 영화를 촬영할 때에 관심 있는 팬들이나 관광객들이 많이 찾아오며, 해당 작품이 종료가 되면 해당 지역은 촬영 때 보다 인기가 다소 시들해져서 방문객이 감소하는 경우가 대부분이다.On the other hand, generally, drama set and movie set are attracted to a lot of fans and tourists who are interested in shooting the drama and movie, and when the work is finished, the area becomes more popular than the shooting time and the number of visitors decreases Mostly.

따라서 이와 같은 장소에 과거의 영상을 표시하는 증강현실 시스템(1)을 구축하여 관광객의 방문을 유도할 수 있다.Therefore, the augmented reality system 1 for displaying the past images at such a place can be constructed to guide tourists.

도 6 내지 도 9는 사용자와 상호 대화형으로 진행되는 증강현실 시스템(1)의 예시도이다.FIGS. 6 to 9 illustrate an augmented reality system 1 that proceeds interactively with a user.

우선, 도 6 및 도 6a를 참조하면, 증강현실 시스템(1)은 현재 사용자가 서 있는 위치(영화 세트장)에 연계되어 각 세트장에 해당하는 영화 배경시점의 영상정보를 취합하여 해당 장소의 옛 모습(영화시점의 모습)을 표시한다. 이때, 증강현실기능을 이용하여 다양한 영화속 인물을 해당 장소에 등장시킬 수 있다.6 and 6A, the augmented reality system 1 collects image information of the background of a movie corresponding to each set in association with a position (movie set) in which the current user stands, (The appearance of the movie view). At this time, a person in a variety of movies can appear in the place by using the augmented reality function.

이때, 과거의 영상을 표시하는 증강현실 시스템(1)은 사용자의 휴대용 단말기(200)에 영화 캐릭터를 선정할 수 있는 메뉴를 표시하고, 사용자가 선택한 캐릭터가 활동한 세트장으로 이동할 경우, 사용자가 캐릭터화 되어 영화 속의 여러 등장인물이 증강현실을 통해 표시될 수 있다.At this time, the augmented reality system 1 for displaying a past image displays a menu for selecting a movie character on the portable terminal 200 of the user, and when the user moves to a set where the character selected by the user is active, And various characters in the film can be displayed through augmented reality.

도 7 및 도 7a를 참조하면, 증강현실 시스템(1)은 축제를 즐기는 관광객에게 휴대용 단말기(200)로 미션을 제공하거나 이벤트를 공지하여 축제장소 및 행사장소로 관광객의 이동을 유도할 수 있다.Referring to FIG. 7 and FIG. 7A, the augmented reality system 1 can provide tourists enjoying a festival with a mission to the portable terminal 200 or announce events to guide tourists to a festival place and an event place.

예를 들어 미션을 제공받은 사용자는 숨겨진 이사부 그림을 찾기 위해 행사장(세트장) 이곳저곳을 돌아다니며 활동영역과 범위를 넓히게 되는 것이다. 즉, 행사장 전 범위를 아우를 수 있으며, 직접적으로 관광객들이 참여할 수 있고 온라인 진행방식이기 때문에 기존의 오프라인 대비 전시비용, 인원비용, 설치비용, 철거비용 등을 최소화 할 수 있다.For example, a user who has been given a mission wanders around the venue to search for hidden isobe paintings. In other words, it can cover the full range of the event venue, and tourists can participate directly, and it is possible to minimize the exhibition cost, personnel cost, installation cost, demolition cost compared to the offline because it is an online method.

즉, 과거의 영상을 표시하는 증강현실 시스템(1)은 역사적 사실과 이야기(영화, 드라마)들을 토대로 미션을 수행할 수 있도록 구성된다. 따라서 축제에 참가하여 문화, 예술, 공연 등을 체험하는 것 이외에 교육적이고 역사적인 목적을 가진 이벤트를 제공할 수 있게 된다. 또한, 해당 미션을 수행하기 위해서 직접 역사/문화 자료를 찾아보는 행위를 유도할 수 있다.That is, the augmented reality system 1 that displays past images is configured to perform a mission based on historical facts and stories (movies, dramas). Therefore, it is possible to participate in the festival to provide events with educational and historical purposes in addition to experiencing culture, arts and performances. In addition, you can direct yourself to browse historical / cultural data to perform the mission.

또한, 이사부 축제장의 음식시설 또는 인근의 지역 상권 등의 쿠폰할인을 팝업시켜 이사부 축제장소 뿐 아니라, 주변 상권에게 실질적인 수익창출을 할 수 있게 연계할 수 있다.In addition, it is possible to associate the coupon discounts such as the food facility of the festival festival director or the local commercial area in the neighborhood with the festival place as well as real profit generation to the surrounding commercial area.

도 8 및 도 8a를 참조하면, 증강현실 시스템(1)은 장미축제를 즐기는 관광객에게 휴대용 단말기(200)로 미션을 제공하거나 이벤트를 공지하여 축제장소 및 행사장소로 관광객의 이동을 유도할 수 있다.Referring to FIGS. 8 and 8A, the augmented reality system 1 can provide tourists enjoying the rose festival with a mission to the portable terminal 200 or announce the event to induce tourists to move to a festival place and an event place .

해당 장미축제는 17만명이 넘는 관람객 방문하였으나, 장미축제 및 화훼축제는 국내에 다수 존재한다. 따라서 해당 지역 장미축제만의 차별화된 다양한 직접 참여 프로그램 제시가 필요하므로, 과거의 영상을 표시하는 증강현실 시스템(1)을 이용하여 축제 연출자 및 감독자가 사전 계획한 여러 장소에 관광객들을 이동을 유도할 수 있다.The rose festival has attracted more than 170,000 visitors, but many rose festivals and flower festivals exist in Korea. Therefore, it is necessary to present various different direct participation programs only for the local rose festival. Therefore, by using the augmented reality system (1) displaying past images, it is possible to induce the tourists to move in various places planned by the festival directors and supervisors .

즉, 과거의 영상을 표시하는 증강현실 시스템(1)은 사용자를 식별번호(PIN정보)가 입력되어 있는 장소로 이동을 유도할 수 있다. 축제 연출자 및 감독자가 유도하고자 하는 공간에 식별번호(PIN정보)를 기입하고 해당 장소에서 이벤트를 발생시켜서 사용자의 이동을 유도할 수 있다.That is, the augmented reality system 1 displaying past images can guide the user to move to a place where the identification number (PIN information) is inputted. The festival director and the supervisor can write the identification number (PIN information) in the space they want to induce and generate an event at the corresponding place to induce the user's movement.

예를 들어, 1000명이 모여야 해결할 수 있는 미션 제공을 하게 되면 관광객 모두가 하나가 되고 목표를 성취하게 하게 방향성을 만들 수 있다.For example, providing a mission that can be solved only with a gathering of 1,000 people can create a direction to make all the tourists become one and achieve their goals.

기존 프로그램들은 개인의 참여와 만족도를 높여주는 행사였다면, 본 발명의 증강현실 시스템(1)은 관광객 다수에게 공통된 하나의 미션을 제공함으로써 모두가 하나의 미션수행을 달성하기 위해 협조하고 능동적으로 진행하게 되어 만족도를 높일 수 있다.If the existing programs were events for increasing individual participation and satisfaction, the augmented reality system 1 of the present invention provides a common mission to many tourists so that all of them cooperate and actively perform one mission performance And satisfaction can be increased.

또한, 여러 미션들을 수행하고 난 후의 보상(포인트)을 제공하여 인근지역의 상품판매 유인할 수 있고, 수익창출 기대할 수 있다. 결과적으로, 축제를 살리고 인기 있게 만들뿐 아니라, 지역의 실질적 수익개선을 위한 증강현실 시스템(1)이 구현되는 것이다.In addition, it can provide compensation (points) after performing various missions to attract sales of goods in the nearby area, and to expect to generate profit. As a result, the augmented reality system 1 for real profit improvement of the local area as well as making the festival live and popular is realized.

도 9를 참조하면, 증강현실 시스템(1)은 각 지역의 축제와 연계하여 관광객의 참여를 유도할 수 있다. 가령 제주도 거주자는, 해당 지역에서 축제에 방문하여 미션을 완료한 후, 전라도, 충청도, 서울, 경기, 강원도 순서의 연계미션을 수행하며 각 지역의 축제에 참가하여 미션을 진행할 수 있다.Referring to FIG. 9, the augmented reality system 1 can induce participation of tourists in connection with festivals in each area. For example, the residents of Jeju Island can visit the festival in the area and complete the mission. Then, they can perform the mission of connecting Jeolla Province, Chungcheong Province, Seoul, Gyeonggi Province, and Gangwon Province in order.

참고적으로, 증강현실 시스템(1)은 축제장소, 영화 세트장 등과 같은 장소에서 사용자의 참여를 유도하기 위해 각 영역마다 복수의 센싱부가 배치될 수 있다. 각 센싱부는 축제장소, 영화 세트장 등과 같은 장소에 소정의 간격을 가지고 일정하게 배치된다.For reference, the augmented reality system 1 may include a plurality of sensing units for each area in order to induce users' participation in places such as a festival place, a movie set place, and the like. Each sensing unit is arranged at a predetermined interval in a place such as a festival place, a movie set place, or the like.

즉, 증강현실 시스템(1)은 사용자의 위치를 좀 더 정확하게 파악하는 구성이 추가될 수 있다. 즉, 복수의 센싱부에 와이파이 통신모듈이 각각 추가로 구비되고, 사용자의 휴대용 단말기(200)가 와이파이 핫스팟(WIFI HOTSPOT) 신호를 출력하도록 구성된 경우,That is, the augmented reality system 1 may be configured to more accurately grasp the position of the user. That is, when a plurality of sensing units are additionally provided with a Wi-Fi communication module and the user's portable terminal 200 is configured to output a WIFI HOTSPOT signal,

우선, 데이터 서버(100)는 휴대용 단말기(200)에서 전송된 위성위치정보를 이용하여 사용자의 절대위치를 파악한다.First, the data server 100 grasps the absolute position of the user using the satellite position information transmitted from the portable terminal 200.

다음으로, 복수의 센싱부가 휴대용 단말기(200)에서 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 참조하여 휴대용 단말기(200)의 위치를 파악한다. Next, the plurality of sensing units recognize the position of the portable terminal 200 by referring to the WIFI HOTSPOT signal output from the portable terminal 200.

즉, 복수의 센싱부가 정삼각형 형태로 배열된다고 가정하면, 복수의 센싱부는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 출력하는 휴대용 단말기(200)까지의 거리를 측정함에 있어서, 세 꼭지점의 상대위치를 얻고 휴대용 단말기(200)와의 거리를 파악하여 삼변 측량술(Trilateration)을 적용하여 휴대용 단말기(200) 위치의 상대위치를 파악하고, 상대위치와 위성위치정보(절대위치)를 동시에 고려하여 휴대용 단말기(200) 위치를 최종 파악한다.That is, assuming that the plurality of sensing units are arranged in a regular triangle shape, the plurality of sensing units measure the distance to the portable terminal 200 that outputs the WIFI HOTSPOT signal, obtain the relative positions of the three vertices, The relative position of the portable terminal 200 is determined by applying a trilateration technique to the distance between the mobile terminal 200 and the mobile terminal 200, Finally,

또한, 증강현실 시스템(1)은, 관리자 단말기, 휴대용 위치 확인기와, 복수의 블루투스 송수신기를 더 포함하여 구성될 수 있다.Further, the augmented reality system 1 may further include an administrator terminal, a portable location determiner, and a plurality of Bluetooth transceivers.

휴대용 단말기(200)는 RFID 태그와, GPS 위성위치정보를 수신하는 모듈과, 블루투스 송수신 모듈을 구비하고 있는 단말기이다. 따라서 고유 아이디가 RFID 태그에 저장되며, 휴대용 단말기(200)는 실외에서 위성위치정보를 바탕으로 현재의 절대적인 위치정보를 주기적으로 저장한다. 또한, 휴대용 단말기(200)는 박물관과 같은 실내에서는 복수의 블루투스 송수신기와의 블루투스 송수신 신호의 세기를 토대로 시간별 이동방향 및 상대적인 위치정보를 주기적으로 저장한다.The portable terminal 200 is a terminal having an RFID tag, a module for receiving GPS satellite position information, and a Bluetooth transmission / reception module. Accordingly, the unique ID is stored in the RFID tag, and the portable terminal 200 periodically stores the current absolute position information based on the satellite position information outdoors. In addition, the portable terminal 200 periodically stores moving direction and relative position information based on the intensity of the Bluetooth transmission / reception signal with the plurality of Bluetooth transceivers in a room such as a museum.

복수의 블루투스 송수신기는 실내의 각 구역마다 배치될 수 있으며, 복도, 각 관람실 등에 일정한 거리를 두고 배치되는 것이 바람직하다. 즉, 휴대용 단말기(200)는 각 구역에 배치된 복수의 블루투스 송수신기와 통신시 블루투스 송수신 신호의 세기를 토대로 각 블루투스 송수신기와의 상대적인 거리와, 시간별 이동방향을 판별할 수 있다.The plurality of Bluetooth transceivers may be arranged in each area of the room, and it is preferable that the plurality of Bluetooth transceivers are arranged at a certain distance from the hall, each viewing room, and the like. That is, the portable terminal 200 can determine the relative distance with respect to each Bluetooth transceiver based on the intensity of the Bluetooth transmission / reception signal in communication with the plurality of Bluetooth transceivers disposed in each zone, and the moving direction in time.

휴대용 위치 확인기는 내장된 배터리의 전원 또는 외부의 전원을 공급받아 동작할 수 있다. 따라서 평소에는 사용자들이 이동하는 메인 출입구에 휴대용 위치 확인기를 설치해서 외부의 전원으로 동작시키다가, 필요에 따라 특정 위치로 이동시켜서 내장된 배터리의 전원으로 동작시킬 수 있다.The handheld positioner can be powered by an internal battery or external power supply. Therefore, a portable positioning device is usually installed at a main entrance where users move and can be operated by an external power source, moved to a specific position as needed, and operated by a built-in battery power source.

휴대용 위치 확인기는 RFID 태그를 판독할 수 있는 리더기와, 블루투스 통신모듈을 포함하여 구성된다.The portable position determiner comprises a reader capable of reading the RFID tag and a Bluetooth communication module.

휴대용 위치 확인기는 휴대용 단말기(200)의 RFID 태그를 판독하여 사용자의 입장/이동을 식별하는 동시에 휴대용 단말기(200)에 저장된 절대적인 위치정보 및 상대적인 위치정보를 수신한다. 절대적인 위치정보는 시간별 위성위치정보를 바탕으로 기록된 GPS 위성좌표로 구성될 수 있다. The portable position determiner reads the RFID tag of the portable terminal 200 to identify the entry / movement of the user and receives absolute positional information and relative positional information stored in the portable terminal 200. Absolute position information may be composed of GPS satellite coordinates recorded based on time-of-day satellite position information.

상대적인 위치정보는 복수의 블루투스 송수신기와의 블루투스 송수신 신호의 세기를 토대로 산출된 각 블루투스 송수신기와의 거리 정보이다. 예를 들어, 제1 블루투스 송수신기와 제2 블루투스 송수신기 사이에 휴대용 단말기(200)가 위치할 경우, 제1 블루투스 송수신기와의 송수신 세기와 제2 블루투스 송수신기와의 송수신 세기의 상대적인 비교를 통해서 휴대용 단말기(200)의 상대적인 위치정보를 산출할 수 있다. 따라서 각 블루투스 송수신기의 절대적인 위치를 미리 알고 있을 경우, 실내에서의 휴대용 단말기(200)의 위치를 산출할 수 있다. 또한, 송수신 신호의 세기를 바탕으로 휴대용 단말기(200)의 시간별 이동방향을 산출할 수 있다.The relative position information is distance information between each Bluetooth transceiver calculated based on the strength of the Bluetooth transmission / reception signal with the plurality of Bluetooth transceivers. For example, when the portable terminal 200 is located between the first Bluetooth transceiver and the second Bluetooth transceiver, the strength of the transmission / reception with the first Bluetooth transceiver and the strength of transmission / reception with the second Bluetooth transceiver are compared with each other, 200 can be calculated. Therefore, if the absolute position of each Bluetooth transceiver is known in advance, the position of the portable terminal 200 in the room can be calculated. In addition, the moving direction of the portable terminal 200 can be calculated based on the intensity of the transmission / reception signal.

한편, 관리자 단말기는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기로 구성될 수 있으며, 본 실시예에서는 스마트폰으로 구성된 관리자 단말기로 가정하고 설명하기로 한다.Meanwhile, the administrator terminal may be configured as a portable terminal such as a mobile phone, a smart phone, a smart pad, etc., and it is assumed that the administrator terminal is configured as a smart phone in the present embodiment.

관리자 단말기는 블루투스 통신모듈을 포함하고 있으므로, 블루투스 통신방식을 이용하여 휴대용 위치 확인기와 데이터를 송수신할 수 있다. 즉, 관리자가 관리자 단말기를 휴대한 상태에서 휴대용 위치 확인기 주변으로 이동할 경우, 예를 들어 관리자 단말기와 휴대용 위치 확인기 사이의 거리가 100cm 이내 일 경우, 관리자 단말기와 휴대용 위치 확인기가 페어링 되어, 서로 간에 데이터를 교환하게 된다.Since the administrator terminal includes the Bluetooth communication module, the administrator terminal can transmit and receive data to and from the portable positioning device using the Bluetooth communication method. That is, when the manager moves around the portable position determiner while carrying the manager terminal, for example, when the distance between the manager terminal and the portable position checker is within 100 cm, the manager terminal and the portable position checker are paired with each other, To exchange data.

한편, 보안성을 강화시키기 위해, 관리자 단말기와 휴대용 위치 확인기가 즉시 자동 페어링 되지 않는다. 즉, 관리자가 휴대용 위치 확인기의 비밀번호 인증 및 설정된 패턴인증을 수행한 이후에, 관리자 단말기와 휴대용 위치 확인기가 자동 페어링되어 블루투스 통신방식으로 데이터를 송수신하기 시작한다. 따라서 허가받지 않는 사람이 휴대용 위치 확인기의 데이터에 접근하는 것을 차단할 수 있다.On the other hand, in order to enhance security, the manager terminal and the portable POS are not automatically paired immediately. That is, after the administrator performs the password authentication and the pattern authentication of the portable location checker, the manager terminal and the portable location checker are automatically paired to start transmitting and receiving data using the Bluetooth communication method. Thus preventing unauthorized persons from accessing the data on the handheld location locator.

휴대용 위치 확인기에는 사용자의 입장 상황, 사용자의 절대적인 위치정보 및 상대적인 위치정보가 저장되어 있으므로, 관리자 단말기는 휴대용 위치 확인기로부터 전송되는 사용자(관람객)의 입장 상황, 사용자(관람객)의 절대적인 위치정보 및 상대적인 위치정보를 수신한다.Since the positional information of the user, the absolute location information of the user, and the relative location information are stored in the portable location checker, the administrator terminal can recognize the position of the user (the visitor) transmitted from the portable location checker, And relative position information.

또한, 관리자 단말기는 2G, 3G, 4G, LTE 중 어느 하나의 광대역 무선통신모듈을 포함하고 있으므로, 사용자(관람객)의 입장 상황, 사용자의 절대적인 위치정보 및 상대적인 위치정보를 데이터 서버(100)로 직접 전송할 수 있다.Since the administrator terminal includes any one of the broadband wireless communication modules 2G, 3G, 4G, and LTE, it is possible to transmit the entry status of the user (the viewer), the absolute location information of the user and the relative location information directly to the data server 100 Lt; / RTI >

데이터 서버(100)는 광대역 무선통신방식을 이용하여 관리자 단말기와 데이터를 송수신하므로, 관리자 단말기로부터 전송된 데이터, 즉 사용자의 입장 상황, 사용자의 절대적인 위치정보 및 상대적인 위치정보를 수신하여 휴대용 단말기(200)의 현재위치를 파악한다.Since the data server 100 transmits and receives data to and from the administrator terminal using the broadband wireless communication method, the data server 100 receives the data transmitted from the administrator terminal, i.e., the user's entrance situation, the absolute location information of the user, ) Of the current position.

한편, 휴대용 단말기(200)를 소유한 사용자는, 절대적인 위치정보 및 상대적인 위치정보가 저장되는 것을 제한시킬 수 있는 권한을 가질 수 있다. 사용자가 위치정보 저장을 중단시킬 경우, 5분 내지 10분 사이의 시간동안에만 위치정보 저장이 제한되며, 5분 내지 10분 이후에는 자동으로 위치정보 저장이 활성화된다. 또한, 위치정보 저장의 중단 기능은 1시간 내에 단 한번만 선택할 수 있도록 구성된다. On the other hand, the user possessing the portable terminal 200 can have the authority to limit the storage of absolute positional information and relative positional information. When the user stops storing the location information, the storage of the location information is limited only for a period of 5 to 10 minutes, and after 5 to 10 minutes, the location information storage is automatically activated. In addition, the function of stopping the storage of the location information is configured to be selected only once within one hour.

또한, 위치정보 저장이 제한된 시간 동안의 이동 경로는, 제한 기능이 시작되는 시점과 종료되는 시점을 고려하여 추정되는 이동 경로가 표시되며, 제한 기능이 사용되었는지 여부는 표시되지 않는다. 결과적으로 휴대용 단말기(200)를 소지한 사용자는 최소한의 프라이버시를 보장 받을 수 있다.In addition, the movement route for a limited time period in which the position information storage is limited is indicated by the movement route estimated in consideration of the time point at which the restriction function starts and the time point at which the restriction function is started, and whether or not the restriction function is used is not displayed. As a result, a user having the portable terminal 200 can be assured of minimum privacy.

관리자는 관리자 단말기를 휴대한 상태에서 복수의 블루투스 송수신기에 근접할 경우, - 100cm 이내 - 복수의 블루투스 송수신기에 저장된 상대적인 위치정보가 관리자 단말기로 전송된다. 이후, 관리자 단말기와 휴대용 위치 확인기가 정보를 교환할 때, 휴대용 위치 확인기는 휴대용 위치 확인기에 미리 저장된 상대적인 위치정보 - 휴대용 단말기(200)로부터 전송된 위치정보- 와, 복수의 블루투스 송수신기의 상대적인 위치정보를 비교하여 상대적인 위치정보의 신뢰성을 향상 시킬 수 있다.When the manager is close to a plurality of Bluetooth transceivers while carrying an administrator terminal, relative position information stored in a plurality of Bluetooth transceivers is transmitted to the administrator terminal within - 100 cm. Then, when the manager terminal and the portable position verifier exchange information, the portable position verifier obtains the relative position information stored in advance in the portable position verifier, the position information transmitted from the portable terminal 200, and the relative position information of the plurality of Bluetooth transceivers The reliability of the relative position information can be improved.

상대적인 위치정보는 기본적으로 휴대용 단말기(200)에 저장된 정보를 토대로 산출되나, 복수의 블루투스 송수신기의 상대적인 위치정보와 차이가 많이 발생할 경우, 그 평균값을 고려하여 상대적인 위치정보가 보정될 수 있다. The relative position information is basically calculated on the basis of the information stored in the portable terminal 200. However, when the relative position information of the plurality of Bluetooth transceivers differs from the relative position information, the relative position information may be corrected in consideration of the average value.

또한, 휴대용 단말기(200)의 애플리케이션은 인공지능 검색기능을 지원하여 내용 및 위치정보를 기반으로 과거의 기록과 현재의 기록을 비교하여 표시할 수 있다.In addition, the application of the portable terminal 200 supports the artificial intelligence search function, and can compare the past record with the current record based on the content and the position information, and display it.

예를 들면, 현재시점에서 축제장/영화 세트장을 방문하여 AA식당에서 식사를 진행할 경우, For example, if you visit a festival / movie set at the current time and eat at an AA restaurant,

위치정보 및 내용을 기반으로 과거의 영상을 검색하여 AA식당의 과거메뉴, 가격 및 음식평과, AA식당의 현재메뉴, 가격 및 음식평을 비교하여 표시할 수 있다. 여기에서 메뉴, 가격 및 음식평은 사용자가 직접 입력할 수 있고, 데이터 서버(100)에 저장된 내용을 자동으로 인지하거나, 메뉴판에 대한 사진이 첨부되어 있을 경우, 사진의 내용을 문자인식하여 자동으로 파악될 수도 있을 것이다.The past images can be searched based on the location information and contents, and the past menu, price and food review of AA restaurant, current menu of AA restaurant, price and food evaluation can be displayed in comparison with each other. Here, the menu, the price and the food evaluation can be inputted directly by the user, and when the contents stored in the data server 100 are automatically recognized, or when the photograph of the menu plate is attached, .

이때, AA식당이 폐업하고, 동일한 위치에 CC식당이 영업하고 있을 경우, 과거 AA식당의 메뉴, 가격 및 음식평과, 현재 CC식당의 메뉴, 가격 및 음식평을 비교하여 표시할 수 있다.At this time, when the AA restaurant is closed and the CC restaurant is in the same place, the menu, price and food evaluation of the past AA restaurant, menu of the current CC restaurant, price and food evaluation can be displayed in comparison with each other.

또한, 휴대용 단말기(200)의 애플리케이션은 결제서버와 연동될 수 있다. 따라서 AA식당에서 식사를 진행할 예정일 경우, 메뉴를 미리 선택하여 예약을 진행하면서 동시에 결제까지 완료할 수 있다.In addition, the application of the portable terminal 200 may be interlocked with the payment server. Therefore, if the meal is going to be performed at the AA restaurant, the menu can be selected in advance and the reservation can be completed and the payment can be completed at the same time.

본 발명에 실시예에 따른 과거의 영상을 표시하는 증강현실 시스템은, 사용자가 소지하고 있는 휴대용 단말기의 위성위치정보를 기반으로 하여 현재위치의 과거 공간적 모습과 역사적인 데이터를 융합해서 휴대용 단말기에 2D, 3D 및 증강현실영상으로 표시할 수 있다.According to an embodiment of the present invention, an augmented reality system for displaying a past image is configured to integrate historical data of a current location with historic data based on satellite position information of a portable terminal possessed by a user, 3D and augmented reality images.

또한, 촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시할 수 있다.Also, at least one or more current building images existing in the photographed current image may be displayed as a past building image corresponding to a selected past year.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100 : 데이터 서버
200 : 휴대용 단말기
300 : 결제 서버100: data server
200: portable terminal
300: Payment Server

Claims (6)

휴대용 단말기로부터 전송된 위성위치정보를 토대로 상기 휴대용 단말기가 위치하는 영역의 과거지리정보 및 과거영상정보를 상기 휴대용 단말기에 제공하는 데이터 서버; 및
상기 데이터 서버로부터 전송된 상기 과거지리정보 및 상기 과거영상정보를 바탕으로 카메라에서 촬영된 현재영상을 선택된 과거년도에 해당하는 과거영상으로 변경하여 표시하는 휴대용 단말기;
를 포함하는 과거의 영상을 표시하는 증강현실 시스템.
A data server for providing past geographic information and past image information of an area where the portable terminal is located based on satellite position information transmitted from the portable terminal to the portable terminal; And
A portable terminal for converting a current image photographed by a camera into a past image corresponding to a selected past year on the basis of the past geographical information and the past image information transmitted from the data server;
And displaying the past image including the image.
제1항에 있어서,
상기 휴대용 단말기는,
촬영된 현재영상에 존재하는 적어도 어느 하나 이상의 현재건물영상을 선택된 과거년도에 해당하는 과거건물영상으로 변경하여 표시하는 것을 특징으로 하는 과거의 영상을 표시하는 증강현실 시스템.
The method according to claim 1,
The portable terminal includes:
Wherein the at least one current building image existing in the photographed current image is changed to a past building image corresponding to the selected past year and displayed.
제2항에 있어서,
상기 휴대용 단말기는,
상기 과거건물영상을 증강현실영상으로 표시함에 있어서, 상기 현재건물영상에 상기 과거건물영상을 중첩하여 표시하되 상기 현재건물영상의 영상 투명도를 50%이상으로 설정하여 표시하는 것을 특징으로 하는 과거의 영상을 표시하는 증강현실 시스템.
3. The method of claim 2,
The portable terminal includes:
And displaying the past building image as an augmented reality image by superimposing the past building image on the current building image and setting the image transparency of the current building image to 50% Of the augmented reality system.
제2항에 있어서,
유료정보에 대한 결제를 진행하는 결제 서버;를 더 포함하고,
상기 결제 서버에 의해 결제가 진행된 후 상기 휴대용 단말기는 상기 과거건물영상을 3D 형태로 표시함에 있어서, 분해모드가 선택될 경우 과거건물의 분해사시도가 표시되고 상기 분해사시도를 바탕으로 과거건물의 조립과정영상이 순차적으로 표시되는 것을 특징으로 하는 과거의 영상을 표시하는 증강현실 시스템.
3. The method of claim 2,
And a payment server for making a payment for the fee information,
The portable terminal displays the past building image in a 3D form after the settlement is performed by the payment server. When the decomposition mode is selected, the portable terminal displays an exploded perspective view of the past building and displays, based on the exploded perspective view, Wherein the image is displayed sequentially.
제2항에 있어서,
상기 휴대용 단말기에 내장된 상기 카메라는 3D 센서를 포함하여 3D영상을 촬영할 수 있도록 구성되며, 상기 카메라에서 촬영된 현재영상에 대한 3D정보를 상기 데이터 서버에 제공하는 것을 특징으로 하는 과거의 영상을 표시하는 증강현실 시스템.
3. The method of claim 2,
Wherein the camera incorporated in the portable terminal is configured to capture a 3D image including a 3D sensor and provides 3D information on a current image photographed by the camera to the data server, Augmented reality system.
제5항에 있어서,
상기 휴대용 단말기는,
상기 데이터 서버에 제공하는 3D정보의 데이터량에 대응하는 적립 포인트를지급받는 것을 특징으로 하는 과거의 영상을 표시하는 증강현실 시스템.6. The method of claim 5,
The portable terminal includes:
And an accumulation point corresponding to an amount of 3D information to be provided to the data server is provided to the augmented reality system.
KR1020170163838A 2017-12-01 2017-12-01 Augmented reality system that displays past images based on location information KR20190064720A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170163838A KR20190064720A (en) 2017-12-01 2017-12-01 Augmented reality system that displays past images based on location information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163838A KR20190064720A (en) 2017-12-01 2017-12-01 Augmented reality system that displays past images based on location information

Publications (1)

Publication Number Publication Date
KR20190064720A true KR20190064720A (en) 2019-06-11

Family

ID=66847152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163838A KR20190064720A (en) 2017-12-01 2017-12-01 Augmented reality system that displays past images based on location information

Country Status (1)

Country Link
KR (1) KR20190064720A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063138A (en) 2015-11-30 2017-06-08 (주)트래블패키지 Traveling guide system using beacon

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063138A (en) 2015-11-30 2017-06-08 (주)트래블패키지 Traveling guide system using beacon

Similar Documents

Publication Publication Date Title
US9961507B1 (en) Beacon deployment enabling location based services (LBS) in an urban or city environment
US11816655B1 (en) Method and system for communicating location of a mobile device for hands-free payment
US9204257B1 (en) Indoor and outdoor mapping and navigation utilizing RF bluetooth beacons
US11201981B1 (en) System for notification of user accessibility of curated location-dependent content in an augmented estate
US10006990B2 (en) Method, system and computer program for determining distances and positions
US6813608B1 (en) System and method for enhancing user experience in a wide-area facility having a distributed, bounded environment
US8941485B1 (en) System and method of obtaining and using a vehicle identifier for providing information to an end user
US20180270613A1 (en) Method for sharing content on the basis of location information and server using the same
US20090106126A1 (en) Information presentation system of visual field agreement type, and portable information terminal and server for use in the system
CN104641399A (en) System and method for creating an environment and for sharing a location based experience in an environment
WO2008121879A1 (en) System and method for enhancing user experience in a wide-area facility having a distributed, bounded environment
WO2003032213A2 (en) System and method for selling image-display time to customers of a public facility
US10410303B1 (en) Method and system for a mobile computerized multiple function real estate users assistant
US11785161B1 (en) System for user accessibility of tagged curated augmented reality content
KR20190064720A (en) Augmented reality system that displays past images based on location information
CA3227577A1 (en) Systems and methods for voice referencing scannable codes, activators, and location identifiers
JP7267137B2 (en) Information processing equipment
KR102637900B1 (en) Golf Course Reservation System
US11876941B1 (en) Clickable augmented reality content manager, system, and network
KR20240039517A (en) System for managing exhibition and method for controlling the same
KR20230011101A (en) System for providing interior image and method for controlling the same
KR20080044698A (en) The premium-system which uses the rfid
US20180013842A1 (en) Method and system for providing user with information related to premises
Farooq et al. Smart Phone Based Indoor Environment Awareness System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application