KR101232864B1 - Method and system for providing peripheral information to mobile device - Google Patents

Method and system for providing peripheral information to mobile device Download PDF

Info

Publication number
KR101232864B1
KR101232864B1 KR1020110017141A KR20110017141A KR101232864B1 KR 101232864 B1 KR101232864 B1 KR 101232864B1 KR 1020110017141 A KR1020110017141 A KR 1020110017141A KR 20110017141 A KR20110017141 A KR 20110017141A KR 101232864 B1 KR101232864 B1 KR 101232864B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
information
image
surrounding
display unit
Prior art date
Application number
KR1020110017141A
Other languages
Korean (ko)
Other versions
KR20110097729A (en
Inventor
김희관
Original Assignee
김희남
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김희남 filed Critical 김희남
Publication of KR20110097729A publication Critical patent/KR20110097729A/en
Application granted granted Critical
Publication of KR101232864B1 publication Critical patent/KR101232864B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

본 발명은 이동 단말에 대한 주변 정보 안내 서비스 제공 방법 및 시스템에 관한 것으로서, 네트워크를 통해 결합하는 이동 단말 및 주변 정보 안내 서비스를 제공하는 서버로 이루어진 주변 정보 안내 시스템에서, 이동 단말에 대하여 주변 정보 안내 서비스를 제공하는 방법에 있어서, 상기 서버가 네트워크를 통해 접속된 이동 단말의 위치 정보를 확인하는 제1 단계; 상기 서버가 상기 확인된 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하는 제2 단계; 상기 서버가 상기 추출된 주변 정보 데이터를 이동 단말로 전송하는 제3 단계; 및 상기 이동 단말이 상기 수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하여 이를 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하거나, 이동 단말이 상기 수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 맵 정보 영상을 구성하여 이를 이동 단말에서 제공되는 주변 맵 영상과 합성하여 디스플레이부에 출력하는 것을 특징으로 하는 제4 단계를 구비하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법 및 이를 이용한 시스템을 제공한다.The present invention relates to a method and a system for providing a surrounding information guide service for a mobile terminal. The present invention relates to a surrounding information guide system including a mobile terminal coupled through a network and a server for providing a surrounding information guide service. A method of providing a service, the method comprising: a first step of the server confirming location information of a mobile terminal connected through a network; A second step of the server extracting surrounding information data of the mobile terminal based on the identified location information; A third step of the server transmitting the extracted surrounding information data to a mobile terminal; And configures the surrounding information image to be output to the display unit of the mobile terminal based on the received surrounding information data, synthesizes it with the image photographed by the photographing means of the mobile terminal, and outputs it to the display unit. A fourth step, wherein the mobile terminal constructs a map information image to be output to the display unit of the mobile terminal based on the received ambient information data, synthesizes the map information image with the surrounding map image provided by the mobile terminal, and outputs the map information image to the display unit; Provides a method for providing a surrounding information guide service for a mobile terminal having a and a system using the same.

Description

이동 단말에 대한 주변 정보 안내 서비스 제공 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING PERIPHERAL INFORMATION TO MOBILE DEVICE}Method and system for providing surrounding information guidance service for mobile terminal {METHOD AND SYSTEM FOR PROVIDING PERIPHERAL INFORMATION TO MOBILE DEVICE}

본 발명은 이동 단말에 대한 주변 정보 안내 서비스 제공 방법 및 시스템에 관한 것으로서, 보다 상세하게는 GPS 기능 등과 같은 위치 확인 수단을 구비하는 이동 단말에 대하여 이동 단말의 위치 정보에 따른 주변 정보를 증강 현실 기법을 이용하여 효율적으로 안내하는 서비스를 제공하는 방법 및 시스템에 관한 것이다.
The present invention relates to a method and system for providing surrounding information guidance service for a mobile terminal. More particularly, the present invention relates to an augmented reality technique for a mobile terminal having a location checking means such as a GPS function. It relates to a method and system for providing a service to guide efficiently using.

이동 통신 기술의 발전에 따라 이동 단말의 위치를 기반으로 하는 여러 가지 형태의 부가 서비스가 제안되고 있다.With the development of mobile communication technology, various types of additional services based on the location of the mobile terminal have been proposed.

예컨대, 기지국의 신호를 기준으로 이동 단말의 위치를 파악하는 LBS 서비스나 GPS 기능을 탑재한 이동 단말을 이용한 네비게이션 서비스 등이 그 대표적인 예라 할 수 있다.For example, the LBS service for identifying the location of the mobile terminal based on the signal of the base station or the navigation service using the mobile terminal equipped with the GPS function may be representative examples.

또한, 최근에는 이동 단말의 위치를 기준으로 이동 단말이 위치한 곳의 주변 상점 등의 정보를 제공하는 서비스가 일부 제안되고는 있으나 이러한 서비스들은 대부분 이동 통신 서비스 제공자에 의해서만 제공되는 폐쇄적인 서비스이고 또한 제공되는 화면 등의 인터페이스도 단순히 맵 데이터를 제공하고 여기에 이동 단말의 위치를 표시해 주는 정도에 불과한 실정이다.In addition, although some services have recently been proposed to provide information such as shops around where the mobile terminal is located based on the location of the mobile terminal, most of these services are closed services provided only by the mobile communication service provider. The interface, such as the screen that is being used, simply provides map data and displays the location of the mobile terminal.

더욱이, 사용자가 자신이 원하는 주변 정보를 등록하거나 설정해 놓는 등의 서비스도 제시되고 있지 않다.Moreover, there are no services such as registering or setting surrounding information desired by the user.

나아가, 제공되는 화면도 실제 화면이 아니어서 현장감이 떨어지고 제공되는 정보 또한 단편적이라는 점에서 한계점을 가지고 있다.
Furthermore, since the provided screen is not a real screen, there is a limitation in that the sense of reality falls and the information provided is fragmentary.

본 발명은 상기한 바와 같은 한계점을 감안하여 안출된 것으로서, 이동 단말의 촬영 수단을 통해 제공되는 실제 화면에 이동 단말이 위치한 곳의 주변 정보를 실시간으로 합성하여 증강 현실 기법을 적용하여 제공하도록 함으로써 사용자의 만족도와 편의성을 크게 향상시킬 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.The present invention has been made in view of the above limitations, by real-time synthesis of the surrounding information of the location where the mobile terminal is located on the actual screen provided through the photographing means of the mobile terminal by applying the augmented reality technique to provide the user An object of the present invention is to provide a method and apparatus that can greatly improve the satisfaction and convenience of the.

또한, 본 발명은 사용자가 자신의 이동 단말을 통해 직접 자신이 주변 정보를 등록하거나 설정할 수 있도록 함으로써 사용자 각각의 취향에 따른 개별적인 정보를 축적 및 제공하도록 하고, 이를 다른 사용자와 공유하도록 함으로써 보다 풍성한 정보를 획득할 수 있도록 하는 방법 및 장치를 제공하는 것을 또 다른 목적으로 한다.
In addition, the present invention allows the user to directly register or set the surrounding information through his mobile terminal to accumulate and provide individual information according to each user's taste, and to share it with other users more rich information Another object of the present invention is to provide a method and an apparatus for obtaining the same.

상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 네트워크를 통해 결합하는 이동 단말 및 주변 정보 안내 서비스를 제공하는 서버로 이루어진 주변 정보 안내 시스템에서, 이동 단말에 대하여 주변 정보 안내 서비스를 제공하는 방법에 있어서, 서버가 네트워크를 통해 접속된 이동 단말의 위치 정보를 확인하는 제1 단계; 서버가 확인된 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하는 제2 단계; 서버가 추출된 주변 정보 데이터를 이동 단말로 전송하는 제3 단계; 및 이동 단말이 기수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하여 이를 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하거나, 이동 단말이 기수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 맵 정보 영상을 구성하여 이를 이동 단말에서 제공되는 주변 맵 영상과 합성하여 디스플레이부에 출력하는 제4 단계를 구비하는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법을 제공한다.In order to solve the above problems, the present invention provides a method for providing a peripheral information guide service to a mobile terminal in a peripheral information guide system consisting of a mobile terminal and a server providing a peripheral information guide service coupled through a network. A first step of identifying, by a server, location information of a mobile terminal connected through a network; A second step of extracting, by the server, the surrounding information data of the mobile terminal based on the identified position information; A third step of transmitting, by the server, the extracted peripheral information data to the mobile terminal; And configuring the surrounding information image to be output to the display unit of the mobile terminal based on the surrounding information data received by the mobile terminal and synthesizing it with the image photographed and output by the photographing means of the mobile terminal or outputting the display unit to the display unit. And a fourth step of constructing a map information image to be output to the display unit of the mobile terminal based on the received ambient information data, synthesizing it with the surrounding map image provided from the mobile terminal, and outputting it to the display unit. Provided is a method for providing peripheral information guide service for a mobile terminal.

여기에서, 제4 단계는, 이동 단말 내부에 포함된 위치 센서에 의해 이동 단말의 지면에 대한 위치 관계에 따라 결정되도록 구성할 수 있다.Here, the fourth step may be configured to be determined according to the positional relationship to the ground of the mobile terminal by the position sensor included in the mobile terminal.

또한, 추출되는 주변 정보 데이터는, 이동 단말 또는 다른 제3의 이동 단말에 의해 미리 설정된 데이터일 수 있다.In addition, the extracted peripheral information data may be data preset by the mobile terminal or another third mobile terminal.

또한, 제4 단계에서 주변 정보 영상 및 맵 정보 영상은 이동 단말에서 미리 설정된 범위 이내에 속하는 경우에만 출력되도록 구성될 수 있다.In addition, in the fourth step, the surrounding information image and the map information image may be configured to be output only when they fall within a preset range in the mobile terminal.

또한, 제4 단계에서 합성되어 출력되는 영상은 증강 현실 기법에 의하여 이루어진 것일 수 있다.In addition, the image synthesized and output in the fourth step may be made by an augmented reality technique.

또한, 제4 단계에서, 이동 단말의 디스플레이부에 의해 제공되는 선택 인터페이스에 의해 네비게이션 메뉴가 선택된 경우, 이동 단말에서 해당하는 위치까지의 이동 경로 정보를 디스플레이부에 출력할 수 있다.In addition, in the fourth step, when the navigation menu is selected by the selection interface provided by the display unit of the mobile terminal, the movement path information from the mobile terminal to the corresponding position may be output to the display unit.

또한, 제4 단계에서, 주변 정보 영상 및 맵 정보는 이동 단말의 방향 정보를 고려하여 합성 출력될 수 있다.In addition, in the fourth step, the surrounding information image and the map information may be synthesized and output in consideration of the direction information of the mobile terminal.

본 발명의 다른 측면에 의하면, 네트워크를 통해 결합하는 이동 단말 및 서버로 구성되어 이동 단말에 대하여 주변 정보 안내 서비스를 제공하는 주변 정보 안내 서비스 제공 시스템에 있어서, 네트워크를 통해 접속된 이동 단말의 위치 정보를 확인하고, 확인된 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하고, 추출된 주변 정보 데이터를 이동 단말로 전송하되, 이동 단말은 기수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하여 이를 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하거나, 이동 단말이 기수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 맵 정보 영상을 구성하여 이를 이동 단말에서 제공되는 주변 맵 영상과 합성하여 디스플레이부에 출력하는 것을 특징으로 하는 주변 정보 안내 서비스 제공 시스템이 제공된다.According to another aspect of the present invention, in the peripheral information guide service providing system consisting of a mobile terminal and a server coupled via a network to provide a peripheral information guide service to the mobile terminal, location information of the mobile terminal connected through the network Confirm the information, extract the surrounding information data of the mobile terminal based on the identified location information, and transmit the extracted surrounding information data to the mobile terminal, wherein the mobile terminal displays the display unit of the mobile terminal based on the received peripheral information data. A map that is configured to output the surrounding information image to be output and synthesized with the image photographed by the photographing means of the mobile terminal and output to the display unit, or a map to be output to the display unit of the mobile terminal based on the surrounding information data received by the mobile terminal. Surround map provided by mobile terminal The phase synthesis with the ambient information which is characterized in that the output to the display unit information service providing system is provided.

본 발명의 또 다른 측면에 의하면, 네트워크를 통해 이동 단말에 연결되는 주변 정보 안내 시스템에서, 이동 단말에 주변 정보 안내 서비스를 제공하는 방법에 있어서, 이동 단말로부터 위치 정보 및 이동 단말의 주변 영상 정보를 수신하는 제1 단계; 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하는 제2 단계; 주변 영상 정보에 포함된 적어도 하나의 건물을 인식하고 데이터베이스에서 해당 건물 인식 정보 데이터를 추출하는 제3 단계; 및 주변 정보 데이터 및 건물 인식 정보 데이터를 상기 이동 단말로 전송하는 제4 단계를 포함하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법이 제공된다. 여기에서, 주변 정보 데이터 및 건물 인식 정보 데이터는 이동 단말의 화면에서 출력된다.According to another aspect of the present invention, in a peripheral information guide system connected to a mobile terminal through a network, the method for providing a peripheral information guide service to the mobile terminal, the location information and the surrounding image information of the mobile terminal from the mobile terminal A first step of receiving; Extracting peripheral information data of the mobile terminal based on the location information; Recognizing at least one building included in surrounding image information and extracting corresponding building recognition information data from a database; And a fourth step of transmitting the surrounding information data and the building recognition information data to the mobile terminal. Here, the surrounding information data and the building recognition information data are output on the screen of the mobile terminal.

본 발명의 또 다른 측면에 의하면, 네트워크를 통해 이동 단말에 연결되는 서버를 구비한 주변 정보 안내 시스템에서, 이동 단말에 주변 정보 안내 서비스를 제공하는 방법에 있어서, 이동 단말의 위치 정보를 확인하는 제1 단계; 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하는 제2 단계; 주변 정보 데이터를 이동 단말로 전송하는 제3 단계-여기서, 이동 단말은 이동 단말에 구비된 촬영 수단에 의해 촬영되어 출력될 촬영 영상과 주변 정보 데이터를 합성하거나, 서버 또는 이동 단말에서 제공하는 주변 맵 영상과 주변 정보 데이터를 합성하여 디스플레이부에 출력함-; 서버 또는 이동 단말에 탑재된 어플리케이션에서 이동 단말이 목적지 인근에 위치하는가를 판단하는 제4 단계; 이동 단말로부터 이동 단말의 주변 영상 정보를 수신하는 제5 단계; 주변 영상 정보에 포함된 적어도 하나의 건물을 인식하고 데이터베이스에서 해당 건물 인식 정보 데이터를 추출하는 제6 단계; 및 건물 인식 정보 데이터를 이동 단말로 전송하는 제7 단계를 포함하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법이 제공된다. 여기에서, 목적지 인근에서 이동 단말의 화면에는 주변 정보 데이터 및 건물 인식 정보 데이터가 출력된다.
According to another aspect of the present invention, in a peripheral information guide system having a server connected to a mobile terminal via a network, the method for providing the peripheral information guide service to the mobile terminal, comprising: identifying the location information of the mobile terminal; Stage 1; Extracting peripheral information data of the mobile terminal based on the location information; Third step of transmitting the surrounding information data to the mobile terminal, wherein the mobile terminal synthesizes the photographed image and the surrounding information data to be photographed and output by the photographing means provided in the mobile terminal, or the surrounding map provided by the server or the mobile terminal. Synthesizing the image and the surrounding information data and outputting it to the display unit; A fourth step of determining whether the mobile terminal is located near a destination in an application mounted on the server or the mobile terminal; A fifth step of receiving peripheral image information of the mobile terminal from the mobile terminal; A sixth step of recognizing at least one building included in the surrounding image information and extracting corresponding building recognition information data from a database; And a seventh step of transmitting building recognition information data to the mobile terminal. Here, the surrounding information data and the building recognition information data are output to the screen of the mobile terminal near the destination.

본 발명에 의하면, 이동 단말의 촬영 수단을 통해 제공되는 실제 화면에 이동 단말이 위치한 곳의 주변 정보를 실시간으로 합성하여 증강 현실 기법을 적용하여 제공하도록 함으로써 사용자의 만족도와 편의성을 크게 향상시킬 수 있는 방법 및 장치를 제공할 수 있다.According to the present invention, by real-time synthesis of the surrounding information of the location where the mobile terminal is located on the actual screen provided through the photographing means of the mobile terminal by applying augmented reality technique can be greatly improved the user's satisfaction and convenience A method and apparatus can be provided.

또한, 본 발명에 의하면, 사용자가 자신의 이동 단말을 통해 직접 자신이 주변 정보를 등록하거나 설정할 수 있도록 함으로써 사용자 각각의 취향에 따른 개별적인 정보를 축적 및 제공하도록 하고, 이를 다른 사용자와 공유하도록 함으로써 보다 풍성한 정보를 획득할 수 있도록 하는 방법 및 장치를 제공할 수 있다.
In addition, according to the present invention, by allowing a user to register or set the surrounding information directly through his mobile terminal, to accumulate and provide individual information according to each user's taste, and to share it with other users It is possible to provide a method and an apparatus for acquiring abundant information.

도 1은 본 발명의 일 실시예에 따른 주변 정보 안내 서비스 제공 방법을 구현하기 위한 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1과 같은 구성의 시스템에서 이루어지는 본 발명에 의한 방법의 일실시예를 나타낸 흐름도이다.
도 3 내지 도 8은 본 발명의 주변 정보 안내 서비스가 실제 제공되는 화면을 예시적으로 나타낸 도면들이다.
도 9는 본 발명의 또 다른 실시예에 따른 주변 정보 안내 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 주변 정보 안내 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 11 및 도 12는 도 9 또는 도 10의 주변 정보 안내 서비스에 채용가능한 이동 단말의 화면을 예시적으로 나타낸 도면들이다.1 is a view schematically showing the overall configuration of a system for implementing a method for providing a surrounding information guide service according to an embodiment of the present invention.
2 is a flow diagram illustrating one embodiment of a method according to the invention in a system of the same configuration as in FIG.
3 to 8 are diagrams exemplarily illustrating a screen on which the peripheral information guide service of the present invention is actually provided.
9 is a schematic flowchart of a method of providing a surrounding information guide service according to another embodiment of the present invention.
10 is a schematic flowchart of a method of providing a surrounding information guide service according to another embodiment of the present invention.
11 and 12 are diagrams exemplarily illustrating screens of a mobile terminal employable in the surrounding information guide service of FIG. 9 or FIG. 10.

이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 이동 단말에 대한 주변 정보 안내 서비스 제공 방법을 구현하기 위한 시스템의 전체 구성을 개략적으로 나타낸 도면이다.1 is a view schematically showing the overall configuration of a system for implementing a method for providing a surrounding information guide service for a mobile terminal according to the present invention.

도 1을 참조하면, 이동 단말에 대한 주변 정보 안내 서비스 제공 방법을 구현하기 위한 시스템(100, 이하, 간단히 본 시스템이라 한다)은 네트워크를 통해 이동 단말(10)에 접속되는 서버(20)를 구비한다. 이동 단말(10)은 넓은 의미에서 본 시스템(100)에 포함될 수 있다.Referring to FIG. 1, a system (100, hereinafter simply referred to as the present system) for implementing a method for providing a surrounding information guide service for a mobile terminal includes a server 20 connected to the mobile terminal 10 through a network. do. The mobile terminal 10 may be included in the system 100 in a broad sense.

이동 단말(10)과 서버(20)는 이동 통신망 및/또는 유선 통신망 등의 네트워크를 통해 서로 연결되며, 인터넷망 및/또는 공중 통신망(PSTN)등과 결합하여 이루어질 수도 있음은 물론이다.The mobile terminal 10 and the server 20 are connected to each other through a network such as a mobile communication network and / or a wired communication network, it may be made in combination with the Internet network and / or public communication network (PSTN).

이동 단말(10)은 GPS 수신기 등과 같은 위치 확인 수단을 포함하는 것이 바람직하며, 본 발명에 의한 주변 정보 안내 서비스 제공 방법을 수행하기 위한 어플리케이션 형태의 프로그램을 포함한다. 또한, 이동 단말(10)은 카메라와 같은 촬영 수단을 포함하고, LCD 등과 같은 디스플레이부를 포함하고, 네비게이션 서비스를 수행하기 위한 맵 데이터 및 네비게이션 프로그램을 포함할 수 있다.The mobile terminal 10 preferably includes a positioning means such as a GPS receiver, and includes an application type program for performing the method for providing the surrounding information guide service according to the present invention. In addition, the mobile terminal 10 may include photographing means such as a camera, a display unit such as an LCD, etc., and may include map data and a navigation program for performing a navigation service.

본 발명에서의 이동 단말(10)은 예컨대, 핸드폰, 스마트폰, PDA, 노트북 등과 같은 프로세서와 메모리를 구비하는 장치일 수 있다. 본 발명에서의 이동 단말(10)은 상기한 바와 같은 위치 확인 수단을 통해 자신의 위치 정보를 획득할 수 있고 이를 네트워크를 통해 서버(20)측으로 전송할 수 있다.In the present invention, the mobile terminal 10 may be, for example, a device having a processor and a memory such as a mobile phone, a smart phone, a PDA, a notebook computer, and the like. In the present invention, the mobile terminal 10 may obtain its own location information through the location checking means as described above and transmit it to the server 20 through the network.

서버(20)는 이동 단말(10)로부터 위치 정보가 전송되어 이를 확인하면, 확인된 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하고 이를 이동 단말(10)로 전송하는 기능을 수행한다. 서버(20)는 이러한 주변 정보 데이터를 포함하여 본 발명에 의한 방법을 수행하기 위한 기타 각종 데이터를 저장하는 데이터베이스(21)를 구비한다. When the server 20 transmits the location information from the mobile terminal 10 and confirms the location information, the server 20 extracts the surrounding information data of the mobile terminal based on the identified location information and transmits the information to the mobile terminal 10. The server 20 comprises a database 21 which stores such various pieces of information data and other various data for carrying out the method according to the present invention.

주변 정보 데이터는 이동 단말(10) 또는 다른 제3의 이동 단말에 의해 미리 설정 또는 등록된 것일 수 있고, 서버(20)가 자체적으로 구축한 것일 수도 있다. 주변 정보 데이터라 함은, 예컨대 주변에 위치한 상점 이름, 상점에서 제공되는 서비스, 서비스의 가격 등 주변에 위치하는 상점 등과 관련된 데이터이거나, 지하철 역 이름, 버스 정류장 이름, 명승지 이름 및 정보, 건물 정보 등 이동 단말(10)의 위치에 따라 주변에 위치하고 있는 모든 종류의 목적물(Point of Interest, POI) 데이터를 의미한다. 이러한 주변 정보 데이터는 서버(20)에서 제공되는 것일 수도 있고, 사용자가 자신의 이동 단말(10)을 통해 등록해 둘 수도 있다. 또한, 자신이 등록한 주변 정보 데이터는 다른 사용자와 공유 여부를 설정할 수도 있는데 공유로 설정이 되면 직간접적으로 다른 사용자의 이동 단말(10)로 전송될 수 있다.The surrounding information data may be set or registered in advance by the mobile terminal 10 or another third mobile terminal, or may be constructed by the server 20 itself. The neighborhood information data refers to data related to, for example, a name of a store located nearby, a service provided by a store, a price of a service, etc., or a subway station name, a bus stop name, a scenic spot name and information, a building information, etc. Means all kinds of Point of Interest (POI) data located in the vicinity according to the position of the mobile terminal 10. Such peripheral information data may be provided by the server 20 or may be registered by the user through his mobile terminal 10. In addition, the neighboring information data registered by the user may set whether to share with other users. When the sharing information is set to be shared, it may be directly or indirectly transmitted to the mobile terminal 10 of another user.

한편, 서버(20)는 이동 단말(10)로 전송할 주변 정보 데이터의 범위를 제한할 수 있는데 예컨대 이동 단말(10)로부터 일정 거리 이내의 주변 정보를 전송한다든지 또는 일정 대상(예컨대, 특정 커피 전문점)에 대한 주변 정보만을 전송하도록 구성될 수도 있다. 물론, 서버(20)측에서는 일정 거리의 범위를 넓게 잡아서 관련된 주변 정보 데이터를 전송하고 이동 단말(10)에서의 설정에 따라 필요한 정보만을 추출하여 사용하도록 구성할 수도 있다.On the other hand, the server 20 may limit the range of the peripheral information data to be transmitted to the mobile terminal 10, for example, transmitting the peripheral information within a certain distance from the mobile terminal 10 or a certain target (for example, a specific coffee shop) It may also be configured to transmit only the peripheral information for). Of course, the server 20 may be configured to transmit a range of predetermined distances to transmit relevant peripheral information data, and to extract and use only necessary information according to the setting in the mobile terminal 10.

서버(20)에서 이와 같은 주변 정보 데이터가 전송되면, 이동 단말(10)은 상기 수신한 주변 정보 데이터에 기초하여 이동 단말(10)의 디스플레이부에 출력될 주변 정보 영상을 구성하고 주변 정보 정보를 이동 단말(10)의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하거나(제1 모드), 이동 단말(10)이 상기 수신한 주변 정보 데이터에 기초하여 이동 단말(10)의 디스플레이부에 출력될 맵 정보 영상을 구성하고 맵 정보 영상을 이동 단말(10)에서 제공되는 주변 맵 영상과 합성하여 디스플레이부에 출력(제2 모드)할 수 있다.When the surrounding information data is transmitted from the server 20, the mobile terminal 10 configures the surrounding information image to be output to the display unit of the mobile terminal 10 based on the received surrounding information data, and displays the surrounding information information. Synthesized with the image photographed by the photographing means of the mobile terminal 10 and output to the display unit (first mode), or the mobile terminal 10 of the mobile terminal 10 based on the received peripheral information data A map information image to be output to the display unit may be configured, and the map information image may be synthesized with the surrounding map image provided from the mobile terminal 10 and output to the display unit (second mode).

제1 모드와 제2 모드의 구별은 이동 단말(10) 내부에 포함된 위치 센서에 의해 이동 단말의 지면에 대한 위치 관계에 따라 결정될 수 있다. 예컨대, 이동 단말(10)에 포함되는 자기 센서는 이동 단말(10)의 지면에 대한 위치를 감지할 수 있는데, 이에 의하여 이동 단말(10)이 수직/수평/기울임 등의 상태를 감지할 수 있게 된다. 이에 의하여, 예컨대 이동 단말(10)을 지면에 수직에 가깝게 세운 경우에는 제1 모드로 동작하도록 하고, 이동 단말(10)을 지면에 수평에 가깝게 눕힌 경우에는 제2 모드로 동작하도록 구성할 수 있다.The distinction between the first mode and the second mode may be determined according to the positional relationship with respect to the ground of the mobile terminal by the position sensor included in the mobile terminal 10. For example, the magnetic sensor included in the mobile terminal 10 may detect a position of the ground of the mobile terminal 10, thereby allowing the mobile terminal 10 to detect a state such as vertical / horizontal / tilt. do. Thus, for example, the mobile terminal 10 may be configured to operate in the first mode when the mobile terminal 10 is placed perpendicular to the ground, and operate in the second mode when the mobile terminal 10 is laid horizontally on the ground. .

한편, 이동 단말(10)에서 제1 모드에서 합성되어 출력되는 영상은 증강 현실 기법에 의하여 이루어지도록 구성할 수 있다. 증강 현실(augmented reality) 기법이라 함은, 가상현실(Virtual Reality) 기술의 일종으로서 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 의미하는데, 이러한 증강현실 기법은 실제의 영상에 더하여 가상의 사물을 합성하여 부가적인 정보들을 제공한다는 특징이 있다. 이러한 증강현실 기법을 이용하면, 이동 단말(10)의 촬영 수단에 의해 촬영되어 출력되는 실제의 영상(촬영 영상)에 주변 정보 데이터를 합성하여 나타내도록 함으로써 사용자의 만족도와 편의성을 크게 향상시킬 수 있다. 증강현실 기법 자체는 종래 기술에 의해 알려져 있으므로 이에 대한 상세 설명은 생략한다.Meanwhile, the image synthesized and output in the first mode in the mobile terminal 10 may be configured by an augmented reality technique. Augmented reality technology is a kind of virtual reality technology that refers to a computer graphics technique that synthesizes virtual objects in the real environment and makes them look like objects in the original environment. The technique is characterized in that additional information is provided by synthesizing a virtual object in addition to the actual image. By using the augmented reality technique, the user's satisfaction and convenience can be greatly improved by synthesizing the surrounding information data on the actual image (photographed image) photographed and output by the photographing means of the mobile terminal 10. . Since the AR technology itself is known by the prior art, a detailed description thereof will be omitted.

한편, 이동 단말(10)은 제1 모드 또는 제2 모드 상태에서, 이동 단말(10)의 디스플레이부에 의해 제공되는 선택 인터페이스에 의해 네비게이션 메뉴가 선택된 경우, 이동 단말에서 해당하는 위치까지의 이동 경로 정보를 디스플레이부에 출력하도록 구성될 수도 있다. 이를 위하여 이동 단말(10)은 네비게이션 프로그램 및 맵 데이터를 구비할 수 있다. 여기에서도, 이동 경로 정보는 증강 현실 기법에 의해 표시될 수 있다. 또한, 이동 단말(10)에서 제공되는 주변 정보 영상 및 맵 정보는 이동 단말의 방향 정보를 고려하여 합성 출력될 수 있다. 이를 위하여 이동 단말(10)은 그 내부에 방향 정보를 획득할 수 있는 전자 나침반 등과 같은 방향 정보 확인 수단을 구비한다. 이에 의하여 이동 단말(10)이 위치한 곳에서 어느 방향을 향하는가를 확인할 수 있으므로 이동 단말(10)이 향하는 방향에 대한 주변 정보 데이터를 추출하여 출력할 수 있게 된다.Meanwhile, when the navigation menu is selected by the selection interface provided by the display unit of the mobile terminal 10 in the first mode or the second mode state, the mobile terminal 10 moves from the mobile terminal to the corresponding position. It may also be configured to output information to the display. To this end, the mobile terminal 10 may include a navigation program and map data. Here too, the movement path information may be displayed by the augmented reality technique. In addition, the surrounding information image and the map information provided by the mobile terminal 10 may be synthesized and output in consideration of the direction information of the mobile terminal. To this end, the mobile terminal 10 is provided with direction information checking means such as an electronic compass that can obtain direction information therein. As a result, it is possible to determine in which direction the mobile terminal 10 is located, so that it is possible to extract and output peripheral information data about the direction in which the mobile terminal 10 is directed.

한편, 도시하지는 않았으나, 서버(20)는 인터넷 망 등의 네트워크를 통해 PC 등과 같은 웹 클라이언트와 연결될 수 있다. 웹 클라이언트를 통해 사용자는 자신이 등록해 둔 주변 정보 데이터를 편집/설정/등록/삭제 등의 기능을 수행할 수 있다. 또한, 웹 클라이언트를 통해 상기 제2 모드에서와 같이 맵 데이터 위에 주변 정보 데이터를 합성하여 출력하도록 구성될 수도 있다.
Although not shown, the server 20 may be connected to a web client such as a PC through a network such as an internet network. Through the web client, the user can perform functions such as editing, setting, registering, and deleting the surrounding information data registered by the user. In addition, it may be configured to synthesize surrounding information data on the map data and output the same as in the second mode through the web client.

도 2는 도 1과 같은 구성의 시스템에서 이루어지는 본 발명에 의한 방법의 일실시예를 나타낸 흐름도이다.2 is a flow diagram illustrating one embodiment of a method according to the invention in a system of the same configuration as in FIG.

도 2를 참조하면, 우선 서버(20)가 네트워크를 통해 접속된 이동 단말(10)의 위치 정보를 확인한다(S100). 이동 단말(10)의 위치 정보는 전술한 바와 같이 이동 단말(10)에 포함되는 GPS 수신기 등과 같은 위치 확인 수단을 통해 획득되어 서버(20)로 전송된다. 이동 단말(10)이 GPS 수신기와 같이 정확한 위치 정보를 획득할 수 있는 위치 확인 수단이 없는 경우, 예컨대 이동 단말(10)이 결합된 기지국으로부터 이동 단말(10)의 위치 정보를 확인할 수 있다.Referring to FIG. 2, first, the server 20 checks location information of the mobile terminal 10 connected through a network (S100). As described above, the location information of the mobile terminal 10 is obtained through a positioning means such as a GPS receiver included in the mobile terminal 10 and transmitted to the server 20. When the mobile terminal 10 does not have a positioning means for acquiring accurate location information, such as a GPS receiver, for example, the mobile terminal 10 may check the location information of the mobile terminal 10 from the base station to which the mobile terminal 10 is coupled.

다음으로, 서버(20)는 상기 확인된 위치 정보에 기초하여 이동 단말(10)이 위치한 곳의 주변 정보 데이터를 데이터베이스(21)로부터 추출한다(S110). 주변 정보 데이터는 전술한 바와 같이 이동 단말(10)이 위치한 곳으로부터 소정 범위 이내에 위치한 대상물(POI)의 데이터로서, 상점 정보, 역 정보 등과 같은 정보일 수 있다. Next, the server 20 extracts the peripheral information data of the location where the mobile terminal 10 is located from the database 21 based on the identified location information (S110). As described above, the surrounding information data is data of an object POI located within a predetermined range from where the mobile terminal 10 is located, and may be information such as shop information, station information, and the like.

다음으로, 서버(20)는 주변 정보 데이터가 추출되면, 추출된 주변 정보 데이터를 이동 단말(10)로 전송한다(S120).Next, when the peripheral information data is extracted, the server 20 transmits the extracted peripheral information data to the mobile terminal 10 (S120).

이동 단말(10)은 서버(20)로부터 주변 정보 데이터를 수신하면, 수신한 주변 정보 데이터에 기초하여 이동 단말(10)의 디스플레이부에 출력될 주변 정보 영상을 구성하고 이를 이동 단말(10)의 촬영 수단에 의해 촬영되어 출력되는 촬영 영상과 합성하여 디스플레이부에 출력하거나(제1 모드, S130), 수신한 주변 정보 데이터에 기초하여 이동 단말(10)의 디스플레이부에 출력될 맵 정보 영상을 구성하고 이를 이동 단말(10)에서 제공되는 주변 맵 영상과 합성하여 디스플레이부에 출력(제2 모드, S140)한다.When the mobile terminal 10 receives the surrounding information data from the server 20, the mobile terminal 10 configures the surrounding information image to be output to the display unit of the mobile terminal 10 based on the received surrounding information data, The map information image to be output to the display unit of the mobile terminal 10 based on the received peripheral information data or synthesized with the photographed image photographed by the photographing means and outputted to the display unit (first mode, S130) Then, it is synthesized with the surrounding map image provided by the mobile terminal 10 and output to the display unit (second mode, S140).

전술한 바와 같이, 제1 모드는 이동 단말(10)의 카메라에 의해 촬영되어 실시간으로 출력되는 영상과 주변 정보 데이터에 기초하여 구성되는 주변 정보 영상이 증강 현실 기법에 의해 합성되어 제공되는 것이고, 제2 모드는 주변 맵 영상에 주변 정보 데이터에 기초하여 구성되는 맵 정보 영상이 합성되어 출력 제공되는 것이다. 제1 모드와 제2 모드의 구별은 전술한 바와 같이 이동 단말(10)의 지면에 대한 경사 정도에 따라 구별될 수 있다. As described above, in the first mode, the image captured by the camera of the mobile terminal 10 and output in real time and the surrounding information image configured based on the surrounding information data are synthesized and provided by the augmented reality technique. In the second mode, the map information image configured based on the surrounding information data is synthesized and output to the surrounding map image. As described above, the first mode and the second mode may be distinguished according to the degree of inclination of the ground of the mobile terminal 10.

도 2에 나타내지는 않았지만, 상기 단계(S130, S140)에서, 이동 단말(10)의 디스플레이부에 의해 제공되는 선택 인터페이스에 의해 네비게이션 메뉴가 선택된 경우, 이동 단말(10)은 현재 위치에서 해당 대상물의 위치까지의 이동 경로 정보를 디스플레이부에 출력하도록 구성될 수도 있다.Although not shown in FIG. 2, in the steps S130 and S140, when the navigation menu is selected by the selection interface provided by the display unit of the mobile terminal 10, the mobile terminal 10 selects the target object at the current location. The display device may be configured to output the movement path information to the position on the display unit.

한편, 전술한 바와 같이, 상기 주변 정보 영상 및 맵 정보는 이동 단말의 방향 정보를 고려하여 합성 출력되도록 구성될 수도 있음은 물론이다.
As described above, the surrounding information image and the map information may be configured to be synthesized and output in consideration of the direction information of the mobile terminal.

도 3 내지 도 8은 도 1 내지 도 2를 참조하여 설명한 본 발명에 의한 이동 단말에 대한 주변 정보 안내 서비스가 실제 제공되는 화면을 예시적으로 나타낸 것이다. 3 to 8 exemplarily illustrate a screen on which a peripheral information guide service for a mobile terminal according to the present invention described with reference to FIGS. 1 to 2 is actually provided.

도 3은 이동 단말(10)에서 위치 정보를 획득하는 과정을 나타낸 것으로서, 도 3의 (a)에서 이동 단말(10)의 디스플레이부에 나타난 단축 아이콘을 선택함으로써 본 발명에 의한 주변 정보 안내 서비스를 이동 단말(10)에서 구현하기 위한 어플리케이션을 구동시킨다. 도 3의 (b)와 같이 어플리케이션이 구동되면 GPS 수신기는 위성으로부터의 신호를 수신하고 이에 의하여 위치 정보를 확인하게 된다. 도 3의 (c)는 화면을 가로로 할 것을 안내하는 것으로서 화면이 가로 방향으로 즉, 이동 단말(10)이 가로 방향으로 놓인 경우에 본 발명에 의한 서비스가 보다 잘 제공될 수 있으므로 이를 사용자에게 안내하기 위한 과정이다. 이러한 과정을 통해 이동 단말(10)은 서버(20)에 접속하여 위치 정보를 전송하게 되고, 서버(20)는 위치 정보에 기초하여 주변 정보 데이터를 추출하고 이를 다시 이동 단말(10)로 전송한다.3 illustrates a process of acquiring location information from the mobile terminal 10. In FIG. 3 (a), a peripheral information guide service according to the present invention is selected by selecting a shortcut icon displayed on the display unit of the mobile terminal 10. Referring to FIG. Drives an application for implementation in the mobile terminal 10. When the application is driven as shown in FIG. 3 (b), the GPS receiver receives a signal from a satellite and thereby confirms location information. 3 (c) is a guide to make the screen horizontal, so that the service according to the present invention can be better provided to the user when the screen is placed in the horizontal direction, that is, the mobile terminal 10 is placed in the horizontal direction. This is a guide. Through this process, the mobile terminal 10 accesses the server 20 and transmits location information, and the server 20 extracts the surrounding information data based on the location information and transmits it to the mobile terminal 10 again. .

도 4는 서버(20)에서 이동 단말로 주변 정보 데이터가 전송된 경우, 도 1 및 도 2에서 설명한 제1 모드로 동작하는 이동 단말(10)의 화면을 나타낸 것이다. 4 illustrates a screen of the mobile terminal 10 operating in the first mode described with reference to FIGS. 1 and 2 when the peripheral information data is transmitted from the server 20 to the mobile terminal.

도 4에 나타난 바와 같이, 이동 단말(10)의 카메라를 통해 획득되는 영상을 출력하면서 이에 주변 정보 데이터에 기초한 주변 정보 영상을 구성하고 이를 증강 현실 기법을 이용하여 합성 출력하고 있음을 알 수 있다. 또한, 이동 단말(10)의 디스플레이부에는 여러 가지 기능을 사용자가 선택할 수 있도록 하는 사용자 인터페이스가 하단에 배치되어 있음을 알 수 있고, 해당 기능을 선택하는 것에 의하여 추가적인 정보를 제공하는 등의 기능을 수행할 수 있게 된다.As shown in FIG. 4, while outputting an image acquired through the camera of the mobile terminal 10, it can be seen that the surrounding information image is constructed based on the surrounding information data and synthesized using the augmented reality technique. In addition, the display unit of the mobile terminal 10 can be seen that the user interface that allows the user to select a variety of functions are arranged at the bottom, and provides a function such as providing additional information by selecting the corresponding function It can be done.

도 5는 서버(20)에서 이동 단말로 주변 정보 데이터가 전송된 경우, 도 1 및 도 2에서 설명한 바와 같은 제2 모드로 동작하는 이동 단말(10)의 화면을 나타낸 것이다. FIG. 5 illustrates a screen of the mobile terminal 10 operating in the second mode as described with reference to FIGS. 1 and 2 when the peripheral information data is transmitted from the server 20 to the mobile terminal.

도 5에 나타난 바와 같이, 이동 단말(10)의 디스플레이부의 화면상에는 주변 맵 영상과 함께 이동 단말(10)이 주변 정보 데이터에 기초하여 구성한 맵 정보 영상이 함께 합성되어 출력 제공되고 있음을 알 수 있다.  As shown in FIG. 5, it can be seen that the map information image configured by the mobile terminal 10 based on the surrounding information data together with the surrounding map image is combined and output on the screen of the display unit of the mobile terminal 10. .

도 6은 이동 단말(10)의 디스플레이부에 출력될 주변 정보 데이터의 카테고리를 설정하는 화면을 예시적으로 나타낸 것으로서, 도 6을 참조하면 이동 단말(10)에서 사용자가 예컨대 "스타벅스", "커피빈" 등과 같은 상호를 가진 주변 정보를 선택하도록 되어 있음을 알 수 있다. 이동 단말(10)의 사용자는 이에 의하여 필요한 주변 정보 데이터만이 나타나도록 설정할 수 있게 된다.FIG. 6 is a diagram illustrating a screen for setting a category of peripheral information data to be output to a display unit of the mobile terminal 10. Referring to FIG. 6, a user may, for example, “starbucks” or “ Coffee bean, "and so on. The user of the mobile terminal 10 can thereby set only the necessary peripheral information data to appear.

도 7은 도 4 및 도 5와 같은 상태에서 기능 버튼을 이용하여 사용자가 추가적인 기능을 선택한 경우 제공되는 이동 단말(10)의 화면을 예시적으로 나타낸 것이다.7 exemplarily illustrates a screen of the mobile terminal 10 provided when a user selects an additional function using a function button in the same state as in FIGS. 4 and 5.

도 7을 참조하면 좌측은 경로 안내 모드 즉, 이동 단말에서 해당하는 위치까지의 이동 경로 정보를 디스플레이부에 출력하는 모드를 나타낸 것이고, 가운데의 화면은 해당 상점에서 제공되는 메뉴 정보를 나타낸 것이다. 우측의 화면은 해당 상점의 전화번호로 전화를 걸 수 있도록 하는 화면을 나타낸 것이다.Referring to FIG. 7, the left side shows a route guidance mode, that is, a mode for outputting moving route information from a mobile terminal to a corresponding position on a display unit, and the screen in the middle shows menu information provided from a corresponding store. The screen on the right shows a screen that allows you to call the store's phone number.

도 8은 이동 단말(10)의 디스플레이부에 출력될 주변 정보 데이터의 범위를 설정하는 화면을 예시적으로 나타낸 것으로서, 도 8을 참조하면 이동 단말(10)에서 사용자가 예컨대 "100m", "200m" 등과 같이 일정 거리 내의 주변 정보만을 나타내도록 설정할 수 있음을 알 수 있다.FIG. 8 is a diagram illustrating a screen for setting a range of peripheral information data to be output to a display unit of the mobile terminal 10. Referring to FIG. 8, a user may, for example, “100m” or “200m in the mobile terminal 10. It can be seen that it can be set to display only the surrounding information within a certain distance, such as ".

한편, 별도 도면으로 나타내지는 않았으나, 예컨대 도 4와 같은 화면 상태에서 이동 단말(10)의 사용자가 주변 정보 데이터를 등록/설정/삭제 등의 동작을 수행하도록 구성될 수도 있다. 또한, 도 4와 같이 제공되는 주변 정보 데이터에 기초한 주변 정보 영상에 대하여 해당 정보 영상과 관련된 메시지, 메모, 음성 등의 데이터를 결합하도록 구성할 수도 있다. 이러한 과정을 통해 주변 정보 데이터가 갱신되면 이동 단말(10)은 서버(20)로 해당 데이터를 전송하고 서버(20)는 이동 단말(10) 사용자에 대해 갱신된 데이터를 저장한다. 갱신된 데이터가 공유로 설정된다면 다른 사용자도 함께 공유할 수 있게 되어 다른 제3의 이동 단말이 해당 위치에서 접속하는 경우 제3의 이동 단말로 공유로 설정된 주변 정보 데이터를 전송하게 된다.Although not shown in the drawing, the user of the mobile terminal 10 may be configured to perform operations such as registering / setting / deleting the surrounding information data in the screen state as shown in FIG. 4. In addition, the peripheral information image based on the surrounding information data provided as shown in FIG. 4 may be configured to combine data such as a message, memo, voice, etc. related to the information image. When the surrounding information data is updated through this process, the mobile terminal 10 transmits the corresponding data to the server 20, and the server 20 stores the updated data for the user of the mobile terminal 10. If the updated data is set to be shared, other users can also share it, and when another third mobile terminal accesses from the corresponding location, the peripheral information data set to be shared is transmitted to the third mobile terminal.

또한, 도시하지는 않았으나 본 발명에 의한 방법 및 시스템은, 각각의 이동 단말(10) 별로 자신의 주변 정보 데이터를 구성할 수 있고 이를 공유하도록 할 수 있으므로, 이러한 점을 이용하여 특정 주변 정보 데이터를 기초로 이동 단말(10)들 사이에서 네트워크 서비스를 제공할 수 있게 된다. 예컨대, A 사용자와 B 사용자가 자신의 주변 정보 데이터로서 특정 상점 C를 설정해 둔 경우, C를 설정해 둔 사용자들은 서로 공통점이 있으므로 이를 이용한 커뮤니티 서비스, 정보 공유 서비스 등의 SNS(social network service)를 제공할 수 있게 된다.
In addition, although not shown, the method and system according to the present invention may configure and share its surrounding information data for each mobile terminal 10, and thus, based on the specific surrounding information data, The network service can be provided between the mobile terminals 10. For example, if user A and user B have set a specific store C as their surrounding information data, users who set C have in common each other, so they provide social network services (SNS) such as community service and information sharing service. You can do it.

도 9는 본 발명의 또 다른 실시예에 따른 주변 정보 안내 서비스 제공 방법에 대한 개략적인 흐름도이다.9 is a schematic flowchart of a method of providing a surrounding information guide service according to another embodiment of the present invention.

도 1 및 도 9를 참조하면, 우선 서버(20)가 네트워크를 통해 접속된 이동 단말(10)의 위치 정보와 함께 이동 단말의 카메라에 의해 획득된 카메라 영상 데이터를 수신한다(S900). 카메라 영상 데이터는 도 4의 영상에 포함된 적어도 일부 영상 예컨대 거리와 건물에 대한 영상에 대응될 수 있고, 혹은 도 10 또는 도 11의 영상에 대응될 수 있다.1 and 9, first, the server 20 receives camera image data obtained by a camera of a mobile terminal together with location information of the mobile terminal 10 connected through a network (S900). The camera image data may correspond to at least some images included in the image of FIG. 4, for example, an image of a street and a building, or may correspond to the image of FIG. 10 or 11.

다음으로, 서버(20)는 이동 단말(10)로부터 수신한 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출한다(S910). 또한, 서버(20)는 이동 단말(10)로부터 수신한 카메라 영상 데이터에 포함된 적어도 하나의 객체를 인식하고 해당 객체 인식 정보 데이터를 추출한다(S920). 여기에서, 객체는 건물, 구조물, 간판, 특정 나무 등이 될 수 있다.Next, the server 20 extracts the surrounding information data of the mobile terminal based on the location information received from the mobile terminal 10 (S910). In addition, the server 20 recognizes at least one object included in the camera image data received from the mobile terminal 10 and extracts the corresponding object recognition information data (S920). Here, the object may be a building, a structure, a sign, a specific tree, or the like.

상기 단계(S920)에 있어서, 서버(20)는 이동 단말(10)의 위치 정보를 이용하여 이동 단말(10)이 현재 위치하는 곳의 주변 영상을 추출하고, 추출된 주변 영상에서 적어도 하나의 객체를 인식하고 인식한 객체에 상응하는 객체 인식 정보 데이터를 데이터베이스에서 추출할 수 있다. 객체 인식은 특징점 매칭이나 윤곽선 매칭 등의 기법을 이용하여 수행될 수 있다. 또한, 객체 인식은 기저장된 상세 설명 정보와의 사용자 입력의 키워드를 매칭시킴으로써 보완적으로 수행될 수 있다.In step S920, the server 20 extracts a surrounding image of the current location of the mobile terminal 10 using the location information of the mobile terminal 10 and at least one object from the extracted surrounding image. Recognize and recognize object recognition information data corresponding to the recognized object from the database. Object recognition may be performed using a technique such as feature point matching or contour matching. In addition, object recognition may be complementarily performed by matching a keyword of a user input with prestored detailed description information.

다음으로, 서버(20)는 주변 정보 데이터와 객체 인식 정보 데이터를 이동 단말(10)로 전송한다(S930).Next, the server 20 transmits the surrounding information data and the object recognition information data to the mobile terminal 10 (S930).

다음으로, 이동 단말(10)은 주변 정보 데이터 및 객체 인식 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하고 주변 정보 영상을 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력한다(제3 모드, S940).Next, the mobile terminal 10 configures the surrounding information image to be output to the display unit of the mobile terminal based on the surrounding information data and the object recognition information data, and the surrounding information image is captured and output by the photographing means of the mobile terminal. And output to the display unit (third mode, S940).

본 실시예에서 주변 정보 영상은 주변 정보 데이터와 객체 인식 정보 데이터를 이용하여 구성한 것으로, 주변 정보 데이터만을 이용하여 구성한 도 2와 관련된 주변 정보 영상과는 차이가 있다. 또한, 이동 단말(10)의 화면에 출력되는 주변 정보 제공 서비스의 영상은, 전술한 제1 모드 또는 제2 모드와 병행하여 증강 현실 기법이나 영상 합성에 의해 제공될 수 있다. 물론, 네비게이션 메뉴가 선택된 경우, 이동 경로 정보 등도 함께 출력될 수 있다.
In the present embodiment, the surrounding information image is configured using the surrounding information data and the object recognition information data, which is different from the surrounding information image related to FIG. 2 configured using only the surrounding information data. In addition, the image of the surrounding information providing service output on the screen of the mobile terminal 10 may be provided by an augmented reality technique or image synthesis in parallel with the first mode or the second mode. Of course, when the navigation menu is selected, movement route information and the like may also be output.

도 10은 본 발명의 또 다른 실시예에 따른 주변 정보 안내 서비스 제공 방법에 대한 개략적인 흐름도이다.10 is a schematic flowchart of a method of providing a surrounding information guide service according to another embodiment of the present invention.

본 실시예는 이동 단말에서 기설정한 목적지가 있는 경우, 목적지 인근에서 주변 정보 서비스를 전환하는 것을 주된 기술적 특징으로 한다. 예를 들면, 본 실시예는 도 2 및 도 9의 실시예들을 조합하여 구성할 수 있다.In the present embodiment, when there is a predetermined destination in the mobile terminal, the main technical feature is to switch the neighboring information service in the vicinity of the destination. For example, the present embodiment may be configured by combining the embodiments of FIGS. 2 and 9.

도 1 및 도 10을 참조하여 좀더 구체적으로 설명하면, 우선 서버(20)는 이동 단말(10)의 위치 정보를 확인한다(S1000). 다음으로, 위치 정보에 기초하여 이동 단말(10)의 주변 정보 데이터를 추출한다(S1010). 그리고, 주변 정보 데이터를 이동 단말(10)로 전송한다(S1020). 여기서, 이동 단말(10)은 이동 단말에 구비된 카메라 등의 촬영 수단에 의해 촬영되어 출력되는 촬영 영상과 주변 정보 데이터로부터 얻은 주변 영상 정보를 합성하여 디스플레이부에 출력하거나(제1 모드, S1070), 서버(20) 또는 이동 단말(10)에서 제공하는 주변 맵 영상과 주변 정보 데이터로부터 얻은 주변 영상 정보를 합성하여 디스플레이부에 출력할 수 있다(제2 모드, S1080).1 and 10, the server 20 first checks location information of the mobile terminal 10 (S1000). Next, the peripheral information data of the mobile terminal 10 is extracted based on the location information (S1010). Then, the peripheral information data is transmitted to the mobile terminal 10 (S1020). Here, the mobile terminal 10 synthesizes the captured image photographed by the photographing means such as a camera provided in the mobile terminal and the surrounding image information obtained from the surrounding information data and outputs it to the display unit (first mode, S1070). In operation S1080, the neighboring map image provided by the server 20 or the mobile terminal 10 and the surrounding image information obtained from the surrounding information data may be synthesized and output to the display unit.

다음으로, 서버(20)에 의해 또는 이동 단말(10)에 탑재된 어플리케이션에 의해 이동 단말이 목적지 인근에 도달하였는가 혹은 위치하는가를 판단한다(S1030). 이러한 목적지 인근에 대한 판단은 이동 단말(10)의 목적지에 대한 위치 정보와 이동 단말(10)의 현재 위치 정보를 비교함으로써 획득할 수 있다.Next, it is determined whether the mobile terminal has reached or is located near the destination by the server 20 or by an application mounted on the mobile terminal 10 (S1030). The determination of the neighborhood of the destination may be obtained by comparing the location information of the destination of the mobile terminal 10 with the current location information of the mobile terminal 10.

다음으로, 이동 단말(10)이 목적지 인근에 위치하면, 서버(20)는 이동 단말(10)로부터 이동 단말의 카메라 영상 데이터를 수신한다(S1040).Next, when the mobile terminal 10 is located near the destination, the server 20 receives camera image data of the mobile terminal from the mobile terminal 10 (S1040).

다음으로, 서버(20)는 카메라 영상 데이터를 인식하고 특히 카메라 영상 데이터 내의 특정 객체를 인식하고 영상 데이터 내의 적어도 하나의 특정 객체에 대한 데이터를 추출한다(S1050). 즉, 서버(20)는 카메라 영상 데이터에 포함된 적어도 하나의 객체를 인식하고 데이터베이스에서 해당 객체 인식 정보 데이터를 추출한다.Next, the server 20 recognizes the camera image data, in particular, recognizes a specific object in the camera image data and extracts data for at least one specific object in the image data (S1050). That is, the server 20 recognizes at least one object included in the camera image data and extracts the object recognition information data from the database.

다음으로, 서버(20)는 객체 인식 정보 데이터를 이동 단말(10)로 전송한다(S1060). 이동 단말(10)은 목적지 인근에서 주변 정보 데이터 및 객체 인식 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하고 주변 정보 영상을 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력할 수 있다(제3 모드, S1090).Next, the server 20 transmits the object recognition information data to the mobile terminal 10 (S1060). The mobile terminal 10 configures a surrounding information image to be output to the display unit of the mobile terminal based on the surrounding information data and object recognition information data in the vicinity of the destination, and the surrounding information image is captured and output by the photographing means of the mobile terminal. And output it to the display unit (third mode, S1090).

본 실시예에 따른 이동 단말에 대하여 주변 정보 서비스를 제공하는 방법은 해당 프로그램이 탑재된 서버 또는 컴퓨터 시스템에 의해 구현될 수 있다.The method for providing the peripheral information service to the mobile terminal according to the present embodiment may be implemented by a server or a computer system on which a corresponding program is mounted.

예를 들면, 네트워크를 통해 이동 단말에 연결되는 서버 및 상기 서버에 연결되는 데이터베이스를 구비하고, 이동 단말에 주변 정보 안내 서비스를 제공하는 주변 정보 안내 시스템으로 구성될 수 있다. 여기에서, 서버는 이동 단말의 위치 정보를 확인하고, 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하고, 주변 정보 데이터를 이동 단말로 전송하고-여기서, 이동 단말은 이동 단말에 구비된 촬영 수단에 의해 촬영되어 출력될 촬영 영상과 상기 주변 정보 데이터를 합성하거나 이동 단말 또는 서버에서 제공하는 주변 맵 영상과 주변 정보 데이터를 합성하여 디스플레이부에 출력함-, 서버 또는 이동 단말에 탑재된 어플리케이션에 의해 이동 단말이 목적지 인근에 위치하는가를 판단하고, 이동 단말이 목적지 인근에 위치할 때 이동 단말로부터 이동 단말의 주변 영상 정보를 수신하고, 주변 영상 정보에 포함된 적어도 하나의 건물을 인식하고 데이터베이스에서 해당 건물 인식 정보 데이터를 추출하고, 건물 인식 정보 데이터를 이동 단말로 전송하도록 동작할 수 있다.For example, it may be configured as a peripheral information guide system having a server connected to the mobile terminal through a network and a database connected to the server, and providing the peripheral information guide service to the mobile terminal. Here, the server checks the location information of the mobile terminal, extracts the surrounding information data of the mobile terminal based on the location information, and transmits the surrounding information data to the mobile terminal, where the mobile terminal is photographed provided in the mobile terminal. Synthesizing the photographed image to be photographed and output by the means with the surrounding information data, or synthesizing the surrounding map image and the surrounding information data provided by the mobile terminal or the server and outputting it to the display unit, to an application mounted on the server or the mobile terminal. Determining whether the mobile terminal is located near the destination, receiving the surrounding image information of the mobile terminal from the mobile terminal when the mobile terminal is located near the destination, recognizing at least one building included in the surrounding image information, Extract the building recognition information data and move the building recognition information data. It is operable to transfer to.

본 실시예에 의하면, 이동 단말은 전술한 제1 모드 또는 제2 모드를 출력하고 또한 목적지 인근에서 제3 모드를 출력함으로써, 목적지를 더욱 쉽게 찾거나 목적지를 쉽게 구분할 수 있도록 객체 인식 정보를 포함한 주변 정보 서비스를 제공받을 수 있다.According to the present embodiment, the mobile terminal outputs the above-described first mode or the second mode and also outputs the third mode near the destination, so that the surroundings including the object recognition information can be easily found or the destination can be easily distinguished. Information services can be provided.

또한, 본 실시예에 의하면, 역사적 장소나 건물, 또는 세계 문화 유산 등의 유명한 장소나 건물에 대하여 객체 인식 정보 데이터를 제공하는 경우, 이동 단말(10)은 여행용 전자 가이드 장치로서 활용될 수도 있다.
In addition, according to the present embodiment, when the object recognition information data is provided to a famous place or building such as a historic place or building, or a world cultural heritage, the mobile terminal 10 may be utilized as an electronic guide device for travel.

도 11 및 도 12는 도 9 또는 도 10의 주변 정보 안내 서비스에 채용가능한 이동 단말의 화면을 예시적으로 나타낸 도면들이다.11 and 12 are diagrams exemplarily illustrating screens of a mobile terminal employable in the surrounding information guide service of FIG. 9 or FIG. 10.

도 11에 도시한 바와 같이, 주변 정보 서비스 제공 어플리케이션이 탑재된 이동 단말을 휴대한 여행자가 이집트 등을 방문하여 스핑크스를 찾아가는 경우, 스핑크스 인근에서 이동 단말의 화면에는 스핑크스에 대한 상세 정보가 출력될 수 있다. 여기에서, 스핑크스에 대한 상세 정보는 스핑크스가 무엇이며, 언제 만들어졌고, 어떻게 구성되었으며, 관람 가능한 시간은 언제인지 등의 정보를 포함할 수 있다.As shown in FIG. 11, when a traveler carrying a mobile terminal equipped with a surrounding information service providing application visits Egypt and visits a sphinx, detailed information about the sphinx may be output on a screen of the mobile terminal near the sphinx. have. Here, the detailed information about the sphinx may include information such as what the sphinx is, when it was made, how it was constructed, and when the viewing time is available.

또한, 도 12에 도시한 바와 같이, 이동 단말이 목적지 인근에서 이동하는 경우, 본 실시예의 서비스 제공 서버는 이동 단말의 위치 정보의 목적지 인근에 대한 카메라 영상 데이터에 기초하여 주변의 객체 예컨대 피라미드를 인식하고, 피라미드에 대한 상세 정보를 이동 단말에 제공한다.In addition, as shown in FIG. 12, when the mobile terminal moves in the vicinity of the destination, the service providing server of the present embodiment recognizes the surrounding objects such as a pyramid based on camera image data of the destination neighborhood of the location information of the mobile terminal. And provide detailed information on the pyramid to the mobile terminal.

본 실시예에 의하면, 이동 단말의 위치 정보 및/또는 맵 정보를 토대로 특정 장소 또는 건물로의 이동 경로 정보 제공과 함께 이동 경로 중의 주변 정보 서비스를 실시간으로 제공할 수 있고, 아울러, 이동 경로 중이나 목적지 인근의 특정 객체에 대한 상세 정보를 제공할 수 있다. 따라서, 이동 단말을 휴대한 사용자나 여행객은 이동 단말의 화면이나 스피커를 통해 매우 편리하게 길안내, 주변 정보, 객체 정보 등을 획득할 수 있다.
According to the present embodiment, based on the location information and / or map information of the mobile terminal, it is possible to provide real-time information service around the moving route together with providing the moving route information to a specific place or building, and also during or during the moving route. It can provide detailed information about a specific object nearby. Therefore, a user or a traveler carrying a mobile terminal can obtain road guidance, surrounding information, object information, etc. very conveniently through a screen or a speaker of the mobile terminal.

10: 이동 단말
20: 서버
21: 데이터베이스10:
20: server
21: Database

Claims (10)

네트워크를 통해 결합하는 이동 단말 및 주변 정보 안내 서비스를 제공하는 서버로 이루어진 주변 정보 안내 시스템에서, 이동 단말에 대하여 주변 정보 안내 서비스를 제공하는 방법에 있어서,
상기 서버가 네트워크를 통해 접속된 이동 단말의 위치 정보를 확인하는 제1 단계;
상기 서버가 상기 확인된 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하는 제2 단계;
상기 서버가 상기 추출된 주변 정보 데이터를 이동 단말로 전송하는 제3 단계; 및
상기 이동 단말이 상기 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하고 상기 주변 정보 영상을 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하거나, 상기 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 맵 정보 영상을 구성하고 상기 맵 정보 영상을 이동 단말에서 제공하는 주변 맵 영상과 합성하여 디스플레이부에 출력하는 제4 단계
를 포함하고,
상기 제4 단계에서, 상기 이동 단말의 디스플레이부에 의해 제공되는 선택 인터페이스에 의해 네비게이션 메뉴가 선택된 경우, 상기 이동 단말에서 해당하는 위치까지의 이동 경로 정보를 디스플레이부에 출력하는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
In the peripheral information guide system consisting of a mobile terminal and a server providing a peripheral information guide service coupled through a network, the method for providing a peripheral information guide service to a mobile terminal,
A first step of the server confirming location information of a mobile terminal connected through a network;
A second step of the server extracting surrounding information data of the mobile terminal based on the identified location information;
A third step of the server transmitting the extracted surrounding information data to a mobile terminal; And
The mobile terminal configures a surrounding information image to be output to the display unit of the mobile terminal based on the surrounding information data, and synthesizes the surrounding information image with the image photographed and output by the photographing means of the mobile terminal or outputs the display unit to the display unit. And constructing a map information image to be output to the display unit of the mobile terminal based on the surrounding information data, and synthesizing the map information image with the surrounding map image provided by the mobile terminal to output the display unit to the display unit.
Including,
In the fourth step, when the navigation menu is selected by the selection interface provided by the display unit of the mobile terminal, the mobile terminal, characterized in that for outputting the movement path information from the mobile terminal to the corresponding position on the display unit How to provide information service around you.
제1항에 있어서,
상기 제4 단계는, 상기 이동 단말 내부에 포함된 위치 센서에 의해 상기 이동 단말의 지면에 대한 위치 관계에 따라 결정되는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
The method of claim 1,
And the fourth step is determined by a position sensor included in the mobile terminal according to the positional relationship of the ground of the mobile terminal.
제1항에 있어서,
상기 제2 단계에서 추출되는 주변 정보 데이터는, 상기 이동 단말 또는 다른 제3의 이동 단말에 의해 미리 설정된 데이터인 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
The method of claim 1,
And the surrounding information data extracted in the second step is data set in advance by the mobile terminal or another third mobile terminal.
제1항에 있어서,
상기 제4 단계에서 주변 정보 영상 및 맵 정보 영상은 상기 이동 단말에서 미리 설정된 범위 이내에 속하는 경우에만 출력되도록 구성되는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
The method of claim 1,
In the fourth step, the surrounding information image and the map information image is configured to be output only if it falls within a preset range in the mobile terminal.
제1항에 있어서,
상기 제4 단계에서 합성되어 출력되는 영상은 증강 현실 기법에 의하여 이루어진 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
The method of claim 1,
The surrounding information guide service providing method for the mobile terminal, characterized in that the image synthesized and output in the fourth step is made by an augmented reality technique.
삭제delete 제1항에 있어서,
상기 제4 단계에서, 상기 주변 정보 영상 및 맵 정보는 상기 이동 단말의 방향 정보를 고려하여 합성 출력되는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
The method of claim 1,
In the fourth step, the surrounding information image and map information is synthesized and output in consideration of the direction information of the mobile terminal, characterized in that the information service providing method for the mobile terminal.
네트워크를 통해 결합하는 이동 단말 및 서버로 구성되어 이동 단말에 대하여 주변 정보 안내 서비스를 제공하는 주변 정보 안내 서비스 제공 시스템에 있어서,
네트워크를 통해 접속된 이동 단말의 위치 정보를 확인하고, 상기 확인된 위치 정보에 기초하여 이동 단말의 주변 정보 데이터를 추출하고, 상기 추출된 주변 정보 데이터를 이동 단말로 전송하되,
상기 이동 단말은 상기 수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하여 이를 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하거나, 이동 단말이 상기 수신한 주변 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 맵 정보 영상을 구성하여 이를 이동 단말에서 제공되는 주변 맵 영상과 합성하여 디스플레이부에 출력하되,
상기 이동 단말의 디스플레이부에 의해 제공되는 선택 인터페이스에 의해 네비게이션 메뉴가 선택된 경우, 상기 이동 단말에서 해당하는 위치까지의 이동 경로 정보를 디스플레이부에 출력하는 것을 특징으로 하는 주변 정보 안내 서비스 제공 시스템.
In the surrounding information guide service providing system comprising a mobile terminal and a server coupled through a network to provide a surrounding information guide service to the mobile terminal,
Confirming location information of the mobile terminal connected through a network, extracting peripheral information data of the mobile terminal based on the identified location information, and transmitting the extracted peripheral information data to the mobile terminal,
The mobile terminal configures a surrounding information image to be output to the display unit of the mobile terminal based on the received surrounding information data, synthesizes it with the image photographed by the photographing means of the mobile terminal, and outputs the display unit to the display unit, or moves The terminal constructs a map information image to be output to the display unit of the mobile terminal based on the received surrounding information data, synthesizes it with the surrounding map image provided from the mobile terminal, and outputs it to the display unit.
And a navigation menu selected by the selection interface provided by the display unit of the mobile terminal, outputting movement path information from the mobile terminal to a corresponding position on the display unit.
네트워크를 통해 이동 단말에 연결되는 주변 정보 안내 서비스 제공 시스템에서, 상기 이동 단말에 주변 정보 안내 서비스를 제공하는 방법에 있어서,
상기 이동 단말로부터 위치 정보 및 상기 이동 단말의 카메라 영상 데이터를 수신하는 제1 단계;
상기 위치 정보에 기초하여 상기 이동 단말의 주변 정보 데이터를 추출하는 제2 단계;
상기 카메라 영상 데이터에 포함된 적어도 하나의 객체를 인식하고 데이터베이스에서 해당 객체 인식 정보 데이터를 추출하는 제3 단계; 및
상기 주변 정보 데이터 및 상기 객체 인식 정보 데이터를 상기 이동 단말로 전송하는 제4 단계
를 포함하되,
상기 이동 단말은 상기 주변 정보 데이터 및 상기 객체 인식 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하고 상기 주변 정보 영상을 상기 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.
In a system for providing a surrounding information guide service connected to a mobile terminal through a network, the method for providing a surrounding information guide service to the mobile terminal,
A first step of receiving location information and camera image data of the mobile terminal from the mobile terminal;
Extracting peripheral information data of the mobile terminal based on the location information;
Recognizing at least one object included in the camera image data and extracting corresponding object recognition information data from a database; And
A fourth step of transmitting the surrounding information data and the object recognition information data to the mobile terminal;
Including but not limited to:
The mobile terminal configures a surrounding information image to be output to the display unit of the mobile terminal based on the surrounding information data and the object recognition information data, and the surrounding information image is captured and output by the photographing means of the mobile terminal; A method for providing surrounding information guide service for a mobile terminal, comprising: synthesizing and outputting the synthesized information to a display unit.
네트워크를 통해 이동 단말에 연결되는 서버를 구비한 주변 정보 안내 시스템에서, 상기 이동 단말에 주변 정보 안내 서비스를 제공하는 방법에 있어서,
상기 이동 단말의 위치 정보를 확인하는 제1 단계;
상기 위치 정보에 기초하여 상기 이동 단말의 주변 정보 데이터를 추출하는 제2 단계;
상기 주변 정보 데이터를 상기 이동 단말로 전송하는 제3 단계-여기서, 상기 이동 단말은 상기 주변 정보 데이터에 기초하여 얻은 주변 정보 영상과 상기 이동 단말에 구비된 촬영 수단에 의해 촬영되어 출력될 촬영 영상을 합성하거나, 상기 주변 정보 데이터에 기초하여 얻은 맵 정보 영상과 상기 이동 단말에서 제공하는 주변 맵 영상을 합성하여 디스플레이부에 출력함-;
상기 서버 또는 상기 이동 단말에 탑재된 어플리케이션에 의해 상기 이동 단말이 목적지 인근에 위치하는가를 판단하는 제4 단계;
상기 이동 단말로부터 상기 이동 단말의 카메라 영상 데이터를 수신하는 제5 단계;
상기 카메라 영상 데이터에 포함된 적어도 하나의 객체를 인식하고 데이터베이스에서 해당 객체 인식 정보 데이터를 추출하는 제6 단계; 및
상기 객체 인식 정보 데이터를 상기 이동 단말로 전송하는 제7 단계
를 포함하고,
상기 이동 단말은 상기 목적지 인근에서 상기 주변 정보 데이터 및 상기 객체 인식 정보 데이터에 기초하여 이동 단말의 디스플레이부에 출력될 주변 정보 영상을 구성하고 상기 주변 정보 영상을 상기 이동 단말의 촬영 수단에 의해 촬영되어 출력되는 영상과 합성하여 디스플레이부에 출력하는 것을 특징으로 하는 이동 단말에 대한 주변 정보 안내 서비스 제공 방법.In a peripheral information guide system having a server connected to a mobile terminal through a network, the method for providing a peripheral information guide service to the mobile terminal,
A first step of confirming location information of the mobile terminal;
Extracting peripheral information data of the mobile terminal based on the location information;
A third step of transmitting the surrounding information data to the mobile terminal, wherein the mobile terminal includes a surrounding information image obtained based on the surrounding information data and a captured image to be photographed and output by the photographing means provided in the mobile terminal; Synthesizing or synthesizing the map information image obtained based on the surrounding information data with the surrounding map image provided by the mobile terminal and outputting it to the display unit;
A fourth step of determining whether the mobile terminal is located near a destination by an application mounted on the server or the mobile terminal;
A fifth step of receiving camera image data of the mobile terminal from the mobile terminal;
A sixth step of recognizing at least one object included in the camera image data and extracting corresponding object recognition information data from a database; And
A seventh step of transmitting the object recognition information data to the mobile terminal;
Including,
The mobile terminal configures a surrounding information image to be output to the display unit of the mobile terminal based on the surrounding information data and the object recognition information data in the vicinity of the destination, and the surrounding information image is photographed by the photographing means of the mobile terminal. A method for providing surrounding information guide service for a mobile terminal, comprising: synthesizing the output image and outputting the synthesized image to a display unit.
KR1020110017141A 2010-02-25 2011-02-25 Method and system for providing peripheral information to mobile device KR101232864B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100017137 2010-02-25
KR1020100017137 2010-02-25

Publications (2)

Publication Number Publication Date
KR20110097729A KR20110097729A (en) 2011-08-31
KR101232864B1 true KR101232864B1 (en) 2013-02-19

Family

ID=44932608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110017141A KR101232864B1 (en) 2010-02-25 2011-02-25 Method and system for providing peripheral information to mobile device

Country Status (1)

Country Link
KR (1) KR101232864B1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364188B1 (en) * 2012-02-01 2014-02-20 박광재 Smart phone, Automatic information providing service system with that smart phone and a method thereof
KR20140004412A (en) * 2012-07-02 2014-01-13 현대모비스 주식회사 System of head up display using augmented reality and method for providing information of head up display using augmented reality
KR101954800B1 (en) * 2012-08-07 2019-03-07 에스케이플래닛 주식회사 Positioninng service system, method and providing service apparatus for location information, mobile in the system thereof
CN104180814A (en) * 2013-05-22 2014-12-03 北京百度网讯科技有限公司 Navigation method in live-action function on mobile terminal, and electronic map client
CN104748740A (en) * 2014-05-14 2015-07-01 深圳视景文化科技有限公司 Navigation method, navigation terminal and navigation system based on augmented reality technique
KR101994898B1 (en) * 2014-08-12 2019-07-01 전자부품연구원 Flight path guiding method based on augmented reality using mobile terminal
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
KR102548804B1 (en) * 2018-07-17 2023-06-29 주식회사 엘지유플러스 Apparatus and methods for walking directions in user terminal
CN109509013B (en) * 2018-08-14 2023-08-15 广东长宝信息科技股份有限公司 Method for pushing image information by mobile terminal equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078136A (en) * 2004-01-30 2005-08-04 삼성전자주식회사 Method for providing local information by augmented reality and local information service system therefor
KR20070009771A (en) * 2005-07-14 2007-01-19 에스케이 텔레콤주식회사 System and method for service of personalized point of interest, mobile communication terminal therefor
KR20090029350A (en) * 2007-09-18 2009-03-23 에스케이텔레콤 주식회사 System and method for servicing virtual world in mobile terminal
KR20090047889A (en) * 2007-11-08 2009-05-13 한국전자통신연구원 The method, apparatus and system for realizing augmented reality using transparent display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078136A (en) * 2004-01-30 2005-08-04 삼성전자주식회사 Method for providing local information by augmented reality and local information service system therefor
KR20070009771A (en) * 2005-07-14 2007-01-19 에스케이 텔레콤주식회사 System and method for service of personalized point of interest, mobile communication terminal therefor
KR20090029350A (en) * 2007-09-18 2009-03-23 에스케이텔레콤 주식회사 System and method for servicing virtual world in mobile terminal
KR20090047889A (en) * 2007-11-08 2009-05-13 한국전자통신연구원 The method, apparatus and system for realizing augmented reality using transparent display

Also Published As

Publication number Publication date
KR20110097729A (en) 2011-08-31

Similar Documents

Publication Publication Date Title
KR101232864B1 (en) Method and system for providing peripheral information to mobile device
US9013505B1 (en) Mobile system representing virtual objects on live camera image
KR100877376B1 (en) Navigation system
US7088389B2 (en) System for displaying information in specific region
CN102804905B (en) The display of view data and geographic element data
KR101631497B1 (en) Display apparatus, User terminal, and methods thereof
CN105190239A (en) Directional and X-ray view techniques for navigation using a mobile device
KR101803598B1 (en) Apparatus and method system and mtehod for building indoor map using cloud point
CN102985901A (en) Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
WO2005066882A1 (en) Character recognition device, mobile communication system, mobile terminal device, fixed station device, character recognition method, and character recognition program
CN103003786A (en) Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
JP2010118019A (en) Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium
JP2003111128A (en) Method of specifying present location, method of providing information on present location, method of guiding moving route, position information management system, and information communication terminal
JP2003132068A (en) Navigation system and navigation terminal
JP2005077214A (en) Route guidance system
JP4464780B2 (en) Guidance information display device
JP2006287435A (en) Information processing apparatus, system thereof, method thereof, program thereof, and recording medium with the program recorded thereon
CN105917329B (en) Information display device and information display program
CN112468970A (en) Campus navigation method based on augmented reality technology
JP4733343B2 (en) Navigation system, navigation device, navigation method, and navigation program
JP5705793B2 (en) Augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program
JP2010171664A (en) Personal digital assistant, information display control method, and information display control program
JP5357966B2 (en) Information system, server device, terminal device, information processing method, and program
KR101497994B1 (en) System for providing a Multimedia Map Service and method thereof
CN107864501A (en) A kind of method and apparatus for obtaining and WAP link information being provided

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20160211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 7