KR20060122284A - A mobile telecommunication device having a geographic information providing function and the method thereof - Google Patents

A mobile telecommunication device having a geographic information providing function and the method thereof Download PDF

Info

Publication number
KR20060122284A
KR20060122284A KR1020050044620A KR20050044620A KR20060122284A KR 20060122284 A KR20060122284 A KR 20060122284A KR 1020050044620 A KR1020050044620 A KR 1020050044620A KR 20050044620 A KR20050044620 A KR 20050044620A KR 20060122284 A KR20060122284 A KR 20060122284A
Authority
KR
South Korea
Prior art keywords
information
image
mobile communication
communication terminal
feature
Prior art date
Application number
KR1020050044620A
Other languages
Korean (ko)
Other versions
KR101147748B1 (en
Inventor
변재성
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050044620A priority Critical patent/KR101147748B1/en
Priority to CNB2006100727774A priority patent/CN100529669C/en
Publication of KR20060122284A publication Critical patent/KR20060122284A/en
Application granted granted Critical
Publication of KR101147748B1 publication Critical patent/KR101147748B1/en

Links

Images

Landscapes

  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

A mobile communication terminal having a geographic information providing function and a geographic information providing method using the same are provided to enable a control unit to search facility location information stored in a memory and output a control signal so as to display information matched with a real image, thereby improving reality by providing geographic information through the real image and enabling a user to easily identify a landmark. A geographic information providing method using the mobile communication terminal comprises the followings: extracting a real image by using a built-in camera(S81); obtaining information about a landmark included in the real image(S84); and displaying the obtained landmark information on the real image(S86). The real image is a still image or a continuous image by a preview function of the terminal.

Description

지리정보 제공 기능을 갖는 이동통신 단말기 및 이를 이용한 지리 정보 제공 방법{A mobile telecommunication device having a geographic information providing function and the method thereof}A mobile communication terminal having a geographic information providing function and a method for providing geographic information using the same {A mobile telecommunication device having a geographic information providing function and the method eg}

도 1은 일반적으로 사용되고 있는 차량 네비게이션 시스템의 구성도이다. 1 is a configuration diagram of a vehicle navigation system that is generally used.

도 2 내지 도 3은 이동통신 단말기를 통해 표시된 네비게이션 표시의 예시도이다.2 to 3 are exemplary views of a navigation display displayed through a mobile communication terminal.

도 4는 입체적 네비게이션 시스템의 실시 예를 나타낸 예시도이다.4 is an exemplary view showing an embodiment of a three-dimensional navigation system.

도 5는 본 발명의 바람직한 실시에 따른 이동통신 단말기의 내부 구성을 개략적으로 나타낸 블럭도이다.5 is a block diagram schematically showing an internal configuration of a mobile communication terminal according to a preferred embodiment of the present invention.

도 6은 외부 장치로부터 시설위치 정보를 제공받는 실시 예를 나타낸 예시도이다.6 is an exemplary view illustrating an embodiment of receiving facility location information from an external device.

도 7은 본 발명에 따른 이동통신 단말기에 시설 위치 정보를 저장한 메모리를 삽입하는 실시 예시도이다.7 is a diagram illustrating an embodiment of inserting a memory storing facility location information in a mobile communication terminal according to the present invention.

도 8은 본 발명에 따른 지리정보 제공방법의 진행과정을 나타낸 흐름도이다.8 is a flowchart showing the progress of a method for providing geographic information according to the present invention.

도 9는 본 발명의 구현에 따라 제공되는 지형지물 정보가 표시된 실사 이미지의 예시도이다.9 is an exemplary diagram of a live-action image displaying feature information provided according to an embodiment of the present invention.

본 발명은 GPS 기능을 탑재한 CDMA(Code Divisional Multiple Access) 방식의 이동통신 단말기 및 이를 이용한 지리정보 제공방법에 관한 것으로서, 보다 상세하게는 내장된 카메라를 통해 실시간으로 촬영되는 실사 이미지에 포함된 지형지물의 정보를 부가하여 표시할 수 있는 단말기 및 이를 이용한 지리정보 제공방법에 관한 것이다.The present invention relates to a mobile communication terminal of a CDMA (Code Divisional Multiple Access) method equipped with a GPS function and a method of providing geographic information using the same, and more particularly, to a geographic feature included in a live image captured in real time through an embedded camera. The present invention relates to a terminal capable of displaying by adding water information and a method of providing geographic information using the same.

차량 네비게이션 시스템(car navigation system)은 3개 또는 4개의 GPS위성에서 발사된 전파를 GPS 수신기를 이용하여 수신하여 차량의 위치, 속도, 시간을 정확하게 감지하는 차량 항법 시스템이다.A car navigation system is a vehicle navigation system that accurately detects the position, speed, and time of a vehicle by receiving radio waves emitted from three or four GPS satellites using a GPS receiver.

일반적으로 차량에 설치되는 네비게이션 시스템은, 지도정보가 저장된 지도 CD를 가지고 있으며, 운전자의 요구에 따라 차량의 현위치를 지도상에 표시하거나 현위치와 목적지 간의 경로를 표시하거나, 현재 차량의 운행경로를 등의 지리 정보를 디스플레이해 줌으로써, 차량 주행가이드로서의 역할을 수행한다.In general, a navigation system installed in a vehicle has a map CD storing map information, and displays the current position of the vehicle on a map, displays a route between the current position and a destination, or the current driving route according to a driver's request. By displaying the geographic information, such as to serve as a vehicle driving guide.

이러한 네비게이션 시스템은, 지도CD에 저장된 지도를 표시하는 모니터와, 차량의 현위치를 파악하기 위한 GPS(Global Positioning System)을 갖는다. GPS는 위성을 이용하여 차량의 현위치를 파악하는 장치로, 차량으로부터 복수의 GPS위성에 6㎓대의 주파수를 갖는 전파를 송신하고, 각 GPS위성은 지구국으로 각각 데이터를 송신한다. 지구국에서는 각 GPS위성으로부터의 데이터를 비교하여 차량의 현위치에 대한 정확한 좌표를 계산하고 이 좌표에 해당하는 데이터를 차량에 설치된 GPS장치로 송신하게 된다. 그러면, 모니터에는 지도상에 차량의 현위치가 표시되고, 운전자가 목적지를 선택하면 현위치에서 목적지까지의 경로가 표시된다. 또한, 선택에 따라 최단경로를 찾아주기도 한다.Such a navigation system has a monitor displaying a map stored on a map CD, and a GPS (Global Positioning System) for grasping the current position of the vehicle. GPS is a device that detects the current position of the vehicle by using a satellite, and transmits a radio wave having a frequency of 6 kHz to a plurality of GPS satellites from the vehicle, and each GPS satellite transmits data to each earth station. The earth station compares the data from each GPS satellite to calculate the exact coordinates of the current position of the vehicle and transmits the data corresponding to the coordinates to the GPS device installed in the vehicle. Then, the current position of the vehicle is displayed on the map, and when the driver selects a destination, the route from the current position to the destination is displayed. Also, depending on the selection, the shortest path can be found.

도 1은 일반적으로 사용되고 있는 차량 네비게이션 시스템의 구성도이다. 3개 내지 4개의 GPS 위성(10)들로부터 GPS 수신안테나를 통해 차량의 위치정보와 속도 데이타를 수신하는 GPS 수신기(21), CD-ROM플레이어 등에 지도 데이타와 관리데이타를 계층적인 데이터 포맷으로 기록매체에 저장된 지리정보시스템(GIS: Geographic Information System)의 2D 또는 3D 지도 데이타베이스로부터 지도 정보를 제공하는 지도정보 데이터베이스(23), 상기 지도정보 데이터베이스(23)로부터 제공된 지도정보와 상기 GPS 수신기(21)로부터 인가되는 차량 위치정보 신호를 판독하여 차량의 현재 위치를 상기 지도정보 데이터베이스(23)에서 제공하는 지도상의 좌표로 계산하여 운전자가 보고자하는 지도를 검색하고, 지도의 축소와 확대된 지도정보 및 음성출력 동작을 제어하는 제어부(22), 상기 제어부(22)에서 제공되는 지도와 위치 정보 및 부가 정보를 표시하는 LCD(24), 및 상기 제어부(22)로부터 검색결과에 대한 오디오신호를 입력받아 주행경로의 안내음성을 출력하는 스피커(25)를 포함하여 이루어진다.1 is a configuration diagram of a vehicle navigation system that is generally used. Map data and management data are recorded in a hierarchical data format to a GPS receiver 21, a CD-ROM player, etc., which receives vehicle position information and speed data through GPS reception antennas from three to four GPS satellites 10. A map information database 23 for providing map information from a 2D or 3D map database of a geographic information system (GIS) stored in a medium, map information provided from the map information database 23 and the GPS receiver 21 Reads the vehicle position information signal applied from the vehicle, calculates the current position of the vehicle by the coordinates on the map provided by the map information database 23, searches for a map to be viewed by the driver, and reduces and enlarges the map information. Control unit 22 for controlling the voice output operation, and displays the map and location information and additional information provided from the control unit 22 LCD 24, and a speaker 25 for receiving the audio signal for the search results from the control unit 22 and outputs the guide voice of the driving route.

이러한, 차량 네비게이션 시스템은 운전자가 차량을 주행할 때, 상기 제어부(22)가 상기 GPS수신기(21), 상기 지도정보 데이터베이스(23)로부터 차량의 현 위치와 진행방향, 차량의 속도, 도로 정보 등을 연산하여 차량 항법 정보(car navigation information)를 제공한다.In the vehicle navigation system, when the driver drives the vehicle, the controller 22 controls the current position and direction of the vehicle from the GPS receiver 21 and the map information database 23, the speed of the vehicle, road information, and the like. Is calculated to provide car navigation information.

통신 기술의 발달에 힘입어 이동통신 단말기에 이러한 차량 네비게이션 시스템을 적용한 제품이 개발되었다. 도 2 내지 도 3은 이동통신 단말기를 통해 표시된 네비게이션 표시의 예시도이다. 즉, 도 2에서와 같이 2차원의 그림이나 도 3에서와 같이 입체적 3차원 지도 정보만을 제공하고 있다. 그러나, 이러한 정보는 다소 현실감이 떨어지는 불편함이 있었다.Thanks to the development of communication technology, a product applying the vehicle navigation system to a mobile communication terminal has been developed. 2 to 3 are exemplary views of a navigation display displayed through a mobile communication terminal. That is, as shown in FIG. 2, only the three-dimensional map information is provided as shown in FIG. However, this information was somewhat uncomfortable.

이러한 불편함을 해소하기 위해 제시된 기술은 도 4에 도시된 바와 같이, 지형 지물을 입체적으로 표시하여 좀 더 현실감을 제공할 수 있는 것이다. 그러나, 이러한 기술도 화상에 표시된 건물의 구체적 정보는 표시하고 있지 않는다. 따라서, 화상과 현실의 괴리감이 여전히 존재한다. 예를 들어, 주행 중 우회전 정보를 받을 시에 우회전하는 지점이 많으면 정확히 어디에서 우회전해야 할지 지도상에서 식별하기 어려운 경우가 종종 발생한다. 따라서, 지형 지물의 식별성이 높은 지리정보 시스템이 요구되고 있는 실정이다.As shown in FIG. 4, the technique proposed to solve this inconvenience can provide a more realistic feeling by displaying the feature in three dimensions. However, this technique also does not display specific information of the building shown in the image. Thus, there is still a difference between image and reality. For example, when there are many points to turn right when receiving right turn information while driving, it is often difficult to identify exactly where to turn right on the map. Therefore, there is a demand for a geographical information system having high discrimination of geographical features.

본 발명은 실제 세계의 화상을 통해 지리정보를 제공함으로써 현실감을 높일 수 있는 지리정보 제공방법 및 이를 적용한 이동통신 단말기를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a geographic information providing method and a mobile communication terminal applying the same to increase the realism by providing geographic information through the image of the real world.

본 발명의 다른 목적은 실세계를 바탕으로 하는 지리정보를 제공함으로써 사용자가 지형 지물을 쉽게 식별할 수 있도록 하는 것이다.Another object of the present invention is to provide a geographic information based on the real world so that the user can easily identify the feature.

이러한 목적들을 달성하기 위한 본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기는 실사 이미지를 촬영하기 위한 카메라와; 상기 카메라의 촬영 위치, 촬영 방위 및 시설 위치 정보를 취득하는 정보 취득 장치와; 상기 카메라를 통해 제공된 실사 이미지에 포함된 지형지물의 정보를 상기 정보 취득장치에 의해 제공된 정보와 매칭시켜 제어신호를 출력하는 정보 처리 장치와; 상기 정보 처리 장치의 제어신호에 따라 지형지물의 정보를 실사 이미지 위에 기호 및/또는 문자로 표시하는 디스플레이 장치를 포함하여 이루어지는 것을 구성의 특징으로 한다.A mobile communication terminal having a geographic information providing function according to the present invention for achieving the above objects includes a camera for taking a photo-realistic image; An information acquisition device for acquiring photographing position, photographing orientation, and facility position information of the camera; An information processing device for outputting a control signal by matching the information of the feature included in the live image provided by the camera with the information provided by the information obtaining device; And a display device for displaying information of the feature in a symbol and / or a character on a live image according to a control signal of the information processing device.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 세부적 구성의 특징은 상기 정보 취득 장치가, 상기 카메라의 촬영 위치 정보를 취득하기 위한 GPS 수신기와; 상기 카메라의 촬영 방위 정보를 제공하는 지자기 센서와; 상기 카메라의 촬영 그림각 정보를 제공하는 각도 센서를 포함하여 이루어지는 점이다.A detailed configuration feature of a mobile communication terminal having a geographic information providing function according to the present invention includes: a GPS receiver for acquiring photographing position information of the camera by the information acquisition device; A geomagnetic sensor for providing photographing orientation information of the camera; It is a point that comprises an angle sensor for providing the photographing picture angle information of the camera.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 다른 세부적 구성의 특징은 상기 정보 취득 장치는 차량의 속도 정보를 제공하는 속도 센서를 더 포함하여 이루어지는 점이다.Another detailed configuration feature of the mobile communication terminal having a geographic information providing function according to the present invention is that the information acquisition device further comprises a speed sensor for providing speed information of the vehicle.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 다른 세부적 구성의 특징은 다양한 시설의 위치정보를 제공하는 시설위치 데이터베이스(Position of facility DB)가 저장된 메모리가 더 포함된 점이다.Another detailed configuration feature of the mobile communication terminal having a geographic information providing function according to the present invention is that a memory of a location of facility DB for providing location information of various facilities is further included.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 다른 세부적 구성의 특징은 상기 메모리가 탈착 가능한 점이다.Another detailed configuration of the mobile communication terminal having a geographic information providing function according to the present invention is that the memory is removable.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 다른 구성의 특징은 영상을 촬영하기 위한 카메라와; 실시간으로 현재 위치 정보를 수신하는 GPS 수신기와; 지자기(地磁器)에 따라 상기 카메라가 향하고 있는 촬영 방위 정보를 얻는 지자기 센서와; 카메라가 향하고 있는 높이 방향의 촬영 각도의 정보를 얻는 각도 센서와; 다양한 시설의 위치정보를 제공하는 시설위치 데이터베이스(Position of facility DB)가 저장된 메모리와; 상기 카메라에 의해 촬영된 실사 이미지에 포함된 지형지물의 위치정보와 다수의 센서로부터 제공된 정보를 근거로 상기 메모리에 저장된 시설 위치정보를 검색하여 실사 이미지에 매칭된 정보를 표시하기 위한 제어신호를 출력하는 제어부와; 상기 제어부의 제어신호에 따라 화상을 출력하는 디스플레이 장치를 포함하여 이루어지는 점이다.Another feature of the mobile communication terminal having a geographic information providing function according to the present invention is a camera for taking an image; A GPS receiver for receiving current location information in real time; A geomagnetism sensor for obtaining photographing orientation information to which the camera is directed according to the geomagnetism; An angle sensor for obtaining information of a photographing angle in the height direction that the camera faces; A memory storing a location of facility database for providing location information of various facilities; Searching for facility location information stored in the memory based on location information of a feature included in the live image captured by the camera and information provided from a plurality of sensors, and outputting a control signal for displaying information matched with the live image; A controller; It is a point that comprises a display device for outputting an image in accordance with the control signal of the controller.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 세부적 구성의 특징은 상기 실사 이미지가 정지 영상이거나, 프리뷰(preview) 기능에 의한 연속적인 영상인 점이다.A feature of the detailed configuration of a mobile communication terminal having a geographic information providing function according to the present invention is that the actual image is a still image or a continuous image by a preview function.

본 발명에 따른 지리정보 제공기능을 갖는 이동통신 단말기의 다른 세부적 구성의 특징은 상기 디스플레이 장치는 지형지물의 정보를 벡터(vector)방식이나 비트맵(bitmap)방식으로 표시하는 점이다.Another detailed configuration of the mobile communication terminal having a geographic information providing function according to the present invention is that the display device displays the feature information in a vector or bitmap method.

본 발명에 따른 이동통신 단말기를 이용한 지리 정보 제공 방법은 내장된 카메라를 이용하여 실사 이미지를 추출하는 과정과; 상기 실사 이미지에 포함된 지형지물의 정보를 취득하는 과정과; 실사 이미지 위에 취득한 지형지물의 정보를 표시하는 과정을 포함하여 이루어지는 것을 특징으로 한다.Method for providing geographic information using a mobile communication terminal according to the present invention comprises the steps of extracting the live image using a built-in camera; Obtaining information of a feature included in the live image; And displaying the information of the acquired feature on the live image.

본 발명에 따른 이동통신 단말기를 이용한 지리 정보 제공 방법의 세부적 특징은 상기 지형지물의 정보 취득과정이, 단말기에 내장된 GPS 수신기를 통해 현재 위치정보를 수신하는 단계와; 단말기에 내장된 다수의 센서를 이용하여 실사 이미지에 포함된 지형지물의 고도와 각도 및 방향 정보를 추출하는 단계와; 상기 지형지물의 고도, 각도, 방향정보 및 현재 위치정보를 기반으로 시설위치 데이터베이스(Position of facility DB)에 저장된 상기 지형지물의 정보를 추출하는 단계를 포함하여 이루어지는 점이다.Detailed features of the method for providing geographic information using a mobile communication terminal according to the present invention include the steps of: acquiring the current location information through a GPS receiver built in the terminal; Extracting altitude, angle, and direction information of the feature included in the live image using a plurality of sensors embedded in the terminal; And extracting information of the feature stored in a position of facility DB based on the feature's elevation, angle, direction information, and current location information.

본 발명에 따른 이동통신 단말기를 이용한 지리 정보 제공 방법의 세부적 특징은 상기 실사 이미지 위에 교통정보를 표시하는 점이다.A detailed feature of the method for providing geographic information using a mobile communication terminal according to the present invention is that traffic information is displayed on the live-action image.

본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다. Other objects, features and advantages of the present invention will become apparent from the detailed description of the embodiments with reference to the accompanying drawings.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, with reference to the accompanying drawings illustrating the configuration and operation of the embodiment of the present invention, the configuration and operation of the present invention shown in the drawings and described by it will be described by at least one embodiment, By the technical spirit of the present invention described above and its core configuration and operation is not limited.

도 5는 본 발명의 바람직한 실시에 따른 이동통신 단말기의 내부 구성을 개략적으로 나타낸 블럭도이다. 그 구성은 영상을 촬영하기 위한 카메라(110)와; 실시간으로 현재 위치 정보를 수신하는 GPS 수신기(120)와; 카메라가 향하고 있는 높이 방향의 촬영 각도의 정보를 얻는 각도 센서(130)와; 지자기(地磁器)에 따라 상기 카메라(110)가 향하고 있는 촬영 방위 정보를 얻는 지자기 센서(140)와; 다양한 시설의 위치정보를 제공하는 시설위치 데이터베이스(Position of facility DB)가 저장된 메모리(160)와; 상기 카메라(110)에 의해 촬영된 실사 이미지에 포함된 지 형지물의 위치정보와 다수의 센서로부터 제공된 정보를 근거로 상기 메모리에 저장된 시설 위치정보를 검색하여 실사 이미지에 매칭된 정보를 표시하기 위한 제어신호를 출력하는 제어부(150)와; 상기 제어부(150)의 제어신호에 따라 화상을 출력하는 디스플레이 장치(170)와; 상기 제어부(150)를 통해 제공되는 지리 정보 등을 출력하기 위한 스피커(180)와; 무선 방식으로 외부 장치와 데이터를 송수신하기 위한 무선송·수신부(190)를 포함하여 이루어진다.5 is a block diagram schematically showing an internal configuration of a mobile communication terminal according to a preferred embodiment of the present invention. The configuration includes a camera 110 for capturing an image; A GPS receiver 120 for receiving current location information in real time; An angle sensor 130 for obtaining information of a photographing angle in a height direction facing the camera; A geomagnetic sensor 140 for obtaining photographing orientation information to which the camera 110 is directed according to the geomagnetic; A memory 160 in which a location of facility DB for providing location information of various facilities is stored; Based on the location information of the feature included in the live image captured by the camera 110 and the location information provided from the plurality of sensors, the facility location information stored in the memory is searched for displaying information matched with the live image. A controller 150 for outputting a control signal; A display device 170 which outputs an image according to a control signal of the controller 150; A speaker 180 for outputting geographic information provided through the control unit 150; It comprises a wireless transmission and reception unit 190 for transmitting and receiving data with an external device in a wireless manner.

상기 제어부(110)는 카메라(110) 예를 들어, 고체촬상소자를 구동하여 화상신호를 얻고, 이것을 디지털 화상신호로 프로세싱하여 메모리에 임시 저장한다. 이렇게 화상신호를 얻은 뒤, 상기 GPS 수신기 및 각 센서에서 제공된 값을 근거로 시설위치 정보를 검색하여 매칭되는 지형지물의 정보를 추출한다. 추출된 지형지물의 정보는 디스플레이 장치를 통해 상기 화상신호에 중첩되어 나타나게 된다.The controller 110 drives a camera 110, for example, a solid-state image pickup device to obtain an image signal, processes the digital signal into a digital image signal, and temporarily stores the image signal in a memory. After acquiring the image signal, the facility location information is searched based on the values provided by the GPS receiver and each sensor to extract the matching feature information. The extracted feature information is superimposed on the image signal through the display device.

도 6은 외부 장치로부터 시설위치 정보를 제공받는 실시 예를 나타낸 예시도이다. 즉, 도 5에서는 단말기에 장착된 메모리에 시설 위치 정보가 저장된 것을 예로 하고 있으나, 경우에 따라 시설위치 데이터베이스(210)이 구비된 지리정보 제공서버(200)로부터 인터넷을 통해 제공받을 수도 있다. 본 실시예에서는 단말기에서 지형지물의 위치 정보를 산출하는 것을 예로 하고 있으나, 표시 위치 계산을 단말기가 아니라 지리정보 제공서버(200)에서 수행하면 단말기의 처리 부담을 줄일 수 있다. 즉, 계산처리 능력이 좋은 프로세서를 단말기에 탑해할 필요가 없게 되므로, 네비게이션 서비스를 실현하기 위한 비용 부담이 대폭 절감될 수 있다.6 is an exemplary view illustrating an embodiment of receiving facility location information from an external device. That is, in FIG. 5, the facility location information is stored in the memory mounted on the terminal. However, in some cases, the location information may be provided from the geographic information providing server 200 provided with the facility location database 210 through the Internet. In this embodiment, the terminal calculates the location information of the feature, but if the display position calculation is performed by the geographic information providing server 200 instead of the terminal can reduce the processing burden of the terminal. That is, since it is not necessary to mount a processor having good computing power on the terminal, the cost burden for realizing a navigation service can be greatly reduced.

한편, 도 7은 본 발명에 따른 이동통신 단말기에 시설 위치 정보를 저장한 메모리를 삽입하는 실시 예로써, 필요에 따라 지역별로 상세한 시설 위치 정보를 저장한 메모리를 단말기에 장착하거나 교환할 수도 있다. 상세한 시설 위치 정보는 정확한 지리 정보를 필요로 하는 택시 운전사 혹은 택배물 운반자 등 여러 방면의 사용자에게 유효하게 사용될 수 있다.Meanwhile, FIG. 7 is an embodiment in which a memory storing facility location information is inserted into a mobile communication terminal according to the present invention. If necessary, the memory storing detailed facility location information for each region may be mounted or exchanged in the terminal. Detailed facility location information can be effectively used for a variety of users, such as taxi drivers or courier carriers who require accurate geographic information.

도 8은 본 발명에 따른 지리정보 제공방법의 진행과정을 나타낸 흐름도이다. 먼저, 단말기에 내장된 카메라를 이용하여 차량 전방의 영상을 촬영한다. 이때, 영상은 정지영상이거나 단말기의 프리뷰(preview)기능을 이용한 연속 영상이 될 수도 있다(S81).8 is a flowchart showing the progress of a method for providing geographic information according to the present invention. First, an image in front of the vehicle is photographed using a camera built in the terminal. In this case, the image may be a still image or a continuous image using a preview function of the terminal (S81).

이후, GPS 수신기를 통해 수신 위치(위도, 경도, 고도)의 정보를 취득하는(S82) 동시에, 단말기에 구성된 다수의 센서들로부터 센서 출력값을 수신한다. 이때, 수신되는 값으로는 지자기 센서를 통해 카메라가 향하고 있는 방위 정보와, 단말기의 카메라가 향하고 있는 높이 방향의 각도 정보와, 차량의 속도 정보 등이 될 수 있다(S83).Subsequently, information of a reception position (latitude, longitude, altitude) is acquired through the GPS receiver (S82), and at the same time, a sensor output value is received from a plurality of sensors configured in the terminal. In this case, the received value may include orientation information facing the camera through the geomagnetic sensor, angle information in the height direction facing the camera of the terminal, and speed information of the vehicle (S83).

이어, 시설 위치정보(Position of facility)가 저장된 메모리의 데이터 베이스를 검색하여, 현 위치의 주변에 위치한 주요 지형지물의 정보를 추출한다(S84).Subsequently, the database of the memory in which the position of the facility is stored is searched to extract information on the main features located around the current location (S84).

단말기의 제어부에서는 추출된 지형지물의 정보와 상기 카메라를 통해 제공된 영상에 포함된 지형지물을 매칭시키는 작업을 수행한다(S85).The controller of the terminal performs a task of matching the extracted feature information with the feature included in the image provided through the camera (S85).

매칭 결과에 따른 제어신호를 LCD로 제공하여 사용자가 인식할 수 있도록 디스플레이한다. 도 9는 본 발명의 구현에 따라 제공되는 지형지물 정보가 표시된 실사 이미지의 예시도이다. 촬영되고 있는 영상에 네비게이션 정보와 지형 지물의 명칭들이 함께 제공되므로 주변 지리에 대한 식별성을 높일 수 있게 된다. 예를 들어, 현재 차량의 위치에서 10M 거리를 두고 좌측에 위치한 건물의 상호명이 "AAA 식당"라면 실제 영상에 나타나는 지형지물 이미지 위에 해당 상호명을 벡터(vector) 방식 혹은 비트맵(bitmap) 방식으로 부가하여 표시한다. 또한, 실시간 교통 정보를 수신하여 교통 상황에 따른 정보를 이미지 위에 부가적으로 표시할 수도 있다. 예를 들어, 현재 주행하고 있는 도로에서 좌측에 위치하고 있는 도로가 정체 상태라면, 단말기의 디스플레이 장치를 통해 출력되는 실제 영상 위에 해당 정보를 표시할 수도 있다(S86).The control signal according to the matching result is provided to the LCD for display by the user. 9 is an exemplary diagram of a live-action image displaying feature information provided according to an embodiment of the present invention. Navigation information and the name of the feature is provided in the image being photographed, thereby improving the identification of the surrounding geography. For example, if the business name of the building on the left, located 10 meters from the current vehicle location, is "AAA Restaurant," add the business name in a vector or bitmap format on the feature image shown in the actual image. To display. In addition, by receiving the real-time traffic information may be additionally displayed on the image according to the traffic conditions. For example, if the road located on the left side of the road currently running is in a congestion state, the corresponding information may be displayed on the actual image output through the display device of the terminal (S86).

여기에서, 실제 영상에 나타나는 지형지물의 인식은 일반적으로 알려진 이미지의 끝점 인식 및 처리 기술을 통해 충분히 구현 가능하며, 이는 본 발명의 요지와 무관한 것이므로 구체적 설명은 생략하기로 한다.Here, the recognition of the feature appearing in the actual image can be sufficiently implemented through the known end point recognition and processing techniques of the image in general, which is irrelevant to the gist of the present invention and a detailed description thereof will be omitted.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용을 한정되는 것이 아니라 특허청구의 범위에 의해 정해져야 할 것이다.Those skilled in the art will appreciate that various changes and modifications can be made without departing from the technical spirit of the present invention. Therefore, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification but should be defined by the claims.

이상에서 설명한 바와 같이, 본 발명에 따른 이동통신 단말기 및 이를 이용한 지리정보 제공방법은 실사 이미지에 포함된 지형지물의 정보를 표시함으로써 운전자에게 좀 더 현실감을 제공할 수 있으며, 지형지물의 식별성을 높일 수 있는 효과를 갖는다.As described above, the mobile communication terminal and the method for providing geographic information using the same according to the present invention can provide the driver with more realism by displaying the information of the feature included in the live-action image, and can improve the identification of the feature. Has an effect.

Claims (21)

내장된 카메라를 이용하여 실사 이미지를 추출하는 과정과;Extracting a live image using a built-in camera; 상기 실사 이미지에 포함된 지형지물의 정보를 취득하는 과정과;Obtaining information of a feature included in the live image; 실사 이미지 위에 취득한 지형지물의 정보를 표시하는 과정을 포함하여 이루어지는 이동통신 단말기를 이용한 지리 정보 제공 방법.Geographic information providing method using a mobile communication terminal comprising the step of displaying the information of the feature acquired on the live image. 제 1 항에 있어서, 상기 실사 이미지는 정지 영상인 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the live image is a still image. 제 1 항에 있어서, 상기 실사 이미지는 단말기의 프리뷰 기능에 의한 연속적인 영상인 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the live-action image is a continuous image by a preview function of the terminal. 제 1 항에 있어서, 상기 지형지물의 정보 취득과정은,The method of claim 1, wherein the acquiring information of the feature is performed. 단말기에 내장된 GPS 수신기를 통해 현재 위치정보를 수신하는 단계와;Receiving current location information through a GPS receiver built in the terminal; 단말기에 내장된 다수의 센서를 이용하여 실사 이미지에 포함된 지형지물의 고도와 각도 및 방향 정보를 추출하는 단계와;Extracting altitude, angle, and direction information of the feature included in the live image using a plurality of sensors embedded in the terminal; 상기 지형지물의 고도, 각도, 방향정보 및 현재 위치정보를 기반으로 시설위치 데이터베이스(Position of facility DB)에 저장된 상기 지형지물의 정보를 추출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.Geographic information using a mobile communication terminal comprising the step of extracting the information of the feature stored in the Position of facility DB based on the feature's altitude, angle, direction information and current location information How to Provide. 제 1 항에 있어서, 상기 시설위치 데이터베이스(Position of facility DB)는 이동통신 단말기의 메모리에 저장된 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the facility location database is stored in a memory of the mobile communication terminal. 제 1 항에 있어서, 상기 시설위치 데이터베이스(Position of facility DB)는 인터넷을 통해 상기 단말기와 접속가능한 서버에 연결된 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the location of facility DB is connected to a server that is accessible to the terminal through the Internet. 제 1 항에 있어서, 상기 지형지물의 정보는 이동통신 단말기의 표시부에 백터(vector)방식으로 표시되는 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the feature information is displayed on a display unit of the mobile communication terminal in a vector manner. 제 1 항에 있어서, 상기 지형지물의 정보는 이동통신 단말기의 표시부에 비트맵(bitmap)방식으로 표시되는 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the feature information is displayed on a display unit of the mobile communication terminal in a bitmap manner. 제 1 항에 있어서, 상기 실사 이미지 위에 교통정보가 표시되는 것을 특징으로 하는 이동통신 단말기를 이용한 지리 정보 제공 방법.The method of claim 1, wherein the traffic information is displayed on the live-action image. 실사 이미지를 촬영하기 위한 카메라와;A camera for taking a live-action image; 상기 카메라의 촬영 위치, 촬영 방위 및 시설 위치 정보를 취득하는 정보 취득 장치와;An information acquisition device for acquiring photographing position, photographing orientation, and facility position information of the camera; 상기 카메라를 통해 제공된 실사 이미지에 포함된 지형지물의 정보를 상기 정보 취득장치에 의해 제공된 정보와 매칭시켜 제어신호를 출력하는 정보 처리 장치와;An information processing device for outputting a control signal by matching the information of the feature included in the live image provided by the camera with the information provided by the information obtaining device; 상기 정보 처리 장치의 제어신호에 따라 지형지물의 정보를 실사 이미지 위에 기호 및/또는 문자로 표시하는 디스플레이 장치를 포함하여 이루어지는 지리정보 제공 기능을 갖는 이동통신 단말기.And a display device for displaying the feature information on the photorealistic image by symbols and / or letters according to the control signal of the information processing device. 제 10 항에 있어서, 상기 정보 취득 장치는,The apparatus of claim 10, wherein the information acquisition device comprises: 상기 카메라의 촬영 위치 정보를 취득하기 위한 GPS 수신기와;A GPS receiver for acquiring photographing position information of the camera; 상기 카메라의 촬영 방위 정보를 제공하는 지자기 센서와;A geomagnetic sensor for providing photographing orientation information of the camera; 상기 카메라의 촬영 그림각 정보를 제공하는 각도 센서를 포함하여 이루어지는 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.Mobile communication terminal having a geographic information providing function characterized in that it comprises an angle sensor for providing photographic picture angle information of the camera. 제 10 항에 있어서, 상기 정보 취득 장치는 차량의 속도 정보를 제공하는 속도 센서를 더 포함하여 이루어지는 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.11. The mobile communication terminal of claim 10, wherein the information obtaining apparatus further comprises a speed sensor for providing speed information of the vehicle. 제 10 항에 있어서, 다양한 시설의 위치정보를 제공하는 시설위치 데이터베이스(Position of facility DB)가 저장된 메모리가 더 포함된 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.The mobile communication terminal of claim 10, further comprising a memory storing a location of facility DB for providing location information of various facilities. 제 13 항에 있어서, 상기 메모리는 탈착 가능한 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.The mobile communication terminal of claim 13, wherein the memory is detachable. 제 10 항에 있어서, 다양한 시설의 위치정보를 제공하는 시설위치 데이터베이스(Position of facility DB)에 접근 가능한 무선 인터넷 통신부를 구비하는 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.The mobile communication terminal of claim 10, further comprising a wireless Internet communication unit accessible to a Position of facility DB for providing location information of various facilities. 영상을 촬영하기 위한 카메라와;A camera for taking an image; 실시간으로 현재 위치 정보를 수신하는 GPS 수신기와;A GPS receiver for receiving current location information in real time; 지자기(地磁器)에 따라 상기 카메라가 향하고 있는 촬영 방위 정보를 얻는 지자기 센서와;A geomagnetism sensor for obtaining photographing orientation information to which the camera is directed according to the geomagnetism; 카메라가 향하고 있는 높이 방향의 촬영 각도의 정보를 얻는 각도 센서와;An angle sensor for obtaining information of a photographing angle in the height direction that the camera faces; 다양한 시설의 위치정보를 제공하는 시설위치 데이터베이스(Position of facility DB)가 저장된 메모리와;A memory storing a location of facility database for providing location information of various facilities; 상기 카메라에 의해 촬영된 실사 이미지에 포함된 지형지물의 위치정보와 다 수의 센서로부터 제공된 정보를 근거로 상기 메모리에 저장된 시설 위치정보를 검색하여 실사 이미지에 매칭된 정보를 표시하기 위한 제어신호를 출력하는 제어부와;Outputs a control signal for searching facility location information stored in the memory based on the location information of the feature included in the live image captured by the camera and information provided from a plurality of sensors to display information matched with the live image. A control unit; 상기 제어부의 제어신호에 따라 화상을 출력하는 디스플레이 장치를 포함하여 이루어지는 지리정보 제공 기능을 갖는 이동통신 단말기.And a display apparatus for outputting an image according to a control signal of the controller. 제 16 항에 있어서, 상기 실사 이미지는 정지 영상인 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.The mobile communication terminal of claim 16, wherein the live-action image is a still image. 제 16 항에 있어서, 상기 실사 이미지는 프리뷰(preview) 기능에 의한 연속적인 영상인 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.17. The mobile communication terminal of claim 16, wherein the live image is a continuous image by a preview function. 제 16 항에 있어서, 상기 메모리는 탈착 가능한 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.The mobile communication terminal of claim 16, wherein the memory is removable. 제 16 항에 있어서, 상기 디스플레이 장치는 지형지물의 정보를 벡터(vector)방식으로 표시하는 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.17. The mobile communication terminal of claim 16, wherein the display device displays the feature information in a vector manner. 제 16 항에 있어서, 상기 디스플레이 장치는 지형지물의 정보를 비트맵 (bitmap)방식으로 표시하는 것을 특징으로 하는 지리정보 제공 기능을 갖는 이동통신 단말기.17. The mobile communication terminal of claim 16, wherein the display device displays the feature information in a bitmap manner.
KR1020050044620A 2005-05-26 2005-05-26 A mobile telecommunication device having a geographic information providing function and the method thereof KR101147748B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050044620A KR101147748B1 (en) 2005-05-26 2005-05-26 A mobile telecommunication device having a geographic information providing function and the method thereof
CNB2006100727774A CN100529669C (en) 2005-05-26 2006-04-07 Mobile communication terminal possessing geography information providing function and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050044620A KR101147748B1 (en) 2005-05-26 2005-05-26 A mobile telecommunication device having a geographic information providing function and the method thereof

Publications (2)

Publication Number Publication Date
KR20060122284A true KR20060122284A (en) 2006-11-30
KR101147748B1 KR101147748B1 (en) 2012-05-25

Family

ID=37443320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050044620A KR101147748B1 (en) 2005-05-26 2005-05-26 A mobile telecommunication device having a geographic information providing function and the method thereof

Country Status (2)

Country Link
KR (1) KR101147748B1 (en)
CN (1) CN100529669C (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100821205B1 (en) * 2007-01-08 2008-04-11 주식회사 케이티프리텔 Method and apparatus for location information image providing service
KR20110134660A (en) * 2010-06-09 2011-12-15 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR101314023B1 (en) * 2010-12-07 2013-10-01 가시오게산키 가부시키가이샤 Information display system, information display apparatus, and storage medium
KR101440518B1 (en) * 2007-04-20 2014-09-17 엘지전자 주식회사 mobile communication device and method for controlling thereof
WO2014171749A1 (en) * 2013-04-18 2014-10-23 케이알에코스타 주식회사 Facility information input apparatus and method using smart device, and record medium recorded with program for executing same
KR20200127107A (en) 2019-04-30 2020-11-10 서울미디어대학원대학교 산학협력단 Visualization System of Regional Commercial Areas Using Augmented Reality

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109646A (en) * 2007-08-22 2008-01-23 广东瑞图万方科技有限公司 Navigation system
CN101109643B (en) * 2007-08-22 2011-06-29 广东瑞图万方科技有限公司 Navigation apparatus
KR20090123227A (en) * 2008-05-27 2009-12-02 삼성전자주식회사 Offering apparatus of searching service, method and program thereof
US8473187B2 (en) * 2009-06-01 2013-06-25 Robert Bosch Gmbh Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization
CN101930665B (en) * 2009-06-23 2016-08-17 宏达国际电子股份有限公司 The method of display transport information and electronic installation
CN101853006B (en) * 2010-04-17 2011-08-31 上海交通大学 Multi-agent cooperative control system
JP5126334B2 (en) * 2010-10-13 2013-01-23 コニカミノルタビジネステクノロジーズ株式会社 Image processing system, image processing apparatus control method, image processing apparatus, portable terminal, information processing apparatus, and control program
JP5212448B2 (en) * 2010-11-15 2013-06-19 コニカミノルタビジネステクノロジーズ株式会社 Image processing system, control method for image processing apparatus, portable terminal, and control program
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
CN103364000B (en) * 2012-03-26 2016-01-27 联想(北京)有限公司 A kind of localization method and electronic equipment
CN102829788A (en) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 Live action navigation method and live action navigation device
CN102937452A (en) * 2012-10-26 2013-02-20 北京百度网讯科技有限公司 Navigation method, apparatus and system based on image information code
CN104159036B (en) * 2014-08-26 2018-09-18 惠州Tcl移动通信有限公司 A kind of display methods and capture apparatus of image orientation information
CN105049590B (en) * 2015-05-19 2018-07-06 广东欧珀移动通信有限公司 A kind of picture localization method and terminal based on rotating camera
CN105320725B (en) * 2015-05-29 2019-02-22 杨振贤 Obtain the method and device of the geographic object in acquisition point image
CN106052706A (en) * 2016-06-07 2016-10-26 珠海市魅族科技有限公司 Geographic information showing method and mobile terminal
CN107063189A (en) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 The alignment system and method for view-based access control model
CN110285799B (en) * 2019-01-17 2021-07-30 杭州志远科技有限公司 Navigation system with three-dimensional visualization technology

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10138719A1 (en) 2001-08-07 2003-03-06 Siemens Ag Method and device for displaying driving instructions, especially in car navigation systems
JP3876972B2 (en) 2001-10-12 2007-02-07 株式会社デンソー GUIDE IMAGE GENERATION DEVICE, GUIDE IMAGE DISPLAY DEVICE, NAVIGATION DEVICE, AND PROGRAM
KR20040025150A (en) * 2002-09-18 2004-03-24 삼성전자주식회사 Route guide method in car navigation system
JP2004257979A (en) 2003-02-27 2004-09-16 Sanyo Electric Co Ltd Navigation apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100821205B1 (en) * 2007-01-08 2008-04-11 주식회사 케이티프리텔 Method and apparatus for location information image providing service
KR101440518B1 (en) * 2007-04-20 2014-09-17 엘지전자 주식회사 mobile communication device and method for controlling thereof
KR20110134660A (en) * 2010-06-09 2011-12-15 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR101314023B1 (en) * 2010-12-07 2013-10-01 가시오게산키 가부시키가이샤 Information display system, information display apparatus, and storage medium
WO2014171749A1 (en) * 2013-04-18 2014-10-23 케이알에코스타 주식회사 Facility information input apparatus and method using smart device, and record medium recorded with program for executing same
KR20200127107A (en) 2019-04-30 2020-11-10 서울미디어대학원대학교 산학협력단 Visualization System of Regional Commercial Areas Using Augmented Reality

Also Published As

Publication number Publication date
CN1869593A (en) 2006-11-29
CN100529669C (en) 2009-08-19
KR101147748B1 (en) 2012-05-25

Similar Documents

Publication Publication Date Title
KR101147748B1 (en) A mobile telecommunication device having a geographic information providing function and the method thereof
CN109323708B (en) Electronic device and control method thereof
KR101662595B1 (en) User terminal, route guide system and route guide method thereof
CN106574841B (en) Method and system for generating route data
JP4591353B2 (en) Character recognition device, mobile communication system, mobile terminal device, fixed station device, character recognition method, and character recognition program
EP2214122B1 (en) Methods and devices for assisting a vehicle driver
KR100533033B1 (en) Position tracing system and method using digital video process technic
CN102915669A (en) Method and device for manufacturing live-action map
US20090177378A1 (en) Navigation device and method
JP2003111128A (en) Method of specifying present location, method of providing information on present location, method of guiding moving route, position information management system, and information communication terminal
JP2011506983A (en) Improved navigation device and method
CN110998684B (en) Image collection system, image collection method, image collection device, and recording medium
KR20120079341A (en) Method, electronic device and recorded medium for updating map data
KR100968837B1 (en) Portable camera system provides information about captured objects
KR100809524B1 (en) System and method for providing traffic information using navigation apparatus and server based on ubiquitous network
JPWO2015128959A1 (en) Navigation system, image server, portable terminal, navigation support method, and navigation support program
KR100676619B1 (en) Location Memorizing Mobile Station, Location Memorizing Service System and Method thereof using It
JP6165422B2 (en) Information processing system, information processing device, server, terminal device, information processing method, and program
KR20200002219A (en) Indoor navigation apparatus and method
KR20100060472A (en) Apparatus and method for recongnizing position using camera
JP2006285546A (en) Information providing system, database server, portable communication terminal
KR100685790B1 (en) System and Method for Real Image based Navigation
KR100620668B1 (en) Method for implementing Video GIS system of car navigation system having GPS receiver
KR100701150B1 (en) Method and Apparatus for supplement of navigation map
KR20180002249A (en) Intersection guidance method using the crossroads facilities in a navigation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170424

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee