KR100668969B1

KR100668969B1 - Method for guiding road using camera image

Info

Publication number: KR100668969B1
Application number: KR20050054397A
Authority: KR
Inventors: 정문호
Original assignee: 엘지전자 주식회사
Priority date: 2005-06-23
Filing date: 2005-06-23
Publication date: 2007-01-12
Also published as: KR20060134593A

Abstract

본 발명은 카메라에 촬영되는 영상을 통해 사용자에게 길안내 서비스를 제공해 줄 수 있는 카메라 영상을 통한 길안내 방법에 관한 것이다. The present invention relates to a method for guiding a road through a camera image that can provide a user with a road guide service through an image captured by a camera.

본 발명에 따르면, 사용자의 길안내 명령에 따라 현재 위치로부터 사용자가 입력한 목적지까지의 최적 이동경로를 탐색하고 그 이동경로 상에 위치하는 안내 대상을 카메라에 촬영되는 영상에 표시해 주면서 길안내 서비스를 제공한다. According to the present invention, according to the user's directions command to search for the optimal travel route from the current location to the destination input by the user, and displays the guide object located on the travel route on the image taken by the camera to provide a road guidance service to provide.

이에 따라, 사용자에게 지도 데이터가 아닌 실제 보이는 영상과 함께 길안내 서비스를 제공해 줄 수 있다. Accordingly, it is possible to provide the user with a road guide service with the actual image, not the map data.

카메라 영상, 길안내, 안내 대상, 이동경로 Camera video, directions, targets, travel directions

Description

Method for guiding road using camera image}

도 1은 본 발명이 적용 가능한 네비게이션 시스템의 구성을 보인 도면, 1 is a view showing the configuration of a navigation system to which the present invention is applicable;

도 2는 본 발명의 바람직할 실시예에 따른 길안내 방법을 나타낸 흐름도, 2 is a flowchart showing a way guidance according to an embodiment of the present invention;

도 3은 도 2에 도시된 대상물 매칭 단계를 구체적으로 도시한 흐름도, 3 is a flowchart specifically illustrating an object matching step illustrated in FIG. 2;

도 4a 내지 도 4c는 본 발명의 바람직한 실시예에 따라 카메라 영상에 안내 대상을 표시하는 모습을 나타낸 도면이다. 4A to 4C are views illustrating a method of displaying a guide object on a camera image according to an exemplary embodiment of the present invention.

* 도면의 주요부분에 대한 부호의 설명 * Explanation of symbols for main parts of the drawings

100 : GPS 수신기 102 : 제어부100: GPS receiver 102: control unit

104 : 카메라 106 ; 이미지 프로세서104: camera 106; Image processor

108 : 지도데이터 저장부 110 : 센서부108: map data storage unit 110: sensor unit

GPS(Global Positioning System)는 미국의 국방성에서 개발한 범세계 측위 시스템으로서, 복수 개의 GPS 위성은 기울임각(inclination angle)이 55°인 6개의 원형 궤도면(circular orbit)에 각각 4개씩 배치되어, 약 12시간의 주기를 가지고 이동하면서 각기 자신의 위치정보신호를 송신하고, GPS 수신기는 복수의 GPS 위성들 중에서 최소한 4개 이상의 GPS 위성으로부터 위치정보신호를 수신하여 GPS 위성과 자신 사이의 거리 및 GPS 위성의 위치벡터를 검출하며 이를 통해 자신의 위치벡터를 산출한다. GPS (Global Positioning System) is a global positioning system developed by the US Department of Defense, and a plurality of GPS satellites are arranged on each of six circular orbits each having an inclination angle of 55 °. Each of them transmits its own location information signal with a period of about 12 hours, and the GPS receiver receives the location information signal from at least 4 GPS satellites among the plurality of GPS satellites, and the distance between the GPS satellites and itself. Detect the position vector of satellite and calculate its own position vector.

이와 같은 GPS 수신기를 구비한 네비게이션 시스템은 GPS 수신기로부터 산출된 자신의 위치벡터를 지도 데이터 상에 매핑시켜 표시하고, 부가 서비스로 지도 상의 현재 위치로부터 사용자의 목적지까지 최단 경로를 알려주는 길안내 서비스를 제공하고 있다. 그래서 사용자들은 이와 같은 네비게이션 시스템을 휴대함으로써 자신의 목적지까지 보다 용이하게 찾아갈 수 있게 되었다. A navigation system having such a GPS receiver maps its location vector calculated from the GPS receiver onto map data and displays it, and provides an additional service as a supplementary service to provide the shortest route from the current location on the map to the user's destination. Providing. Thus, users can easily navigate to their destinations by carrying such a navigation system.

하지만 지도 데이터를 통해 길안내 서비스를 제공받을 시, 사용자는 길 안내 받는 대상물이 실제 보이는 대상물들 중 어느 것에 해당되는지를 일일이 확인하면서 목적지를 찾아가야 하는 번거로움이 있다. However, when the road guidance service is provided through the map data, the user may have to find a destination while checking whether the target road guide object corresponds to the actual visible object.

그러므로 본 발명의 목적은 사용자에게 실제 보이는 대상물들과 함께 길안내 서비스를 제공해 줄 수 있는 카메라 영상을 통한 길안내 방법을 제공하는데 있다.Therefore, an object of the present invention is to provide a method for guiding a road through a camera image that can provide a guiding service along with objects that are actually visible to a user.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 길안내 방법은 기 저장된 지도 데이터를 로딩하여 현재 위치로부터 사용자가 입력한 목적지까지의 최적 이동경로를 설정하는 단계; 카메라에 촬영되는 영상을 캡처하고, 영상 캡처시 GPS 수신신호로 상기 카메라의 촬영위치를 검출하여 이를 기준으로 상기 캡처된 영상 내의 대상물들과 상기 지도 데이터 상에 존재하는 대상물들을 매칭시키는 단계; 및 및 상기 영상 내에 상기 사용자의 목적지와 매칭되는 대상물을 안내 대상으로 표시하여 길안내 하는 단계;를 포함하여 이루어진다. In order to achieve the above object, the road guidance method according to the present invention comprises the steps of loading the pre-stored map data to set the optimum movement route from the current location to the destination input by the user; Capturing an image photographed by a camera, detecting a photographing position of the camera by a GPS reception signal when capturing the image, and matching objects in the captured image with objects existing on the map data; And displaying the object matching the destination of the user as a guide object in the image and guiding the road.

여기서, 상기 영상의 캡처는 상기 카메라에 촬영되는 영상을 일정 시간 간격마다 캡처하는 것을 특징으로 한다.The capturing of the image may include capturing an image captured by the camera at predetermined time intervals.

그리고, 상기 길안내는 상기 영상 내에 상기 입력된 사용자의 목적지를 표시하면서 상기 목적지까지의 이동경로를 음성신호로 안내하도록 구성될 수 있다.The road guide may be configured to guide a moving path to the destination by a voice signal while displaying the input destination of the user in the image.

본 발명에서 상기 영상 내에 각 대상물들과 지도 데이터 상의 대상물들 매칭은, 상기 캡처된 영상 내에 존재하는 각 대상물들에 대한 위치정보를 산출하는 단계; 상기 로딩된 지도 데이터에 존재하는 대상물들의 위치정보를 산출하는 단계; 및 상기 산출한 영상 내 각 대상물들의 위치정보와 지도 데이터 내 대상물들의 위치정보를 비교하여 서로 위치정보가 일치하는 대상물들을 매칭시키는 단계;로 이루어질 수 있다.Matching the objects in the image and the objects on the map data in the present invention, calculating the position information for each of the objects present in the captured image; Calculating location information of objects present in the loaded map data; And comparing the location information of the respective objects in the calculated image with the location information of the objects in the map data and matching the objects with the same location information.

바람직하게, 상기 카메라 영상을 캡처 시에는 GPS 수신신호 및 지자기 센서의 감지신호로 상기 카메라의 촬영위치 및 방위각을 검출하도록 한다.Preferably, the capturing position and azimuth of the camera are detected by the GPS signal and the detection signal of the geomagnetic sensor when capturing the camera image.

그리고 상기 영상 내 각 대상물들의 위치정보 산출은, 경사계 센서의 감지신호로 상기 카메라의 경사각을 검출하는 단계; 상기 캡처된 영상에 대한 이미지 프로세싱을 통해 영상 내의 각 대상물들을 분리시키는 단계; 상기 분리시킨 각 대상물에 중심점 포인트를 설정하고, 상기 검출한 촬영위치 및 방위각을 기준으로 상기 각 대상물들의 위치정보를 산출하는 단계; 및 상기 산출한 각 대상물들의 위치정보를 상기 카메라의 배율정보 및 경사각을 통해 보정하는 단계;로 이루어질 수 있고, 상기 각 대상물들에 중심점 포인트 설정은 상기 각 대상물의 하단에 중심점 포인트를 설정하는 것을 특징으로 한다. And calculating the position information of each object in the image, detecting the inclination angle of the camera by the detection signal of the inclinometer sensor; Separating each object in the image through image processing on the captured image; Setting a center point to each of the separated objects, and calculating position information of each of the objects based on the detected shooting position and azimuth; And correcting the calculated position information of each target object through the magnification information and the inclination angle of the camera. The center point setting of each of the target objects may include setting a center point at the bottom of each target object. It is done.

또한 상기 지도 데이터 내의 대상물에 대한 위치정보 산출은 상기 사용자 이동경로 상에 위치한 각 대상물에 중심점 포인트를 설정하고 상기 검출한 촬영위치 및 방위각을 기준으로 대상물들의 위치정보를 산출하는 것을 특징으로 한다. In addition, the calculation of the location information of the object in the map data is characterized in that the center point is set to each object located on the user's movement path, and the location information of the objects is calculated based on the detected shooting position and azimuth angle.

본 발명에서 상기 각 대상물들의 위치정보는 상기 검출한 촬영위치 및 방위각을 기준으로 한 각 대상물들의 방향각 및 거리값인 것을 특징으로 한다. In the present invention, the position information of each object is characterized in that the direction angle and the distance value of each object based on the detected shooting position and azimuth.

한편, 상기 영상 내에 상기 사용자의 목적지와 매칭되는 대상물이 존재하지 않을 경우, 상기 지도 데이터를 참조하여 상기 영상 내에 존재하는 대상물들 중 사용자의 이동경로 상에 위치하는 소정 대상물을 중간 안내 대상물로 결정하고 상기 영상 내에 안내 대상으로 표시하며 길안내하는 것을 특징으로 한다. On the other hand, if there is no object matching the user's destination in the image, a predetermined object located on the user's movement path among the objects existing in the image is determined as an intermediate guide object by referring to the map data. It is characterized in that the display as a guide object in the image to guide the way.

그리고 상기 지도 데이터를 참조하여 상기 중간 안내 대상물을 결정시, 상기 영상 내에 존재하는 대상물들 중 상기 사용자의 이동경로 상에 설정각도 이상 회전하는 위치에 존재하는 대상물을 중간 안내 대상물로 결정하도록 한다. When the intermediate guide object is determined with reference to the map data, the intermediate object may be determined to be an object present at a position that rotates by a set angle or more on the movement path of the user among the objects existing in the image.

바람직하게 본 발명에서는 상기 영상 내에 안내 대상을 표시하는 때에, 상기 지도 데이터로부터 그 안내 대상에 해당하는 대상물의 텍스트 정보를 검출하여 상기 영상 내 해당 대상물과 매핑시켜 표시하도록 한다. Preferably, in the present invention, when displaying a guide object in the image, text information of an object corresponding to the guide object is detected from the map data and mapped to the corresponding object in the image.

여기서, 상기 검출된 대상물의 텍스트 정보 표시는 상기 영상 내에 해당 대 상물의 텍스트 포인트 위치를 설정하는 단계; 및 상기 대상물의 텍스트 포인트 위치에 상기 검출함 그 대상물의 텍스트 정보를 매핑시켜 표시하는 단계;로 이루어지는 것을 특징으로 한다. The displaying of the text information of the detected object may include setting a text point position of the corresponding object in the image; And mapping the text information of the detected object to a text point position of the object and displaying the mapped information.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 구체적으로 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명이 적용 가능한 네비게이션 시스템의 구성을 보인 도면으로, 도 1에 도시된 바와 같이 본 발명에 따른 네비게이션 시스템은 카메라(104)와 일체를 이루며, 사용자의 조작에 따라 동작명령 및 목적지를 입력받는 입력부(116)와, GPS 위성이 송신하는 위치정보신호를 수신하는 GPS 수신기(100)와, 지도 데이터를 저장하고 있는 지도데이터 저장부(108)와, 자이로스코프 및 경사계를 통해 카메라(104)의 방위각 및 경사각을 검출하는 센서부(110)와, 카메라(104)에 캡처된 영상을 처리하는 이미지 프로세서(106)와, 사용자의 현재 위치로부터 입력부(116)를 통해 입력받은 사용자의 목적지까지 최적 이동경로를 지도 데이터를 참조하여 설정한 후, 카메라 영상에 길안내 대상을 표시하며 길안내 동작을 제어하는 제어부(102)와, 제어부(102)의 제어에 따라 표시부(114)에 카메라(104)의 영상과 함께 안내 대상을 표시하는 표시구동부(112)와, 제어부(102)의 제어에 따라 목적지까지의 이동경로를 스피커(120)를 통해 음성신호로 안내하는 음성 구동부(118)로 구성될 수 있다. 1 is a view showing a configuration of a navigation system to which the present invention is applicable. As shown in FIG. 1, a navigation system according to the present invention is integrated with a camera 104, and provides an operation command and a destination according to a user's operation. Camera 104 through an input unit 116 for receiving input, a GPS receiver 100 for receiving a location information signal transmitted by a GPS satellite, a map data storage unit 108 for storing map data, and a gyroscope and an inclinometer. Sensor unit 110 for detecting azimuth and inclination angles), an image processor 106 for processing an image captured by the camera 104, and a user's current position from the user's current position to the user's destination input through the input unit 116 After setting the optimum movement route with reference to the map data, the display unit 102 controls the road guide operation by displaying the target object on the camera image and the display unit under the control of the control unit 102. A display driver 112 for displaying a guide object together with the image of the camera 104 on the 114, and a voice for guiding a moving path to a destination through the speaker 120 as a voice signal under the control of the controller 102. The driving unit 118 may be configured.

이러한 구성을 가지는 네비게이션 시스템은 입력부(116)를 통해 사용자의 길 안내 명령이 입력받으며, GPS 수신기(100)의 수신기능을 온 시켜 지구 상공에 위치한 복수의 GPS 위성으로부터 위치 데이터를 수신받아 제어부(102)로 입력시키다. The navigation system having such a configuration receives a user's way guidance command through the input unit 116, turns on the reception function of the GPS receiver 100, receives position data from a plurality of GPS satellites located in the earth, and controls the control unit 102. To enter

제어부(102)는 입력부(116)를 통해 사용자의 목적지가 입력되면 지도 데이터 저장부(108)로부터 지도 데이터를 로딩하고, GPS 수신기(100)의 수신신호로 판단한 현재 위치로부터 입력된 사용자 목적지까지의 최적 이동경로를 지도 데이터를 참조하여 설정한다. When the user's destination is input through the input unit 116, the controller 102 loads the map data from the map data storage unit 108, and moves from the current position determined by the reception signal of the GPS receiver 100 to the input user destination. The optimal movement route is set with reference to the map data.

그리고 사용자의 명령에 따라 카메라(104)의 동작을 제어하면서 카메라(104)에 촬영되는 영상을 일정 시간 간격으로 캡처하고, 영상 내에 존재하는 각 대상물을 지도 데이터 상에 존재하는 대상물들과 매칭시켜서 영상 내에 사용자의 목적지와 매칭되는 대상물을 안내 대상으로 표시부(114)에 표시되도록 표시 구동부(112)를 제어한다. 또한 제어부(102)는 영상 내에 안내 대상을 표시하면서 목적지까지의 이동경로를 스피커(120)를 통해 음성신호로 안내되도록 음성 구동부(118)를 제어해 준다. And while controlling the operation of the camera 104 in accordance with the user's command to capture the image taken by the camera 104 at a predetermined time interval, by matching each object present in the image with the objects present on the map data image The display driver 112 is controlled to display an object matching the user's destination within the display unit 114 as a guide object. In addition, the controller 102 controls the voice driver 118 to display the guide object in the image and guide the movement path to the destination through the speaker 120 as a voice signal.

한편, 캡처된 카메라 영상 내에 사용자의 목적지와 매칭되는 대상물이 존재하지 않을 경우에는, 지도 데이터를 참조하여 캡처된 영상 내에 존재하는 대상물 중 사용자의 이동경로 상에 위치하는 소정 대상물을 중간 안내 대상물로 결정하고 영상 내에 안내 대상으로 표시하며 길안내 동작을 수행하도록 제어한다. On the other hand, if there is no object matching the user's destination in the captured camera image, the predetermined object located on the user's movement path among the objects existing in the captured image with reference to the map data is determined as the intermediate guide object. It is displayed as a guide object in the image and controls to perform a road guide operation.

또한 본 발명에서는 영상 내에 안내 대상을 표시하는 때에, 지도 데이터로부터 그 안내 대상에 해당하는 대상물의 텍스트 정보를 검출하여 영상 내 해당 대상물과 매핑시켜 표시부(114)에 표시되도록 한다. In addition, in the present invention, when displaying the guide object in the image, the text information of the object corresponding to the guide object is detected from the map data and mapped to the corresponding object in the image to be displayed on the display unit 114.

도 2는 본 발명의 바람직할 실시예에 따른 길안내 방법을 나타낸 흐름도로, 사용자의 길안내 명령이 입력되면(200) 사용자로부터 길안내 대상인 목적지를 입력받는다(202). 그리고 미리 저장해 놓은 지도 데이터를 로딩하여, GPS 수신신호로 검출한 현재 위치로부터 사용자의 목적지까지의 최적 이동경로를 상기 로딩된 지도 데이터를 참조해서 탐색 및 설정한다(204).2 is a flowchart illustrating a method for guiding a road according to an exemplary embodiment of the present invention. When a user's directions command is input (200), the user receives an input of a destination to which the user is guided (202). The map data stored in advance is loaded to search for and set an optimal movement route from the current position detected by the GPS reception signal to the user's destination with reference to the loaded map data (204).

사용자의 목적지까지 이동경로 설정이 완료되면 카메라(104)의 동작을 온시켜(206) 사용자가 카메라(104)에 영상을 촬영할 수 있도록 해 주며, 촬영되는 카메라 영상을 일정 시간 간격으로 캡처한다(208). When the movement path setting to the user's destination is completed, the operation of the camera 104 is turned on (206) so that the user can capture an image on the camera 104, and the captured camera image is captured at a predetermined time interval (208). ).

그리고 영상 캡처시 그 캡처한 영상 내에 존재하는 각 대상물을 지도 데이터 상에 존재하는 대상물들과 매칭시켜(210), 캡처한 영상 내에 사용자의 목적지와 매칭되는 대상물이 존재하는지의 여부를 확인하고(212) 그 확인 결과, 해당 대상물이 존재할 경우 지도 데이터로부터 그 해당 대상물의 텍스트 정보를 검출한다(214). 그래서 검출된 텍스트 정보를 캡처한 영상 내 그 대상물에 매핑시키고 텍스트 정보와 함께 그 대상물을 안내 대상으로 표시해 준다(216). When capturing the image, each object existing in the captured image is matched with objects existing on the map data (210), and whether the object matching the destination of the user exists in the captured image is checked (212). As a result of the check, if the object exists, text information of the object is detected from the map data (214). Therefore, the detected text information is mapped to the object in the captured image and the object is displayed as the guide object along with the text information (216).

여기서, 검출된 대상물의 텍스트 정보를 캡처한 영상 내 그 대상물에 매핑시켜 표시하기 위해서는 우선, 캡처한 영상 내에 그 대상물의 텍스트 포인트 위치를 설정한다. 그리고 그 설정된 텍스트 포인트 위치에 검출한 텍스트 정보를 매핑시켜서 표시해 준다. Here, in order to map and display the text information of the detected object to the object in the captured image, first, a text point position of the object is set in the captured image. The detected text information is mapped to the set text point position and displayed.

본 발명은 이와 같이 사용자의 길안내를 위해서 카메라 영상 내에 안내 대상을 표시함과 동시에 목적지까지의 이동경로를 스피커(120)를 통해 음성신호로 안내 하도록 구성될 수 있다. As described above, the present invention may be configured to display a guidance target in a camera image for guiding a user and guide a movement route to a destination through a speaker 120 as a voice signal.

한편, 캡처한 카메라 영상 내에 사용자의 목적지와 매칭되는 대상물이 존재하지 않을 경우에는 지도 데이터를 참조하여 영상 내에 존재하는 대상물들 중 사용자의 이동경로 상에 위치한 소정 대상물을 중간 안내 대상물로 결정한다(218). 그리고 그 중간 안내 대상물의 텍스트 정보를 지도 데이터로부터 검출하여(214) 영상 내 중간 안내 대상물과 서로 매핑시켜서 표시해 준다(216). In contrast, when an object matching the user's destination does not exist in the captured camera image, a predetermined object located on the moving path of the user among the objects existing in the image is determined as an intermediate guide object by referring to the map data (218). ). The text information of the intermediate guide object is detected from the map data (214), and is displayed by mapping the intermediate guide object in the image with each other (216).

본 발명에서는 지도 데이터를 참조하여 중간 안내 대상물을 결정시, 영상 내에 존재하는 대상물들 중 사용자의 이동경로 상에서 설정각도 이상 회전하는 위치에 존재하는 대상물을 중간 안내 대상물로 결정하는 것을 특징으로 한다. 즉, 길의 교차지점 근처에 위치하는 건물을 중간 안내 대상물로 결정해서 영상 내에 안내대상으로 표시하며 길안내를 하도록 이루어진다. In the present invention, when the intermediate guide object is determined with reference to the map data, an object existing at a position rotated by a set angle or more on a moving path of the user among objects existing in the image is characterized in that it is determined as the intermediate guide object. In other words, the building located near the intersection of the road is determined as the intermediate guide object, and is displayed as the guide object in the image and the road guide is made.

본 발명은 이와 같이 사용자의 목적지 또는 이동경로 상에 위치하는 중간 안내 대상물을 안내 대상으로 영상 내에 표시해 주며, 캡처된 영상 내에 표시된 안내 대상이 목적지인지 아니면 중간 안내 대상물인지를 서로 구별해서 표시해 주기 위해 소정 심볼(symbol)을 함께 표시해 주는 것을 특징으로 한다. The present invention displays the intermediate guide object located on the user's destination or movement path as a guide object in the image as described above, and in order to distinguish whether the guide object displayed in the captured image is a destination or an intermediate guide object separately from each other. It is characterized by displaying a symbol (symbol) together.

이와 같이 카메라 영상에 안내 대상을 표시해 주는 과정은 사용자가 목적지에 도착하기 전까지 계속 수행된다(220). As such, the process of displaying the guidance target on the camera image is continued until the user arrives at the destination (220).

도 3은 도 2에 도시된 대상물 매칭 단계(210)를 구체적으로 도시한 흐름도로, 도 3을 참조하여 본 발명에서 카메라 영상과 지도 데이터간에 대상물들을 매칭하는 일 실시예를 상세히 설명하기로 한다. 3 is a flowchart specifically illustrating the object matching step 210 illustrated in FIG. 2, and an embodiment of matching objects between a camera image and map data according to the present invention will be described in detail with reference to FIG. 3.

우선 카메라 영상을 캡처시, GPS 수신신호 및 지자기 센서신호로 카메라(104)의 촬영위치 및 방위각을 검출하고(300) 이를 기준으로 캡처한 영상 내 각 대상물들에 대한 위치정보를 산출한다(302). First, when capturing a camera image, the camera detects a photographing position and azimuth angle of the camera 104 using a GPS signal and a geomagnetic sensor signal (300), and calculates position information on each object in the captured image based on this (302). .

여기서, 영상내 각 대상물들에 대한 위치정보 산출(302)은 영상을 캡처시 경사계 센서신호로 카메라(104)의 경사각을 검출한다(302-2). 그리고 캡처된 영상에 대한 이미지 프로세싱을 통해 영상 내 각 대상물들을 분리시키고(302-4) 그 분리시킨 각 대상물들 하단에 중심점 포인트를 설정하여(302-6), 영상 캡처시 촬영위치 및 방위각을 기준으로 각 대상물들의 위치정보를 산출한다(302-8). 각 대상물들의 위치정보가 산출되면 그 산출된 각 대상물들의 위치정보를 카메라(104)의 경사각 및 배율정보를 이용하여 보정시킴으로써(302-10) 영상 내 각 대상물의 실제 위치정보를 획득한다. Here, the position information calculation 302 for each object in the image detects the inclination angle of the camera 104 by the inclinometer sensor signal when capturing the image (302-2). Image processing is performed on the captured image to separate the objects in the image (302-4) and set the center point at the bottom of each of the separated objects (302-6), based on the shooting position and azimuth angle when capturing the image. The location information of each object is calculated (302-8). When the position information of each object is calculated, the actual position information of each object in the image is obtained by correcting the calculated position information of each object by using the tilt angle and magnification information of the camera 104 (302-10).

이와 같이 산출하는 대상물들의 위치정보는 카메라(104)의 촬영위치 및 방위각을 기준으로 한 각 대상물들의 방향각 및 거리값인 것을 특징으로 한다. The position information of the objects calculated as described above is characterized in that the direction angle and the distance value of each object based on the photographing position and the azimuth angle of the camera 104.

한편, 캡처한 영상 내 각 대상물들의 위치정보를 산출(302)함과 동시에, 지도 데이터에 사용자 이동경로를 따라 위치한 각 대상물의 위치정보를 산출한다(304). 이때, 각 대상물의 위치정보 역시 대상물에 중심점 포인트를 설정하여(304-2) 영상 캡처시 카메라(104)의 촬영위치 및 방위각을 기준으로 한 위치정보를 산출한다(304-4). Meanwhile, the location information of each object in the captured image is calculated 302, and the location information of each object located along the user's movement path is calculated in the map data (304). At this time, the location information of each object is also set to the center point point (304-2) in the object to calculate the position information based on the shooting position and azimuth angle of the camera 104 when capturing the image (304-4).

그리고 산출한 영상 내 각 대상물들의 위치정보와 지도 데이터 내 사용자 이동경로를 따라 위치한 대상물들의 위치정보를 서로 비교해서 위치정보가 일치하는 대상물들을 매칭시킨다(306). The location information of each object in the calculated image and the location information of the objects located along the user's movement path in the map data are compared with each other to match the objects having the same location information (306).

도 4a 내지 도 4c는 본 발명의 바람직한 실시예에 따라 카메라 영상에 안내 대상을 표시하는 모습을 도면으로, 도 4a는 카메라(104)와 네비게이션 시스템을 일체로 구비하고 있는 단말기에서 지도 데이터를 로딩하여 표시패널에 표시한 모습을 나타낸 것이다. 4A to 4C are diagrams showing a guide object displayed on a camera image according to a preferred embodiment of the present invention. FIG. 4A is a view showing loading map data in a terminal having a camera 104 and a navigation system integrated therein. The display panel is shown.

도 4b는 도4a에 표시된 시몬빌딩(D)을 사용자가 길 안내받을 목적지로 하고 카메라(104)에 캡처된 영상 내에 그 목적지에 해당하는 대상물이 존재할 경우, 카메라 영상에 사용자의 목적지에 해당하는 대상물을 안내대상으로 표시한 모습을 나타내고 있다. FIG. 4B is a destination corresponding to the user's destination in the camera image when the Simon building D shown in FIG. 4A is the destination to which the user is to be guided, and an object corresponding to the destination exists in the image captured by the camera 104. It shows how to display as a guide.

반면, 도 4c는 사용자의 이동경로 상에 위치하는 중간 안내 대상물로 도 4a에 표시된 시몬빌딩(D)을 결정한 경우, 카메라 영상에 그 중간 안내 대상을 표시한 모습을 나타내고 있다. On the other hand, FIG. 4C shows a case where the intermediate guide object is displayed on the camera image when the Simon building D shown in FIG. 4A is determined as the intermediate guide object located on the movement path of the user.

도 4b 및 도 4c와 같이 본 발명은 카메라 영상에 안내 대상을 표시하는 때에 그 안내 대상에 대한 텍스트 정보를 함께 표시해 주며, 사용자의 목적지에 해당하는 대상물이 안내 대상으로 표시될 경우에는 'D' 심볼을 함께 표시해 주어 사용자에게 목적지임을 알려주고, 이동경로 상에 위치한 중간 안내 대상물이 안내 대상으로 표시될 경우에는 깃발 심볼을 표시해 주어 중간 안내 대상임을 알려주도록 이루어질 수 있다. As shown in FIGS. 4B and 4C, when the guidance target is displayed on a camera image, the present invention displays text information on the guidance target, and the 'D' symbol when the target corresponding to the user's destination is displayed as the guidance target. By indicating with the user to indicate that the destination, if the intermediate guide object located on the moving path is displayed as a guide object can be made to indicate that the intermediate guide object by displaying a flag symbol.

본 발명은 상술한 실시예에 한정되지 않고 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 당업자에 의해 다양하게 변형하여 실시할 수 있다. The present invention is not limited to the above-described embodiments and can be variously modified and implemented by those skilled in the art without departing from the technical spirit of the present invention.

본 발명에 따르면, 사용자에게 길안내 서비스를 제공 시에 카메라로 실제 영상을 촬영하도록 하고 그 카메라 영상에 길안내를 위한 안내 대상을 표시해 줌으로써, 지도 데이터 상에 표시된 안내 대상이 실제 보이는 대상물들 중 어느 것에 해당되는지를 한눈에 살펴볼 수 있게 해 준다. According to the present invention, by providing a guide service to the user to take a real image with a camera and by displaying a guide object for the road guidance on the camera image, any of the objects that the guide object displayed on the map data actually visible Allows you to see at a glance if this applies to you.

또한 카메라 영상에 길안내를 위한 안내 대상을 표시할 때에 그 안내 대상의 텍스트 정보를 함께 표시해 주며, 특히 현재 안내하는 대상이 사용자의 목적지에 해당하는 대상인지 아니면 그 목적지까지의 경로 상에 위치한 중간 안내 대상인지를 특정 심볼의 표시로 구분하여 표시해 줌으로써 사용자들이 길안내를 받을 시에 그 안내받는 대상에 대한 정보 또한 살펴볼 수 있도록 해 준다.In addition, when displaying a guide object for guiding a road on a camera image, text information of the guide object is displayed together. In particular, the currently guided object corresponds to a user's destination or an intermediate guide located on a route to the destination. By identifying whether an object is indicated by a symbol of a specific symbol, when a user receives a directions, the user can also view information about the object.

이에 따라, 본 발명은 사용자들이 보다 편리하게 길안내를 받을 수 있도록 해 준다.Accordingly, the present invention allows users to receive the guidance more conveniently.

Claims

Loading the pre-stored map data and setting an optimum movement route from a current location to a destination input by the user;

Capturing an image photographed by a camera, detecting a photographing position of the camera by a GPS reception signal when capturing the image, and matching objects in the captured image with objects existing on the map data;

Searching for an object matching the destination within the image through the object matching; And

And displaying the searched object as a guide object in the image and guiding a road.

The method of claim 1, wherein the capture of the image

Method for guiding the camera image, characterized in that for capturing the image taken by the camera at a predetermined time interval.

The method of claim 1,

The way guidance is a road guidance method through a camera image, characterized in that to guide the moving path to the destination by the voice signal while displaying the input destination of the user in the image.

The method of claim 1, wherein the matching of the objects in the image with the objects in the image comprises:

Calculating location information of each object present in the captured image;

Calculating location information of objects present in the loaded map data; And

And comparing the location information of the respective objects in the calculated image with the location information of the objects in the map data, and matching the objects having the same location information with each other. 2.

The method of claim 4, wherein

The method for guiding the way through the camera image, characterized in that for detecting the camera position and the azimuth angle detected by the GPS signal and the detection signal of the geomagnetic sensor when capturing the camera image.

The method of claim 5, wherein the location information of each object in the image is calculated.

Detecting an inclination angle of the camera by a detection signal of an inclinometer sensor;

Separating each object in the image through image processing on the captured image;

Setting a center point to each of the separated objects, and calculating position information of each of the objects based on the detected shooting position and azimuth; And

And correcting the calculated position information of the target objects through the magnification information and the inclination angle of the camera.

The method of claim 6, wherein the center point setting for each of the objects is

Method for guiding the way through the camera image, characterized in that for setting the center point at the bottom of each object.

The method of claim 5, wherein the location information calculation for the object in the map data is performed.

And a center point point is set for each object located on the user's movement path, and location information of the objects is calculated based on the detected shooting position and azimuth angle.

The method of claim 4, wherein the location information of each object is

And a direction angle and a distance value of each object based on the detected shooting position and azimuth.

The method of claim 1,

After searching for an object matching the destination in the image,

As a result of the search, when there is no object matching the destination, the predetermined object located on the movement path of the user among the objects existing in the image is referred to as the intermediate guide object by referring to the map data and guided in the image. Way guidance through the camera image, characterized in that to display the target to guide the way.

The method of claim 10,

When the intermediate guide object is determined with reference to the map data, an object existing at a position that rotates more than a set angle on the movement path of the user among objects existing in the image is determined as the intermediate guide object. How to get directions through camera video.

The method according to claim 1 or 10,

And displaying text information of an object corresponding to the guide object from the map data and mapping the same to the corresponding object in the image when displaying the guide object in the image.

The method of claim 12, wherein the text information display of the detected object is

Setting a text point position of a corresponding object in the image; And

And detecting and displaying the text information of the object by mapping the text information to the location of the text point of the object.