KR20060130420A - Method for matching building between camera image and map data - Google Patents

Method for matching building between camera image and map data Download PDF

Info

Publication number
KR20060130420A
KR20060130420A KR1020050051093A KR20050051093A KR20060130420A KR 20060130420 A KR20060130420 A KR 20060130420A KR 1020050051093 A KR1020050051093 A KR 1020050051093A KR 20050051093 A KR20050051093 A KR 20050051093A KR 20060130420 A KR20060130420 A KR 20060130420A
Authority
KR
South Korea
Prior art keywords
building
map data
image
camera
location information
Prior art date
Application number
KR1020050051093A
Other languages
Korean (ko)
Other versions
KR100674805B1 (en
Inventor
정문호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050051093A priority Critical patent/KR100674805B1/en
Priority to RU2006120530/11A priority patent/RU2324236C2/en
Priority to US11/423,799 priority patent/US7728869B2/en
Priority to EP14183956.3A priority patent/EP2840358B1/en
Priority to EP06012305.6A priority patent/EP1734341B1/en
Priority to CNB2006100927889A priority patent/CN100561133C/en
Publication of KR20060130420A publication Critical patent/KR20060130420A/en
Application granted granted Critical
Publication of KR100674805B1 publication Critical patent/KR100674805B1/en
Priority to US12/194,476 priority patent/US7826967B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Abstract

A method for matching a camera image to map data is provided to enable a user to easily identify a building from a displayed map by correctly matching the camera image to the map data of the building. A navigation system includes a command input unit(112), a GPS(Global Positioning System) receiver(100), a map data storage(108), a sensor(110), an image processor(106), and a controller(102). The command input unit is integrated with a camera(104) and receives operation commands from a user. The GPS receiver receives a position information signal from a GPS satellite. The map data storage stores map data. The sensor detects the horizontal and vertical angles of the camera by using a terrestrial magnetism sensor and a slant meter. The image processor processes captured images from the camera. The controller periodically captures the images, searches a building with the same position information from the map data storage, and matches the captured image to the searched building.

Description

카메라 영상과 지도 데이터 간에 건물 매칭 방법{Method for matching building between camera image and map data} Method for matching building between camera image and map data}

도 1은 본 발명이 적용 가능한 네비게이션 시스템 구성을 보인 도면,1 is a view showing a navigation system configuration to which the present invention is applicable;

도 2는 본 발명에 따라 영상 내 각 건물들의 위치정보를 산출하는 방식을 설명하기 위한 도면,2 is a view for explaining a method of calculating the location information of each building in the image according to the present invention;

도 3은 본 발명의 바람직한 실시예에 따라 카메라 영상과 지도 데이터 간에 건물 매칭 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a building matching method between a camera image and map data according to an exemplary embodiment of the present invention.

* 도면의 주요부분에 대한 부호의 설명 * Explanation of symbols for main parts of the drawings

100 : GPS 수신기 102 : 제어부100: GPS receiver 102: control unit

104 : 카메라 106 ; 이미지 프로세서104: camera 106; Image processor

108 : 지도데이터 저장부 110 : 센서부108: map data storage unit 110: sensor unit

본 발명은 카메라에 촬영되는 영상 내 각 건물들과 동일한 위치에 존재하는 지도 데이터 상의 건물들을 서로 매칭시켜 주는 카메라 영상과 지도 데이터 간에 건물 매칭 방법에 관한 것이다. The present invention relates to a building matching method between a camera image and map data for matching buildings on map data existing at the same location as each building in an image photographed by a camera.

GPS(Global Positioning System)는 미국의 국방성에서 개발한 범세계 측위 시스템으로서, 복수 개의 GPS 위성은 기울임각(inclination angle)이 55°인 6개의 원형 궤도면(circular orbit)에 각각 4개씩 배치되어, 약 12시간의 주기를 가지고 이동하면서 각기 자신의 위치정보신호를 송신하고, GPS 수신기는 복수의 GPS 위성들 중에서 최소한 4개 이상의 GPS 위성으로부터 위치정보신호를 수신하여 GPS 위성과 자신 사이의 거리 및 GPS 위성의 위치벡터를 검출하며 이를 통해 자신의 위치벡터를 산출한다. GPS (Global Positioning System) is a global positioning system developed by the US Department of Defense, and a plurality of GPS satellites are arranged on each of six circular orbits each having an inclination angle of 55 °. Each of them transmits its own location information signal with a period of about 12 hours, and the GPS receiver receives the location information signal from at least 4 GPS satellites among the plurality of GPS satellites, and the distance between the GPS satellites and itself. Detect the position vector of satellite and calculate its own position vector.

GPS 수신기를 구비한 네비게이션 시스템은 GPS 수신기로부터 산출된 자신의 위치벡터를 지도 데이터 상에 매핑시켜 표시하고, 부가 서비스로 지도 상의 현재 위치로부터 사용자의 목적지까지 최단 경로를 알려주는 길안내 서비스를 제공하고 있다. 그래서 사용자들은 이와 같은 네비게이션 시스템을 휴대함으로써 자신의 목적지까지 보다 용이하게 찾아갈 수 있게 되었다. The navigation system having a GPS receiver maps its position vector calculated from the GPS receiver onto map data, displays it, and provides an additional service as a supplementary service to provide a shortest route from the current position on the map to the user's destination. have. Thus, users can easily navigate to their destinations by carrying such a navigation system.

하지만 사용자는 네비게이션 시스템을 통해 길안내 서비스를 제공받으며 목적지를 찾아갈 때에, 네비게이션 시스템에서 표시해 준 지도 데이터 상에 건물들이 실제 보이는 건물들 중 어느 건물에 해당하는지 알기 위해서 일일이 지도 데이터와 실제 건물영상을 매칭시켜 보아야 하는 번거로움이 있다. However, the user is provided with a navigation service through the navigation system, and when searching for a destination, the map data and the actual image of the building are displayed in order to find out which of the buildings are actually visible on the map data displayed by the navigation system. There is a hassle to match.

다시 말해서, 지도 데이터 상에 표시된 'A' 건물이 실제 어느 건물을 표시한 것인지를 확인하기 위해서 'A' 건물이 위치하고 있는 지점 근처의 건물들을 일일이 살펴서 확인해야 하며 특히, 사용자의 현재 위치에서 조금 떨어져 보이는 건물에 대해서는 그 건물이 위치한 곳에 직접 가서 건물에 대한 정보를 획득한 후, 지도 데이터에 표시된 건물정보와 매칭시켜 보아야지만 지도 데이터 상에 표시된 건물들 중 어느 건물과 매칭되는지를 찾아낼 수가 있다. In other words, in order to check which building actually represents the building 'A' displayed on the map data, it is necessary to check the buildings near the point where the building 'A' is located, in particular, away from the user's current location. For the visible building, go directly to the place where the building is located, obtain information about the building, and match it with the building information displayed on the map data, but it is possible to find out which building among the buildings displayed on the map data matches.

그러므로 본 발명의 목적은 카메라를 이용하여 실제 건물들을 촬영하고 그 촬영된 영상 내 각 건물들을 지도 데이터에서 검색할 수 있도록 서로 매칭시켜 주는 카메라 영상과 지도 데이터 간에 건물 매칭 방법을 제공하는 데 있다. Therefore, an object of the present invention is to provide a building matching method between the camera image and the map data to shoot the real buildings using the camera and to match each other so that each building in the photographed image can be retrieved from the map data.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 카메라 영상과 지도 데이터 간에 건물 매칭 방법은 카메라에 촬영되는 영상을 캡처하고, 그 캡처된 영상 내에 존재하는 각 건물들에 대한 위치정보를 산출하는 단계; 기 저장된 지도 데이터를 로딩하는 단계; 상기 로딩된 지도 데이터에 존재하는 건물들의 위치정보를 산출하는 단계; 및 상기 산출한 영상 내 각 건물들의 위치정보와 지도 데이터 내 건물들의 위치정보를 비교하여 서로 위치정보가 일치하는 건물들을 매칭시키는 단계;를 포함하여 이루어진다.In order to achieve the above object, the building matching method between the camera image and the map data according to the present invention captures an image captured by the camera, and calculating the location information for each building existing in the captured image ; Loading previously stored map data; Calculating location information of buildings existing in the loaded map data; And comparing the location information of each building in the calculated image with the location information of the buildings in the map data and matching the buildings with the same location information.

여기서, 상기 영상 캡처는 상기 카메라에 촬영되는 영상을 일정 시간 간격마다 캡처하는 것을 특징으로 한다.Here, the image capture is characterized in that for capturing an image captured by the camera at predetermined time intervals.

바람직하게, 본 발명에서는 상기 카메라 영상을 캡처시, GPS 수신신호 및 자지기 센서신호로 상기 카메라의 촬영위치 및 방위각을 검출하는 것을 특징으로 한다.Preferably, in the present invention, when capturing the camera image, it is characterized by detecting the shooting position and the azimuth angle of the camera by the GPS signal and the magnetic sensor signal.

그리고, 상기 영상 내 각 건물들의 위치정보 산출은 경사계 센서신호로 상기 카메라의 경사각을 검출하는 단계; 상기 캡처된 영상에 대한 이미지 프로세싱을 통 해 영상 내의 각 건물들을 분리시키는 단계; 상기 분리시킨 각 건물에 중심점 포인트를 설정하고, 상기 검출한 촬영위치 및 방위각을 기준으로 상기 각 건물들의 위치정보를 산출하는 단계; 및 상기 산출한 각 건물들의 위치정보를 상기 카메라의 배율정보 및 경사각을 통해 보정하는 단계;로 이루어질 수 있다.The calculation of the location information of each building in the image may include detecting an inclination angle of the camera with an inclinometer sensor signal; Separating each building in the image through image processing on the captured image; Setting a center point in each of the separated buildings, and calculating position information of each building based on the detected shooting position and azimuth angle; And correcting the calculated position information of each building through the magnification information and the inclination angle of the camera.

여기서, 상기 각 건물에 중심점 포인트 설정은 상기 각 건물의 하단에 중심점 포인트를 설정하는 것을 특징으로 한다.Here, the center point setting for each of the buildings is characterized in that for setting the center point at the bottom of each building.

또한, 본 발명에서 상기 지도 데이터 내의 건물에 대한 위치정보 산출은 상기 검출한 촬영위치 및 방위각을 기준으로 하여 상기 지도 데이터의 설정범위 이내에 존재하는 각 건물들에 중심점 포인트를 설정하고 건물의 위치정보를 산출할 수 있다.In the present invention, the location information of the building in the map data is calculated based on the detected shooting position and the azimuth angle, the center point is set to each building existing within the set range of the map data and the location information of the building Can be calculated.

바람직하게, 본 발명에서 상기 각 건물들의 위치정보는 상기 검출한 촬영위치 및 방위각을 기준으로 한 각 건물들의 방향각 및 거리값인 것을 특징으로 한다.Preferably, in the present invention, the location information of each building is characterized in that the direction angle and the distance value of each building based on the detected shooting position and azimuth.

한편, 본 발명에 따른 상기 위치정보가 일치하는 건물 매칭은 미리 정해놓은 일정 오차허용범위 내에서 서로 위치정보가 일치하는 건물을 매칭시키는 것을 특징으로 한다.On the other hand, the building matching the location information according to the present invention is characterized in that matching the building location information is matched to each other within a predetermined predetermined tolerance range.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 구체적으로 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명이 적용 가능한 네비게이션 시스템의 구성을 보인 도면으로, 도 1에 도시된 바와 같이 네비게이션 시스템은 카메라(104)와 일체를 이루며, 사용 자의 동작명령을 입력받는 명령 입력부(112)와, GPS 위성이 송신하는 위치정보신호를 수신하는 GPS 수신기(100)와, 지도 데이터를 저장하고 있는 지도 데이터 저장부(108)와, 지자기 센서 및 경사계를 통해 카메라(104)의 방위각 및 경사각을 검출하는 센서부(110)와, 카메라(104)에 캡처된 영상을 처리하는 이미지 프로세서(106)와, 카메라(104)에 촬영되는 영상을 일정 시간 간격으로 캡처하고 그 캡처된 영상 내 각 건물들과 위치정보가 일치하는 건물들을 지도 데이터 저장부(108)에서 검색한 후 서로 매칭시키는 제어부(102)로 구성될 수 있다. 1 is a view showing a configuration of a navigation system to which the present invention is applicable. As shown in FIG. 1, a navigation system is integrated with a camera 104, and a command input unit 112 for receiving an operation command of a user; A GPS receiver 100 receiving a location information signal transmitted by a GPS satellite, a map data storage unit 108 storing map data, and azimuth and tilt angles of the camera 104 are detected through a geomagnetic sensor and an inclinometer. The sensor unit 110, the image processor 106 processing the image captured by the camera 104, and the image captured by the camera 104 are captured at predetermined time intervals, and the respective buildings and positions within the captured image. The controller 102 may be configured to search for buildings that match the information in the map data storage 108 and then match each other.

이러한 구성을 가지는 네비게이션 시스템은 명령 입력부(112)를 통해 사용자의 건물검색 명령이 입력될 때에 GPS 수신기(100)의 수신기능 및 카메라(104)의 동작을 온 시킨다. 그래서 GPS 수신기(100)는 명령 입력부(112)를 통해 사용자의 건물정보 표시명령이 입력되면 지구 상공에 위치한 복수의 GPS 위성으로부터 위치 데이터들을 수신받아 제어부(102)로 입력시킨다. The navigation system having such a configuration turns on the reception function of the GPS receiver 100 and the operation of the camera 104 when the building search command of the user is input through the command input unit 112. Thus, when the user's building information display command is input through the command input unit 112, the GPS receiver 100 receives location data from a plurality of GPS satellites located in the earth and inputs it to the controller 102.

제어부(102)는 사용자의 명령에 따라 카메라(104)의 동작을 제어하면서 사용자가 카메라(104)에 안내받고자 하는 건물의 영상을 촬영하는 경우에 그 촬영되는 영상을 일정 시간 간격으로 캡처한다. 그리고 영상 캡처시 GPS 수신기(100)의 수신신호 및 센서부(110)의 지자기 센서신호로부터 촬영위치 및 방위각을 검출하는 한편, 센서부(110)의 경사계 센서신호로부터 카메라(104)의 경사각을 검출한다. The controller 102 captures the captured image at predetermined time intervals when the user captures an image of a building to be guided by the camera 104 while controlling the operation of the camera 104 according to a user's command. In addition, the image capture position and azimuth are detected from the received signal of the GPS receiver 100 and the geomagnetic sensor signal of the sensor unit 110 while capturing an image, and the tilt angle of the camera 104 is detected from the inclinometer sensor signal of the sensor unit 110. do.

제어부(102)는 이미지 프로세서(106)를 통해 캡처된 영상 내의 각 건물들의 윤곽선을 추출하여 건물들을 분리시킨 후, 상기 검출한 촬영위치 및 방위각을 기준으로 영상 내 각 건물의 위치정보를 산출하고, 또한 지도 데이터를 로딩하여 지도 데이터의 설정범위 이내에 존재하는 각 건물들에 대한 위치정보를 산출한다. 그리고 지도 데이터 내의 건물들 중 영상 내의 각 건물들과 위치정보가 일치하는 건물들을 검색하여 서로 매칭시킨다. The controller 102 extracts the contours of the buildings in the image captured by the image processor 106 to separate the buildings, and calculates location information of each building in the image based on the detected shooting position and azimuth angle, In addition, the map data is loaded to calculate location information of each building existing within the set range of the map data. Then, among the buildings in the map data, the buildings in the image that match the location information are searched for and matched with each other.

도 2는 본 발명에 따라 영상 내 각 건물들의 위치정보를 산출하는 방식을 설명하기 위한 도면으로, 사용자가 건물안내를 받고자하는 영역을 카메라(104)로 촬영하게 되면 일정 시간 간격으로 영상을 캡처하여 그 캡처된 영상 내의 각 건물들에 중심점 포인트를 설정한다. 2 is a view for explaining a method of calculating the location information of each building in the image according to the present invention, when the user to take the area to receive the building guide with the camera 104 to capture the image at a predetermined time interval Set a center point for each building in the captured image.

본 발명에서는 도 2에 도시된 바와 같이 각 건물 하단에 중심점 포인트를 설정하는 것을 특징으로 하며, 이에 따라 영상이 캡처되는 때에 GPS 수신신호 및 센서신서로 검출된 촬영위치(I) 및 방위각을 기준으로 각 건물에 설정한 중심점 포인트까지의 방향각(θ1,θ2,θ3,θ4) 및 거리(r1,r2,r3,r4)를 산출한다. 그리고 산출된 각 건물의 방향각 및 거리값을 건물의 위치정보로써 이용한다. In the present invention, as shown in Figure 2 characterized in that the center point is set at the bottom of each building, according to the shooting position (I) and the azimuth angle detected by the GPS signal and sensor signal when the image is captured accordingly The direction angles [theta] 1, [theta] 2, [theta] 3 and [theta] 4 and distances r1, r2, r3 and r4 to the center point point set for each building are calculated. The calculated direction angle and distance value of each building are used as the location information of the building.

도 3은 본 발명의 바람직한 실시예에 따라 카메라 영상과 지도 데이터 간에 건물 매칭 방법을 나타낸 흐름도로, 본 발명에 따르면 카메라(104)를 구비한 네비게이션 시스템은 사용자의 건물검색 명령이 입력될 경우(300), GPS 수신기능 및 카메라(104)의 동작을 온 시킨다(302). 3 is a flowchart illustrating a building matching method between a camera image and map data according to an exemplary embodiment of the present invention. According to the present invention, a navigation system including a camera 104 is input when a user's building search command is input (300). ), The operation of the GPS reception function and the camera 104 is turned on (302).

사용자는 카메라(104)를 이용하여 안내받고자 하는 영상을 촬영할 수 있고, 이에 따라 사용자가 촬영하는 영상을 일정 시간 간격으로 캡처하면서(304), 영상 캡처시 GPS 수신신호 및 센서신호로 카메라(104)의 촬영위치 및 방위각을 검출하고(304,306) 이를 기준으로 캡처한 영상 내 각 건물들에 대한 위치정보를 산출한다 (308). The user may take a picture to be guided by using the camera 104, and thus, while capturing the video captured by the user at a predetermined time interval (304), the camera 104 uses a GPS signal and a sensor signal when capturing the image. The photographing position and the azimuth angle are detected (304, 306), and the position information of each building in the captured image is calculated based on this (308).

여기서, 영상내 각 건물들에 대한 위치정보 산출(308)은 우선 영상을 캡처시 경사계 센서신호로 카메라(104)의 경사각을 검출한다(308-2). 그리고 캡처된 영상에 대한 이미지 프로세싱을 통해 영상 내 각 건물들을 분리시키고(308-4) 그 분리시킨 각 건물들 하단에 중심점 포인트를 설정하여(308-6), 영상 캡처시 촬영위치 및 방위각을 기준으로 각 건물들의 위치정보를 산출한다(308-8). 각 건물들의 위치정보가 산출되면 그 산출된 각 건물들의 위치정보를 카메라(104)의 경사각 및 배율정보를 이용하여 보정시킴으로써(308-10) 영상 내 각 건물의 실제 위치정보를 획득한다. Here, the position information calculation 308 for each building in the image first detects the inclination angle of the camera 104 by the inclinometer sensor signal when capturing the image (308-2). The image processing of the captured image is performed to separate each building in the image (308-4) and to set a center point at the bottom of each separated building (308-6), based on the shooting position and azimuth angle when capturing the image. The location information of each building is calculated (308-8). When the location information of each building is calculated, the location information of each building is corrected using the inclination angle and magnification information of the camera 104 (308-10) to obtain actual location information of each building in the image.

이와 같이 캡처한 영상 내의 각 건물들의 위치정보를 산출(308)함과 동시에, 지도 데이터 저장부(108)에 기 저장해 놓은 지도 데이터를 로딩한다(310). 그리고 영상 캡처시 카메라(104)의 촬영위치 및 방위각을 기준으로 그 로딩된 지도 데이터의 설정범위 이내에 존재하는 건물들을 파악하고 그 각 건물들의 위치정보를 산출한다(312). The location information of each building in the captured image is calculated (308), and the map data previously stored in the map data storage unit 108 is loaded (310). When the image is captured, the buildings existing within the set range of the loaded map data are identified based on the photographing position and the azimuth angle of the camera 104, and the location information of each building is calculated (312).

지도 데이터 내에 존재하는 건물들의 위치정보 역시 상기 영상 내 각 건물들의 위치정보를 산출하는 방식과 동일하게 각 건물들의 중심점 포인트를 설정하고(312-2), 카메라(104)의 촬영위치 및 방위각을 기준으로 각 건물들의 위치정보를 산출하게 된다(312-4). The location information of the buildings existing in the map data also sets the center point of each building in the same manner as the method of calculating the location information of each building in the image (312-2), and based on the photographing position and azimuth angle of the camera 104. The location information of each building is calculated (312-4).

그리고 이와 같이 산출한 영상 내 각 건물들의 위치정보와 지도 데이터 내 건물들의 위치정보를 서로 비교해서 위치정보가 일치하는 건물들을 매칭시킨다 (314). The location information of each building in the image calculated as described above and the location information of the buildings in the map data are compared with each other to match buildings having the same location information (314).

상기와 같은 과정은 사용자의 건물검색 중단명령이 입력되기 전까지 계속 수행되면서 카메라(104)에 촬영되는 영상 속 건물들을 지도 데이터에서 검색하여 건물에 대한 정보를 살펴볼 수 있도록 해 준다(316). The above process continues until the user's building search stop command is input, so that the information on the building can be examined by searching the map data for buildings in the image captured by the camera 104 (step 316).

한편, 본 발명에서는 지도 데이터 상에서 영상 내 각 건물들과 위치정보가 일치하는 건물을 검색시, 미리 정해놓은 일정 오차허용범위 내에서 서로 위치정보가 일치하는 검물을 검색하는 것을 특징으로 한다. On the other hand, the present invention is characterized in that when searching for buildings that match the location information with each building in the image on the map data, the search for the specimens that match the location information with each other within a predetermined predetermined tolerance range.

본 발명은 상술한 실시예에 한정되지 않고 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 당업자에 의해 다양하게 변형하여 실시할 수 있다. The present invention is not limited to the above-described embodiments and can be variously modified and implemented by those skilled in the art without departing from the technical spirit of the present invention.

본 발명에 따르면, 일정 시간 간격마다 카메라에 촬영되는 영상을 캡처하고 지도 데이터에 매칭시켜 줌으로써 촬영되는 건물을 지도 데이터에서 검색 가능하게 한다. According to the present invention, by capturing an image captured by the camera at a predetermined time interval and matching the map data, the building to be photographed can be searched from the map data.

Claims (8)

카메라에 촬영되는 영상을 캡처하고, 그 캡처된 영상 내에 존재하는 각 건물들에 대한 위치정보를 산출하는 단계; Capturing an image photographed by a camera and calculating location information of each building existing in the captured image; 기 저장된 지도 데이터를 로딩하는 단계; Loading previously stored map data; 상기 로딩된 지도 데이터에 존재하는 건물들의 위치정보를 산출하는 단계; 및 Calculating location information of buildings existing in the loaded map data; And 상기 산출된 영상 내 각 건물들의 위치정보와 지도 데이터 내 건물들의 위치정보를 비교하여 서로 위치정보가 일치하는 건물들을 매칭시키는 단계;를 포함하여 이루어지는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. And comparing the location information of each building in the calculated image with the location information of the buildings in the map data, and matching the buildings having the same location information with each other. 2. 제 1 항에 있어서, 상기 영상 캡처는 The method of claim 1, wherein the image capture 상기 카메라에 촬영되는 영상을 일정 시간 간격마다 캡처하는 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. Building matching method between the camera image and the map data, characterized in that for capturing the image taken by the camera at a predetermined time interval. 제 1 항에 있어서, The method of claim 1, 상기 카메라 영상을 캡처시, GPS 수신신호 및 지자기 센서신호로 상기 카메라의 촬영위치 및 방위각을 검출하는 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. When capturing the camera image, the building matching method between the camera image and the map data, characterized in that for detecting the location and azimuth of the camera using a GPS signal and a geomagnetic sensor signal. 제 3 항에 있어서, 상기 영상 내 각 건물들의 위치정보 산출은 The method of claim 3, wherein the location information of each building in the image is calculated. 경사계 센서신호로 상기 카메라의 경사각을 검출하는 단계; Detecting an inclination angle of the camera with an inclinometer sensor signal; 상기 캡처된 영상에 대한 이미지 프로세싱을 통해 영상 내의 각 건물들을 분리시키는 단계;Separating each building in the image through image processing on the captured image; 상기 분리시킨 각 건물에 중심점 포인트를 설정하고, 상기 검출한 촬영위치 및 방위각을 기준으로 상기 각 건물들의 위치정보를 산출하는 단계; 및Setting a center point in each of the separated buildings, and calculating position information of each building based on the detected shooting position and azimuth angle; And 상기 산출한 각 건물들의 위치정보를 상기 카메라의 배율정보 및 경사각을 통해 보정하는 단계;로 이루어지는 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. And correcting the calculated position information of each building by using the magnification information and the inclination angle of the camera. 제 4 항에 있어서, 상기 각 건물에 중심점 포인트 설정은The method of claim 4, wherein the center point setting for each building is 상기 각 건물의 하단에 중심점 포인트를 설정하는 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법.Building matching method between the camera image and the map data, characterized in that for setting the center point point at the bottom of each building. 제 3 항에 있어서, 상기 지도 데이터 내의 건물에 대한 위치정보 산출은The method of claim 3, wherein the location information calculation for the building in the map data is 상기 검출한 촬영위치 및 방위각을 기준으로 하여 상기 지도 데이터의 설정범위 이내에 존재하는 각 건물들에 중심점 포인트를 설정하고 건물의 위치정보를 산출하는 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. And a center point point is set for each building existing within the set range of the map data on the basis of the detected photographing position and the azimuth angle, and the location information of the building is calculated. 제 3 항에 있어서, 상기 각 건물들의 위치정보는 The method of claim 3, wherein the location information of each building is 상기 검출한 촬영위치 및 방위각을 기준으로 한 각 건물들의 방향각 및 거리값인 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. The building matching method between the camera image and the map data, characterized in that the direction angle and the distance value of each building based on the detected shooting position and azimuth. 제 1 항에 있어서, 상기 위치정보가 일치하는 건물 매칭은 According to claim 1, The building matching the location information is matched 미리 정해놓은 일정 오차허용범위 내에서 서로 위치정보가 일치하는 건물을 매칭시키는 것을 특징으로 하는 카메라 영상과 지도 데이터 간에 건물 매칭 방법. The building matching method between the camera image and the map data, characterized in that for matching the building location information matching each other within a predetermined predetermined tolerance range.
KR1020050051093A 2005-06-14 2005-06-14 Method for matching building between camera image and map data KR100674805B1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020050051093A KR100674805B1 (en) 2005-06-14 2005-06-14 Method for matching building between camera image and map data
RU2006120530/11A RU2324236C2 (en) 2005-06-14 2006-06-13 Method for matching a camera-photographed image with map data in a portable terminal and method for travel route guidance
US11/423,799 US7728869B2 (en) 2005-06-14 2006-06-13 Matching camera-photographed image with map data in portable terminal and travel route guidance method
EP14183956.3A EP2840358B1 (en) 2005-06-14 2006-06-14 Matching camera-photographed image with map data in portable terminal
EP06012305.6A EP1734341B1 (en) 2005-06-14 2006-06-14 Matching camera-photographed image with map data in portable terminal and travel route guidance method
CNB2006100927889A CN100561133C (en) 2005-06-14 2006-06-14 Map datum and route air navigation aid in matching camera photographic images and the portable terminal device
US12/194,476 US7826967B2 (en) 2005-06-14 2008-08-19 Matching camera-photographed image with map data in portable terminal and travel route guidance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050051093A KR100674805B1 (en) 2005-06-14 2005-06-14 Method for matching building between camera image and map data

Publications (2)

Publication Number Publication Date
KR20060130420A true KR20060130420A (en) 2006-12-19
KR100674805B1 KR100674805B1 (en) 2007-01-29

Family

ID=37519197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050051093A KR100674805B1 (en) 2005-06-14 2005-06-14 Method for matching building between camera image and map data

Country Status (2)

Country Link
KR (1) KR100674805B1 (en)
CN (1) CN100561133C (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775123B1 (en) * 2006-09-15 2007-11-08 삼성전자주식회사 Method of indexing image object and image object indexing system using the same
KR100862148B1 (en) * 2007-01-08 2008-10-09 에스케이 텔레콤주식회사 Building information data integration apparatus and method on digital map
KR101459522B1 (en) * 2013-02-15 2014-11-07 브이앤아이 주식회사 Location Correction Method Using Additional Information of Mobile Instrument
CN110058260A (en) * 2018-01-19 2019-07-26 罗伯特·博世有限公司 Method for orienting the map of LIDAR system
CN113739797A (en) * 2020-05-31 2021-12-03 华为技术有限公司 Visual positioning method and device

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008116376A1 (en) * 2007-03-24 2008-10-02 Yuejun Yan A portable digital photographing system
CN101109643B (en) * 2007-08-22 2011-06-29 广东瑞图万方科技有限公司 Navigation apparatus
CN101910793B (en) * 2007-12-28 2012-11-28 三菱电机株式会社 Navigation device
KR20090123227A (en) * 2008-05-27 2009-12-02 삼성전자주식회사 Offering apparatus of searching service, method and program thereof
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
CN101619976B (en) * 2008-07-01 2016-01-20 联想(北京)有限公司 A kind of position positioning retrieval device and method
KR101541076B1 (en) 2008-11-27 2015-07-31 삼성전자주식회사 Apparatus and Method for Identifying an Object Using Camera
EP2471281B1 (en) * 2009-08-24 2020-10-28 Samsung Electronics Co., Ltd. Mobile image capture device
CN101753807B (en) * 2009-12-16 2012-11-28 惠州Tcl移动通信有限公司 Image pick-up device
US20110169947A1 (en) * 2010-01-12 2011-07-14 Qualcomm Incorporated Image identification using trajectory-based location determination
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
CN102313554B (en) * 2010-06-30 2014-04-16 株式会社电装 Vehicle-mounted navigation system
CN102338639B (en) * 2010-07-26 2015-04-22 联想(北京)有限公司 Information processing device and information processing method
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
CN102519478B (en) * 2011-11-16 2016-01-13 深圳市凯立德科技股份有限公司 A kind of streetscape destination bootstrap technique and device
KR101265711B1 (en) 2011-11-30 2013-05-20 주식회사 이미지넥스트 3d vehicle around view generating method and apparatus
KR101919366B1 (en) * 2011-12-22 2019-02-11 한국전자통신연구원 Apparatus and method for recognizing vehicle location using in-vehicle network and image sensor
CN102661747B (en) * 2012-05-30 2014-11-05 常州市新科汽车电子有限公司 Main road and side road matching method of navigator
US9404751B2 (en) * 2012-06-06 2016-08-02 Samsung Electronics Co., Ltd. Apparatus and method for providing 3D map showing area of interest in real time
CN102829788A (en) * 2012-08-27 2012-12-19 北京百度网讯科技有限公司 Live action navigation method and live action navigation device
CN103090875A (en) * 2012-11-26 2013-05-08 华南理工大学 Real-time real-scene matching vehicle navigation method and device based on double cameras
CN103077624B (en) * 2012-12-28 2015-07-29 天津爱迪尔软件开发有限公司 A kind of instant navigation road condition system based on GPS and air navigation aid
CN103134489B (en) * 2013-01-29 2015-12-23 北京凯华信业科贸有限责任公司 The method of target localization is carried out based on mobile terminal
CN104034335B (en) * 2013-03-08 2017-03-01 联想(北京)有限公司 Method and image capture device that image shows
KR102222336B1 (en) 2013-08-19 2021-03-04 삼성전자주식회사 User terminal device for displaying map and method thereof
CN105637322A (en) * 2013-08-23 2016-06-01 视野机器人有限公司 A method of determining the location of a point of interest and the system thereof
US9818196B2 (en) 2014-03-31 2017-11-14 Xiaomi Inc. Method and device for positioning and navigating
CN104596509B (en) * 2015-02-16 2020-01-14 杨阳 Positioning method and system, and mobile terminal
JP6288060B2 (en) * 2015-12-10 2018-03-07 カシオ計算機株式会社 Autonomous mobile device, autonomous mobile method and program
CN105890597B (en) * 2016-04-07 2019-01-01 浙江漫思网络科技有限公司 A kind of assisted location method based on image analysis
CN106998447B (en) * 2017-03-31 2018-05-11 大庆安瑞达科技开发有限公司 Wide area, oil field infrared panorama imaging radar scout command and control system
EP4359733A1 (en) * 2021-06-22 2024-05-01 Grabtaxi Holdings Pte. Ltd. Method and system for gathering image training data for a machine learning model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513660B1 (en) * 2003-05-23 2005-09-09 엘지전자 주식회사 Method for creating three-dimensional map from two-dimensional map
KR20050058810A (en) * 2003-12-12 2005-06-17 주식회사 에브리웨어 Image processing system and method for electronic map

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775123B1 (en) * 2006-09-15 2007-11-08 삼성전자주식회사 Method of indexing image object and image object indexing system using the same
KR100862148B1 (en) * 2007-01-08 2008-10-09 에스케이 텔레콤주식회사 Building information data integration apparatus and method on digital map
KR101459522B1 (en) * 2013-02-15 2014-11-07 브이앤아이 주식회사 Location Correction Method Using Additional Information of Mobile Instrument
CN110058260A (en) * 2018-01-19 2019-07-26 罗伯特·博世有限公司 Method for orienting the map of LIDAR system
CN113739797A (en) * 2020-05-31 2021-12-03 华为技术有限公司 Visual positioning method and device

Also Published As

Publication number Publication date
CN100561133C (en) 2009-11-18
KR100674805B1 (en) 2007-01-29
CN1880918A (en) 2006-12-20

Similar Documents

Publication Publication Date Title
KR100674805B1 (en) Method for matching building between camera image and map data
US7728869B2 (en) Matching camera-photographed image with map data in portable terminal and travel route guidance method
EP2317281B1 (en) User terminal for providing position and for guiding route thereof
EP3168571B1 (en) Utilizing camera to assist with indoor pedestrian navigation
US8600677B2 (en) Method for feature recognition in mobile communication terminal
CN103398717B (en) The location of panoramic map database acquisition system and view-based access control model, air navigation aid
EP2154542B1 (en) GPS-installed all-azimuth camera and spatial data collecting device
JP4263549B2 (en) Survey guidance device
JP6025433B2 (en) Portable navigation device
KR100734678B1 (en) Method for displaying building information
US20090220144A1 (en) Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
US9074887B2 (en) Method and device for detecting distance, identifying positions of targets, and identifying current position in smart portable device
JP2007017406A (en) Geographic data collection device
CN102714684A (en) Image identification using trajectory-based location determination
JP5812509B2 (en) Map display device, map display method and program
KR20100060472A (en) Apparatus and method for recongnizing position using camera
KR100668969B1 (en) Method for guiding road using camera image
US8155884B2 (en) Bearing display apparatus and bearing display method
CN102288180B (en) Real-time image navigation system and method
JP6764693B2 (en) Satellite signal processing method and satellite signal processing equipment
RU2324236C2 (en) Method for matching a camera-photographed image with map data in a portable terminal and method for travel route guidance
JP2011199358A (en) Imaging device with positioning function
JP2006350146A (en) Sightseeing telescope
KR20230056011A (en) Method and system for digital image-referenced indirect target aiming
JPH10132562A (en) Distance measuring equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161214

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171214

Year of fee payment: 12