KR20150088525A - Method and apparatus for estimating the current position using video information - Google Patents
Method and apparatus for estimating the current position using video information Download PDFInfo
- Publication number
- KR20150088525A KR20150088525A KR1020140008954A KR20140008954A KR20150088525A KR 20150088525 A KR20150088525 A KR 20150088525A KR 1020140008954 A KR1020140008954 A KR 1020140008954A KR 20140008954 A KR20140008954 A KR 20140008954A KR 20150088525 A KR20150088525 A KR 20150088525A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- distance
- image information
- map
- estimating
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/14—Determining absolute distances from a plurality of spaced points of known location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Abstract
Description
본 발명은 영상 정보를 이용하여 현재 위치를 추정하는 장치 및 방법에 관한 것이다. 보다 자세하게는 영상 정보에서 오브젝트를 인식하여 추출하고 상기 오브젝트에 대하여 사전에 수집된 위치 정보를 이용하여 현재 위치를 추정하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for estimating a current position using image information. And more particularly, to an apparatus and method for recognizing and extracting an object from image information and estimating a current position using position information collected in advance for the object.
GPS 수신 장치가 내장된 모바일 스마트 기기의 보급으로 사용자들은 자신의 위치를 쉽게 파악할 수 있으며, 이러한 사용자들의 현재 위치 정보를 이용한 많은 위치 기반의 서비스들이 생겨나고 있다.With the spread of mobile smart devices with built - in GPS receiver, users can easily grasp their location and many location - based services using their current location information are emerging.
그러나 GPS 신호가 약하게 수신되거나 부정확하게 수신되는 경우 또는 GPS 자체가 가진 오차 등에 의해서 현재 위치 파악이 부정확한 경우에는 현재 위치를 보정할 필요가 있으며, GPS 신호 자체가 수신되지 않는 경우에는 GPS 신호가 아닌 다른 정보를 이용하여 현재 위치를 추정하는 방법이 필요하다. However, it is necessary to correct the current position if the GPS signal is weakly received or incorrectly received, or if the current position is incorrectly determined due to an error of the GPS itself. If the GPS signal itself is not received, A method of estimating the current position using other information is needed.
근래에 모바일 스마트 기기들은 카메라 장치가 구비되어 언제든지 영상을 촬영할 수 있으며, 차량에도 블랙박스를 비롯한 여러 영상 촬영 장치가 구비되어 있으므로 영상 정보를 수집하는 것은 매우 용이하다. 또한, 영상 정보에서 사물을 인식하는 기술도 발전하여 증강 현실과 같은 기술이 널리 보급되고 있다. 따라서, 이러한 영상 정보 및 영상 정보 인식 기술을 이용하여 현재 위치를 추정할 수 있다면 GPS 신호가 수신되지 않는 상황에서도 현재 위치를 파악할 수 있을 것이다.In recent years, mobile smart devices are equipped with a camera device so that they can capture images at any time. Also, since a vehicle includes a black box and various image capturing devices, it is very easy to collect image information. In addition, techniques for recognizing objects from video information have developed, and technologies such as augmented reality have become widespread. Therefore, if the current position can be estimated by using the image information and image information recognition technology, the current position can be grasped even in a situation where the GPS signal is not received.
본 발명이 해결하고자 하는 기술적 과제는 영상 정보를 이용하여 현재 위치를 추정하는 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention provides a method of estimating a current position using image information.
본 발명이 해결하고자 하는 다른 기술적 과제는 영상 정보를 이용하여 현재 위치를 추정하는 장치를 제공하는 것이다.According to another aspect of the present invention, there is provided an apparatus for estimating a current position using image information.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 영상 정보를 이용한 위치 추정 장치는, 사전에 수집된 오브젝트 및 상기 오브젝트의 위치 정보가 저장된 지도 DB, 전방의 영상 정보를 수집하는 영상 정보 수집부, 상기 수집된 영상 정보에서 상기 오브젝트를 추출하는 오브젝트 추출부, 상기 오브젝트와의 거리를 측정하여 거리 정보를 생성하는 거리 측정부 및 상기 지도 DB에서 상기 추출한 오브젝트의 위치 정보를 검색하고 상기 검색된 위치 정보 및 상기 거리 정보를 이용하여 현재 위치를 추정하는 위치 추정부를 포함한 것이다.According to an aspect of the present invention, there is provided an apparatus for estimating a position using image information according to an embodiment of the present invention includes a map DB storing previously collected objects and position information of the object, An object extracting unit for extracting the object from the collected image information, a distance measuring unit for measuring a distance to the object and generating distance information, a search unit for searching the location information of the extracted object in the map DB, And a position estimator for estimating a current position using the distance information.
일 실시예에 따르면, 상기 영상 정보를 이용한 위치 추정 장치는 상기 추정된 현재 위치의 주변 지도 정보를 상기 지도 DB에서 수집하여 상기 현재 위치가 표시된 상기 주변 지도 정보를 제공하는 디스플레이부를 더 포함할 수도 있다.According to an embodiment, the position estimating apparatus using the image information may further include a display unit for collecting peripheral map information of the estimated current position from the map DB and providing the surrounding map information in which the current position is indicated .
일 실시예에 따르면, 상기 오브젝트의 위치 정보는, 상기 오브젝트의 GPS(Global Positioning System) 좌표 정보를 포함할 수도 있다.According to one embodiment, the location information of the object may include GPS (Global Positioning System) coordinate information of the object.
일 실시예에 따르면, 상기 거리 측정부는, 초음파 센서(sensor), 라이다(LIDAR; Light Detection And Ranging) 센서, RF(Radio Frequency) 레이더(radar) 센서 및 적외선 센서 중에서 어느 하나를 포함하는 센서 모듈을 이용하여 거리를 측정할 수도 있다.According to an embodiment, the distance measuring unit may include a sensor module including any one of an ultrasonic sensor, a light detector and ranging (LIDAR) sensor, a radio frequency (RF) radar sensor, and an infrared May be used to measure the distance.
일 실시예에 따르면, 상기 오브젝트 추출부는, 상기 영상 정보에서 제1 오브젝트, 제2 오브젝트 및 제3 오브젝트를 추출하고, 상기 거리 측정부는, 상기 제1 오브젝트의 제1 거리, 상기 제2 오브젝트의 제2 거리 및 상기 제3 오브젝트의 제3 거리를 측정하며, 상기 위치 추정부는, 상기 제1 오브젝트의 제1 위치 정보, 상기 제2 오브젝트의 제2 위치 정보 및 상기 제3 오브젝트의 제3 위치 정보를 상기 지도 DB에서 검색하고, 상기 제1 위치 정보, 제2 위치 정보, 제3 위치 정보, 제1 거리, 제2 거리 및 제3 거리를 삼각 측량법에 적용하여 현재 위치를 추정할 수도 있다.According to one embodiment, the object extracting unit extracts a first object, a second object, and a third object from the image information, and the distance measuring unit calculates a first distance of the first object, a second distance of the second object, 2 distance and a third distance of the third object, and the position estimating unit measures the first position information of the first object, the second position information of the second object, and the third position information of the third object The current location may be estimated by applying the first location information, the second location information, the third location information, the first distance, the second distance and the third distance to the triangulation method.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 영상 정보를 이용한 위치 추정 방법은, 영상 정보를 수집하는 단계, 상기 수집된 영상 정보에서 상기 오브젝트를 추출하는 단계, 상기 오브젝트와의 거리를 측정하는 단계 및 지도 DB에서 상기 추출한 오브젝트의 위치 정보를 검색하고 상기 검색된 위치 정보 및 상기 측정된 거리를 이용하여 현재 위치를 추정하는 단계를 포함한 것이다.According to another aspect of the present invention, there is provided a method of estimating a position using image information, comprising the steps of: collecting image information; extracting the object from the collected image information; And retrieving the position information of the extracted object from the map DB and estimating the current position using the retrieved position information and the measured distance.
일 실시예에 따르면, 상기 영상 정보를 이용한 위치 추정 방법은 상기 위치를 추정하는 단계 이후에, 상기 현재 위치의 주변 지도 정보를 상기 지도 DB에서 수집하여 상기 현재 위치가 표시된 상기 주변 지도 정보에 제공하는 단계를 더 포함할 수도 있다.According to an embodiment of the present invention, the position estimation method using the image information may further include a step of estimating a position of the current position by collecting peripheral map information of the current position from the map DB and providing the current position to the surrounding map information Step < / RTI >
일 실시예에 따르면, 상기 지도 DB는 사전에 수집된 오브젝트 및 상기 오브젝트의 위치 정보를 저장하고는 있는 데이터베이스(Database)를 포함할 수도 있다.According to one embodiment, the map DB may include a database that stores previously collected objects and location information of the objects.
일 실시예에 따르면, 상기 오브젝트의 위치 정보는,상기 오브젝트의 GPS(Global Positioning System) 좌표 정보를 포함할 수도 있다.According to one embodiment, the location information of the object may include GPS (Global Positioning System) coordinate information of the object.
일 실시예에 따르면, 상기 오브젝트를 추출하는 단계는, 상기 영상 정보에서 제1 오브젝트를 추출하는 단계, 상기 영상 정보에서 제2 오브젝트를 추출하는 단계 및 상기 영상 정보에서 제3 오브젝트를 추출하는 단계를 포함하고,상기 거리를 측정하는 단계는, 상기 제1 오브젝트의 제1 거리를 측정하는 단계, 상기 제2 오브젝트의 제2 거리를 측정하는 단계 및 상기 제3 오브젝트의 제3 거리를 측정하는 단계를 포함하고, 상기 위치를 추정하는 단계는, 상기 제1 오브젝트의 제1 위치 정보를 상기 지도 DB에서 검색하는 단계, 상기 제2 오브젝트의 제2 위치 정보를 상기 지도 DB에서 검색하는 단계, 상기 제3 오브젝트의 제3 위치 정보를 상기 지도 DB에서 검색하는 단계 및 상기 제1 위치 정보, 제2 위치 정보, 제3 위치 정보, 제1 거리, 제2 거리 및 제3 거리를 삼각 측량법에 적용하여 현재 위치를 추정할 수도 있다.According to an embodiment, the step of extracting the object may include extracting a first object from the image information, extracting a second object from the image information, and extracting a third object from the image information, Wherein measuring the distance comprises measuring a first distance of the first object, measuring a second distance of the second object, and measuring a third distance of the third object Wherein the step of estimating the position comprises the steps of: searching first map information of the first object in the map DB; searching second map information of the second object in the map DB; Searching for the third position information of the object in the map DB; and searching the first position information, the second position information, the third position information, the first distance, the second distance, The applicable law may estimate your current location.
상기와 같은 본 발명에 따르면, GPS 신호가 수신되지 않는 상황에서도 영상 정보만을 이용하여 현재 위치를 정확하게 파악할 수 있는 효과가 있다.According to the present invention as described above, the present position can be accurately grasped using only image information even in a situation where no GPS signal is received.
도 1은 본 발명의 일 실시예에 따른, 영상 정보를 이용한 위치 추정 장치의 구성도이다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른, 위치 추정 방법의 예시이다.
도 3은 본 발명의 일 실시예에 따른, 추정된 현재 위치가 표시된 주변 지도이다.
도 4는 본 발명의 일 실시예에 따른, 영상 정보를 이용한 위치 추정 방법의 순서도이다.1 is a block diagram of a position estimating apparatus using image information according to an embodiment of the present invention.
2A to 2C are examples of a position estimation method according to an embodiment of the present invention.
FIG. 3 is a periphery map showing an estimated current position, according to an embodiment of the present invention.
4 is a flowchart illustrating a method of estimating a position using image information according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.
먼저 도 1을 참조하여 영상 정보를 이용한 위치 추정 장치(100)에 대해서 자세히 설명한다.First, the
영상 정보를 이용한 위치 추정 장치(100)는 영상 정보 수집부(110), 오브젝트 추출부(120), 위치 추정부(130), 지도 DB(140), 거리 측정부(150) 및 디스플레이부(160)를 포함할 수 있다. The
영상 정보 수집부(110)는 영상 정보를 수집할 수 있다. 상기 영상 정보는 영상 수집 모듈에 의해서 수집될 수 있으며, 상기 영상 수집 모듈은 카메라, 블랙 박스, 스마트 폰, 테블릿 및 구글 글라스(Google Glass) 중에서 어느 하나를 포함할 수 있다.The image
예를 들어서, 영상 정보 수집부(110)는 차량에 설치된 블랙 박스 장치를 이용하여 영상 정보를 수집할 수 있다. 상기 블랙 박스 장치는 차량의 전방, 측방 및 후방의 영상을 촬영할 수 있으며, 영상 정보 수집부(110)는 상기 전방, 측방 및 후방 중에서 적어도 하나 이상의 영상을 이용하여 영상 정보를 수집할 수 있다.For example, the image
다른 예를 들어서, 영상 정보 수집부(110)는 모바일 스마트 기기에 장착된 카메라 모듈이 촬영한 사진을 이용하여 영상 정보를 수집할 수 있다. 상기 모바일 스마트 기기의 사용자는 현재 위치를 알기 위해서 상기 사용자 주변의 영상을 촬영하고, 상기 촬영한 사진을 위치 추정 장치(100)에 제공할 수 있으며, 상기 제공된 사진을 이용하여 영상 정보 수집부(110)는 영상 정보를 수집할 수 있다.As another example, the image
영상 정보 수집부(110)는 상기 수집한 영상 정보를 오브젝트 추출부(120)에 제공할 수 있다.The image
오브젝트 추출부(120)는 영상 정보 수집부(110)가 수집한 영상 정보를 제공 받아서, 상기 영상 정보에서 오브젝트를 추출하고 상기 오브젝트를 가리키는 오브젝트 정보를 생성하여 상기 오브젝트 정보를 위치 추정부(130)에 제공할 수 있다.The
상기 오브젝트(Object)는 건축물, 간판, 신호등 및 조형물을 포함할 수 있으며 이에 한정되지는 않는다. The object may include, but is not limited to, a building, a signboard, a traffic light, and a sculpture.
상기 오브젝트 정보는 상기 오브젝트의 특징점의 집합을 포함할 수 있다. 상기 오브젝트에서 특징점을 추출하는 것은 일반적으로 널리 알려져 있으며, 발명이 속한 기술 분야의 통상의 기술자가 용이하게 이용할 수 있는 기술에 해당하므로 설명의 중복을 피하기 위하여 생략한다.The object information may include a set of minutiae points of the object. Extraction of minutiae from the object is generally well known and corresponds to a technique that can be readily used by a person skilled in the art to which the invention belongs.
발명의 일 실시예에 따르면, 오브젝트 추출부(120)가 상기 영상 정보에서 상기 오브젝트의 특징점을 발견하여 상기 오브젝트 정보를 생성하여 위치 추정부(130)에 제공할 수 있다.According to an embodiment of the present invention, the
발명의 다른 실시예에 따르면, 오브젝트 추출부(120)는 지도 DB(140)에 저장된 오브젝트 정보가 상기 영상 정보에 포함되어 있는지 확인하고, 상기 영상 정보에 포함된 상기 오브젝트 정보를 위치 추정부(130)에 제공할 수 있다.According to another embodiment of the present invention, the
영상 정보에서 오브젝트를 인식하는 것은 공지의 기술이며, 한국 공개 특허 제 2013-0091918호를 참고할 수 있기 때문에, 설명의 중복을 피하기 위해서 생략하기로 한다.Recognition of an object from image information is a known technique and can be referred to Korean Laid-Open Patent Application No. 2013-0091918, and thus will not be described in order to avoid duplication of description.
지도 DB(140)는 지도 정보, 오브젝트 및 상기 오브젝트의 위치 정보가 저장되어 있는 데이터베이스(Database)를 포함할 수 있다. 상기 데이터베이스는 관계형 데이터베이스(Relational Database)를 포함하지만 이에 한정되지는 않는다. The map DB 140 may include a database in which map information, objects, and location information of the objects are stored. The database includes, but is not limited to, a relational database.
상기 오브젝트의 위치 정보는 지도 상에서 상기 오브젝트의 위치를 나타낼 수 있는 위치 정보를 모두 포함할 수 있다. 예를 들어서, 상기 오브젝트의 위치 정보는 GPS 좌표 정보를 포함할 수 있다.The location information of the object may include location information indicating the location of the object on the map. For example, the location information of the object may include GPS coordinate information.
거리 측정부(150)는 오브젝트 추출부(120)에서 추출한 오브젝트까지의 거리를 측정하고, 상기 측정한 거리를 포함하는 거리 정보를 생성하여 상기 거리 정보를 위치 추정부(130)에 제공할 수 있다.The
거리 측정부(150)는 위치 추정 장치(100)와 상기 추출한 오브젝트 사이의 거리를 측정할 수 있다. 이를 위해서 거리 측정부(150)는 거리 측정 센서 모듈을 포함할 수 있으며, 상기 거리 측정 센서는 초음파 센서, 라이다(LIDAR) 센서, RF 레이더 센서 및 적외선 센서 중에서 어느 하나를 이용할 수 있다.The
위치 추정부(130)는 상기 오브젝트의 위치 정보와 거리 정보를 이용하여 현재 위치를 추정할 수 있다. 이를 위해서, 위치 추정부(130)는 오브젝트 추출부(120)가 제공하는 오브젝트의 위치 정보를 지도 DB(140)에서 검색하여 수집하고, 거리 측정부(150)로부터 상기 오브젝트의 거리를 제공 받을 수 있다.The
발명의 일 실시예에 따르면, 오브젝트 추출부(120)가 추출한 오브젝트 중에서 지도 DB(140)에서 위치 정보가 검색되는 오브젝트에 대해서만 거리 측정부(150)가 거리를 측정할 수 있다.According to an embodiment of the present invention, the
발명의 일 실시예에 따르면, 위치 추정부(130)는 현재 위치를 추정하기 위해서, 상기 오브젝트의 위치 정보와 거리 정보를 삼각 측량법에 적용하여 현재 위치를 추정할 수 있지만, 이에 한정되지는 않는다.According to an embodiment of the present invention, the
디스플레이부(160)는 위치 추정부(130)가 추정한 현재 위치가 표시된 주변 지도를 사용자에게 제공할 수 있다. 이를 위해서, 디스플레이부(160)는 상기 현재 위치가 표시된 주변 지도를 디스플레이 모듈에 표시할 수 있다.The
디스플레이부(160)는 CRT(Cathode-Ray Tube), PDP(Plasma Display Panel), LCD(Liquid Crystal Display), LED(Light Emitting Diode) 및 OLED(Organic Light Emitting Display)방식 중에서 어느 하나를 사용하는 디스플레이 모듈을 포함할 수 있지만, 이에 한정되지는 않는다.The
상기 주변 지도는 상기 추정한 현재 위치를 이용하여 지도 DB(140)에서 검색하여 수집할 수 있다.The surrounding map can be searched and collected in the
도 2a 내지 도 2c를 참조하여, 영상 정보를 이용한 위치 추정 장치(100)가 현재 위치를 추정하는 방법에 대해서 자세히 설명한다.A method of estimating the current position by the
도 2a는 영상 정보 수집부(110)가 수집한 영상 정보(200)의 예시이다. 영상 정보(200)에는 도로 양 측에 위치한 건물과 신호등이 포함되어 있다. 영상 정보(200)는 도로 상에서 주행중인 차량에서 촬영한 전방 영상일 수 있으며, 이에 한정되지는 않는다.FIG. 2A is an illustration of the
도 2b는 오브젝트 추출부(120)가 영상 정보(200)에서 오브젝트를 인식하여 오브젝트 정보를 추출한 예시 화면(300)이다.2B is an
오브젝트 추출부(120)는 영상 정보(200)에서 제1 오브젝트(210), 제2 오브젝트(220) 및 제3 오브젝트(230)를 인식하여 각각에 대응되는 제1 오브젝트 정보, 제2 오브젝트 정보 및 제3 오브젝트 정보를 추출할 수 있다. The
발명의 일 실시예에 따르면, 위치 추정부(130)가 삼각 측량법에 의해서 현재 위치를 추정하기 위해서는 세 개 이상의 위치 정보가 필요하기 때문에, 오브젝트 추출부(120)는 세 개 이상의 오브젝트 정보를 추출 할 수 있다. 오브젝트 추출부(120)가 더 많은 오브젝트 정보를 추출할수록, 위치 추정부(130)가 현재 위치를 더 정확하게 추정할 수 있기 때문에, 오브젝트 추출부(120)가 추출하는 오브젝트 정보의 수는 제한이 없을 수 있다.According to an embodiment of the present invention, since the
도 2c를 참조하여, 상기 추출된 오브젝트와의 거리를 이용하여 현재 위치를 추정 방법을 자세히 설명한다.Referring to FIG. 2C, a method of estimating the current position using the distance from the extracted object will be described in detail.
위치 추정부(130)가 지도 DB(140)에서 상기 추출된 오브젝트에 대한 위치 정보를 검색하여 수집하면, 거리 측정부(150)는 상기 위치 정보가 검색된 오브젝트에 대해서 거리를 측정할 수 있다. When the
위치 추정부(130)는 상기 제1 오브젝트 정보에 대한 제1 위치 정보(310), 제2 오브젝트 정보에 대한 제2 위치 정보(320) 및 제3 오브젝트에 대한 제3 위치 정보(330)을 지도 DB(140)에서 검색하여 수집할 수 있다.The
거리 측정부(150)는 제1 오브젝트(210)에 대한 제1 거리(d1), 제2 오브젝트(220)에 대한 제2 거리(d2) 및 제3 오브젝트(230)에 대한 제3 거리(d3)을 측정하여 위치 추정부(130)에 제공할 수 있다.The
발명의 일 실시예에 따르면, 위치 추정부(130)는 제1 위치 정보(310), 제2 위치 정보(320), 제3 위치 정보(330), 제1 거리(d1), 제2 거리(d2) 및 제3 거리(d3)를 삼각 측량법에 적용하여 현재 위치(250)을 추정할 수 있다.According to an embodiment of the present invention, the
위치 추정부(130)가 오브젝트의 위치와 거리를 이용한 삼각 측량법으로 현재 위치를 추정하는 것은 하나의 예시이며, 삼각 측량법에 한정되지는 않는다.The estimation of the current position by the triangulation method using the position and distance of the object is one example, and is not limited to the triangulation method.
도 3을 참조하면, 영상 정보를 이용한 위치 추정 장치(100)는 현재 위치를 추정하고, 상기 추정된 현재 위치(250)가 표시된 주변 지도(400)를 사용자에게 제공할 수 있다. Referring to FIG. 3, the
디스플레이부(160)는 위치 추정부(130)로부터 현재 위치를 제공 받아, 지도 DB(140)에서 현재 위치에 대한 주변 지도 정보를 검색하여 수집하고, 상기 현재 위치(250)가 표시된 주변 지도(400)를 생성하여 사용자게 표시할 수 있다. 추가적으로 사기 주변 지도(400)에는 현재 위치(250)의 주소 정보(270)가 표시될 수 있다.The
상기 주변 지도는 2D(2 Dimension) 평면 지도 및 3D 지도를 포함할 수 있다.The surrounding map may include a 2D (2D) plane map and a 3D map.
도 4를 참조하여, 영상 정보를 이용하여 위치를 추정하는 방법에 대해서 자세히 설명한다.A method for estimating a position using image information will be described in detail with reference to FIG.
영상 정보를 수집한다(S110). 상기 영상 정보는 영상 수집 모듈에 의해서 수집될 수 있으며, 상기 영상 수집 모듈은 카메라, 블랙 박스, 스마트 폰, 테블릿 및 구글 글라스(Google Glass) 중에서 어느 하나를 포함할 수 있다.The image information is collected (S110). The image information may be collected by an image collection module, and the image collection module may include any one of a camera, a black box, a smart phone, a tablet, and a Google Glass.
상기 수집된 영상 정보에서 오브젝트 정보를 추출한다(S120). 상기 오브젝트 정보는 영상에 포함된 오브젝트의 특징점의 집합을 포함할 수 있다.Object information is extracted from the collected image information (S120). The object information may include a set of minutiae points of an object included in the image.
상기 추출된 오브젝트 정보를 지도 DB에서 검색한다(S130). 상기 지도 DB에는 사전에 수집된 오브젝트 정보와 상기 오브젝트에 대한 위치 정보가 저장되어 있을 수 있다.The extracted object information is retrieved from the map DB (S130). In the map DB, object information collected in advance and position information on the object may be stored.
상기 검색 결과 지도 DB에 오브젝트에 대한 위치 정보가 저장되어 있는지 확인한다(S140).In step S140, it is determined whether the location information of the object is stored in the search result DB.
상기 검색 결과 지도 DB에 오브젝트에 대한 위치 정보가 저장되어 있는 경우 상기 오브젝트까지의 거리를 측정한다(S150). 상기 거리 측정을 위해서 거리 측정 센서가 사용될 수 있으며, 상기 센스는 초음파 센서, 라이다 센서 및 적외선 센서 중에서 어느 하나를 포함할 수 있다.If the location information of the object is stored in the search result DB, the distance to the object is measured (S150). A distance measuring sensor may be used for the distance measurement, and the sensing may include any one of an ultrasonic sensor, a lidar sensor and an infrared sensor.
상기 검색된 위치 정보와 상기 측정된 거리 정보를 이용하여 현재 위치를 추정한다(S160). 상기 현재 위치 추정은 상기 위치 정보 및 상기 거리 정보를 삼각 측량법에 적용하여 도출될 수 있다.The current location is estimated using the searched location information and the measured distance information (S160). The current position estimation may be derived by applying the position information and the distance information to the triangulation method.
상기 추정된 현재 위치가 표시된 주변 지도를 사용자에게 제공한다(S170). 상기 주변 지도를 디스플레이 장치에 표시하여 사용자에게 제공할 수 있다.And provides the user with a surrounding map indicating the estimated current position (S170). The peripheral map may be displayed on the display device and provided to the user.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
영상 정보를 이용한 위치 추정 장치
100
영상 정보 수집부
110
오브젝트 추출부
120
위치 추정부
130
지도 DB
140
거리 측정부
150
디스플레이부
160A
The image
The
The
The
The
Claims (10)
전방의 영상 정보를 수집하는 영상 정보 수집부;
상기 수집된 영상 정보에서 상기 오브젝트를 추출하는 오브젝트 추출부;
상기 오브젝트와의 거리를 측정하여 거리 정보를 생성하는 거리 측정부; 및
상기 지도 DB에서 상기 추출한 오브젝트의 위치 정보를 검색하고 상기 검색된 위치 정보 및 상기 거리 정보를 이용하여 현재 위치를 추정하는 위치 추정부를 포함하는,
영상 정보를 이용한 위치 추정 장치.A map DB storing previously collected objects and position information of the objects;
An image information collecting unit for collecting image information of a front side;
An object extraction unit for extracting the object from the collected image information;
A distance measurement unit for measuring the distance to the object and generating distance information; And
And a position estimator for searching the map DB for position information of the extracted object and estimating a current position using the searched position information and the distance information.
A position estimation apparatus using image information.
상기 추정된 현재 위치의 주변 지도 정보를 상기 지도 DB에서 수집하여 상기 현재 위치가 표시된 상기 주변 지도 정보를 제공하는 디스플레이부를 더 포함하는,
영상 정보를 이용한 위치 추정 장치.The method according to claim 1,
Further comprising a display unit for collecting peripheral map information of the estimated current position from the map DB and providing the peripheral map information indicating the current position,
A position estimation apparatus using image information.
상기 오브젝트의 위치 정보는,
상기 오브젝트의 GPS(Global Positioning System) 좌표 정보를 포함하는,
영상 정보를 이용한 위치 추정 장치.The method according to claim 1,
The position information of the object may include:
(Global Positioning System) coordinate information of the object,
A position estimation apparatus using image information.
상기 거리 측정부는,
초음파 센서(sensor), 라이다(LIDAR; Light Detection And Ranging) 센서, RF(Radio Frequency) 레이더(radar) 센서 및 적외선 센서 중에서 어느 하나를 포함하는 센서 모듈을 이용하여 거리를 측정하는,
영상 정보를 이용한 위치 추정 장치.The method according to claim 1,
The distance measuring unit may measure,
A method of measuring a distance using a sensor module including an ultrasonic sensor, a light detection and ranging (LIDAR) sensor, a radio frequency (RF) radar sensor, and an infrared sensor,
A position estimation apparatus using image information.
상기 오브젝트 추출부는,
상기 영상 정보에서 제1 오브젝트, 제2 오브젝트 및 제3 오브젝트를 추출하고,
상기 거리 측정부는,
상기 제1 오브젝트의 제1 거리, 상기 제2 오브젝트의 제2 거리 및 상기 제3 오브젝트의 제3 거리를 측정하며,
상기 위치 추정부는,
상기 제1 오브젝트의 제1 위치 정보, 상기 제2 오브젝트의 제2 위치 정보 및 상기 제3 오브젝트의 제3 위치 정보를 상기 지도 DB에서 검색하고, 상기 제1 위치 정보, 제2 위치 정보, 제3 위치 정보, 제1 거리, 제2 거리 및 제3 거리를 삼각 측량법에 적용하여 현재 위치를 추정하는,
영상 정보를 이용한 위치 추정 장치.The method of claim 1,
The object extracting unit may extract,
Extracting a first object, a second object, and a third object from the image information,
The distance measuring unit may measure,
Measuring a first distance of the first object, a second distance of the second object, and a third distance of the third object,
The position estimating unit may calculate,
Searching for the first position information of the first object, the second position information of the second object, and the third position information of the third object in the map DB, and the first position information, the second position information, The present position is estimated by applying the position information, the first distance, the second distance and the third distance to the triangulation method,
A position estimation apparatus using image information.
상기 수집된 영상 정보에서 상기 오브젝트를 추출하는 단계;
상기 오브젝트와의 거리를 측정하는 단계; 및
지도 DB에서 상기 추출한 오브젝트의 위치 정보를 검색하고 상기 검색된 위치 정보 및 상기 측정된 거리를 이용하여 현재 위치를 추정하는 단계를 포함하는,
영상 정보를 이용한 위치 추정 방법.Collecting image information;
Extracting the object from the collected image information;
Measuring a distance to the object; And
Retrieving position information of the extracted object from the map DB, and estimating a current position using the retrieved position information and the measured distance;
Position estimation method using image information.
상기 위치를 추정하는 단계 이후에,
상기 현재 위치의 주변 지도 정보를 상기 지도 DB에서 수집하여 상기 현재 위치가 표시된 상기 주변 지도 정보에 제공하는 단계를 더 포함하는,
영상 정보를 이용한 위치 추정 방법.The method according to claim 6,
After the step of estimating the position,
Further comprising the step of collecting the surrounding map information of the current location from the map DB and providing the current location to the neighboring map information displayed.
Position estimation method using image information.
상기 지도 DB는,
사전에 수집된 오브젝트 및 상기 오브젝트의 위치 정보를 저장하고는 있는 데이터베이스(Database)를 포함하는,
영상 정보를 이용한 위치 추정 방법.The method according to claim 6,
In the map DB,
And a database storing location information of the object and the object collected in advance,
Position estimation method using image information.
상기 오브젝트의 위치 정보는,
상기 오브젝트의 GPS(Global Positioning System) 좌표 정보를 포함하는,
영상 정보를 이용한 위치 추정 방법.The method according to claim 6,
The position information of the object may include:
(Global Positioning System) coordinate information of the object,
Position estimation method using image information.
상기 영상 정보에서 제1 오브젝트를 추출하는 단계;
상기 영상 정보에서 제2 오브젝트를 추출하는 단계; 및
상기 영상 정보에서 제3 오브젝트를 추출하는 단계를 포함하고,
상기 거리를 측정하는 단계는,
상기 제1 오브젝트의 제1 거리를 측정하는 단계;
상기 제2 오브젝트의 제2 거리를 측정하는 단계; 및
상기 제3 오브젝트의 제3 거리를 측정하는 단계를 포함하고,
상기 위치를 추정하는 단계는,
상기 제1 오브젝트의 제1 위치 정보를 상기 지도 DB에서 검색하는 단계;
상기 제2 오브젝트의 제2 위치 정보를 상기 지도 DB에서 검색하는 단계;
상기 제3 오브젝트의 제3 위치 정보를 상기 지도 DB에서 검색하는 단계; 및
상기 제1 위치 정보, 제2 위치 정보, 제3 위치 정보, 제1 거리, 제2 거리 및 제3 거리를 삼각 측량법에 적용하여 현재 위치를 추정하는,
영상 정보를 이용한 위치 추정 방법.Wherein the extracting the object comprises:
Extracting a first object from the image information;
Extracting a second object from the image information; And
And extracting a third object from the image information,
Wherein the measuring the distance comprises:
Measuring a first distance of the first object;
Measuring a second distance of the second object; And
And measuring a third distance of the third object,
The step of estimating the position comprises:
Retrieving first position information of the first object from the map DB;
Retrieving second location information of the second object from the map DB;
Searching third map information of the third object in the map DB; And
Estimating a current position by applying the first position information, the second position information, the third position information, the first distance, the second distance, and the third distance to a triangulation method,
Position estimation method using image information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140008954A KR20150088525A (en) | 2014-01-24 | 2014-01-24 | Method and apparatus for estimating the current position using video information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140008954A KR20150088525A (en) | 2014-01-24 | 2014-01-24 | Method and apparatus for estimating the current position using video information |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150088525A true KR20150088525A (en) | 2015-08-03 |
Family
ID=53872921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140008954A KR20150088525A (en) | 2014-01-24 | 2014-01-24 | Method and apparatus for estimating the current position using video information |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20150088525A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018084397A1 (en) * | 2016-11-04 | 2018-05-11 | 렉스젠(주) | Trade name-based information providing apparatus and method therefor |
WO2024005474A1 (en) * | 2022-06-30 | 2024-01-04 | 주식회사 와이엠엑스 | Augmented-reality service device and method for providing proper distance display |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100018363A (en) * | 2008-08-06 | 2010-02-17 | 김수종 | Automatic Location Tracking System for Moving Objects |
KR20130067851A (en) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | Apparatus and method for recognizing position of vehicle |
KR20130119288A (en) * | 2012-04-23 | 2013-10-31 | 한국전자통신연구원 | Apparatus and method for correcting information of position |
-
2014
- 2014-01-24 KR KR1020140008954A patent/KR20150088525A/en not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100018363A (en) * | 2008-08-06 | 2010-02-17 | 김수종 | Automatic Location Tracking System for Moving Objects |
KR20130067851A (en) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | Apparatus and method for recognizing position of vehicle |
KR20130119288A (en) * | 2012-04-23 | 2013-10-31 | 한국전자통신연구원 | Apparatus and method for correcting information of position |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018084397A1 (en) * | 2016-11-04 | 2018-05-11 | 렉스젠(주) | Trade name-based information providing apparatus and method therefor |
WO2024005474A1 (en) * | 2022-06-30 | 2024-01-04 | 주식회사 와이엠엑스 | Augmented-reality service device and method for providing proper distance display |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111815675B (en) | Target object tracking method and device, electronic equipment and storage medium | |
TWI574223B (en) | Navigation system using augmented reality technology | |
US10373035B2 (en) | Method and system for determining spatial characteristics of a camera | |
KR101570195B1 (en) | Logo detection for indoor positioning | |
US9154742B2 (en) | Terminal location specifying system, mobile terminal and terminal location specifying method | |
KR101330805B1 (en) | Apparatus and Method for Providing Augmented Reality | |
CN104748738A (en) | Indoor positioning navigation method and system | |
CN108921894B (en) | Object positioning method, device, equipment and computer readable storage medium | |
US20170357858A1 (en) | Geometric matching in visual navigation systems | |
US9633434B2 (en) | Calibration of camera-based surveillance systems | |
US9218529B2 (en) | 3-D imaging sensor based location estimation | |
US20090110235A1 (en) | System and method for selection of an object of interest during physical browsing by finger framing | |
US9153202B2 (en) | Object display device, object display method, and object display program | |
CN103119611A (en) | Method and apparatus for image-based positioning | |
TW201520579A (en) | Positioning control method | |
US20140240347A1 (en) | Information processing terminal, method of processing information, and program for information processing | |
CN109165606A (en) | A kind of acquisition methods of information of vehicles, device and storage medium | |
JPWO2020039937A1 (en) | Position coordinate estimation device, position coordinate estimation method and program | |
JP2012010036A (en) | Camera calibration system, and measuring vehicle and roadside device for the same | |
KR102463698B1 (en) | System and method for building a location information database of road sign, apparatus and method for estimating location of vehicle using the same | |
CN104422426A (en) | Method and apparatus for providing vehicle navigation information within elevated road region | |
CN106996785B (en) | Method and device for updating navigation data | |
CN103093214B (en) | A kind of pedestrian detection method based on vehicle mounted infrared camera | |
KR20150088525A (en) | Method and apparatus for estimating the current position using video information | |
EP4343359A2 (en) | Crowdsourcing visual data tagged with wireless signal information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |