KR20150049529A - Apparatus and method for estimating the location of the vehicle - Google Patents
Apparatus and method for estimating the location of the vehicle Download PDFInfo
- Publication number
- KR20150049529A KR20150049529A KR1020130130211A KR20130130211A KR20150049529A KR 20150049529 A KR20150049529 A KR 20150049529A KR 1020130130211 A KR1020130130211 A KR 1020130130211A KR 20130130211 A KR20130130211 A KR 20130130211A KR 20150049529 A KR20150049529 A KR 20150049529A
- Authority
- KR
- South Korea
- Prior art keywords
- road traffic
- traffic sign
- vehicle
- image
- sign
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Description
본 발명은 차량의 위치 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는 1차적으로 위성항법시스템을 이용하여 위치를 판단하고, 2차적으로 도로 주행중 발견할 수 있는 도로표지판을 인식하여 미리 저장된 도로표지판 데이터베이스와 비교하여 현재 주행중인 차선을 판단할 수 있는 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for estimating a position of a vehicle, and more particularly to a system and method for predicting a position of a vehicle using a satellite navigation system, The present invention relates to an apparatus and a method for determining a lane in comparison with a database.
최근 자동차 분야에서 IT기술을 융합한 지능형안전기술 연구가 활발하게 진행되고 있다. 이러한 기술은 주로 운전자 보조 시스템에 초점이 맞춰져 있으며 차선 이탈 경보나 주차 지원 시스템은 이미 상용화되어 있다. 또한 운전자의 편의성을 위해 GPS(Global Positioning System)를 이용한 위치 기반 서비스(local based service)를 제공하기도 한다.
Recently, intelligent safety technology research that converges IT technology in automobile field is actively being carried out. These technologies are primarily focused on driver assistance systems, and lane departure alarms and parking assistance systems are already commercially available. It also provides a local based service using GPS (Global Positioning System) for the convenience of the driver.
신뢰도가 높은 DGPS(Differential Global Positioning System)를 이용하면 정밀한 위치를 알아낼 수 있으나 일반적으로 사용되는 GPS(Global Positioning System)는 정밀한 위치를 알려주지 못하며 특히 주행 중인 차량의 횡 방향 위치를 제공할 수 없다는 단점이 있다. 비전 센서로 위치 인식에 주로 사용되는 스테레오 카메라는 고가의 장비로 상용화하기 어렵다. 단안카메라를 이용하여 차선인식을 수행한 방법이 연구되었지만 현재 주행 중인 차선이 몇 차선인지 알려주기 위해서 도로 내 차선을 모두 인식해야 하며 대부분 다른 차량에 의해 가려지므로 어렵기는 마찬가지이다.The DGPS (Differential Global Positioning System), which is highly reliable, can be used to find the precise position, but the general GPS (Global Positioning System) can not give precise position and can not provide the lateral position of the moving vehicle have. Stereo cameras, which are mainly used for position recognition with vision sensors, are difficult to commercialize as expensive equipment. A method of performing lane recognition using a monocular camera has been studied, but it is difficult to recognize all of the lanes on the road in order to know how many lanes the current lane is driving, and is often blocked by other vehicles.
카메라 영상에서 검출되는 도로표지판을 이용하면 차량과 도로표지판의 상대적인 위치를 구할 수 있다. 표지판의 인식과 관련된 연구로 검출, 특징점, 분류에 대한 다양한 방법들이 조사되어 있고, 표지판 네 꼭지점의 사영변환으로 구해진 호모그래피를 통해 차량과의 거리를 구하는 방법에 대해 해외와 국내에서 모두 소개되었다. FFT(Fast Fourier Transform)를 이용한 표지판 인식과 다양한 조명 환경에서의 표지판 색 변화에 대한 연구도 진행되었다. 이미 개발된 여러 가지 주행지원 시스템의 검증을 위해서 또한 도로시설물의 관리를 위해서 실 도로의 영상DB(Data Base)를 구축하는 방법에 대한 연구에 기반하여 도로표지판의 실제 위치 정보를 알고 있으면 차량의 상대적인 위치와 더불어 절대적인 위치도 계산할 수 있다.
The relative position of the vehicle and the road sign can be obtained by using the road sign detected from the camera image. A variety of methods for detection, feature point, and classification were investigated in relation to the recognition of signs, and the method of calculating the distance from the vehicle through homography obtained by projective transformation of the four vertices of the sign was introduced both at home and abroad. Sign recognition using FFT (Fast Fourier Transform) and color change of signs in various lighting environments were also studied. In order to verify various road support systems already developed and to build a database of actual roads in order to manage road facilities, knowing the actual location information of the road signs, Absolute position can be calculated in addition to position.
본 발명이 해결하고자 하는 기술적 과제는 변하는 외부 환경에 적응적인 이진화 방법으로 표지판을 검출하고자 함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to detect a sign by a binarization method adapted to a changing external environment.
본 발명이 해결하고자 하는 다른 기술적 과제는 칼만 필터를 이용하여 이동하는 표지판을 추적하고 핀홀 카메라 모델을 사용하여 표지판과 자차의 상대 거리를 계산하고, 특징점 매칭으로 표지판 DB로부터 표지판의 정보를 불러와서 차량의 실제 위치를 표시하고 주행 차선을 인식함에 있다.Another object of the present invention is to track a moving sign using a Kalman filter, calculate a relative distance between the sign and the car using a pinhole camera model, retrieve the information of the sign from the sign database by feature point matching, And recognizes the driving lane.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 병렬 처리 기술을 활용하여 고속 주행 시에도 실시간으로 수행할 수 있는 처리속도를 제공함에 있다.
Another object of the present invention is to provide a processing speed that can be performed in real time even when traveling at a high speed by using a parallel processing technique.
도로교통 표지판 데이터베이스를 기초로 차량의 위치를 추정하는 차량의 위치 추정 장치 장치에 있어서, 도로교통 표지판을 촬영하여 영상신호를 생성하는 촬영부 및 상기 촬영된 영상신호를 분석하고, 상기 도로교통 표지판을 칼만필터를 이용하여 추적하고, 차량과 상기 도로교통 표지판의 상대적인 궤적을 추출하여 상기 차량의 위치를 추정하는 제어부를 포함할 수 있다.An apparatus for estimating a position of a vehicle based on a road traffic sign database, comprising: a photographing unit for photographing a road traffic sign to generate a video signal; and a controller for analyzing the photographed video signal, And a controller for tracking the vehicle using a Kalman filter and extracting a relative trajectory of the vehicle and the road traffic sign to estimate the position of the vehicle.
상기 제어부는, 위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈, 상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈, 상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 수신하는 데이터통신모듈, 상기 생성된 영상신호 중 도로교통 표지판의 영역을 추출하기 위한 영상 전처리모듈, 이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부 및 상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고, 상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈를 포함할 수 있다.The control unit includes: a satellite navigation communication module for receiving a satellite signal of a satellite navigation system; a vehicle position detection module for detecting a primary position of the vehicle based on the received signal; A data preprocessing module for extracting an area of a road traffic sign among the generated image signals, a model actually observed based on an ideal road traffic sign is set in advance And the candidate road traffic sign information is used to select the candidate road traffic sign information having the highest similarity to determine the location of the vehicle Lt; / RTI >
상기 제어부는, 위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈, 상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈, 상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 추출하는 도로교통 표지판 정보 추출 모듈, 상기 생성된 영상신호 중 도로교통 표지판의 영역을 추출하기 위한 영상 전처리모듈, 이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부 및 상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고, 상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈을 포함할 수 있다.The control unit includes a satellite navigation communication module for receiving a satellite signal of a satellite navigation system, a vehicle position detection module for detecting a primary position of the vehicle on the basis of the received signal, A road traffic sign information extracting module for extracting one or more candidate road sign traffic sign information based on the road information, an image preprocessing module for extracting a road traffic sign area among the generated image signals, a model actually observed based on an ideal road traffic sign, The candidate road traffic sign information having the highest degree of similarity is selected by matching the extracted feature points with the received candidate road traffic sign information, And a calculation module for determining the position of the robot.
상기 후보 도로교통 표지판 정보는, 설치된 도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보가 도로교통 표지판 데이터베이스로부터 송신될 수 있다.The candidate road traffic sign information includes information on the number of lanes of the road on which the road traffic sign is installed, the minutiae extracted from the road traffic sign image, the installation height of the road traffic sign, the distance of the vehicle from the center lane, Information may be transmitted from the road traffic sign database.
상기 차량의 위치 추정 장치는, 도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보를 포함하는 데이터데이스를 더 포함할 수 있다.The vehicle position estimating apparatus includes an image of a road traffic sign, minutiae extracted from the road traffic sign image, installation height of the road traffic sign, distance of the vehicle from the center lane, and information about the total number of lanes of the road on which the road traffic sign is installed And a data file including at least one of information of at least one of the plurality of information.
상기 저장부는, 영상에 표시되는 도로교통 표지판의 움직임을 인식하기 위해 실제 카메라의 특성이 미리 설정된 카메라모델 설정모듈 및 칼만필터를 이용하여 물체의 이동을 추적하기 위한 도로교통 표지판의 상태가 미리 설정된 표지판모델 설정모듈을 포함할 수 있다.The storage unit may include a camera model setting module in which the characteristics of the actual camera are preset and a state of the road traffic sign for tracking the movement of the object using the Kalman filter in order to recognize the motion of the road traffic sign displayed on the image, And a model setting module.
상기 연산모듈은, 상기 추출된 도로교통 표지판의 영역의 특징점을 추출하기 위한 특징점 추출모듈, 상기 추출된 도로교통 표지판의 영역의 특징점과 상기 후보 도로교통 표지판 정보의 특징점을 매칭시켜 유사도가 가장 높은 후보 도로교통 표지판을 선택하기 위한 특징점 매칭모듈 및 상기 선택된 대상을 기초로 차량의 주행방향에 상대적인 궤적을 추출하여 현재 진행중인 차량의의 위치를 판단하는 위치 판단모듈을 포함할 수 있다.The calculating module may include a feature point extracting module for extracting feature points of the extracted region of the road traffic sign, a feature point of the region of the extracted road traffic sign and a feature point of the candidate road traffic sign information, A feature point matching module for selecting a road traffic sign, and a position determination module for extracting a trajectory relative to the running direction of the vehicle based on the selected object and determining a current position of the vehicle on the basis of the selected object.
차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계, 상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계, 칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계, 상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계, 위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계, 상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계, 상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계, 상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계 및 상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계를 포함할 수 있다.A step of photographing a moving image of a vehicle and converting it into a video signal, pre-processing an image to detect a road traffic sign area of the video signal, tracking the detected road traffic sign area using a Kalman filter, Extracting feature points of the tracked road traffic sign region, determining a position of the vehicle using a satellite navigation system, searching the database based on the current position of the vehicle determined primarily, The method includes the steps of extracting traffic sign information, determining a signpost having the highest similarity by matching minutiae points of the extracted road traffic sign area with minutiae points of the extracted candidate road traffic sign, analyzing the movement trajectory of the determined road traffic sign, And determining a current position of the vehicle based on the analyzed moving trajectory It may include a system.
상기 영상을 전처리하는 단계는, 상기 변환된 영상신호중 도로의 윗부분을 관심영역(ROI: Region of Interest)으로 설정하는 단계, 상기 설정된 관심영역 중 하늘에 해당하는 영역을 제거하는 이진화 단계, 상기 하늘에 해당하는 영역이 제거된 영상을 기초로 색상 특성을 기초로 도로교통 표지판의 영역을 검출하는 단계 및 상기 검출된 도로교통 표지판의 영역 내에서 중심점을 찾아내고 추적을 진행하는 단계를 포함할 수 있다.The step of pre-processing the image may include the steps of setting an upper portion of a road in the converted image signal as a region of interest (ROI), a binarization step of removing an area corresponding to a sky among the set ROIs, Detecting an area of the road traffic sign based on the color characteristic based on the image from which the corresponding area is removed; and locating and tracking the center point within the detected area of the road traffic sign.
상기 하늘에 해당하는 영역을 제거하는 이진화 단계는, 클래스 간의 분산을 최대화시켜 상대적으로 밝은 부분을 제거할 수 있는 옷수(Otsu)방법을 적용하는 단계를 포함할 수 있다.The binarization step of removing the sky area may include applying an Otsu method that maximizes dispersion among classes and removes a relatively bright part.
상기 칼만필터를 적용하는 단계는, 영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해 카메라에 실제 투영되는 카메라모델을 설정하는 단계, 상기 도로교통 표지판이 실제 상황에서 보여지는 상태를 정의하기 위한 표지판 이동모델을 설정하는 단계 및 상기 설정된 표지판 이동모델을 기초로 전처리된 도로교통 표지판 영상을 보정하여 도로교통 표지판의 추적을 계속적으로 진행하는 단계를 포함할 수 있다.The step of applying the Kalman filter may include the steps of: setting a camera model that is actually projected on a camera in order to grasp the movement of the road traffic sign displayed on the image; setting a sign for defining a state of the road traffic sign, Setting the movement model, and correcting the preprocessed road traffic sign image based on the set sign movement model to continuously track the road traffic sign.
상기 표지판 이동모델을 설정하는 단계는, 검출된 도로교통 표지판의 중심좌표, 차량의 속력 및 도로교통 표지판과 카메라가 이루는 각도로 도로교통 표지판의 상태를 정의하는 단계, 영상 내의 시간에 따른 도로교통 표지판 중심의 높이를 기초로 도로교통 표지판의 거리에 따른 모델을 설정하는 단계, 영상 내의 소실점과 도로교통 표지판의 중심과의 각도를 기초로 도로교통 표지판의 각도에 따른 모델을 설정하는 단계 및 실제 관측상황에서 발생할 수 있는 노이즈에 대한 관측모델을 설정하는 단계를 포함할 수 있다.The step of setting the sign movement model may include the steps of defining the state of the road traffic sign by the coordinates of the detected road traffic sign, the speed of the vehicle, and the angle between the road traffic sign and the camera, Setting a model according to the distance of the road traffic sign based on the height of the center, setting the model according to the angle of the road traffic sign based on the angle between the vanishing point in the image and the center of the road traffic sign, And setting an observation model for noise that may occur in the noise model.
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는, 상기 추출된 도로교통 표지판 영역의 특징점 및 상기 후보도로교통 표지판의 특징점을 기초로 케이최근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정하는 단계, 상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링하는 단계, 상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행하는 단계, 상기 비율테스트가 수행된 특징점 집합들을 기초로 대칭성 테스트를 수행하는 단계 및 상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위한 란삭(RANSAC) 알고리즘을 적용하는 단계를 포함할 수 있다.The step of determining a sign having the highest degree of similarity by matching the feature points comprises the steps of: k-NN algorithm algorithm based on feature points of the extracted road traffic sign region and feature points of the candidate road traffic sign, A step of performing filtering based on the selected set of minutia points, a step of performing a ratio test based on the filtered set of minutia points, a step of performing a ratio test on the set of minutia points And applying a RANSAC algorithm to remove anomalies of the set of feature points that have undergone the symmetry test.
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는, 오픈앰피(OpenMP)를 통해 고속주행시 실시간으로 처리할 수 있는 다중 스레드 병렬처리 단계일 수 있다.
The step of determining the signpost having the highest degree of similarity by matching the minutiae points may be a multi-thread parallel processing step capable of processing in real time during high-speed traveling through OpenMP (OpenMP).
본 발명의 실시형태에 따른 차량의 위치 추정 장치 및 방법에 의하면, 주행 중 카메라(예를 들어, 단안카메라)로 들어오는 영상에서 환경에 적응적인 이진화 방법으로 배경과 분리시키고 표지판의 색정보를 이용하여 표지판 영역을 검출할 수 있다.According to the apparatus and method for estimating the position of a vehicle according to the embodiment of the present invention, an environment-adaptive binarization method for separating a background image from an image input to a camera (for example, a monocular camera) The sign area can be detected.
검출된 표지판의 중심좌표는 차량의 주행 속도와 관련지어 이동하기 때문에 칼만필터를 이용하여 추적하고, 표지판에서 특징점을 추출하여 도로표지판 데이터베이스 내에서 추출된 특징점과 매칭할 수 있다.Since the center coordinates of the detected signs move in association with the traveling speed of the vehicle, they can be tracked using a Kalman filter, and feature points extracted from the signs can be matched with extracted feature points in the road sign database.
특징점 매칭에 성공하면 해당 표지판의 정보를 읽어오고, 표지판 중심좌표의 궤적을 이용한 거리정보와 결합하여 차량의 횡 방향 위치와 더불어 주행 중인 차선 정보를 알아낼 수 있다.If the matching of the feature points is successful, the information of the signboard is read and combined with the distance information using the locus of the center coordinates of the sign to find the lane information of the vehicle along with the lateral position of the vehicle.
또한, 고속 주행에도 실시간으로 차량의 위치와 주행중인 차선정보를 정확하게 알아낼 수 있다.
Also, it is possible to accurately find the position of the vehicle and the lane information of the vehicle while driving at high speed in real time.
도 1(a) 내지 도 1(c)는 GPS(Global Positioning System)항법에 의한 절대위치 정보를 통해 차량의 위치를 검출함에 있어 오차 발생예를 도시한다.
도 2는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 제어부를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 저장부를 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 연산모듈을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법의 동작 과정을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 ORB알고리즘에서 코너를 판정하는 과정을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 거리에 따른 표지판의 검출크기를 나타낸다.
도 9는 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 조명에 따른 표지판의 색변화를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법 중 영상전처리 단계의 동작 과정을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법 중 칼만필터 적용단계의 동작 과정을 나타내는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 카메라의 모델의 설정단계를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 거리에 따른 표지판 모델을 나타내는 도면이다
도 14는 본 발명의 일 실시예에 따른 따른 차량의 위치 추정 방법의 각도에 따른 표지판 모델을 나타내는 도면이다
도 15는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 소실점과 표지판의 중심점의 관계를 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭 단계의 연산과정을 보여주는 흐름도이다.
도 17은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법에 사용되는 도로교통 표지판의 일 실시예를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭단계를 오픈엠피(OpenMP)를 통해 수행하는 과정을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 실제 표지판이 인식되는 과정을 나타내는 도면이다.1 (a) to 1 (c) show an example of an error occurrence in detecting the position of a vehicle through absolute position information by GPS (Global Positioning System) navigation.
2 is a view schematically showing a configuration of an apparatus for estimating a vehicle position of a vehicle according to an embodiment of the present invention.
3 is a schematic view illustrating a control unit of a vehicle position estimating apparatus for a vehicle according to an embodiment of the present invention.
4 is a view schematically showing a storage unit of an apparatus for estimating a vehicle position of a vehicle according to an embodiment of the present invention.
5 is a diagram schematically illustrating a calculation module of an apparatus for estimating a vehicle position of a vehicle according to an embodiment of the present invention.
6 is a flowchart illustrating an operation procedure of a method of estimating a vehicle position of a vehicle according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a process of determining a corner in an ORB algorithm of a vehicle position estimation method according to an embodiment of the present invention.
FIG. 8 shows a detection size of a sign according to a distance in an input image of a method of estimating a position of a vehicle according to an embodiment of the present invention.
FIG. 9 shows a color change of a sign according to illumination in an input image of a method of estimating a vehicle position of a vehicle according to an embodiment of the present invention.
10 is a flowchart illustrating an operation process of the image preprocessing step in the vehicle position estimation method of the vehicle according to the embodiment of the present invention.
11 is a flowchart illustrating an operation procedure of a Kalman filter applying step in a vehicle position estimation method of a vehicle according to an embodiment of the present invention.
12 is a view for explaining a step of setting a model of a camera in a method of estimating a position of a vehicle according to an embodiment of the present invention.
13 is a diagram showing a sign board model according to distance in a vehicle position estimation method according to an embodiment of the present invention
FIG. 14 is a diagram showing a sign board model according to an angle of a vehicle position estimation method according to an embodiment of the present invention
15 is a diagram showing a relationship between a vanishing point of a vehicle and a center point of a sign according to an embodiment of the present invention.
FIG. 16 is a flowchart illustrating a calculation process of a feature point matching step of a vehicle position estimation method according to an embodiment of the present invention.
17 is a view showing an embodiment of a road traffic sign used in a method of estimating a position of a vehicle according to an embodiment of the present invention.
18 is a diagram illustrating a process of performing a minutia matching step of a vehicle position estimation method according to an embodiment of the present invention through an OpenMP.
FIG. 19 is a diagram illustrating a process of recognizing an actual sign of a vehicle position estimation method according to an embodiment of the present invention.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 차량의 위치 추정 장치 및 방법에 대해 상세하게 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
Hereinafter, an apparatus and method for estimating a position of a vehicle according to the present invention will be described in detail with reference to the accompanying drawings. The structure and operation of the present invention shown in the drawings and described by the drawings are described as at least one embodiment, and the technical ideas and the core structure and operation of the present invention are not limited thereby.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
Although the terms used in the present invention have been selected in consideration of the functions of the present invention, it is possible to use general terms that are currently widely used, but this may vary depending on the intention or custom of a person skilled in the art or the emergence of new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈"은 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈"은 컴퓨터상에서 실행 가능한 프로그램, 애플리케이션, 컴퓨터상에서 실행 가능한 명령어의 집합을 의미할 수 있다.
The suffix "module" for a component used in the following description is merely given in consideration of the ease of making this specification, and the "module" means a set of instructions executable on a computer, can do.
이하의 설명에서 "일치"한다는 것은 100% 동일한 경우뿐만 아니라, 유사도가 가장 높은 경우를 포함하는 것으로 정의한다.
In the following description, "matching" is defined to include not only the case of 100% identical but also the case of highest similarity.
도 1 (a),(b)는 GPS(Global Positioning System)항법에 의한 절대위치 정보를 통해 차량의 위치를 검출함에 있어 오차 발생예를 도시한다.1 (a) and 1 (b) illustrate an example of error generation in detecting the position of a vehicle through absolute position information by GPS (Global Positioning System) navigation.
GPS(Global Positioning System)는 위성에서 오는 전파를 포착함으로써, 24시간 세계 속에서 절대 좌표를 얻을 수 있는 가장 효과적인 위치검출 항법이지만, 터널이나 고층빌딩 아래, 고가도로 아래와 같이 전파 수신조건이 나쁜 환경에서는 오차가 크게 벌어져 믿을 수 없는 문제가 있다.
GPS (Global Positioning System) is the most effective position detection method that can obtain the absolute coordinates in 24 hours world by capturing the radio wave from the satellite. However, in an environment with poor radio wave reception conditions such as a tunnel, a high-rise building, There is a problem that can not be believed because it is widespread.
예를 들어, 도 1 (a)에 도시된 것과 같은 2만 Km 상공에 떠있는 위성으로부터 나온 전파가 지상에 도달하면서 발생하는 굴절에 의한 오차이다.For example, it is an error caused by a refraction occurring when a radio wave from a satellite floating above 20,000 Km as shown in Fig. 1 (a) reaches the ground.
이러한 굴절에 의한 오차가 발생하지 않는 경우라도 도 1(b)에 도시된 것과 같은 건물에 의한 반사파(multi path)로 인하여 오차가 발생할 수 있다. 이 외에도 GPS(Global Positioning System)위성과 GPS(Global Positioning System)수신기의 시간차이로 인한 오차, 수신기의 중심변동으로 인한 오차 및 수신기의 노이즈에 의한 오차가 발생할 수 있다.Even when such an error due to the refraction does not occur, an error may occur due to a multi-path caused by the building as shown in Fig. 1 (b). In addition, an error due to a time difference between a GPS (global positioning system) satellite and a GPS (global positioning system) receiver, an error due to a center variation of the receiver, and an error due to a noise of the receiver may occur.
또한, 도 1(c)에 도시된 것과 같이 GPS(Global Positioning System)위성이 서로 가까이에 있어 생기는 기하학적 오차로 위성이 서로 가까이에 있을 경우 멀리 떨어져 있을 경우보다 인식 되어지는 범위가 넓어져 오차가 발생할 수 있다.In addition, as shown in FIG. 1 (c), if there is a geometrical error caused by GPS (Global Positioning System) satellites close to each other, if the satellites are close to each other, .
따라서, GPS(Global Positioning System)에 의존하여서는 차량의 위치를 정확하게 판별할 수 없다. 이를 해결하기 위해 본 발명자들은 아래와 같은 차량의 위치 추정장치 및 방법을 제안한다
Therefore, the position of the vehicle can not be accurately determined depending on the GPS (Global Positioning System). To solve this problem, the present inventors propose an apparatus and method for estimating a position of a vehicle
도 2는 본 발명에 따른 차량의 위치 추정 장치의 구성을 개략적으로 나타낸 도면이다.2 is a view schematically showing the configuration of a vehicle position estimating apparatus according to the present invention.
도 2를 참고하면, 차량의 위치 추정 장치는 촬영부(100), 제어부(200) 및 데이터베이스(300)를 포함할 수 있다. 2, the vehicle position estimation apparatus may include a photographing
촬영부(100)는 이동가능한 차량의 소정의 위치에 부착되어 차량의 이동방향을 촬영할 수 있다. 예를 들어, 차량의 윈드 실드(Wind Shield)에 부착되어 차량의 이동방향 전면을 촬영할 수 있다. 촬영부(100)는 CCD(Charge Coupled Device) 모듈이나 CMOS(Complementary Metal Oxide Semiconductor) 모듈 중 어느 하나를 포함한 촬영장치이다. 촬영부(100)에 입력된 영상은 디지털 신호인 영상신호로 변환되어 제어부(200)에 전달된다.
The photographing
제어부(200)는 GPS위성(10)에서 송출하는 전파를 수신해서 차량의 절대적인 위치를 측위할 수 있고, 차량의 위치, 방향, 시각 및 항법관련정보 등을 판단할 수 있다. 또한, 제어부(200)는 GPS 위성(10)을 통해 현재 이동하는 차량의 위치를 1차적으로 판단할 수 있고, 촬영부(100)에서 촬영된 영상신호를 기초로 이동하는 차량의 위치를 2차적으로 판단할 수 있다.
The
데이터베이스(300)는 촬영부(100)의 영상신호로부터 제어부(200)가 차량의 위치를 2차적으로 판단하기 위한 표지판의 정보가 저장되어 있을 수 있다. 데이터베이스(300)에 저장된 도로교통 표지판의 정보는 도로교통 표지판 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치 높이, 중앙차선으로부터 횡 방향 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들 중 적어도 어느 하나일 수 있다. 데이터베이스(300)는 서버에 저장되어 통신수단을 통해 제어부(200)에 제공되거나, 본 발명의 장치에 내장된 저장매체에 저장되어 제어부(200)에 제공될 수 있다.
The
도 3은 본 발명에 따른 차량의 차량의 위치 추정 장치의 제어부를 개략적으로 나타낸 도면이다.3 is a view schematically showing a control unit of a vehicle position estimating apparatus for a vehicle according to the present invention.
도 3을 참조하면, 제어부(200)는 위성항법 통신모듈(210), 차량위치 검출모듈(220), 데이터 통신모듈(230), 영상 전처리모듈(240), 저장부(250) 및 연산모듈(260)을 포함할 수 있다. 3, the
위성항법 통신모듈(210)은 상기 차량의 위치를 1차적으로 판단하기 위해 GPS위성에서 오는 전파를 수신하기 위한 모듈일 수 있다. 위성항법 통신모듈(210)은 상기 GPS위성에서 오는 전파를 수신하여 차량위치검출모듈로 전달할 수 있다.
The satellite
차량위치 검출모듈(220)은 위성항법 통신모듈(210)에서 수신된 상기 GPS위성의 전파를 기초로 차량의 절대적인 위치를 측위할 수 있고, 차량의 위치, 방향, 시각 및 항법관련정보 등을 판단할 수 있다. 상기 판단된 차량의 위치정보는 본 발명에 따른 차량의 차량의 위치 추정 장치에서 차량의 위치를 1차적으로 판단하기 위한 것일 수 있다. 상기 1차적으로 판단된 차량의 위치정보는 데이터통신모듈로 전달될 수 있다.
The vehicle
데이터 통신모듈(230)은 상기 데이터 베이스에 저장된 상기 도로교통 표지판의 정보를 제공받기 위한 통신 포트 또는 입출력 포트일 수 있다. 데이터 통신모듈(220)은 차량위치 검출모듈(220)에서 1차적으로 판단된 상기 차량의 현재 위치를 기초로 상기 차량의 현재 위치의 주변에 해당되는 상기 후보 도로교통 표지판의 정보를 연산모듈로 전달할 수 있다.The
한편, 상기 데이터베이스(300)가 내장형 저장매체에 저장된 경우에는 상기 데이터 통신모듈(230)을 통한 데이터 송수신이 필요하지 않으며 이 경우에는 차량위치 검출모듈(220)에서 1차적으로 판단된 상기 차량의 현재 위치를 기초로 상기 차량의 현재 위치의 주변에 해당되는 상기 도로교통 표지판의 정보를 내장형 데이터베이스에서 추출하여 연산모듈로 전달할 수 있다. 이때, 데이터 통신모듈(230)은 내장형 저장매체의 도로교통 표지판의 정보를 추출하는 도로교통 표지판 정보 추출 모듈일 수 있다.
When the
영상 전처리모듈(240)은 상기 촬영부에서 촬영된 영상신호를 연산모듈(260)에서 사용 가능한 영상의 추출을 위한 모듈일 수 있다. 영상 전처리모듈(240)은 상기 차량의 이동 중 획득가능한 영상신호들 중 상기 도로교통 표지판의 이미지만을 추출할 수 있다. 상기 추출된 도로교통 표지판의 이미지는 상기 저장된 도로교통 표지판의 데이터베이스와 비교 판단을 하기 위한 장치로 전달될 수 있다.
The
저장부(250)는 실제 주행시 얻을 수 있는 영상신호에 대한 기준모델을 설정할 수 있다. 상기 도로교통 표지판에 대한 상기 차량이 이동 중 촬영할 수 있는 영상신호의 도로교통 표지판의 정보는 상기 차량과의 거리, 주행속도 및 각도가 일정하지 않아 이에 관한 기준모델을 설정하여야 한다. 이는 카메라모델 및 표지판모델일 수 있다.
The
연산모듈(260)은 상기 데이터베이스에 저장된 후보 도로교통 표지판의 정보와 상기 촬영부에서 촬영된 영상신호를 비교 판단하여 유사도가 가장 높은 도로교통 표지판을 판단할 수 있다. 상기 유사도가 가장 높은 도로교통 표지판의 상기 데이터 베이스의 정보 및 인식된 도로교통 표지판의 궤적을 기초로 상기 차량의 차선에 대한 위치를 알아낼 수 있다.
The
도 4는 본 발명에 따른 차량의 차량의 위치 추정 장치의 저장부를 개략적으로 나타낸 도면이다.4 is a view schematically showing a storage unit of a vehicle position estimating apparatus for a vehicle according to the present invention.
도 4를 참조하면, 저장부(250)는 카메라모델 설정모듈(251) 및 표지판모델 설정모듈(253)을 포함할 수 있다.Referring to FIG. 4, the
카메라모델 설정모듈(251)은 영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해서 실제 도로교통 표지판이 어떻게 영상에 투영되는지 알아야 하기에 이를 미리 측정하고 설정하는 모델일 수 있다. The camera
표지판모델 설정모듈(253)은 칼만필터를 이용하여 물체의 이동을 추적할 때 먼저 대상의 상태를 정의하여야 하기에 이를 미리 설정하는 모델일 수 있다. 표지판모델 설정모듈(253)은 도로교통 표지판의 상태정의, 거리에 따른 모델링, 관측모델 및 각도에 따른 모델링을 할 수 있다.
The signboard
도 5는 본 발명에 따른 차량의 차량의 위치 추정 장치의 연산모듈을 개략적으로 나타낸 도면이다.5 is a diagram schematically showing a calculation module of an apparatus for estimating the position of a vehicle in a vehicle according to the present invention.
도 5를 참조하면, 연산모듈(260)은 특징점 추출유닛(261), 특징점 매칭유닛(262) 및 위치 판단유닛(263)을 포함할 수 있다.5, the
특징점 추출유닛(261)은 입력된 도로교통 표지판의 영상신호에서 상기 도로교통 표지판의 특징 정보를 알기 위한 특징점을 추출할 수 있다. The feature
특징점 매칭유닛(262)은 특징점 추출유닛(261)에서 추출된 영상신호와 상기 데이터베이스에 미리 저장된 도로교통 표지판의 데이터베이스를 비교 판단하여 유사도가 가장 높은 도로교통 표지판을 찾아낼 수 있다. 이는 오픈엠피(OpenMP : Open Multi-Processing)를 통해 더욱 빠르게 판단할 수 있다. 상기 오픈엠피에 대해서는 후술한다.The feature
위치 판단유닛(263)은 특징점이 매칭된 도로교통 표지판의 정보를 기초로 차량이 이동함에 따른 도로교통 표지판의 이동궤적을 알아내어 현재 주행중인 차선의 정보를 판단하여 제공할 수 있다.
The
본 발명은, 차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계, 상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계, 칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계, 상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계, 위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계, 상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계, 상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계, 상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계, 및 상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계;를 포함하는 차량의 위치 추정 방법을 제공한다.
The present invention relates to a method for detecting a road traffic sign area, comprising the steps of photographing a moving image of a vehicle and converting it into a video signal, pre-processing an image to detect a road traffic sign area of the video signal, A step of extracting feature points of the tracked road traffic sign region, a step of primarily determining a position of a vehicle using a satellite navigation system, a step of determining a position of the vehicle based on the current position of the vehicle, Searching for candidate road traffic sign information, determining signboards having the highest degree of similarity by matching minutiae points of the extracted road traffic sign area with minutiae points of the extracted candidate road traffic signboards, Analyzing the movement trajectory, and based on the analyzed movement trajectory, It provides a location estimating method of a vehicle including; determining.
이하, 도 6 내지 도 16을 참조하여 본 발명에 따른 차량의 위치 추정 방법을 보다 상세히 설명한다.
Hereinafter, a method of estimating the position of the vehicle according to the present invention will be described in more detail with reference to FIGS. 6 to 16. FIG.
도 6은 본 발명에 따른 차량의 차량의 위치 추정 방법의 동작 과정을 나타내는 흐름도이다.6 is a flowchart illustrating an operation procedure of a method of estimating a vehicle position of a vehicle according to the present invention.
도 6을 참조하면, 우선, 주행 중 촬영부(100)를 통해 촬영된 영상신호가 입력된다(S100). 예를 들어, 상기 영상신호는 주행방향 전방에 해당하는 영상일 수 있다.
Referring to FIG. 6, a video signal photographed through the photographing
다음으로, 상기 단계(S100)에서 입력된 영상신호는 도로교통 표지판의 영역만을 선택적으로 검출하기 위하여 전처리 과정을 거친다(S110). 상기 전처리과정은 전체영상 중에서 도로 윗부분의 영역을 관심영역(ROI: Region of Interest)로 설정하고 이진화 과정인 옷수 방법(Otsu's method)을 사용할 수 있다. 이에 대해 후술한다.
Next, the video signal inputted in the step S100 is subjected to a preprocessing process to selectively detect only the area of the road traffic sign (S110). The preprocessing process may use an Otsu's method, which is a binarization process, by setting an area above the road as a region of interest (ROI) of the entire image. This will be described later.
다음으로, 상기 단계(S110)에서 선택적으로 검출된 도로교통 표지판의 계속적인 추적을 위해 상기 전처리된 영상에 칼만필터를 적용한다(S120). Next, a Kalman filter is applied to the preprocessed image to continuously track the road traffic sign selectively detected in step S110 (S120).
칼만 필터는 대상 시스템의 확률적인 모델과 측정값을 이용하여 시스템의 상태변수를 찾아내는 최적 추정기법이다. 즉, 상태식에 의한 시간전파와 측정식에 의한 개선을 통하여 상태값을 추정하게 되며, 실제 상태값과 추정된 상태값의 오차 공분산을 최소화하는 알고리즘이다. 시스템이 선형이고 정규분포를 갖는 백색잡음에 의해 구동되는 칼만 필터는 최소 공분산을 갖는 편향되지 않는 최적의 추정기로 알려져 있다. 칼만필터는 추정값에 대한 확률분포를 따져서 가장 확률이 높은값을 추정값으로 선택하는 방법으로 측정값의 예측 오차로 예측값을 적절히 보정해서 최종 추정값을 계산한다. The Kalman filter is an optimal estimation method that finds the state variables of the system using probabilistic models and measured values of the target system. That is, the state value is estimated through the time propagation by the state equation and the improvement by the measurement equation, and the error covariance of the actual state value and the estimated state value is minimized. A Kalman filter whose system is linear and driven by white noise with a normal distribution is known as an unbiased unbiased estimator with a minimum covariance. The Kalman filter calculates the final estimated value by appropriately correcting the predicted value with the prediction error of the measured value by selecting the most probable value as the estimated value according to the probability distribution of the estimated value.
즉, 시스템모델을 기초로 하여 다음 시점의 상태와 오차 공분산이 어떤 값이 될 것인지를 예측한 후 측정값과 예측값의 차이를 보상하여 새로운 추정값을 계산한다. 그러면 이 추정값이 칼만 필터의 최종 결과물이 된다. 그리고 나서 이 과정을 계속적으로 반복하여 새로운 추정값을 계속하여 갱신한다.That is, based on the system model, the state of the next time point and the value of the error covariance are predicted, and a new estimated value is calculated by compensating the difference between the measured value and the predicted value. This estimate is then the final product of the Kalman filter. The process then continues to be repeated to update the new estimate continually.
상기 단계(S120)는 이러한 특징의 칼만필터를 이용하여 도로교통 표지판의 계속적인 추적을 가능하게 한다.
The step (S120) enables continuous tracking of the road traffic sign by using the Kalman filter of this feature.
다음으로, 상기 추적된 도로교통 표지판의 특징점을 추출한다(S130).Next, minutiae points of the tracked road traffic sign are extracted (S130).
상기 검출된 도로교통 표지판으로부터 차량과 도로교통 표지판과의 상대적인 위치를 구할 수 있지만 차량의 실제 위치를 알기 위해서는 도로교통 표지판에 대한 정보를 알아야 한다. 본 발명에 따른 차량의 차량의 위치 추정 방법에서는 영상의 특징점 매칭을 통하여 도로교통 표지판을 분류하고 해당하는 정보를 읽어오는데 이때, 특징점을 추출하기 위해 ORB(Oriented Fast and Rotated BRIEF)알고리즘을 사용한다.The relative position of the vehicle and the road traffic sign may be obtained from the detected road traffic sign, but it is necessary to know the information of the road traffic sign to know the actual position of the vehicle. In the method of estimating the vehicle position of the vehicle according to the present invention, an ORB (Oriented Fast and Rotated BRIEF) algorithm is used to classify the road traffic sign by the feature point matching of the image and read the corresponding information.
상기 ORB(Oriented Fast and Rotated BRIEF) 알고리즘은 방향성을 추가시킨 FAST 알고리즘으로 특징점을 추출하고, 서술자는 바이너리 기반의 BRIEF에 회전불변성을 더하였다. The ORB (Oriented Fast and Rotated BRIEF) algorithm extracts feature points with directional FAST algorithm, and the descriptor adds rotation invariance to binary - based BRIEF.
FAST코너는 영상 패치 내에서 코너 후보와 16개의 주변 픽셀간의 밝기 차이를 비교하고, 12개 이상의 픽셀이 연속적으로 밝거나 어두우면 코너로 판정한다. 하지만 이 방법만으로는 코너를 수치적으로 표현할 수 없기 때문에 Harris 코너 검출을 통해 강도가 높은 순서대로 코너를 검출한다. The FAST corner compares the brightness difference between the corner candidate and the 16 surrounding pixels within the image patch, and determines that the corner is the brightest or darkest of the 12 or more pixels continuously. However, since this method can not represent the corners numerically, Harris corner detection detects corners in the order of higher intensity.
Harris 코너 검출은 작은 윈도우를 상하좌우로 움직이며 윈도우 안의 픽셀 값의 변화를 분석하여 결정하는 방식이다.Harris corner detection is a method of moving a small window vertically and horizontally, and analyzing the change in the pixel value in the window.
ORB(Oriented Fast and Rotated BRIEF)에서는 oFAST라는 이름으로 16개 대신 9개의 주변 픽셀을 이용하고 여기에 방향성을 추가하여, [수학식 1]과 같이 패치의 모멘트 mpq와 중심 모멘트 C를 이용한다. In the ORB (Oriented Fast and Rotated BRIEF), nine adjacent pixels are used instead of 16 with the name oFAST, and directionality is added thereto, and the moment m pq and the center moment C of the patch are used as shown in Equation (1).
여기서, p, q는 x, y의 차수를 나타낸다.Here, p and q represent degrees of x and y.
코너의 중심 C와 무게중심 C의 벡터를 구성하고 [수학식 2]의 θc와 같이 방향성을 표현할 수 있다.
The vector of the center C of the corner and the center of gravity C can be constructed and the directionality can be expressed as &thetas; c in [Equation 2].
상기 [수학식 2]에서 추출된 코너들은 바이너리 스트링 기반의 BRIEF를 통해 표현된다. The corners extracted from the above equation (2) are expressed through a binary string-based BRIEF.
일반적인 BRIEF는 [수학식 3]과 같이 영상 패치 p 내에서 이진 테스트 τ을 통해 구성된다.
A typical BRIEF is constructed through a binary test < RTI ID = 0.0 > tau < / RTI >
[수학식 3]에서 n은 바이너리 스트링 길이로 256이다.In Equation (3), n is a binary string length of 256.
영상 패치에서 n번의 테스트는 미리 정해진 패턴 내에서 수행된다. ORB(Oriented Fast and Rotated BRIEF)에서는 rBRIEF라 이름 하여 앞서 구한 θc를 고려한 테스트를 수행하는데 분산과 상관도가 높은 n번의 테스트를 먼저 골라내는 방법을 적용한다.
In the image patch, n tests are performed within a predetermined pattern. The ORB (Oriented Fast and Rotated BRIEF) In a distributed correlation and to perform a test considering the previously determined by θ c la name rBRIEF also applies to the way to high n pick the first single test.
다음으로, 차량의 현재위치를 파악한다(S140). 상기 현재위치는 미리 알려진 시스템인 위성항법시스템(GPS:Global Positioning System)을 사용하여 파악할 수 있다. 상기 위성항법시스템(GPS:Global Positioning System)는 위성에서 오는 전파를 포착하여 차량의 절대적인 위치를 파악할 수 있으나 앞서 언급한 원인으로 인해 오차가 발생한다.
Next, the current position of the vehicle is recognized (S140). The current position can be determined using a Global Positioning System (GPS), which is a known system. The GPS (Global Positioning System) captures the radio wave from the satellite and can grasp the absolute position of the vehicle, but an error occurs due to the above-mentioned cause.
다음으로, 차량이 이동중 획득 가능한 도로상의 도로교통 표지판의 정보는 미리 저장되어 있다(S150). 상기 정보는 도로교통 표지판에 관한 것으로, 도로교통 표지판 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치 높이, 도로교통 표지판의 중앙 차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수일 수 있다.
Next, the information of the road traffic sign on the road that the vehicle is able to obtain while moving is stored in advance (S150). The above information relates to a road traffic sign, which includes a road traffic sign image, a feature point extracted from a road traffic sign image, an installation height of a road traffic sign, a distance of the vehicle from the center lane of the road traffic sign, It can be a lane number.
다음으로, 상기 단계(S140)에서 판단된 현재의 위치를 단계(S150)의 도로교통 표지판 데이터베이스와 비교판단하여 현재위치의 주변에 위치하는 도로교통 표지판 후보들을 선택한다(S160).
Next, the current position determined in step S140 is compared with the road traffic sign database in step S150, and the road traffic sign candidates located in the vicinity of the current location are selected in step S160.
다음으로, 상기 단계(S160)에서 선택된 도로교통 표지판 후보들 중 상기 입력된 영상신호에 대한 도로교통 표지판과 일치하는 도로교통 표지판을 확정하기 위해 특징점을 매칭시킨다(S170). 상기 특징점의 매칭은 상기 입력된 영상신호에서 추출된 특징점 및 상기 단계(S150)에 미리 저장된 도로교통 표지판의 특징점에 관한 정보를 바탕으로 이루어진다.
Next, in step S170, the minutiae are matched to determine the road traffic sign that matches the road traffic sign for the input image signal among the road traffic sign candidates selected in step S160. The matching of the minutiae is performed based on minutiae points extracted from the input video signal and minutiae points of the road traffic sign previously stored in step S150.
다음으로, 상기 단계(S100) 내지 단계(S170)에서 계속적으로 이루어진 특징점의 매칭을 통해 영상신호 내의 도로교통 표지판의 이동궤적을 분석한다(S180).
Next, the movement trajectory of the road traffic sign in the video signal is analyzed through matching of the feature points continuously performed in the steps (S100) to (S170) (S180).
마지막으로, 상기 단계(S180)에서 분석된 도로교통 표지판의 이동궤적 및 단계(S150)에 미리 저장된 도로교통 표지판의 데이터베이스를 기초로 상기 차량이 현재 주행하고 있는 차선을 판단할 수 있다(S190).
Finally, the lane on which the vehicle is currently traveling can be determined based on the movement trajectory of the road traffic sign analyzed in step S180 and the database of the road traffic sign previously stored in step S150 (S190).
도 7은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 ORB알고리즘에서 코너를 판정하는 과정을 나타낸 도면이다.FIG. 7 is a diagram illustrating a process of determining a corner in an ORB algorithm of a vehicle position estimation method according to an embodiment of the present invention.
도 7을 참조하면, 상기 단계(S130)의 ORB(Oriented Fast and Rotated BRIEF)알고리즘에서 FAST 코너는 영상의 패치(Patch) 내에서 코너후보와 16개의 주변 픽셀간의 밝기차이를 비교하고, 12개 이상의 픽셀이 연속적으로 밝거나 어두우면 코너로 판정한다.Referring to FIG. 7, in the ORB (Oriented Fast and Rotated BRIEF) algorithm in step S130, the FAST corner compares brightness differences between a corner candidate and 16 surrounding pixels in a patch of an image, If the pixels are consecutively bright or dark, a corner is determined.
패치(710)은 영상 중 코너를 판정하기 위한 패치를 나타내며 이미지(720)은 패치내부의 픽셀의 밝기차이를 비교하여 코너를 판정하는 과정을 나타낸다.
The
도 8은 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 거리에 따른 도로교통 표지판의 검출크기를 나타낸다.8 is a diagram illustrating a detected size of a road traffic sign according to a distance in an input image of a method of estimating a location of a vehicle according to an embodiment of the present invention.
도 8을 참조하면, 표지판(920)은 31m 전방, 표지판(930)은 23m 전방, 표지판(940)은 15m 전방 및 표지판(950)은 9m 전방의 실제 검출되는 표지판을 나타낸다.
Referring to FIG. 8, the
도 9는 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 조명에 따른 도로교통 표지판의 색변화를 나타낸다.FIG. 9 shows a color change of a road traffic sign according to illumination in an input image of a method of estimating a vehicle position of a vehicle according to an embodiment of the present invention.
도 9를 참조하면, 9,
실제 관측되는 도로교통 표지판은 조명(태양)의 위치 및 고도에 따라 도로교통 표지판의 생삭이 바뀔 수 있다. 이미지(910) 내지 이미지(930)은 다양한 환경에 따른 도로교통 표지판의 색상변화를 나타낸다.
Actual observed road traffic signs can change the markings of road traffic signs depending on the location and altitude of the light (sun).
도 10은 본 발명에 따른 차량의 차량의 위치 추정 방법 중 영상전처리 단계의 동작 과정을 나타내는 흐름도이다. 10 is a flowchart illustrating an operation process of the image preprocessing step in the vehicle position estimation method of the vehicle according to the present invention.
상기 도 8 및 도 9 에 의한 이유로 입력된 영상신호를 보정하여 인식하고자 하는 도로교통 표지판의 영역을 분리하는 과정이 필요하다. 이를 위한 과정은 도 10에서 설명한다.8 and 9, there is a need for a process of separating the area of the road traffic sign to be recognized by correcting the input image signal. The procedure for this is described in Fig.
도 10을 참조하면, 우선, 상기 단계(S100)에서 입력된 영상신호 중 도로 윗부분 영역을 관심영역(ROI:Region of Interest)로 설정한다(S111). 이는 입력된 영상신호 중 도로교통 표지판의 영역을 더 정확하게 검출하기 위한 과정일 수 있다.
Referring to FIG. 10, a region above the road is set as a region of interest (ROI) among the video signals input in the step S100 (S111). This may be a process for more accurately detecting the area of the road traffic sign among the input image signals.
다음으로, 상기 단계(S111)에서 도로교통 표지판의 영역을 추출하기 위한 이진화 과정을 거친다(S112). 이는 상대적으로 밝은 부분인 하늘에 해당하는 영역을 제거하여 나머지 영역에만 접근할 수 있도록 하는 단계로 옷수방법(Otsu's method)이 사용될 수 있다. Next, in step S111, a binarization process is performed to extract a road traffic sign area (S112). This is a step of removing the area corresponding to the sky, which is relatively bright, so that only the remaining area can be accessed, and the Otsu's method can be used.
옷수방법(Otsu's method)은 클래스간의 분산을 최대화시킨다는 점에서 최적의 방법일 수 있다. 두개의 클래스 C1과 C2가 있을 때 각각의 평균 밝기값을 m1, m2, 각 클래스에 속할 확률을 P1, P2 라 하면 두 클래스 간 분산 σ2 B는 [수학식 4]와 같다.The Otsu's method can be an optimal way to maximize the variance between classes. When there are two classes C 1 and C 2 , the average brightness values are m 1 , m 2 , If the probability of belonging to each class is P 1 , P 2 , then the variance σ 2 B between the two classes is as shown in [Equation 4].
상기 [수학식 4]에서 mG는 전역평균이다. In Equation (4), m G is a global average.
σ2 B가 문턱치 k 에 의해서 변한다고 할 때, σ2 B를 가장 크게 하는 값 k*를 구하는 식은 [수학식 5]와 같다.When σ 2 B is changed by the threshold value k, a formula for obtaining the value k * that maximizes σ 2 B is as shown in [Equation 5].
상기 [수학식 5]에서 L은 밝기 레벨의 최대치로 256이다.
In Equation (5), L is 256 as the maximum value of the brightness level.
다음으로, 상기 도로교통 표지판의 색상 특성을 통해 도로교통 표지판영역의 테두리를 검출한다(S113). Next, the border of the road traffic sign region is detected through the color characteristics of the road traffic sign (S113).
상기 도로교통 표지판의 색상 특성를 이용하여 사각형의 영역을 검출할 수 있다. 이때, 영상을 RGB 채널로 각각 분리시킨 후 비율관계를 이용해 도로교통 표지판 영역의 테두리를 검출하게 된다.A rectangular area can be detected using the color characteristics of the road traffic sign. At this time, the image is separated into RGB channels, and the border of the road traffic sign area is detected using the ratio relation.
상기 [수학식 6]에서 IG는 G채널에서의 픽셀 밝기, IB는 B채널에서의 픽셀 밝기, τGR, τGB는 각각 문턱치이다.
In Equation (6), I G is the pixel brightness in the G channel, I B is the pixel brightness in the B channel, and τ GR and τ GB are the threshold values, respectively.
마지막으로, 상기 단계(S113)에서 색상의 특성을 이용하여 도로교통 표지판의 영역을 분리시킨 후 사각형의 영역 내에서 중심점을 찾아내고 추적을 진행한다(S114).
Finally, in step S113, the area of the road traffic sign is separated using the color characteristic, and then the center point is found in the rectangular area and the tracking is performed (S114).
도 11은 본 발명에 따른 차량의 차량의 위치 추정 방법 중 칼만필터 적용단계의 동작 과정을 나타내는 흐름도이다.11 is a flowchart illustrating an operation procedure of a Kalman filter applying step of a method of estimating a vehicle position of a vehicle according to the present invention.
도 11을 참조하면, 우선, 실제 설치되는 카메라의 모델을 설정하여야 한다(S121).Referring to FIG. 11, first, a model of a camera to be actually installed should be set (S121).
실제 영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해서 먼저 실제 도로교통 표지판이 어떻게 영상에 투영되는지 알아야 하므로 이를 위한 카메라 모델을 설정한다. 이는 핀홀 카메라 모델을 따르며 기본 원리는 도 12를 참조하여 설명한다.
In order to understand the movement of the road traffic sign displayed on the actual image, the user first needs to know how the actual road traffic sign is projected on the image. This follows the pinhole camera model and the basic principle will be described with reference to FIG.
도 12는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 카메라의 모델을 설정단계를 설명하기 위한 도면이다.12 is a view for explaining a step of setting a model of a camera in the method of estimating a position of a vehicle according to an embodiment of the present invention.
도 12를 참조하면,12,
[수학식 7]에서 f는 초점거리, h는 투영된 물체의 높이 , D는 카메라와 물체간 거리, h는 물체의 실제높이를 의미한다.In Equation (7), f represents the focal length, h represents the height of the projected object, D represents the distance between the camera and the object, and h represents the actual height of the object.
식 (2)에서 f, H 는 미리 알고 있는 것으로 가정하고 영상 내에서 h를 측정하면 실제거리 D를 구할 수 있다.
In equation (2), f , H Is assumed to be known in advance, and the actual distance D can be obtained by measuring h in the image.
다음으로, 도로교통 표지판 이동 모델을 설정한다(S122). 상기 도로교통 표지판 이동 모델을 설정하는 과정으로는 도로교통 표지판의 상태 정의, 거리에 따른 모델링, 각도에 따른 모델링 및 관측 모델을 설정하는 과정일 수 있다.
Next, a road traffic sign movement model is set (S122). The process of setting the road traffic sign movement model may be a process of defining the state of the road traffic sign, modeling by distance, modeling by angle, and setting an observation model.
<상태정의><Status Definition>
칼만필터를 이용하여 물체의 이동을 추적할 때 먼저 대상의 상태를 정의해야한다. 도로교통 표지판의 중심점은 차량의 주행속도 및 도로교통 표지판과 차량이 이루는 각도에 의해 이동하게 되므로 [수학식 8]과 같이 상태를 정의할 수 있다.When tracking the movement of an object using a Kalman filter, the state of the object must first be defined. Since the center point of the road traffic sign is moved by the traveling speed of the vehicle and the angle between the road traffic sign and the vehicle, the state can be defined as shown in Equation (8).
상기 [수학식 8] 에서 xt, yt 는 검출된 도로교통 표지판의 중심 좌표, vt 는 차량의 속력, θt는 도로교통 표지판과 카메라의 중심이 이루는 각도를 의미한다.
In Equation (8), x t , y t Is the center coordinates of the detected road traffic sign, v t is the speed of the vehicle, and θ t is the angle formed by the road traffic sign and the center of the camera.
<거리에 따른 모델링><Modeling by Distance>
주행 중 입력되는 영상에서 표지판은 무한히 먼 거리에 있을 때 영상 내 소실점에 위치하게 되고 가까워질수록 영상의 윗부분에 표시가 된다. 차량이 도로교통 표지판과 수직을 이루면서 이동할 때의 관계를 [도 13]과 같이 나타낼 수 있으며 [수학식 9]를 만족시킨다. In a moving image, the sign is placed at the vanishing point of the image when it is infinitely far away, and the image is displayed at the top of the image as it approaches. The relationship when the vehicle moves vertically with the road traffic sign can be expressed as [FIG. 13] and satisfies (Equation 9).
[수학식 9]에서 F는 초점거리로 카메라의 렌즈의 중심PP와 영상 평면에서 소실점 위치PV의 거리라고 할 수 있다. 도로교통 표지판의 실제 높이 H는 시점에 관계없이 항상 같은 값을 가진다. 도로교통 표지판이 최대로 검출 가능한 지점을 PL이라고 하면 이때 PP와의 거리는 DL이다. 그리고 t라는 시점에서 도로교통 표지판과의 실제거리 Dt는 [수학식 9]에서와 같이 표현할 수 있고 t+1시점에서 거리 Dt + 1는 Dt에서 단위시간에 이동하게 되는 거리 vt를 빼준 것과 같다. In Equation (9), F is the distance between the center P P of the lens of the camera and the vanishing point position P V in the image plane as the focal distance. The actual height H of the road traffic sign always has the same value regardless of the point of view. Let P L be the point at which the road traffic sign can be detected at the maximum, and the distance from P P is D L. And, the actual distance D t from the road traffic sign at time t can be expressed as in [Equation 9], and the distance D t + 1 at time t + 1 is the distance v t that moves in unit time from D t It is like subtracting.
t라는 시점에서 영상에 표시되는 도로교통 표지판 중심의 높이 yt는 [수학식 10]과 같이 표현 할 수 있다.the height y t of the center of the road traffic sign displayed on the image at t is expressed by Equation (10).
단위시간이 지난 후 t +1일 때 도로교통 표지판 중심의 높이는 
(단, 
상기 [수학식 11]에서 K는 FH를 나타내고 hI는 원본 입력 영상의 높이를 의미한다. 상기 [수학식 11]에서 의미하는 바와 같이 다음 프레임에서 도로교통 표지판의 위치는 현재 속도가 증가하면 더 크게 증가하는 것을 알 수 있다.
K in the above equation 11 indicates the FH and I h denotes the height of the original input image. As shown in Equation (11), it can be seen that the position of the road traffic sign increases more when the current speed increases in the next frame.
<각도에 따른 모델링><Modeling by Angle>
각도에 따른 모델링에 대하여는 도 14 및 도 15를 참고하여 설명한다.Modeling according to angles will be described with reference to Figs. 14 and 15. Fig.
본 발명에서 제안하는 횡 방향 위치를 구하기 위해서는 도 14에서와 같이 수직적 및 횡 방향으로 거리를 유지하면서 주행하는 상태를 모델링해야 하는데 이때의 투영관계를 도 14에 나타내었다. 도로교통 표지판의 중심점은 소실점 위치로부터 도 15의 화살표 방향으로 이동하게 된다. 이때 소실점에 수직한 방향과 이루는 각도를 θ라고 하며, θ는 자차가 직선주행 한다면 한 도로교통 표지판에 대해 같은 값을 유지한다.In order to obtain the lateral position proposed in the present invention, the state of traveling while maintaining the distances in the vertical and lateral directions as shown in FIG. 14 should be modeled, and the projection relation at this time is shown in FIG. The center point of the road traffic sign moves from the vanishing point position to the arrow direction of Fig. At this time, the angle formed with the direction perpendicular to the vanishing point is θ, and θ holds the same value for a road traffic sign if the vehicle is traveling in a straight line.
영상 좌표계에서 구해지는 소실점의 좌표 PV와 도로교통 표지판 중심의 좌표 PS를 알면 영상 내에서의 횡 방향 거리 w와 높이 h를 구할 수 있고 [수학식 12]를 통해 θ를 구할 수 있다. 또한 실제 설치 높이 H를 알면 카메라 모델 관계를 이용하여 도로교통 표지판으로부터 차량의 횡 방향 거리 W를 구할 수 있다.Knowing the coordinates P V of the vanishing point obtained from the image coordinate system and the coordinates P S of the center of the road traffic sign, the lateral distance w and the height h in the image can be obtained and θ can be obtained through Equation (12). In addition, if the actual installation height H is known, the lateral distance W of the vehicle can be obtained from the road traffic sign using the camera model relation.
<표지판 관측 모델><Signs Observation Model>
도로교통 표지판을 추적하기 위해 사용되는 정보 중 관측을 통해서 얻어지는 정보는 zt로 정의하며 관측단계에서 작용할 수 있는 노이즈를 포함하고 있다고 가정한다. It is assumed that the information obtained from observations among the information used to track road traffic signs is defined as z t and includes noise that can act in the observation phase.
상기 [수학식 13]에서 h(Xt)는 관측 함수이고, qt는 관측 노이즈를 의미한다.
In Equation (13), h (X t ) is an observation function and q t means observation noise.
다음으로, 단계(S122)에 설정된 모델을 기초로 현재 입력되는 표지판의 상태를 보정한다(S123).Next, based on the model set in step S122, the state of the currently inputted signboard is corrected (S123).
상기 단계(S122) 및 단계(S123)을 계속적으로 비교하여 도로교통 표지판의 추적을 계속적으로 진행할 수 있다.
The step S122 and the step S123 may be continuously compared to continuously track the road traffic sign.
도 16은 본 발명에 따른 차량의 위치 추정 방법의 특징점 매칭단계에서 연산과정을 보여주는 흐름도이다.FIG. 16 is a flowchart showing a calculation process in the feature point matching step of the vehicle position estimation method according to the present invention.
도 16을 참조하면, 특징점은 입력되는 영상에서의 도로교통 표지판과 이미 저장되어있는 도로교통 표지판에서 각각 추출된다. 추출된 특징점은 매칭을 통해 가장 비슷한 영상을 골라내준다. 일반적인 바이너리 서술자의 매칭에서 Hamming 거리를 사용하게 된다. 하지만 단순 거리비교 만으로는 오검출의 발생이 많기 때문에 정확한 결과를 보장할 수 없다. 따라서 본 논문에서는 도 16으로 나타낸 k-최근접 이웃 기반의 테스트를 거친다.
Referring to FIG. 16, the minutiae points are extracted from the road traffic signs in the input image and the road traffic signs already stored. The extracted feature points are selected through matching. Hamming distance is used in matching of general binary descriptor. However, since only a simple distance comparison generates a lot of false positives, accurate results can not be guaranteed. Therefore, in this paper, the k-nearest neighbor based test shown in FIG. 16 is performed.
상기 특징점을 매칭하는 단계는, Wherein the step of matching the feature points comprises:
우선, 상기 단계(S130)에서 추출된 특징점 및 단계(S150)의 미리 저장된 도로교통 표지판의 데이터베이스를 기초로 케이근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정한다(S171). First, the minutiae point sets are selected by the k-nearest neighbor (k-NN) algorithm method based on the minutiae extracted in the step S130 and the database of the road traffic signs previously stored in the step S150 (S171).
상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링한다(S172). A Hamming distance is compared based on the selected set of minutiae points and filtered (S172).
상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행한다(S173).A ratio test is performed based on the filtered set of minutia points (S173).
상기 비율테스트가 수행된 특징점 집합들의 대칭성 테스트를 수행한다(S174).The symmetry test of the set of feature points on which the ratio test has been performed is performed (S174).
상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위해 란삭(RANSAC) 알고리즘을 적용한다(S175).
The RANSAC algorithm is applied to remove the ideal values of the sets of feature points that have undergone the symmetry test (S175).
도 17은 본 발명의 실시예에 따른 차량의 위치 추정 방법의 도로교통 표지판 데이터베이스를 나타내는 도면이다.17 is a diagram showing a road traffic sign database in the method for estimating the position of a vehicle according to the embodiment of the present invention.
도로표지는 도로표지규칙에 의해 계획적으로 설치된다. 설치 방법으로 단주식, 복주식, 편지식, 현수식 및 문형식 등이 있으며, 도 17은 문형식의 도로교통 표지판을 나타낸다. 문형식 도로교통 표지판의 높이는 지면으로부터 5m높이에 설치하도록 규정되어 있다.
Road signs are set up systematically by road sign rules. FIG. 17 shows the road traffic sign of the door type. FIG. The height of the street traffic sign is specified to be 5 m above the ground.
도 18은 본 발명의 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭단계를 오픈엠피(OpenMP)를 통해 수행하는 과정을 나타낸 도면이다.FIG. 18 is a diagram illustrating a process of performing a minutia matching step of a vehicle position estimation method according to an embodiment of the present invention through OpenMP.
앞서 언급한 특징점 매칭 단계(S170)는 입력된 영상신호로부터의 도로교통 표지판 후보와 데이터베이스내의 도로교통 표지판의 일대일 매칭과정이다. 그러나 일대일의 매칭을 한번 수행한다는 것은 이미 어느 도로교통 표지판인지 알고 있다는 가정이 필요하다. 따라서 본 발명에서는 GPS로부터 얻어지는 대략의 위치 정보를 통해 4개의 도로교통 표지판 후보를 선정하고 고속 주행시에도 실시간으로 처리할 수 있도록 병렬 처리를 통해 빠른 시간 내에 매칭하는 방법을 사용하였다.The feature point matching step (S170) is a one-to-one matching process between the road traffic sign candidate from the input image signal and the road traffic sign in the database. However, it is necessary to assume that one-to-one matching is already done to know which road traffic sign is already done. Accordingly, in the present invention, four road traffic sign candidates are selected from the approximate position information obtained from the GPS, and a method of quickly matching the road traffic sign candidates through parallel processing so that they can be processed in real time even when traveling at high speed is used.
본 발명에서 사용한 오픈앰피(OpenMP)는 공유 메모리 환경에서 다중 스레드 병렬 프로그램을 작성하기 위한 응용프로그램 인터페이스이다. 최근 대부분 컴파일러에 기본적으로 포함되어 있고, 프로그래밍을 쉽게 할 수 있기 때문에 널리 쓰이고 있다. 검출된 도로교통 표지판과 DB의 후보 도로교통 표지판이 스레드를 통해서 병렬적으로 매칭을 하고 가장 높은 스코어를 얻은 도로교통 표지판의 정보를 읽어오게 된다.OpenMP (OpenMP) used in the present invention is an application program interface for creating a multi-threaded parallel program in a shared memory environment. It is widely used because it is mostly included in the compiler by default and can be easily programmed. The detected road traffic signs and DB candidate road traffic signs are parallelly matched through the thread and the information of the road traffic sign which obtained the highest score is read.
표지판A(1840) 및 표지판C(1820)는 0점의 점수로 인식된 도로교통 표지판과 일치하지 않는다는 것을 알 수 있다. 또한 표지판D(1840)는 20점으로 표지판B(1830)에 비해 점수가 낮아 일치하지 않음을 보여준다.It can be seen that signs A (1840) and C (1820) do not coincide with the road traffic signs recognized as a score of zero. Also, the sign D (1840) shows 20 points and the score is lower than sign B (1830).
도 19는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 실제 도로교통 표지판이 인식되는 과정을 나타내는 도면이다.FIG. 19 is a diagram illustrating a process of recognizing an actual road traffic sign according to an embodiment of the present invention.
도 19를 참조하면, 본 발명의 실시예에 사용된 구간은 총 10개 구간이다. 각 구간을 규정 속도로 주행하면서 입력되는 영상에 대한 도로교통 표지판 검출 및 매칭을 수행하고 상대거리 및 절대거리를 계산하였다. 매칭이 성공한 도로교통 표지판은 해당하는 데이터베이스 영상을 화면에 오버레이 시키고 추정된 주행 차선도 마찬가지로 화면에 표시했다. 왼쪽 영상(1910, 1930, 1950, 1970)은 실제 주행상태와 인식된 차선을 표시하고, 오른쪽 영상(1915, 1935, 1955, 1975)에서 빨간점은 소실점이고 노란점은 인식된 도로교통 표지판의 중심점을 가리키며 매칭된 도로교통 표지판의 궤적을 나타내고 있다.
Referring to FIG. 19, the section used in the embodiment of the present invention is a total of 10 sections. We performed road traffic sign detection and matching for each input image while calculating the relative distance and absolute distance. The matching road traffic sign overlays the corresponding database image on the screen and displays the estimated driving lane on the screen as well. The
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.
100: 촬영부
200: 제어부
210: 위성항법 통신모듈
220: 차량위치 검출모듈
230: 데이터 통신모듈
240: 영상 전처리모듈
250: 저장부
251: 카메라모델 설정모듈
253: 표지판모델 설정모듈
260: 연산모듈
261: 특징점 추출유닛
262: 특징점 매칭유닛
263: 위치 판단유닛
300: 데이터베이스100:
200:
210: Satellite navigation communication module
220: Vehicle position detection module
230: Data communication module
240: Image preprocessing module
250:
251: Camera model setting module
253: Signpost model setting module
260: Operation module
261: Feature point extraction unit
262: Feature point matching unit
263: Position determining unit
300: Database
Claims (14)
도로교통 표지판을 촬영하여 영상신호를 생성하는 촬영부; 및
상기 촬영된 영상신호를 분석하고, 상기 도로교통 표지판을 칼만필터를 이용하여 추적하고, 차량과 상기 도로교통 표지판의 상대적인 궤적을 추출하여 상기 차량의 위치를 추정하는 제어부;를 포함하는 차량의 위치 추정 장치.
An apparatus for estimating a position of a vehicle based on a road traffic sign database,
A photographing unit photographing a road traffic sign to generate a video signal; And
And a controller for analyzing the photographed image signal, tracking the road traffic sign using a Kalman filter, and extracting a relative trajectory of the vehicle and the road traffic sign to estimate the position of the vehicle, Device.
상기 제어부는,
위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈;
상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈;
상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 수신하는 데이터통신모듈;
상기 생성된 영상신호 중 도로교통 표지판의 영역을 추출하기 위한 영상 전처리모듈;
이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부; 및
상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고,상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈;를 포함하는 차량의 위치 추정 장치.
The method according to claim 1,
Wherein,
A satellite navigation communication module for receiving a satellite signal of a satellite navigation system;
A vehicle position detection module for detecting a primary position of the vehicle based on the received signal;
A data communication module for receiving one or more candidate marker road traffic sign information based on the detected primary position;
An image preprocessing module for extracting a region of a road traffic sign among the generated video signals;
A storage unit in which a model actually observed based on an ideal road traffic sign is preset; And
A calculation module for extracting feature points of the extracted area of the road traffic sign and selecting the candidate road traffic sign information having the highest similarity by matching the extracted feature points with the received candidate road traffic sign information, And estimating the position of the vehicle.
상기 제어부는,
위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈;
상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈;
상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 추출하는 도로교통 표지판 정보 추출 모듈;
상기 생성된 영상신호 중 도로교통 표지판의 영역을 추출하기 위한 영상 전처리모듈;
이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부; 및
상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고, 상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈;를 포함하는 차량의 위치 추정 장치.
The method according to claim 1,
Wherein,
A satellite navigation communication module for receiving a satellite signal of a satellite navigation system;
A vehicle position detection module for detecting a primary position of the vehicle based on the received signal;
A road traffic sign information extracting module for extracting at least one candidate sign road traffic sign information based on the detected primary position;
An image preprocessing module for extracting a region of a road traffic sign among the generated video signals;
A storage unit in which a model actually observed based on an ideal road traffic sign is preset; And
A calculation module for extracting feature points of the extracted area of the road traffic sign and selecting the candidate road traffic sign information having the highest similarity by matching the extracted feature points with the received candidate road traffic sign information, And estimating the position of the vehicle.
상기 후보 도로교통 표지판 정보는,
설치된 도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보가 도로교통 표지판 데이터베이스로부터 송신되는 차량의 위치 추정 장치.
The method according to claim 2 or 3,
The candidate road traffic sign information includes:
At least any one or more of the information of the installed road traffic signs, the feature points extracted from the road traffic sign images, the installation height of the road traffic signs, the distance of the vehicle from the center lane, and information on the total number of lanes of the road where the road traffic sign is installed A device for estimating the position of a vehicle transmitted from a road traffic sign database.
상기 차량의 위치 추정 장치는,
도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보를 포함하는 데이터데이스를 더 포함하는 차량의 위치 추정 장치.
The method of claim 3,
The vehicle position estimating apparatus includes:
Information on at least one of the following: an image of a road traffic sign, minutiae extracted from a road traffic sign image, installation height of the road traffic sign, distance of the vehicle from the center lane, and information on the total number of lanes of the road on which the road traffic sign is installed And a data memory for storing the position of the vehicle.
상기 저장부는,
영상에 표시되는 도로교통 표지판의 움직임을 인식하기 위해 실제 카메라의 특성이 미리 설정된 카메라모델 설정모듈; 및
칼만필터를 이용하여 물체의 이동을 추적하기 위한 도로교통 표지판의 상태가 미리 설정된 표지판모델 설정모듈;을 포함하는 차량의 위치 추정 장치.
The method according to claim 2 or 3,
Wherein,
A camera model setting module in which a characteristic of an actual camera is preset in order to recognize a motion of a road traffic sign displayed on a video; And
And a sign board model setting module for setting a state of the road traffic signboard for tracking the movement of the object using the Kalman filter.
상기 연산모듈은,
상기 추출된 도로교통 표지판의 영역의 특징점을 추출하기 위한 특징점 추출모듈;
상기 추출된 도로교통 표지판의 영역의 특징점과 상기 후보 도로교통 표지판 정보의 특징점을 매칭시켜 유사도가 가장 높은 후보 도로교통 표지판을 선택하기 위한 특징점 매칭모듈; 및
상기 선택된 대상을 기초로 차량의 주행방향에 상대적인 궤적을 추출하여 현재 진행중인 차량의의 위치를 판단하는 위치 판단모듈;을 포함하는 차량의 위치 추정 장치.
The method according to claim 2 or 3,
The operation module includes:
A feature point extraction module for extracting feature points of the extracted area of the road traffic sign;
A feature point matching module for selecting a candidate road traffic sign having the highest degree of similarity by matching feature points of the extracted road traffic sign area with feature points of the candidate road traffic sign information; And
And a position determination module for extracting a trajectory relative to a running direction of the vehicle based on the selected object to determine a current position of the vehicle.
상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계;
칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계;
상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계;
위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계;
상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계;
상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계;
상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계; 및
상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계;를 포함하는 차량의 위치 추정 방법.
Capturing a moving image of a vehicle and converting the captured image into a video signal;
Preprocessing an image to detect a road traffic sign area of the image signal;
Tracking the detected road traffic sign area using a Kalman filter;
Extracting feature points of the traced road traffic sign region;
Determining a position of the vehicle by using a satellite navigation system;
Searching the database based on the current position of the firstly determined vehicle and extracting candidate road traffic sign information;
Determining a signpost having the highest degree of similarity by matching feature points of the extracted road traffic sign area with feature points of the extracted candidate road traffic signposts;
Analyzing a movement trajectory of the determined road traffic sign; And
And determining a current position of the vehicle on the basis of the analyzed moving trajectory.
상기 영상을 전처리하는 단계는,
상기 변환된 영상신호중 도로의 윗부분을 관심영역(ROI: Region of Interest)으로 설정하는 단계;
상기 설정된 관심영역 중 하늘에 해당하는 영역을 제거하는 이진화 단계;
상기 하늘에 해당하는 영역이 제거된 영상을 기초로 색상 특성을 기초로 도로교통 표지판의 영역을 검출하는 단계; 및
상기 검출된 도로교통 표지판의 영역 내에서 중심점을 찾아내고 추적을 진행하는 단계;를 포함하는 차량의 위치 추정 방법.
The method of claim 8,
Wherein the step of pre-
Setting an upper portion of a road in the converted video signal as a region of interest (ROI);
A binarization step of removing an area corresponding to the sky among the set interest areas;
Detecting an area of a road traffic sign based on a color characteristic based on an image in which the sky corresponding area is removed; And
And locating a center point within the area of the detected road traffic sign and proceeding with the tracking.
상기 하늘에 해당하는 영역을 제거하는 이진화 단계는,
클래스 간의 분산을 최대화시켜 상대적으로 밝은 부분을 제거할 수 있는 옷수(Otsu)방법을 적용하는 단계를 포함하는 차량의 위치 추정 방법.
The method of claim 9,
The binarization step of removing the region corresponding to the sky,
(Otsu) method capable of maximizing dispersion among classes and removing a relatively bright portion.
상기 칼만필터를 적용하는 단계는,
영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해 카메라에 실제 투영되는 카메라모델을 설정하는 단계;
상기 도로교통 표지판이 실제 상황에서 보여지는 상태를 정의하기 위한 표지판 이동모델을 설정하는 단계; 및
상기 설정된 표지판 이동모델을 기초로 전처리된 도로교통 표지판 영상을 보정하여 도로교통 표지판의 추적을 계속적으로 진행하는 단계;를 포함하는 차량의 위치 추정 방법.
The method of claim 8,
Wherein applying the Kalman filter comprises:
Setting a camera model to be actually projected on a camera in order to grasp a movement of a road traffic sign displayed on the image;
Setting a sign movement model for defining a state in which the road traffic sign is displayed in an actual situation; And
And correcting the preprocessed road traffic sign image based on the set sign movement model to continuously track the road traffic sign.
상기 표지판 이동모델을 설정하는 단계는,
검출된 도로교통 표지판의 중심좌표, 차량의 속력 및 도로교통 표지판과 카메라가 이루는 각도로 도로교통 표지판의 상태를 정의하는 단계;
영상 내의 시간에 따른 도로교통 표지판 중심의 높이를 기초로 도로교통 표지판의 거리에 따른 모델을 설정하는 단계;
영상 내의 소실점과 도로교통 표지판의 중심과의 각도를 기초로 도로교통 표지판의 각도에 따른 모델을 설정하는 단계; 및
실제 관측상황에서 발생할 수 있는 노이즈에 대한 관측모델을 설정하는 단계;를 포함하는 차량의 위치 추정 방법.
The method of claim 11,
Wherein the step of setting the sign movement model comprises:
Defining the state of the road traffic sign by the center coordinates of the detected road traffic sign, the speed of the vehicle, and the angle between the road traffic sign and the camera;
Setting a model according to the distance of the road traffic sign based on the height of the center of the road traffic sign according to the time in the image;
Setting a model according to the angle of the road traffic sign based on the angle between the vanishing point in the image and the center of the road traffic sign; And
And setting an observation model for noise that may occur in an actual observation situation.
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는,
상기 추출된 도로교통 표지판 영역의 특징점 및 상기 후보 도로교통 표지판의 특징점을 기초로 케이최근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정하는 단계;
상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링하는 단계;
상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행하는 단계;
상기 비율테스트가 수행된 특징점 집합들을 기초로 대칭성 테스트를 수행하는 단계; 및
상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위한 란삭(RANSAC) 알고리즘을 적용하는 단계;를 포함하는 차량의 위치 추정 방법.
The method of claim 8,
The step of determining a sign having the highest degree of similarity by matching the feature points comprises:
Selecting feature point sets using k-nearest neighbor (k-NN) algorithm based on feature points of the extracted road traffic sign region and feature points of the candidate road traffic sign;
Filtering and comparing a Hamming distance based on the selected set of minutiae;
Performing a ratio test based on the filtered set of minutia points;
Performing a symmetry test based on the set of minutiae on which the ratio test is performed; And
And applying a RANSAC algorithm to remove an ideal value of the sets of feature points that have undergone the symmetry test.
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는,
오픈앰피(OpenMP)를 통해 고속주행시 실시간으로 처리할 수 있는 다중 스레드 병렬처리 단계인 차량의 위치 추정 방법.
The method of claim 8,
The step of determining a sign having the highest degree of similarity by matching the feature points comprises:
A method for estimating a position of a vehicle, which is a multi-thread parallel processing step capable of real-time processing at high speed running through OpenMP.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130130211A KR101569919B1 (en) | 2013-10-30 | 2013-10-30 | Apparatus and method for estimating the location of the vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130130211A KR101569919B1 (en) | 2013-10-30 | 2013-10-30 | Apparatus and method for estimating the location of the vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150049529A true KR20150049529A (en) | 2015-05-08 |
| KR101569919B1 KR101569919B1 (en) | 2015-11-17 |
Family
ID=53387603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130130211A KR101569919B1 (en) | 2013-10-30 | 2013-10-30 | Apparatus and method for estimating the location of the vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101569919B1 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101659251B1 (en) * | 2016-04-19 | 2016-09-23 | 현대건설주식회사 | Discernment system for driving lane data or road information and discernment method using the same |
| US9805277B2 (en) | 2015-04-29 | 2017-10-31 | Mando Corporation | Apparatus and method for detecting bar-type traffic sign in traffic sign recognition system |
| CN108051836A (en) * | 2017-11-02 | 2018-05-18 | 中兴通讯股份有限公司 | A kind of localization method, device, server and system |
| KR20180068483A (en) * | 2016-12-14 | 2018-06-22 | 현대자동차주식회사 | System and method for building a location information database of road sign, apparatus and method for estimating location of vehicle using the same |
| US10430459B2 (en) | 2016-01-11 | 2019-10-01 | Electronics And Telecommunications Research Institute | Server and method for providing city street search service |
| US10788830B2 (en) | 2017-07-28 | 2020-09-29 | Qualcomm Incorporated | Systems and methods for determining a vehicle position |
| KR20210050781A (en) * | 2019-10-29 | 2021-05-10 | 경상국립대학교산학협력단 | Method for estimating a location based on image frame and electronic device |
| US11244177B2 (en) | 2018-12-12 | 2022-02-08 | Here Global B.V. | Methods and systems for roadwork zone identification |
| US11341845B2 (en) | 2018-12-12 | 2022-05-24 | Here Global B.V. | Methods and systems for roadwork zone identification |
| KR20220162458A (en) * | 2021-06-01 | 2022-12-08 | 파킹클라우드 주식회사 | Method and computer program for providing parking location service to vehicle user based on vision analysis |
| KR102618951B1 (en) * | 2023-06-20 | 2023-12-29 | 주식회사 모빌테크 | Method for visual mapping, and computer program recorded on record-medium for executing method therefor |
| CN115131426B (en) * | 2022-07-28 | 2024-03-22 | 苏州轻棹科技有限公司 | Processing method for estimating center point of rear axle of vehicle |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101959831B1 (en) * | 2017-09-26 | 2019-03-19 | 아주대학교산학협력단 | Apparatus and method for image recognition processing |
| KR102176834B1 (en) * | 2019-01-23 | 2020-11-10 | 국민대학교산학협력단 | Environment feature based position recognition apparatus and method for autonomous vehicles |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100312427B1 (en) * | 1999-12-23 | 2001-11-03 | 오길록 | Method and device for tracking robust object from video images using template and kalman filter |
| KR100963795B1 (en) | 2008-02-28 | 2010-06-24 | 연세대학교 산학협력단 | Apparatus and method for tracking position of object |
| KR101108431B1 (en) * | 2009-10-19 | 2012-01-31 | 한국과학기술원 | System and method of detecting data races in OpenMP program, and recording medium storing the method thereon |
-
2013
- 2013-10-30 KR KR1020130130211A patent/KR101569919B1/en active IP Right Grant
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9805277B2 (en) | 2015-04-29 | 2017-10-31 | Mando Corporation | Apparatus and method for detecting bar-type traffic sign in traffic sign recognition system |
| US10430459B2 (en) | 2016-01-11 | 2019-10-01 | Electronics And Telecommunications Research Institute | Server and method for providing city street search service |
| KR101659251B1 (en) * | 2016-04-19 | 2016-09-23 | 현대건설주식회사 | Discernment system for driving lane data or road information and discernment method using the same |
| KR20180068483A (en) * | 2016-12-14 | 2018-06-22 | 현대자동차주식회사 | System and method for building a location information database of road sign, apparatus and method for estimating location of vehicle using the same |
| US10788830B2 (en) | 2017-07-28 | 2020-09-29 | Qualcomm Incorporated | Systems and methods for determining a vehicle position |
| CN108051836A (en) * | 2017-11-02 | 2018-05-18 | 中兴通讯股份有限公司 | A kind of localization method, device, server and system |
| US11244177B2 (en) | 2018-12-12 | 2022-02-08 | Here Global B.V. | Methods and systems for roadwork zone identification |
| US11341845B2 (en) | 2018-12-12 | 2022-05-24 | Here Global B.V. | Methods and systems for roadwork zone identification |
| KR20210050781A (en) * | 2019-10-29 | 2021-05-10 | 경상국립대학교산학협력단 | Method for estimating a location based on image frame and electronic device |
| KR20220162458A (en) * | 2021-06-01 | 2022-12-08 | 파킹클라우드 주식회사 | Method and computer program for providing parking location service to vehicle user based on vision analysis |
| CN115131426B (en) * | 2022-07-28 | 2024-03-22 | 苏州轻棹科技有限公司 | Processing method for estimating center point of rear axle of vehicle |
| KR102618951B1 (en) * | 2023-06-20 | 2023-12-29 | 주식회사 모빌테크 | Method for visual mapping, and computer program recorded on record-medium for executing method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101569919B1 (en) | 2015-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101569919B1 (en) | Apparatus and method for estimating the location of the vehicle | |
| Miura et al. | An active vision system for on-line traffic sign recognition | |
| Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
| US20200041284A1 (en) | Map road marking and road quality collecting apparatus and method based on adas system | |
| US9292750B2 (en) | Method and apparatus for detecting traffic monitoring video | |
| US8379926B2 (en) | Vision based real time traffic monitoring | |
| US8611585B2 (en) | Clear path detection using patch approach | |
| US8634593B2 (en) | Pixel-based texture-less clear path detection | |
| Nguyen et al. | Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system | |
| US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
| KR20160062880A (en) | road traffic information management system for g using camera and radar | |
| JP2009064410A (en) | Method for detecting moving objects in blind spot of vehicle and blind spot detection device | |
| CN104378582A (en) | Intelligent video analysis system and method based on PTZ video camera cruising | |
| CN103824070A (en) | Rapid pedestrian detection method based on computer vision | |
| Meissner et al. | Intersection-based road user tracking using a classifying multiple-model PHD filter | |
| CN108645375B (en) | Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system | |
| CN107909012B (en) | Real-time vehicle tracking detection method and device based on disparity map | |
| KR101035761B1 (en) | Method of processing image for recognizing a lane and the system thereof | |
| Panev et al. | Road curb detection and localization with monocular forward-view vehicle camera | |
| CN111738033B (en) | Vehicle driving information determination method and device based on plane segmentation and vehicle-mounted terminal | |
| Lim et al. | Lane detection and Kalman-based linear-parabolic lane tracking | |
| JP2005217883A (en) | Method for detecting flat road area and obstacle by using stereo image | |
| Yoneda et al. | Simultaneous state recognition for multiple traffic signals on urban road | |
| FAN et al. | Robust lane detection and tracking based on machine vision | |
| JP2002175534A (en) | Method for detecting road white line |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180823 Year of fee payment: 4 |