KR101569919B1 - 차량의 위치 추정 장치 및 방법 - Google Patents
차량의 위치 추정 장치 및 방법 Download PDFInfo
- Publication number
- KR101569919B1 KR101569919B1 KR1020130130211A KR20130130211A KR101569919B1 KR 101569919 B1 KR101569919 B1 KR 101569919B1 KR 1020130130211 A KR1020130130211 A KR 1020130130211A KR 20130130211 A KR20130130211 A KR 20130130211A KR 101569919 B1 KR101569919 B1 KR 101569919B1
- Authority
- KR
- South Korea
- Prior art keywords
- road traffic
- traffic sign
- vehicle
- feature points
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
도로교통 표지판을 촬영하여 영상신호를 생성하는 촬영부 및 상기 촬영된 영상신호를 분석하고, 상기 도로교통 표지판을 칼만필터를 이용하여 추적하고, 차량과 상기 도로교통 표지판의 상대적인 궤적을 추출하여 상기 차량의 위치를 추정하는 제어부를 포함하고,
차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계, 상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계, 칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계, 상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계, 위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계, 상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계, 상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계, 상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계 및 상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계를 포함하는 차량의 위치 추정 장치 및 방법.
차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계, 상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계, 칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계, 상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계, 위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계, 상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계, 상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계, 상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계 및 상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계를 포함하는 차량의 위치 추정 장치 및 방법.
Description
본 발명은 차량의 위치 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는 1차적으로 위성항법시스템을 이용하여 위치를 판단하고, 2차적으로 도로 주행중 발견할 수 있는 도로표지판을 인식하여 미리 저장된 도로표지판 데이터베이스와 비교하여 현재 주행중인 차선을 판단할 수 있는 장치 및 방법에 관한 것이다.
최근 자동차 분야에서 IT기술을 융합한 지능형안전기술 연구가 활발하게 진행되고 있다. 이러한 기술은 주로 운전자 보조 시스템에 초점이 맞춰져 있으며 차선 이탈 경보나 주차 지원 시스템은 이미 상용화되어 있다. 또한 운전자의 편의성을 위해 GPS(Global Positioning System)를 이용한 위치 기반 서비스(local based service)를 제공하기도 한다.
신뢰도가 높은 DGPS(Differential Global Positioning System)를 이용하면 정밀한 위치를 알아낼 수 있으나 일반적으로 사용되는 GPS(Global Positioning System)는 정밀한 위치를 알려주지 못하며 특히 주행 중인 차량의 횡 방향 위치를 제공할 수 없다는 단점이 있다. 비전 센서로 위치 인식에 주로 사용되는 스테레오 카메라는 고가의 장비로 상용화하기 어렵다. 단안카메라를 이용하여 차선인식을 수행한 방법이 연구되었지만 현재 주행 중인 차선이 몇 차선인지 알려주기 위해서 도로 내 차선을 모두 인식해야 하며 대부분 다른 차량에 의해 가려지므로 어렵기는 마찬가지이다.
카메라 영상에서 검출되는 도로표지판을 이용하면 차량과 도로표지판의 상대적인 위치를 구할 수 있다. 표지판의 인식과 관련된 연구로 검출, 특징점, 분류에 대한 다양한 방법들이 조사되어 있고, 표지판 네 꼭지점의 사영변환으로 구해진 호모그래피를 통해 차량과의 거리를 구하는 방법에 대해 해외와 국내에서 모두 소개되었다. FFT(Fast Fourier Transform)를 이용한 표지판 인식과 다양한 조명 환경에서의 표지판 색 변화에 대한 연구도 진행되었다. 이미 개발된 여러 가지 주행지원 시스템의 검증을 위해서 또한 도로시설물의 관리를 위해서 실 도로의 영상DB(Data Base)를 구축하는 방법에 대한 연구에 기반하여 도로표지판의 실제 위치 정보를 알고 있으면 차량의 상대적인 위치와 더불어 절대적인 위치도 계산할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 변하는 외부 환경에 적응적인 이진화 방법으로 표지판을 검출하고자 함에 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는 칼만 필터를 이용하여 이동하는 표지판을 추적하고 핀홀 카메라 모델을 사용하여 표지판과 자차의 상대 거리를 계산하고, 특징점 매칭으로 표지판 DB로부터 표지판의 정보를 불러와서 차량의 실제 위치를 표시하고 주행 차선을 인식함에 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 병렬 처리 기술을 활용하여 고속 주행 시에도 실시간으로 수행할 수 있는 처리속도를 제공함에 있다.
도로교통 표지판 데이터베이스를 기초로 차량의 위치를 추정하는 차량의 위치 추정 장치 장치에 있어서, 도로교통 표지판을 촬영하여 영상신호를 생성하는 촬영부 및 상기 촬영된 영상신호를 분석하고, 상기 도로교통 표지판을 칼만필터를 이용하여 추적하고, 차량과 상기 도로교통 표지판의 상대적인 궤적을 추출하여 상기 차량의 위치를 추정하는 제어부를 포함할 수 있다.
상기 제어부는, 위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈, 상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈, 상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 수신하는 데이터통신모듈, 상기 생성된 영상신호 중 도로교통 표지판의 영역을 추출하기 위한 영상 전처리모듈, 이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부 및 상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고, 상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈를 포함할 수 있다.
상기 제어부는, 위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈, 상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈, 상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 추출하는 도로교통 표지판 정보 추출 모듈, 상기 생성된 영상신호 중 도로교통 표지판의 영역을 추출하기 위한 영상 전처리모듈, 이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부 및 상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고, 상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈을 포함할 수 있다.
상기 후보 도로교통 표지판 정보는, 설치된 도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보가 도로교통 표지판 데이터베이스로부터 송신될 수 있다.
상기 차량의 위치 추정 장치는, 도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보를 포함하는 데이터데이스를 더 포함할 수 있다.
상기 저장부는, 영상에 표시되는 도로교통 표지판의 움직임을 인식하기 위해 실제 카메라의 특성이 미리 설정된 카메라모델 설정모듈 및 칼만필터를 이용하여 물체의 이동을 추적하기 위한 도로교통 표지판의 상태가 미리 설정된 표지판모델 설정모듈을 포함할 수 있다.
상기 연산모듈은, 상기 추출된 도로교통 표지판의 영역의 특징점을 추출하기 위한 특징점 추출모듈, 상기 추출된 도로교통 표지판의 영역의 특징점과 상기 후보 도로교통 표지판 정보의 특징점을 매칭시켜 유사도가 가장 높은 후보 도로교통 표지판을 선택하기 위한 특징점 매칭모듈 및 상기 선택된 대상을 기초로 차량의 주행방향에 상대적인 궤적을 추출하여 현재 진행중인 차량의의 위치를 판단하는 위치 판단모듈을 포함할 수 있다.
차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계, 상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계, 칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계, 상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계, 위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계, 상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계, 상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계, 상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계 및 상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계를 포함할 수 있다.
상기 영상을 전처리하는 단계는, 상기 변환된 영상신호중 도로의 윗부분을 관심영역(ROI: Region of Interest)으로 설정하는 단계, 상기 설정된 관심영역 중 하늘에 해당하는 영역을 제거하는 이진화 단계, 상기 하늘에 해당하는 영역이 제거된 영상을 기초로 색상 특성을 기초로 도로교통 표지판의 영역을 검출하는 단계 및 상기 검출된 도로교통 표지판의 영역 내에서 중심점을 찾아내고 추적을 진행하는 단계를 포함할 수 있다.
상기 하늘에 해당하는 영역을 제거하는 이진화 단계는, 클래스 간의 분산을 최대화시켜 상대적으로 밝은 부분을 제거할 수 있는 옷수(Otsu)방법을 적용하는 단계를 포함할 수 있다.
상기 칼만필터를 적용하는 단계는, 영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해 카메라에 실제 투영되는 카메라모델을 설정하는 단계, 상기 도로교통 표지판이 실제 상황에서 보여지는 상태를 정의하기 위한 표지판 이동모델을 설정하는 단계 및 상기 설정된 표지판 이동모델을 기초로 전처리된 도로교통 표지판 영상을 보정하여 도로교통 표지판의 추적을 계속적으로 진행하는 단계를 포함할 수 있다.
상기 표지판 이동모델을 설정하는 단계는, 검출된 도로교통 표지판의 중심좌표, 차량의 속력 및 도로교통 표지판과 카메라가 이루는 각도로 도로교통 표지판의 상태를 정의하는 단계, 영상 내의 시간에 따른 도로교통 표지판 중심의 높이를 기초로 도로교통 표지판의 거리에 따른 모델을 설정하는 단계, 영상 내의 소실점과 도로교통 표지판의 중심과의 각도를 기초로 도로교통 표지판의 각도에 따른 모델을 설정하는 단계 및 실제 관측상황에서 발생할 수 있는 노이즈에 대한 관측모델을 설정하는 단계를 포함할 수 있다.
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는, 상기 추출된 도로교통 표지판 영역의 특징점 및 상기 후보도로교통 표지판의 특징점을 기초로 케이최근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정하는 단계, 상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링하는 단계, 상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행하는 단계, 상기 비율테스트가 수행된 특징점 집합들을 기초로 대칭성 테스트를 수행하는 단계 및 상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위한 란삭(RANSAC) 알고리즘을 적용하는 단계를 포함할 수 있다.
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는, 오픈앰피(OpenMP)를 통해 고속주행시 실시간으로 처리할 수 있는 다중 스레드 병렬처리 단계일 수 있다.
본 발명의 실시형태에 따른 차량의 위치 추정 장치 및 방법에 의하면, 주행 중 카메라(예를 들어, 단안카메라)로 들어오는 영상에서 환경에 적응적인 이진화 방법으로 배경과 분리시키고 표지판의 색정보를 이용하여 표지판 영역을 검출할 수 있다.
검출된 표지판의 중심좌표는 차량의 주행 속도와 관련지어 이동하기 때문에 칼만필터를 이용하여 추적하고, 표지판에서 특징점을 추출하여 도로표지판 데이터베이스 내에서 추출된 특징점과 매칭할 수 있다.
특징점 매칭에 성공하면 해당 표지판의 정보를 읽어오고, 표지판 중심좌표의 궤적을 이용한 거리정보와 결합하여 차량의 횡 방향 위치와 더불어 주행 중인 차선 정보를 알아낼 수 있다.
또한, 고속 주행에도 실시간으로 차량의 위치와 주행중인 차선정보를 정확하게 알아낼 수 있다.
도 1(a) 내지 도 1(c)는 GPS(Global Positioning System)항법에 의한 절대위치 정보를 통해 차량의 위치를 검출함에 있어 오차 발생예를 도시한다.
도 2는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 제어부를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 저장부를 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 연산모듈을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법의 동작 과정을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 ORB알고리즘에서 코너를 판정하는 과정을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 거리에 따른 표지판의 검출크기를 나타낸다.
도 9는 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 조명에 따른 표지판의 색변화를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법 중 영상전처리 단계의 동작 과정을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법 중 칼만필터 적용단계의 동작 과정을 나타내는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 카메라의 모델의 설정단계를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 거리에 따른 표지판 모델을 나타내는 도면이다
도 14는 본 발명의 일 실시예에 따른 따른 차량의 위치 추정 방법의 각도에 따른 표지판 모델을 나타내는 도면이다
도 15는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 소실점과 표지판의 중심점의 관계를 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭 단계의 연산과정을 보여주는 흐름도이다.
도 17은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법에 사용되는 도로교통 표지판의 일 실시예를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭단계를 오픈엠피(OpenMP)를 통해 수행하는 과정을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 실제 표지판이 인식되는 과정을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 제어부를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 저장부를 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 장치의 연산모듈을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법의 동작 과정을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 ORB알고리즘에서 코너를 판정하는 과정을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 거리에 따른 표지판의 검출크기를 나타낸다.
도 9는 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 조명에 따른 표지판의 색변화를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법 중 영상전처리 단계의 동작 과정을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 차량의 차량의 위치 추정 방법 중 칼만필터 적용단계의 동작 과정을 나타내는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 카메라의 모델의 설정단계를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 거리에 따른 표지판 모델을 나타내는 도면이다
도 14는 본 발명의 일 실시예에 따른 따른 차량의 위치 추정 방법의 각도에 따른 표지판 모델을 나타내는 도면이다
도 15는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 소실점과 표지판의 중심점의 관계를 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭 단계의 연산과정을 보여주는 흐름도이다.
도 17은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법에 사용되는 도로교통 표지판의 일 실시예를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭단계를 오픈엠피(OpenMP)를 통해 수행하는 과정을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 실제 표지판이 인식되는 과정을 나타내는 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 차량의 위치 추정 장치 및 방법에 대해 상세하게 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈"은 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈"은 컴퓨터상에서 실행 가능한 프로그램, 애플리케이션, 컴퓨터상에서 실행 가능한 명령어의 집합을 의미할 수 있다.
이하의 설명에서 "일치"한다는 것은 100% 동일한 경우뿐만 아니라, 유사도가 가장 높은 경우를 포함하는 것으로 정의한다.
도 1 (a),(b)는 GPS(Global Positioning System)항법에 의한 절대위치 정보를 통해 차량의 위치를 검출함에 있어 오차 발생예를 도시한다.
GPS(Global Positioning System)는 위성에서 오는 전파를 포착함으로써, 24시간 세계 속에서 절대 좌표를 얻을 수 있는 가장 효과적인 위치검출 항법이지만, 터널이나 고층빌딩 아래, 고가도로 아래와 같이 전파 수신조건이 나쁜 환경에서는 오차가 크게 벌어져 믿을 수 없는 문제가 있다.
예를 들어, 도 1 (a)에 도시된 것과 같은 2만 Km 상공에 떠있는 위성으로부터 나온 전파가 지상에 도달하면서 발생하는 굴절에 의한 오차이다.
이러한 굴절에 의한 오차가 발생하지 않는 경우라도 도 1(b)에 도시된 것과 같은 건물에 의한 반사파(multi path)로 인하여 오차가 발생할 수 있다. 이 외에도 GPS(Global Positioning System)위성과 GPS(Global Positioning System)수신기의 시간차이로 인한 오차, 수신기의 중심변동으로 인한 오차 및 수신기의 노이즈에 의한 오차가 발생할 수 있다.
또한, 도 1(c)에 도시된 것과 같이 GPS(Global Positioning System)위성이 서로 가까이에 있어 생기는 기하학적 오차로 위성이 서로 가까이에 있을 경우 멀리 떨어져 있을 경우보다 인식 되어지는 범위가 넓어져 오차가 발생할 수 있다.
따라서, GPS(Global Positioning System)에 의존하여서는 차량의 위치를 정확하게 판별할 수 없다. 이를 해결하기 위해 본 발명자들은 아래와 같은 차량의 위치 추정장치 및 방법을 제안한다
도 2는 본 발명에 따른 차량의 위치 추정 장치의 구성을 개략적으로 나타낸 도면이다.
도 2를 참고하면, 차량의 위치 추정 장치는 촬영부(100), 제어부(200) 및 데이터베이스(300)를 포함할 수 있다.
촬영부(100)는 이동가능한 차량의 소정의 위치에 부착되어 차량의 이동방향을 촬영할 수 있다. 예를 들어, 차량의 윈드 실드(Wind Shield)에 부착되어 차량의 이동방향 전면을 촬영할 수 있다. 촬영부(100)는 CCD(Charge Coupled Device) 모듈이나 CMOS(Complementary Metal Oxide Semiconductor) 모듈 중 어느 하나를 포함한 촬영장치이다. 촬영부(100)에 입력된 영상은 디지털 신호인 영상신호로 변환되어 제어부(200)에 전달된다.
제어부(200)는 GPS위성(10)에서 송출하는 전파를 수신해서 차량의 절대적인 위치를 측위할 수 있고, 차량의 위치, 방향, 시각 및 항법관련정보 등을 판단할 수 있다. 또한, 제어부(200)는 GPS 위성(10)을 통해 현재 이동하는 차량의 위치를 1차적으로 판단할 수 있고, 촬영부(100)에서 촬영된 영상신호를 기초로 이동하는 차량의 위치를 2차적으로 판단할 수 있다.
데이터베이스(300)는 촬영부(100)의 영상신호로부터 제어부(200)가 차량의 위치를 2차적으로 판단하기 위한 표지판의 정보가 저장되어 있을 수 있다. 데이터베이스(300)에 저장된 도로교통 표지판의 정보는 도로교통 표지판 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치 높이, 중앙차선으로부터 횡 방향 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들 중 적어도 어느 하나일 수 있다. 데이터베이스(300)는 서버에 저장되어 통신수단을 통해 제어부(200)에 제공되거나, 본 발명의 장치에 내장된 저장매체에 저장되어 제어부(200)에 제공될 수 있다.
도 3은 본 발명에 따른 차량의 차량의 위치 추정 장치의 제어부를 개략적으로 나타낸 도면이다.
도 3을 참조하면, 제어부(200)는 위성항법 통신모듈(210), 차량위치 검출모듈(220), 데이터 통신모듈(230), 영상 전처리모듈(240), 저장부(250) 및 연산모듈(260)을 포함할 수 있다.
위성항법 통신모듈(210)은 상기 차량의 위치를 1차적으로 판단하기 위해 GPS위성에서 오는 전파를 수신하기 위한 모듈일 수 있다. 위성항법 통신모듈(210)은 상기 GPS위성에서 오는 전파를 수신하여 차량위치검출모듈로 전달할 수 있다.
차량위치 검출모듈(220)은 위성항법 통신모듈(210)에서 수신된 상기 GPS위성의 전파를 기초로 차량의 절대적인 위치를 측위할 수 있고, 차량의 위치, 방향, 시각 및 항법관련정보 등을 판단할 수 있다. 상기 판단된 차량의 위치정보는 본 발명에 따른 차량의 차량의 위치 추정 장치에서 차량의 위치를 1차적으로 판단하기 위한 것일 수 있다. 상기 1차적으로 판단된 차량의 위치정보는 데이터통신모듈로 전달될 수 있다.
데이터 통신모듈(230)은 상기 데이터 베이스에 저장된 상기 도로교통 표지판의 정보를 제공받기 위한 통신 포트 또는 입출력 포트일 수 있다. 데이터 통신모듈(220)은 차량위치 검출모듈(220)에서 1차적으로 판단된 상기 차량의 현재 위치를 기초로 상기 차량의 현재 위치의 주변에 해당되는 상기 후보 도로교통 표지판의 정보를 연산모듈로 전달할 수 있다.
한편, 상기 데이터베이스(300)가 내장형 저장매체에 저장된 경우에는 상기 데이터 통신모듈(230)을 통한 데이터 송수신이 필요하지 않으며 이 경우에는 차량위치 검출모듈(220)에서 1차적으로 판단된 상기 차량의 현재 위치를 기초로 상기 차량의 현재 위치의 주변에 해당되는 상기 도로교통 표지판의 정보를 내장형 데이터베이스에서 추출하여 연산모듈로 전달할 수 있다. 이때, 데이터 통신모듈(230)은 내장형 저장매체의 도로교통 표지판의 정보를 추출하는 도로교통 표지판 정보 추출 모듈일 수 있다.
영상 전처리모듈(240)은 상기 촬영부에서 촬영된 영상신호를 연산모듈(260)에서 사용 가능한 영상의 추출을 위한 모듈일 수 있다. 영상 전처리모듈(240)은 상기 차량의 이동 중 획득가능한 영상신호들 중 상기 도로교통 표지판의 이미지만을 추출할 수 있다. 상기 추출된 도로교통 표지판의 이미지는 상기 저장된 도로교통 표지판의 데이터베이스와 비교 판단을 하기 위한 장치로 전달될 수 있다.
저장부(250)는 실제 주행시 얻을 수 있는 영상신호에 대한 기준모델을 설정할 수 있다. 상기 도로교통 표지판에 대한 상기 차량이 이동 중 촬영할 수 있는 영상신호의 도로교통 표지판의 정보는 상기 차량과의 거리, 주행속도 및 각도가 일정하지 않아 이에 관한 기준모델을 설정하여야 한다. 이는 카메라모델 및 표지판모델일 수 있다.
연산모듈(260)은 상기 데이터베이스에 저장된 후보 도로교통 표지판의 정보와 상기 촬영부에서 촬영된 영상신호를 비교 판단하여 유사도가 가장 높은 도로교통 표지판을 판단할 수 있다. 상기 유사도가 가장 높은 도로교통 표지판의 상기 데이터 베이스의 정보 및 인식된 도로교통 표지판의 궤적을 기초로 상기 차량의 차선에 대한 위치를 알아낼 수 있다.
도 4는 본 발명에 따른 차량의 차량의 위치 추정 장치의 저장부를 개략적으로 나타낸 도면이다.
도 4를 참조하면, 저장부(250)는 카메라모델 설정모듈(251) 및 표지판모델 설정모듈(253)을 포함할 수 있다.
카메라모델 설정모듈(251)은 영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해서 실제 도로교통 표지판이 어떻게 영상에 투영되는지 알아야 하기에 이를 미리 측정하고 설정하는 모델일 수 있다.
표지판모델 설정모듈(253)은 칼만필터를 이용하여 물체의 이동을 추적할 때 먼저 대상의 상태를 정의하여야 하기에 이를 미리 설정하는 모델일 수 있다. 표지판모델 설정모듈(253)은 도로교통 표지판의 상태정의, 거리에 따른 모델링, 관측모델 및 각도에 따른 모델링을 할 수 있다.
도 5는 본 발명에 따른 차량의 차량의 위치 추정 장치의 연산모듈을 개략적으로 나타낸 도면이다.
도 5를 참조하면, 연산모듈(260)은 특징점 추출유닛(261), 특징점 매칭유닛(262) 및 위치 판단유닛(263)을 포함할 수 있다.
특징점 추출유닛(261)은 입력된 도로교통 표지판의 영상신호에서 상기 도로교통 표지판의 특징 정보를 알기 위한 특징점을 추출할 수 있다.
특징점 매칭유닛(262)은 특징점 추출유닛(261)에서 추출된 영상신호와 상기 데이터베이스에 미리 저장된 도로교통 표지판의 데이터베이스를 비교 판단하여 유사도가 가장 높은 도로교통 표지판을 찾아낼 수 있다. 이는 오픈엠피(OpenMP : Open Multi-Processing)를 통해 더욱 빠르게 판단할 수 있다. 상기 오픈엠피에 대해서는 후술한다.
위치 판단유닛(263)은 특징점이 매칭된 도로교통 표지판의 정보를 기초로 차량이 이동함에 따른 도로교통 표지판의 이동궤적을 알아내어 현재 주행중인 차선의 정보를 판단하여 제공할 수 있다.
본 발명은, 차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계, 상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계, 칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계, 상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계, 위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계, 상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계, 상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계, 상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계, 및 상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계;를 포함하는 차량의 위치 추정 방법을 제공한다.
이하, 도 6 내지 도 16을 참조하여 본 발명에 따른 차량의 위치 추정 방법을 보다 상세히 설명한다.
도 6은 본 발명에 따른 차량의 차량의 위치 추정 방법의 동작 과정을 나타내는 흐름도이다.
도 6을 참조하면, 우선, 주행 중 촬영부(100)를 통해 촬영된 영상신호가 입력된다(S100). 예를 들어, 상기 영상신호는 주행방향 전방에 해당하는 영상일 수 있다.
다음으로, 상기 단계(S100)에서 입력된 영상신호는 도로교통 표지판의 영역만을 선택적으로 검출하기 위하여 전처리 과정을 거친다(S110). 상기 전처리과정은 전체영상 중에서 도로 윗부분의 영역을 관심영역(ROI: Region of Interest)로 설정하고 이진화 과정인 옷수 방법(Otsu's method)을 사용할 수 있다. 이에 대해 후술한다.
다음으로, 상기 단계(S110)에서 선택적으로 검출된 도로교통 표지판의 계속적인 추적을 위해 상기 전처리된 영상에 칼만필터를 적용한다(S120).
칼만 필터는 대상 시스템의 확률적인 모델과 측정값을 이용하여 시스템의 상태변수를 찾아내는 최적 추정기법이다. 즉, 상태식에 의한 시간전파와 측정식에 의한 개선을 통하여 상태값을 추정하게 되며, 실제 상태값과 추정된 상태값의 오차 공분산을 최소화하는 알고리즘이다. 시스템이 선형이고 정규분포를 갖는 백색잡음에 의해 구동되는 칼만 필터는 최소 공분산을 갖는 편향되지 않는 최적의 추정기로 알려져 있다. 칼만필터는 추정값에 대한 확률분포를 따져서 가장 확률이 높은값을 추정값으로 선택하는 방법으로 측정값의 예측 오차로 예측값을 적절히 보정해서 최종 추정값을 계산한다.
즉, 시스템모델을 기초로 하여 다음 시점의 상태와 오차 공분산이 어떤 값이 될 것인지를 예측한 후 측정값과 예측값의 차이를 보상하여 새로운 추정값을 계산한다. 그러면 이 추정값이 칼만 필터의 최종 결과물이 된다. 그리고 나서 이 과정을 계속적으로 반복하여 새로운 추정값을 계속하여 갱신한다.
상기 단계(S120)는 이러한 특징의 칼만필터를 이용하여 도로교통 표지판의 계속적인 추적을 가능하게 한다.
다음으로, 상기 추적된 도로교통 표지판의 특징점을 추출한다(S130).
상기 검출된 도로교통 표지판으로부터 차량과 도로교통 표지판과의 상대적인 위치를 구할 수 있지만 차량의 실제 위치를 알기 위해서는 도로교통 표지판에 대한 정보를 알아야 한다. 본 발명에 따른 차량의 차량의 위치 추정 방법에서는 영상의 특징점 매칭을 통하여 도로교통 표지판을 분류하고 해당하는 정보를 읽어오는데 이때, 특징점을 추출하기 위해 ORB(Oriented Fast and Rotated BRIEF)알고리즘을 사용한다.
상기 ORB(Oriented Fast and Rotated BRIEF) 알고리즘은 방향성을 추가시킨 FAST 알고리즘으로 특징점을 추출하고, 서술자는 바이너리 기반의 BRIEF에 회전불변성을 더하였다.
FAST코너는 영상 패치 내에서 코너 후보와 16개의 주변 픽셀간의 밝기 차이를 비교하고, 12개 이상의 픽셀이 연속적으로 밝거나 어두우면 코너로 판정한다. 하지만 이 방법만으로는 코너를 수치적으로 표현할 수 없기 때문에 Harris 코너 검출을 통해 강도가 높은 순서대로 코너를 검출한다.
Harris 코너 검출은 작은 윈도우를 상하좌우로 움직이며 윈도우 안의 픽셀 값의 변화를 분석하여 결정하는 방식이다.
ORB(Oriented Fast and Rotated BRIEF)에서는 oFAST라는 이름으로 16개 대신 9개의 주변 픽셀을 이용하고 여기에 방향성을 추가하여, [수학식 1]과 같이 패치의 모멘트 mpq와 중심 모멘트 C를 이용한다.
여기서, p, q는 x, y의 차수를 나타낸다.
코너의 중심 C와 무게중심 C의 벡터를 구성하고 [수학식 2]의 θc와 같이 방향성을 표현할 수 있다.
상기 [수학식 2]에서 추출된 코너들은 바이너리 스트링 기반의 BRIEF를 통해 표현된다.
일반적인 BRIEF는 [수학식 3]과 같이 영상 패치 p 내에서 이진 테스트 τ을 통해 구성된다.
[수학식 3]에서 n은 바이너리 스트링 길이로 256이다.
영상 패치에서 n번의 테스트는 미리 정해진 패턴 내에서 수행된다. ORB(Oriented Fast and Rotated BRIEF)에서는 rBRIEF라 이름 하여 앞서 구한 θc를 고려한 테스트를 수행하는데 분산과 상관도가 높은 n번의 테스트를 먼저 골라내는 방법을 적용한다.
다음으로, 차량의 현재위치를 파악한다(S140). 상기 현재위치는 미리 알려진 시스템인 위성항법시스템(GPS:Global Positioning System)을 사용하여 파악할 수 있다. 상기 위성항법시스템(GPS:Global Positioning System)는 위성에서 오는 전파를 포착하여 차량의 절대적인 위치를 파악할 수 있으나 앞서 언급한 원인으로 인해 오차가 발생한다.
다음으로, 차량이 이동중 획득 가능한 도로상의 도로교통 표지판의 정보는 미리 저장되어 있다(S150). 상기 정보는 도로교통 표지판에 관한 것으로, 도로교통 표지판 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치 높이, 도로교통 표지판의 중앙 차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수일 수 있다.
다음으로, 상기 단계(S140)에서 판단된 현재의 위치를 단계(S150)의 도로교통 표지판 데이터베이스와 비교판단하여 현재위치의 주변에 위치하는 도로교통 표지판 후보들을 선택한다(S160).
다음으로, 상기 단계(S160)에서 선택된 도로교통 표지판 후보들 중 상기 입력된 영상신호에 대한 도로교통 표지판과 일치하는 도로교통 표지판을 확정하기 위해 특징점을 매칭시킨다(S170). 상기 특징점의 매칭은 상기 입력된 영상신호에서 추출된 특징점 및 상기 단계(S150)에 미리 저장된 도로교통 표지판의 특징점에 관한 정보를 바탕으로 이루어진다.
다음으로, 상기 단계(S100) 내지 단계(S170)에서 계속적으로 이루어진 특징점의 매칭을 통해 영상신호 내의 도로교통 표지판의 이동궤적을 분석한다(S180).
마지막으로, 상기 단계(S180)에서 분석된 도로교통 표지판의 이동궤적 및 단계(S150)에 미리 저장된 도로교통 표지판의 데이터베이스를 기초로 상기 차량이 현재 주행하고 있는 차선을 판단할 수 있다(S190).
도 7은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법의 ORB알고리즘에서 코너를 판정하는 과정을 나타낸 도면이다.
도 7을 참조하면, 상기 단계(S130)의 ORB(Oriented Fast and Rotated BRIEF)알고리즘에서 FAST 코너는 영상의 패치(Patch) 내에서 코너후보와 16개의 주변 픽셀간의 밝기차이를 비교하고, 12개 이상의 픽셀이 연속적으로 밝거나 어두우면 코너로 판정한다.
패치(710)은 영상 중 코너를 판정하기 위한 패치를 나타내며 이미지(720)은 패치내부의 픽셀의 밝기차이를 비교하여 코너를 판정하는 과정을 나타낸다.
도 8은 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 거리에 따른 도로교통 표지판의 검출크기를 나타낸다.
도 8을 참조하면, 표지판(920)은 31m 전방, 표지판(930)은 23m 전방, 표지판(940)은 15m 전방 및 표지판(950)은 9m 전방의 실제 검출되는 표지판을 나타낸다.
도 9는 본 발명의 실시예에 따른 차량의 차량의 위치 추정 방법의 입력된 영상에서 조명에 따른 도로교통 표지판의 색변화를 나타낸다.
도 9를 참조하면,
실제 관측되는 도로교통 표지판은 조명(태양)의 위치 및 고도에 따라 도로교통 표지판의 생삭이 바뀔 수 있다. 이미지(910) 내지 이미지(930)은 다양한 환경에 따른 도로교통 표지판의 색상변화를 나타낸다.
도 10은 본 발명에 따른 차량의 차량의 위치 추정 방법 중 영상전처리 단계의 동작 과정을 나타내는 흐름도이다.
상기 도 8 및 도 9 에 의한 이유로 입력된 영상신호를 보정하여 인식하고자 하는 도로교통 표지판의 영역을 분리하는 과정이 필요하다. 이를 위한 과정은 도 10에서 설명한다.
도 10을 참조하면, 우선, 상기 단계(S100)에서 입력된 영상신호 중 도로 윗부분 영역을 관심영역(ROI:Region of Interest)로 설정한다(S111). 이는 입력된 영상신호 중 도로교통 표지판의 영역을 더 정확하게 검출하기 위한 과정일 수 있다.
다음으로, 상기 단계(S111)에서 도로교통 표지판의 영역을 추출하기 위한 이진화 과정을 거친다(S112). 이는 상대적으로 밝은 부분인 하늘에 해당하는 영역을 제거하여 나머지 영역에만 접근할 수 있도록 하는 단계로 옷수방법(Otsu's method)이 사용될 수 있다.
옷수방법(Otsu's method)은 클래스간의 분산을 최대화시킨다는 점에서 최적의 방법일 수 있다. 두개의 클래스 C1과 C2가 있을 때 각각의 평균 밝기값을 m1, m2, 각 클래스에 속할 확률을 P1, P2 라 하면 두 클래스 간 분산 σ2 B는 [수학식 4]와 같다.
상기 [수학식 4]에서 mG는 전역평균이다.
σ2 B가 문턱치 k 에 의해서 변한다고 할 때, σ2 B를 가장 크게 하는 값 k*를 구하는 식은 [수학식 5]와 같다.
상기 [수학식 5]에서 L은 밝기 레벨의 최대치로 256이다.
다음으로, 상기 도로교통 표지판의 색상 특성을 통해 도로교통 표지판영역의 테두리를 검출한다(S113).
상기 도로교통 표지판의 색상 특성를 이용하여 사각형의 영역을 검출할 수 있다. 이때, 영상을 RGB 채널로 각각 분리시킨 후 비율관계를 이용해 도로교통 표지판 영역의 테두리를 검출하게 된다.
상기 [수학식 6]에서 IG는 G채널에서의 픽셀 밝기, IB는 B채널에서의 픽셀 밝기, τGR, τGB는 각각 문턱치이다.
마지막으로, 상기 단계(S113)에서 색상의 특성을 이용하여 도로교통 표지판의 영역을 분리시킨 후 사각형의 영역 내에서 중심점을 찾아내고 추적을 진행한다(S114).
도 11은 본 발명에 따른 차량의 차량의 위치 추정 방법 중 칼만필터 적용단계의 동작 과정을 나타내는 흐름도이다.
도 11을 참조하면, 우선, 실제 설치되는 카메라의 모델을 설정하여야 한다(S121).
실제 영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해서 먼저 실제 도로교통 표지판이 어떻게 영상에 투영되는지 알아야 하므로 이를 위한 카메라 모델을 설정한다. 이는 핀홀 카메라 모델을 따르며 기본 원리는 도 12를 참조하여 설명한다.
도 12는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 카메라의 모델을 설정단계를 설명하기 위한 도면이다.
도 12를 참조하면,
[수학식 7]에서 f는 초점거리, h는 투영된 물체의 높이 , D는 카메라와 물체간 거리, h는 물체의 실제높이를 의미한다.
식 (2)에서 f, H 는 미리 알고 있는 것으로 가정하고 영상 내에서 h를 측정하면 실제거리 D를 구할 수 있다.
다음으로, 도로교통 표지판 이동 모델을 설정한다(S122). 상기 도로교통 표지판 이동 모델을 설정하는 과정으로는 도로교통 표지판의 상태 정의, 거리에 따른 모델링, 각도에 따른 모델링 및 관측 모델을 설정하는 과정일 수 있다.
<상태정의>
칼만필터를 이용하여 물체의 이동을 추적할 때 먼저 대상의 상태를 정의해야한다. 도로교통 표지판의 중심점은 차량의 주행속도 및 도로교통 표지판과 차량이 이루는 각도에 의해 이동하게 되므로 [수학식 8]과 같이 상태를 정의할 수 있다.
상기 [수학식 8] 에서 xt, yt 는 검출된 도로교통 표지판의 중심 좌표, vt 는 차량의 속력, θt는 도로교통 표지판과 카메라의 중심이 이루는 각도를 의미한다.
<거리에 따른 모델링>
주행 중 입력되는 영상에서 표지판은 무한히 먼 거리에 있을 때 영상 내 소실점에 위치하게 되고 가까워질수록 영상의 윗부분에 표시가 된다. 차량이 도로교통 표지판과 수직을 이루면서 이동할 때의 관계를 [도 13]과 같이 나타낼 수 있으며 [수학식 9]를 만족시킨다.
[수학식 9]에서 F는 초점거리로 카메라의 렌즈의 중심PP와 영상 평면에서 소실점 위치PV의 거리라고 할 수 있다. 도로교통 표지판의 실제 높이 H는 시점에 관계없이 항상 같은 값을 가진다. 도로교통 표지판이 최대로 검출 가능한 지점을 PL이라고 하면 이때 PP와의 거리는 DL이다. 그리고 t라는 시점에서 도로교통 표지판과의 실제거리 Dt는 [수학식 9]에서와 같이 표현할 수 있고 t+1시점에서 거리 Dt + 1는 Dt에서 단위시간에 이동하게 되는 거리 vt를 빼준 것과 같다.
t라는 시점에서 영상에 표시되는 도로교통 표지판 중심의 높이 yt는 [수학식 10]과 같이 표현 할 수 있다.
단위시간이 지난 후 t +1일 때 도로교통 표지판 중심의 높이는 
이며 역수를 취해 정리하면 [수학식 11]과 같이 나타낼 수 있다.
(단, 
)
상기 [수학식 11]에서 K는 FH를 나타내고 hI는 원본 입력 영상의 높이를 의미한다. 상기 [수학식 11]에서 의미하는 바와 같이 다음 프레임에서 도로교통 표지판의 위치는 현재 속도가 증가하면 더 크게 증가하는 것을 알 수 있다.
<각도에 따른 모델링>
각도에 따른 모델링에 대하여는 도 14 및 도 15를 참고하여 설명한다.
본 발명에서 제안하는 횡 방향 위치를 구하기 위해서는 도 14에서와 같이 수직적 및 횡 방향으로 거리를 유지하면서 주행하는 상태를 모델링해야 하는데 이때의 투영관계를 도 14에 나타내었다. 도로교통 표지판의 중심점은 소실점 위치로부터 도 15의 화살표 방향으로 이동하게 된다. 이때 소실점에 수직한 방향과 이루는 각도를 θ라고 하며, θ는 자차가 직선주행 한다면 한 도로교통 표지판에 대해 같은 값을 유지한다.
영상 좌표계에서 구해지는 소실점의 좌표 PV와 도로교통 표지판 중심의 좌표 PS를 알면 영상 내에서의 횡 방향 거리 w와 높이 h를 구할 수 있고 [수학식 12]를 통해 θ를 구할 수 있다. 또한 실제 설치 높이 H를 알면 카메라 모델 관계를 이용하여 도로교통 표지판으로부터 차량의 횡 방향 거리 W를 구할 수 있다.
<표지판 관측 모델>
도로교통 표지판을 추적하기 위해 사용되는 정보 중 관측을 통해서 얻어지는 정보는 zt로 정의하며 관측단계에서 작용할 수 있는 노이즈를 포함하고 있다고 가정한다.
상기 [수학식 13]에서 h(Xt)는 관측 함수이고, qt는 관측 노이즈를 의미한다.
다음으로, 단계(S122)에 설정된 모델을 기초로 현재 입력되는 표지판의 상태를 보정한다(S123).
상기 단계(S122) 및 단계(S123)을 계속적으로 비교하여 도로교통 표지판의 추적을 계속적으로 진행할 수 있다.
도 16은 본 발명에 따른 차량의 위치 추정 방법의 특징점 매칭단계에서 연산과정을 보여주는 흐름도이다.
도 16을 참조하면, 특징점은 입력되는 영상에서의 도로교통 표지판과 이미 저장되어있는 도로교통 표지판에서 각각 추출된다. 추출된 특징점은 매칭을 통해 가장 비슷한 영상을 골라내준다. 일반적인 바이너리 서술자의 매칭에서 Hamming 거리를 사용하게 된다. 하지만 단순 거리비교 만으로는 오검출의 발생이 많기 때문에 정확한 결과를 보장할 수 없다. 따라서 본 논문에서는 도 16으로 나타낸 k-최근접 이웃 기반의 테스트를 거친다.
상기 특징점을 매칭하는 단계는,
우선, 상기 단계(S130)에서 추출된 특징점 및 단계(S150)의 미리 저장된 도로교통 표지판의 데이터베이스를 기초로 케이근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정한다(S171).
상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링한다(S172).
상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행한다(S173).
상기 비율테스트가 수행된 특징점 집합들의 대칭성 테스트를 수행한다(S174).
상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위해 란삭(RANSAC) 알고리즘을 적용한다(S175).
도 17은 본 발명의 실시예에 따른 차량의 위치 추정 방법의 도로교통 표지판 데이터베이스를 나타내는 도면이다.
도로표지는 도로표지규칙에 의해 계획적으로 설치된다. 설치 방법으로 단주식, 복주식, 편지식, 현수식 및 문형식 등이 있으며, 도 17은 문형식의 도로교통 표지판을 나타낸다. 문형식 도로교통 표지판의 높이는 지면으로부터 5m높이에 설치하도록 규정되어 있다.
도 18은 본 발명의 실시예에 따른 차량의 위치 추정 방법의 특징점 매칭단계를 오픈엠피(OpenMP)를 통해 수행하는 과정을 나타낸 도면이다.
앞서 언급한 특징점 매칭 단계(S170)는 입력된 영상신호로부터의 도로교통 표지판 후보와 데이터베이스내의 도로교통 표지판의 일대일 매칭과정이다. 그러나 일대일의 매칭을 한번 수행한다는 것은 이미 어느 도로교통 표지판인지 알고 있다는 가정이 필요하다. 따라서 본 발명에서는 GPS로부터 얻어지는 대략의 위치 정보를 통해 4개의 도로교통 표지판 후보를 선정하고 고속 주행시에도 실시간으로 처리할 수 있도록 병렬 처리를 통해 빠른 시간 내에 매칭하는 방법을 사용하였다.
본 발명에서 사용한 오픈앰피(OpenMP)는 공유 메모리 환경에서 다중 스레드 병렬 프로그램을 작성하기 위한 응용프로그램 인터페이스이다. 최근 대부분 컴파일러에 기본적으로 포함되어 있고, 프로그래밍을 쉽게 할 수 있기 때문에 널리 쓰이고 있다. 검출된 도로교통 표지판과 DB의 후보 도로교통 표지판이 스레드를 통해서 병렬적으로 매칭을 하고 가장 높은 스코어를 얻은 도로교통 표지판의 정보를 읽어오게 된다.
표지판A(1840) 및 표지판C(1820)는 0점의 점수로 인식된 도로교통 표지판과 일치하지 않는다는 것을 알 수 있다. 또한 표지판D(1840)는 20점으로 표지판B(1830)에 비해 점수가 낮아 일치하지 않음을 보여준다.
도 19는 본 발명의 실시예에 따른 차량의 위치 추정 방법의 실제 도로교통 표지판이 인식되는 과정을 나타내는 도면이다.
도 19를 참조하면, 본 발명의 실시예에 사용된 구간은 총 10개 구간이다. 각 구간을 규정 속도로 주행하면서 입력되는 영상에 대한 도로교통 표지판 검출 및 매칭을 수행하고 상대거리 및 절대거리를 계산하였다. 매칭이 성공한 도로교통 표지판은 해당하는 데이터베이스 영상을 화면에 오버레이 시키고 추정된 주행 차선도 마찬가지로 화면에 표시했다. 왼쪽 영상(1910, 1930, 1950, 1970)은 실제 주행상태와 인식된 차선을 표시하고, 오른쪽 영상(1915, 1935, 1955, 1975)에서 빨간점은 소실점이고 노란점은 인식된 도로교통 표지판의 중심점을 가리키며 매칭된 도로교통 표지판의 궤적을 나타내고 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 촬영부
200: 제어부
210: 위성항법 통신모듈
220: 차량위치 검출모듈
230: 데이터 통신모듈
240: 영상 전처리모듈
250: 저장부
251: 카메라모델 설정모듈
253: 표지판모델 설정모듈
260: 연산모듈
261: 특징점 추출유닛
262: 특징점 매칭유닛
263: 위치 판단유닛
300: 데이터베이스
200: 제어부
210: 위성항법 통신모듈
220: 차량위치 검출모듈
230: 데이터 통신모듈
240: 영상 전처리모듈
250: 저장부
251: 카메라모델 설정모듈
253: 표지판모델 설정모듈
260: 연산모듈
261: 특징점 추출유닛
262: 특징점 매칭유닛
263: 위치 판단유닛
300: 데이터베이스
Claims (14)
- 도로교통 표지판 데이터베이스를 기초로 차량의 위치를 추정하는 차량의 위치 추정 장치 장치에 있어서,
도로교통 표지판을 촬영하여 영상신호를 생성하는 촬영부; 및
상기 촬영된 영상신호를 분석하고, 상기 도로교통 표지판을 칼만필터를 이용하여 추적하고, 차량과 상기 도로교통 표지판의 상대적인 궤적을 추출하여 상기 차량의 위치를 추정하는 제어부를 포함하며,
상기 제어부는,
위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈;
상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈;
상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 수신하는 데이터통신모듈;
상기 영상신호 중 도로의 윗부분을 관심영역(ROI: Region of Interest)으로 설정하고, 상기 설정된 관심영역 중 하늘에 해당하는 영역을 제거하고, 상기 하늘에 해당하는 영역이 제거된 영상에서 색상 특성을 기초로 도로교통 표지판의 영역을 검출하는 영상 전처리 모듈;
이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부; 및
상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고,상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈;을 포함하며,
상기 연산모듈은,
상기 추출된 도로교통 표지판 영역의 특징점 및 상기 후보 도로교통 표지판의 특징점을 기초로 케이최근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정하고,
상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링하고,
상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행하고,
상기 비율테스트가 수행된 특징점 집합들을 기초로 대칭성 테스트를 수행하고,
상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위한 란삭(RANSAC) 알고리즘을 적용하는
것을 특징으로 하는 차량의 위치 추정 장치.
- 삭제
- 도로교통 표지판 데이터베이스를 기초로 차량의 위치를 추정하는 차량의 위치 추정 장치 장치에 있어서,
도로교통 표지판을 촬영하여 영상신호를 생성하는 촬영부; 및
상기 촬영된 영상신호를 분석하고, 상기 도로교통 표지판을 칼만필터를 이용하여 추적하고, 차량과 상기 도로교통 표지판의 상대적인 궤적을 추출하여 상기 차량의 위치를 추정하는 제어부를 포함하며,
상기 제어부는,
위성항법 시스템의 위성의 신호를 수신하기 위한 위성항법 통신모듈;
상기 수신받은 신호를 기초로 상기 차량의 1차적인 위치를 검출하는 차량위치 검출모듈;
상기 검출된 1차적인 위치를 기초로 하나 이상의 후보 표지 도로교통 표지판 정보를 추출하는 도로교통 표지판 정보 추출 모듈;
상기 영상신호 중 도로의 윗부분을 관심영역(ROI: Region of Interest)으로 설정하고, 상기 설정된 관심영역 중 하늘에 해당하는 영역을 제거하고, 상기 하늘에 해당하는 영역이 제거된 영상에서 색상 특성을 기초로 도로교통 표지판의 영역을 검출하는 영상 전처리 모듈;
이상적인 도로교통 표지판을 기초로 실제로 관측되는 모델이 미리 설정된 저장부; 및
상기 추출된 도로교통 표지판의 영역의 특징점을 추출하고, 상기 추출된 특징점과 상기 수신된 후보 도로교통 표지판 정보를 매칭하여 유사도가 가장 높은 후보 도로교통 표지판 정보를 선택하여 차량의 위치를 판단하는 연산모듈;을 포함하며,
상기 연산모듈은,
상기 추출된 도로교통 표지판 영역의 특징점 및 상기 후보 도로교통 표지판의 특징점을 기초로 케이최근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정하고,
상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링하고,
상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행하고,
상기 비율테스트가 수행된 특징점 집합들을 기초로 대칭성 테스트를 수행하고,
상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위한 란삭(RANSAC) 알고리즘을 적용하는
것을 특징으로 하는 차량의 위치 추정 장치.
- 청구항 1 또는 청구항 3 에 있어서,
상기 후보 도로교통 표지판 정보는,
설치된 도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보가 도로교통 표지판 데이터베이스로부터 송신되는 차량의 위치 추정 장치.
- 청구항 3에 있어서,
상기 차량의 위치 추정 장치는,
도로교통 표지판의 이미지, 도로교통 표지판 이미지에서 추출된 특징점, 도로교통 표지판의 설치높이, 중앙차선으로부터 차량의 거리 및 도로교통 표지판이 설치된 도로의 전체 차선 수들에 대한 정보 중 적어도 어느 하나 이상의 정보를 포함하는 데이터데이스를 더 포함하는 차량의 위치 추정 장치.
- 청구항 1 또는 청구항 3 에 있어서,
상기 저장부는,
영상에 표시되는 도로교통 표지판의 움직임을 인식하기 위해 실제 카메라의 특성이 미리 설정된 카메라모델 설정모듈; 및
칼만필터를 이용하여 물체의 이동을 추적하기 위한 도로교통 표지판의 상태가 미리 설정된 표지판모델 설정모듈;을 포함하는 차량의 위치 추정 장치.
- 청구항 1 또는 청구항 3 에 있어서,
상기 연산모듈은,
상기 추출된 도로교통 표지판의 영역의 특징점을 추출하기 위한 특징점 추출모듈;
상기 추출된 도로교통 표지판의 영역의 특징점과 상기 후보 도로교통 표지판 정보의 특징점을 매칭시켜 유사도가 가장 높은 후보 도로교통 표지판을 선택하기 위한 특징점 매칭모듈; 및
상기 선택된 대상을 기초로 차량의 주행방향에 상대적인 궤적을 추출하여 현재 진행중인 차량의의 위치를 판단하는 위치 판단모듈;을 포함하는 차량의 위치 추정 장치.
- 차량의 주행중의 영상을 촬영하여 영상신호로 변환하는 단계;
상기 영상신호 중 도로교통 표지판 영역을 검출하기 위해 영상을 전처리하는 단계;
칼만필터를 이용하여 상기 검출된 도로교통 표지판 영역을 추적하는 단계;
상기 추적된 도로교통 표지판 영역의 특징점을 추출하는 단계;
위성항법시스템을 이용하여 차량의 위치를 1차적으로 판단하는 단계;
상기 1차적으로 판단된 차량의 현재위치를 기초로 데이터베이스를 검색하여 후보 도로교통 표지판 정보를 추출하는 단계;
상기 추출된 도로교통 표지판 영역의 특징점과 상기 추출된 후보 도로교통 표지판의 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계;
상기 결정된 도로교통 표지판의 이동궤적을 분석하는 단계; 및
상기 분석된 이동궤적을 기초로 차량의 현재위치를 판단하는 단계;를 포함하며,
상기 영상을 전처리하는 단계는,
상기 변환된 영상신호중 도로의 윗부분을 관심영역(ROI: Region of Interest)으로 설정하는 단계;
상기 설정된 관심영역 중 하늘에 해당하는 영역을 제거하는 이진화 단계;
상기 하늘에 해당하는 영역이 제거된 영상을 기초로 색상 특성을 기초로 도로교통 표지판의 영역을 검출하는 단계; 및
상기 검출된 도로교통 표지판의 영역 내에서 중심점을 찾아내고 추적을 진행하는 단계;를 포함하고,
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는,
상기 추출된 도로교통 표지판 영역의 특징점 및 상기 후보 도로교통 표지판의 특징점을 기초로 케이최근접이웃(k-NN) 알고리즘방법으로 특징점 집합들을 선정하는 단계;
상기 선정된 특징점 집합들을 기초로 헤밍(Hamming)거리 비교를 하여 필터링하는 단계;
상기 필터링된 특징점 집합들을 기초로 비율테스트를 수행하는 단계;
상기 비율테스트가 수행된 특징점 집합들을 기초로 대칭성 테스트를 수행하는 단계; 및
상기 대칭성 테스트를 수행한 특징점 집합들의 이상치를 제거하기 위한 란삭(RANSAC) 알고리즘을 적용하는 단계;
를 포함하는 차량의 위치 추정 방법.
- 삭제
- 청구항 8 있어서,
상기 하늘에 해당하는 영역을 제거하는 이진화 단계는,
클래스 간의 분산을 최대화시켜 상대적으로 밝은 부분을 제거할 수 있는 옷수(Otsu)방법을 적용하는 단계를 포함하는 차량의 위치 추정 방법.
- 청구항 8에 있어서,
상기 칼만필터를 적용하는 단계는,
영상에 표시되는 도로교통 표지판의 움직임을 파악하기 위해 카메라에 실제 투영되는 카메라모델을 설정하는 단계;
상기 도로교통 표지판이 실제 상황에서 보여지는 상태를 정의하기 위한 표지판 이동모델을 설정하는 단계; 및
상기 설정된 표지판 이동모델을 기초로 전처리된 도로교통 표지판 영상을 보정하여 도로교통 표지판의 추적을 계속적으로 진행하는 단계;를 포함하는 차량의 위치 추정 방법.
- 청구항 11에 있어서,
상기 표지판 이동모델을 설정하는 단계는,
검출된 도로교통 표지판의 중심좌표, 차량의 속력 및 도로교통 표지판과 카메라가 이루는 각도로 도로교통 표지판의 상태를 정의하는 단계;
영상 내의 시간에 따른 도로교통 표지판 중심의 높이를 기초로 도로교통 표지판의 거리에 따른 모델을 설정하는 단계;
영상 내의 소실점과 도로교통 표지판의 중심과의 각도를 기초로 도로교통 표지판의 각도에 따른 모델을 설정하는 단계; 및
실제 관측상황에서 발생할 수 있는 노이즈에 대한 관측모델을 설정하는 단계;를 포함하는 차량의 위치 추정 방법.
- 삭제
- 청구항 8에 있어서,
상기 특징점을 매칭하여 유사도가 가장 높은 표지판을 결정하는 단계는,
오픈앰피(OpenMP)를 통해 고속주행시 실시간으로 처리할 수 있는 다중 스레드 병렬처리 단계인 차량의 위치 추정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130130211A KR101569919B1 (ko) | 2013-10-30 | 2013-10-30 | 차량의 위치 추정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130130211A KR101569919B1 (ko) | 2013-10-30 | 2013-10-30 | 차량의 위치 추정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150049529A KR20150049529A (ko) | 2015-05-08 |
| KR101569919B1 true KR101569919B1 (ko) | 2015-11-17 |
Family
ID=53387603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130130211A KR101569919B1 (ko) | 2013-10-30 | 2013-10-30 | 차량의 위치 추정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101569919B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101959831B1 (ko) * | 2017-09-26 | 2019-03-19 | 아주대학교산학협력단 | 이미지 인식 처리 장치 및 방법 |
| KR20200084015A (ko) * | 2017-11-02 | 2020-07-09 | 지티이 코포레이션 | 위치 결정 방법 및 장치, 서버 및 시스템 |
| KR20200094841A (ko) * | 2019-01-23 | 2020-08-10 | 국민대학교산학협력단 | 자율주행차량의 환경특징 기반 위치인식 장치 및 방법 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015207903A1 (de) | 2015-04-29 | 2016-11-03 | Mando Corporation | Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem |
| KR102565485B1 (ko) | 2016-01-11 | 2023-08-14 | 한국전자통신연구원 | 도시 거리 검색 서비스 제공 서버 및 방법 |
| KR101659251B1 (ko) * | 2016-04-19 | 2016-09-23 | 현대건설주식회사 | 주행 차로 정보 또는 도로 정보의 식별 시스템 및 이를 이용한 식별 방법 |
| KR102463698B1 (ko) * | 2016-12-14 | 2022-11-07 | 현대자동차주식회사 | 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법 |
| US10788830B2 (en) | 2017-07-28 | 2020-09-29 | Qualcomm Incorporated | Systems and methods for determining a vehicle position |
| US11341845B2 (en) | 2018-12-12 | 2022-05-24 | Here Global B.V. | Methods and systems for roadwork zone identification |
| US11244177B2 (en) | 2018-12-12 | 2022-02-08 | Here Global B.V. | Methods and systems for roadwork zone identification |
| KR102308900B1 (ko) * | 2019-10-29 | 2021-10-06 | 경상국립대학교산학협력단 | 영상 프레임 기반 위치 추정 방법 및 전자 장치 |
| KR102654579B1 (ko) * | 2021-06-01 | 2024-04-05 | 파킹클라우드 주식회사 | 비전 분석을 이용한 차량의 주차 위치 확인 서비스를 차량 이용자에게 제공하기 위한 방법 및 컴퓨터 프로그램 |
| CN115131426B (zh) * | 2022-07-28 | 2024-03-22 | 苏州轻棹科技有限公司 | 一种对车辆后轴中心点进行估计的处理方法 |
| KR102618951B1 (ko) * | 2023-06-20 | 2023-12-29 | 주식회사 모빌테크 | 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100312427B1 (ko) * | 1999-12-23 | 2001-11-03 | 오길록 | 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치 |
| KR100963795B1 (ko) | 2008-02-28 | 2010-06-24 | 연세대학교 산학협력단 | 물체의 위치 추적 장치 및 방법 |
| KR101108431B1 (ko) * | 2009-10-19 | 2012-01-31 | 한국과학기술원 | ＯｐｅｎＭＰ프로그램에서 자료 경합을 탐지하기 위한 시스템, 방법, 및 방법을 저장하는 저장 매체 |
-
2013
- 2013-10-30 KR KR1020130130211A patent/KR101569919B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100312427B1 (ko) * | 1999-12-23 | 2001-11-03 | 오길록 | 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치 |
| KR100963795B1 (ko) | 2008-02-28 | 2010-06-24 | 연세대학교 산학협력단 | 물체의 위치 추적 장치 및 방법 |
| KR101108431B1 (ko) * | 2009-10-19 | 2012-01-31 | 한국과학기술원 | ＯｐｅｎＭＰ프로그램에서 자료 경합을 탐지하기 위한 시스템, 방법, 및 방법을 저장하는 저장 매체 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101959831B1 (ko) * | 2017-09-26 | 2019-03-19 | 아주대학교산학협력단 | 이미지 인식 처리 장치 및 방법 |
| KR20200084015A (ko) * | 2017-11-02 | 2020-07-09 | 지티이 코포레이션 | 위치 결정 방법 및 장치, 서버 및 시스템 |
| KR102394103B1 (ko) * | 2017-11-02 | 2022-05-04 | 지티이 코포레이션 | 위치 결정 방법 및 장치, 서버 및 시스템 |
| KR20200094841A (ko) * | 2019-01-23 | 2020-08-10 | 국민대학교산학협력단 | 자율주행차량의 환경특징 기반 위치인식 장치 및 방법 |
| KR102176834B1 (ko) * | 2019-01-23 | 2020-11-10 | 국민대학교산학협력단 | 자율주행차량의 환경특징 기반 위치인식 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150049529A (ko) | 2015-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101569919B1 (ko) | 차량의 위치 추정 장치 및 방법 | |
| Miura et al. | An active vision system for on-line traffic sign recognition | |
| Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
| US9292750B2 (en) | Method and apparatus for detecting traffic monitoring video | |
| US8611585B2 (en) | Clear path detection using patch approach | |
| US8634593B2 (en) | Pixel-based texture-less clear path detection | |
| US8379926B2 (en) | Vision based real time traffic monitoring | |
| US8890951B2 (en) | Clear path detection with patch smoothing approach | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| CN102867414B (zh) | 一种基于ptz摄像机快速标定的车辆排队长度测量方法 | |
| Nguyen et al. | Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system | |
| Erbs et al. | Moving vehicle detection by optimal segmentation of the dynamic stixel world | |
| KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
| Meissner et al. | Intersection-based road user tracking using a classifying multiple-model PHD filter | |
| JP2018063680A (ja) | 交通信号認識方法および交通信号認識装置 | |
| KR101035761B1 (ko) | 차선 인식을 위한 영상 처리 방법 및 시스템 | |
| Panev et al. | Road curb detection and localization with monocular forward-view vehicle camera | |
| CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| Lim et al. | Lane detection and Kalman-based linear-parabolic lane tracking | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| Yoneda et al. | Simultaneous state recognition for multiple traffic signals on urban road | |
| Yang et al. | On-road collision warning based on multiple FOE segmentation using a dashboard camera | |
| FAN et al. | Robust lane detection and tracking based on machine vision | |
| JP2002175534A (ja) | 道路の白線検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180823 Year of fee payment: 4 |