KR102603877B1 - 차량의 정밀 측위 방법 및 장치 - Google Patents

차량의 정밀 측위 방법 및 장치 Download PDF

Info

Publication number
KR102603877B1
KR102603877B1 KR1020210117655A KR20210117655A KR102603877B1 KR 102603877 B1 KR102603877 B1 KR 102603877B1 KR 1020210117655 A KR1020210117655 A KR 1020210117655A KR 20210117655 A KR20210117655 A KR 20210117655A KR 102603877 B1 KR102603877 B1 KR 102603877B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
location
hypothesis
positioning
Prior art date
Application number
KR1020210117655A
Other languages
English (en)
Other versions
KR20220063716A (ko
Inventor
정호기
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Publication of KR20220063716A publication Critical patent/KR20220063716A/ko
Application granted granted Critical
Publication of KR102603877B1 publication Critical patent/KR102603877B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/393—Trajectory determination or predictive tracking, e.g. Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/50—Determining position whereby the position solution is constrained to lie upon a particular curve or surface, e.g. for locomotives on railway tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 차량의 정밀 측위 시스템에 관한 것으로, 보다 구체적으로는 차량 내부의 복수의 센서에서 취득한 센싱 정보를 획득하는 단계; 확장 칼만 필터(Extended Kalman filter, EKF)를 기반으로 상기 센싱 정보를 이용하여 초기 차량 위치를 예측하는 단계; 상기 차량 내 카메라로 촬영된 영상에서 차선의 끝 점을 검출하는 단계; 상기 차선의 끝 점 정보를 이용하여 상기 차선 내 측위로 각 차선에 대한 카메라의 위치 가설을 생성하는 단계; 및 상기 가설 별로 상기 카메라 영상 내에서 랜드마크의 포함 비율을 감지하여 상기 차량의 위치를 결정하는 단계;를 포함하며, 차선 표시 및 차선 끝점을 이용하고 도로 표지판 검출이 아닌 검증을 실시함으로써 적은 계산량으로도 정확한 차량 측위를 실시할 수 있다.

Description

차량의 정밀 측위 방법 및 장치{Precise Vehicle Positioning Method and Device}
본 발명은 차량의 정밀 측위 방법 및 장치에 관한 것으로, 더욱 상세하게는 확장된 디지털 맵을 활용하여 검출-검증-직렬 구조 기반의 저가형 정밀 측위 방법 및 장치에 관한 것이다.
최근 몇 년간 자율 주행은 가장 활발하게 연구되고 있는 기술 중 하나가 되었으며 빠르게 발전하고 있다.
이 기술에서 차량 측위는 인식, 계획 및 제어와 함께 핵심 구성 요소 중 하나이며, 자율 주행은 오차가 수십 센티미터 미만인 측위 시스템이 필요하기 때문에 정확하고 실용적인 차량 측위 시스템에 초점을 맞춘 연구가 주목 받고 있다.
글로벌 내비게이션 위성 시스템(GNSS)은 차량 측위에 가장 널리 사용되고 있으나 GNSS의 정밀도는 신호 차단, 대기 신호 왜곡 및 확산 신호 반사로 인해 심각하게 저하 될 수 있다. 이러한 문제를 완화하기 위해 GNSS와 추측 항법(DR, dead reckoning)의 조합(GNSS-DR) 등 수많은 연구가 수행되었으나 GNSS 신호가 장기간 반사되거나 차단되면 누적된 오류로 인해 정밀도가 저하되는 문제가 발생할 수 있으며, 이러한 누적된 오류를 최소화하기 위해 실시간 운동학(RTK) GNSS와 고정밀 관성 항법 시스템(INS)의 융합을 제시하였으나, 이러한 방법은 높은 비용을 요구하고 있어 실제 사용에 한계가 있다.
또한, GNSS-DR의 단점을 극복하기 위해 위성 신호 외에 노면 표시, 교통 표지판, 신호등 및 도로 표지판 등의 검출된 랜드마크와 디지털 맵을 활용하는 맵 매칭 기반 접근 방법이 제시되었다. 그 중에서 노면 표시는 배경과 매우 구별되기 때문에 쉽게 감지할 수 있다. 특히, 차선 표시는 다른 노면 표시와 달리 도시 도로뿐만 아니라 고속도로에도 자주 관찰되고 존재하기 때문에 가장 인기 있는 노면 표시 중 하나이다.
그러나, 차선 표시는 세로(longitudinal) 방향 측위 및 자기주행 차선 (ego-lane) 식별에 대한 정보가 부족하여 차선 내 측면 측위만을 제공하기 때문에 차선 표시만으로 차량 측위를 추정하는 것은 불가능하다. 차선 표시에서 부족한 정보를 채우기 위해 추가 랜드마크가 필요하다. 도시 도로에서는 정지선, 횡단 보도, 화살표, 문자 및 신호등이 좋은 추가 지표가 될 수 있지만 고속도로에서는 거의 관찰되지 않기 때문에 사용성이 상당히 제한된다.
맵 매칭 기반 측위 방법은 주변 정보를 미리 저장한 맵을 구축하고 차량에 설치된 인식 센서를 통해 랜드마크를 감지한 뒤에 랜드마크를 맵에 저장된 랜드마크와 일치시켜 자기 위치(ego-position)를 추정한다. 일반적으로 GPS와 같은 측위 센서를 이용하여 차량 측위의 불확실성을 수십 미터로 줄인 후 맵 매칭 기반 측위를 통해 이 불확실성 내에서 차량 위치를 정확하게 추정한다. 맵 매칭 기반 측위는 특징점 기반 접근 방법과 도로 시설 기반 접근 방법으로 구분할 수 있다.
특징점 기반 접근(feature point-based approach) 방법은 주로 Lidar, 레이더 또는 스테레오 카메라와 같은 범위 센서 또는 단안 카메라를 사용한다. 이 방법은 정적 객체를 랜드마크로 감지하는 대신 센서 데이터 또는 센서 데이터 자체에서 추출한 특징점을 디지털 맵에 일치시킨다. 이 방법에서 다층 Lidar를 사용하는 방법은 몇 센티미터 미만의 측위 오류를 달성하는 것으로 알려져 있으며 이 수준은 자율 주행에 충분히 정확하나, 다층 Lidar는 대량 생산 차량에 적용하기에는 레이더나 카메라에 비해 너무 비싸며 Lidar는 악천후의 영향을 받아 정밀도가 감소하는 문제가 있다. 이러한 문제를 해결하기 위하여 Lidar 대신 레이더를 사용하는 방법이 제안되었다. 또한, 특징점 기반 접근 방법의 단점 중 하나는 동적 또는 임시 정적 객체에서 추출한 포인트에 의해 측위 정밀도가 저하되고 다른 하나는 넓은 영역을 커버하기 위해 막대한 맵 볼륨이 필요하다는 것이다. 맵에 저장되지 않은 동적 객체 또는 임시 정적 객체는 현재 추출된 지점과 맵에 저장된 지점 간의 대응 관계를 찾는 데 방해가 될 수 있으므로 측위 정확도가 떨어질 수 있다. 이를 극복하기 위해 레이더를 통해 차량 지하의 특징을 추출하는 방법과 LDM (Local Dynamic Map)을 이용하여 동적 물체에서 특징점을 제거하는 방법이 제시되었다. 이러한 방법 덕분에 동적 객체로 인한 측위 오류를 줄일 수 있으나, 맵의 방대한 양으로 인하여 주차장이나 실내 공간과 같은 제한된 장소에서만 활용이 가능한 한계를 보이고 있다.
도로 시설 기반 접근 방법은 정적 객체를 랜드마크로 인식하고 이를 디지털 맵과 일치시켜 자기 차량(ego-vehicle)의 위치를 추정한다. 이러한 도로 시설 기반 접근 방법에서는 도로 시설물 인식에 큰 부담이 있으나 대부분의 도로 시설물이 표준화 되어 있어 맵에 저장해야 하는 필수 정보는 매우 적은 장점을 가지고 있다. 물체 인식을 위해 도로 시설 기반 접근 방법은 주로 카메라 또는 다층 Lidar와 같은 고각도 해상도 센서(high angular resolution sensor)를 사용한다. 이러한 다층 Lidar는 상기 특징점 기반 접근 방법과 마찬가지로 대량 생산 차량에 적용하기에는 너무 비싸기 때문에 대부분 저렴한 고각도 해상도 센서를 가진 카메라를 선호한다. 그러나, 저렴한 고각도 해상도 센서의 성능은 조명 조건의 영향을 받는 문제가 있다.
대한민국 공개특허공보 제10-2019-0014908호 (2019년02월13일 공개)
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 탐지-검증의 직렬 전략을 기반으로 적은 계산량만으로 정확한 위치를 검출하는 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 차선 끝점을 활용하여 차선별 차량 위치 후보를 생성한 후에 지도와 도로 표지판을 이용하여 자기 차선을 선택하는 방법을 제공하는데 그 목적이 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 차량의 정밀 측위 방법은 차량 내부의 복수의 센서에서 취득한 센싱 정보를 획득하는 단계; 확장 칼만 필터(Extended Kalman filter, EKF)를 기반으로 상기 센싱 정보를 이용하여 초기 차량 위치를 예측하는 단계; 상기 차량 내 카메라로 촬영된 영상에서 차선의 끝 점을 검출하는 단계; 상기 차선의 끝 점 정보를 이용하여 상기 차선 내 측위로 각 차선에 대한 카메라의 위치 가설을 생성하는 단계; 및 상기 가설 별로 상기 카메라 영상 내에서 랜드마크의 포함 비율을 감지하여 상기 차량의 위치를 결정하는 단계;를 포함할 수 있다.
또한, 차선의 끝 점을 검출하는 단계는 차선 폭으로 정의된 관심 영역을 설정하는 단계; 탑햇 필터(top-hat filter)를 이용하여 차선 후보 픽셀을 추출하는 단계; RANSAC (Random Sample Consensus)을 이용하여 차선 표시를 감지하는 단계; 상기 차선 표시를 따라 상기 탑햇 필터 결과 프로필을 획득하는 단계; 및 상기 결과 프로필을 미분하여 로컬 최대 값과 최소 값을 차선 끝 점으로 인지하는 단계;를 포함할 수 있다.
또한, 위치 가설을 생성하는 단계는 상기 차선 끝 점이 감지된 지점과 맵에 저장된 지점 간에 위치 대응 관계를 획득하는 단계; 상기 대응 관계를 기반으로 상기 카메라의 전역 측위를 추정하는 단계; 상기 전역 측위를 바탕으로 상기 초기 차량 위치 내에 포함되는 차선 각각에 대해 차선 내 상대 측위를 추정하는 단계; 및 상기 확장 칼만 필터를 멀티 트랙 모드로 동작하여 상기 위치 가설 별로 상기 멀티 트랙을 할당하여 상기 가설을 추적하는 단계;를 포함할 수 있다.
또한, 상기 상대 측위를 추정하는 단계는 상기 맵을 좌표계로 변환하는 단계; 상기 차선 끝 점과 상기 좌표계를 매칭한 맵 좌표계를 생성하는 단계; 상기 맵 좌표계에서 노면의 법선 벡터와 상기 카메라 광축을 추정하는 단계; 및 상기 법선 벡터와 상기 광축을 기반으로 각 차선에 대한 상기 위치 가설을 계산하는 단계;를 더 포함할 수 있다.
또한, 상기 차량 위치를 결정하는 단계는 맵에서 랜드마크 정보를 획득하는 단계; 상기 카메라에서 촬영된 영상 내에 포함된 상기 랜드마크의 외곽선을 추출하는 단계; 상기 카메라에서 촬영된 영상에 대하여 상기 랜드마크 높이와 평행한 위치로 상기 위치 가설 별 관심 영역을 설정하는 단계; 상기 관심영역 내에 포함된 상기 외곽선의 포함 비율을 검출하는 단계; 상기 포함 비율이 가장 높은 상기 위치 가설을 상기 차량의 위치로 설정하는 단계;를 더 포함할 수 있다.
또한, 상기 포함 비율을 검출하는 단계는 상기 관심 영역의 크기를 조절하는 단계; 상기 크기가 조절된 영상에서 HOG(Histogram of Gradients) 특징을 추출하는 단계; 및 상기 특징을 SVM(Support Vector Machine)에 인가하여 상기 랜드마크의 포함 여부를 확인하는 단계;를 더 포함할 수 있다.
또한, 상기 랜드마크는 도로 상부 또는 측면에 위치하며, 원형, 삼각형, 사각형 중 어느 한 형태의 도로표지판 또는 전광판일 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 실시예에 따른 차량의 정밀 측위 장치는 차량의 주행 정보를 획득하는 센서부; 상기 차량 전방의 차선 표시 및 차선의 끝점을 검출하는 차선검출부; 상기 주행 정보, 상기 차선 표시 및 상기 차선의 끝점을 기반으로 각 차선에 대한 위치 가설을 생성하는 가설 생성부; 상기 차량이 주행하는 도로의 정보가 저장된 데이터베이스; 및 상기 데이터 베이스 내의 도로 표지판 존재 여부를 기반으로 상기 센서부에서 상기 차량 전방의 상기 도로 표지판의 존재 여부를 감지하여 상기 위치 가설 중 어느 하나를 선택하는 위치 결정부;를 포함할 수 있다.
또한, 상기 가설 생성부는 확장 칼만 필터를 기반으로 위치 가설을 생성하며, 상기 확장 칼만 필터는 상기 각 차선 별로 멀티 트랙 상태로 동작하여 각 트랙을 분배하고, 상기 위치 결정부는 상기 멀티 트랙 상태 중 어느 하나의 트랙을 선택하여 싱글 트랙 상태로 동작하는 것을 특징으로 할 수 있다.
또한, 상기 위치 결정부는 상기 위치 가설 중 상기 도로 표지판의 감지 여부에 따라 순위를 결정하여 최상위 순위의 가설을 상기 차량의 위치로 결정하는 것을 특징으로 할 수 있다.
상기와 같은 본 발명의 차량의 정밀 측위 방법은 차선 표시 및 차선 끝점을 검출하여 차량을 측위함으로써 정밀한 측위 결과를 제공할 수 있다.
또한, 영상 내의 도로 표지판 검출 방식에서 도로 지도 내의 도로 표지판 검증으로 대체함으로써 단순화하여 측위 정밀도가 감소하지 않는 상태에서 처리 속도를 증가시킬 수 있다.
또한, 생성된 복수의 가설 중 하나를 선택하여 절대평가를 실시하는 것이 아닌 복수의 가설에 대해 상대 평가를 실시하여 순위에 따라 자기차량의 위치를 결정함으로써 자기차량의 위치를 잘못 평가하는 오차 발생 확률을 감소시킬 수 있다.
또한, GPU 등의 고가 프로세서를 사용하지 않고 단안 카메라, 저가형 GPS 등 저가형 센서만을 사용하여 실시간으로 높은 측위 정밀도를 달성할 수 있다.
또한, 현재 대량 생산되는 차량에 장착 되어 있는 기본 센서와 프로세싱 보드만으로 높은 측위 정밀도를 달성할 수 있어 추가적인 비용의 소모 없이 소프트웨어의 추가만으로도 상용화가 가능하다.
도 1은 본 발명의 일 실시예에 따른 차량의 정밀 측위 방법을 나타내는 순서도이다.
도 2는 본 발명의 일 실시예에 따라 차량 위치 불확실성이 감소하는 것을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 차선 끝점을 탐지하는 방법에 관한 도면이다.
도 4는 본 발명의 일 실시예에서 활용한 점선 차선 표시 규칙에 관한 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라 좌표계에 대한 차선 끝점의 좌표를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에서의 도로 끝점에 대한 차량의 위치를 예시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 지도에 저장된 도로 표지판의 예상 관심영역에 대한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 확장 칼만 필터(Extended Kalman Filter, EKF)와 카메라를 이용한 차량 위치 예측 방법에 대한 도면이다.
도 10은 본 발명의 일 실시예에 따른 차량의 정밀 측위 방법의 상태 다이어그램에 관한 도면이다.
도 11은 본 발명의 일 실시예에 따른 차량의 정밀 측위 방법을 이용한 차량 위치에 따른 검출 방법에 대한 도면이다.
도 12는 본 발명의 일 실시예에 따른 차량의 정밀 측위 장치를 나타내는 블록도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
공간적으로 상대적인 용어인 아래(below, beneath, lower), 위(above, upper) 등은 도면에 도시되어 있는 바와 같이 하나의 구성 요소들과 다른 구성 요소들과의 상관 관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 구성 요소의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 구성 요소를 뒤집을 경우, 다른 구성 요소의 아래(below, beneath)로 기술된 구성 요소는 다른 구성 요소의 위(above, upper)에 놓일 수 있다. 따라서, 예시적인 용어인 아래는 아래와 위의 방향을 모두 포함할 수 있다. 구성 요소는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 발명에서 사용되는 “부” 또는 “부분” 등의 일부분을 나타내는 표현은 해당 구성요소가 특정 기능을 포함할 수 있는 장치, 특정 기능을 포함할 수 있는 소프트웨어, 또는 특정 기능을 포함할 수 있는 장치 및 소프트웨어의 결합을 나타낼 수 있음을 의미하나, 꼭 표현된 기능에 한정된다고 할 수는 없으며, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예에 따른, 식당 정보 제공 시스템에 관하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 차량의 정밀 측위 방법을 나타내는 순서도이다.
본 발명의 일 실시예에 따른 차량의 정밀 측위 방법은 카메라, 가속도 센서, GPS, 등의 차량 내 포함되어 있는 다양한 센서들을 활용하여 동작할 수 있으며, 차량 속도, 요 레이트(yaw rate), GPS 위치 정보, 이미지 등의 센싱 정보를 활용하여 동작을 수행할 수 있다.
차량의 위치를 특정할 수 없는 초기 단계에서는 GPS 신호, 차량 속도 및 요 레이트 정보 등의 차량 내에 장착된 기본 센싱 정보를 획득할 수 있다(S100).
기본 센싱 정보가 획득되면 단일 트랙 확장 칼만 필터(Extended Kalman Filter, EKF)에 기본 센싱 정보를 입력하여 자기 위치(ego-position)에 대한 초기 차량 위치를 예측할 수 있다(S200).
기본 센싱 정보만을 이용하여 자기위치를 특정하게 되면 GPS 특성에 의해 정확한 측위에 한계가 있다. 도 2의 (a)를 참조하면, GPS 오차에 의해 차량의 위치가 빨간색 원만큼 커지게 되어 차량의 정확한 위치를 특정할 수 없음을 확인할 수 있다.
상기 문제를 해결하기 위하여 본 발명의 일 실시예에서는 차선 표시 및 차선 끝점을 검출할 수 있다(S300).
차선 끝점은 차량이 운행함에 있어서, 차선 변경 및/또는 도로 진출입 시에 항시 존재하며, 고속도로를 예로 들면 도 4에서와 같이 특정 규칙을 포함하여 위치함을 알 수 있다.
또한, 차선 표시는 차량과 평행한 수직 방향 오프셋에 대한 정보만을 제공할 수 있으나, 차선 끝 점은 수직 방향을 포함한 수평 방향의 오프셋을 함께 제공할 수 있어 측위의 정확도를 증가시키는데 유용하게 활용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 차선 끝점을 탐지하는 방법에 관한 도면이다.
차량에 포함된 카메라를 통해 도 3의 (a)와 같이 차량 전방의 이미지를 획득할 수 있다.
획득한 이미지는 기 정의된 차선 폭을 이용하여 차선이 포함될 것으로 예측되는 부분을 관심 영역으로 지정하고, 관심 영역 내에서 탑햇 필터(top-hat filter)를 이용해 차선 후보 픽셀을 추출할 수 있다.
차선 후보 픽셀에 대해 RANSAC (Random Sample Consensus)을 이용하여 차선 표시를 감지하면 도 3의 (b)와 같이 차선 표시를 검출할 수 있다.
검출된 차선 표시에 대한 상기 탑햇 필터 결과 프로필을 획득하고, 결과 프로필에 대해 미분을 실시하여 미분 결과에 대한 로컬 최대 값과 최소 값을 차선 표시 세그먼트에서 각각 시작점과 끝점의 후보로 설정할 수 있다.
도 3의 (c)는 상기 차선 표시 세그먼트에서 각각 시작점과 끝점이 후보로 설정한 것을 나타내며, 도 3의 (d)는 시작점과 끝점 후보의 인접 영역에서 추출된 HOG (Histogram of Gradient) 특성을 활용하여 SVM(Support Vector Machine)에 의해 필터링한 결과를 보여주는 것으로, 필터링 결과 값을 기반으로 차선의 끝점을 검출할 수 있다.
차선 표시 및 차선 끝점이 감지되면 감지된 지점과 지도에 저장된 지점간의 대응 관계를차선 기반으로 상기 초기 차량 위치 범위 내에 포함되는 복수의 차선에 대하여 각각의 위치 가설을 생성할 수 있다(S400).
한국의 고속도로를 예로 들면, 도 4에서와 같이 차선 폭은 3.5m, 점선 차선 표시 구간의 길이는 12m, 점선 차선 표시 구간 간격은 8m, 차선 시작점과 다음 시작점까지의 거리는 20m로 로 설정되어 있다.
차량에 설치되는 일반적인 GPS의 측위 오차는 야외(open sky)에서 5미터 미만으로 알려져 있다. 따라서, 차량이 위치하는 차선의 끝점과 인접 차선의 끝점은 GPS 오류 경계 내에 함께 존재할 수 있으며, 이는 차선 끝점을 활용하여 차량의 정면에 대한 측위를 결정할 수는 있으나, 측면에 대한 측위를 정확하게 결정할 수 없음을 의미한다.
즉, 검출된 차선의 끝점만 주어진다면 자기주행 차선(ego-lane)을 식별할 수는 없으나, 차선 별 차량의 위치에 대한 가설을 설정할 수 있음을 의미하며, 이러한 차선별 차량의 위치에 대한 가설은 도 2의 (b)를 참조하면 쉽게 이해할 수 있다.
이러한 차선 별 차량의 위치 가설은 본 발명에서는 '차선 내 측위'라고 설명하며, 처선 내 측위는 하기에서 구체적으로 설명하도록 한다.
차선 내 측위를 실시하기 위하여 도 5와 같이 차선 끝점 P1이 감지되면 P1에서 차량의 상대적 측위를 하기의 수학식 1, 2와 같이 추정할 수 있다.
상기 수식에서 Zc는 노면으로부터의 차량 내 카메라의 설치 높이이고, f는 초점 거리, (v1, u1) 및 (ov, ou)는 각각 차선 끝점 p1 및 주요 지점의 이미지 내의 좌표일 수 있다.
상기 카메라의 위치를 기준으로 차량의 상대적 측위를 추정한 후에 측위를 지도의 좌표계로 변환할 수 있다. 맵의 좌표계로 변환하는 경우에 초기 차량 위치와 지도에 저장된 지점과 일치하여야 한다. 앞서 설명한 바와 같이 차선의 끝점 만으로는 자기주행 차선을 식별할 수 없기 때문에 지도 상에 포함되는 모든 차선에 대해 자기주행 차선으로 우선 가정할 수 이다.
따라서, 지도의 각 차선에 있는 차선 끝점은 끝점 유형과 끝점 및/또는 시작점 사이의 거리를 고려하여 동적 알고리즘에 의해 감지된 점에 매칭을 수행할 수 있다.
매칭이 완료되면 지도 좌표계에서 노면의 법선 벡터(normal vector)()와 카메라 광축(optical axis)()을 추정해야 한다. 법선 벡터는 측위 필터의 출력에서 10m 이내의 차선 끝점으로 추정된 표면의 법선 벡터로 근사될 수 있다. 차선 표시의 방향 벡터(directional vector)()가 주어지면 카메라 광축은 하기의 수학식 3 내지 수학식 5의 방정식을 이용하여 계산할 수 있다.
전역 좌표계에서 차선 표시의 방향 벡터와 카메라 광축 사이의 각도 θ는 카메라 좌표계에서 차선 표시의 방향 벡터와 광축 사이의 각도와 동일하며, 전역 좌표계()의 k번째 차선에 대한 카메라 위치 가설은 하기의 수학식 6을 이용하여 계산할 수 있다.
여기에서 는 지도의 k번째 차선에 있는 i번째 차선 끝점이며, xi 및 yi는 i번째 차선 끝점에서 카메라 위치 가설까지의 가로 및 세로 오프셋일 수 있다.
도 6은 상기 수학식을 이용한 카메라 가설 생성 결과에 대한 예시로서, 도 6의 왼쪽 이미지는 카메라에서 획득한 차선 이미지에서 차선 끝점을 표한한 것이고, 오른쪽 이미지는 라이다(Lidar) 포인트 클라우드에 표시된 지도 및 차량의 위치 가설 정보를 보여주고 있으며, 노면의 속이 빈 원(hollow circles)은 카메라의 위치 가설, 별표 및 원은 차선의 시작점 및 끝 점이다.
상기와 같은 각 차선에 대한 위치 가설 생성 결과와 초기 차량 위치 예측은 도 2의 (a)와 (b)를 참조하여 비교하면 차이를 쉽게 확인할 수 있다.
각 차선에 대한 위치 가설인 차선 내 측위를 완료하면, 복수의 차선 중 차량이 위치하는 차선인 자기주행 차선(ego-lane)을 식별해야 한다.
자기주행 차선을 식별하기 위하여 각 차선에 대한 위치 가설 중 추가로 관찰되는 랜드마크를 검출하고, 랜드마크에 대해 가장 합리적인 것을 식별함으로써 차량의 위치를 결정할 수 있다(S500).
종래의 일반적인 측위 시스템에서는 랜드마크를 효과적으로 검출 및 분류하여 위치를 결정하는 방법을 활용하였으나, 이러한 방법은 랜드마크의 위치 측위 및 클라스 추정을 함께 수행하여야 하므로 많은 계산량을 요구하여 실제 적용을 위해서는 추가적인 프로세스가 요구되며, 차량 내에 일반적으로 포함되어 있는 저가형 임베디드 보드 상에서는 실시간 처리가 어려워 차량에 적용할 수 없는 문제가 발생한다.
본 발명의 일 실시예에서는 상기와 같은 문제를 해결하기 위하여 추가적으로 랜드마크를 감지하지 않고, 차선에 대한 위치 가설과 지도에 저장된 랜드마크 정보를 활용하여 관심영역 내에서 랜드마크의 존재 확인만을 수행함으로써 계산량을 획기적으로 감소시키는 방법을 제안한다.
카메라의 위치와 광축을 모두 포함하는 카메라 위치 가설은 차선 내 측위에서 추정되기 때문에 도 7과 같이 맵에 저장된 랜드마크 좌표를 각 가설에 기반하여 이미지에 투영할 수 있다.
랜드마크로 사용되는 대표적인 도로 시설은 차선 표시, 상징적인 도로 표시, 신호등, 교통 표지판 등이다. 이 중 차선 표시는 작은 계산으로 쉽게 감지할 수 있고 도로의 대부분의 구간에서 관찰할 수 있기 때문에 랜드마크 중 가장 선호도가 높다. 차선 표시는 차량 측위 및 차선 유지와 같은 다양한 목적으로 활용될 수 있기 때문에 단순한 이미지 처리 기반 방법에서 DNN 기반 방법에 이르기까지 차선 표시 검출을 위한 많은 방법이 개발되었다.
또한, 고속도로 등의 도로에서는 상징적인 도로 표시를 관찰하기에 어려움이 있기 때문에 고속도로 상에서 측위에 가장 유용한 요소로는 차선 표시와 함께 교통 표지판이 선택될 수 있다. 교통 표지판은 규제 표지판과 도로 표지판으로 나눌 수 있으며, 규제 표지판의 모양은 원형, 삼각형 또는 정다각형으로 제한되며 색상은 주로 빨간색 또는 노란색과 같은 기본 색상으로 구성된다. 따라서 처음에는 색 분할과 모양 감지에 기반한 감지 방법을 활용할 수 있다. 최근에는 이러한 규제 표지판을 인식하기 위한 방법으로 기계 학습 알고리즘에 기반한 방법을 많이 사용하고 있다. 그러나, 규제 표지판은 국내 고속도로의 경우, 도로변에 위치하고 있으며 도로 표지보다 크기가 작아 다른 차량에 의해 가려질 수 있으며 먼 거리에서 감지하기 어려운 문제가 있다.
이에 반하여 도로 표지판의 내부 패턴은 규제 표지판과 달리 위치에 따라 내용이 달라야 하기 때문에 다양하나 그 모양은 단순한 직사각형으로 구성되는 장점을 포함하고 있다. 따라서 전체적인 특징을 이용하는 방법보다 직사각형의 모서리 점을 추출하여 결합하여 전신을 검출하는 부분 기반 검출 방법이 더 적용 가능하다. 특히, 도로 표지판은 일반적으로 쉽게 눈에 띄고 활용이 어렵지 않기 때문에 본 발명의 일 실시예에서는 도로 표지판 또는 교통 표지판을 기반으로 설명을 실시하도록 한다. 그러나, 이에 한정하지 않고 표지판 이외의 도로 시설, 특정 건물 및/또는 조형물 등의 쉽게 인지할 수 있는 랜드마크라면 모두 활용하여 동작할 수 있다.
도 7에서 빨간색 상자와 파란색 상자는 각각의 차선에 대한 위치 가설을 기반으로 카메라에 의해 생성된 관심 영역으로서, 자기주행 차선에 대한 가설 및 자기주행 차선에 위치하지 않는 경우에 대한 가설일 수 있다.
지도에 저장된 도로 표지의 4개 꼭지점을 이미지에 투영한 후에 투영된 도로 표지의 장단 변을 함수 x(d)와 y(d)로 확장하여 관심영역을 생성할 수 있다. 여기서 여기서 d는 카메라 광축과 카메라 위치 가설에서 지도의 도로 표지판 중심까지의 벡터 사이의 내적(內積, inner product)이며, d가 짧아질수록 투영된 도로 표지의 측위 오차가 커질 수 있다. 이러한 측위 오차를 고려하기 위하여 d에 따른 측위 오차 통계에 대한 데이터베이스를 이용하여 보정할 수 있으며, 상기 함수 x(d)와 y(d)는 본 발명의 실시예에서는 정의하지 않고 데이터베이스 내의 오차 통계를 기반으로 실험적으로 설정될 수 있다.
관심 영역 설정이 완료되면 관심 영역을 자른 후에 48x48 사이즈로 크기를 조정할 수 있다. 크기가 조정된 이미지에서 HOG (Histogram of Gradients) 특성을 추출하여 SVM (Support Vector Machine)에 입력하여 ROI 내에 도로 표지판이 포함되어 있는지 여부를 확인할 수 있다.
HOG는 물체의 전체적인 모양을 표현하는 데 매우 유용하게 이용될 수 있으며, 특히 도로의 표지판 또는 교통 표지판은 형태가 단순하고 그 크기 및 모양이 표준화되어 있어 HOG르 이용하는 경우 표지판의 유무를 확인하는데 충분히 적은 계산량 만으로 판별력을 제공할 수 있다.
상기와 같은 도로 표지판의 검출은 자기주행 차선 식별을 위하여 일회만 실시하거나 모든 표지판에 대하여 검증을 실시하여 차량의 위치를 정확하게 측위할 수도 있다.
예를 들어, 모든 위치 가설에서 도로 표지까지의 평균 거리(d)가 15~50m인 곳에서 N개의 도로 표지판, 카메라 위치 가설(C), 캡쳐된 F개의 이미지 프레임이 있는 경우 자기주행 차선(ε)은 하기의 수학식 7을 이용하여 식별될 수 있다.
여기에서 Si(k, r)은 k번째 이미지에서 i번째 카메라 위치 가설의 r번째 도로 표지판에 대한 SVM 분류기의 스코어일 수 있으며, 동일하게 Sj(k, r)은 k번째 이미지에서 j번째 카메라 위치 가설의 r번째 도로 표지판에 대한 SVM 분류기의 스코어일 수 있다.
HOG 기능이 있는 SVM 분류기만 사용하여 ROI 내 도로 표지판 존재 여부를 확인하려는 경우, 카메라 위치 가설의 오차로 인한 정밀하지 않은 ROI 또는 도로 표지판과 배경의 낮은 대비로 SVM 분류기의 성능이 만족되지 않을 수 있다. 그러나, 본 발명의 일 실시예에서와 같이 자기주행 차선을 결정하는 경우에서의 해결해야 하는 문제는 특정 가설이 절대적으로 참과 거짓 여부를 판별하는 것이 아닌 복수의 가설 중 가장 좋은 가설을 선택하는 것이므로 SVM 분류기가 절대 평가를 위한 방법에서는 충분하지 않을 수 있으나, 각 가설에 대한 순위를 결정하여 정렬하는 경우에는 큰 문제 없이 활용이 가능하다.
또한, 본 발명의 일 실시예에서의 자기주행 차선 식별은 가설에 대하여 다중 분류 결과의 융합 방식을 기반으로 동작을 수행하기 때문에 차량 내에 포함되어 있는 저가형 임베디드 보드의 실시간 계산량의 처리 만으로도 오식별의 가능성이 대폭 감소시킬 수 있다.
이하에서는 본 발명의 일 실시예에서 측위 필터로 활용되는 확장 칼만 필터(Extended Kalman Filter, EKF)의 동작에 대해 설명하고자 한다.
확장 칼만 필터는 속도 운동 모델(velocity motion model)은 차량 운동을 모델링 하기 위하여 채택하고 있으며, 하기의 수학식 8을 통해 상태 예측을 수행할 수 있다.
여기에서 xt, yt 및 θt는 도 8에서와 같이 지도의 차량 좌표에 시간(t)에서의 진행 각도일 수 있고, vt, wt 및 Rt는 각각 차량 속도, 차량 각속도 및 상태 공분산 행렬일 수 있다.
또한, 센서를 통해 획득한 관측 값에 대한 관측 벡터(Zt)는 하기의 수학식 9에서와 같이 GPS의 차량 좌표, 좌우측 차선 표시로부터의 수직 방향 오프셋 및 4개의 좌우측 차선 표시의 끝점에서 수직 및 수평 방향의 오프셋()으로 구성되는 12차원의 벡터일 수 있다.
상기 관측 벡터(Zt)는 GPS로부터 획득한 차량의 좌표 정보, 카메라에서 검출된 차선 표시차선의 정보로부터 획득한 차량과 차선 표시 간의 거리 오프셋 정보 및 차선의 끝점 정보로부터 획득한 차선과 차량간의 수직 및 수평 방향 오프셋 정보를 결합하여 생성할 수 있으며, 확장 칼만 필터에서 예측된 예측 벡터(z't)와 상기 관측 벡터(Zt)간의 오차가 감소하도록 확장 칼만 필터를 업데이트 할 수 있다.
수직 방향 오프셋은 차량 주행 방향에 직각인 벡터를 따라 표시되는 차선 표시와 차량 사이의 거리를 의미할 수 있으며, 왼쪽 차선 표시에 대한 수직 방향 오프셋은 도 9에서와 같이 xL이며, 관측 벡터(zt)의 4개의 차선 끝점은 왼쪽 차선의 시작점 및 끝점, 오른쪽 차선의 시작점 및 끝점을 의미하고 있으나, 실제 주행 환경에서 4개의 차선 끝점이 모두 감지되지 않는 경우가 자주 발생할 수 있다. 따라서 감지되지 않은 지점에 대한 수직 및 수평 방향의 오프셋은 0으로 설정할 수 있으며, 이러한 오프셋을 적용하여 확장 칼만 필터에 의해 예측된 예측 벡터(z't)는 수학식 10과 같이 정리될 수 있다.
여기에서 및 은 맵에서 왼쪽 및 오른쪽 차선 표시의 선 방정식에 대한 계수이고, 은 맵에서 i 번째 차선 끝점의 좌표이며, , 는 예측 상태 변수일 수 있다.
상기 수학식 10의 비선형 방정식을 선형 방정식으로 근사하기 위하여 크기가 12x3인 야코비안 행렬(Jacobian matrix)(H)로 변환하면 수학식 11로 표현할 수 있다.
상기와 같은 확장 칼만 필터는 단일 또는 복수의 트랙 모드로 동작을 할 수 있으며, 도 10을 참조하여 본 발명의 일 실시예에 대한 차량의 측위 방법에 대한 확장 칼만 필터의 상태 변화를 설명하도록 한다.
대기(ready) 상태에서는 GPS, IMU, 카메라 등의 차량 내의 시스템에 설치된 모든 센서가 정상적인 동작을 수행하고 있는지 여부를 확인할 수 있다. 모든 센서가 정상적인 동작을 수행하고 있다고 판단되면 멀티 트랙 확장 칼만 필터 상태로 확장 칼만 필터를 멀티 트랙 모드로 전환한 후에 1Hz에서 GPS 신호를 수신하고 10Hz에서 카메라 이미지 내의 차선 표시 및 차선 끝점을 감지할 수 있다. 멀티 트랙 모드 상태에서는 자기주행 차선을 검출할 수 없으므로, 도 11에서와 같이 차선 끝점을 활용하여 차선 내 측위를 통해 각 차선에 대한 위치 가설을 생성하고, 각각의 가설 별로 멀티 트랙 모드의 각 트랙을 할당할 수 있다.
트랙이 할당된 가설 별로 위치 가설을 추적하는 동안 차량 전방 50m 이내에 랜드마크가 확인되면 확장 칼만 필터를 검색(Searching) 상태로 변환할 수 있다. 검색 상태에서는 검색 상태에서는 상기 개시한 바와 같이 위치 가설에서 도로 표지까지의 거리가 15~50m 내에 랜드마크가 식별되면 상기 랜드마크를 이용한 차량의 위치를 결정하는 방법을 통해 자기주행 차선을 식별하고, 싱글 트랙 확장 칼만 필터 상태로 변환하며 차량의 위치를 출력할 수 있다. 이후 전방의 랜드마크가 발생하면 다시 검색 상태로 변환 후 싱글 트랙 확장 칼만 필터 상태로 변환하는 순환 변환 방법을 통해 차량의 위치를 지속적으로 추적할 수 있다.
상기 순환 변환을 구체적으로 설명하면, 싱글 트랙 확장 칼만 필터 상태로 변환한 이후에 전방 50m 이내에 다른 랜드마크가 관찰될 때까지 싱글 트랙 확장 칼만 필터 상태를 유지하며 차량의 위치를 측위할 수 있다. 전방에 랜드마크가 관찰되면 자기주행 차선의 재식별을 실시할 수 있으며, 실시 방법은 상기 멀티 트랙 확장 칼만 필터의 동작과 동일한 방식으로 수행될 수 있다.
재식별에서 최적의 카메라 가설과 싱글 트랙 확장 칼만 필터 예측 거리가 1.5m 미만인 경우 시스템은 단일 트랙 확장 칼만 필터로 복귀하고, 1.5m 이상인 경우 시스템은 확장 칼만 필터에 드리프트가 발생하였다고 가정하고, 싱글 트랙 확장 칼만 필터를 초기화한 후에 최상의 위치 가설을 선택하기 위하여 멀티 트랙 확장 칼만 필터로 회귀하여 최상의 위치 가설을 다시 선택하여 시스템에서 출력할 수 있다.
도 11은 상기 도 10에서 설명한 상태 변화에 따른 도로에서의 차량 움직임에 대한 설명을 위한 도면이다.
차량이 멀티 트랙 확장 칼만 필터 상태로 변환하면 복수의 위치 가설을 설정하고, 15m~50m 내(35m 전후)에 제1 도로 표지판이 검출되면, 멀티 트랙 확장 칼만 필터 상태를 검색 상태로 변환하고, 위치 가설 중 차량이 위치할 확률이 가장 높은 트랙을 선택하여 싱글 트랙 확장 칼만 필터 모드로 변환 후에 선택된 트랙을 차량 측위 결과로 제공할 수 있다.
또한, 싱글 트랙 확장 칼만 필터 상태로 변환하여 측위 결과를 제공한 후에 지속적인 주행 중 전방에서 제2 도로 표지판이 검출되면, 다시 검색 상태로 변환하여 차량의 측위를 수행할 수 있다. 다만, 싱글 트랙 확장 칼만 필터 상태에서 검색 상태로 변환하는 경우에는 멀티 트랙 확장 칼만 필터 상태와는 다르게 복수의 위치 가설에 대하여 확률적으로 차량의 측위를 평가하는 것이 아닌 싱글 트랙 확장 칼만 필터 상태에서 도로 표지판의 위치를 평가하여 측위가 올바르게 유지되고 있는지를 평가하여 측위 결과를 제공할 수 있다.
도 12는 본 발명의 일 실시예에 따른 차량의 정밀 측위 장치를 나타내는 블록도이다.
본 발명의 일 실시예에서의 차량의 정밀 측위 장치는 센서부(100), 차선 검출부(200), 가설 생성부(300), 데이터베이스(400), 위치 결정부(500)을 포함하여 구성될 수 있다.
센서부(100)는 GPS, 가속도 센서, 각 속도 센서, 요 레이트 센서 등 현재 주행중인 차량에 기본적으로 설치되어 있는 센서들 및 카메라를 포함하여 구성될 수 있으며, 차량의 주행 정보를 획득할 수 있는 센서라면 제한 없이 활용될 수 있다.
센서부(100)에서 기본 센싱 정보가 획득되면 단일 트랙 확장 칼만 필터(Extended Kalman Filter, EKF)에 기본 센싱 정보를 입력하여 자기 위치(ego-position)에 대한 초기 차량 위치를 예측할 수 있다. 다만, 차량의 주행 정보만을 이용하여 차량의 위치를 추정하는 경우, GPS 특성 등 센서의 센싱 오차에 따라 정확한 측위에는 어려움이 있으며, 실제 도 2의 (a)와 같이 복수의 차선에 걸쳐 차량의 위치를 설정하게 되어 정확한 위치를 특정할 수 없다.
상기 문제를 해결하기 위하여 차선 검출부(200)는 차선의 표시 및 차선의 끝점(시작점)을 검출할 수 있다.
차선 검출부(200)는 차량에 설치된 카메라를 이용하여 동작을 수행하며, 차량 전방의 이미지를 이용하여 차량 전방의 차선에 대한 표시 및 차선의 끝점을 획득할 수 있다.
획득한 이미지는 차선이 존재할 것으로 예측되는 부분을 관심 영역으로 지정하고, 관심 영역 내에서 탑햇 필터(top-hat filter)를 이용해 차선 후보 픽셀을 추출할 수 있다.
차선 후보 픽셀에 대해 RANSAC (Random Sample Consensus)을 이용하여 차선 표시를 감지하면 도 3의 (b)와 같이 차선 표시를 검출할 수 있다.
검출된 차선 표시에 대한 상기 탑햇 필터 결과 프로필을 획득하고, 결과 프로필에 대해 미분을 실시하여 미분 결과에 대한 로컬 최대 값과 최소 값을 차선 표시 세그먼트에서 각각 시작점과 끝점의 후보로 설정할 수 있다.
도 3의 (c)는 상기 차선 표시 세그먼트에서 각각 시작점과 끝점이 후보로 설정한 것을 나타내며, 도 3의 (d)는 시작점과 끝점 후보의 인접 영역에서 추출된 HOG (Histogram of Gradient) 특성을 활용하여 SVM(Support Vector Machine)에 의해 필터링한 결과를 보여주는 것으로, 필터링 결과 값을 기반으로 차선의 끝점을 검출할 수 있다.
가설 생성부(300)는 초기 차량 위치, 차선 표시 및 차선 끝점과 데이터베이스(400)에 저장되어있는 지도의 지점 간 대응 관계를 차선 기반으로 변환하여 복수의 차선에 대한 차량 위치 가설을 생성할 수 있다.
도 6은 상기 수학식을 이용한 카메라 가설 생성 결과에 대한 예시로서, 도 6의 왼쪽 이미지는 카메라에서 획득한 차선 이미지에서 차선 끝점을 표한한 것이고, 오른쪽 이미지는 라이다(Lidar) 포인트 클라우드에 표시된 지도 및 차량의 위치 가설 정보를 보여주고 있으며, 노면의 속이 빈 원(hollow circles)은 카메라의 위치 가설, 별표 및 원은 차선의 시작점 및 끝 점이다.
가설 생성부(300)는 확장 칼만 필터(Extended Kalman Filter, EKF)를 이용하여 동작을 수행할 수 있으며, 특히, 본 발명의 일 실시예에서는 멀티 트랙 확장 칼만 필터 상태를 활용하여 확장 칼만 필터를 멀티 트랙 방식으로 동작을 수행하며, 멀티 트랙은 각 차선 별 위치 가설에 각각 할당하여 동작을 수행할 수 있다.
복수의 위치 가설이 형성되면 위치 결정부(500)는 복수의 위치 가설 중 어느 하나를 선택하여 최종 차량의 위치로 결정할 수 있다.
위치 결정부(500)는 위치 가설 중 어느 하나의 가설을 선택하기 위하여 데이터베이스(400)에 포함된 도로 주변의 랜드마크 정보를 활용할 수 있으며, 본 발명의 일 실시예에서는 도로 표지판을 활용하는 방법으로 설명하고자 하나, 이에 한정된 것은 아니며 도로 표지판 이외의 도로 시설, 특정 건물 및/또는 조형물 등의 쉽게 인지할 수 있는 랜드마크라면 모두 활용하여 동작할 수 있다.
도로 표지판의 내부 패턴은 규제 표지판과 달리 위치에 따라 내용이 달라야 하기 때문에 다양하나 그 모양은 단순한 직사각형으로 구성되는 장점을 포함하고 있다. 따라서 전체적인 특징을 이용하는 방법보다 직사각형의 모서리 점을 추출하여 결합하여 전신을 검출하는 부분 기반 검출 방법이 더 적용 가능하다. 특히, 도로 표지판은 일반적으로 쉽게 눈에 띄고 활용이 어렵지 않은 장점이 있다.
위치 결정부(500)는 차량의 카메라를 활용하여 전방의 영상을 획득하고, 획득한 영상 내에서 도로 표지판이 존재할 것으로 예측되는 부분을 관심 영역으로 설정할 수 있다.
도 7에서 빨간색 상자와 파란색 상자는 각각의 차선에 대한 위치 가설을 기반으로 카메라에 의해 생성된 관심 영역으로서, 자기주행 차선에 대한 가설 및 자기주행 차선에 위치하지 않는 경우에 대한 가설일 수 있다.
지도에 저장된 도로 표지의 4개 꼭지점을 이미지에 투영한 후에 투영된 도로 표지의 장단 변을 함수 x(d)와 y(d)로 확장하여 관심영역을 생성할 수 있다. 여기서 여기서 d는 카메라 광축과 카메라 위치 가설에서 지도의 도로 표지판 중심까지의 벡터 사이의 내적(內積, inner product)이며, d가 짧아질수록 투영된 도로 표지의 측위 오차가 커질 수 있다. 이러한 측위 오차를 고려하기 위하여 d에 따른 측위 오차 통계에 대한 데이터베이스를 이용하여 보정할 수 있으며, 상기 함수 x(d)와 y(d)는 본 발명의 실시예에서는 정의하지 않고 데이터베이스 내의 오차 통계를 기반으로 실험적으로 설정될 수 있다.
관심 영역 설정이 완료되면 관심 영역을 자른 후에 48x48 사이즈로 크기를 조정할 수 있다. 크기가 조정된 이미지에서 HOG (Histogram of Gradients) 특성을 추출하여 SVM (Support Vector Machine)에 입력하여 ROI 내에 도로 표지판이 포함되어 있는지 여부를 확인할 수 있다.
HOG는 물체의 전체적인 모양을 표현하는 데 매우 유용하게 이용될 수 있으며, 특히 도로의 표지판 또는 교통 표지판은 형태가 단순하고 그 크기 및 모양이 표준화되어 있어 HOG르 이용하는 경우 표지판의 유무를 확인하는데 충분히 적은 계산량 만으로 판별력을 제공할 수 있다.
상기와 같은 도로 표지판의 검출은 자기주행 차선 식별을 위하여 일회만 실시하거나 모든 표지판에 대하여 검증을 실시하여 차량의 위치를 정확하게 측위할 수도 있다.
HOG 기능이 있는 SVM 분류기만 사용하여 ROI 내 도로 표지판 존재 여부를 확인하려는 경우, ROI의 큰 측위 오류 또는 도로 표지판과 배경의 낮은 대비로 분류 성능이 만족되지 않을 수 있다. 그러나, 본 발명의 일 실시예에서와 같이 자기주행 차선을 결정하는 경우에서의 해결해야 하는 문제는 특정 가설이 절대적으로 참과 거짓 여부를 판별하는 것이 아닌 복수의 가설 중 가장 좋은 가설을 선택하는 것이므로 SVM 분류기가 절대 평가를 위한 방법에서는 충분하지 않을 수 있으나, 각 가설에 대한 순위를 결정하여 정렬하는 경우에는 큰 문제 없이 활용이 가능하다.
또한, 본 발명의 일 실시예에서의 자기주행 차선 식별은 가설에 대하여 다중 분류 결과의 융합 방식을 기반으로 동작을 수행하기 때문에 차량 내에 포함되어 있는 저가형 임베디드 보드의 실시간 계샨량의 처리 만으로도 오식별의 가능성이 대폭 감소시킬 수 있다.
상기와 같은 본 발명의 일 실시예를 통한 차량의 정밀 측위 장치 및 방법은 전체 이미지에서 도로 표지판을 감지하는 대신 지도를 활용하여 생성된 관심영역 내의 도로 표지 존재 유무를 검증함으로써 오류 발생 확률이 상대적으로 낮은 것을 확인할 수 있었으며, 일회성 검증이 아닌 순차적인 이미지 프레임에 검증을 융합하여 자기주행 차선을 식별함으로써 식별 정확도가 매우 높은 것을 확인할 수 있었다.
특히, 자기주행 차선 식별은 카메라 가설을 절대적으로 평가하는 것이 아닌 상대적으로 평가함으로써 잘못된 식별로 인한 측위 오류가 거의 발생하지 않음을 확인할 수 있었다.
상기 데이터 세트 중 터널 및 교량 구간에서는 차선의 시작점과 끝점이 존재하지 않아 측위에 오차가 발생할 수 있다.
본 발명의 일 실시예에서는 실선으로 차선이 구분되는 터널 및 교량과 같은 지역에서는 GPS 신호, 차량 속도, 요 레이트 및 차선 표시에 대한 수직 방향 오프셋을 포함한 확장 칼만 필터 입력으로 카메라 위치를 추정할 수 있다. 이 구간에서는 수평 방향의 오프셋을 제공할 수 없으므로 측위 오차를 줄이기 위하여 GPS 외에는 방법이 없으며, 구간이 길이가 길어질수록 수평 방향의 오차가 커질 수 있는 문제가 발생할 수 있다. 특히, 터널의 경우에는 GPS 신호마저 차단되기 때문에 예상 위치가 수평 방향으로 크게 이동하여 오차가 커지게 될 수 있는 문제가 있다.
본 발명의 일 실시예에서는 이러한 오차글 감소시키기 위하여 터널과 같이 실선으로 차선이 표시되는 동시에 GPS 신호가 차단되는 경우, 터널 진입 전 확인한 자기주행 차선을 유지하는 한편, 터널을 빠저나간 직후 즉시 발생하는 차선 끝점에 대해 멀티 트랙 확장 칼만 필터 상태로 상태를 변경한 후 감지하여 수평 방향 오프 셋을 확보함으로써 오류를 제가할 수 있다.
본 발명의 일 실시예에서의 차량의 정밀 측위 방법은 이전의 측위 방법에 비하여 하기와 같은 이유로 인하여 상대적으로 작은 오류율을 가질 수 있다.
첫째, 본 발명의 일 실시예에서의 차량의 정밀 측위 방법은 차선 끝점에서 추정된 차량 측위이며, 확장 칼만 필터의 상태는 이러한 측위를 기반으로 직접 업데이트 되어 정밀한 측위를 제공할 수 있다.
그러나, 종래의 방법에서 사용된 파티클 필터(particle filter)는 차선 끝점에 대하여 직접 업데이트 되지 않으며, 파티클의 관찰을 유지하려 하는 경향이 있습니다. 따라서, 잔존하는 파티클 입자가 적은 경우 위치 결정 정확도가 급격하게 감소하는 경향이 있습니다.
둘째, 본 발명의 일 실시예에서는 참 양성(true positives)과 측정 위치간의 대응은 단봉형(unimodal)의 확률 분포를 나타내며 본 발명의 실시 예에서는 오차 발생과 관련하여 확장 칼만 필터를 이용하여 오차를 줄임으로써 보다 정확한 측위를 수행할 수 있습니다.
카메라 실측자료를 사용하더라도 탐지된 차선 끝점 간의 참 양성이 맵상에 정확하게 대응되지 않아 측정 오차가 발생할 수 있습니다.
본 발명의 확장 칼만 필터는 차선 끝점이 감지되면 차선 끝점에 대한 파티클만을 남기고 삭제되며, 또한 도로 표지판이 감지되면 자기 차량에서 도로 표지판 중심점까지 선상에 있는 파티클만을 제외하고 제거함으로써 불필요한 파티클을 제거할 수 있습니다. 그러나, 만일 거짓(Negative) 파티클이 제거되지 않는 경우 및 도로 표지판을 잘못 감지하는 경우 자기 차량에 가까운 입자의 가중치가 감소됨으로써 자연스럽게 불필요하거나 거짓 파티클이 제거될 수 있어 정확한 측정 결과를 제공할 수 있습니다.
셋째, 본 발명의 일 실시예는 전체 이미지에서 도로 표지판을 감지하는 대신 지도를 활용하여 생성된 관심영역 내의 도로 표지판의 존재 여부만을 검증하기 때문에 오류 발생 확률 및 계산량을 감소시킬 수 있습니다. 또한, 일회의 검증 후 검증을 종료하는 것이 아닌 순차적인 이미지 프레임에 대하여 지속적으로 검증을 수행하여 융합하여 자기주행 차선을 식별함으로써 오류 발생 확률을 대폭 감소시킬 수 있습니다.
넷째, 자기주행 차선 식별은 카메라 가설을 절대평가하여 자기주행 차선을 확정하는 것이 아닌 상대적으로 평가하기 때문에 잘못된 식별이 발생할 확률을 감소시킬 수 있습니다.
상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다.
따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 센서부
200: 차선 검출부
300: 가설 생성부
400: 데이터베이스
500: 위치 결정부

Claims (10)

  1. 차량 내부의 복수의 센서에서 취득한 센싱 정보를 획득하는 단계;
    확장 칼만 필터(Extended Kalman filter, EKF)를 기반으로 상기 센싱 정보를 이용하여 초기 차량 위치를 예측하는 단계;
    상기 차량 내 카메라로 촬영된 영상에서 차선의 끝 점을 검출하는 단계;
    상기 차선의 끝 점 정보를 이용하여 상기 차선 내 측위로 각 차선에 대한 위치 가설을 생성하는 단계; 및
    상기 가설 별로 상기 카메라 영상 내의 랜드마크를 기반으로 상기 가설 별 순위를 결정하여 가장 우선순위의 상기 가설을 상기 차량의 위치를 결정하는 단계;
    를 포함하는 차량의 정밀 측위 방법.
  2. 제1항에 있어서,
    차선의 끝 점을 검출하는 단계는,
    차선 폭으로 정의된 관심 영역을 설정하는 단계;
    탑햇 필터(top-hat filter)를 이용하여 차선 후보 픽셀을 추출하는 단계;
    RANSAC (Random Sample Consensus)을 이용하여 차선 표시를 감지하는 단계;
    상기 차선 표시를 따라 상기 탑햇 필터 결과 프로필을 획득하는 단계; 및
    상기 결과 프로필을 미분하여 로컬 최대 값과 최소 값을 차선 끝 점으로 인지하는 단계;
    를 포함하는 차량의 정밀 측위 방법.
  3. 제1항에 있어서,
    위치 가설을 생성하는 단계는,
    상기 차선 끝 점이 감지된 지점과 맵에 저장된 지점 간에 위치 대응 관계를 획득하는 단계;
    상기 대응 관계를 기반으로 상기 카메라의 전역 측위를 추정하는 단계;
    상기 전역 측위를 바탕으로 상기 초기 차량 위치 내에 포함되는 차선 각각에 대해 차선 내 상대 측위를 추정하는 단계; 및
    상기 확장 칼만 필터를 멀티 트랙 모드로 동작하여 상기 위치 가설 별로 상기 멀티 트랙을 할당하여 상기 가설을 추적하는 단계;
    를 포함하는 차량의 정밀 측위 방법.
  4. 제3항에 있어서,
    상기 상대 측위를 추정하는 단계는,
    상기 맵을 좌표계로 변환하는 단계;
    상기 차선 끝 점과 상기 좌표계를 매칭한 맵 좌표계를 생성하는 단계;
    상기 맵 좌표계에서 노면의 법선 벡터와 상기 카메라의 광축을 추정하는 단계; 및
    상기 법선 벡터와 상기 광축을 기반으로 각 차선에 대한 상기 위치 가설을 계산하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량의 정밀 측위 방법.
  5. 제1항에 있어서,
    상기 차량 위치를 결정하는 단계는,
    맵에서 랜드마크 정보를 획득하는 단계;
    상기 카메라에서 촬영된 영상 내에 포함된 상기 랜드마크의 외곽선을 추출하는 단계;
    상기 카메라에서 촬영된 영상에 대하여 상기 랜드마크의 높이와 평행한 위치로 상기 위치 가설 별 관심 영역을 설정하는 단계;
    상기 관심 영역 내의 상기 외곽선을 검출하는 단계;
    상기 검출 결과를 기반으로 상기 위치 가설별 순위를 지정하는 단계; 및
    상기 순위에 따라 상기 차량의 위치를 결정하는 단계;
    를 포함하는 것을 특징으로 하는 차량의 정밀 측위 방법.
  6. 제5항에 있어서,
    상기 외곽선을 검출하는 단계는,
    상기 관심 영역의 크기를 조절하는 단계;
    상기 크기가 조절된 영상에서 HOG(Histogram of Gradients) 특징을 추출하는 단계; 및
    상기 특징을 SVM(Support Vector Machine)에 인가하여 상기 랜드마크의 포함 여부를 확인하는 단계;
    를 포함하는 것을 특징으로 하는 차량의 정밀 측위 방법.
  7. 제1항에 있어서,
    상기 랜드마크는 도로 상부 또는 측면에 위치하며, 원형, 삼각형, 사각형 중 어느 한 형태의 도로표지판 또는 전광판인 것을 특징으로 하는 차량의 정밀 측위 방법.
  8. 차량의 주행 정보를 획득하는 센서부;
    상기 차량 전방의 차선 표시 및 차선의 끝점을 검출하는 차선검출부;
    상기 주행 정보, 상기 차선 표시 및 상기 차선의 끝점을 기반으로 각 차선에 대한 위치 가설을 생성하는 가설 생성부;
    상기 차량이 주행하는 도로의 정보가 저장된 데이터베이스; 및
    상기 데이터 베이스 내의 도로 표지판 존재 여부를 기반으로 상기 센서부에서 상기 차량 전방의 상기 도로 표지판의 존재 여부를 감지하여 상기 위치 가설 중 어느 하나를 선택하는 위치 결정부;
    를 포함하는 차량의 정밀 측위 장치.
  9. 제8항에 있어서,
    상기 가설 생성부는 확장 칼만 필터를 기반으로 위치 가설을 생성하며, 상기 확장 칼만 필터는 상기 각 차선 별로 멀티 트랙 상태로 동작하여 각 트랙을 분배하고,
    상기 위치 결정부는 상기 멀티 트랙 상태 중 어느 하나의 트랙을 선택하여 싱글 트랙 상태로 동작하는 것을 특징으로 하는 차량의 정밀 측위 장치.
  10. 제8항에 있어서,
    상기 위치 결정부는 상기 위치 가설 중 상기 도로 표지판의 감지 여부에 따라 순위를 결정하여 최상위 순위의 가설을 상기 차량의 위치로 결정하는 것을 특징으로 하는 차량의 정밀 측위 장치.
KR1020210117655A 2020-11-10 2021-09-03 차량의 정밀 측위 방법 및 장치 KR102603877B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200149150 2020-11-10
KR1020200149150 2020-11-10

Publications (2)

Publication Number Publication Date
KR20220063716A KR20220063716A (ko) 2022-05-17
KR102603877B1 true KR102603877B1 (ko) 2023-11-21

Family

ID=81803342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117655A KR102603877B1 (ko) 2020-11-10 2021-09-03 차량의 정밀 측위 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102603877B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053757A (ja) * 2004-08-11 2006-02-23 Honda Motor Co Ltd 平面検出装置及び検出方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658089B1 (ko) * 2011-08-04 2016-09-30 엘지전자 주식회사 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치
KR102541559B1 (ko) 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR102100047B1 (ko) * 2018-09-04 2020-04-10 한국교통대학교산학협력단 차선 끝점 검출 알고리즘을 이용한 차량 위치 인식 시스템 및 상기 차선 끝점 검출 알고리즘의 성능을 평가하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053757A (ja) * 2004-08-11 2006-02-23 Honda Motor Co Ltd 平面検出装置及び検出方法

Also Published As

Publication number Publication date
KR20220063716A (ko) 2022-05-17

Similar Documents

Publication Publication Date Title
US11276195B2 (en) Using mapped elevation to determine navigational parameters
EP4145393B1 (en) Vehicle localization
US11294392B2 (en) Method and apparatus for determining road line
US10118614B2 (en) Detailed map format for autonomous driving
US9921585B2 (en) Detailed map format for autonomous driving
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
US9587948B2 (en) Method for determining the absolute position of a mobile unit, and mobile unit
JP2022535351A (ja) 車両ナビゲーションのためのシステム及び方法
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
US11280630B2 (en) Updating map data
EP3842751B1 (en) System and method of generating high-definition map based on camera
WO2020242945A1 (en) Systems and methods for vehicle navigation based on image analysis
JP7172441B2 (ja) 進行可能方向検出装置及び進行可能方向検出方法
Rieken et al. Toward perception-driven urban environment modeling for automated road vehicles
EP2052208A2 (en) Determining the location of a vehicle on a map
CN111091037A (zh) 用于确定驾驶信息的方法和设备
WO2021011617A1 (en) Reducing stored parameters for a navigation system
US20230341239A1 (en) Systems and methods for road segment mapping
JP2004265432A (ja) 走行環境認識装置
Kasmi et al. End-to-end probabilistic ego-vehicle localization framework
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
KR102603877B1 (ko) 차량의 정밀 측위 방법 및 장치
KR101706455B1 (ko) 도로표지판 검출 기반 주행 차로 추정 방법 및 장치
Belaroussi et al. Vehicle attitude estimation in adverse weather conditions using a camera, a GPS and a 3D road map

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant