KR102273355B1

KR102273355B1 - 차량 주행 정보의 보정 장치 및 방법

Info

Publication number: KR102273355B1
Application number: KR1020170077784A
Authority: KR
Inventors: 이성수
Original assignee: 현대모비스 주식회사
Priority date: 2017-06-20
Filing date: 2017-06-20
Publication date: 2021-07-06
Also published as: KR20180137904A

Abstract

본 발명은 차량 주행 정보의 보정 장치 및 방법에 관한 것으로, 적어도 하나 이상의 센서를 이용해 차량의 주행 정보를 센싱하는 센서부; 적어도 하나 이상의 카메라를 이용해 차량 주변의 영상을 촬영하여 이 영상으로부터 도로 정보를 검출하기 위한 영상 촬영부; 및 상기 영상 촬영부를 통해 촬영된 영상에서 검출한 도로 정보에 기초하여 차량의 움직임 정보를 추정하고, 이 움직임 정보를 바탕으로 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 제어부;를 포함한다.

Description

차량 주행 정보의 보정 장치 및 방법{APPARATUS FOR CORRECTING VEHICLE DRIVING INFORMATION AND METHOD THEREOF}

본 발명은 차량 주행 정보의 보정 장치 및 방법에 관한 것으로, 보다 상세하게는 추측항법에 기초한 차량의 주행 정보 추정 시, 영상 인식에 의한 차량의 주행 정보를 검출하여 이 주행 정보를 바탕으로 상기 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 차량 주행 정보의 보정 장치 및 방법에 관한 것이다.

일반적으로 항공기, 선박 및 차량 등과 같은 이동체로 위치 정보 및 경로 정보를 제공하여 이동체를 목적지로 유도하는 항법 시스템(navigation system)에서는 우선 이동체의 정확한 위치를 판별하는 것이 중요하다.

이에 따라 현재 대부분의 항법 시스템은 인공위성 네트워크를 이용해 지상에 있는 목표물의 위치를 정확히 추적하는 위성측위시스템(Global Navigation Satellite System : 이하 GNSS)이 기본적으로 이용되고 있다. 상기 GNSS는 미국의 위성위치 측정시스템(GPS : Global Positioning System), 러시아의 GLONASS(Global Navigation Satellite System), 유럽의 GALILEO(Europian Satellite Navigation System) 및 중국의 Beidou(北斗, Compass) 등의 위성을 이용하는 다양한 위치 측정 시스템을 통합한 명칭이다.

상기 GNSS는 위성을 이용하여 위치를 판별하므로, 위치, 속도, 시간 정보를 시간 및 공간에 구애받지 않고 용이하게 획득할 수 있으며, 다른 항법 시스템에 비해 비교적 안정적인 시스템으로 구분되지만, 시계의 오프셋, 대기나 전리층의 영향, 다중 경로 및 수신기 잡음 등에 의해 위치 정보에 오차가 발생하거나, 장애물로 인해 위성 신호를 수신하지 못하여 위치를 판별하지 못하는 경우가 발생할 수 있다.

이에 따라 현재 항법 시스템은 GNSS 만을 단독으로 이용하는 경우보다는 다른 시스템과 결합되어 사용하는 경우가 많다. 이렇게 GNSS와 결합되어 사용되는 시스템으로서, 각종 센서들의 센싱 값을 이용한 추측항법(Dead Reckoning : 이하 DR)이 있다. 상기 추측항법(DR)은 위치설정과 네비게이션에 활용되는 일반적인 기술로서, 통상적으로 터널이나 지하주차장 등의 GNSS 신호를 수신할 수 없는 음영구간 진입 시 이동체의 위치와 경로 데이터를 관성 센서를 이용하여 획득한다.

그런데 이러한 추측항법(DR)은 적용 시간이 길어짐에 따라 센서들의 드리프트 오차가 무한대로 누적되며, 음영구간 진출 시에도 신뢰성 있는 GNSS 데이터(또는 GNSS 수신 정보)를 수신하기 전까지는 계속해서 추측항법(DR)이 적용되기 때문에 오차(예 :위치정보 및 헤딩오차)가 계속 누적되는 문제점이 있다. 따라서 GNSS 기반 추측항법(DR) 시스템에서는 음영구간의 주행 상황에 따라 신뢰성 있는 GNSS 데이터(또는 GNSS 수신 정보)를 빠르게 이용하여 이동체의 위치정보 및 헤딩오차를 신속하게 보정할 수 있도록 하는 방법이 요구되고 있다.

최근 차선 이탈 자동 복귀 시스템(LKAS : Lane Keeping Assist System, 차량 운전자가 졸음 운전을 하거나 부주의로 차선을 벗어날 경우에 차가 자동으로 운전대를 돌려 원위치로 복귀시키는 시스템), 상기 LKAS 주행 조향보조 시스템에 추가되는 고속도로 주행지원 시스템(HDA : Highway Driving Assist), 및 무인 자율 주행 시스템이 적용된 차량이 증가되고 있는 추세여서 추측항법(DR)에 기반한 차량 위치 추정의 정확도를 높이기 위한 방법이 더욱 요구되고 있다.

본 발명의 배경기술은 대한민국 등록특허 10-1535873호(2015.07.06.등록, 위성측위시스템과 추측 항법을 융합한 차량 위치 추정 시스템 및 방법)에 개시되어 있다.

본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 추측항법에 기초한 차량의 주행 정보 추정 시, 영상 인식에 의한 차량의 주행 정보를 검출하여 이 주행 정보를 바탕으로 상기 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 차량 주행 정보의 보정 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 일 측면에 따른 차량 주행 정보의 보정 장치는, 적어도 하나 이상의 센서를 이용해 차량의 주행 정보를 센싱하는 센서부; 적어도 하나 이상의 카메라를 이용해 차량 주변의 영상을 촬영하여 이 영상으로부터 도로 정보를 검출하기 위한 영상 촬영부; 및 상기 영상 촬영부를 통해 촬영된 영상에서 검출한 도로 정보에 기초하여 차량의 움직임 정보를 추정하고, 이 움직임 정보를 바탕으로 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 제어부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 센서부는, 적어도 휠속도 센서, 및 요 레이트 센서를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 영상 촬영부를 통해 촬영된 영상에서, 적어도 점선 형태의 차선, 정지선, 및 도로 마커를 도로 정보로서 검출하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 영상 촬영부를 통해 촬영된 영상에서 도로 정보를 검출하거나 인식한 결과를 이용하여 차량의 움직임 정보를 추정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 영상에서 도로 정보를 검출하거나 인식한 결과를 이용해 추정한 차량의 움직임 정보, 및 상기 센서부를 통해 센싱한 주행 정보에 기초한 추측항법을 이용해 추정한 차량의 움직임 정보 간의 차이를 이용하여 상기 휠속도 값의 스케일링 팩터를 보정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 제1 시간(k)에서의 도로 정보 및 제2 시간(k+1)에서의 도로 정보를 검출하여 정합시킴으로써, 상기 도로 정보를 정합하기 위하여 상기 제1 시간(k)에서의 도로 정보를 상기 제2 시간(k+1)에서의 도로 정보로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 추정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 상기 도로 정보를 정합하기 위하여, 상기 검출한 각 도로 정보를 탑뷰 형태로 변환한 후 차량 좌표계로 변환하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차량 좌표계는, 차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는, 추측항법 기반 차량 움직임({△X, △Y, △θ}) 정보와 영상에서 검출된 도로 정보에 기초하여 차량 움직임({△X, △Y, △θ}) 정보를 산출하고, 상기 추측항법 기반 차량 움직임 정보를 계산할 때 상기 영상에서 검출된 도로 정보에 기초하여 산출된 차량 움직임과의 오차를 최소화할 수 있도록 argmin 함수에 적용하여 휠속도 스케일링 팩터를 보정하는 것을 특징으로 한다.

본 발명의 다른 측면에 따른 차량 주행 정보의 보정 방법은, 제어부가 영상 촬영부를 통해 차량 주변의 영상을 촬영하여 이 영상으로부터 도로 정보를 검출하는 단계; 상기 제어부가 상기 영상으로부터 검출한 도로 정보에 기초하여 차량의 움직임 정보를 추정하는 단계; 및 상기 제어부가 상기 움직임 정보를 바탕으로 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 영상으로부터 도로 정보를 검출하는 단계에서, 상기 제어부는, 적어도 점선 형태의 차선, 정지선, 및 도로 마커를 도로 정보로서 검출하는 것을 특징으로 한다.

본 발명에 있어서, 상기 휠속도 값의 스케일링 팩터를 보정하는 단계에서, 상기 제어부는, 상기 영상에서 도로 정보를 검출하거나 인식한 결과를 이용해 추정한 차량의 움직임 정보, 및 센서부를 통해 센싱한 주행 정보에 기초한 추측항법을 이용해 추정한 차량의 움직임 정보 간의 차이를 이용하여 상기 휠속도 값의 스케일링 팩터를 보정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 차량의 움직임 정보를 추정하는 단계에서, 상기 제어부는, 제1 시간(k)에서의 도로 정보 및 제2 시간(k+1)에서의 도로 정보를 검출하여 정합시킴으로써, 상기 도로 정보를 정합하기 위하여 상기 제1 시간(k)에서의 도로 정보를 상기 제2 시간(k+1)에서의 도로 정보로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 추정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 도로 정보를 정합하기 위하여, 상기 제어부는, 상기 검출한 각 도로 정보를 탑뷰 형태로 변환한 후 차량 좌표계로 변환하는 것을 특징으로 한다.

본 발명에 있어서, 상기 휠속도 값의 스케일링 팩터를 보정하는 단계에서, 상기 제어부는, 추측항법 기반 차량 움직임({△X, △Y, △θ}) 정보와 영상에서 검출된 도로 정보에 기초하여 차량 움직임({△X, △Y, △θ}) 정보를 산출하고, 상기 추측항법 기반 차량 움직임 정보를 계산할 때 상기 영상에서 검출된 도로 정보에 기초하여 산출된 차량 움직임과의 오차를 최소화할 수 있도록 argmin 함수에 적용하여 휠속도 스케일링 팩터를 보정하는 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 추측항법에 기초한 차량의 주행 정보 추정 시, 영상 인식에 의한 차량의 주행 정보를 검출하여 이 주행 정보를 바탕으로 상기 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 차량 주행 정보의 보정 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 영상 촬영부를 통해 촬영된 영상으로부터 인식하는 도로 정보를 보인 예시도.
도 3은 상기 도 1에 있어서, 추측항법에 의한 차량 움직임 정보를 계산하는 방법을 설명하기 위한 예시도.
도 4는 본 발명의 제1 실시예에 따른 차량 주행 정보의 보정 방법을 설명하기 위한 예시도.
도 5는 상기 도 4에 있어서, 영상으로부터 차선을 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도.
도 6은 본 발명의 제2 실시예에 따른 차량 주행 정보의 보정 방법을 설명하기 위한 예시도.
도 7은 상기 도 6에 있어서, 영상으로부터 정지선을 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도.
도 8은 본 발명의 제3 실시예에 따른 차량 주행 정보의 보정 방법을 설명하기 위한 예시도.
도 9는 상기 도 8에 있어서, 영상으로부터 도로마커를 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도.
도 10은 본 실시예에 따른 휠속도 관련 스케일링 팩터에 대한 보정을 수행할 경우에 추측항법에 기반한 차량 위치 추정의 정확도가 향상되는 효과를 종래와 비교하여 설명하기 위하여 보인 예시도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 차량 주행 정보의 보정 장치 및 방법의 일 실시예를 설명한다.

이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 차량 주행 정보의 보정 장치의 개략적인 구성을 보인 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 차량 주행 정보의 보정 장치는, GPS 수신부(110), 센서부(120), 영상 촬영부(130), 제어부(140), 및 주행 정보 출력부(150)를 포함한다.

상기 GPS 수신부(110)는 안테나(GPS Antenna)(미도시)를 통해 GPS 데이터(또는 GPS 수신 정보)를 위성으로부터 위성 신호를 수신한다. 본 실시예에서 상기 GPS 데이터는 GPS 원시 측정 데이터(GPS Raw measurement data)로서, GPS 원시 측정 데이터를 분석하면 GPS 측위에 사용되는 위성의 수 및 의사 거리(Pseudorange) 정보를 획득할 수 있다. 물론 상기 GPS 데이터에는 GPS 원시 측정 데이터가 획득된 시간이 포함되어 있다.

다만 본 실시예에서는 상기 GPS 수신부(110)를 통해 GPS 데이터를 원활하게 수신할 수 없는 경우, 및 GPS 데이터를 원활하게 수신할 수 있다고 하더라도 다른 이유로 추측항법을 적용하는 경우에 상기 추측항법의 성능을 향상시키는 방법에 대해서 설명한다.

상기 센서부(120)는 적어도 하나 이상의 센서(또는 관성 센서)를 구비하고, 상기 적어도 하나 이상의 센서 각각은 기 설정된 방식으로 차량의 상태를 측정하여 센서 데이터(또는 센싱 데이터)를 획득한다.

이때 상기 센서부(120)에 포함되는 적어도 하나 이상의 센서(또는 관성 센서)는 차량의 각 부분에 분산 배치될 수 있다. 예컨대 상기 센서 각각의 기능에 따라 차량의 조향각, 요 레이트(Yaw rate), 휠 펄스(휠속도), 가속도, 각속도 등을 측정하기 위해서 해당 부분에 배치될 수 있다.

상기 영상 촬영부(130)는 차량 주변(예 : 정면, 측면, 후면 등)의 영상을 촬영하기 위한 적어도 하나 이상의 카메라를 포함한다.

상기 카메라는 FIR(Far Infra Red) 카메라 및/또는 CMOS 카메라(또는 CCD 카메라)를 포함할 수 있으며, 상기 CMOS 카메라(또는 CCD 카메라)는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득한다. 그리고 상기 FIR 카메라는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 영상을 획득한다. 특히 FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다.

상기 영상 촬영부(130)는 탑 뷰 또는 어라운드 뷰 영상을 구현하기 위하여, 차량의 전/후/좌/우에 각기 카메라가 설치되며, 추가로 상기 탑 뷰 또는 어라운드 뷰 영상의 완성도를 높이고, 또한 촬영 사각지대가 발생하지 않도록 하기 위하여, 상기 각 카메라에 비해서 비교적 높은 위치인 차량의 전방상부 및 후방상부에도 추가 카메라가 설치될 수 있다.

상기 제어부(140)는 상기 영상 촬영부(130)를 통해 촬영된 영상(즉, 정지 영상 및 연속 영상으로서, 탑 뷰 영상 혹은 어라운드 뷰 영상)에서 도로 지면에 인쇄된 도로 정보(예 : 차선, 마커, 정지선 등)를 인식하고, 상기 영상으로부터 인식된 결과(즉, 도로 정보)를 이용하여 차량 움직임(A)(또는 차량 위치)을 추정(계산)한다(도 2 참조).

상기 주행 정보 출력부(150)는 상기 제어부(140)가 영상 인식에 의한 검출한 주행 정보를 바탕으로 보정된 휠속도의 스케일링 팩터를 반영하여 추측항법으로 추정된 주행 정보를 출력한다. 이때 스케일링 팩터가 보정되었는지 여부를 추가로 표시할 수 있다.

도 2는 상기 도 1에 있어서, 영상 촬영부를 통해 촬영된 영상으로부터 인식하는 도로 정보를 보인 예시도이다.

한편 상기 영상으로부터 인식된 결과(즉, 도로 정보)를 이용하여 차량 움직임(A)(또는 차량 위치)을 추정(계산)하는 구체적인 방법은, 도 4 내지 도 10을 참조하여 보다 구체적으로 설명하기로 한다.

또한 상기 제어부(140)는 상기 센서부(120)의 휠속도 센서와 요레이트(Yaw Rate) 센서로부터 측정한 센싱 데이터에 기초한 추측항법에 의해 차량 움직임(B)(또는 차량 위치)을 추정(계산)한다.

도 3은 상기 도 1에 있어서, 추측항법에 의한 차량 움직임(B) 정보를 계산하는 방법을 설명하기 위한 예시도이다.

도 3을 참조하면, 휠속도와 요레이트 값을 이용한 차량 위치(X, Y, θ)는 아래의 수학식 1을 이용하여 추정(계산)할 수 있다.

여기서, d=(좌측 휠속도 값 + 우측 휠속도 값) * 스케일링 팩터(S_F)/2를 의미하며, △θ = 요레이트 값을 의미하고, 휠속도는 선속도를 의미하며, 요레이트(YawRate)는 각속도를 의미한다.

상기와 같이 시간(k)과 시간(k+1)의 차량 위치(X, Y, θ) 정보를 이용하여 차량 움직임({△X, △Y, △θ}) 정보의 계산이 가능하다.

다만 상기 배경기술에서 설명한 바와 같이 관성센서(특히 휠속도 센서)를 이용해 계속해서 추측항법(DR)을 적용할 경우 오차(예 :위치정보 및 헤딩오차)가 계속 누적되는 문제점이 있다.

따라서 본 실시예에서 상기 제어부(140)는 상기 영상 촬영부(130)에서 촬영된 영상으로부터 인식된 도로 정보(예 : 차선, 마커, 정지선 등)를 이용하여 추정한 차량 움직임(A)(또는 차량 위치) 정보와 상기 센서부(120)에서 측정된 센싱 데이터에 기초하여 추정한 차량 움직임(B)(또는 차량 위치) 정보 간의 차이(예 : A를 기준으로 할 때 (+)차이 혹은 (-)차이)를 이용하여 상기 관성센서(특히 휠속도 센서)의 스케일링 팩터(Scaling Factor)를 보정함으로써 추측항법의 정확도를 향상시킬 수 있도록 한다.

이하 상기 영상 촬영부(130)를 통해 촬영된 영상으로부터 도로 정보(예 : 차선, 마커, 정지선 등)를 인식한 결과를 이용하여 차량 움직임(A)을 추정(계산)하는 방법에 대해서 설명한다.

도 4는 본 발명의 제1 실시예에 따른 차량 주행 정보의 보정 방법을 설명하기 위한 예시도로서, 제어부(140)는 영상 촬영부(130)를 통해 제1 시간(k)에서의 점선 형태의 차선을 검출하고(S101), 제2 시간(k+1)에서의 점선 형태의 차선을 검출한다(S102).

또한 상기 제어부(140)는 상기 점선 형태의 차선을 용이하게 정합(매칭)하기 위하여 상기 검출된 점선 형태의 차선(또는 차선 영역)을 탑뷰로 변환하고, 아울러 상기 탑뷰로 변환된 점선 형태의 차선(또는 차선 영역)을 차량 좌표계로 변환한다(S103).

상기와 같이 카메라 영상을 탑뷰로 변환할 경우 카메라의 원근 왜곡이 사라지게 되어 점선 형태의 차선 정합(매칭)이 용이해진다.

여기서 상기 차량 좌표계는, 도 3에 도시된 바와 같이, 차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미한다.

상기와 같이 점선 형태의 차선(또는 차선 영역)이 차량 좌표계로 변환되면, 상기 제어부(140)는 상기 제1 시간(k)에서의 점선 형태의 차선을 제2 시간(k+1)에서의 점선 형태의 차선으로 이동시켜 차선을 정합한다(S104).

이에 따라 상기 제어부(140)는 상기 차선을 정합하기 위하여 상기 제1 시간(k)에서의 점선 형태의 차선을 제2 시간(k+1)에서의 점선 형태의 차선으로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 계산한다(S105).

참고로, 도 5는 상기 도 4에 있어서, 영상으로부터 차선을 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도로서, 도 5의 (a)와 같이 원영상을 획득한 후, (b)와 같이 관심영역을 선정하고, (c)와 같이 모폴로지 연산을 통해 차선만 주로 보이도록 처리하고, (d)와 같이 상기 차선에 대해 영역 라벨링을 한 후, (e)와 같이 차선 후보군을 검출한 후, (f)와 같이 라인 또는 커브 피팅(curve fitting) 기반으로 최종적으로 차선을 검출한다. 다만 상기 예시된 차선 검출 방법을 한정하고자 하는 것은 아니다.

도 6은 본 발명의 제2 실시예에 따른 차량 주행 정보의 보정 방법을 설명하기 위한 예시도로서, 제어부(140)는 영상 촬영부(130)를 통해 제1 시간(k)에서의 정지선(또는 주차선)을 검출하고(S201), 제2 시간(k+1)에서의 정지선(또는 주차선)을 검출한다(S202).

또한 상기 제어부(140)는 상기 정지선(또는 주차선)을 용이하게 정합(매칭)하기 위하여 상기 검출된 정지선(또는 주차선)을 탑뷰로 변환하고, 아울러 상기 탑뷰로 변환된 정지선(또는 주차선)을 차량 좌표계로 변환한다(S203).

상기와 같이 정지선(또는 주차선)이 차량 좌표계로 변환되면, 상기 제어부(140)는 상기 제1 시간(k)에서의 정지선(또는 주차선)을 제2 시간(k+1)에서의 정지선(또는 주차선)으로 이동시켜 차선을 정합한다(S204).

이에 따라 상기 제어부(140)는 상기 정지선(또는 주차선)을 정합하기 위하여 상기 제1 시간(k)에서의 정지선(또는 주차선)을 제2 시간(k+1)에서의 정지선(또는 주차선)으로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 계산한다(S205).

참고로, 도 7은 상기 도 6에 있어서, 영상으로부터 정지선을 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도로서, 탑뷰 영상에서 정지선을 검출하는 방법이다.

도 7을 참조하면, (a)와 같이 수평 방향 정지선 특징점을 추출하고, (b)와 같이 차량 진행 방향에 대하여 수직인 선 중 정지선 후보군을 검출하고, (c)와 같이 지정된 조건에 따라 상기 정지선 후보군 중 하나를 정지선을 인식한다. 다만 상기 예시된 차선 검출 방법을 한정하고자 하는 것은 아니며, 공지된 다른 정지선 검출 방법을 이용하여 정지선을 검출(또는 인식)할 수도 있다.

도 8은 본 발명의 제3 실시예에 따른 차량 주행 정보의 보정 방법을 설명하기 위한 예시도로서, 제어부(140)는 영상 촬영부(130)를 통해 제1 시간(k)에서의 도로마커를 검출하고(S301), 제2 시간(k+1)에서의 도로마커를 검출한다(S302).

또한 상기 제어부(140)는 상기 도로마커를 용이하게 정합(매칭)하기 위하여 상기 검출된 도로마커를 탑뷰로 변환하고, 아울러 상기 탑뷰로 변환된 도로마커를 차량 좌표계로 변환한다(S303).

상기와 같이 도로마커가 차량 좌표계로 변환되면, 상기 제어부(140)는 상기 제1 시간(k)에서의 도로마커를 제2 시간(k+1)에서의 도로마커로 이동시켜 차선을 정합한다(S304).

이에 따라 상기 제어부(140)는 상기 도로마커를 정합하기 위하여 상기 제1 시간(k)에서의 도로마커를 제2 시간(k+1)에서의 도로마커로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 계산한다(S305).

참고로, 도 9는 상기 도 8에 있어서, 영상으로부터 도로마커를 검출하는 방법을 개략적으로 설명하기 위하여 보인 예시도로서, 도 9의 (a)와 같이 카메라 영상의 왜곡을 제거하기 위해서 영상을 탑뷰 영상으로 변환하고, (b)와 같이 상기 탑뷰 영상을 이진화 및 레이블링 처리하며, (c)와 같이 상기 레이블링 영역이 임계치 이상인 영역을 선택하고, (d)와 같이 데이터베이스(미도시)에 저장된 도로마커 타입과 상기 선택된 레이블링 영역을 매칭하여 가장 유사한 도로마커 타입을 선택(인식)한다. 다만 상기 예시된 도로마커 검출 방법을 한정하고자 하는 것은 아니며, 공지된 다른 도로마커 검출 방법을 이용하여 도로마커를 검출(또는 인식)할 수도 있다.

한편 상기와 같이 영상 촬영부(130)를 통해 촬영된 영상으로부터 도로 정보(예 : 차선, 마커, 정지선 등)를 인식한 결과를 이용하여 차량 움직임(A)의 추정(계산)이 완료되면, 이에 기초하여 상기 제어부(140)는 휠속도 스케일링 팩터(S_F)를 보정한다.

예컨대 휠속도와 요레이트 값을 이용하여 계산된 추측항법 기반 차량 움직임({△X, △Y, △θ})과 영상에서 검출(또는 인식)된 도로 정보(예 : 차선, 마커, 정지선 등)에 의해 계산된 차량 움직임({△X, △Y, △θ})이 산출되면, 상기 제어부(140)는 추측항법 기반 차량 움직임({△X, △Y, △θ})을 계산할 때, 영상에 의해 계산된 차량 움직임과의 오차를 최소화할 수 있는 휠속도 스케일링 팩터(S_F)를 아래의 수학식 2와 같이 계산한다.

여기서 상기 추측항법 기반 차량 움직임({△X, △Y, △θ}_추측항법)은, 상기 수학식 1을 참조하여 설명한 바와 같이, 기 설정된 함수(예 : f(휠속도, S_F, 요레이트))에 의해 추정될 수 있다.

그런데 만약 영상추정에 의한 차량 움직임({△X, △Y, △θ}_영상추정) 중에 일부 값이 오차가 큰 경우에는 해당 값을 제외할 수 있다. 예컨대 정지선을 검출한다고 가정할 경우, 종방향(△X)은 정확하나 횡방향(△Y)은 부정확할 수 있다. 따라서 이러한 경우에는 상기 수학식 2를 아래의 수학식 3과 같이 변경할 수도 있다.

이에 따라 상기 수학식 2 또는 수학식 3을 도로 정보(예 : 차선, 마커, 정지선 등)가 검출되는 연속 영상에서 반복적으로 적용하여 다수의 스케일링 팩터(S_F)를 산출할 수 있으며, 정확도를 더 높이기 위해서 상기 다수의 스케일링 팩터(S_F)에 대한 평균값을 산출하여 사용할 수도 있다.

한편 상술한 바와 같이 휠속도 관련 스케일링 팩터(S_F)를 보정하지 않을 경우, 도 10에 도시된 바와 같이, GPS(또는 D-GPS)에 의해 추정된 차량 속도 대비 휠속도에 의한 차량 속도 오차가 크게 발생하게 되며, 결과적으로 차량 위치 추정 오차도 커지게 되는 문제점이 발생한다.

따라서 본 실시예에서는 상술한 바와 같이 휠속도 관련 스케일링 팩터(S_F)에 대한 보정을 수행함으로써, 추측항법(DR)에 기반한 차량 위치 추정의 정확도를 더욱 향상시키는 효과가 있다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

110 : GPS 수신부
120 : 센서부
130 : 영상 촬영부
140 : 제어부
150 : 주행 정보 출력부

Claims

적어도 하나 이상의 센서를 이용해 차량의 주행 정보를 센싱하는 센서부;
적어도 하나 이상의 카메라를 이용해 차량 주변의 영상을 촬영하여 이 영상으로부터 도로 정보를 검출하기 위한 영상 촬영부; 및
상기 영상 촬영부를 통해 촬영된 영상에서 검출한 도로 정보에 기초하여 차량의 움직임 정보를 추정하고, 이 움직임 정보를 바탕으로 아래의 수학식 2를 이용하여 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 제어부;를 포함하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
(수학식 2)

여기서,
({△X, △Y, △θ}추측항법)는 추측항법 기반 차량 움직임 정보,
({△X, △Y, △θ}영상추정)는 영상에서 검출된 도로 정보에 기초한 차량 움직임 정보.
제 1항에 있어서, 상기 센서부는,
적어도 휠속도 센서, 및 요 레이트 센서를 포함하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
제 1항에 있어서, 상기 제어부는,
상기 영상 촬영부를 통해 촬영된 영상에서, 적어도 점선 형태의 차선, 정지선, 및 도로 마커를 도로 정보로서 검출하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
제 1항에 있어서, 상기 제어부는,
상기 영상 촬영부를 통해 촬영된 영상에서 도로 정보를 검출하거나 인식한 결과를 이용하여 차량의 움직임 정보를 추정하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
제 1항에 있어서, 상기 제어부는,
상기 영상에서 도로 정보를 검출하거나 인식한 결과를 이용해 추정한 차량의 움직임 정보, 및 상기 센서부를 통해 센싱한 주행 정보에 기초한 추측항법을 이용해 추정한 차량의 움직임 정보 간의 차이를 이용하여 상기 휠속도 값의 스케일링 팩터를 보정하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
제 1항에 있어서, 상기 제어부는,
제1 시간(k)에서의 도로 정보 및 제2 시간(k+1)에서의 도로 정보를 검출하여 정합시킴으로써, 상기 도로 정보를 정합하기 위하여 상기 제1 시간(k)에서의 도로 정보를 상기 제2 시간(k+1)에서의 도로 정보로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 추정하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
제 6항에 있어서, 상기 제어부는,
상기 도로 정보를 정합하기 위하여,
상기 검출한 각 도로 정보를 탑뷰 형태로 변환한 후 차량 좌표계로 변환하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
제 7항에 있어서, 상기 차량 좌표계는,
차량 중심을 기준으로 차량이 이동한 거리와 방향에 대응하는 가로 좌표(X), 세로 좌표(Y), 및 차량 이동 방향(θ)을 나타내는 좌표계를 의미하는 것을 특징으로 하는 차량 주행 정보의 보정 장치.
삭제
제어부가 영상 촬영부를 통해 차량 주변의 영상을 촬영하여 이 영상으로부터 도로 정보를 검출하는 단계;
상기 제어부가 상기 영상으로부터 검출한 도로 정보에 기초하여 차량의 움직임 정보를 추정하는 단계; 및
상기 제어부가 상기 움직임 정보를 바탕으로 아래의 수학식 2를 이용하여 추측항법의 기초가 되는 휠속도 값의 스케일링 팩터를 보정하는 단계;를 포함하는 것을 특징으로 하는 차량 주행 정보의 보정 방법.
(수학식 2)

여기서,
({△X, △Y, △θ}추측항법)는 추측항법 기반 차량 움직임 정보,
({△X, △Y, △θ}영상추정)는 영상에서 검출된 도로 정보에 기초한 차량 움직임 정보.
제 10항에 있어서, 상기 영상으로부터 도로 정보를 검출하는 단계에서,
상기 제어부는,
적어도 점선 형태의 차선, 정지선, 및 도로 마커를 도로 정보로서 검출하는 것을 특징으로 하는 차량 주행 정보의 보정 방법.
제 10항에 있어서, 상기 휠속도 값의 스케일링 팩터를 보정하는 단계에서,
상기 제어부는, 상기 영상에서 도로 정보를 검출하거나 인식한 결과를 이용해 추정한 차량의 움직임 정보, 및 센서부를 통해 센싱한 주행 정보에 기초한 추측항법을 이용해 추정한 차량의 움직임 정보 간의 차이를 이용하여 상기 휠속도 값의 스케일링 팩터를 보정하는 것을 특징으로 하는 차량 주행 정보의 보정 방법.
제 10항에 있어서, 상기 차량의 움직임 정보를 추정하는 단계에서,
상기 제어부는, 제1 시간(k)에서의 도로 정보 및 제2 시간(k+1)에서의 도로 정보를 검출하여 정합시킴으로써, 상기 도로 정보를 정합하기 위하여 상기 제1 시간(k)에서의 도로 정보를 상기 제2 시간(k+1)에서의 도로 정보로 이동시키기 위한 차량 움직임({△X, △Y, △θ}) 정보를 추정하는 것을 특징으로 하는 차량 주행 정보의 보정 방법.
제 13항에 있어서, 상기 도로 정보를 정합하기 위하여,
상기 제어부는, 상기 검출한 각 도로 정보를 탑뷰 형태로 변환한 후 차량 좌표계로 변환하는 것을 특징으로 하는 차량 주행 정보의 보정 방법.
삭제