KR20100034281A

KR20100034281A - 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템

Info

Publication number: KR20100034281A
Application number: KR1020080093325A
Authority: KR
Inventors: 심성보; 김상일; 김기태
Original assignee: 현대자동차주식회사
Priority date: 2008-09-23
Filing date: 2008-09-23
Publication date: 2010-04-01
Also published as: KR101338058B1

Abstract

본 문서는 전방 영상을 이용하여 선행 차량의 후미등을 검출하고, 이 검출된 후미등의 움직임을 추적하여 앞으로 주행하게 될 도로상에 요철 구간이 있는지를 판단할 수 있고, 이 판단에 기초하여 요철 구간에 대해 대응할 수 있는 차량이 주행 중인 도로상 요철을 검출하는 시스템을 개시한다. 이러한 시스템에 따르면 야간 주행 상황에서도 도로상의 요철 구간을 검출할 수 있어 운전자가 보다 안정적으로 주행할 수 있는 효과가 있다.

요철, 카메라, 후미등

Description

차량의 전방 영상을 이용하는 도로상 요철 검출 시스템{A SYSTEM FOR DETECTING A UNEVENNESS ON THE ROAD USING A VEHICLE FRONT CAMERA IMAGE}

본 문서는 차량이 주행 중인 도로상 요철을 검출하는 시스템에 관한 것으로 보다 구체적으로 차량의 전방 영상을 이용하여 해당 차량이 주행 중인 도로상 요철을 검출하는 시스템에 관한 것이다.

운전자가 도로를 주행할 경우 보행자 안전을 위해 주행 도로상에 설치된 과속 방지턱이나, 파손된 도로 등의 평탄이지 않은 도로를 지나게 된다. 이와 같은 과속 방지턱이나 파손된 도로같은 경우에는 도로상의 요철로서 판단되어, 운전중 도로상에 요철이 발견되면, 운전자는 요철을 피하거나 차량의 속도를 낮추고 부드럽게 요철을 밟고 지나갈 수 있도록 한다.

하지만, 운전자가 미처 이런 도로상 요철을 발견하지 못하고 고속의 주행속도로 요철을 밟고 지나게 되면 차체에 흔들림이 발생하고, 이에 따라 운전자나 동 차량의 탑승자도 이러한 흔들림을 느낄 수 있다. 이러한 요철에 따른 차체의 흔들림이 큰 경우에는 운전자 특히 무게가 적은 소인의 경우 상해를 입을 수도 있다. 특히, 야간에 어두운 경우에는 주위의 광량이 충분치 않기 때문에 노면 상태 즉, 도로상 요철이 있는지 여부를 판단하기가 더욱 어려운 난점이 있다.

본 문서는 상술한 배경기술에 있어서, 차량의 전방 영상을 이용하여 노면 상태를 판단함으로써 해당 차량이 주행 중인 도로상 요철을 검출하는 시스템 제공을 해결 과제로 한다.

상술한 과제를 해결하기 위한 일 수단으로서의 차량의 주행중 도로상 요철 검출 시스템은 전방 영상을 생성하는 전방 카메라부와, 상기 전방 영상을 처리하여 선행 차량의 후미등을 검출하고, 검출된 후미등을 추적하여 움직임 변화를 측정하는 영상처리부 및 상기 움직임의 변화에 이상 변화가 감지되거나 상기 움직임의 변화량이 기준치 이상인 경우 전방 도로상에 요철이 있는 것으로 판단하는 제어부를 포함한다.

상기 영상처리부는, 상기 전방 영상의 일정 구간에 상기 선행 차량이 포착되면, 상기 전방 영상에서 밝기 및 색상 정보를 이용하여 상기 후미등에 대한 하나 이상의 후보점을 결정하고, 상기 전방 영상에서 나타나는 상기 하나 이상의 후보점의 이동 방향을 고려하여 상기 선행 차량의 후미등을 검출할 수 있다.

상기 제어부는, 상기 검출된 후미등에 대한 수직방향 픽셀값을 기준으로 상기 움직임의 변화를 측정할 수 있다.

상기 제어부는, 차속(v)과 상기 선행 차량과의 상대 거리(x)를 이용하여 상기 요철과 접촉하게 될 예상시간(t)을 계산하고, 상기 예상시간(t)을 고려하여 상 기 요철에 대응하는 제어 신호를 생성할 수 있다.

상기 전방 카메라부는, 두 개의 스테레오 카메라로 이루어지고, 상기 상대 거리(x)는

로 계산될 수 있다. (여기서, L은 카메라 사이의 거리이고, f는 상기 카메라의 초점거리이고, dl은 영상 상에서의 좌측 픽셀 좌표 값이고, dr은 영상 상에서의 우측 픽셀 좌표 값임.)

상기 제어부는, 운전자에게 버저음, 경고등 또는 디스플레이 화면을 통해 운전자에게 경고하는 제어 신호 및 서스펜션의 감쇄력 또는 높이를 조절하는 제어 신호 중 적어도 하나를 생성할 수 있다.

본 발명에 따르면 전방 영상을 이용하여 선행 차량의 후미등을 검출해 낼 수 있는 효과가 있다.

또한, 검출된 후미등의 움직임을 추적하여 앞으로 주행하게 될 도로상에 요철 구간이 있는지 여부를 판단할 수 있는 효과가 있다.

또한, 요철 구간의 검출을 통해 야간 주행 상황에서도 도로상 요철 구간에 대해 운전자가 스스로 적절히 대응하게 하거나 차내 시스템 상에서 요철 구간을 고려하여 각종 제어 시스템이 동작하도록 하는 효과가 있다.

또한, 이로써 도로상의 요철 구간으로 인한 흔들림이나 이로 인한 사고를 미연에 방지할 수 있는 효과가 있다.

이하 도면을 참조하여 차량의 전방 영상을 이용하여 해당 차량이 주행 중인 도로상 요철을 검출하는 시스템에 대한 본 발명의 실시예들을 구체적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템의 구성을 나타내는 블록도이다.

도 1을 참조하면, 본 실시예에 따른 요철 검출 시스템은 차량의 전방을 촬영하여 전방 영상을 생성하는 전방 카메라부(10)와, 촬영된 전방 영상을 처리하여 선행하는 차량의 후미등을 검출하고, 검출된 후미등을 추적하여 움직임 변화를 측정하는 영상처리부(30) 및 움직임의 변화량이 기준치 이상이거나 상기 움직임의 변화에 이상 변화가 있는 경우 차량이 주행하게 되는 도로상에 요철이 있는 것으로 판단하는 제어부(40)를 포함한다. 제어부(40)는 운전자에게 버저음, 경고등 또는 디스플레이 화면을 통해 운전자에게 경고하는 제어 신호 및/또는 서스펜션의 감쇄력 또는 높이를 조절하는 제어 신호를 생성할 수 있다.

도 2는 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템의 동작을 나타내는 제1 흐름도이다.

먼저, 단계 S200에서 전방 카메라부(10)에서 생성되는 전방 영상(200)이 입력되면 단계 S210에서 전방 영상(200)을 통해 선행 차량이 있는 것으로 판단되면 선행 차량의 후미등(210)을 검출한다. 그리고, 단계 S220에서 이 선행 차량의 후미등(210)을 추적하여 움직임 변화(220)를 측정한다.

단계 S230에서 이 선행 차량의 후미등(210)을 추적하여 움직임 변화(220)를 측정한 결과 요철 구간이 있는 것으로 판단되면 단계 S240에서 차량의 경보 시스템으로 제어 신호를 송신하여 운전자에게 경보하거나 단계 S250에서 차량의 서스펜션 시스템으로 제어 신호를 송신하여 서스펜션의 높이 등을 제어할 수 있다.

도 3은 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템에서 선행 차량의 후미등을 검출하는 방법을 설명하기 위한 도면이다.

본 실시예에 따르면, 전방 영상에 일정 구간(300)을 설정하여 선행 차량이 전방 영상에 설정된 일정 구간(300) 내에 포착되는 경우에 이 선행 차량에 대한 후미등을 검출하여 도로상 요철 검출에 이용하도록 할 수 있다. 이는 보통 선행 차량은 전방 영상의 일정 구간(300) 내에서만 포착될 확률이 높기 때문에 이러한 구간 설정이 영상처리속도 개선에 도움을 줄 수 있을 것이다.

그리고, 전방 영상 선행 차량의 후미등을 검출함에 있어서, 그 기준으로 밝기 및 색상 정보를 이용할 수 있다. 예를 들어, 영상에서 밝기값이 큰 부분이나 붉은색이 강한 부분을 뽑아 그룹핑함으로써 후미등에 대한 하나 이상의 후보점을 결정할 수 있다. 도로에는 반사 표지판과 같은 것들이 후미등 검출에 혼선을 줄 수 있으나 대부분의 표지판에서는 붉은색을 사용하지 않는 점을 고려하면 본 실시예에 따라 후미등 검출에 색상 정보를 이용하면 이러한 혼선을 줄일 수 있을 것이다.

그리고, 전방 영상에서 결정되는 하나 이상의 후보점들 중에서 전방 영상 상에서의 각 후보점들의 이동 방향을 고려하여 선행 차량의 후미등을 최종 검출할 수 있다. 예를 들어, 후미등이 아닌 후보점들(320)에 대한 이동을 확인하면 차량이 전 방으로 주행함에 따라 영상 상에서 좌측 뒤 방향이나 우측 뒤 방향으로 빠지는 형상을 나타낼 것이다. 그리고, 선행 차량의 후미등의 경우 이동 변화가 일정하진 않지만, 이러한 빠지는 형상으로 나오지는 않을 것이다. 따라서, 후보점의 이동 방향이 좌측 뒤 방향이나 우측 뒤 방향이 되는 경우에는 후보점에서 제외시킨다. 이렇게 후보점들 중에서 선행 차량의 후미등(330)을 최종 검출할 것이다.

도 4는 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템에서 요철을 판단하는 방법을 설명하기 위한 도면이다.

본 실시예에 따른 제어부는, 예를 들어 앞서 도 3을 통해 설명한 방법으로 검출된 각 후미등에 대한 중심점을 구하여 각 중심점의 수직방향의 픽셀위치를 이용하여 전방 도로상 요철의 유무를 확인할 수 있다. 즉, 각 후미등에 대한 수직방향 픽셀값을 기준으로 시간 흐름에 따른 변화를 추적하여 후미등에 대한 움직임의 변화를 측정할 수 있다.

예를 들어, 전방 영상에서 선행 차량의 후미등에 대한 수직방향 픽셀값의 변화량이 양의 값이면 이는 선행 차량과 점점 멀어짐을 나타낼 것이고, 전방 영상에서 선행 차량의 후미등에 대한 수직방향 픽셀값의 변화량이 음의 값이면 이는 선행 차량과 점점 가까워짐을 나타낼 것이다.

이렇게 선행 차량의 후미등에 대한 수직방향 픽셀값을 추적함에 있어서, 그 변화가 도 4의 좌측에 나타난 그래프에서와 같이 선형적으로 발생하는 경우에는 선행 차량이 정상 주행 중인 것으로 판단한다. 하지만, 도 4의 우측에 나타난 그래프에서와 같이 수직방향 픽셀값의 변화에 굴곡같은 이상 변화(400)가 있는 경우나 변 화량(ΔY)이 기준치 이상인 것으로 확인되면 이는 선행 차량이 요철 구간 주행 중인 것으로 판단한다.

여기서 이상 변화란, 수직방향 픽셀값의 변화량의 부호가 전환되는 경우를 의미할 수 있다, 예를 들어, 수직방향 픽셀값의 변화량이 양의 값이다가 음의 값으로 전환되는 경우나 그 반대의 경우를 이상 변화가 있는 것으로 판단할 수 있다. 또한, 이와 같이 수직방향 픽셀값의 변화량의 부호가 전환되는 횟수가 수 회 되는 경우를 이상 변화가 있는 것으로 판단할 수 있다.

또한, 이렇게 요철 구간을 검출함에 있어서, 변화량의 크기나 지속 시간을 고려하여 요철 구간의 강도나 지속성을 판단하여 이후 요철 구간에 대한 대응을 위해 제어 신호를 생성할 때 고려하여 보다 구체적으로 대응할 수 있도록 도움을 줄 수도 있을 것이다.

도 5는 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템에서 요철과 접촉하게 될 예상시간을 계산하는 방법을 설명하기 위한 도면이다.

본 실시예에 따른 제어부는, 차속(v)과 차량과 선행 차량 사이의 상대 거리(x)를 이용하여 상기 요철과 접촉하게 될 예상시간(t=x/v)을 계산하고, 이 예상시간(t)을 고려하여 차량의 경보 시스템이나 차량의 서스펜션 시스템으로 제어 신호를 송신할 수 있다.

차량과 선행 차량 사이의 거리(x)는 예를 들어 앞서 도 3을 통해 설명한 방법으로 검출된 각 후미등에 대한 중심점을 이용하여 계산할 수 있다. 차량의 전방 카메라부가 두 개의 스테레오 카메라로 이루어지는 것으로 가정하면, 차량의 카메라에서 각 후미등의 중심점의 중간점(A)까지의 거리(x) 즉, 차량과 선행 차량 사이의 거리는 아래 수학식 1을 통해 계산해 낼 수 있다.

수학식 1에서 L은 차량에 장착된 두 개의 스테레오 카메라 사이의 거리이고, f는 각 카메라의 초점거리이고, dl은 영상 상에서의 좌측 픽셀 좌표 값이고, dr은 영상 상에서의 우측 픽셀 좌표 값이다.

도 6은 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템의 동작을 나타내는 제2 흐름도이다.

도 6을 참조하면 단계 S600에서 전방 영상이 입력되면 단계 S610에서 밝기 필터링 등의 영상처리가 수행된다. 여기서 선행 차량의 후보점을 찾기 위해 상술한 바와 같이 밝기나 색상(붉은색) 정보를 이용할 수 있을 것이다.

단계 S620에서 이와 같은 광원 즉, 후미등에 대한 후보점들을 검지 및 그룹핑하고, 단계 S630에서 각 후보점들에 대한 위치를 추적하여 이동 방향을 판단하고, 이에 근거하여 후보점들을 추려낸다.

단계 S640에서 최종 후미등을 결정하면 이 후미등에 대한 중심점을 결정하고, 이후 단계 S650에서 이 후미등을 지속적으로 추적한다. 특히, 이때 검출된 후미등의 중심점에 대한 영상 내 수직방향 픽셀값을 이용하여 후미등의 움직임을 판 단한다.

단계 S680에서 이 움직임의 변화량을 고려하여 요철 구간의 유무를 판단한다. 이때 요철 구간의 유무를 판단하거나 예상 시간을 판단함에 있어서, 후미등의 움직임 변화량에 추가적으로 차량에 장착되는 다양한 센서 예를 들어, 휠 스피드 센서, 조향각 센서, 차고 센서 등의 센서로부터의 신호나 운전자가 사용자 인터페이스를 통해 입력하는 신호를 고려할 수 있을 것이다.

단계 S690에서 요철 구간이 있는 것으로 판단할 수 있는 조건이 만족되면 단계 S700에서 경보나 각종 제어 시스템으로 해당 제어 신호를 전송한다. 이때 요철 구간이 있는 것으로 판단할 수 있는 조건으로는 상술한 바와 같이 움직임 변화량이 기준값 이상으로 큰 값이 검출되거나, 움직임이 요동치는 현상이 검출되는 등이 될 것이다. 그리고, 상술한 바와 같이 요철 구간까지 도달하는 예상 시간을 계산하여 적절한 타이밍에 경보나 각종 제어 시스템이 동작하도록 할 수 있을 것이다.

단계 S710에서 운전자 경보 시스템으로 제어 신호가 전송되어 버저음이나 경보등이 작동할 수 있고 또한, 단계 S720에서 서스펜스 시스템으로 제어 신호가 전송되어 서스펜스가 적절이 조절되도록 작동할 수 있다.

도 7은 본 발명의 일 실시예에 따른 차량이 주행 중인 도로상 요철을 검출하는 시스템에서 요철이 있는 것으로 판단되는 경우 이에 대응하는 방법을 설명하기 위한 도면이다.

도 7a는 본 실시예에 따라 서스펜션 시스템에서 제어부의 제어 신호에 따라 차량의 서스펜션(700)의 감쇄력을 제어함을 나타낸다. 예를 들어, 요철 구간이 있 는 것으로 판단되는 경우에는 서스펜션(700)의 감쇄력을 줄여 부드럽게 동작하도록 제어할 수 있다.

그리고, 도 7b는 본 실시예에 따라 서스펜션 시스템에서 제어부의 제어 신호에 따라 차량의 서스펜션(700)의 높이(710)를 제어함을 나타낸다. 예를 들어, 요철 구간이 있는 것으로 판단되는 경우에는 서스펜션(700)의 높이(710)를 높이는 쪽으로 제어하여 운전자에게 전달되는 충격을 줄이도록 할 수 있다.

그리고, 도 7c는 본 실시예에 따라 경보 시스템에서는 제어 신호에 따라 운전자에게 버저음(720), 경고등이 동작하도록 제어함을 나타낸다. 예를 들어, 요철 구간이 있는 것으로 판단되는 경우에는 버저음(720)이 울리거나, 경고등이 점멸하거나 또는 차량 내 구비된 디스플레이 화면을 통해 차량의 운전자에게 알려줄 수 있을 것이다.

이때는 제어부에서 요철로 인한 강도나 지속성까지 감지하여 감쇄력을 줄이거나 높이를 조절하는 정도까지 구체적으로 설정하여 줄 수도 있을 것이다.

본 발명에 따라 요철 구간을 검출함에 있어서, 또는 도 7을 통해 설명한 실시예에 따라 요철이 있는 것으로 판단되는 경우 제어 신호를 송신하여 이에 대응함에 있어서, 또는 차량의 현재 속도를 고려하여 일정 속도인 경우 즉, 설정 속도 구간에서만 동작하도록 설정하여 이용할 수 있을 것이다. 이와 같은 경우에는 예를 들어, 저속으로 주행하는 경우에는 동작하지 않고, 고속으로 주행하는 경우에만 동작하여 운전자 혼란을 감소시킬 수 있을 것이다.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙 련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

<도면의 주요부분에 대한 부호의 설명>

10: 전방 카메라부 20: 차량 정보 제공부

30: 영상처리부 40: 제어부

50: 디스플레이부 60: 버저

70: 서스펜션 제어부

Claims

전방 영상을 생성하는 전방 카메라부;

상기 전방 영상을 처리하여 선행 차량의 후미등을 검출하고, 검출된 후미등을 추적하여 움직임 변화를 측정하는 영상처리부; 및

상기 움직임의 변화에 이상 변화가 감지되거나 상기 움직임의 변화량이 기준치 이상인 경우 전방 도로상에 요철이 있는 것으로 판단하는 제어부

를 포함하는, 차량의 주행중 도로상 요철 검출 시스템.
청구항 1에 있어서,

상기 영상처리부는, 상기 전방 영상의 일정 구간에 상기 선행 차량이 포착되면, 상기 전방 영상에서 밝기 및 색상 정보를 이용하여 상기 후미등에 대한 하나 이상의 후보점을 결정하고, 상기 전방 영상에서 나타나는 상기 하나 이상의 후보점의 이동 방향을 고려하여 상기 선행 차량의 후미등을 검출하는 것을 특징으로 하는, 차량의 주행중 도로상 요철 검출 시스템.
청구항 1에 있어서,

상기 제어부는, 상기 검출된 후미등에 대한 수직방향 픽셀값을 기준으로 상기 움직임의 변화를 측정하는 것을 특징으로 하는, 차량의 주행중 도로상 요철 검출 시스템.
청구항 1에 있어서,

상기 제어부는, 차속(v)과 상기 선행 차량과의 상대 거리(x)를 이용하여 상기 요철과 접촉하게 될 예상시간(t)을 계산하고, 상기 예상시간(t)을 고려하여 상기 요철에 대응하는 제어 신호를 생성하는 것을 특징으로 하는, 차량의 주행중 도로상 요철 검출 시스템.
청구항 4에 있어서,

상기 전방 카메라부는, 두 개의 스테레오 카메라로 이루어지고, 상기 상대 거리(x)는
로 계산되는 것을 특징으로 하는, 차량의 주행중 도로상 요철 검출 시스템. (여기서, L은 카메라 사이의 거리이고, f는 상기 카메라의 초점거리이고, dl은 영상 상에서의 좌측 픽셀 좌표값이고, dr은 영상 상에서의 우측 픽셀 좌표 값임.)
청구항 1에 있어서,

상기 제어부는, 운전자에게 버저음, 경고등 또는 디스플레이 화면을 통해 운전자에게 경고하는 제어 신호 및 서스펜션의 감쇄력 또는 높이를 조절하는 제어 신호 중 적어도 하나를 생성하는 것을 특징으로 하는, 차량의 주행중 도로상 요철 검출 시스템.