KR20150119736A

KR20150119736A - 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법

Info

Publication number: KR20150119736A
Application number: KR1020140045537A
Authority: KR
Inventors: 김재광; 장윤호
Original assignee: 현대자동차주식회사
Priority date: 2014-04-16
Filing date: 2014-04-16
Publication date: 2015-10-26
Also published as: KR101592685B1; US20150302591A1

Abstract

본 발명은 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 영상 데이터상에 노면 모델을 적용하여 장애물을 검출하는 기술이다.
본 발명의 실시예에 따른 장애물 검출 시스템은 카메라 주변의 영상 데이터를 획득하는 영상 획득부; 및 상기 영상 데이터에 지평선 또는 소실점을 이용한 노면 모델을 적용하여 노면 영역에 대해 슬라이딩 윈도우를 수행하여 장애물을 검출하는 장애물 검출부를 포함한다.

Description

노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법{System for detecting obstacle using a road surface model setting and method thereof}

본 발명은 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 영상 데이터상에 노면 모델을 적용하여 장애물을 검출하는 기술이다.

최근 들어 차량의 주변 환경을 촬영하여 모니터링 시켜주는 시스템이 점차 늘어나고 있다. 그리고 영상 처리 기술의 발달에 따라 단순히 차량 주변 영상을 운전자에게 보여주는 것뿐만 아니라 차량 주변 영상에서 물체를 검출하여 충돌 가능성 여부를 판단하고 이를 알려주는 기술도 개발되고 있다.

그리고 종래에는 단순히 차량 전후방을 촬영한 영상을 시점 변환 없이 단순하게 제공하였으나 주차 시에는 차량과 주위 물체와의 접촉 여부 등을 보다 명확하게 보여줄 수 있도록 차량의 상공에서 지면을 내려다보는 가상 시점, 이른바 탑뷰 시점으로 차량 주변 영상을 변환하여 보여주는 기술도 개발되었다.

그러나 이러한 차량 주변 영상 변환 기술은 속도가 느리고 배경 영역 등의 불필요한 정보에 의한 검출 오류들이 다수 발생되고 있다.

본 발명의 실시예는 불필요한 정보의 검출없이 노면 모델을 적용하여 노면영역만 슬라이딩 윈도우를 수행하여 장애물을 정확하고 빠르게 검출하여 운전자에게 제공함으로써 운전자의 안전운전이 가능하도록 하고자 한다.

본 발명의 실시예에 따른 장애물 검출 시스템은 카메라 주변의 영상 데이터를 획득하는 영상 획득부; 및 상기 영상 데이터에 지평선 또는 소실점을 이용한 노면 모델을 적용하여 노면 영역에 대해 슬라이딩 윈도우를 수행하여 장애물을 검출하는 장애물 검출부를 포함한다.

또한, 본 발명의 실시예에 따른 장애물 검출 시스템은 상기 장애물을 상기 영상 데이터에 거리정보와 함께 표시하는 표시부를 더 포함할 수 있다.

또한, 상기 장애물 검출부는, 상기 영상 데이터를 저장하는 저장부; 상기 영상 데이터에서 지평선 또는 소실점을 검출하는 데이터 분석부; 상기 영상 데이터에서 상기 지평선 또는 소실점을 이용하여 노면 모델을 설정하고 적용하는 노면 모델 적용부; 및 상기 노면 모델이 적용된 영상 데이터의 노면 영역에 상기 슬라이딩 윈도으룰 수행하여 상기 장애물을 추적하는 장애물 추적부를 포함할 수 있다.

또한, 상기 노면 모델 적용부는, 실제 거리 좌표를 상기 영상 데이터의 영상좌표로 변환하고 상기 지평선 또는 소실점 좌표를 적용한 노면 모델을 설정할 수 있다.

또한, 상기 노면 모델 적용부는, 상기 영상 데이터에서 근거리의 장애물의 수직좌표는 급격히 증가하고 원거리의 장애물의 수직좌표는 완만히 증가하는 노면 모델을 설정할 수 있다.

또한, 상기 노면 모델 적용부는, 상기 노면 모델을 상기 영상 데이터에 적용하고, 상기 노면 영역의 자차와의 거리정보를 산출할 수 있다.

또한, 상기 장애물 추적부는, 상기 영상 데이터의 각 픽셀별 스캐닝을 수행하고, 상기 픽셀의 거리 정보를 획득하여 거리별 윈도우 크기를 결정하고 슬라이딩 윈도우를 수행하여 상기 장애물을 검출할 수 있다.

본 발명에 따른 노면 모델 설정을 이용한 장애물 검출 방법은 차량 운행 중 차량 외부의 영상 데이터를 획득하는 단계; 상기 영상 데이터로부터 노면 모델을 설계하여 적용하는 단계; 및 상기 노면 모델이 적용된 영상 데이터에서 지평선 또는 소실점 이하의 노면에 대해 윈도우 슬라이딩을 수행하여 장애물을 검출하는 단계를 포함할 수 있다.

또한, 상기 장애물을 영상 데이터에 표시하고 상기 영상 데이터에 상기 장애물과 자차와의 거리정보를 표시하는 단계를 더 포함할 수 있다.

또한, 상기 장애물과 자차와의 거리정보를 표시하는 단계는, 상기 거리정보를 장애물마다 숫자로 표시할 수 있다.

또한, 상기 노면 모델을 설계하여 적용하는 단계는, 상기 영상 데이터로부터 지평선 또는 소실점 좌표를 산출하는 단계; 상기 영상 데이터에 대해 노면 모델을 설계하는 단계; 상기 설계된 상기 노면 모델에 상기 산출된 지평선 또는 소실점 좌표를 적용하여 노면 모델을 확정하는 단계; 상기 확정된 노면 모델을 이용하여 노면 영역의 거리를 산출하는 단계를 포함할 수 있다.

또한, 상기 노면 모델을 설계하는 단계는, 실제 거리 좌표를 상기 영상 데이터의 영상좌표로 변환하고 상기 지평선 또는 소실점 좌표를 적용한 노면 모델을 설정할 수 있다.

또한, 상기 노면 모델은 상기 영상 데이터에서 근거리의 장애물의 수직좌표는 급격히 증가하고 원거리의 장애물의 수직좌표는 완만히 증가하는 특성을 가진다.

또한, 상기 장애물을 검출하는 단계는, 상기 노면 모델이 적용된 영상 데이터내의 픽셀을 스캐닝하는 단계; 상기 스캐닝된 픽셀들의 거리 정보를 획득하는 단계; 상기 거리별 윈도우 크기를 결정하는 단계; 및 상기 결정된 윈도우를 적용하여 슬라이딩 윈도우를 수행하는 단계를 포함할 수 있다.

또한, 상기 거리별 윈도우 크기를 결정하는 단계는, 상기 윈도우의 크기는 픽셀수로 결정할 수 있다.

본 기술은 장애물 검출 속도 및 정확도를 향상시켜 장애물과의 거리정보를 운전자에게 빠르고 정확하게 제공함으로써 운전자의 안전운전을 지원할 수 있다.

도 1은 본 발명의 실시예에 따른 장애물 검출 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 장애물 검출 방법을 나타내는 도면이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 영상 데이터에서 지평선을 검출하는 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 영상 데이터에서 소실점을 검출하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 노면 모델을 설계하는 방법을 설명하기 위한 그래프이다.
도 6a는 본 발명의 실시예에 따른 노면 모델에 의한 영상 데이터에서 수직방향 위치를 나타내는 그래프이다.
도 6b는 본 발명의 실시예에 따른 노면 모델에 의한 영상 데이터에서 수직방향 위치를 카메라로 실제 촬영한 결과를 나타내는 도면이다.
도 7a는 본 발명의 실시예에 따른 획득한 영상 데이터로부터 산출한 실제 지평선 좌표(B')와 이상적인 지평선 좌표(B)를 나타내는 도면이다.
도 7b는 본 발명의 실시예에 따른 획득한 영상 데이터로부터 산출한 실제 소실점 좌표(B')와 이상적인 소실점 좌표(B)를 나타내는 도면이다.
도 8a는 본 발명의 실시예에 따라 획득된 영상 데이터의 예시도이다.
도 8b는 본 발명의 실시예에 따른 영상 데이터에서 노면 모델을 적용하여 거리 정보를 산출한 예시도이다.
도 8c는 본 발명의 실시예에 따른 영상 데이터에서 윈도우를 설정하여 장애물을 검출하는 예시도이다.
도 8d는 본 발명의 실시예에 따른 영상 데이터에 검출된 장애물을 표시한 예시도이다.
도 9a 내지 도 9c는 본 발명의 실시예에 따른 슬라이딩 윈도우에 의한 장애물을 검출하는 방법을 설명하기 위한 도면이다.
도 10a 내지 도 10d는 본 발명의 실시예에 따른 장애물 검출방법에 의해 검출된 장애물을 거리정보에 따라 영상 데이터에 표시한 예시도이다.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.

본 발명은 단안 카메라를 이용한 장애물 검출 방법에 적용될 수 있는 노면 모델 설정 방법을 개시한다. 이를 위해, 본 발명은 차량에 장착된 카메라로부터 영상 데이터를 획득하고 획득한 영상 데이터에 노면 모델을 적용하고 한번의 슬라이딩 윈도우를 통해 장애물을 검출하고 거리에 따라 구분하여 표시하는 기술을 개시한다.

이하, 도 1 내지 도 10d를 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 장애물 검출 시스템의 구성도이다.

본 발명의 실시예에 따른 장애물 검출 시스템은 영상획득부(100), 장애물 검출부(200), 및 표시부(300)를 구비한다.

영상획득부(100)는 차량의 전방, 후방, 측면 등 차량 주변의 영상을 획득할 수 있으며 본 발명의 실시예에서는 특히 차량의 전방의 장애물 검출을 위한 것으로 전방의 영상 데이터를 이용한다. 영상획득부(100)는 카메라 등으로 구현될 수 있다.

장애물 검출부(200)는 거리 정보를 확인할 수 있는 노면 모델을 설계하고 지평선 또는 소실점 상부의 배경화면을 배제하고 지평선 또는 소실점을 기준으로 그 하부의 노면 영역 상의 장애물을 슬라이딩 윈도우 방식으로 검출한다.

이를 위해, 장애물 검출부(200)는 저장부(210), 데이터 분석부(220), 노면 모델 적용부(230), 장애물 추적부(240)를 구비한다.

저장부(210)는 영상 획득부(100)로부터 수신한 영상 데이터를 저장한다.

데이터 분석부(220)는 영상획득부(100)로부터 수신한 영상 데이터에서 지평선 또는 소실점을 추출한다. 이때, 도 3a와 같은 영상 데이터가 수신된 경우, 도 3b와 같이 라인검출(Hough Transform) 방식을 이용하여 지평선(11)을 검출한다. 또한, 도 4a와 같은 영상 데이터가 수신된 경우, 도 4b와 같이 영상 데이터에서 에지(10)를 추출하고 도 4c와 같이 라인검출(Hough Transform)을 수행하여 라인(20)을 검출한 후 도 4d와 같이 라인(20)과 라인(20)이 교차하는 지점인 소실점(30)을 추출할 수 있다.

노면 모델 적용부(230)는 실제 거리 좌표를 영상 데이터에서의 영상좌표로 변환하고 지평선 또는 소실점을 적용한 노면 모델을 설계한다. 이에, 노면 모델 적용부(230)는 노면의 기울기에 따라 달라지는 지평선 또는 소실점을 적용함으로써 더욱 정확한 노면 모델을 확정하고 노면 모델을 통해 영상 데이터 내의 노면상에서 자차와의 거리정보를 산출한다. 이때, 노면 모델은 도 6a에 도시된 바와 같이, 근거리의 장애물의 수직좌표는 급격히 증가하고 원거리의 장애물의 수직좌표는 완만히 증가하는 특성을 반영하고 있다.

노면 모델 적용부(230)의 노면 모델 설계 방법을 구체적으로 설명하면 아래와 같다.

이하, 도 5의 그래프를 참조하여 노면 모델을 설계하는 방법을 설명하기로 한다.

도 5는 실제 좌표인 월드좌표(world coordinate)를 나타내는 그래프로서, Y가 실제 수직좌표축이고 Z는 실제 가로좌표축을 의미한다.

도 5에서 f는 영상획득부(100)인 카메라의 초점길이(foucus length)를 의미하고, d는 카메라 중심의 y 방향 좌표를 의미하며, c는 상수이고, z1, z2, z3는 z 방향의 특정좌표를 의미하고 y1, y2, y3는 y 방향의 특정좌표를 의미한다.

영상획득부(100) 즉 카메라의 중심으로부터 수평거리 f+c만큼 떨어진 노면위의 점 z1, f+2c만큼 떨어진 노면위의 점 z2, f+3c만큼 떨어진 노면위의 점 z3이 있다고 가정한다.

실제 좌표의 z1, z2, z3은 각각 영상 데이터상에서 y1, y2, y3으로 투영된다.

y1은 아래 수학식 1에 표현된 함수에서 z=f의 값을 가질 때의 y값으로 생각할 수 있으며 수학식 2와 같이 표현될 수 있다.

이 후,

을 수학식 2에 적용시키면 아래 수학식 3과 같이 표현된다.

수학식 3에

와 같이 df를 A로 치환하고 d를 E로 치환하면 아래 수학식 4와 같이 y'함수로 노면 모델을 설계할 수 있다. 이때 A, E는 상수이다.

즉, 수학식 4의 함수가 노면 모델이 된다.

그 후, 월드 좌표계의 y축 좌표들을 영상 데이터내의 수직방향 축 h로 변환한다. 그 변환식은 아래 수학식 5와 같다.

수학식 5를 수학식 4에 적용하면, 아래 수학식 6을 도출할 수 있다.

그 후, 수학식 6에

을 적용하면 아래 수학식 7이 도출된다.

수학식 7에서 B 는 영상 데이터 내의 지평선의 수직좌표를 의미한다. 이때, 지평선의 수직좌표(B)는 노면의 기울기가 0인 평평한 노면에서의 이상적인 지평선의 좌표를 의미한다. 이러한 지평선의 수직좌표(B)는 도 6a와 같이 그래프에 표시된다.

도 6a에서는 영상획득부(100)인 카메라로부터 멀어지면서 초반에는 수직좌표값이 가파르게 상승하다가 일정 거리 이상이 되면 완만한 곡선을 이루게 되는 것을 도시한다. 즉, 영상데이터에서 자차에서 가까운 경우 장애물의 수직값이 크게 보이나 자차에서 멀어질수록 장애물의 수직값의 변화가 작게 됨을 나타내는 것이다. 도 6b는 본 발명의 실시예에 따른 노면 모델에 의한 영상 데이터에서 수직방향 위치를 거리 측정 센서로 실제 촬영한 결과를 나타내는 도면으로서, 노면 모델에 의한 그래프인 도 6a의 그래프와 그 모양이 거의 유사함을 알 수 있다.

즉, 수학식 7의 노면 모델은 이러한 원근에 따른 장애물의 크기를 적용하고 있다. 이때, 영상 데이터를 피라미드 방식으로 크기별로 여러 개 만들어 여러 개의 영상 데이터에 대해 각각 슬라이딩 윈도우를 수행하지 않고, 수학식 7의 노면 모델을 적용함으로써 영상 데이터 피라미드 방식과 같은 효과를 도출할 수 있다.

상술한 노면 모델인 수학식 7은 평평한 노면 즉 이상적인 노면에서의 노면 모델을 표현하고 있다. 그러나, 실제 노면에서는 노면이 평평한 곳보다 기울기를 가지는 경우가 많다. 이에, 기울기를 적용한 노면 모델로 변경하는 것이 바람직하다. 이때, 오르막길을 가는 경우에는 실제 지평선이 평평한 노면의 지평선보다 높은 위치로 산출되고, 내리막길을 가는 경우 실제 지평선이 평평한 노면의 지평선보다 낮은 위치로 산출된다.

도 7a는 본 발명의 실시예에 따른 획득한 영상 데이터로부터 산출한 실제 지평선 좌표(B')와 이상적인 지평선 좌표(B)를 나타내는 도면이다. 즉, 수학식 7의 노면 모델에서 B는 기울기가 없는 평평한 노면에서의 이상적인 지평선 좌표값을 가지는데, 실제 노면은 경사도를 가지므로 실제 지평선 좌표(B')가 이상적인 지평선 좌표(B)보다 높거나 낮을 수 있다. 도 7b는 본 발명의 실시예에 따른 획득한 영상 데이터로부터 산출한 실제 소실점 좌표(B')와 이상적인 소실점 좌표(B)를 나타내는 도면으로서, 소실점 좌표도 지평선과 마찬가지로 경사도에 따라 달라지므로 이러한 경사도에 따른 지평선 또는 소실점의 변화를 수학식 7의 노면모델에 적용하는 것이 바람직하다.

수학식 7에서 평평한 노면의 지평선 수직좌표가 B라고 할 때, 실제 측정된 지평선의 수직좌표가 B'라고 하면, 노면의 기울기를 적용한 노면 모델은 아래 수학식 8과 같이 확정된다.

장애물 추적부(240)는 도 9a와 같이 노면 모델이 적용된 영상 데이터에서 각 픽셀을 스캐닝하고 도 9b와 같이 해당 픽셀의 거리 정보를 획득한다. 그 후, 장애물 추적부(240)는 거리정보 별 윈도우 크기를 결정하고 도 9c와 같이 윈도우를 슬라이딩하여 장애물을 검출한다.

거리정보(m)	윈도우의 높이(픽셀 수)	윈도우의 폭(픽셀 수)
1.2	143	59
1.3	140	57
…	…	…

표 1은 거리별 장애물로 판단되는 장애물의 크기 정보에 관한 것으로, 장애물을 스캐닝하기 위한 윈도우의 크기에 관한 정보를 저장한다. 표 1의 거리별 윈도우 크기에 대한 정보는 미리 정하여 저장해 둔다. 이에, 장애물 추적부(240)는 표 1의 테이블을 참고하여 윈도우 크기를 결정할 수 있다.

예를 들어, 1.2m의 거리에서는 보행자가 픽셀수 143인 높이를 가지고 픽셀수가 59인 폭을 가진다고 설정한다. 이에, 1.2m의 거리에서 윈도우는 픽셀수 143인 높이를 가지고 픽셀수가 59인 폭을 가지는 크기로 결정되고, 결정된 윈도우를 적용하여 해당 윈도우내에 포함되는 장애물을 보행자로 판단하여 검출한다. 이와 같은 설정은 실험 환경, 카메라 특성에 따라 상이하게 정의될 수 있다.

표시부(300)는 영상 데이터에 장애물을 표시하고 장애물과 자차와의 거리를 표시하여 운전자가 장애물과의 거리를 인지할 수 있도록 한다. 도 10a는 장애물의 거리를 색깔로 표시한 예이고, 도 10b는 거리정보를 숫자 박스로 표시한 예이며, 도 10c는 보행자가 장애물로 인식되어 자차와 보행자와의 거리를 화살표와 함께 숫자로 표시한 예이다. 도 10d는 보행자를 네모박스로 표시하고 네모박스 위에 자차와의 거리정보를 표시한 예이다.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 장애물 검출 방법을 구체적으로 설명하기로 한다.

먼저, 영상 획득부(100)는 차량 운행 중에 차량 전방, 후방, 측방 중 적어도 하나 이상에 대한 영상 데이터를 획득하여 장애물 검출부(200)로 제공한다(S101). 이때, 획득된 영상 데이터는 도 8a와 같다.

이에, 장애물 검출부(200)는 도 3a 내지 도 4d와 같이 영상 데이터로부터 지평선 또는 소실점 좌표를 산출한다(S102).

그 후, 장애물 검출부(200)는 영상 데이터에 대해 노면 모델(수학식 7)을 설계하고(S103), 장애물 검출부(200)는 설계된 노면 모델에 지평선 또는 소실점 좌표(B')를 적용하여 노면 모델을 확정한다(S104).

이 후, 장애물 검출부(200)는 확정된 노면 모델(수학식 8)을 이용하여 영상 데이터내에서 노면 영역의 거리를 산출한다(S105). 이때, 도 8b는 영상 데이터에서 노면 영역의 자차와의 거리 정보를 표시한 예시도이다.

그 후, 장애물 검출부(200)는 상술한 표 1의 테이블을 참조하여 영상 데이터내에서 거리정보에 따른 검출 윈도우를 설정하고(S106), 영상 데이터의 노면 영역에 대한 윈도우 슬라이딩을 수행하여 장애물을 검출한다(S107). 도 8c는 본 발명의 실시예에 따른 영상 데이터에서 윈도우를 설정하여 장애물을 검출하는 예시도이다.

이 후, 표시부(300)는 영상 데이터 내에 거리에 따른 장애물을 도 8d와 같이거리 정보와 함께 표시한다(S108). 이때, 도 10a 내지 도 10d는 본 발명의 장애물 검출방법에 의해 검출된 장애물을 거리정보에 따라 영상 데이터에 표시한 다른 예시도들이다.

이와 같이, 본 발명은 일반적인 이미지 피라미드를 생성하지 않고 노면 모델을 적용함으로써, 불필요한 여러개의 이미지를 생성할 필요가 없으며 불필요한 여러개의 이미지에 대한 각각의 슬라이딩 윈도우를 수행하지 않고 한번의 슬라이딩 윈도우를 통해 다양한 크기의 장애물을 검출할 수 있다. 또한, 영상 데이터의 모든 영역이 아닌 불필요한 영역(배경)을 제외하고 노면 영역에 대해서만 슬라이딩 윈도우를 수행함으로써 장애물 처리 속도가 현저히 빠르고 정확할 수 있다.

또한, 본 발명은 물리적인 구성을 추가하지 않고 알고리즘의 변경만으로 장애물 검출 속도 및 정확도를 높일 수 있다.

또한, 본 발명은 장애물을 검출하는 기술에 한하지 않고 자동긴급제동(AEB: Autonomous Emergency Braking)시스템, 추돌 경고(FCW:Forward Collision Warnings) 시스템, 스팟라이트(Spot Light) 등의 타시스템에 적용되어 장애물과의 충돌 위험도를 파악하거나 장애물 위치에 따른 능동형 하이빔을 동작 하는 등의 다양한 서비스를 추가적으로 제공할 수 있다.

상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

100 : 영상 획득부
200 : 장애물 검출부
300 : 표시부
210 : 저장부
220 : 데이터 분석부
230 : 노면 모델 적용부
240 : 장애물 추적부

Claims

카메라 주변의 영상 데이터를 획득하는 영상 획득부; 및
상기 영상 데이터에 지평선 또는 소실점을 이용한 노면 모델을 적용하여 노면 영역에 대해 슬라이딩 윈도우를 수행하여 장애물을 검출하는 장애물 검출부;
를 포함하는 장애물 검출 시스템.
청구항 1에 있어서,
상기 장애물을 상기 영상 데이터에 거리정보와 함께 표시하는 표시부;
를 더 포함하는 장애물 검출 시스템.
청구항 1에 있어서,
상기 장애물 검출부는,
상기 영상 데이터를 저장하는 저장부;
상기 영상 데이터에서 지평선 또는 소실점을 검출하는 데이터 분석부;
상기 영상 데이터에서 상기 지평선 또는 소실점을 이용하여 노면 모델을 설정하고 적용하는 노면 모델 적용부; 및
상기 노면 모델이 적용된 영상 데이터의 노면 영역에 상기 슬라이딩 윈도우를 수행하여 상기 장애물을 추적하는 장애물 추적부;
를 포함하는 장애물 검출 시스템.
청구항 3에서,
상기 노면 모델 적용부는,
실제 거리 좌표를 상기 영상 데이터의 영상좌표로 변환하고 상기 지평선 또는 소실점 좌표를 적용한 노면 모델을 설정하는 것을 특징으로 하는 장애물 검출 시스템.
청구항 3에 있어서,
상기 노면 모델 적용부는,
상기 영상 데이터에서 근거리의 장애물의 수직좌표는 급격히 증가하고 원거리의 장애물의 수직좌표는 완만히 증가하는 노면 모델을 설정하는 것을 특징으로 하는 장애물 검출 시스템.
청구항 3에 있어서,
상기 노면 모델 적용부는,
상기 노면 모델을 상기 영상 데이터에 적용하고, 상기 노면 영역의 자차와의 거리정보를 산출하는 것을 특징으로 하는 장애물 검출 시스템.
청구항 3에 있어서,
상기 장애물 추적부는,
상기 영상 데이터의 각 픽셀별 스캐닝을 수행하고, 상기 픽셀의 거리 정보를 획득하여 거리별 윈도우 크기를 결정하고 슬라이딩 윈도우를 수행하여 상기 장애물을 검출하는 것을 특징으로 하는 장애물 검출 시스템.
차량 운행 중 차량 외부의 영상 데이터를 획득하는 단계;
상기 영상 데이터로부터 노면 모델을 설계하여 적용하는 단계; 및
상기 노면 모델이 적용된 영상 데이터에서 지평선 또는 소실점 이하의 노면에 대해 윈도우 슬라이딩을 수행하여 장애물을 검출하는 단계
를 포함하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 8에 있어서,
상기 장애물을 영상 데이터에 표시하고 상기 영상 데이터에 상기 장애물과 자차와의 거리정보를 표시하는 단계
를 더 포함하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 9에 있어서,
상기 장애물과 자차와의 거리정보를 표시하는 단계는,
상기 거리정보를 장애물마다 숫자로 표시하는 것을 특징으로 하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 10에 있어서,
상기 노면 모델을 설계하여 적용하는 단계는,
상기 영상 데이터로부터 지평선 또는 소실점 좌표를 산출하는 단계;
상기 영상 데이터에 대해 노면 모델을 설계하는 단계;
상기 설계된 상기 노면 모델에 상기 산출된 지평선 또는 소실점 좌표를 적용하여 노면 모델을 확정하는 단계;
상기 확정된 노면 모델을 이용하여 노면 영역의 거리를 산출하는 단계
를 포함하는 것을 특징으로 하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 11에 있어서,
상기 노면 모델을 설계하는 단계는,
실제 거리 좌표를 상기 영상 데이터의 영상좌표로 변환하고 상기 지평선 또는 소실점 좌표를 적용한 노면 모델을 설정하는 것을 특징으로 하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 12에 있어서,
상기 노면 모델은 상기 영상 데이터에서 근거리의 장애물의 수직좌표는 급격히 증가하고 원거리의 장애물의 수직좌표는 완만히 증가하는 특성을 가지는 것을 특징으로 하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 8에 있어서,
상기 장애물을 검출하는 단계는,
상기 노면 모델이 적용된 영상 데이터내의 픽셀을 스캐닝하는 단계;
상기 스캐닝된 픽셀들의 거리 정보를 획득하는 단계;
상기 거리별 윈도우 크기를 결정하는 단계; 및
상기 결정된 윈도우를 적용하여 슬라이딩 윈도우를 수행하는 단계
를 포함하는 것을 특징으로 하는 노면 모델 설정을 이용한 장애물 검출 방법.
청구항 14에 있어서,
상기 거리별 윈도우 크기를 결정하는 단계는,
상기 윈도우의 크기는 픽셀수로 결정하는 것을 특징으로 하는 노면 모델 설정을 이용한 장애물 검출 방법.