KR20150095379A - 차량 후보 검출 장치 및 그 방법 - Google Patents

Abstract

본 발명은 차량 내 카메라를 기반으로 획득한 차량의 주변 영상에서 차량 후보를 검출하는 장치 및 그 방법에 관한 것이다. 차량 후보 검출 장치는 차량 내 카메라를 기반으로 획득한 이미지를 그레이 스케일을 기준으로 변환하여 그레이 이미지를 생성하는 단계, 그레이 이미지를 필터링하는 단계, 필터링된 그레이 이미지에서 에지를 검출하는 단계, 검출한 에지를 이용하여 외곽선을 검출하는 단계, 검출한 외곽선을 포함하는 경계박스를 차량 후보 영역으로 설정하는 단계, 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출하는 단계 및 추출한 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단하는 단계를 수행한다.

Description

차량 후보 검출 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING VEHICLE CANDIDATE}

본 발명은 차량 후보 검출 장치 및 그 방법에 관한 것으로, 특히 차량 내 카메라를 기반으로 획득한 차량의 주변 영상에서 차량 후보를 검출하는 장치 및 그 방법에 관한 것이다.

최근 운전자 부주의로 인한 교통사고를 줄이기 위해 운전보조시스템에 대한 요구가 증가하고 있다. 특히, 전방추돌경보시스템이나 자동긴급제동시스템의 경우에는 센서를 이용한 차량감지기술이 필수적이다.

카메라를 이용한 차량감지는 비용이 저렴하고 운전자에게 풍부한 정보를 제공할 수 있다. 예를 들어, 한국공개특허 제10-2013-0000023호 "영상의 장면 정보를 이용한 전방 차량 검출 방법"은 카메라를 이용하여 획득한 영상을 토대로 도로 영역과 그림자 영역, 차량의 수평 및 수직 라인을 검출하여 차량 후보 영역을 획득하고, 획득한 차량 후보 영역에 차량이 존재하는지 검증하는 것을 특징으로 한다.

이와 같이, 차량감지 기술은 차량 후보 검출 단계와 차량 검증 단계로 구성할 수 있다. 차량 검증 단계는 차량 후보 검출에 따라 속도와 정확도가 달라지므로, 실제 차량을 놓치지 않고 적당한 개수의 차량 후보를 검출하는 것이 매우 중요하다.

기존 차량 후보 검출 방법에는 상기 한국공개특허 제10-2013-0000023호 "영상의 장면 정보를 이용한 전방 차량 검출 방법"과 같이 그림자를 이용하는 방법, 차량의 대칭성을 이용하는 방법, 차량의 에지 성분을 이용하는 방법 등이 있었다.

그러나, 그림자나 차량의 대칭성을 이용하는 방법은 실제 차량을 후보로 검출하지 못하는 경우가 많고, 차량의 에지 성분을 이용하는 방법은 너무 많은 차량 후보를 생성하여, 차량 검증에 많은 시간을 소요하게 하는 문제점이 있다.

본 발명의 목적은 차량 내 카메라를 기반으로 획득한 차량의 주변 영상에서 차량 후보를 검출하는 장치 및 그 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 차량 후보 검출 방법은

차량 내 카메라를 기반으로 획득한 이미지를 그레이 스케일을 기준으로 변환하여 그레이 이미지를 생성하는 단계; 상기 그레이 이미지를 필터링하는 단계; 필터링된 그레이 이미지에서 에지를 검출하는 단계; 검출한 에지를 이용하여 외곽선을 검출하는 단계; 검출한 외곽선을 포함하는 경계박스를 차량 후보 영역으로 설정하는 단계; 상기 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출하는 단계; 및 추출한 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단하는 단계를 포함한다.

본 발명에 따르면, 차량 후보 검출 장치 및 그 방법은 다중 스케일의 이미지에서 외곽선 검출을 수행함으로써, 차량을 놓치지 않고 차량 후보 영역을 빠르게 검출할 수 있으며, 적정한 개수의 차량 후보를 생성하므로 차량 검증에 소모되는 시간을 줄일 수 있다. 여기서, 차량 검증에 소모되는 시간은 차량 후보 영역의 개수에 비례한다.

도 1은 본 발명의 실시예에 따른 차량 후보 검출 장치를 개략적으로 나타내는 구성도이다.
도 2 및 도 3은 본 발명의 실시예에 따른 차량 후보 검출 장치에서 외곽선을 검출한 결과를 나타내는 참고도이다.
도 4는 본 발명의 실시예에 따른 경계박스를 나타내는 참고도이다.
도 5는 본 발명의 실시예에 따른 차량 후보를 검출하는 방법을 나타내는 흐름도이다.
도 6 내지 도 11은 본 발명의 실시예에 따른 이미지의 사이즈 별 외곽선 검출 결과를 나타내는 참고도이다.
도 12는 본 발명의 실시예에 따른 검출후보영역을 나타내는 참고도이다.
도 13은 본 발명의 실시예에 따른 차량 검증 결과를 나타내는 참고도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예 따른 차량 내 카메라를 기반으로 획득한 차량의 주변 영상에서 차량 후보를 검출하는 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 차량 후보 검출 장치를 개략적으로 나타내는 구성도이다. 또한, 도 2 및 도 3은 본 발명의 실시예에 따른 차량 후보 검출 장치에서 외곽선을 검출한 결과를 나타내는 참고도이다. 또한, 도 4는 본 발명의 실시예에 따른 경계박스를 나타내는 참고도이다.

도 1을 참고하면, 차량 후보 검출 장치는 변환부(100), 필터링부(200), 에지 검출부(300), 외곽선 검출부(400), 검출후보영역 설정부(500), 추출부(600) 및 판단부(700)를 포함한다.

변환부(100)는 차량 내 카메라를 기반으로 획득한 입력 이미지 즉, 차량의 주변 이미지를 그레이 스케일(gray scale)을 기준으로 변환하여 그레이 이미지를 생성한다.

필터링부(200)는 변환부(100)의 변환 결과 즉, 그레이 이미지를 저대역 필터링한다.

구체적으로, 필터링부(200)는 그레이 이미지에서 노이즈를 제거하기 위하여 저대역 필터링을 수행한다. 여기서, 저대역 필터링은 블러링을 통해 미세한 에지 성분을 제거할 수 있다.

에지 검출부(300)는 필터링부(200)에서 필터링된 그레이 이미지에서 에지(edge)를 검출한다.

외곽선 검출부(400)는 검출한 에지를 이용하여 외곽선(Contour)을 검출한다. 여기서, 외곽선은 이미지 예를 들어, 필터링된 그레이 이미지 내 곡선을 나타내는 점들의 리스트를 의미한다.

차량은 외부 테두리, 창문, 타이어, 차량 하부 그림자 등의 외곽선을 포함하고 있다. 실제 주행환경은 조도, 터널, 역광, 음영 등 다양한 외부 요인으로 인해 기존 방법의 경우 차량 후보영역을 놓치는 경우가 빈번하게 발생할 수 있다. 하지만, 외곽선 기반으로 여러 단계 걸쳐 외곽선 검출을 수행하면 놓칠 수 있는 차량후보를 가능한 줄일 수 있다. 기본적으로 외관선 검출을 3단계에 걸쳐서 수행하면 계산복잡도 대비 차량후보검출 정확도를 향상시킬 수 있다.

외곽선 검출부(400)는 가장 바깥쪽에 나타나는 외곽선을 검출하여 차량 후보의 개수를 줄일 수 있다. 도 2와 같은 원본 이미지에서 외곽선을 검출한 결과는 도 3과 같다. 도 3을 참고하면, 도로의 차량도 외곽선(바퀴, 그림자, 유리창, 차량 윤곽 등)을 포함하고 있다.

검출후보영역 설정부(500)는 외곽선 검출부(400)에서 검출한 외곽선을 포함하는 경계박스(bounding box)를 도 4와 같이 생성하고, 생성한 경계박스를 차량이 검출될 수 있는 후보가 되는 영역 즉, 검출후보영역(= 차량 후보 영역)으로 설정한다.

추출부(600)는 검출후보영역 설정부(500)에서 설정한 검출후보영역(= 차량 후보 영역)의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출한다.

예를 들어, 추출부(600)는 검출후보영역(= 차량 후보 영역)의 상단부는 하늘영역으로 차량이 나타날 가능성이 거의 없으므로 후보영역에서 제외시킨다.

또한, 추출부(600)는 검출후보영역(= 차량 후보 영역)에서 소실점을 구해서 지평선의 위치를 파악하고, (지평선 위치 + X)지점 윗단에 존재하는 후보영역을 삭제한다. 이때, X 값은 카메라의 설치 위치에 따라 달라질 수 있다.

또한, 추출부(600)는 전방 차량의 찾는 경우(룸미러 부근), 측후방 차량을 찾는 경우(사이드 미러 부근)에 따라 다르고, 주행차량의 종류(승용, SUV, 트럭 등)에 따라 차량의 외곽선을 다르게 추출할 수 있다.

또한, 추출부(600)는 외곽선 검출부(400)에서 검출한 외곽선이 기준치보다 너무 크거나 너무 작을 경우 차량 후보에서 제외한다. 여기서 기준치는 입력 이미지 스케일에 따라 다르다.

또한, 추출부(600)는 세로로 너무 긴 외곽선은 가로수나 가로등일 확률이 높으므로 차량 후보에서 제외한다. 기본적으로, 가로대비 세로가 2배 이상 큰 경우 차량 후보에서 제외한다. 이때, 실험을 통해 가로/세로 비의 기준값은 달라질 수 있으며, 이에 한정되지 않는다.

도 4를 참고하면, 추출부(600)는 도로영역을 추출하여 도 4와 같은 경계박스의 왼쪽 아래 꼭지점(x,y+height)의 x좌표가 도로영역 밖에 있으면, 후보영역에서 삭제한다.

판단부(700)는 추출부(600)에서 추출한 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단한다.

다음, 차량 후보 검출 방법을 도 5를 참조하여 상세하게 설명한다.

도 5는 본 발명의 실시예에 따른 차량 후보를 검출하는 방법을 나타내는 흐름도이다.

도 5를 참고하면, 차량 후보 검출 장치는 차량 내 카메라를 기반으로 획득한 이미지를 입력받는다(S100). 여기서, 이미지는 차량의 주변 환경에 해당하는 이미지이다.

차량 후보 검출 장치는 S100 단계에서 입력받은 이미지의 사이즈를 설정된 사이즈 기준에 따라 변환한다(S200). 예를 들어, 차량 후보 검출 장치는 입력받은 이미지의 사이즈를 원본의 1/4 또는 1/2과 같이 축소할 수 있다.

차량 후보 검출 장치는 S200 단계에서 변환된 이미지를 그레이 스케일(gray scale)을 기준으로 변환하여 그레이 이미지를 생성한다(S300).

차량 후보 검출 장치는 그레이 이미지를 저대역 필터링한다(S400).

차량 후보 검출 장치는 필터링된 그레이 이미지에서 에지(edge)를 검출한다(S500).

차량 후보 검출 장치는 검출한 에지를 이용하여 외곽선(Contour)을 검출한다(S600). 여기서, 외곽선은 이미지 예를 들어, 필터링된 그레이 이미지 내 곡선을 나타내는 점들의 리스트를 의미한다.

차량 후보 검출 장치는 S600 단계에서 검출한 외곽선을 포함하는 경계박스(bounding box)를 생성하고, 생성한 경계박스를 검출후보영역(= 차량 후보 영역)으로 설정한다(S700).

차량 후보 검출 장치는 S700 단계에서 설정한 검출후보영역(= 차량 후보 영역)의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출한다(S800).

차량 후보 검출 장치는 추출한 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 검증한다(S900).

다음, 이미지의 사이즈 별 외곽선 검출 결과를 도 6 내지 도 11을 참조하여 상세하게 설명한다.

도 6 내지 도 11은 본 발명의 실시예에 따른 이미지의 사이즈 별 외곽선 검출 결과를 나타내는 참고도이다.

도 6은 차량 내 카메라를 기반으로 획득한 원본 이미지의 사이즈를 1/4로 축소한 결과에 대응하는 그레이 이미지이고, 도 7은 도 6의 그레이 이미지에 대응하는 외곽선을 검출한 결과를 나타낸다.

도 8은 차량 내 카메라를 기반으로 획득한 원본 이미지의 사이즈를 1/2로 축소한 결과에 대응하는 그레이 이미지이고, 도 9는 도 8의 그레이 이미지에 대응하는 외곽선을 검출한 결과를 나타낸다.

도 10은 차량 내 카메라를 기반으로 획득한 원본 이미지에 대응하는 그레이 이미지이고, 도 11은 도 10의 그레이 이미지에 대응하는 외곽선을 검출한 결과를 나타낸다.

도 6 내지 도 11을 참고하면, 차량 내 카메라를 기반으로 획득한 원본 이미지가 동일할지라도 이미지 사이즈 별로 검출되는 외곽선의 형태 및 크기는 다르다는 것을 알 수 있다. 따라서, 본 발명에서는 차량이 존재하는 영역이지만 외곽선을 검출하지 못하는 부분을 상호 보완하여 외곽선을 검출할 수 있도록, S200 단계에서 이미지의 사이즈를 변환할 수 있다.

다음, 검출후보영역(= 차량 후보 영역)과 차량 검증 결과를 도 12 및 도 13을 참조하여 상세하게 설명한다.

도 12는 본 발명의 실시예에 따른 검출후보영역을 나타내는 참고도이고, 도 13은 본 발명의 실시예에 따른 차량 검증 결과를 나타내는 참고도이다.

도 12는 외곽선을 포함하는 경계박스 즉, 검출후보영역(= 차량 후보 영역)을 나타낸다. 도 12를 참고하면, 하나의 이미지에 적당한 개수의 검출후보영역(= 차량 후보 영역)이 존재하는 것을 알 수 있다. 도 13은 차량 후보 검출 장치가 설정한 검출후보영역(= 차량 후보 영역)에 대한 차량검증과정을 수행한 결과에 해당하는 검증 결과를 나타낸다.

이와 같이, 차량 후보 검출 장치는 다중 스케일의 이미지에서 외곽선 검출을 수행함으로써, 차량을 놓치지 않고 차량 후보 영역을 빠르게 검출할 수 있으며, 적정한 개수의 차량 후보를 생성하므로 차량 검증에 소모되는 시간을 줄일 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 변환부 200; 필터링부
300; 에지 검출부 400; 외곽선 검출부
500; 검출후보영역 설정부 600; 추출부
700; 판단부

Claims (1)

1. 차량 후보 검출 장치가 차량 내 카메라를 기반으로 획득한 이미지를 그레이 스케일을 기준으로 변환하여 그레이 이미지를 생성하는 단계;
   상기 그레이 이미지를 필터링하는 단계;
   필터링된 그레이 이미지에서 에지를 검출하는 단계;
   검출한 에지를 이용하여 외곽선을 검출하는 단계;
   검출한 외곽선을 포함하는 경계박스를 차량 후보 영역으로 설정하는 단계;
   상기 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출하는 단계; 및
   추출한 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단하는 단계
   를 포함하는 차량 후보 검출 방법.

Images