KR20150111611A - 차량 후보 검출 장치 및 그 방법 - Google Patents

Abstract

본 발명은 차량 내 카메라를 기반으로 획득한 원 이미지에서 그림자 성분의 이미지와 에지 이미지의 공통 영역을 추출하고, 공통 영역을 통해 추출된 외곽선의 위치와 크기를 바탕으로 최종 차량 후보 영역을 추출하는 장치 및 그 방법에 관한 것이다. 차량 후보 검출 방법은 이미지를 그레이 스케일을 기준으로 변환하여 그레이 이미지를 생성하는 단계, 그레이 이미지를 필터링하는 단계, 필터링된 그레이 이미지에서 그림자 영역 이미지와 에지 성분 이미지를 추출하는 단계, 그림자 영역 이미지와 에지 성분 이미지의 공통된 영역에 해당하는 공통 영역 이미지를 추출하는 단계, 공통 영역 이미지에서 외곽선을 검출하고, 검출한 외곽선을 포함하는 경계박스를 차량 후보 영역으로 설정하는 단계 및 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단하는 단계를 포함한다.

Description

차량 후보 검출 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING VEHICLE CANDIDATE}

본 발명은 차량 후보 검출 장치 및 그 방법에 관한 것으로, 특히 차량 내 카메라를 기반으로 획득한 원 이미지에서 그림자 성분의 이미지와 에지 이미지의 공통 영역을 추출하고, 공통 영역을 통해 추출된 외곽선의 위치와 크기를 바탕으로 최종 차량 후보 영역을 추출하는 장치 및 그 방법에 관한 것이다.

최근 운전자 부주의로 인한 교통사고를 줄이기 위해 운전보조시스템에 대한 요구가 증가하고 있다. 특히, 전방추돌경보시스템이나 자동긴급제동시스템의 경우에는 센서를 이용한 차량감지기술이 필수적이다.

카메라를 이용한 차량감지는 비용이 저렴하고 운전자에게 풍부한 정보를 제공할 수 있다. 예를 들어, 한국공개특허 제10-2013-0000023호 "영상의 장면 정보를 이용한 전방 차량 검출 방법"은 카메라를 이용하여 획득한 영상을 토대로 도로 영역과 그림자 영역, 차량의 수평 및 수직 라인을 검출하여 차량 후보 영역을 획득하고, 획득한 차량 후보 영역에 차량이 존재하는지 검증하는 것을 특징으로 한다.

이와 같이, 차량감지 기술은 차량 후보 검출 단계와 차량 검증 단계로 구성할 수 있다. 차량 검증 단계는 차량 후보 검출에 따라 속도와 정확도가 달라지므로, 실제 차량을 놓치지 않고 적당한 개수의 차량 후보를 검출하는 것이 매우 중요하다.

기존 차량 후보 검출 방법에는 상기 한국공개특허 제10-2013-0000023호 "영상의 장면 정보를 이용한 전방 차량 검출 방법"과 같이 그림자를 이용하는 방법, 차량의 대칭성을 이용하는 방법, 차량의 에지 성분을 이용하는 방법 등이 있었다.

그러나, 그림자나 차량의 대칭성을 이용하는 방법은 실제 차량을 후보로 검출하지 못하는 경우가 많고, 차량의 에지 성분을 이용하는 방법은 너무 많은 차량 후보를 생성하여, 차량 검증에 많은 시간을 소요하게 하는 문제점이 있다.

본 발명의 목적은 차량 내 카메라를 기반으로 획득한 원 이미지에서 그림자 성분의 이미지와 에지 이미지의 공통 영역을 추출하고, 공통 영역을 통해 추출된 외곽선의 위치와 크기를 바탕으로 최종 차량 후보 영역을 추출하는 장치 및 그 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 차량 후보 검출 방법은

차량 내 카메라를 기반으로 획득한 이미지를 그레이 스케일을 기준으로 변환하여 그레이 이미지를 생성하는 단계; 상기 그레이 이미지를 필터링하는 단계; 필터링된 그레이 이미지에서 그림자 영역 이미지와 에지 성분 이미지를 추출하는 단계; 상기 그림자 영역 이미지와 에지 성분 이미지의 공통된 영역에 해당하는 공통 영역 이미지를 추출하는 단계; 상기 공통 영역 이미지에서 외곽선을 검출하고, 검출한 외곽선을 포함하는 경계박스를 차량 후보 영역으로 설정하는 단계; 및 상기 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단하는 단계를 포함한다.

본 발명에 따르면, 차량 후보 검출 장치 및 그 방법은 그림자 성분의 이미지와 에지 이미지의 공통 영역을 추출하고, 공통 영역을 통해 추출된 외곽선의 위치와 크기를 바탕으로 최종 차량 후보 영역을 빠르게 검출할 수 있으며, 차량을 놓치지 않고 적은 개수의 차량 후보를 생성하므로 차량 검증에 소모되는 시간을 줄일 수 있다. 여기서, 차량 검증에 소모되는 시간은 차량 후보 영역의 개수에 비례한다.

도 1은 본 발명의 실시예에 따른 차량 후보 검출 장치를 개략적으로 나타내는 구성도이다.
도 2는 본 발명의 실시예에 따른 그레이 이미지를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 그림자 영역 이미지를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 에지 성분 이미지를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 경계 박스를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 경계박스의 왼쪽 하단 꼭지점을 기준으로 차량 후보 영역을 추출한 경우를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 경계박스의 오른쪽 하단 꼭지점을 기준으로 차량 후보 영역을 추출한 경우를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 차량 후보 영역을 추출하는 방법을 나타내는 흐름도이다.
도 9는 본 발명의 실시예에 따른 그림자 영역 이미지와 에지 성분 이미지를 기반으로 추출한 전체 차량 후보 영역을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 차량 검증 결과를 나타내는 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예 따른 차량 후보 검출 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 차량 후보 검출 장치를 개략적으로 나타내는 구성도이다.

도 1을 참고하면, 차량 후보 검출 장치는 사이즈 변환부(100), 컬러 변환부(200), 필터링부(300), 추출부(400), 공통 영역 추출부(500), 후보영역 추출부(600) 및 판단부(700)를 포함한다.

사이즈 변환부(100)는 차량 내 카메라를 기반으로 획득한 원 이미지의 사이즈를 변환한다.

구체적으로, 사이즈 변환부(100)는 영상처리 속도를 높이기 위해 이미지의 사이즈를 줄인다. 예를 들어, 1280*720 크기의 이미지를 320*180 크기의 이미지로 줄이면 이미지 연산에 사용되는 화소의 수가 16배 줄어든다.

컬러 변환부(200)는 사이즈가 변환된 이미지를 그레이 스케일(gray scale)을 기준으로 변환하여 도 2와 같은 그레이 이미지를 생성한다.

컬러 변환부(200)에서와 같이 컬러 이미지를 그레이 이미지로 변환하는 경우에는 화소당 데이터의 크기가 3배 이상 감소하게 된다. 이와 같이 컬러 이미지를 변환하여 생성한 그레이 이미지에서 그림자 성분의 이미지와 에지 이미지를 추출하는 것이 간단하다.

필터링부(300)는 그레이 이미지를 저대역 필터링한다.

구체적으로, 필터링부(300)는 그레이 이미지에서 노이즈를 제거하기 위하여 저대역 필터링을 수행한다. 여기서, 저대역 필터링은 블러링을 통해 미세한 에지 성분을 제거할 수 있다.

추출부(400)는 필터링부(300)에서 필터링된 그레이 이미지에서 그림자 영역 이미지와 에지 성분 이미지를 추출한다.

추출부(400)는 필터링부(300)에서 필터링된 그레이 이미지에서 그림자 영역 이미지를 추출한다.

추출부(400)는 필터링된 그레이 이미지에서 도로 영역의 평균 화소보다 어두운 부분을 그림자 영역으로 정의한다.

구체적으로, 추출부(400)는 필터링된 그레이 이미지에서 도로 영역의 평균 화소를 구하고, 평균 화소 값을 경계로 경계 값보다 크면 검은색(0), 경계 값보다 작으면 흰색(255)으로 변환하여 도 3과 같은 그림자 영역 이미지를 추출한다.

도 3을 참고하면, 그림자 영역 이미지에서는 도로보다 밝은 부분이 대부분 제거됨을 확인할 수 있다.

다음, 추출부(400)는 필터링된 그레이 이미지에 캐니 에지 검출 알고리즘을 적용하여 도 4와 같은 에지 성분 이미지를 추출한다.

도 4를 참고하면, 에지 성분 이미지에서는 도 3과 같은 그림자 영역 이미지에 존재하는 불필요한 부분이 제거됨을 확인할 수 있다. 차량 하부 그림자 부분에 에지 성분이 존재하고, 이 부분이 그림자 영역 이미지와 잘 겹칠 수 있도록 에지를 두껍게 한다.

공통 영역 추출부(500)는 추출부(400)에서 추출한 그림자 영역 이미지와 에지 성분 이미지의 공통된 영역 즉, 공통 영역 이미지를 추출한다.

후보영역 추출부(600)는 공통 영역 추출부(500)에서 추출한 공통 영역 이미지에서 외곽선을 검출하고, 검출한 외곽선을 포함하는 경계박스를 도 5와 같이 생성하여, 생성한 경계박스를 차량이 검출될 수 있는 후보가 되는 영역 즉, 검출후보영역(= 차량 후보 영역)을 추출한다.

다음, 후보영역 추출부(600)는 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출한다.

그림자는 태양의 위치에 따라 다르게 생성되므로 태양이 오른쪽이 있을 경우에는 경계박스의 오른쪽 하단 꼭지점을 기준으로 차량 후보를 영역을 추출해야 정확한 차량 검출이 가능하다.

도 6 및 도 7을 참고하면, 후보영역 추출부(600)는 태양의 위치 파악이 어려우므로 경계박스의 왼쪽 하단 꼭지점을 기준으로 차량 후보 영역을 추출하거나, 오른쪽 하단 꼭지점을 기준으로 차량 후보 영역을 추출한다. 또한, 후보영역 추출부(600)는 차량의 종류 및 차량의 위치에 대응할 수 있도록 다중 스케일로 차량후보영역을 추출한다.

예를 들어, 후보영역 추출부(600)는 도 7의 경우, 오른쪽 하단 꼭지점을 기준으로 2번째 단계의 크기의 차량 후보 영역을 최종 차량 후보 영역으로 설정하고, 이에 대하여 차량 검증을 수행할 것이다.

판단부(700)는 추출부(600)에서 추출한 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단한다.

다음, 차량 후보 영역을 추출하는 방법을 도 8을 참조하여 상세하게 설명한다.

도 8은 본 발명의 실시예에 따른 차량 후보 영역을 추출하는 방법을 나타내는 흐름도이다.

도 8을 참고하면, 차량 후보 검출 장치는 차량 내 카메라를 기반으로 획득한 원 이미지의 사이즈를 변환한다(S100). 이때, 차량 후보 검출 장치는 영상처리 속도를 높이기 위해 이미지의 사이즈를 줄인다.

차량 후보 검출 장치는 사이즈가 변환된 이미지를 그레이 스케일(gray scale)을 기준으로 변환하여 그레이 이미지를 생성한다(S200).

차량 후보 검출 장치는 S200 단계에서 생성한 그레이 이미지에서 노이즈를 제거하기 위하여 저대역 필터링을 수행한다(S300).

저대역 필터링은 블러링을 통해 미세한 에지 성분을 제거할 수 있다.

차량 후보 검출 장치는 필터링된 그레이 이미지에서 그림자 영역 이미지와 에지 성분 이미지를 추출한다(S400).

구체적으로, 차량 후보 검출 장치는 필터링된 그레이 이미지에서 도로 영역의 평균 화소를 구하고, 평균 화소 값을 경계로 경계 값보다 크면 검은색(0), 경계 값보다 작으면 흰색(255)으로 변환하여 도 3과 같은 그림자 영역 이미지를 추출한다.

또한, 차량 후보 검출 장치는 필터링된 그레이 이미지에 캐니 에지 검출 알고리즘을 적용하여 도 4와 같은 에지 성분 이미지를 추출한다.

차량 후보 검출 장치는 S400 단계에서 추출한 그림자 영역 이미지와 에지 성분 이미지의 공통된 영역 즉, 공통 영역 이미지를 추출한다(S500).

차량 후보 검출 장치는 추출한 공통 영역 이미지에서 외곽선을 검출하고, 검출한 외곽선을 포함하는 경계박스를 도 5와 같이 생성하여, 생성한 경계박스를 차량이 검출될 수 있는 후보가 되는 영역 즉, 차량 후보 영역으로 추출한다(S600).

차량 후보 검출 장치는 S600 단계에서 추출한 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 차량 후보 리스트에 저장하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단한다(S700).

도 9는 본 발명의 실시예에 따른 그림자 영역 이미지와 에지 성분 이미지를 기반으로 추출한 전체 차량 후보 영역을 나타내는 도면이고, 도 10은 도 9에서 추출한 전체 차량 후보 영역에 대하여 S700 단계와 같이 차량 검증 과정을 수행한 결과 이미지를 나타내고 있다.

이와 같이, 본 발명은 그림자 성분의 이미지와 에지 이미지의 공통 영역을 추출하고, 공통 영역을 통해 추출된 외곽선의 위치와 크기를 바탕으로 최종 차량 후보 영역을 빠르게 검출할 수 있으며, 차량을 놓치지 않고 적당한 개수의 차량 후보 영역를 검출하므로 차량 검증에 소모되는 시간을 줄일 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 사이즈 변환부
200; 컬러 변환부
300; 필터링부
400; 추출부
500; 콩통 영역 추출부
600; 후보영역 추출부
700; 판단부

Claims (1)

1. 차량 후보 검출 장치가 차량 내 카메라를 기반으로 획득한 이미지를 그레이 스케일을 기준으로 변환하여 그레이 이미지를 생성하는 단계;
   상기 그레이 이미지를 필터링하는 단계;
   필터링된 그레이 이미지에서 그림자 영역 이미지와 에지 성분 이미지를 추출하는 단계;
   상기 그림자 영역 이미지와 에지 성분 이미지의 공통된 영역에 해당하는 공통 영역 이미지를 추출하는 단계;
   상기 공통 영역 이미지에서 외곽선을 검출하고, 검출한 외곽선을 포함하는 경계박스를 차량 후보 영역으로 설정하는 단계; 및
   상기 차량 후보 영역의 위치, 크기, 가로세로비율을 이용하여 설정한 조건을 만족하는 차량의 외곽선을 추출하고, 추출한 차량의 외곽선이 진짜 차량에 해당하는 것인지 아닌지를 판단하는 단계
   를 포함하는 차량 후보 검출 방법.

Images