KR101263158B1

KR101263158B1 - 차량의 검출 방법 및 장치

Info

Publication number: KR101263158B1
Application number: KR1020110140688A
Authority: KR
Inventors: 조영하
Original assignee: 주식회사 만도
Priority date: 2011-12-23
Filing date: 2011-12-23
Publication date: 2013-05-10

Abstract

본 발명의 일 실시예에 따른 차량의 검출 방법은 카메라로부터 촬영된 영상을 입력 받는 단계, 상기 입력 영상의 노이즈를 제거하는 단계, 상기 노이즈가 제거된 입력 영상에서 차량 검출이 가능한 최대 거리를 기초로 상기 입력 영상의 관심 영역을 설정하는 단계, 상기 관심 영역에서 수평 에지를 검출한 수평 이진화 영상 및 상기 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성하는 단계, 사전에 학습한 차량의 특징점 벡터를 이용하여 상기 입력 영상의 전 영역에서 차량 영역을 검출하는 단계, 상기 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출하고, 상기 차량 밑면 후보를 상기 수직 이진화 영상에 투영한 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출하고, 상기 차량 밑면 후보와 상기 차량 옆면 후보를 결합한 차량 후보로 상기 차량 영역을 보정하는 단계 및 상기 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출하는 단계를 포함한다.

Description

차량의 검출 방법 및 장치 {METHOD ANＤ APPARATUS FOR DETECTING VEHICLE}

본 발명은 차량의 검출 방법 및 장치에 관한 것으로, 보다 상세하게는 전방 충돌 경고 시스템에서 카메라가 촬영한 영상을 입력 받아 차량을 검출하는 차량의 검출 방법 및 장치에 관한 것이다.

일반적으로 전방 충돌 경고(Forward Collision Warning) 시스템이란 전방 차량을 감지하고 주행 차량과 전방 차량의 안전 거리에 따른 충돌 위험도에 따라 운전자에게 충돌을 경고하거나 필요한 경우 자동으로 제동을 수행하여 충돌 속도를 최소화하는 시스템을 말한다.

한편, 전방 차량을 감지하는 방법으로 레이더 센서, 적외선 센서, 카메라 등을 이용하는 방법이 시도되고 있다. 특히 카메라를 이용하여 전방 차량을 감지하는 경우 조명 및 날씨의 영향에 따라, 예를 들어 태양광이 심한 측광이거나 역광일 경우 전방 차량을 감지하는 것이 어려운 문제점이 있었다. 이에 따라 전방 충돌 경고 시스템의 전방 차량 감지가 부정확하고, 운전자에게 잘못된 경고를 하거나 자동 제동을 통해 차량의 안정성을 떨어뜨리는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 조명 및 날씨의 영향에도 불구하고 정확하게 전방 차량을 감지하는 차량의 검출 방법 및 장치를 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 차량의 검출 방법은 카메라로부터 촬영된 영상을 입력 받는 단계; 상기 입력 영상의 노이즈를 제거하는 단계; 상기 노이즈가 제거된 입력 영상에서 차량 검출이 가능한 최대 거리를 기초로 상기 입력 영상의 관심 영역을 설정하는 단계; 상기 관심 영역에서 수평 에지를 검출한 수평 이진화 영상 및 상기 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성하는 단계; 사전에 학습한 차량의 특징점 벡터를 이용하여 상기 입력 영상의 전 영역에서 차량 영역을 검출하는 단계; 상기 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출하고, 상기 차량 밑면 후보를 상기 수직 이진화 영상에 투영한 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출하고, 상기 차량 밑면 후보와 상기 차량 옆면 후보를 결합한 차량 후보로 상기 차량 영역을 보정하는 단계; 및 상기 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출하는 단계; 를 포함한다.

상기 입력 영상의 노이즈를 제거하는 단계는 입력 영상의 전 영역에 3x3 mean filter를 이용한 컨볼루션을 수행한다.

상기 입력 영상의 관심 영역을 설정하는 단계는 차량 검출이 가능한 최대 거리를 H-matrix를 이용하여 상기 입력 영상에 투영하고, 상기 입력 영상에서 상기 최대 거리 내의 영역을 관심 영역으로 설정한다.

상기 수평 이진화 영상 및 수직 이진화 영상을 생성하는 단계는 3x3 sobel operator를 이용하여 에지를 검출한다.

상기 차량 영역을 검출하는 단계는 상기 입력 영상에 차량의 크기에 해당하는 윈도우를 생성하고, 상기 윈도우의 크기를 거리에 비례하게 캘리브레이션하고, 상기 입력 영상의 전 영역에서 상기 윈도우를 이동하며 상기 윈도우 영역의 특징점 벡터와 사전에 학습한 차량의 특징점 벡터를 비교하여 차량 영역을 검출한다.

상기 차량 영역을 보정하는 단계는 상기 수평 이진화 영상에서 크기가 1인 픽셀을 각 행마다 군집화하고, 차량의 최소 길이 이상 및 차량의 최대 길이 이하인 군집 중 상기 차량 영역과의 거리가 임계값보다 작은 픽셀들을 차량 밑면 후보로 검출한다.

상기 차량 영역을 보정하는 단계는 상기 보조 영상에서 크기가 1인 픽셀의 열방향 누적합을 계산하고, 누적합이 가장 큰 두 열간 거리가 차량의 길이를 만족하는지 판단하여 두 열에 위치한 픽셀들을 차량 옆면 후보로 검출한다.

본 발명의 일 실시예에 따른 차량의 검출 장치는 전방 또는 후방의 차량에 관한 영상을 촬영하는 카메라; 및 상기 카메라가 촬영한 입력 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 입력 영상에서 차량 검출이 가능한 최대 거리를 기초로 상기 입력 영상의 관심 영역을 설정하고, 상기 관심 영역에서 수평 에지를 검출한 수평 이진화 영상 및 상기 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성하고, 사전에 학습한 차량의 특징점 벡터를 이용하여 상기 입력 영상의 전 영역에서 차량 영역을 검출하고, 상기 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출하고, 상기 차량 밑면 후보를 상기 수직 이진화 영상에 투영한 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출하고, 상기 차량 밑면 후보와 상기 차량 옆면 후보를 결합한 차량 후보로 상기 차량 영역을 보정하고, 상기 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출하는 제어부; 를 포함한다.

본 발명에 따르면, 조명 및 날씨의 영향에 관계없이 전방 차량 감지의 정확도가 개선되므로 차량의 충돌 위험시 운전자에게 신속하게 충돌 경고를 하며, 적절한 제동을 통해 차량의 충돌을 방지하여 차량의 안정성을 확보할 수 있다.

도 1은 본 발명의 일 실시예에 따른 차량의 검출 방법의 개략적인 흐름도
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 노이즈 제거 방법을 개략적으로 나타내는 도면
도 3은 본 발명의 일 실시예에 따른 관심 영역 설정 방법을 개략적으로 나타내는 도면
도 4는 본 발명의 일 실시예에 따른 수평 에지 검출 방법을 개략적으로 나타내는 도면
도 5는 본 발명의 일 실시예에 따른 수직 에지 검출 방법을 개략적으로 나타내는 도면
도 6은 본 발명의 일 실시예에 따른 사전에 학습한 차량의 특징점 벡터를 개략적으로 나타내는 도면
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 차량 영역 검출 방법을 개략적으로 나타내는 도면
도 8a 내지 도 8f는 본 발명의 일 실시예에 따른 차량 영역 보정 방법을 개략적으로 나타내는 도면
도 9는 본 발명의 일 실시예에 따른 차량 검출 방법을 개략적으로 나타내는 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 차량의 검출 방법의 개략적인 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 검출 방법은 차량의 전방 또는 후방에 설치된 단안 카메라로부터 촬영된 영상을 입력 받고(S110), 입력 영상의 노이즈(noise)를 제거한다(S120). 그리고, 노이즈가 제거된 입력 영상에서 관심 영역을 설정하고(S130), 관심 영역에서 수평 에지(edge)를 검출한 수평 이진화 영상 및 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성한다(S140). 입력 영상의 전 영역에서 차량 영역을 검출하고(S150), 차량 밑면 후보와 차량 옆면 후보를 결합한 차량 후보로 차량 영역을 보정하여(S160), 차량 영역을 보정한 입력 영상에서 차량을 검출한다(S170). 각 과정의 구체적인 내용은 이하에서 보다 상세하게 설명하도록 한다.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 노이즈 제거 방법을 개략적으로 나타내는 도면이다.

도 2a 및 도 2b를 참조하면, 도 2a는 카메라로부터 촬영된 입력 영상을 도시하고 있으며, 도 2b는 노이즈가 제거된 입력 영상을 도시하고 있다. 여기서 노이즈 제거는 입력 영상의 전 영역에 3x3 mean filter를 이용한 컨볼루션(convolution)을 수행하여 할 수 있으나, 이에 한정되는 것은 아니다.

도 3은 본 발명의 일 실시예에 따른 관심 영역 설정 방법을 개략적으로 나타내는 도면이다.

도 3을 참조하면, 3차원의 실제 좌표계에서 차량 검출이 가능한 최대 거리를 적색 점으로 도시하고 있다. 이와 같이 차량 검출이 가능한 최대 거리를 H-matrix를 이용하여 입력 영상에 투영하고, 입력 영상에서 최대 거리 내의 영역을 관심 영역으로 설정한다. 여기서, H-matrix는 3차원의 좌표계를 2차원의 입력 영상 좌표계에 매핑(mapping)하기 위한 함수를 나타낸다.

도 3의 우측의 영상은 관심 영역이 설정된 입력 영상을 도시하고 있으며, 여기서 관심 영역은 실제 좌표계의 적색 점에 대응하는 적색 직선 아래의 영역을 나타낸다. 즉, 적색 직선은 차량 검출이 가능한 최대 거리를 입력 영상에 투영하여 나타낸 것으로, 적색 직선 아래의 영역은 차량 검출이 가능한 최대 거리 내의 관심 영역이다.

도 4는 본 발명의 일 실시예에 따른 수평 에지 검출 방법을 개략적으로 나타내는 도면이다.

도 4를 참조하면, 입력 영상의 관심 영역에서 수평 에지를 검출하여 수평 이진화 영상을 생성한다. 여기서, 수평 에지를 검출하는 방법은 3x3 sobel operator를 이용할 수 있으나, 이에 한정되는 것은 아니다.

도 5는 본 발명의 일 실시예에 따른 수직 에지 검출 방법을 개략적으로 나타내는 도면이다.

도 5를 참조하면, 입력 영상의 전 영역에서 수직 에지를 검출하여 수직 이진화 영상을 생성한다. 여기서, 수직 에지를 검출하는 방법은 3x3 sobel operator를 이용할 수 있으나, 이에 한정되는 것은 아니다.

도 6은 본 발명의 일 실시예에 따른 사전에 학습한 차량의 특징점 벡터(vector)를 개략적으로 나타내는 도면이다.

도 6을 참조하면, 차량은 다른 물체와 구별되는 다양한 특정점을 가지고 있다. 따라서, 이러한 차량의 특징점 중 수평 에지 파워(edge power), 수직 에지 파워 및 대칭성 정도를 사전에 학습하여 차량과 비차량을 구별할 수 있는 특징점 벡터를 생성할 수 있다. 사전 학습은 실제 차량의 영상과 비차량의 영상을 수집하여 동일한 크기로 일반화한 후, 일반화한 영상에서 수평 에지 파워, 수직 에지 파워 및 대칭성 정도를 계산하여 군집화한다. 도 6에 도시된 바와 같이 적색 영역은 차량의 특징점을 나타내는 군집이며, 청색 영역은 비차량을 나타내는 군집으로, 특징점 벡터를 이용하여 차량과 비차량을 구별할 수 있다.

도 7a 및 도 7b는 본 발명의 일 실시예에 따른 차량 영역 검출 방법을 개략적으로 나타내는 도면이다.

도 7a 및 도 7b를 참조하면, 특징점 벡터를 이용하여 입력 영상의 전 영역에서 차량 영역을 검출한다. 구체적으로 입력 영상에 차량의 크기에 해당하는 윈도우(window)를 생성한다. 예를 들어, 차량의 크기를 가로 2m 세로 2m라고 설정하는 경우, 가로 2m 세로 2m 크기의 윈도우를 거리에 비례하게 캘리브레이션(calibration) 하여 입력 영상에 생성한다. 그리고 입력 영상의 전 영역에서 윈도우를 이동해가며 차량 영역을 검출한다. 도 7a의 적색으로 도시된 윈도우의 크기는 차량의 밑면의 위치 즉, 거리에 따라 캘리브레이션 되며, 일예로 윈도우를 좌측에서 우측으로 이동해가며 차량 영역을 검출한다.

차량 영역의 검출은 도 7b에 도시된 바와 같이 황색으로 도시된 윈도우 영역의 특징점 벡터와 사전에 학습한 차량의 특징점 벡터를 비교하여 할 수 있다. 먼저 윈도우 영역의 크기를 사전 학습에서 이용한 실제 차량의 영상의 크기와 동일하게 일반화한다. 그리고 일반화한 윈도우 영역의 수평 에지 파워, 수직 에지 파워, 대칭성 정도를 계산하여 특징점 벡터를 생성한다. 이와 같이 생성한 특징점 벡터를 사전에 학습한 차량의 특징점 벡터와 비교하여 차량 영역을 검출한다.

도 8a 내지 도 8f는 본 발명의 일 실시예에 따른 차량 영역 보정 방법을 개략적으로 나타내는 도면이다.

도 8a 내지 도 8f를 참조하면, 도 8a에 도시된 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출한다. 즉, 수평 이진화 영상에서 크기가 1인 픽셀(pixel)을 각 행마다 군집화하고, 차량의 최소 길이 이상 및 차량의 최대 길이 이하인 군집을 검출한다. 도 8b에서 검출한 군집은 적색 직선으로 도시되어 있으며, 차량의 밑면을 이루는 것으로 추정되는 복수의 군집은 하나의 군집으로 결합한다. 검출한 군집 중 검출한 차량 영역과의 거리가 일정한 임계값보다 작은 픽셀들을 차량 밑면 후보로 검출한다.

다음으로, 검출한 차량 밑면 후보를 도 8c와 같은 수직 이진화 영상에 투영하여 도 8d에 도시된 바와 같은 보조 영상을 생성한다.

그리고, 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출한다. 차량 옆면 후보의 검출을 위해, 보조 영상에서 크기가 1인 픽셀의 열방향 누적합을 계산한다. 누적합이 가장 큰 두 열간 거리가 차량의 길이를 만족하는지 판단하여 두 열에 위치한 픽셀들을 차량 옆면 후보로 검출한다. 도 8e는 누적합을 청색 실선으로 도시하고 있으며, 적색 점은 누적합이 가장 큰 부분을 도시하고 있다.

그리고, 도 8f에 도시된 바와 같이 차량 밑면 후보와 차량 옆면 후보를 결합한 차량 후보로 검출한 차량 영역을 보정한다.

도 9는 본 발명의 일 실시예에 따른 차량 검출 방법을 개략적으로 나타내는 도면이다.

도 9를 참조하면, 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출한다.

한편, 본 발명의 일 실시예에 따른 차량의 검출 장치는 카메라 및 제어부를 포함하여 구성된다.

카메라(미도시)는 단안 카메라로서, 전방 또는 후방의 차량에 관한 영상을 촬영한다.

제어부(미도시)는 카메라가 촬영한 입력 영상의 노이즈를 제거하고, 노이즈가 제거된 입력 영상에서 차량 검출이 가능한 최대 거리를 기초로 입력 영상의 관심 영역을 설정한다. 그리고, 관심 영역에서 수평 에지를 검출한 수평 이진화 영상 및 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성한다. 수평 이진화 영상 및 수직 이진화 영상은 차량 영역을 보정하는데 이용된다.

또한, 제어부는 사전에 학습한 차량의 특징점 벡터를 이용하여 입력 영상의 전 영역에서 차량 영역을 검출한다. 그리고, 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출하고, 차량 밑면 후보를 수직 이진화 영상에 투영한 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출하고, 차량 밑면 후보와 차량 옆면 후보를 결합한 차량 후보로 차량 영역을 보정한다. 제어부는 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출한다.

Claims

카메라로부터 촬영된 영상을 입력 받는 단계;
상기 입력 영상의 노이즈를 제거하는 단계;
상기 노이즈가 제거된 입력 영상에서 차량 검출이 가능한 최대 거리를 기초로 상기 입력 영상의 관심 영역을 설정하는 단계;
상기 관심 영역에서 수평 에지를 검출한 수평 이진화 영상 및 상기 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성하는 단계;
사전에 학습한 차량의 특징점 벡터를 이용하여 상기 입력 영상의 전 영역에서 차량 영역을 검출하는 단계;
상기 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출하고, 상기 차량 밑면 후보를 상기 수직 이진화 영상에 투영한 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출하고, 상기 차량 밑면 후보와 상기 차량 옆면 후보를 결합한 차량 후보로 상기 차량 영역을 보정하는 단계; 및
상기 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출하는 단계; 를 포함하는 차량의 검출 방법.
제1항에 있어서,
상기 입력 영상의 노이즈를 제거하는 단계는 입력 영상의 전 영역에 3x3 mean filter를 이용한 컨볼루션을 수행하는 차량의 검출 방법.
제1항에 있어서,
상기 입력 영상의 관심 영역을 설정하는 단계는 차량 검출이 가능한 최대 거리를 H-matrix를 이용하여 상기 입력 영상에 투영하고, 상기 입력 영상에서 상기 최대 거리 내의 영역을 관심 영역으로 설정하는 차량의 검출 방법.
제1항에 있어서,
상기 수평 이진화 영상 및 수직 이진화 영상을 생성하는 단계는 3x3 sobel operator를 이용하여 에지를 검출하는 차량의 검출 방법.
제1항에 있어서,
상기 차량 영역을 검출하는 단계는 상기 입력 영상에 차량의 크기에 해당하는 윈도우를 생성하고, 상기 윈도우의 크기를 거리에 비례하게 캘리브레이션하고, 상기 입력 영상의 전 영역에서 상기 윈도우를 이동하며 상기 윈도우 영역의 특징점 벡터와 사전에 학습한 차량의 특징점 벡터를 비교하여 차량 영역을 검출하는 차량의 검출 방법.
제1항에 있어서,
상기 차량 영역을 보정하는 단계는 상기 수평 이진화 영상에서 크기가 1인 픽셀을 각 행마다 군집화하고, 차량의 최소 길이 이상 및 차량의 최대 길이 이하인 군집 중 상기 차량 영역과의 거리가 임계값보다 작은 픽셀들을 차량 밑면 후보로 검출하는 차량의 검출 방법.
제1항에 있어서,
상기 차량 영역을 보정하는 단계는 상기 보조 영상에서 크기가 1인 픽셀의 열방향 누적합을 계산하고, 누적합이 가장 큰 두 열간 거리가 차량의 길이를 만족하는지 판단하여 두 열에 위치한 픽셀들을 차량 옆면 후보로 검출하는 차량의 검출 방법.
전방 또는 후방의 차량에 관한 영상을 촬영하는 카메라; 및
상기 카메라가 촬영한 입력 영상의 노이즈를 제거하고, 상기 노이즈가 제거된 입력 영상에서 차량 검출이 가능한 최대 거리를 기초로 상기 입력 영상의 관심 영역을 설정하고, 상기 관심 영역에서 수평 에지를 검출한 수평 이진화 영상 및 상기 입력 영상의 전 영역에서 수직 에지를 검출한 수직 이진화 영상을 생성하고, 사전에 학습한 차량의 특징점 벡터를 이용하여 상기 입력 영상의 전 영역에서 차량 영역을 검출하고, 상기 수평 이진화 영상에서 차량의 길이를 만족하는 차량 밑면 후보를 검출하고, 상기 차량 밑면 후보를 상기 수직 이진화 영상에 투영한 보조 영상에서 차량의 길이를 만족하는 차량 옆면 후보를 검출하고, 상기 차량 밑면 후보와 상기 차량 옆면 후보를 결합한 차량 후보로 상기 차량 영역을 보정하고, 상기 차량 영역을 보정한 입력 영상에서 SVM을 이용하여 차량을 검출하는 제어부; 를 포함하는 차량의 검출 장치.