KR20100096873A - Method and system for detecting a vehicle - Google Patents
Method and system for detecting a vehicle Download PDFInfo
- Publication number
- KR20100096873A KR20100096873A KR1020090015949A KR20090015949A KR20100096873A KR 20100096873 A KR20100096873 A KR 20100096873A KR 1020090015949 A KR1020090015949 A KR 1020090015949A KR 20090015949 A KR20090015949 A KR 20090015949A KR 20100096873 A KR20100096873 A KR 20100096873A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- region
- frame
- vehicle candidate
- candidate region
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R99/00—Subject matter not provided for in other groups of this subclass
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 차량 검출 방법 및 시스템에 관한 것이다. 보다 상세하게는 촬영된 영상정보를 분석하여 상기 촬영된 영상정보로부터 차량 영역을 신속하고 정확하게 검출하는 것이 가능한 차량 검출 방법 및 시스템에 관한 것이다.The present invention relates to a vehicle detection method and system. More particularly, the present invention relates to a vehicle detection method and system capable of quickly and accurately detecting a vehicle area from the captured image information by analyzing the captured image information.
자동주행 시스템에 있어서 자동주행 중 자동주행 차량의 전방 또는 후방에 위치한 상대방 차량을 감지하는 것은 교통사고를 예방하여 차량 탑승자의 안전을 유지하기 위한 필수적인 요소이므로 자동주행 차량의 전방 또는 후방에 위치한 상대방 차량을 감지하기 위한 위한 필수적인 교통사고 예방차원에서 매우 중요한 문제이므로 촬영된 영상으로부터 차량을 검출하는 여러가지 방법들이 사용되고 있다.In the autonomous driving system, detecting the other vehicle located in front of or behind the autonomous vehicle during autonomous driving is essential for maintaining the safety of the vehicle occupant by preventing traffic accidents. In order to prevent traffic accidents, it is very important to prevent traffic accidents. Therefore, various methods of detecting vehicles from captured images are used.
일반적으로 차량 검출 방법은 크게 능동적 방법과 수동적 방법으로 구분할 수 있다. In general, a vehicle detection method can be largely divided into an active method and a passive method.
먼저, 능동적 방법의 경우 차량 검출을 위하여 레이저 또는 레이더와 같은 능동형 센서를 사용하여 차량을 검출하는 방식을 이용하며, 능동형 센서를 이용하므로 주변 정보를 직접 입력받을 수 있는 장점을 가지는 반면, 능동형 센서의 해상도가 낮고 가격이 고가이며 다른 능동형 센서와의 간섭이 발생하는 문제점이 있다.First, the active method uses a method of detecting a vehicle by using an active sensor such as a laser or a radar for detecting a vehicle, and has an advantage of directly receiving peripheral information because the active sensor is used. The problem is that the resolution is low, the price is high, and interference with other active sensors occurs.
특히, 능동적 방법의 경우 주변 정보를 직접 입력받을 수 있지만 입력된 주변 정보가 무엇을 의미하는지 정확히 판단하기가 힘들다는 문제점이 발생한다.In particular, in the case of the active method, it is possible to directly receive the surrounding information, but it is difficult to accurately determine what the input surrounding information means.
다음으로, 수동적 방법의 경우 차량 검출을 위하여 능동형 센서보다 저렴한 광학 센서를 사용하여 촬영된 영상 정보를 입력받은 후 입력받은 영상을 분석하므로 그 활용도가 차량 검출 분야에 국한되지 않고 차선 검출, 교통 표지판 인식, 보행자 검출, 또는 블랙박스 등의 다양한 용도로 확용이 가능한 장점을 가진다.Next, the passive method analyzes the input image after receiving the captured image information using the optical sensor which is cheaper than the active sensor for detecting the vehicle. Therefore, the utilization is not limited to the vehicle detection field. , Pedestrian detection, or black box has the advantage that can be extended to various uses.
그러나, 수동적 방법의 경우에는 촬영된 영상 정보를 입력받은 후 입력받은 영상을 분석하여 다양한 정보를 분석할 수 있지만 종래에 사용되던 수동적 방법의 경우 분석을 필요로 하는 정보의 양에 비례하여 정보 분석에 소요되는 계산 속도가 느려지므로 처리 속도를 중요시하는 자동주행 시스템을 위한 차량 검출 방법으로는 적합하지 않다는 문제점이 있었다.However, in the case of the passive method, various information can be analyzed by analyzing the received image after receiving the captured image information. However, in the case of the conventional passive method, the information is analyzed in proportion to the amount of information requiring analysis. Since the calculation speed required is slow, there is a problem that it is not suitable as a vehicle detection method for an automatic driving system that places importance on the processing speed.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로 촬영된 영상정보를 분석하여 상기 촬영된 영상정보로부터 차량 영역을 신속하고 정확하게 검출하는 것이 가능한 차량 검출 방법 및 시스템을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a vehicle detection method and system capable of quickly and accurately detecting a vehicle region from the photographed image information by analyzing image information that has been devised to solve the above problems.
상기 목적을 달성하기 위한 본 발명에 따른 차량 검출 방법은 (a) 입력받은 영상을 구성하는 각 프레임별 차량 후보 영역을 검출하는 단계; 및 (b) 상기 각 프레임별 차량 후보 영역으로부터 특징 벡터를 추출하고 상기 특징 벡터의 입력 차원 또는 상기 특징 벡터에 따라 산출되는 파라미터의 개수를 줄여 계산량을 줄인 다항 함수를 상기 특징 벡터를 입력받아 상기 각 프레임별 차량 후보 영역을 차량 영역 또는 차량이 아닌 영역으로 분류하는 판별 함수로 하여상기 각 프레임별 차량 후보 영역이 실제 차량 영역 인지를 검증하는 차량영역 검증 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a vehicle detection method comprising: (a) detecting a vehicle candidate region for each frame constituting an input image; And (b) a polynomial function extracting a feature vector from the vehicle candidate region for each frame and reducing the amount of computation by reducing the number of parameters calculated according to the input dimension of the feature vector or the feature vector and receiving the feature vector. And a vehicle region verification step of verifying whether the vehicle candidate region for each frame is an actual vehicle region by using a discrimination function that classifies the vehicle candidate region for each frame into a vehicle region or a non-vehicle region.
또한, 본 발명에 따른 차량 검출 시스템은 상기 입력받은 영상을 구성하는 각 프레임별로 차량 후보 영역을 검출하는 차량 후보 영역 검출부; 및 상기 각 프레임별 차량 후보 영역으로부터 특징 벡터를 추출하고 상기 특징 벡터의 입력 차원 또는 상기 특징 벡터에 따라 산출되는 파라미터의 개수를 줄여 계산량을 줄인 다항 함수를 상기 특정 벡터를 입력받아 상기 각 프레임별 차량 후보 영역을 차량 영역 또는 차량이 아닌 영역으로 분류하는 판별 함수로 하여 상기 각 프레임별 차량 후 보 영역이 실제 차량 영역 인지를 검증하는 차량 영역 검증부를 포함하는 것을 특징으로 한다.In addition, the vehicle detection system according to the present invention includes a vehicle candidate region detection unit for detecting a vehicle candidate region for each frame constituting the received image; And a polynomial function extracting a feature vector from the vehicle candidate region for each frame and reducing the amount of computation by reducing the number of parameters calculated according to the input dimension of the feature vector or the feature vector, and receiving the specific vector as a vehicle. And a vehicle region verification unit for verifying whether the vehicle candidate region for each frame is an actual vehicle region by using a discrimination function that classifies the candidate region into a vehicle region or a region other than the vehicle.
본 발명에 의하면 차량 검출 방법 중 입력받은 영상 정보를 분석하여 차량 영역을 검출하는 수동형 방법에 있어서 입력받은 영상 정보로부터 차량인 영역과 차량이 아닌 영역을 정확하고 신속하게 검출하여 처리속도를 향상시키는 것이 가능한 효과를 가진다.According to the present invention, in the manual method of detecting the vehicle area by analyzing the input image information among the vehicle detection methods, it is possible to accurately and quickly detect the area of the vehicle and the non-vehicle area from the received image information to improve the processing speed. Has the possible effect.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 우선 각 도면의 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 도한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, it is to be noted that the components of each drawing have the same reference numerals as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, preferred embodiments of the present invention will be described below, but the technical idea of the present invention is not limited thereto, but may be implemented by those skilled in the art.
도 1은 본 발명의 바람직한 실시예에 따른 차량 검출 시스템의 블록도 이다.1 is a block diagram of a vehicle detection system according to a preferred embodiment of the present invention.
도 1에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 차량 검출 시스템(1)은 영상 입력부(10), 영상 전처리부(20), 차량후보 영역 검출부(30), 차량후보 영역 정규화부(40), 차량 영역 검증부(50), 차량 영역 재검증부(60), 및 차량 템플릿 데이터베이스(70)를 포함한다.As shown in FIG. 1, the
영상 입력부(10)는 주행 차량의 전방 또는 후방 영역을 촬영한 영상을 입력받는다. 이때, 상기 촬영된 주행 차량의 전방 또는 후방 영역 영상은 동영상 또는 정지 영상의 형태로 입력될 수 있으며, 상기 주행 차량의 전방 또는 후방 영역의 촬영은 보다 넓은 시야를 확보하기 위하여 광각 카메라를 사용하여 이루어질 수 있다.The
영상 전처리부(20)는 상기 입력받은 영상을 구성하는 각 프레임별로 전처리를 수행한다.The
이때, 상기 입력받은 영상의 각 프레임별 전처리로써 입력받은 영상의 각 프레임별 식별성을 높이기 위한 히스토그램 평활화(Histogram equalization)와 입력받은 영상의 각 프레임별 노이즈를 제거하기 위한 가우시안 필터링(Gaussian filtering)을 수행할 수 있다.At this time, histogram equalization is performed to increase the identification of each frame of the input image as a preprocessing for each frame of the input image, and Gaussian filtering is performed to remove noise for each frame of the input image. can do.
이와 같이, 영상 전처리부(20)에서 상기 입력받은 영상의 각 프레임별로 전처리를 수행하는 이유는 영상 입력부(10)가 입력받은 영상에 포함 가능한 조명과 같은 주변광의 영향을 최소화하여 상기 입력받은 영상의 각 프레임별로 차량후보 영역을 검출 시에 정확성이 떨어지는 것을 방지하기 위함이다.As such, the reason for performing the preprocessing for each frame of the input image by the
차량후보 영역 검출부(30)는 영상 전처리부(20)에서 전처리된 영상의 각 프레임별로 차량후보 영역을 검출한다.The vehicle
이때, 상기 전처리된 영상의 각 프레임별로 차량후보 영역을 검출하기 위하여 영상의 대칭성, 컬러, 또는 그림자 정보를 이용하는 지식 기반(Knowledge-based)방법, Inverse Perspective Mapping(IPM) 또는 Dsipari Map을 이용하는 스테 레오 기반(Stereo-based) 방법, 또는 Optical Flow와 같은 물체의 움직임을 이용하는 움직임 기반(Motion-based) 방법 등을 사용할 수 있으며, 상기 방법들은 이미 공지된바 있으므로 상세한 설명은 생략하도록 한다.In this case, to detect a vehicle candidate region for each frame of the preprocessed image, a knowledge-based method using an image symmetry, color, or shadow information, a stereo using Inverse Perspective Mapping (IPM) or Dsipari Map A stereo-based method or a motion-based method using a motion of an object such as an optical flow may be used. Since the methods are already known, the detailed description thereof will be omitted.
이와 같이, 상기와 같은 방법들을 이용하여 상기 전처리된 영상의 각 프레임별로 차량후보 영역을 검출하는 이유는 상기 전처리된 영상의 각 프레임별로 차량과 유사한 형태를 갖는 영역을 모두 포함하는 차량후보 영역을 검출하여 본 발명의 차량 검출 시스템이 높은 검출율을 갖도록 하기 위함이다.As such, the reason for detecting the vehicle candidate area for each frame of the preprocessed image by using the above methods is to detect the vehicle candidate area including all regions having a similar shape to the vehicle for each frame of the preprocessed image. This is for the vehicle detection system of the present invention to have a high detection rate.
차량후보 영역 정규화부(40)는 차량후보 영역 검출부(30)에서 검출된 각 프레임별 차량후보 영역에 대한 정규화를 수행한다. The vehicle candidate
이때, 차량후보 영역 정규화부(40)의 상세한 구성은 이하 도 2a에서 설명하도록 한다.In this case, a detailed configuration of the vehicle candidate
이와 같이, 차량후보 영역 정규화부(40)에서 차량후보 영역 검출부(30)에서 검출된 각 프레임별 차량 후보영역에 대한 정규화를 수행하는 이유는 차량후보 영역 검출부(30)에서 높은 검출율을 갖도록 검출된 각 프레임별 차량후보 영역에 포함되어 있는 불필요한 배경 영역을 제거하기 위함이다.As such, the reason for performing normalization on the vehicle candidate region for each frame detected by the vehicle
차량영역 검증부(50)는 상기 정규화된 각 프레임별 차량 후보 영역으로부터 특징 벡터를 추출하고 상기 특징 벡터의 입력 차원 또는 상기 특징 벡터에 따라 산출되는 파라미터의 개수를 줄여 계산량을 줄인 다항 함수를 상기 특징 벡터를 입력받아 상기 각 프레임별 차량 후보 영역을 차량 영역 또는 차량이 아닌 영역으로 분류하는 판별 함수로 하여 상기 각 프레임별 차량 후보 영역이 실제 차량 영역 인지 를 검증한다.The vehicle
여기에서, 차량 영역 검증을 위한 판별 함수로써 계산량을 줄인 다항 함수를 사용하는 이유는 차량 영역 검증을 위한 판별 함수로써 다항 함수를 그대로 사용하는 경우 특징 벡터의 입력 차원의 증가에 따라 다항 함수의 계산량이 크게 증가하여 차량영역 검증의 속도가 저하되는 것을 방지하기 위함이다.Here, the reason for using the polynomial function which reduces the calculation amount as the discriminant function for vehicle area verification is that when the polynomial function is used as the discriminant function for vehicle area verification, the amount of computation of the polynomial function is increased as the input dimension of the feature vector is increased. This is to prevent the vehicle speed of the vehicle area verification from decreasing significantly.
이때, 차량영역 검증부(50)의 상세한 구성은 이하 도 3a와 도 3b에서 설명하도록 한다.In this case, a detailed configuration of the vehicle
차량영역 재검증부(60)는 상기 차량영역 검증이 수행된 각 프레임별 차량 후보영역 중 검증되지 않은 영역에 대한 차량영역 재검증을 수행하며, 차량영역 템플릿 데이터베이스(70)는 상기 차량영역 재검증을 수행하기 위한 차량 템플릿 이미지가 미리 저장되어 있다.The vehicle
이때, 차량영역 재검증은 상기 미리 저장되어 있는 차량 템플릿 이미지와 상기 차량영역 검증이 수행된 각 프레임별 차량 후보영역 중 검증되지 않은 영역을 매칭시켜 유사도를 판단하는 방식으로 이루어질 수 있다.In this case, the vehicle region re-validation may be performed by matching the previously stored vehicle template image with an unverified region of the vehicle candidate region for each frame on which the vehicle region verification is performed.
도 2a는 본 발명의 바람직한 실시예에 따른 차량후보 영역 정규화부의 상세 블록도, 도 2b는 본 발명의 바람직한 실시예에 따른 차량후보 영역의 정규화 과정에 대한 참고도이다.2A is a detailed block diagram of a vehicle candidate region normalization unit according to a preferred embodiment of the present invention, and FIG. 2B is a reference diagram for a normalization process of a vehicle candidate region according to a preferred embodiment of the present invention.
도 2a에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 차량후보 영역정규화부(40)는 에지 영상 변환부(42), 에지 히스토그램 생성부(44), 국부 최대값 영역 산출부(46), 및 리사이징부(48)를 포함한다.As shown in FIG. 2A, the vehicle candidate
에지 영상 변환부(42)는 차량후보영역 검출부(30)에서 검출된 상기 입력받은 영상의 각 프레임별 차량후보 영역(도 2b의 (a))을 에지 영상으로 변환한다.(도 2b의 (b))The
에지 히스토그램 생성부(44)는 에지 영상으로 변환된 상기 입력받은 영상의 각 프레임별 차량후보 영역으로부터 수평 에지 히스토그램과 수직 에지 히스토그램을 생성한다.(도 2b의 (c))The
국부 최대값 영역 산출부(46)는 상기 입력받은 영상의 각 프레임별 차량후보 영역으로부터 생성된 수평 에지 히스토그램과 수직 히스토그램 중 국부 최대값을 갖는 영역을 각각 산출한다.The local maximum
리사이징부(48)는 상기 입력받은 영상의 각 프레임별 차량후보 영역으로부터 산출된 수평 에지 히스토그램 중 국부 최대값을 갖는 영역의 수평 좌표와 수직 에지 히스토그램 중 국부 최대값을 갖는 영역의 수직 좌표에 따라 상기 검출된 각 프레임별 차량 후보 영역에 대한 리사이징을 수행한다.(도 2b의 (d))The resizing
이와 같이, 차량 후보 영역 정규화부(40)는 차량 후보 영역 검출부(30)에서 검출된 상기 영상의 각 프레임별 차량후보 영역에 대한 정규화를 수행함으로써 상기 입력받은 영상의 각 프레임별 차량후보 영역에 포함되어 있는 주변영상 또는 오검출된 부분을 제거하므로 차량영역 검증부(50)와 차량영역 재검증부(60)의 성능 저하를 방지할 수 있다.As such, the vehicle
도 3a는 본 발명의 제1 실시예에 따른 차량영역 검증부의 상세 블록도 이다.3A is a detailed block diagram of a vehicle region verification unit according to a first embodiment of the present invention.
도 3에 도시된 바와 같이 본 발명의 제1 실시예에 따른 차량영역 검증 부(50a)는 특징벡터 추출부(52a), 교차 검증 수행부(54a), 다변량 다항 함수 산출부(56a), 및 영역 검증부(58a)를 포함한다.As shown in FIG. 3, the vehicle
특징 벡터 추출부(52a)는 상기 각 프레임별 차량 후보 영역에 대한 기저 벡터를 추출한 후 상기 각 프레임별 차량 후보 영역을 상기 기저 벡터에 투영하여 상기 각 프레임별 차량 후보 영역에 대한 특징 벡터를 추출한다.The
이때, 상기 특징 벡터를 추출하기 위한 방법 중 하나로 주성분 분석(Principal Component Analysis:PCA)을 이용할 수 있다.In this case, as one of methods for extracting the feature vector, Principal Component Analysis (PCA) may be used.
주성분 분석이란 상기 정규화된 각 프레임별 차량 후보 영역으로부터 상기 정규화된 각 프레임별 차량 후보 영역의 변화를 특징지을 수 있는 기저 벡터를 추출한 후 상기 기저 벡터를 이용하여 상기 정규화된 각 프레임별 차량 후보 영역을 근사화하는 방법으로 아래와 같이 이루어질 수 있다.Principal component analysis extracts a basis vector that can characterize a change in the vehicle candidate region for each normalized frame from the vehicle candidate region for each normalized frame, and then uses the basis vector to determine the vehicle candidate region for each normalized frame. The approximation can be made as follows.
먼저, 상기 정규화된 각 프레임별 차량후보 영역의 개수가 총 M개라고 하면 상기 각 프레임별 차량후보 영역의 평균을 아래의 수학식 1과 같이 구할 수 있다.First, when the number of normalized vehicle candidate regions for each frame is M, the average of the vehicle candidate regions for each frame may be obtained as shown in
여기에서, 은 상기 정규화된 각 프레임별 차량후보 영역의 평균, (n=1,...M)는 상기 정규화된 각 프레임별 차량후보 영역을 의미한다.From here, Is an average of the normalized vehicle candidate area for each frame, (n = 1, ... M) means the normalized vehicle candidate area for each frame.
다음으로, 상기 수학식 1에서 계산된 상기 정규화된 각 프레임별 차량후보 영역의 평균과 상기 정규화된 각 프레임별 차량후보 영역의 공분산을 아래의 수학식 2와 같이 구한다.Next, the covariance of the normalized vehicle candidate region for each frame and the normalized vehicle candidate region for each frame calculated in
여기에서, C는 공분산, (n=1,2,...M), 및 는 의 전치행렬을 의미한다.Where C is the covariance, (n = 1,2, ... M), and Is The transpose of the.
이때, 상기 수학식 2에서 계산된 공분산이 상기 정규화된 각 프레임별 차량후보 영역의 변화를 나타내는 값들이 되고 이 값들을 기저 벡터들로 나누기 위하여 아래의 수학식 3과 같이 기저 벡터를 구한다.In this case, the covariance calculated in Equation 2 is a value representing a change in the normalized vehicle candidate region for each frame, and a basis vector is obtained as shown in Equation 3 below to divide these values into basis vectors.
여기에서, C는 공분산, 는 기저 벡터, 및 는 고유값을 의미한다.Where C is the covariance, The basis vector, and Means eigenvalues.
이때, 총 M개의 상기 정규화된 각 프레임별 차량 후보영역은 총 M개의 기저 벡터들의 선형 결합으로 나타낼 수 있으며, 이는 다시 말해서 상기 정규화된 각 프레임별 차량 후보영역을 기저 벡터가 위치한 기저 공간에 선형 투영하는 것을 의미하며 아래의 수학식 4와 같이 나타낼 수 있다.In this case, the total M candidate frames for each normalized frame may be represented by a linear combination of total M basis vectors, that is, the linear projection of the normalized vehicle candidate regions for each normalized frame into the base space where the basis vector is located. It can be expressed as shown in Equation 4 below.
여기에서, 는 상기 정규화된 각 프레임별 차량 후보영역, 는 기저 벡터, 는 =(k=1,2....,M)인 상기 정규화된 각 프레임별 차량 후보영역의 투영 계수를 의미한다.From here, Denotes a vehicle candidate region for each normalized frame; Vector, Denotes the projection coefficient of the normalized vehicle candidate region for each frame of which = (k = 1,2 ...., M).
따라서, 상기 수학식 4에 의하여 계산되는 M개의 상기 정규화된 각 프레임별 차량 후보 영역으로부터 추출되는 특징벡터는 =[x1, x2, ...., xM]과 같이 나타낼 수 있다.Accordingly, the feature vector extracted from the M candidate regions for each normalized frame calculated by Equation 4 is It can be expressed as = [x1, x2, ...., xM].
교차검증 수행부(54a)는 상기 정규화된 각 프레임별 차량 후보 영역으로부터 추출된 특징 벡터의 입력 차원을 줄이기 위하여 상기 추출된 특징 벡터에 대한 교차 검증(Cross-validation)을 수행한다.The cross
이때, 상기 정규화된 각 프레임별 차량 후보 영역으로부터 추출된 특징 벡터에 대한 교차 검증을 수행하는 이유는 다음과 같다.In this case, the reason for performing cross-verification on the feature vector extracted from the normalized vehicle candidate region for each frame is as follows.
상기 정규화된 각 프레임별 차량 후보 영역에 대한 차량 영역 검증을 위한 판별함수로써 l 입력 차원을 갖는 r차의 다변량 다항 함수(Multivariate polynomial function)설정하는 경우 상기 l 입력 차원을 갖는 r차의 다변량 다항 함수의 파라미터의 총 개수는 lr과 같으며, 이에 따라 입력차원 또는 차수의 증가에 따라 다변량 다항식의 계산량이 크게 증가하게 되므로 특징 벡터의 입력 차원을 줄여 이를 방지하기 위함이다.In case of setting a multivariate polynomial function of r-order having l input dimension as a discriminant function for vehicle region verification of the normalized vehicle candidate region for each frame, the multivariate polynomial function of r-order having l input dimension The total number of parameters of is equal to l r , and as a result, the amount of computation of the multivariate polynomial increases greatly as the input dimension or order increases, thereby reducing the input dimension of the feature vector.
이때, 상기 정규화된 각 프레임별 차량 후보 영역으로부터 추출된 특징 벡터에 대한 교차 검증은 아래와 같은 방법으로 이루어질 수 있다.In this case, the cross-validation of the feature vector extracted from the normalized vehicle candidate region for each frame may be performed as follows.
예를 들어, 입력차원 l=2 이고 차수 r=2인 다변량 다항 함수의 경우 상기 다변량 다항 함수의 입력인 입력차원 l=2를 갖는 특징 벡터 =[x1 x2]이고 상기 다변량 다항 함수의 산출을 위해 다항 전개된 다변량 다항 함수의 입력 벡터 는 =[1 x1 x2 x12 x1x2 x22]T 로써 총 6개의 항으로 이루어진다.For example, a multivariate polynomial function with input dimension l = 2 and order r = 2 has a feature vector with input dimension l = 2 which is an input of the multivariate polynomial function. input vector of the multivariate polynomial function multiplied for the calculation of the multivariate polynomial function == x1 x2] Is = [1 x 1 x 2 x 12 x 1 x 2 x 22 ] T, consisting of a total of six terms.
이때, 특징 벡터의 입력 차원을 줄이기 위하여 =[1 x1 x2 x12 x1x2 x22]T의 6개의 항에 대한 교차 검증을 수행하여 6개의 항중 2개의 항을 선택할 수 있으며, 상기 교차 검증의 결과 선택된 2개의 항에 대한 파라미터를 추정하여 다변량 다항 함수를 산출할 수 있다.At this time, to reduce the input dimension of the feature vector = [1 x 1 x 2 x 12 x 1 x 2 x 22 ] Two terms of six terms can be selected by performing a cross-validation on six terms of T , and as a result of the cross-validation, The parameter can be estimated to yield a multivariate polynomial function.
상기와 같은 방법을 사용하면 원래는 6개의 항이 필요한 식을 2개의 항을 사용하기 때문에 계산량이 적어 보다 빠르고 성능은 저하되지 않는 다변량 다항식 함수를 산출할 수 있다.Using the method described above, since two terms are used for an equation that originally requires six terms, a multivariate polynomial function that is faster and does not deteriorate due to a small amount of calculation can be calculated.
또한, 상기 추출된 특징 벡터에 대한 교차 검증을 수행하는 방법 외에 입력 데이터의 특성(Feature)에 대한 교차 검증을 수행하여 차원(Dimension)의 개수를 줄이는 방식으로 상기 다변량 다항 함수의 산출을 위해 요구되는 파라미터의 개수 를 줄이는 방법을 또한 사용할 수 있다.Further, in addition to the method of performing the cross-validation on the extracted feature vector, the cross-validation of the features of the input data is performed to reduce the number of dimensions, which is required for calculating the multivariate polynomial function. Reducing the number of parameters can also be used.
예를 들어, 입력 데이터의 한 개의 특징이 700x1의 사이즈를 가지고 있고 그 중 200개의 특징을 사용하기를 원한다면, 700개의 특성치에 대하여 교차 검증(Cross-validation)을 수행하여 상기 700개의 특성치 중 200개의 특성치를 선택한 후 상기 선택된 200개의 특성치에 대한 파라미터를 구하는 방식으로 다변량 다항식을 계산한다.For example, if one feature of the input data has a size of 700 × 1 and you want to use 200 of those features, you can perform cross-validation on the 700 feature values to generate 200 of the 700 feature values. The multivariate polynomial is calculated by selecting the characteristic values and then obtaining the parameters for the selected 200 characteristic values.
상기와 같은 방법을 사용하면 다변량 다항식의 계산량이 줄어들게 되어 계산속도는 빠르면서 성능은 저하되지 않는 다변량 다항식을 계산하는 것이 가능해진다.By using the method as described above, the calculation amount of the multivariate polynomial is reduced, so that it is possible to calculate the multivariate polynomial which has a fast calculation speed and no deterioration in performance.
다변량 다항 함수 산출부(56a)는 상기 교차 검증된 특징 벡터를 입력으로 하는 다변량 다항 함수를 산출한다.The multivariate polynomial
여기에서, 다변량 다항 함수는 함수의 입력과 출력이 비선형인 경우에 입출력 관계를 다항식의 형태로 효과적으로 표현할 수 있는 방법을 제공하므로 최적화, 신호처리, 및 패턴 분류 등과 분야에 광범위하게 사용되고 있으며, 아래의 수학식 5과 같이 나타낼 수 있다.Here, the multivariate polynomial function is used widely in the fields of optimization, signal processing, and pattern classification because it provides a method to effectively express input and output relations in the form of polynomial when the input and output of the function are nonlinear. It can be expressed as
여기에서, 는 다변량 다항 함수, n1,n2,....nl은 n1+n2+.....+nl≤ r(이때, r은 다변량 다항식 함수의 근사치 계산을 위한 차수)인 조건을 만족시키는 음수가 아닌 상수, 는 다변량 다항 함수 산출을 위해 추정될 파라미터 벡터, 는 상기 각 프레임별 차량 후보 영역으로부터 추출된 특징 벡터, x1,x2,...xl은 상기 각 프레임별 차량 후보 영역으로부터 추출된 투영 계수, l은 특징 벡터의 입력 차원의 개수, 및 K는 다변량 다항식의 총 항수를 의미한다.From here, Is a non-negative that satisfies the condition that is a multivariate polynomial function, n1, n2, .... nl is n1 + n2 + ..... + nl≤ r (where r is an order for approximation of the multivariate polynomial function) a constant, Is the parameter vector to be estimated for calculating the multivariate polynomial function, Is a feature vector extracted from the vehicle candidate region for each frame, x 1 , x 2 , ... x l is a projection coefficient extracted from the vehicle candidate region for each frame, l is the number of input dimensions of the feature vector, and K is the total number of terms in the multivariate polynomial.
예를 들어, 근사치 계산을 위한 차수가 2이고 특징 벡터의 입력 차원의 개수 가 2인(r=2, l=2)인 다변량 다항 함수는 아래의 수학식 6과 같이 나타낼 수 있다.For example, a multivariate polynomial function having an order of 2 for approximation calculation and the number of input dimensions of a feature vector is 2 (r = 2, l = 2) may be expressed as Equation 6 below.
여기에서, 는 다변량 다항 함수, 는 =[α1 α2 α3 α4 α5 α6]인 다변량 다항 함수 산출을 위해 추정될 파라미터 벡터, 는 상기 각 프레임별 차량 후보 영역으로부터 추출된 특징 벡터, =[1 x1 x2 x12 x1x2 x22]T 는 입력차원 2를 갖는 특징벡터 =[x1 x2]가 다변량 다항 함수 산출을 위해 다항 전개된 다변량 다항 함수의 입력벡터, 및 는 의 전치 행렬을 의미한다.From here, Is a multivariate polynomial function, Is the parameter vector to be estimated for calculating the multivariate polynomial function = [α 1 α 2 α 3 α 4 α 5 α 6 ], Is a feature vector extracted from the vehicle candidate region for each frame, = [1 x 1 x 2 x 12 x 1 x 2 x 22 ] T is a feature vector with input dimension 2 = [x 1 x 2 ] is the input vector of the multivariate polynomial function polynomial expanded to yield the multivariate polynomial function, and Means transpose of.
또한, 특징 벡터의 입력 차원의 개수 l=2이므로 총 항수 K=6이고, m>K인 m개의 데이터 포인트가 주어지는 경우 다변량 다항 함수의 오차를 줄이기 위한 최소 자승 오차 최소화(Least-squares error minimization) 방법을 적용하여 다변량 다항함수 산출을 위한 파라미터 벡터 를 계산할 수 있다.In addition, since the number of input dimensions of the feature vector is l = 2, a minimum squared error minimization for reducing the error of the multivariate polynomial function is given when m data points having a total number of terms K = 6 and m> K are given. The method can be applied to calculate a parameter vector for the calculation of multivariate polynomials.
이때, 최소 자승 오차 최소화(least-squares error minimization) 방법은 아래의 수학식 7과 같이 나타낼 수 있다.In this case, the least-squares error minimization method may be represented by Equation 7 below.
여기에서, 는 최소 자승 오차 최소화(least-squares error minimization) 값, 는 =[y1,....ym]T (∈Rm)인 트레이닝 데이터(Training data)를 통하여 알 수 있는 추정 벡터(Inference vector), 및 P(P∈RmxK)는 의 자코비안 행렬(Jacobian matrix)를 의미한다.From here, Is the least-squares error minimization value, Is = [y 1 , .... y m ] T ( The inference vector and P (P∈R mxK ), which can be known from the training data of ∈R m , Means the Jacobian matrix.
또한, 상기 수학식 7을 이용하여 다변량 다항식 계산을 위한 파라미터 벡터인 를 아래의 수학식 8과 같이 나타낼 수 있다.In addition, using the equation (7) is a parameter vector for multivariate polynomial calculation May be expressed as in Equation 8 below.
여기에서, 는 =[y1,....ym]T (∈Rm)인 트레이닝을 통하여 알 수 있는 인 퍼런스(inference) 벡터, P(P∈RmxK)는 의 자코비안 행렬(Jacobian matrix)로써 아래의 수학식 9와 같이 나타낼 수 있다.From here, == y 1 , .... y m ] T ( The inference vector, P (P∈R mxK ), obtained from training 트레이닝 R m is The Jacobian of (Jacobian matrix) can be expressed as shown in Equation 9 below.
이때, 자코비안 행렬 P의 xj ,k (j=1,2 , k=1,....,m)성분에서 j는 입력의 개수와 k는 해당 입력에 포함된 인스턴스의 개수를 의미하며, 상기 수학식 8에 의해 계산되는 파라미터 벡터로부터 상기 특징 벡터를 입력으로 하는 다변량 다항 함수를 산출할 수 있다.In this case, in the component x j , k (j = 1,2, k = 1, ...., m) of the Jacobian matrix P, j is the number of inputs and k is the number of instances included in the input. From the parameter vector calculated by Equation 8, a multivariate polynomial function having the feature vector as an input can be calculated.
영역 검증부(58a)는 다변량 다항 함수 산출부(56a)에서 산출된 다변량 다항 함수를 판별 함수로 하여 상기 각 프레임별 차량 후보 영역에 대한 차량 영역 검증을 수행한다.The
이때, 상기 각 프레임별 차량 후보 영역에 대한 차량 영역 검증은 상기 판별 함수가 위치한 특징 공간에 상기 수학식 4에서 산출된 각 프레임별 차량 후보 영역의 투영 계수를 플롯하여 상기 각 프레임별 차량 후보 영역을 차량 영역과 비차량 영역의 2-클래스로 분류하는 것이며, 상기 판별 함수가 0.5를 초과하는 영역을 Negative(비차량인 영역)인 ‘1’로 하고 그렇지 않은 영역을 Positive(차량인 영역)인 ‘0’으로 구분하여 아래의 수학식 10과 같이 분류한다.At this time, the vehicle region verification for the vehicle candidate region for each frame is performed by plotting the projection coefficient of the vehicle candidate region for each frame calculated in Equation 4 in the feature space where the discrimination function is located. It is classified into two classes of vehicle area and non-vehicle area, and the discrimination function is set to '1' which is Negative (non-vehicle area) and 'Other' which is positive (area area). Divided by 0 ', it is classified as
여기에서, αTgPM(x)는 판별함수인 다변량 다항식을 의미한다.Here, α T g PM (x) means a multivariate polynomial that is a discrimination function.
도 3b는 본 발명의 제2 실시예에 따른 차량영역 검증부의 상세 블록도 이다.3B is a detailed block diagram of the vehicle region verification unit according to the second embodiment of the present invention.
도 3b에 도시된 바와 같이 본 발명의 제2 실시예에 따른 차량영역 검증부(50b)는 특징벡터 추출부(52b), 축소된 다변량 다항 함수 산출부(54b), 및 영역 검증부(56b)를 포함한다.As shown in FIG. 3B, the vehicle
특징벡터 추출부(52b)는 상기 각 프레임별 차량 후보 영역에 대한 기저 벡터를 추출한 후 상기 각 프레임별 차량 후보 영역을 상기 기저 벡터에 투영하여 상기 각 프레임별 차량 후보 영역에 대한 특징 벡터를 추출한다.The feature
이때, 특징벡터 추출부(52b)가 상기 각 프레임별 차량 후보 영역에 대한 특징벡터를 추출하는 방법은 위에서 설명한바 있으므로 생략하도록 한다.In this case, the method of extracting the feature vector for the vehicle candidate region for each frame by the
축소된 다변량 다항 함수 산출부(54b)는 상기 특징 벡터를 입력으로 하며 상기 입력된 특징 벡터에 따라 산출되는 파라미터의 개수를 줄인 축소된 다변량 다항 함수(Reduced multivariate polynomial function)를 산출한다.The reduced multivariate polynomial function calculation unit 54b receives the feature vector and calculates a reduced multivariate polynomial function in which the number of parameters calculated according to the input feature vector is reduced.
여기에서, 축소된 다변량 다항 함수란 입력 차원 l과 항수 r에 따라 크게 증가하는 다변량 다항 함수의 파라미터의 개수를 줄이기 위해 기존의 다변량 다항 함수를 변경한 것으로써 아래의 수학식 11과 같이 나타낼 수 있다.Here, the reduced multivariate polynomial function is a modification of the existing multivariate polynomial function in order to reduce the number of parameters of the multivariate polynomial function, which greatly increases according to the input dimensions l and the constant r. .
여기에서, 는 축소된 다변량 다항 함수, 는 축소된 다변량 다항 함수 산출을 위해 추정될 파라미터 벡터, 는 상기 각 프레임별 차량 후보 영역으로부터 추출된 특징 벡터, 는 특징 벡터 가 축소된 다변량 다항 함수 산출을 위해 다항 전개된 축소된 다변량 다항 함수의 입력, xj(j=1,2..k,l)는 특징 벡터 의 계수,α0, αkj, αrl +j, αj 는 축소된 다변량 다항 산출을 위해 추정될 파라미터 벡터의 계수, l은 입력 차원의 개수, 및 r은 축소된 다변량 다항 함수의 근사치 계산을 위한 차수를 의미한다.From here, Is a reduced multivariate polynomial function, Is the parameter vector to be estimated for the reduced multivariate polynomial function, Is a feature vector extracted from the vehicle candidate region for each frame, Feature vector For inputting the multinomial reduced multivariate polynomial function, x j (j = 1,2..k, l) is the coefficient of the feature vector, α 0 , α kj , α rl + j and α j is the coefficient vector of parameters to be estimated for the reduced multivariate polynomial calculation, l is the number of input dimensions, and r refers to the order of approximation for the calculation of the reduced multivariate polynomial function.
이때, 축소된 다변량 다항 함수 산출을 위한 파라미터 벡터 는 아래의 수학식 12와 같이 나타낼 수 있다.At this time, the parameter vector for calculating the reduced multivariate polynomial function May be expressed as in Equation 12 below.
여기에서, 는 파라미터 벡터, b는 정규화 계수(Regulization factor), (y∈Rm)는 트레이닝 데이터(Training data)를 통하여 알 수 있는 추정 벡터(Inference vector), 및 P는 의 자코비안 행렬(Jacobian matrix)로써 상기수학식 9와 같이 나타낼 수 있다.From here, Is the parameter vector, b is the regulization factor, (y∈Rm) is an inference vector that can be known through training data, and P is The Jacobian matrix can be represented by Equation (9).
이때, 자코비안 행렬 P의 xj ,k (j=1,2 , k=1,....,m)성분에서 j는 입력의 개수와 k는 해당 입력에 포함된 인스턴스의 개수를 의미하며, 상기 수학식 12를 이용하여 구할 수 있는 파라미터 벡터 를 이용하여 상기 특징 벡터를 입력으로 하는 축소된 다변량 다항 함수를 산출할 수 있다.In this case, in the component x j , k (j = 1,2, k = 1, ...., m) of the Jacobian matrix P, j is the number of inputs and k is the number of instances included in the input. , A parameter vector obtained by using Equation 12 A reduced multivariate polynomial function using the feature vector as an input can be calculated.
상기 산출된 축소된 다변량 다항 함수의 경우 총 항수 K=l+r+l(2r-1)(K는 축소된 다변량 다항 함수의 총 항수, l은 입력 차원, 및 r은 차수)로써 입력 차원과 항수에 대하여 선형적으로 증가하므로, 총 항수가 l과 r 값에 대하여 lr만큼 증가하는 파라미터의 개수에 따라 비선형적으로 증가하는 다변량 다항 함수에 비해 총 항수를 크게 줄일 수 있어 차량 영역 검증시에 성능은 그대로 유지하면서 속도는 증가시키는 것이 가능해진다.In the case of the reduced multivariate polynomial function, the total terms K = l + r + l (2r-1) (K is the total terms of the reduced multivariate polynomial function, l is the input dimension, and r is the order). Since the linear increase with respect to the number of terms, the total number of terms can be significantly reduced compared to the multivariate polynomial function that increases nonlinearly with the number of parameters that increase by l r for the l and r values. It is possible to increase speed while maintaining performance.
영역 검증부(56b)는 축소된 다변량 다항식 산출부(54b)에서 산출된 축소된 다변량 다항 함수를 판별 함수로 하여 상기 각 프레임별 차량 후보 영역에 대한 차량 영역 검증을 수행한다.The
이때, 상기 각 프레임별 차량 후보 영역에 대한 차량 영역 검증은 상기 판별 함수가 위치한 특징 공간에 상기 수학식 4에서 산출된 각 프레임별 차량 후보 영역 의 투영 계수를 플롯하여 상기 각 프레임별 차량 후보 영역을 차량 영역과 비차량 영역의 2-클래스로 분류하는 것이며, 상기 판별 함수가 0.5를 초과하는 영역을 Negative(비차량인 영역)인 ‘1’로 하고 그렇지 않은 영역을 Positive(차량인 영역)인 ‘0’으로 구분하여 아래의 수학식 13과 같이 분류한다.In this case, the vehicle region verification for the vehicle candidate region for each frame is performed by plotting the projection coefficient of the vehicle candidate region for each frame calculated in Equation 4 in the feature space where the discrimination function is located. It is classified into two classes of vehicle area and non-vehicle area, and the discrimination function is set to '1' which is Negative (non-vehicle area) and 'Other' which is positive (area area). It is classified as Equation 13 below by dividing by 0 '.
여기에서, αTgRM(x)는 판별함수인 축소된 다변량 다항 함수를 의미한다.Here, α T g RM (x) means a reduced multivariate polynomial function that is a discriminant function.
본 발명의 차량 검출 시스템은 촬영된 차량의 전면 또는 후면 영상을 입력받아 상기 입력받은 영상을 구성하는 각 프레임별로 전처리, 차량 후보 영역 검출, 및 정규화 과정을 수행한다.The vehicle detection system of the present invention receives a front or rear image of a photographed vehicle and performs preprocessing, vehicle candidate region detection, and normalization for each frame constituting the received image.
그리고, 차량 검증에 특화되도록 다변량 다항 모델(Multivariate polynomial model)에 따른 다변량 다항 함수를 변경하여 상기 각 프레임별 차량 후보 영역을 차량 영역 또는 차량이 아닌 영역으로 분류하는 방식으로 각 프레임별 차량 후보 영역에 대The vehicle candidate region for each frame is classified into a vehicle region or a non-vehicle region by changing a multivariate polynomial function according to a multivariate polynomial model so as to specialize in vehicle verification. versus
한 차량 영역 검증을 수행하며, 상기 차량 영역 검증이 수행된 각 프레임별 차량 후보 영역 중 검증되지 않은 영역에 대하여 템플릿 기반(Template based) 방법을 이용한 차량 영역 재검증을 수행한다.A vehicle region verification is performed, and a vehicle region revalidation is performed using a template based method on an unverified region among the vehicle candidate regions for each frame on which the vehicle region verification is performed.
따라서, 촬영된 영상에 대한 차량 검출 성능은 그대로 유지하면서 처리속도 를 증가시키는 것이 가능한 효과를 가진다.Therefore, it is possible to increase the processing speed while maintaining the vehicle detection performance on the captured image.
도 4는 본 발명의 바람직한 실시예에 따른 차량 영역 검출 방법의 순서도 이다.4 is a flow chart of a vehicle area detection method according to a preferred embodiment of the present invention.
도 4에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 차량 영역 검출 방법은 차량 영역 검출 시스템(1)에서 시계열적으로 수행되는 하기 단계들을 포함한다.As shown in FIG. 4, the vehicle area detection method according to the preferred embodiment of the present invention includes the following steps performed in time series in the vehicle
S10에서 영상 입력부(10)는 주행 차량의 전방 또는 후방 영역을 촬영한 영상을 입력받는다. 이때, 상기 촬영된 주행 차량의 전방 또는 후방 영역 영상은 동영상 또는 정지 영상의 형태로 입력될 수 있으며, 상기 주행 차량의 전방 또는 후방 영역의 촬영은 보다 넓은 시야를 확보하기 위하여 광각 카메라를 사용하여 이루어질 수 있다.In S10, the
S20에서 영상 전처리부(20)는 상기 S10에서 입력된 영상의 각 프레임별로 전처리를 수행한다.In S20, the
이때, 상기 S20에서 상기 입력받은 영상의 각 프레임별 전처리로써 입력받은 영상의 각 프레임별 식별성을 높이기 위한 히스토그램 평활화(Histogram equalization)와 입력받은 영상의 각 프레임별 노이즈를 제거하기 위한 가우시안 필터링(Gaussian filtering)을 수행할 수 있다.At this time, histogram equalization for enhancing the identification of each frame of the input image as a preprocessing for each frame of the input image in S20 and Gaussian filtering to remove noise for each frame of the input image. ) Can be performed.
S30에서 차량후보 영역 검출부(30)는 상기 S20에서 전처리가 이루어진 상기 입력받은 영상의 각 프레임별로 차량후보 영역을 검출한다.In S30, the vehicle candidate
이때, 상기 S30에서 상기 입력받은 영상의 각 프레임별로 차량후보 영역을 검출하기 위하여 영상의 대칭성, 컬러, 또는 그림자 정보를 이용하는 지식 기반(Knowledge-based)방법, Inverse Perspective Mapping(IPM) 또는 Dsipari Map을 이용하는 스테레오 기반(Stereo-based) 방법, 또는 Optical Flow와 같은 물체의 움직임을 이용하는 움직임 기반(Motion-based) 방법 등을 사용할 수 있으며, 상기 방법들은 이미 공지된바 있으므로 상세한 설명은 생략하도록 한다.In this case, a knowledge-based method, an inverse perspective mapping (IPM), or a dsipari map using symmetry, color, or shadow information of the image to detect the vehicle candidate region for each frame of the received image in S30. A stereo-based method or a motion-based method using a motion of an object such as an optical flow may be used. Since the methods are already known, a detailed description thereof will be omitted.
S40에서 차량 후보 영역 정규화부(40)는 상기 S30에서 검출된 상기 입력받은 영상의 각 프레임별 차량후보 영역을 정규화한다.In S40, the vehicle candidate
이때, 상기 S40의 상세 순서도는 이하 도 5에서 설명하도록 한다.In this case, a detailed flowchart of S40 will be described below with reference to FIG. 5.
S50에서 차량영역 검증부(50)는 상기 S40에서 정규화된 각 프레임별 차량후보 영역으로부터 특징 벡터를 추출하고 상기 특징 벡터의 입력 차원 또는 상기 특징 벡터에 따라 산출되는 파라미터의 개수를 줄여 계산량을 줄인 다항 함수를 상기 특징 벡터를 입력받아 상기 각 프레임별 차량 후보 영역을 차량 영역 또는 차량이 아닌 영역으로 분류하는 판별 함수로 하여 상기 각 프레임별 차량 후보 영역이 실제 차량 영역인지를 검증한다.In S50, the vehicle
이때, 상기 S50의 상세 순서도는 이하 도 6a와 도 6b에서 설명하도록 한다.In this case, a detailed flowchart of S50 will be described below with reference to FIGS. 6A and 6B.
S60에서 제2 차량영역 검증부(60)가 상기 차량 영역 검증이 수행된 각 프레임별 차량 후보 영역 중 검증되지 않은 영역에 대한 차량 영역 재검증을 수행하면 종료가 이루어진다.If the second vehicle
이때, 상기 S60에서의 차량 영역 재검증은 차량영역 재검증부(60)가 차량 템플릿 데이터베이스(70)에 미리 저장되어 있는 차량 템플릿 이미지와 상기 차량 영 역 검증이 수행된 각 프레임별 차량 후보 영역 중 검증되지 않은 영역을 매칭시키는 방식으로 이루어질 수 있다.At this time, the vehicle region re-validation in S60 is performed by the vehicle
도 5는 상기 S40의 상세 순서도 이다. 5 is a detailed flowchart of the S40.
S42에서 에지 영상 변환부(42)는 상기 S30에서 검출된 상기 입력받은 영상의 각 프레임별 차량 후보 영역을 에지 영상으로 변환한다.In S42, the
S44에서 에지 히스토그램 생성부(44)는 에지 영상으로 변환된 상기 입력받은 영상의 각 프레임별 차량 후보 영역에 대한 수평 에지 히스토그램과 수직 에지 히스토그램을 생성한다.In operation S44, the
S46에서 국부 최대값 영역 산출부(46)는 상기 입력받은 영상의 각 프레임별 차량 후보 영역에 대한 수평 에지 히스토그램과 수직 에지 히스토그램 중 국부 최대값을 갖는 영역을 각각 산출한다.In S46, the local maximum
S48에서 리사이징부(48)가 상기 입력받은 영상의 각 프레임별 수평 에지 히스토그램 중 국부 최대값을 갖는 영역의 수평 좌표와 수직 에지 히스토그램 중 국부 최대값을 갖는 영역의 수직 좌표에 따라 상기 검출된 각 프레임별 차량 후보 영역에 대한 리사이징을 수행하면 종료가 이루어진다.In operation S48, the resizing
도 6a는 본 발명의 제1 실시예에 따른 상기 S50의 상세 순서도 이다.6A is a detailed flowchart of S50 according to the first embodiment of the present invention.
S52a에서 특징 벡터 추출부(52a)는 상기 S40에서 정규화된 상기 입력받은 영상의 각 프레임별 차량 후보 영역에 대한 기저 벡터를 추출한 후 상기 각 프레임별 차량 후보 영역을 상기 기저 벡터에 투영하여 상기 각 프레임별 차량 후보 영역에 대한 특징 벡터를 추출한다.In S52a, the feature
S54a에서 교차 검증 수행부(54a)는 상기 추출된 특징 벡터의 입력 차원을 줄이기 위해 상기 추출된 특징 벡터에 대한 교차 검증을 수행한다.In S54a, the cross
S56a에서 다변향 다항 함수 산출부(56a)는 상기 교차 검증이 수행된 특징 벡터를 입력으로 하는 다변량 다항 함수(Multivariate polynomial function)를 산출한다.In S56a, the multivariate polynomial
S58a에서 영역 검증부(58a)가 상기 산출된 다변량 다항 함수를 판별 함수로 하여 상기 각 프레임별 차량 후보 영역에 대한 차량 영역 검증을 수행하면 종료가 이루어진다.In S58a, when the
이때, 상기 S52a 내지 상기 S58a에 대한 상세한 과정은 위에서 설명한바 있으므로 생략하도록 한다.At this time, since the detailed process for the S52a to S58a has been described above, it will be omitted.
도 6b는 본 발명의 제2 실시예에 따른 상기 S50의 상세 순서도 이다.6B is a detailed flowchart of S50 according to the second embodiment of the present invention.
S52b에서 특징 벡터 결정부(52a)는 상기 S40에서 정규화된 상기 입력받은 영상의 각 프레임별 차량 후보 영역에 대한 기저 벡터를 추출한 후 상기 각 프레임별 차량 후보 영역을 상기 기저 벡터에 투영하여 상기 각 프레임별 차량 후보 영역에 대한 특징 벡터를 추출한다.In S52b, the
S54b에서 축소된 다변량 다항 함수 산출부(54b)는 상기 결정된 특징 벡터를 입력으로 하는 축소된 다변량 다항 함수(Reduced multivariate polynomial function)을 산출한다.In operation S54b, the reduced multivariate polynomial function calculation unit 54b calculates a reduced multivariate polynomial function using the determined feature vector as an input.
S56b에서 영역 검증부(56b)가 상기 산출된 축소된 다변량 다항 함수를 판별 함수로 하여 상기 각 프레임별 차량 후보 영역에 대한 차량 영역 검증을 수행하면 종료가 이루어진다.In S56b, when the
이때, 상기 S52b내지 상기 S56b에 대한 상세한 과정은 위에서 설명한바 있으므로 생략하도록 한다.At this time, since the detailed process for the S52b to S56b has been described above, it will be omitted.
본 발명의 차량 검출 방법은 촬영된 차량의 전면 또는 후면 영상을 입력받아 상기 입력받은 영상을 구성하는 각 프레임별로 전처리, 차량 후보 영역 검출, 및 정규화 과정을 수행한다.The vehicle detection method of the present invention receives a front or rear image of a photographed vehicle and performs preprocessing, vehicle candidate region detection, and normalization for each frame constituting the received image.
그리고, 차량 검증에 특화되도록 다변량 다항 모델(Multivariate polynomial model)에 따른 다변량 다항 함수를 변경하여 상기 각 프레임별 차량 후보 영역을 차량 영역 또는 차량이 아닌 영역으로 분류하는 방식으로 각 프레임별 차량 후보 영역에 대한 차량 영역 검증을 수행하며, 상기 차량 영역 검증이 수행된 각 프레임별 차량 후보 영역 중 검증되지 않은 영역에 대하여 템플릿 기반(Template based) 방법을 이용한 차량 영역 재검증을 수행한다.The vehicle candidate region for each frame is classified into a vehicle region or a non-vehicle region by changing a multivariate polynomial function according to a multivariate polynomial model so as to specialize in vehicle verification. Vehicle area verification is performed, and vehicle area revalidation is performed using a template based method on an unverified area among vehicle candidate areas for each frame on which the vehicle area verification is performed.
따라서, 촬영된 영상에 대한 차량 검출 성능은 그대로 유지하면서 처리속도를 증가시키는 것이 가능한 효과를 가진다.Therefore, it is possible to increase the processing speed while maintaining the vehicle detection performance on the captured image.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경, 및 치환이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면들에 의해서 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보 호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. It will be possible. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
본 발명에 의하면 차량 검출 방법 중 입력받은 영상 정보를 분석하여 차량 영역을 검출하는 수동형 방법에 있어서 입력받은 영상 정보로부터 차량인 영역과 차량이 아닌 영역을 정확하고 신속하게 검출하여 처리속도를 향상시키는 것이 가능하므로 수동형 방법을 이용한 자동주행 시스템에 활용할 수 있다.According to the present invention, in the manual method of detecting the vehicle area by analyzing the input image information among the vehicle detection methods, it is possible to accurately and quickly detect the area of the vehicle and the non-vehicle area from the received image information to improve the processing speed. Because of this, it can be used for the automatic driving system using the manual method.
도 1은 본 발명의 바람직한 실시예에 따른 차량 검출 시스템의 블록도,1 is a block diagram of a vehicle detection system according to a preferred embodiment of the present invention;
도 2a는 본 발명의 바람직한 실시예에 따른 차량후보 영역 정규화부의 상세 블록도, 2A is a detailed block diagram of a vehicle candidate region normalization unit according to a preferred embodiment of the present invention;
도 2b는 본 발명의 바람직한 실시예에 따른 차량후보 영역의 정규화 과정에 대한 참고도,2B is a reference diagram for a normalization process of a vehicle candidate region according to an exemplary embodiment of the present invention;
도 3a는 본 발명의 제1 실시예에 따른 차량영역 검증부의 상세 블록도,3A is a detailed block diagram of a vehicle region verification unit according to a first embodiment of the present invention;
도 3b는 본 발명의 제2 실시예에 따른 차량영역 검증부의 상세 블록도,3B is a detailed block diagram of a vehicle region verification unit according to a second embodiment of the present invention;
도 4는 본 발명의 바람직한 실시예에 따른 차량 영역 검출 방법의 순서도,4 is a flow chart of a vehicle area detection method according to a preferred embodiment of the present invention;
도 5는 상기 S40의 상세 순서도, 및5 is a detailed flowchart of the S40, and
도 6a는 본 발명의 제1 실시예에 따른 상기 S50의 상세 순서도, 및6A is a detailed flowchart of S50 according to the first embodiment of the present invention, and
도 6b는 본 발명의 제2 실시예에 따른 상기 S50의 상세 순서도이다.6B is a detailed flowchart of S50 according to the second embodiment of the present invention.
<도면의 주요 부위에 대한 간단한 설명><Brief description of the main parts of the drawings>
(1) : 차량 검출 시스템 (10) : 영상 입력부(1): vehicle detection system (10): video input unit
(20) : 영상 전처리부 (30) : 차량후보 영역 검출부20:
(40) : 차량후보 영역 정규화부 (42) : 에지 영상 변환부40: vehicle candidate region normalization unit 42: edge image conversion unit
(44) : 에지 히스토그램 생성부 (46) : 국부 최대값 영역 산출부44:
(48) : 리사이징부 (50a,50b) : 차량 영역 검증부(48): resizing unit (50a, 50b): vehicle area verification unit
(52a,52b) : 특징벡터 추출부 (54a) : 교차 검증 수행부(52a, 52b): feature vector extracting unit (54a): cross-validating unit
(54b) : 축소된 다변량 다항 함수 산출부 (54b): Reduced multivariate polynomial function calculation unit
(56a) : 다변량 다항 함수 산출부 (56b,58a) : 영역 검증부56a: multivariate polynomial
(60) : 차량 영역 재검증부 (70) : 차량 템플릿 데이터베이스60: vehicle area revalidation unit 70: vehicle template database
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090015949A KR101060321B1 (en) | 2009-02-25 | 2009-02-25 | Vehicle detection method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090015949A KR101060321B1 (en) | 2009-02-25 | 2009-02-25 | Vehicle detection method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100096873A true KR20100096873A (en) | 2010-09-02 |
KR101060321B1 KR101060321B1 (en) | 2011-08-29 |
Family
ID=43004352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090015949A KR101060321B1 (en) | 2009-02-25 | 2009-02-25 | Vehicle detection method and system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101060321B1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002334330A (en) | 2001-05-10 | 2002-11-22 | Nissan Motor Co Ltd | Vehicle recognition device |
JP4922642B2 (en) | 2006-03-28 | 2012-04-25 | パナソニック株式会社 | Vehicle detection device and vehicle detection method |
-
2009
- 2009-02-25 KR KR1020090015949A patent/KR101060321B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR101060321B1 (en) | 2011-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101979654B1 (en) | License plate recognition apparatus and the method thereof | |
CN109241985B (en) | Image identification method and device | |
US10025998B1 (en) | Object detection using candidate object alignment | |
US8867828B2 (en) | Text region detection system and method | |
US6961466B2 (en) | Method and apparatus for object recognition | |
US7840037B2 (en) | Adaptive scanning for performance enhancement in image detection systems | |
KR101848019B1 (en) | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area | |
KR100651753B1 (en) | Method for detecting eye using characteristics of symmetry and moment and apparatus thereof | |
JP5223675B2 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
US20070058856A1 (en) | Character recoginition in video data | |
KR100957716B1 (en) | Extraction Method of Skin-Colored Region using Variable Skin Color Model | |
KR101818129B1 (en) | Device and method for pedestrian recognition using convolutional neural network | |
CN111178272B (en) | Method, device and equipment for identifying driver behavior | |
KR20100015347A (en) | Face searching and detection in a digital image acquisition device | |
EP2648159A1 (en) | Object detecting method and object detecting device using same | |
KR102105954B1 (en) | System and method for accident risk detection | |
US9218540B2 (en) | Apparatus and computer readable medium for signal classification using spectrogram and templates | |
Babbar et al. | A new approach for vehicle number plate detection | |
KR101178508B1 (en) | Vehicle Collision Alarm System and Method | |
KR101268520B1 (en) | The apparatus and method for recognizing image | |
KR101461108B1 (en) | Recognition device, vehicle model recognition apparatus and method | |
KR101705061B1 (en) | Extracting License Plate for Optical Character Recognition of Vehicle License Plate | |
EP2821935A2 (en) | Vehicle detection method and device | |
CN110235177B (en) | Image processing device, image recognition device, and storage medium | |
JP6341059B2 (en) | Character recognition device, character recognition method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140515 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150812 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160823 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |