KR101663574B1 - Method and system for detection of sudden pedestrian crossing for safe driving during night time - Google Patents
Method and system for detection of sudden pedestrian crossing for safe driving during night time Download PDFInfo
- Publication number
- KR101663574B1 KR101663574B1 KR1020140170078A KR20140170078A KR101663574B1 KR 101663574 B1 KR101663574 B1 KR 101663574B1 KR 1020140170078 A KR1020140170078 A KR 1020140170078A KR 20140170078 A KR20140170078 A KR 20140170078A KR 101663574 B1 KR101663574 B1 KR 101663574B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- detecting
- window
- dangerous
- reference line
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에 관한 것으로서, 보다 구체적으로는 (1) 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계; (2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계; (3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및 (4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에 관한 것으로서, 보다 구체적으로는 차량에 설치되어 열 영상을 획득하는 카메라; 및 상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치를 포함하며, 상기 분석 장치는, 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈; 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈; 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈; 및 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈을 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.
또한, 본 발명에 따르면, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있다.More particularly, the present invention relates to a method for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment, and more particularly, , Detecting a pedestrian window; (2) setting a reference line in consideration of the traveling direction of the vehicle; (3) extracting a dangerous element vector using the detected pedestrian window and a reference line; And (4) calculating a risk score using the extracted risk element vector, and determining that the risk score is a risk pedestrian if the calculated risk score is equal to or greater than a threshold value.
The present invention relates to a system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment, and more particularly, to a system for detecting a dangerous pedestrian by a camera installed in a vehicle and acquiring a thermal image. And an analysis device for determining a dangerous pedestrian from the obtained thermal image, wherein the analysis device sets a scaling ratio and a searching area for a thermal image taken from the camera, A pedestrian detection module for detecting the pedestrian; A reference line setting module for setting a reference line in consideration of the traveling direction of the vehicle; A vector extraction module for extracting a dangerous element vector using the detected pedestrian window and a reference line; And a determination module that calculates a risk score using the extracted risk element vector and determines that the calculated risk score is a dangerous pedestrian if the calculated risk score is greater than or equal to a threshold value.
According to the method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment proposed in the present invention, a scaling ratio and a pedestrian search area are set and a pedestrian window is detected, thereby shortening a processing time and quickly detecting a pedestrian And it is possible to more precisely determine the risk of a pedestrian by setting a reference line in consideration of the traveling direction of the vehicle and judging a dangerous pedestrian.
In addition, according to the present invention, it is possible to determine a dangerous pedestrian by considering an overlapping ratio, a movement direction ratio, and a movement speed ratio, It is possible to accurately determine whether the pedestrian is a pedestrian.
Description
본 발명은 위험 보행자 검출 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for detecting a dangerous pedestrian, and more particularly, to a method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment.
최근 ICT(intelligent transportation system) 기술을 활용한 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 관심이 증대되면서 카메라를 이용한 컴퓨터 비전 기반의 보행자 검출 시스템에 대한 연구가 활발하게 이루어지고 있다. 컴퓨터 비전 기반의 ADAS용 보행자 검출 연구는, 주로 주간에 일반적인 CCD(charge coupled device) 카메라를 이용하여 보행자를 검출하는 방법을 사용한다. 하지만 야간이나 우천, 안개 등으로 시야가 확대되지 못하는 경우에는 보행자를 검출하지 못하는 문제가 발생한다.
Recently, as the interest in the Advanced Driver Assistance System (ADAS) using ICT (Intelligent Transportation System) technology has been increased, researches on a computer vision based pedestrian detection system using a camera have been actively carried out. The pedestrian detection study for ADAS based on computer vision uses a method of detecting a pedestrian by using a CCD (charge coupled device) camera, which is usually used in the daytime. However, when the field of view can not be expanded due to nighttime, rainy weather, or fog, pedestrians can not be detected.
이러한 문제를 해결하기 위해 적외선 카메라(IR)를 사용하는 방법이 연구되고 있지만 반대편에서 접근하는 자동차의 강한 헤드라이트가 비추는 상황에서는 감지가 안 되는 문제점이 발생한다. 이러한 문제점을 해결하기 위해, 최근에는 사람의 몸에서 발생되는 원적외선(long wavelength IR)을 감지하는 열 영상 카메라를 이용하여 보행자를 검출하려는 연구가 진행되고 있다. 열 영상 카메라를 이용한 연구로는 영상의 픽셀 평균값과 최대 픽셀 값을 이용하여 임계값을 생성하고 영상을 이진화한 후 모폴로지 연산을 통한 잡음제거로 후보 영역을 생성한다.
In order to solve this problem, a method of using an infrared camera (IR) has been studied. However, in a situation where a strong headlight of an automobile approaches from the opposite side, there is a problem in that it can not be detected. In order to solve such a problem, studies are currently under way to detect a pedestrian using a thermal imaging camera that detects a long wavelength IR generated in a human body. In the study using thermal imaging camera, threshold value is generated by using pixel mean value and maximum pixel value of image, binarization of image is performed, and candidate region is generated by noise elimination through morphological operation.
이와 관련된 선행기술로서, 웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법이 개시된 바 있다(등록특허 제10-1178333호).
As a prior art related thereto, a method of detecting a person using a center-symmetric-local binary pattern based on a wavelet and a hierarchical random forest has been disclosed (Japanese Patent Registration No. 10-1178333).
보행자 검출에서 고려해야할 두 가지 요소는 실시간 보행자 검출과 위험 보행자 판단방법이다. 특히 자동차는 빠른 속도로 이동하고 있으므로 상대적으로 해상도가 큰 영상을 사용해야만 멀리 떨어진 보행자를 검출할 수 있다. 또한, 보행자가 검출 되더라도 모든 보행자가 위험 대상자가 아니므로, 해당 보행자가 위험요소를 가진 보행자인지를 판단하고 위험요소를 가진 보행자라면 운전자에게 빠르게 알려주어 운전자가 그 상황에 대처하도록 해야 한다. 그러나 아직까지 이와 같은 사항을 모두 고려한 위험 보행자 검출 방법 및 시스템은 개발되지 못하고 있는 실정이다.Two factors to be considered in pedestrian detection are real - time pedestrian detection and the method of judging a dangerous pedestrian. Especially automobile is moving at a high speed, so it is possible to detect a distant pedestrian only by using a relatively high resolution image. In addition, even if a pedestrian is detected, not all pedestrians are dangerous subjects. Therefore, it is necessary to judge whether the pedestrian is a pedestrian having a risk factor. If the pedestrian has a risk factor, the pedestrian should inform the driver quickly. However, the method and system for detecting a dangerous pedestrian have not yet been developed.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. It is possible to shorten the processing time and detect the pedestrian quickly by setting the scaling ratio and the pedestrian search area and detecting the pedestrian window, It is an object of the present invention to provide a method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment, in which a risk of a pedestrian can be determined more accurately by setting a reference line in consideration of a traveling direction of the vehicle and determining a dangerous pedestrian .
또한, 본 발명은, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.The present invention also provides a method for determining a dangerous pedestrian by considering an overlapping ratio, a movement direction ratio, and a movement speed ratio, Another object of the present invention is to provide a method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment which can accurately determine whether or not the vehicle is a pedestrian.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은,According to an aspect of the present invention, there is provided a method for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment,
(1) 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;(1) setting a scaling ratio and a searching area for a thermal image taken from the camera, and detecting a pedestrian window;
(2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;(2) setting a reference line in consideration of the traveling direction of the vehicle;
(3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및(3) extracting a dangerous element vector using the detected pedestrian window and a reference line; And
(4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) calculating a risk score using the extracted risk element vector, and determining that the risk score is a risk pedestrian if the calculated risk score is equal to or greater than a threshold value.
바람직하게는, 상기 단계 (1)은,Preferably, the step (1)
(1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및(1-1) setting the scaling ratio and the pedestrian search area, and detecting a candidate pedestrian window; And
(1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함할 수 있다.
(1-2) extracting a Haar-Like feature and an OCS-LBP (Oriented Center Symmetric Local Binary Pattern) feature for the candidate pedestrian window, and applying the feature to a random forest classifier to detect a bounding box of pedestrian . ≪ / RTI >
더욱 바람직하게는, 상기 단계 (1-1)은,More preferably, the step (1-1)
(1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;(1-1-1) determining a scaling ratio for pedestrian detection by applying adaptive scaling;
(1-1-2) 상기 카메라로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및(1-1-2) setting a pedestrian search area from an image photographed by the camera; And
(1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함할 수 있다.
(1-1-3) detecting the candidate pedestrian window using the scaling ratio in the set pedestrian search area.
더욱 바람직하게는, 상기 단계 (1-2)에서는,More preferably, in the step (1-2)
(1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;(1-2-1) extracting a Haar-Like feature and an OCS-LBP feature for the candidate pedestrian window;
(1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및(1-2-2) applying the extracted Haar-like feature to a
(1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함할 수 있다.
(1-2-3) For the candidate pedestrian window detected in the step (1-2-2), the extracted OCS-LBP characteristic is applied to the level 2 random forest classifier to perform the secondary detection, And detecting the window.
바람직하게는, 상기 단계 (2)는,Preferably, the step (2)
(2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및(2-1) setting initial reference lines using boundary lines and vanishing points of the roadway; And
(2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함할 수 있다.
(2-2) changing the reference line according to the traveling direction of the vehicle.
더욱 바람직하게는, 상기 단계 (2-2)는,More preferably, the step (2-2)
(2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및(2-2-1) determining a traveling direction of the vehicle using optical flow and maximum likelihood estimation; And
(2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함할 수 있다.
(2-2-2) moving the vanishing point according to the determined vehicle traveling direction, and changing the reference line.
바람직하게는, 상기 위험 요소 벡터는,Advantageously, the risk vector comprises at least one of:
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.
An overlapping ratio, a movement direction ratio, and a movement speed ratio.
더욱 바람직하게는, 상기 단계 (3)은,More preferably, the step (3)
(3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;(3-1) calculating an overlapping ratio from a degree of overlap between the detected pedestrian window and the set reference line;
(3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및(3-2) calculating a movement direction risk using a motion vector extracted from the pedestrian window; And
(3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함할 수 있다.
(3-3) calculating a movement speed ratio using the size of the motion vector and the width of the pedestrian window.
바람직하게는, 상기 단계 (4)에서는,Preferably, in the step (4)
(4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;(4-1) estimating a conditional probability by applying the extracted risk element vector to a normal distribution function;
(4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및(4-2) calculating a risk score by combining the estimated conditional probabilities; And
(4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함할 수 있다.
(4-3) If the calculated risk score is greater than or equal to the threshold value, it may be determined to be a dangerous pedestrian.
더욱 바람직하게는, 상기 단계 (4-2)에서는,More preferably, in the step (4-2)
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출할 수 있다.
The risk scores can be calculated using naBayes and log likelihoods.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템은, According to an aspect of the present invention, there is provided a system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment,
차량에 설치되어 열 영상을 획득하는 카메라; 및A camera installed in the vehicle to acquire thermal images; And
상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치를 포함하며,And an analyzing device for determining a dangerous pedestrian from the obtained thermal image,
상기 분석 장치는, The analyzing apparatus comprises:
상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈;A pedestrian detecting module for setting a scaling ratio and a searching area for a thermal image photographed by the camera and detecting a pedestrian window;
차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈;A reference line setting module for setting a reference line in consideration of the traveling direction of the vehicle;
상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈; 및A vector extraction module for extracting a dangerous element vector using the detected pedestrian window and a reference line; And
상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
And a determination module for calculating a risk score using the extracted risk element vector and determining that the risk score is a risk pedestrian if the calculated risk score is equal to or greater than a threshold value.
바람직하게는, 상기 카메라는,Preferably, the camera further comprises:
상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득할 수 있다.
A thermal image can be obtained by using far-infrared (FIR) installed on the roof of the vehicle.
바람직하게는, 상기 보행자 검출 모듈은,Preferably, the pedestrian detection module comprises:
상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부; 및A first detecting unit for setting the scaling ratio and the pedestrian search area and detecting a candidate pedestrian window; And
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부를 포함할 수 있다.
And a second detection unit for extracting a Haar-Like feature and an OCS-LBP (Oriented Center Symmetric Local Binary Patterns) feature for the candidate pedestrian window and applying the same to a random forest classifier to detect a bounding box of a pedestrian .
더욱 바람직하게는, 상기 제1 검출부는,More preferably, the first detecting unit includes:
적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부;A scaling unit for determining a scaling ratio for detecting a pedestrian by applying adaptive scaling;
상기 카메라로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부; 및An area setting unit for setting a pedestrian search area from an image photographed by the camera; And
상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부를 포함할 수 있다.
And a candidate detector for detecting a candidate pedestrian window using the scaling ratio in the set pedestrian search area.
더욱 바람직하게는, 상기 제2 검출부는,More preferably, the second detecting unit includes:
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부;A feature extraction unit for extracting a Haar-Like feature and an OCS-LBP feature for the candidate pedestrian window;
상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부; 및A
상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부를 포함할 수 있다.
A level 2 classification for detecting a final pedestrian window through secondary detection by applying the extracted OCS-LBP feature to a random forest classifier of level 2 for the candidate pedestrian window detected in the step (1-2-2) Section.
바람직하게는, 상기 기준선 설정 모듈은,Preferably, the baseline setting module includes:
차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 기준선 설정부; 및A reference line setting unit for setting initial reference lines using boundary lines and vanishing points of the roadway; And
차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부를 포함할 수 있다.
And a reference line changing unit for changing the reference line according to the traveling direction of the vehicle.
더욱 바람직하게는, 상기 기준선 변경부는,More preferably, the baseline changing unit includes:
옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부; 및A direction determining unit for determining a traveling direction of the vehicle using optical flow and maximum likelihood estimation; And
상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부를 포함할 수 있다.
And a change processing unit that moves the vanishing point according to the determined vehicle traveling direction and changes the reference line.
바람직하게는, 상기 위험 요소 벡터는,Advantageously, the risk vector comprises at least one of:
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.
An overlapping ratio, a movement direction ratio, and a movement speed ratio.
더욱 바람직하게는, 상기 벡터 추출 모듈은,More preferably, the vector extraction module includes:
상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부;A first calculation unit for calculating an overlapping ratio from a degree of overlap between the detected pedestrian window and the set reference line;
상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부; 및A second calculation unit for calculating a movement direction risk using a motion vector extracted from the pedestrian window; And
상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부를 포함할 수 있다.
And a third calculation unit for calculating a motion speed risk using the size of the motion vector and the width of the pedestrian window.
바람직하게는, 상기 판단 모듈에서는,Preferably, in the determination module,
상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부;A probability estimator for estimating a conditional probability by applying the extracted risk element vector to a normal distribution function;
상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부; 및A score calculation unit for calculating a risk score by combining the estimated conditional probabilities; And
상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부를 포함할 수 있다.
And a pedestrian judging unit for judging that the pedestrian is a pedestrian if the calculated risk score is equal to or greater than a threshold value.
더욱 바람직하게는, 상기 스코어 산출부는,More preferably, the score calculation unit calculates,
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출할 수 있다.
The risk scores can be calculated using naBayes and log likelihoods.
바람직하게는,Preferably,
상기 분석 장치에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치를 더 포함할 수 있다.And an alarm device for generating an alarm when it is determined that the analyzer is a dangerous pedestrian.
본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.
According to the method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment proposed in the present invention, a scaling ratio and a pedestrian search area are set and a pedestrian window is detected, thereby shortening a processing time and quickly detecting a pedestrian And it is possible to more precisely determine the risk of a pedestrian by setting a reference line in consideration of the traveling direction of the vehicle and judging a dangerous pedestrian.
또한, 본 발명에 따르면, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있다.In addition, according to the present invention, it is possible to determine a dangerous pedestrian by considering an overlapping ratio, a movement direction ratio, and a movement speed ratio, It is possible to accurately determine whether the pedestrian is a pedestrian.
도 1은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 카메라가 설치된 차량을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 분석 장치의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 거리에 따른 보행자의 크기를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 검출된 후보 보행자 윈도우를 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 보행자 검출을 위해 디자인 된 Harr-like 특징을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서 사용된 CaRF를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 차량의 진행 방향을 고려하여 기준선을 설정하는 과정을 예를 들어 도시한 도면.
도 12는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 각 차량 진행 방향에 대한 가우시안 분포를 도시한 도면.
도 13은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 14는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 요소 벡터를 추출하는 과정을 예를 들어 도시한 도면.
도 15는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 16은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 보행자를 판단하는 과정을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram illustrating a system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention; FIG.
2 is a view illustrating a vehicle equipped with a camera, for example, in a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention.
3 is a flowchart illustrating a method for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
4 is a diagram illustrating a detailed configuration of an analysis apparatus in a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention.
5 is a detailed flowchart of step S100 in a method for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a method for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an exemplary embodiment of the present invention, and a system for measuring the size of a pedestrian according to distance. FIG.
FIG. 7 illustrates a detected candidate pedestrian window in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an exemplary embodiment of the present invention; FIG.
8 is a diagram illustrating a Harr-like feature designed for pedestrian detection in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment in accordance with an embodiment of the present invention.
9 is a diagram illustrating CaRF used in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
10 is a detailed flowchart of step S200 in the method of detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
11 is a view illustrating a process of setting a reference line in consideration of a traveling direction of a vehicle in a method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating a Gaussian distribution for each vehicle traveling direction in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention; FIG.
FIG. 13 is a detailed flowchart of step S300 in a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention. FIG.
FIG. 14 illustrates a process of extracting a risk element vector in a method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention; FIG.
15 is a detailed flowchart of step S400 in a method of detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
16 is a diagram illustrating a process of determining a dangerous pedestrian in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템은, 카메라(10) 및 분석 장치(20)를 포함하여 구성될 수 있으며, 경보 장치(30)를 더 포함하여 구성될 수 있다.
1 is a block diagram illustrating a system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention. 1, a system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention may include a
카메라(10)는, 차량에 설치되어 열 영상을 획득할 수 있다. 특히, 카메라(10)는, 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득할 수 있다.
The
도 2는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 카메라(10)가 설치된 차량을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서는, 차량의 지붕에 설치된 원적외선 카메라(10)를 이용할 수 있다. 즉, 본 발명에서는, 차량의 강한 헤드라이트 등과 관계없이 사람의 몸에서 발생되는 원적외선을 이용해 효과적으로 보행자를 검출할 수 있다.
2 is a diagram illustrating a vehicle equipped with a
분석 장치(20)는, 획득된 열 영상으로부터 위험 보행자를 판단할 수 있다. 즉, 분석 장치(20)는 열 영상으로부터 보행자를 검출하고, 검출된 보행자가 위험 보행자인지 여부를 판단하는 구성으로서, 추후 도 4를 참조하여 상세히 설명하도록 한다.
The
경보 장치(30)는, 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생할 수 있다. 즉, 위험 보행자가 나타났음을 운전자에게 신속하게 알리기 위한 구성으로서, 시각적, 청각적, 촉각적 자극을 이용해 경보를 발생할 수 있다.
The
도 3은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은, 보행자 윈도우를 검출하는 단계(S100), 차량의 진행 방향을 고려하여 기준선을 설정하는 단계(S200), 위험 요소 벡터를 추출하는 단계(S300) 및 위험 보행자를 판단하는 단계(S400)를 포함하여 구성될 수 있다.
3 is a flowchart illustrating a method of detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention. As shown in FIG. 3, the method for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention includes detecting a pedestrian window (S100), calculating a reference line (Step S200), extracting a risk element vector (step S300), and determining a dangerous pedestrian (step S400).
도 4는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 분석 장치(20)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 장치는, 보행자 검출 모듈(100), 기준선 설정 모듈(200), 벡터 추출 모듈(300) 및 판단 모듈(400)을 포함하여 구성될 수 있으며, 각 구성을 통해 도 3에 도시된 바와 같은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법을 구현할 수 있다.
FIG. 4 is a diagram illustrating a detailed configuration of an
단계 S100에서는, 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출할 수 있으며, 단계 S100은 보행자 검출 모듈(100)에 의해 처리될 수 있다. 이하에서는, 도 5를 참조하여 단계 S100의 세부적인 흐름에 대해여 상세히 설명하도록 한다.
In step S100, the scaling ratio and the searching area can be set for the thermal image photographed by the
도 5는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은, 스케일링 비율 및 보행자 탐색 영역을 설정하고 후보 보행자 윈도우를 검출하는 단계(S110) 및 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우 검출하는 단계(S120)를 포함하여 구현될 수 있다.
FIG. 5 is a detailed flowchart of step S100 in a method of detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. 5, a method for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention includes a step S110 of setting a scaling ratio and a pedestrian search area and detecting a candidate pedestrian window, And extracting the Haar-Like feature and the OCS-LBP feature for the candidate pedestrian window, and applying the same to the random forest classifier to detect the pedestrian window (S120).
단계 S110에서는, 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출할 수 있으며, 단계 S110은 제1 검출부(110)에 의해 처리될 수 있다. 도 5에 도시된 바와 같이, 단계 S110은 적응 스케일링을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계(S111), 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계(S112) 및 설정된 보행자 탐색 영역에서 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계(S113)를 포함하여 구현될 수 있다.
In step S110, the scaling ratio and the pedestrian search area can be set, the candidate pedestrian window can be detected, and step S110 can be processed by the
단계 S111에서는, 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정할 수 있으며, 단계 S111은 스케일링부(111)에 의해 처리될 수 있다. 적응 스케일링은, 이미지 스케일링(image scaling)의 optical level을 결정하여 설정될 수 있다.
In step S111, adaptive scaling may be applied to determine a scaling ratio for pedestrian detection, and step S111 may be processed by the
도 6은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 거리에 따른 보행자의 크기를 도시한 도면이다. 자동차 주행 시 촬영되는 영상은 원거리 보행자를 검출해 내기 위해 고해상도 영상을 사용해야 하며, 도 6에 도시된 바와 같이, 영상 안에 다양한 크기의 보행자가 존재한다. 따라서 보행자 검출을 위해서는 입력 영상을 다양한 비율로 스케일링하고 각 스케일 영상에서 보행자를 탐색하는 알고리즘이 필요하지만, 이러한 방법은 많은 처리시간을 요구한다. 실시간 보행자 검출 시스템을 구성하기 위한 가장 중요한 요소는 시스템의 처리속도 문제이므로, 계산 비용(computational cost)을 줄이는 것이 매우 중요하다.
FIG. 6 is a diagram illustrating a size of a pedestrian according to a distance in a method and system for detecting a pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. The images taken when driving a car should use high resolution images to detect a distant pedestrian. As shown in FIG. 6, various sizes of pedestrians exist in the image. Therefore, in order to detect a pedestrian, it is necessary to perform an algorithm of scaling an input image at various ratios and searching for a pedestrian in each scale image, but this method requires a lot of processing time. The most important factor for constructing a real-time pedestrian detection system is the processing speed of the system, so it is very important to reduce the computational cost.
따라서 단계 S111에서는, 검출 가능한 보행자의 최대 크기와 최소 크기를 사전에 설정하고, 추후 학습 비디오에 대해서 최소 크기에서 최대크기까지 영상의 스케일링 비율을 조정하면서 HWM(Hough Window Map)을 구성하고, 적응 스케일링 알고리즘을 적용하여 보행자 검출을 위한 영상 스케일링 비율을 결정함으로써, 추후 보행자 검출 시 보다 신속하게 적용을 할 수 있다.
Therefore, in step S111, a maximum size and minimum size of the detectable pedestrian are set in advance, a HWM (Hough Window Map) is configured while adjusting the scaling ratio of the image from the minimum size to the maximum size with respect to the future learning video, By applying the algorithm to determine the image scaling ratio for pedestrian detection, it can be applied more quickly than when detecting the pedestrian later.
단계 S112에서는, 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정할 수 있으며, 단계 S112는 영역 설정부(112)에 의해 처리될 수 있다. 단계 S112에서는, 카메라(10)에서 촬영되는 영상의 투시도(perspective view)를 고려하여, 관심 영역(region-of-interest; ROI)을 설정할 수 있다. 즉, 보행자 검출을 위한 관심 ROI 설정은 설치된 카메라(10) 영상을 고려하여 차량과의 임의의 거리 내에 존재하는 영역에 대해서만 보행자 검출 윈도우를 실행하면 되므로, 영상의 Y좌표를 기준으로 도 6에 도시된 바와 같이, 임계값 이내에 있는 영역을 ROI 영역으로 설정할 수 있다. 또한, 관심 영역 내에서도, 스케일링 비율에 따라 보행자 탐색 영역(searching area)을 설정함으로써, 보다 신속하게 보행자를 검출할 수 있다.
In step S112, a pedestrian search area can be set from an image photographed by the
따라서 보행자의 위치와 크기를 알고 있으면, 검색 영역과 스케일링 비율을 설정할 수 있다.
Therefore, if you know the location and size of the pedestrian, you can set the search area and scaling ratio.
실험예Experimental Example
본 발명에서는, KMU(Keimyung University) 데이터 셋을 이용해 도 6의 (a)에 도시된 바와 같이 카메라(10)와의 거리가 5m부터 30m까지 5m 간격으로 떨어져있는 보행자에 대하여, 보행자의 최대 크기와 최소 크기를 결정하였다. 한국인 성인 남녀의 평균 신장(남성 174㎝, 여성 160㎝)을 고려하여, 167㎝를 평균 신장으로 설정하면, 640픽셀×480픽셀 크기의 이미지에서 보행자 윈도우(bounding box of pedestrian)의 크기는 표 1과 같다.In the present invention, as shown in FIG. 6 (a) using a KMU (Keimyung University) data set, for a pedestrian which is 5 m to 30 m away from the
보행자 윈도우를 평균한 108×47을 보행자 모델 사이즈로 정하면, 보행자 모델 사이즈보다 작은 보행자에 대해서는 1:2.7, 1:2.3, 1:1.9; 1:1.4, 1:1.0, 보행자 모델 사이즈보다 큰 보행자에 대해서는 1:0.5의 총 6개의 이미지 스케일링 레벨이 도출될 수 있다.
When the average of the pedestrian window is 108 × 47 in the pedestrian model size, 1: 2.7, 1: 2.3, 1: 1.9 for pedestrians smaller than the pedestrian model size; A total of six image scaling levels of 1: 1.4, 1: 1.0, and 1: 0.5 for pedestrians larger than the pedestrian model size can be derived.
한편, 도 6의 (b)에 도시된 바와 같이, 검출된 보행자의 키에 따라 보행자 탐색 영역은 미세하게 조정될 수 있다. 보행자 윈도우의 크기와 위치를 검출하면, 차량과 보행자 사이의 거리도 산출할 수 있다.
On the other hand, as shown in Fig. 6 (b), the pedestrian search area can be finely adjusted according to the detected key of the pedestrian. When the size and position of the pedestrian window are detected, the distance between the vehicle and the pedestrian can also be calculated.
단계 S113에서는, 설정된 보행자 탐색 영역에서 스케일링 비율을 이용해 후보 보행자 윈도우를 검출할 수 있으며, 단계 S113은 후보 검출부(113)에 의해 처리될 수 있다. 단계 S111 및 단계 S112에서 설정된 스케일링 비율 및 보행자 탐색 영역을 이용하므로, 단계 S113에서는 보다 신속하게 후보 보행자 윈도우를 검출할 수 있다.
In step S113, the candidate pedestrian window can be detected using the scaling ratio in the set pedestrian search area, and step S113 can be processed by the
도 7은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 검출된 후보 보행자 윈도우를 예를 들어 도시한 도면이다. 원적외선 열 영상 카메라(10)를 이용하는 경우, 여름에는 배경 열에너지와 보행자의 열에너지가 비슷하기 때문에, 보행자 검출의 정확도가 저하될 수 있다. 즉, 도 7의 (a)에 도시된 바와 같이, 봄에는 비교적 정확하게 보행자를 검출할 수 있으나, (b)에 도시된 바와 같이 여름에는 열에너지로 정확하게 보행자를 검출하기 어려운 것을 확인할 수 있다. 따라서 본 발명의 단계 S110에서는 열 영상으로부터 후보 영역을 추출하고, 이하에서 상세히 설명할 단계 S120에서 후보 영역을 검증함으로써 최종적으로 보행자 윈도우를 검출할 수 있다.
FIG. 7 is a diagram illustrating an example of a detected candidate pedestrian window in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. In the case of using the far infrared ray
단계 S120에서는, 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출할 수 있다. 단계 S120은 제2 검출부에 의해 처리될 수 있다. 도 5에 도시된 바와 같이, 단계 S120은 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계(S121), 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계(S122) 및 추출한 OCS-LBP 특징을 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해 최종적인 보행자 윈도우를 검출하는 단계(S123)를 포함하여 구현될 수 있다.
In step S120, a Haar-Like feature and an OCS-LBP (Oriented Center Symmetric Local Binary Pattern) feature may be extracted for a candidate pedestrian window, and a bounding box of pedestrian may be detected by applying the feature to a random forest classifier. Step S120 may be processed by the second detection unit. 5, step S120 includes extracting a Haar-Like feature and an OCS-LBP feature with respect to the candidate pedestrian window (S121), extracting the extracted Haar-like feature into a level of a hierarchical random forest composed of two levels (Step S122) applying the extracted OCS-LBP characteristic to the random forest classifier of
단계 S121에서는, 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출할 수 있으며, 단계 S121은 특징 추출부(121)에 의해 처리될 수 있다. 여기에서, Haar-like 특징은 계산 시간 단축을 위한 것으로 콤팩트한 특징 패턴을 생산할 수 있고, OCS-LBP 특징은 픽셀의 기울기 크기와 방향을 파악할 수 있다.
In step S121, Haar-Like feature and OCS-LBP feature can be extracted for the candidate pedestrian window, and step S121 can be processed by the
도 8은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 보행자 검출을 위해 디자인 된 Harr-like 특징을 도시한 도면이다. 본 발명에서는 서로 다른 10개의 특징 타입을 고안하였으며, 이와 같은 Haar-like 특징은 인간의 신체의 대칭을 고려하여 디자인되었다.
FIG. 8 is a diagram illustrating Harr-like features designed for pedestrian detection in a method and system for detecting a pedestrian danger for a driver assistance system in a night environment according to an embodiment of the present invention. In the present invention, ten different feature types are devised, and such Haar-like features are designed in consideration of human symmetry.
한편, OCS-LBP 특징은 객체 검출을 위해 많이 사용되는 Center Symmetric Local Binary Pattern(CS-LBP)의 에지의 강도와 방향 정보를 상실하는 단점을 개선하면서 낮은 차원 수를 가지는 특징이 있다. 후보 윈도우를 4×4 파트 영역으로 분할 한 후, 각각의 서브 블록에서 8차원의 히스토그램에서 특징 벡터를 생성하며, 하나의 후보 윈도우에서는 128차원의 특징벡터가 생성될 수 있다.
On the other hand, the OCS-LBP feature is characterized by a low number of dimensions while improving the weakness of loss of edge strength and direction information of Center Symmetric Local Binary Pattern (CS-LBP), which is widely used for object detection. After dividing the candidate window into 4 × 4 part regions, a feature vector is generated in an 8-dimensional histogram in each sub-block, and a 128-dimensional feature vector can be generated in one candidate window.
그 다음, 후보 영역이 보행자인지 아닌지를 검증하기 위하여, 계층적 랜덤 포레스트(Cascade random forests; CaRF)를 이용할 수 있다. 본 발명에서는 두 개의 레벨(cascade level)로 구성된 CaRF를 사용하였는데, 첫 번째 레벨에서는 Haar-like 특징을 사용하고, 두 번째 레벨에서는 OCS-LBP 특징을 사용할 수 있다.
Then, it is possible to use Cascade random forests (CaRF) to verify whether the candidate area is a pedestrian or not. In the present invention, a CaRF composed of two levels (cascade level) is used. In the first level, the Haar-like feature is used. In the second level, the OCS-LBP feature can be used.
단계 S122에서는, 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 할 수 있으며, 레벨1 분류부(122)가 처리할 수 있다.
In step S122, the extracted Haar-like feature may be applied to a random forest classifier of a
단계 S123에서는, 단계 S122에서 검출된 후보 보행자 윈도우에 대하여, 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출할 수 있다. 단계 S123은 레벨2 분류부(122)에서 처리될 수 있다.
In step S123, the final pedestrian window can be detected by performing secondary detection on the candidate pedestrian window detected in step S122 by applying the extracted OCS-LBP feature to the level 2 random forest classifier. Step S123 may be processed in the level 2
도 9는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서 사용된 CaRF를 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서는, 먼저 Haar-Like 특징 벡터를 사전에 학습된 레벨 1의 랜덤 포레스트 분류기에 적용하여 보행자 후보 윈도우를 1차적으로 검증하고(S122), 검출된 윈도우에 대해서만 OCS-LBP 특징 벡터를 사전에 학습된 레벨 2의 랜덤 포레스트 분류기에 적용하여 최종적인 보행자 윈도우를 검출할 수 있다(S123).
9 is a diagram illustrating a method for detecting a dangerous pedestrian and a CaRF used in a system for a driver assistance system in a night environment according to an embodiment of the present invention. As shown in FIG. 9, in the method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention, a Haar-Like feature vector is classified into a random- , The pedestrian candidate window is firstly verified (S122), and the final pedestrian window can be detected by applying the OCS-LBP feature vector only to the detected window to the pre-learned level 2 random forest classifier ( S123).
단계 S200에서는, 차량의 진행 방향을 고려하여 기준선(reference line)을 설정할 수 있다. 단계 S200은 기준선 설정 모듈(200)에 의해 처리될 수 있다.
In step S200, a reference line can be set in consideration of the traveling direction of the vehicle. Step S200 may be processed by the
도 10은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S200은, 차도의 경계선과 소실점을 이용해 최초 기준선을 설정하는 단계(S210) 및 차량의 진행 방향에 따라 기준선을 변경시키는 단계(S220)를 포함하여 구현될 수 있다.
10 is a detailed flowchart of step S200 in the method of detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. As shown in FIG. 10, step S200 of the method of detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention includes setting a first baseline using a boundary line and a vanishing point of a roadway (S210) And changing the reference line according to the traveling direction of the vehicle (S220).
단계 S210에서는, 차도(road)의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정할 수 있으며, 단계 S210은 기준선 설정부(210)에 의해 처리될 수 있다. 단계 S210에서는, 차도와 보도의 열에너지가 유사한 데 따른 한계를 극복하기 위해 가상의 기준선(virtual reference lines)을 설정할 수 있다. 종래기술과는 달리, 본 발명에서는 운전자의 시야(driver's view)와 소실점을 이용해 기준선을 설정할 수 있다. 최초의 기준선(initial reference line)은 차량의 지붕 위에 설치된 FIR 카메라(10)로부터 얻은 캡처사진(captured image)로부터 설정될 수 있다. 차도의 경계선은 ROI 내에서 simple Sobel edge detector를 이용해 검출될 수 있고, 경계선의 겹침 에러(overlapping error)가 최소가 되는 후보 기준선을 기준선으로 설정할 수 있다.
In step S210, initial reference lines can be set using boundary lines and vanishing points of roads, and step S210 can be processed by the reference
도 11은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 차량의 진행 방향을 고려하여 기준선을 설정하는 과정을 예를 들어 도시한 도면이다. 도 11의 (a)를 참조하여 기준선 설정부(210)에서 처리되는 단계 S210의 기준선 설정 알고리즘을 요약하면 다음과 같다.
11 is a view illustrating a process of setting a reference line in consideration of the traveling direction of a vehicle in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. Referring to FIG. 11A, the reference line setting algorithm of step S210, which is processed by the reference
1. 이미지를 세로로 분할하는 수직 방향의 중심선을 그리고, 중심선을 따라 소실점 후보 세트를 만든다.1. Create a vanishing point candidate set along the centerline of the vertical direction that divides the image vertically.
2. edge detector를 이용해 도로의 경계 픽셀, 즉 경계선을 검출한다.2. Use the edge detector to detect the boundary pixels, or boundary, of the road.
3. 소실점 후보를 선택하여, 기준선 후보를 그린다.3. Select the Vanishing Point Candidate and draw a baseline candidate.
4. 경계선과 기준선 사이의 겹침 에러를 계산한다.4. Calculate the overlap error between the boundary and the baseline.
5. 소실점 후보 세트에 포함되는 모든 소실점 후보에 대하여 3 및 4를 반복한다.5. Repeat steps 3 and 4 for all vanishing point candidates included in the vanishing point candidate set.
6. 겹침 에러가 최소가 되는 소실점을 찾아 최초 기준선으로 설정한다.
6. Find the vanishing point where the overlap error is minimum and set it as the initial baseline.
단계 S220에서는, 차량의 진행 방향에 따라 기준선을 변경시킬 수 있으며, 단계 S220은 기준선 변경부(220)에 의해 처리될 수 있다. 즉, 도 11의 (a)에 도시된 바와 같은 고정된 기준선은 차량이 직진할 때에만 사용이 가능하며, 차량이 선회하는 경우에는 그 방향과 속력에 따라 기준선 또한 변경되어야 한다. 단계 S220은 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계(S221) 및 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계(S222)를 통해 기준선을 변경시킬 수 있다.
In step S220, the reference line may be changed according to the traveling direction of the vehicle, and step S220 may be processed by the reference
단계 S221에서는, 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정할 수 있으며, 방향 결정부(221)에 의해 처리될 수 있다. 즉, 보도의 검출 없이 선회 방향과 각도를 추출하기 위해서, 옵티컬 플로우(optical flow)와 최대우도추정법(maximum likelihood estimation)을 사용할 수 있다. 본 발명의 단계 S221에서는, 직진(Go-Straight; GS), 우회전(Turn-Right; TR) 및 좌회전(Turn-Left; TL)의 세 가지 차량 진행 방향을 정의할 수 있다. 먼저, 각각의 차량 진행 방향에 대한 옵티컬 플로우의 x 방향과 y 방향의 벡터 특징을 수집할 수 있다.
In step S221, the vehicle traveling direction can be determined using the optical flow and maximum likelihood estimation method, and can be processed by the
도 12는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 각 차량 진행 방향에 대한 가우시안 분포를 도시한 도면이다. 즉, 각 차량 진행 방향에 대한 특징들의 평균과 공분산 행렬(covariance matrix)을 구하여 2차원의 가우시안 분포를 분석하면, 도 12에 도시된 바와 같을 수 있다. 따라서 옵티컬 플로우 벡터로부터 차량 진행 방향의 조건부 확률을 구할 수 있는데, 본 발명에서는 최대우도추정법을 이용해 보다 용이하게 차량 진행 방향을 결정할 수 있다.
FIG. 12 is a diagram illustrating a Gaussian distribution for each vehicle traveling direction in a method and system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention. That is, an average of the characteristics of each vehicle traveling direction and a covariance matrix are obtained, and the two-dimensional Gaussian distribution is analyzed, as shown in FIG. Therefore, the conditional probability of the vehicle traveling direction can be obtained from the optical flow vector. In the present invention, it is possible to more easily determine the vehicle traveling direction by using the maximum likelihood estimation method.
단계 S222에서는, 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시킬 수 있으며, 변경 처리부(222)에 의해 처리될 수 있다. 즉, 차량 진행 방향이 결정되면 차량의 선회 각도에 따라 기준선을 변경해야 한다. 기준선의 형태는 소실점을 선회 방향으로 이동시킴으로써 변경할 수 있다. 다음 수학식 1에 따라 시간 t의 소실점(
여기서, 
here,
단계 S300에서는, 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출할 수 있으며, 단계 S300은 벡터 추출 모듈(300)에 의해 처리될 수 있다. 여기에서, 위험 요소 벡터는, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.
In step S300, the risk element vector can be extracted using the detected pedestrian window and the reference line, and step S300 can be processed by the
도 13은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S300은, 겹침 위험도를 산출하는 단계(S310), 움직임 방향 위험도를 산출하는 단계(S320) 및 움직임 크기 위험도를 산출하는 단계(S330)를 포함하여 구현될 수 있다.
13 is a detailed flowchart of step S300 in the method of detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. As shown in FIG. 13, step S300 of the method for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention includes a step of calculating an overlapping risk (S310) Step S320, and calculating a motion magnitude risk (S330).
도 14는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 요소 벡터를 추출하는 과정을 예를 들어 도시한 도면이다. 이하에서는, 도 13 및 도 14를 참조하여, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S300의 세부적인 흐름에 대하여 상세히 설명하도록 한다.
FIG. 14 is a diagram illustrating a process of extracting a risk vector in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. Hereinafter, the detailed flow of step S300 of the dangerous pedestrian detection method for the driver assistance system in the nighttime environment according to the embodiment of the present invention will be described in detail with reference to FIG. 13 and FIG.
단계 S310에서는, 검출된 보행자 윈도우와 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출할 수 있으며, 단계 S310은 제1 산출부(310)에 의해 처리될 수 있다. 겹침 위험도는, 보행자와 기준선 사이의 겹침 비율(overlapping ratio)을 계산함으로써 산출될 수 있다(도 14의 (a) 참조). 보행자가 기준선을 왼쪽 또는 오른쪽에서 지나갈 때, 보행자 i에 대한 겹침 비율 OR(i)은 다음 수학식 2와 같이 정의될 수 있다.In step S310, an overlapping ratio can be calculated from the degree of overlap between the detected pedestrian window and the set reference line, and step S310 can be processed by the
여기서, RL은 기준선, BB(i)는 보행자 i에 대한 보행자 윈도우(bounding box)이다. 즉, BB(i)가 기준선 밖에 있으면 OR(i)는 0이고, BB(i)가 기준선 안으로 완전히 들어오면 OR(i)는 1이 된다.
Here, RL is a reference line, and BB (i) is a pedestrian window for a pedestrian i. That is, OR (i) is 0 if BB (i) is outside the baseline, and OR (i) is 1 if BB (i)
단계 S320에서는, 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출할 수 있으며, 단계 S320은 제2 산출부(320)에 의해 처리될 수 있다.
In step S320, a motion direction risk ratio can be calculated using the motion vector extracted from the pedestrian window, and step S320 can be processed by the
자동차 앞으로 갑자기 뛰어드는 보행자의 움직임 방향을 분석해보면, 보행자는 영상의 외곽에서 중심으로 뛰어 오는 방향성을 보인다. 다시 말해 보행자의 위험 움직임 방향은 영상의 왼쪽 영역(Left Part)에서는 좌측에서 우측 방향을 보이며, 오른쪽 영역(Right Part)에서는 우측에서 좌측 방향을 보인다. 이런 사실을 이용하여, 본 발명에서는 도 14의 (b)에 도시된 바와 같이, 보행자의 움직임 방향을 8개로 정의하였으며, 오른쪽과 왼쪽으로의 방향성을 강조하기 위하여 약간 기울어져 있을 수 있다(23도). 모션 코드 M은 옵티컬 플로우의 방향(θ)을 이용해 다음 수학식 3과 같이 정의될 수 있다.Analysis of the direction of the movement of the pedestrian suddenly jumping in front of the car, the pedestrian shows the direction to jump from the outer edge of the image to the center. In other words, the direction of dangerous movements of the pedestrians is from the left to the right in the left part of the image and from the right to the right in the right part. Using this fact, in the present invention, as shown in FIG. 14 (b), the moving direction of the pedestrian is defined as eight, and may be slightly inclined to emphasize the directionality to the right and left ). The motion code M can be defined by the following equation (3) using the direction (?) Of the optical flow.
각 모션 코드의 모션 스코어는 보행자의 좌우모션을 고려하도록 디자인되었으므로, 왼쪽 또는 오른쪽으로 보행자가 움직일 때 그 값이 크게 산출될 수 있다. 보행자 윈도우의 모션을 추출한 다음, 다음 수학식 4를 이용해 N 옵티컬 플로우에서 보행자 i의 움직임 방향 위험도 MD(i)를 산출할 수 있다.Since the motion score of each motion code is designed to take into account the left and right motion of the pedestrian, the value can be calculated to be large when the pedestrian moves left or right. The motion direction risk MD (i) of the pedestrian i in the N optical flow can be calculated using the following equation (4) after extracting the motion of the pedestrian window.
여기서, Score(ㆍ)는 모션 코드에서 정의된 모션 스코어를 의미할 수 있다.
Here, Score () may mean a motion score defined in the motion code.
단계 S330에서는, 움직임 벡터의 크기와 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출할 수 있으며, 단계 S330은 제3 산출부(330)에 의해 처리될 수 있다.
In step S330, the motion size risk ratio (Movement speed ratio) can be calculated using the size of the motion vector and the width of the pedestrian window, and step S330 can be processed by the
도 14의 (c)에 도시된 바와 같이, 보행자가 갑자기 도로로 뛰어들 때 위험 상황이 발생하므로, 옵티컬 플로우의 속력, 즉 크기(mag) 및 카메라(10)와 보행자의 추정 거리(dist)를 이용해 움직임 크기 위험도를 도출할 수 있다. 실제 속력이 같더라도 거리에 따라 움직임 크기는 상이하므로, 도 2 및 도 6의 (a)에 도시된 바와 같이, 보행자 윈도우의 크기로부터 보행자까지의 거리를 도출할 수 있다. 보행자의 움직임 크기와 거리로부터, 옵티컬 플로우 N에서 보행자 i의 측면 방향의 속력(MS(i))은 다음 수학식 5에 의해 계산될 수 있다.14 (c), a dangerous situation occurs when the pedestrian suddenly jumps into the road, so that the speed of the optical flow, that is, the magnitude (mag) and the estimated distance (dist) between the
여기서, 
here,
단계 S400에서는, 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단할 수 있다. 단계 S400은 판단 모듈(400)에 의해 처리될 수 있다.
In step S400, the risk score is calculated using the extracted risk element vector. If the calculated risk score is greater than or equal to the threshold value, it can be determined to be a dangerous pedestrian. Step S400 may be processed by the
도 15는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 15에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S400은, 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계(S410), 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계(S420) 및 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계(S430)를 포함하여 구현될 수 있다.
15 is a detailed flowchart of step S400 in the method of detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. As shown in FIG. 15, step S400 of the method for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment according to an embodiment of the present invention includes estimating a conditional probability by applying a risk element vector to a normal distribution function (S410), calculating a risk score by combining the estimated conditional probabilities (S420), and determining (S430) that the calculated risk score is greater than or equal to a threshold value as a dangerous pedestrian.
도 16은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 보행자를 판단하는 과정을 도시한 도면이다. 이하에서는, 도 15 및 도 16을 참조하여 단계 S400의 세부적인 흐름에 대하여 상세히 설명하도록 한다.
16 is a diagram illustrating a process of determining a dangerous pedestrian in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. Hereinafter, the detailed flow of step S400 will be described in detail with reference to FIGS. 15 and 16. FIG.
단계 S410에서는, 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정할 수 있으며, 단계 S410은 확률 추정부(410)에 의해 처리될 수 있다. 즉, 단계 S300에서 3가지 특징 정보가 추출되면, 도 16의 (b) 및 (c)에 도시된 바와 같이, 앞서 추출된 3가지 특징 정보를 각각 정규분포 함수에 적용하여 보행자 요소별 위험도, 즉 조건부 확률을 측정할 수 있다.
In step S410, the conditional probability can be estimated by applying the extracted risk element vector to the normal distribution function, and step S410 can be processed by the
단계 S420에서는, 추정된 조건부 확률을 조합하여 위험도 스코어를 산출할 수 있으며, 단계 S420은 스코어 산출부(420)에 의해 처리될 수 있다. 단계 S420에서는, 나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 위험도 스코어를 산출할 수 있다.
In step S420, the risk score may be calculated by combining the estimated conditional probabilities, and step S420 may be processed by the
각 위험도의 최대값은 1이고, 최소값은 0이므로, 모든 특징에 대하여 역변환(inverse transformation)을 하고, 정규 분포를 생성할 수 있다(도 16의 (b) 및 (c) 참조). 위험 보행자가 나타날 확률을 계산하기 위하여, 선회 방향이 동일하다는 가정 하에, 각 특징들을 조건부 독립으로 정의한다. 다음 수학식 6과 같이 나이브 베이즈(naBayes)로부터 위험 보행자의 위험도 스코어를 산출할 수 있다.Since the maximum value of each risk is 1 and the minimum value is 0, it is possible to inverse transform all the features and generate a normal distribution (see Figs. 16 (b) and (c)). To calculate the probability of a dangerous pedestrian appearing, each feature is defined as conditional independence, assuming that the direction of turn is the same. It is possible to calculate the risk score of a dangerous pedestrian from naBayes as shown in the following equation (6).
여기서, 언더플로우 문제를 해결하기 위하여 로그 우도(log likelihoods)를 사용하면, 다음 수학식 7과 같은 결과를 도출할 수 있다.Here, if log likelihoods are used to solve the underflow problem, the following Equation 7 can be obtained.
단계 S430에서는, 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단할 수 있으며, 단계 S430은 보행자 판단부(430)에 의해 처리될 수 있다. 즉, 수학식 7에 의해 산출된 값이 임계값 T 이상이면, 위험 보행자가 있는 것으로 판단할 수 있으며(도 16의 (d)), 본 발명에서 임계값은 예를 들어 0.5일 수 있다.
In step S430, if the calculated risk score is greater than or equal to the threshold value, it can be determined to be a dangerous pedestrian, and step S430 can be processed by the
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.
10: 카메라 20: 분석 장치
30: 경보 장치 100: 보행자 검출 모듈
200: 기준선 설정 모듈 300: 벡터 추출 모듈
400: 판단 모듈
S100: 보행자 윈도우를 검출하는 단계
S200: 차량의 진행 방향을 고려하여 기준선을 설정하는 단계
S300: 위험 요소 벡터를 추출하는 단계
S400: 위험 보행자를 판단하는 단계10: camera 20: analyzer
30: alarm device 100: pedestrian detection module
200: Reference line setting module 300: Vector extraction module
400: Judgment module
S100: Detecting a pedestrian window
S200: Setting the reference line in consideration of the traveling direction of the vehicle
S300: Step of extracting the risk vector
S400: Step of judging a dangerous pedestrian
Claims (22)
(1) 상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;
(2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;
(3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및
(4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하되,
상기 단계 (2)는,
(2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및
(2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함하고,
상기 단계 (2-2)는,
(2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및
(2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
A method for determining a dangerous pedestrian using a camera (10) installed in a vehicle,
(1) setting a scaling ratio and a searching area for a thermal image photographed by the camera 10, and detecting a pedestrian window;
(2) setting a reference line in consideration of the traveling direction of the vehicle;
(3) extracting a dangerous element vector using the detected pedestrian window and a reference line; And
(4) calculating a risk score using the extracted risk element vector, and determining that the calculated risk score is a risk pedestrian if the calculated risk score is greater than or equal to a threshold value,
The step (2)
(2-1) setting initial reference lines using boundary lines and vanishing points of the roadway; And
(2-2) changing the reference line in accordance with the traveling direction of the vehicle,
The step (2-2)
(2-2-1) determining a traveling direction of the vehicle using optical flow and maximum likelihood estimation; And
(2-2-2) moving the vanishing point in accordance with the determined vehicle traveling direction, and changing the reference line; and detecting the danger pedestrian for the driver assistance system in the nighttime environment.
(1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및
(1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
2. The method of claim 1, wherein the step (1)
(1-1) setting the scaling ratio and the pedestrian search area, and detecting a candidate pedestrian window; And
(1-2) extracting a Haar-Like feature and an OCS-LBP (Oriented Center Symmetric Local Binary Pattern) feature for the candidate pedestrian window, and applying the feature to a random forest classifier to detect a bounding box of pedestrian And detecting a dangerous pedestrian for a driver assistance system in a nighttime environment.
(1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;
(1-1-2) 상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및
(1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
3. The method according to claim 2, wherein the step (1-1)
(1-1-1) determining a scaling ratio for pedestrian detection by applying adaptive scaling;
(1-1-2) setting a pedestrian search area from an image photographed by the camera 10; And
(1-1-3) detecting a candidate pedestrian window using the scaling ratio in the set pedestrian search area, wherein the candidate pedestrian window is detected in the set pedestrian search area.
(1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;
(1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및
(1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
3. The method according to claim 2, wherein in the step (1-2)
(1-2-1) extracting a Haar-Like feature and an OCS-LBP feature for the candidate pedestrian window;
(1-2-2) applying the extracted Haar-like feature to a level 1 random forest classifier of cascade random forests (CaRF) composed of two levels to perform primary detection; And
(1-2-3) For the candidate pedestrian window detected in the step (1-2-2), the extracted OCS-LBP characteristic is applied to the level 2 random forest classifier to perform the secondary detection, And detecting a window of the at least one obstacle.
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
The method of claim 1,
Wherein the method comprises an overlapping ratio, a movement direction ratio, and a movement speed ratio. ≪ Desc / Clms Page number 19 >
(3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;
(3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및
(3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
8. The method of claim 7, wherein step (3)
(3-1) calculating an overlapping ratio from a degree of overlap between the detected pedestrian window and the set reference line;
(3-2) calculating a movement direction risk using a motion vector extracted from the pedestrian window; And
(3-3) calculating a movement speed ratio using the size of the motion vector and the width of the pedestrian window. The method according to claim 1, Way.
(4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;
(4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및
(4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
The method according to claim 1, wherein in the step (4)
(4-1) estimating a conditional probability by applying the extracted risk element vector to a normal distribution function;
(4-2) calculating a risk score by combining the estimated conditional probabilities; And
(4-3) determining that the pedestrian is a pedestrian if the calculated risk score is greater than or equal to a threshold value.
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
10. The method according to claim 9, wherein in the step (4-2)
Wherein said risk score is calculated using naBayes and log likelihoods. ≪ RTI ID = 0.0 > 8. < / RTI >
차량에 설치되어 열 영상을 획득하는 카메라(10); 및
상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치(20)를 포함하며,
상기 분석 장치(20)는,
상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈(100);
차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈(200);
상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈(300); 및
상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈(400)을 포함하되,
상기 기준선 설정 모듈(200)은,
차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초기준선(initial reference lines)을 기준선 설정부(210); 및
차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부(220)를 포함하고,
상기 기준선 변경부(220)는,
옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부(221); 및
상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부(222)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
A system for determining a dangerous pedestrian,
A camera 10 installed in the vehicle to acquire thermal images; And
And an analysis device (20) for determining a dangerous pedestrian from the obtained thermal image,
The analyzer (20)
A pedestrian detection module 100 for setting a scaling ratio and a searching area for a thermal image photographed by the camera 10 and detecting a pedestrian window;
A reference line setting module 200 for setting a reference line in consideration of the traveling direction of the vehicle;
A vector extraction module (300) for extracting a dangerous element vector using the detected pedestrian window and a reference line; And
And a determination module (400) for calculating a risk score using the extracted risk element vector and determining that the calculated risk score is a risk pedestrian if the calculated risk score is equal to or greater than a threshold value,
The reference line setting module 200,
A reference line setting unit 210 for initial reference lines using boundary lines and a vanishing point of the roadway; And
And a reference line changing unit (220) for changing the reference line according to the traveling direction of the vehicle,
The reference line changing unit 220,
A direction determination unit 221 for determining a traveling direction of the vehicle using optical flow and maximum likelihood estimation; And
And a change processing unit (222) for shifting a vanishing point according to the determined vehicle traveling direction and changing a reference line. The system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment.
상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
12. The apparatus of claim 11, wherein the camera (10)
Characterized in that a thermal image is acquired using far-infrared (FIR), installed on a roof of the vehicle, for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment.
상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부(110); 및
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부(120)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
12. The method of claim 11, wherein the pedestrian detection module (100)
A first detecting unit (110) for setting the scaling ratio and the pedestrian search area and detecting a candidate pedestrian window; And
A second detector 120 for extracting a Haar-Like feature and an OCS-LBP (Oriented Center Symmetric Local Binary Patterns) feature for the candidate pedestrian window and applying the same to a random forest classifier to detect a bounding box of pedestrian, Wherein the at least one pedestrian detection system comprises:
적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부(111);
상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부(112); 및
상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부(113)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
14. The apparatus of claim 13, wherein the first detector (110)
A scaling unit (111) for determining a scaling ratio for detecting a pedestrian by applying adaptive scaling;
An area setting unit (112) for setting a pedestrian search area from an image photographed by the camera (10); And
And a candidate detecting unit (113) for detecting a candidate pedestrian window using the scaling ratio in the set pedestrian search area. The system for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment.
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부(121);
상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부(122); 및
단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부(122)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
14. The apparatus of claim 13, wherein the second detector (120)
A feature extraction unit 121 for extracting a Haar-Like feature and an OCS-LBP feature with respect to the candidate pedestrian window;
A level 1 classifier 122 for performing first-order detection by applying the extracted Haar-like feature to a level 1 random forest classifier of cascade random forests (CaRF) composed of two levels; And
A level 2 classification unit for detecting a final pedestrian window through secondary detection by applying the extracted OCS-LBP feature to the random forest classifier of level 2 for the candidate pedestrian window detected in step (1-2-2) (122) for detecting a dangerous pedestrian for a driver assistance system in a nighttime environment.
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
12. The method of claim 11,
Wherein the system comprises an overlapping ratio, a movement direction ratio, and a movement speed ratio. ≪ Desc / Clms Page number 20 >
상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부(310);
상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부(320); 및
상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부(330)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
19. The apparatus of claim 18, wherein the vector extraction module (300)
A first calculation unit 310 for calculating an overlapping ratio from a degree of overlap between the detected pedestrian window and the set reference line;
A second calculation unit 320 for calculating a movement direction risk using a motion vector extracted from the pedestrian window; And
And a third calculation unit 330 for calculating a movement speed ratio using the size of the motion vector and the width of the pedestrian window. Detection system.
상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부(410);
상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부(420); 및
상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부(430)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
12. The method of claim 11, wherein the determining module (400)
A probability estimator 410 for estimating a conditional probability by applying the extracted risk element vector to a normal distribution function;
A score calculation unit 420 for calculating a risk score by combining the estimated conditional probabilities; And
And a pedestrian judging unit (430) for judging that the calculated risk score is equal to or greater than a threshold value, and judging the pedestrian judging unit (430) as a pedestrian.
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
21. The apparatus of claim 20, wherein the score calculator (420)
Characterized in that the risk score is calculated using naBayes and log likelihoods. ≪ Desc / Clms Page number 20 >
상기 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치(30)를 더 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.12. The method of claim 11,
Further comprising an alarm device (30) for generating an alarm when it is determined that the analyzer (20) is a dangerous pedestrian.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140170078A KR101663574B1 (en) | 2014-12-01 | 2014-12-01 | Method and system for detection of sudden pedestrian crossing for safe driving during night time |
| PCT/KR2015/006034 WO2016088960A1 (en) | 2014-12-01 | 2015-06-15 | Method and system for detecting, in night environment, danger due to presence of pedestrian, for advanced driver assistance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140170078A KR101663574B1 (en) | 2014-12-01 | 2014-12-01 | Method and system for detection of sudden pedestrian crossing for safe driving during night time |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160065703A KR20160065703A (en) | 2016-06-09 |
| KR101663574B1 true KR101663574B1 (en) | 2016-10-07 |
Family
ID=56091883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140170078A KR101663574B1 (en) | 2014-12-01 | 2014-12-01 | Method and system for detection of sudden pedestrian crossing for safe driving during night time |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101663574B1 (en) |
| WO (1) | WO2016088960A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109017799A (en) * | 2018-04-03 | 2018-12-18 | 张锐明 | A kind of new-energy automobile driving behavior prediction technique |
| KR102183963B1 (en) | 2019-05-20 | 2020-11-27 | 인천대학교 산학협력단 | Apparatus for Detecting Pedestrian and Method for Measuting Distance Pedestrian |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023650B (en) * | 2016-07-01 | 2018-11-30 | 南京邮电大学 | Real-time pedestrian's method for early warning based on traffic intersection video and computer parallel processing system |
| KR101947280B1 (en) * | 2017-09-15 | 2019-05-08 | 한국교통대학교산학협력단 | System and method for Pedestrian Protection |
| KR101976952B1 (en) * | 2017-11-01 | 2019-05-09 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | System and method for detecting object using motion vector |
| CN109389073A (en) * | 2018-09-29 | 2019-02-26 | 北京工业大学 | The method and device of detection pedestrian area is determined by vehicle-mounted camera |
| KR102238271B1 (en) * | 2019-06-24 | 2021-04-09 | 계명대학교 산학협력단 | Lightweight multilayer random forests classifier for real-time operation under low-specification and classification method using thereof |
| US20230169777A1 (en) * | 2021-11-30 | 2023-06-01 | Zoox, Inc. | Center-based detection and tracking |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090748A (en) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | Warning apparatus for vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101281272B1 (en) * | 2009-04-13 | 2013-07-03 | 주식회사 만도 | Method and Apparatus for Guarding Pedestrian using Far-Infra-Red Stereo Camera |
| KR101178333B1 (en) * | 2012-02-20 | 2012-08-29 | 주식회사 에스엠이씨 | A method for detecting human using wavelet-based cs-lbp and a cascade of random forests |
| KR101428236B1 (en) * | 2012-12-03 | 2014-08-07 | 현대자동차주식회사 | vehicle housekeeping log system and method thereof |
-
2014
- 2014-12-01 KR KR1020140170078A patent/KR101663574B1/en active IP Right Grant
-
2015
- 2015-06-15 WO PCT/KR2015/006034 patent/WO2016088960A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008090748A (en) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | Warning apparatus for vehicle |
Non-Patent Citations (1)
| Title |
|---|
| 정미라 외, '차량용 열영상 카메라를 이용한 위험 보행자 검출', 2014년 한국컴퓨터종합학술대회 논문집 (2014년6월) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109017799A (en) * | 2018-04-03 | 2018-12-18 | 张锐明 | A kind of new-energy automobile driving behavior prediction technique |
| KR102183963B1 (en) | 2019-05-20 | 2020-11-27 | 인천대학교 산학협력단 | Apparatus for Detecting Pedestrian and Method for Measuting Distance Pedestrian |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016088960A1 (en) | 2016-06-09 |
| KR20160065703A (en) | 2016-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101663574B1 (en) | Method and system for detection of sudden pedestrian crossing for safe driving during night time | |
| Narote et al. | A review of recent advances in lane detection and departure warning system | |
| KR102441085B1 (en) | Apparatus and method for providing guidance information using crosswalk recognition result | |
| CN106652465B (en) | Method and system for identifying abnormal driving behaviors on road | |
| KR101864066B1 (en) | Lane marking detection device, Lane departure determination device, Lane marking detection method and Lane departure determination method | |
| Kuo et al. | Vision-based vehicle detection for a driver assistance system | |
| US9245188B2 (en) | Lane detection system and method | |
| CN111016929A (en) | Method and device for warning about the danger of a lane change of a vehicle | |
| EP2741234B1 (en) | Object localization using vertical symmetry | |
| Liu et al. | ROI perspective transform based road marking detection and recognition | |
| Gaikwad et al. | An improved lane departure method for advanced driver assistance system | |
| JP5593217B2 (en) | Vehicle external recognition device and vehicle system using the same | |
| KR101568745B1 (en) | Vehicle assistant apparatus and method based on infrared images | |
| KR20140104516A (en) | Lane detection method and apparatus | |
| Chen et al. | Salient video cube guided nighttime vehicle braking event detection | |
| Guo et al. | CADAS: A multimodal advanced driver assistance system for normal urban streets based on road context understanding | |
| Álvarez et al. | Perception advances in outdoor vehicle detection for automatic cruise control | |
| Deng et al. | An integrated forward collision warning system based on monocular vision | |
| Irshad et al. | Real-time lane departure warning system on a lower resource platform | |
| Hernández et al. | Laser based collision warning system for high conflict vehicle-pedestrian zones | |
| Kalaki et al. | Current and adjacent lanes detection for an autonomous vehicle to facilitate obstacle avoidance using a monocular camera | |
| Hariyono et al. | Estimation of collision risk for improving driver's safety | |
| Kim et al. | Real Time multi-lane detection using relevant lines based on line labeling method | |
| Chen et al. | A forward collision avoidance system adopting multi-feature vehicle detection | |
| KR101595317B1 (en) | Precise positioning of the vehicle for detecting a road surface display method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20190930 Year of fee payment: 4 |