KR101958868B1 - System for predicting pedestrian intention for vehicle in night time and method thereof - Google Patents
System for predicting pedestrian intention for vehicle in night time and method thereof Download PDFInfo
- Publication number
- KR101958868B1 KR101958868B1 KR1020170024371A KR20170024371A KR101958868B1 KR 101958868 B1 KR101958868 B1 KR 101958868B1 KR 1020170024371 A KR1020170024371 A KR 1020170024371A KR 20170024371 A KR20170024371 A KR 20170024371A KR 101958868 B1 KR101958868 B1 KR 101958868B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- membership function
- fuzzy membership
- road
- sidewalk
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000001931 thermography Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 23
- 230000007704 transition Effects 0.000 description 10
- 238000010926 purge Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 야간 주행 자동차를 위한 보행자 의도 예측 시스템에 관한 것으로서, 보다 구체적으로는 야간 주행 자동차를 위한 보행자 의도 예측 시스템으로서, 도로의 이미지를 캡처하는 카메라 모듈; 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈; 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈; 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈; 상기 제1 퍼지 소속 함수 생성 모듈, 상기 제2 퍼지 소속 함수 생성 모듈, 및 상기 제 3 퍼지 생성 모듈로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈; 및 상기 소속 값 생성 모듈에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 야간 주행 자동차를 위한 보행자 의도 예측 방법에 관한 것으로서, 보다 구체적으로는 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법으로서, (1) 카메라 모듈이 도로의 이미지를 캡처하는 단계; (2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계; (3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계; (4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계; (5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계; 및 (6) 상기 (5) 단계에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계를 포함하는 것을 그 단계상의 특징으로 한다.
본 발명에서 제안하고 있는 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 따르면, 카메라 모듈을 통해 보행자와 도로의 연석(curb) 사이의 거리, 보행자의 이동 속도, 보행자의 머리 방향 등의 특징을 감지하고 이러한 특징들을 통합함으로써, 보행자가 도로를 건너고자 하는 의도가 있는지를 사전에 예측하여 운전자에게 알려줄 수 있다.The present invention relates to a pedestrian intention prediction system for a night driving vehicle, and more particularly, to a pedestrian intention prediction system for a night driving vehicle, including a camera module for capturing an image of a road; A first fuzzy membership function generation module for calculating a distance between a pedestrian and a curb of the road from a road image captured through the camera module to generate a first fuzzy membership function; A second fuzzy membership function generation module for calculating a moving speed of the pedestrian from a road image captured through the camera module to generate a second fuzzy membership function; A third fuzzy membership function generation module for generating a third fuzzy membership function by determining the head direction of the pedestrian from the road image captured through the camera module; A membership value is generated using the first to third Fuzzy membership functions generated from the first fuzzy membership function generation module, the second fuzzy membership function generation module, and the third fuzzy membership module Belonging value generation module; And a pedestrian intention prediction module for predicting the intention of the pedestrian using the respective belonging values generated by the belonging value generation module.
More particularly, the present invention relates to a pedestrian intention prediction method using a pedestrian intention prediction system for a night driving vehicle. The method includes (1) capturing an image of a road, ; (2) generating a first fuzzy membership function by calculating a distance between a pedestrian and a curb of the road from the road image captured in step (1); (3) generating a second fuzzy membership function by calculating a moving speed of the pedestrian from the road image captured in step (1); (4) generating a third fuzzy membership function by determining the head direction of the pedestrian from the road image captured in step (1); (5) a membership value generation step of generating respective membership values using the fuzzy membership functions generated in the steps (2) to (4); And (6) predicting the intention of the pedestrian using the respective belonging values generated in the step (5).
According to the pedestrian intention prediction system and the method using the pedestrian intention prediction system proposed in the present invention, it is possible to provide a pedestrian intention prediction system and a method using the pedestrian intention prediction system, And by integrating these features, the driver can be informed in advance of the intention of the pedestrian to cross the road.
Description
본 발명은 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 관한 것으로서, 특히 보행자의 의도를 예측하여 보행자와의 충돌 사고를 사전에 방지할 수 있는 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 관한 것이다.The present invention relates to a pedestrian intention prediction system for a night driving vehicle and a method of using the same, and more particularly, to a pedestrian intention prediction system and a pedestrian intention prediction system for a night driving vehicle that can prevent a collision with a pedestrian in advance by predicting a pedestrian's intention And a method of using the same.
일반적으로 운전자 보조 시스템(Advanced Driver Assistant System, ADAS)은 시각적, 청각적 감지 센서 등을 이용하여 보행자와의 충돌을 감지하고 운전자에게 위험을 경고하는 시스템으로서, 운전자의 안전한 운전을 도와준다.
In general, ADAS (Advanced Driver Assistant System) is a system that detects collision with a pedestrian using a visual and auditory sensor, and warns the driver of danger.
이러한 운전자 보조 시스템(ADAS)의 종류로는 자동차 자동 항법 장치(In-vehicle Navigation System), 차선 유지 보조 시스템(Lane Departure Warning System or Lane Keeping Assist System), 보행자 보호 시스템(Pedestrian Protection System) 등이 있다.
The ADAS includes an in-vehicle navigation system, a lane departure warning system or a lane keeping assist system, and a pedestrian protection system. .
특히, 최근에는 운전자 보조 시스템 중 카메라 모듈을 기반으로 하는 보행자 보호 시스템이 개발되고 있다. 이러한 보행자 보호 시스템은 카메라 모듈을 이용하여 보행자를 인식함으로써 운전자에게 사전에 충돌 위험을 경고할 수 있다.
Recently, a pedestrian protection system based on a camera module among driver assistance systems has been developed. Such a pedestrian protection system can warn the driver of the risk of collision in advance by recognizing the pedestrian using the camera module.
그러나 이러한 시스템들은 야간 주행에서 보행자를 정확하게 파악하기 어렵다는 문제점이 있었다. 또한, 운전자의 관점에서만 보행자 탐지에 집중하고 있어 단순히 도보를 걷는 보행자가 아닌, 실제 도로를 건너는 보행자를 구분할 수 없었다. 따라서 도로를 건너거나, 또는 도로를 건널 예정인 보행자와의 충돌 위험 여부를 사전에 확인할 수 없으므로 실질적인 충돌 사고 방지에는 한계가 있었다.
However, these systems have a problem in that it is difficult to accurately grasp pedestrians at nighttime driving. In addition, we focused on detecting pedestrians only from the driver's point of view, so we could not distinguish pedestrians who walked on the road, rather than simply walking on foot. Therefore, there is a limit to the prevention of actual collision accident because it is not possible to check beforehand whether there is a risk of collision with a pedestrian who is going to cross the road or crossing the road.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1511858호(‘보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법’, 2015.04.13. 공개) 등이 개시된 바 있다.As a prior art related to the present invention, Patent No. 10-1511858 ('A driving assistance system recognizing a pedestrian or a motorcycle and its control method', published on April 13, 2013) has been disclosed.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 카메라 모듈을 통해 보행자와 도로의 연석(curb) 사이의 거리, 보행자의 이동 속도 및 보행자의 머리 방향 등의 특징을 감지하고 이러한 특징들을 통합함으로써, 보행자가 도로를 건너고자 하는 의도가 있는지를 사전에 예측하여 운전자에게 알려줄 수 있는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods, and it has been proposed to provide a camera module which is capable of detecting characteristics such as a distance between a curb of a pedestrian and a road, a moving speed of a pedestrian, It is an object of the present invention to provide a pedestrian intention predicting system for a night driving vehicle and a method of using the pedestrian intention predicting system for anticipating whether a pedestrian intends to cross a road by informing a driver by integrating these features .
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템은,According to an aspect of the present invention, there is provided a pedestrian intention prediction system for a night driving vehicle,
야간 주행 자동차를 위한 보행자 의도 예측 시스템으로서,As a pedestrian intention prediction system for a night driving vehicle,
도로의 이미지를 캡처하는 카메라 모듈;A camera module for capturing an image of the road;
상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈;A first fuzzy membership function generation module for calculating a distance between a pedestrian and a curb of the road from a road image captured through the camera module to generate a first fuzzy membership function;
상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈;A second fuzzy membership function generation module for calculating a moving speed of the pedestrian from a road image captured through the camera module to generate a second fuzzy membership function;
상기 카메라 모듈을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈;A third fuzzy membership function generation module for generating a third fuzzy membership function by determining the head direction of the pedestrian from the road image captured through the camera module;
상기 제1 퍼지 소속 함수 생성 모듈, 상기 제2 퍼지 소속 함수 생성 모듈, 및 상기 제 3 퍼지 생성 모듈로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈; 및A membership value is generated using the first to third Fuzzy membership functions generated from the first fuzzy membership function generation module, the second fuzzy membership function generation module, and the third fuzzy membership module Belonging value generation module; And
상기 소속 값 생성 모듈에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
And a pedestrian intention prediction module for predicting the intention of the pedestrian using the respective belonging values generated by the belonging value generation module.
바람직하게는, 상기 소속 값 생성 모듈은,Preferably, the belonging value generation module includes:
상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성할 수 있다.
The respective values of the above belong to the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- Can be generated.
더욱 바람직하게는, 상기 보행자 의도 예측 모듈은,More preferably, the pedestrian intention prediction module comprises:
상기 소속 값 생성 모듈에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측할 수 있다.
The intention of the pedestrian can be predicted to be one of Stop or Cross using the respective belonging values generated by the belonging value generation module.
더욱 바람직하게는, 상기 제1 퍼지 소속 함수 생성 모듈은,More preferably, the first fuzzy membership function generation module includes:
상기 카메라 모듈을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 IPM부;An IPM unit for converting a road image captured through the camera module into an IPM (Inverse Perspective Mapping) image from which the perspective is removed;
상기 IPM부에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 차선 탐지부;A lane detecting unit detecting an edge of a curb of the road from the IPM image converted by the IPM unit and detecting a lane;
상기 차선 탐지부에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 거리 계산부; 및A distance calculating unit for calculating a distance between the pedestrian and a curb of the road using the lane detection result detected by the lane detecting unit; And
상기 거리 계산부에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 제1 퍼지 소속 함수 생성부를 포함할 수 있다.
Walking-SideWalk (W-SW), Walking-Crossing (W-SW), Walking-Side Walk (W-SW) A first fuzzy membership function generating unit for generating a first fuzzy membership function for generating a probability for each of the four states of Cro, Cro, and Running-Crossing (R-Cro).
더욱 바람직하게는, 상기 제1 퍼지 소속 함수 생성부는,More preferably, the first fuzzy membership function generation unit includes:
상기 IPM 이미지를 정규화하고, 상기 정규화된 IPM 이미지를 왼쪽 보도, 도로 및 오른쪽 보도로 분할하여 표준 정규 가우시안 분포(standard normal Gaussian distribution)를 얻고, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성할 수 있다.
The IPM image is normalized and the normalized IPM image is divided into a left sidewalk, a road and a right sidewalk to obtain a standard normal Gaussian distribution, and a Standing-SideWalk (S-SW), a Walking-SideWalk The first fuzzy membership function for each of the four states of -WS, W-Cro, and R-Cro can be generated using a Gaussian function.
더욱 바람직하게는, 상기 제2 퍼지 소속 함수 생성 모듈은,More preferably, the second fuzzy membership function generation module includes:
상기 카메라 모듈을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 보행자 모션 분리부;A pedestrian motion separator for separating only the motion of the pedestrian from an optical flow generated according to advancement of the automobile in a road image captured through the camera module;
상기 모션 분리부(310)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 보행자 속도 보정부;A pedestrian speed correcting unit for correcting the speed of the optical flow according to the distance between the pedestrian and the automobile using the motion of the pedestrian separated by the
상기 속도 보정부의 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 보행자 속도 계산부; 및A pedestrian speed calculation unit for calculating the lateral speed of the pedestrian using the speed of the corrected optical flow of the speed correction unit; And
상기 보행자 속도 계산부로부터 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성부를 포함할 수 있다.
(S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W-Cro), and Running (S-SW) using the lateral speed of the pedestrian calculated from the pedestrian speed calculation unit. And a second fuzzy membership function generation unit for generating a second fuzzy membership function for generating a probability for each of the four states of the crossing (R-Cro).
더욱 바람직하게는, 상기 제2 퍼지 소속 함수 생성부는,More preferably, the second fuzzy membership function generation unit may include:
Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성할 수 있다.
The second fuzzy membership function for each of the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- (Gaussian Function).
더욱 바람직하게는, 상기 제3 퍼지 소속 함수 생성 모듈은,More preferably, the third fuzzy membership function generation module comprises:
상기 카메라 모듈을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 보행자 머리 감지부;A pedestrian head sensing unit for sensing the head of the pedestrian from a road image captured through the camera module;
상기 보행자 머리 감지부로부터 감지된 머리 감지 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 보행자 머리 방향 판단부; 및A pedestrian head direction judging unit for judging the head direction of the pedestrian using the head sensed result from the pedestrian head sensing unit; And
상기 보행자 머리 방향 판단부에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성부를 포함할 수 있다.
(S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W-Cro), and Walking-Side Direction And a third fuzzy membership function generation unit for generating a third fuzzy membership function for generating a probability for each of four states of Running-Crossing (R-Cro).
더욱 바람직하게는, 상기 보행자 머리 감지부는,More preferably, the pedestrian head sensing unit comprises:
상기 보행자의 머리를 감지하기 위해 OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용할 수 있다.
A Boosted Random Forest (BRF) classifier in which an OCS-LBP (Oriented Center Symmetric-Local Binary Patterns) function is pre-learned can be used to detect the head of the pedestrian.
더욱 바람직하게는, 상기 보행자 머리 방향 판단부는,More preferably, the pedestrian head direction judging section judges,
상기 보행자 머리 감지부로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용할 수 있다.
A Boosted Random Forest (BRF) classifier in which HOG (Histogram of Oriented Gradient) features extracted from the head area of the pedestrian sensed by the pedestrian head sensing unit are pre-learned can be used.
더욱 바람직하게는, 상기 제3 퍼지 소속 함수 생성부는,More preferably, the third fuzzy membership function generation unit includes:
Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성할 수 있다.
The third fuzzy membership function for each of the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- (Gaussian Function).
더욱 바람직하게는, 상기 보행자 의도 예측 모듈은,More preferably, the pedestrian intention prediction module comprises:
상기 소속 값 생성 모듈에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 결합 소속 값 생성부; 및Calculates a joint membership value at a specific time t and a time point t-1 using each belonging value generated in the membership value generation module, and calculates a joint membership value at a time t-1 and a time t A joint member value generating unit for generating a joint member value updated by the joint member value generating unit; And
상기 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 예측부를 포함할 수 있다.
And a predictor for predicting the intention of the pedestrian to one of a stop state and a cross state using the updated joint membership value.
바람직하게는, 상기 카메라 모듈은,Preferably, the camera module includes:
열영상 카메라를 사용할 수 있다.
Thermal imaging cameras can be used.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법은,According to an aspect of the present invention, there is provided a pedestrian intention prediction method using a pedestrian's intention prediction system for a night driving vehicle,
야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법으로서,A pedestrian intention prediction method using a pedestrian intention prediction system for a night driving vehicle,
(1) 카메라 모듈이 도로의 이미지를 캡처하는 단계;(1) capturing an image of the road by the camera module;
(2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계;(2) generating a first fuzzy membership function by calculating a distance between a pedestrian and a curb of the road from the road image captured in step (1);
(3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계;(3) generating a second fuzzy membership function by calculating a moving speed of the pedestrian from the road image captured in step (1);
(4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계;(4) generating a third fuzzy membership function by determining the head direction of the pedestrian from the road image captured in step (1);
(5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 단계; 및(5) generating respective belonging values using the fuzzy membership functions generated in the steps (2) to (4); And
(6) 상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계를 포함하는 것을 그 특징으로 한다.
(6) predicting the intention of the pedestrian using the respective belonging values generated in the step (5).
바람직하게는, 상기 단계 (5)에서는,Preferably, in the step (5)
상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성할 수 있다.
The respective values of the above belong to the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- Can be generated.
더욱 바람직하게는, 상기 단계 (6)에서는,More preferably, in the step (6)
상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측할 수 있다.
The intention of the pedestrian can be predicted as either Stop or Cross using the respective belonging values generated in the step (5).
더욱 바람직하게는, 상기 단계 (2)에서는,More preferably, in the step (2)
(2-1) 상기 카메라 모듈을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계;(2-1) converting the road image captured through the camera module into an IPM (Inverse Perspective Mapping) image from which the perspective is removed;
(2-2) 상기 단계 (2-1)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계;(2-2) detecting an edge of a curb of the road from the IPM image converted in the step (2-1) to detect a lane;
(2-3) 상기 단계 (2-2)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 단계; 및(2-3) calculating a distance between the pedestrian and the curb of the road using the detected lane detection result in the step (2-2); And
(2-4) 상기 단계 (2-3)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계를 포함할 수 있다.
(2-4) Using the distance between the pedestrian and the curb of the road calculated in the step (2-3), the intention of the pedestrian can be expressed as Standing-SideWalk (S-SW), Walking-SideWalk ), Walking-Crossing (W-Cro), and Running-Crossing (R-Cro).
더욱 바람직하게는, 상기 단계 (3)에서는,More preferably, in the step (3)
(3-1) 상기 카메라 모듈을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 단계;(3-1) separating only the motion of the pedestrian from an optical flow generated in accordance with advancement of the automobile in a road image captured through the camera module;
(3-2) 상기 단계 (3-1)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 단계; 및(3-2) correcting the speed of the optical flow according to the distance between the pedestrian and the automobile using the motion of the pedestrian separated in the step (3-1); And
(3-3) 상기 단계 (3-2)에서 계산된 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 단계; 및(3-3) calculating the lateral velocity of the pedestrian using the velocity of the corrected optical flow calculated in the step (3-2); And
(3-4) 상기 단계 (3-3)에서 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계를 포함할 수 있다.
(3-4) By using the lateral speed of the pedestrian calculated in the step (3-3), the intention of the pedestrian can be expressed as Standing-SideWalk (S-SW), Walking-SideWalk (W- (W-Cro), and Running-Crossing (R-Cro), respectively.
더욱 바람직하게는, 상기 단계 (4)에서는,More preferably, in the step (4)
(4-1) 상기 카메라 모듈을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 단계;(4-1) detecting the head of the pedestrian from the road image captured through the camera module;
(4-2) 상기 단계 (4-1)로부터 감지된 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 단계; 및(4-2) determining the head direction of the pedestrian using the result detected in the step (4-1); And
(4-3) 상기 단계 (4-2)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계를 포함할 수 있다.
(4-3) Using the head direction of the pedestrian judged in the step (4-2), the intention of the pedestrian can be expressed as Standing-SideWalk (S-SW), Walking-SideWalk (W- (W-Cro) and Running-Crossing (R-Cro) for each of the four states.
더욱 바람직하게는, 상기 단계 (6)에서는,More preferably, in the step (6)
(6-1) 상기 소속 값 생성 모듈에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 보정된 결합 소속 값을 생성하는 단계; 및(6-1) calculating a joint membership value at a specific time t and a time t-1 using each belonging value generated in the membership value generation module, and calculating a joint membership value at a time t-1 and a time t Generating a membership value corrected by an operation of a membership value; And
(6-2) 상기 (6-1) 단계에서 계산된 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계를 포함할 수 있다.(6-2) The step of predicting the intention of the pedestrian to one of Stop or Cross using the updated joint membership value calculated in the step (6-1).
본 발명에서 제안하고 있는 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법에 따르면, 카메라 모듈을 통해 보행자와 도로의 연석(curb) 사이의 거리, 보행자의 이동 속도 및 보행자의 머리 방향 등의 특징을 감지하고 이러한 특징들을 통합함으로써, 보행자가 도로를 건너고자 하는 의도가 있는지를 사전에 예측하여 운전자에게 알려줄 수 있다.According to the pedestrian intention prediction system and the method using the pedestrian intention prediction system proposed in the present invention, it is possible to provide a pedestrian intention prediction system and a method using the pedestrian intention prediction system, And by integrating these features, the driver can be informed in advance of the intention of the pedestrian to cross the road.
도 1은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제1 퍼지 소속 함수 생성 모듈의 블록도.
도 3은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제1 퍼지 소속 함수 생성 모듈의 참고도.
도 4는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제1 퍼지 소속 함수의 참고도.
도 5는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제2 퍼지 소속 함수 생성 모듈의 블록도.
도 6은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제2 퍼지 소속 함수 생성 모듈의 참고도.
도 7은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제2 퍼지 소속 함수의 참고도.
도 8은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제3 퍼지 소속 함수 생성 모듈의 블록도.
도 9는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제3 퍼지 소속 함수 생성 모듈의 참고도.
도 10은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 제3 퍼지 소속 함수의 참고도.
도 11은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 보행자 의도 예측 모듈의 블록도.
도 12는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 보행자 의도 예측 모듈이 사용하는 DFA 아키텍처의 참고도.
도 13은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템의 참고도.
도 14는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 순서도.
도 15는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (2)에 대한 순서도.
도 16은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (3)에 대한 순서도.
도 17은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (4)에 대한 순서도.
도 18은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 (6)에 대한 순서도.1 is a block diagram of a pedestrian intent prediction system for a night driving vehicle in accordance with an embodiment of the present invention.
2 is a block diagram of a first fuzzy membership function generation module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
3 is a reference diagram of a first fuzzy membership function generation module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
4 is a reference diagram of a first fuzzy membership function of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
5 is a block diagram of a second fuzzy membership function generation module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
6 is a reference diagram of a second fuzzy membership function generation module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
7 is a reference diagram of a second fuzzy membership function of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
8 is a block diagram of a third fuzzy membership function generation module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
9 is a reference diagram of a third fuzzy membership function generation module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
10 is a reference diagram of a third fuzzy membership function of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
11 is a block diagram of a pedestrian intention prediction module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
12 is a reference diagram of a DFA architecture used by a pedestrian intention prediction module of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention;
13 is a reference diagram of a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
14 is a flowchart of a method using a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
15 is a flowchart of step (2) of a method using a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention;
16 is a flowchart of step (3) of a method using a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention;
17 is a flowchart of step (4) of a method using a pedestrian intention prediction system for a night driving vehicle according to an embodiment of the present invention.
18 is a flowchart of step (6) of a method using a pedestrian intention prediction system for a night driving vehicle in accordance with an embodiment of the present invention.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)은 카메라 모듈(100), 제1 퍼지 소속 함수 생성 모듈(200), 제2 퍼지 소속 함수 생성 모듈(300), 제3 퍼지 소속 함수 생성 모듈(400), 소속 값 생성 모듈(500) 및 보행자 의도 예측 모듈(600)을 포함할 수 있다.
1 is a diagram illustrating a configuration of a pedestrian
이하에서는, 도 1을 참조하여, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 구성하는 각 구성요소에 대해서 상세히 설명한다.
Hereinafter, with reference to FIG. 1, the components constituting the pedestrian
카메라 모듈(100)은, 카메라를 통해 자동차가 주행하는 도로의 이미지를 캡처하여 도로의 이미지를 생성한다. 실시예에 따라서는, 카메라 모듈(100)의 카메라는 자동차의 천장(roof)에 마운트 될 수 있다. 특히, 카메라 모듈(100)은, 바람직하게는 열영상 카메라를 사용할 수 있으나, 이에 한정되는 것은 아니다.
The
제1 퍼지 소속 함수 생성 모듈(200)은, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자와 도로의 연석(curb) 사이의 거리를 계산한다. 제1 퍼지 소속 함수 생성 모듈(200)은, 이를 이용하여 제1 퍼지 소속 함수를 생성한다.
The first fuzzy membership
제2 퍼지 소속 함수 생성 모듈(300)은, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 이동 속도를 계산한다. 제2 퍼지 소속 함수 생성 모듈(300)은, 이를 이용하여 제2 퍼지 소속 함수를 생성한다.
The second fuzzy membership
제3 퍼지 소속 함수 생성 모듈(400)은, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 머리 방향을 판단한다. 제3 퍼지 소속 함수 생성 모듈(400)은, 이를 이용하여 제3 퍼지 소속 함수를 생성한다.
The third fuzzy membership
소속 값 생성 모듈(500)은, 제1 내지 제3 퍼지 소속 함수 생성 모듈(200, 300, 400)로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값을 생성한다. 여기서, 각각의 소속 값은 각각의 퍼지 소속 함수를 이용하여 보행자의 4가지 상태, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)에 대한 확률을 포함한다.
The membership
보행자 의도 예측 모듈(600)은, 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여, 보행자의 의도를 예측한다. 여기서, 보행자의 의도는 Stop 또는 Cross 중 어느 하나의 상태에 해당할 수 있다.
The pedestrian's
도 2는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제1 퍼지 소속 함수 생성 모듈(200)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제1 퍼지 소속 함수 생성 모듈(200)은, IPM부(210), 차선 탐지부(220), 거리 계산부(230) 및 제1 퍼지 소속 함수 생성부(240)를 포함할 수 있다.
FIG. 2 is a diagram illustrating a configuration of a first fuzzy membership
제1 퍼지 소속 함수 생성 모듈(200)은, 보행자와 도로의 연석 사이의 거리를 이용하여 제1 퍼지 소속 함수를 생성한다. 보행자는 도로를 건너기 위해 연석을 통과해야 하므로, 보행자는 도로를 지나가는 자동차를 확인하기 위해 연석 부근에 머무르는 경향이 있다. 다시 말해서, 보행자가 연석에 가까울수록 도로를 건널 확률이 증가한다. 따라서 보행자와 연석 사이의 거리(Distance between a Pedestrian and Curb, DPC)를 계산하는 것은 보행자의 의도를 예측하는데 유용한 단서가 된다.
The first fuzzy membership
IPM부(210)는, 도 3에 도시된 바와 같이 카메라 모듈(100)을 통해 캡처된 도로 이미지(a)를 원근감이 제거된 IPM 이미지(b)로 변환한다. 이는 일반적으로 카메라는 자동차의 천장(roof)에 마운트 되므로, 도로 이미지상의 DPC는 실제 DPC와 차이가 있기 때문이다. IPM부(210)는, 도로 이미지를 직교 이미지(orthogonal image)로 컨버팅하여 일관된 DPC를 제공한다. 그런 다음, 컨버팅된 결과를 새로운 위치로 다시 매핑하고 역 2D 평면에 IPM 이미지를 생성한다.
The
차선 탐지부(220)는, IPM 이미지로부터 도로의 연석의 가장자리를 검출하여 차선을 탐지한다. 차선 탐지부(220)는, 도 3의 (c)에 도시된 바와 같이, IPM부(210)에 의해 원근 왜곡이 제거된 후에 연석의 가장자리를 검출한다. 열화상 이미지에서 연석은 도로 및 보도와 구별 가능한 강도를 가지므로 도로 이미지에서 쉽게 추출할 수 있다. 차선 탐지부(220)는, “M. Aly, Real time detection of lane markers in urban streets, in: Proc. IEEE Intelligent Vehicles Symposium (IVS), 2008, pp. 712”에 제시된 차선 탐지 알고리즘을 수정함으로써 차선을 탐지하나, 이러한 알고리즘에 한정되는 것은 아니다.
The
거리 계산부(230)는, 차선 탐지부(220)에서 탐지된 차선 탐지 결과를 이용하여, 보행자와 도로의 연석 사이의 거리(DPC)를 계산한다.
The
제1 퍼지 소속 함수 생성부(240)는, 거리 계산부(230)에서 계산된 보행자와 도로의 연석 사이의 거리(DPC)를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성한다.
The first fuzzy membership
제1 퍼지 소속 함수 생성부(240)는, IPM 이미지를 정규화하고, 검출된 연석 정보를 사용하여 정규화된 IPM 이미지를 3개의 부분, 즉, 왼쪽 보도, 도로 및 오른쪽 보도로 분할한다. DPC에 대한 퍼지 소속 함수는 통계적 분석을 사용하여 생성할 수 없기 때문에 제1 퍼지 소속 함수 생성부(240)는, 세 구역을 균일하게 정규화하고, 표준 정규 가우시안 분포(Standard normal Gaussian distribution)를 얻는다. 이때, 세 가지 가우시안 분포는 보행자가 연석에서 멀리 떨어져있을 때 도로를 건너는 확률이 낮고, 보행자가 도로의 연석이나 중심에 가까울 때 도로를 건너는 확률이 높다는 사실에 기반한다.
The first fuzzy
제1 퍼지 소속 함수 생성부(240)는, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성한다. 이때, Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW)에 대한 제1 퍼지 소속 함수(PDPC)는 보행자와 연석으로부터의 거리(dx1)에 따라 다음의 수학식 1로 표현된다.The first fuzzy
수학식 1에서, σdx1은 표준편차에 해당한다.
In Equation (1) ,? Dx1 corresponds to the standard deviation.
또한, 제1 퍼지 소속 함수(PDPC)는 도로를 건너는 보행자와 도로의 중심으로부터의 거리(dx2)에 따라 다음의 수학식 2로 표현된다.Further, the first purge belonging function P DPC is represented by the following equation ( 2 ) according to the distance (dx 2 ) from the center of the road to the pedestrian crossing the road.
수학식 2에서, σdx2는 표준편차에 해당한다.
In Equation (2) ,? Dx2 corresponds to the standard deviation.
이때, 제1 퍼지 소속 함수는, 도 4에 도시된 바와 같이, Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW) 상태에 대한 확률이 보행자가 도로의 연석에서 가까워질수록 감소하고, 멀어질수록 증가하며, Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro) 상태에 대한 확률이 보행자가 도로의 중심에서 가까워질수록 증가하고, 멀어질수록 감소한다.
4, the probability of the Standing-SideWalk (S-SW) and Walking-SideWalk (W-SW) states decreases as the pedestrian approaches the curb of the road , And the probability of walking-crossing (W-Cro) and running-crossing (R-Cro) increases with distance from the center of the road, and decreases with distance.
도 5는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제2 퍼지 소속 함수 생성 모듈(300)의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제2 퍼지 소속 함수 생성 모듈(300)은 모션 분리부(310), 보행자 속도 보정부(320), 보행자 속도 계산부(330) 및 제2 퍼지 소속 함수 생성부(340)를 포함할 수 있다.
5 is a diagram illustrating a configuration of a second fuzzy membership
제2 퍼지 소속 함수 생성 모듈(300)은, 보행자의 측방향 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성한다. 일반적으로 보행자는 도로를 건너려고 할 때 이동 속도를 유지하거나 갑자기 가속하는 경향이 있고, 이와 대조적으로 연석에서 멈추는 보행자는 연석에 접근할 때 이동 속도를 줄이려고 시도하므로, 보행자의 측방향 이동 속도(Lateral Moving Speed of a pedestrian, LMS)는 다음 행동을 예측하는데 중요한 단서를 제공한다. 보행자의 측방향 이동 속도는 보행자 자신의 의도에 달려 있다는 기본 지식으로부터, 보행자의 다음 동작을 속도 패턴을 분석하여 예측할 수 있다. 보행자의 측방향 이동 속도는 Lucas-Kanade의 옵티컬 플로우(Optical Flow) 알고리즘이 사용되나, 이에 한정되는 것은 아니다.
The second fuzzy membership
모션 분리부(310)는, 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 자동차의 전진에 따라 발생하는 옵티컬 플로우로부터 보행자의 모션만을 분리한다. 도 6의 (a)에 도시된 바와 같이, 옵티컬 플로우는 보행자의 움직임뿐만 아니라 차량의 움직임에 의해 발생하는 에고-모션(ego-motion)으로부터 추출된다. 따라서 모션 분리부(310)는, 도 6의 (b)에 도시된 바와 같이 보행자의 모션만을 분리하기 위해 에고-모션을 보상하여 에고-모션과 실제 보행자의 모션을 분리한다. 모션 분리부(310)는, 에고-모션을 제거하고 보행자의 모션만을 분리하기 위해 “J. Hedborg, B. Johansson, Real Time Camera Ego-Motion Compensation and Lens Undistortion on GPU, Linkoping Univ, 2007.” 알고리즘을 적용하나, 이에 한정되는 것은 아니다.
The
보행자 속도 보정부(320)는, 보행자와 차량 사이의 거리에 따라 옵티컬 플로우의 속도를 보정한다. 보행자 속도 보정부(320)는, 보행자가 도로를 건너가려고 하는지 여부를 예측하기 위해서는 측방향(lateral) 움직임이 길이방향(longitudinal) 움직임보다 유용하기 때문에, 보행자와 차량 사이의 거리에 따라 옵티컬 플로우의 속도를 보정한다.
The pedestrian
보행자 속도 계산부(330)는, 속도 보정부의 보정된 옵티컬 플로우 속도를 이용하여 보행자의 측방향 이동 속도(LMS)를 계산한다. 한편, 이동 속도는 거리에 따라 다르므로 보행자 속도 계산부(330)는, 실제 속도가 같더라도 보행자 상자의 가장 낮은 y 위치에서 파생된 보행자 거리를 계산한다. 이때, 보행자 i의 측방향 이동 속도(LSP(i))는 다음의 수학식 3에 의해 계산된다.The pedestrian
수학식 3에서, dist(i)는 보행자 i와 자동차간의 거리이고, mag()는 측방향 옵티컬 플로우의 속도, vx()는 옵티컬 플로우의 측방향 벡터이다. r은 상수 요소이고, N은 트래커의 옵티컬 플로우의 수이다.
In Equation (3), dist (i) is the distance between the pedestrian i and the vehicle, mag () is the velocity of the lateral optical flow, and vx () is the lateral vector of the optical flow. r is a constant element, and N is the number of optical flows of the tracker.
제2 퍼지 소속 함수 생성부(340)는 보행자 속도 계산부(330)로부터 계산된 보행자의 측방향 이동 속도를 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성한다. 도 7에 도시된 바와 같이, 제2 퍼지 소속 함수 생성부(340)는, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성한다.
The second fuzzy
도 8은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제3 퍼지 소속 함수 생성 모듈(400)의 구성을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 제3 퍼지 소속 함수 생성 모듈(400)은 보행자 머리 감지부(410), 보행자 머리 방향 판단부(420) 및 제3 퍼지 소속 함수 생성부(430)를 포함할 수 있다.
FIG. 8 is a diagram illustrating a configuration of a third purge membership
제3 퍼지 소속 함수 생성 모듈(400)은, 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성한다. 일반적으로 보행자가 움직이는 경우, 보행자의 머리 방향(Head Orientation, HO)은 자신의 이동 방향과 일치하는 경향이 있다. 따라서 HO를 추정하여 보행자의 이동 방향을 예측할 수 있다. “Y. Huang, J. Cui, F. Davoine, H. Zhao, H. Zha, Head pose based intention prediction using discrete dynamic bayesian network, in: Proc. IEEE Int. Conf. on Distributed Smart Cameras (ICDSC), 2013, pp. 16.”에 제시된 결과에 따르면, 보행자는 HO를 자신의 움직임과 같은 방향으로 유지하면서 보도에서 걸어갈 때 길을 건널 확률이 높은 반면, 도로를 가로질러 차량을 향하여 머리를 돌릴 때 도로를 건너는 확률이 낮다. 이 경우, 보행자는 자동차가 지나갈 때까지 연석이나 보도에서 기다린다. 따라서 HO는 보행자의 의도를 추정하기 위한 하나의 특징으로 사용될 수 있다.
The third fuzzy membership
보행자 머리 감지부(410)는, 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 머리를 감지한다. 보행자 머리 감지부(410)는, 보행자의 머리를 감지하기 위해 도 9에 도시된 바와 같이, OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하나, 이에 한정되는 것은 아니다. 보행자 머리 감지부(410)는, OCS-LBP 기능이 추적기의 위쪽 영역에서 슬라이딩하는 창을 기반으로 추출된 후 BRF에 적용되어 머리 영역을 감지한다.
The pedestrian
보행자 머리 방향 판단부(420)는, 보행자 머리 감지부(410)로부터 감지된 머리 감지 결과를 이용하여 보행자의 머리 방향을 판단한다. 보행자 머리 방향 판단부(420)는, 도 9에 도시된 바와 같이, 보행자 머리 감지부(410)로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하나, 이에 한정되는 것은 아니다.
The pedestrian head
제3 퍼지 소속 함수 생성부(430)는, 보행자 머리 방향 판단부(420)에서 판단된 상기 보행자의 머리 방향을 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성한다.
The third purge belonging
도 10에 도시된 바와 같이, 제3 퍼지 소속 함수 생성부(430)는, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성한다. 이때, Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW) 상태에 대한 제3 퍼지 소속 함수가 (0.0-0.2) 및 (0.6-0.8)에서 높은 확률을 갖는 것을 확인할 수 있다. 이는 보도에서 보행자가 다양한 방향으로 움직이거나 걷지는 못하지만 보행자의 시선 방향이 차이가 있음을 의미한다. 또한, Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro) 상태에 대한 제3 퍼지 소속 함수가 (0.6-0.8)에서 높은 확률을 갖는 것을 확인할 수 있다. 이는 보행자가 도로를 건너기 전에 다가오는 차량을 확인하기 위해 HO를 변경한다는 것을 의미한다.
10, the third fuzzy
도 11은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 보행자 의도 예측 모듈(600)의 구성을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)에서 보행자 의도 예측 모듈(600)은 결합 소속 값 생성부(610) 및 예측부(620)를 포함할 수 있다.
11 is a diagram illustrating a configuration of a pedestrian
보행자 의도 예측 모듈(600)은 보행자의 의도를 예측하기 위해 DFA(Dynamic Fuzzy Automata)를 사용한다. 도 12에 도시된 바와 같이, DFA 아키텍처에서는, i번째 상태 qi는 노드에 의해 그래픽으로 기술되고, 각각의 상태는 시간 t에서의 그것의 상응하는 소속 값을 가진다. 여기서, 어떤 상태의 소속 값은 특정 시간에 보행자의 이벤트 확률로 해석된다. 소속 값은 0과 1 사이의 퍼지 값(fuzzy value)이며, 모든 상태는 부분 소속 값을 동시에 가질 수 있다.
The pedestrian
한편, 상태 전이(이벤트)는 노드 사이의 호(arc)로 표현된다. 상태 qi에서 상태 qj로의 상태 전이를 aij로 표현한다. 퍼지 전이(fuzzy transition)는 입력 이벤트 aij에 대해 현재 상태를 다음 상태로 매핑하는데 사용되며, 또한 상태 전이의 가중치로 사용되므로 후술할 업데이트 된 결합 소속 값을 계산하는데 사용된다. 예를 들어, 퍼지 전이는 상태 전이 이벤트 a12가 발생했을 때 상태 S-SW(1)에서 상태 W-SW(2)로의 전이 확률을 나타낸다. 퍼지 전이는 다수의 시간 단계(#Total time steps) 동안 반복적으로 훈련 데이터에서 주어진 보행자 시퀀스의 상태 전이 수(#Transitions from state)를 관찰하여 학습될 수 있다.
On the other hand, state transitions (events) are represented by arcs between nodes. The state transition from state q i to state q j is denoted by a ij . The fuzzy transition is used to map the current state to the next state for the input event a ij , and is also used as the weight of the state transition, so it is used to calculate the updated membership value, which will be described later. For example, the fuzzy transition represents a transition probability to the state transition event 12 occurs when the a state in the state S-SW (1) W- SW (2). A fuzzy transition can be learned by observing the #Transitions from state of a given pedestrian sequence repeatedly in the training data during #Total time steps.
결합 소속 값 생성부(610)는, 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성한다.
The joint
도 13에 도시된 바와 같이, DPC, LMS 및 HO의 각 특징은 미리 정의된 제1 내지 제3 퍼지 소속 함수에 적용되며, 각 상태에 대한 소속 값이 추정된다. DPC, LMS 및 HO와 이들에 상응하는 제1 내지 제3 퍼지 소속 함수로부터 각각의 소속 값이 추정된 후에, 이러한 각각의 소속 값은 특정 시간 t에서의 각각의 상태(각 노드)의 소속 값을 계산하기 위해 사용된다. 이러한 각각의 상태의 소속 값을 결합 소속 값으로 정의한다.
As shown in FIG. 13, each characteristic of the DPC, LMS, and HO is applied to the first to third pre-defined fuzzy membership functions, and values belonging to each state are estimated. After each belonging value is estimated from the DPC, the LMS and the HO and the first to third purge belonging functions corresponding thereto, each belonging value of these belongs to each state (each node) at a specific time t It is used to calculate. The value belonging to each of these states is defined as a value belonging to the association.
결합 소속 값 생성부(610)는, 업데이트된 결합 소속 값을 계산하는 과정에서 t-1 시점에서 결합 소속 값에 t-1에서 t로의 퍼지 전이값을 가중하여 계산하며, 이는 시간 t에서 상태 qj의 결합 소속 값을 예측하기 위함이다.
In the process of calculating the updated membership value, the joint
예측부(620)는, 업데이트된 결합 소속 값을 이용하여, 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측한다. 예측부(620)는, 모든 상태에 대한 결합 소속 값이 계산된 후에, 최대값 연산을 통해 최종적인 활성 상태를 예측한다. 즉, DFA 아키텍처에서 각각의 상태(노드)에 해당하는 S-SW, W-SW, W-Cro 및 R-Cro 중 가장 높은 결합 소속 값을 가지는 상태를 활성 상태로 예측한다. 활성 상태는, 두 가지의 최종적인 활성 상태(클래스)인 Cstop과 Ccross 분류되며, S-SW 및 S-SW 상태는 Cstop 에, W-Cro 및 R-Cro 상태는 Ccross에 해당한다.
The predicting
또한, 예측부(620)는, 최종적인 활성 상태를 보다 정확하게 예측하기 위해 복수의 시점 t를 포함하는 T 시간 동안의 활성 상태를 고려하여 최종적인 활성 상태를 계산한다. 예를 들어, T가 5개의 특정 시점을 포함하는 경우, 각각의 5개의 시점마다의 결합 소속 값을 계산하여 5개의 활성 상태를 예측한 후, 5개의 활성 상태를 Cstop 및 Ccross로 분류하여 이들 분류에 대한 확률 계산을 통해 최종적인 활성 상태를 예측한다.In addition, the predicting
표 1은 리콜(recall)을 사용하여 생성된 제안된 알고리즘의 혼동 행렬(confusion matrix)이다. 표 1에서 각각의 열은 예측된 상태의 인스턴스를 나타내며, 각각의 행은 실제 상태의 인스턴스를 나타낸다. 대각선 값은 예측된 모든 상태 중에서 실제 상태에 대해 가장 높은 값을 가지는 것을 알 수 있다.
Table 1 shows the confusion matrix of the proposed algorithm generated using recall. In Table 1, each column represents an instance of the predicted state, and each row represents an instance of the actual state. It can be seen that the diagonal value has the highest value for the actual state among all predicted states.
도 14는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법의 단계를 도시한 도면이다. 도 14에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 방법은, (1) 카메라 모듈(100)이 도로의 이미지를 캡처하는 단계(S100); (2) 단계 S100에서 캡처된 도로 이미지로부터, 보행자와 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계(S200); (3) 단계 S100에서 캡처된 도로 이미지로부터, 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계(S300); (4) 단계 S100에서 캡처된 도로 이미지로부터, 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계(S400); (5) 단계 S200 내지 S400에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계(S500); 및 (6) 단계 S500에서 생성된 각각의 소속 값을 이용하여, 보행자의 의도를 예측하는 단계를 포함할 수 있다. 여기서, 단계 S500에서는, 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하고, 단계 S600에서는, 단계 S500에서 생성된 각각의 소속 값을 이용하여, 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측한다.
FIG. 14 is a diagram illustrating steps of a pedestrian's intention prediction method using a pedestrian's
도 15는 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S200을 도시한 도면이다. 도 15에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S200은, (2-1) 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계(S210); (2-2) 단계 S210에서 변환된 IPM 이미지로부터 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계(S220); (2-3) 단계 S220에서 탐지된 차선 탐지 결과를 이용하여, 보행자와 도로의 연석 사이의 거리를 계산하는 단계(S230); 및 (2-4) 단계 S230에서 계산된 보행자와 도로의 연석 사이의 거리를 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계(S240)를 포함할 수 있다.
15 is a diagram illustrating a step S200 of a pedestrian's intention prediction method using a pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention. As shown in FIG. 15, step S200 of the method using the pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention includes the steps of: (2-1) extracting a road image captured through the camera module 100 A step S210 of converting the image into an IPM (Inverse Perspective Mapping) image from which the perspective is removed; (2-2) detecting an edge of the curb of the road from the IPM image converted in step S210 to detect a lane (S220); (2-3) calculating (S230) the distance between the pedestrian and the curb of the road using the detected lane detection result in step S220; Walking-SideWalk (W-SW), Walking-Crossing (W-SW), and Walking-SideWalk (W-SW) are calculated by using the distance between the pedestrian and the road curb calculated in step S230. And generating a first fuzzy membership function for generating a probability for each of the four states of the first-degree-of-execution (F-Cro) and the running-crossing (R-Cro) (S240).
도 16은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S300을 도시한 도면이다. 도 16에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S300은, (3-1) 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 보행자의 모션만을 분리하는 단계(S310); (3-2) 단계 S310에서 분리된 보행자의 모션을 이용하여, 보행자와 자동차 사이의 거리에 따라 옵티컬 플로우의 속도를 보정하는 단계(S320); 및 (3-3) 단계 S320에서 계산된 보행자의 속도를 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계(S330)를 포함할 수 있다.
16 is a diagram illustrating a step S300 of a pedestrian's intention prediction method using a pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention. As shown in FIG. 16, step S300 of the method using the pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention includes: (3-1) Separating only the motion of the pedestrian from the optical flow occurring according to the advancement of the vehicle (S310); (3-2) correcting the speed of the optical flow according to the distance between the pedestrian and the automobile using the motion of the pedestrian separated in step S310 (S320); Walking-SideWalk (W-SW), Walking-Crossing (W-Cro), and Running (S-SW) using the pedestrian's speed calculated in step S320 And a second fuzzy membership function for generating a probability for each of the four states of the crossing (R-Cro) (S330).
도 17은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S400을 도시한 도면이다. 도 17에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S400은, (4-1) 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 보행자의 머리를 감지하는 단계(S410); (4-2) 단계 S410으로부터 감지된 결과를 이용하여, 보행자의 머리 방향을 판단하는 단계(S420); 및 (4-3) 단계 S420에서 판단된 보행자의 머리 방향을 이용하여, 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계(S430)를 포함할 수 있다.
17 is a diagram illustrating a step S400 of a pedestrian's intention prediction method using a pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention. As shown in FIG. 17, step S400 of the method using the pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention includes the steps of (4-1) extracting a road image captured through the
도 18은 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 보행자 의도 예측 방법의 단계 S600을 도시한 도면이다. 도 18에 도시된 바와 같이, 본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템을 이용한 방법의 단계 S600은, (6-1) 소속 값 생성 단계에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 단계(S610); 및 (6-2) 단계 S610에서 계산된 업데이트된 결합 소속 값을 이용하여, 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계(S620)를 포함할 수 있다.
18 is a diagram illustrating a step S600 of a pedestrian's intention prediction method using a pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention. 18, a step S600 of a method using a pedestrian's intention prediction system for a night driving vehicle according to an embodiment of the present invention includes the steps of: (6-1) , Calculating a joint membership value at a specific time t and a time t-1, and generating an updated joint membership value by calculating a membership value at a time t-1 and a time t (S610 ); And (6-2) step S620 of predicting the intention of the pedestrian as either Stop or Cross using the updated joint membership value calculated in step S610.
본 발명의 일 실시예에 따른 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10) 및 그를 이용한 방법(S10)은 보행자와 연석 사이의 거리(DPC), 보행자의 측방향 이동 속도(LMS), 보행자의 머리 방향(HO)의 특징을 통해 최종적으로 보행자가 도로를 건널 것인지 아닌지를 사전에 예측함으로써 충돌 사고를 효과적으로 미연에 방지할 수 있다.
A
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 청구범위에 의하여 정해져야 할 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.
10: 야간 주행 자동차를 위한 보행자 의도 예측 시스템
100: 카메라 모듈
200: 제1 퍼지 소속 함수 생성 모듈
210 : IPM부
220: 차선 탐지부
230: 거리 계산부
240: 제1 퍼지 소속 함수 생성부
300: 제2 퍼지 소속 함수 생성 모듈
310 : 모션 분리부
320: 보행자 속도 보정부
330: 보행자 속도 계산부
340: 제2 퍼지 소속 함수 생성부
400: 제3 퍼지 소속 함수 생성 모듈
410: 보행자 머리 감지부
420: 보행자 머리 방향 판단부
430: 제3 퍼지 소속 함수 생성부
500: 소속 값 생성 모듈
600: 보행자 의도 예측 모듈
610: 결합 소속 값 생성부
620: 예측부10: Pedestrian Intention Prediction System for Night Driving Cars
100: Camera module
200: first fuzzy membership function generation module
210: IPM department
220: lane detection unit
230: Distance calculation unit
240: first fuzzy membership function generation unit
300: second fuzzy membership function generation module
310:
320: Pedestrian speed correction unit
330: Pedestrian speed calculation unit
340: second fuzzy membership function generation unit
400: third purge membership function generation module
410: Pedestrian head detection unit
420: Pedestrian head direction judging unit
430: third fuzzy membership function generation unit
500: Member value creation module
600: pedestrian intention prediction module
610:
620:
Claims (21)
도로의 이미지를 캡처하는 카메라 모듈(100);
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(fuzzy membership function)를 생성하는 제1 퍼지 소속 함수 생성 모듈(200);
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 상기 보행자의 측방향 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성 모듈(300);
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성 모듈(400);
상기 제1 퍼지 소속 함수 생성 모듈(200), 상기 제2 퍼지 소속 함수 생성 모듈(300), 및 상기 제 3 퍼지 소속 함수 생성 모듈(400)로부터 생성된 제1 내지 제3 퍼지 소속 함수를 이용하여 각각의 소속 값(membership value)을 생성하는 소속 값 생성 모듈(500); 및
상기 소속 값 생성 모듈(500)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 보행자 의도 예측 모듈(600)을 포함하되,
상기 제1 퍼지 소속 함수 생성 모듈(200)은,
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 IPM부(210);
상기 IPM부(210)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 차선 탐지부(220);
상기 차선 탐지부(220)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 거리 계산부(230); 및
상기 거리 계산부(230)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 제1 퍼지 소속 함수 생성부(240)를 포함하고,
상기 제2 퍼지 소속 함수 생성 모듈(300)은,
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 보행자 모션 분리부(310);
상기 모션 분리부(310)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 보행자 속도 보정부(320);
상기 속도 보정부의 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 보행자 속도 계산부(330); 및
상기 보행자 속도 계산부(330)로부터 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 제2 퍼지 소속 함수 생성부(340)를 포함하고,
상기 제3 퍼지 소속 함수 생성 모듈(400)은,
상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 보행자 머리 감지부(410);
상기 보행자 머리 감지부(410)로부터 감지된 머리 감지 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 보행자 머리 방향 판단부(420); 및
상기 보행자 머리 방향 판단부(420)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률 값으로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 제3 퍼지 소속 함수 생성부(430)를 포함하고,
상기 소속 값 생성 모듈(500)은,
상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
A pedestrian intention prediction system (10) for a night driving vehicle,
A camera module (100) for capturing an image of the road;
A first fuzzy membership function generation module for generating a first fuzzy membership function by calculating a distance between a pedestrian and a curb of the road from a road image captured through the camera module 100 200);
A second fuzzy membership function generation module 300 for calculating a lateral movement speed of the pedestrian from the road image captured through the camera module 100 to generate a second fuzzy membership function;
A third fuzzy membership function generation module 400 for generating a third fuzzy membership function by determining the head direction of the pedestrian from the road image captured through the camera module 100;
Using the first to third Fuzzy membership functions generated from the first fuzzy membership function generation module 200, the second fuzzy membership function generation module 300, and the third fuzzy membership function generation module 400, A membership value generation module 500 for generating a membership value of each member; And
And a pedestrian intention prediction module (600) for predicting the intention of the pedestrian using the respective belonging values generated by the belonging value generation module (500)
The first fuzzy membership function generation module 200,
An IPM unit 210 for converting a road image captured through the camera module 100 into an IPM (Inverse Perspective Mapping) image from which the perspective is removed;
A lane detecting unit 220 detecting an edge of a curb of the road from the IPM image converted by the IPM unit 210 and detecting a lane;
A distance calculation unit 230 for calculating a distance between the pedestrian and a curb of the road using the lane detection result detected by the lane detection unit 220; And
(S-SW), a Walking-SideWalk (W-SW), a Walking-Crossing (W-SW), and a Walking-Crossing A first fuzzy membership function generation unit 240 for generating a first fuzzy membership function for generating a probability for each of four states of a first fuzzy membership function (W-Cro) and a running-crossing (R-Cro)
The second fuzzy membership function generation module 300,
A pedestrian motion separator 310 for separating only the motion of the pedestrian from an optical flow generated in accordance with advancement of the automobile in a road image captured through the camera module 100;
A pedestrian speed corrector 320 for correcting the speed of the optical flow according to the distance between the pedestrian and the automobile using the motion of the pedestrian separated from the motion separator 310;
A pedestrian speed calculator 330 for calculating the lateral speed of the pedestrian using the speed of the corrected optical flow of the speed corrector; And
(S-SW), Walking-SideWalk (W-SW), and Walking-Crossing (W-Cro) using the lateral speed of the pedestrian calculated from the pedestrian speed calculation unit 330 ) And Running-Crossing (R-Cro), and a second fuzzy membership function generator 340 for generating a second fuzzy membership function for generating a probability for each of the four states,
The third fuzzy membership function generation module 400,
A pedestrian head sensing unit 410 for sensing the head of the pedestrian from a road image captured through the camera module 100;
A pedestrian head direction judging unit 420 for judging the head direction of the pedestrian using the head sensed result from the pedestrian head sensing unit 410; And
Walking-SideWalk (W-SW), Walking-Crossing (W-SW), Walking-Side Walk And a third fuzzy membership function generating unit 430 for generating a third fuzzy membership function for generating a probability value for each of the four states, i.e., Cro, and Running-Crossing (R-Cro)
The membership value generation module 500,
The respective values of the above belong to the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- Wherein the pedestrian's intention prediction system for a night-driving vehicle comprises:
상기 소속 값 생성 모듈(500)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
The method of claim 1, wherein the pedestrian intention prediction module (600)
The pedestrian's intention prediction system for a night driving vehicle according to any one of the preceding claims, wherein the pedestrian's intention prediction system for a night driving vehicle predicts the intention of the pedestrian using either of the values belonging to each member generated in the membership value generation module (10).
상기 IPM 이미지를 정규화하고, 상기 정규화된 IPM 이미지를 왼쪽 보도, 도로 및 오른쪽 보도로 분할하여 표준 정규 가우시안 분포(standard normal Gaussian distribution)를 얻고, Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제1 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
The apparatus according to claim 1, wherein the first fuzzy membership function generator (240)
The IPM image is normalized and the normalized IPM image is divided into a left sidewalk, a road and a right sidewalk to obtain a standard normal Gaussian distribution, and a Standing-SideWalk (S-SW), a Walking-SideWalk Wherein the first fuzzy membership function for each of the four states of the first fuzzy membership function is generated by using a Gaussian function. Pedestrian Intention Prediction System for Night Driving Cars (10).
상기 Standing-SideWalk(S-SW) 및 Walking-SideWalk(W-SW)의 상태에 대한 확률이 상기 보행자가 상기 도로의 연석에서 가까워질수록 감소하고, 멀어질수록 증가하며,
상기 Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 상태에 대한 확률이 상기 보행자가 상기 도로의 중심에서 가까워질수록 증가하고, 멀어질수록 감소하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
6. The method of claim 5, wherein the first fuzzy membership function comprises:
The probability of the state of the Standing-SideWalk (S-SW) and the Walking-SideWalk (W-SW) decreases as the pedestrian approaches the curb of the road,
Wherein the probability of the state of the walking-crossing (W-Cro) and the running-crossing (R-Cro) increases as the pedestrian approaches the center of the road, Pedestrian Intention Prediction System for Automobiles (10).
Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제2 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
2. The apparatus according to claim 1, wherein the second fuzzy membership function generator (340)
The second fuzzy membership function for each of the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- (Gaussian Function) for estimating a pedestrian intention prediction system for a night driving vehicle.
상기 보행자의 머리를 감지하기 위해 OCS-LBP(Oriented Centre Symmetric-Local Binary Patterns) 기능이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
The method of claim 1, wherein the pedestrian head sensing unit (410)
Characterized in that a BRF (Boosted Random Forest) classifier in which an OCS-LBP (Oriented Center Symmetric-Local Binary Patterns) function is pre-learned to detect the head of the pedestrian is used. 10).
상기 보행자 머리 감지부(410)로부터 감지된 보행자의 머리 영역으로부터 추출된 HOG(Histogram of Oriented Gradient) 특징들이 사전 학습된 BRF(Boosted Random Forest) 분류기를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
The method of claim 10, wherein the pedestrian head direction determination unit (420)
Characterized in that the HOG (Histogram of Oriented Gradient) features extracted from the head area of the pedestrian sensed by the pedestrian head sensing unit (410) are pre-learned and used in a Boosted Random Forest (BRF) classifier. Pedestrian Intention Prediction System (10).
Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 제3 퍼지 소속 함수를 가우시안 함수(Gaussian Function)를 이용하여 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
12. The apparatus according to claim 11, wherein the third fuzzy membership function generator (430)
The third fuzzy membership function for each of the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- (Gaussian Function) for estimating a pedestrian intention prediction system for a night driving vehicle.
상기 소속 값 생성 모듈(500)에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 결합 소속 값 생성부(610); 및
상기 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 예측부(620)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
The method of claim 3, wherein the pedestrian intention prediction module (600)
A joint membership value is calculated at specific times t and t-1 using the membership values generated by the membership value generation module 500, and a joint membership value at time t-1 and time t A joint member value generation unit 610 for generating an updated joint member value by an operation of a value; And
And a predictor (620) for predicting the intention of the pedestrian as one of a Stop and a Cross using the updated joint membership value. The pedestrian's intention prediction system (10) for a night- ).
열영상 카메라를 사용하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10).
The camera module according to claim 1, wherein the camera module (100)
A pedestrian intention prediction system (10) for a night driving vehicle, characterized by using a thermal imaging camera.
(1) 카메라 모듈(100)이 도로의 이미지를 캡처하는 단계(S100);
(2) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 보행자와 상기 도로의 연석(curb) 사이의 거리를 계산하여 제1 퍼지 소속 함수(membership function)를 생성하는 단계(S200);
(3) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 이동 속도를 계산하여 제2 퍼지 소속 함수를 생성하는 단계(S300);
(4) 상기 단계 (1)에서 캡처된 도로 이미지로부터, 상기 보행자의 머리 방향을 판단하여 제3 퍼지 소속 함수를 생성하는 단계(S400);
(5) 상기 단계 (2) 내지 (4)에서 각각 생성된 퍼지 소속 함수를 이용하여, 각각의 소속 값을 생성하는 소속 값 생성 단계(S500); 및
(6) 상기 (5) 단계에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 예측하는 단계(S600)를 포함하되,
상기 단계 (2)에서는,
(2-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지를 원근감이 제거된 IPM(Inverse Perspective Mapping) 이미지로 변환하는 단계(S210);
(2-2) 상기 단계 (2-1)에서 변환된 상기 IPM 이미지로부터 상기 도로의 연석의 가장자리를 검출하여 차선을 탐지하는 단계(S220);
(2-3) 상기 단계 (2-2)에서 탐지된 차선 탐지 결과를 이용하여, 상기 보행자와 상기 도로의 연석 사이의 거리를 계산하는 단계(S230); 및
(2-4) 상기 단계 (2-3)에서 계산된 상기 보행자와 상기 도로의 연석 사이의 거리를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제1 퍼지 소속 함수를 생성하는 단계(S240)를 포함하고,
상기 단계 (3)에서는,
(3-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지에서 상기 자동차의 전진에 따라 발생하는 옵티컬 플로우(optical flow)로부터 상기 보행자의 모션만을 분리하는 단계(S310);
(3-2) 상기 단계 (3-1)에서 분리된 보행자의 모션을 이용하여, 상기 보행자와 상기 자동차 사이의 거리에 따라 상기 옵티컬 플로우의 속도를 보정하는 단계(S320); 및
(3-3) 상기 단계 (3-2)에서 계산된 보정된 옵티컬 플로우의 속도를 이용하여 보행자의 측방향 속도를 계산하는 단계(S330); 및
(3-4) 상기 단계 (3-3)에서 계산된 보행자의 측방향 속도를 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제2 퍼지 소속 함수를 생성하는 단계(S340)를 포함하고,
상기 단계 (4)에서는,
(4-1) 상기 카메라 모듈(100)을 통해 캡처된 도로 이미지로부터 상기 보행자의 머리를 감지하는 단계(S410);
(4-2) 상기 단계 (4-1)로부터 감지된 결과를 이용하여, 상기 보행자의 머리 방향을 판단하는 단계(S420); 및
(4-3) 상기 단계 (4-2)에서 판단된 상기 보행자의 머리 방향을 이용하여, 상기 보행자의 의도를 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률로 생성하기 위한 제3 퍼지 소속 함수를 생성하는 단계(S430)를 포함하고,
상기 단계 (5)에서는,
상기 각각의 소속 값을 Standing-SideWalk(S-SW), Walking-SideWalk(W-SW), Walking-Crossing(W-Cro) 및 Running-Crossing(R-Cro)의 4가지 상태 각각에 대한 확률을 포함하는 벡터로 생성하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
A pedestrian intention prediction method using a pedestrian intention prediction system (10) for a night driving vehicle,
(1) the camera module 100 captures an image of a road (S100);
(2) calculating a distance between a pedestrian and a curb of the road from the road image captured in the step (1) (S200) to generate a first membership function;
(3) generating (S300) a second fuzzy membership function by calculating a moving speed of the pedestrian from the road image captured in the step (1);
(4) generating a third fuzzy membership function by determining the head direction of the pedestrian from the road image captured in the step (1) (S400);
(5) a membership value generation step (S500) of generating respective membership values using the fuzzy membership functions generated in the steps (2) to (4); And
(6) estimating the intention of the pedestrian using the respective belonging values generated in the step (5) (S600)
In the step (2)
(2-1) converting (S210) the road image captured through the camera module 100 into an IPM (Inverse Perspective Mapping) image from which the perspective is removed;
(2-2) detecting an edge of a curb of the road from the IPM image converted in the step (2-1) to detect a lane (S220);
(2-3) calculating a distance between the pedestrian and the curb of the road using the detected lane detection result in the step (2-2) (S230); And
(2-4) Using the distance between the pedestrian and the curb of the road calculated in the step (2-3), the intention of the pedestrian can be expressed as Standing-SideWalk (S-SW), Walking-SideWalk (S240) of generating a first fuzzy membership function for generating a probability for each of four states, i.e., walking-crossing (W-Cro) and running-crossing (R-Cro)
In the step (3)
(3-1) separating only the motion of the pedestrian from the optical flow generated in accordance with the advance of the automobile in the road image captured through the camera module 100 (S310);
(3-2) correcting the speed of the optical flow according to the distance between the pedestrian and the automobile using the motion of the pedestrian separated in the step (3-1) (S320); And
(3-3) calculating (S330) the lateral velocity of the pedestrian using the velocity of the corrected optical flow calculated in the step (3-2); And
(3-4) By using the lateral speed of the pedestrian calculated in the step (3-3), the intention of the pedestrian can be expressed as Standing-SideWalk (S-SW), Walking-SideWalk (W- (S340) a second fuzzy membership function for generating a probability for each of the four states of the state (W-Cro) and the running-crossing (R-Cro)
In the step (4)
(4-1) detecting the head of the pedestrian from the road image captured through the camera module 100 (S410);
(4-2) determining the head direction of the pedestrian using the result detected in the step (4-1) (S420); And
(4-3) Using the head direction of the pedestrian judged in the step (4-2), the intention of the pedestrian can be expressed as Standing-SideWalk (S-SW), Walking-SideWalk (W- (S430) a third fuzzy membership function for generating a probability for each of the four states of W-Cro, W-Cro, and Running-Crossing (R-Cro)
In the step (5)
The respective values of the above belong to the four states of Standing-SideWalk (S-SW), Walking-SideWalk (W-SW), Walking-Crossing (W- Wherein the pedestrian's intention prediction system (10) for the night-time driving vehicle is generated by using the pedestrian's intention prediction system (10).
상기 단계 (5)에서 생성된 상기 각각의 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.
16. The method of claim 15, wherein in step (6)
The pedestrian's intention prediction system (10) for a night driving vehicle according to any of the preceding claims, wherein the pedestrian intention prediction system (10) for predicting the intention of the pedestrian is one of Stop or Cross using the respective belonging values generated in the step (5) Pedestrian Intention Prediction Method Using.
(6-1) 상기 소속 값 생성 단계에서 생성된 각각의 소속 값을 이용하여 특정 시간 t 및 t-1 시점에서 결합 소속 값(joint membership value)을 계산하고, t-1 시점과 t 시점에서의 결합 소속 값의 연산에 의해 업데이트된 결합 소속 값을 생성하는 단계(S610); 및
(6-2) 상기 (6-1) 단계에서 계산된 업데이트된 결합 소속 값을 이용하여, 상기 보행자의 의도를 Stop 또는 Cross 중 어느 하나의 상태로 예측하는 단계(S620)를 포함하는 것을 특징으로 하는, 야간 주행 자동차를 위한 보행자 의도 예측 시스템(10)을 이용한 보행자 의도 예측 방법.18. The method of claim 17, wherein in step (6)
(6-1) calculating a joint membership value at a specific time t and a time point t-1 using each belonging value generated in the membership value generation step, and calculating a joint membership value at a time t-1 and a time t A step (S610) of generating an updated membership value by an operation of a membership value; And
(6-2) The step (S620) of predicting the intention of the pedestrian to one of Stop or Cross using the updated joint membership value calculated in the step (6-1) A pedestrian intention prediction method using a pedestrian intention prediction system (10) for a night driving vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170024371A KR101958868B1 (en) | 2017-02-23 | 2017-02-23 | System for predicting pedestrian intention for vehicle in night time and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170024371A KR101958868B1 (en) | 2017-02-23 | 2017-02-23 | System for predicting pedestrian intention for vehicle in night time and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180097398A KR20180097398A (en) | 2018-08-31 |
| KR101958868B1 true KR101958868B1 (en) | 2019-07-02 |
Family
ID=63407685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170024371A KR101958868B1 (en) | 2017-02-23 | 2017-02-23 | System for predicting pedestrian intention for vehicle in night time and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101958868B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11587329B2 (en) | 2019-12-27 | 2023-02-21 | Valeo Schalter Und Sensoren Gmbh | Method and apparatus for predicting intent of vulnerable road users |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712388B (en) * | 2019-01-24 | 2021-03-30 | 华南理工大学 | Street crossing intention detection system and method for non-motor vehicle or pedestrian |
| KR102643408B1 (en) * | 2023-11-28 | 2024-03-06 | 한화시스템(주) | Night vision system and method for estimating distance thereof |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006099155A (en) * | 2004-09-28 | 2006-04-13 | Nissan Motor Co Ltd | Collision deciding device and method |
| JP2008282097A (en) * | 2007-05-08 | 2008-11-20 | Toyota Central R&D Labs Inc | Collision risk degree estimating apparatus and driver supporting apparatus |
| JP2009244985A (en) * | 2008-03-28 | 2009-10-22 | Toyota Central R&D Labs Inc | Driving support device and pedestrian detecting device |
| JP2010102437A (en) * | 2008-10-22 | 2010-05-06 | Toyota Central R&D Labs Inc | Pedestrian run-out prediction device and program |
| JP2013073620A (en) * | 2011-09-28 | 2013-04-22 | Honda Research Inst Europe Gmbh | Method and system for detecting road landform for driver support system |
| KR101454127B1 (en) | 2013-12-17 | 2014-10-22 | 주식회사 동주이엔씨 | Available for recognized jaywalking advertising delivery system for pedestrians and drivers |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2855987B2 (en) * | 1992-08-26 | 1999-02-10 | 三菱自動車工業株式会社 | Anti-skid braking method |
-
2017
- 2017-02-23 KR KR1020170024371A patent/KR101958868B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006099155A (en) * | 2004-09-28 | 2006-04-13 | Nissan Motor Co Ltd | Collision deciding device and method |
| JP2008282097A (en) * | 2007-05-08 | 2008-11-20 | Toyota Central R&D Labs Inc | Collision risk degree estimating apparatus and driver supporting apparatus |
| JP2009244985A (en) * | 2008-03-28 | 2009-10-22 | Toyota Central R&D Labs Inc | Driving support device and pedestrian detecting device |
| JP2010102437A (en) * | 2008-10-22 | 2010-05-06 | Toyota Central R&D Labs Inc | Pedestrian run-out prediction device and program |
| JP2013073620A (en) * | 2011-09-28 | 2013-04-22 | Honda Research Inst Europe Gmbh | Method and system for detecting road landform for driver support system |
| KR101454127B1 (en) | 2013-12-17 | 2014-10-22 | 주식회사 동주이엔씨 | Available for recognized jaywalking advertising delivery system for pedestrians and drivers |
Non-Patent Citations (1)
| Title |
|---|
| 2015 INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING Vo_7 No_1 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11587329B2 (en) | 2019-12-27 | 2023-02-21 | Valeo Schalter Und Sensoren Gmbh | Method and apparatus for predicting intent of vulnerable road users |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180097398A (en) | 2018-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11093801B2 (en) | Object detection device and object detection method | |
| US11804048B2 (en) | Recognizing the movement intention of a pedestrian from camera images | |
| US9435885B2 (en) | Road-terrain detection method and system for driver assistance systems | |
| US20200211395A1 (en) | Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle | |
| JP5136504B2 (en) | Object identification device | |
| US11120690B2 (en) | Method and device for providing an environmental image of an environment of a mobile apparatus and motor vehicle with such a device | |
| Kwak et al. | Pedestrian intention prediction based on dynamic fuzzy automata for vehicle driving at nighttime | |
| JP4670805B2 (en) | Driving support device and program | |
| Kim | Realtime lane tracking of curved local road | |
| KR101958868B1 (en) | System for predicting pedestrian intention for vehicle in night time and method thereof | |
| US8643723B2 (en) | Lane-marker recognition system with improved recognition-performance | |
| CN107066968A (en) | The vehicle-mounted pedestrian detection method of convergence strategy based on target recognition and tracking | |
| CN108960083B (en) | Automatic driving target classification method and system based on multi-sensor information fusion | |
| JP4937844B2 (en) | Pedestrian detection device | |
| JP2015138552A (en) | Method and system for estimating lane relative position for driver support system | |
| JPWO2018190362A1 (en) | Method and apparatus for detecting pedestrians around a vehicle | |
| JP7454685B2 (en) | Detection of debris in vehicle travel paths | |
| JP5130959B2 (en) | Vehicle ambient environment detection device | |
| US8948449B2 (en) | Selecting visible regions in nighttime images for performing clear path detection | |
| US11417117B2 (en) | Method and device for detecting lanes, driver assistance system and vehicle | |
| Chang et al. | A vision-based vehicle behavior monitoring and warning system | |
| JP2020201746A (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
| JP6253175B2 (en) | Vehicle external environment recognition device | |
| CN114940166A (en) | Pedestrian anti-collision protection method, device, equipment and medium based on trajectory prediction | |
| US20240092359A1 (en) | Vehicle camera-based prediction of change in pedestrian motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |