WO2016088960A1 - 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템 - Google Patents

야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템 Download PDF

Info

Publication number
WO2016088960A1
WO2016088960A1 PCT/KR2015/006034 KR2015006034W WO2016088960A1 WO 2016088960 A1 WO2016088960 A1 WO 2016088960A1 KR 2015006034 W KR2015006034 W KR 2015006034W WO 2016088960 A1 WO2016088960 A1 WO 2016088960A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
window
driver assistance
dangerous
assistance system
Prior art date
Application number
PCT/KR2015/006034
Other languages
English (en)
French (fr)
Inventor
고병철
정미라
남재열
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Publication of WO2016088960A1 publication Critical patent/WO2016088960A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Definitions

  • the present invention relates to a dangerous pedestrian detection method and system, and more particularly to a dangerous pedestrian detection method and system for a driver assistance system in a night environment.
  • ADAS Advanced Driver Assistance System
  • ICT intelligent transportation system
  • Patent No. 10-1178333 a human detection method using a wavelet-based center symmetry-local binary pattern and hierarchical random forest has been disclosed (Patent No. 10-1178333).
  • the present invention is proposed to solve the above problems of the conventionally proposed methods, by setting the scaling ratio and the pedestrian search area and detecting the pedestrian window, it is possible to shorten the processing time and quickly detect the pedestrian, It is an object of the present invention to provide a dangerous pedestrian detection method and system for a driver assistance system in a night environment that can accurately determine the danger of a pedestrian by setting a baseline and determining a dangerous pedestrian in consideration of the moving direction of the vehicle. .
  • the present invention by determining the dangerous pedestrian in consideration of the overlapping risk (Overlapping ratio), the movement direction risk (Movement direction ratio) and the movement size risk (Movement speed ratio), having a risk factor in consideration of various characteristics of the pedestrian
  • Another object is to provide a dangerous pedestrian detection method and system for a driver assistance system in a night environment that can accurately determine whether or not it is a pedestrian.
  • step (1) is
  • (1-2) extracting a Haar-Like feature and an Oriented Center Symmetric Local Binary Patterns (OCS-LBP) feature with respect to the candidate pedestrian window and applying a random forest classifier to detect a bounding box of pedestrian It may include.
  • OCS-LBP Oriented Center Symmetric Local Binary Patterns
  • step (1-1) More preferably, the step (1-1),
  • (1-1-1) determining a scaling ratio for pedestrian detection by applying adaptive scaling
  • step (1-2) More preferably, in the step (1-2),
  • the extracted pedestrian window is applied to a random forest classifier of level 2 with the extracted OCS-LBP feature, and the second pedestrian is detected. Detecting the window.
  • the step (2) is,
  • step (2-2) is,
  • the risk factor vector Preferably, the risk factor vector,
  • It may include an overlapping ratio, a movement direction ratio, and a movement speed ratio.
  • step (3) is
  • (3-1) calculating an overlapping ratio from the overlapping degree of the detected pedestrian window and the set reference line;
  • (3-3) calculating a movement speed ratio using the magnitude of the motion vector and the width of the pedestrian window.
  • step (4) Preferably, in step (4),
  • the method may include determining a dangerous pedestrian.
  • step (4-2) More preferably, in the step (4-2),
  • NaBayes and log likelihoods can be used to calculate the risk score.
  • a camera installed in the vehicle to obtain a thermal image
  • An analysis device for determining a dangerous pedestrian from the obtained thermal image An analysis device for determining a dangerous pedestrian from the obtained thermal image
  • the analysis device The analysis device,
  • a pedestrian detection module configured to set a scaling ratio and a pedestrian search area for the thermal image captured by the camera and detect a pedestrian window
  • a reference line setting module for setting a reference line in consideration of a traveling direction of the vehicle
  • a vector extraction module for extracting a risk factor vector using the detected pedestrian window and the reference line
  • a risk score is calculated using the extracted risk factor vector, and if the calculated risk score is greater than or equal to a threshold value, the determination module includes a determination module that determines a dangerous pedestrian.
  • the camera Preferably, the camera, the camera, and
  • the pedestrian detection module Preferably, the pedestrian detection module, the pedestrian detection module, and
  • a first detector configured to set the scaling ratio and the pedestrian search area and detect a candidate pedestrian window
  • a second detection unit extracts a Haar-Like feature and an Oriented Center Symmetric Local Binary Patterns (OCS-LBP) feature with respect to the candidate pedestrian window and applies a random forest classifier to detect a bounding box of pedestrian. Can be.
  • OCS-LBP Oriented Center Symmetric Local Binary Patterns
  • the first detection unit More preferably, the first detection unit,
  • a scaling unit configured to determine an scaling ratio for pedestrian detection by applying adaptive scaling
  • An area setting unit for setting a pedestrian search area from the image photographed by the camera
  • a candidate detector for detecting a candidate pedestrian window using the scaling ratio in the set pedestrian search area.
  • the second detection unit More preferably, the second detection unit,
  • a feature extraction unit for extracting a Haar-Like feature and an OCS-LBP feature with respect to the candidate pedestrian window
  • a level 1 classification unit applying the extracted Haar-like feature to a random forest classifier of level 1 of cascade random forests (CaRF) composed of two levels to perform first-order detection;
  • Level 2 classification is applied to the random forest classifier of level 2 with the extracted OCS-LBP feature to detect the final pedestrian window through secondary detection. It may include wealth.
  • the baseline setting module Preferably, the baseline setting module,
  • It may include a reference line changing unit for changing the reference line according to the direction of travel of the vehicle.
  • the baseline changing unit More preferably, the baseline changing unit,
  • a direction determining unit which determines a vehicle traveling direction by using an optical flow and a maximum likelihood estimation method
  • It may include a change processing unit for changing the reference line by moving the vanishing point in accordance with the determined vehicle travel direction.
  • the risk factor vector Preferably, the risk factor vector,
  • It may include an overlapping ratio, a movement direction ratio, and a movement speed ratio.
  • the vector extraction module More preferably, the vector extraction module,
  • a first calculator configured to calculate an overlapping ratio from an overlapping degree of the detected pedestrian window and the set reference line
  • a second calculator configured to calculate a movement direction ratio using the motion vector extracted from the pedestrian window
  • a third calculator configured to calculate a movement speed ratio using the magnitude of the motion vector and the width of the pedestrian window.
  • a score calculator which combines the estimated conditional probabilities to calculate a risk score
  • If the calculated risk score is greater than or equal to the threshold value may include a pedestrian determination unit for determining a dangerous pedestrian.
  • NaBayes and log likelihoods can be used to calculate the risk score.
  • the analysis device may further include an alarm device for generating an alarm.
  • the method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment proposed by the present invention, by setting a scaling ratio and a pedestrian search area and detecting a pedestrian window, it is possible to shorten the processing time and quickly detect a pedestrian.
  • the baseline in consideration of the direction of the vehicle and determine the dangerous pedestrian, it is possible to more accurately determine the risk of the pedestrian.
  • the risk factor in consideration of various characteristics of the pedestrian It is possible to accurately determine whether or not you have a pedestrian.
  • FIG. 1 is a view showing the configuration of a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a vehicle in which a camera is installed in a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a detailed configuration of an analysis device in a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • step S100 is a diagram illustrating the detailed flow of step S100 in the dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the size of a pedestrian according to a distance in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a detected candidate pedestrian window in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a Harr-like feature designed for pedestrian detection in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating CaRF used in a dangerous pedestrian detection method and system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • step S200 is a diagram illustrating the detailed flow of step S200 in the dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a process of setting a reference line in consideration of a driving direction of a vehicle in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a Gaussian distribution for each vehicle traveling direction in a dangerous pedestrian detection method and system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a detailed flow of step S300 in a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a process of extracting a risk factor vector in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 15 is a diagram illustrating a detailed flow of step S400 in a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • FIG. 15 is a diagram illustrating a detailed flow of step S400 in a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • 16 is a diagram illustrating a process of determining a dangerous pedestrian in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • a dangerous pedestrian detection system for a driver assistance system in a night environment may include a camera 10 and an analysis device 20, and may include an alarm. It may further comprise a device 30.
  • the camera 10 may be installed in a vehicle to acquire a thermal image.
  • the camera 10 is installed on the roof of the vehicle, and may acquire a thermal image using far-infrared (FIR).
  • FIR far-infrared
  • FIG. 2 is a view illustrating a vehicle in which a camera 10 is installed in a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • a dangerous pedestrian detection system for a driver assistance system in a night environment according to an embodiment of the present invention a far-infrared camera 10 installed on a roof of a vehicle may be used. That is, in the present invention, the pedestrian can be effectively detected using the far infrared rays generated from the human body regardless of the strong headlights of the vehicle.
  • the analyzing apparatus 20 may determine a dangerous pedestrian from the obtained thermal image. That is, the analysis device 20 detects the pedestrian from the thermal image and determines whether the detected pedestrian is a dangerous pedestrian, which will be described in detail later with reference to FIG. 4.
  • the alarm device 30 may generate an alarm when it is determined that the analysis device 20 is a dangerous pedestrian. That is, as a configuration for promptly informing the driver that a dangerous pedestrian has appeared, an alarm may be generated using visual, audio, and tactile stimuli.
  • the dangerous pedestrian detection method for a driver assistance system in a night environment may include detecting a pedestrian window (S100) and setting a reference line in consideration of a moving direction of the vehicle. It may be configured to include a step (S200) for setting, a step (S300) for extracting a risk factor vector, and a step (S400) for determining a dangerous pedestrian.
  • S100 pedestrian window
  • S300 step
  • S400 step
  • the dangerous pedestrian detection apparatus for a driver assistance system in a night environment according to an embodiment of the present invention includes a pedestrian detection module 100, a baseline setting module 200, and a vector extraction module 300. And the determination module 400, and through each configuration, a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention as shown in FIG. 3 may be implemented. have.
  • step S100 a scaling ratio and a pedestrian searching area may be set and a pedestrian window may be detected with respect to the thermal image captured by the camera 10, and step S100 may be processed by the pedestrian detection module 100. Can be.
  • step S100 the detailed flow of step S100 will be described in detail with reference to FIG. 5.
  • FIG. 5 is a diagram illustrating a detailed flow of step S100 in the dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • setting a scaling ratio and a pedestrian search area and detecting a candidate pedestrian window S110.
  • extracting the Haar-Like feature and the OCS-LBP feature with respect to the candidate pedestrian window, and applying the random forest classifier to detect the pedestrian window S120.
  • a scaling ratio and a pedestrian search area may be set, and a candidate pedestrian window may be detected, and step S110 may be processed by the first detector 110.
  • a scaling ratio for pedestrian detection may be determined by applying adaptive scaling (S111), setting a pedestrian search region from an image captured by the camera 10 (S112), and
  • the candidate pedestrian window may be detected using the scaling ratio in the set pedestrian search area.
  • step S111 adaptive scaling may be applied to determine a scaling ratio for pedestrian detection, and step S111 may be processed by the scaling unit 111.
  • Adaptive scaling can be set by determining the optical level of image scaling.
  • FIG. 6 is a diagram illustrating a size of a pedestrian according to a distance in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • Images taken while driving a car should use a high resolution image to detect a distant pedestrian, and as shown in FIG. 6, pedestrians of various sizes exist in the image. Therefore, to detect the pedestrian, an algorithm for scaling the input image at various ratios and searching for the pedestrian in each scale image is required, but this method requires a lot of processing time. Since the most important factor for constructing a real-time pedestrian detection system is the processing speed of the system, it is very important to reduce the computational cost.
  • step S111 the maximum size and minimum size of the detectable pedestrian are set in advance, and the HWM (Hough Window Map) is constructed while adjusting the scaling ratio of the image from the minimum size to the maximum size for later learning video, and adaptive scaling By applying the algorithm to determine the image scaling ratio for the pedestrian detection, it can be applied more quickly when the pedestrian detection later.
  • HWM Haough Window Map
  • the pedestrian search area may be set from the image captured by the camera 10, and step S112 may be processed by the area setting unit 112.
  • a region-of-interest ROI
  • a region-of-interest may be set in consideration of a perspective view of an image captured by the camera 10. That is, since the ROI setting for the pedestrian detection is performed only for a region existing within an arbitrary distance from the vehicle in consideration of the installed camera 10 image, it is shown in FIG. 6 based on the Y coordinate of the image.
  • an area within a threshold may be set as an ROI area.
  • pedestrians can be detected more quickly by setting a pedestrian searching area according to the scaling ratio.
  • Keimyung University (KMU) data set as shown in (a) of FIG. 6, for pedestrians separated by 5m intervals from 5m to 30m, the maximum size and minimum of pedestrians. The size was determined. Considering the average height of males and females (male 174cm, female 160cm), 167cm is set as the average height, the size of the bounding box of pedestrian in the 640px by 480px image is shown in Table 1. Same as
  • the size of the pedestrian model is 1: 2.7, 1: 2.3, 1: 1.9 for pedestrians smaller than the pedestrian model size;
  • a total of six image scaling levels of 1: 0.5 can be derived for pedestrians larger than 1: 1.4, 1: 1.0, pedestrian model size.
  • the pedestrian search area may be finely adjusted according to the detected height of the pedestrian.
  • the distance between the vehicle and the pedestrian can also be calculated.
  • the candidate pedestrian window may be detected using the scaling ratio in the set pedestrian search area, and step S113 may be processed by the candidate detector 113. Since the scaling ratio and the pedestrian search area set in steps S111 and S112 are used, the candidate pedestrian window can be detected more quickly in step S113.
  • FIG. 7 is a diagram illustrating a detected candidate pedestrian window in a method and system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • the accuracy of pedestrian detection may be reduced. That is, as shown in (a) of FIG. 7, it is possible to detect pedestrians relatively accurately in spring, but as shown in (b), it is difficult to accurately detect pedestrians by heat energy in summer. Therefore, in step S110 of the present invention, the candidate region may be extracted from the thermal image, and the pedestrian window may be finally detected by verifying the candidate region in step S120, which will be described in detail below.
  • a Haar-Like feature and an Oriented Center Symmetric Local Binary Patterns (OCS-LBP) feature may be extracted from the candidate pedestrian window, and applied to a random forest classifier to detect a bounding box of pedestrian.
  • Step S120 may be processed by the second detector.
  • step S120 is a step of extracting a Haar-Like feature and an OCS-LBP feature for a candidate pedestrian window (S121), and a level of hierarchical random forest having two levels of the extracted Haar-like feature.
  • step S121 the Haar-Like feature and the OCS-LBP feature may be extracted with respect to the candidate pedestrian window, and step S121 may be processed by the feature extractor 121.
  • the Haar-like feature is designed to shorten the computation time and can produce a compact feature pattern.
  • the OCS-LBP feature can grasp the magnitude and direction of the pixel gradient.
  • FIG. 8 is a diagram illustrating a Harr-like feature designed for pedestrian detection in a dangerous pedestrian detection method and system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • ten different feature types have been devised.
  • Such Haar-like features are designed in consideration of the symmetry of the human body.
  • the OCS-LBP feature has a low number of dimensions while improving the disadvantage of losing the strength and direction information of the edge of the Center Symmetric Local Binary Pattern (CS-LBP) which is widely used for object detection.
  • CS-LBP Center Symmetric Local Binary Pattern
  • Cascade random forests may be used to verify whether the candidate area is a pedestrian or not.
  • CaRF consisting of two levels (cascade level) is used, the first level can use the Haar-like feature, the second level can use the OCS-LBP feature.
  • the extracted Haar-like feature may be applied to a level 1 random forest classifier of cascade random forests (CaRFs) composed of two levels to perform primary detection, and the level 1 classifier 122 ) Can handle.
  • CaRFs cascade random forests
  • step S123 the candidate pedestrian window detected in step S122 may be applied to the random forest classifier of level 2 using the extracted OCS-LBP feature to detect the final pedestrian window through secondary detection.
  • Step S123 may be processed by the level 2 classification unit 122.
  • FIG. 9 is a diagram illustrating CaRF used in a dangerous pedestrian detection method and system for a driver assistance system in a night environment according to an embodiment of the present invention.
  • a level 1 random forest classifier having previously learned a Haar-Like feature vector is pre-learned.
  • the pedestrian candidate window is first verified (S122), and the final pedestrian window can be detected by applying the OCS-LBP feature vector to the random forest classifier of the previously learned level for only the detected window (S122). S123).
  • Step S200 a reference line may be set in consideration of the traveling direction of the vehicle.
  • Step S200 may be processed by the baseline setting module 200.
  • step S200 of the method for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention includes setting an initial reference line using boundary lines and vanishing points of a roadway (S210). And changing the reference line according to the traveling direction of the vehicle (S220).
  • initial reference lines may be set using boundary lines and vanishing points of a road, and operation S210 may be processed by the reference line setting unit 210.
  • virtual reference lines may be set to overcome the limitation caused by the similarity of the thermal energy of the roadway and the sidewalk.
  • a reference line may be set using a driver's view and a vanishing point.
  • the initial reference line can be set from a captured image obtained from the FIR camera 10 mounted on the roof of the vehicle.
  • the boundary line of the roadway may be detected using a simple Sobel edge detector in the ROI, and a candidate baseline that minimizes the overlapping error of the boundary line may be set as the baseline.
  • FIG. 11 is a diagram illustrating a process of setting a reference line in consideration of a driving direction of a vehicle in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • the baseline setting algorithm of step S210 processed by the baseline setting unit 210 is summarized as follows.
  • the reference line may be changed according to the traveling direction of the vehicle, and step S220 may be processed by the reference line changing unit 220. That is, the fixed reference line as shown in (a) of FIG. 11 can be used only when the vehicle goes straight, and when the vehicle turns, the reference line must also be changed according to its direction and speed.
  • the reference line may be changed through an operation of determining a vehicle traveling direction by using an optical flow and a maximum likelihood estimation method (S221) and changing a reference line by moving a vanishing point according to the determined vehicle travel direction (S222).
  • the vehicle travel direction may be determined using the optical flow and the maximum likelihood estimation method, and may be processed by the direction determiner 221. That is, in order to extract the turning direction and angle without detecting the sidewalk, optical flow and maximum likelihood estimation can be used.
  • three vehicle driving directions Go-Straight (GS), Turn-Right (TR), and Turn-Left (TL), may be defined.
  • GS Go-Straight
  • TR Turn-Right
  • TL Turn-Left
  • FIG. 12 is a diagram illustrating a Gaussian distribution for each vehicle traveling direction in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention. That is, when the average and the covariance matrix of the features of each vehicle traveling direction are obtained and the two-dimensional Gaussian distribution is analyzed, it may be as shown in FIG. 12. Therefore, the conditional probability of the vehicle travel direction can be obtained from the optical flow vector. In the present invention, the vehicle travel direction can be more easily determined using the maximum likelihood estimation method.
  • the vanishing point may be moved according to the determined vehicle travel direction to change the reference line, and may be processed by the change processor 222. That is, when the vehicle traveling direction is determined, the reference line should be changed according to the turning angle of the vehicle. The shape of the reference line can be changed by moving the vanishing point in the turning direction. Vanishing point of time t according to Equation 1 ) Can be calculated.
  • v t-1 x and v t-1 y are the vanishing points at time t-1
  • k x and k y are parameters for adjusting the movement of the vanishing point, and can adjust the initial distance ratio between the center point and the vanishing point.
  • k x and k y may be set to 19.82 and 0.6, respectively.
  • 11 (b) and 11 (c) show a change of the baseline according to the vehicle traveling direction, for example.
  • the risk factor vector may be extracted using the detected pedestrian window and the reference line, and operation S300 may be processed by the vector extraction module 300.
  • the risk factor vector may include an overlapping ratio, a movement direction ratio, and a movement speed ratio.
  • FIG. 13 is a diagram illustrating a detailed flow of step S300 in a dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention.
  • step S300 of the dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention calculating the overlapping risk (S310), calculating the movement direction risk A step S320 and a step S330 of calculating a motion magnitude risk may be implemented.
  • FIG. 14 is a diagram illustrating a process of extracting a risk factor vector in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • step S300 of the dangerous pedestrian detection method for a driver assistance system in a night environment according to an embodiment of the present invention will be described in detail with reference to FIGS. 13 and 14.
  • an overlapping ratio may be calculated from the overlapping degree of the detected pedestrian window and the set reference line, and operation S310 may be processed by the first calculator 310.
  • the overlapping risk can be calculated by calculating the overlapping ratio between the pedestrian and the baseline (see FIG. 14A).
  • the overlap ratio OR (i) for the pedestrian i may be defined as in Equation 2 below.
  • RL is a baseline and BB (i) is a pedestrian window (bounding box) for pedestrian i. That is, OR (i) is 0 if BB (i) is outside the baseline, and OR (i) is 1 if BB (i) is completely inside the baseline.
  • a movement direction ratio may be calculated using the motion vector extracted from the pedestrian window, and operation S320 may be processed by the second calculator 320.
  • the pedestrian shows the direction from the outside of the image to the center.
  • the direction of dangerous movement of the pedestrian is from left to right in the left part of the image, and from right to left in the right part.
  • the movement direction of the pedestrian is defined as eight, and may be slightly inclined to emphasize the right and left directions (23 degrees). ).
  • the motion code M may be defined as in Equation 3 using the direction ⁇ of the optical flow.
  • the motion score of each motion code is designed to consider the pedestrian's left and right motions, the value can be largely calculated when the pedestrian moves to the left or the right.
  • the motion direction risk MD (i) of the pedestrian i may be calculated in the N optical flow using Equation 4 below.
  • Score ( ⁇ ) may mean a motion score defined in the motion code.
  • a movement speed ratio may be calculated using the size of the motion vector and the width of the pedestrian window, and operation S330 may be processed by the third calculator 330.
  • the speed of the optical flow that is, the magnitude (mag) and the estimated distance (dist) of the camera 10 and the pedestrian are used.
  • the magnitude of the motion magnitude can be derived. Even though the actual speed is the same, the movement size is different according to the distance.
  • the distance to the pedestrian can be derived from the size of the pedestrian window. From the pedestrian's motion size and distance, the speed MS (i) in the lateral direction of the pedestrian i in the optical flow N can be calculated by the following equation.
  • ⁇ ( ⁇ > 0) is a control parameter and was set to 0.25 in the present invention based on several experiments.
  • step S400 a risk score is calculated using the extracted risk factor vector, and if the calculated risk score is greater than or equal to a threshold value, it may be determined as a dangerous pedestrian. Step S400 may be processed by the determination module 400.
  • step S400 of the dangerous pedestrian detection method for a driver assistance system in a night environment includes estimating conditional probability by applying a hazard vector to a normal distribution function. (S410), calculating the risk score by combining the estimated conditional probabilities (S420) and determining the risk pedestrian if the calculated risk score is greater than or equal to the threshold value (S430).
  • step S400 is a diagram illustrating a process of determining a dangerous pedestrian in a method and a system for detecting a dangerous pedestrian for a driver assistance system in a night environment according to an embodiment of the present invention.
  • step S400 the detailed flow of step S400 will be described in detail with reference to FIGS. 15 and 16.
  • step S410 the extracted risk factor vector may be applied to a normal distribution function to estimate conditional probability, and step S410 may be processed by the probability estimator 410. That is, when the three feature information is extracted in step S300, as shown in (b) and (c) of FIG. 16, the three feature information extracted above is applied to the normal distribution function, respectively, that is, the risk for each pedestrian element, that is, Conditional probabilities can be measured.
  • a risk score may be calculated by combining the estimated conditional probability, and operation S420 may be processed by the score calculator 420.
  • the risk score may be calculated using naBayes and log likelihoods.
  • each risk is 1 and the minimum value is 0, inverse transformation may be performed on all features and a normal distribution may be generated (see FIGS. 16B and 16C).
  • each feature is defined as conditional independence, assuming the direction of turn is the same.
  • the risk score of the dangerous pedestrian may be calculated from naBayes.
  • Equation 7 if log likelihoods are used to solve the underflow problem, a result as shown in Equation 7 can be obtained.
  • step S430 if the calculated risk score is greater than or equal to the threshold value, the controller may determine that the vehicle is a dangerous pedestrian, and step S430 may be processed by the pedestrian determination unit 430. That is, when the value calculated by Equation 7 is equal to or greater than the threshold value T, it may be determined that there is a dangerous pedestrian (FIG. 16 (d)).
  • the threshold value may be, for example, 0.5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.

Description

야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
본 발명은 위험 보행자 검출 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 관한 것이다.
최근 ICT(intelligent transportation system) 기술을 활용한 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 관심이 증대되면서 카메라를 이용한 컴퓨터 비전 기반의 보행자 검출 시스템에 대한 연구가 활발하게 이루어지고 있다. 컴퓨터 비전 기반의 ADAS용 보행자 검출 연구는, 주로 주간에 일반적인 CCD(charge coupled device) 카메라를 이용하여 보행자를 검출하는 방법을 사용한다. 하지만 야간이나 우천, 안개 등으로 시야가 확대되지 못하는 경우에는 보행자를 검출하지 못하는 문제가 발생한다.
이러한 문제를 해결하기 위해 적외선 카메라(IR)를 사용하는 방법이 연구되고 있지만 반대편에서 접근하는 자동차의 강한 헤드라이트가 비추는 상황에서는 감지가 안 되는 문제점이 발생한다. 이러한 문제점을 해결하기 위해, 최근에는 사람의 몸에서 발생되는 원적외선(long wavelength IR)을 감지하는 열 영상 카메라를 이용하여 보행자를 검출하려는 연구가 진행되고 있다. 열 영상 카메라를 이용한 연구로는 영상의 픽셀 평균값과 최대 픽셀 값을 이용하여 임계값을 생성하고 영상을 이진화한 후 모폴로지 연산을 통한 잡음제거로 후보 영역을 생성한다.
이와 관련된 선행기술로서, 웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법이 개시된 바 있다(등록특허 제10-1178333호).
보행자 검출에서 고려해야할 두 가지 요소는 실시간 보행자 검출과 위험 보행자 판단방법이다. 특히 자동차는 빠른 속도로 이동하고 있으므로 상대적으로 해상도가 큰 영상을 사용해야만 멀리 떨어진 보행자를 검출할 수 있다. 또한, 보행자가 검출 되더라도 모든 보행자가 위험 대상자가 아니므로, 해당 보행자가 위험요소를 가진 보행자인지를 판단하고 위험요소를 가진 보행자라면 운전자에게 빠르게 알려주어 운전자가 그 상황에 대처하도록 해야 한다. 그러나 아직까지 이와 같은 사항을 모두 고려한 위험 보행자 검출 방법 및 시스템은 개발되지 못하고 있는 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은,
(1) 상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;
(2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;
(3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및
(4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)은,
(1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및
(1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (1-1)은,
(1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;
(1-1-2) 상기 카메라로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및
(1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (1-2)에서는,
(1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;
(1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및
(1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (2)는,
(2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및
(2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2)는,
(2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및
(2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함할 수 있다.
바람직하게는, 상기 위험 요소 벡터는,
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (3)은,
(3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;
(3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및
(3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (4)에서는,
(4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;
(4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및
(4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (4-2)에서는,
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템은,
차량에 설치되어 열 영상을 획득하는 카메라; 및
상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치를 포함하며,
상기 분석 장치는,
상기 카메라로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈;
차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈;
상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈; 및
상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 카메라는,
상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득할 수 있다.
바람직하게는, 상기 보행자 검출 모듈은,
상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부; 및
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부를 포함할 수 있다.
더욱 바람직하게는, 상기 제1 검출부는,
적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부;
상기 카메라로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부; 및
상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부를 포함할 수 있다.
더욱 바람직하게는, 상기 제2 검출부는,
상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부;
상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부; 및
상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부를 포함할 수 있다.
바람직하게는, 상기 기준선 설정 모듈은,
차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 기준선 설정부; 및
차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부를 포함할 수 있다.
더욱 바람직하게는, 상기 기준선 변경부는,
옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부; 및
상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부를 포함할 수 있다.
바람직하게는, 상기 위험 요소 벡터는,
겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.
더욱 바람직하게는, 상기 벡터 추출 모듈은,
상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부;
상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부; 및
상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부를 포함할 수 있다.
바람직하게는, 상기 판단 모듈에서는,
상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부;
상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부; 및
상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부를 포함할 수 있다.
더욱 바람직하게는, 상기 스코어 산출부는,
나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출할 수 있다.
바람직하게는,
상기 분석 장치에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치를 더 포함할 수 있다.
본 발명에서 제안하고 있는 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에 따르면, 스케일링 비율 및 보행자 탐색 영역을 설정하고 보행자 윈도우를 검출함으로써, 처리 시간을 단축하고 신속하게 보행자를 검출할 수 있으며, 차량의 진행 방향을 고려하여 기준선을 설정하고 위험 보행자를 판단함으로써, 보다 정확하게 보행자의 위험성을 결정할 수 있다.
또한, 본 발명에 따르면, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 고려하여 위험 보행자를 판단함으로써, 보행자의 다양한 특징을 고려하여 위험요소를 가진 보행자인지 여부를 정확하게 판단할 수 있다.
도 1은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 카메라가 설치된 차량을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 분석 장치의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 거리에 따른 보행자의 크기를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 검출된 후보 보행자 윈도우를 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 보행자 검출을 위해 디자인 된 Harr-like 특징을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서 사용된 CaRF를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 차량의 진행 방향을 고려하여 기준선을 설정하는 과정을 예를 들어 도시한 도면.
도 12는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 각 차량 진행 방향에 대한 가우시안 분포를 도시한 도면.
도 13은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 14는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 요소 벡터를 추출하는 과정을 예를 들어 도시한 도면.
도 15는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 16은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 보행자를 판단하는 과정을 도시한 도면.
<부호의 설명>
10: 카메라 20: 분석 장치
30: 경보 장치 100: 보행자 검출 모듈
200: 기준선 설정 모듈 300: 벡터 추출 모듈
400: 판단 모듈
S100: 보행자 윈도우를 검출하는 단계
S200: 차량의 진행 방향을 고려하여 기준선을 설정하는 단계
S300: 위험 요소 벡터를 추출하는 단계
S400: 위험 보행자를 판단하는 단계
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템은, 카메라(10) 및 분석 장치(20)를 포함하여 구성될 수 있으며, 경보 장치(30)를 더 포함하여 구성될 수 있다.
카메라(10)는, 차량에 설치되어 열 영상을 획득할 수 있다. 특히, 카메라(10)는, 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득할 수 있다.
도 2는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 카메라(10)가 설치된 차량을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서는, 차량의 지붕에 설치된 원적외선 카메라(10)를 이용할 수 있다. 즉, 본 발명에서는, 차량의 강한 헤드라이트 등과 관계없이 사람의 몸에서 발생되는 원적외선을 이용해 효과적으로 보행자를 검출할 수 있다.
분석 장치(20)는, 획득된 열 영상으로부터 위험 보행자를 판단할 수 있다. 즉, 분석 장치(20)는 열 영상으로부터 보행자를 검출하고, 검출된 보행자가 위험 보행자인지 여부를 판단하는 구성으로서, 추후 도 4를 참조하여 상세히 설명하도록 한다.
경보 장치(30)는, 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생할 수 있다. 즉, 위험 보행자가 나타났음을 운전자에게 신속하게 알리기 위한 구성으로서, 시각적, 청각적, 촉각적 자극을 이용해 경보를 발생할 수 있다.
도 3은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은, 보행자 윈도우를 검출하는 단계(S100), 차량의 진행 방향을 고려하여 기준선을 설정하는 단계(S200), 위험 요소 벡터를 추출하는 단계(S300) 및 위험 보행자를 판단하는 단계(S400)를 포함하여 구성될 수 있다.
도 4는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템에서, 분석 장치(20)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 장치는, 보행자 검출 모듈(100), 기준선 설정 모듈(200), 벡터 추출 모듈(300) 및 판단 모듈(400)을 포함하여 구성될 수 있으며, 각 구성을 통해 도 3에 도시된 바와 같은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법을 구현할 수 있다.
단계 S100에서는, 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출할 수 있으며, 단계 S100은 보행자 검출 모듈(100)에 의해 처리될 수 있다. 이하에서는, 도 5를 참조하여 단계 S100의 세부적인 흐름에 대해여 상세히 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법은, 스케일링 비율 및 보행자 탐색 영역을 설정하고 후보 보행자 윈도우를 검출하는 단계(S110) 및 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우 검출하는 단계(S120)를 포함하여 구현될 수 있다.
단계 S110에서는, 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출할 수 있으며, 단계 S110은 제1 검출부(110)에 의해 처리될 수 있다. 도 5에 도시된 바와 같이, 단계 S110은 적응 스케일링을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계(S111), 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계(S112) 및 설정된 보행자 탐색 영역에서 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계(S113)를 포함하여 구현될 수 있다.
단계 S111에서는, 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정할 수 있으며, 단계 S111은 스케일링부(111)에 의해 처리될 수 있다. 적응 스케일링은, 이미지 스케일링(image scaling)의 optical level을 결정하여 설정될 수 있다.
도 6은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 거리에 따른 보행자의 크기를 도시한 도면이다. 자동차 주행 시 촬영되는 영상은 원거리 보행자를 검출해 내기 위해 고해상도 영상을 사용해야 하며, 도 6에 도시된 바와 같이, 영상 안에 다양한 크기의 보행자가 존재한다. 따라서 보행자 검출을 위해서는 입력 영상을 다양한 비율로 스케일링하고 각 스케일 영상에서 보행자를 탐색하는 알고리즘이 필요하지만, 이러한 방법은 많은 처리시간을 요구한다. 실시간 보행자 검출 시스템을 구성하기 위한 가장 중요한 요소는 시스템의 처리속도 문제이므로, 계산 비용(computational cost)을 줄이는 것이 매우 중요하다.
따라서 단계 S111에서는, 검출 가능한 보행자의 최대 크기와 최소 크기를 사전에 설정하고, 추후 학습 비디오에 대해서 최소 크기에서 최대크기까지 영상의 스케일링 비율을 조정하면서 HWM(Hough Window Map)을 구성하고, 적응 스케일링 알고리즘을 적용하여 보행자 검출을 위한 영상 스케일링 비율을 결정함으로써, 추후 보행자 검출 시 보다 신속하게 적용을 할 수 있다.
단계 S112에서는, 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정할 수 있으며, 단계 S112는 영역 설정부(112)에 의해 처리될 수 있다. 단계 S112에서는, 카메라(10)에서 촬영되는 영상의 투시도(perspective view)를 고려하여, 관심 영역(region-of-interest; ROI)을 설정할 수 있다. 즉, 보행자 검출을 위한 관심 ROI 설정은 설치된 카메라(10) 영상을 고려하여 차량과의 임의의 거리 내에 존재하는 영역에 대해서만 보행자 검출 윈도우를 실행하면 되므로, 영상의 Y좌표를 기준으로 도 6에 도시된 바와 같이, 임계값 이내에 있는 영역을 ROI 영역으로 설정할 수 있다. 또한, 관심 영역 내에서도, 스케일링 비율에 따라 보행자 탐색 영역(searching area)을 설정함으로써, 보다 신속하게 보행자를 검출할 수 있다.
따라서 보행자의 위치와 크기를 알고 있으면, 검색 영역과 스케일링 비율을 설정할 수 있다.
실험예
본 발명에서는, KMU(Keimyung University) 데이터 셋을 이용해 도 6의 (a)에 도시된 바와 같이 카메라(10)와의 거리가 5m부터 30m까지 5m 간격으로 떨어져있는 보행자에 대하여, 보행자의 최대 크기와 최소 크기를 결정하였다. 한국인 성인 남녀의 평균 신장(남성 174㎝, 여성 160㎝)을 고려하여, 167㎝를 평균 신장으로 설정하면, 640픽셀×480픽셀 크기의 이미지에서 보행자 윈도우(bounding box of pedestrian)의 크기는 표 1과 같다.
표 1
Figure PCTKR2015006034-appb-T000001
보행자 윈도우를 평균한 108×47을 보행자 모델 사이즈로 정하면, 보행자 모델 사이즈보다 작은 보행자에 대해서는 1:2.7, 1:2.3, 1:1.9; 1:1.4, 1:1.0, 보행자 모델 사이즈보다 큰 보행자에 대해서는 1:0.5의 총 6개의 이미지 스케일링 레벨이 도출될 수 있다.
한편, 도 6의 (b)에 도시된 바와 같이, 검출된 보행자의 키에 따라 보행자 탐색 영역은 미세하게 조정될 수 있다. 보행자 윈도우의 크기와 위치를 검출하면, 차량과 보행자 사이의 거리도 산출할 수 있다.
단계 S113에서는, 설정된 보행자 탐색 영역에서 스케일링 비율을 이용해 후보 보행자 윈도우를 검출할 수 있으며, 단계 S113은 후보 검출부(113)에 의해 처리될 수 있다. 단계 S111 및 단계 S112에서 설정된 스케일링 비율 및 보행자 탐색 영역을 이용하므로, 단계 S113에서는 보다 신속하게 후보 보행자 윈도우를 검출할 수 있다.
도 7은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 검출된 후보 보행자 윈도우를 예를 들어 도시한 도면이다. 원적외선 열 영상 카메라(10)를 이용하는 경우, 여름에는 배경 열에너지와 보행자의 열에너지가 비슷하기 때문에, 보행자 검출의 정확도가 저하될 수 있다. 즉, 도 7의 (a)에 도시된 바와 같이, 봄에는 비교적 정확하게 보행자를 검출할 수 있으나, (b)에 도시된 바와 같이 여름에는 열에너지로 정확하게 보행자를 검출하기 어려운 것을 확인할 수 있다. 따라서 본 발명의 단계 S110에서는 열 영상으로부터 후보 영역을 추출하고, 이하에서 상세히 설명할 단계 S120에서 후보 영역을 검증함으로써 최종적으로 보행자 윈도우를 검출할 수 있다.
단계 S120에서는, 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출할 수 있다. 단계 S120은 제2 검출부에 의해 처리될 수 있다. 도 5에 도시된 바와 같이, 단계 S120은 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계(S121), 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계(S122) 및 추출한 OCS-LBP 특징을 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해 최종적인 보행자 윈도우를 검출하는 단계(S123)를 포함하여 구현될 수 있다.
단계 S121에서는, 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출할 수 있으며, 단계 S121은 특징 추출부(121)에 의해 처리될 수 있다. 여기에서, Haar-like 특징은 계산 시간 단축을 위한 것으로 콤팩트한 특징 패턴을 생산할 수 있고, OCS-LBP 특징은 픽셀의 기울기 크기와 방향을 파악할 수 있다.
도 8은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 보행자 검출을 위해 디자인 된 Harr-like 특징을 도시한 도면이다. 본 발명에서는 서로 다른 10개의 특징 타입을 고안하였으며, 이와 같은 Haar-like 특징은 인간의 신체의 대칭을 고려하여 디자인되었다.
한편, OCS-LBP 특징은 객체 검출을 위해 많이 사용되는 Center Symmetric Local Binary Pattern(CS-LBP)의 에지의 강도와 방향 정보를 상실하는 단점을 개선하면서 낮은 차원 수를 가지는 특징이 있다. 후보 윈도우를 4×4 파트 영역으로 분할 한 후, 각각의 서브 블록에서 8차원의 히스토그램에서 특징 벡터를 생성하며, 하나의 후보 윈도우에서는 128차원의 특징벡터가 생성될 수 있다.
그 다음, 후보 영역이 보행자인지 아닌지를 검증하기 위하여, 계층적 랜덤 포레스트(Cascade random forests; CaRF)를 이용할 수 있다. 본 발명에서는 두 개의 레벨(cascade level)로 구성된 CaRF를 사용하였는데, 첫 번째 레벨에서는 Haar-like 특징을 사용하고, 두 번째 레벨에서는 OCS-LBP 특징을 사용할 수 있다.
단계 S122에서는, 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 할 수 있으며, 레벨1 분류부(122)가 처리할 수 있다.
단계 S123에서는, 단계 S122에서 검출된 후보 보행자 윈도우에 대하여, 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출할 수 있다. 단계 S123은 레벨2 분류부(122)에서 처리될 수 있다.
도 9는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서 사용된 CaRF를 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서는, 먼저 Haar-Like 특징 벡터를 사전에 학습된 레벨 1의 랜덤 포레스트 분류기에 적용하여 보행자 후보 윈도우를 1차적으로 검증하고(S122), 검출된 윈도우에 대해서만 OCS-LBP 특징 벡터를 사전에 학습된 레벨 2의 랜덤 포레스트 분류기에 적용하여 최종적인 보행자 윈도우를 검출할 수 있다(S123).
단계 S200에서는, 차량의 진행 방향을 고려하여 기준선(reference line)을 설정할 수 있다. 단계 S200은 기준선 설정 모듈(200)에 의해 처리될 수 있다.
도 10은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S200은, 차도의 경계선과 소실점을 이용해 최초 기준선을 설정하는 단계(S210) 및 차량의 진행 방향에 따라 기준선을 변경시키는 단계(S220)를 포함하여 구현될 수 있다.
단계 S210에서는, 차도(road)의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정할 수 있으며, 단계 S210은 기준선 설정부(210)에 의해 처리될 수 있다. 단계 S210에서는, 차도와 보도의 열에너지가 유사한 데 따른 한계를 극복하기 위해 가상의 기준선(virtual reference lines)을 설정할 수 있다. 종래기술과는 달리, 본 발명에서는 운전자의 시야(driver's view)와 소실점을 이용해 기준선을 설정할 수 있다. 최초의 기준선(initial reference line)은 차량의 지붕 위에 설치된 FIR 카메라(10)로부터 얻은 캡처사진(captured image)로부터 설정될 수 있다. 차도의 경계선은 ROI 내에서 simple Sobel edge detector를 이용해 검출될 수 있고, 경계선의 겹침 에러(overlapping error)가 최소가 되는 후보 기준선을 기준선으로 설정할 수 있다.
도 11은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 차량의 진행 방향을 고려하여 기준선을 설정하는 과정을 예를 들어 도시한 도면이다. 도 11의 (a)를 참조하여 기준선 설정부(210)에서 처리되는 단계 S210의 기준선 설정 알고리즘을 요약하면 다음과 같다.
1. 이미지를 세로로 분할하는 수직 방향의 중심선을 그리고, 중심선을 따라 소실점 후보 세트를 만든다.
2. edge detector를 이용해 도로의 경계 픽셀, 즉 경계선을 검출한다.
3. 소실점 후보를 선택하여, 기준선 후보를 그린다.
4. 경계선과 기준선 사이의 겹침 에러를 계산한다.
5. 소실점 후보 세트에 포함되는 모든 소실점 후보에 대하여 3 및 4를 반복한다.
6. 겹침 에러가 최소가 되는 소실점을 찾아 최초 기준선으로 설정한다.
단계 S220에서는, 차량의 진행 방향에 따라 기준선을 변경시킬 수 있으며, 단계 S220은 기준선 변경부(220)에 의해 처리될 수 있다. 즉, 도 11의 (a)에 도시된 바와 같은 고정된 기준선은 차량이 직진할 때에만 사용이 가능하며, 차량이 선회하는 경우에는 그 방향과 속력에 따라 기준선 또한 변경되어야 한다. 단계 S220은 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계(S221) 및 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계(S222)를 통해 기준선을 변경시킬 수 있다.
단계 S221에서는, 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정할 수 있으며, 방향 결정부(221)에 의해 처리될 수 있다. 즉, 보도의 검출 없이 선회 방향과 각도를 추출하기 위해서, 옵티컬 플로우(optical flow)와 최대우도추정법(maximum likelihood estimation)을 사용할 수 있다. 본 발명의 단계 S221에서는, 직진(Go-Straight; GS), 우회전(Turn-Right; TR) 및 좌회전(Turn-Left; TL)의 세 가지 차량 진행 방향을 정의할 수 있다. 먼저, 각각의 차량 진행 방향에 대한 옵티컬 플로우의 x 방향과 y 방향의 벡터 특징을 수집할 수 있다.
도 12는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 각 차량 진행 방향에 대한 가우시안 분포를 도시한 도면이다. 즉, 각 차량 진행 방향에 대한 특징들의 평균과 공분산 행렬(covariance matrix)을 구하여 2차원의 가우시안 분포를 분석하면, 도 12에 도시된 바와 같을 수 있다. 따라서 옵티컬 플로우 벡터로부터 차량 진행 방향의 조건부 확률을 구할 수 있는데, 본 발명에서는 최대우도추정법을 이용해 보다 용이하게 차량 진행 방향을 결정할 수 있다.
단계 S222에서는, 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시킬 수 있으며, 변경 처리부(222)에 의해 처리될 수 있다. 즉, 차량 진행 방향이 결정되면 차량의 선회 각도에 따라 기준선을 변경해야 한다. 기준선의 형태는 소실점을 선회 방향으로 이동시킴으로써 변경할 수 있다. 다음 수학식 1에 따라 시간 t의 소실점(
Figure PCTKR2015006034-appb-I000001
)을 계산할 수 있다.
수학식 1
Figure PCTKR2015006034-appb-M000001
여기서, vt-1 x 및 vt-1 y는 시간 t-1의 소실점, 및
Figure PCTKR2015006034-appb-I000003
는 시간 t에서의 선회 방향(turning direction)의 x와 y 방향의 평균 벡터, kx 및 ky는 소실점의 움직임을 조절하기 위한 파라미터로서, 중심점과 소실점 사이의 초기 거리 비율을 조정할 수 있다. 실험에 따르면 kx 및 ky는 각각 19.82 및 0.6으로 설정될 수 있다. 도 11의 (b) 및 (c)에는 차량 진행 방향에 따른 기준선 변경이 예를 들어 도시되었다.
단계 S300에서는, 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출할 수 있으며, 단계 S300은 벡터 추출 모듈(300)에 의해 처리될 수 있다. 여기에서, 위험 요소 벡터는, 겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함할 수 있다.
도 13은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S300은, 겹침 위험도를 산출하는 단계(S310), 움직임 방향 위험도를 산출하는 단계(S320) 및 움직임 크기 위험도를 산출하는 단계(S330)를 포함하여 구현될 수 있다.
도 14는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 요소 벡터를 추출하는 과정을 예를 들어 도시한 도면이다. 이하에서는, 도 13 및 도 14를 참조하여, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S300의 세부적인 흐름에 대하여 상세히 설명하도록 한다.
단계 S310에서는, 검출된 보행자 윈도우와 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출할 수 있으며, 단계 S310은 제1 산출부(310)에 의해 처리될 수 있다. 겹침 위험도는, 보행자와 기준선 사이의 겹침 비율(overlapping ratio)을 계산함으로써 산출될 수 있다(도 14의 (a) 참조). 보행자가 기준선을 왼쪽 또는 오른쪽에서 지나갈 때, 보행자 i에 대한 겹침 비율 OR(i)은 다음 수학식 2와 같이 정의될 수 있다.
수학식 2
Figure PCTKR2015006034-appb-M000002
여기서, RL은 기준선, BB(i)는 보행자 i에 대한 보행자 윈도우(bounding box)이다. 즉, BB(i)가 기준선 밖에 있으면 OR(i)는 0이고, BB(i)가 기준선 안으로 완전히 들어오면 OR(i)는 1이 된다.
단계 S320에서는, 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출할 수 있으며, 단계 S320은 제2 산출부(320)에 의해 처리될 수 있다.
자동차 앞으로 갑자기 뛰어드는 보행자의 움직임 방향을 분석해보면, 보행자는 영상의 외곽에서 중심으로 뛰어 오는 방향성을 보인다. 다시 말해 보행자의 위험 움직임 방향은 영상의 왼쪽 영역(Left Part)에서는 좌측에서 우측 방향을 보이며, 오른쪽 영역(Right Part)에서는 우측에서 좌측 방향을 보인다. 이런 사실을 이용하여, 본 발명에서는 도 14의 (b)에 도시된 바와 같이, 보행자의 움직임 방향을 8개로 정의하였으며, 오른쪽과 왼쪽으로의 방향성을 강조하기 위하여 약간 기울어져 있을 수 있다(23도). 모션 코드 M은 옵티컬 플로우의 방향(θ)을 이용해 다음 수학식 3과 같이 정의될 수 있다.
수학식 3
Figure PCTKR2015006034-appb-M000003
각 모션 코드의 모션 스코어는 보행자의 좌우모션을 고려하도록 디자인되었으므로, 왼쪽 또는 오른쪽으로 보행자가 움직일 때 그 값이 크게 산출될 수 있다. 보행자 윈도우의 모션을 추출한 다음, 다음 수학식 4를 이용해 N 옵티컬 플로우에서 보행자 i의 움직임 방향 위험도 MD(i)를 산출할 수 있다.
수학식 4
Figure PCTKR2015006034-appb-M000004
여기서, Score(ㆍ)는 모션 코드에서 정의된 모션 스코어를 의미할 수 있다.
단계 S330에서는, 움직임 벡터의 크기와 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출할 수 있으며, 단계 S330은 제3 산출부(330)에 의해 처리될 수 있다.
도 14의 (c)에 도시된 바와 같이, 보행자가 갑자기 도로로 뛰어들 때 위험 상황이 발생하므로, 옵티컬 플로우의 속력, 즉 크기(mag) 및 카메라(10)와 보행자의 추정 거리(dist)를 이용해 움직임 크기 위험도를 도출할 수 있다. 실제 속력이 같더라도 거리에 따라 움직임 크기는 상이하므로, 도 2 및 도 6의 (a)에 도시된 바와 같이, 보행자 윈도우의 크기로부터 보행자까지의 거리를 도출할 수 있다. 보행자의 움직임 크기와 거리로부터, 옵티컬 플로우 N에서 보행자 i의 측면 방향의 속력(MS(i))은 다음 수학식 5에 의해 계산될 수 있다.
수학식 5
Figure PCTKR2015006034-appb-M000005
여기서, ν(ν>0)는 컨트롤 파라미터이며, 몇 번의 실험을 기준으로 본 발명에서는 0.25로 설정하였다.
단계 S400에서는, 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단할 수 있다. 단계 S400은 판단 모듈(400)에 의해 처리될 수 있다.
도 15는 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 15에 도시된 바와 같이, 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법의 단계 S400은, 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계(S410), 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계(S420) 및 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계(S430)를 포함하여 구현될 수 있다.
도 16은 본 발명의 일실시예에 따른 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템에서, 위험 보행자를 판단하는 과정을 도시한 도면이다. 이하에서는, 도 15 및 도 16을 참조하여 단계 S400의 세부적인 흐름에 대하여 상세히 설명하도록 한다.
단계 S410에서는, 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정할 수 있으며, 단계 S410은 확률 추정부(410)에 의해 처리될 수 있다. 즉, 단계 S300에서 3가지 특징 정보가 추출되면, 도 16의 (b) 및 (c)에 도시된 바와 같이, 앞서 추출된 3가지 특징 정보를 각각 정규분포 함수에 적용하여 보행자 요소별 위험도, 즉 조건부 확률을 측정할 수 있다.
단계 S420에서는, 추정된 조건부 확률을 조합하여 위험도 스코어를 산출할 수 있으며, 단계 S420은 스코어 산출부(420)에 의해 처리될 수 있다. 단계 S420에서는, 나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 위험도 스코어를 산출할 수 있다.
각 위험도의 최대값은 1이고, 최소값은 0이므로, 모든 특징에 대하여 역변환(inverse transformation)을 하고, 정규 분포를 생성할 수 있다(도 16의 (b) 및 (c) 참조). 위험 보행자가 나타날 확률을 계산하기 위하여, 선회 방향이 동일하다는 가정 하에, 각 특징들을 조건부 독립으로 정의한다. 다음 수학식 6과 같이 나이브 베이즈(naBayes)로부터 위험 보행자의 위험도 스코어를 산출할 수 있다.
수학식 6
Figure PCTKR2015006034-appb-M000006
여기서, 언더플로우 문제를 해결하기 위하여 로그 우도(log likelihoods)를 사용하면, 다음 수학식 7과 같은 결과를 도출할 수 있다.
수학식 7
Figure PCTKR2015006034-appb-M000007
단계 S430에서는, 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단할 수 있으며, 단계 S430은 보행자 판단부(430)에 의해 처리될 수 있다. 즉, 수학식 7에 의해 산출된 값이 임계값 T 이상이면, 위험 보행자가 있는 것으로 판단할 수 있으며(도 16의 (d)), 본 발명에서 임계값은 예를 들어 0.5일 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (22)

  1. 차량에 설치된 카메라(10)를 이용한 위험 보행자 결정 방법으로서,
    (1) 상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 단계;
    (2) 차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 단계;
    (3) 상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 단계; 및
    (4) 상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  2. 제1항에 있어서, 상기 단계 (1)은,
    (1-1) 상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 단계; 및
    (1-2) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  3. 제2항에 있어서, 상기 단계 (1-1)은,
    (1-1-1) 적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 단계;
    (1-1-2) 상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 단계; 및
    (1-1-3) 상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  4. 제2항에 있어서, 상기 단계 (1-2)에서는,
    (1-2-1) 상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 단계;
    (1-2-2) 상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 단계; 및
    (1-2-3) 상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  5. 제1항에 있어서, 상기 단계 (2)는,
    (2-1) 차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 설정하는 단계; 및
    (2-2) 차량의 진행 방향에 따라 상기 기준선을 변경시키는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  6. 제5항에 있어서, 상기 단계 (2-2)는,
    (2-2-1) 옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 단계; 및
    (2-2-2) 상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  7. 제1항에 있어서, 상기 위험 요소 벡터는,
    겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  8. 제7항에 있어서, 상기 단계 (3)은,
    (3-1) 상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 단계;
    (3-2) 상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 단계; 및
    (3-3) 상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  9. 제1항에 있어서, 상기 단계 (4)에서는,
    (4-1) 상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 단계;
    (4-2) 상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 단계; 및
    (4-3) 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 단계를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  10. 제9항에 있어서, 상기 단계 (4-2)에서는,
    나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  11. 위험 보행자 결정 시스템으로서,
    차량에 설치되어 열 영상을 획득하는 카메라(10); 및
    상기 획득된 열 영상으로부터 위험 보행자를 판단하는 분석 장치(20)를 포함하며,
    상기 분석 장치(20)는,
    상기 카메라(10)로부터 촬영되는 열 영상에 대하여, 스케일링 비율 및 보행자 탐색 영역(searching area)을 설정하고, 보행자 윈도우를 검출하는 보행자 검출 모듈(100);
    차량의 진행 방향을 고려하여 기준선(reference line)을 설정하는 기준선 설정 모듈(200);
    상기 검출된 보행자 윈도우와 기준선을 이용해, 위험 요소 벡터를 추출하는 벡터 추출 모듈(300); 및
    상기 추출된 위험 요소 벡터를 이용해 위험도 스코어를 산출하며, 상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 판단 모듈(400)을 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  12. 제11항에 있어서, 상기 카메라(10)는,
    상기 차량의 지붕에 설치되며, 원적외선(far-infrared; FIR)을 이용해 열 영상을 획득하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  13. 제11항에 있어서, 상기 보행자 검출 모듈(100)은,
    상기 스케일링 비율 및 보행자 탐색 영역을 설정하고, 후보 보행자 윈도우를 검출하는 제1 검출부(110); 및
    상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP(Oriented Center Symmetric Local Binary Patterns) 특징을 추출하고, 랜덤 포레스트 분류기에 적용하여 보행자 윈도우(bounding box of pedestrian)를 검출하는 제2 검출부(120)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  14. 제13항에 있어서, 상기 제1 검출부(110)는,
    적응 스케일링(adaptive scaling)을 적용하여 보행자 검출을 위한 스케일링 비율을 결정하는 스케일링부(111);
    상기 카메라(10)로부터 촬영되는 영상으로부터 보행자 탐색 영역을 설정하는 영역 설정부(112); 및
    상기 설정된 보행자 탐색 영역에서 상기 스케일링 비율을 이용해 후보 보행자 윈도우를 검출하는 후보 검출부(113)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  15. 제13항에 있어서, 상기 제2 검출부(120)는,
    상기 후보 보행자 윈도우에 대하여 Haar-Like 특징 및 OCS-LBP 특징을 추출하는 특징 추출부(121);
    상기 추출한 Haar-like 특징을 2개의 레벨로 구성된 계층적 랜덤 포레스트(Cascade random forests; CaRF)의 레벨 1의 랜덤 포레스트 분류기에 적용하여 1차 검출을 하는 레벨1 분류부(122); 및
    상기 단계 (1-2-2)에서 검출된 후보 보행자 윈도우에 대하여, 상기 추출한 OCS-LBP 특징으로 레벨 2의 랜덤 포레스트 분류기에 적용하여 2차 검출을 통해, 최종적인 보행자 윈도우를 검출하는 레벨2 분류부(122)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  16. 제11항에 있어서, 상기 기준선 설정 모듈(200)은,
    차도의 경계선(boundary lines)과 소실점(vanishing point)을 이용해 최초 기준선(initial reference lines)을 기준선 설정부(210); 및
    차량의 진행 방향에 따라 상기 기준선을 변경시키는 기준선 변경부(220)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  17. 제16항에 있어서, 상기 기준선 변경부(220)는,
    옵티컬 플로우 및 최대우도추정법을 이용해 차량 진행 방향을 결정하는 방향 결정부(221); 및
    상기 결정된 차량 진행 방향에 따라 소실점을 이동시켜, 기준선을 변경시키는 변경 처리부(222)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  18. 제11항에 있어서, 상기 위험 요소 벡터는,
    겹침 위험도(Overlapping ratio), 움직임 방향 위험도(Movement direction ratio) 및 움직임 크기 위험도(Movement speed ratio)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  19. 제18항에 있어서, 상기 벡터 추출 모듈(300)은,
    상기 검출된 보행자 윈도우와 상기 설정된 기준선의 겹쳐진 정도로부터 겹침 위험도(Overlapping ratio)를 산출하는 제1 산출부(310);
    상기 보행자 윈도우에서 추출된 움직임 벡터를 이용해 움직임 방향 위험도(Movement direction ratio)를 산출하는 제2 산출부(320); 및
    상기 움직임 벡터의 크기와 상기 보행자 윈도우의 너비를 이용해 움직임 크기 위험도(Movement speed ratio)를 산출하는 제3 산출부(330)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  20. 제11항에 있어서, 상기 판단 모듈(400)에서는,
    상기 추출된 위험 요소 벡터를 정규 분포 함수에 적용하여 조건부 확률을 추정하는 확률 추정부(410);
    상기 추정된 조건부 확률을 조합하여 위험도 스코어를 산출하는 스코어 산출부(420); 및
    상기 산출된 위험도 스코어가 임계값 이상이면 위험 보행자로 판단하는 보행자 판단부(430)를 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법.
  21. 제20항에 있어서, 상기 스코어 산출부(420)는,
    나이브 베이즈(naBayes) 및 로그 우도(log likelihoods)를 이용하여 상기 위험도 스코어를 산출하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
  22. 제11항에 있어서,
    상기 분석 장치(20)에서 위험 보행자로 판단되면, 경보를 발생하는 경보 장치(30)를 더 포함하는 것을 특징으로 하는, 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 시스템.
PCT/KR2015/006034 2014-12-01 2015-06-15 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템 WO2016088960A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140170078A KR101663574B1 (ko) 2014-12-01 2014-12-01 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
KR10-2014-0170078 2014-12-01

Publications (1)

Publication Number Publication Date
WO2016088960A1 true WO2016088960A1 (ko) 2016-06-09

Family

ID=56091883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006034 WO2016088960A1 (ko) 2014-12-01 2015-06-15 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101663574B1 (ko)
WO (1) WO2016088960A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023650B (zh) * 2016-07-01 2018-11-30 南京邮电大学 基于交通路口视频及计算机并行处理的实时行人预警方法
CN109389073A (zh) * 2018-09-29 2019-02-26 北京工业大学 通过车载摄像头确定检测行人区域的方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101947280B1 (ko) * 2017-09-15 2019-05-08 한국교통대학교산학협력단 보행자 보호 시스템 및 방법
KR101976952B1 (ko) * 2017-11-01 2019-05-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법
CN109017799A (zh) * 2018-04-03 2018-12-18 张锐明 一种新能源汽车驾驶行为预测方法
KR102183963B1 (ko) 2019-05-20 2020-11-27 인천대학교 산학협력단 보행자 감지 장치 및 거리 측정 방법
KR102238271B1 (ko) * 2019-06-24 2021-04-09 계명대학교 산학협력단 저사양 실시간 동작을 위한 경량 다층 랜덤 포레스트 분류기 및 이를 이용한 분류 방법
US20230169777A1 (en) * 2021-11-30 2023-06-01 Zoox, Inc. Center-based detection and tracking

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090748A (ja) * 2006-10-04 2008-04-17 Toyota Motor Corp 車輌用警報装置
KR20100113371A (ko) * 2009-04-13 2010-10-21 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
KR101178333B1 (ko) * 2012-02-20 2012-08-29 주식회사 에스엠이씨 웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법
KR20140071121A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 보행자 행동 패턴 인지를 통한 차등 경고 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090748A (ja) * 2006-10-04 2008-04-17 Toyota Motor Corp 車輌用警報装置
KR20100113371A (ko) * 2009-04-13 2010-10-21 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
KR101178333B1 (ko) * 2012-02-20 2012-08-29 주식회사 에스엠이씨 웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법
KR20140071121A (ko) * 2012-12-03 2014-06-11 현대자동차주식회사 보행자 행동 패턴 인지를 통한 차등 경고 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEONG, MI RA ET AL.: "Detection of Sudden Pedestrian Crossings using The Thermal Camera Installed in The Vehicle", KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS, PROCEEDINGS OF KOREA COMPUTER CONGRESS, vol. 14, 20 June 2014 (2014-06-20), pages 668 - 670, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Journal/ArlicleDetail/3474663> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023650B (zh) * 2016-07-01 2018-11-30 南京邮电大学 基于交通路口视频及计算机并行处理的实时行人预警方法
CN109389073A (zh) * 2018-09-29 2019-02-26 北京工业大学 通过车载摄像头确定检测行人区域的方法及装置

Also Published As

Publication number Publication date
KR20160065703A (ko) 2016-06-09
KR101663574B1 (ko) 2016-10-07

Similar Documents

Publication Publication Date Title
WO2016088960A1 (ko) 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2015152692A1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2017188800A1 (ko) 이동 로봇 및 그 제어방법
WO2020050498A1 (ko) 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
WO2020071683A1 (ko) 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
WO2018038488A1 (ko) 이동 로봇 및 그 제어방법
WO2019054636A1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
WO2017188706A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2015194866A1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2017200304A2 (ko) 이동 로봇 및 그 제어방법
WO2016122042A1 (ko) 인공위성 영상과 랜덤포레스트 분류기 결합을 이용한 자동 하천 검출 시스템 및 방법
WO2018062647A1 (ko) 정규화된 메타데이터 생성 장치, 객체 가려짐 검출 장치 및 그 방법
WO2015194864A1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
AU2020244635B2 (en) Mobile robot control method
WO2013151266A1 (en) Method and system for lane departure warning based on image recognition
WO2015194865A1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
AU2018216517B9 (en) Cleaner
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
EP3669181A1 (en) Vision inspection management method and vision inspection system
WO2021141339A1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
WO2017188708A2 (ko) 이동 로봇, 복수의 이동 로봇 시스템 및 이동 로봇의 맵 학습방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15866318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15866318

Country of ref document: EP

Kind code of ref document: A1