WO2016108327A1 - 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법 - Google Patents

차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법 Download PDF

Info

Publication number
WO2016108327A1
WO2016108327A1 PCT/KR2015/000798 KR2015000798W WO2016108327A1 WO 2016108327 A1 WO2016108327 A1 WO 2016108327A1 KR 2015000798 W KR2015000798 W KR 2015000798W WO 2016108327 A1 WO2016108327 A1 WO 2016108327A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
moving object
size
image
information
Prior art date
Application number
PCT/KR2015/000798
Other languages
English (en)
French (fr)
Inventor
노승종
전문구
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to US14/890,900 priority Critical patent/US20160343144A1/en
Publication of WO2016108327A1 publication Critical patent/WO2016108327A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to a vehicle detection method. More specifically, the present invention relates to a vehicle detection method, a structure of a database for vehicle detection required to perform the vehicle detection method, and a database construction method for vehicle detection for providing a structure of the database for vehicle detection.
  • Detecting vehicles traveling on the road can be used for vehicle identification, traffic analysis, stolen vehicle recognition, and the like.
  • the vehicle detection is generally performed by using a closed circuit TV installed on the road.
  • a closed circuit TV installed on the road.
  • the conventional method performed for the vehicle detection is performed by the human visual observation of the input image acquired through the closed circuit TV, which is difficult to secure accuracy because it depends on human capacity, There are a lot of problems.
  • the classical sliding-window is known.
  • an image of a specific moment is obtained from an input image, and a partial image of an area where a vehicle is located is obtained from the image.
  • the sliding window is positioned on the obtained partial image to extract a sub-image within an area of the sliding window.
  • a matching score of each subimage is calculated by comparing the subimage with a classifier.
  • the classifier stores information of each vehicle in a specific format.
  • the vehicle seating result is determined based on the matching score.
  • the classical sliding window method is likely to fail vehicle detection when the aspect ratio of the partial image is different. That is, when the aspect ratio of the sliding window and the aspect ratio of the image learned by the classifier are different, detection of another vehicle fails.
  • the sub-image is extracted by moving the sliding window with respect to the entirety of the partial image, and the operation is continuously performed while changing the scale of the partial image, there is a problem that there is a large amount of computation, and the greater the amount of computation, the faster the operation speed. There is a problem that is delayed.
  • a scene-specific sliding window method is known.
  • [R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti “Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol. 14, pp. 28-42, 2012.] describes a detailed method thereof.
  • the scene-specific sliding window method is characterized in that the classical sliding window method is performed by providing a plurality of sliding windows by shape and size.
  • the scene-specific sliding window method has a problem in that the amount of calculation increases as the number of sliding windows increases. For example, when three sliding windows are provided, three times the amount of computation is required compared to the classical sliding window method in which one sliding window is provided, and the operation is much slower.
  • the scene-specific sliding window method has a problem in that the accuracy of vehicle detection is lowered because a person directly makes the sliding window. This problem is a problem because there are many kinds of vehicles, that is, when there are many kinds of aspect ratios.
  • the inventors of the present invention thoroughly studied a solution to the problems with the prior art described above. As a result of these research activities, it was found that the information obtained from the partial image depends on the position, size, shape, and the like of the vehicle, thereby causing a major problem in the prior art. More specifically, the size of the sliding window suitable for the partial image varies according to the position and size of the vehicle. In addition, it can be seen that the aspect ratio of the sliding window suitable for the partial image varies depending on the shape of the vehicle. It was confirmed that such a problem was not considered at all in the conventional literature.
  • the inventor can consider the position, size, and shape of the vehicle as a whole, operate with a small amount of calculation, build a database with an automated learning process, and have a high accuracy of vehicle detection.
  • a method for detecting a vehicle comprising: inputting an image including at least a moving object; Determining a semantic region model as information corresponding to the position of the athletic body, and obtaining a sub-image including the athletic body with a size template determined to be used in the semantic region model; And detecting the vehicle by matching the information of the sub-image and the classifier.
  • the semantic region model may include at least one with respect to the position of the moving object. At least two size templates may be included in at least one semantic region model.
  • the subimage may be obtained for all the size templates.
  • the determining of the vehicle may be performed by comparing the information of the subimage and the classifier using a linear support vector machine technique, and optimizing the comparison result by a non-maximal value elimination method.
  • the semantic region model may be obtained by clustering features of the moving object.
  • the motion body for acquiring the features of the motion body may be provided as an independent motion body that does not overlap with another motion body.
  • the feature of the athletic body may include the position information and the movement angle information of the athletic body.
  • the semantic region model may be provided as two-dimensional cluster information from which the moving angle information is removed from the speculative cluster where the position information and the moving angle information of the moving object are clustered. Further, in order to obtain a more accurate vehicle detection result, the semantic region model may be provided as the two-dimensional cluster information, which is related to the pixel estimated as the road region.
  • the clustering may be performed by kernel density estimation.
  • the size of the semantic region model can be adjusted.
  • the size template may be obtained by clustering location information and size information of the moving object passing through the semantic region model.
  • the number of the size template may be adjustable.
  • a structure of a database for detecting a vehicle comprising: a first database connected with a pixel position of an image and storing a semantic region model as an area in which a moving object is located; And a second database in which a size template for obtaining a sub-image of the moving object for comparison with a classifier is stored corresponding to the semantic region model.
  • the size template may include at least two of the semantic region models.
  • a method for constructing a database for vehicle detection including: obtaining an image from an input image and removing a background; Interpreting a motion to obtain and cluster features of the motion; Performing clustering until a sufficient amount of features of the motor body is obtained to obtain a semantic domain model; And clustering at least size information of the moving object passing through each semantic region model to obtain a size template used for each corresponding semantic region model.
  • the size of the semantic region model and the number of size templates may be adjustable.
  • the moving body from which the feature of the moving body is obtained may be limited to an independent moving body.
  • the feature of the moving object may include position information and moving angle information of the moving object.
  • the present invention it is possible to provide a vehicle detection method with high accuracy, a structure of a database for vehicle detection, and a database construction method for vehicle detection at a low cost, in a small amount of computation, and in an automated manner.
  • FIG. 1 is a flow chart illustrating a database construction method for vehicle detection according to an embodiment.
  • FIG. 2 is a diagram showing the motion body and the trajectory of the motion body in any image.
  • 3 is a view for explaining a process of acquiring a feature of the moving object through the analysis of the moving object.
  • 5 is a diagram showing the estimated probability of the road area in shaded form.
  • FIG. 7 is a diagram illustrating a semantic region model and a size template together.
  • FIG. 8 is a structural diagram of a database for vehicle detection.
  • FIG. 9 is a flowchart for explaining a vehicle detection method according to an embodiment.
  • FIG. 10 is a view for explaining a vehicle detection method according to an embodiment by using an illustration by way of example.
  • 11 is a simulation environment of the vehicle detection method according to the embodiment.
  • FIG. 1 is a flowchart illustrating a method for constructing a database for vehicle detection according to an embodiment.
  • an image of a specific time is input from an input image (S1), and a background is removed from the image (S2).
  • the moving object appears, and the motion and the position of the moving object are analyzed to obtain a feature of the moving object (S3).
  • the features of the moving object are clustered (S4). It is determined whether a sufficient amount of information is obtained through clustering (S5). If a sufficient amount of information is not obtained, the semantic region model is learned (S7), and then a new image of the input image is obtained. Is entered. After a sufficient amount of information is obtained, the size template for the slide window is modeled (S6).
  • a semantic region model and a size template of a slide window that can be included in the semantic region model can be obtained.
  • the background is removed from the image (S2).
  • the moving object 1 may be detected in the image.
  • the moving object 1 may be referred to as a region of interest or a blob, hereinafter referred to as a moving object.
  • the moving object may be provided in a form in which a boundary line with the background is clearly revealed through a morphology process. In FIG. 2, the shaded portion surrounding the vehicle shows that the moving object is exposed by the background removal.
  • the background removal process S3 may include [S. Noh and M. Jeon, "A new framework for background subbtraction using multiple cues", in Proc. ACCV, 2012.].
  • the movement of the movement is analyzed to obtain a feature of the movement (S3).
  • S3 a feature of the movement
  • the moving object may correspond to a vehicle.
  • the features of the moving object may be given a two-dimensional position of the moving object and a moving angle of the moving object.
  • FIG. 2 is a diagram illustrating a trajectory of a moving body and a moving body in an arbitrary image
  • FIG. 3 is a view illustrating a process of acquiring a feature of the moving body by analyzing the moving body.
  • any image presented in FIG. 2 may be continuously obtained at predetermined time intervals, and when exemplifying any moving object included in the arbitrary image, the trajectory of the moving object is shown in FIG. It can be shown as the left figure of 3. This can be referred to as the original trajectory (2) of the motor.
  • the locus 2 of the moving object may be subjected to regularization in order to reduce an error that may occur in the background removal process. For example, when acquiring a trajectory of a moving object, the entire image obtained is selectively selected instead of the object. As a more specific example, a time interval given by Equation 1 below may be selected as a landmark.
  • the interval corresponding to 0.06 times the smaller value among the width and height of the image can be selected as a landmark of the interval of the regularized moving object, that is, the circular trajectory of the moving object.
  • the ordered trajectory of the motor is shown in the middle figure of FIG. 3.
  • the three information described above, namely (x l , y l , ⁇ l ), can be used for feature clustering later as a feature of a moving object.
  • the moving body used to extract the features of the moving body only an independent moving body which is not indirect with other adjacent moving bodies can be used.
  • at least two vehicles traveling in adjacent lanes of each other may, in any image, be merged with each other that previously overlapped, but previously overlapped, but may now be separated apart from each other. (splitted).
  • the trajectories merged with each other as time progresses may be referred to as merged trajectory, and the trajectories separated from each other may be referred to as split trajectory.
  • the merging trajectory and the separation trajectory are highly likely to be inaccurate in extracting the features of the moving object according to the phenomenon in which the moving object is merged or separated. Therefore, it is preferable to exclude the trajectory of the moving object having the merged trajectory or the separated trajectory from the feature extraction. As a result, it is desirable to extract the features of the moving object only from the isolated moving object trajectory. At least two features may be provided from the trajectory of any one independent moving object.
  • the clustering of the features of the moving object may be applied to a kernel density estimation technique (KDE: Kernel Density Estimation).
  • KDE Kernel Density Estimation
  • (x, y, ⁇ ) may correspond to each axis of the xyz coordinate system.
  • a process of inferring and clustering features of each moving object using a core density estimation may be performed.
  • clustering does not exclude the use of other methods besides the proposed method, but the learning is performed quickly by reducing the amount of computation, and does not require much storage capacity, and may be preferably proposed for accurate clustering.
  • an estimation cluster ⁇ in which features of a moving object are estimated to be clustered may be defined as in Equation 2.
  • C k represents the k-th cluster in which the features of the moving object are clustered
  • ⁇ represents the set of all clusters.
  • the C k can be varied by four factors.
  • ⁇ k denotes importance as a scalar value
  • m k denotes a center vector
  • ⁇ k denotes a covariance matrix
  • D k denotes sample storage.
  • data D data D
  • the data is each feature v l provided from the moving object
  • the update cycle is a period for updating the elliptical cluster
  • the tolerance represents the tolerance for controlling the matching of the cluster.
  • the moving body has already described that the trajectory of the independent moving object is preferable.
  • the update cycle and tolerance can be selected by the operator.
  • the cluster that is most preferably matched to the data is identified (lines 3 and 4). If there is no cluster that matches the data, the cluster is added to the new cluster after adding a new cluster. If there is a cluster to be matched (line 6, 7), the current data is added as data D m included in the existing cluster (C m ) (line 8, 9).
  • T FC tolerance
  • the process may be performed repeatedly by a predetermined number of data. In other words, the number of pieces of data given in the update cycle c u may be repeated. If a given number of data is added to the cluster, then update the shape of the cluster, which is preferably illustrated as an ellipse (line 11, 12, 13).
  • the cluster type update may be performed by using data included in the current cluster, or may be performed in various ways. However, Equation 3 may be applied as an exemplary method.
  • the clusters can all be transformed through the process of learning as the speculative clusters.
  • the importance ⁇ k increases from 0 to 1 as the number of data matched to the sample storage D k increases to 5d, and is always normalized.
  • d represents the dimension of the covariance matrix ⁇ k .
  • the sample storage D k is empty and new data is stored.
  • a sufficient amount of data is clustered (S5). Whether or not a sufficient amount of data has been collected can be determined as the number of isolated moving object trajectory. According to the experimental results, it was confirmed that correct detection cannot be performed on the trajectories of the 82 independent vehicles, and that vehicle detection is properly performed when the trajectories of the 120 independent vehicles are used. Therefore, it can be seen that a sufficient amount of information is included when the feature information of 100 or more moving objects is included in the trajectory of the independent moving object.
  • the semantic region model 3 is trained (S7).
  • the size template of the window is modeled. (S8).
  • a road is used to guess where a moving body feature occurs above a certain level by using a probability, and to exclude a speculative cluster that exits from the semantic domain model. Therefore, if the wind is not blown or the location where the error is less likely to occur in the shooting, the process of learning the semantic region model by guessing the road area and determining whether it overlaps the guess cluster may not be performed (S7). In this case, the angular information is removed from the speculative cluster and the information processed into two-dimensional information may be used as a semantic region model.
  • the completed guess cluster in the three-dimensional coordinate system of the (x, y, ⁇ ) axis is called ⁇ v , where the guess cluster is displayed in two dimensions by removing the ⁇ component. Can be provided.
  • the reason for processing the speculative cluster into two-dimensional information is because the road area is displayed in two dimensions.
  • the center vector And covariance matrix It can be written as
  • Equation 5 is a diagram illustrating the probability of the road area represented by Equation 4 in shaded form. Referring to FIG. 5, it is understood that the brighter the place, the higher the probability of the road area.
  • a pixel satisfying Equation 5 may be determined as a road area.
  • the road area may be estimated using the one criterion given in Equation 5 above.
  • SRM semantic region model
  • a two-dimensional estimation cluster associated with the pixel estimated as the road region may be defined as a semantic region model (SRM).
  • the two-dimensional speculative cluster determined to belong to the pixel estimated as the road region may be defined as a semantic region model (SRM) 3.
  • a two-dimensional speculative cluster that satisfies Equation 6 may be defined as a semantic domain model.
  • N is a bivariate normal density function.
  • each semantic region model may be provided to overlap each other, and the far place in the closed circuit TV may be separated from the two roads, but the near place may be separated from each other, and far from the road area. May not be included in the semantic domain model, and each semantic domain model may have its own two-dimensional domain distinct from other boundary lines. It can be understood that the semantic domain model is associated with the possibility of a vehicle.
  • the size template 4 is modeled.
  • the size template model may be provided to be suitable for each semantic region model. For example, a distance from a closed circuit TV may provide a small size template due to the small vehicle.
  • each moving object provided in the independent moving object trajectory may be included in at least one of all semantic area models on the trajectory path.
  • Each moving object in each image is separated from the background by a boundary, and may have location information and size information. For example, it may have information of (x, y, w, h). This information can be learned through a clustering algorithm.
  • a clustering algorithm a basic sequential algorithmic scheme (BSAS) may be applied, and more specifically, [S. Theodoridis and K. Koutrombas, "Sequential clustering algorithms", pp. 633-643, in Pattern recognition, 2008.].
  • BSAS basic sequential algorithmic scheme
  • the template can represent the size information of the current athletic body.
  • T BSAS When the predetermined level is referred to as T BSAS , the smaller the number is, the more various size templates can be obtained and more accurate vehicle detection results can be obtained. However, the amount of computation and corresponding elapsed time tend to increase. Can be. Similarly, as the tolerance (T FC ) increases, the size of the semantic region model (3) increases and more size templates can be obtained, so that more accurate vehicle detection results can be obtained. Can have Therefore, each tolerance (T BSAS , T FC ) may be applied differently according to a specific situation.
  • a plurality of size templates that can be included in any one semantic domain model can be provided.
  • a size template suitable for either semantic region model can be generated by matching it to any of the semantic region models. Therefore, a relatively small size template can be provided in the semantic region model farther from the closed circuit TV, since the size of the vehicle appears small.
  • size templates of different sizes and shapes can be obtained depending on whether the vehicle is near and far. For example, even in the same vehicle, various size templates such as a long rectangle, a long rectangle, and a square can be obtained.
  • the size template 4 obtained in various aspects is matched to each semantic region model 3, the size template 4 can best reflect the information related to its position. As a result, it can be understood that the size template is associated with the size of the window that can be suitably used in the scope of any semantic region model.
  • FIG. 7 is a diagram illustrating a semantic region model and a size template together.
  • FIG. 8 is a diagram illustrating the structure of a database for vehicle detection.
  • a first database 11 in which the semantic region model is stored and a second database 12 in which the size template database is stored may be included.
  • the semantic region model stored in the first database 11 may be stored in a state connected to the pixel position of the image. In other words, the semantic region model may be specified based on the pixel position of the image.
  • Each size template stored in the second database may be stored in a state in which a semantic region model can be identified.
  • the first database 11 and the second database 12 may be distinguished from where the database is actually stored, but may mean that different information is stored according to a predetermined relationship rather than such requirements. . It can be understood that the predetermined relationship is that a size template matched to a semantic region model is identified and stored.
  • FIG. 9 is a flowchart illustrating a vehicle detection method according to an embodiment.
  • the vehicle detection method according to the embodiment with reference to FIG. 9 is performed using the structure of a database for vehicle detection.
  • the detailed description of the corresponding portion will be applied to the vehicle detection method.
  • an image is input (S11).
  • the image may be provided as an image of a specific time of the input image including the vehicle.
  • the background is removed by the background removal process, and the exercise body may be revealed as an area distinguished from the background (S12).
  • a semantic region model 3 (SRM) including the position of the body is determined (S13).
  • the semantic region model 3 may be stored in a structure of a database for vehicle detection and then read. This is because the moving object trajectories are clustered in three dimensions including the moving angle ⁇ .
  • the size template 4 determined to be used in the determined semantic region model 3 is identified (S14).
  • the size template 4 may be stored in a structure of a database for vehicle detection and then read.
  • a sub-image of the moving object separated in the background removal process (S12) is obtained (S15).
  • a sub-image of the moving object is obtained using at least one, preferably all size templates, determined in the size template determination step (S14).
  • at least one subimage can be obtained.
  • at least one sub-image suitable for the current position and the vehicle can be obtained by using a window having various size templates adapted to any one of the semantic region models.
  • the sub-image When the sub-image is obtained, it is matched with the information stored in the classifier (S16).
  • the operator stores all images in a specific size, in the embodiment in a square image of size 48 ⁇ 48. Therefore, the sub-image obtained by using the size template is a size corresponding to the size of the image stored in the classifier, in the embodiment transformed into a square image of 48 ⁇ 48 size, each image stored in the transformed sub-image and the classifier You can compare the information in.
  • the comparison between the subimage and the information stored in the classifier may be performed by using a linear support vector machine technique. A more detailed description of the comparison is given in [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.
  • the comparison result is optimized to determine the last detected vehicle (S17).
  • the detection of the vehicle may be performed using a non-maximum suppression method.
  • the above non-maximal value removal method is described in [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.
  • FIG. 10 is a diagram illustrating a vehicle detection method according to an embodiment by way of example.
  • At least one size template 4 provided at the position R1 of the moving object is applied to read at least one sub-image.
  • the at least one subimage may be compared with information stored in the classifier to detect a vehicle.
  • FIG. 11 is an environment in which a vehicle detection method is simulated according to an embodiment
  • FIG. 12 is a table showing the results of the simulation.
  • data sets for simulation are constructed for four scenes.
  • Each data set consists of 10,000 training and 5,000 test image sequences of 760 ⁇ 570 size.
  • the classifier learning and trajectory collection of the independent vehicle to be used in each scene were all made with the 10,000 learning images mentioned above.
  • the classifier learning mentioned above is described in [R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti, "Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol. 14, pp. 28-42, 2012.].
  • the tolerance T FC was modeled as ⁇ W, ⁇ H, ⁇ / 8>, and ⁇ was set to 0.1 by simulation.
  • the tolerance T BSAS was modeled as ⁇ S , ⁇ S >, and ⁇ S was set to 10 through experiments.
  • the present invention all processes are automatically performed except that the information of the classifier is manually performed by the operator, so that the operation can be performed at low cost, and the vehicle can be detected quickly and accurately with a small amount of calculation.
  • the present invention can be used for the development of an application that counts the number of vehicles on the screen and analyzes the traffic volume of the corresponding traffic scene.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 차량검출을 위한 데이터베이스의 구조에는, 이미지의 화소위치와 연결되고, 운동체가 위치하는 영역으로서 의미론 영역 모델이 저장되는 제 1 데이터베이스; 및 분류기와 비교하기 위한 상기 운동체의 서브이미지를 획득하기 위한 크기탬플릿이, 상기 의미론 영역 모델에 대응하여 저장되는 제 2 데이터베이스가 포함된다. 본 발명에 따르면, 저비용으로, 적은 연산량으로 신속하게, 자동화된 방법으로, 정확도가 높은 차량검출방법을 제공할 수 있다.

Description

차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
본 발명은 차량검출방법에 관한 것이다. 더 상세하게는, 차량검출방법, 상기 차량검출방법의 수행에 요구되는 차량검출을 위한 데이터베이스의 구조, 및 상기 차량검출을 위한 데이터베이스의 구조를 제공하기 위한 차량검출을 위한 데이터베이스 구축방법에 관한 것이다.
도로를 통행하는 차량을 검출하는 것은, 차량확인과 교통량분석과 도난차량인식 등에 사용될 수 있다. 상기 차량검출은 도로에 설치되는 폐쇄회로TV를 이용하는 방식으로 수행되는 것이 일반적이다. 물론 다양한 다른 방식으로도 수행될 수 있을 것이고, 그러한 방식도 본 발명의 사상에 포함되는 것으로 이해하여야 한다. 상기 차량검출을 위하여 수행된 종래의 방법은, 상기 폐쇄회로TV를 통하여 획득된 입력영상을 사람이 육안으로 관찰하는 것에 의해서 수행되었는데, 그러한 방법은 인적능력에 의존하기 때문에 정확도를 담보하기 어렵고, 비용이 많이 드는 문제점이 있다.
이러한 배경하에서 폐쇄회로TV에서 촬영되는 입력영상에서 캡쳐되는 이미지를 분석하여 차량을 반 자동으로 검출하는 방법이 제안된 바가 있다.
그 일 방편으로서, 고전적 슬라이딩 윈도우 방법(classical sliding-window)이 알려져 있다. 예를 들어, [C. Papageorgiou and T. Poggio, "A trainable systme for object detection", in IJCV, Vol.38, pp.15-33, 2000.], 및 [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.]에는 그에 대한 상세한 과정이 소개되어 있다. 상기 고전적 슬라이딩 윈도우 방법은, 입력영상에서 특정 순간의 이미지를 얻고, 상기 이미지에서 차량이 있는 영역의 부분이미지가 획득된다. 그리고, 획득된 상기 부분이미지 상에 슬라이딩 윈도우를 위치시켜 슬라리딩 윈도우의 영역 내부의 서브이미지를 추출한다. 마지막으로 상기 서브이미지와 분류기(classifier)를 비교하여 각 서브이미지의 매칭스코어를 산출한다. 상기 분류기에는 각 차량의 정보가 특정포맷으로 저장되어 있다. 상기 매칭스코어를 바탕으로 차량인석결과를 판정한다.
상기 고전적 슬라이딩 윈도우 방법은, 상기 부분이미지의 종횡비(aspect ratio)가 다른 경우에는, 차량검출에 실패할 우려가 크다. 즉, 슬라이딩 윈도우의 종횡비와 분류기에 학습되는 이미지의 종횡비가 다른 경우에는 다른 차량의 검출에 실패하는 것이다. 또한, 상기 부분이미지의 전체에 대하여 슬라이딩 윈도우를 이동시키며 상기 서브이미지를 추출하고, 이러한 작업은 상기 부분이미지의 스케일을 변경하며 계속하여 수행하기 때문에, 연산량이 많은 문제점이 있고, 연산량이 많을수록 동작 속도가 늦어지는 문제점이 있다.
이러한 문제점을 개선하기 위하여 씬 특화 슬라이딩 윈도우 방법(scene-specific sliding)이 알려져 있다. 예를 들어, [R. Feris, B. Siddiquie, Y. Zhai, J. Petterson, L. Brown and S. Pankanti, "Attribute-based vehicle search in crowded surveillance videos", in Proc. ICMR, 2011.], 및 [R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti, "Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol.14, pp.28-42, 2012.]에는, 그에 대한 상세한 방법이 기술되어 있다. 상기 씬 특화 슬라이딩 윈도우 방법은, 상기 슬라이딩 윈도우를 형상 및 크기 별로 다수개 제공하여 상기 고전적 슬라이딩 윈도우 방법을 수행하는 것이 특징적으로 다르다.
그러나, 상기 씬 특화 슬라이딩 윈도우 방법은, 상기 슬라이딩 윈도우의 수가 늘어나는 개수 만큼 연산량이 커지는 문제점이 있다. 예를 들어, 슬라이딩 윈도우가 세 개 제공되는 경우에는 하나의 슬라이딩 윈도우가 제공되는 고전적 슬라이딩 윈도우 방법에 비하여 세 배의 연산량이 요구되고 동작은 그만큼 더 느려진다. 또한, 상기 씬 특화 슬라이딩 윈도우 방법은 슬라이딩 윈도우를 사람이 직접 만들기 때문에, 차량검출의 정확도가 떨어지는 문제점이 있다. 이러한 문제는 차량의 종류가 많아서, 즉, 종횡비의 종류가 많은 경우에는 더 큰 문제로 대두된다.
본 발명의 발명자는 상기되는 종래기술에 대한 문제점을 해결하는 방안을 철저히 연구하였다. 이러한 연구활동의 결과, 상기 부분이미지로부터 얻어지는 정보는, 차량의 위치, 크기, 및 형태 등에 따라지기 때문에 종래기술의 주된 문제점이 생기는 것을 알 수 있었다. 더 상세하게는, 차량의 위치 및 크기에 따라서, 부분이미지에 적합한 슬라이딩 윈도우의 크기가 달라진다. 또한, 차량의 형태에 따라서, 부분이미지에 적합한 슬라이딩 윈도우의 종횡비(aspect ratio)가 달라지는 것을 알 수 있었다. 이와 같은 문제점을 종래의 문헌에서는 전혀 고려하고 있지 않은 것을 확인할 수 있었다.
상기되는 배경하에서 발명자는, 차량의 위치, 크기, 형태를 전체적으로 고려하여, 적은 연산량으로 동작하고, 자동화된 학습과정으로 데이터 베이스를 구축할 수 있고, 차량검출의 정확도가 높은 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법을 제안한다.
상기 문제를 해결하는 제 1 발명에 따른 차량검출방법에는, 적어도 운동체가 포함되는 이미지가 입력되는 것; 상기 운동체의 위치에 대응되는 정보로서 의미론 영역 모델을 결정하고, 상기 의미론 영역 모델에 사용되도록 결정되어 있는 크기 탬플릿으로 상기 운동체가 포함되는 서브이미지를 획득하는 것; 및 상기 서브이미지와 분류기의 정보를 메칭하여 차량을 검출하는 것이 포함된다.
상기 제 1 발명에서, 상기 의미론 영역 모델은 상기 운동체의 위치에 대하여 적어도 어느 하나가 포함될 수 있다. 상기 크기 탬플릿은 적어도 하나의 상기 의미론 영역 모델에 적어도 두개가 포함될 수 있다. 상기 서브이미지는 모든 상기 크기 탬플릿에 대하여 획득될 수 있다. 상기 차량을 판정하는 것은, 리니어 서포트 벡터 머신 기법으로 상기 서브이미지와 상기 분류기의 정보를 비교하고, 그 비교결과를 비 최대값 제거법으로 최적화하여 수행될 수 있다.
상기 제 1 발명에서, 상기 의미론 영역 모델은 상기 운동체의 피처(feature)를 클러스터링하여 얻어질 수 있다. 여기서, 상기 운동체의 피처를 획득하는 운동체는, 다른 운동체와 겹치지 않는 독립 운동체로 제공될 수 있다. 또한, 상기 운동체의 피처에는, 상기 운동체의 위치정보와 이동각도정보가 포함될 수 있다. 이 경우에 상기 의미론 영역 모델은, 상기 운동체의 위치정보와 이동각도정보가 클러스터링되는 추측 클러스터에서, 상기 이동각도정보가 제거된 2차원 클러스터 정보로 제공될 수 있다. 더욱이 더 정확한 차량검출결과를 얻을 수 있도록 하기 위하여, 상기 의미론 영역 모델은, 도로영역으로 추정된 화소와 관련이 있는, 상기 2차원 클러스터 정보로 제공될 수 있다. 또한, 상기 클러스터링은 핵심밀도추정(kernel density estimation)에 의해서 수행될 수 있다.
상기 제 1 발명에서, 상기 의미론 영역 모델의 크기는 조절이 가능하도록 할 수 있다.
상기 제 1 발명에서, 상기 크기 탬플릿은 상기 의미론 영역 모델을 통과하는 상기 운동체의 위치정보와 크기정보를 클러스터링하여 획득될 수 있다.
상기 제 1 발명에서, 상기 크기 탬플릿의 개수는 조절이 가능할 수 있다.
상기 문제를 해결하는 제 2 발명에 따른 차량검출을 위한 데이터베이스의 구조에는, 이미지의 화소위치와 연결되고, 운동체가 위치하는 영역으로서 의미론 영역 모델이 저장되는 제 1 데이터베이스; 및 분류기와 비교하기 위한 상기 운동체의 서브이미지를 획득하기 위한 크기탬플릿이, 상기 의미론 영역 모델에 대응하여 저장되는 제 2 데이터베이스가 포함된다. 여기서, 상기 크기탬플릿은 어느 하나의 상기 의미론 영역 모델이 적어도 두개가 포함될 수 있다.
상기 문제를 해결하는 제 3 발명에 따른 차량검출을 위한 데이터베이스 구축방법에는, 입력영상에서 이미지를 획득하고 백그라운드를 제거하는 것; 운동체를 해석하여 상기 운동체의 피처를 획득하고 클러스터링하는 것; 충분한 양의 상기 운동체의 피처가 획득될 때까지 클러스터링을 수행하여 의미론 영역 모델을 획득하는 것; 및 각 상기 의미론 영역 모델을 통과하는 적어도 상기 운동체의 크기정보를 클러스터링하여, 대응하는 각 상기 의미론 영역 모델에 사용되는 크기 탬플릿을 획득하는 것이 포함된다.
상기 제 3 발명에서, 상기 의미론 영역 모델의 크기 및 상기 크기 탬플릿의 개수는 조절이 가능할 수 있다.
상기 제 3 발명에서, 상기 운동체의 피처가 획득되는 운동체는 독립 운동체로 제한될 수 있다.
상기 제 3 발명에서, 상기 운동체의 피처에는 운동체의 위치정보 및 이동각도정보가 포함될 수 있다.
본 발명에 따르면, 저비용으로, 적은 연산량으로 신속하게, 자동화된 방법으로, 정확도가 높은 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법을 제공할 수 있다.
도 1은 실시예에 따른 차량검출을 위한 데이터베이스 구축방법을 설명하는 흐름도.
도 2는 임의의 이미지에서 운동체와 운동체의 궤적을 나타내는 도면.
도 3은 운동체 해석을 통하여 운동체의 피처를 획득하는 과정을 설명하는 도면.
도 4는 피처 클러스터링과정을 예시적으로 설명하는 알고리즘.
도 5는 도로영역의 추정확률을 음영으로 나타낸 도면.
도 6은 의미론 영역 모델을 표시하는 도면.
도 7은 의미론 영역 모델과 크기 템플릿을 함께 나타낸 도면.
도 8은 차량검출을 위한 데이터베이스의 구조도.
도 9는 실시예에 따른 차량검출방법을 설명하는 흐름도.
도 10은 실시예에 따른 차량검출방법을 그림을 이용하여 예시적으로 설명하는 도면.
도 11은 실시예에 따른 차량검출방법을 시뮬레이션으로 수행한 환경.
도 12는 시뮬레이션의 결과를 나타내는 표.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제공되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. 또한, 본 발명의 실시예를 설명하면서 제시되는 수학식이나 수치 등은 이해의 편의를 위하여 예시로 제공되는 것으로서, 특별한 언급이 없다고 하더라도 예시되는 수학식 및 수치로 본 발명의 사상이 제한되는 것은 아님을 명확히 한다. 또한, 본 발명의 실시예에를 설명하면서 소개되는 인용문헌은 별도의 언급이 없더라도 본 발명의 이해를 위하여 필요한 범위 내에서 본 발명의 내용으로 포함되는 것으로 한다.
도 1은 실시예에 따른 차량검출을 위한 데이터베이스 구축방법을 설명하는 흐름도이다.
도 1을 참조하면, 입력영상에서 특정 시각의 이미지가 입력되고(S1), 상기 이미지에서 백그라운드가 제거된다(S2). 이미지에서 백그라운드가 제거되면 운동체가 나타나게 되는데, 상기 운동체의 움직임과 위치를 해석하여 운동체의 피쳐(feature)를 얻는다(S3). 이후에는 상기 운동체의 피쳐를 클러스터링한다(S4). 클러스터링을 통하여 충분한 양의 정보가 얻어졌는지를 판단하여(S5), 충분한 양의 정보가 얻어지지 않은 경우에는 의미론 영역 모델(scemantic region model)을 학습한 다음에(S7), 입력영상의 새로운 이미지가 입력된다. 충분한 양의 정보가 획득된 다음에는 슬라이드 윈도우를 위한 크기 템플릿을 모델링한다(S6).
상기되는 데이터베이스 구축방법이 수행됨으로써, 의미론 영역 모델과 상기 의미론 영역 모델에 포함될 수 있는 슬라이드 윈도우의 크기 템플릿이 얻어질 수 있다.
상기 차량검출을 위한 데이터베이스 구축방법을 더 상세하게 설명한다. 상세한 설명에서는 예시적인 도면과, 예시적인 수학식과, 예시적인 수치를 제시함으로써 실시예의 구성이 더 상세하게 이해할 수 있다.
먼저, 입력영상에 포함되는 특정 시각의 이미지가 입력되면(S1), 해당 이미지에서 백그라운드를 제거한다(S2). 상기 백그라운드 제거과정에 의해서 배경에 제거되면, 이미지 내에서 운동체(1)가 검출될 수 있다. 상기 운동체(1)(moving object)는 관심영역(region of interest) 또는 블랍(blob)으로 명칭될 수 있으나, 이후에는 운동체로 기술한다. 상기 운동체는, 모폴로지(morphology)처리를 통하여 배경과의 경계선이 명확하게 드러나는 형태로 제공될 수 있다. 도 2에서 자동차를 둘러싸는 음영 부분은 배경제거에 의해서 운동체가 드러나는 것을 도시하고 있다. 예시적으로서, 상기 백그라운드 제거과정(S3)은, [S. Noh and M. Jeon, " A new framework for background subbtraction using multiple cues", in Proc. ACCV, 2012.]에서 제공되는 방법으로 수행될 수 있다.
상기 운동체가 식별된 다음에는 운동체의 움직임을 해석하여 운동체의 피쳐를 구한다(S3). 상기 운동체는 차량과 대응될 수 있음을 예상할 수 있다. 상기 운동체의 피처로는 운동체의 2차원 위치와, 운동체의 이동각도가 주어질 수 있다. 이하에서는 도면을 참조하여 상기 운동체의 피처를 더 상세하게 설명한다.
도 2는 임의의 이미지에서 운동체와 운동체의 궤적을 나타내는 도면이고, 도 3은 운동체 해석을 통하여 운동체의 피처를 획득하는 과정을 설명하는 도면이다.
도 2 및 도 3을 참조하면, 먼저 도 2에 제시되는 임의의 이미지는 소정의 시간 간격으로 계속해서 획득될 수 있고, 상기 임의의 이미지에 포함되는 어느 운동체를 예시할 때, 운동체의 궤적은 도 3의 좌측그림으로 나타낼 수 있다. 이를 운동체의 원궤적(original trajectory)(2)이라고 할 수 있다. 상기 운동체의 원궤적(2)은 백그라운드 제거과정에서 발생할 수 있는 에러를 줄이기 위하여 규칙화(regularization)을 거칠 수 있다. 예를 들어, 운동체의 궤적을 획득할 때 획득되는 이미지의 전체를 대상으로 하지 않고, 선별적으로 선택하는 것이다. 더 구체적인 예로서 하기 수학식 1로 주어지는 시간간격을 랜드마크(landmark)로 선정할 수 있다.
수학식 1
Figure PCTKR2015000798-appb-M000001
여기서, ρ는 랜드마크의 픽셀간 간격이고, W, H는 각각 이미지의 폭과 높이이다. 따라서, 이미지의 폭과 높이 중에서 작은 값의 0.06배값에 해당하는 간격을, 규칙화된(regularized) 운동체의 간격, 즉, 운동체의 원궤적의 랜드마크로서 선별할 수 있다.
운동체의 규칙화 궤적은 도 3의 가운데 그림으로 제시되어 있다.
상기 운동체의 규칙화 궤적의 어느 하나의 이동상태를 추출하면, 운동체의 위치와 운동체의 이동각도를 얻을 수 있다. 도 3의 우측 그림을 참조하여 설명한다.
먼저, 상기 운동체의 위치는, (xl-1, yl-1)에서 (xl, yl)로 이동하고, 이동각도는 θl=arctan((yl-yl-1)/(xl-xl-1)로 주어질 수 있다. 상기되는 세 정보, 즉, (xl, yl, θl)는 운동체의 피처로서 이후에 피처 클러스터링에 사용될 수 있다.
한편, 상기 운동체의 피처를 추출하기 위하여 사용되는 운동체는, 다른 인접하는 다른 운동체와 간접하지 않는 독립되는 운동체만이 사용될 수 있다. 더 상세하게 설명하면, 서로 인접하는 차선을 주행하는 적어도 두 차량은, 임의의 이미지에서 볼 때에, 이전에는 겹치지 않았는데 현재 겹쳐서 서로 병합되거나(merged), 이전에는 겹쳤는데 현재는 서로 떨어져서 분리될 수도 있다(splitted). 이때 시간 진행에 따라서 서로 병합되는 궤적을 병합궤적(merged trajectory), 서로 분리되는 궤적을 분리궤적(splitted trajectory)라고 할 수 있다.
상기 병합궤적 및 상기 분리궤적은, 운동체가 병합되거나 분리되는 현상에 따라서, 운동체의 피처의 추출이 부정확할 우려가 높다. 따라서, 상기 병합궤적 또는 상기 분리궤적을 가지는 운동체의 궤적은 피처 추출에서 배제하는 것이 바람직하다. 결국, 독립 운동체의 궤적(isolated moving object trajectory)에서만 운동체의 피처를 추출하는 것이 바람직하다. 어느 하나의 독립 운동체의 궤적에서 추출되는 피처는 적어도 두 개 이상이 제공될 수 있다.
이후에는 상기 운동체의 피처에 대한 클러스터링이 수행된다(S4).
상기 운동체의 피처에 대한 클러스터링은, 핵심밀도추정기법(KDE: Kernel Density Estimation)이 적용될 수 있다. 간단하게 설명하면, 상기 운동체의 피처 vl=(xl, yl, θl)는 삼차원좌표계의 각 축의 벡터성분으로서 메핑될 수 있다. 다시 말하면, xyz좌표계의 각 축에 (x, y, θ)가 대응되어 있을 수 있다. 상기 삼차원좌표계에서 핵심밀도추정을 이용하여 각 운동체의 피처를 추측하여 클러스터링하는 과정이 수행될 수 있다.
더 상세하게 운동체의 피처에 대한 클러스터링을 설명한다. 그러나, 클러스터링은 제시되는 방법 외에 다른 방법이 사용되는 것을 배제하지 않지만, 연산량을 줄여 신속하게 학습이 수행되고, 많은 저장용량이 요구되지 않고, 정확한 클러스터링을 위하여 바람직하게 제안될 수 있다.
먼저, 운동체의 피처들이 클러스터링되도록 추측되는 추측 클러스터(estimation cluster)(ε)는 수학식 2와 같이 정의할 수 있다.
수학식 2
Figure PCTKR2015000798-appb-M000002
여기서, Ck는 운동체의 피처가 클러스터링되는 k번째 클러스터를 나타내고, ε은 모든 클러스터의 집합을 나타낸다. 상기 Ck는 네 가지 요소에 의해서 가변될 수 있다. 상세하게 상기 네 가지 요소 각각에서, ωk는 스칼라값으로서 중요도를 나타내고, mk는 중심벡터를 나타내고, Σk는 공분산행렬을 나타내고, Dk는 샘플스토리지를 나타낸다.
도 4는 피처 클러스터링과정을 예시적으로 설명하는 알고리즘이다.
도 4를 참조하면, 먼저 피처 클러스터링(FC:Feature Clustering)을 위하여 데이터(D), 업데이트사이클(cu: update cycle), 및 허용공차(TFC:Tolerance for Feature Clustering)가 입력된다(line 1, 2). 여기서, 데이터는 운동체로부터 제공되는 각 피처(vl)이고, 상기 업데이트사이클은 타원형의 클러스터를 업데이트하는 주기이고, 상기 허용공차는 클러스터의 메칭을 제어하는 공차를 나타낸다. 여기서 운동체는 상기 독립 운동체의 궤적이 바람직한 것을 이미 설명한 바가 있다. 상기 업데이트사이클과 허용공차는 작업자에 의해서 선택될 수 있다.
데이터가 입력된 다음에는, 어느 데이터에 대하여 가장 바람직하게 메칭되는 클러스터를 파악하는데(line3,4), 상기 어느 데이터에 대하여 메칭되는 클러스터가 없는 경우에는 새로운 클러스터를 추가한 후 새로운 클러스터로 상기 데이터를 추가하고(line 6, 7), 메칭되는 클러스터가 있는 경우에는 기존의 클러스터(Cm)에 포함되는 데이터(Dm)로서 현재의 데이터를 추가한다(line 8,9). 상기 새로운 클러스터의 크기와 형태, 및 상기 어느 데이터가 상기 기존의 클러스터(Cm)에 포함되는 지의 여부를 판단할 때에는, 상기 허용공차(TFC)로 주어지는 값을 참조할 수 있다.
상기 과정은 미리 정하여진 데이터의 수만큼 반복하여 수행될 수 있다. 다시 말하면, 상기 업데이트사이클(cu)에서 주어진 데이터의 개수만큼 반복하여 수행될 수 있다. 주어진 데이터의 개수가 클러스터에 추가되면, 타원형으로 바람직하게 예시되는 클러스터의 형태를 업데이트한다(line 11, 12, 13). 상기 클러스터의 형태의 업데이트는, 현재의 클러스터에 포함되는 데이터를 이용하는 것에 의해서 수행될 수 있고, 다양한 방식으로 수행될 수도 있지만, 예시적인 방법으로서 하기 수학식 3이 적용될 수 있다. 여기서 클러스터는 모두 추측 클러스터로서 학습되는 과정을 통하여 변형되어 나갈 수 있다.
수학식 3
Figure PCTKR2015000798-appb-M000003
상기 수학식 3 및 수학식 2를 참조하면, 중요도(ωk)는 샘플스토리지(Dk)에 메칭된 데이터의 수가 5d로 증가할 수록, 0에서 1로 증가하고, 항상 정규화된다. 여기서 d는 공분산행렬(Σk)의 차원을 나타낸다. 또한, 상기 추측 클러스터에 대한 업데이트가 수행된 다음에는, 샘플스토리지(Dk)는 비워지고 새로운 데이터가 저장된다.
상기 과정은 모든 데이터에 대하여 수행된다(line 2, 14, 15, 16)
상기되는 과정을 통하여 운동체의 피처에 대한 클러스터링(S4)이 완료되면, 삼차원좌표계에 모든 피처가 클러스터링된 상태로 제공될 수 있다. 다시 말하면, 클러스터링된 운동체의 피처(vl)가 (x, y, θ)축의 삼차원좌표계에 표시되어, 상기 추측 클러스터(estimation cluster)가 완성될 수 있다.
이후에는 충분한 양의 데이터가 클러스터링되었는지를 판단한다(S5). 충분한 양의 데이터가 모였는지의 여부는, 상기 독립 운동체의 궤적(isolated moving object trajectory)의 개수로서 일응 판단할 수 있다. 실험한 결과에 따르면 82개의 상기 독립 운동체의 궤적으로는 올바른 판단이 수행될 수 없고, 120개의 독립 운동체의 궤적을 이용한 경우에는 차량검출이 제대로 된 것을 확인할 수 있었다. 따라서, 상기 독립 운동체의 궤적으로 100개 이상의 운동체의 피처정보가 포함되는 경우에 충분한 양의 정보가 포함된 것으로 볼 수 있다.
충분한 양의 데이터가 클러스터링 되지 않은 것으로 판단되는 경우에는, 상기 의미론 영역 모델(scemantic region model)(3)을 학습하고(S7), 충분한 양의 데이터가 클러스터링 된 것으로 확인되면, 윈도우의 크기 템플릿을 모델링한다(S8).
먼저, 상기 의미론 영역 모델을 학습하는 과정(S7)을 설명한다. 상기 의미론 영역 모델의 학습과정을 크게 나누면, 도로영역을 추측하는 과정과, 상기 도로영역으로 추측된 곳과 상기 추측 클러스터를 비교하여, 상기 도로영역과 겹치는 추측 클러스터를 의미론 영역 모델로 결정할 수 있다. 이를 물리적으로 설명하면, 폐쇄회로TV가 설치되는 환경은 바람이 외부환경으로서 바람이 심하게 불 수 있다. 따라서, 차량이 올바른 도로를 주행하더라도 카메라가 흔들려 상기 추측 클러스터가 잘못될 수 있다. 즉, 잘못된 추측 클러스터가 발생할 수 있는 것이다. 이러한 오류를 제거하기 위하여 확률을 이용하여 일정수준 이상으로 운동체 피처가 발생한 곳을 도로로 추측하고, 그곳을 벗어나는 추측 클러스터는 상기 의미론 영역 모델에서 배제시키는 것으로 이해할 수 있다. 따라서 만약, 바람이 불지 않거나 촬영에 오류가 발생할 가능성이 작은 위치에서는, 상기 도로영역을 추측하고 이를 상기 추측 클러스터와 겹치는 가를 판단하여 의미론 영역 모델을 학습하는 과정(S7)은 시행되지 않을 수도 있다. 이 때에는 추측 클러스터에서 각도정보를 제거하고 2차원정보로 가공한 정보를 의미론 영역 모델로 사용할 수도 있다.
상기 도로영역의 추측과정을 설명한다.
상기 (x, y, θ)축의 삼차원좌표계에서 완성된 추측 클러스터를 εv라고 하고, 여기서, θ성분을 제거하여 2차원으로 표시하는 추측 클러스터는
Figure PCTKR2015000798-appb-I000001
라고 하고 이를 제공할 수 있다. 상기 추측 클러스터를 2차원 정보로 가공하는 것은, 상기 도로영역이 2차원으로 표시되기 때문이다. 마찬가지로, 중심벡터도
Figure PCTKR2015000798-appb-I000002
로 표기하고, 공분산행렬도
Figure PCTKR2015000798-appb-I000003
로 표기할 수 있다.
그러면,
Figure PCTKR2015000798-appb-I000004
를
Figure PCTKR2015000798-appb-I000005
로 나타낼 수 있고, 여기서,
Figure PCTKR2015000798-appb-I000006
는 중심벡터(
Figure PCTKR2015000798-appb-I000007
), 공분산행렬(
Figure PCTKR2015000798-appb-I000008
), 및 중요도(ωk) 정보를 포함한다. 그러면, 차량이 2차원으로 표시되는 현재의 화소(r=(x,y))에 위치할 확률을 수학식 4로 나타낼 수 있다.
수학식 4
Figure PCTKR2015000798-appb-M000004
도 5는 상기 수학식 4로 제시되는 도로영역의 확률을 음영으로 나타낸 도면이다. 도 5를 참조하면, 밝은 곳일 수록 도로영역일 확률이 높은 것으로 이해할 수 있다.
상기 확률분포에서 하기 수학식 5를 만족하는 화소를 도로영역으로 확정할 수 있다.
수학식 5
Figure PCTKR2015000798-appb-M000005
여기서,
Figure PCTKR2015000798-appb-I000009
는 중심벡터(
Figure PCTKR2015000798-appb-I000010
)와 공분산행렬(
Figure PCTKR2015000798-appb-I000011
)을 가지는 정규분포에서 피크가능성(peak probability)을 나타낸다. 상기 수학식 5에 주어지는 일 판단기준을 이용하여 도로영역이 추정될 수 있다.
상기 도로영역이 추정된 다음에는, 상기 의미론 영역 모델(SRM: Scemantic Region Model)을 구성하는 과정이 수행된다.
상기 도로영역으로 추정된 화소와 관련이 있는, 상기 2차원으로 표시하는 추측 클러스터(estimation cluster)를 의미론 영역 모델(SRM)으로 정의할 수 있다. 다시 말하면, 도로영역으로 추정된 화소에 속하는 것으로 판단되는 2차원 추측 클러스터를 의미론 영역 모델(SRM)(3)로 정의할 수 있다. 구체적으로는 수학식 6을 만족하는 2차원 추측 클러스터를 의미론 영역 모델로 정의할 수 있다.
수학식 6
Figure PCTKR2015000798-appb-M000006
상기 N은 이변량 정규밀도함수(bivariate normal density function)이다.
도 6에서는 상기되는 과정을 거쳐서 정의가 된 의미론 영역 모델을 표시하였다.
도 6을 참조하면, 각 의미론 영역 모델(SRM)을 서로 겹치게 제공될 수 있고, 폐쇄회로TV에서 먼 곳은 두 개의 도로에 구분이 없으나 가까운 곳은 서로 분리될 수 있고, 상기 도로영역과 먼 곳은 의미론 영역 모델에 포함되지 않을 수 있고, 각 의미론 영역 모델은 다른 경계선과는 구분되는 자신만의 2차원 영역을 가질 수 있다. 상기 의미론 영역 모델은 차량이 있을 가능성과 연관되는 것으로 이해할 수 있다.
충분한 양의 정보가 모였는지를 판단하는 단계(S5)에서 충분한 양의 정보가 보인 것으로 판단하면, 크기 템플릿(4)을 모델링한다. 상기 크기 템플릿 모델은, 상기 의미론 영역 모델 마다에 적합한 것으로 제공될 수 있다. 예를 들어, 폐쇄회로TV에서 거리가 먼 곳은 차량이 작은 것에 기인하여 작은 크기 템플릿을 제공할 수 있을 것이다.
상기 크기 템플릿을 제공하는 과정을 더 상세하게 설명한다.
이해의 편의를 위하여 상기 독립 운동체의 궤적과 상기 의미론 영역 모델을 서로 겹쳐지는 도면을 고려한다. 예를 들어, 도 2에 제시되는 궤적과 도 6에 제시되는 의미론 영역 모델을 서로 겹치는 것으로 생각할 수 있다. 그러면, 독립 운동체 궤적에 제공되는 각 운동체는 적어도 어느 하나, 바람직하게는 궤적의 경로 상의 모든 의미론 영역 모델의 내부에 포함될 수 있다.
각 이미지에서 각 운동체는 배경과는 경계선으로 분리되는 것으로서, 위치정보와 크기정보를 가질 수 있다. 예를 들어, (x, y, w, h)의 정보를 가질 수 있다. 이 정보는 클러스터링 알고리즘을 통하여 학습될 수 있다. 상기 클러스터링 알고리즘으로는 기본순차알고리즘논리(BSAS:basic sequential algorithmic scheme)를 적용할 수 있고, 더 구체적으로는 [S. Theodoridis and K. Koutrombas, "Sequential clustering algorithms", pp.633-643, in Pattern recognition, 2008.]를 적용할 수 있다.
상기 클러스터링 알고리즘을 간단히 설명한다.
현재의 운동체의 크기정보와 이미 저장되어 있는 크기 템플릿의 크기정보와의 차이를 구하여 그 차이가 일정 수준이상인 경우에는 새로운 크기 템플릿을 생성하고, 그 차이가 일정 수준이하인 경우에는 기존의 크기 탬플릿을 변경하지 않고 그 탬플릿에 현재의 운동체의 크기정보를 대표할 수 있는 것으로 할 수 있다.
상기 일정수준을 TBSAS라고 할 때, 그 수치가 작아질수록 더 다양한 크기 템플릿을 구할 수 있고, 더 정확한 차량검출결과를 얻을 수 있으나, 그에 비하여 연산량과 그에 대응하여 경과시간은 증가하는 경향을 가질 수 있다. 마찬가지로 상기 허용공차(TFC)가 커질수록 의미론 영역 모델(3)의 크기가 커지고 더 많은 크기 템플릿을 구할 수 있으므로, 더 정확한 차량검출결과를 얻을 수 있으나 연산량과 그에 대응하여 경과시간은 증가하는 경향을 가질 수 있다. 따라서, 각 공차(TBSAS, TFC)는 구체적인 상황에 따라서 다르게 적용될 수 있을 것이다.
상기되는 학습과정을 거침으로서, 어느 하나의 의미론 영역 모델에 포함될 수 있는 크기 템플릿이 다수개 제공될 수 있다. 특히 주의할 것은, 어느 하나의 의미론 영역 모델에 적합한 크기 템플릿이 상기 어느 하나의 의미론 영역 모델에 메칭되어 생성될 수 있는 것이다. 따라서, 폐쇄회로TV에서 먼 의미론 영역 모델에는 차량의 크기가 작게 보이기 때문에 비교적 작은 크기 템플릿이 제공될 수 있다. 같은 종류의 차량이라도, 폐쇄회로TV와 차량간의 각도가 틀어짐에 따라서, 다시 말하면, 차량이 가까이 있고 멀리 있는 지에 따라서 서로 다른 크기 및 형상의 크기 탬플릿을 얻을 수 있다. 예를 들어 같은 차량의 경우에도 가로가 긴 직사각형, 세로가 긴 직사각형, 및 정사각형의 다양한 크기 탬플릿을 얻을 수 있다. 이와 같이 다양한 양상으로 얻은 크기 탬플릿(4)은 각각의 의미론 영역 모델(3)에 메칭되어 있으므로 그 위치와 관련되는 정보를 가장 잘 반영할 수 있다. 결국, 상기 크기 탬플릿은 어느 의미론 영역 모델의 범위에서 적합하게 사용할 수 있는 윈도우의 크기와 연관되는 것으로 이해할 수 있다.
도 7은 의미론 영역 모델과 크기 템플릿을 함께 나타낸 도면이다.
도 7을 참조하면 의미론 영역 모델에 따라서 다양한 크기 및 형상의 크기 탬플릿이 부여되어 있는 것을 확인할 수 있다.
도 8은 차량검출을 위한 데이터베이스의 구조를 나타내는 도면이다.
도 8을 참조하면, 도 1에 제시되는 차량검출을 위한 데이터베이스 구축방법이 수행된 결과, 두 개의 서로 다른 종류의 데이터베이스를 얻을 수 있다. 더 상세하게는, 상기 의미론 영역 모델이 저장되는 제 1 데이터베이스(11)와, 상기 크기 탬플릿 데이터베이스가 저장되는 제 2 데이터베이스(12)가 포함될 수 있다. 상기 제 1 데이터베이스(11)에 저장되는 상기 의미론 영역 모델은 이미지의 화소위치와 연결되는 상태로 저장되어 있을 수 있다. 다시 말하면, 상기 이미지의 화소위치를 기준으로 상기 의미론 영역 모델이 지정되어 있을 수 있다. 상기 제 2 데이터베이스에 저장되는 각 크기 탬플릿은, 어느 의미론 영역 모델에 적용되는 것인지가 식별이 가능한 상태로 저장될 수 있다. 상기 제 1 데이터베이스(11) 및 상기 제 2 데이터베이스(12)는 데이터베이스가 실제로 저장되는 위치가 구분될 수도 있지만, 그러한 요구사항보다는 서로 다른 정보가 상호간의 소정의 관계에 따라서 저장되는 것을 의미할 수 있다. 상기 소정의 관계는 어느 의미론 영역 모델에 메칭되는 크기 템플릿이 식별되어 저장되어 있는 것으로 이해할 수 있다.
도 9는 실시예에 따른 차량검출방법을 설명하는 흐름도이다.
도 9를 참조하여 실시예에 따른 차량검출방법은, 차량검출을 위한 데이터베이스의 구조를 이용하여서 수행된다. 또한, 차량검출을 위한 데이터베이스 구축방법에서 수행되었던 과정의 일부가 그대로 적용되므로, 해당하는 부분의 구체적인 설명은 차량검출방법에도 적용되는 것으로 한다.
먼저, 이미지가 입력된다(S11). 상기 이미지는 차량이 포함되는 입력영상의 특정시각의 이미지로 제공될 수 있다. 이후에는 백그라운드 제거과정에 의해서 배경이 제거되고 상기 운동체가 배경과는 구분되는 영역으로 드러날 수 있다(S12). 상기 운동체가 드러나면, 상기 운동체의 위치를 포함하는 의미론 영역 모델(3)(SRM)이 결정된다(S13). 이때 어느 하나의 운동체의 위치에 포함되는 의미론 영역 모델은 하나일 수도 있고, 두 개 이상일 수도 있다. 상기 의미론 영역 모델(3)은 상기 차량검출을 위한 데이터베이스의 구조에 저장되어 있다가 독출될 수 있다. 이는 운동체 궤적은 이동각도(θ)도 포함하는 3차원으로 클러스터링이 되어 있기 때문이다. 이후에는 결정된 상기 의미론 영역 모델(3)에 사용하는 것으로 결정되어 있는 크기 탬플릿(4)을 확인한다(S14). 상기 크기 탬플릿(4)은 상기 차량검출을 위한 데이터베이스의 구조에 저장되어 있다가 독출될 수 있다.
이후에는 상기 크기 탬플릿 결정단계(S14)에서 결정된 상기 크기 탬플릿(4)을 윈도우로 이용하여, 상기 백그라운드 제거과정(S12)에서 구분된 상기 운동체의 서브이미지를 획득한다(S15). 상기 서브이미지 획득단계(S15)에서는, 상기 크기 탬플릿 결정단계(S14)에서 결정된 적어도 하나의, 바람직하게는 모든 크기 탬플릿을 이용하여 상기 운동체의 서브이미지를 획득한다. 따라서, 적어도 하나의 서브이미지를 얻을 수 있다. 다시 말하면, 어느 하나의 상기 의미론 영역 모델에 적합화되어 있는 다양한 크기 탬플릿을 윈도우로 하여, 현재의 위치 및 차량에 적합한 적어도 하나의 서브이미지를 얻을 수 있는 것이다.
상기 서브이미지가 얻어지면, 분류기에 저장되어 있는 정보와 메칭하여 비교한다(S16). 상기 분류기에는 작업자가 특정의 크기로, 실시예에서는 48×48크기의 정사각형 이미지로 모든 이미지를 저장하고 있다. 따라서, 상기 크기 탬플릿을 이용하여 얻어진 서브이미지는 분류기에 저장되어 있는 이미지의 크기와 대응되는 크기로, 실시예에서는 48×48크기의 정사각형 이미지로 변형하여, 변형된 서브이미지와 분류기에 저장된 각 이미지의 정보를 비교할 수 있다. 상기 서브이미지와 분류기에 저장된 정보의 비교는, 예시적으로 리니어 서포트 벡터 머신(linear support vector machine)기법을 활용하여 수행될 수 있다. 상기 비교의 더 구체적인 설명은 [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.]의 내용을 더 참조할 수 있다.
이후에는 비교결과를 최적화하여 최종으로 검출된 차량을 판정한다(S17). 차량의 검출에는 비 최대값 제거법(non-maximum suppression)을 활용하여 수행할 수 있다. 상기 비 최대값 제거법은 [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.]에 소개되는 방법을 사용할 수 있다.
도 10은 실시예에 따른 차량검출방법을 그림을 이용하여 예시적으로 설명하는 도면이다.
도 10을 참조하면, 이미지 상에 운동체가 관찰되면, 운동체의 위치(R1)가 파악된다. 상기 운동체의 위치(R1)에 제공되는 적어도 하나의 크기 탬플릿(4)이 적용되어 적어도 하나의 서브이미지가 독출된다. 상기 적어도 하나의 서브이미지가 분류기에 저장되는 정보와 비교되어 차량이 검출될 수 있다.
도 11은 실시예에 따른 차량검출방법을 시뮬레이션으로 수행한 환경이고, 도 12는 시뮬레이션의 결과를 나타내는 테이블이다.
도 11을 참조하면, 네 개의 씬(Scene)에 대해 각각 시뮬레이션을 위한 데이터 셋을 구축하였다. 각 데이터 셋은 760×570사이즈를 갖는 10,000개의 학습 및 5,000개의 테스트 이미지 시퀀스로 구성되어 있다. 각 씬에서 사용할 분류기 학습 및 독립 운동체의 궤적 수집은 모두 상기 언급한 10,000개의 학습 영상을 통해 이루어졌다. 상기 언급된 분류기 학습은 [R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti, "Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol.14, pp.28-42, 2012.]의 방법론을 활용하여 수행되었다. 모든 씬에 대해, 공차 TFC는 <γW, γH, π/8>로 모델링 되었으며, 시뮬레이션을 통해 γ는 0.1로 설정되었다. 한편, 공차 TBSAS는 <τS, τS>로 모델링 되었으며, τS는 실험을 통해 10으로 설정되었다.
상기 각 시뮬레이션 환경은 성능의 비교를 위하여, 고전적 슬라이딩 윈도우 방법(CSW), 씬 특화 슬라이딩 윈도우 방법(SCW), 및 실시예의 방법을 테스트한 결과가 도 12에 제시된다.
도 12를 참조하면, 평균적 성능치(Average)를 참조하면, 먼저, 상기 고전적 슬라이딩 윈도우 방법(CSW)의 경우에는 매우 빠른 동작속도를 보임을 알 수 있으나, 지나치게 낮은 차량검출 정확도를 보여 실제 응용시스템에 적용하기 힘들었다. 또한, 상기 씬 특화 슬라이딩 윈도우 방법(SCW)은 상기 고전적 슬라이딩 윈도우 방법(CSW)에 비하여 약 2.7% 높은 정확도를 제공하지만, 이 역시 실제 응용시스템에 적용하기에는 여전히 낮은 수치이다. 또한, CSW에 비해 2.16배 높은 연산량을 요구한다는 문제점 역시 확인 가능하다.
실시예의 경우에는 상기 고전적 슬라이딩 윈도우 방법(CSW)에 비하여, 오직 1.2배 증가한 연산량을 바탕으로 하면서도, 26%이상 향상된 정확도를 응용시스템에 제공해줄 수 있음을 알 수 있다.
씬 3의 경우에는 실시예에 따른 기법의 정확도가 다른 기법들에 비해 떨어지는 것이 관측된다. 그러나, 이는 시뮬레이션을 위해 학습 이미지 시퀀스를 10,000개로 제한하여 82개라는 충분하지 못한 숫자의 독립 운동체 궤적들만이 의미론 영역 모델 및 크기 탬플릿 학습을 위해 사용되었기 때문이다. 따라서, 이 문제점은 충분한 시간 동안 충분한 숫자의 독립 운동체 궤적을 수집하면 자연스럽게 해결될 수 있는 것은 당연히 예상 가능할 것이다.
본 발명에 따르면, 분류기의 정보를 작업자에 의해서 수작업을 수행되는 것을 제외하고는 모든 과정이 자동으로 진행되기 때문에 저비용으로 동작할 수 있고, 작은 연산량으로 신속하고 정확하게 차량을 검출할 수 있다. 또한, 본 발명은 화면 내에서 통행 중인 차량의 개수를 헤아려, 해당 교통 씬의 통행량을 분석하는 응용 애플리케이션의 개발에 사용할 수 있다.

Claims (20)

  1. 적어도 운동체가 포함되는 이미지가 입력되는 것;
    상기 운동체의 위치에 대응되는 정보로서 의미론 영역 모델을 결정하고, 상기 의미론 영역 모델에 사용되도록 결정되어 있는 크기 탬플릿으로 상기 운동체가 포함되는 서브이미지를 획득하는 것; 및
    상기 서브이미지와 분류기의 정보를 메칭하여 차량을 검출하는 것이 포함되는 차량검출방법.
  2. 제 1 항에 있어서,
    상기 의미론 영역 모델은, 상기 운동체의 위치에 대하여 적어도 어느 하나가 포함되는 차량검출방법.
  3. 제 1 항에 있어서,
    상기 크기 탬플릿은, 적어도 하나의 상기 의미론 영역 모델에 적어도 두개가 포함되는 차량검출방법.
  4. 제 1 항에 있어서,
    상기 서브이미지는, 모든 상기 크기 탬플릿에 대하여 획득되는 차량검출방법.
  5. 제 1 항에 있어서,
    상기 차량을 판정하는 것은,
    리니어 서포트 벡터 머신 기법으로 상기 서브이미지와 상기 분류기의 정보를 비교하고,
    그 비교결과를 비 최대값 제거법으로 최적화하여 수행되는 차량검출방법.
  6. 제 1 항에 있어서,
    상기 의미론 영역 모델은, 상기 운동체의 피처(feature)를 클러스터링하여 얻어지는 차량검출방법.
  7. 제 6 항에 있어서,
    상기 운동체의 피처를 획득하는 운동체는, 다른 운동체와 겹치지 않는 독립 운동체인 차량검출방법.
  8. 제 6 항에 있어서,
    상기 운동체의 피처에는, 상기 운동체의 위치정보와 이동각도정보가 포함되는 차량검출방법.
  9. 제 8 항에 있어서,
    상기 의미론 영역 모델은, 상기 운동체의 위치정보와 이동각도정보가 클러스터링되는 추측 클러스터에서, 상기 이동각도정보가 제거된 2차원 클러스터 정보인 차량검출방법.
  10. 제 9 항에 있어서,
    상기 의미론 영역 모델은, 도로영역으로 추정된 화소와 관련이 있는, 상기 2차원 클러스터 정보인 차량검출방법.
  11. 제 6 항에 있어서,
    상기 클러스터링은 핵심밀도추정(kernel density estimation)에 의해서 수행되는 차량검출방법.
  12. 제 1 항에 있어서,
    상기 의미론 영역 모델의 크기는 조절이 가능한 차량검출방법.
  13. 제 1 항에 있어서,
    상기 크기 탬플릿은, 상기 의미론 영역 모델을 통과하는 상기 운동체의 위치정보와 크기정보를 클러스터링하여 획득되는 차량검출방법.
  14. 제 1 항에 있어서,
    상기 크기 탬플릿의 개수는 조절이 가능한 차량검출방법.
  15. 이미지의 화소위치와 연결되고, 운동체가 위치하는 영역으로서 의미론 영역 모델이 저장되는 제 1 데이터베이스; 및
    분류기와 비교하기 위한 상기 운동체의 서브이미지를 획득하기 위한 크기탬플릿이, 상기 의미론 영역 모델에 대응하여 저장되는 제 2 데이터베이스가 포함되는 차량검출을 위한 데이터베이스의 구조.
  16. 제 15 항에 있어서,
    상기 크기탬플릿은 어느 하나의 상기 의미론 영역 모델이 적어도 두개가 포함되는 차량검출을 위한 데이터베이스의 구조.
  17. 입력영상에서 이미지를 획득하고 백그라운드를 제거하는 것;
    운동체를 해석하여 상기 운동체의 피처를 획득하고 클러스터링하는 것;
    충분한 양의 상기 운동체의 피처가 획득될 때까지 클러스터링을 수행하여 의미론 영역 모델을 획득하는 것; 및
    각 상기 의미론 영역 모델을 통과하는 적어도 상기 운동체의 크기정보를 클러스터링하여, 대응하는 각 상기 의미론 영역 모델에 사용되는 크기 탬플릿을 획득하는 것이 포함되는 차량검출을 위한 데이터베이스 구축방법.
  18. 제 17 항에 있어서,
    상기 의미론 영역 모델의 크기 및 상기 크기 탬플릿의 개수는 조절이 가능한 차량검출을 위한 데이터베이스 구축방법.
  19. 제 17 항에 있어서,
    상기 운동체의 피처가 획득되는 운동체는 독립 운동체인 차량검출을 위한 데이터베이스 구축방법.
  20. 제 17 항에 있어서,
    상기 운동체의 피처에는 운동체의 위치정보 및 이동각도정보가 포함되는 차량검출을 위한 데이터베이스 구축방법.
PCT/KR2015/000798 2014-12-30 2015-01-26 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법 WO2016108327A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/890,900 US20160343144A1 (en) 2014-12-30 2015-01-26 Method of detecting vehicle, database structure for detecting vehicle, and method of establishing database for detecting vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0193533 2014-12-30
KR1020140193533A KR101753097B1 (ko) 2014-12-30 2014-12-30 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Publications (1)

Publication Number Publication Date
WO2016108327A1 true WO2016108327A1 (ko) 2016-07-07

Family

ID=56284473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000798 WO2016108327A1 (ko) 2014-12-30 2015-01-26 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Country Status (3)

Country Link
US (1) US20160343144A1 (ko)
KR (1) KR101753097B1 (ko)
WO (1) WO2016108327A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297323A (zh) * 2016-09-30 2017-01-04 北京中星微电子有限公司 车辆流量监控方法和系统
CN112071076A (zh) * 2020-08-25 2020-12-11 浙江省机电设计研究院有限公司 一种高速公路车辆唯一标识特征提取方法及系统
JP7185740B1 (ja) * 2021-08-30 2022-12-07 三菱電機インフォメーションシステムズ株式会社 領域特定装置、領域特定方法及び領域特定プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
US10311311B1 (en) * 2017-08-31 2019-06-04 Ambarella, Inc. Efficient two-stage object detection scheme for embedded device
CN107784118B (zh) * 2017-11-14 2020-08-28 北京林业大学 一种针对用户兴趣语义的视频关键信息提取系统
KR101935528B1 (ko) 2017-11-28 2019-01-04 서강대학교 산학협력단 차분 프라이버시를 적용한 교통량 배포 시스템 및 방법
US11170017B2 (en) 2019-02-22 2021-11-09 Robert Michael DESSAU Method of facilitating queries of a topic-based-source-specific search system using entity mention filters and search tools

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040058142A (ko) * 2004-06-09 2004-07-03 주식회사 윤익씨엔씨 차량정보 인식 시스템
KR20060083138A (ko) * 2005-01-14 2006-07-20 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치
KR20100134206A (ko) * 2009-06-15 2010-12-23 (주) 알티솔루션 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
JP2011503696A (ja) * 2007-11-01 2011-01-27 イゴール ユリエヴィッチ マッツァー 交通監視システム
KR20120062137A (ko) * 2010-12-06 2012-06-14 주식회사 만도 차량인식시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042140A (ja) 2000-07-28 2002-02-08 Mitsubishi Electric Corp 移動物体計測装置及び交通流計測画像処理装置
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8948454B2 (en) * 2013-01-02 2015-02-03 International Business Machines Corporation Boosting object detection performance in videos

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040058142A (ko) * 2004-06-09 2004-07-03 주식회사 윤익씨엔씨 차량정보 인식 시스템
KR20060083138A (ko) * 2005-01-14 2006-07-20 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치
JP2011503696A (ja) * 2007-11-01 2011-01-27 イゴール ユリエヴィッチ マッツァー 交通監視システム
KR20100134206A (ko) * 2009-06-15 2010-12-23 (주) 알티솔루션 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
KR20120062137A (ko) * 2010-12-06 2012-06-14 주식회사 만도 차량인식시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297323A (zh) * 2016-09-30 2017-01-04 北京中星微电子有限公司 车辆流量监控方法和系统
CN112071076A (zh) * 2020-08-25 2020-12-11 浙江省机电设计研究院有限公司 一种高速公路车辆唯一标识特征提取方法及系统
JP7185740B1 (ja) * 2021-08-30 2022-12-07 三菱電機インフォメーションシステムズ株式会社 領域特定装置、領域特定方法及び領域特定プログラム

Also Published As

Publication number Publication date
KR101753097B1 (ko) 2017-07-19
KR20160080717A (ko) 2016-07-08
US20160343144A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
WO2016108327A1 (ko) 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
CN106845357B (zh) 一种基于多通道网络的视频人脸检测和识别方法
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2015178540A1 (ko) 카메라간 핸드오버를 이용한 목표물 추적 장치 및 방법
CN109800624A (zh) 一种基于行人重识别的多目标跟踪方法
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2013012150A1 (ko) 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
CN110781711A (zh) 目标对象识别方法、装置、电子设备及存储介质
CN107784291A (zh) 基于红外视频的目标检测跟踪方法和装置
CN109509222B (zh) 直线类物体的检测方法及装置
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2012111906A1 (ko) 이미지 특징 데이터 생성 장치 및 방법
WO2020246655A1 (ko) 상황 인지 방법 및 이를 수행하는 장치
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
CN111401113A (zh) 一种基于人体姿态估计的行人重识别方法
WO2019132588A1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
Elihos et al. Deep learning based segmentation free license plate recognition using roadway surveillance camera images
WO2021225296A1 (en) Method for explainable active learning, to be used for object detector, by using deep encoder and active learning device using the same
WO2013066095A1 (ko) 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14890900

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15875423

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC

122 Ep: pct application non-entry in european phase

Ref document number: 15875423

Country of ref document: EP

Kind code of ref document: A1