WO2014058248A1 - 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 - Google Patents

단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 Download PDF

Info

Publication number
WO2014058248A1
WO2014058248A1 PCT/KR2013/009068 KR2013009068W WO2014058248A1 WO 2014058248 A1 WO2014058248 A1 WO 2014058248A1 KR 2013009068 W KR2013009068 W KR 2013009068W WO 2014058248 A1 WO2014058248 A1 WO 2014058248A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
foreground
eigenvector
foreground object
pixels
Prior art date
Application number
PCT/KR2013/009068
Other languages
English (en)
French (fr)
Inventor
이광국
김기문
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201380052846.3A priority Critical patent/CN104781848B/zh
Publication of WO2014058248A1 publication Critical patent/WO2014058248A1/ko
Priority to US14/682,841 priority patent/US9311719B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • This embodiment relates to an apparatus and method for monitoring an image for estimating a tilt for a single object. More specifically, the single object is detected by estimating the area, width and height of the object in the captured image, detecting a single object, extracting the eigenvectors for the single object, and calculating the location of the vanishing point using the extracted eigenvectors.
  • An apparatus and method for estimating a tilt that is, a posture, for monitoring an image.
  • the size of an object in an image may be used to increase the accuracy of an image analysis algorithm of a video surveillance system. For example, when only a person is set as the object of interest, an approximate size of the person may be preset in the system to exclude objects (animals, cars, etc.) other than the person from the detected object.
  • the size of an object in the image varies depending on the coordinates where the object is located due to perspective.
  • Conventional technology directly inputs the size of an object of interest at several different points in an image, and estimates the size of the object at each coordinate of the image by using interpolation. Was used.
  • Video surveillance technology can only care about the size of the object, but the object's pose also plays an important role in improving the accuracy of the algorithm.
  • the area occupied by one person plays a very important role as a scaling factor.
  • the recognition-based method has a problem in that the recognition performance is deteriorated when an object having the same posture as an image used for learning a classifier for recognition is not input.
  • This embodiment detects a single object by estimating the area, width, and height of an object in the captured image, extracts the eigenvectors for the single object, and calculates the location of the vanishing point using the extracted eigenvectors.
  • An object of the present invention is to provide an apparatus and method for monitoring an image by estimating a tilt, ie, a posture.
  • the single object selection unit for selecting at least one or more of the plurality of objects in the acquired image;
  • a single foreground image generation unit generating a single foreground image for the single object;
  • An eigenvector extracting unit extracting an eigenvector for the single foreground object using at least one or more information among the center of gravity, the number of pixels, and coordinate values of the single foreground object included in the single foreground image;
  • a vanishing point position calculation for generating a reference vector by connecting a predetermined point in the image with the center of gravity of the single foreground object, and determining the predetermined point having a minimum angle between the reference vector and the eigenvector as a vanishing point. part;
  • an inclination checker which checks the inclination degree of the single foreground object by using the vanishing point and corrects the inclination and size of the minimum bounding box of the single foreground object. to provide.
  • a method for measuring the inclination of a single object in an image comprising: a single object selection process of selecting at least one or more of the single object among a plurality of objects in the acquired image; A single foreground image generation process of generating a single foreground image for the single object; An eigenvector extraction process of extracting an eigenvector for the single foreground object using at least one or more information among the center of gravity, the number of pixels, and coordinate values of the single foreground object included in the single foreground image; A vanishing point position calculation for generating a reference vector by connecting a predetermined point in the image with the center of gravity of the single foreground object, and determining the predetermined point having a minimum angle between the reference vector and the eigenvector as a vanishing point. process; And checking an inclination degree of the single foreground object by using the vanishing point, and checking an inclination of correcting the inclination and size of
  • the video surveillance apparatus has the effect of enabling to accurately describe the size and shape of the object to improve the accuracy of video analysis.
  • FIG. 1 is a block diagram schematically illustrating an apparatus for monitoring an image according to an exemplary embodiment.
  • FIG. 2 is a block diagram schematically illustrating a video surveillance apparatus for estimating a tilt of a single object according to the present embodiment.
  • FIG. 3 is a flowchart illustrating an operation of detecting a single object by the video surveillance apparatus according to the present embodiment.
  • FIG. 4 is a flowchart illustrating a method of monitoring an image by estimating a tilt of a single object according to the present embodiment.
  • FIG. 5 is an exemplary view for explaining an operation of separating a captured image into a foreground pixel and a background pixel by the video surveillance apparatus according to the present embodiment.
  • FIG. 6 is an exemplary diagram for describing an operation of removing noise by using a histogram of a foreground pixel, which is included in the video surveillance apparatus according to the present embodiment.
  • FIG. 7 is an exemplary diagram for describing an operation of determining a single object through grouping by the video surveillance apparatus according to the present embodiment.
  • FIG. 8 is a graph illustrating a clustering result of foreground pixels in order to detect a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 9 is a graph for explaining an operation of calculating the area of a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 10 is an exemplary view showing an image of a single object detected by estimating the size of the single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 11 is an exemplary view showing a foreground image of a single foreground object in the video surveillance apparatus according to the present embodiment.
  • FIG. 12 is an exemplary view for explaining an operation of estimating a tilt of a single foreground object by the video surveillance apparatus according to the present embodiment.
  • FIG. 13 is an exemplary view for explaining an operation of estimating a tilt using an eigenvector of a single foreground object by the video surveillance apparatus according to the present embodiment.
  • FIG. 14 is an exemplary view illustrating a result image of a video surveillance apparatus according to an exemplary embodiment, correcting a size by outputting an inclination of a single foreground object.
  • FIG. 1 is a block diagram schematically illustrating an apparatus for monitoring an image according to an exemplary embodiment.
  • the apparatus for monitoring an image by estimating the tilt of a single object includes an image capturing apparatus 110, an image monitoring apparatus 120, and a monitoring apparatus 150.
  • the video surveillance apparatus 120 includes an image information processor 130, a single object detector 140, and a tilt estimator 142.
  • the image capturing apparatus 110 refers to a device capable of capturing an image.
  • the image capturing apparatus 110 according to the present embodiment is a CCTV camera, a surveillance camera, etc., which can capture an image for monitoring an object having a predetermined size. It is preferably implemented as.
  • the image capturing apparatus 110 transmits the photographed captured image to the image monitoring apparatus 120 to monitor the moving object.
  • the captured image photographed by the image capturing apparatus 110 may be one frame, but is not necessarily limited thereto, and may be an image including a plurality of frames.
  • the image monitoring apparatus 120 refers to a device for monitoring an image by receiving a captured image from the image capturing apparatus 110, detecting a moving object having a predetermined size in the captured image.
  • the image information processing unit 130 receives the captured image from the image capturing apparatus 110, checks the pixel value of the pixel in the captured image, and removes the background pixel for the background without a specified movement, thereby removing the foreground pixel of the moving object. Separate and generate foreground image.
  • the image information processor 130 generates foreground object information by measuring the number of pixels of the foreground object and the coordinate values of the foreground pixel in the separated foreground image.
  • the image information processor 130 repeatedly measures the number of pixels of the foreground object and the coordinate values of the foreground pixels by repeating the preset time and data amount based on the foreground. You can also create object information.
  • the single object detector 140 removes noise on the foreground object information generated by the image information processor 130, performs grouping into two groups using the foreground object information from which the noise is removed, and performs a single of two groups. Determining a group of objects to detect single object information for a single object. In addition, the single object detector 140 estimates a predetermined area calculation function using the single object information, and applies the y coordinate value of the single object included in the single object information to determine the area, width, and height of each single object. Calculate to generate result information about the size of a single object.
  • the tilt estimator 142 selects a predetermined single foreground object based on the single object result information generated by the single object detector 140, estimates the slope, or posture, of the selected single foreground object, for the single foreground object. Perform the operation of correcting the size and slope of the minimum bounding rectangle.
  • the bounding rectangle may be a box-shaped rectangle, but is not necessarily limited thereto, and may be changed to an ellipse, a circle, a triangle, or the like.
  • the slope estimator 142 selects a single foreground object from a single object whose area, width, and height are calculated by input by a manager or by a predetermined size, and uses a covariance matrix to select a single foreground object. Extract the eigenvectors for an object. In addition, the tilt estimator 142 calculates a random point at the vanishing point position that minimizes the angle between the reference vector connecting the center of gravity of the single foreground object and the single foreground object and the extracted eigenvector. Here, the tilt estimator 142 may repeatedly set all or some of the pixels in the captured image to any one point to calculate the location of the vanishing point.
  • the tilt estimator 142 checks the inclination of each single foreground object, that is, the posture of the single foreground object, using the calculated vanishing point, and adjusts the slope of the minimum bounding rectangle of the corresponding object, and the size of the actual object.
  • the size of the minimum bounding rectangle is calibrated to be similar to and is displayed on the monitoring device 150.
  • the monitoring device 150 corrects the slope, area, width, and height of the minimum bounding rectangle of the single foreground object based on the slope of the single foreground object estimated by the video surveillance apparatus 120 to control various shapes such as a rectangle, an ellipse, a triangle, and the like. Refers to a device for displaying in the form of a figure.
  • the monitoring device 150 is described as a device displaying only a single object, the displayed object may be changed according to the setting of the administrator.
  • the monitoring device 150 may be implemented to enable short-range communication such as a wireless LAN signal or Bluetooth, Zigbee, etc. in order to receive information on a single object from the video surveillance apparatus 120.
  • the monitoring device 150 is described as being implemented separately from the video surveillance apparatus 120, but is not necessarily limited thereto.
  • the monitoring apparatus 150 may be implemented as a single device including a display unit in the video surveillance apparatus 120. It may be.
  • FIG. 2 is a block diagram schematically illustrating a video surveillance apparatus for estimating a tilt of a single object according to the present embodiment.
  • the video surveillance apparatus 120 includes an image acquisition unit 210, a foreground background separator 220, a foreground object information generator 230, a noise remover 240, a clusterer 250, and a single unit.
  • Object information detection unit 260 single object estimation value calculation unit 270, single object result unit 272, single object selection unit 280, eigenvector extractor 282, vanishing point position calculation unit 284 , The tilt checker 286 and the communication unit 288.
  • the image acquirer 210 acquires a captured image photographed from the image photographing apparatus 110 connected to the image surveillance apparatus 120.
  • the captured image may be one frame or an image including a plurality of frames.
  • the image acquisition unit 210 is described as directly receiving and obtaining the image taken from the image capturing apparatus 110, but is not necessarily limited to this, and obtains the image stored in the image capturing apparatus 110 pre-recorded It may be used to estimate the size of the object in the image.
  • the foreground background separator 220 separates the foreground pixel of the moving object by removing the background pixel of the background in which the pixel in the captured image is not moved.
  • a background model is generated by designating pixels having no change as a background pixel based on the previous photographed image, and comparing the photographed image acquired by the image acquirer 210 with the background model does not correspond to the background model.
  • the pixel is regarded as a foreground pixel and separated.
  • the foreground background separator 220 may generate a foreground image representing only a moving object by using the plurality of separated foreground pixels.
  • the foreground background separator 220 sets a region corresponding to the background pixel among the pixels of the photographed image to a value of 0, and sets the foreground pixel for the moving object to a value of 1 to separate the foreground image for the moving object. Can be.
  • the foreground background separator 220 may separate the foreground pixel by using a Gaussian Mixture Model (GMM).
  • the foreground background separator 220 designates a plurality of Gaussian modes having a weight greater than a predetermined value as a background pixel among the pixels in the photographed image as a background pixel, and removes the specified background pixel, and thus the foreground corresponding to the moving object. Separate the pixels. For example, when a plurality of people pass in the captured image, the foreground background separator 220 may measure a weight for the Gaussian mode and designate a background pixel for a fixed background having a high weight, and specify a background designated by the pixel of the captured image. By removing the pixels, the foreground pixels corresponding to the plurality of people may be separated to generate foreground images of the plurality of moving people.
  • GMM Gaussian Mixture Model
  • the foreground object information generator 230 generates foreground object information by measuring the number of pixels and coordinate values of the foreground object in the foreground image separated by the foreground background separator 220.
  • the foreground object information generator 230 may measure the number of pixels for each foreground object in the foreground image and use the number of pixels measured as the area of the foreground object.
  • the foreground object information generation unit 230 preferably measures the center of the minimum bounding box of the foreground object as a coordinate value of the foreground object, but is not necessarily limited thereto.
  • One existing point may be measured by the coordinate value of the foreground object.
  • the coordinate value of the foreground object is preferably a y coordinate required to determine the perspective of the foreground object.
  • the bounding rectangle may be a box-shaped rectangle, but is not necessarily limited thereto, and may be changed to an ellipse, a circle, a triangle, or the like.
  • the foreground object information generation unit 230 determines whether the image monitoring can be performed using the foreground object information, and if the data amount is less than a predetermined criterion, the pixel of the foreground object is repeated based on time and data amount.
  • Foreground object information may be generated by measuring number and coordinate values. For example, when the foreground object information generation unit 230 includes data about 500 or more foreground objects in the foreground object information and is set based on a maximum information collection time of 2 seconds, the foreground object information may be 500 or more information collection information. Foreground object information created after 5 minutes has elapsed is used for video surveillance.
  • the noise removing unit 240 removes noise that cannot or cannot measure the size of the foreground object information.
  • the noise removing unit 240 may remove noise by using a noise removing method using an area histogram of the foreground object and a noise removing method using coordinate values included in the foreground object information.
  • the noise removing unit 240 determines that the number of pixels of the foreground object, that is, the foreground object whose area of the foreground object is smaller than a predetermined size, is removed as noise. For example, if the number of pixels of the foreground object included in the foreground object information is statisticized as a histogram, when the number of pixels of the foreground object is within a preset range or falls below a predetermined reference value, the corresponding pixel is determined as noise to determine the number of pixels in the foreground object information. Can be removed.
  • the noise removing unit 240 selects the foreground object as noise. It can be determined and removed.
  • the clustering unit 250 performs an operation of grouping the foreground object information from which the noise is removed into two groups.
  • the clustering unit 250 determines the aspect ratio and foreground object information of the foreground object information in order to determine the information on the single object composed of one object from the foreground object information from which noise is removed.
  • the image data is grouped into two groups using values for at least one image feature among the fill ratio and the second moment.
  • the aspect ratio of the foreground object information refers to a value calculated by dividing the width of the minimum boundary rectangle by the length of the rectangle, and the ratio of the number of pixels of the foreground object information is the minimum number of pixels for the foreground object from which the noise is removed.
  • the value is divided by the number of pixels included in the bounding rectangle.
  • the secondary moment means a value calculated using the coordinate values of each pixel included in the foreground object, and the secondary moment M may be calculated using Equation 1.
  • the second moment M may be calculated using the determinant of the average of the coordinate values of the foreground object.
  • the clustering unit 250 uses at least one of an aspect ratio, a pixel ratio of the foreground object, and a second moment into two groups by using a K-means clustering method. It is preferable to classify, but the present invention is not necessarily limited thereto. Any clustering technique that can be classified into a predetermined number of groups by using a predetermined feature, such as a hierarchical clustering technique, a non-hierarchical clustering technique, and a model-based technique, may be used. Techniques are also possible.
  • the K-means clustering technique sets an initial value for clustering into two groups, and sets a similar clustering using at least one of an aspect ratio of the foreground pixel, a ratio of the number of pixels of the foreground object, and a second moment.
  • the K-means clustering technique is generally widely used, a detailed description thereof will be omitted.
  • the single object information detection unit 260 determines a single object group consisting of a single object from two groups generated through clustering, and detects single object information for a single object.
  • the single object information detector 260 uses a least square method for a predetermined linear function of the relationship between the y coordinate of the foreground pixels clustered in the clustering unit 250 and the number of pixels of the foreground object.
  • the average error value of the number of pixels in the group is compared by using the number of pixels of the foreground object estimated by using a predetermined linear function and the number of pixels of the actual foreground object. Determining the group, and detects the single object information for a single object in the determined group.
  • Equation 2 The predetermined linear function for the relationship between the y coordinate for the foreground pixels clustered in the single object information detection unit 260 and the number of pixels of the foreground object is expressed by Equation 2 below.
  • the single object information detector 260 calculates the estimated number of pixels of the foreground object by substituting the y coordinate of the foreground pixel in Equation 2.
  • the single object information detector 260 calculates an error of the number of pixels of each foreground object by using the calculated number of pixels of the foreground object and the number of pixels of the actual foreground object, and counts the number of pixels in each of the two groups. By comparing the average of the errors, the group having the smallest error is determined as the group for the single object, and the single object information for the single object included in the determined group is detected.
  • the single object information preferably includes the coordinate values of the pixels of the single object and the number of pixels of the single object.
  • Equation 3 the average error value e c of the errors with respect to the number of pixels of the foreground object included in the group is calculated through Equation 3.
  • the single object estimation value calculating unit 270 estimates a predetermined nonlinear function by using nonlinear optimization on the single object information detected by the single object information detecting unit 260 and based on the predetermined nonlinear function, The operation of calculating an estimate of the magnitude is performed.
  • the single object estimation value calculator 270 estimates a predetermined nonlinear function on the relationship between the y coordinate of the single object pixel included in the single object information and the number of pixels of the single object through nonlinear optimization, A nonlinear function is used to calculate the area value of a single object.
  • the estimated value including the area, width and height of the size of the single object may be calculated based on a predetermined nonlinear function for calculating the single object area value.
  • the single object estimation value calculator 270 may use nonlinear optimization because the relationship between the y coordinate of the single object pixel and the number of pixels of the single object may be nonlinear according to the lens performance, angle of view, and installation angle of the imaging apparatus 110.
  • linear optimization may be used.
  • a predetermined nonlinear function for the relationship between the y coordinate of the single object pixel included in the single object information and the number of pixels of the single object is expressed by Equation 4.
  • Equation 4 the parameters p a1 , p a2 and p a3 included in Equation 4 may be determined as values that minimize the error e a calculated by Equation 5 by the nonlinear optimization method.
  • the width of the single object is preferably used as it is, but is not necessarily limited to the single object group used to estimate the area of the single object estimated in Equation 4, the area of the single object and the estimated single object Only objects whose area difference is equal to or less than a predetermined threshold may be selectively used.
  • the width and height of the object may be estimated only for an object whose area a i measured for any object i is 10% or less from the area a estimated by Equation 4.
  • Equation 6 the parameters p w1 , p w2 and p w3 included in Equation 6 may be determined as values that minimize the error e w calculated by Equation 7 by a nonlinear optimization method.
  • Equation 8 The function of calculating the height of the size of the single object based on Equation 4 in the single object estimate calculator 270 is expressed by Equation 8.
  • Equation 8 the parameters p h1 , p h2 and p h3 included in Equation 8 may be determined as values that minimize the error e h calculated by Equation 9 by a nonlinear optimization method.
  • the single object result unit 272 generates single object result information for the single object whose area, width, and height are calculated by the single object estimate value calculator 270.
  • the single object selecting unit 280 generates a single foreground image of the single object based on the single object result information generated by the single object result unit 272, and generates at least one single foreground object among the foreground images of the single object. Select.
  • the single foreground object is preferably selected through input by a manager's operation, but is not necessarily limited thereto.
  • the single foreground object may be selected as a single foreground object. .
  • the eigenvector extractor 282 extracts an eigenvector for a single foreground object selected by the single object selector 280.
  • the eigenvector includes a first eigenvector having a characteristic coinciding with the main direction of the pixels with respect to a single foreground object, and a second eigenvector in a direction perpendicular to the first eigenvector.
  • the main direction means a direction parallel to the height of a single object.
  • the eigenvector extractor 280 may calculate an eigenvector using a covariance matrix.
  • the covariance matrix is a value representing the degree of correlation between two random variables, and the covariance matrix C according to the present embodiment may be calculated using Equation 10.
  • C covariance matrix
  • M number of pixels in a single foreground object
  • X i two-dimensional vector of the coordinates of the i th pixel in a single foreground object
  • m two-dimensional vector of the coordinates of the center of gravity of the pixels in a single foreground object
  • the eigenvector has a feature that coincides with the main direction of the pixels with respect to a single foreground object, and is composed of two vectors perpendicular to each other using a two-dimensional vector.
  • the vanishing point position calculating unit 284 calculates the position of one vanishing point where the eigenvectors for each single foreground object meet in the single foreground image.
  • the vanishing point position calculating unit 284 calculates an angle between a reference vector connecting an arbitrary point in the photographed image and the center of gravity of a single foreground object and the eigenvector extracted from the eigenvector extracting unit 280.
  • the vanishing point position is calculated as one random point that minimizes the angle between the two vectors. More specifically, if one point in the image is set to v z and the center of gravity of any single i-th foreground object is set to m i , the point of gravity of any single point in the image and the single foreground object
  • the concatenated reference vector may be represented by (v z -m i ).
  • Any reference for minimizing the angle between the two vectors (v z -m i ) and e i by calculating the angle between the reference vector (v z -m i ) and the eigenvector e i extracted by the eigenvector extractor 280 Determine the point v z as the vanishing point.
  • the vanishing point position calculating unit 284 is an angle difference value (e 2 ) that minimizes an angle difference between a reference vector connecting an arbitrary point in the photographed image and the center of gravity of a single foreground object and an eigenvector for a single foreground object.
  • the equation for calculating is as shown in Equation (11).
  • Equation (11) such that the angle between the reference vector and the eigenvector is close to zero can be obtained through a nonlinear optimization method, and the vanishing point position calculation unit 284 according to the present embodiment is obtained by Nelder & Mead. It is desirable to perform nonlinear optimization using the Simplex Method, but it is not necessarily limited thereto.
  • the tilt checker 286 checks the tilted information of each single foreground object, that is, the posture of the single foreground object, using the vanishing point calculated by the vanishing point position calculator 284 to correct the size of the identified object. Perform.
  • the inclination checker 286 checks the degree of inclination of the single foreground object, adjusts the inclination of the minimum bounding rectangle of the corresponding object, and corrects the size of the minimum bounding rectangle to be similar to the size of the actual object.
  • the communicator 288 transmits the gradient checker 286 to the monitoring device 150 to display and display the adjusted slope and the corrected size of the minimum bounding rectangle for the single foreground object.
  • FIG. 3 is a flowchart illustrating an operation of detecting a single object by the video surveillance apparatus according to the present embodiment.
  • the image monitoring apparatus 120 acquires a photographed image photographed from the image photographing apparatus 110 or a photographed image stored in advance (S310).
  • the image monitoring apparatus 120 checks pixel values of pixels in the captured image according to a predetermined standard (S320).
  • the video surveillance apparatus 120 separates the background pixel for the background that is not moving and the foreground pixel for the moving object based on the pixel value identified in step S320 (S322).
  • the video surveillance apparatus 120 generates a background model by designating pixels having no change as the background pixel based on the previous photographed image, and compares the obtained photographed image with the background model to foreground the pixels that do not correspond to the background model. Judging by the pixel, it is separated.
  • the video surveillance apparatus 120 generates foreground object information by measuring coordinate values of the foreground pixel separated in step S322 and the number of pixels of the foreground object (S330).
  • the video surveillance apparatus 120 may repeatedly measure the number of pixels of the foreground object and coordinate values of the foreground pixel by repeating the preset time and data amount.
  • the video surveillance apparatus 120 determines whether the object information is available for object detection based on a predetermined time and the amount of information (S340).
  • the video surveillance apparatus 120 removes the noise of the foreground object by using the histogram of the object information (S350), included in the object information
  • the noise of the foreground object is removed using the coordinate value (S352).
  • the video surveillance apparatus 120 extracts the features of the foreground object by using the object information and clusters them into two groups (S360).
  • the video surveillance apparatus 120 determines a single object group among the two groups clustered in step S360, and detects single object information on the single object (S370).
  • the image surveillance apparatus 120 estimates a predetermined linear function of the relationship between the y coordinate of the clustered foreground pixels and the number of pixels of the foreground object by using the least square method, and the foreground estimated using the predetermined linear function.
  • the number of pixels of the object is compared with the number of pixels of the actual foreground object to determine a group having a small error as a group consisting of a single object, and to detect single object information of a single object.
  • the video surveillance apparatus 120 generates a predetermined function for estimating the size of the single object using the single object information (S380).
  • the video surveillance apparatus 120 may generate a predetermined nonlinear function by nonlinearly optimizing the single object information.
  • the video surveillance apparatus 120 calculates an area, a width, and a height of the single object using the single object information (S382).
  • the image surveillance apparatus 120 may calculate the width and height of the area value of the single object and the size of the single object by using a predetermined nonlinear function.
  • the video surveillance apparatus 120 estimates the size of the single object using the area, the width, and the height of the single object calculated in step S382 (S390).
  • the estimated size of the single object may be displayed by using various types of figures, such as a rectangle, an ellipse, and a triangle, by using the monitoring device 150.
  • steps S310 to S390 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 3 or executing one or more steps of steps S310 to S390 in parallel without departing from the essential characteristics of an embodiment of the present invention. 3 is not limited to the time series order.
  • FIG. 4 is a flowchart illustrating a method of monitoring an image by estimating a tilt of a single object according to the present embodiment.
  • the video surveillance apparatus 120 selects a single single object from among the plurality of single objects as a single foreground object (S410).
  • the video surveillance apparatus 120 compares the size of the single object estimated using at least one measurement value of the area, width, and height of the single object with more than or less than the preset reference size value, and corresponds to a single foreground. Can also be selected as an object.
  • the video surveillance apparatus 120 extracts an eigenvector for a single foreground object (S420).
  • the eigenvector includes a first eigenvector having a characteristic coincident with the principal direction of the pixels for a single foreground object and a second eigenvector in a direction perpendicular to the first eigenvector.
  • the main direction means a direction parallel to the height of a single object.
  • the video surveillance apparatus 120 calculates the location of the vanishing point using the eigenvector extracted in step S420 (S430).
  • the image surveillance apparatus 120 calculates an angle between a reference vector connecting an arbitrary point in the photographed image and the center of gravity of a single foreground object and the eigenvector extracted in step S420, thereby minimizing the angle between the two vectors.
  • One point of is calculated as the vanishing point position.
  • the video surveillance apparatus 120 checks the degree of inclination of the single foreground object based on the position of the center of gravity, the eigenvector, and the vanishing point of the single foreground object (S440).
  • the video surveillance apparatus 120 transmits the minimum bounding rectangle of the single foreground object to the monitoring apparatus 150 to display the corrected slope and size of the single foreground object based on the degree of inclination identified in step S440 (S450).
  • steps S410 to S450 are described as being sequentially executed.
  • this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs.
  • Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 4 or executing one or more steps of steps S410 to S450 in parallel without departing from the essential characteristics of an embodiment of the present invention. 4 is not limited to the time series order.
  • FIG. 5 is an exemplary view for explaining an operation of separating a captured image into a foreground pixel and a background pixel by the video surveillance apparatus according to the present embodiment.
  • (a) represents a captured image received by the image surveillance apparatus 120 from the image photographing apparatus 110, and (b) shows a background pixel among the pixels of the photographed image from the image surveillance apparatus 120. After removing, the foreground image generated using only the foreground pixel is displayed.
  • (a) is a video taken by a CCTV installed in India in the center of the city represents a video of a number of pedestrians walking.
  • the first object 510 refers to a pedestrian walking alone
  • the second object 520 refers to two pedestrians walking adjacent to each other.
  • the first object 510 and the second object 520 may be displayed as a first foreground object 530 and a second foreground object 540 in (b) which is an image separated into a foreground image.
  • the first foreground object 530 is determined as a single object through clustering of the video surveillance apparatus 120 to measure coordinate values and the number of pixels
  • the second foreground object 540 clusters the video surveillance apparatus 120. It can be determined that it is not a single object and can be excluded from a single object.
  • FIG. 6 is an exemplary diagram for describing an operation of removing noise by using a histogram of a foreground pixel, which is included in the video surveillance apparatus according to the present embodiment.
  • the noise canceller 240 generates an area histogram using the foreground object information of the foreground object, and the area of the generated histogram data is included in a preset range or falls below a predetermined reference value. In this case (eg, less than the lowest 5%), the corresponding foreground object information 610 is determined as noise and removed.
  • the x-axis of the graph represents the size (area) of the object
  • the y-axis represents the frequency of occurrence.
  • the noise remover 240 may remove a small noise caused by noise in the process of processing the image, such as photographing, converting, separating, and correcting the image from the foreground image.
  • FIG. 7 is an exemplary diagram for describing an operation of determining a single object through grouping by the video surveillance apparatus according to the present embodiment.
  • the image surveillance apparatus 120 may not be present.
  • the grouping method is used to classify into two groups.
  • one of the two groups refers to a group for a single object, and the other means a group for one or more objects.
  • foreground object 1 710 and foreground object 2 720 may be included in a single object group
  • foreground object 3 730 and foreground object 4 740 may be included in a plurality of object groups.
  • the video surveillance apparatus 120 calculates the area of the single object using only the single object information of the foreground object 1 710 and the foreground object 2 720 included in the single object group through the monitoring device 150. You can print
  • FIG. 8 is a graph illustrating a clustering result of foreground pixels in order to detect a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 8 is a graph illustrating a result of grouping foreground pixels included in a foreground image in two groups by using the K-average clustering technique in the image surveillance apparatus 120.
  • One of the two groups is " ⁇ ", and the other group is marked with” x ".
  • the image surveillance apparatus 120 estimates a predetermined linear function of the relationship between the y coordinate of the clustered foreground pixels and the number of pixels of the foreground object by using the least square method, and the predetermined linear function. By comparing the estimated number of pixels of the foreground object with the number of pixels of the actual foreground object can be determined as a group 810 consisting of a single object.
  • FIG. 9 is a graph for explaining an operation of calculating the area of a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 9 is a graph showing the result of estimating the predetermined nonlinear function 910 using the nonlinear optimization of the single object information in the video surveillance apparatus 120. All information on the single object information is " ⁇ ". Information corresponding to the area value of the single object corresponding to the predetermined nonlinear function 910 is indicated by ". &Quot;
  • the video surveillance apparatus 120 may calculate the width and the height of the size of the single object based on the predetermined nonlinear function 910.
  • FIG. 10 is an exemplary view showing an image of a single object detected by estimating the size of the single object in the video surveillance apparatus according to the present embodiment.
  • the image monitoring apparatus 120 displays the displayed image by displaying a single object by using the calculated area value, width, and height for each single object.
  • the single object may be added and displayed in various shapes such as a rectangle, an ellipse, and a triangle by using the width and height of the single object as shown in FIG. 10.
  • FIG. 11 is an exemplary view showing a foreground image of a single foreground object in the video surveillance apparatus according to the present embodiment.
  • (a) represents a captured image obtained by the video surveillance apparatus 120 from the image capturing apparatus 110, and (b) shows a single foreground corresponding to a single object in the video surveillance apparatus 120. Represents a single foreground image from which an object is extracted.
  • the first single foreground object 1110 and the second single foreground object 1120 may be displayed.
  • the first single foreground object 1110 and the second single foreground object 1120 may be a single foreground object selected from a single object whose area, width, and height are estimated through clustering in the video surveillance apparatus 120.
  • FIG. 12 is an exemplary view for explaining an operation of estimating a tilt of a single foreground object by the video surveillance apparatus according to the present embodiment.
  • the first single foreground object 1110 selected by the video surveillance apparatus 120 has a first eigenvector 1210 and a second eigenvector 1220 extracted using a covariance matrix.
  • the first eigenvector 1210 is a vector representing the same direction as the main direction parallel to the height of the first single foreground object 1110
  • the second eigenvector 1220 is perpendicular to the first eigenvector 1210. It means a vector forming a.
  • the video surveillance apparatus 120 connects an arbitrary point 1230 in the image with the center of gravity 1240 of the first single foreground object 1110 to determine the angle between the reference vector 1250 and the first eigenvector 1210. 1230 is calculated as a predetermined error function to determine an arbitrary point 1230 at which the angle 1230 is minimum as the vanishing point of a single foreground object.
  • FIG. 13 is an exemplary view for explaining an operation of estimating a tilt using an eigenvector of a single foreground object by the video surveillance apparatus according to the present embodiment.
  • FIG. 13 is a reference for connecting the eigenvectors and vanishing points of the plurality of single foreground objects 1310 and 1320 with the center of gravity of each single foreground object. Represents a vector.
  • FIG. 14 is an exemplary view illustrating a result image of a video surveillance apparatus according to an exemplary embodiment, correcting a size by outputting an inclination of a single foreground object.
  • the video surveillance apparatus 120 corrects the size of the identified object by checking the tilt of the single foreground object, that is, the posture of the single foreground object, by using the position of the center of gravity, the eigenvector, and the vanishing point of each single foreground object. To perform the operation.
  • the degree of tilt of the single foreground object is checked to adjust the slope of the minimum bounding rectangle of the object, and the size is corrected by adjusting the width and height of the minimum bounding rectangle so as to be similar to the size of the actual object. Can be displayed.
  • the present embodiment is applied to the field, and even when the object appears in an inclined form rather than a vertical direction in the image due to the camera's angle of view or an angle, the posture of the object, that is, the degree of inclination, may be automatically determined. It is a useful invention to occur.
  • slope estimation unit 150 monitoring device
  • Image receiver 220 foreground background separator
  • clustering unit 260 single object information detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법을 개시한다. 본 실시예는 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 촬영영상 내의 객체의 면적, 너비 및 높이를 추정하여 단일객체를 검출하고, 단일객체에 대한 고유벡터를 추출하고, 추출된 고유벡터를 이용하여 소실점의 위치를 산출함으로써, 단일객체에 대한 기울기 즉, 자세를 추정하여 영상을 감시하는 장치 및 방법을 제공한다.

Description

단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
본 실시예는 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 촬영영상 내의 객체의 면적, 너비 및 높이를 추정하여 단일객체를 검출하고, 단일객체에 대한 고유벡터를 추출하고, 추출된 고유벡터를 이용하여 소실점의 위치를 산출함으로써, 단일객체에 대한 기울기 즉, 자세를 추정하여 영상을 감시하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
영상 감시시스템의 영상분석 알고리즘의 정확도를 높이기 위해 영상 내의 객체의 크기를 이용하는 경우가 있다. 예컨대, 사람만이 관심 객체로 설정된 경우, 대략적인 사람의 크기를 시스템에 기 설정하여 사람 이외의 객체(동물, 자동차 등)을 검출되는 객체에서 제외할 수 있다.
이러한 객체의 크기를 추정하기 위해서는 정교한 카메라 캘리브레이션(Calibration)을 필요로 하나 이는 복잡한 처리과정을 필요로 하여 실제 응용에 적합하지 않다.
한편, 영상 감시시스템은 영상 내 객체의 크기는 원근효과(Perspective)로 인해 객체가 위치한 좌표에 따라 달라진다. 종래의 기술은 영상 내에 서로 다른 몇 개의 지점에서 관심객체의 크기를 사용자가 직접 입력하고, 이렇게 입력된 객체의 크기 정보를 보간법(Interpolation)을 이용해 영상의 각 좌표에서 객체의 크기를 추정하여 이용하는 방법을 사용하였다.
하지만 이러한 방법은 사용자가 입력한 샘플에 따라 결과가 달라질 수 있으므로, 사용자의 숙련도에 따라 시스템의 정확도가 좌우되는 문제가 있다. 또한 사용자의 입력을 필요로 하는 방법은 다수의 카메라가 활용되는 대규모 시스템에 적용되기 위해서는 많은 노동력을 필요로 하는 문제가 있다.
영상 감시 기술은 객체의 크기에 대해서만 중요시할 수 있으나, 객체의 자세(Pose) 또한 알고리즘의 정확도를 향상시키는데 중요한 역할을 한다. 예를 들어, 영역기반의 사람 수를 추정하는 알고리즘에서 한 사람이 영상에서 차지하는 면적이 계수 인자(Scaling Factor)로써 매우 중요한 역할을 하는데, 사람의 자세가 비스듬하면 객체의 최소 경계사각형(Bounding Box)의 크기가 객체의 실제 면적과 많은 차이가 나게 되어 알고리즘의 정확도를 떨어뜨리는 문제점이 있다. 또한, 인식 기반 방법에서는 인식을 위한 분류기(classifier)의 학습에 이용된 영상과 동일한 자세의 객체를 입력으로 하지 않으면 인식 성능이 저하되는 문제점이 있다.
본 실시예는, 촬영영상 내의 객체의 면적, 너비 및 높이를 추정하여 단일객체를 검출하고, 단일객체에 대한 고유벡터를 추출하고, 추출된 고유벡터를 이용하여 소실점의 위치를 산출함으로써, 단일객체에 대한 기울기 즉, 자세를 추정하여 영상을 감시하는 장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 단일객체를 선정하는 단일객체 선정부; 상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성부; 상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출부; 상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출부; 및 상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형(Bounding Box)의 기울기 및 크기를 교정하는 기울기 확인부를 포함하는 것을 특징으로 하는 영상 감시장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 영상 감시장치가 영상 내의 단일객체의 기울기를 측정하는 방법에 있어서, 획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 상기 단일객체를 선정하는 단일객체 선정과정; 상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성과정; 상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출과정; 상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출 과정; 및 상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형의 기울기 및 크기를 교정하는 기울기 확인과정을 포함하는 것을 특징으로 하는 영상 감시방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 객체가 카메라 화각 또는 각도로 인해 영상에서 수직방향이 아닌 기울어진 형태로 나타나는 경우에도 객체의 자세, 즉 기울어진 정도를 자동으로 알아낼 수 있는 효과가 있다. 또한, 본 실시예에 따른 영상 감시장치는 객체의 크기와 모양을 더 정확하게 기술(Description)하는 것을 가능하게 하여 영상분석의 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 실시예에 따른 영상을 감시하는 장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 단일객체의 기울기를 추정하는 영상 감시장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 영상 감시장치가 단일객체를 검출하는 동작을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 단일객체의 기울기를 추정하여 영상을 감시하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 영상 감시장치가 촬영영상을 전경 화소 및 배경 화소로 분리하는 동작을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 영상 감시장치에 포함된 노이즈 제거부가 전경 화소에 대한 히스토그램을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 예시도이다.
도 7은 본 실시예에 따른 영상 감시장치가 군집화를 통해 단일객체를 판단하는 동작을 설명하기 위한 예시도이다.
도 8은 본 실시예에 따른 영상 감시장치에서 단일객체를 검출하기 위해 전경 화소에 대한 군집화 결과를 나타낸 그래프이다.
도 9는 본 실시예에 따른 영상 감시장치에서 단일객체의 면적을 산출하는 동작을 설명하기 위한 그래프이다.
도 10은 본 실시예에 따른 영상 감시장치에서 단일객체에 대한 크기를 추정하여 단일객체를 검출한 영상을 나타낸 예시도이다.
도 11은 본 실시예에 따른 영상 감시장치에서 단일 전경객체에 대한 전경 영상을 나타낸 예시도이다.
도 12는 본 실시예에 따른 영상 감시장치가 소정의 단일 전경객체에 대한 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
도 13은 본 실시예에 따른 영상 감시장치가 단일 전경객체의 고유벡터를 이용하여 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
도 14는 본 실시예에 따른 영상 감시장치가 단일 전경객체에 대한 기울기를 추정하여 크기를 교정하여 출력한 결과영상을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 영상을 감시하는 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 단일객체의 기울기를 추정하여 영상을 감시하는 장치는 영상 촬영장치(110), 영상 감시장치(120) 및 모니터링 장치(150)를 포함한다. 여기서, 영상 감시장치(120)는 영상정보 처리부(130), 단일객체 검출부(140) 및 기울기 추정부(142)를 포함한다.
영상 촬영장치(110)는 영상을 촬영할 수 있는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 움직이는 소정의 크기의 객체를 감시하기 위한 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등으로 구현되는 것이 바람직하다. 영상 촬영장치(110)는 움직이는 객체를 감시하기 위해 촬영된 촬영영상을 영상 감시장치(120)로 전송한다. 또한, 영상 촬영장치(110)에서 촬영된 촬영영상은 하나의 프레임일 수 있으나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 포함한 영상일 수도 있다.
영상 감시장치(120)는 영상 촬영장치(110)로부터 촬영영상을 수신하여 촬영영상 내에 소정의 크기의 움직이는 객체를 검출하여 영상을 감시하기 위한 장치를 의미한다.
영상정보 처리부(130)는 영상 촬영장치(110)로부터 촬영영상을 수신하고, 촬영영상 내의 화소에 대한 화소값을 확인하여 지정된 움직임이 없는 배경에 대한 배경 화소를 제거하여 움직이는 객체에 대한 전경 화소를 분리하여 전경 영상을 생성한다. 또한, 영상정보 처리부(130)는 분리된 전경 영상 내의 전경 객체에 대한 화소수 및 전경 화소에 대한 좌표값을 측정하여 전경 객체정보를 생성한다. 여기서, 영상정보 처리부(130)는 전경 객체정보에 대한 데이터량이 소정의 기준을 미만일 경우, 기 설정된 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 전경 화소에 대한 좌표값을 측정하여 전경 객체정보를 생성할 수도 있다.
단일객체 검출부(140)는 영상정보 처리부(130)에서 생성된 전경 객체정보에 대한 노이즈를 제거하고, 노이즈가 제거된 전경 객체정보를 이용하여 두 개의 그룹으로 군집화를 수행하고, 두 개의 그룹 중 단일객체로 이루어진 그룹을 판단하여 단일객체에 대한 단일객체 정보를 검출한다. 또한, 단일객체 검출부(140)는 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 단일객체 정보에 포함된 단일객체의 y 좌표값을 적용하여 각각의 단일객체의 면적, 너비 및 높이를 산출하여 단일객체의 크기에 대한 결과정보를 생성한다.
기울기 추정부(142)는 단일객체 검출부(140)에서 생성된 단일객체 결과정보에 근거하여 소정의 단일 전경객체를 선정하고, 선정된 단일 전경객체에 대한 기울기 즉 자세를 추정하여 단일 전경객체에 대한 최소 경계사각형의 크기 및 기울기를 교정하는 동작을 수행한다. 여기서, 경계사각형은 박스 형태의 사각형일 수 있으나 반드시 이에 한정되는 것은 아니며 타원, 원, 삼각형 등으로 변경하여 적용될 수도 있다.
본 실시예에 따른 기울기 추정부(142)는 면적, 너비 및 높이가 산출된 단일객체 중 관리자의 조작에 따른 입력 또는 소정의 크기 기준을 통해 단일 전경객체를 선정하고, 공분산 행렬을 이용하여 단일 전경객체에 대한 고유벡터를 추출한다. 또한, 기울기 추정부(142)는 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터와 추출된 고유벡터 간의 사이 각도를 최소화하는 임의의 한 점을 소실점 위치로 산출한다. 여기서, 기울기 추정부(142)는 소실점의 위치를 산출하기 위해 촬영영상 내의 전체 또는 일부의 화소를 반복하여 임의의 한 점으로 설정할 수도 있다. 또한, 기울기 추정부(142)는 산출된 소실점을 이용하여 각각의 단일 전경객체의 기울어진 정도 즉, 단일 전경객체의 자세를 확인하여 해당 객체의 최소 경계사각형의 기울기를 조정하고, 실제 객체의 크기와 유사하도록 최소 경계사각형의 크기를 교정하여 모니터링 장치(150)에 표시되도록 한다.
모니터링 장치(150)는 관리자가 영상 감시장치(120)에서 추정된 단일 전경객체의 기울기에 근거하여 단일 전경객체의 최소 경계사각형의 기울기, 면적, 너비 및 높이를 교정하여 사각형, 타원, 삼각형 등 다양한 도형의 형태로 디스플레이하는 장치를 말한다.
한편, 모니터링 장치(150)는 단일객체만을 표시하는 장치인 것으로 기재하고 있으나, 관리자의 설정에 따라 표시되는 객체는 변경될 수 있다. 또한, 모니터링 장치(150)는 영상 감시장치(120)로부터 단일객체에 대한 정보를 수신하기 위해 무선랜 신호 또는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 근거리 통신이 가능하도록 구현될 수도 있다. 한편, 도 1에서 모니터링 장치(150)는 영상 감시장치(120)와 별도로 구현된 장치인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며 영상 감시장치(120)에 디스플레이부를 포함하여 하나의 장치로 구현될 수도 있다.
도 2는 본 실시예에 따른 단일객체의 기울기를 추정하는 영상 감시장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 영상 감시장치(120)는 영상 획득부(210), 전경 배경 분리부(220), 전경 객체정보 생성부(230), 노이즈 제거부(240), 군집화부(250), 단일객체정보 검출부(260), 단일객체 추정값 산출부(270), 단일객체 결과부(272), 단일객체 선정부(280), 고유벡터(Eigenvector) 추출부(282), 소실점 위치산출부(284), 기울기 확인부(286) 및 통신부(288)를 포함한다.
영상 획득부(210)는 영상 감시장치(120)와 연결된 영상 촬영장치(110)로부터 촬영된 촬영영상을 획득한다. 여기서, 촬영영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다. 한편, 영상 획득부(210)는 영상 촬영장치(110)로부터 촬영된 영상을 바로 수신하여 획득하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 영상 촬영장치(110)에서 기 촬영되어 저장된 영상을 획득하여 영상 내의 객체에 대한 크기를 추정하는 데 사용될 수도 있다.
전경 배경 분리부(220)는 촬영영상 내의 화소를 움직임이 없는 배경에 대한 배경 화소를 제거하여 움직이는 객체에 대한 전경 화소를 분리하는 동작을 수행한다. 더 자세히 설명하자면, 이전 촬영영상에 근거하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 영상 획득부(210)에서 획득한 촬영영상을 배경 모델과 비교하여 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하여 분리한다. 여기서, 전경 배경 분리부(220)는 분리된 복수 개의 전경 화소를 이용하여 움직이는 객체만을 나타낸 전경 영상을 생성할 수 있다. 여기서, 전경 배경 분리부(220)는 촬영영상의 화소 중 배경 화소에 해당하는 영역을 0의 값으로 설정하고, 움직이는 객체에 대한 전경 화소는 1의값으로 설정하여 움직이는 객체에 대한 전경 영상을 분리할 수 있다.
한편, 전경 배경 분리부(220)는 가우시안 혼합 모델(GMM: Gaussian Mixture Model)을 이용하여 전경 화소를 분리할 수도 있다. 전경 배경 분리부(220)는 촬영영상 내의 화소 중 가우시안 모드에 대한 가중치(Weight)가 소정의 기준보다 큰 복수 개의 가우시안 모드를 배경 화소로 지정하고, 지정된 배경 화소를 제거하여 움직이는 객체에 해당하는 전경 화소를 분리한다. 예컨대, 전경 배경 분리부(220)는 촬영영상 내에서 다수의 사람이 지나가면, 가우시안 모드에 대한 가중치를 측정하여 가중치가 높은 고정된 배경에 대한 배경 화소를 지정하고, 촬영영상의 화소에서 지정된 배경 화소를 제거하여 다수의 사람에 해당하는 전경 화소를 분리하여, 움직이는 다수의 사람에 대한 전경 영상을 생성할 수 있다.
전경 객체정보 생성부(230)는 전경 배경 분리부(220)에서 분리된 전경 영상 내의 전경 객체에 대한 화소수 및 좌표값을 측정하여 전경 객체정보를 생성한다. 여기서, 전경 객체정보 생성부(230)는 전경 영상 내에서 각각의 전경 객체에 대한 화소수를 측정하여 측정된 화소의 개수를 전경 객체의 면적으로 사용할 수도 있다.
전경 객체정보 생성부(230)는 전경 객체에 대한 최소 경계사각형(Bounding Box)의 중점을 전경 객체의 좌표값으로 측정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 전경 객체에 대한 최소 경계사각형의 테두리에 존재하는 소정의 한 점을 전경 객체의 좌표값으로 측정할 수도 있다. 여기서, 전경 객체의 좌표값은 전경 객체의 원근을 파악하는 데 필요한 y 좌표인 것이 바람직하다. 여기서, 경계사각형은 박스 형태의 사각형일 수 있으나 반드시 이에 한정되는 것은 아니며 타원, 원, 삼각형 등으로 변경하여 적용될 수도 있다.
한편, 전경 객체정보 생성부(230)는 전경 객체정보를 이용하여 영상 감시를 수행할 수 있는지 여부를 판단하여 데이터량이 소정의 기준을 미만일 경우, 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 좌표값을 측정하여 전경 객체정보를 생성할 수도 있다. 예컨대, 전경 객체정보 생성부(230)는 전경 객체정보 내에 500개 이상의 전경 객체에 대한 데이터를 포함하고, 2초의 최대 정보수집 시간을 기준으로 설정된 경우, 전경 객체정보가 500개 이상되거나, 정보수집 시간이 5 분이 지나서 생성된 전경 객체정보를 영상 감시에 사용한다.
노이즈 제거부(240)는 전경 객체정보 중 크기를 측정할 수 없거나 측정할 필요가 없는 노이즈를 제거하는 동작을 수행한다.
본 실시예에 따른 노이즈 제거부(240)는 전경 객체의 면적 히스토그램을 이용한 노이즈 제거방식 및 전경 객체정보에 포함된 좌표값을 이용한 노이즈 제거방식 등을 이용하여 노이즈를 제거할 수 있다.
노이즈 제거부(240)는 전경 객체의 화소수 즉 전경 객체의 면적이 소정의 크기보다 작은 전경 객체를 노이즈로 판단하여 제거한다. 예컨대, 전경 객체정보에 포함된 전경 객체의 화소수를 히스토그램으로 통계를 내어 전경 객체의 화소수가 기 설정된 범위 내에 포함되거나 소정의 기준값 미만에 해당하는 경우, 해당 화소를 노이즈로 판단하여 전경 객체정보에서 제거할 수 있다.
노이즈 제거부(240)는 전경 객체의 좌표값에 근거하여 전경 객체가 촬영영상의 상, 하, 좌 및 우측 테두리에 잘려 전경 객체의 형태가 전체가 아닌 일부만을 나타내는 경우, 이러한 전경 객체를 노이즈로 판단하여 제거할 수 있다.
군집화부(250)는 노이즈가 제거된 전경 객체정보를 두 개의 그룹으로 군집화하는 동작을 수행한다. 더 자세히 설명하자면, 군집화부(250)는 노이즈가 제거된 전경 객체정보에서 하나의 객체로 이루어진 단일객체에 대한 정보를 판단하기 위하여 전경 객체정보에 대한 가로세로비(Aspect Ratio), 전경 객체정보의 화소수 비율(Fill Ratio) 및 2차 모멘트 중 적어도 하나 이상의 영상 특징(Image Feature)에 대한 값을 이용하여 두 개의 그룹으로 군집화한다. 여기서, 전경 객체정보에 대한 가로세로비는 최소 경계사각형의 가로 길이를 세로 길이로 나누어 산출된 값을 의미하고, 전경 객체정보의 화소수 비율은 노이즈가 제거된 전경 객체에 대한 총 화소수를 최소 경계사각형 내에 포함된 화소수로 나눈 값을 의미한다. 또한, 2차 모멘트는 전경 객체에 포함된 각 화소의 좌표값을 이용하여 산출된 값을 의미하며, 2차 모멘트(M)는 수학식 1을 이용하여 산출될 수 있다.
수학식 1
Figure PCTKR2013009068-appb-M000001
(M: 2차 모멘트, μ: 전경 객체의 좌표값의 평균, N: 전경 객체의 화소수, (x, y): 전경 영상 내 화소의 좌표, (x0, y0): 전경 객체의 무게중심 좌표, f(x,y): 1(전경) 또는 0(배경))
여기서, 2차 모멘트(M)은 전경 객체의 좌표값의 평균을 행렬식을 이용하여 산출할 수 있다.
본 실시예에 따른 군집화부(250)는 가로세로비, 전경 객체의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 K-평균 군집화 기법(K-means clustering method)을 이용하여 두 개의그룹으로 구분하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 계층적 군집화 기법, 비계층적 군집화 기법, 모델-기반 기법 등과 같이 소정의 특징을 이용하여 소정의 개수의 그룹으로 구분할 수 있는 군집화 기법이라면 그 어떤 군집화 기법도 가능하다. 여기서, K-평균 군집화 기법은 2 개의 그룹으로 군집하기 위한 초기값을 설정하고, 전경 화소에 대한 가로세로비, 전경 객체의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 이용하여 유사한 군집을 형성하는 기법을 의미한다. 여기서, K-평균 군집화 기법은 일반적으로 널리 사용되는 기법이므로 더 자세한 설명은 생략하도록 한다.
단일객체정보 검출부(260)는 군집화를 통해 생성된 두 개의 그룹에서 단일객체로 이루어진 단일객체 그룹을 판단하고, 단일객체에 대한 단일객체정보를 검출한다. 더 자세히 설명하자면, 단일객체정보 검출부(260)는 군집화부(250)에서 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법(Least Square Method)을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수와 실제 전경 객체의 화소수를 이용하여 그룹 내의 화소수에 대한 평균 오차값을 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹으로 판단하고, 판단된 그룹 내의 단일객체에 대한 단일객체정보를 검출한다.
단일객체정보 검출부(260)에서 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수는 수학식 2와 같다.
수학식 2
Figure PCTKR2013009068-appb-M000002
(a: 추정된 전경 객체의 화소수, p1: 소정의 선형함수의 y 절편, p2: 소정의 선형함수의 기울기, y: 전경 화소의 y 좌표)
단일객체정보 검출부(260)는 전경 화소에 대한 y 좌표를 수학식 2에 대입하여 추정된 전경 객체의 화소수를 계산한다. 여기서, 단일객체정보 검출부(260)는 계산된 전경 객체의 화소수와 실제 전경 객체에 대한 화소수를 이용하여 각각의 전경 객체의 화소수의 오차를 계산하고, 두 개의 각각의 그룹 내에 대한 화소수의 오차들의 평균을 비교하여 오차가 작은 그룹을 단일객체에 대한 그룹으로 판단하고, 판단된 그룹 내에 포함된 단일객체에 대한 단일객체 정보를 검출한다. 여기서, 단일객체 정보는 단일객체의 화소의 좌표값 및 단일객체의 화소수를 포함하는 것이 바람직하다.
여기서, 그룹 내에 포함된 전경 객체의 화소수에 대한 오차들의 평균 오차값(ec)은 수학식 3을 통해 계산된다.
수학식 3
Figure PCTKR2013009068-appb-M000003
(ec: 그룹 내의 평균 오차값 , Nc: 군집 c 내의 전경 객체의 수, ai: 실제 전경 객체의 화소수, (p1+p2×yi): 수학식1을 통해 추정된 전경 객체의 화소수)
단일객체 추정값 산출부(270)는 단일객체 정보 검출부(260)에서 검출된 단일객체 정보를 비선형 최적화(Nonlinear Optimization)를 이용하여 소정의 비선형 함수를 추정하고, 소정의 비선형 함수에 근거하여 단일객체의 크기에 대한 추정값을 산출하는 동작을 수행한다. 더 자세히 설명하자면, 단일객체 추정값 산출부(270)는 단일객체 정보에 포함된 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계에 대한 소정의 비선형함수를 비선형 최적화를 통해 추정하고, 소정의 비선형 함수를 이용하여 단일객체의 면적값을 산출한다. 여기서, 단일객체 면적값을 산출하는 소정의 비선형 함수에 근거하여 단일객체의 크기에 대한 면적, 너비 및 높이 등을 포함하는 추정값을 산출할 수 있다.
한편, 단일객체 추정값 산출부(270)는 영상 촬영장치(110)의 렌즈 성능, 화각 및 설치 각도에 따라 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계가 비선형적일 수 있어 비선형 최적화를 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 선형 최적화를 이용할 수도 있다.
단일객체 추정값 산출부(270)에서 단일객체 정보에 포함된 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계에 대한 소정의 비선형 함수는 수학식 4와 같다.
수학식 4
Figure PCTKR2013009068-appb-M000004
(a: 추정된 단일객체의 면적, pa1: 소정의 비선형 함수의 y 절편, pa2: 소정의 비선형 함수의 기울기, pa3: 소정의 비선형 함수의 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 4에 포함된 파라미터 pa1, pa2 및 pa3 는 비선형 최적화 방법에 의해 수학식 5에 의해 계산되는 오차 ea를 최소화하는 값들로 결정될 수 있다.
수학식 5
Figure PCTKR2013009068-appb-M000005
(ea: 단일객체 그룹 내의 화소수 오차값 , Nc: 단일객체 그룹 내의 전경 객체의 수, ai: 단일객체 그룹 내 실제 전경 객체의 화소수, (pa1+pa2×yPa3): 수학식4을 통해 추정된 단일객체 그룹 내 전경 객체의 화소수)
단일객체 추정값 산출부(270)에서 수학식 4에 근거하여 단일객체의 크기에 대한 너비를 산출하는 함수는 수학식 6와 같다. 여기서, 단일객체에 대한 너비는 수학식 4에서 추정된 단일객체의 면적을 추정하기 위해 이용되었던 단일객체 그룹을 그대로 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 단일객체의 면적과 추정된 단일객체의 면적의 차이가 소정의 임계값 이하인 객체만을 선택적으로 이용할 수도 있다. 예컨대, 임의의 객체 i에 대해 실측된 면적 ai가 수학식 4에 의해 추정된 면적 a와 차이가 10% 이하에 해당하는 객체에 대해서만 해당 객체의 너비 및 높이를 추정할 수도 있다.
수학식 6
Figure PCTKR2013009068-appb-M000006
(w: 단일객체의 크기에 대한 너비, pw1: 너비를 산출하는 함수의 y 절편, pw2: 너비를 산출하는 함수에 대한 기울기, pw3: 너비를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 6에 포함된 파라미터 pw1, pw2 및 pw3 는 비선형 최적화 방법에 의해 수학식 7에 의해 계산되는 오차 ew를 최소화하는 값들로 결정될 수 있다.
수학식 7
Figure PCTKR2013009068-appb-M000007
(ew: 단일객체 그룹 내의 너비 오차값, Na: 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 수, wi: 단일객체 그룹 내 실제 전경 객체의 너비, (pw1+pw2×yPw3): 수학식6을 통해 추정된 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 너비)
단일객체 추정값 산출부(270)에서 수학식 4에 근거하여 단일객체의 크기에 대한 높이를 산출하는 함수는 수학식 8와 같다.
수학식 8
Figure PCTKR2013009068-appb-M000008
(w: 단일객체의 크기에 대한 높이, pw1: 높이를 산출하는 함수의 y 절편, pw2: 높이를 산출하는 함수에 대한 기울기, pw3: 높이를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 8에 포함된 파라미터 ph1, ph2 및 ph3 는 비선형 최적화 방법에 의해 수학식 9에 의해 계산되는 오차 eh를 최소화하는 값들로 결정될 수 있다.
수학식 9
Figure PCTKR2013009068-appb-M000009
(ew: 단일객체 그룹 내의 높이 오차값 , Na: 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 수, hi: 단일객체 그룹 내 실제 전경 객체의 높이, (ph1+ph2×yPh3): 수학식8을 통해 추정된 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 높이)
단일객체 결과부(272)는 단일객체 추정값 산출부(270)에서 면적, 너비 및 높이가 산출된 단일객체에 대한 단일객체 결과정보를 생성한다.
단일객체 선정부(280)는 단일객체 결과부(272)에서 생성된 단일객체 결과정보에 근거하여 단일객체에 대한 단일 전경영상을 생성하고, 단일객체에 대한 전경영상 중 적어도 하나 이상의 단일 전경객체를 선정한다. 여기서, 단일 전경객체는 관리자의 조작에 따른 입력을 통해 선정되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 단일객체의 크기를 기 설정된 기준 크기값 범위에 해당하는 경우, 단일 전경객체로 선정할 수도 있다.
고유벡터 추출부(282)는 단일객체 선정부(280)에서 선정된 단일 전경객체에 대한 고유벡터를 추출하는 동작을 수행한다. 여기서, 고유벡터는 단일 전경객체에 대한 화소들의 주방향과 일치하는 특징을 갖는 제1 고유벡터 및 제1 고유벡터에 수직한 방향의 제2 고유벡터를 포함한다. 여기서, 주방향은 단일객체의 높이와 평행한 방향을 의미한다.
고유벡터 추출부(280)는 공분산 행렬을 이용하여 고유벡터를 계산할 수 있다. 여기서, 공분산 행렬은 두 개의 확률변수의 상관정도를 나타내는 값으로서, 본 실시예에 따른 공분산 행렬(C)를 수학식 10을 이용하여 계산할 수 있다.
수학식 10
Figure PCTKR2013009068-appb-M000010
(C: 공분산 행렬, M: 단일 전경객체 내의 화소수, Xi: 단일 전경객체 내의 i 번째 화소의 좌표에 대한 2차원 벡터, m: 단일 전경객체 내의 화소의 무게중심의 좌표에 대한 2차원 벡터)
이러한, 수학식 10을 통해 계산된 공분산 행렬(C)에 대해서 C·x = λ·x(λ는 C의 고유값(Eigenvalue))를 만족하는 x를 단일 전경객체에 대한 고유벡터(Eigenvector)로 계산하여 추출할 수 있다. 여기서, 고유벡터는 단일 전경객체에 대한 화소들의 주방향과 일치하는 특징이 있으며, 2차원 벡터를 이용하여 서로 수직한 두 개의 벡터로 구성된다.
소실점 위치산출부(284)는 단일 전경영상 내에서 각각의 단일 전경객체에 대한 고유벡터들이 만나는 하나의 소실점의 위치를 산출하는 동작을 수행한다.
본 실시예에 따른 소실점 위치산출부(284)는 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터와 고유벡터 추출부(280)에서 추출된 고유벡터 간의 각도를 계산하여 두 벡터 간의 사이 각도를 최소화 하는 임의의 한 점을 소실점 위치로 산출한다. 더 자세히 설명하자면, 촬영영상 내의 임의의 한점을 vz로 설정하고, 임의의 i 번째 단일 전경객체의 무게중심을 mi라고 설정하면, 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터는 (vz-mi)로 나타낼 수 있다. 이러한 기준벡터(vz-mi)를 고유벡터 추출부(280)에서 추출된 고유벡터 ei와의 사이각을 계산하여 두 벡터 (vz-mi) 및 ei 간의 각도를 최소화하는 임의의 점 vz를 소실점으로 판단한다.
소실점 위치산출부(284)는 전술한 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준벡터와 단일 전경객체에 대한 고유벡터 간의 각도 차이를 최소화하는 각도 차이값(e2)을 계산하는 식은 수학식 11과 같다.
수학식 11
Figure PCTKR2013009068-appb-M000011
(ε2: 기준벡터 및 고유벡터의 사이 각도의 오차값, θ: 기준벡터 및 고유벡터의 사이 각도, vz: 촬영 영상 내 임의의 점, (vz-mi): 기준벡터, ei: 고유벡터)
이러한, 기준벡터와 고유벡터 간에 각도가 0에 가깝도록 하는 수학식 11은 비선형 최적화 방법(Nonlinear Optimization Method)를 통해 구할 수 있으며, 본 실시예에 따른 소실점 위치산출부(284)는 Nelder & Mead의 심플렉스법(Simplex Method)을 이용하여 비선형 최적화를 수행하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
기울기 확인부(286)는 소실점 위치산출부(284)에서 산출된 소실점을 이용하여 각각의 단일 전경객체의 기울어진 정보 즉, 단일 전경객체의 자세를 확인하여 확인된 객체의 크기를 교정하는 동작을 수행한다.
본 실시예에 따른 기울기 확인부(286)는 단일 전경객체가 기울어진 정도를 확인하여 해당 객체의 최소 경계사각형의 기울기를 조정하고, 실제 객체의 크기와 유사하도록 최소 경계사각형의 크기를 교정한다.
통신부(288)는 기울기 확인부(286)에서 단일 전경객체에 대한 최소 경계사각형의 조정된 기울기 및 교정된 크기를 표시하여 디스플레이하도록 모니터링 장치(150)에 전송하는 동작을 수행한다.
도 3은 본 실시예에 따른 영상 감시장치가 단일객체를 검출하는 동작을 설명하기 위한 순서도이다.
영상 감시장치(120)는 영상 촬영장치(110)로부터 촬영된 촬영영상 또는 기 촬영되어 저장된 촬영영상을 획득한다(S310).
영상 감시장치(120)는 소정의 기준에 따라 촬영영상 내의 화소에 대한 화소값을 확인한다(S320).
영상 감시장치(120)는 단계 S320에서 확인된 화소값에 근거하여 움직이지 않는 배경에 대한 배경 화소 및 움직이는 객체에 대한 전경 화소를 분리한다(S322). 여기서, 영상 감시장치(120)는 이전 촬영영상에 근거하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 획득한 촬영영상을 배경 모델과 비교하여 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하여 분리한다.
영상 감시장치(120)는 단계 S322에서 분리된 전경 화소에 대한 좌표값 및 전경 객체의 화소수를 측정하여 전경 객체정보를 생성한다(S330). 여기서 영상 감시장치(120)는 기 설정된 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 전경 화소에 대한 좌표값을 측정할 수도 있다.
영상 감시장치(120)는 객체정보가 소정의 시간 및 정보량에 근거하여 객체 감지에 사용 가능한지 여부를 판단한다(S340).
단계 S340을 확인한 결과, 객체정보가 기 설정된 기준정보에 해당하는 경우, 영상 감시장치(120)는 객체정보에 대한 히스토그램을 이용하여 전경객체에 대한 노이즈를 제거하고(S350), 객체정보에 포함된 좌표값을 이용하여 전경객체에 대한 노이즈를 제거한다(S352).
영상 감시장치(120)는 객체정보을 이용하여 전경 객체의 특징을 추출하여 2 개의 그룹으로 군집화한다(S360).
영상 감시장치(120)는 단계 S360에서 군집화된 2 개의 그룹 중 단일객체 그룹을 판단하고, 단일객체에 대한 단일객체 정보를 검출한다(S370). 여기서, 영상 감시장치(120)는 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수를 실제 전경 객체의 화소수와 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹으로 판단하고, 단일객체에 대한 단일객체정보를 검출한다.
영상 감시장치(120)는 단일객체 정보를 이용하여 단일객체의 크기를 추정하기 위한 소정의 함수를 생성한다(S380). 영상 감시장치(120)는 단일객체 정보를 비선형 최적화하여 소정의 비선형 함수를 생성할 수 있다.
영상 감시장치(120)는 단일객체 정보를 이용하여 단일객체에 대한 면적, 너비 및 높이를 산출한다(S382). 여기서, 영상 감시장치(120)는 소정의 비선형 함수를 이용하여 단일객체의 면적값 및 단일객체의 크기에 대한 너비 및 높이를 산출할 수 있다.
영상 감시장치(120)는 단계 S382에서 산출된 단일객체에 대한 면적, 너비 및 높이를 이용하여 단일객체의 크기를 추정한다(S390). 여기서, 추정된 단일객체의 크기는 모니터링 장치(150)를 이용하여 사각형, 타원, 삼각형 등 다양한 도형의 형태로 부각하여 디스플레이될 수도 있다.
도 3에서는 단계 S310 내지 단계 S390를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S390 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 단일객체의 기울기를 추정하여 영상을 감시하는 방법을 설명하기 위한 순서도이다.
영상 감시장치(120)는 복수 개의 단일객체 중 소정의 단일객체를 단일 전경객체로 선정한다(S410). 여기서, 영상 감시장치(120)는 단일객체의 면적, 너비 및 높이 중 적어도 하나 이상의 측정값을 이용하여 추정된 단일객체의 크기를 기 설정된 기준 크기값과 비교하여 초과 또는 미만에 해당되는 경우 단일 전경객체로 선정할 수도 있다.
영상 감시장치(120)는 단일 전경객체에 대한 고유벡터를 추출한다(S420). 기서, 고유벡터는 단일 전경객체에 대한 화소들의 주방향과 일치하는 특징을 갖는 제1 고유벡터 및 제1 고유벡터에 수직한 방향의 제2 고유벡터를 포함한다. 여기서, 주방향은 단일객체의 높이와 평행한 방향을 의미한다.
영상 감시장치(120)는 단계 S420에서 추출된 고유벡터를 이용하여 소실점의 위치를 산출한다(S430). 여기서, 영상 감시장치(120)는 촬영영상 내의 임의의 한 점과 단일 전경객체의 무게중심을 연결한 기준 벡터와 단계 S420에서 추출된 고유벡터 간의 각도를 계산하여 두 벡터 간의 사이 각도를 최소화하는 임의의 한 점을 소실점 위치로 산출한다.
영상 감시장치(120)는 단일 전경객체의 무게중심, 고유벡터 및 소실점의 위치에 근거하여 단일 전경객체의 기울어진 정도를 확인한다(S440).
영상 감시장치(120)는 단계 S440에서 확인된 기울어진 정도에 근거하여 단일 전경객체의 최소 경계사각형을 기울기 및 크기를 교정하여 표시하도록 모니터링 장치(150)에 전송한다(S450).
도 4에서는 단계 S410 내지 단계 S450를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S450 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4은 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 실시예에 따른 영상 감시장치가 촬영영상을 전경 화소 및 배경 화소로 분리하는 동작을 설명하기 위한 예시도이다.
도 4에 도시된 바와 같이 (a)는 영상 감시장치(120)가 영상 촬영장치(110)로부터 수신된 촬영영상을 나타내고, (b)는 영상 감시장치(120)에서 촬영영상의 화소 중 배경 화소를 제거한 후, 전경 화소만을 이용하여 생성된 전경 영상을 나타낸다.
예를 들어, (a)는 도심의 인도에 설치된 CCTV로 촬영된 영상으로 다수의 행인들이 걷는 영상을 나타낸다. 여기서, 제1 객체(510)는 혼자 걷고 있는 행인을 의미하고, 제2 객체(520)는 인접하여 함께 걷고 있는 두 명의 행인을 의미한다. 이러한 제1 객체(510) 및 제2 객체(520)는 전경 영상으로 분리된 영상인 (b)에서는 제1 전경객체(530) 및 제2 전경객체(540)로 표시될 수 있다. 여기서, 제1 전경객체(530)는 영상 감시장치(120)를 군집화를 통해 단일객체로 판별되어 좌표값 및 화소수를 측정하고, 제2 전경객체(540)는 영상 감시장치(120)를 군집화를 통해 단일객체가 아닌 것으로 판단되어 단일객체에서 제외될 수 있다.
도 6은 본 실시예에 따른 영상 감시장치에 포함된 노이즈 제거부가 전경 화소에 대한 히스토그램을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 예시도이다.
본 실시예에 따른 노이즈 제거부(240)는 전경 객체에 대한 전경 객체정보를 이용하여 면적 히스토그램을 생성하고, 생성된 히스토그램 데이터에서 면적의 크기가 기 설정된 범위 내에 포함되거나 소정의 기준값 미만에 해당하는 경우(예컨대, 최하위 5 % 미만), 해당하는 전경 객체정보(610)를 노이즈로 판단하여 제거한다.
도 6에 도시된 바와 같이, 그래프의 x 축은 객체의 크기(면적)를 나타내고, y 축은 발생빈도를 나타낸다. 예컨대, 노이즈 제거부(240)는 전경 영상에서 영상을 촬영, 변환, 분리 및 보정 등과 같이 영상을 처리하는 과정에서 잡음으로 인해 생기는 작은 노이즈를 제거할 수 있다.
도 7은 본 실시예에 따른 영상 감시장치가 군집화를 통해 단일객체를 판단하는 동작을 설명하기 위한 예시도이다.
도 7에 도시된 바와 같이 전경 영상 내에 전경객체 1(710), 전경객체 2(720), 전경객체 3(730) 및 전경객체 4(740)가 존재하는 경우, 영상 감시장치(120)는 기 설정된 군집화 기법을 이용하여 2 개의 그룹으로 구분한다. 여기서, 2 개의 그룹 중 하나는 단일객체에 대한 그룹을 말하고, 다른 하나는 하나 이상의 객체에 대한 그룹을 의미한다. 예컨대, 전경객체 1(710) 및 전경객체 2(720)는 단일객체 그룹에 포함될 수 있고, 전경객체 3(730) 및 전경객체 4(740)는 복수객체 그룹에 포함될 수 있다. 여기서, 영상 감시장치(120)는 단일객체 그룹에 포함된 전경객체 1(710) 및 전경객체 2(720)에 대한 단일객체 정보만을 이용하여 단일객체의 면적을 산출하여 모니터링 장치(150)를 통해 출력할 수 있다.
도 8은 본 실시예에 따른 영상 감시장치에서 단일객체를 검출하기 위해 전경 화소에 대한 군집화 결과를 나타낸 그래프이다.
도 8 도시된 그래프는 영상 감시장치(120)에서 전경 영상 내에 포함된 전경 화소를 K-평균 군집화 기법을 이용하여 두 개의 그룹으로 군집화한 결과를 나타낸 그래프로서, 두 개의 그룹 중 하나의 그룹은 "◆"로 표시되어 있고, 나머지 하나의 그룹은 "×"로 표시되어 있다.
도 8에 도시된 바와 같이, 영상 감시장치(120)는 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수를 실제 전경 객체의 화소수와 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹(810)으로 판단할 수 있다.
도 9는 본 실시예에 따른 영상 감시장치에서 단일객체의 면적을 산출하는 동작을 설명하기 위한 그래프이다.
도 9에 도시된 그래프는 영상 감시장치(120)에서 단일객체 정보를 비선형 최적화를 이용하여 소정의 비선형 함수(910)를 추정한 결과를 나타낸 그래프로서, 단일객체 정보에 대한 모든 정보는 "○"로 표시되어 있고, 소정의 비선형 함수(910)에 대응되는 단일객체의 면적값에 해당하는 정보는 "·"로 표시되어 있다.
영상 감시장치(120)는 소정의 비선형 함수(910)에 근거하여 단일객체의 크기에 대한 너비 및 높이를 산출할 수도 있다.
도 10은 본 실시예에 따른 영상 감시장치에서 단일객체에 대한 크기를 추정하여 단일객체를 검출한 영상을 나타낸 예시도이다.
도 10에 나타난 바와 같이, 영상 감시장치(120)에서 각각의 단일객체에 대하여 산출된 면적값, 너비 및 높이 등을 이용하여 단일객체를 표시하여 디스플레이된 영상을 나타낸다. 여기서, 단일객체는 도 10에 도시된 바와 같이 단일객체의 너비 및 높이를 이용하여 사각형, 타원, 삼각형 등 다양한 도형의 형태로 부가되어 표시될 수 있다.
도 11은 본 실시예에 따른 영상 감시장치에서 단일 전경객체에 대한 전경 영상을 나타낸 예시도이다.
도 11에 도시된 바와 같이 (a)는 영상 감시장치(120)가 영상 촬영장치(110)로부터 획득한 촬영영상을 나타내고, (b)는 영상 감시장치(120)에서 단일객체에 해당하는 단일 전경객체를 추출한 단일 전경영상을 나타낸다.
예를 들어, (b)에서는 제1 단일 전경객체(1110) 및 제2 단일 전경객체(1120)로 표시될 수 있다. 여기서, 제1 단일 전경객체(1110) 및 제2 단일 전경객체(1120)는 영상 감시장치(120)에서 군집화를 통해 면적, 너비 및 높이가 추정된 단일객체 중 선정된 단일 전경객체일 수도 있다.
도 12는 본 실시예에 따른 영상 감시장치가 소정의 단일 전경객체에 대한 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
본 실시예에 따른 영상 감시장치(120)에서 선정된 제1 단일 전경객체(1110)는 공분산 행렬을 이용하여 추출된 제1 고유벡터(1210) 및 제2 고유벡터(1220)를 갖는다. 여기서, 제1 고유벡터(1210)는 제1 단일 전경객체(1110)의 높이에 평행한 주방향과 동일한 방향을 나타내는 벡터이고, 제2 고유벡터(1220)는 제1 고유벡터(1210)과 수직을 이루는 벡터를 의미한다.
영상 감시장치(120)는 영상 내의 임의의 한점(1230)을 제1 단일 전경객체(1110)의 무게중심(1240)과 연결하여 나타낸 기준벡터(1250)와 제1 고유벡터(1210) 간의 사이 각도(1230)를 소정의 오차 함수로 계산하여 사이 각도(1230)가 최소가 되는 임의의 한점(1230)을 단일 전경객체의 소실점으로 판단한다.
도 13은 본 실시예에 따른 영상 감시장치가 단일 전경객체의 고유벡터를 이용하여 기울기를 추정하는 동작을 설명하기 위한 예시도이다.
영상 감시장치(120)에서 각각의 객체에 대한 기울기를 추정하는 데 있어서, 도 13은 복수 개의 단일 전경객체(1310, 1320)의 고유벡터와 소실점과 각각의 단일 전경객체의 무게중심을 연결한 기준벡터를 나타낸다.
도 14는 본 실시예에 따른 영상 감시장치가 단일 전경객체에 대한 기울기를 추정하여 크기를 교정하여 출력한 결과영상을 나타낸 예시도이다.
영상 감시장치(120)가 각각의 단일 전경객체에 대한 무게중심, 고유벡터 및 소실점의 위치를 이용하여 단일 전경객체가 기울어진 정도 즉, 단일 전경객체의 자세를 확인하여 확인된 객체의 크기를 교정하는 동작을 수행한다.
도 14에 도시된 바와 같이, 단일 전경객체가 기울어진 정도를 확인하여 해당 객체의 최소 경계사각형의 기울기를 조정하고, 실제 객체의 크기와 유사하도록 최소 경계사각형의 너비 및 높이를 조정하여 크기를 교정하여 표시할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예은 분야에 적용되어, 객체가 카메라 화각 또는 각도로 인해 영상에서 수직방향이 아닌 기울어진 형태로 나타나는 경우에도 객체의 자세, 즉 기울어진 정도를 자동으로 알아낼 수 있는 효과를 발생하는 유용한 발명이다.
(부호의 설명)
110: 영상 촬영장치 120: 영상 감시장치
130: 영상정보 처리부 140: 단일객체 검출부
142: 기울기 추정부 150: 모니터링 장치
210: 영상 수신부 220: 전경 배경 분리부
230: 전경 객체정보 생성부 240: 노이즈 제거부
250: 군집화부 260: 단일객체 정보 검출부
270: 단일객체 추정값 산출부 272: 단일객체 결과부
280: 단일객체 선정부 282: 고유벡터 추출부
284: 소실점 위치 산출부 286: 기울기 확인부
288: 통신부
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 10월 09일 한국에 출원한 특허출원번호 제10-2012-0112115호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (11)

  1. 획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 단일객체를 선정하는 단일객체 선정부;
    상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성부;
    상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출부;
    상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출부; 및
    상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형(Bounding Box)의 기울기를 교정하는 기울기 확인부
    를 포함하는 것을 특징으로 하는 영상 감시장치.
  2. 제 1 항에 있어서,
    상기 고유벡터 추출부는,
    공분산 행렬을 이용하여 상기 고유벡터를 계산하되, 상기 공분산 행렬은,
    Figure PCTKR2013009068-appb-I000001
    (C: 공분산 행렬, M: 단일 전경객체 내의 화소수, Xi: 단일 전경객체 내의 i 번째 화소의 좌표에 대한 2차원 벡터, m: 단일 전경객체 내의 화소의 무게중심의 좌표에 대한 2차원 벡터)
    의 수학식을 적용하는 것을 특징으로 하는 영상 감시장치.
  3. 제 2 항에 있어서,
    상기 고유벡터는,
    상기 공분산 행렬에 2차원 벡터를 사용하여 적어도 2개의 벡터를 포함하여 추출되는 것을 특징으로 하는 영상 감시장치.
  4. 제 3 항에 있어서,
    상기 고유벡터는,
    상기 단일 전경객체의 높이와 평행한 방향의 제1 고유벡터를 포함하고, 상기 제1 고유벡터와 수직한 제2 고유벡터를 추가로 포함하는 것을 특징으로 하는 영상 감시장치.
  5. 제 1 항에 있어서,
    상기 소실점 위치산출부는,
    상기 기준벡터와 상기 고유벡터 간에 상기 각도를 오차 함수에 적용하여 오차가 최소인 상기 소정의 한점을 상기 소실점으로 판단하는 것을 특징으로 하는 영상 감시장치.
  6. 제 5 항에 있어서,
    상기 소실점 위치산출부에서,
    상기 각도의 오차를 계산하는 상기 오차함수는,
    Figure PCTKR2013009068-appb-I000002
    (ε2: 기준벡터 및 고유벡터의 사이 각도의 오차값, θ: 기준벡터 및 고유벡터의 사이 각도, vz: 촬영 영상 내 임의의 점, (vz-mi): 기준벡터, ei: 고유벡터)
    의 수학식을 적용하는 것을 특징으로 하는 영상 감시장치.
  7. 제 5 항에 있어서,
    상기 소실점 위치산출부는,
    상기 영상 내의 전체 또는 일부의 화소를 반복하여 상기 소정의 한 점으로 설정하여 상기 소실점의 위치를 산출하는 것을 특징으로 하는 영상 감시장치.
  8. 제 1 항에 있어서,
    상기 기울기 확인부는,
    상기 단일 전경객체의 상기 확인된 기울어진 정도를 이용하여 상기 최소 경계사각형의 기울기를 교정하되, 기 저장된 상기 단일객체에 대한 면적, 너비 및 높이 중 적어도 하나 이상의 추정값에 근거하여 상기 단일 전경객체에 대한 상기 최소 경계사각형의 너비 및 높이를 조정하여 상기 단일 전경객체의 크기를 교정하는 것을 특징으로 하는 영상 감시장치.
  9. 제 1 항에 있어서,
    상기 단일 전경영상 생성부는,
    복수 개의 영상을 이용하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 상기 단일객체 선정부에서 획득한 상기 영상을 상기 배경 모델과 비교하여 상기 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하고, 상기 전경 화소를 이용하여 상기 단일 전경영상을 생성하는 것을 특징으로 하는 영상 감시장치.
  10. 제 1 항에 있어서,
    상기 단일객체 선정부는,
    상기 단일객체의 면적, 너비 및 높이 중 적어도 하나 이상의 측정값을 이용하여 추정된 상기 단일객체의 크기를 기 설정된 기준 크기값 범위에 해당하는 경우 단일 전경객체로 선정하는 것을 특징으로 하는 영상 감시장치.
  11. 영상 감시장치가 영상 내의 단일객체의 기울기를 측정하는 방법에 있어서,
    획득한 영상 내의 복수 개의 객체 중 적어도 하나 이상의 상기 단일객체를 선정하는 단일객체 선정과정;
    상기 단일객체에 대한 단일 전경영상을 생성하는 단일 전경영상 생성과정;
    상기 단일 전경영상 내에 포함된 단일 전경객체의 무게중심, 화소수 및 화소에 대한 좌표값 중 적어도 하나 이상의 정보를 이용하여 상기 단일 전경객체에 대한 고유벡터를 추출하는 고유벡터 추출과정;
    상기 영상 내의 소정의 한 점과 상기 단일 전경객체의 상기 무게중심을 연결하여 기준벡터를 생성하고, 상기 기준벡터와 상기 고유벡터 간의 각도가 최소인 상기 소정의 한 점을 소실점으로 판단하는 소실점 위치산출 과정; 및
    상기 소실점을 이용하여 상기 단일 전경객체의 기울어진 정도를 확인하고, 상기 단일 전경객체의 최소 경계사각형의 기울기 및 크기를 교정하는 기울기 확인과정
    을 포함하는 것을 특징으로 하는 영상 감시방법.
PCT/KR2013/009068 2012-10-09 2013-10-10 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 WO2014058248A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380052846.3A CN104781848B (zh) 2012-10-09 2013-10-10 用于估计单体的倾斜度的图像监测装置及其方法
US14/682,841 US9311719B2 (en) 2012-10-09 2015-04-09 Image monitoring apparatus for estimating gradient of singleton, and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0112115 2012-10-09
KR1020120112115A KR101618814B1 (ko) 2012-10-09 2012-10-09 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/682,841 Continuation US9311719B2 (en) 2012-10-09 2015-04-09 Image monitoring apparatus for estimating gradient of singleton, and method therefor

Publications (1)

Publication Number Publication Date
WO2014058248A1 true WO2014058248A1 (ko) 2014-04-17

Family

ID=50477643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009068 WO2014058248A1 (ko) 2012-10-09 2013-10-10 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법

Country Status (4)

Country Link
US (1) US9311719B2 (ko)
KR (1) KR101618814B1 (ko)
CN (1) CN104781848B (ko)
WO (1) WO2014058248A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640527B1 (ko) * 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR102267871B1 (ko) * 2014-09-03 2021-06-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
CN104700405B (zh) * 2015-03-05 2017-11-28 苏州科达科技股份有限公司 一种前景检测方法和系统
WO2016172388A2 (en) * 2015-04-21 2016-10-27 Joseph Paul Robinson Culture detection and measurement over time
CN106067031B (zh) * 2016-05-26 2019-05-24 北京新长征天高智机科技有限公司 基于人工纠错机制与深度学习网络协作机器视觉识别系统
JP2018060360A (ja) * 2016-10-05 2018-04-12 日本電信電話株式会社 人数推定方法、人数推定装置、人数推定プログラム、及び記録媒体
KR102579994B1 (ko) * 2016-10-24 2023-09-18 삼성에스디에스 주식회사 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
CN109863471A (zh) * 2016-12-20 2019-06-07 三星电子株式会社 显示装置及其显示方法
CN106679671B (zh) * 2017-01-05 2019-10-11 大连理工大学 一种基于激光数据的导航标识图识别方法
US10535142B2 (en) * 2017-01-10 2020-01-14 Electronics And Telecommunication Research Institute Method and apparatus for accelerating foreground and background separation in object detection using stereo camera
KR101880693B1 (ko) * 2017-02-28 2018-07-23 경희대학교 산학협력단 인체의 동작 정보를 이용하여 푸시오프 각도를 계산하는 장치 및 방법
KR102486986B1 (ko) * 2017-05-04 2023-01-10 한화테크윈 주식회사 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN109214389B (zh) * 2018-09-21 2021-09-28 上海小萌科技有限公司 一种目标识别方法、计算机装置及可读存储介质
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point
JP7423951B2 (ja) * 2019-09-19 2024-01-30 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
CN111144426B (zh) * 2019-12-28 2023-05-30 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质
CN111932608A (zh) * 2020-06-19 2020-11-13 广州图匠数据科技有限公司 一种基于消失点检测的单目零售货架姿态估计方法和装置
KR20230100927A (ko) * 2021-12-29 2023-07-06 한국전자기술연구원 회전형 바운딩박스 기반 객체 검출 딥러닝 네트워크

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080018785A (ko) * 2006-08-24 2008-02-28 연세대학교 산학협력단 객체 인식 장치 및 방법
KR20080051956A (ko) * 2006-12-07 2008-06-11 한국전자통신연구원 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법
KR20080060007A (ko) * 2006-12-26 2008-07-01 (주)엔토시스 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
KR20080085655A (ko) * 2007-03-20 2008-09-24 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
KR101035291B1 (ko) * 2009-12-18 2011-05-18 전남대학교산학협력단 관절모델ｄｂ을 이용한 포즈인식 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408428B1 (en) * 1999-08-20 2002-06-18 Hewlett-Packard Company Automated design of processor systems using feedback from internal measurements of candidate systems
US7142727B2 (en) * 2002-12-17 2006-11-28 Xerox Corporation Non-iterative method of calculating image skew
GB0326375D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object tracking within video images
JP5103665B2 (ja) 2008-10-24 2012-12-19 国立大学法人広島大学 物体追跡装置および物体追跡方法
CN101930612A (zh) * 2009-09-23 2010-12-29 上海电力学院 基于变形垂足曲线的人脸轮廓提取方法
CN101936900A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种基于视频的能见度检测系统
US8849054B2 (en) 2010-12-23 2014-09-30 Samsung Electronics Co., Ltd Digital image stabilization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080018785A (ko) * 2006-08-24 2008-02-28 연세대학교 산학협력단 객체 인식 장치 및 방법
KR20080051956A (ko) * 2006-12-07 2008-06-11 한국전자통신연구원 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법
KR20080060007A (ko) * 2006-12-26 2008-07-01 (주)엔토시스 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
KR20080085655A (ko) * 2007-03-20 2008-09-24 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
KR101035291B1 (ko) * 2009-12-18 2011-05-18 전남대학교산학협력단 관절모델ｄｂ을 이용한 포즈인식 시스템

Also Published As

Publication number Publication date
KR101618814B1 (ko) 2016-05-09
CN104781848B (zh) 2017-05-24
US20150213624A1 (en) 2015-07-30
CN104781848A (zh) 2015-07-15
KR20140045854A (ko) 2014-04-17
US9311719B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2020101103A1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
US20080278584A1 (en) Moving Object Detection Apparatus And Method By Using Optical Flow Analysis
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
WO2021091021A1 (ko) 화재 검출 시스템
JP6261266B2 (ja) 移動体検知装置
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2014035103A1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
CN111160220B (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2012015156A2 (ko) 열적외선을 이용한 환경독립형 교통검지시스템
KR101371647B1 (ko) 이미지 데이터 기반의 화재 감지 장치 및 그 방법
CN111738148B (zh) 一种利用红外巡检拍摄的故障识别方法
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
KR20120116699A (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
WO2012053811A9 (ko) 텐서 보팅에 기반을 둔 컬러 클러스터링 시스템 및 그 방법
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2020130209A1 (ko) 영상 처리를 이용한 차량 속도 측정 방법 및 장치
JP3631541B2 (ja) ステレオ画像による物体の移動追跡方法
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13845637

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13845637

Country of ref document: EP

Kind code of ref document: A1