WO2014058165A1 - 단일객체의 크기를 추정하는 영상 감시장치 및 방법 - Google Patents

단일객체의 크기를 추정하는 영상 감시장치 및 방법 Download PDF

Info

Publication number
WO2014058165A1
WO2014058165A1 PCT/KR2013/008596 KR2013008596W WO2014058165A1 WO 2014058165 A1 WO2014058165 A1 WO 2014058165A1 KR 2013008596 W KR2013008596 W KR 2013008596W WO 2014058165 A1 WO2014058165 A1 WO 2014058165A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreground
object information
single object
image
pixels
Prior art date
Application number
PCT/KR2013/008596
Other languages
English (en)
French (fr)
Inventor
이광국
이희열
김기문
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201380052777.6A priority Critical patent/CN104718560B/zh
Publication of WO2014058165A1 publication Critical patent/WO2014058165A1/ko
Priority to US14/682,805 priority patent/US9478032B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • This embodiment relates to a video surveillance apparatus and method for estimating the size of a single object. More specifically, to generate the object information about the foreground object moving in the captured image photographed by the image capturing device, to perform noise removal and clustering using the generated object information, to detect a single object of the clustered object,
  • the present invention relates to a video surveillance apparatus and method for estimating the area and size of a single object using a predetermined function.
  • the size of an object in an image may be used to increase the accuracy of an image analysis algorithm of a video surveillance system. For example, when only a person is set as the object of interest, an approximate size of the person may be preset in the system to exclude objects (animals, cars, etc.) other than the person from the detected object.
  • the size of an object in the image varies depending on the coordinates where the object is located due to perspective.
  • Conventional technology directly inputs the size of an object of interest at several different points in an image, and estimates the size of the object at each coordinate of the image by using interpolation. Was used.
  • the present embodiment generates object information on a foreground object moving in a captured image captured by the image capturing apparatus, performs noise removal and clustering using the generated object information, detects a single object among the clustered objects, It is a main object to provide a video surveillance apparatus and method for estimating the area and size of a single object using a predetermined function.
  • a foreground background separation unit for removing a background pixel without a movement of the pixels in the image, and separates the foreground pixel which is a pixel for the moving object to generate a foreground image;
  • a foreground object information generation unit generating foreground object information including coordinates and number of pixels of the foreground object included in the foreground image;
  • a clustering unit clustering the plurality of groups using the foreground object information;
  • a single object information detector which determines at least one group of the plurality of groups as a group for a single object and detects single object information for the single object; And estimating a predetermined area calculation function using the single object information, and calculating at least one or more estimated values of area, width, and height for each of the single objects according to coordinate values included in the single object information. It provides a video surveillance apparatus comprising an estimation value calculator.
  • a method for monitoring an image by estimating the size of an object comprising: an image acquisition process of acquiring an image; A pixel value checking step of checking a pixel value in the image according to a predetermined criterion; A foreground separation process of separating a foreground pixel by removing a specified background pixel based on the pixel value among the pixels of the image, and generating a foreground image including the foreground pixel of a foreground object; Generating foreground object information by measuring coordinate values of the foreground pixel and the number of pixels of the foreground object; A clustering process of grouping into a plurality of groups using the foreground object information; A single object information detection process of determining at least one group of the plurality of groups as a group for a single object and detecting single object information for the single object; And estimating a predetermined area calculation function using the single object information, and calculating at least one estimated value of area, width, and height for each
  • object information about a foreground object moving in a captured image captured by the image capturing apparatus is generated, noise removal and clustering are performed using the generated object information, and among the clustered objects.
  • FIG. 1 is a block diagram schematically illustrating an apparatus for monitoring an image using a size of an object according to an exemplary embodiment.
  • FIG. 2 is a block diagram schematically illustrating the video surveillance apparatus according to the present embodiment.
  • FIG. 3 is a flowchart illustrating a method of monitoring an image using the size of an object according to the present embodiment.
  • FIG. 4 is an exemplary view for explaining an operation of separating a captured image into a foreground pixel and a background pixel by the video surveillance apparatus according to the present embodiment.
  • FIG. 5 is an exemplary diagram for describing an operation of removing noise by using a histogram of a foreground pixel, which is included in the video surveillance apparatus according to the present embodiment.
  • FIG. 6 is an exemplary diagram for describing an operation of determining a single object through clustering by the video surveillance apparatus according to the present embodiment.
  • FIG. 7 is a graph illustrating a clustering result of foreground pixels in order to detect a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 8 is a graph for explaining an operation of calculating the area of a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 9 is an exemplary view illustrating a result image obtained by estimating and outputting a size of a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 1 is a block diagram schematically illustrating an apparatus for monitoring an image using a size of an object according to an exemplary embodiment.
  • the apparatus for monitoring an image using the size of an object includes an image capturing apparatus 110, an image monitoring apparatus 120, and a monitoring apparatus 150.
  • the image surveillance apparatus 120 includes an image information processor 130 and an object detector 140.
  • the image capturing apparatus 110 refers to a device capable of capturing an image.
  • the image capturing apparatus 110 according to the present embodiment is a CCTV camera, a surveillance camera, etc., which can capture an image for monitoring an object having a predetermined size. It is preferably implemented as.
  • the image capturing apparatus 110 transmits the photographed captured image to the image monitoring apparatus 120 to monitor the moving object.
  • the captured image photographed by the image capturing apparatus 110 may be one frame, but is not necessarily limited thereto, and may be an image including a plurality of frames.
  • the image monitoring apparatus 120 refers to a device for monitoring an image by receiving a captured image from the image capturing apparatus 110, detecting a moving object having a predetermined size in the captured image.
  • the image information processing unit 130 receives the captured image from the image capturing apparatus 110, checks the pixel value of the pixel in the captured image, and removes the background pixel for the background without a specified movement, thereby removing the foreground pixel of the moving object. Separate and generate foreground image.
  • the image information processor 130 generates foreground object information by measuring the number of pixels of the foreground object and the coordinate values of the foreground pixel in the separated foreground image.
  • the image information processor 130 repeatedly measures the number of pixels of the foreground object and the coordinate values of the foreground pixels by repeating the preset time and data amount based on the foreground. You can also create object information
  • the object detector 140 removes noise of the foreground object information generated by the image information processor 130, performs clustering into two groups using the foreground object information from which the noise is removed, and a single object of the two groups. Determining a group consisting of a single object information for a single object is detected. In addition, the object detector 140 estimates a predetermined area calculating function using the single object information, and applies the y coordinate value of the single object included in the single object information to determine the area value, width, and height of each single object. The calculation is then sent to the monitoring device 150 to display the size of the single object.
  • the monitoring device 150 refers to a device for displaying and displaying a single object using an area value, a width, and a height of the single object calculated by the image surveillance apparatus 120.
  • the single object may be displayed in a variety of shapes such as a rectangle, an ellipse, and a triangle based on the width and height of the single object.
  • the monitoring device 150 is described as a device displaying only a single object, the displayed object may be changed according to the setting of the administrator.
  • the monitoring device 150 may be implemented to enable short-range communication such as a wireless LAN signal or Bluetooth, Zigbee, etc. in order to receive information on a single object from the video surveillance apparatus 120.
  • the monitoring device 150 is described as being implemented separately from the video surveillance apparatus 120, but is not necessarily limited thereto.
  • the monitoring apparatus 150 may be implemented as a single device including a display unit in the video surveillance apparatus 120. It may be.
  • FIG. 2 is a block diagram schematically illustrating the video surveillance apparatus according to the present embodiment.
  • the video surveillance apparatus 120 includes an image acquisition unit 210, a foreground background separator 220, a foreground object information generator 230, a noise remover 240, a clusterer 250, and a single unit.
  • the object information detector 260 includes a single object estimate value calculator 270 and a communicator 280.
  • the image acquirer 210 acquires a captured image photographed from the image photographing apparatus 110 connected to the image surveillance apparatus 120.
  • the captured image may be one frame or an image including a plurality of frames.
  • the image acquisition unit 210 is described as directly receiving and obtaining the image taken from the image capturing apparatus 110, but is not necessarily limited to this, and obtains the image stored in the image capturing apparatus 110 pre-recorded It may be used to estimate the size of the object in the image.
  • the foreground background separator 220 separates the foreground pixel of the moving object by removing the background pixel of the background in which the pixel in the captured image is not moved.
  • a background model is generated by designating pixels having no change as a background pixel based on the previous photographed image, and comparing the photographed image acquired by the image acquirer 210 with the background model does not correspond to the background model.
  • the pixel is regarded as a foreground pixel and separated.
  • the foreground background separator 220 may generate a foreground image representing only a moving object by using the plurality of separated foreground pixels.
  • the foreground background separator 220 sets a region corresponding to the background pixel among the pixels of the photographed image to a value of 0, and sets the foreground pixel for the moving object to a value of 1 to separate the foreground image for the moving object. Can be.
  • the foreground background separator 220 may separate the foreground pixel by using a Gaussian Mixture Model (GMM).
  • the foreground background separator 220 designates a plurality of Gaussian modes having a weight greater than a predetermined value as a background pixel among the pixels in the photographed image as a background pixel, and removes the specified background pixel, and thus the foreground corresponding to the moving object. Separate the pixels. For example, when a plurality of people pass in the captured image, the foreground background separator 220 may measure a weight for the Gaussian mode and designate a background pixel for a fixed background having a high weight, and specify a background designated by the pixel of the captured image. By removing the pixels, the foreground pixels corresponding to the plurality of people may be separated to generate foreground images of the plurality of moving people.
  • GMM Gaussian Mixture Model
  • the foreground object information generator 230 generates foreground object information by measuring the number of pixels and coordinate values of the foreground object in the foreground image separated by the foreground background separator 220.
  • the foreground object information generator 230 may measure the number of pixels for each foreground object in the foreground image and use the number of pixels measured as the area of the foreground object.
  • the foreground object information generation unit 230 preferably measures the center of the minimum bounding box of the foreground object as a coordinate value of the foreground object, but is not necessarily limited thereto.
  • One existing point may be measured by the coordinate value of the foreground object.
  • the coordinate value of the foreground object is preferably a y coordinate required to determine the perspective of the foreground object.
  • the bounding rectangle may be a box-shaped rectangle, but is not necessarily limited thereto, and may be changed to an ellipse, a circle, a triangle, or the like.
  • the foreground object information generation unit 230 determines whether the image monitoring can be performed using the foreground object information, and if the data amount is less than a predetermined criterion, the pixel of the foreground object is repeated based on time and data amount.
  • Foreground object information may be generated by measuring number and coordinate values. For example, when the foreground object information generation unit 230 includes data about 500 or more foreground objects in the foreground object information, and is set based on a maximum information collection time of 5 minutes, the foreground object information may be 500 or more information. Foreground object information created after 5 minutes of collection time is used for video surveillance.
  • the noise removing unit 240 removes noise that cannot or cannot measure the size of the foreground object information.
  • the noise removing unit 240 may remove noise by using a noise removing method using an area histogram of the foreground object and a noise removing method using coordinate values included in the foreground object information.
  • the noise removing unit 240 determines that the number of pixels of the foreground object, that is, the foreground object whose area of the foreground object is smaller than a predetermined size, is removed as noise. For example, if the number of pixels of the foreground object included in the foreground object information is statisticized as a histogram, when the number of pixels of the foreground object is within a preset range or falls below a predetermined reference value, the corresponding pixel is determined as noise to determine the number of pixels in the foreground object information. Can be removed.
  • the noise removing unit 240 selects the foreground object as noise. It can be determined and removed.
  • the clustering unit 250 performs an operation of grouping the foreground object information from which the noise is removed into two groups.
  • the clustering unit 250 determines the aspect ratio and foreground object information of the foreground object information in order to determine the information on the single object composed of one object from the foreground object information from which noise is removed.
  • the image data is grouped into two groups using values for at least one image feature among the fill ratio and the second moment.
  • the aspect ratio of the foreground object information refers to a value calculated by dividing the width of the minimum boundary rectangle by the length of the rectangle, and the ratio of the number of pixels of the foreground object information is the minimum number of pixels for the foreground object from which the noise is removed.
  • the value is divided by the number of pixels included in the bounding rectangle.
  • the secondary moment means a value calculated using the coordinate values of each pixel included in the foreground object, and the secondary moment M may be calculated using Equation 1.
  • the second moment M may be calculated using the determinant of the average of the coordinate values of the foreground object.
  • the clustering unit 250 uses at least one of an aspect ratio, a pixel ratio of the foreground object, and a second moment into two groups by using a K-means clustering method. It is preferable to classify, but the present invention is not necessarily limited thereto. Any clustering technique that can be classified into a predetermined number of groups by using a predetermined feature, such as a hierarchical clustering technique, a non-hierarchical clustering technique, and a model-based technique, may be used. Techniques are also possible.
  • the K-means clustering technique sets an initial value for clustering into two groups, and sets a similar clustering using at least one of an aspect ratio of the foreground pixel, a ratio of the number of pixels of the foreground object, and a second moment.
  • the K-means clustering technique is generally widely used, a detailed description thereof will be omitted.
  • the single object information detection unit 260 determines a single object group consisting of a single object from two groups generated through clustering, and detects single object information for a single object.
  • the single object information detector 260 uses a least square method for a predetermined linear function of the relationship between the y coordinate of the foreground pixels clustered in the clustering unit 250 and the number of pixels of the foreground object.
  • the average error value of the number of pixels in the group is compared by using the number of pixels of the foreground object estimated by using a predetermined linear function and the number of pixels of the actual foreground object. Determining the group, and detects the single object information for a single object in the determined group.
  • Equation 2 The predetermined linear function for the relationship between the y coordinate for the foreground pixels clustered in the single object information detection unit 260 and the number of pixels of the foreground object is expressed by Equation 2 below.
  • the single object information detector 260 calculates the estimated number of pixels of the foreground object by substituting the y coordinate of the foreground pixel in Equation 2.
  • the single object information detector 260 calculates an error of the number of pixels of each foreground object by using the calculated number of pixels of the foreground object and the number of pixels of the actual foreground object, and counts the number of pixels in each of the two groups. By comparing the average of the errors, the group having the smallest error is determined as the group for the single object, and the single object information for the single object included in the determined group is detected.
  • the single object information preferably includes the coordinate values of the pixels of the single object and the number of pixels of the single object.
  • Equation 3 the average error value e c of the errors with respect to the number of pixels of the foreground object included in the group is calculated through Equation 3.
  • the single object estimation value calculating unit 270 estimates a predetermined nonlinear function by using nonlinear optimization on the single object information detected by the single object information detecting unit 260 and based on the predetermined nonlinear function, The operation of calculating an estimate of the magnitude is performed.
  • the single object estimation value calculator 270 estimates a predetermined nonlinear function on the relationship between the y coordinate of the single object pixel included in the single object information and the number of pixels of the single object through nonlinear optimization, Calculate the area of a single object using a nonlinear function.
  • the estimated value including the width and the height of the size of the single object may be calculated based on a predetermined nonlinear function for calculating the single object area.
  • the single object estimation value calculator 270 may use nonlinear optimization because the relationship between the y coordinate of the single object pixel and the number of pixels of the single object may be nonlinear according to the lens performance, angle of view, and installation angle of the imaging apparatus 110.
  • linear optimization may be used.
  • a predetermined nonlinear function for the relationship between the y coordinate of the single object pixel included in the single object information and the number of pixels of the single object is expressed by Equation 4.
  • Equation 4 the parameters p a1 , p a2 and p a3 included in Equation 4 may be determined as values that minimize the error e a calculated by Equation 5 by the nonlinear optimization method.
  • Equation 6 The function of calculating the width of the size of the single object based on Equation 4 in the single object estimation value calculating unit 270 is shown in Equation 6.
  • the width of the single object is preferably used as it is, but is not necessarily limited to the single object group used to estimate the area of the single object estimated in Equation 4, the area of the single object and the estimated single object Only objects whose area difference is equal to or less than a predetermined threshold may be selectively used.
  • the width and height of the object may be estimated only for an object whose area a i measured for any object i is 10% or less from the area a estimated by Equation 4.
  • Equation 6 the parameters p w1 , p w2 and p w3 included in Equation 6 may be determined as values that minimize the error e w calculated by Equation 7 by a nonlinear optimization method.
  • Equation 8 The function of calculating the height of the size of the single object based on Equation 4 in the single object estimate calculator 270 is expressed by Equation 8.
  • Equation 8 the parameters p h1 , p h2 and p h3 included in Equation 8 may be determined as values that minimize the error e h calculated by Equation 9 by a nonlinear optimization method.
  • the communication unit 280 transmits to the monitoring apparatus 150 to display and display the size of the single object using at least one estimated value of the area, width, and height of the single object calculated by the single object estimation value calculator 270. Do this.
  • FIG. 3 is a flowchart illustrating a method of monitoring an image using the size of an object according to the present embodiment.
  • the image monitoring apparatus 120 acquires a photographed image photographed from the image photographing apparatus 110 or a photographed image stored in advance (S310).
  • the image monitoring apparatus 120 checks pixel values of pixels in the captured image according to a predetermined standard (S320).
  • the video surveillance apparatus 120 separates the background pixel for the background that is not moving and the foreground pixel for the moving object based on the pixel value identified in step S320 (S322).
  • the video surveillance apparatus 120 generates a background model by designating pixels having no change as the background pixel based on the previous photographed image, and compares the obtained photographed image with the background model to foreground the pixels that do not correspond to the background model. Judging by the pixel, it is separated.
  • the video surveillance apparatus 120 generates foreground object information by measuring coordinate values of the foreground pixel separated in step S322 and the number of pixels of the foreground object (S330).
  • the video surveillance apparatus 120 may repeatedly measure the number of pixels of the foreground object and coordinate values of the foreground pixel by repeating the preset time and data amount.
  • the video surveillance apparatus 120 determines whether the object information is available for object detection based on a predetermined time and the amount of information (S340).
  • the video surveillance apparatus 120 removes the noise of the foreground object by using the histogram of the object information (S350), included in the object information
  • the noise of the foreground object is removed using the coordinate value (S352).
  • the video surveillance apparatus 120 extracts the features of the foreground object by using the object information and clusters them into two groups (S360).
  • the video surveillance apparatus 120 determines a single object group among the two groups clustered in step S360, and detects single object information on the single object (S370).
  • the image surveillance apparatus 120 estimates a predetermined linear function of the relationship between the y coordinate of the clustered foreground pixels and the number of pixels of the foreground object by using the least square method, and the foreground estimated using the predetermined linear function.
  • the number of pixels of the object is compared with the number of pixels of the actual foreground object to determine a group having a small error as a group consisting of a single object, and to detect single object information of a single object.
  • the video surveillance apparatus 120 generates a predetermined function for estimating the size of the single object using the single object information (S380).
  • the video surveillance apparatus 120 may generate a predetermined nonlinear function by nonlinearly optimizing the single object information.
  • the video surveillance apparatus 120 calculates an area, a width, and a height of the single object using the single object information (S382).
  • the image surveillance apparatus 120 may calculate the width and height of the area value of the single object and the size of the single object by using a predetermined nonlinear function.
  • the video surveillance apparatus 120 estimates the size of the single object using the area, the width, and the height of the single object calculated in step S382 (S390).
  • the estimated size of the single object may be displayed by using various types of figures, such as a rectangle, an ellipse, and a triangle, by using the monitoring device 150.
  • steps S310 to S390 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 3 or executing one or more steps of steps S310 to S390 in parallel without departing from the essential characteristics of an embodiment of the present invention. 3 is not limited to the time series order.
  • FIG. 4 is an exemplary view for explaining an operation of separating a captured image into a foreground pixel and a background pixel by the video surveillance apparatus according to the present embodiment.
  • (a) represents a captured image received by the image surveillance apparatus 120 from the image photographing apparatus 110, and (b) shows a background pixel among the pixels of the photographed image from the image surveillance apparatus 120. After removing, the foreground image generated using only the foreground pixel is displayed.
  • (a) is a video taken by a CCTV installed in India in the center of the city represents a video of a number of pedestrians walking.
  • the first object 410 refers to a pedestrian walking alone
  • the second object 420 refers to two pedestrians walking adjacent to each other.
  • the first object 410 and the second object 420 may be displayed as a first foreground object 430 and a second foreground object 440 in (b) which is an image separated into a foreground image.
  • the first foreground object 430 determines the image monitoring apparatus 120 as a single object through clustering to measure coordinate values and the number of pixels
  • the second foreground object 440 clusters the image monitoring apparatus 120. It can be determined that it is not a single object and can be excluded from a single object.
  • FIG. 5 is an exemplary diagram for describing an operation of removing noise by using a histogram of a foreground pixel, which is included in the video surveillance apparatus according to the present embodiment.
  • the noise canceller 240 generates an area histogram using the foreground object information of the foreground object, and the area of the generated histogram data is included in a preset range or falls below a predetermined reference value. If it is (for example, less than the lowest 5%), the corresponding foreground object information is determined as noise and removed.
  • the x-axis of the graph represents the size (area) of the object
  • the y-axis represents the frequency of occurrence.
  • the noise remover 240 may remove a small noise caused by noise in the process of processing the image, such as photographing, converting, separating, and correcting the image from the foreground image.
  • FIG. 6 is an exemplary diagram for describing an operation of determining a single object through clustering by the video surveillance apparatus according to the present embodiment.
  • the image monitoring apparatus 120 may be used.
  • the grouping method is used to classify into two groups.
  • one of the two groups refers to a group for a single object, and the other means a group for one or more objects.
  • the foreground object 1 610 and the foreground object 2 620 may be included in a single object group, and the foreground object 3 630 and the foreground object 4 640 may be included in a plurality of object groups.
  • the video surveillance apparatus 120 calculates the area of a single object using only the single object information of the foreground object 1 610 and the foreground object 2 620 included in the single object group through the monitoring device 150. You can print
  • FIG. 7 is a graph illustrating a clustering result of foreground pixels in order to detect a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 7 is a graph illustrating a result of clustering the foreground pixels included in the foreground image in two groups by the K-average clustering technique in the image surveillance apparatus 120.
  • One of the two groups is It is marked with " ⁇ ” and the other group is marked with "x”.
  • the image surveillance apparatus 120 estimates a predetermined linear function of the relationship between the y coordinate of the clustered foreground pixels and the number of pixels of the foreground object by using the least square method, and the predetermined linear function. By comparing the estimated number of pixels of the foreground object with the number of pixels of the actual foreground object, a group having a small error may be determined as a group 710 composed of a single object.
  • FIG. 8 is a graph for explaining an operation of calculating the area of a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 8 is a graph illustrating a result of estimating a predetermined nonlinear function 810 using nonlinear optimization of single object information in the video surveillance apparatus 120. All information on the single object information is “ ⁇ ”. Information corresponding to the area value of the single object corresponding to the predetermined nonlinear function 810 is indicated by ". &Quot;
  • the video surveillance apparatus 120 may calculate the width and the height of the size of the single object based on the predetermined nonlinear function 810.
  • FIG. 9 is an exemplary view illustrating a result image obtained by estimating and outputting a size of a single object in the video surveillance apparatus according to the present embodiment.
  • FIG. 9 shows an image displayed by displaying a single object using the area value, the width, and the height calculated for each single object in the video surveillance apparatus 120 as shown.
  • the single object may be added and displayed in the form of a rectangle using the width and height of the single object as shown in FIG.
  • this embodiment is applied to the field, and when monitoring an object in an image, a person does not need to specify the size of the object directly, thereby reducing the time for labor and surveillance work, and the size of the person directly It is a useful invention that produces the effect of performing accurate object monitoring rather than specifying.
  • monitoring device 210 image acquisition unit

Abstract

단일객체의 크기를 추정하는 영상 감시장치 및 방법을 개시한다. 본 실시예는 단일객체의 크기를 추정하는 영상 감시장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상 촬영장치를 통해 촬영된 촬영영상 내에 움직이는 전경 객체에 대한 객체 정보를 생성하고, 생성된 객체 정보를 이용하여 노이즈 제거 및 군집화를 수행하고 군집화된 객체 중 단일객체를 검출하며, 소정의 함수를 이용하여 단일객체의 면적과 크기를 추정하는 영상 감시장치 및 방법을 제공한다.

Description

단일객체의 크기를 추정하는 영상 감시장치 및 방법
본 실시예는 단일객체의 크기를 추정하는 영상 감시장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상 촬영장치를 통해 촬영된 촬영영상 내에 움직이는 전경 객체에 대한 객체 정보를 생성하고, 생성된 객체 정보를 이용하여 노이즈 제거 및 군집화를 수행하고 군집화된 객체 중 단일객체를 검출하며, 소정의 함수를 이용하여 단일객체의 면적과 크기를 추정하는 영상 감시장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
영상 감시시스템의 영상분석 알고리즘의 정확도를 높이기 위해 영상 내의 객체의 크기를 이용하는 경우가 있다. 예컨대, 사람만이 관심 객체로 설정된 경우, 대략적인 사람의 크기를 시스템에 기 설정하여 사람 이외의 객체(동물, 자동차 등)을 검출되는 객체에서 제외할 수 있다.
이러한 객체의 크기를 추정하기 위해서는 정교한 카메라 캘리브레이션(Calibration)을 필요로 하나 이는 복잡한 처리과정을 필요로 하여 실제 응용에 적합하지 않다.
한편, 영상 감시시스템은 영상 내 객체의 크기는 원근효과(Perspective)로 인해 객체가 위치한 좌표에 따라 달라진다. 종래의 기술은 영상 내에 서로 다른 몇 개의 지점에서 관심객체의 크기를 사용자가 직접 입력하고, 이렇게 입력된 객체의 크기 정보를 보간법(Interpolation)을 이용해 영상의 각 좌표에서 객체의 크기를 추정하여 이용하는 방법을 사용하였다.
하지만 이러한 방법은 사용자가 입력한 샘플에 따라 결과가 달라질 수 있으므로, 사용자의 숙련도에 따라 시스템의 정확도가 좌우되는 문제가 있다. 또한 사용자의 입력을 필요로 하는 방법은 다수의 카메라가 활용되는 대규모 시스템에 적용되기 위해서는 많은 노동력을 필요로 하는 문제가 있다.
본 실시예는, 영상 촬영장치를 통해 촬영된 촬영영상 내에 움직이는 전경 객체에 대한 객체 정보를 생성하고, 생성된 객체 정보를 이용하여 노이즈 제거 및 군집화를 수행하고 군집화된 객체 중 단일객체를 검출하며, 소정의 함수를 이용하여 단일객체의 면적과 크기를 추정하는 영상 감시장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 영상 내의 화소 중 움직임이 없는 배경 화소를 제거하고, 움직이는 객체에 대한 화소인 전경 화소를 분리하여 전경 영상을 생성하는 전경 배경 분리부; 상기 전경 영상 내에 포함된 전경 객체에 대한 좌표값 및 화소수를 포함하는 전경 객체정보를 생성하는 전경 객체정보 생성부; 상기 전경 객체정보를 이용하여 복수 개의 그룹으로 군집화하는 군집화부; 상기 복수 개의 그룹 중 적어도 하나의 그룹을 단일객체에 대한 그룹으로 판단하고, 상기 단일객체에 대한 단일객체 정보를 검출하는 단일객체 정보 검출부; 및 상기 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 상기 단일객체 정보에 포함된 좌표값에 따라 각각의 상기 단일객체에 대한 면적, 너비 및 높이 중 적어도 하나 이상의 추정값을 산출하는 단일객체 추정값 산출부를 포함하는 것을 특징으로 하는 영상 감시장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 객체의 크기를 추정하여 영상을 감시하는 방법에 있어서, 영상을 획득하는 영상 획득과정; 소정의 기준에 따라 상기 영상 내의 화소값을 확인하는 화소값 확인과정; 상기 영상의 화소 중 상기 화소값에 근거하여 지정된 배경 화소를 제거하여 전경 화소를 분리하고, 전경 객체에 대한 상기 전경 화소를 포함하는 전경 영상을 생성하는 전경 분리과정; 상기 전경 화소에 대한 좌표값 및 상기 전경 객체에 대한 화소수를 측정하여 전경 객체정보를 생성하는 전경 객체정보 생성과정; 상기 전경 객체정보를 이용하여 복수 개의 그룹으로 군집화하는 군집화 과정; 상기 복수 개의 그룹 중 적어도 하나의 그룹을 단일객체에 대한 그룹으로 판단하고, 상기 단일객체에 대한 단일객체 정보를 검출하는 단일객체 정보 검출과정; 및 상기 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 상기 단일객체 정보에 포함된 좌표값을 이용하여 각각의 상기 단일객체에 대한 면적, 너비 및 높이 중 적어도 하나 이상의 추정값을 산출하는 단일객체 추정값 산출과정을 포함하는 것을 특징으로 하는 영상 감시방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 영상 촬영장치를 통해 촬영된 촬영영상 내에 움직이는 전경 객체에 대한 객체 정보를 생성하고, 생성된 객체 정보를 이용하여 노이즈 제거 및 군집화를 수행하고 군집화된 객체 중 단일객체를 검출하며, 소정의 함수를 이용하여 단일객체의 면적, 너비 및 높이 중 적어도 하나 이상의 값을 추정함으로써, 사람이 직접 객체의 크기를 지정할 필요가 없어 노동력 및 감시 업무에 대한 시간을 감소시킬 수 있고, 사람이 직접 크기를 지정하는 것보다 정확한 객체 감시를 수행할 수 있으며 단일객체(예컨대, 사람)를 제외한 나머지 객체(예컨대, 동물, 자동차 등)를 제외시켜 영상을 감지할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 객체의 크기를 이용하여 영상을 감시하는 장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 영상 감시장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 객체의 크기를 이용하여 영상을 감시하는 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 영상 감시장치가 촬영영상을 전경 화소 및 배경 화소로 분리하는 동작을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 영상 감시장치에 포함된 노이즈 제거부가 전경 화소에 대한 히스토그램을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 영상 감시장치가 군집화를 통해 단일객체를 판단하는 동작을 설명하기 위한 예시도이다.
도 7은 본 실시예에 따른 영상 감시장치에서 단일객체를 검출하기 위해 전경 화소에 대한 군집화 결과를 나타낸 그래프이다.
도 8은 본 실시예에 따른 영상 감시장치에서 단일객체의 면적을 산출하는 동작을 설명하기 위한 그래프이다.
도 9는 본 실시예에 따른 영상 감시장치에서 단일객체에 대한 크기를 추정하여 출력한 결과영상을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 객체의 크기를 이용하여 영상을 감시하는 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 객체의 크기를 이용하여 영상을 감시하는 장치는 영상 촬영장치(110), 영상 감시장치(120) 및 모니터링 장치(150)를 포함한다. 여기서, 영상 감시장치(120)는 영상정보 처리부(130) 및 객체 검출부(140)를 포함한다.
영상 촬영장치(110)는 영상을 촬영할 수 있는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 움직이는 소정의 크기의 객체를 감시하기 위한 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등으로 구현되는 것이 바람직하다. 영상 촬영장치(110)는 움직이는 객체를 감시하기 위해 촬영된 촬영영상을 영상 감시장치(120)로 전송한다. 또한, 영상 촬영장치(110)에서 촬영된 촬영영상은 하나의 프레임일 수 있으나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 포함한 영상일 수도 있다.
영상 감시장치(120)는 영상 촬영장치(110)로부터 촬영영상을 수신하여 촬영영상 내에 소정의 크기의 움직이는 객체를 검출하여 영상을 감시하기 위한 장치를 의미한다.
영상정보 처리부(130)는 영상 촬영장치(110)로부터 촬영영상을 수신하고, 촬영영상 내의 화소에 대한 화소값을 확인하여 지정된 움직임이 없는 배경에 대한 배경 화소를 제거하여 움직이는 객체에 대한 전경 화소를 분리하여 전경 영상을 생성한다. 또한, 영상정보 처리부(130)는 분리된 전경 영상 내의 전경 객체에 대한 화소수 및 전경 화소에 대한 좌표값을 측정하여 전경 객체정보를 생성한다. 여기서, 영상정보 처리부(130)는 전경 객체정보에 대한 데이터량이 소정의 기준을 미만일 경우, 기 설정된 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 전경 화소에 대한 좌표값을 측정하여 전경 객체정보를 생성할 수도 있다
객체 검출부(140)는 영상정보 처리부(130)에서 생성된 전경 객체정보에 대한 노이즈를 제거하고, 노이즈가 제거된 전경 객체정보를 이용하여 두 개의 그룹으로 군집화를 수행하고, 두 개의 그룹 중 단일객체로 이루어진 그룹을 판단하여 단일객체에 대한 단일객체 정보를 검출한다. 또한, 객체 검출부(140)는 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 단일객체 정보에 포함된 단일객체의 y 좌표값을 적용하여 각각의 단일객체의 면적값, 너비 및 높이를 산출하여 단일객체의 크기를 표시하도록 모니터링 장치(150)에 전송한다.
모니터링 장치(150)는 관리자가 영상 감시장치(120)에서 산출된 단일객체의 면적값, 너비 및 높이 등을 이용하여 단일객체를 표시하여 디스플레이하는 장치를 말한다. 여기서, 단일객체는 단일객체의 너비 및 높이에 근거하여 사각형, 타원, 삼각형 등 다양한 도형의 형태로 부각되어 표시될 수 있다. 한편, 모니터링 장치(150)는 단일객체만을 표시하는 장치인 것으로 기재하고 있으나, 관리자의 설정에 따라 표시되는 객체는 변경될 수 있다. 또한, 모니터링 장치(150)는 영상 감시장치(120)로부터 단일객체에 대한 정보를 수신하기 위해 무선랜 신호 또는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 근거리 통신이 가능하도록 구현될 수도 있다. 한편, 도 1에서 모니터링 장치(150)는 영상 감시장치(120)와 별도로 구현된 장치인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며 영상 감시장치(120)에 디스플레이부를 포함하여 하나의 장치로 구현될 수도 있다.
도 2는 본 실시예에 따른 영상 감시장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 영상 감시장치(120)는 영상 획득부(210), 전경 배경 분리부(220), 전경 객체정보 생성부(230), 노이즈 제거부(240), 군집화부(250), 단일객체정보 검출부(260), 단일객체 추정값 산출부(270), 통신부(280)를 포함한다.
영상 획득부(210)는 영상 감시장치(120)와 연결된 영상 촬영장치(110)로부터 촬영된 촬영영상을 획득한다. 여기서, 촬영영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다. 한편, 영상 획득부(210)는 영상 촬영장치(110)로부터 촬영된 영상을 바로 수신하여 획득하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 영상 촬영장치(110)에서 기 촬영되어 저장된 영상을 획득하여 영상 내의 객체에 대한 크기를 추정하는 데 사용될 수도 있다.
전경 배경 분리부(220)는 촬영영상 내의 화소를 움직임이 없는 배경에 대한 배경 화소를 제거하여 움직이는 객체에 대한 전경 화소를 분리하는 동작을 수행한다. 더 자세히 설명하자면, 이전 촬영영상에 근거하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 영상 획득부(210)에서 획득한 촬영영상을 배경 모델과 비교하여 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하여 분리한다. 여기서, 전경 배경 분리부(220)는 분리된 복수 개의 전경 화소를 이용하여 움직이는 객체만을 나타낸 전경 영상을 생성할 수 있다. 여기서, 전경 배경 분리부(220)는 촬영영상의 화소 중 배경 화소에 해당하는 영역을 0의 값으로 설정하고, 움직이는 객체에 대한 전경 화소는 1의값으로 설정하여 움직이는 객체에 대한 전경 영상을 분리할 수 있다.
한편, 전경 배경 분리부(220)는 가우시안 혼합 모델(GMM: Gaussian Mixture Model)을 이용하여 전경 화소를 분리할 수도 있다. 전경 배경 분리부(220)는 촬영영상 내의 화소 중 가우시안 모드에 대한 가중치(Weight)가 소정의 기준보다 큰 복수 개의 가우시안 모드를 배경 화소로 지정하고, 지정된 배경 화소를 제거하여 움직이는 객체에 해당하는 전경 화소를 분리한다. 예컨대, 전경 배경 분리부(220)는 촬영영상 내에서 다수의 사람이 지나가면, 가우시안 모드에 대한 가중치를 측정하여 가중치가 높은 고정된 배경에 대한 배경 화소를 지정하고, 촬영영상의 화소에서 지정된 배경 화소를 제거하여 다수의 사람에 해당하는 전경 화소를 분리하여, 움직이는 다수의 사람에 대한 전경 영상을 생성할 수 있다.
전경 객체정보 생성부(230)는 전경 배경 분리부(220)에서 분리된 전경 영상 내의 전경 객체에 대한 화소수 및 좌표값을 측정하여 전경 객체정보를 생성한다. 여기서, 전경 객체정보 생성부(230)는 전경 영상 내에서 각각의 전경 객체에 대한 화소수를 측정하여 측정된 화소의 개수를 전경 객체의 면적으로 사용할 수도 있다.
전경 객체정보 생성부(230)는 전경 객체에 대한 최소 경계사각형(Bounding Box)의 중점을 전경 객체의 좌표값으로 측정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 전경 객체에 대한 최소 경계사각형의 테두리에 존재하는 소정의 한 점을 전경 객체의 좌표값으로 측정할 수도 있다. 여기서, 전경 객체의 좌표값은 전경 객체의 원근을 파악하는 데 필요한 y 좌표인 것이 바람직하다. 여기서, 경계사각형은 박스 형태의 사각형일 수 있으나 반드시 이에 한정되는 것은 아니며 타원, 원, 삼각형 등으로 변경하여 적용될 수도 있다.
한편, 전경 객체정보 생성부(230)는 전경 객체정보를 이용하여 영상 감시를 수행할 수 있는지 여부를 판단하여 데이터량이 소정의 기준을 미만일 경우, 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 좌표값을 측정하여 전경 객체정보를 생성할 수도 있다. 예컨대, 전경 객체정보 생성부(230)는 전경 객체정보 내에 500개 이상의 전경 객체에 대한 데이터를 포함하고, 5 분의 최대 정보수집 시간을 기준으로 설정된 경우, 전경 객체정보가 500개 이상되거나, 정보수집 시간이 5 분이 지나서 생성된 전경 객체정보를 영상 감시에 사용한다.
노이즈 제거부(240)는 전경 객체정보 중 크기를 측정할 수 없거나 측정할 필요가 없는 노이즈를 제거하는 동작을 수행한다.
본 실시예에 따른 노이즈 제거부(240)는 전경 객체의 면적 히스토그램을 이용한 노이즈 제거방식 및 전경 객체정보에 포함된 좌표값을 이용한 노이즈 제거방식 등을 이용하여 노이즈를 제거할 수 있다.
노이즈 제거부(240)는 전경 객체의 화소수 즉 전경 객체의 면적이 소정의 크기보다 작은 전경 객체를 노이즈로 판단하여 제거한다. 예컨대, 전경 객체정보에 포함된 전경 객체의 화소수를 히스토그램으로 통계를 내어 전경 객체의 화소수가 기 설정된 범위 내에 포함되거나 소정의 기준값 미만에 해당하는 경우, 해당 화소를 노이즈로 판단하여 전경 객체정보에서 제거할 수 있다.
노이즈 제거부(240)는 전경 객체의 좌표값에 근거하여 전경 객체가 촬영영상의 상, 하, 좌 및 우측 테두리에 잘려 전경 객체의 형태가 전체가 아닌 일부만을 나타내는 경우, 이러한 전경 객체를 노이즈로 판단하여 제거할 수 있다.
군집화부(250)는 노이즈가 제거된 전경 객체정보를 두 개의 그룹으로 군집화하는 동작을 수행한다. 더 자세히 설명하자면, 군집화부(250)는 노이즈가 제거된 전경 객체정보에서 하나의 객체로 이루어진 단일객체에 대한 정보를 판단하기 위하여 전경 객체정보에 대한 가로세로비(Aspect Ratio), 전경 객체정보의 화소수 비율(Fill Ratio) 및 2차 모멘트 중 적어도 하나 이상의 영상 특징(Image Feature)에 대한 값을 이용하여 두 개의 그룹으로 군집화한다. 여기서, 전경 객체정보에 대한 가로세로비는 최소 경계사각형의 가로 길이를 세로 길이로 나누어 산출된 값을 의미하고, 전경 객체정보의 화소수 비율은 노이즈가 제거된 전경 객체에 대한 총 화소수를 최소 경계사각형 내에 포함된 화소수로 나눈 값을 의미한다. 또한, 2차 모멘트는 전경 객체에 포함된 각 화소의 좌표값을 이용하여 산출된 값을 의미하며, 2차 모멘트(M)는 수학식 1을 이용하여 산출될 수 있다.
수학식 1
Figure PCTKR2013008596-appb-M000001
(M: 2차 모멘트, μ: 전경 객체의 좌표값의 평균, N: 전경 객체의 화소수, (x, y): 전경 영상 내 화소의 좌표, (x0, y0): 전경 객체의 무게중심 좌표, f(x,y): 1(전경) 또는 0배경))
여기서, 2차 모멘트(M)은 전경 객체의 좌표값의 평균을 행렬식을 이용하여 산출할 수 있다.
본 실시예에 따른 군집화부(250)는 가로세로비, 전경 객체의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 K-평균 군집화 기법(K-means clustering method)을 이용하여 두 개의그룹으로 구분하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 계층적 군집화 기법, 비계층적 군집화 기법, 모델-기반 기법 등과 같이 소정의 특징을 이용하여 소정의 개수의 그룹으로 구분할 수 있는 군집화 기법이라면 그 어떤 군집화 기법도 가능하다. 여기서, K-평균 군집화 기법은 2 개의 그룹으로 군집하기 위한 초기값을 설정하고, 전경 화소에 대한 가로세로비, 전경 객체의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 이용하여 유사한 군집을 형성하는 기법을 의미한다. 여기서, K-평균 군집화 기법은 일반적으로 널리 사용되는 기법이므로 더 자세한 설명은 생략하도록 한다.
단일객체정보 검출부(260)는 군집화를 통해 생성된 두 개의 그룹에서 단일객체로 이루어진 단일객체 그룹을 판단하고, 단일객체에 대한 단일객체정보를 검출한다. 더 자세히 설명하자면, 단일객체정보 검출부(260)는 군집화부(250)에서 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법(Least Square Method)을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수와 실제 전경 객체의 화소수를 이용하여 그룹 내의 화소수에 대한 평균 오차값을 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹으로 판단하고, 판단된 그룹 내의 단일객체에 대한 단일객체정보를 검출한다.
단일객체정보 검출부(260)에서 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수는 수학식 2와 같다.
수학식 2
Figure PCTKR2013008596-appb-M000002
(a: 추정된 전경 객체의 화소수, p1: 소정의 선형함수의 y 절편, p2: 소정의 선형함수의 기울기, y: 전경 화소의 y 좌표)
단일객체정보 검출부(260)는 전경 화소에 대한 y 좌표를 수학식 2에 대입하여 추정된 전경 객체의 화소수를 계산한다. 여기서, 단일객체정보 검출부(260)는 계산된 전경 객체의 화소수와 실제 전경 객체에 대한 화소수를 이용하여 각각의 전경 객체의 화소수의 오차를 계산하고, 두 개의 각각의 그룹 내에 대한 화소수의 오차들의 평균을 비교하여 오차가 작은 그룹을 단일객체에 대한 그룹으로 판단하고, 판단된 그룹 내에 포함된 단일객체에 대한 단일객체 정보를 검출한다. 여기서, 단일객체 정보는 단일객체의 화소의 좌표값 및 단일객체의 화소수를 포함하는 것이 바람직하다.
여기서, 그룹 내에 포함된 전경 객체의 화소수에 대한 오차들의 평균 오차값(ec)은 수학식 3을 통해 계산된다.
수학식 3
Figure PCTKR2013008596-appb-M000003
(ec: 전경 객체에 대한 화소수의 오차 , Nc: 군집 c 내의 전경 객체의 수, ai: 실제 전경 객체의 화소수, (p1+p2×yi): 수학식1을 통해 추정된 전경 객체의 화소수)
단일객체 추정값 산출부(270)는 단일객체 정보 검출부(260)에서 검출된 단일객체 정보를 비선형 최적화(Nonlinear Optimization)를 이용하여 소정의 비선형 함수를 추정하고, 소정의 비선형 함수에 근거하여 단일객체의 크기에 대한 추정값을 산출하는 동작을 수행한다. 더 자세히 설명하자면, 단일객체 추정값 산출부(270)는 단일객체 정보에 포함된 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계에 대한 소정의 비선형함수를 비선형 최적화를 통해 추정하고, 소정의 비선형 함수를 이용하여 단일객체의 면적을 산출한다. 여기서, 단일객체 면적을 산출하는 소정의 비선형 함수에 근거하여 단일객체의 크기에 대한 너비 및 높이 등을 포함하는 추정값을 산출할 수 있다.
한편, 단일객체 추정값 산출부(270)는 영상 촬영장치(110)의 렌즈 성능, 화각 및 설치 각도에 따라 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계가 비선형적일 수 있어 비선형 최적화를 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 선형 최적화를 이용할 수도 있다.
단일객체 추정값 산출부(270)에서 단일객체 정보에 포함된 단일객체 화소의 y 좌표와 단일객체의 화소수의 관계에 대한 소정의 비선형 함수는 수학식 4와 같다.
수학식 4
Figure PCTKR2013008596-appb-M000004
(a: 추정된 단일객체의 면적, pa1: 소정의 비선형 함수의 y 절편, pa2: 소정의 비선형 함수의 기울기, pa3: 소정의 비선형 함수의 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 4에 포함된 파라미터 pa1, pa2 및 pa3 는 비선형 최적화 방법에 의해 수학식 5에 의해 계산되는 오차 ea를 최소화하는 값들로 결정될 수 있다.
수학식 5
Figure PCTKR2013008596-appb-M000005
(ea: 단일객체 그룹 내의 화소수 오차값 , Nc: 단일객체 그룹 내의 전경 객체의 수, ai: 단일객체 그룹 내 실제 전경 객체의 화소수, (pa1+pa2×yPa3): 수학식4을 통해 추정된 단일객체 그룹 내 전경 객체의 화소수)
단일객체 추정값 산출부(270)에서 수학식 4에 근거하여 단일객체의 크기에 대한 너비를 산출하는 함수는 수학식 6와 같다.
수학식 6
Figure PCTKR2013008596-appb-M000006
(w: 단일객체의 크기에 대한 너비, pw1: 너비를 산출하는 함수의 y 절편, pw2: 너비를 산출하는 함수에 대한 기울기, pw3: 너비를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
여기서, 단일객체에 대한 너비는 수학식 4에서 추정된 단일객체의 면적을 추정하기 위해 이용되었던 단일객체 그룹을 그대로 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 단일객체의 면적과 추정된 단일객체의 면적의 차이가 소정의 임계값 이하인 객체만을 선택적으로 이용할 수도 있다. 예컨대, 임의의 객체 i에 대해 실측된 면적 ai가 수학식 4에 의해 추정된 면적 a와 차이가 10% 이하에 해당하는 객체에 대해서만 해당 객체의 너비 및 높이를 추정할 수도 있다.
또한, 수학식 6에 포함된 파라미터 pw1, pw2 및 pw3 는 비선형 최적화 방법에 의해 수학식 7에 의해 계산되는 오차 ew를 최소화하는 값들로 결정될 수 있다.
수학식 7
Figure PCTKR2013008596-appb-M000007
(ew: 단일객체 그룹 내의 너비 오차값 , Na: 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 수, wi: 단일객체 그룹 내 실제 전경 객체의 너비, (pw1+pw2×yPw3): 수학식6을 통해 추정된 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 너비)
단일객체 추정값 산출부(270)에서 수학식 4에 근거하여 단일객체의 크기에 대한 높이를 산출하는 함수는 수학식 8와 같다.
수학식 8
Figure PCTKR2013008596-appb-M000008
(w: 단일객체의 크기에 대한 높이, pw1: 높이를 산출하는 함수의 y 절편, pw2: 높이를 산출하는 함수에 대한 기울기, pw3: 높이를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
여기서, 수학식 8에 포함된 파라미터 ph1, ph2 및 ph3 는 비선형 최적화 방법에 의해 수학식 9에 의해 계산되는 오차 eh를 최소화하는 값들로 결정될 수 있다.
수학식 9
Figure PCTKR2013008596-appb-M000009
(ew: 단일객체 그룹 내의 높이 오차값 , Na: 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 수, hi: 단일객체 그룹 내 실제 전경 객체의 높이, (ph1+ph2×yPh3): 수학식8을 통해 추정된 단일객체 그룹 중 화소수 오차값이 임계값 이하인 전경 객체의 높이)
통신부(280)는 단일객체 추정값 산출부(270)에서 산출된 단일객체의 면적, 너비 및 높이 중 적어도 하나 이상의 추정값을 이용하여 단일객체의 크기를 표시하여 디스플레이하도록 모니터링 장치(150)로 전송하는 동작을 수행한다.
도 3은 본 실시예에 따른 객체의 크기를 이용하여 영상을 감시하는 방법을 설명하기 위한 순서도이다.
영상 감시장치(120)는 영상 촬영장치(110)로부터 촬영된 촬영영상 또는 기 촬영되어 저장된 촬영영상을 획득한다(S310).
영상 감시장치(120)는 소정의 기준에 따라 촬영영상 내의 화소에 대한 화소값을 확인한다(S320).
영상 감시장치(120)는 단계 S320에서 확인된 화소값에 근거하여 움직이지 않는 배경에 대한 배경 화소 및 움직이는 객체에 대한 전경 화소를 분리한다(S322). 여기서, 영상 감시장치(120)는 이전 촬영영상에 근거하여 변화가 없는 화소들을 배경 화소로 지정하여 배경 모델을 생성하고, 획득한 촬영영상을 배경 모델과 비교하여 배경 모델에 해당하지 않는 화소를 전경 화소로 판단하여 분리한다.
영상 감시장치(120)는 단계 S322에서 분리된 전경 화소에 대한 좌표값 및 전경 객체의 화소수를 측정하여 전경 객체정보를 생성한다(S330). 여기서 영상 감시장치(120)는 기 설정된 시간 및 데이터량을 기준으로 반복하여 전경객체의 화소수 및 전경 화소에 대한 좌표값을 측정할 수도 있다.
영상 감시장치(120)는 객체정보가 소정의 시간 및 정보량에 근거하여 객체 감지에 사용 가능한지 여부를 판단한다(S340).
단계 S340을 확인한 결과, 객체정보가 기 설정된 기준정보에 해당하는 경우, 영상 감시장치(120)는 객체정보에 대한 히스토그램을 이용하여 전경객체에 대한 노이즈를 제거하고(S350), 객체정보에 포함된 좌표값을 이용하여 전경객체에 대한 노이즈를 제거한다(S352).
영상 감시장치(120)는 객체정보을 이용하여 전경 객체의 특징을 추출하여 2 개의 그룹으로 군집화한다(S360).
영상 감시장치(120)는 단계 S360에서 군집화된 2 개의 그룹 중 단일객체 그룹을 판단하고, 단일객체에 대한 단일객체 정보를 검출한다(S370). 여기서, 영상 감시장치(120)는 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수를 실제 전경 객체의 화소수와 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹으로 판단하고, 단일객체에 대한 단일객체정보를 검출한다.
영상 감시장치(120)는 단일객체 정보를 이용하여 단일객체의 크기를 추정하기 위한 소정의 함수를 생성한다(S380). 영상 감시장치(120)는 단일객체 정보를 비선형 최적화하여 소정의 비선형 함수를 생성할 수 있다.
영상 감시장치(120)는 단일객체 정보를 이용하여 단일객체에 대한 면적, 너비 및 높이를 산출한다(S382). 여기서, 영상 감시장치(120)는 소정의 비선형 함수를 이용하여 단일객체의 면적값 및 단일객체의 크기에 대한 너비 및 높이를 산출할 수 있다.
영상 감시장치(120)는 단계 S382에서 산출된 단일객체에 대한 면적, 너비 및 높이를 이용하여 단일객체의 크기를 추정한다(S390). 여기서, 추정된 단일객체의 크기는 모니터링 장치(150)를 이용하여 사각형, 타원, 삼각형 등 다양한 도형의 형태로 부각하여 디스플레이될 수도 있다.
도 3에서는 단계 S310 내지 단계 S390를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S390 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 영상 감시장치가 촬영영상을 전경 화소 및 배경 화소로 분리하는 동작을 설명하기 위한 예시도이다.
도 4에 도시된 바와 같이 (a)는 영상 감시장치(120)가 영상 촬영장치(110)로부터 수신된 촬영영상을 나타내고, (b)는 영상 감시장치(120)에서 촬영영상의 화소 중 배경 화소를 제거한 후, 전경 화소만을 이용하여 생성된 전경 영상을 나타낸다.
예를 들어, (a)는 도심의 인도에 설치된 CCTV로 촬영된 영상으로 다수의 행인들이 걷는 영상을 나타낸다. 여기서, 제1 객체(410)는 혼자 걷고 있는 행인을 의미하고, 제2 객체(420)는 인접하여 함께 걷고 있는 두 명의 행인을 의미한다. 이러한 제1 객체(410) 및 제2 객체(420)는 전경 영상으로 분리된 영상인 (b)에서는 제1 전경객체(430) 및 제2 전경객체(440)로 표시될 수 있다. 여기서, 제1 전경객체(430)는 영상 감시장치(120)를 군집화를 통해 단일객체로 판별되어 좌표값 및 화소수를 측정하고, 제2 전경객체(440)는 영상 감시장치(120)를 군집화를 통해 단일객체가 아닌 것으로 판단되어 단일객체에서 제외될 수 있다.
도 5는 본 실시예에 따른 영상 감시장치에 포함된 노이즈 제거부가 전경 화소에 대한 히스토그램을 이용하여 노이즈를 제거하는 동작을 설명하기 위한 예시도이다.
본 실시예에 따른 노이즈 제거부(240)는 전경 객체에 대한 전경 객체정보를 이용하여 면적 히스토그램을 생성하고, 생성된 히스토그램 데이터에서 면적의 크기가 기 설정된 범위 내에 포함되거나 소정의 기준값 미만에 해당하는 경우(예컨대, 최하위 5 % 미만), 해당하는 전경 객체정보를 노이즈로 판단하여 제거한다.
도 5에 도시된 바와 같이, 그래프의 x 축은 객체의 크기(면적)를 나타내고, y 축은 발생빈도를 나타낸다. 예컨대, 노이즈 제거부(240)는 전경 영상에서 영상을 촬영, 변환, 분리 및 보정 등과 같이 영상을 처리하는 과정에서 잡음으로 인해 생기는 작은 노이즈를 제거할 수 있다.
도 6은 본 실시예에 따른 영상 감시장치가 군집화를 통해 단일객체를 판단하는 동작을 설명하기 위한 예시도이다.
도 6에 도시된 바와 같이 전경 영상 내에 전경객체 1(610), 전경객체 2(620), 전경객체 3(630) 및 전경객체 4(640)가 존재하는 경우, 영상 감시장치(120)는 기 설정된 군집화 기법을 이용하여 2 개의 그룹으로 구분한다. 여기서, 2 개의 그룹 중 하나는 단일객체에 대한 그룹을 말하고, 다른 하나는 하나 이상의 객체에 대한 그룹을 의미한다. 예컨대, 전경객체 1(610) 및 전경객체 2(620)는 단일객체 그룹에 포함될 수 있고, 전경객체 3(630) 및 전경객체 4(640)는 복수객체 그룹에 포함될 수 있다. 여기서, 영상 감시장치(120)는 단일객체 그룹에 포함된 전경객체 1(610) 및 전경객체 2(620)에 대한 단일객체 정보만을 이용하여 단일객체의 면적을 산출하여 모니터링 장치(150)를 통해 출력할 수 있다.
도 7은 본 실시예에 따른 영상 감시장치에서 단일객체를 검출하기 위해 전경 화소에 대한 군집화 결과를 나타낸 그래프이다.
도 7에 도시된 그래프는 영상 감시장치(120)에서 전경 영상 내에 포함된 전경 화소를 K-평균 군집화 기법을 이용하여 두 개의 그룹으로 군집화한 결과를 나타낸 그래프로서, 두 개의 그룹 중 하나의 그룹은 "◆"로 표시되어 있고, 나머지 하나의 그룹은 "×"로 표시되어 있다.
도 7에 도시된 바와 같이, 영상 감시장치(120)는 군집화된 전경 화소에 대한 y 좌표와 전경 객체의 화소수의 관계에 대한 소정의 선형함수를 최소 자승법을 이용하여 추정하고, 소정의 선형함수를 이용하여 추정된 전경 객체의 화소수를 실제 전경 객체의 화소수와 비교하여 오차가 작은 그룹을 단일객체로 이루어진 그룹(710)으로 판단할 수 있다.
도 8은 본 실시예에 따른 영상 감시장치에서 단일객체의 면적을 산출하는 동작을 설명하기 위한 그래프이다.
도 8에 도시된 그래프는 영상 감시장치(120)에서 단일객체 정보를 비선형 최적화를 이용하여 소정의 비선형 함수(810)를 추정한 결과를 나타낸 그래프로서, 단일객체 정보에 대한 모든 정보는 "○"로 표시되어 있고, 소정의 비선형 함수(810)에 대응되는 단일객체의 면적값에 해당하는 정보는 "·"로 표시되어 있다.
영상 감시장치(120)는 소정의 비선형 함수(810)에 근거하여 단일객체의 크기에 대한 너비 및 높이를 산출할 수도 있다.
도 9는 본 실시예에 따른 영상 감시장치에서 단일객체에 대한 크기를 추정하여 출력한 결과영상을 나타낸 예시도이다.
도 9는 나타난 바와 같이 영상 감시장치(120)에서 각각의 단일객체에 대하여 산출된 면적값, 너비 및 높이 등을 이용하여 단일객체를 표시하여 디스플레이된 영상을 나타낸다. 여기서, 단일객체는 도 9에 도시된 바와 같이 단일객체의 너비 및 높이를 이용하여 사각형 형태로 부가되어 표시될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 분야에 적용되어, 영상에서 객체를 감시할 때, 사람이 직접 객체의 크기를 지정할 필요가 없어 노동력 및 감시 업무에 대한 시간을 감소시킬 수 있고, 사람이 직접 크기를 지정하는 것보다 정확한 객체 감시를 수행할 수 있는 효과를 발생하는 유용한 발명이다.
(부호의 설명)
110: 영상 촬영장치 120: 영상 감시장치
130: 영상정보 처리부 140: 객체 검출부
150: 모니터링 장치 210: 영상 획득부
220: 전경 배경 분리부 230: 전경 객체정보 생성부
240: 노이즈 제거부 250: 군집화부
260: 단일객체 정보 검출부 270: 단일객체 추정값 산출부
280: 통신부
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 10월 09일 한국에 출원한 특허출원번호 제10-2012-0112077호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (22)

  1. 영상 내의 화소 중 움직임이 없는 배경 화소를 제거하고, 움직이는 객체에 대한 화소인 전경 화소를 분리하여 전경 영상을 생성하는 전경 배경 분리부;
    상기 전경 영상 내에 포함된 전경 객체에 대한 좌표값 및 화소수를 포함하는 전경 객체정보를 생성하는 전경 객체정보 생성부;
    상기 전경 객체정보를 이용하여 복수 개의 그룹으로 군집화하는 군집화부;
    상기 복수 개의 그룹 중 적어도 하나의 그룹을 단일객체에 대한 그룹으로 판단하고, 상기 단일객체에 대한 단일객체 정보를 검출하는 단일객체 정보 검출부; 및
    상기 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 상기 단일객체 정보에 포함된 좌표값에 따라 각각의 상기 단일객체에 대한 면적, 너비 및 높이 중 적어도 하나 이상의 추정값을 산출하는 단일객체 추정값 산출부
    를 포함하는 것을 특징으로 하는 영상 감시장치.
  2. 제 1 항에 있어서,
    상기 전경 객체정보 생성부에서 생성된 상기 전경 객체정보 중 노이즈로 확인된 정보를 제거하는 노이즈 제거부
    를 추가로 포함하는 것을 특징으로 하는 영상 감시장치.
  3. 제 2 항에 있어서,
    상기 노이즈 제거부는,
    상기 전경 객체정보를 이용하여 상기 화소수에 대한 히스토그램을 생성하고, 상기 화소수가 소정의 기준값 이하인 상기 노이즈로 확인된 정보를 제거하는 것을 특징으로 하는 영상 감시장치.
  4. 제 3 항에 있어서,
    상기 노이즈 제거부는,
    상기 히스토그램에서 상기 화소수가 기 설정된 범위 내에 포함된 상기 노이즈로 확인된 정보를 제거하는 것을 특징으로 하는 영상 감시장치.
  5. 제 2 항에 있어서,
    상기 노이즈 제거부는,
    상기 전경 객체정보에 포함된 상기 좌표값에 근거하여 상기 전경 영상의 상, 하, 좌 및 우측 테두리 중 적어도 하나 이상의 테두리에 상기 전경 객체의 일부가 잘려 표시되지 않는 객체를 노이즈로 판단하여 제거하는 것을 특징을 하는 영상 감시장치.
  6. 제 1 항에 있어서,
    상기 전경 객체정보 생성부는,
    상기 전경 객체에 대한 최소 경계사각형(Bounding Box)의 무게 중심좌표 또는 상기 최소 경계사각형의 테두리 상에 존재하는 소정의 점에 대한 좌표를 상기 좌표값으로 포함하는 상기 전경 객체정보를 생성하는 것을 특징으로 하는 영상 감시장치.
  7. 제 1 항에 있어서,
    상기 전경 객체정보 생성부는,
    상기 전경 객체정보에 포함되는 상기 좌표값 및 상기 화소수를 기 설정된 소정의 기준량에 도달할 때까지 측정하되, 소정의 기준시간 동안 측정된 상기 좌표값 및 상기 화소수를 상기 전경 객체정보에 포함하는 것을 특징으로 하는 영상 인식장치.
  8. 제 1 항에 있어서,
    상기 군집화부는,
    상기 전경 객체정보를 이용하여 산출된 가로세로비(Aspect Ratio), 전경 객체정보의 화소수 비율(Fill Ratio) 및 2차 모멘트 중 적어도 하나 이상의 값을 이용하여 상기 단일객체로 형성된 단일객체 그룹 및 다수의 객체로 형성된 복수객체 그룹을 포함하는 두 개의 그룹으로 군집화하되, K-평균 군집화 기법(K-means clustering method), 계층적 군집화 기법, 비계층적 군집화 기법 및 모델-기반 기법 중 적어도 하나 이상의 기법을 이용하여 군집화하는 것을 특징으로 하는 영상 감시장치.
  9. 제 1 항에 있어서,
    상기 단일객체 정보 검출부는,
    가로세로비(Aspect Ratio), 전경 객체정보의 화소수 비율(Fill Ratio) 및 2차 모멘트 중 적어도 하나 이상의 영상 특징(Image Feature)에 대한 값을 이용하여 상기 복수 개의 그룹 중 상기 단일객체에 대한 그룹을 판단하는 것을 특징으로 하는 영상 감시장치.
  10. 제 1 항에 있어서,
    상기 단일객체 정보 검출부는,
    최소 자승법(Least Square Method)을 이용하여 상기 전경 객체정보에 대한 소정의 선형함수를 추정하고, 상기 소정의 선형함수를 이용하여 산출된 상기 전경 객체에 대한 오차를 계산하여 상기 단일객체에 대한 그룹으로 판단하는 것을 특징으로 하는 영상 감시장치.
  11. 제 10 항에 있어서,
    상기 단일객체 정보 검출부는,
    상기 최소 자승법을 이용하여 군집화된 상기 전경 객체정보에 대한 y 절편 및 기울기값에 대한 파라미터를 산출하고, 상기 파라미터를 이용하여 소정의 상기 전경 화소의 y 좌표에 비례하는 상기 소정의 선형함수를 추정하는 것을 특징으로 하는 영상 감시장치.
  12. 제 11 항에 있어서,
    상기 단일객체 정보 검출부는,
    상기 전경 객체에 대한 화소수를 측정하는 데 추정된 상기 소정의 선형함수는,
    Figure PCTKR2013008596-appb-I000001
    (a: 추정된 전경 객체의 화소수, p1: 소정의 선형함수의 y 절편, p2: 소정의 선형함수의 기울기, y: 전경 화소의 y 좌표)
    의 수학식을 적용하는 것을 특징으로 하는 영상 감시장치.
  13. 제 10 항에 있어서,
    상기 소정의 선형함수를 이용하여 산출된 상기 전경 객체에 대한 오차를 계산하는 데,
    Figure PCTKR2013008596-appb-I000002
    (ec: 전경 객체에 대한 화소수의 오차, Nc: 군집 c 내의 전경 객체의 수, ai: 실제 전경 객체의 화소수, (p1+p2×yi): 수학식1을 통해 추정된 전경 객체의 화소수)
    의 수학식을 적용하되, 상기 오차에 대한 값이 작은 전경 객체정보를 상기 단일객체 정보인 것으로 판단하는 것을 특징으로 하는 영상 감시장치.
  14. 제 1 항에 있어서,
    상기 단일객체 추정값 산출부는,
    비선형 최적화(Nonlinear Optimization) 기법을 이용하여 추정된 상기 소정의 면적 산출함수는
    Figure PCTKR2013008596-appb-I000003
    (a: 단일객체의 면적, pa1: 소정의 비선형 함수의 y 절편, pa2: 소정의 비선형 함수의 기울기, pa3: 소정의 비선형 함수의 굴곡값, y: 단일객체의 y 좌표)
    의 수학식인 것을 특징으로 하는 영상 감시장치.
  15. 제 1 항에 있어서,
    상기 단일객체 추정값 산출부는,
    상기 단일객체 정보에 포함된 y 좌표값을 상기 소정의 면적 산출함수에 대입하여 각각의 상기 단일객체에 대한 면적값을 산출하는 것을 특징으로 하는 영상 감시장치.
  16. 제 15 항에 있어서,
    상기 단일객체에 대한 면적값은,
    상기 단일객체의 크기에 대한 너비 및 높이를 이용하여 산출하되, 상기 너비를 산출하는 데,
    Figure PCTKR2013008596-appb-I000004
    (w: 단일객체의 크기에 대한 너비, pw1: 너비를 산출하는 함수의 y 절편, pw2: 너비를 산출하는 함수에 대한 기울기, pw3: 너비를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
    의 수학식을 적용하고,
    상기 높이를 측정하는 데,
    Figure PCTKR2013008596-appb-I000005
    (w: 단일객체의 크기에 대한 높이, pw1: 높이를 산출하는 함수의 y 절편, pw2: 높이를 산출하는 함수에 대한 기울기, pw3: 높이를 산출하는 함수에 대한 굴곡값, y: 단일객체의 y 좌표)
    의 수학식을 적용하는 것을 특징으로 하는 영상 감시장치.
  17. 제 1 항에 있어서,
    상기 단일객체 추정값 산출부에서 산출된 상기 면적값을 이용하여 상기 단일객체를 표시하도록 모니터링 장치에 전송하는 통신부
    를 추가로 포함하는 것을 특징으로 하는 영상 감시장치.
  18. 객체의 크기를 추정하여 영상을 감시하는 방법에 있어서,
    영상을 획득하는 영상 획득과정;
    소정의 기준에 따라 상기 영상 내의 화소값을 확인하는 화소값 확인과정;
    상기 영상의 화소 중 상기 화소값에 근거하여 지정된 배경 화소를 제거하여 전경 화소를 분리하고, 전경 객체에 대한 상기 전경 화소를 포함하는 전경 영상을 생성하는 전경 분리과정;
    상기 전경 화소에 대한 좌표값 및 상기 전경 객체에 대한 화소수를 측정하여 전경 객체정보를 생성하는 전경 객체정보 생성과정;
    상기 전경 객체정보를 이용하여 복수 개의 그룹으로 군집화하는 군집화 과정;
    상기 복수 개의 그룹 중 적어도 하나의 그룹을 단일객체에 대한 그룹으로 판단하고, 상기 단일객체에 대한 단일객체 정보를 검출하는 단일객체 정보 검출과정; 및
    상기 단일객체 정보를 이용하여 소정의 면적 산출함수를 추정하고, 상기 단일객체 정보에 포함된 좌표값을 이용하여 각각의 상기 단일객체에 대한 면적, 너비 및 높이 중 적어도 하나 이상의 추정값을 산출하는 단일객체 추정값 산출과정
    을 포함하는 것을 특징으로 하는 영상 감시방법.
  19. 제 18 항에 있어서,
    상기 전경 객체정보 생성과정은,
    상기 전경 객체정보에 포함된 상기 전경 화소에 대한 좌표값 및 상기 전경 객체에 대한 화소수를 추가로 측정할 필요가 있는지 여부를 판단하는 전경 객체정보 판단 과정을 추가로 포함하는 것을 특징으로 하는 영상 감시방법.
  20. 제 19 항에 있어서,
    상기 전경 객체정보 생성과정은,
    상기 전경 객체정보에 대한 추가 측정이 필요없는 경우, 상기 전경 객체정보에 대한 히스토그램을 생성하여 기 설정된 범위 내에 포함된 노이즈를 제거하는 제1 노이즈 제거 과정을 포함하는 것을 특징으로 하는 영상 감시방법.
  21. 제 19 항에 있어서,
    상기 전경 객체정보 생성과정은,
    상기 전경 객체정보에서 상기 전경 객체의 일부가 상기 전경 영상 내에 존재하지 않는 노이즈를 제거하는 제2 노이즈 제거 과정을 포함하는 것을 특징으로 하는 영상 감시방법.
  22. 제 18 항에 있어서,
    상기 군집화 과정은,
    상기 전경 객체정보를 이용하여 산출된 가로세로비, 전경 객체정보의 화소수 비율 및 2차 모멘트 중 적어도 하나 이상의 값을 이용하여 상기 단일객체로 형성된 단일객체 그룹 및 다수의 객체로 형성된 복수객체 그룹을 포함하는 두 개의 그룹으로 군집화하는 것을 특징으로 하는 영상 감시방법.
PCT/KR2013/008596 2012-10-09 2013-09-25 단일객체의 크기를 추정하는 영상 감시장치 및 방법 WO2014058165A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380052777.6A CN104718560B (zh) 2012-10-09 2013-09-25 用于估计单体的大小的图像监测装置及其方法
US14/682,805 US9478032B2 (en) 2012-10-09 2015-04-09 Image monitoring apparatus for estimating size of singleton, and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120112077A KR101640527B1 (ko) 2012-10-09 2012-10-09 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR10-2012-0112077 2012-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/682,805 Continuation US9478032B2 (en) 2012-10-09 2015-04-09 Image monitoring apparatus for estimating size of singleton, and method therefor

Publications (1)

Publication Number Publication Date
WO2014058165A1 true WO2014058165A1 (ko) 2014-04-17

Family

ID=50477593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008596 WO2014058165A1 (ko) 2012-10-09 2013-09-25 단일객체의 크기를 추정하는 영상 감시장치 및 방법

Country Status (4)

Country Link
US (1) US9478032B2 (ko)
KR (1) KR101640527B1 (ko)
CN (1) CN104718560B (ko)
WO (1) WO2014058165A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740941B2 (en) 2014-10-27 2017-08-22 Hanwha Techwin Co., Ltd. Apparatus and method for visualizing loitering objects

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101856546B1 (ko) 2017-06-29 2018-05-11 링크플로우 주식회사 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
JP2019220025A (ja) * 2018-06-21 2019-12-26 キヤノン株式会社 画像処理装置、画像処理方法
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070065480A (ko) * 2005-12-20 2007-06-25 한국철도기술연구원 스테레오비디오 카메라를 이용한 지하철 승강장 모니터링시스템
KR20080099296A (ko) * 2006-02-07 2008-11-12 콸콤 인코포레이티드 인트라-모드 관심 영역 비디오 오브젝트 세그멘테이션
KR20090119668A (ko) * 2008-05-16 2009-11-19 주식회사 윈포넷 건물의 침입 및 화재 감지를 위한 촬영 이미지 처리 시스템및 방법
KR100968024B1 (ko) * 2008-06-20 2010-07-07 중앙대학교 산학협력단 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
KR20120104711A (ko) * 2011-03-14 2012-09-24 주식회사 아이티엑스시큐리티 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008033338A2 (en) * 2006-09-11 2008-03-20 Aman James A System and methods for translating sports tracking data into statistics and performance measurements
US7733524B2 (en) * 2006-06-06 2010-06-08 Primax Electronics Ltd. Monochromic image processing system and method for background removal according to dynamic data
US8155437B2 (en) * 2007-09-07 2012-04-10 CVISION Technologies, Inc. Perceptually lossless color compression
CN101355692B (zh) * 2008-07-30 2013-03-20 浙江大学 一种实时跟踪运动目标区域的智能监控装置
JP5103665B2 (ja) * 2008-10-24 2012-12-19 国立大学法人広島大学 物体追跡装置および物体追跡方法
US8849054B2 (en) * 2010-12-23 2014-09-30 Samsung Electronics Co., Ltd Digital image stabilization
CN102148921B (zh) * 2011-05-04 2012-12-12 中国科学院自动化研究所 基于动态群组划分的多目标跟踪方法
CN102663743B (zh) * 2012-03-23 2016-06-08 西安电子科技大学 一种复杂场景中多摄影机协同的人物追踪方法
KR101618814B1 (ko) * 2012-10-09 2016-05-09 에스케이텔레콤 주식회사 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070065480A (ko) * 2005-12-20 2007-06-25 한국철도기술연구원 스테레오비디오 카메라를 이용한 지하철 승강장 모니터링시스템
KR20080099296A (ko) * 2006-02-07 2008-11-12 콸콤 인코포레이티드 인트라-모드 관심 영역 비디오 오브젝트 세그멘테이션
KR20090119668A (ko) * 2008-05-16 2009-11-19 주식회사 윈포넷 건물의 침입 및 화재 감지를 위한 촬영 이미지 처리 시스템및 방법
KR100968024B1 (ko) * 2008-06-20 2010-07-07 중앙대학교 산학협력단 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
KR20120104711A (ko) * 2011-03-14 2012-09-24 주식회사 아이티엑스시큐리티 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740941B2 (en) 2014-10-27 2017-08-22 Hanwha Techwin Co., Ltd. Apparatus and method for visualizing loitering objects

Also Published As

Publication number Publication date
CN104718560A (zh) 2015-06-17
US20150213595A1 (en) 2015-07-30
KR20140045834A (ko) 2014-04-17
CN104718560B (zh) 2017-05-17
US9478032B2 (en) 2016-10-25
KR101640527B1 (ko) 2016-07-18

Similar Documents

Publication Publication Date Title
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2020101103A1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2017039259A1 (ko) 열화상 카메라를 이용한 전력설비 진단 장치 및 방법
WO2016122069A1 (ko) 타이어 마모도 측정 방법 및 그 장치
CN110191320B (zh) 基于像素时序运动分析的视频抖动与冻结检测方法及装置
WO2016204385A1 (ko) 전기철도차량의 진동 정보 검출 방법 및 장치
WO2014035103A1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
JP6261266B2 (ja) 移動体検知装置
JP2008286638A (ja) 身長推定装置および身長推定方法
CN111996883A (zh) 一种检测公路路面宽度的方法
WO2013009099A2 (ko) 블러 처리 장치 및 방법
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
KR101064927B1 (ko) 영상 분석을 이용한 방문자 계수 시스템 및 그 방법
WO2017111257A1 (ko) 영상 처리 장치 및 영상 처리 방법
CN111696044A (zh) 一种大场景动态视觉观测方法及装置
CN111444837A (zh) 在极端环境下提升人脸检测可用性的测温方法及测温系统
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
KR101214858B1 (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
KR101371647B1 (ko) 이미지 데이터 기반의 화재 감지 장치 및 그 방법
KR102150661B1 (ko) 객체를 검출하기 위한 전처리 장치 및 방법
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
WO2019117374A1 (ko) 동적 객체 검출 장치 및 방법
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13845815

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13845815

Country of ref document: EP

Kind code of ref document: A1