WO2012066785A1 - 人数カウント装置、人数カウント方法及び人数カウントプログラム - Google Patents

人数カウント装置、人数カウント方法及び人数カウントプログラム Download PDF

Info

Publication number
WO2012066785A1
WO2012066785A1 PCT/JP2011/006415 JP2011006415W WO2012066785A1 WO 2012066785 A1 WO2012066785 A1 WO 2012066785A1 JP 2011006415 W JP2011006415 W JP 2011006415W WO 2012066785 A1 WO2012066785 A1 WO 2012066785A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
partial
detector
detection
people
Prior art date
Application number
PCT/JP2011/006415
Other languages
English (en)
French (fr)
Inventor
裕一 松本
横光　澄男
克則 藁谷
藤井　博文
隆行 松川
藤松　健
偉志 渡邊
三輪　道雄
杉浦　雅貴
森岡　幹夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/885,848 priority Critical patent/US9025875B2/en
Publication of WO2012066785A1 publication Critical patent/WO2012066785A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Definitions

  • the present invention relates to a people counting apparatus, a people counting method, and a people counting program for counting people by using a person detection technique for an image taken from a surveillance camera or the like.
  • Patent Document 1 discloses a method of performing matching processing with a background image database on an input image photographed by a surveillance camera or the like, and estimating the number of people according to the position and number of pixels detected as differences.
  • HOG Heistogram of Oriented Gradient
  • Non-Patent Document 2 HOG (Histogram of Oriented Gradient) feature values are extracted in advance from a large amount of detection target samples (images including the whole body of a person) and non-detection target samples (images not including the whole body of a person).
  • SVM Serial Vector Vector Machine
  • Non-Patent Document 2 a partial detector for detecting a part of a person is constructed using the Edgelet feature and boosting method, and the output result of each partial detector is estimated as one by performing maximum posterior probability estimation.
  • a method of integration is disclosed.
  • the person detection from still images performed in Non-Patent Documents 1 and 2 is generally performed as follows. First, since the size and position of a person in an input image taken by a surveillance camera or the like are not constant, the input image is converted into a pyramid image by repeatedly performing scaling processing such as resizing processing on the input image. Thereafter, an image window of a predetermined size is extracted from each scaled image constituting the pyramid image at predetermined intervals, and a person detection determination process is performed by a threshold determination of a score based on a value of a predetermined feature amount in each image window. .
  • the human detection candidate frame is displayed in the input image.
  • a plurality of person detection candidate frame rectangles 110a are output around the person as shown in FIG. 11 (hereinafter referred to as a position detection problem of person detection results).
  • the final integration result 111 Is displayed as a person detection result (see FIG. 5.1 of Non-Patent Document 1).
  • the number of the final integrated results 111 of the rectangle is counted as the number of people.
  • Non-Patent Document 1 since the whole body detector is used, it is particularly affected by the position shift problem of the person detection result. For example, as shown in FIG. 12 (a), when a plurality of persons are close to each other, the person detection candidate frame rectangles themselves are close to each other on the left and right sides, and the person detection candidate frame rectangles are subsequently integrated. Since they are determined to be in the same group, it becomes impossible to detect the left and right persons separately.
  • FIG. 12B the accuracy of human detection for the occluded rear person is deteriorated, so that the number of person detection candidate frame rectangles is compared with the person detection candidate frame rectangle of the front person. It becomes smaller and it becomes impossible to detect the front and rear persons separately.
  • Non-Patent Document 2 since the partial detector is used, the influence of the position shift problem of the person detection result is mitigated. This is because a part of the human body is considered to be a non-rigid body closer to a rigid body when the human body is viewed in more detail.
  • the technique disclosed in Non-Patent Document 2 always uses all the partial detectors prepared in advance for all image windows extracted from the input image for any situation occlusion. Because it is necessary to perform person detection processing, the optimal person detection processing is being performed in terms of the possibility of increased false detections due to the use of even partial detectors that are not necessary, and increased processing speed. It's hard to say.
  • the upper body detector 134 and the lower body detector 135 are always used on the input image 130, it is possible to detect both the person 131 having occlusion in the lower body and the person 132 having occlusion in the upper body. .
  • Further use of 135 and upper body detector 134 has increased processing speed.
  • the partial detectors such as the upper body and the lower body are more erroneously detected than the whole body detector (see FIG.
  • Non-Patent Document 1 7.1 of Non-Patent Document 1
  • the upper body detector 134 with respect to the input image 130. If the lower body detector 135 is always used, the risk of more erroneous detection (for example, erroneous detection that detects the tree 133) is increased.
  • the present invention has been made in view of such circumstances, and even when a plurality of persons are close to each other on an input image or when occlusion occurs due to a plurality of persons, the person can be more accurately and quickly operated. It is an object of the present invention to provide a people counting device, a people counting method, and a people counting program that can be detected.
  • the number-of-people counting device of the present invention estimates a person's presence status from an extraction result of a person presence area extracting unit that detects a person and extracts a region where a person exists from an input image, and an extraction result of the person presence area extracting unit.
  • Person presence status estimation means partial detector selection means for selecting a type of partial detector used for counting people and outputting partial detector information based on the estimation result of the person presence status estimation means, and the partial detector selection Partial detection processing means for performing partial detection processing for detecting a part of a person using partial detection processing based on partial detector information output from the means, and from the partial detection processing result of the partial detection processing means, in the input image
  • a person counting means for obtaining the number of persons.
  • the person presence area extraction unit outputs rectangular information as an extraction result
  • the person presence state estimation unit outputs the aspect ratio or the vertical and horizontal lengths of the rectangular information extracted by the person presence area extraction unit.
  • the person presence status is estimated according to
  • the above configuration makes it possible to more reliably estimate the presence of a person and to count people with high accuracy.
  • the partial detector selecting unit selects the partial detector of a type that performs partial detection when it is determined that the estimation result of the person presence state estimating unit is a person overlapping.
  • the partial detector selection means selects at least one of an upper body detector, a lower body detector, a right body detector, and a left body detector as the partial detector.
  • the number of people can be counted with high accuracy even when people are overlapping.
  • the person presence state estimating unit is configured such that when the rectangular information extracted by the person presence region extracting unit is not long in the horizontal direction but long in the vertical direction compared to the size of the person, the persons overlap in the vertical direction.
  • the partial detector selecting means selects the upper body detector when the person presence state estimating means determines that the person is overlapped in the vertical direction.
  • the person presence state estimating means determines that the person is overlapped in the horizontal direction when the rectangular information is longer in the horizontal direction and not longer in the vertical direction than the size of the person, and the partial detector selection The means selects the right half-body detector and the left half-body detector when the person presence state estimating means determines that the person is overlapped in the horizontal direction.
  • the person presence state estimating means determines that the persons overlap in a wide range when the rectangular information is longer in both the horizontal and vertical directions than the size of the person, and the partial detector selecting means When the person presence state estimating means determines that the persons are overlapping in a wide range, the upper body detector, the lower body detector, the right body detector and the left body detector are selected.
  • the method of counting people includes a step of performing person detection on an input image to extract a region where a person exists, a step of estimating a person's presence status from a result of extracting a region where a person exists, Based on the result of estimating the existence status of the partial detector, the step of selecting the type of partial detector used for counting people and outputting partial detector information, and the partial detection processing based on the partial detector information of the selected partial detector are used. And performing a partial detection process for detecting a part of the person and obtaining a number of persons in the input image from the detection process result.
  • the above method makes it possible to select an optimum detector according to the situation from a plurality of detectors for counting the number of people, thereby improving the accuracy of the number of people counting. As a result, even when a plurality of persons are close to each other on the input image or occlusion occurs due to a plurality of persons, it is possible to detect a person with higher accuracy and speed.
  • the number counting program of the present invention is a program for causing a computer to execute each step of the number counting method.
  • the above program makes it possible to select the most suitable detector according to the situation from a plurality of detectors for counting the number of people, thereby improving the accuracy of the number of people counting. As a result, even when a plurality of persons are close to each other on the input image or occlusion occurs due to a plurality of persons, it is possible to detect a person with higher accuracy and speed.
  • a people counting device even when a plurality of persons are close to each other on an input image or occlusion occurs due to a plurality of persons, it is possible to detect a person with higher accuracy and speed.
  • a people counting device a people counting method, and a people counting program can be provided.
  • FIG. 1 is a diagram illustrating a state in which the standard person size is a rectangle and the difference in size between the person existence area and the rectangle is compared with a threshold value and is classified into four patterns in the person counting apparatus of FIG.
  • summary of the partial detection process in the people counting device of FIG. The figure which shows an example of preparation of the integrated detection frame group in the people counting device of FIG.
  • movement of the people counting device of FIG. The figure which shows the person detection candidate frame rectangle in the conventional person detection technique (A), (b) The figure for demonstrating the subject of the conventional person detection technique The figure for demonstrating the subject of the conventional person detection technique
  • FIG. 1 is a block diagram showing a schematic configuration of a people counting apparatus according to an embodiment of the present invention.
  • a person counting apparatus 1 includes an image input unit 101, a whole body detection processing unit 102, a whole body detection model database unit (hereinafter referred to as a whole body detection model DB unit) 103, a person presence An area extraction unit 104, a person presence state estimation unit 105, a partial detector selection unit 106, a partial detection processing unit 107, a partial detection model database unit (hereinafter referred to as a partial detection model DB unit) 108, and the number of people A count unit 109 and a display unit 110 are included.
  • a whole body detection processing unit 102 includes a whole body detection model database unit (hereinafter referred to as a whole body detection model DB unit) 103, a person presence An area extraction unit 104, a person presence state estimation unit 105, a partial detector selection unit 106, a partial detection processing unit 107, a partial detection model database unit
  • the image input unit 101 inputs and outputs image information captured by a monitoring camera (not shown) and holds the information.
  • the whole-body detection processing unit 102 receives the image output from the image input unit 101 and converts the input image into a pyramid image by repeatedly performing scaling processing such as resizing processing on the input image.
  • FIG. 2 is a diagram illustrating an example of an input image and a pyramid image generated from the input image. 2A represents the input image 201, and FIG. 2B represents the pyramid image 202.
  • the whole-body detection processing unit 102 extracts image windows 203 having a predetermined size from the respective scaled images constituting the pyramid image 202 generated from the input image 201 at predetermined intervals, and performs whole-body detection processing on each image window 203. Do. This whole body detection process is performed based on the score value indicating the whole body likeness of the person in the image window 203, and the person is applied to the image window 203 for which a score value equal to or higher than a predetermined score threshold A set in advance is calculated. It is determined that the whole body is included. The whole-body detection processing unit 102 finally converts the two-dimensional position information of the image window 203 determined to contain the whole body from each scaled image to the scale of the input image 201 before performing the scaling process. The dimension position information and the score value of the image window 203 are output.
  • the whole body detection model DB unit 103 receives model value values extracted from the image window 203, and outputs model values for determining whether or not the whole body is included in the image window 203. Is a database in which at least one is stored. The whole body detection processing unit 102 performs whole body detection processing on the image window 203 based on these model information.
  • the model information in the whole body detection model DB unit 103 extracts feature amounts from a large number of detection target samples (images including the whole body of a person) and non-detection target samples (images not including the whole body of the person) in advance,
  • the boundary line of each sample group on the feature amount space can be constructed by using a typical statistical learning method such as SVM (Support Vector Vector) or boosting method.
  • SVM Small Vector Vector
  • boosting method boosting method
  • the person presence area extraction unit 104 selects a distance between the center positions from a plurality of whole body detection candidate frames 204 (see FIG. 2A), which is an output result of the whole body detection processing unit 102, for example.
  • the whole body detection candidate frames 204 within B are classified into one same group, and a person presence area 205 which is a union area of the whole body detection candidate frames 204 is set for each group.
  • the person presence area 205 represents the X for each group when the two-dimensional position information of the plurality of whole body detection candidate frames 204 in the input image is expressed by the four XY coordinates (X, Y) of each rectangle.
  • FIG. 3 is a diagram illustrating an example of setting of the person presence area 303 that is the union area of the whole body detection candidate frames 301 and 302.
  • the person presence situation estimation unit 105 determines the person presence situation in the person presence area 205 (pattern 1) There is one person, (Pattern 2) People are arranged in the vertical direction, (Pattern 3) People are arranged in the horizontal direction, (Pattern 4), etc. .
  • the threshold determination of the person presence area 205 is performed by comparison with a standard person size.
  • a standard person size may be set in advance based on the installation position of the camera.
  • the standard person size may differ depending on the position on the screen depending on the installation angle of the camera.
  • the height information of the person that can be detected at an arbitrary position on the input image 201 A standard person size can be obtained by setting in advance. For example, when the size of a person changes in the Y-axis direction on the image, a reference image window group 401 representing a standard person size at each position in the screen as shown in FIG. 4 is set on the input image 201.
  • a rectangle 404 in which the distance between the Y coordinate of the center position 403 of the person existing area 402 and the Y coordinate of the center position in the reference image window group 401 is the closest is adopted as a standard person size.
  • FIG. 5 is a diagram in which a standard person size is a rectangle 501 and the difference in size between the person existence area 402 and the rectangle 501 is compared with a threshold value and classified into the above four patterns.
  • the person existing situation estimation unit 105 The above (Pattern 1) is estimated.
  • the human presence area is 503 and the horizontal size difference is smaller than the horizontal size threshold C_h and the vertical size difference is larger than the vertical size threshold C_v, it is estimated as (pattern 2).
  • the partial detector selection unit 106 selects a partial detection process used in the subsequent processes according to the four patterns estimated by the person presence state estimation unit 105. Specifically, (Pattern 1) When there is one person, the partial detection process is not performed. (Pattern 2) When the persons are arranged in the vertical direction, the upper body detection process is performed. (Pattern 3) 4 patterns of performing half-body detection processing (right half body and left half body) when arranged in the horizontal direction, (pattern 4) In other cases, performing both upper body detection processing and half body detection processing (right body and left half body) The partial detection process is selected.
  • FIG. 6 is a diagram showing an outline of the partial detection process.
  • the upper body detector, the right body detector, and the left body detector are respectively in rectangular areas 601, 602, and 603 displayed by dotted lines in FIG. Detect the partial shape of a person.
  • the human presence region 205 extracted by the human presence region extraction unit 104 is input, and the input image 201 is repeatedly subjected to scaling processing such as resizing processing, whereby the input image 201 is converted into a pyramid image. Convert to Thereafter, similarly to the whole-body detection processing unit 102, image windows of a predetermined size are extracted at predetermined intervals from each scaled image in the pyramid image, and are output from the partial detector selection unit 106 for each image window.
  • Partial detection processing is performed by using the partial detector information. This partial detection process is performed based on a score value indicating the likelihood of a part of a person in the image window, and a part of the person is calculated with respect to an image window in which a score value equal to or higher than a predetermined score threshold F set in advance is calculated. It is the process which determines with being included.
  • the partial detection processing unit 107 finally performs inverse scale conversion on the input image 201 before performing the scaling process on the two-dimensional position information of the image window determined to include a part of the person from each scaled image. The two-dimensional position information is output and the score value of the image window is output.
  • the partial detection model DB unit 108 receives model value values extracted from the image window, and outputs model values for determining whether or not a part of a person is included in the image window. Is a database in which at least one is stored. The partial detection processing for the image window in the partial detection processing unit 107 is performed based on the model information.
  • Model information in the partial detection model DB unit 108 is obtained by extracting feature amounts from a large number of detection target samples (images including a part of a person) and non-detection target samples (images including no part of a person) in advance.
  • the boundary line of each sample group on the feature amount space can be constructed by using a typical statistical learning method such as SVM (Support Vector Vector) or boosting method.
  • the person count unit 109 counts the number of persons according to the estimation result of the person presence state estimation unit 105. Specifically, the operation in each pattern is shown below.
  • FIG. 7 is a diagram illustrating an example of creation of the integrated detection frame group 702. As shown in FIG.
  • those having a score difference between the respective detection candidate frame groups 701 that are within a predetermined score threshold G and whose center position distance is a predetermined distance threshold H or less are determined as the same group,
  • the detection frame candidates can be integrated and the integrated detection frame group 702 can be created.
  • detection frame candidate integration processing using two-dimensional position information of a plurality of image windows determined to include the half of a person on the input image 201 and score values of the respective image windows.
  • FIG. 8 is a diagram illustrating an example of a process for creating an integrated detection frame in pattern 3.
  • a group in which the detection candidate frame groups 801, 802, 803 have a score difference within a predetermined score threshold G and the distance of the center position is a predetermined distance threshold H or less is the same group
  • the detection frame candidates are integrated by calculating the average position and average size of the detection candidate frames in the same group, and integrated detection frame groups 804, 805, and 806 are created. Then, if possible, the detection candidate frames of different partial detectors are integrated.
  • the distance between the center position of the left body integrated detection frame 804 of the person 809 and the center position of the right body integrated detection frame 805 of the person 809 is equal to or less than a predetermined distance threshold I, and the center of the left body integrated detection frame 804
  • the left half-body integrated detection frame 804 and the right half-body integrated detection frame 805 are detection results for the left and right bodies of the same person.
  • the union area 807 of the integrated detection frames 804 and 805 is set as one final integrated detection frame for the person 809.
  • the right body integrated detection frame 806 of the person 810 is within an area within a predetermined distance threshold I from the center position of the right body integrated detection frame 806 and smaller than the X coordinate of the center position of the right body integrated detection frame 806. Since there is no detection candidate frame for the left half-body detector, it is estimated that occlusion or the like has occurred in the left part of the body of the person 810, and the right half-body integrated detection frame 806 is set as one final integrated detection frame for the person 810. 808.
  • the display unit 110 displays the number of people counted from the number of people counting unit 109 to the user.
  • FIG. 10 is a flowchart for explaining the operation of the people counting apparatus 1 of the present embodiment.
  • input / output of image information taken from a monitoring camera or the like is first performed by the image input unit 101 (step S1).
  • the whole body detection model DB unit 103 receives the value of the feature amount extracted from the image window and outputs a score value for determining whether or not the whole body is included in the image window.
  • the model information is output to the whole body detection processing unit 102 (step S2).
  • the whole-body detection processing unit 102 repeatedly performs scaling processing such as resizing processing on the image input from the image input unit 101 to convert the input image into a pyramid image, and then configures each pyramid image.
  • Image windows of a predetermined size are extracted from the scaled images at predetermined intervals, and whole body detection processing is performed on each image window (step S3).
  • This whole body detection process is performed based on a score value indicating the whole body likeness of the person in the image window, and the whole body of the person is calculated with respect to the image window in which a score value equal to or higher than a predetermined score threshold A set in advance is calculated. Is determined to be included.
  • the whole body detection processing unit 102 finally performs inverse scale conversion on the input image before performing the scaling process on the two-dimensional position information of the image window determined to include the whole body from each scaled image.
  • the two-dimensional position information is output and the score value of the image window is output.
  • the person presence area extraction unit 104 selects one whole body detection candidate frame whose distance between the center positions is within a predetermined distance threshold B from the plurality of whole body detection candidate frames that are output results of the whole body detection processing unit 102. It classify
  • the person existence situation estimation unit 105 determines the person existence situation in the person existence area (pattern 1) There is one person, (Pattern 2) People are arranged in the vertical direction, (Pattern 3) People are arranged in the horizontal direction, (Pattern 4), etc. (Step S5).
  • the partial detector selection unit 106 selects a partial detection process to be used in the subsequent processes according to the four patterns estimated by the person presence state estimation unit 105 (step S6).
  • the partial detection model DB unit 108 is selected by the partial detector selection unit 106, receives the value of the feature amount extracted from the image window, and determines whether or not a part of the person is included in the image window.
  • the partial detection model information that outputs the score value for the output is output to the partial detection processing unit 107 (step S7).
  • the partial detection processing unit 107 receives the person presence area extracted by the person presence area extraction unit 104 as input, and repeatedly performs scaling processing such as resizing processing on the input image, thereby converting the input image into a pyramid image. Convert. Thereafter, similarly to the whole-body detection processing unit 102, image windows of a predetermined size are extracted at predetermined intervals from each scaled image in the pyramid image, and are output from the partial detector selection unit 106 for each image window. Using the partial detector information, partial detection processing is performed (step S8).
  • This partial detection process is performed based on a score value indicating the likelihood of a part of a person in the image window, and a part of the person is calculated with respect to an image window in which a score value equal to or higher than a predetermined score threshold F set in advance is calculated. Is determined to be included. Then, the partial detection processing unit 107 finally performs inverse scale conversion on the input image before performing the scaling process on the two-dimensional position information of the image window determined to include a part of the person from each scaled image. The two-dimensional position information at that time is output, and the score value of the image window is output.
  • the number of people counting unit 109 counts the number of people detected according to the four patterns selected by the partial detector selecting unit 106 (step S9). For example, (1) when there is one person, detection frame candidates using the two-dimensional position information of a plurality of image windows determined to include the whole body of the person and the score values of the respective image windows The number of integrated detection frames subjected to the integration processing is counted as the number of detected people. In addition, (2) when people are arranged in the vertical direction, detection is performed using the two-dimensional position information of a plurality of image windows determined to include the upper body of the person and the score value of each image window. The number of integrated detection frames subjected to the frame candidate integration processing is counted as the number of detected people.
  • detection is performed using the two-dimensional position information of the plurality of image windows determined to include the half of the person and the score values of the respective image windows.
  • the result of further integrating the integrated detection frames by the detectors of the right and left bodies with respect to the integrated detection frame subjected to the frame candidate integration processing is counted as the number of persons.
  • the upper body of the person and the two-dimensional position information of the plurality of image windows determined to include the body and the score value of each image window are used to detect the detection frame candidates.
  • the result of further integrating the integrated detection frames by the detectors of the upper half body, the right half body, and the left half body with respect to the integrated detection frame subjected to the integration process is counted as the number of persons.
  • the display unit 110 displays the number of people counted output from the number of people counting unit 109 to the user (step S10).
  • the number-of-people counting apparatus 1 of the present embodiment since it has the whole body detection processing unit 102, the person presence region extraction unit 104, the person presence state estimation unit 105, and the partial detector selection unit 106, the person presence region Can be estimated from the shape of the existing area, and the optimal partial detection process for counting the number of people close to each other or persons with occlusion from the estimation result This can be done for existing areas. Thereby, it is possible to perform a high-precision person counting process that is faster and less erroneously detected than the conventional method that uses a partial detector for the entire input image.
  • the feature amounts extracted by the whole body detection processing unit 102 and the partial detection processing unit 107 are HOG feature amounts and Edgelet features that are generally used for whole body detection of a person and partial detection of a part of a person.
  • the amount is not limited.
  • the person existence area 303 in the person existence area extraction unit 104 is not limited to the setting by calculation of the union area as shown in FIG. 3, for example, a noise rectangle (if the distance between the center positions is within a predetermined distance threshold B).
  • a noise rectangle if the distance between the center positions is within a predetermined distance threshold B.
  • all the whole body detection candidate frames in which the distance between the center positions is within the predetermined distance threshold B are available.
  • a method may be used in which the result of calculating the average center position and average size of 204 is used as the person presence region 303.
  • the size setting of the reference image window group 401 in the person presence state estimation unit 105 may be automatically set by calibration of a monitoring camera or the like, or manually set while the user actually looks at the captured image. May be.
  • the whole body detection processing unit 102 and the partial detection processing unit 107 can be detected at an arbitrary position on the input image by using the size information of the reference image window group 401 set in the person presence state estimation unit 105. Since the size of the person's whole body, upper body, and half body on the input image can be estimated, the scaling parameters (the number of scalings and the scaling step) for converting the input image into a pyramid image may be optimized.
  • the whole body detection model DB unit 103 for example, forward, backward, right, left, diagonally forward right, diagonally forward left, diagonally backward right, diagonally backward left, or a head covering such as a hat or a helmet
  • a plurality of pieces of model information such as clothing such as a skirt, belongings such as a bag, etc. for detecting the whole body may be accumulated for each of various attribute information of the person, and the same applies to the partial detection model DB unit 108. It is.
  • the integration processing of the detection candidate frame groups 701, 801, 802, and 803 in the number counting unit 109 does not consider the threshold determination using the score threshold, and the center of each of the detection candidate frame groups 701, 801, 802, and 803
  • An integrated processing method that considers only threshold determination using a position distance threshold may be used.
  • the integration processing of the detection candidate frame groups 701, 801, 802, and 803 in the number counting unit 109 is likely to include the upper body and half of the person in each detection candidate frame group 701, 801, 802, and 803.
  • the depth information on the input image measured using a stereo camera or the like is used to determine the likelihood that a three-dimensional object is included in each of the detection candidate frame groups 701, 801, 802, and 803.
  • a tracking technique using template matching or the like is applied to the calculated solid object score value and the template position of the final integrated detection frame in the past input image, and each detection candidate frame group 701 in the current input image.
  • 801, 802, 803 and the tracking score value indicating the degree of matching with the tracking result from the past frame, and the like. It may be used a method of increasing the grouping precision, an integrated process frame group.
  • the integrated detection frame 901 of the rectangular region 601 of the upper body detector serving as a reference is at the position of FIG. 9 as shown in FIG.
  • the positions of the dotted rectangles 902 and 903 may be set manually by the user in advance, or may be set statistically from a large number of detection target samples (images including the whole body of a person).
  • one of the output results of each partial detector as in Non-Patent Document 2 is estimated by performing maximum posterior probability estimation. It is also possible to use a method of integrating with the above.
  • the present invention has an effect that a person can be detected with higher accuracy and speed even when a plurality of persons are close to each other on an input image, or even when occlusion is caused by a plurality of persons, Application to surveillance camera systems is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　本発明の課題は、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にもより高精度、高速に人物検出することができる人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することである。　入力画像に対して人物検出を行い人物の存在する領域を抽出する人物存在領域抽出部（１０４）と、人物存在領域抽出結果から人物の存在状況を推定する人物存在状況推定部（１０５）と、人物存在状況推定結果に基づき人数計測に用いる部分検出器の種類を選択する部分検出器選択部（１０６）と、部分検出器情報から人物の一部分を検出する部分検出処理を行う部分検出処理部（１０７）と、部分検出処理結果から入力画像内の人物の数を求める人数カウント部（１０９）とを備えるので、部分検出器を入力画像全体に用いる従来手法よりも、高速且つ誤検出のより少ない高精度な人数カウント処理を行うことができる。

Description

人数カウント装置、人数カウント方法及び人数カウントプログラム
　本発明は、監視カメラ等から撮影された画像に対し、人物検出技術を用いることで人数カウントを行うための人数カウント装置、人数カウント方法及び人数カウントプログラムに関する。
　近年の監視カメラシステムには、店舗等への侵入者の自動検知や、入場者数の自動カウント等を行うことを目的に、人物検出技術が導入されている。従来の人物検出技術としては、例えば特許文献１や非特許文献１、２に記載されたものが知られている。
　特許文献１には、監視カメラ等で撮影された入力画像に対して背景画像データベースとのマッチング処理を行い、差分検出した画素の位置や数に応じて人数を推定する方法が開示されている。非特許文献１には、事前に大量の検出対象サンプル（人物の全身が含まれる画像）と非検出対象サンプル（人物の全身が含まれない画像）からＨＯＧ（Histogram of Oriented Gradient）特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）を用いてモデル化することで、静止画像中からの人物検出技術を実現する方法が開示されている。非特許文献２には、人物の一部分を検出する部分検出器をＥｄｇｅｌｅｔ特徴量とブースティング法を用いて構築し、各々の部分検出器の出力結果を最大事後確率推定を行うことで１つに統合する方法が開示されている。
　上記非特許文献１、２で行われている静止画像中からの人物検出は、一般的に次のように行われる。まず、監視カメラ等で撮影された入力画像中における人物のサイズ及び位置は一定ではないため、入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。その後、ピラミッド画像を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥ中における所定特徴量の値に基づいたスコアの閾値判定によって人物検出判定処理を行う。
　人物検出器は、人物のような非剛体の様々な形状変化に対してロバスト（強靭）な検出性能を発揮するように構築されているため、人物検出結果を入力画像中に人物検出候補枠矩形として表示すると、図１１のように、人物の周辺で複数の人物検出候補枠矩形１１０ａが出力される（以下、人物検出結果の位置ずれ問題と呼ぶ）。最終的には、人物検出候補枠矩形１１０ａを、各々の矩形の属性情報（中心位置、サイズ、スコア等）に基づき、同一グループと判定するような統合処理を行うことで、その最終統合結果１１１を人物検出結果として表示する（非特許文献１のＦｉｇ．５．１参照）。人数カウント等を行う場合は、この矩形の最終統合結果１１１の数を人数としてカウントすることになる。
日本国特開２００５－２５３２８号公報
Navneet Dalal, "Finding People in Images and Videos", PhD Thesis, Institut National Polytechnique de Grenoble/INRIA Grenoble, Grenoble, July 2006. Bo Wu and Ram Nevatia, "Detection and Tracking of Multiple, Partially Occluded Humans by Bayesian Combination of Edgelet based Part Detectors", International Journal of Computer Vision, 75(2): 247-266, 2007.
　しかしながら、上述した従来の人物検出技術においては、下記のような課題があった。
　まず特許文献１で開示された技術では、入力画像と背景画像データベースとの差分情報に基づくマッチング処理を行うため、照明や影等の急激な環境変動が生じ、適切な背景画像が選択できない場合に人数カウント精度が劣化してしまう。
　非特許文献１で開示された技術では、全身検出器を用いているために、人物検出結果の位置ずれ問題の影響を特に受ける。例えば、図１２の（ａ）に示すように、複数の人物が近接した場合、左右に並んだ人物に対する各々の人物検出候補枠矩形自体が近接し、その後の人物検出候補枠矩形の統合処理で同一グループと判定されてしまうため、左右の人物を分離して検出できなくなってしまう。また、図１２の（ｂ）に示すように、オクルージョンのある後方人物に対する人物検出精度が劣化してしまうことで、人物検出候補枠矩形の数が前方人物の人物検出候補枠矩形と比較して小さくなってしまい、前後の人物を分離して検出できなくなってしまう。
　非特許文献２で開示された技術では、部分検出器を用いているために、人物検出結果の位置ずれ問題の影響は緩和される。これは、人体をより細かく部分的に見た場合、人体の一部分は、より剛体に近い非剛体と考えられるからである。しかしながら、非特許文献２で開示された技術では、どのような状況のオクルージョンに対しても、入力画像から抽出される全ての画像ウィンドゥに対し、常に事前に用意した全ての部分検出器を用いて人物検出処理を行う必要があるため、本来必要のない部分検出器までも用いてしまうことによる誤検出増加の可能性、及び処理速度増加という点で、最適な人物検出処理が行えているとは言い難い。
　例えば図１３において、入力画像１３０上に対して上半身検出器１３４と下半身検出器１３５を常に使用すると、下半身にオクルージョンのある人物１３１、及び上半身にオクルージョンのある人物１３２を、ともに検出することができる。しかしながら、本来下半身にオクルージョンのある人物１３１、及び上半身にオクルージョンのある人物１３２に対しては、それぞれ上半身検出器１３４、下半身検出器１３５のみの人物検出処理を行うだけで十分であり、下半身検出器１３５及び上半身検出器１３４をさらに用いることによって処理速度が増加してしまっている。さらに、一般的に上半身や下半身などの部分検出器は、全身検出器に比べて誤検出が多く（非特許文献１のＦｉｇ．７．１参照）、入力画像１３０上に対して上半身検出器１３４と下半身検出器１３５を常に使用することで、より誤検出（例えば木１３３を検出してしまうような誤検出）を発生してしまう危険性を高めてしまうことになる。
　本発明は、係る事情に鑑みてなされたものであり、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができる人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することを目的とする。
　本発明の人数カウント装置は、入力画像に対して、人物検出を行い人物の存在する領域を抽出する人物存在領域抽出手段と、前記人物存在領域抽出手段の抽出結果から人物の存在状況を推定する人物存在状況推定手段と、前記人物存在状況推定手段の推定結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力する部分検出器選択手段と、前記部分検出器選択手段から出力された部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行う部分検出処理手段と、前記部分検出処理手段の部分検出処理結果から前記入力画像内の人物の数を求める人数カウント手段と、を備えた。
　上記構成により、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
　上記構成において、前記人物存在領域抽出手段は、抽出結果として矩形情報を出力し、前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定する。
　上記構成により、人物存在状況をより確実に推定することができ、高精度で人数カウントができる。
　上記構成において、前記部分検出器選択手段は、前記人物存在状況推定手段の推定結果が人物が重なっていると判断した場合には部分検出を行う種類の前記部分検出器を選択する。
　上記構成により、人物が重なっている場合でも高精度で人数カウントができる。
　上記構成において、前記部分検出器選択手段は、前記部分検出器として、上半身検出器、下半身検出器、右半身検出器、左半身検出器のうち、少なくとも一つを選択する。
　上記構成により、４つの検出器のうち少なくとも一つを選択することで、人物が重なっている場合でも高精度で人数カウントができる。
　上記構成において、前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した前記矩形情報が人物のサイズに比べて横方向には長くなく縦方向に長い場合は人物が縦方向に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が縦方向に重なっていると判断した場合には、前記上半身検出器を選択する。
　上記構成により、人物が縦方向に重なっている場合でも高精度で人数カウントができる。
　上記構成において、前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向に長く縦方向に長くない場合は人物が横方向に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が横方向に重なっていると判断した場合には、前記右半身検出器及び前記左半身検出器を選択する。
　上記構成により、人物が横方向に重なっている場合でも高精度で人数カウントができる。
　上記構成において、前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向にも縦方向にも長い場合は人物が広範囲に重なっていると判断し、前記部分検出器選択手段は、前記人物存在状況推定手段が人物が広範囲に重なっていると判断した場合には、前記上半身検出器、前記下半身検出器、前記右半身検出器及び前記左半身検出器を選択する。
　上記構成により、人物が広範囲に重なっている場合でも高精度で人数カウントができる。
　本発明の人数カウント方法は、入力画像に対して、人物検出を行い人物の存在する領域を抽出するステップと、人物の存在する領域を抽出した結果から人物の存在状況を推定するステップと、人物の存在状況を推定した結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力するステップと、選択された部分検出器の部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行うステップと、検出処理結果から前記入力画像内の人物の数を求めるステップと、を備えた。
　上記方法により、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
　本発明の人数カウントプログラムは、上記人数カウント方法の各ステップをコンピュータに実行させるためのプログラムである。
　上記プログラムにより、人数カウントを行うための複数の検出器の中から、状況に応じて最適なものを選択することができるようになり、人数カウントの精度が向上する。これにより、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することが可能となる。
　本発明によれば、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができるという効果を有する人数カウント装置、人数カウント方法及び人数カウントプログラムを提供することができる。
本発明の一実施の形態に係る人数カウント装置の概略構成を示すブロック図 （ａ），（ｂ）図１の人数カウント装置において、入力画像と入力画像から生成されるピラミッド画像の一例を示す図 図１の人数カウント装置において、全身検出候補枠の和集合領域である人物存在領域の設定の一例を示す図 図１の人数カウント装置において、標準的な人物サイズの求め方の一例を示す図 図１の人数カウント装置において、標準的な人物サイズを矩形とし、人物存在領域と矩形との縦横各々のサイズの差分を閾値と比較し４パターンに分類した状態を示す図 図１の人数カウント装置における部分検出処理の概要を示す図 図１の人数カウント装置における統合検出枠群の作成の一例を示す図 図１の人数カウント装置における統合検出枠の作成処理の一例を示す図 図１の人数カウント装置における統合検出枠同士の統合処理の一例を示す図 図１の人数カウント装置の動作を説明するためのフローチャート 従来の人物検出技術における人物検出候補枠矩形を示す図 （ａ），（ｂ）従来の人物検出技術の課題を説明するための図 従来の人物検出技術の課題を説明するための図
　以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
　図１は、本発明の一実施の形態に係る人数カウント装置の概略構成を示すブロック図である。図１において、本実施の形態の人数カウント装置１は、画像入力部１０１と、全身検出処理部１０２と、全身検出モデルデータベース部（以下、全身検出モデルＤＢ部と記述する）１０３と、人物存在領域抽出部１０４と、人物存在状況推定部１０５と、部分検出器選択部１０６と、部分検出処理部１０７と、部分検出モデルデータベース部（以下、部分検出モデルＤＢ部と記述する）１０８と、人数カウント部１０９と、表示部１１０と、を有する。
　以下、図１に示す人数カウント装置１の各構成要素について詳しく説明する。画像入力部１０１は、図示せぬ監視カメラ等で撮影された画像情報の入出力と、その保持を行う。全身検出処理部１０２は、画像入力部１０１から出力された画像を入力とし、その入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。図２は、入力画像と入力画像から生成されるピラミッド画像の一例を示す図である。図２の（ａ）は入力画像２０１を表し、図２の（ｂ）はピラミッド画像２０２を表す。全身検出処理部１０２は、入力画像２０１から生成したピラミッド画像２０２を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥ２０３を所定間隔で抽出し、各々の画像ウィンドゥ２０３に対して全身検出処理を行う。この全身検出処理は、画像ウィンドゥ２０３内の人物の全身らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ａ以上のスコア値が算出された画像ウィンドゥ２０３に対して、人物の全身が含まれていると判定する。全身検出処理部１０２は、最終的に、各々のスケーリング画像から全身が含まれると判定した画像ウィンドゥ２０３の二次元位置情報をスケーリング処理を行う前の入力画像２０１上に逆スケール変換したときの二次元位置情報と、その画像ウィンドゥ２０３のスコア値を出力する。
　全身検出モデルＤＢ部１０３は、画像ウィンドゥ２０３内から抽出された特徴量の値を入力とし、画像ウィンドゥ２０３内に全身が含まれるか否かを判定するためのスコア値を出力するようなモデル情報が少なくとも１つ以上蓄積されているデータベースである。全身検出処理部１０２は、これらのモデル情報に基づいて画像ウィンドゥ２０３に対する全身検出処理を行う。
　全身検出モデルＤＢ部１０３におけるモデル情報は、事前に大量の検出対象サンプル（人物の全身が含まれる画像）と非検出対象サンプル（人物の全身が含まれない画像）から特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで構築できる。その結果、画像ウィンドゥ２０３内に人物の全身が含まれる場合はスコア値が大きく、逆に画像ウィンドゥ２０３内に人物の全身が含まれない場合は、スコア値が小さくなるようなモデル情報が、全身検出モデルＤＢ部１０３に蓄積される。
　人物存在領域抽出部１０４は、全身検出処理部１０２の出力結果である複数の全身検出候補枠２０４（図２の（ａ）参照）の中から、例えば、中心位置同士の距離が所定の距離閾値Ｂ以内の全身検出候補枠２０４同士を１つの同一グループに分類し、各グループごとに全身検出候補枠２０４の和集合領域である人物存在領域２０５を設定する。なお、人物存在領域２０５は、入力画像中における複数の全身検出候補枠２０４の二次元位置情報を、各々の矩形の４点のＸＹ座標（Ｘ、Ｙ）で表現したとき、各グループごとにＸ座標が最小となるＸ＿ＭＩＮ、Ｙ座標が最小となるＹ＿ＭＩＮ、Ｘ座標が最大となるＸ＿ＭＡＸ、Ｙ座標が最大となるＹ＿ＭＡＸを算出し、次の４点の座標（Ｘ＿ＭＩＮ、Ｙ_ＭＩＮ）、（Ｘ＿ＭＩＮ、Ｙ＿ＭＡＸ）、（Ｘ＿ＭＡＸ、Ｙ＿ＭＩＮ）、（Ｘ＿ＭＡＸ、Ｙ＿ＭＡＸ）によって内包される領域によって設定してもよい。図３は、全身検出候補枠３０１、３０２の和集合領域である人物存在領域３０３の設定の一例を示す図である。
　人物存在状況推定部１０５は、人物存在領域抽出部１０４から出力される人物存在領域２０５の縦横各々のサイズ情報による閾値判定結果に基づいて、人物存在領域２０５内における人物の存在状況を、（パターン１）人物が１人存在する、（パターン２）人物が縦方向に並んでいる、（パターン３）人物が横方向に並んでいる、（パターン４）その他、の４パターンのいずれかに推定する。
　人物存在領域２０５の閾値判定は、標準的な人物サイズとの比較により行う。標準的な人物サイズの求め方としては、例えば事前にカメラの設置位置などから標準的な人物サイズを設定しておけばよい。また、他の方法として、カメラの設置角度によっては画面上の位置によって標準的な人物のサイズが異なる場合があるため、その場合には入力画像２０１上の任意位置において検出されうる人物の身長情報を事前に設定しておくことで標準的な人物サイズを得ることができる。例えば、画像上のＹ軸方向で人物の大きさが変化する場合は、入力画像２０１上に図４に示すような画面内の各位置における標準的な人物サイズを表す参照画像ウィンドゥ群４０１を設定しておき、人物存在領域４０２の中心位置４０３のＹ座標と、参照画像ウィンドゥ群４０１中で中心位置のＹ座標との距離が最も近くなる矩形４０４を標準的な人物サイズとして採用する。
　図５は、標準的な人物サイズを矩形５０１とし、人物存在領域４０２と矩形５０１との縦横各々のサイズの差分を閾値と比較し上記の４パターンに分類した図である。人物存在領域が５０２のように横サイズ差分が横サイズ閾値Ｃ＿ｈより小さく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも小さい場合、人物存在領域における人物の存在状況は、人物存在状況推定部１０５によって上記（パターン１）に推定される。また、人物存在領域が５０３のように横サイズ差分が横サイズ閾値Ｃ＿ｈよりも小さく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも大きい場合、（パターン２）に推定される。また、人物存在領域が５０４のように横サイズ差分が横サイズ閾値Ｃ＿ｈよりも大きく、かつ縦サイズ差分が縦サイズ閾値Ｃ＿ｖよりも小さい場合、（パターン３）に推定され、人物存在領域が５０５のように縦横各々のサイズ差分が上記のいずれにも該当しない場合、（パターン４）に推定される。
　部分検出器選択部１０６では、人物存在状況推定部１０５で推定された４つのパターンに応じて、以降の処理で用いる部分検出処理を選択する。具体的には、（パターン１）人物が１人存在する場合は部分検出処理は行わない、（パターン２）人物が縦方向に並んでいる場合は上半身検出処理を行う、（パターン３）人物が横方向に並んでいる場合は半身検出処理（右半身と左半身）を行う、（パターン４）その他の場合、上半身検出処理と半身検出処理（右半身と左半身）を共に行う、の４パターンのいずれかの部分検出処理が選択される。
　図６は、部分検出処理の概要を示す図であり、上半身検出器、右半身検出器、及び左半身検出器は、それぞれ図６の点線で表示される矩形領域６０１、６０２、及び６０３内の人物の部分形状を検出する。部分検出処理部１０７では、人物存在領域抽出部１０４によって抽出された人物存在領域２０５を入力とし、その入力画像２０１に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像２０１をピラミッド画像に変換する。その後、全身検出処理部１０２と同様に、ピラミッド画像における各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して、部分検出器選択部１０６から出力された部分検出器情報を用いることで、部分検出処理を行う。この部分検出処理は、画像ウィンドゥ内の人物の一部分らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ｆ以上のスコア値が算出された画像ウィンドゥに対して、人物の一部分が含まれていると判定する処理である。部分検出処理部１０７は、最終的に、各々のスケーリング画像から人物の一部分が含まれると判定した画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像２０１上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
　部分検出モデルＤＢ部１０８は、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に人物の一部分が含まれるか否かを判定するためのスコア値を出力するようなモデル情報が少なくとも１つ以上蓄積されているデータベースである。部分検出処理部１０７における画像ウィンドゥに対する部分検出処理は、これらのモデル情報に基づいて行われる。
　部分検出モデルＤＢ部１０８におけるモデル情報は、事前に大量の検出対象サンプル（人物の一部分が含まれる画像）と非検出対象サンプル（人物の一部分が含まれない画像）から特徴量を抽出し、その特徴量空間上の各々のサンプル群の境界線を、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで構築できる。その結果、画像ウィンドゥ内に人物の一部分が含まれる場合はスコア値が大きく、逆に画像ウィンドゥ内に人物の一部分が含まれない場合は、スコア値が小さくなるようなモデル情報が、部分検出モデルＤＢ部１０８に蓄積される。
　人数カウント部１０９は、人物存在状況推定部１０５の推定結果に応じた人数カウントを行う。具体的には各パターンでの動作について下記に示す。
　（パターン１）の場合
　入力画像２０１上において人物の全身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を、検出された人数としてカウントする。
　（パターン２）の場合
　入力画像２０１上において人物の上半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を、検出された人数としてカウントする。図７は、統合検出枠群７０２の作成の一例を示す図である。図７に示すように、各々の検出候補枠群７０１同士のスコア差がある所定のスコア閾値Ｇ以内であり、かつ中心位置の距離が所定の距離閾値Ｈ以下のものを同一グループと判定し、同一グループ内の検出候補枠の平均位置と平均サイズを算出することで、検出枠候補を統合し、統合検出枠群７０２を作成することができる。
　（パターン３）の場合
　入力画像２０１上において人物の半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。
　図８は、パターン３における統合検出枠の作成処理の一例を示す図である。図８に示すように、各々の検出候補枠群８０１、８０２、８０３同士のスコア差がある所定のスコア閾値Ｇ以内であり、かつ中心位置の距離が所定の距離閾値Ｈ以下のものを同一グループと判定し、同一グループ内の検出候補枠の平均位置と平均サイズを算出することで検出枠候補を統合し、統合検出枠群８０４、８０５、８０６を作成する。その後、可能な場合は、異なる部分検出器の検出候補枠同士を統合する。例えば、人物８０９の左半身統合検出枠８０４の中心位置と、人物８０９の右半身統合検出枠８０５の中心位置間の距離が所定の距離閾値Ｉ以下であり、かつ左半身統合検出枠８０４の中心位置のＸ座標よりも、右半身統合検出枠８０５の中心位置のＸ座標が大きいとき、左半身統合検出枠８０４と右半身統合検出枠８０５は、同一人物の左半身、右半身に対する検出結果であるとみなし、各々の統合検出枠８０４、８０５の和集合領域８０７を、人物８０９に対する最終的な１つの統合検出枠とする。また、人物８１０の右半身統合検出枠８０６に関しては、右半身統合検出枠８０６の中心位置から所定の距離閾値Ｉ以内で、かつ右半身統合検出枠８０６の中心位置のＸ座標よりも小さい領域に、左半身検出器の検出候補枠が存在しないため、人物８１０の体の左部分にオクルージョン等が生じていると推定し、右半身統合検出枠８０６を人物８１０に対する最終的な１つの統合検出枠８０８とする。
　（パターン４）の場合
　入力画像２０１上において人物の上半身、及び半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行ったあと統合検出枠に対し、さらに上半身、右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。なお、和集合領域は図３と同様の方法で作成でき、また、パターン４において上半身検出器を同時に用いる際も同様の方法で処理することができる。
　人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理は、例えば、上半身検出器の矩形領域６０１（図６参照）の統合検出枠９０１が図９に示す位置にあるとき、左半身検出器の矩形領域６０３の統合検出枠の中心位置が点線矩形９０２内に、または、右半身検出器の矩形領域６０２の統合検出枠の中心位置が点線矩形９０３内にある場合のみ統合処理を行えばよい。これは、基準となる統合検出枠が上半身検出器の矩形領域６０１でない場合でも同様に定義すればよい。
　表示部１１０では、人数カウント部１０９から出力された人数カウント数をユーザに表示する。
　次に、本実施の形態の人数カウント装置１の動作を説明する。
　図１０は、本実施の形態の人数カウント装置１の動作を説明するためのフローチャートである。図１０において、まず監視カメラ等から撮影された画像情報の入出力を画像入力部１０１で行う（ステップＳ１）。
　次いで、全身検出モデルＤＢ部１０３が、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に全身が含まれるか否かを判定するためのスコア値を出力するような全身検出モデル情報を全身検出処理部１０２に出力する（ステップＳ２）。
　次いで、全身検出処理部１０２が、画像入力部１０１から入力される画像に対して、リサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換した後、ピラミッド画像を構成する各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して全身検出処理を行う（ステップＳ３）。この全身検出処理は、画像ウィンドゥ内の人物の全身らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ａ以上のスコア値が算出された画像ウィンドゥに対して、人物の全身が含まれていると判定する。そして、全身検出処理部１０２は、最終的に、各々のスケーリング画像から全身が含まれると判定された画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
　次いで、人物存在領域抽出部１０４が、全身検出処理部１０２の出力結果である複数の全身検出候補枠の中から、中心位置同士の距離が所定の距離閾値Ｂ以内の全身検出候補枠同士を１つの同一グループに分類し、各グループごとに全身検出候補枠の和集合領域である人物存在領域を設定する（ステップＳ４）。
　次いで、人物存在状況推定部１０５が、人物存在領域抽出部１０４から出力された人物存在領域の縦横各々のサイズ情報による閾値判定結果に基づいて、人物存在領域内における人物の存在状況を、（パターン１）人物が１人存在する、（パターン２）人物が縦方向に並んでいる、（パターン３）人物が横方向に並んでいる、（パターン４）その他、の４パターンのいずれかに推定する（ステップＳ５）。
　次いで、部分検出器選択部１０６が、人物存在状況推定部１０５で推定された４つのパターンに応じて、以降の処理で用いる部分検出処理を選択する（ステップＳ６）。
　次いで、部分検出モデルＤＢ部１０８が、部分検出器選択部１０６によって選択され、画像ウィンドゥ内から抽出された特徴量の値を入力とし、画像ウィンドゥ内に人物の一部分が含まれるか否かを判定するためのスコア値を出力するような部分検出モデル情報を部分検出処理部１０７に出力する（ステップＳ７）。
　次いで、部分検出処理部１０７が、人物存在領域抽出部１０４によって抽出された人物存在領域を入力とし、その入力画像に対してリサイズ処理等のスケーリング処理を繰り返し行うことで、入力画像をピラミッド画像に変換する。その後、全身検出処理部１０２と同様に、ピラミッド画像における各々のスケーリング画像から、所定サイズの画像ウィンドゥを所定間隔で抽出し、各々の画像ウィンドゥに対して、部分検出器選択部１０６から出力された部分検出器情報を用いることで、部分検出処理を行う（ステップＳ８）。この部分検出処理は、画像ウィンドゥ内の人物の一部分らしさを示すスコア値に基づいて行われ、事前に設定した所定のスコア閾値Ｆ以上のスコア値が算出された画像ウィンドゥに対して、人物の一部分が含まれていると判定する。そして、部分検出処理部１０７は、最終的に、各々のスケーリング画像から人物の一部分が含まれると判定された画像ウィンドゥの二次元位置情報をスケーリング処理を行う前の入力画像上に逆スケール変換したときの二次元位置情報を出力するとともに、その画像ウィンドゥのスコア値を出力する。
　次いで、人数カウント部１０９が、部分検出器選択部１０６によって選択された４つのパターンに従い、検出された人数をカウントする（ステップＳ９）。例えば、（１）人物が１人存在する場合は、人物の全身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を検出された人数としてカウントする。また、（２）人物が縦方向に並んでいる場合は、人物の上半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠数を検出された人数としてカウントする。また、（３）人物が横方向に並んでいる場合は、人物の半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。また、（４）その他の場合は、人物の上半身、及び半身が含まれると判定された複数の画像ウィンドゥの二次元位置情報と、その各々の画像ウィンドゥのスコア値を用いて、検出枠候補の統合処理を行った統合検出枠に対し、さらに上半身、右半身、左半身各々の検出器による統合検出枠同士をさらに統合した結果を人数としてカウントする。
　次いで、表示部１１０が、人数カウント部１０９から出力された人数カウント数をユーザに表示する（ステップＳ１０）。
　このように本実施の形態の人数カウント装置１によれば、全身検出処理部１０２、人物存在領域抽出部１０４、人物存在状況推定部１０５及び部分検出器選択部１０６を有するので、人物の存在領域を抽出後、その存在領域の形状から人物の存在状況を推定することができ、さらにその推定結果から、近接した人物同士やオクルージョンのある人物同士を人数カウントするために最適な部分検出処理を人物存在領域に対して行える。これにより、部分検出器を入力画像全体に用いる従来手法よりも、高速、かつ誤検出のより少ない高精度な人数カウント処理を行うことができる。
　なお、全身検出処理部１０２、及び部分検出処理部１０７で抽出される特徴量は、人物の全身検出、及び人物の一部分の部分検出用途で一般的に用いられているＨＯＧ特徴量や、Ｅｄｇｅｌｅｔ特徴量など、限定されたものではない。
　また、人物存在領域抽出部１０４における人物存在領域３０３は、図３に示すような和集合領域の算出による設定以外にも、例えば、ノイズ矩形（中心位置同士の距離が所定の距離閾値Ｂ以内ではあるが、明らかに和集合領域の設定に悪影響を与えるようなはずれた位置にある矩形）対策の１つの例として、中心位置同士の距離が所定の距離閾値Ｂ以内にある全ての全身検出候補枠２０４の平均中心位置、平均サイズを算出した結果を人物存在領域３０３とするような方法を用いてもよい。
　また、人物存在状況推定部１０５における参照画像ウィンドゥ群４０１のサイズ設定は、監視カメラ等のキャリブレーションによって自動設定してもよいし、ユーザが実際に撮影された画像を見ながら、手動で設定してもよい。
　また、全身検出処理部１０２、及び部分検出処理部１０７では、人物存在状況推定部１０５において設定された参照画像ウィンドゥ群４０１のサイズ情報を用いることで、入力画像上の任意の位置で検出されうる人物の全身、上半身、半身の入力画像上での大きさが推定できるため、入力画像をピラミッド画像に変換する際のスケーリングパラメータ（スケーリング回数、スケーリングステップ）を最適化してもよい。
　また、全身検出モデルＤＢ部１０３内には、例えば、前向き、後ろ向き、右向き、左向き、斜め前右向き、斜め前左向き、斜め後ろ右向き、斜め後ろ左向きなどの方向別、あるいは、帽子やヘルメット等の被り物、スカートなどの着衣、鞄等の持ち物といった、人物の様々な属性情報別に全身を検出するような複数のモデル情報を蓄積しておいてもよく、部分検出モデルＤＢ部１０８内に対しても同様である。
　また、人数カウント部１０９における検出候補枠群７０１、８０１、８０２、８０３の統合処理は、スコア閾値を用いた閾値判定を考慮せず、検出候補枠群７０１、８０１、８０２、８０３の各々の中心位置の距離閾値を用いた閾値判定のみを考慮した統合処理方式を用いてもよい。
　さらに、人数カウント部１０９における検出候補枠群７０１、８０１、８０２、８０３の統合処理は、各々の検出候補枠群７０１、８０１、８０２、８０３内に人物の上半身、及び半身が含まれているらしさを示すスコア値に加え、ステレオカメラ等を用いて計測した入力画像上の奥行き情報を用いて、各々の検出候補枠群７０１、８０１、８０２、８０３内のに立体物が含まれているらしさを算出した立体物スコア値や、過去の入力画像における最終的な統合検出枠のテンプレート位置に対して、テンプレートマッチング等を用いた追跡技術を適用し、現在の入力画像における各々の検出候補枠群７０１、８０１、８０２、８０３と、過去のフレームからの追跡結果とのマッチング程度を示す追跡スコア値などを加算することで、検出候補枠群の統合処理であるグルーピング精度を高める手法を用いてもよい。
　また、人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理に関して、例えば図９のように基準となる上半身検出器の矩形領域６０１の統合検出枠９０１が図９の位置にあるとき、点線矩形９０２、９０３の位置はユーザが事前に手動で設定してもよいし、大量の検出対象サンプル（人物の全身が含まれる画像）から統計的に設定してもよい。
　また、人数カウント部１０９における異なる部分検出器の統合検出枠同士の統合処理に関しては、非特許文献２にあるような各々の部分検出器の出力結果を、最大事後確率推定を行うことで１つに統合する方法などを用いてもよい。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１０年１１月１８日出願の日本特許出願（特願２０１０－２５８０３７）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、入力画像上に複数の人物が近接している、または、複数の人物によりオクルージョンが生じている場合にも、より高精度、高速に人物検出することができるといった効果を有し、監視カメラシステムへの適用が可能である。
　１　人数カウント装置
　１０１　画像入力部
　１０２　全身検出処理部
　１０３　全身検出モデルデータベース部
　１０４　人物存在領域抽出部
　１０５　人物存在状況推定部
　１０６　部分検出器選択部
　１０７　部分検出処理部
　１０８　部分検出モデルデータベース部
　１０９　人数カウント部
　１１０　表示部
　２０１　入力画像
　２０２　ピラミッド画像
　２０３　画像ウィンドゥ
　２０４　全身検出候補枠
　２０５、３０３、４０２　人物存在領域
　３０１、３０２　全身検出候補枠
　４０１　参照画像ウィンドゥ群
　４０３　中心位置
　４０４、５０１　矩形
　６０１　上半身検出器の矩形領域
　６０２　右半身検出器の矩形領域
　６０３　左半身検出器の矩形領域
　７０１、８０１～８０３　検出候補枠群
　７０２、８０４～８０６　統合検出枠群
　８０７　和集合領域
　８０９　人物
　９０１　統合検出枠
　９０２、９０３　点線矩形

Claims (9)

  1. 　入力画像に対して、人物検出を行い人物の存在する領域を抽出する人物存在領域抽出手段と、
    　前記人物存在領域抽出手段の抽出結果から人物の存在状況を推定する人物存在状況推定手段と、
    　前記人物存在状況推定手段の推定結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力する部分検出器選択手段と、
    　前記部分検出器選択手段から出力された部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行う部分検出処理手段と、
    　前記部分検出処理手段の部分検出処理結果から前記入力画像内の人物の数を求める人数カウント手段と、
    　を備えた人数カウント装置。
  2. 　前記人物存在領域抽出手段は、抽出結果として矩形情報を出力し、
    　前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定する請求項１に記載の人数カウント装置。
  3. 　前記部分検出器選択手段は、前記人物存在状況推定手段の推定結果が人物が重なっていると判断した場合には部分検出を行う種類の前記部分検出器を選択する請求項２に記載の人数カウント装置。
  4. 　前記部分検出器選択手段は、前記部分検出器として、上半身検出器、下半身検出器、右半身検出器、左半身検出器のうち、少なくとも一つを選択する請求項３に記載の人数カウント装置。
  5. 　前記人物存在状況推定手段は、前記人物存在領域抽出手段の抽出した前記矩形情報が人物のサイズに比べて横方向には長くなく縦方向に長い場合は人物が縦方向に重なっていると判断し、
    　前記部分検出器選択手段は、前記人物存在状況推定手段が人物が縦方向に重なっていると判断した場合には、前記上半身検出器を選択する請求項４に記載の人数カウント装置。
  6. 　前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向に長く縦方向に長くない場合は人物が横方向に重なっていると判断し、
    　前記部分検出器選択手段は、前記人物存在状況推定手段が人物が横方向に重なっていると判断した場合には、前記右半身検出器及び前記左半身検出器を選択する請求項４または請求項５に記載の人数カウント装置。
  7. 　前記人物存在状況推定手段は、前記矩形情報が人物のサイズに比べて横方向にも縦方向にも長い場合は人物が広範囲に重なっていると判断し、
    　前記部分検出器選択手段は、前記人物存在状況推定手段が人物が広範囲に重なっていると判断した場合には、前記上半身検出器、前記下半身検出器、前記右半身検出器及び前記左半身検出器を選択する請求項４ないし請求項６のいずれか一項に記載の人数カウント装置。
  8. 　入力画像に対して、人物検出を行い人物の存在する領域を抽出するステップと、
    　人物の存在する領域を抽出した結果から人物の存在状況を推定するステップと、
    　人物の存在状況を推定した結果に基づき、人数計測に用いる部分検出器の種類を選択し部分検出器情報を出力するステップと、
    　選択された部分検出器の部分検出器情報に基づく部分検出処理を用いて人物の一部分を検出する部分検出処理を行うステップと、
    　検出処理結果から前記入力画像内の人物の数を求めるステップと、
    　を備えた人数カウント方法。
  9. 　請求項８に記載の人数カウント方法の各ステップをコンピュータに実行させるための人数カウントプログラム。
PCT/JP2011/006415 2010-11-18 2011-11-17 人数カウント装置、人数カウント方法及び人数カウントプログラム WO2012066785A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/885,848 US9025875B2 (en) 2010-11-18 2011-11-17 People counting device, people counting method and people counting program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-258037 2010-11-18
JP2010258037A JP2012108785A (ja) 2010-11-18 2010-11-18 人数カウント装置、人数カウント方法及び人数カウントプログラム

Publications (1)

Publication Number Publication Date
WO2012066785A1 true WO2012066785A1 (ja) 2012-05-24

Family

ID=46083733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006415 WO2012066785A1 (ja) 2010-11-18 2011-11-17 人数カウント装置、人数カウント方法及び人数カウントプログラム

Country Status (3)

Country Link
US (1) US9025875B2 (ja)
JP (1) JP2012108785A (ja)
WO (1) WO2012066785A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400142A (zh) * 2013-05-14 2013-11-20 上海交通大学 一种行人计数方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
JP5961123B2 (ja) * 2013-01-30 2016-08-02 パナソニック株式会社 人物検出追跡装置、人物検出追跡方法、および人物検出追跡プログラム
JP5794255B2 (ja) * 2013-05-21 2015-10-14 株式会社デンソー 物体検出装置
JP5613815B1 (ja) 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP6253397B2 (ja) * 2013-12-20 2017-12-27 セコム株式会社 物体検出装置
CN103745196B (zh) * 2013-12-27 2016-10-05 东软集团股份有限公司 广义行人检测方法和装置
JP6203077B2 (ja) * 2014-02-21 2017-09-27 株式会社東芝 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
JP5853141B2 (ja) * 2014-03-26 2016-02-09 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP5834254B2 (ja) * 2014-04-11 2015-12-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
US20170053172A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshiba Image processing apparatus, and image processing method
JP6754574B2 (ja) * 2016-01-18 2020-09-16 株式会社日立情報通信エンジニアリング 移動体計測システム、及び計測対象の領域における人物の数を特定する方法
JP6765884B2 (ja) 2016-07-15 2020-10-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20180272540A1 (en) * 2017-03-24 2018-09-27 Panasonic Intellectual Property Management Co., Ltd. Resort sanitation monitor and controller
US10430966B2 (en) * 2017-04-05 2019-10-01 Intel Corporation Estimating multi-person poses using greedy part assignment
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
KR102460899B1 (ko) * 2018-07-09 2022-10-31 한국전자기술연구원 심층 구조 학습 기반 사람 계수 방법 및 시스템
US11055539B2 (en) * 2018-09-27 2021-07-06 Ncr Corporation Image processing for distinguishing individuals in groups
CN110210474B (zh) 2019-04-30 2021-06-01 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质
US11301705B2 (en) 2020-02-27 2022-04-12 Western Digital Technologies, Inc. Object detection using multiple neural network configurations
JP7493545B2 (ja) 2022-03-29 2024-05-31 カヤバ株式会社 位置推定装置、位置推定方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115932A (ja) * 2003-09-16 2005-04-28 Matsushita Electric Works Ltd 画像を用いた人体検知装置
JP2009211274A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2633694B2 (ja) * 1989-08-25 1997-07-23 フジテック 株式会社 人数検出装置
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
JP2005025328A (ja) 2003-06-30 2005-01-27 Ntt Data Corp 混雑監視システムおよび混雑監視プログラム
US8224026B2 (en) * 2005-12-08 2012-07-17 Lenel Systems International, Inc. System and method for counting people near external windowed doors
US8116564B2 (en) * 2006-11-22 2012-02-14 Regents Of The University Of Minnesota Crowd counting and monitoring
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115932A (ja) * 2003-09-16 2005-04-28 Matsushita Electric Works Ltd 画像を用いた人体検知装置
JP2009211274A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOSUKE SATO: "Image Based Security Sensing Systems", SYSTEM/SEIGYO/JOHO, vol. 42, no. 3, 15 March 1998 (1998-03-15), pages 150 - 155 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400142A (zh) * 2013-05-14 2013-11-20 上海交通大学 一种行人计数方法
CN103400142B (zh) * 2013-05-14 2016-06-01 上海交通大学 一种行人计数方法

Also Published As

Publication number Publication date
US9025875B2 (en) 2015-05-05
JP2012108785A (ja) 2012-06-07
US20130230245A1 (en) 2013-09-05

Similar Documents

Publication Publication Date Title
WO2012066785A1 (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
US20210191524A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN108537112B (zh) 图像处理装置、图像处理系统、图像处理方法及存储介质
US10212324B2 (en) Position detection device, position detection method, and storage medium
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP5976198B2 (ja) 人数計数装置および人数計数方法
US8706663B2 (en) Detection of people in real world videos and images
JP5493108B2 (ja) 距離画像カメラを用いた人体識別方法および人体識別装置
KR20130044099A (ko) 영상 처리 방법 및 장치
KR20140045854A (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
KR20170056860A (ko) 이미지 생성 방법 및 장치
JP2015041164A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018022340A (ja) 画像処理装置、情報処理方法及びプログラム
JP2015148895A (ja) 物体数分布推定方法
JP2014199506A (ja) 物体検出装置、物体検出方法及びプログラム
JP2013080389A (ja) 消失点推定方法、消失点推定装置及びコンピュータプログラム
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
KR20140045834A (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
GB2467643A (en) Improved detection of people in real world videos and images.
JP5864231B2 (ja) 移動方向識別装置
JP5838112B2 (ja) 複数の被写体領域を分離する方法、プログラム及び装置
JP2009151445A (ja) 部分領域検出装置、対象物識別装置、及びプログラム
US20180268228A1 (en) Obstacle detection device
JP2008165705A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11842025

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13885848

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11842025

Country of ref document: EP

Kind code of ref document: A1