WO2015029588A1 - 画像処理システム、画像処理方法及びプログラム - Google Patents

画像処理システム、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2015029588A1
WO2015029588A1 PCT/JP2014/067693 JP2014067693W WO2015029588A1 WO 2015029588 A1 WO2015029588 A1 WO 2015029588A1 JP 2014067693 W JP2014067693 W JP 2014067693W WO 2015029588 A1 WO2015029588 A1 WO 2015029588A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stay
persons
processing system
input
Prior art date
Application number
PCT/JP2014/067693
Other languages
English (en)
French (fr)
Inventor
小西　勇介
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015534061A priority Critical patent/JP6414066B2/ja
Priority to US14/915,109 priority patent/US9934576B2/en
Publication of WO2015029588A1 publication Critical patent/WO2015029588A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • Some aspects according to the present invention relate to an image processing system, an image processing method, and a program.
  • Patent Document 1 determines whether or not there is a motion in each partial area in the input image, and determines whether or not there is a person from the texture information for each partial area, thereby Discloses a congestion estimation device that can determine whether or not a message exists.
  • Patent Documents 2-4 also disclose related technologies.
  • one object of the present invention is to provide an image processing system, an image processing method, and a program that can suitably detect staying of a plurality of persons. To do.
  • An image processing system is based on generation means for generating a background image based on input images taken at a plurality of times by an imaging device, and input images taken within a first time width from the processing time.
  • a plurality of persons in the input image based on the difference between the generated first background image and the second background image generated based on the input image taken within the second time width from the processing time
  • First detection means for detecting staying in a partial area in which an image can appear
  • second detection means for detecting one or more persons appearing in the partial area of the input image
  • stay detection results and person detection results
  • a third detecting means for detecting staying of a plurality of persons in the partial area.
  • An image processing method includes a step of generating a background image based on input images taken at a plurality of times by a photographing apparatus, and a generation based on an input image taken within a first time width from the processing time.
  • a plurality of persons in the input image based on the difference between the first background image thus generated and the second background image generated based on the input image captured within the second time width from the processing time.
  • a plurality of persons in the partial area based on the step of detecting staying in the partial area that can be reflected, the step of detecting one or more persons appearing in the partial area of the input image, and the detection result of the stay and the detection result of the person
  • the image processing system performs the step of detecting the stagnation.
  • a program according to the present invention is generated based on a process of generating a background image based on input images taken at a plurality of times by a photographing device and an input image photographed within a first time width from the processing time. Based on the difference between the first background image and the second background image generated based on the input image taken within the second time width from the processing time, a plurality of persons in the input image can be reflected. Based on a process for detecting staying in a partial area, a process for detecting one or more persons appearing in the partial area of the input image, and a stay detection result and a person detection result, a plurality of persons stay in the partial area And causing the computer to execute processing for detecting
  • “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
  • an image processing system an image processing method, and a program capable of suitably detecting the stay of a plurality of persons.
  • FIG. 1 is a functional block diagram illustrating a schematic configuration of an image processing system according to a first embodiment. It is a flowchart which shows the flow of a process of the image processing system shown in FIG. It is a flowchart which shows the flow of a process of the image processing system shown in FIG.
  • FIG. 1 It is a flowchart which shows the flow of a process of the image processing system shown in FIG. It is a block diagram which shows the structure of the hardware which can mount the image processing system shown in FIG. It is a functional block diagram which shows schematic structure of the image processing system which concerns on 2nd Embodiment.
  • the image processing system is for detecting staying (hanging) of a plurality of persons from an image captured by an imaging device such as a surveillance camera.
  • FIG. 1 is a diagram showing a specific example of an image photographed by the photographing apparatus.
  • people P1 to P5 are shown.
  • the detection window W including the persons P1 to P3 is specified as a hanging area.
  • a staying score calculated based on the detection result of the staying object region and a person with respect to the detection window W that can be set in the input image After calculating the congestion score calculated based on the detection result, a hang-up score for detecting hang-up is calculated using the stay score and the congestion score.
  • the image processing system determines that hang-up has occurred in the hang-up detection window W. For example, as shown in FIG. Is shown on the video to notify the user of the occurrence of hang-up.
  • the “crowd score” in the present embodiment can also be referred to as “crowd density”, for example.
  • the detection window W is set to a size that includes a plurality of persons (in the example of FIG. 1, it is set to a size that can contain three persons).
  • a large number of detection windows W can be set in the input image.
  • Each detection window W may overlap each other.
  • the size of the detection window W is set based on the position of the photographing apparatus, the size of the person, the number of persons included, and the like. Thereby, the detection window W is set large on the lower side of the input image (corresponding to the vicinity of the imaging device in the three-dimensional space to be imaged), and the upper side of the input image (in the three-dimensional space to be imaged, the imaging device The detection window W is set to be small in the case of distant).
  • the retention score used when the image processing system according to the present embodiment calculates the hang-up score may be set such that the weight of the lower region W1 in the detection window W is increased and the weight of the upper region W2 is decreased.
  • the stay detection result in the lower region W1 in the detection window W has a greater influence on the hang-up score than the stay detection result in the upper region W2. This is because, generally, when a human is stationary, the lower half of the body moves less than the upper half of the body, so that the lower region W1 can detect the stay more appropriately.
  • the congestion score of the detection window W may be calculated by increasing the weight of the upper region W2 than the lower region W1. This is because, in the detection window W set according to the size of the person, if the detected murmur exists in the detection window W, the head and upper body should be more present above the detection window W. It is.
  • FIG. 2 shows a specific example of coefficients (weights) to be multiplied with the stay score and the congestion score when calculating the hang-up score.
  • 1 is set for the stay score in the lower region W2
  • 0 is set for the stay score in the upper region W1
  • 0 is set for the congestion score in the lower region W2
  • the upper region W2 is set.
  • 1 is set for the stay score at.
  • the coefficient setting method is not limited to this.
  • the retention score may be set in any way as long as the value in the lower region W1 has a larger influence than the value in the upper region W2, and it is necessary to set it in a binary manner as in the example of FIG. There is no. The same applies to the coefficient for the congestion score.
  • the congestion score is calculated only for the upper region W2, and the stay score is calculated only for the lower region W1. Even if it is calculated, the same result can be obtained.
  • the congestion score or the staying score may be calculated for only one of the upper region W1 and the lower region W2.
  • a background image is created by averaging a large number of captured images taken for a long period of time (hereinafter also referred to as a long time window).
  • a background image obtained by averaging captured images taken in a shorter period (hereinafter also referred to as a short time window) than that, an object that appears longer in the shorter period can be obtained. It is conceivable to detect as a staying object.
  • an average image background image
  • the influence of moving objects (including persons) that are immediately out of frame in the image is reduced. Since it can suppress, it becomes easy to extract a stationary object.
  • an image that is generated based on a plurality of images and is suppressed from being affected by a moving object is called a background image.
  • a moving object region hereinafter also referred to as “foreground region” and other still regions (hereinafter also referred to as “background regions”) are taken from the captured image.
  • a still image of each captured image is averaged in the time direction to generate a background image.
  • the human flow generation region becomes the foreground region, and thus the influence of the human flow on the generated background image can be suppressed.
  • the background image of the long time window and the background image of the short time window are compared, it is possible to detect the staying object suitably.
  • FIGS. 3 to 5 a specific example of the flow of processing will be described with reference to FIGS. 3 to 5.
  • FIG. 3 is a diagram showing specific examples of input images taken from time t-4 to time t. Here, no one is shown in the images at time t-4 and time t-3, and a person is shown in the images at time t-2 to time t. The person is moving at time t-2, but the person is stopped at time t-1 and time t.
  • each input image as shown in FIG. 3 is divided into a moving area (foreground area) and a stationary area (background area).
  • FIG. 2 is a diagram illustrating an example of an image when only a still area is extracted from the input image of FIG.
  • the area including the person is excluded from the image as the moving area.
  • the input image remains unchanged.
  • the image processing system generates a background image for a plurality of time windows from each image from time t-4 to time t from which only a still region is extracted.
  • This background image is, for example, an average value, a median value, or a mode value of pixel values for each pixel in the image with respect to a still region of each image captured within a past fixed period from the current time t. It can be generated by obtaining. If a background image is generated for each of the short time window and the long time window, the image processing system compares the two, extracts pixels whose differences exceed the threshold, and identifies the pixel area as a staying area. To do.
  • the stay score can be calculated as the size of the stay area (for example, the number of pixels).
  • a person is not displayed in the background image for the long time window. This is because, for example, the mode value or median value of the pixel value is generated for each pixel when the background image is generated. This is because the influence of a person who is shown only for a short time is weakened.
  • the image processing system according to the present embodiment appropriately detects a staying object as shown by the lowermost image in FIG. 5 by the processing shown in FIG.
  • FIG. 6 is a block diagram illustrating a system configuration of the image processing system 1.
  • the image processing system 1 includes an image input unit 601, a foreground / background separation unit 603, a background image generation unit 605, a background image storage unit 607, a background image comparison unit 609, a still area determination unit 611, a stay score calculation unit 613, a database ( DB) 615, person detection unit 621, congestion score calculation unit 623, hang-up score calculation unit 625, and output unit 627.
  • an image input unit 601 a foreground / background separation unit 603, a background image generation unit 605, a background image storage unit 607, a background image comparison unit 609, a still area determination unit 611, a stay score calculation unit 613, a database ( DB) 615, person detection unit 621, congestion score calculation unit 623, hang-up score calculation unit 625, and output unit 627.
  • DB database
  • the image input unit 601 sequentially receives input of frame images included in video input from a photographing device such as a monitoring camera (not shown). That is, each frame image is an image having a different shooting time.
  • the image input unit 601 may receive an input of a frame image obtained by decoding video data stored in an HDD (Hard Disk Drive) (not shown) or a VCR (Video Cassette Recorder).
  • HDD Hard Disk Drive
  • VCR Video Cassette Recorder
  • the foreground / background separation unit 603 sequentially separates the foreground region and the background region from the input image input from the image input unit 601 using, for example, a background difference method or an optical flow.
  • the foreground area is an area with motion in the image
  • the background area is an area without motion (still).
  • the foreground / background separation unit 603 identifies a moving block after comparing with the previous frame in units of macroblocks, for example. More specifically, for example, it may be specified by examining where a macroblock similar to each macroblock (a set of pixels) in the image to be processed is located in the immediately preceding image (block matching) or the like. it can.
  • the foreground / background separation unit 603 identifies the moving object by comparing the difference between the background image acquired in advance and the image to be processed.
  • the background image generation unit 605 includes a background region (an image of a still region) extracted by the foreground / background separation unit 603 and an image captured in a plurality of predetermined time windows stored in the background image storage unit 607.
  • a background image is generated using the background region according to.
  • the background image generation unit 605 calculates the average value, median value, or mode value of the pixel values for the time window obtained at each pixel position related to the background area of each image, thereby obtaining the background image. Can be generated.
  • the background image storage unit 607 stores the images of the background area of each input image, which are sequentially extracted by the foreground / background separation unit 603, for a predetermined time.
  • the background image storage unit 607 stores the background image in each time window generated by the background image generation unit 605 in accordance with the processing in the background image generation unit 605.
  • the background image comparison unit 609 compares the background images generated by the background image generation unit 605 for each time window. More specifically, by comparing a background image generated from the longest time window (a background image assumed to be composed of a true background) and a background image generated from a shorter time window It is possible to detect a stationary object (a staying object) that has been stationary for a certain period of time. At this time, it may be possible to classify and detect stationary objects according to the stationary time length by generating a background image with a plurality of time window backgrounds.
  • a background image comparison method by the background image comparison unit 609 for example, a method using an absolute value of a pixel value difference between background images, or a pixel in a rectangular area while operating a small-sized rectangular area on the image.
  • a method for calculating a correlation between values, a method for calculating a histogram distance of pixel values in a rectangular area, and the like can be considered.
  • the method using the rectangular area for example, a fixed size such as a macro block may be set, or a detection target object (person) is set using camera parameters (set according to the installation position of the camera).
  • a different size is set for each location on the image (for example, the image area in which the vicinity of the image capturing device is shown has a larger rectangular area. A rectangular area may be made smaller in the image area in which the far field is shown.
  • the still region determination unit 611 identifies a pixel having a difference that exceeds a threshold, and determines a pixel region including such a pixel as a stay region.
  • the still region determination unit 611 identifies the stay region for the entire input image, but is not limited to this, and stays in at least the region including the detection window W to be processed. What is necessary is just to specify an area
  • the stay score calculation unit 613 calculates the stay score of the detection window W to be processed using the stay region determined by the still region determination unit 611.
  • a calculation method of the staying score as described above, for example, it may be calculated based on the number of pixels in the staying area in the detection window W.
  • information related to the position and size of the detection window W is set in advance in the DB 615 as the divided region information 617.
  • a plurality of detection windows W can be set for the input image. More specifically, for example, a large number of detection windows W are set so as to overlap each other over the entire input image. It is possible.
  • the size of the detection window W may be a size that can include more than the number of people specified as hangouts.
  • the detection window W is large corresponding to the vicinity of the photographing apparatus in accordance with the positional relationship with the photographing apparatus (for example, set as a camera parameter (not shown)), and the detection window corresponding to a distance from the photographing apparatus. It is conceivable to set W small.
  • the residence score is multiplied by a coefficient set so that the influence of the lower region W1 is greater than that of the upper region W2.
  • the coefficient is stored as coefficient information 619 in the DB 615.
  • the person detection unit 621 detects a person from the image input from the image input unit 601.
  • There are various methods for detecting a person For example, after preparing in advance with a learning device that has learned features on the image of the head, upper body, whole body, or crowd patch, A method of detecting a part or upper body from an input image is conceivable.
  • the person detection unit 621 detects a person in the entire input image, but is not limited to this.
  • the person detection is performed at least in a region including the detection window W to be processed. Just do it.
  • the congestion score calculation unit 623 calculates the congestion score of the detection window W to be processed based on the person detection result determined by the person detection unit 621. As a calculation method of the congestion score, for example, it may be calculated based on the number of persons detected in the detection window W. Here, as described above, a coefficient set so that the influence of the upper region W2 is greater than that of the lower region W1 is calculated as the congestion score. The coefficient is stored as coefficient information 619. Note that the congestion score calculation unit 623 may store the number of persons in the detection window W that is the processing target in time series and detect the increase or decrease.
  • the hang-up score calculation unit 625 calculates a hang-up score in the processing target detection window W using the stay score calculated by the stay score calculation unit 613 and the congestion score calculated by the congestion score calculation unit 623.
  • Various methods of calculating the hang-up score are conceivable. For example, a method of setting a value obtained by multiplying the residence score multiplied by the coefficient and the congestion score as the hang-up score can be considered.
  • the output unit 627 outputs the hangup detection result based on the hangup score obtained by the hangup score calculation unit 625.
  • the hang-up score for the detection window W may be displayed as a numerical value (if a plurality of detection windows W are set, the hang-up score may be displayed respectively).
  • a detection window W corresponding to the hang-up score (for example, an image showing the detection window W having a thickness corresponding to the size of the hang-up score) may be superimposed on the input image. It is also conceivable to notify the user of information corresponding to the hanging score by voice or the like.
  • the output unit 627 gradually increases the number of people in the predetermined area (the human being gradually increases in the predetermined area). May be output separately.
  • the output unit 627 may notify the user only when the hang-up score exceeds the threshold value. Alternatively, the output unit 627 may be notified to the user according to the duration that the hang-up score exceeds the threshold.
  • the threshold value of the hang-up score may be set in advance, or may be set by user input.
  • the output unit 627 may also output the information.
  • FIGS. 7 to 9 are flowcharts showing a processing flow of the image processing system 1 according to the present embodiment.
  • Each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good. Further, a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step.
  • the stay score calculation unit 613 calculates a stay score for the detection window W of the image input from the image input unit 601 (S701).
  • the processing flow of the image processing system 1 leading to the residence score calculation will be described later with reference to FIG.
  • the congestion score calculation unit 623 calculates a congestion score for the detection window W of the image input from the image input unit 601 (S703).
  • the flow of processing of the image processing system 1 leading to congestion score calculation will be described later with reference to FIG. Note that the processing order of S701 and S703 may be reversed, or the processes may be performed in parallel.
  • the hang-up score calculation unit 625 calculates a hang-up score based on the stay score and the congestion score (S705).
  • the output unit 627 outputs the sag detection result related to the detection window W based on the calculated sag score (S707).
  • the image input unit 601 is obtained by reading out an image photographed by a photographing device such as a video camera or video data recorded with a video photographed by the photographing device, and then decoding the video data. An image input is received (S801).
  • a photographing device such as a video camera or video data recorded with a video photographed by the photographing device
  • the foreground / background separation unit 603 separates the image input from the image input unit 601 into a stationary background region and a foreground region in which movement has occurred (S803).
  • the generated image of the background area is stored in the background image storage unit 607, for example.
  • the background image generation unit 605 generates a background image by using the background area specified by the foreground / background separation unit 603 among the images taken within the preset time window (S805). At this time, the background image generation unit 605 generates background images for a plurality of time windows in accordance with the residence time of the person related to the extracted hangout.
  • the background image comparison unit 609 compares the background images of the respective time windows generated by the background image generation unit 605 (S807), and the still area determination unit 611 determines an area where the difference between the background images is equal to or greater than a threshold value. It is specified as a staying area (S809).
  • the stay score calculation unit 613 calculates a stay score based on the size of the stay area in the detection window W to be processed (S811). At this time, the staying score may be multiplied by a predetermined coefficient based on the position of the pixel included in the staying area in the detection window W.
  • the image input unit 601 is obtained by reading out an image photographed by a photographing device such as a video camera or video data recorded with a video photographed by the photographing device, and then decoding the video data.
  • An image input is received (S901). Note that this process can also serve as S801 in the process of FIG.
  • the person detection unit 621 detects a person from the input image (S903).
  • a person detection method may be head detection or upper body detection.
  • the congestion score calculation unit 623 calculates a congestion score in the detection window W that is a processing target based on the person detection result detected by the person detection unit 621 (S905).
  • the congestion score can be calculated based on the number of persons detected in the detection window W, for example.
  • the congestion score may be multiplied by a predetermined coefficient based on the position of the detected person in the detection window W or the like.
  • the image processing system 1 includes a processor 1001, a memory 1003, a storage device 1005, an input interface (I / F) 1007, a data I / F 1009, a communication I / F 1011, and a display device 1013.
  • a processor 1001 a memory 1003, a storage device 1005, an input interface (I / F) 1007, a data I / F 1009, a communication I / F 1011, and a display device 1013.
  • the processor 1001 controls various processes in the image processing system 1 by executing a program stored in the memory 1003.
  • the processing related to the calculation unit 623, the hang-up score calculation unit 625, and the output unit 627 can be realized as a program that is temporarily stored in the memory 1003 and mainly operates on the processor 1001.
  • the memory 1003 is a storage medium such as a RAM (Random Access Memory).
  • the memory 1003 temporarily stores a program code of a program executed by the processor 1001 and data necessary for executing the program. For example, in the storage area of the memory 1003, a stack area necessary for program execution is secured.
  • the storage device 1005 is a non-volatile storage medium such as a hard disk or a flash memory.
  • the storage device 1005 includes an operating system, an image input unit 601, a foreground / background separation unit 603, a background image generation unit 605, a background image comparison unit 609, a still area determination unit 611, a stay score calculation unit 613, a person detection unit 621, Various programs for realizing the congestion score calculation unit 623, the hang-up score calculation unit 625, and the output unit 627, various data including the background image storage unit 607 and the DB 615, and the like are stored. Programs and data stored in the storage device 1005 are referred to by the processor 1001 by being loaded into the memory 1003 as necessary.
  • the input I / F 1007 is a device for receiving input from the user. Specific examples of the input I / F 1007 include a keyboard, a mouse, and a touch panel. The input I / F 1007 may be connected to the image processing system 1 via an interface such as USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the data I / F 1009 is a device for inputting data from the outside of the image processing system 1.
  • Specific examples of the data I / F 1009 include a drive device for reading data stored in various storage media. It is conceivable that the data I / F 1009 is provided outside the image processing system 1. In that case, the data I / F 1009 is connected to the image processing system 1 via an interface such as a USB.
  • the communication I / F 1011 is a device for data communication with an external device of the image processing system 1, for example, a video camera or the like by wire or wireless.
  • the communication I / F 1011 may be provided outside the image processing system 1. In that case, the communication I / F 1011 is connected to the image processing system 1 via an interface such as a USB.
  • the display device 1013 is a device for displaying various types of information such as video as shown in FIG.
  • Specific examples of the display device 1013 include a liquid crystal display and an organic EL (Electro-Luminescence) display.
  • the display device 1013 may be provided outside the image processing system 1. In that case, the display device 1013 is connected to the image processing system 1 via, for example, a display cable.
  • the image processing system 1 uses the stay score calculated based on the stay area in the input image and the congestion score calculated based on the person detected from the input image. Used to detect stagnation of multiple persons. Thereby, while many objects staying for a fixed time or more are contained, the area
  • a background image generated from images taken over a plurality of times is used, so that the stay area of a plurality of persons is temporarily blocked by other persons who move in front of the stay area. Even in such a case, it is possible to suitably detect the hang-up while reducing the influence thereof.
  • FIG. 11 is a block diagram illustrating a functional configuration of the image processing system 1100.
  • the image processing system 1100 includes a generation unit 1110, a first detection unit 1120, a second detection unit 1130, and a third detection unit 1140.
  • the generation unit 1110 generates a background image based on input images captured at a plurality of times by the imaging device.
  • the first detection unit 1120 applies the first background image generated based on the input image captured within the first time width from the processing time and the input image captured within the second time width from the processing time. Based on the difference from the second background image generated on the basis of the second background image, stagnation is detected in a partial area in the input image where a plurality of persons can be reflected.
  • the second detection unit 1130 detects one or more persons appearing in the partial area of the input image.
  • the third detection unit 1140 detects the stagnation of a plurality of persons in the partial area based on the stagnation detection result and the person detection result.
  • a generating unit configured to generate a background image based on input images captured at a plurality of times by the imaging device; a first background image generated based on an input image captured within a first time width from the processing time; Based on the difference from the second background image generated based on the input image photographed within the second time width from the processing time, it stays in the partial area in the input image where a plurality of persons can appear
  • a plurality of persons in the partial area based on the first detection means for detecting the second detection means, the second detection means for detecting one or more persons appearing in the partial area of the input image, and the detection result of the stay and the detection result of the person
  • An image processing system comprising: third detection means for detecting staying in the apparatus.
  • Appendix 2 The image processing system according to appendix 1, wherein the background image is generated based on a static region having no motion among input images.
  • Appendix 6 The image processing system according to appendix 5, wherein the output means changes a notification method according to a degree of stay of the plurality of persons.
  • Appendix 7 The image processing system according to appendix 5, wherein the output means notifies based on a time when the degree of stay of the plurality of persons exceeds a threshold value.
  • Appendix 8 The image processing system according to appendix 7, wherein the threshold value can be set by a user.
  • the second detection means detects an increase or decrease in the number of people in the partial area, and the output means gradually gathers persons in a predetermined area based on the detection result of the increase or decrease in the number of persons by the second detection means.
  • the image processing system according to any one of supplementary notes 5 to 8, wherein information indicating that the information is separately provided is separately notified.
  • Appendix 11 The image processing method according to appendix 10, wherein the background image is generated based on a static region having no motion in the input image.
  • Appendix 12 12. The image processing method according to appendix 10 or appendix 11, wherein the size of the partial area is set according to a position of the photographing device that captures an input image and the partial area in the input image.
  • Appendix 13 Any one of appendix 10 to appendix 12, wherein the stay detection result in the lower region in the partial region has a greater influence on the stay detection result of the plurality of persons than the stay detection result in the upper region. The image processing method as described.
  • Appendix 14 The image processing method according to any one of appendix 10 to appendix 13, further comprising a step of notifying a detection result of the stay of the plurality of persons in the partial area.
  • Appendix 16 The image processing method according to appendix 14, wherein notification is made based on a time when the degree of stay of the plurality of persons exceeds a threshold value.
  • Appendix 17 The image processing method according to appendix 16, wherein the threshold value can be set by a user.
  • Appendix 18 Additional information for detecting an increase or decrease in the number of persons in the partial area and separately indicating information indicating that persons are gradually gathering in the predetermined area based on the detection result of the increase or decrease in the number of persons by the second detection unit, 18.
  • the image processing method according to any one of appendix 17.
  • a process for detecting, a process for detecting one or more persons appearing in the partial area of the input image, and a process for detecting a stay of a plurality of persons in the partial area based on a stay detection result and a person detection result A program to be executed.
  • Appendix 20 The program according to appendix 19, wherein the background image is generated based on a static area having no motion in the input image.
  • Appendix 21 The program according to appendix 19 or appendix 20, wherein the size of the partial area is set according to a position of the photographing apparatus that captures the input image and the partial area in the input image.
  • Appendix 22 Any one of appendix 19 to appendix 21, wherein the stay detection result in the lower region of the partial region has a greater influence on the stay detection result of the plurality of persons than the stay detection result in the upper region. The listed program.
  • Appendix 23 The program according to any one of appendix 19 to appendix 22, further causing the computer to execute an output process for informing the detection result of the stay of the plurality of persons in the partial area.
  • Appendix 24 The program according to appendix 23, wherein the notification method is changed according to the degree of stay of the plurality of persons.
  • Appendix 26 The program according to appendix 25, wherein the threshold value can be set by a user.
  • Addendum 23 which detects an increase or decrease in the number of persons in the partial area and separately notifies information indicating that persons are gradually gathering in the predetermined area based on the detection result of the increase or decrease in the number of persons by the second detection unit. Thru / or the program according to any one of appendix 26.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数人物の滞留を好適に検出することのできる画像処理システム、画像処理方法及びプログラムを提供する。 【解決手段】撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する背景画像生成部６０５と、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する静止領域判定部６１１と、入力画像の部分領域に映る１以上の人物を検出する人物検出部６２１と、滞留の検出結果及び人物の検出結果に基づき、部分領域における複数人物の滞留を検出するたむろスコア算出部６２５とを備える。

Description

画像処理システム、画像処理方法及びプログラム
　本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。
　近年、例えばビデオ監視などにおいて、監視カメラ等で撮影された映像の解析により、混雑状況等を特定することが考えられている。例えば、特許文献１は、入力画像内の各部分領域において動きがあるか否かを判定すると共に、個々の部分領域に対してテクスチャ情報から人の有無を判定することにより、個々の領域に人が存在するか否かを判定することのできる混雑推定装置を開示している。
　その他、特許文献２－４も、関連技術を開示している。
特開２００９－１１０１５２号公報 特許第４８５２３５５号公報 特許第５０５８１０号公報 特開２０１０－１９８５６６号公報
　ここで、監視カメラによる監視などでは、複数人が一定の場所に滞留している状況を特定したいという要求がある。しかしながら、特許文献１記載の手法では、滞留している人々の前を歩行者が横切る場合等、混雑状況下や人が様々な方向に移動するような状況下において、滞留を検出するのは困難である。
　本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数人物の滞留を好適に検出することのできる画像処理システム、画像処理方法及びプログラムを提供することを目的の１つとする。
　本発明に係る画像処理システムは、撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する生成手段と、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する第１の検出手段と、入力画像の前記部分領域に映る１以上の人物を検出する第２の検出手段と、滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出する第３の検出手段とを備える。
　本発明に係る画像処理方法は、撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成するステップと、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出するステップと、入力画像の前記部分領域に映る１以上の人物を検出するステップと、滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出するステップとを画像処理システムが行う。
　本発明に係るプログラムは、撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する処理と、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する処理と、入力画像の前記部分領域に映る１以上の人物を検出する処理と、滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出する処理とをコンピュータに実行させる。
　なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
　本発明によれば、複数人物の滞留を好適に検出することのできる画像処理システム、画像処理方法及びプログラムを提供することを提供することができる。
出力画像の具体例を示す図である。 たむろ検出の際に使用する係数の具体例を説明するための図である。 入力画像の具体例を示す図である。 入力画像に対して特定した背景領域の具体例を示す図である。 背景画像の生成方法の具体例を示す図である。 第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 図６に示す画像処理システムの処理の流れを示すフローチャートである。 図６に示す画像処理システムの処理の流れを示すフローチャートである。 図６に示す画像処理システムの処理の流れを示すフローチャートである。 図６に示す画像処理システムを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
　以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
　（１　第１実施形態）
　図１乃至図１０は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」で本実施形態における複数人物の滞留（以下、「たむろ」ともいう。）の検出方法の概要を説明する。その後、「１．２」で本実施形態に係る画像処理システムの機能構成の概要を、「１．３」で画像処理システムの処理の流れを説明する。「１．４」では、画像処理システムを実現可能なハードウェア構成の具体例を示す。最後に、「１．５」以降で、本実施形態に係る効果などを説明する。
　（１．１　概要）
　（１．１．１　たむろの検出方法）
　本実施形態に係る画像処理システムは、例えば監視カメラ等の撮影装置で撮影される映像から、複数人物の滞留（たむろ）を検出するためのものである。
　図１は、撮影装置で撮影した画像の具体例を示す図である。図１に示す画像には、人物Ｐ１乃至Ｐ５が映っている。ここで、人物Ｐ１乃至Ｐ３はお互いに近接した位置で一定時間以上移動しておらず（滞留している）、人物Ｐ４及びＰ５はそれぞれ移動しているものとする。この場合に、本実施形態に係る画像処理システムでは、人物Ｐ１乃至Ｐ３が含まれる検知窓Ｗをたむろ領域として特定する。
　ここで、本実施形態に係る画像処理システムでは、たむろを検知するために、入力画像内に設定可能な検知窓Ｗに対して、滞留物領域の検出結果に基づき算出される滞留スコアと、人物検出結果に基づき算出される混雑スコアとを算出した上で、滞留スコア及び混雑スコアを用いて、たむろを検知するためのたむろスコアを算出する。この結果、例えば、たむろスコアが閾値以上となった場合には、画像処理システムは、当該たむろ検知窓Ｗでたむろが発生しているものと判定し、例えば図１に示すように、検知窓Ｗを映像上に図示することにより、たむろの発生をユーザに報知する。なお、本実施形態における「混雑スコア」は、例えば「群衆密度」と呼ぶこともできる。
　なお、検知窓Ｗは、複数の人物が含まれる大きさに設定される（図１の例では、３名の人物を内包できる大きさに設定されている）。入力画像内に、多数の検知窓Ｗを設定することができる。それぞれの検知窓Ｗは互いに重複しても良い。なお、検知窓Ｗの大きさは、撮影装置の位置と、人物の大きさ及び内包する人物の数等とに基づき設定される。これにより、入力画像の下側（撮影対象の三次元空間中では撮影装置の近傍に相当する）では検知窓Ｗは大きく設定され、入力画像の上側（撮影対象の三次元空間中では撮影装置の遠方に相当する）では検知窓Ｗは小さく設定される。
　また、本実施形態に係る画像処理システムがたむろスコアの算出の際に使用する滞留スコアは、検知窓Ｗ中の下部領域Ｗ１の重みを大きく、上部領域Ｗ２の重みを小さく設定しても良い。この場合、検知窓Ｗ中の下部領域Ｗ１における滞留の検出結果の方が、上部領域Ｗ２における滞留の検出結果よりも、たむろスコアに対して大きな影響を与える。これは、一般的に人間は静止時において下半身の方が上半身よりも動きが小さいため、下部領域Ｗ１の方が好適に滞留を検出できるからである。
　また、人物を検出する方法として頭部や上半身を検出する手法を用いる場合には、下部領域Ｗ１よりも上部領域Ｗ２の重みを大きくして検知窓Ｗの混雑スコアを算出しても良い。これは、人物の大きさに応じて設定される検知窓Ｗにおいて、検出したいたむろが検知窓Ｗ内に存在する場合には、頭部や上半身は、検知窓Ｗの上方により多く存在するはずだからである。
　図２に、たむろスコアを算出する際に滞留スコア及び混雑スコアに乗算する係数（重み）の具体例を示す。図２の例では、下部領域Ｗ２における滞留スコアに対しては１を、上部領域Ｗ１における滞留スコアに対しては０を設定し、下部領域Ｗ２における混雑スコアに対しては０を、上部領域Ｗ２における滞留スコアに対しては１を設定している。しかしながら、係数の設定方法はこれに限られるものではない。例えば滞留スコアに関しては、下部領域Ｗ１における値の方が上部領域Ｗ２における値よりも大きな影響を与えれば、どのように設定してもよく、図２の例のように２値的に設定する必要は無い。混雑スコアに対する係数に関しても同様である。
　また、上部領域Ｗ２及び下部領域Ｗ１の一方の係数を１、他方の係数を０とする場合には、上部領域Ｗ２のみを対象に混雑スコアを算出し、下部領域Ｗ１のみを対象に滞留スコアを算出するようにしても同様の結果が得られる。以下の説明では、係数を用いる場合について説明するが、このように、上部領域Ｗ１又は下部領域Ｗ２の一方のみを対象に混雑スコア又は滞留スコアを算出するようにしても良い。
　（１．１．２　滞留スコアの算出方法）
　以下、滞留スコアの算出方法の概要を、図３乃至図５を参照しながら説明する。
　映像を構成する画像から物体の滞留を検出する方法としては、例えば、長期間（以下、長期時間窓ともいう。）に撮影された多数の撮影画像を平均化等することにより背景画像を作り、この背景画像と、それよりも短い短期間（以下、短期時間窓ともいう。）に撮影された撮影画像を平均化等した背景画像とを比較することにより、当該短期間内に長く映る物体を、滞留する物体として検出することが考えられる。このように、一定期間内の撮影画像から平均的な画像（背景画像）を生成すれば、この画像内では、例えばすぐにフレームアウトするような移動物体（人物を含む。）等の影響を低く抑えることができるため、静止物体を抽出しやすくなる。なお、本実施形態では、複数の画像を元に生成されることにより、移動物体の影響が低く抑えられた画像を背景画像と呼ぶ。
　一方でこのような手法では、人流が常に発生するような場合には、撮影画像を平均化等したとしても、人流の影響が大きくなってしまうため、当該人流の背景への溶け込み具合が長時間窓の背景画像と短期時間窓の背景画像とで変わってしまい、結果として静止物の検出漏れや誤検出が発生しやすくなる。
　そこで、本実施形態に係る画像処理システムでは、撮影画像から、まず移動物体の領域（以下、「前景領域」ともいう。）と、それ以外の静止領域（以下、「背景領域」ともいう。）とを分離した上で、各撮影画像の静止領域を時間方向に平均化などすることにより、背景画像を生成する。これにより、人流などが発生していた場合であっても、人流発生領域は前景領域となるため、生成される背景画像への人流の影響を抑えることが可能となる。これにより、長期時間窓の背景画像と短期時間窓の背景画像とを比較すれば、好適に滞留物体を検出することが可能となる。以下、図３乃至図５を参照しながら、処理の流れの具体例を説明する。
　図３は、時刻ｔ－４～時刻ｔにそれぞれ撮影された入力画像の具体例を示す図である。ここで、時刻ｔ－４及び時刻ｔ－３の画像には誰も写っておらず、時刻ｔ－２～時刻ｔの画像には、人物が映っている。また、時刻ｔ－２では人物は移動しているが、時刻ｔ－１及び時刻ｔでは、人物は停止している。
　本実施形態に係る画像処理システムでは、図３に示したような各入力画像に対し、移動領域（前景領域）と静止領域（背景領域）とに分ける。図２は、図１の入力画像のうち、静止領域のみを抽出した場合の画像の例を示す図である。前述したように、時刻ｔ－２の画像では人物が移動しているので、当該人物を含む領域が移動領域として画像から除かれている。一方、他の画像に関しては、移動領域が存在しないため、換言すると画像全体が静止領域であるため、入力画像のまま変化していない。
　図５に示すように、本実施形態に係る画像処理システムは、静止領域のみを抽出した時刻ｔ－４～時刻ｔの各画像から、複数の時間窓に対して背景画像を生成する。この背景画像は、例えば、現在時刻ｔから過去一定期間内に撮影された各画像の静止領域に対して、画素値の平均値、中央値、または最頻値を画像内の各画素に対して求めることにより生成することができる。背景画像を短期時間窓と長期時間窓とのそれぞれに対して生成すれば、画像処理システムは両者を比較した上で、差異が閾値を超える画素を抽出し、当該画素領域を、滞留領域として特定する。滞留スコアは、当該滞留領域の大きさ（例えば画素数）として算出することが可能である。
　なお、図５の例において、長期時間窓に対する背景画像では人物が表示されていないが、これは、背景画像を生成する際に、各画素に対して例えば画素値の最頻値や中央値等を取ることにより、短時間しか写っていない人物の影響が弱くなるためである。
　本実施形態に係る画像処理システムは、図５に示す処理により、図５の最下部の画像で示すように、適切に滞留物体を検出する。
　（１．２　システム概要）
　以下、図６を参照しながら、本実施形態に係る画像処理システム１のシステム構成を説明する。図６は、画像処理システム１のシステム構成を示すブロック図である。
　画像処理システム１は、画像入力部６０１、前景・背景分離部６０３、背景画像生成部６０５、背景画像記憶部６０７、背景画像比較部６０９、静止領域判定部６１１、滞留スコア算出部６１３、データベース（ＤＢ）６１５、人物検出部６２１、混雑スコア算出部６２３、たむろスコア算出部６２５、及び出力部６２７を含む。
　画像入力部６０１は、図示しない監視カメラなどである撮影装置から入力される映像に含まれるフレーム画像の入力を順次受ける。つまり、各フレーム画像は、それぞれ撮影時刻の異なる画像である。若しくは、画像入力部６０１は、図示しないＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ　Ｃａｓｓｅｔｔｅ　Ｒｅｃｏｒｄｅｒ）に記憶された映像データを復号して得られるフレーム画像の入力を受けても良い。
　前景・背景分離部６０３は、例えば背景差分法やオプティカルフロー等を用いて、画像入力部６０１から入力されてきた入力画像に対して、順次前景領域と背景領域とを分離する。ここで、前景領域は、画像内の動きのある領域であり、背景領域は動きのない（静止している）領域である。
　オプティカルフローを使用する手法では、前景・背景分離部６０３は、例えば、マクロブロック単位で前のフレームと比較した上で、動きのあるブロックを特定する。より具体的には、例えば、処理対象の画像の各マクロブロック（画素の集合）と類似するマクロブロックが、直前に撮影された画像のどこにあるかを調べる（ブロックマッチング）等により特定することができる。
　背景差分法を用いる場合には、前景・背景分離部６０３は、事前に取得しておいた背景画像と処理対象の画像との差分を比較することにより、移動物体を特定する。
　背景画像生成部６０５は、前景・背景分離部６０３で抽出した背景領域（静止領域の画像）と、背景画像記憶部６０７に記憶されている、定められた複数の時間窓内に撮影された画像に係る背景領域とを用いて、背景画像を生成する。この際、背景画像生成部６０５は、各画像の背景領域に係る各画素位置で得られた時間窓分の画素値の平均値、中央値、または最頻値を算出することにより、背景画像を生成することができる。
　ここで、背景画像記憶部６０７は、前景・背景分離部６０３で逐次抽出される、各入力画像の背景領域にかかる画像を所定時間分記憶する。或いは、背景画像生成部６０５での処理に合わせ、当該背景画像生成部６０５で生成された、各時間窓における背景画像を背景画像記憶部６０７は記憶する。
　背景画像比較部６０９は、背景画像生成部６０５が各時間窓に対して生成した背景画像同士を比較する。より具体的には、最も長い時間窓から生成した背景画像（真の背景で構成されていると想定される背景画像）と、それよりも短い時間窓から生成した背景画像とを比較することにより、一定時間静止している静止物体（滞留物体）を検出することができる。このとき、複数の時間窓の背景で背景画像を生成することにより、静止物体を、静止時間長に応じて分類して検出することも考えられる。
　背景画像比較部６０９による背景画像の比較方法としては、例えば、背景画像間の画素値の差の絶対値を用いる方法や、画像上で小さいサイズの矩形領域を操作しながら、矩形領域内の画素値の相関を算出する方法や、矩形領域内の画素値のヒストグラム距離を算出する方法などが考えられる。矩形領域を用いる手法に関しては、例えば、マクロブロックなどの一定のサイズを設定しても良いし、カメラパラメータ（カメラの設置位置等に応じて設定される）を用いて、検出対象物体（人物）が画像上でどのような大きさで見えるかを考慮した上で、画像上の場所ごとに異なるサイズを設定（例えば、撮影装置の近傍が映っている画像領域は矩形領域を大きく、撮影装置の遠方が映っている画像領域は矩形領域を小さく）しても良い。
　静止領域判定部６１１は、背景画像比較部６０９による比較の結果、例えば閾値を超える差異があった画素を特定した上で、このような画素で構成される画素領域を滞留領域として判定する。なお、本実施形態では、静止領域判定部６１１は入力画像全体に対して滞留領域の特定を行なっているが、これに限られるものではなく、少なくとも処理対象となる検出窓Ｗを含む領域で滞留領域を特定すれば良い。
　滞留スコア算出部６１３は、静止領域判定部６１１で判定した滞留領域を用いて、処理対象となる検知窓Ｗの滞留スコアを算出する。滞留スコアの算出方法としては、前述の通り、例えば検知窓Ｗ内の滞留領域の画素の数等に基づいて算出することが考えられる。ここで、検知窓Ｗの位置や大きさに係る情報は、分割領域情報６１７としてＤＢ６１５に予め設定することが考えられる。このとき、検知窓Ｗは入力画像に対して複数設定することも可能であり、より具体的には、例えば、入力画像の全体に渡って、それぞれの検知窓Ｗが重複するように多数設定することが考えられる。また、検知窓Ｗの大きさはたむろとして特定する人数以上の人物を含みうる大きさとすることが考えられる。また、検知窓Ｗは撮影装置との位置関係（例えば、図示しないカメラパラメータとして設定される）に応じて、撮影装置の近傍に相当する検知窓Ｗは大きく、撮影装置の遠方に相当する検知窓Ｗを小さく設定することが考えられる。
　更に、本実施形態においては、前述の通り、上部領域Ｗ２よりも下部領域Ｗ１の影響が大きくなるように設定された係数が滞留スコアに乗算される。係数は、ＤＢ６１５内に係数情報６１９として格納される。
　人物検出部６２１は、画像入力部６０１から入力された画像から、人物を検出する。人物の検出方法としては種々考えられるが、例えば、頭部や上半身、全身或いは群衆パッチに関する画像上の特徴を学習させた学習器で予め準備しておいた上で、当該学習器を用いて頭部や上半身等を入力画像から検出する方法が考えられる。
　なお、本実施形態では、人物検出部６２１は入力画像全体に対して人物の検出を行なっているが、これに限られるものではなく、少なくとも処理対象となる検出窓Ｗを含む領域で人物検出を行えばよい。
　混雑スコア算出部６２３は、人物検出部６２１で判定した人物検出結果に基づき、処理対象となる検知窓Ｗの混雑スコアを算出する。混雑スコアの算出方法としては、例えば、検知窓Ｗ内に検出された人物の数等に基づいて算出することが考えられる。ここで、前述の通り、上部領域Ｗ２の方が下部領域Ｗ１よりも影響が大きくなるように設定された係数が混雑スコアに算出される。係数は、係数情報６１９として格納される。
　なお、混雑スコア算出部６２３は、処理対象である検知窓Ｗにおける人数を時系列的に記憶しておき、その増減を検出するようにしても良い。
　たむろスコア算出部６２５は、滞留スコア算出部６１３で算出した滞留スコア及び混雑スコア算出部６２３で算出した混雑スコアを用いて、処理対象の検知窓Ｗにおけるたむろスコアを算出する。たむろスコアの算出方法としては種々考えられるが、例えば、それぞれ係数が乗算された滞留スコア及び混雑スコアを乗算した値をたむろスコアとする方法などが考えられる。
　出力部６２７は、たむろスコア算出部６２５により求めたたむろスコアに基づき、たむろ検出結果を出力する。出力方法としては種々考えられるが、例えば、検知窓Ｗに対するたむろスコアを数値として表示しても良いし（複数の検知窓Ｗが設定されている場合には、それぞれたむろスコアを表示すれば良い）、たむろスコアに応じた検知窓Ｗ（例えば、たむろスコアの大きさに応じた太さの検知窓Ｗを示す画像）を、入力画像に重畳させても良い。また、音声などによりたむろスコアに応じた情報をユーザに報知することも考えられる。
　なお、上述のように、混雑スコア算出部６２３が人数の時系列的な増減を検出している場合、出力部６２７は、所定領域において徐々に人数が増加している（所定領域に徐々に人間が集合している）ことを示す情報を、別途出力しても良い。
　このとき出力部６２７は、たむろスコアが閾値を超えた場合にのみユーザに報知しても良い。或いは、出力部６２７は、たむろスコアが閾値を超えた持続時間に応じて、ユーザに報知することも考えられる。たむろスコアの閾値は、予め設定することも考えられるし、或いは、ユーザ入力により設定することも考えられる。
　さらに、混雑スコア算出部６２３が人数の増減を検知している場合には、出力部６２７はその情報も出力するようにしても良い。
　（１．３　処理の流れ）
　以下、画像処理システム１の処理の流れを、図７乃至図９を参照しながら説明する。図７乃至図９は、本実施形態に係る画像処理システム１の処理の流れを示すフローチャートである。
　なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。
　（１．３．１　全体の処理の流れ）
　まず、全体の処理の流れを図７を参照しながら説明する。
　滞留スコア算出部６１３は、画像入力部６０１から入力された画像の検知窓Ｗに対する滞留スコアを算出する（Ｓ７０１）。滞留スコア算出に至る画像処理システム１の処理の流れは、図８を参照しながら後述する。
　また混雑スコア算出部６２３は、画像入力部６０１から入力された画像の検知窓Ｗに対する混雑スコアを算出する（Ｓ７０３）。混雑スコア算出に至る画像処理システム１の処理の流れは、図９を参照しながら後述する。なお、Ｓ７０１及びＳ７０３の処理順序は逆でもよく、若しくは、並行して処理を行なってもよい。
　滞留スコア及び混雑スコアが求まれば、たむろスコア算出部６２５は、滞留スコア及び混雑スコアにもとづいてたむろスコアを算出する（Ｓ７０５）。出力部６２７は、算出されたたむろスコアに基づき、検知窓Ｗに係るたむろ検出結果を出力する（Ｓ７０７）。
　（１．３．２　滞留スコア算出に係る処理の流れ）
　続いて、図８を参照しながら、滞留スコアの算出に係る画像処理システム１の処理の流れを説明する。当該処理は、図７のＳ７０１に相当する。
　まず画像入力部６０１は、例えばビデオカメラ等の撮影装置で撮影された画像や、撮影装置で撮影された映像が記録された映像データを読みだした上で、当該映像データを復号して得られる画像の入力を受ける（Ｓ８０１）。
　前景・背景分離部６０３は、画像入力部６０１から入力された画像のうち、静止している背景領域と、移動が生じている前景領域とに分離する（Ｓ８０３）。生成された背景領域の画像は、例えば背景画像記憶部６０７に記憶される。
　背景画像生成部６０５は、予め設定した時間窓内に撮影された各画像のうちの、前景・背景分離部６０３により特定された背景領域を使用して、背景画像を生成する（Ｓ８０５）。このとき背景画像生成部６０５は、抽出するたむろに係る人物の滞留時間に応じて、複数の時間窓に対して背景画像を生成する。
　背景画像比較部６０９は、背景画像生成部６０５が生成した、各時間窓の背景画像をそれぞれ比較し（Ｓ８０７）、静止領域判定部６１１は、背景画像間の差異が閾値以上である領域を、滞留領域として特定する（Ｓ８０９）。滞留スコア算出部６１３は、処理対象である検知窓Ｗ内の滞留領域の大きさ等に基づき、滞留スコアを算出する（Ｓ８１１）。このとき、検知窓Ｗ内の滞留領域に含まれる画素の位置などに基づき、滞留スコアに所定の係数を乗算しても良い。
　（１．３．３　混雑スコア算出に係る処理の流れ）
　続いて、図９を参照しながら、混雑スコアの算出にかかる画像処理システム１の処理の流れを説明する。当該処理は、図７のＳ７０３に相当する。
　まず画像入力部６０１は、例えばビデオカメラ等の撮影装置で撮影された画像や、撮影装置で撮影された映像が記録された映像データを読みだした上で、当該映像データを復号して得られる画像の入力を受ける（Ｓ９０１）。なお、当該処理は図８の処理のＳ８０１と兼ねることができる。
　人物検出部６２１は、入力画像から人物を検出する（Ｓ９０３）。前述の通り、人物の検出方法としては、頭部検出や上半身検出などが考えられる。
　混雑スコア算出部６２３は、人物検出部６２１が検出した人物検出結果に基づき、処理対象である検知窓Ｗ内の混雑スコアを算出する（Ｓ９０５）。混雑スコアは、例えば検知窓Ｗ内で検出された人物の数等に基づき算出できる。またこのとき、検知窓Ｗ内の検出人物の位置などに基づき、混雑スコアに所定の係数を乗算しても良い。
　（１．４　ハードウェア構成）
　以下、図１０を参照しながら、上述してきた画像処理システム１をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、画像処理システム１の機能は、複数の情報処理装置により実現することも可能である。
　図１０に示すように、画像処理システム１は、プロセッサ１００１、メモリ１００３、記憶装置１００５、入力インタフェース（Ｉ／Ｆ）１００７、データＩ／Ｆ１００９、通信Ｉ／Ｆ１０１１、及び表示装置１０１３を含む。
　プロセッサ１００１は、メモリ１００３に記憶されているプログラムを実行することにより画像処理システム１における様々な処理を制御する。例えば、図６で説明した画像入力部６０１、前景・背景分離部６０３、背景画像生成部６０５、背景画像比較部６０９、静止領域判定部６１１、滞留スコア算出部６１３、人物検出部６２１、混雑スコア算出部６２３、たむろスコア算出部６２５、及び出力部６２７に係る処理は、メモリ１００３に一時記憶された上で主にプロセッサ１００１上で動作するプログラムとして実現可能である。
　メモリ１００３は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ１００３は、プロセッサ１００１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ１００３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
　記憶装置１００５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置１００５は、オペレーティングシステムや、画像入力部６０１、前景・背景分離部６０３、背景画像生成部６０５、背景画像比較部６０９、静止領域判定部６１１、滞留スコア算出部６１３、人物検出部６２１、混雑スコア算出部６２３、たむろスコア算出部６２５、及び出力部６２７を実現するための各種プログラムや、背景画像記憶部６０７及びＤＢ６１５を含む各種データ等を記憶する。記憶装置１００５に記憶されているプログラムやデータは、必要に応じてメモリ１００３にロードされることにより、プロセッサ１００１から参照される。
　入力Ｉ／Ｆ１００７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ１００７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ１００７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインタフェースを介して画像処理システム１に接続されても良い。
　データＩ／Ｆ１００９は、画像処理システム１の外部からデータを入力するためのデバイスである。データＩ／Ｆ１００９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ１００９は、画像処理システム１の外部に設けられることも考えられる。その場合、データＩ／Ｆ１００９は、例えばＵＳＢ等のインタフェースを介して画像処理システム１へと接続される。
　通信Ｉ／Ｆ１０１１は、画像処理システム１の外部の装置、例えばビデオカメラ等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ１０１１は画像処理システム１の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ１０１１は、例えばＵＳＢ等のインタフェースを介して画像処理システム１に接続される。
　表示装置１０１３は、例えば図１に示したような映像等の各種情報を表示するためのデバイスである。表示装置１０１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置１０１３は、画像処理システム１の外部に設けられても良い。その場合、表示装置１０１３は、例えばディスプレイケーブル等を介して画像処理システム１に接続される。
　（１．５　本実施形態に係る効果）
　以上説明したように、本実施形態に係る画像処理システム１は、入力画像内の滞留領域にもとづいて算出される滞留スコアと、入力画像から検出される人物に基づいて算出される混雑スコアとを用いて、複数人物の滞留（たむろ）を検出する。これにより、一定時間以上滞留する物体が多く含まれると共に、人物が多く存在している領域をたむろとして好適に検知することができる。
　また、滞留領域の特定に際しては複数の時刻に渡って撮影された画像から生成される背景画像を用いることにより、複数人物の滞留領域が一時的にその前方を移動する他の人物等により遮られるような場合であったとしても、その影響を低減しつつ、好適にたむろを検出することができる。
　（２　第２実施形態）
　以下、第２実施形態を、図１１を参照しながら説明する。図１１は、画像処理システム１１００の機能構成を示すブロック図である。図１１に示すように、画像処理システム１１００は、生成部１１１０と、第１検出部１１２０と、第２検出部１１３０と、第３検出部１１４０とを含む。
　生成部１１１０は、撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する。
　第１検出部１１２０は、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する。
　第２検出部１１３０は、入力画像の部分領域に映る１以上の人物を検出する。
　第３検出部１１４０は、滞留の検出結果及び人物の検出結果に基づき、部分領域における複数人物の滞留を検出する。
　このように実装することで、本実施形態に係る画像処理システム１１００によれば、複数人物の滞留を好適に検出することができる。
　（３　付記事項）
　なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
　なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
　（付記１）
　撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する生成手段と、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する第１の検出手段と、入力画像の前記部分領域に映る１以上の人物を検出する第２の検出手段と、滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出する第３の検出手段とを備える画像処理システム。
　（付記２）
　前記背景画像は、入力画像のうち、動きのない静止領域に基づいて生成される、付記１記載の画像処理システム。
　（付記３）
　前記部分領域の大きさは、入力画像を撮影する前記撮影装置の位置と、入力画像内の前記部分領域とに応じて設定される、付記１又は付記２記載の画像処理システム。
　（付記４）
　前記部分領域内の下部領域における滞留の検出結果の方が、上部領域における滞留の検出結果よりも、前記複数人物の滞留の検出結果に大きな影響を与える、付記１乃至付記３のいずれか１項記載の画像処理システム。
　（付記５）
　前記部分領域における前記複数人数の滞留の検出結果を報知する出力手段を更に備える、付記１乃至付記４のいずれか１項記載の画像処理システム。
　（付記６）
　前記出力手段は、前記複数人数の滞留の度合いに応じて報知方法を変える、付記５記載の画像処理システム。
　（付記７）
　前記出力手段は、前記複数人数の滞留の度合いが閾値を超えた時間に基づいて報知する、付記５記載の画像処理システム。
　（付記８）
　前記閾値はユーザが設定可能である、付記７記載の画像処理システム。
　（付記９）
　前記第２の検出手段は、前記部分領域における人数の増減を検出し、前記出力手段は、前記第２の検出手段による前記人数の増減の検出結果に基づき、所定領域において徐々に人物が集合していることを示す情報を別途報知する、付記５乃至付記８のいずれか１項記載の画像処理システム。
　（付記１０）
　撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成するステップと、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出するステップと、入力画像の前記部分領域に映る１以上の人物を検出するステップと、滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出するステップとを画像処理システムが行う、画像処理方法。
　（付記１１）
　前記背景画像は、入力画像のうち、動きのない静止領域に基づいて生成される、付記１０記載の画像処理方法。
　（付記１２）
　前記部分領域の大きさは、入力画像を撮影する前記撮影装置の位置と、入力画像内の前記部分領域とに応じて設定される、付記１０又は付記１１記載の画像処理方法。
　（付記１３）
　前記部分領域内の下部領域における滞留の検出結果の方が、上部領域における滞留の検出結果よりも、前記複数人物の滞留の検出結果に大きな影響を与える、付記１０乃至付記１２のいずれか１項記載の画像処理方法。
　（付記１４）
　前記部分領域における前記複数人数の滞留の検出結果を報知するステップを更に備える、付記１０乃至付記１３のいずれか１項記載の画像処理方法。
　（付記１５）
　前記複数人数の滞留の度合いに応じて報知方法を変える、付記１４記載の画像処理方法。
　（付記１６）
　前記複数人数の滞留の度合いが閾値を超えた時間に基づいて報知する、付記１４記載の画像処理方法。
　（付記１７）
　前記閾値はユーザが設定可能である、付記１６記載の画像処理方法。
　（付記１８）
　前記部分領域における人数の増減を検出し、前記第２の検出手段による前記人数の増減の検出結果に基づき、所定領域において徐々に人物が集合していることを示す情報を別途報知する、付記１４乃至付記１７のいずれか１項記載の画像処理方法。
　（付記１９）
　撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する処理と、処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する処理と、入力画像の前記部分領域に映る１以上の人物を検出する処理と、滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出する処理とをコンピュータに実行させるプログラム。
　（付記２０）
　前記背景画像は、入力画像のうち、動きのない静止領域に基づいて生成される、付記１９記載のプログラム。
　（付記２１）
　前記部分領域の大きさは、入力画像を撮影する前記撮影装置の位置と、入力画像内の前記部分領域とに応じて設定される、付記１９又は付記２０記載のプログラム。
　（付記２２）
　前記部分領域内の下部領域における滞留の検出結果の方が、上部領域における滞留の検出結果よりも、前記複数人物の滞留の検出結果に大きな影響を与える、付記１９乃至付記２１のいずれか１項記載のプログラム。
　（付記２３）
　前記部分領域における前記複数人数の滞留の検出結果を報知する出力処理を更にコンピュータに実行させる、付記１９乃至付記２２のいずれか１項記載のプログラム。
　（付記２４）
　前記複数人数の滞留の度合いに応じて報知方法を変える、付記２３記載のプログラム。
　（付記２５）
　前記複数人数の滞留の度合いが閾値を超えた時間に基づいて報知する、付記２３記載のプログラム。
　（付記２６）
　前記閾値はユーザが設定可能である、付記２５記載のプログラム。
　（付記２７）
　前記部分領域における人数の増減を検出し、前記第２の検出手段による前記人数の増減の検出結果に基づき、所定領域において徐々に人物が集合していることを示す情報を別途報知する、付記２３乃至付記２６のいずれか１項記載のプログラム。
　この出願は、２０１３年８月２７日に出願された日本出願特願２０１３－１７６０８２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１・・・画像処理システム、６０１・・・画像入力部、６０３・・・前景・背景分離部、６０５・・・背景画像生成部、６０７・・・背景画像記憶部、６０９・・・背景画像比較部、６１１・・・静止領域判定部、６１３・・・滞留スコア算出部、６１５・・・データベース、６１７・・・分割領域情報、６１９・・・係数情報、６２１・・・人物検出部、６２３・・・混雑スコア算出部、６２５・・・たむろスコア算出部、６２７・・・出力部、１００１・・・プロセッサ、１００３・・・メモリ、１００５・・・記憶装置、１００７・・・入力インタフェース、１００９・・・データインタフェース、１０１１・・・通信インタフェース、１０１３・・・表示装置、１１００・・・画像処理装置、１１１０・・・生成部、１１２０・・・第１検出部、１１３０・・・第２検出部、１１４０・・・第３検出部、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５・・・人物、Ｗ・・・検知窓

Claims (11)

  1. 　撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する生成手段と、
    　処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する第１の検出手段と、
    　入力画像の前記部分領域に映る１以上の人物を検出する第２の検出手段と、
    　滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出する第３の検出手段と
    を備える画像処理システム。
  2. 　前記背景画像は、入力画像のうち、動きのない静止領域に基づいて生成される、
    請求項１記載の画像処理システム。
  3. 　前記部分領域の大きさは、入力画像を撮影する前記撮影装置の位置と、入力画像内の前記部分領域とに応じて設定される、
    請求項１又は請求項２記載の画像処理システム。
  4. 　前記部分領域内の下部領域における滞留の検出結果の方が、上部領域における滞留の検出結果よりも、前記複数人物の滞留の検出結果に大きな影響を与える、
    請求項１乃至請求項３のいずれか１項記載の画像処理システム。
  5. 　前記部分領域における複数人数の滞留の検出結果を報知する出力手段
    を更に備える、請求項１乃至請求項４のいずれか１項記載の画像処理システム。
  6. 　前記出力手段は、前記複数人数の滞留の度合いに応じて報知方法を変える、
    請求項５記載の画像処理システム。
  7. 　前記出力手段は、前記複数人数の滞留の度合いが閾値を超えた時間に基づいて報知する、
    請求項５記載の画像処理システム。
  8. 　前記閾値はユーザが設定可能である、
    請求項７記載の画像処理システム。
  9. 　前記第２の検出手段は、前記部分領域における人数の増減を検出し、
    　前記出力手段は、前記第２の検出手段による前記人数の増減の検出結果に基づき、所定領域において徐々に人物が集合していることを示す情報を別途報知する、
    請求項５乃至請求項８のいずれか１項記載の画像処理システム。
  10. 　撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成するステップと、
    　処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出するステップと、
    　入力画像の前記部分領域に映る１以上の人物を検出するステップと、
    　滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出するステップと
    を画像処理システムが行う、画像処理方法。
  11. 　撮影装置により複数の時刻に撮影された入力画像に基づいて背景画像を生成する処理と、
    　処理時刻から第１の時間幅内に撮影された入力画像に基づき生成された第１の背景画像と、前記処理時刻から第２の時間幅内に撮影された入力画像に基づき生成された第２の背景画像との差分に基づき、入力画像内の、複数の人物が映り得る部分領域に対して滞留を検出する処理と、
    　入力画像の前記部分領域に映る１以上の人物を検出する処理と、
    　滞留の検出結果及び人物の検出結果に基づき、前記部分領域における複数人物の滞留を検出する処理と
    をコンピュータに実行させるプログラム。
PCT/JP2014/067693 2013-08-27 2014-07-02 画像処理システム、画像処理方法及びプログラム WO2015029588A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015534061A JP6414066B2 (ja) 2013-08-27 2014-07-02 画像処理システム、画像処理方法及びプログラム
US14/915,109 US9934576B2 (en) 2013-08-27 2014-07-02 Image processing system, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013176082 2013-08-27
JP2013-176082 2013-08-27

Publications (1)

Publication Number Publication Date
WO2015029588A1 true WO2015029588A1 (ja) 2015-03-05

Family

ID=52586166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/067693 WO2015029588A1 (ja) 2013-08-27 2014-07-02 画像処理システム、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9934576B2 (ja)
JP (1) JP6414066B2 (ja)
WO (1) WO2015029588A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206995A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018142061A (ja) * 2017-02-27 2018-09-13 Kddi株式会社 顔検出装置及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6270433B2 (ja) * 2013-11-26 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム
EP3198572B1 (en) * 2014-09-25 2020-11-11 Guerzoni, Filippo Surveillance method, device and system
US10356317B2 (en) * 2014-10-30 2019-07-16 Technion Research & Development Foundation Limited Wide-scale terrestrial light-field imaging of the sky
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
US10970896B2 (en) * 2016-11-02 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
MY184063A (en) * 2017-03-14 2021-03-17 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program
KR102187831B1 (ko) * 2019-10-29 2020-12-07 곽찬우 Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217184A (ja) * 2007-03-01 2008-09-18 Giken Torasutemu Kk 混雑レベル判別システム
JP2010277547A (ja) * 2009-06-01 2010-12-09 Chuo Electronics Co Ltd 混雑状況検出装置、方法、およびプログラム
JP2013011950A (ja) * 2011-06-28 2013-01-17 Canon Inc 画像処理装置、画像処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4852355B2 (ja) 2006-06-26 2012-01-11 パナソニック株式会社 放置物検出装置及び放置物検出方法
US7813528B2 (en) 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
US8472715B2 (en) * 2007-10-26 2013-06-25 Panasonic Corporation Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
JP4966820B2 (ja) 2007-10-29 2012-07-04 パナソニック株式会社 混雑推定装置および方法
JP2010198566A (ja) 2009-02-27 2010-09-09 Nec Corp 人数計測装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217184A (ja) * 2007-03-01 2008-09-18 Giken Torasutemu Kk 混雑レベル判別システム
JP2010277547A (ja) * 2009-06-01 2010-12-09 Chuo Electronics Co Ltd 混雑状況検出装置、方法、およびプログラム
JP2013011950A (ja) * 2011-06-28 2013-01-17 Canon Inc 画像処理装置、画像処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206995A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018142061A (ja) * 2017-02-27 2018-09-13 Kddi株式会社 顔検出装置及びプログラム

Also Published As

Publication number Publication date
JP6414066B2 (ja) 2018-10-31
US20160210756A1 (en) 2016-07-21
US9934576B2 (en) 2018-04-03
JPWO2015029588A1 (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6741130B2 (ja) 情報処理システム、情報処理方法及びプログラム
US10713798B2 (en) Low-complexity motion detection based on image edges
JP6525545B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP3801137B2 (ja) 侵入物体検出装置
JP6436077B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6652057B2 (ja) 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及びプログラム
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20150077568A1 (en) Control method in image capture system, control apparatus and a non-transitory computer-readable storage medium
US8532191B2 (en) Image photographing apparatus and method of controlling the same
Ha et al. Foreground objects detection using multiple difference images
US20150146006A1 (en) Display control apparatus and display control method
JP5360052B2 (ja) 物体検出装置
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
KR101460317B1 (ko) 불안정한 카메라 환경에서의 이동 객체 검출 장치 및 방법
JP2004228770A (ja) 画像処理システム
JP6598952B2 (ja) 画像処理装置及び方法及び監視システム
JP5268796B2 (ja) 移動物体領域検出装置及び移動物体領域検出プログラム
JP7338174B2 (ja) 物体検出装置および物体検出方法
JP2011198261A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
JP2012128693A (ja) 映像処理装置、映像処理方法およびプログラム
JP5834671B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20230222672A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6308612B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841108

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015534061

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14915109

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14841108

Country of ref document: EP

Kind code of ref document: A1