WO2018025831A1 - 人流推定装置、表示制御装置、人流推定方法および記録媒体 - Google Patents

人流推定装置、表示制御装置、人流推定方法および記録媒体 Download PDF

Info

Publication number
WO2018025831A1
WO2018025831A1 PCT/JP2017/027797 JP2017027797W WO2018025831A1 WO 2018025831 A1 WO2018025831 A1 WO 2018025831A1 JP 2017027797 W JP2017027797 W JP 2017027797W WO 2018025831 A1 WO2018025831 A1 WO 2018025831A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial area
partial
human flow
group
crowd
Prior art date
Application number
PCT/JP2017/027797
Other languages
English (en)
French (fr)
Inventor
浩雄 池田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018531904A priority Critical patent/JP6950692B2/ja
Priority to US16/322,345 priority patent/US10936882B2/en
Publication of WO2018025831A1 publication Critical patent/WO2018025831A1/ja
Priority to US16/590,441 priority patent/US11106920B2/en
Priority to US16/590,436 priority patent/US11074461B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present disclosure relates to a human flow estimation device, a display control device, a human flow estimation method, and a recording medium.
  • a method for estimating a human flow (called a human flow) composed of a human area and a moving state is considered.
  • Patent Literature 1 the distance between the upper body positions detected from the detection results detected between a plurality of frames is detected from the frame image acquired from the imaging unit.
  • An apparatus is described that generates the trajectory of each person by regarding the minimum persons as the same person.
  • a head model is set from an image constituting one frame of a moving image obtained by imaging a plurality of people, and based on the head model, a human head is extracted from the image,
  • an apparatus for tracking a person and measuring the number of persons by associating heads extracted between a plurality of images with each other by the proximity of the position and the image feature amount based on the position is described.
  • Patent Document 3 obtains a velocity vector of a pixel from a change in luminance value of a pixel of an image captured by a camera, and obtains a distribution state of a velocity field for each predetermined direction indicated by the velocity vector, A system for detecting a human shape image in an image and its moving direction is described.
  • Patent Document 4 describes a method for generating teacher data used when machine learning is performed on a classifier dictionary for recognizing a crowd state.
  • Patent Documents 1 to 3 may not be able to accurately estimate the human flow at a low frame rate.
  • the reason for this is that if the upper body position or head position acquired from one image is too far away from these positions on the next image due to a low frame rate, tracking using the distance between the positions, etc. becomes impossible. Because.
  • the head position acquired from one image and the head position acquired from the next image are too far apart in time due to a low frame rate, the appearance on the image changes greatly, and the image feature amount This is because it becomes difficult to associate heads with closeness.
  • the search range for associating image feature amounts is widened, It will be difficult.
  • the upper body position and head position acquired from one image are likely to be framed out in the next image, making tracking difficult.
  • the information acquired from one image and the information acquired from the next image are too far apart in time due to a low frame rate, it is difficult to calculate the motion vector of the object correctly.
  • Patent Documents 1 to 3 may not be able to accurately estimate the human flow in a crowded environment. The reason is that there is a possibility that the upper body and head are frequently hidden due to overlapping of people in a crowded environment, and the upper body and head cannot be detected. Further, it is difficult to correctly acquire the image feature amount due to hiding due to overlapping of people in a congested environment, and it is difficult to relate them. In addition, the overlapping of people in a crowded environment often hides people, making it difficult to calculate motion vectors correctly.
  • the present disclosure has been made in view of the above problems, and a purpose of the present disclosure is to estimate a human flow from a high-accuracy image even in an image captured in a congested environment and transmitted at a low frame rate. Is to provide.
  • a human flow estimation device includes a number estimation unit that estimates the number of people included in a partial region of an image, a crowd direction estimation unit that estimates a crowd direction in the partial region, and a motion in the partial region Based on the number of persons, a motion amount estimating means for estimating a quantity, a partial area where a person exists is extracted from the plurality of partial areas, and the number of persons, the extracted partial area, and the partial area are related
  • the partial area including the number of people related to the partial area, the movement state of the person included in the partial area, and information representing the area of the person based on the direction of the crowd and the amount of movement
  • Generating means for generating human flow information which is information relating to the human flow representing the flow of people in the system.
  • the human flow estimation device estimates a crowd direction in a partial region of an image, calculates a reliability according to the direction, and a movement amount in the partial region. Based on the motion amount estimation means to be estimated, the direction of the crowd, the reliability corresponding to the direction, and the amount of motion, human flow information that is information regarding the human flow representing the flow of people in the partial area is generated. Generating means.
  • the display control device is configured to display the image based on the distance between the partial areas, the orientation of the crowd in the partial areas, and the similarity of the movements with respect to the partial areas indicated as the human flow in the image.
  • Clustering means for clustering the partial areas of the group, and based on the human flow information of the clustered partial areas, a group state indicating the clustered group area, orientation, movement and number of people is calculated for each group, the group state Display control means for controlling the display to be displayed on the screen in a different display mode for each group.
  • the human flow estimation method estimates the number of people included in a partial region of an image, estimates the direction of a crowd in the partial region, estimates the amount of movement in the partial region, and Based on the plurality of partial areas, a partial area in which a person exists is extracted, and based on the number of persons, the extracted partial area, the direction of the crowd and the amount of movement related to the partial area
  • the human flow is information relating to the human flow representing the flow of people in the partial area, including the number of people related to the partial area, the movement state of the person included in the partial area, and information representing the person's area. Generate information.
  • achieves the said human flow estimation apparatus or the human flow estimation method with a computer, and the computer-readable non-transitory recording medium in which the computer program is stored are also contained in the category of this indication.
  • FIG. 1 is a functional block diagram illustrating an example of a functional configuration of the human flow estimation device 10 according to the present embodiment.
  • the human flow estimation device 10 according to the present embodiment includes a number estimation unit 11, a crowd direction estimation unit 12, a motion amount estimation unit 13, and a generation unit 14.
  • the number-of-people estimation unit 11 estimates the number of people included in a partial area of an image (also referred to as an input image) input to the human flow estimation device 10. Moreover, the crowd direction estimation unit 12 estimates the direction of the crowd in the partial area. Further, the motion amount estimation unit 13 estimates the motion amount in the partial area. The number estimation unit 11, the crowd direction estimation unit 12, and the motion amount estimation unit 13 estimate the number of people, the direction of the crowd, and the amount of motion for each of a plurality of partial regions of the input image input to the human flow estimation device 10.
  • the partial area represents an area smaller than the entire area of the input image. That is, the partial area of the input image represents an image in this small area.
  • the number estimation unit 11, the crowd direction estimation unit 12, and the motion amount estimation unit 13 each supply an estimation result to the generation unit 14.
  • the number estimating unit 11 supplies information (for example, an identifier) indicating the partial area and the estimated number of persons to the generating unit 14 as an estimation result.
  • the crowd direction estimation unit 12 supplies information indicating the partial area and the estimated crowd direction to the generation unit 14 as an estimation result.
  • the motion amount estimation unit 13 supplies information indicating the partial region and the estimated motion amount to the generation unit 14 as an estimation result.
  • the generation unit 14 Human flow information, which is information related to the human flow representing the flow of a person, is generated. Specifically, the generation unit 14 extracts a partial area where a person exists from a plurality of partial areas based on the number of people as an estimation result related to the partial area for each partial area. Then, the generation unit 14 determines the number of persons related to the partial area based on the number of persons related to the extracted partial area, the extracted partial area, and the direction and movement amount of the crowd related to the partial area.
  • human flow information including the movement state of the person included in the partial area and information representing the person's area is generated. Since the human flow information includes the information representing the number of people, the movement state of the people, and the area of the human as described above, it can be rephrased as information representing the human flow.
  • the human flow estimation device 10 estimates a human flow without tracking a plurality of people included in the input image.
  • the human flow estimation device 10 according to the present embodiment increases the human flow from an image that is shot in a congested environment in which people frequently overlap and is transmitted at a low frame rate. The accuracy can be estimated.
  • the human flow estimation apparatus 10 will be described in more detail.
  • a human flow estimation system 100 including the human flow estimation device 10 will be described with reference to FIG.
  • the human flow estimation system 100 includes a human flow estimation device 10, an imaging device 20, and a storage device 30.
  • the human flow estimation device 10 and the imaging device 20 are connected to be communicable with each other.
  • the human flow estimation device 10 and the storage device 30 are communicably connected to each other.
  • the human flow estimation device 10 may be configured to incorporate the storage device 30 as a storage unit.
  • the imaging device 20 is realized by a video camera or the like that can capture a moving image.
  • An image captured by the imaging device 20 is input to the human flow estimation device 10.
  • the image captured by the imaging device 20 may be input to the human flow estimation device 10 after being stored in a storage device (not shown) or the like.
  • the human flow estimation device 10 acquires an image photographed by the imaging device 20 from the imaging device 20 or a device in which the image is stored.
  • the storage device 30 is realized by, for example, a hard disk drive.
  • the storage device 30 stores the position and size of the partial area in the input image for each partial area.
  • the storage device 30 stores the position and size of the partial area in the image in association with information indicating the partial area (referred to as a partial area ID (IDentifier)).
  • IDentifier information indicating the partial area
  • the position and size of each partial area are determined in advance.
  • the position and size of each partial area are determined so that the entire image is covered with a plurality of partial areas.
  • the aspect which defines a partial area is not limited to said example.
  • the positions and sizes of the plurality of partial areas may be determined only for the area that is the target of human flow estimation in the image.
  • the position and size of the partial area may be determined such that at least a part of the partial area overlaps with the other partial areas.
  • the size of the partial area may be set in advance in accordance with the functions of the number estimating unit 11 and the crowd direction estimating unit 12 described later.
  • an image of a portion corresponding to a partial region in the input image is referred to as a partial region image.
  • the person number estimation unit 11 estimates the number of persons included in the partial area of the input image input to the human flow estimation device 10. Specifically, the number-of-people estimation unit 11 targets the number of partial areas in the image specified by each predetermined partial area from the image captured by the imaging device 20, and counts the number of persons in the partial area. Is estimated. In other words, the number estimating unit 11 estimates the number of persons for each partial area in the input image based on the position and size of each partial area stored in the storage device 30.
  • the number of persons estimation unit 11 may estimate the number of persons in the partial area using an estimator obtained by learning. For example, when a partial area image is input, an estimator that outputs the number of people in the partial area is obtained in advance by learning.
  • the number of persons estimating unit 11 may obtain an estimated value of the number of persons in the partial area by inputting the partial area image to the estimator.
  • a partial area image including a crowd composed of a plurality of people and information on the number of people included in the partial area image may be used.
  • the partial region image used for learning may include an image in which people overlap each other. This learning is, for example, partial region-based learning described in Patent Document 4.
  • the method for estimating the number of people in the partial area is not limited to the method described in Patent Document 4, and other methods may be used.
  • the number estimation unit 11 supplies the partial region ID and the estimated number of people to the generation unit 14 as an estimation result.
  • the crowd direction estimation unit 12 estimates the crowd direction in the partial area of the input image input to the human flow estimation device 10. Specifically, the crowd direction estimation unit 12 targets each partial area image in the image specified by each predetermined partial area from the image captured by the imaging device 20, and stores in the partial area. Estimate the direction of the crowd. In other words, the crowd direction estimation unit 12 estimates the crowd direction for each partial area in the input image based on the position and size of each partial area stored in the storage device 30.
  • the crowd direction estimation unit 12 may estimate the crowd direction using an estimator obtained by learning. For example, when a partial area image is input, an estimator that outputs the direction of the crowd in the partial area image is obtained in advance by learning.
  • the crowd direction estimation unit 12 may obtain an estimated value of the crowd direction by inputting the partial region image to the estimator.
  • a partial area image including a crowd composed of a plurality of people in various directions, and a vector or angle indicating the direction of a representative crowd in the partial area image may be used.
  • the direction of the crowd used for learning is such as “40% is 10 degrees, 60% is 130 degrees” and “10% is 45 degrees, 20% is 20 degrees, 30% is 90 degrees” You may use the label comprised by these.
  • the direction of the crowd used for learning may use a label called a random direction.
  • the partial region image used for learning may include an image in which people overlap each other.
  • This learning is, for example, partial region-based learning described in Patent Document 4.
  • the estimation method of the direction of the crowd in the partial area is not limited to the method described in Patent Document 4, and other methods may be used.
  • the crowd direction estimation unit 12 supplies the generation unit 14 with the partial region ID and information indicating the estimated crowd direction as an estimation result.
  • the motion amount estimation unit 13 estimates the motion amount in the partial area of the input image input to the human flow estimation device 10. Specifically, the motion amount estimation unit 13 targets each partial region image in the image specified by each predetermined partial region from the image captured by the imaging device 20, Estimate the amount of motion. In other words, the motion amount estimation unit 13 estimates the motion amount for each partial region in the input image based on the position and size of each partial region stored in the storage device 30.
  • the motion amount estimation unit 13 may calculate the similarity of the feature amount of the image pattern and the amount of inter-frame difference from partial region images having different times and the same position in the input image. It can be said that these values represent the degree of movement in the partial area.
  • the similarity of the feature quantities of the image pattern has a property that the amount of motion decreases as the similarity increases.
  • the amount of difference between frames has the property that the smaller the value, the smaller the amount of motion.
  • the motion amount estimation unit 13 may use these properties and estimate the motion amount in the partial region based on the calculated value.
  • the motion amount estimation unit 13 may estimate the motion amount using an estimator obtained by learning.
  • an estimator that outputs the amount of motion in the partial area is obtained in advance by learning.
  • the motion amount estimation unit 13 may obtain an estimated value of the motion amount in the partial region by inputting partial region images having different times and the same place to the estimator.
  • the following (a) to (d) may be used for learning of this estimator.
  • This learning is partial area based learning.
  • a motion sensor that detects the movement of the object in the real space corresponding to the partial region is provided, and the motion amount estimation unit 13 estimates the motion amount in the partial region indicated by the partial region image from the detection result of the motion sensor. Also good.
  • the method for estimating the amount of motion in the partial region is not limited to these methods as long as the method is robust to the frame rate, and any method may be adopted.
  • the motion amount estimation unit 13 supplies the partial region ID and the estimated motion amount to the generation unit 14 as an estimation result.
  • the generation unit 14 receives the partial area ID and the number of people estimated by the number of people estimation unit 11 from the number of people estimation unit 11. Further, the generation unit 14 receives the partial region ID and information representing the direction of the crowd estimated by the crowd direction estimation unit 12 from the crowd direction estimation unit 12. Further, the generation unit 14 receives the partial region ID and the motion amount estimated by the motion amount estimation unit 13 from the motion amount estimation unit 13.
  • generation part 14 extracts the partial area
  • FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the generation unit 14 in the human flow estimation device 10 according to the present embodiment.
  • the generation unit 14 includes a human area extraction unit 141 and a human flow information generation unit 142.
  • the human region extraction unit 141 receives the partial region ID output from the number estimation unit 11 and the estimated number of people.
  • the human area extraction unit 141 extracts, for each partial area, a partial area where a person exists from a plurality of partial areas based on the number of persons estimated by the number of persons estimation unit 11. Specifically, the human region extraction unit 141 extracts a partial region in which the estimated number of persons is larger than a predetermined value among the plurality of partial regions as a partial region where a person exists. Then, the human region extraction unit 141 acquires the position and size of the extracted partial region in the input image from the storage device 30.
  • the storage device 30 stores the partial region ID and the position and size of the partial region indicated by the partial region ID in the input image in association with each other. Therefore, the human region extraction unit 141 acquires the position and size in the input image associated with the partial region ID of the extracted partial region from the storage device 30.
  • the human area extraction unit 141 supplies the partial area ID and the number, position, and size related to the partial area ID to the human flow information generation unit 142.
  • the human flow information generation unit 142 receives the partial area ID and the number, position, and size related to the partial area ID from the human area extraction unit 141. Based on the number of people related to the extracted partial region, the extracted partial region, and the direction and movement of the crowd related to the partial region, the human flow information generation unit 142 Then, human flow information including the movement state of the person included in the partial area and information representing the person's area is generated.
  • the human flow information generation unit 142 receives an estimation result including the partial region ID and information indicating the direction of the crowd from the crowd direction estimation unit 12. Further, the human flow information generation unit 142 receives an estimation result including the partial region ID and the motion amount from the motion amount estimation unit 13. The human flow information generation unit 142 extracts, from the estimation result received from the crowd direction estimation unit 12, information representing the crowd direction associated with the same partial region ID as the partial region ID received from the human region extraction unit 141. .
  • the human flow information generation unit 142 extracts a motion amount associated with the same partial region ID as the partial region ID received from the human region extraction unit 141 from the estimation result received from the motion amount estimation unit 13. Then, the human flow information generation unit 142 determines whether or not the crowd has movement based on the extracted movement amount. Specifically, when the amount of movement is greater than a predetermined value, the human flow information generation unit 142 determines that there is movement in the crowd included in the partial region related to the amount of movement, and the amount of movement is equal to or less than the predetermined value. In this case, it is determined that there is no movement in the crowd included in the partial area related to the amount of movement. The human flow information generation unit 142 generates information indicating the presence or absence of a crowd movement based on the determination result.
  • the human flow information generation unit 142 sets, for each partial area, information indicating the direction of the crowd related to the partial area and information indicating the presence or absence of the movement of the crowd as the movement state of the person included in the partial area. .
  • the human flow information generation unit 142 uses the position and size of the partial area received from the human area extraction unit 141 in the input image as information representing the human area.
  • the human flow information generation unit 142 includes the number of people related to the partial area received from the human area extraction unit 141, the movement state of the person included in the partial area, and information indicating the person's area. Generate information.
  • FIG. 4 is a diagram illustrating an example of the input image.
  • the partial areas P1 to P4 are represented by rectangular areas on the input image shown in FIG.
  • the partial area P1 includes a crowd of five people who are facing downward on the screen
  • the partial area P3 includes a crowd of three persons who move to the right of the screen.
  • the partial area P2 and the partial area P4 are areas where there is no crowd.
  • FIG. 5 is a diagram in which information related to the partial area is described for each partial area ID indicating the partial area.
  • the partial area ID representing the partial area P1 is IDP1.
  • the partial area ID of the partial area P2 is IDP2
  • the partial area ID of the partial area P3 is IDP3
  • the partial area ID of the partial area P4 is IDP4.
  • the number of people shown in FIG. 5 is the number of people related to each partial region ID, and the number of people estimated by the number of people estimation unit 11 for the partial region indicated by the partial region ID. 5 is the position and size of the partial area indicated by the partial area ID in the input image, and is information representing the partial area stored in the storage device 30. In the example of FIG.
  • the position of the partial area is expressed by the upper left coordinates of the rectangular area indicated by the broken line frame in FIG. 4, and the size of the partial area is expressed by the number of vertical and horizontal pixels.
  • the method of expressing the position and size of the partial region is not limited to this, and any method may be adopted.
  • the direction of the crowd included in the movement state of the person shown in FIG. 5 represents the direction of the crowd included in the partial area indicated by the partial area ID, and the crowd direction estimation unit 12 estimates the partial area.
  • the presence or absence of crowd movement included in the movement state of the person shown in FIG. 5 represents the presence or absence of crowd movement determined by the human flow information generation unit 142 based on the movement amount estimated by the movement amount estimation unit 13. “Yes” indicates that there is movement in the crowd included in the partial area, and “No” indicates that there is no movement in the crowd included in the partial area.
  • the human flow information generation unit 142 generates, as human flow information, the number of people, the position and size of the partial area, which is information representing the person's area, and the movement state of the person associated with the partial area ID “IDP1”. Similarly, the human flow information generation unit 142 generates, as human flow information, the number of people, the position and size of the partial area, which is information representing the person's area, and the movement state of the person associated with the partial area ID “IDP3”. To do.
  • FIG. 6 is a flowchart showing an example of the operation of the human flow estimation apparatus 10 according to the present embodiment.
  • description will be made assuming that the image captured by the imaging device 20 is input to the human flow estimation device 10.
  • the human flow estimation device 10 estimates the number of people included in the partial region of the input image by the number of people estimation unit 11 (step S61).
  • the crowd direction estimation unit 12 estimates the crowd direction in the partial region of the input image (step S62).
  • the motion amount estimation unit 13 estimates the motion amount in the partial region of the input image (step S63). Steps S61 to S63 are performed for each of a plurality of partial areas included in the input image. Further, step S61 to step S63 may be performed in any order.
  • the generation unit 14 extracts a partial area where a person exists from a plurality of partial areas based on the number of people. Then, the generation unit 14 is a human flow that is information about a human flow representing a human flow in the partial area based on the number of people, the extracted partial area, and the direction and amount of movement of the crowd related to the partial area. Information is generated (step S64). This human flow information includes the number of people related to the partial area, the movement state of the person included in the partial area, and information indicating the area of the person.
  • the human flow estimation device 10 ends the process.
  • FIG. 7 is a flowchart illustrating an example of the operation of the generation unit 14 according to the present embodiment.
  • the human region extraction unit 141 of the generation unit 14 selects one partial region whose number of people is estimated by the number of people estimation unit 11 from among the plurality of partial regions (step S71). Then, the human region extraction unit 141 determines whether or not the number of people estimated by the number of people estimation unit 11 in step S61 is greater than a predetermined value for the selected partial region (step S72). If the estimated number of persons is equal to or less than the predetermined value (NO in step S72), generation unit 14 causes the process to proceed to step S81.
  • the human area extracting unit 141 extracts this partial area as a partial area where a person exists (step S73). Then, the human region extraction unit 141 acquires the position and size of the extracted partial region in the input image from the storage device 30 (step S74). Thereafter, the human flow information generation unit 142 estimates the crowd estimated for the partial area extracted in step S73 from the crowd direction with respect to each of the plurality of partial areas estimated by the crowd direction estimation unit 12 in step S62. The direction is extracted (step S75). Further, the human flow information generation unit 142 calculates the motion amount estimated for the partial region extracted in step S73 from the motion amount for each of the plurality of partial regions estimated by the motion amount estimation unit 13 in step S63. Extract (step S76).
  • the human flow information generation unit 142 determines whether or not the amount of motion extracted in step S76 is greater than a predetermined value (step S77). If the amount of movement is greater than the predetermined value (YES in step S77), human flow information generation unit 142 determines that there is movement in the crowd included in the partial area related to the amount of movement (step S78). If the amount of movement is equal to or less than the predetermined value (NO in step S77), the human flow information generation unit 142 determines that there is no movement in the crowd included in the partial area related to the amount of movement (step S79).
  • step S75 may be performed after step S76 to step S79, or may be performed simultaneously with the processing of step S76 to step S79.
  • the human flow information generation unit 142 generates human flow information including the number of people, the movement state of the person included in the partial area, and information indicating the person's area with respect to the partial area selected in step S71 (step S80).
  • the movement state of the person includes information indicating the direction of the crowd extracted in step S75 and information indicating the presence or absence of the movement of the crowd determined in step S78 or step S79.
  • the information representing the person's area includes the position and size of the partial area acquired in step S74.
  • step S81 determines whether there exists any unselected partial area
  • the generation unit 14 ends the process of step S64.
  • the human flow estimation apparatus 10 estimates the number of persons included in the partial area of the input image, the direction of the crowd in the partial area, and the amount of motion in the partial area. Based on the estimated number of people, the human flow estimation device 10 extracts a partial area where a person exists from a plurality of partial areas. Then, based on the extracted partial area and the direction and amount of movement of the crowd related to the partial area, the human flow estimation device 10 moves the number of people related to the partial area and the movement of people included in the partial area. Human flow information including the state and information representing the person's area is generated. As described above, the human flow estimation apparatus 10 according to the present embodiment estimates the human flow without tracking the plurality of people included in the input image. As a result, the human flow estimation device 10 according to the present embodiment is robust from an image that is shot in a crowded environment in which people frequently overlap and is transmitted at a low frame rate. The human flow can be estimated.
  • the number estimation unit 11 estimates the number of people included in the partial area for each partial area included in the input image.
  • the crowd direction estimation part 12 estimates the direction of the crowd in each partial area included in the input image.
  • the number-of-people estimation unit 11 and the crowd direction estimation unit 12 use the partial area-based learning that can be learned including overlapping of people, and the number of people necessary for estimating the human flow from one image that is not affected by the frame rate. And estimating the orientation of the crowd.
  • the human flow estimation device 10 can capture images in a congested environment in which people frequently overlap and transmit images at a low frame rate. The number of people and the direction of the crowd can be estimated.
  • the motion amount estimation unit 13 calculates the motion amount for each partial region included in the input image using partial region-based learning or estimation robust to the frame rate.
  • the generation unit 14 uses the estimated amount of motion to determine whether or not there is movement in the crowd in the partial area, thereby converting the information into information representing the presence or absence of movement relatively independent of the frame rate.
  • generation part 14 produces
  • the human flow estimation device 10 can more robustly estimate the human flow from the image even in an image captured in a congested environment and transmitted at a low frame rate.
  • the human flow estimation apparatus 10 it can be seen that the crowd included in the partial region P1 shown in FIG. 4 is five people and stays facing downward. Thereby, it can be estimated that this crowd is interested in the downward direction.
  • the human flow estimation device 10 estimates the human flow, so that, for example, the manager of the human flow estimation device 10 can be notified of how many people are in which region and in what direction. it can.
  • the generation unit 14 of the human flow estimation device 10 extracts a partial area in which the number of persons estimated by the number of persons estimation unit 11 is greater than a predetermined value as a partial area where a person exists, and the extraction is performed. Human flow information is generated for each partial area. Thereby, the human flow estimation apparatus 10 can output the human flow information of a crowd including more people than the number of users desired by the user of the human flow estimation apparatus 10, for example.
  • a person is described, but a person may be replaced with a specific object.
  • the crowd direction estimation unit 12 and the motion amount estimation unit 13 estimate the crowd direction and the motion amount with respect to all partial regions.
  • the crowd direction estimation unit 12 and the motion amount estimation unit 13 may be configured to estimate the crowd direction and the motion amount only for a partial region where there are more than a predetermined number of people.
  • the process of the human flow estimation device 10 in the case where the crowd direction estimation unit 12 and the motion amount estimation unit 13 are configured to estimate the crowd direction and the motion amount only for a partial region where a person exists will be described.
  • FIG. 8 is a flowchart showing an example of the processing flow of the human flow estimation device 10 according to this modification.
  • the same processes as those shown in FIGS. 6 and 7 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the human flow estimation device 10 estimates the number of people included in the partial region of the input image by the number of people estimation unit 11 (step S61).
  • the number estimation unit 11 supplies the partial region ID and the estimated number of people to the generation unit 14 as an estimation result.
  • the human region extraction unit 141 of the generation unit 14 selects one partial region in which the number of people is estimated by the number of people estimation unit 11 from the plurality of partial regions (step S71). Then, the human region extraction unit 141 determines whether or not the number of people estimated by the number of people estimation unit 11 in step S61 is greater than a predetermined value for the selected partial region (step S72). If the estimated number of persons is equal to or less than the predetermined value (NO in step S72), generation unit 14 causes the process to proceed to step S81.
  • the human area extracting unit 141 extracts this partial area as a partial area where a person exists (step S73). Further, the human region extraction unit 141 acquires the position and size of the extracted partial region in the input image from the storage device 30 (step S74).
  • the crowd direction estimation unit 12 estimates the crowd direction in the partial region extracted by the human region extraction unit 141 in step S73 (step S91). Further, the motion amount estimation unit 13 estimates the crowd motion amount of the partial area extracted by the human region extraction unit 141 in step S73 (step S92).
  • step S77 determines whether or not the amount of motion extracted in step S92 is larger than a predetermined value. If the amount of movement is greater than the predetermined value (YES in step S77), human flow information generation unit 142 determines that there is movement in the crowd included in the partial area related to the amount of movement (step S78). If the amount of movement is equal to or less than the predetermined value (NO in step S77), the human flow information generation unit 142 determines that there is no movement in the crowd included in the partial area related to the amount of movement (step S79). Note that step S91 may be performed after step S92 and steps S77 to S79, or may be performed simultaneously with the processes of step S92 and steps S77 to S79.
  • the human flow information generation unit 142 generates human flow information including the number of people, the movement state of the person included in the partial area, and information indicating the person's area with respect to the partial area selected in step S71 (step S80).
  • the movement state of the person includes information indicating the direction of the crowd estimated in step S91 and information indicating the presence or absence of the movement of the crowd determined in step S78 or step S79.
  • the information representing the person's area includes the position and size of the partial area acquired in step S74.
  • step S81 determines whether there exists any unselected partial area
  • the human flow estimation apparatus 10 ends the process.
  • the crowd direction estimation unit 12 and the motion amount estimation unit 13 estimate the crowd direction and the amount of motion for the partial region including more people than the predetermined number by the human region extraction unit 141.
  • the processing amount concerning an estimation process can be reduced rather than the human flow estimation apparatus 10 which concerns on 1st Embodiment.
  • FIG. 9 is a diagram illustrating an example of a functional configuration of the human flow estimation device 40 according to the present embodiment.
  • the human flow estimation system 100 including the human flow estimation device 40 according to the present embodiment is configured to include the human flow estimation device 40 instead of the human flow estimation device 10 of the human flow estimation system 100 described with reference to FIG. Since the configuration of is the same, the description thereof is omitted.
  • members similar to those explained in the first embodiment are given the same reference numerals, and explanation thereof is omitted.
  • the human flow estimation device 40 includes a crowd direction estimation unit 42, a motion amount estimation unit 13, and a generation unit 44.
  • the human flow estimation device 40 according to the present embodiment includes a crowd direction estimation unit 42 instead of the crowd direction estimation unit 12 and replaces the generation unit 14 with respect to the human flow estimation device 10 according to the first embodiment described above.
  • the generation unit 44 is provided, and the number of people estimation unit 11 is not provided.
  • the crowd direction estimation unit 42 estimates the direction of the crowd in the partial area of the input image input to the human flow estimation device 40, and calculates the reliability corresponding to the direction.
  • the crowd direction estimation unit 42 supplies information indicating the partial area where the crowd direction is estimated, the estimated crowd direction, and the calculated reliability to the generation unit 44.
  • the motion amount estimation unit 13 estimates the motion amount in the partial region of the input image, similarly to the motion amount estimation unit 13 of the human flow estimation device 10 according to the first embodiment.
  • the motion amount estimation unit 13 supplies information indicating the partial region in which the motion amount is estimated and the estimated motion amount to the generation unit 44.
  • the generation unit 44 determines the flow of people in the partial area. Human flow information that is information about the human flow to be represented is generated.
  • the generation unit 44 generates human flow information including, for example, information representing a person's movement state including the direction of the crowd and the amount of movement, and the person's area.
  • the human flow estimation device 40 estimates the human flow without tracking.
  • the human flow estimation device 40 according to the present embodiment increases the human flow from the image even when the image is captured in a congested environment where people overlap frequently and is transmitted at a low frame rate. The accuracy can be estimated.
  • the human flow estimation device 40 estimates the crowd direction in a partial region of the input image input to the human flow estimation device 40. Specifically, the crowd direction estimation unit 42 targets each partial area image in the image specified by each predetermined partial area from the image captured by the imaging device 20, Estimate the direction of the crowd. In other words, the crowd direction estimation unit 42 estimates the direction of the crowd for each partial area in the input image based on the position and size of each partial area stored in the storage device 30.
  • the crowd direction estimation is the same as that of the crowd direction estimation unit 12 described above.
  • the crowd direction estimation unit 42 calculates the reliability of the estimated crowd direction.
  • the reliability of the direction of the crowd represents the estimated degree of reliability of the direction of the crowd, and the reliability is higher when the reliability is higher. For example, when there is no person in the partial area, the calculated reliability is low. Accordingly, it can be seen that when the reliability is a lower value, no person is included in the related partial area, and when the reliability is a higher value, the person is included in the related partial area.
  • an estimator that outputs a vector indicating the direction of the crowd as the direction of the crowd in the partial region and expressing the reliability of the direction in magnitude is obtained by regression learning in advance. deep.
  • the crowd direction estimation unit 42 inputs the partial region image to the estimator to estimate the crowd direction. Since the estimation result of the crowd direction is obtained as the above vector, the crowd direction estimation unit 42 can obtain the reliability of the crowd direction from the magnitude of the vector.
  • the crowd direction estimation unit 42 may output a numerical value that becomes higher as it approaches the size of the learned vector.
  • an estimator that outputs an angle indicating the direction of the crowd as the direction of the crowd in the partial area image may be obtained in advance by regression learning.
  • the crowd direction estimation unit 42 inputs the partial region image to the estimator to estimate the crowd direction. Since the estimation result of the crowd direction is obtained as an angle value, the crowd direction estimating unit 42 can obtain the reliability of the crowd direction from the angle value.
  • the crowd direction estimation unit 42 may output a numerical value that becomes higher as it approaches the range of 0 to 360 degrees as the reliability.
  • the probability that the direction of the crowd in the partial area image corresponds to an angle indicating the direction of the crowd is output at every predetermined angle (for example, every 10 degrees).
  • the device may be obtained in advance by identification learning.
  • the crowd direction estimation unit 42 inputs a partial region image to the estimator to obtain a probability corresponding to an angle for each angle at a predetermined interval.
  • the crowd direction estimation unit 42 estimates the angle that is the highest probability as the direction of the crowd. Since the estimation result of the crowd direction is obtained as an angle probability, the crowd direction estimation unit 42 can obtain the reliability of the crowd direction from the probability.
  • the crowd direction estimation unit 42 is an angle that is estimated to be the direction of the crowd, the probability of the angle is high, and when the probability of the angle is low at other angles, the angle is high, and the probability is the same value at any angle. In some cases, a low numerical value may be output as the reliability. Note that the method of estimating the reliability of the crowd direction is not limited to the above example.
  • the generation unit 44 receives from the crowd direction estimation unit 42 the partial region ID, information indicating the crowd direction estimated by the crowd direction estimation unit 42, and the reliability. Further, the generation unit 44 receives the partial region ID and the motion amount estimated by the motion amount estimation unit 13 from the motion amount estimation unit 13.
  • generation part 44 extracts the partial area
  • the generation unit 44 uses a plurality of partial areas based on the reliability related to each partial area in the input image based on the position and size of each partial area stored in the storage device 30. Extract the partial region where exists. Then, the generation unit 44, based on the extracted partial area and the direction and movement amount of the crowd related to the partial area, information indicating the person's movement state and the person's area included in the partial area Generate human flow information including Thereby, the human flow estimation apparatus 40 can output the human flow information regarding the human flow.
  • FIG. 10 is a functional block diagram illustrating an example of a functional configuration of the generation unit 44 in the human flow estimation device 40 according to the present embodiment.
  • the generation unit 44 includes a human region extraction unit 441 and a human flow information generation unit 442.
  • the human region extraction unit 441 receives the partial region ID and the reliability output from the crowd direction estimation unit 42 as inputs.
  • the human area extraction unit 441 extracts, for each partial area, a partial area where a person exists from a plurality of partial areas based on the reliability. Specifically, the human region extraction unit 441 extracts a partial region having a reliability higher than a predetermined value from the plurality of partial regions as a partial region where a person exists. Then, the human region extraction unit 441 acquires the position and size of the extracted partial region in the input image from the storage device 30.
  • the storage device 30 stores the partial region ID and the position and size of the partial region indicated by the partial region ID in the input image in association with each other. Therefore, the human region extraction unit 441 acquires the position and size in the input image associated with the partial region ID of the extracted partial region from the storage device 30.
  • the human area extraction unit 441 supplies the partial area ID and the position and size related to the partial area ID to the human flow information generation unit 442.
  • the human flow information generation unit 442 receives the partial region ID and the position and size related to the partial region ID from the human region extraction unit 441. Based on the extracted partial area and the direction and amount of movement of the crowd related to the partial area, the human flow information generation unit 442 includes information on the movement state of the person included in the partial area and the information indicating the person's area. Generate human flow information including As described above, the human flow information generated by the human flow information generation unit 442 is configured so as not to include the number of people related to the partial area with respect to the human flow information generated by the human flow information generation unit 142.
  • the movement state of the person included in the partial area included in the human flow information generated by the human flow information generation unit 442 and information representing the person's area are included in the partial area included in the human flow information generated by the human flow information generation unit 142. This is the same as the information indicating the movement state of the person and the area of the person.
  • FIG. 11 is a flowchart showing an example of the operation of the human flow estimation device 40 according to the present embodiment.
  • the description will be made assuming that the image captured by the imaging device 20 is input to the human flow estimation device 40.
  • the human flow estimation device 40 estimates the direction of the crowd in the partial region of the image to which the crowd direction estimation unit 42 has been input, and calculates the reliability corresponding to the direction (Ste S111). Further, the motion amount estimation unit 13 estimates the motion amount in the partial area of the input image (step S112). Steps S111 and S112 are performed for each of a plurality of partial areas included in the input image. Moreover, step S111 and step S112 may be performed in reverse order or may be performed simultaneously.
  • the generation unit 44 After step S111 and step S112, the generation unit 44 generates human flow information, which is information related to the human flow representing the flow of people in the partial area, based on the direction of the crowd, the reliability corresponding to the direction, and the amount of movement. (Step S113).
  • This human flow information includes a movement state of a person included in the partial area and information representing the person's area.
  • the human flow estimation device 40 ends the process.
  • FIG. 12 is a flowchart illustrating an example of the operation of the generation unit 44 according to the present embodiment.
  • the human region extraction unit 441 of the generation unit 44 selects one partial region from the plurality of partial regions (step S121). Then, the human region extraction unit 441 has, for the selected partial region, the reliability according to the direction related to the selected partial region calculated by the crowd direction estimation unit 42 in step S111 is higher than a predetermined value. It is determined whether or not (step S122). If the reliability corresponding to the orientation is equal to or smaller than the predetermined value (NO in step S122), generation unit 44 advances the process to step S131.
  • the human region extraction unit 441 extracts this partial region as a partial region where a person exists (step S123). Then, the human area extracting unit 441 acquires the position and size of the extracted partial area in the input image from the storage device 30 (step S124). Thereafter, the human flow information generation unit 442 uses the crowd direction estimated for the partial area extracted in step S123 from the crowd direction with respect to each of the plurality of partial areas estimated by the crowd direction estimation unit 42 in step S111. The direction is extracted (step S125). In addition, the human flow information generation unit 442 calculates the motion amount estimated for the partial region extracted in step S123 from the motion amount for each of the plurality of partial regions estimated by the motion amount estimation unit 13 in step S112. Extract (step S126).
  • the human flow information generation unit 442 determines whether or not the amount of motion extracted in step S126 is greater than a predetermined value (step S127). If the amount of movement is greater than the predetermined value (YES in step S127), human flow information generation unit 442 determines that there is movement in the crowd included in the partial area related to the amount of movement (step S128). If the amount of movement is equal to or less than the predetermined value (NO in step S127), human flow information generation unit 442 determines that there is no movement in the crowd included in the partial area related to the amount of movement (step S129).
  • step S125 may be performed after step S126 to step S129, or may be performed simultaneously with the processing of step S126 to step S129.
  • the human flow information generation unit 442 generates human flow information including information on the movement state of the person included in the partial region and information representing the human region with respect to the partial region selected in step S121 (step S130).
  • the movement state of the person includes information indicating the direction of the crowd extracted in step S125 and information indicating the presence or absence of the movement of the crowd determined in step S128 or step S129.
  • the information representing the person's area includes the position and size of the partial area acquired in step S124.
  • step S131 determines whether there exists any unselected partial area
  • the generation unit 44 ends the process of step S113.
  • the motion amount estimation unit 13 of the human flow estimation device 40 is extracted by the human region extraction unit 441 based on the reliability output by the crowd direction estimation unit 42, not for all partial regions.
  • the amount of motion may be estimated for the partial area.
  • the crowd direction estimation unit 42 estimates the direction of the crowd in the partial region of the image, and calculates the reliability corresponding to the direction. Further, the motion amount estimation unit 13 estimates the motion amount in the partial area. And the production
  • the human flow estimation device 40 can extract a partial region where a person is present, and thus the human flow estimation device 40 according to the present embodiment is similar to the input of the human flow estimation device 10. It is possible to estimate a human flow without tracking a plurality of people included in an image. In other words, the human flow estimation device 40 according to the present embodiment accurately captures a human flow from an image that is shot in a crowded environment in which people frequently overlap and is transmitted at a low frame rate. Can be estimated. Further, since the human flow estimation device 40 does not include the function of the number of people estimation unit 11, the implementation can be simplified. In addition, the human flow estimation device 40 does not execute the processing of the number of people estimation unit 11 as compared with the human flow estimation device 10, and thus can achieve high-speed processing. Such a method is very effective when the number of people is not necessary as a human flow.
  • the display control device 55 includes a clustering unit 551 and a display control unit 552 as shown in FIG.
  • the clustering unit 551 clusters the partial areas of the image based on the distance between the partial areas, the direction of the crowd in the partial areas, and the similarity of the movement with respect to the partial areas indicated as the human flow in the image.
  • the display control unit 552 calculates, for each group, a group state indicating the region, orientation, movement, and number of the clustered group based on the information on the human flow of the clustered partial region, and the group state is different for each group. Display on the screen in display mode. Although the display control unit 552 displays the group state on the screen, it may be output to the outside as information.
  • the display control device 55 is information that represents a human flow estimated from an image captured in a congested environment in which people frequently overlap and transmitted at a low frame rate. Can be used to display the state of human flow for each group on the screen. Thereby, the display control apparatus 55 can make the user who looked at this screen understand a human flow state more clearly.
  • the display control device 55 will be described in more detail.
  • the human flow estimation device 50 including the display control device 55 according to the present embodiment will be described with reference to FIG.
  • the human flow estimation device 50 includes a number estimation unit 11, a crowd direction estimation unit 12, a motion amount estimation unit 13, a generation unit 14, and a display control device 55.
  • the human flow estimation device 50 is configured to further include a display control device 55 in the human flow estimation device 10 according to the first embodiment described above.
  • FIG. 15 is a block diagram showing an example of the configuration of a human flow estimation system 500 including the human flow estimation device 50.
  • the human flow estimation system 500 includes an imaging device 20, a storage device 30, a human flow estimation device 50, and a display device 60.
  • the display device 60 is communicably connected to the human flow estimation device 50.
  • the display device 60 is realized by, for example, a liquid crystal display.
  • the display device 60 displays a screen based on the control from the human flow estimation device 50.
  • the display control device 55 receives the human flow information output from the generation unit 14 as an input.
  • the human flow information includes the number of people related to the partial area, the movement state of the person included in the partial area, and information indicating the area of the person.
  • the movement state of the person includes information indicating the direction of the crowd related to the partial area and information indicating the presence or absence of the movement of the crowd.
  • the information representing the human region includes the position and size of the partial region in the input image.
  • the clustering unit 551 clusters the partial areas of the image based on the human flow information. Specifically, the clustering unit 551 calculates the distance between the partial areas from the position and size of each partial area indicated as the human flow included in the human flow information. The distance between the partial areas may be a simple distance depending on the position between the partial areas, or may be a distance calculated using an index that considers the size of the partial area in addition to the position of the partial area. Further, the clustering unit 551 calculates the similarity of the direction of the crowd between the partial areas. Further, the clustering unit 551 calculates the similarity of motion between the partial areas. The similarity of motion may be, for example, similarity of motion amount or similarity of presence / absence of motion determined from the motion amount.
  • the clustering unit 551 clusters the partial regions of the image based on the calculated similarity. Then, the clustering unit 551 supplies the clustered partial area human flow information obtained as a result of the clustering to the display control unit 552. That is, for each cluster (referred to as a group), the clustering unit 551 supplies the flow control information of partial areas included in the group to the display control unit 552.
  • the display control unit 552 receives, from the clustering unit 551, human flow information of partial areas included in the group for each group.
  • the display control unit 552 obtains a group state indicating the group area, orientation, movement, and number of people for each clustered group.
  • the group area is an area calculated from the positions and sizes of the partial areas belonging to the clustered group, and includes all the partial areas belonging to the group.
  • the direction of the group is the direction of the crowd included in the group, and is an average value or a mode value calculated from the direction of the crowd related to each partial region belonging to the clustered group.
  • the direction of the group may be a value other than the above as long as it is a value calculated from the direction of the crowd related to each partial region belonging to the clustered group.
  • the movement of the group represents the movement of the crowd included in the group, for example, the presence or absence of the movement of the crowd included in the group.
  • the movement of the group is obtained from the presence or absence of the movement of the crowd included in each partial region belonging to the clustered group.
  • the clustering unit 551 indicates that there is movement. Clustering is performed so that the partial area having information and the partial area having information indicating that there is no movement belong to different groups. Therefore, the information on the presence / absence of the movement of the crowd related to each partial area belonging to the group is the same information. Therefore, when the information indicating the movement of the crowd included in the group is information indicating the presence or absence of movement, the information indicating the presence or absence of movement related to any of the partial areas belonging to the group represents the movement of the crowd included in the group. Information.
  • the number of people in the group is the total number of people in each partial area belonging to the clustered group.
  • the display control unit 552 displays the group state on the screen in different display modes for each group. That is, the display control unit 552 generates a control signal for controlling the group state to be displayed on the screen in a display mode that is different for each group, and outputs the control signal to the display device 60.
  • the display device 60 can display a screen based on this control signal.
  • FIG. 16 is a diagram for explaining a screen (also referred to as a display screen) displayed on the display device 60.
  • 17 and 18 are diagrams illustrating an example of a display screen displayed by the display device 60.
  • the input image displayed on the display device 60 and the partial areas and groups of the input image will be described with reference to FIG.
  • the input image IM is an image including a crowd that exists on the upper left side of the image and a crowd that exists on the right side of the center.
  • 24 partial areas obtained by dividing the input image IM vertically into 4 parts and horizontally into 6 parts are set.
  • the boundary lines of the partial areas are represented by broken lines.
  • Pxy (x is a number from 1 to 4 and y is a number from 1 to 6) is a code representing each partial region. 17 and 18, for convenience of explanation, reference numerals representing the partial areas are not displayed, but it is assumed that the same reference numerals are given to the partial areas at the same positions as in FIG. 16.
  • the groups CL1 to CL3 in FIG. 16 represent partial regions clustered by the clustering unit 551.
  • the group CL1 includes a partial region P11 and a partial region P12.
  • Group CL2 includes partial region P34.
  • the group CL3 includes a partial region P14, a partial region P23, a partial region P24, a partial region P25, a partial region P33, and a partial region P35.
  • FIG. 17 the broken line indicating the boundary of the partial area is displayed as in FIG. 16, but it may not be displayed.
  • the display control unit 552 display the group area so as to surround the partial area belonging to the group.
  • the group area may be displayed on the boundary line of the partial area included in the group, for example, as a solid line frame representing the group CL3.
  • the display control unit 552 may display the group area so as to surround the partial area, like a dashed-dotted line frame representing the groups CL1 and CL2 in FIG.
  • the group region displayed by the display control unit 552 may not be a frame combining straight lines as shown in FIG. 17, but may be a curve as shown in FIG.
  • the number of people, the direction of the crowd, and the movement of the crowd included in the human flow information related to the partial area included in each group are displayed for each partial area.
  • the human flow information related to the partial region P11 includes information indicating that the number of persons is “5” and that the movement state of the person is downward and has no movement.
  • the display control unit 552 uses “5 people” in the area of the partial area P11, “no movement” indicating no movement, and a downward arrow indicating that the crowd is pointing down. Is displayed.
  • the number of people, an arrow, and a character string indicating the presence or absence of movement are displayed for other partial areas included in each group. The presence / absence of movement may be expressed using, for example, a symbol “ ⁇ ” or “x” instead of a character string.
  • the display control unit 552 may further display information representing the group state on the screen shown in FIG. For example, it is assumed that the group CL1 includes twelve people, and the twelve people are facing down and do not move.
  • the display control unit 552 may generate group state information representing such a group state and display it on the screen.
  • the display control unit 552 may display, as group state information, a character string representing the group state “a crowd where 12 people stay down” using a balloon or the like related to the group CL1.
  • the display control unit 552 displays, on the screen, a character string representing a group state “a crowd of four people facing right” on the screen for the group CL2, and “moves to the right for the group CL3.
  • a character string representing the group state of “13 people crowd” may be displayed on the screen.
  • the display control unit 552 generates group state information using the word “move” when there is movement from the information indicating the presence or absence of movement, and uses the word “stay” when there is no movement.
  • Group state information is generated, but the word indicating the presence or absence of movement is not limited to this.
  • the display control unit 552 may display arrows (AR1 to AR3) expressing the direction of the group and the movement of the group by the direction and the size, respectively, on the display screen.
  • the display control apparatus 55 can make a user understand the state of a human flow more clearly.
  • the display control unit 552 may change the length of the arrow according to the speed of the crowd.
  • the display control unit 552 display the arrow so that the starting point of the arrow is located at the approximate center of gravity of the group area. As a result, the user can clearly understand which group the arrow is for.
  • the display control unit 552 displays the number of people in the group so as to be located in or near the group area. For example, for the group CL1, the display control unit 552 displays 12 people who are the number of the group CL1 in a frame representing the group CL1. The display control unit 552 also displays, for example, 13 people who are the number of the group CL3 in the vicinity of the frame representing the group CL3 with respect to the group CL3.
  • the display control device 55 displays the group information, so that the user can more clearly understand the state of the human flow for each group.
  • FIG. 19 is a flowchart showing an example of the operation of the display control device 55 according to the present embodiment. In FIG. 19, it is assumed that the clustering unit 551 of the display control device 55 receives human flow information from the generation unit 14.
  • the clustering unit 551 determines the partial areas of the image based on the distance between the partial areas, the direction of the crowd in the partial areas, and the similarity of the movement with respect to the partial areas shown as the human flow in the image. Clustering is performed (step S191).
  • the display control unit 552 calculates, for each group, a group state indicating the region, orientation, movement, and number of the clustered group based on the information on the human flow of the clustered partial region, and displays the group state differently for each group. It controls to display on the screen in a mode (step S192).
  • the display control device 55 ends the process.
  • the display control device 55 uses the partial area based on the distance between the partial areas, the direction of the crowd in the partial areas, and the similarity of movement based on the human flow information for each partial area. Are clustered. Then, based on the human flow information of the clustered partial areas, a group state is calculated for each group, and the calculated group state is displayed on the display device in a different display mode for each group. Thereby, the screen on which the group state is displayed in a different manner for each group is displayed on the display device. As described above, the user flow is highlighted and displayed in an easily understandable unit meaning the group state, so that the user who sees this screen can understand the human flow state more clearly. Thus, since the display control apparatus 55 displays the group state for each group, the user can visually understand the state of the human flow more clearly.
  • the human flow estimation device 50 provided with such a display control device 55 is similar to the human flow estimation device 10 described above, even if it is an image shot in a congested environment and transmitted at a low frame rate.
  • the human flow can be estimated with high accuracy.
  • the display control device 55 has been described with respect to the configuration provided in the human flow estimation device 10 according to the above-described first embodiment.
  • the display control device 55 is the second embodiment.
  • the structure with which the human flow estimation apparatus 40 which concerns on this form is equipped may be sufficient. That is, the human flow estimation device 40 may be configured to further include a display control device 55 in addition to the crowd direction estimation unit 42, the motion amount estimation unit 13, and the generation unit 44.
  • the display control device 55 can display the direction and movement of the crowd.
  • the human flow estimation apparatus 40 can also make a user understand the state of a human flow more clearly visually similarly to the human flow estimation apparatus 50 which concerns on this Embodiment.
  • the display control apparatus 55 which concerns on this Embodiment is a structure provided with the number estimation part 11, the crowd direction estimation part 12, the motion amount estimation part 13, and the production
  • each component of each human flow estimation device and display control device represents a functional unit block. Some or all of the components of each human flow estimation device and display control device are realized by, for example, an arbitrary combination of an information processing device 900 and a program as shown in FIG.
  • FIG. 20 is a block diagram illustrating an example of a hardware configuration of an information processing device 900 that realizes each component of each human flow estimation device and display control device.
  • the information processing apparatus 900 includes the following configuration as an example.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a program 904 loaded into the RAM 903
  • a storage device 905 that stores the program 904
  • a drive device 907 that reads / writes data from / to the recording medium 906
  • a communication interface 908 connected to the communication network 909
  • Each component of each human flow estimation device and display control device in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions.
  • a program 904 that realizes the function of each component of each human flow estimation device is stored in advance in the storage device 905 or the ROM 902, for example, and is read by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
  • each human flow estimation device may be realized by an arbitrary combination of an information processing device 900 and a program that are different for each component.
  • a plurality of components included in each human flow estimation device and display control device may be realized by any combination of one information processing device 900 and a program.
  • each human flow estimation device and display control device are realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
  • each human flow estimation device and display control device may be realized by a combination of the above-described circuit and the like and a program.
  • each human flow estimation device and display control device When some or all of the components of each human flow estimation device and display control device are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged. However, it may be distributed.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • a human flow estimation device that can estimate a human flow from a moving image that is captured in a crowded environment and transmitted at a low frame rate, and the human flow estimation device are provided. It can be applied to uses such as a program for realizing on a computer.
  • the human flow estimation device according to the present disclosure is a device / function that performs suspicious person recognition / remaining suspicious object recognition, abnormal state recognition, and abnormal behavior recognition in a surveillance field that requires estimating a human flow from a camera / accumulated video. It can be applied to such uses.
  • the human flow estimation device of the present disclosure can be applied to applications such as devices and functions for performing behavior analysis and environmental state analysis in the marketing field.
  • the human flow estimation device can be applied to an application such as an input interface that uses a human flow that is a result of human flow estimation from a camera / stored video.
  • the human flow estimation device of the present disclosure can be applied to uses such as a video / video search device / function using a human flow, which is a result of human flow estimation, as a trigger key.
  • a human flow estimation apparatus comprising: generating means for generating certain human flow information.
  • Appendix 2 The human area is the position and size of the extracted partial area in the image;
  • the human flow estimation device according to appendix 1, wherein the movement state of the person is the direction of the crowd related to the extracted partial area and the presence or absence of movement in the partial area.
  • the generating means determines whether or not the amount of motion related to the partial region is greater than a predetermined value, and determines that there is motion in the partial region if the amount of motion is greater than the predetermined value.
  • the human flow estimation device according to appendix 2, wherein when the amount of motion is equal to or less than the predetermined value, it is determined that there is no motion in the partial area.
  • the generating means extracts a partial area in which the estimated number of persons is larger than a predetermined value as a partial area where the person exists, and generates the human flow information for the extracted partial area.
  • the human flow estimation apparatus according to any one of 1 to 3.
  • the crowd direction estimation unit and the motion amount estimation unit respectively estimate the crowd direction and the amount of motion with respect to the partial areas extracted by the generation unit,
  • the generating means generates the human flow information based on the crowd direction and the amount of movement estimated with respect to the extracted partial region.
  • the human flow estimation device according to 1.
  • Appendix 6 The human flow estimation device according to any one of appendices 1 to 5, wherein the number of persons estimating means estimates the number of persons using an estimator obtained by learning for each partial region.
  • a crowd orientation estimating means for estimating the orientation of the crowd in a partial area of the image and calculating a reliability according to the orientation;
  • a motion amount estimating means for estimating a motion amount in the partial area;
  • Generating means for generating human flow information, which is information related to human flow representing the flow of people in the partial area, based on the direction of the crowd, the reliability according to the direction, and the amount of movement. Characteristic human flow estimation device.
  • (Appendix 8) Clustering means for clustering the partial areas of the image based on the similarity of the human flow information related to the partial areas; Display control means for calculating a group state of the clustered group for each group based on the human flow information of the clustered partial area and controlling the group state to be displayed on a screen in a different display mode for each group;
  • the human flow estimation device further comprising:
  • Appendix 10 10. The human flow estimation device according to any one of appendices 1 to 9, wherein the motion amount estimation means estimates the motion amount using an estimator obtained by learning for each partial region.
  • Clustering means for clustering the partial areas of the image based on the distance between the partial areas, the orientation of the crowd in the partial areas, and the similarity of the movements with respect to the partial areas shown as human flow in the image; Based on the human flow information of the clustered partial areas, a group state indicating the clustered group area, orientation, movement, and number of people is calculated for each group, and the group state is displayed on the screen in a display mode that is different for each group. And a display control means for controlling to display the display control device.
  • the display control means displays, for each group, the area of the group so as to surround a partial area belonging to the group, and the direction of the group and the movement of the group in the direction and the size of the arrow, respectively. 12.
  • (Appendix 14) Estimate the number of people included in the partial area of the image, Estimating the orientation of the crowd in the subregion, Estimating the amount of motion in the partial region; Based on the number of persons, a partial area where a person is present is extracted from the plurality of partial areas, the number of persons, the extracted partial area, the direction of the crowd related to the partial area, and the amount of movement Based on the number of people related to the partial area, the movement state of the person included in the partial area, and information on the human flow representing the flow of people in the partial area, A human flow estimation method characterized by generating certain human flow information.
  • the human area is the position and size of the extracted partial area in the image; 15.
  • the human flow estimation method according to claim 14, wherein the movement state of the person is a direction of the crowd related to the extracted partial area and presence / absence of movement in the partial area.
  • the human flow estimation method further includes: Clustering the partial regions of the image based on the similarity of the human flow information associated with the partial regions; Based on the human flow information of the clustered partial area, a group state of the clustered group is calculated for each group, and the group state is controlled to be displayed on a screen in a different display mode for each group.
  • the human flow estimation method according to Supplementary Note 16.
  • (Appendix 18) Clustering the partial areas of the image based on the distance between the partial areas, the orientation of the crowd in the partial areas, and the similarity of movement for the partial areas shown as human flow in the image, Based on the human flow information of the clustered partial areas, a group state indicating the clustered group area, orientation, movement, and number of people is calculated for each group, and the group state is displayed on the screen in a display mode that is different for each group.
  • a display control method characterized by controlling to display.
  • (Appendix 20) A process of estimating the number of people included in the partial area of the image; A process of estimating the direction of the crowd in the partial area; A process of estimating the amount of motion in the partial region; Based on the number of persons, a partial area where a person is present is extracted from the plurality of partial areas, the number of persons, the extracted partial area, the direction of the crowd related to the partial area, and the amount of movement Based on the number of people related to the partial area, the movement state of the person included in the partial area, and information on the human flow representing the flow of people in the partial area, A program for causing a computer to execute processing for generating certain human flow information.
  • the human area is the position and size of the extracted partial area in the image;
  • the program according to appendix 20, wherein the movement state of the person is a direction of the crowd related to the extracted partial area and presence / absence of movement in the partial area.
  • (Appendix 24) Clustering the partial areas of the image based on the distance between the partial areas, the direction of the crowd in the partial areas, and the similarity of movement for the partial areas shown as human flow in the image; Based on the human flow information of the clustered partial areas, a group state indicating the clustered group area, orientation, movement, and number of people is calculated for each group, and the group state is displayed on the screen in a display mode that is different for each group.
  • Appendix 25 In the control process, for each group, the group area is displayed so as to surround a partial area belonging to the group, and the direction of the group and the movement of the group are respectively indicated by the direction and size of the arrow. 25.

Abstract

混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定する技術を提供する。人流推定装置は、画像の部分領域に含まれる人数を推定する人数推定部と、部分領域における群衆の向きを推定する群衆向き推定部と、部分領域内の動き量を推定する動き量推定部と、人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出し、人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成部と、を備える。

Description

人流推定装置、表示制御装置、人流推定方法および記録媒体
　本開示は、人流推定装置、表示制御装置、人流推定方法および記録媒体に関する。
　人の領域および移動状態で構成される人の流れ（人流と呼ぶ）を推定する方法が考えられている。
　例えば、特許文献１には、撮像部から取得されるフレーム画像から、該フレーム画像に含まれる、人物の上半身を検出し、複数フレーム間で検出された検出結果から検出された上半身位置の距離が最小になる人物同士を同一の人と見なして、各人物の軌跡を生成する装置が記載されている。
　また、特許文献２には、複数の人を撮像した動画像の１フレームを構成する画像から、頭部モデルを設定し、該頭部モデルに基づいて、画像から人の頭部を抽出し、複数の画像の間で抽出された頭部を位置の近さや位置に基づく画像特徴量の近さで、互いに関連付けることで、人を追跡し、人数を計測する装置が記載されている。
　また、特許文献３には、カメラによって撮影された画像の画素の輝度値の変化から画素の速度ベクトルを求め、該速度ベクトルが示す所定の方向毎に速度場の分布状況を求めることにより、該画像中の人物形状画像とその移動方向を検出するシステムが記載されている。
　なお、群衆状態を認識するための識別器の辞書を機械学習する際に用いる教師データを生成する方法が特許文献４に記載されている。
特開２００９－２１１３１１号公報 特開２０１０－１９８５６６号公報 特開２００３－１０９００１号公報 国際公開第２０１４／２０７９９１号
　しかしながら、特許文献１～３に記載の技術では、低いフレームレートにおいて、人流を正確に推定できない可能性がある。その理由は、低いフレームレートにより、ある画像から取得される上半身位置や頭部位置と次の画像上におけるこれらの位置とが離れすぎると、位置間の距離等を条件として用いた追跡ができなくなるからである。また、低いフレームレートにより、ある画像から取得される頭部位置と次の画像から取得される頭部位置とが時間的に離れすぎると、画像上の見え方が大きく変化し、画像特徴量の近さで頭部を関連づけることが難しくなるからである。また、低いフレームレートにより、ある画像から取得される頭部位置と次の画像から取得される頭部位置とが位置的に離れすぎると、画像特徴量を関連付けるための探索範囲が広がり、関連付けが難しくなるからである。また、低いフレームレートにより、ある画像から取得される上半身位置や頭部位置が次の画像ではフレームアウトしやすくなり、追跡しにくくなるからである。また、低いフレームレートにより、ある画像から取得される情報と次の画像から取得される情報とが時間的に離れすぎると、物体の動きベクトルを正しく計算することが難しくなるからである。
　また、特許文献１～３に記載の技術では、混雑環境下において、人流を正確に推定できない可能性がある。その理由は、混雑環境下での人の重なりによって、頻繁に上半身や頭部が隠され、上半身や頭部が検出できなくなる可能性があるからである。また、混雑環境下での人の重なりによる隠れによって、画像特徴量を正しく取得しにくくなり、関連づけが難しくなるからである。また、混雑環境下での人の重なりによって、頻繁に人が隠され、動きベクトルを正しく計算することが難しくなるからである。
　本開示は、上記課題に鑑みてなされたものであり、その目的は、混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定する技術を提供することにある。
　本開示の一態様に係る人流推定装置は、画像の部分領域に含まれる人数を推定する人数推定手段と、前記部分領域における群衆の向きを推定する群衆向き推定手段と、前記部分領域内の動き量を推定する動き量推定手段と、前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備える。
　また、本開示の一態様に係る人流推定装置は、画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する群衆向き推定手段と、前記部分領域内の動き量を推定する動き量推定手段と、前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備える。
　また、本開示の一態様に係る表示制御装置は、画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を備える。
　また、本開示の一態様に係る人流推定方法は、画像の部分領域に含まれる人数を推定し、前記部分領域における群衆の向きを推定し、前記部分領域内の動き量を推定し、前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する。
　なお、上記人流推定装置または人流推定方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
　本開示によれば、混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
第１の実施の形態に係る人流推定装置の機能構成の一例を示す機能ブロック図である。 第１の実施の形態に係る人流推定装置を含む人流推定システムの構成の一例を示すブロック図である。 第１の実施の形態に係る人流推定装置における生成部の機能構成の一例を示す機能ブロック図である。 入力画像の一例を示す図である。 部分領域に関連する情報を、部分領域を示す部分領域ＩＤごとに記載した図である。 第１の実施の形態に係る人流推定装置の動作の一例を示すフローチャートである。 第１の実施の形態に係る人流推定装置の生成部の動作の一例を示すフローチャートである。 第１の実施の形態の変形例に係る人流推定装置の動作の一例を示すフローチャートである。 第２の実施の形態に係る人流推定装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る人流推定装置における生成部の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る人流推定装置の動作の一例を示すフローチャートである。 第２の実施の形態に係る人流推定装置の生成部の動作の一例を示すフローチャートである。 第３の実施の形態に係る表示制御装置の機能構成の一例を示す機能ブロック図である。 第３の実施の形態に係る表示制御装置を備える人流推定装置の機能構成の一例を示す機能ブロック図である。 第３の実施の形態における人流推定装置を含む人流推定システムの構成の一例を示すブロック図である。 表示装置に表示される表示画面を説明するための図である。 表示装置に表示される表示画面の一例を示す図である。 表示装置に表示される表示画面の一例を示す図である。 第３の実施の形態に係る表示制御装置の動作の一例を示すフローチャートである。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　＜第１の実施の形態＞
　本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る人流推定装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る人流推定装置１０は、人数推定部１１と、群衆向き推定部１２と、動き量推定部１３と、生成部１４とを備える。
　人数推定部１１は、人流推定装置１０に入力された画像（入力画像とも呼ぶ）の部分領域に含まれる人数を推定する。また、群衆向き推定部１２は、該部分領域における群衆の向きを推定する。また、動き量推定部１３は、該部分領域内の動き量を推定する。人数推定部１１、群衆向き推定部１２および動き量推定部１３は、夫々、人数、群衆の向きおよび動き量を、人流推定装置１０に入力された入力画像の複数の部分領域毎に推定する。部分領域は、入力画像の全体の領域よりも小さい領域を表す。つまり、入力画像の部分領域とは、この小さい領域内の画像を表す。人数推定部１１、群衆向き推定部１２および動き量推定部１３は夫々推定結果を生成部１４に供給する。このとき、人数推定部１１は、推定結果として、部分領域を示す情報（例えば、識別子）と、推定した人数とを生成部１４に供給する。同様に、群衆向き推定部１２は、推定結果として、部分領域を示す情報と、推定した群衆向きとを生成部１４に供給する。また、動き量推定部１３は、推定結果として、部分領域を示す情報と、推定した動き量とを生成部１４に供給する。
　生成部１４は、人数推定部１１から供給された人数と、群衆向き推定部１２から供給された群衆の向きと、動き量推定部１３から供給された動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する。具体的には、生成部１４は、部分領域毎に該部分領域に関連する推定結果である人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、生成部１４は、抽出された部分領域に関連する人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。人流情報は、上述した通り人の数と、人の移動状態と、人の領域とを表現する情報が含まれるため、人流を表現する情報であると言い換えることができる。
　このような構成により、本実施の形態に係る人流推定装置１０は、入力画像に含まれる複数の人に対して、追跡をすることなく、人流を推定している。これにより、本実施の形態に係る人流推定装置１０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
　本実施の形態に係る人流推定装置１０について、更に詳細に説明する。まず、図２を参照して、人流推定装置１０を含む人流推定システム１００について説明を行う。人流推定システム１００は、図２に示す通り、人流推定装置１０と、撮像装置２０と、記憶装置３０とを備える。人流推定装置１０と、撮像装置２０とは、互いに通信可能に接続している。また、人流推定装置１０と記憶装置３０とは互いに通信可能に接続している。なお、人流推定装置１０は、記憶装置３０を記憶部として内蔵する構成であってもよい。
　撮像装置２０は、動画像を撮影可能なビデオカメラ等によって実現される。撮像装置２０によって撮影された画像は、人流推定装置１０に入力される。なお、撮像装置２０によって撮影された画像は、図示しない記憶装置等に格納された後、人流推定装置１０に入力されてもよい。言い換えれば、人流推定装置１０は、撮像装置２０によって撮影された画像を、撮像装置２０から、または、該画像が記憶された装置から取得する。
　記憶装置３０は、例えば、ハードディスクドライブ等によって実現される。記憶装置３０には、部分領域の入力画像内における位置およびサイズが該部分領域毎に格納されている。具体的には、記憶装置３０には、部分領域の画像内における位置とサイズとが該部分領域を示す情報（部分領域ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）と呼ぶ）に関連付けられて格納されている。各部分領域の位置およびサイズは、予め定められている。典型的には、複数の部分領域によって画像全体が覆われるように、個々の部分領域の位置およびサイズが定められる。しかし、部分領域を定める態様は、上記の例に限定されない。画像内で人流の推定対象となる領域に対してのみ、複数の部分領域の位置およびサイズが定められてもよい。また、部分領域の少なくとも一部分が他の部分領域と重なるように、部分領域の位置およびサイズが定められてもよい。なお、部分領域のサイズは、後述の人数推定部１１および群衆向き推定部１２の機能に合わせて、予め設定されてもよい。以下、入力画像の中で部分領域に該当する部分の画像を部分領域画像と記す。
　次に、図１の各部について、更に詳細に説明する。
　人数推定部１１は、人流推定装置１０に入力された入力画像の部分領域に含まれる人数を推定する。具体的には、人数推定部１１は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の人数を推定する。換言すれば、人数推定部１１は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、人数を推定する。人数推定部１１は、学習によって得られた推定器を用いて、部分領域内の人数を推定してもよい。例えば、部分領域画像が入力されると部分領域内の人数を出力する推定器を予め学習によって得ておく。人数推定部１１は、部分領域画像をこの推定器に入力することによって、部分領域内の人数の推定値を求めてもよい。この推定器の学習には、複数の人で構成される群衆が含まれる部分領域画像と、その部分領域画像に含まれる人数の情報とを用いればよい。学習に用いる部分領域画像には、人同士の重なりがある画像も含まれてもよい。この学習は、例えば、特許文献４に記載の部分領域ベースの学習である。なお、部分領域内の人数の推定方法は、特許文献４に記載の方法に限定されず、その他の方法を用いてもよい。人数推定部１１は、推定結果として、部分領域ＩＤと、推定した人数とを生成部１４に供給する。
　群衆向き推定部１２は、人流推定装置１０に入力された入力画像の部分領域における群衆の向きを推定する。具体的には、群衆向き推定部１２は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の群衆の向きを推定する。換言すれば、群衆向き推定部１２は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、群衆の向きを推定する。群衆向き推定部１２は、学習によって得られた推定器を用いて、群衆の向きを推定してもよい。例えば、部分領域画像が入力されるとその部分領域画像における群衆の向きを出力する推定器を予め学習によって得ておく。群衆向き推定部１２は、部分領域画像をこの推定器に入力することによって、群衆の向きの推定値を求めてもよい。この推定器の学習には、複数の多様な向きの人で構成される群衆が含まれる部分領域画像と、その部分領域画像内の代表的な群衆の向きを示すベクトルや角度とを用いればよい。さらに、学習に用いる群衆の向きは、『４割が１０度、６割が１３０度』や『１割が４５度、２割が２０度、３割が９０度』というような割合と向きとで構成されるラベルを用いてもよい。さらに、学習に用いる群衆の向きは、ランダム方向というラベルを用いてもよい。また、学習に用いる部分領域画像には、人同士の重なりがある画像も含まれてもよい。この学習は、例えば、特許文献４に記載の部分領域ベースの学習である。なお、部分領域内の群衆の向きの推定方法は、特許文献４に記載の方法に限定されず、その他の方法を用いてもよい。群衆向き推定部１２は、推定結果として、部分領域ＩＤと、推定した群衆の向きを表す情報とを生成部１４に供給する。
　動き量推定部１３は、人流推定装置１０に入力された入力画像の部分領域内の動き量を推定する。具体的には、動き量推定部１３は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の動き量を推定する。換言すれば、動き量推定部１３は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、動き量を推定する。
　動き量の推定には、フレームレートに頑健な手法を用いる。動き量推定部１３は、時刻が異なり、入力画像内における位置が同じである部分領域画像から、画像パターンの特徴量の類似度や、フレーム間差分の量を算出してもよい。これらの値は、部分領域内の動きの程度を表していると言える。画像パターンの特徴量の類似度は、類似度が大きければ動き量が小さくなるという性質を持っている。フレーム間差分の量は、その値が小さければ動き量が小さくなるという性質を持っている。動き量推定部１３は、これらの性質を用い、算出した値に基づいて部分領域内の動き量を推定すればよい。また、動き量推定部１３は、学習によって得られた推定器を用いて、動き量を推定してもよい。例えば、時刻が異なり、入力画像内における位置が同じである部分領域画像が入力されると、部分領域内の動き量を出力する推定器を予め学習によって得ておく。動き量推定部１３は、時刻が異なり場所が同じである部分領域画像をこの推定器に入力することによって、部分領域内の動き量の推定値を求めてもよい。この推定器の学習には、以下の（ａ）～（ｄ）を用いればよい。
（ａ）部分領域に含まれる物体が動いている場合における時刻の異なる２枚の部分領域画像、
（ｂ）（ａ）に対する部分領域内の動きを表す情報、
（ｃ）部分領域に含まれる物体が動いていない場合における時刻の異なる２枚の部分領域画像
（ｄ）（ｃ）に対する部分領域内の動きを表す情報。
この学習は、部分領域ベースの学習である。
　また、部分領域に対応する実空間における物体の動きを検出する動きセンサを設け、動き量推定部１３が、動きセンサの検出結果から、部分領域画像が示す部分領域内の動き量を推定してもよい。部分領域内の動き量の推定方法は、フレームレートに頑健な手法であれば、これらの方法に限定されず、どのような方法を採用してもよい。動き量推定部１３は、推定結果として、部分領域ＩＤと、推定した動き量とを生成部１４に供給する。
　生成部１４は、人数推定部１１から、部分領域ＩＤと、人数推定部１１が推定した人数とを受け取る。また、生成部１４は、群衆向き推定部１２から、部分領域ＩＤと、群衆向き推定部１２が推定した群衆の向きを表す情報とを受け取る。また、生成部１４は、動き量推定部１３から、部分領域ＩＤと、動き量推定部１３が推定した動き量とを受け取る。
　そして、生成部１４は、推定された人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、生成部１４は、人数と、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。これにより、人流推定装置１０は、人流に関する人流情報を出力することができる。
　この生成部１４の構成について、更に詳細に説明する。図３は、本実施の形態に係る人流推定装置１０における生成部１４の機能構成の一例を示す機能ブロック図である。図３に示す通り、生成部１４は、人領域抽出部１４１と、人流情報生成部１４２とを備える。
　人領域抽出部１４１は、人数推定部１１が出力した部分領域ＩＤおよび推定された人数を入力とする。人領域抽出部１４１は、部分領域毎に、人数推定部１１で推定された人数に基づき、複数の部分領域から、人が存在する部分領域を抽出する。具体的には、人領域抽出部１４１は、複数の部分領域のうち、推定された人数が所定の値より多い部分領域を、人が存在する部分領域として抽出する。そして、人領域抽出部１４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する。上述した通り、記憶装置３０には、部分領域ＩＤと、該部分領域ＩＤによって示される部分領域の入力画像における位置とサイズとが互いに関連付けられて格納されている。したがって、人領域抽出部１４１は、抽出した部分領域の部分領域ＩＤに関連付けられた入力画像における位置とサイズとを、記憶装置３０から取得する。
　そして、人領域抽出部１４１は、部分領域ＩＤと、部分領域ＩＤに関連する人数、位置およびサイズとを、人流情報生成部１４２に供給する。
　人流情報生成部１４２は、部分領域ＩＤと、部分領域ＩＤに関連する人数、位置およびサイズとを、人領域抽出部１４１から受け取る。人流情報生成部１４２は、抽出された部分領域に関連する人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。
　具体的には、人流情報生成部１４２は、群衆向き推定部１２から部分領域ＩＤと群衆の向きを表す情報とを含む推定結果を受け取る。また、人流情報生成部１４２は、動き量推定部１３から部分領域ＩＤと動き量とを含む推定結果を受け取る。人流情報生成部１４２は、群衆向き推定部１２から受け取った推定結果の中から、人領域抽出部１４１から受け取った部分領域ＩＤと同じ部分領域ＩＤに関連付けられた群衆の向きを表す情報を抽出する。
　また、人流情報生成部１４２は、動き量推定部１３から受け取った推定結果の中から、人領域抽出部１４１から受け取った部分領域ＩＤと同じ部分領域ＩＤに関連付けられた動き量を抽出する。そして、人流情報生成部１４２は、抽出した動き量に基づいて、群衆に動きが有るか否かを判定する。具体的には、人流情報生成部１４２は、動き量が所定の値より大きい場合、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定し、動き量が所定の値以下の場合、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する。人流情報生成部１４２は、判定結果に基づいて、群衆の動きの有無を表す情報を生成する。
　そして、人流情報生成部１４２は、部分領域毎に、部分領域に関連する群衆の向きを表す情報と、群衆の動きの有無を表す情報とを、該部分領域に含まれる人の移動状態とする。また、人流情報生成部１４２は、人領域抽出部１４１から受け取った、該部分領域の入力画像における位置およびサイズを人の領域を表す情報とする。そして、人流情報生成部１４２は、部分領域毎に、人領域抽出部１４１から受け取った部分領域に関連する人数、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する。
　図４は、入力画像の一例を示す図である。ここでは、Ｐ１からＰ４の４つ部分領域が予め定められているとする。そして、この部分領域Ｐ１～Ｐ４を、図４に示す入力画像上に矩形の領域で表現している。図４において、部分領域Ｐ１には、画面の下方向を向く５人の滞留する群衆が含まれており、部分領域Ｐ３には、画面の右に移動する３人の群衆が含まれる。また、部分領域Ｐ２および部分領域Ｐ４は、群衆が居ない領域である。
　図５は、部分領域に関連する情報を、部分領域を示す部分領域ＩＤごとに記載した図である。図５では、部分領域Ｐ１を表す部分領域ＩＤをＩＤＰ１としている。同様に、図５では、部分領域Ｐ２の部分領域ＩＤをＩＤＰ２とし、部分領域Ｐ３の部分領域ＩＤをＩＤＰ３とし、部分領域Ｐ４の部分領域ＩＤをＩＤＰ４としている。図５に示す人数は、各部分領域ＩＤに関連する人数であり、人数推定部１１が該部分領域ＩＤによって示される部分領域に対して推定した人数である。また、図５に示す人の領域は、部分領域ＩＤによって示される部分領域の入力画像における位置およびサイズであり、記憶装置３０に格納された、部分領域を表す情報である。図５の例では、部分領域の位置を、部分領域が図４の破線の枠で示す矩形の領域の左上の座標で表現し、部分領域のサイズを、縦および横のピクセル数で表現しているが、部分領域の位置およびサイズの表現方法はこれに限定されず、どのような方法を採用してもよい。
　また、図５に示す人の移動状態に含まれる群衆の向きは、部分領域ＩＤによって示される部分領域に含まれる群衆の向きを表しており、該部分領域に対して群衆向き推定部１２が推定した向きである。また、図５に示す人の移動状態に含まれる群衆の動きの有無は、動き量推定部１３が推定した動き量に基づいて、人流情報生成部１４２が判定した、群衆の動きの有無を表しており、「有」が部分領域に含まれる群衆に動きが有ることを示し、「無」が部分領域に含まれる群衆に動きが無いことを示している。
　人流情報生成部１４２は、部分領域ＩＤ「ＩＤＰ１」に関連付けられた、人数、人の領域を表す情報である部分領域の位置およびサイズ、並びに、人の移動状態を、人流情報として生成する。同様に、人流情報生成部１４２は、部分領域ＩＤ「ＩＤＰ３」に関連付けられた、人数、人の領域を表す情報である部分領域の位置およびサイズ、並びに、人の移動状態を、人流情報として生成する。
　次に、図６および図７を参照して、本実施の形態に係る人流推定装置１０の動作について説明する。図６は、本実施の形態に係る人流推定装置１０の動作の一例を示すフローチャートである。図６に示すフローチャートでは、人流推定装置１０に、撮像装置２０が撮影した画像が入力されているとして説明を行う。
　図６に示す通り、本実施の形態に係る人流推定装置１０は、人数推定部１１が入力された画像の部分領域に含まれる人数を推定する（ステップＳ６１）。また、群衆向き推定部１２が入力された画像の部分領域における群衆の向きを推定する（ステップＳ６２）。また、動き量推定部１３が入力された画像の部分領域内の動き量を推定する（ステップＳ６３）。ステップＳ６１からステップＳ６３は、入力された画像に含まれる複数の部分領域の夫々に対して行われる。また、ステップＳ６１からステップＳ６３はどのような順番で行われてもよい。
　ステップＳ６１～ステップＳ６３終了後、生成部１４は、人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、生成部１４は、人数と、該抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する（ステップＳ６４）。この人流情報は、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む。
　以上により、人流推定装置１０は処理を終了する。
　ここで、ステップＳ６４の処理について、更に詳細に説明する。図７は、本実施の形態に係る生成部１４の動作の一例を示すフローチャートである。図７に示す通り、生成部１４の人領域抽出部１４１は、複数の部分領域のうち人数推定部１１で人数が推定された部分領域を１つ選択する（ステップＳ７１）。そして、人領域抽出部１４１は、選択した部分領域に対し、ステップＳ６１にて人数推定部１１によって推定された人数が所定の値より多いか否かを判定する（ステップＳ７２）。推定された人数が所定の値以下の場合（ステップＳ７２にてＮＯ）、生成部１４は、処理をステップＳ８１に進める。
　推定された人数が所定の値より多い場合（ステップＳ７２にてＹＥＳ）、人領域抽出部１４１は、この部分領域を、人が存在する部分領域として抽出する（ステップＳ７３）。そして、人領域抽出部１４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する（ステップＳ７４）。その後、人流情報生成部１４２は、ステップＳ６２にて群衆向き推定部１２によって推定された複数の部分領域の夫々に対する群衆の向きから、ステップＳ７３で抽出された部分領域に対して推定された群衆の向きを抽出する（ステップＳ７５）。また、人流情報生成部１４２は、ステップＳ６３にて動き量推定部１３によって推定された複数の部分領域の夫々に対する動き量から、ステップＳ７３で抽出された部分領域に対して推定された動き量を抽出する（ステップＳ７６）。
　人流情報生成部１４２は、ステップＳ７６にて抽出した動き量が所定の値より大きいか否かを判定する（ステップＳ７７）。動き量が所定の値より大きい場合（ステップＳ７７にてＹＥＳ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定する（ステップＳ７８）。また、動き量が所定の値以下の場合（ステップＳ７７にてＮＯ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する（ステップＳ７９）。
　なお、ステップＳ７５は、ステップＳ７６～ステップＳ７９の後に行われてもよいし、ステップＳ７６～ステップＳ７９の処理と同時に行われてもよい。
　そして、人流情報生成部１４２は、ステップＳ７１にて選択した部分領域に対する、人数、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する（ステップＳ８０）。上述した通り、人の移動状態は、ステップＳ７５で抽出された群衆の向きを表す情報と、ステップＳ７８またはステップＳ７９にて判定された群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、ステップＳ７４にて取得した、該部分領域の位置およびサイズを含む。
　そして、生成部１４は、複数の部分領域のうち、未選択の部分領域が有るか否かを判定する（ステップＳ８１）。未選択の部分領域が有る場合（ステップＳ８１にてＹＥＳ）、生成部１４は処理をステップＳ７１に戻す。そして、人領域抽出部１４１は、再び、複数の部分領域のうち、未選択の部分領域から１つの部分領域を選択する（ステップＳ７１）。未選択の部分領域が無い場合（ステップＳ８１にてＮＯ）、生成部１４は、ステップＳ８０にて生成された部分領域毎の人流情報を出力する（ステップＳ８２）。
　以上により、生成部１４は、ステップＳ６４の処理を終了する。
　（効果）
　本実施の形態に係る人流推定装置１０は、上述した通り、入力画像の部分領域に含まれる人数、該部分領域における群衆の向き、および該部分領域の動き量を推定する。人流推定装置１０は、推定された人数に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。そして、人流推定装置１０は、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。このように、本実施の形態に係る人流推定装置１０は、入力画像に含まれる複数の人に対して、追跡をすることなく、人流を推定している。これにより、本実施の形態に係る人流推定装置１０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、且つ、低いフレームレートで送信された画像であっても、該画像から頑健に人流を推定することができる。
　また、本実施の形態に係る人流推定装置１０によれば、人数推定部１１が入力画像に含まれる部分領域毎に、該部分領域に含まれる人数を推定する。また、群衆向き推定部１２が入力画像に含まれる部分領域毎に、該部分領域における群衆の向きを推定する。人数推定部１１および群衆向き推定部１２は、人同士の重なりを含めて学習できる部分領域ベースの学習を用いて、フレームレートに影響を受けない１枚の画像から、人流の推定に必要な人数や群衆の向きの情報を推定している。これにより、人流推定装置１０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、且つ、低いフレームレートで送信された画像であっても、該画像から更に頑健に部分領域内の人数および群衆の向きを推定することができる。
　また、本実施の形態に係る人流推定装置１０によれば、動き量推定部１３が入力画像に含まれる部分領域毎に、部分領域ベースの学習やフレームレートに頑健な推定を用いて動き量を推定する。そして、生成部１４がこの推定された動き量を用いて、部分領域内の群衆に動きが有るか否かを判定することで、フレームレートに比較的依存しない動きの有無を表す情報に変換する。そして生成部１４は、群衆の動きの有無に関する人の移動状態を含む人流情報を生成する。これにより、人流推定装置１０は、混雑環境下で撮影され、且つ、低いフレームレートで送信された画像であっても、該画像から更に頑健に人流を推定することができる。
　例えば、本実施の形態に係る人流推定装置１０によれば、図４に示した部分領域Ｐ１に含まれる群衆は５人であり、下方向を向いて滞留していることがわかる。これにより、この群衆は下方向に興味があることを推定することができる。このように、人流推定装置１０が人流を推定することにより、何人の人がどの領域にいて、どんな方向にどのように動いているかという状態を、例えば人流推定装置１０の管理者に知らせることができる。
　また、本実施の形態に係る人流推定装置１０の生成部１４は、人数推定部１１によって推定された人数が所定の値より多い部分領域を、人が存在する部分領域として抽出し、該抽出された部分領域に対する人流情報を生成する。これにより、人流推定装置１０は、例えば人流推定装置１０の利用者が所望する人数以上の人を含む群衆の人流情報を出力することができる。
　なお、本実施の形態では、人を対象として記載しているが、人を特定の物体に置き換えてもよい。
　（変形例）
　次に、本実施の形態の変形例について説明する。上述した第１の実施の形態では、群衆向き推定部１２および動き量推定部１３が全ての部分領域に対して群衆の向きおよび動き量を推定することについて説明した。しかしながら、群衆向き推定部１２および動き量推定部１３は、所定人数より多くの人が存在する部分領域に対してのみ群衆向きおよび動き量を推定する構成であってもよい。本変形例では、群衆向き推定部１２および動き量推定部１３が、人が存在する部分領域に対してのみ群衆向きおよび動き量を推定する構成の場合の人流推定装置１０の処理について説明する。
　図８は、本変形例に係る人流推定装置１０の処理の流れの一例を示すフローチャートである。なお、図６および図７で示した処理と同じ処理については、同じ符号を付し、その詳細な説明を省略する。
　図８に示す通り、本変形例に係る人流推定装置１０は、人数推定部１１が入力された画像の部分領域に含まれる人数を推定する（ステップＳ６１）。人数推定部１１は、推定結果として、部分領域ＩＤと、推定した人数とを生成部１４に供給する。
　生成部１４の人領域抽出部１４１は、複数の部分領域のうち人数推定部１１で人数が推定された部分領域を１つ選択する（ステップＳ７１）。そして、人領域抽出部１４１は、選択した部分領域に対し、ステップＳ６１にて人数推定部１１によって推定された人数が所定の値より多いか否かを判定する（ステップＳ７２）。推定された人数が所定の値以下の場合（ステップＳ７２にてＮＯ）、生成部１４は、処理をステップＳ８１に進める。
　推定された人数が所定の値より多い場合（ステップＳ７２にてＹＥＳ）、人領域抽出部１４１は、この部分領域を、人が存在する部分領域として抽出する（ステップＳ７３）。また、そして、人領域抽出部１４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する（ステップＳ７４）。
　そして、群衆向き推定部１２は、ステップＳ７３にて人領域抽出部１４１が抽出した部分領域における群衆の向きを推定する（ステップＳ９１）。また、動き量推定部１３は、ステップＳ７３にて人領域抽出部１４１が抽出した部分領域の群衆の動き量を推定する（ステップＳ９２）。
　そして、人流情報生成部１４２は、ステップＳ９２にて抽出した動き量が所定の値より大きいか否かを判定する（ステップＳ７７）。動き量が所定の値より大きい場合（ステップＳ７７にてＹＥＳ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定する（ステップＳ７８）。また、動き量が所定の値以下の場合（ステップＳ７７にてＮＯ）、人流情報生成部１４２は、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する（ステップＳ７９）。なお、ステップＳ９１は、ステップＳ９２およびステップＳ７７～ステップＳ７９の後に行われてもよいし、ステップＳ９２およびステップＳ７７～ステップＳ７９の処理と同時に行われてもよい。
　そして、人流情報生成部１４２は、ステップＳ７１にて選択した部分領域に対する、人数、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する（ステップＳ８０）。人の移動状態は、ステップＳ９１で推定された群衆の向きを表す情報と、ステップＳ７８またはステップＳ７９にて判定された群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、ステップＳ７４にて取得した、該部分領域の位置およびサイズを含む。
　そして、生成部１４は、人数が推定された複数の部分領域のうち、未選択の部分領域が有るか否かを判定する（ステップＳ８１）。未選択の部分領域が有る場合（ステップＳ８１にてＹＥＳ）、生成部１４は処理をステップＳ７１に戻す。そして、人領域抽出部１４１は、再び、複数の部分領域のうち、未選択の部分領域から１つの部分領域を選択する（ステップＳ７１）。未選択の部分領域が無い場合（ステップＳ８１にてＮＯ）、生成部１４は、ステップＳ８０にて生成された部分領域毎の人流情報を出力する（ステップＳ８２）。
　以上により、本変形例に係る人流推定装置１０は処理を終了する。
　以上のように、群衆向き推定部１２および動き量推定部１３は、人領域抽出部１４１によって所定人数より多くの人が含まれる部分領域に対して、群衆の向きと動き量とを推定する。これにより、所定人数以下の人が含まれる部分領域に対する推定処理を行うことが無いため、第１の実施の形態に係る人流推定装置１０よりも推定処理にかかる処理量を削減することができる。
　＜第２の実施の形態＞
　次に、第２の実施の形態について図面を参照して詳細に説明する。図９は、本実施の形態に係る人流推定装置４０の機能構成の一例を示す図である。なお、本実施の形態に係る人流推定装置４０を含む人流推定システム１００は、図２を用いて説明した人流推定システム１００の人流推定装置１０に代えて人流推定装置４０を含む構成であり、その他の構成は同様であるため、その説明を省略する。なお、説明の便宜上、上述した第１の実施の形態において説明した部材と同様の部材は、同じ符号を付し、その説明を省略する。
　図９に示す通り、本実施の形態に係る人流推定装置４０は、群衆向き推定部４２と、動き量推定部１３と、生成部４４とを備える。本実施の形態に係る人流推定装置４０は、上述した第１の実施の形態に係る人流推定装置１０に対し、群衆向き推定部１２に代えて群衆向き推定部４２を備え、生成部１４に代えて生成部４４を備え、人数推定部１１を備えない。
　群衆向き推定部４２は、人流推定装置４０に入力された入力画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する。群衆向き推定部４２は、群衆の向きを推定した部分領域を示す情報と、推定した群衆の向きと、算出した信頼度とを生成部４４に供給する。
　動き量推定部１３は、第１の実施の形態に係る人流推定装置１０の動き量推定部１３と同様に、入力画像の部分領域内の動き量を推定する。動き量推定部１３は、動き量を推定した部分領域を示す情報と、推定した動き量とを生成部４４に供給する。
　生成部４４は、群衆向き推定部４２から供給された群衆の向きおよび該向きに応じた信頼度と、動き量推定部１３から供給された動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する。生成部４４は、例えば、群衆の向きおよび動き量が含まれる人の移動状態と、人の領域とを表現する情報とを含む人流情報を生成する。
　このような構成により、本実施の形態に係る人流推定装置４０は、追跡をすることなく、人流を推定している。これにより、本実施の形態に係る人流推定装置４０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
　本実施の形態に係る人流推定装置４０について、更に詳細に説明する。群衆向き推定部４２は、人流推定装置４０に入力された入力画像の部分領域における群衆の向きを推定する。具体的には、群衆向き推定部４２は、撮像装置２０が撮影した画像から、予め定められた各部分領域によって特定される、該画像内の各部分領域画像を対象にして、部分領域内の群衆の向きを推定する。換言すれば、群衆向き推定部４２は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に対し、群衆の向きを推定する。この群衆の向きの推定については、上述した群衆向き推定部１２と同様である。
　更に、群衆向き推定部４２は、推定した群衆の向きの信頼度を算出する。この群衆の向きの信頼度は、推定した群衆の向きの信頼性の度合いを表すものであり、信頼性がより高い場合、高い値になる。例えば、部分領域内に人がいない場合、算出された信頼度は低くなる。これにより、信頼度がより低い値の場合、関連する部分領域に人が含まれず、信頼度がより高い値の場合、関連する部分領域に人が含まれることがわかる。
　例えば、本実施の形態では、部分領域における群衆の向きとして、群衆の向きを示すベクトルであって、向きの信頼度を大きさで表したベクトルを出力する推定器を、予め回帰学習によって得ておく。群衆向き推定部４２は、部分領域画像を、この推定器に入力することによって、群衆の向きを推定する。群衆の向きの推定結果は、上記のベクトルとして得られるので、群衆向き推定部４２は、ベクトルの大きさから群衆の向きの信頼度を得ることができる。群衆向き推定部４２は、学習したベクトルの大きさに近づく程、高くなるような数値を信頼度として出力すればよい。
　また、例えば、部分領域画像が入力されると、その部分領域画像における群衆の向きとして、群衆の向きを示す角度を出力する推定器を、予め回帰学習によって得ていてもよい。群衆向き推定部４２は、部分領域画像を、この推定器に入力することによって、群衆の向きを推定する。群衆の向きの推定結果は、角度の数値として得られるので、群衆向き推定部４２は、角度の数値から群衆の向きの信頼度を得ることができる。群衆向き推定部４２は、０～３６０度の範囲内に近づく程、高くなるような数値を信頼度として出力すればよい。
　また、例えば、部分領域画像が入力されると、その部分領域画像における群衆の向きとして、群衆の向きを示す角度に該当する確率を所定間隔の角度毎（例えば、１０度毎）に出力する推定器を、予め識別学習によって得ていてもよい。群衆向き推定部４２は、部分領域画像を、この推定器に入力することによって、所定間隔の角度毎に、角度に該当する確率を得る。群衆向き推定部４２は、最も高い確率である角度を群衆の向きと推定する。群衆の向きの推定結果は、角度の確率として得られるので、群衆向き推定部４２は、確率から群衆の向きの信頼度を得ることができる。群衆向き推定部４２は、群衆の向きと推定された角度で、角度の確率が高く、他の角度で、角度の確率が低い場合、高くなり、いずれの角度においても確率が同程度の値である場合、低くなるような数値を信頼度として出力すればよい。なお、群衆の向きの信頼度の推定方法は、上記の例に限定されない。
　生成部４４は、群衆向き推定部４２から、部分領域ＩＤと、群衆向き推定部４２が推定した群衆の向きを表す情報と、信頼度とを受け取る。また、生成部４４は、動き量推定部１３から、部分領域ＩＤと、動き量推定部１３が推定した動き量とを受け取る。
　そして、生成部４４は、信頼度に基づいて、複数の部分領域から、人が存在する部分領域を抽出する。換言すれば、生成部４４は、記憶装置３０に格納されている各部分領域の位置およびサイズに基づいて、入力画像内の各部分領域に関連する信頼度に基づいて、複数の部分領域から人が存在する部分領域を抽出する。そして、生成部４４は、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。これにより、人流推定装置４０は、人流に関する人流情報を出力することができる。
　この生成部４４の構成について、更に詳細に説明する。図１０は、本実施の形態に係る人流推定装置４０における生成部４４の機能構成の一例を示す機能ブロック図である。図１０に示す通り、生成部４４は、人領域抽出部４４１と、人流情報生成部４４２とを備える。
　人領域抽出部４４１は、群衆向き推定部４２が出力した部分領域ＩＤおよび信頼度を入力とする。人領域抽出部４４１は、部分領域毎に、信頼度に基づき、複数の部分領域から、人が存在する部分領域を抽出する。具体的には、人領域抽出部４４１は、複数の部分領域のうち、信頼度が所定の値より高い部分領域を、人が存在する部分領域として抽出する。そして、人領域抽出部４４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する。上述した通り、記憶装置３０には、部分領域ＩＤと、該部分領域ＩＤによって示される部分領域の入力画像における位置とサイズとが互いに関連付けられて格納されている。したがって、人領域抽出部４４１は、抽出した部分領域の部分領域ＩＤに関連付けられた入力画像における位置とサイズとを、記憶装置３０から取得する。
　そして、人領域抽出部４４１は、部分領域ＩＤと、部分領域ＩＤに関連する位置およびサイズとを、人流情報生成部４４２に供給する。
　人流情報生成部４４２は、部分領域ＩＤと、部分領域ＩＤに関連する位置およびサイズとを、人領域抽出部４４１から受け取る。人流情報生成部４４２は、抽出された部分領域と、該部分領域に関連する群衆の向きおよび動き量とに基づいて、部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む人流情報を生成する。このように、人流情報生成部４４２が生成する人流情報は、人流情報生成部１４２が生成する人流情報に対して、部分領域に関連する人数を含まない形として構成される。人流情報生成部４４２が生成する人流情報に含まれる部分領域に含まれる人の移動状態および該人の領域を表す情報は、人流情報生成部１４２が生成する人流情報に含まれる部分領域に含まれる人の移動状態および該人の領域を表す情報と同様である。
　次に、図１１および図１２を参照して、本実施の形態に係る人流推定装置４０の動作について説明する。図１１は、本実施の形態に係る人流推定装置４０の動作の一例を示すフローチャートである。図１１に示すフローチャートでは、人流推定装置４０に、撮像装置２０が撮影した画像が入力されているとして説明を行う。
　図１１に示す通り、本実施の形態に係る人流推定装置４０は、群衆向き推定部４２が入力された画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する（ステップＳ１１１）。また、動き量推定部１３が入力された画像の部分領域内の動き量を推定する（ステップＳ１１２）。ステップＳ１１１およびステップＳ１１２は、入力された画像に含まれる複数の部分領域の夫々に対して行われる。また、ステップＳ１１１およびステップＳ１１２は逆順で行われてもよいし、同時に行われてもよい。
　ステップＳ１１１およびステップＳ１１２終了後、生成部４４は、群衆の向きと、向きに応じた信頼度と、動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する（ステップＳ１１３）。この人流情報は、部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む。
　以上により、人流推定装置４０は処理を終了する。
　ここで、ステップＳ１１３の処理について、更に詳細に説明する。図１２は、本実施の形態に係る生成部４４の動作の一例を示すフローチャートである。図１２に示す通り、生成部４４の人領域抽出部４４１は、複数の部分領域から部分領域を１つ選択する（ステップＳ１２１）。そして、人領域抽出部４４１は、選択した部分領域に対し、ステップＳ１１１にて群衆向き推定部４２によって算出された、選択された部分領域に関連する向きに応じた信頼度が所定の値より高いか否かを判定する（ステップＳ１２２）。向きに応じた信頼度が所定の値以下の場合（ステップＳ１２２にてＮＯ）、生成部４４は、処理をステップＳ１３１に進める。
　向きに応じた信頼度が所定の値より高い場合（ステップＳ１２２にてＹＥＳ）、人領域抽出部４４１は、この部分領域を、人が存在する部分領域として抽出する（ステップＳ１２３）。そして、人領域抽出部４４１は、抽出した部分領域の入力画像における位置とサイズとを、記憶装置３０から取得する（ステップＳ１２４）。その後、人流情報生成部４４２は、ステップＳ１１１にて群衆向き推定部４２によって推定された複数の部分領域の夫々に対する群衆の向きから、ステップＳ１２３で抽出された部分領域に対して推定された群衆の向きを抽出する（ステップＳ１２５）。また、人流情報生成部４４２は、ステップＳ１１２にて動き量推定部１３によって推定された複数の部分領域の夫々に対する動き量から、ステップＳ１２３で抽出された部分領域に対して推定された動き量を抽出する（ステップＳ１２６）。
　人流情報生成部４４２は、ステップＳ１２６にて抽出した動き量が所定の値より大きいか否かを判定する（ステップＳ１２７）。動き量が所定の値より大きい場合（ステップＳ１２７にてＹＥＳ）、人流情報生成部４４２は、該動き量に関連する部分領域に含まれる群衆に動きが有ると判定する（ステップＳ１２８）。また、動き量が所定の値以下の場合（ステップＳ１２７にてＮＯ）、人流情報生成部４４２は、該動き量に関連する部分領域に含まれる群衆に動きが無いと判定する（ステップＳ１２９）。
　なお、ステップＳ１２５は、ステップＳ１２６～ステップＳ１２９の後に行われてもよいし、ステップＳ１２６～ステップＳ１２９の処理と同時に行われてもよい。
　そして、人流情報生成部４４２は、ステップＳ１２１にて選択した部分領域に対する、該部分領域に含まれる人の移動状態および該人の領域を表す情報を含む人流情報を生成する（ステップＳ１３０）。上述した通り、人の移動状態は、ステップＳ１２５で抽出された群衆の向きを表す情報と、ステップＳ１２８またはステップＳ１２９にて判定された群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、ステップＳ１２４にて取得した、該部分領域の位置およびサイズを含む。
　そして、生成部４４は、複数の部分領域のうち、未選択の部分領域が有るか否かを判定する（ステップＳ１３１）。未選択の部分領域が有る場合（ステップＳ１３１にてＹＥＳ）、生成部４４は処理をステップＳ１２１に戻す。そして、人領域抽出部４４１は、再び、複数の部分領域のうち、未選択の部分領域から１つの部分領域を選択する（ステップＳ１２１）。未選択の部分領域が無い場合（ステップＳ１３１にてＮＯ）、生成部４４は、ステップＳ１３０にて生成された部分領域毎の人流情報を出力する（ステップＳ１３２）。
　以上により、生成部４４は、ステップＳ１１３の処理を終了する。
　なお、本実施の形態に係る人流推定装置４０の動き量推定部１３は、全ての部分領域に対してではなく、群衆向き推定部４２が出力した信頼度に基づいて人領域抽出部４４１が抽出した部分領域に対して、動き量を推定してもよい。
　（効果）
　本実施の形態に係る人流推定装置４０によれば、群衆向き推定部４２が画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する。また、動き量推定部１３が部分領域内の動き量を推定する。そして、生成部４４が群衆の向きと、向きに応じた信頼度と、動き量とに基づいて、部分領域における人の流れを表す人流に関する情報である人流情報を生成する。このとき、生成部４４は、信頼度に基づいて、部分領域に人が含まれるか否かを判定する。このような構成であっても、人流推定装置４０は、人が存在する部分領域を抽出することができるため、本実施の形態に係る人流推定装置４０は、人流推定装置１０と同様に、入力画像に含まれる複数の人に対して、追跡をすることなく、人流を推定することができる。つまり、本実施の形態に係る人流推定装置４０は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。また、人流推定装置４０は、人数推定部１１の機能を含まないため、実装の簡略化を図ることができる。また、人流推定装置４０は、人流推定装置１０に比べ、人数推定部１１の処理を実行しないため、処理の高速化を実現することができる。このような方法は、人流として人数が必要でない場合には、非常に有効である。
　＜第３の実施の形態＞
　次に、第３の実施の形態について、図面を参照して説明する。なお、説明の便宜上、上述した各実施の形態において説明した部材と同様の部材は、同じ符号を付し、その説明を省略する。
　本実施の形態に係る表示制御装置５５は、図１３に示す通り、クラスタリング部５５１および表示制御部５５２を備える。クラスタリング部５５１は、画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、画像の部分領域をクラスタリングする。
　表示制御部５５２は、クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、該群状態を群毎に異なる表示態様で画面に表示させる。表示制御部５５２は、該群状態を画面に表示させているが、情報として外部に出力してもよい。
　このような構成により、本実施の形態に係る表示制御装置５５は、人同士の重なりが頻繁に発生する混雑環境下で撮影され、低いフレームレートで送信された画像から推定された人流を表す情報を用いて、群毎の人流の状態を画面に表示させることができる。これにより、表示制御装置５５は、この画面を見たユーザに、人流の状態をより明確に理解させることができる。
　本実施の形態に係る表示制御装置５５について、更に詳細に説明する。まず、図１４を用いて、本実施の形態に係る表示制御装置５５を備える人流推定装置５０について説明する。人流推定装置５０は、図１４に示すとおり、人数推定部１１と、群衆向き推定部１２と、動き量推定部１３と、生成部１４と、表示制御装置５５とを備える。人流推定装置５０は、上述した第１の実施の形態に係る人流推定装置１０に表示制御装置５５を更に備える構成である。
　図１５は、人流推定装置５０を含む人流推定システム５００の構成の一例を示すブロック図である。図１５に示す通り、人流推定システム５００は、撮像装置２０と、記憶装置３０と、人流推定装置５０と、表示装置６０とを含む。表示装置６０は、人流推定装置５０と通信可能に接続している。表示装置６０は、例えば、液晶ディスプレイ等によって実現される。表示装置６０は、人流推定装置５０からの制御に基づいた画面を表示する。
　図１３に戻り、表示制御装置５５の各部について詳細に説明する。表示制御装置５５は、生成部１４から出力された人流情報を入力とする。
　人流情報は、上述した通り、部分領域に関連する人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む。人の移動状態は、部分領域に関連する群衆の向きを表す情報と、群衆の動きの有無を表す情報とを含む。また、人の領域を表す情報は、部分領域の入力画像における位置およびサイズを含む。
　クラスタリング部５５１は、人流情報に基づき、画像の部分領域をクラスタリングする。具体的には、クラスタリング部５５１は、人流情報に含まれる、人流として示された部分領域の夫々の位置およびサイズから、部分領域間の距離を算出する。部分領域間の距離とは、部分領域間の位置による単純な距離でもよいし、部分領域の位置に加え、部分領域のサイズも考慮した指標を用いて計算された距離であってもよい。また、クラスタリング部５５１は、部分領域間の群衆の向きの類似性を算出する。更に、クラスタリング部５５１は、部分領域間の動きの類似性を算出する。動きの類似性とは、例えば、動き量の類似性であってもよいし、動き量から判定される動きの有無の類似性であってもよい。
　そして、クラスタリング部５５１は、算出した類似性に基づいて、画像の部分領域をクラスタリングする。そして、クラスタリング部５５１はクラスタリングした結果として得られる、クラスタリングされた部分領域の人流情報を、表示制御部５５２に供給する。つまり、クラスタリング部５５１は、クラスタ（群と呼ぶ）毎に、該群に含まれる部分領域の人流情報を表示制御部５５２に供給する。
　表示制御部５５２は、クラスタリング部５５１から群毎に、該群に含まれる部分領域の人流情報を受け取る。表示制御部５５２は、クラスタリングされた群の夫々に対し、群の領域、向き、動きおよび人数を示す群状態を求める。
　群の領域は、クラスタリングされた群に属する部分領域の位置およびサイズから算出される領域であり、該群に属する部分領域をすべて含む領域である。
　群の向きは、該群に含まれる群衆の向きであり、クラスタリングされた群に属する各部分領域に関連する群衆の向きから算出された平均値や最頻値などである。群の向きは、クラスタリングされた群に属する各部分領域に関連する群衆の向きから算出される値ならば、上記以外の値でもよい。
　群の動きは、群に含まれる群衆の動き、例えば、群に含まれる群衆の動きの有無を表す。群の動きは、クラスタリングされた群に属する各部分領域に含まれる群衆の動きの有無から求められるものである。人流情報に含まれる、各部分領域の群衆の動きの有無は、動きが有ることを示す情報か動きが無いことを示す情報かの何れかの場合、クラスタリング部５５１は、動きが有ることを示す情報を有する部分領域と、動きが無いことを示す情報を有する部分領域とを別の群に属するようにクラスタリングする。よって、群に属する各部分領域に関連する、群衆の動きの有無の情報はいずれも同じ情報となる。したがって、群に含まれる群衆の動きを表す情報が動きの有無を表す情報の場合、群に属する部分領域の何れかに関連する動きの有無を表す情報が、群に含まれる群衆の動きを表す情報となる。
　群の人数は、クラスタリングされた群に属する各部分領域の人数の合計である。
　表示制御部５５２は、群状態を群毎に異なる表示態様で画面に表示させる。つまり、表示制御部５５２は、群状態が群毎に異なる表示態様で画面に表示されるように制御する制御信号を生成し、表示装置６０に出力する。
　これにより、表示装置６０は、この制御信号に基づいた画面を表示することができる。
　次に、表示装置６０が表示する表示画面の例について、図１６～図１８を参照して説明する。図１６は、表示装置６０が表示する画面（表示画面とも呼ぶ）を説明するための図である。また、図１７および図１８は、表示装置６０が表示する表示画面の一例を示す図である。
　まず図１６を用いて、表示装置６０が表示する入力画像と、該入力画像の部分領域および群について説明する。図１６に示す通り、入力画像ＩＭは、画像の左上側に存在する群衆と、中央右寄りに存在する群衆とを含む画像である。この例では、入力画像ＩＭを縦に４分割、横に６分割することによって得られる、２４個の部分領域が設定されているとする。図１６～図１８では、部分領域の境界線を、破線で表している。また、図１６におけるＰｘｙ（ｘは１～４の数字、ｙは１～６の数字）は、各部分領域を表す符号である。図１７および図１８では説明の便宜上、各部分領域を表す符号を表示していないが、図１６と同じ位置の部分領域には同じ符号が付されているとする。
　図１６における群ＣＬ１～ＣＬ３は、クラスタリング部５５１によってクラスタリングされた部分領域を表す。群ＣＬ１には、部分領域Ｐ１１および部分領域Ｐ１２が含まれる。群ＣＬ２には部分領域Ｐ３４が含まれる。群ＣＬ３には、部分領域Ｐ１４、部分領域Ｐ２３、部分領域Ｐ２４、部分領域Ｐ２５、部分領域Ｐ３３および部分領域Ｐ３５が含まれる。
　次に、図１７および図１８を用いて、表示装置６０が表示する表示画面について説明する。図１７では、図１６と同様に部分領域の境界を表す破線を表示しているが、表示しなくてもよい。
　図１７に示すように群ＣＬ１～ＣＬ３の夫々を囲む枠が表示画面に表示されている。このように、表示制御部５５２は、群の領域を、該群に属する部分領域を取り囲むように表示させることが好ましい。なお、図１７に示すように群の領域は、例えば、群ＣＬ３を表現する実線の枠のように該群に含まれる部分領域の境界線上に表示してもよい。また、図１７の群ＣＬ１およびＣＬ２を表現する一点鎖線の枠のように、表示制御部５５２は、群の領域を部分領域の周りを囲むように表示してもよい。また、表示制御部５５２が表示させる群の領域は図１７に示すような直線を組み合わせた枠でなくてもよく、図１８に示すように曲線であってもよい。
　また、図１７では、各群に含まれる部分領域に関連する人流情報に含まれる人数、群衆の向きおよび群衆の動きを、部分領域毎に表示している。例えば、部分領域Ｐ１１に関連する人流情報には、人数が「５人」であること、および、人の移動状態として、下向きで動きが無いことを表す情報が含まれているとする。表示制御部５５２は、この人流情報を用いて、部分領域Ｐ１１の領域に、「５人」と動きが無いことを表す「動き無」と、群衆が下を向いていることを表す下向きの矢印とを表示させる。各群に含まれる他の部分領域についても同様に、人数と矢印と動きの有無を表す文字列とが表示される。なお、動きの有無は、文字列ではなく、例えば、「○」や「×」の記号を用いて表現してもよい。
　また、表示制御部５５２は、図１７に示す画面に、更に群状態を表す情報を表示してもよい。例えば、群ＣＬ１には、１２人の人が含まれており、この１２人の群衆は下を向いており、動きが無い、とする。表示制御部５５２は、このような群状態を表す群状態情報を生成し、画面に表示させてもよい。表示制御部５５２は、群ＣＬ１に関連する吹き出し等を用いて「下を向く１２人の滞留する群衆」という群状態を表現する文字列を群状態情報として表示してもよい。同様に、表示制御部５５２は、群ＣＬ２に対して、「右を向く４人の滞留する群衆」という群状態を表現する文字列を画面に表示し、群ＣＬ３に対して「右に移動する１３人の群衆」という群状態を表現する文字列を画面に表示してもよい。なお、このとき、表示制御部５５２は、動きの有無を表す情報から動きがある場合「移動する」という言葉を用いて群状態情報を生成し、動きが無い場合「滞留する」という言葉を用いて群状態情報を生成しているが、動きの有無を表す言葉はこれに限定されない。
　また、図１８に示すように、表示制御部５５２は、群の向きと群の動きとを、夫々、方向と大きさとで表現した矢印（ＡＲ１～ＡＲ３）を表示画面に表示してもよい。これにより、表示制御装置５５は、ユーザに対し、人流の状態をより明確に理解させることができる。例えば、群衆が滞留している群ＣＬ１および群ＣＬ２内には、群衆が滞留していることを表す短い矢印ＡＲ１およびＡＲ２が、夫々、表示されている。この矢印の向きは群の向きを表している。また、群ＣＬ３内には、群衆が移動していることを表す右向きの長い矢印ＡＲ３が表示されている。表示制御部５５２は、群衆の速度に応じて、矢印の長さを変化させて表示させてもよい。また、表示制御部５５２は、矢印の起点が群の領域の略重心に位置するように、該矢印を表示させることが好ましい。これにより、該矢印がどの群に対する矢印なのかを、ユーザにより明確に理解させることができる。
　また、表示制御部５５２は、図１８に示すように、群の人数を群の領域の内部または近傍に位置するように表示させる。表示制御部５５２は、例えば、群ＣＬ１に対し、群ＣＬ１の人数である１２人を、群ＣＬ１を表す枠の中に表示している。また、表示制御部５５２は、例えば、群ＣＬ３に対し、群ＣＬ３の人数である１３人を、群ＣＬ３を表す枠の近傍に表示している。
　このように、表示制御装置５５が群情報を表示させることにより、ユーザに対し、群毎の人流の状態をより明確に理解させることができる。
　なお、図１８の表示画面に図１７に示すような各部分領域の人流情報を、群情報に重ねて表示してもよい。
　図１９は、本実施の形態に係る表示制御装置５５の動作の一例を示すフローチャートである。図１９では、表示制御装置５５のクラスタリング部５５１が生成部１４から人流情報を受け取っているとする。
　図１９に示す通り、クラスタリング部５５１が、画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、画像の部分領域をクラスタリングする（ステップＳ１９１）。
　表示制御部５５２は、クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、群状態を群毎に異なる表示態様で画面に表示させるよう制御する（ステップＳ１９２）。
　以上で、表示制御装置５５は、処理を終了する。
　（効果）
　以上のように、本実施の形態に係る表示制御装置５５は、部分領域毎の人流情報に基づいて、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、部分領域をクラスタリングする。そして、クラスタリングされた部分領域の人流情報に基づいて、群毎に、群状態を算出し、算出した群状態を群毎に異なる表示態様で表示装置に表示させる。これにより、表示装置には、群状態が群毎に異なる態様で表示された画面が表示される。このように、人流が群状態という意味の理解しやすい単位で強調されて表示されることにより、この画面を見たユーザは、人流の状態をより明確に理解できる。このように、表示制御装置５５は、群状態を群毎に表示させるため、ユーザに対し、視覚的に人流の状態をより明確に理解させることができる。
　また、このような表示制御装置５５を備える人流推定装置５０は、上述した人流推定装置１０と同様に、混雑環境下で撮影され、低いフレームレートで送信された画像であっても、該画像から人流を高精度に推定することができる。
　上記では、本実施の形態に係る表示制御装置５５が、上述した第１の実施の形態に係る人流推定装置１０に備えられる構成について説明を行ったが、表示制御装置５５は、第２の実施の形態に係る人流推定装置４０に備えられる構成であってもよい。即ち、人流推定装置４０は、群衆向き推定部４２と、動き量推定部１３と、生成部４４とに加え、更に、表示制御装置５５を備える構成であってもよい。この場合、人流情報に人数の情報が含まれないため、表示制御装置５５は、群衆の向きと動きとを表示させることができる。これにより、人流推定装置４０も、本実施の形態に係る人流推定装置５０と同様に、ユーザに対し、視覚的に人流の状態をより明確に理解させることができる。
　また、本実施の形態に係る表示制御装置５５は、人流推定装置５０に含まれる人数推定部１１、群衆向き推定部１２、動き量推定部１３および生成部１４を内部に備える構成であってもよい。つまり、表示制御装置５５が人流推定装置５０と同様の機能を有してもよい。
　（ハードウェア構成について）
　本開示の各実施形態において、各人流推定装置および表示制御装置の各構成要素は、機能単位のブロックを示している。各人流推定装置および表示制御装置の各構成要素の一部又は全部は、例えば、図２０に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２０は、各人流推定装置および表示制御装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　各実施形態における各人流推定装置および表示制御装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各人流推定装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　各人流推定装置および表示制御装置の実現方法には、様々な変形例がある。例えば、各人流推定装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各人流推定装置および表示制御装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、各人流推定装置および表示制御装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　各人流推定装置および表示制御装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各人流推定装置および表示制御装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　本開示の各実施の形態に係る人流推定装置によれば、混雑環境下で撮影され、且つ、低いフレームレートで送信された動画像から、人流を推定できる人流推定装置や、その人流推定装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、本開示の人流推定装置は、カメラ・蓄積映像から人流を推定することを必要とする監視分野での不審者認識・不審物の置き去り認識、異常状態認識、異常行動認識を行う装置・機能といった用途に適用できる。また、本開示の人流推定装置は、マーケティング分野での行動解析・環境状態の分析を行う装置・機能といった用途に適用できる。さらに、本開示の人流推定装置は、カメラ・蓄積映像からの人流推定の結果である人流を入力とする入力インタフェースといった用途に適用できる。この他、本開示の人流推定装置は、人流推定の結果である人流をトリガ・キーとするビデオ／映像検索装置・機能といった用途に適用できる。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　画像の部分領域に含まれる人数を推定する人数推定手段と、
　前記部分領域における群衆の向きを推定する群衆向き推定手段と、
　前記部分領域内の動き量を推定する動き量推定手段と、
　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
　（付記２）
　前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
　前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする付記１に記載の人流推定装置。
　（付記３）
　前記生成手段は、前記部分領域に関連する前記動き量が所定の値より大きいか否かを判定し、前記動き量が前記所定の値より大きい場合、前記部分領域内に動きが有ると判定し、前記動き量が前記所定の値以下の場合、前記部分領域内に動きが無いと判定する、ことを特徴とする付記２に記載の人流推定装置。
　（付記４）
　前記生成手段は、前記推定された人数が所定の値より多い部分領域を、前記人が存在する部分領域として抽出し、該抽出された部分領域に対する前記人流情報を生成することを特徴とする付記１から３の何れか１つに記載の人流推定装置。
　（付記５）
　前記群衆向き推定手段および前記動き量推定手段は、夫々、前記生成手段によって抽出された部分領域に対し、前記群衆の向きおよび前記動き量を推定し、
　前記生成手段は、前記抽出された部分領域に対して推定された前記群衆の向きおよび前記動き量に基づいて、前記人流情報を生成する、ことを特徴とする付記１から４の何れか１つに記載の人流推定装置。
　（付記６）
　前記人数推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記人数を推定する、ことを特徴とする付記１から５のいずれか１つに記載の人流推定装置。
　（付記７）
　画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する群衆向き推定手段と、
　前記部分領域内の動き量を推定する動き量推定手段と、
　前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
　（付記８）
　前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
　前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を更に備えることを特徴とする付記７に記載の人流推定装置。
　（付記９）
　前記群衆向き推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記群衆の向きを推定する、ことを特徴とする付記１から８のいずれか１つに記載の人流推定装置。
　（付記１０）
　動き量推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記動き量を推定する、ことを特徴とする付記１から９のいずれか１つに記載の人流推定装置。
　（付記１１）
　画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
　前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を備えることを特徴とする表示制御装置。
　（付記１２）
　前記表示制御手段は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させる、ことを特徴とする付記１１に記載の表示制御装置。
　（付記１３）
　画像の部分領域に含まれる人数を推定する人数推定手段と、
　前記部分領域における群衆の向きを推定する群衆向き推定手段と、
　前記部分領域内の動き量を推定する動き量推定手段と、
　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を更に備え、
　前記クラスタリング手段は、前記生成手段が生成した前記人流情報に基づいて、該人流情報に関連する部分領域をクラスタリングする、ことを特徴とする付記１１または１２に記載の表示制御装置。
　（付記１４）
　画像の部分領域に含まれる人数を推定し、
　前記部分領域における群衆の向きを推定し、
　前記部分領域内の動き量を推定し、
　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
　（付記１５）
　前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
　前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする付記１４に記載の人流推定方法。
　（付記１６）
　画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出し、
　前記部分領域内の動き量を推定し、
　前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
　（付記１７）
　前記人流推定方法は、更に、
　前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングし、
　前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする付記１６に記載の人流推定方法。
　（付記１８）
　画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングし、
　前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする表示制御方法。
　（付記１９）
　前記画面に、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する、ことを特徴とする付記１８に記載の表示制御方法。
　（付記２０）
　画像の部分領域に含まれる人数を推定する処理と、
　前記部分領域における群衆の向きを推定する処理と、
　前記部分領域内の動き量を推定する処理と、
　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。
　（付記２１）
　前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
　前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする付記２０に記載のプログラム。
　（付記２２）
　画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する処理と、
　前記部分領域内の動き量を推定する処理と、
　前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。
　（付記２３）
　前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
　前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、を更にコンピュータに実行させることを特徴とする付記２２に記載のプログラム。
　（付記２４）
　画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
　前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、をコンピュータに実行させる、ことを特徴とするプログラム。
　（付記２５）
　前記制御する処理は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する処理である、ことを特徴とする付記２４に記載のプログラム。
　この出願は、２０１６年８月４日に出願された日本出願特願２０１６－１５３５７１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　人流推定装置
　１１　　人数推定部
　１２　　群衆向き推定部
　１３　　動き量推定部
　１４　　生成部
　１４１　　人領域抽出部
　１４２　　人流情報生成部
　２０　　撮像装置
　３０　　記憶装置
　４０　　人流推定装置
　４２　　群衆向き推定部
　４４　　生成部
　４４１　　人領域抽出部
　４４２　　人流情報生成部
　５０　　人流推定装置
　５５　　表示制御装置
　６０　　表示装置
　１００　　人流推定システム
　５００　　人流推定システム

Claims (25)

  1. 　画像の部分領域に含まれる人数を推定する人数推定手段と、
    　前記部分領域における群衆の向きを推定する群衆向き推定手段と、
    　前記部分領域内の動き量を推定する動き量推定手段と、
    　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
  2. 　前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
    　前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項１に記載の人流推定装置。
  3. 　前記生成手段は、前記部分領域に関連する前記動き量が所定の値より大きいか否かを判定し、前記動き量が前記所定の値より大きい場合、前記部分領域内に動きが有ると判定し、前記動き量が前記所定の値以下の場合、前記部分領域内に動きが無いと判定する、ことを特徴とする請求項２に記載の人流推定装置。
  4. 　前記生成手段は、前記推定された人数が所定の値より多い部分領域を、前記人が存在する部分領域として抽出し、該抽出された部分領域に対する前記人流情報を生成することを特徴とする請求項１から３の何れか１項に記載の人流推定装置。
  5. 　前記群衆向き推定手段および前記動き量推定手段は、夫々、前記生成手段によって抽出された部分領域に対し、前記群衆の向きおよび前記動き量を推定し、
    　前記生成手段は、前記抽出された部分領域に対して推定された前記群衆の向きおよび前記動き量に基づいて、前記人流情報を生成する、ことを特徴とする請求項１から４の何れか１項に記載の人流推定装置。
  6. 　前記人数推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記人数を推定する、ことを特徴とする請求項１から５のいずれか１項に記載の人流推定装置。
  7. 　画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する群衆向き推定手段と、
    　前記部分領域内の動き量を推定する動き量推定手段と、
    　前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を備えることを特徴とする人流推定装置。
  8. 　前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
    　前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を更に備えることを特徴とする請求項７に記載の人流推定装置。
  9. 　前記群衆向き推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記群衆の向きを推定する、ことを特徴とする請求項１から８のいずれか１項に記載の人流推定装置。
  10. 　動き量推定手段は、部分領域毎の学習によって得られた推定器を用いて、前記動き量を推定する、ことを特徴とする請求項１から９のいずれか１項に記載の人流推定装置。
  11. 　画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングするクラスタリング手段と、
    　前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する表示制御手段と、を備えることを特徴とする表示制御装置。
  12. 　前記表示制御手段は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させる、ことを特徴とする請求項１１に記載の表示制御装置。
  13. 　画像の部分領域に含まれる人数を推定する人数推定手段と、
    　前記部分領域における群衆の向きを推定する群衆向き推定手段と、
    　前記部分領域内の動き量を推定する動き量推定手段と、
    　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する生成手段と、を更に備え、
    　前記クラスタリング手段は、前記生成手段が生成した前記人流情報に基づいて、該人流情報に関連する部分領域をクラスタリングする、ことを特徴とする請求項１１または１２に記載の表示制御装置。
  14. 　画像の部分領域に含まれる人数を推定し、
    　前記部分領域における群衆の向きを推定し、
    　前記部分領域内の動き量を推定し、
    　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
  15. 　前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
    　前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項１４に記載の人流推定方法。
  16. 　画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出し、
    　前記部分領域内の動き量を推定し、
    　前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する、ことを特徴とする人流推定方法。
  17. 　前記人流推定方法は、更に、
    　前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングし、
    　前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする請求項１６に記載の人流推定方法。
  18. 　画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングし、
    　前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する、ことを特徴とする表示制御方法。
  19. 　前記画面に、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する、ことを特徴とする請求項１８に記載の表示制御方法。
  20. 　画像の部分領域に含まれる人数を推定する処理と、
    　前記部分領域における群衆の向きを推定する処理と、
    　前記部分領域内の動き量を推定する処理と、
    　前記人数に基づいて、複数の前記部分領域から、人が存在する部分領域を抽出し、前記人数と、該抽出された部分領域と、該部分領域に関連する前記群衆の向きおよび前記動き量とに基づいて、該部分領域に関連する前記人数と、該部分領域に含まれる人の移動状態と、該人の領域を表す情報とを含む、該部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  21. 　前記人の領域は、前記画像内における前記抽出された部分領域の位置およびサイズであり、
    　前記人の移動状態は、前記抽出された部分領域に関連する前記群衆の向きおよび該部分領域内の動きの有無である、ことを特徴とする請求項２０に記載の記録媒体。
  22. 　画像の部分領域における群衆の向きを推定し、該向きに応じた信頼度を算出する処理と、
    　前記部分領域内の動き量を推定する処理と、
    　前記群衆の向きと、前記向きに応じた信頼度と、前記動き量とに基づいて、前記部分領域における人の流れを表す人流に関する情報である人流情報を生成する処理と、をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  23. 　前記部分領域に関連する人流情報の類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
    　前記クラスタリングされた部分領域の前記人流情報に基づいて、クラスタリングされた群の群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、を更にコンピュータに実行させることを特徴とする請求項２２に記載の記録媒体。
  24. 　画像における人流として示された部分領域に対して、部分領域間の距離、部分領域における群衆の向きおよび動きの類似性に基づいて、前記画像の部分領域をクラスタリングする処理と、
    　前記クラスタリングされた部分領域の人流の情報に基づいて、クラスタリングされた群の領域、向き、動きおよび人数を示す群状態を群毎に算出し、前記群状態を群毎に異なる表示態様で画面に表示させるよう制御する処理と、をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  25. 　前記制御する処理は、前記群毎に、前記群の領域を、該群に属する部分領域を取り囲むように表示させ、該群の向きと群の動きとを、夫々、矢印の方向と大きさとで表現するように前記矢印を表示させ、前記群の人数を前記群の領域の内部または近傍に位置するように表示させるよう制御する処理である、ことを特徴とする請求項２４に記載の記録媒体。
PCT/JP2017/027797 2016-08-04 2017-08-01 人流推定装置、表示制御装置、人流推定方法および記録媒体 WO2018025831A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018531904A JP6950692B2 (ja) 2016-08-04 2017-08-01 人流推定装置、人流推定方法およびプログラム
US16/322,345 US10936882B2 (en) 2016-08-04 2017-08-01 People flow estimation device, display control device, people flow estimation method, and recording medium
US16/590,441 US11106920B2 (en) 2016-08-04 2019-10-02 People flow estimation device, display control device, people flow estimation method, and recording medium
US16/590,436 US11074461B2 (en) 2016-08-04 2019-10-02 People flow estimation device, display control device, people flow estimation method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016153571 2016-08-04
JP2016-153571 2016-08-04

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US16/322,345 A-371-Of-International US10936882B2 (en) 2016-08-04 2017-08-01 People flow estimation device, display control device, people flow estimation method, and recording medium
US16/590,441 Continuation US11106920B2 (en) 2016-08-04 2019-10-02 People flow estimation device, display control device, people flow estimation method, and recording medium
US16/590,436 Continuation US11074461B2 (en) 2016-08-04 2019-10-02 People flow estimation device, display control device, people flow estimation method, and recording medium

Publications (1)

Publication Number Publication Date
WO2018025831A1 true WO2018025831A1 (ja) 2018-02-08

Family

ID=61073814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027797 WO2018025831A1 (ja) 2016-08-04 2017-08-01 人流推定装置、表示制御装置、人流推定方法および記録媒体

Country Status (3)

Country Link
US (3) US10936882B2 (ja)
JP (1) JP6950692B2 (ja)
WO (1) WO2018025831A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112255923A (zh) * 2020-10-13 2021-01-22 日立楼宇技术（广州）有限公司 一种电设备控制方法、装置、服务器及介质
EP3920531A4 (en) * 2019-01-30 2022-03-23 Panasonic Intellectual Property Management Co., Ltd. METHOD AND SYSTEM FOR MONITORING A HOUSING FOR FARM ANIMALS
JP2023502816A (ja) * 2020-10-30 2023-01-26 深▲セン▼市商▲湯▼科技有限公司 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム
US11908197B2 (en) 2020-07-20 2024-02-20 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699422B2 (en) * 2016-03-18 2020-06-30 Nec Corporation Information processing apparatus, control method, and program
JP6977730B2 (ja) 2016-09-13 2021-12-08 日本電気株式会社 人流推定装置、人流推定方法およびプログラム
JP7103229B2 (ja) * 2017-01-05 2022-07-20 日本電気株式会社 不審度推定モデル生成装置
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
JP6968645B2 (ja) * 2017-10-02 2021-11-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019239756A1 (ja) * 2018-06-13 2019-12-19 日本電気株式会社 対象物数推定システム、対象物数推定方法、プログラム、及び記録媒体
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
US11436839B2 (en) * 2018-11-02 2022-09-06 Toyota Research Institute, Inc. Systems and methods of detecting moving obstacles
JP7118934B2 (ja) * 2019-09-04 2022-08-16 株式会社東芝 物体数推定装置、物体数推定方法、および物体数推定プログラム
US11348338B2 (en) * 2020-11-04 2022-05-31 Huawei Technologies Co., Ltd. Methods and systems for crowd motion summarization via tracklet based human localization
CN115269670A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 流量预测方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022370A (ja) * 2010-07-12 2012-02-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
WO2014207991A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム
JP2015194915A (ja) * 2014-03-31 2015-11-05 住友電気工業株式会社 移動体追跡装置、移動体追跡方法、移動体追跡システムおよびカメラ
WO2016114134A1 (ja) * 2015-01-14 2016-07-21 日本電気株式会社 移動状況推定装置、移動状況推定方法およびプログラム記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4607394B2 (ja) 2001-09-27 2011-01-05 株式会社シー・イー・デー・システム 人物検出システム、及び人物検出プログラム
US7991193B2 (en) 2007-07-30 2011-08-02 International Business Machines Corporation Automated learning for people counting systems
US8195598B2 (en) * 2007-11-16 2012-06-05 Agilence, Inc. Method of and system for hierarchical human/crowd behavior detection
JP2009211311A (ja) 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
JP2010198566A (ja) 2009-02-27 2010-09-09 Nec Corp 人数計測装置、方法及びプログラム
WO2015198767A1 (ja) * 2014-06-27 2015-12-30 日本電気株式会社 異常検知装置及び異常検知方法
CN105654021B (zh) * 2014-11-12 2019-02-01 株式会社理光 检测人群对目标位置关注度的方法及设备
JP2017090965A (ja) * 2015-11-02 2017-05-25 株式会社東芝 群衆分類装置、その方法、及び、そのプログラム
JP2017156956A (ja) 2016-03-01 2017-09-07 株式会社東芝 機器選択装置、その方法及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022370A (ja) * 2010-07-12 2012-02-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
WO2014207991A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム
JP2015194915A (ja) * 2014-03-31 2015-11-05 住友電気工業株式会社 移動体追跡装置、移動体追跡方法、移動体追跡システムおよびカメラ
WO2016114134A1 (ja) * 2015-01-14 2016-07-21 日本電気株式会社 移動状況推定装置、移動状況推定方法およびプログラム記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3920531A4 (en) * 2019-01-30 2022-03-23 Panasonic Intellectual Property Management Co., Ltd. METHOD AND SYSTEM FOR MONITORING A HOUSING FOR FARM ANIMALS
US11908197B2 (en) 2020-07-20 2024-02-20 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN112255923A (zh) * 2020-10-13 2021-01-22 日立楼宇技术（广州）有限公司 一种电设备控制方法、装置、服务器及介质
CN112255923B (zh) * 2020-10-13 2023-12-19 日立楼宇技术（广州）有限公司 一种电设备控制方法、装置、服务器及介质
JP2023502816A (ja) * 2020-10-30 2023-01-26 深▲セン▼市商▲湯▼科技有限公司 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム
JP7305808B2 (ja) 2020-10-30 2023-07-10 深▲セン▼市商▲湯▼科技有限公司 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム

Also Published As

Publication number Publication date
US11074461B2 (en) 2021-07-27
US20200184228A1 (en) 2020-06-11
JPWO2018025831A1 (ja) 2019-06-13
US11106920B2 (en) 2021-08-31
US20200050872A1 (en) 2020-02-13
US10936882B2 (en) 2021-03-02
US20200050873A1 (en) 2020-02-13
JP6950692B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
WO2018025831A1 (ja) 人流推定装置、表示制御装置、人流推定方法および記録媒体
US20220383535A1 (en) Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium
US10198823B1 (en) Segmentation of object image data from background image data
CN114902294B (zh) 移动增强现实中的细粒度视觉识别
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN108229324B (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN108292362A (zh) 用于光标控制的手势识别
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
JP6590609B2 (ja) 画像解析装置及び画像解析方法
JP5703194B2 (ja) ジェスチャ認識装置、その方法、及び、そのプログラム
US11157749B2 (en) Crowd state recognition device, learning method, and learning program
JP6618395B2 (ja) 行動価値によって調査対象の位置を予測する装置、プログラム及び方法
KR20180028198A (ko) 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
US11062469B2 (en) 4D tracking utilizing depth data from multiple 3D cameras
US11170512B2 (en) Image processing apparatus and method, and image processing system
US11429985B2 (en) Information processing device calculating statistical information
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
CN108510520A (zh) 一种图像处理方法、装置及ar设备
CN111601013A (zh) 用于处理视频帧的方法和装置
Kim et al. Eye mouse: mouse implementation using eye tracking
JP2023008030A (ja) 画像処理システム、画像処理方法及び画像処理プログラム
Abdellaoui et al. Template matching approach for automatic human body tracking in video
CN113379838B (zh) 虚拟现实场景的漫游路径的生成方法和存储介质
KR102650594B1 (ko) 낮은 공간 지터, 낮은 레이턴시 및 저전력 사용을 갖는 객체 및 키포인트 검출 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018531904

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17836936

Country of ref document: EP

Kind code of ref document: A1