WO2018084191A1 - 混雑状況分析システム - Google Patents

混雑状況分析システム Download PDF

Info

Publication number
WO2018084191A1
WO2018084191A1 PCT/JP2017/039589 JP2017039589W WO2018084191A1 WO 2018084191 A1 WO2018084191 A1 WO 2018084191A1 JP 2017039589 W JP2017039589 W JP 2017039589W WO 2018084191 A1 WO2018084191 A1 WO 2018084191A1
Authority
WO
WIPO (PCT)
Prior art keywords
congestion
person
weather
analysis
environmental
Prior art date
Application number
PCT/JP2017/039589
Other languages
English (en)
French (fr)
Inventor
伊藤　光恵
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2018549046A priority Critical patent/JP6908617B2/ja
Publication of WO2018084191A1 publication Critical patent/WO2018084191A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/17—Catathermometers for measuring "cooling value" related either to weather conditions or to comfort of other human environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a congestion situation analysis system using video, and more particularly, to a congestion situation analysis system capable of analyzing a congestion situation in consideration of human stress level.
  • a congestion situation analysis system for example, an object that enters an analysis target area is imaged using an imaging device such as a television camera (TV camera), and the number and movement of objects existing in the area from the captured image. To determine whether or not congestion occurs in the area.
  • an imaging device such as a television camera (TV camera)
  • TV camera television camera
  • a congestion status analysis system that automatically performs trap analysis instead of manned monitoring by the user and informs the user of the congestion status according to the situation has been hitherto studied (for example, Patent Documents). 1).
  • FIG. 8 is a diagram for explaining an outline of a procedure for detecting a region in which the luminance threshold value has changed by the background difference method
  • FIG. 9 shows a typical processing procedure of a monitoring method to which the background difference method is applied. It is a flowchart to show.
  • 401 is an input image that is sequentially input from the imaging apparatus
  • 402 is a background image that is prepared in advance and does not show the target object to be detected.
  • the difference between the luminance values for each pixel is calculated by the differencer 405 to obtain a difference image 403.
  • the threshold value processing is performed to obtain a binarized image 404 with a pixel value less than the threshold Th as “0” and a pixel value greater than or equal to the threshold Th as “255”.
  • the humanoid object 407 shown in the input image 401 is calculated as a region 408 in which a difference is generated by the differentiator 405 (changed luminance region of the input image), and the pixel value “255” is calculated by the binarizer 406. "Is detected as an image 409.
  • an initialization processing step S501 initialization of external devices, variables, image memory, etc. for realizing the object detection method based on the background difference method is performed.
  • the image input step S502 an input image having a width of 640 pixels and a height of 480 pixels, for example, is obtained from the imaging device.
  • the difference processing step S503 the luminance value of each pixel of the input image obtained in step S502 (see the input image 401 in FIG. 8) and the reference background image prepared in advance (see the background image 402 in FIG. 8). Is calculated (difference image 403).
  • Th a predetermined threshold
  • the pixel value of a pixel equal to or greater than Th is “255” (the pixel value of one pixel is calculated by 8 bits. That is, one pixel has a value from 0 to 255), and the binarized image (binarized image of FIG. 8) 404).
  • a block of pixels (see the image 409 in FIG. 8) having the pixel value “255” in the binarized image 404 obtained in step S504 is detected and numbered. So that they can be distinguished.
  • the object presence determination step S506 for each of the numbered change areas, it is determined whether the change area matches the detection condition based on the size, area, and the like. If the change area matches the detection condition (YES) ), In the object information output step S507, the position and size of the object are output by a method as necessary, and the congestion status is determined using the total number of objects determined from the output information. .
  • step S508 If the detection condition is not met in step S506 (NO), the process branches to background update step S508 because no object exists.
  • the background image is updated using the input image obtained in step S502.
  • a background image update method for example, there is a method in which a current background image is weighted and averaged by applying a certain weight (update rate) to a current background image, and new background images are sequentially generated.
  • Such a congestion situation analysis system is used for various purposes. For example, in a facility visited by an unspecified number of people such as a station premises, Sakai Airport, a stadium, a shopping mall, etc. Has been.
  • the recording device used in the system has various data recorded based on output information from long-term image data, and a function for predicting congestion in advance based on the accumulated data of these It is often equipped with.
  • the degree of soot congestion is determined using video information from the imaging device.
  • the degree of congestion perceived by people varies depending on the environmental conditions, it is far from the congestion status determined by the congestion analysis system, and even if it is determined that the image information is not crowded, You may feel uncomfortable.
  • the present invention has been made in view of such circumstances, and not only the number and movement of objects obtained from video information of an imaging apparatus, but also the tightness and stress that fluctuate depending on environmental conditions and objects carried or used by people. It is an object of the present invention to provide a congestion situation analysis system that can analyze a congestion situation in consideration of human senses.
  • a congestion situation analysis system includes an imaging device that captures a wrinkle image of a region to be analyzed, and processes the image captured by the imaging device and collects wrinkle information in the analysis target region
  • the congestion analysis apparatus includes an object information analysis unit, and the object information analysis unit includes a person and an object included in a thumbtack image captured by the imaging device.
  • a person / object information extracting means for extracting the information, a type determining means for determining the type of the person and the object extracted by the person / object extracting means, a personal space of the person extracted by the person / object extracting means, And an estimated number calculating means for calculating an estimated number of persons including a cramp felt by a person using the occupied area for each type of object determined by the type determining means, and the estimated person ,
  • a congestion degree determination means for performing determine constant near congestion to human senses on the basis of the estimated number of persons calculated in calculation means, characterized in that it comprises a.
  • the congestion status analysis system of the present invention is the above-described congestion status analysis system, wherein the congestion analysis device includes an environment parameter generation unit, and the environment trap parameter generation unit includes at least Environmental parameter calculation means for calculating environment parameters based on weather information and weather information from one weather sensor, and the object information analysis unit uses the environmental parameters calculated by the environment parameter calculation means, and uses the estimated number of people.
  • An environmental number calculating means for calculating the number of environmental persons reflecting the environmental state in the analysis target area is calculated with respect to the estimated number of persons calculated by the calculating means, and the congestion degree determining means is calculated by the environmental number calculating means. Based on the number of people in the environment, the degree of congestion including the degree of human stress due to the environmental state in the analysis target area is determined. It is characterized by that.
  • the congestion status analysis system of the present invention is the above-described congestion status analysis system, wherein the environmental parameter calculation means has an environment table and a weather table, and is acquired from the environment table.
  • the environmental parameter indicating the discomfort level of the person in the analysis target area is calculated using the stress parameter obtained and the weather parameter obtained from the weather table.
  • the present invention not only the number and movement of objects obtained from the image information of the imaging device, but also the situation of congestion taking into account human senses such as environmental cramps and cramps and stresses that vary depending on the objects carried or used by people Can be analyzed.
  • a congestion situation analysis system includes an imaging device that captures an image of a region to be analyzed, a congestion analysis device that processes an image captured by the imaging device and collects information in the analysis target region, and
  • the congestion analysis device includes an object information analysis unit, and the object information analysis unit extracts a person / object information included in an image captured by the imaging device.
  • type determining means for determining the type of person and object extracted by the person / object extracting means, personal space of the person extracted by the person / object extracting means, and object type determined by the type determining means Based on the estimated number of people calculated by the estimated number of people calculated by the estimated number of people calculated by the estimated number of people including the cramped feeling felt by the person and the estimated number of people
  • a congestion degree determination means for determining the degree of the fluctuation, which varies depending not only on the number and movement of objects obtained from the image information of the imaging device, but also on the environmental state and the object carried or used by the person.
  • the situation of congestion can be analyzed in consideration of human senses such as cramping and stress.
  • FIG. 1 is a block diagram showing an example of the configuration of a congestion situation analysis system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of an object information table of the congestion situation analysis system according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of an environment table of the congestion situation analysis system according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a weather table of the congestion situation analysis system according to the embodiment of the present invention.
  • the congestion status analysis system of the present invention includes an imaging device 10, a congestion analysis device 20 having an object information analysis collar 30 and an environment parameter generator 40, a recording device 50, and a display collar 60. It is configured.
  • the imaging device 10 is connected to an image input I / F (interface) (not shown) of the congestion analysis device 20, and the display device 60 and the recording device 50 are image output I / F (not shown) of the congestion analysis device 20. It is connected to F (interface).
  • the weather sensor 70 and the weather information acquisition device 80 are connected to the I / F (F interface) of the congestion analysis device 20.
  • the imaging device 10 may be connected to the congestion analysis device 20 via a network.
  • the weather information acquisition device 80 may be connected to the congestion analysis device 20 via a network.
  • the imaging apparatus 10 is configured as one unit, but a plurality of imaging apparatuses 10 may exist.
  • the imaging device 10 is connected to an image input I / F (not shown) of the congestion analysis device 20, captures an image of a region to be analyzed, and the captured image data is input to the image input unit 31 of the congestion analysis device 20.
  • the object information analysis unit 30 of the congestion analysis device 20 includes an image input unit 31, a motion information extraction unit 32, a person / object analysis unit 33, a congestion determination unit 34, and an object information table 35.
  • the image input unit 31 acquires image data captured from the imaging device 10, for example, an input image having a width of 640 pixels and a height of 480 pixels.
  • the motion information extraction unit 32 extracts an area in which an object exists from the input image input from the image input unit 31, an image showing a range in which a person or an object exists (hereinafter, an extracted image), and its region Create information.
  • the person / object analysis unit 33 determines the total number of people and the class of the object from the extracted image or the like input from the motion information extraction unit 32. In addition, the person / object analysis unit 33 uses the input image or the extracted image to calculate, for example, “size”, “speed”, “traveling direction (when entering and leaving) from the person or object existing in the extracted image. ) ",” Contour shape ", etc., based on several features, such as” person only ",” stroller “,” accompanied by auxiliary dog “,” carrying large luggage (suitcase or large sports bag) ",” wheelchair use ”,“ Carrying white cane ”,“ with children ”, and so on. Further, the person / object analysis unit 33 refers to a person / object information table 35 described later with respect to the total number of persons, and recalculates the number of persons (estimated number) reflecting the type of the object.
  • the person / object information table 35 includes a type 35a, a type number 35b, a bag, and an occupied area (width ⁇ depth) 35c.
  • 120 ⁇ 120 is used as a reference (type number 35b“ 1.0 ”), and the number of types calculated by adding the occupied area that increases in the case of other types as an additional number is registered.
  • the occupation area 35c of the type 35a “person”, which is different from the reference assumes that the interpersonal distance that the fingertip reaches the person when the hand is extended in consideration of the human personal space, and the person moves without feeling stressed.
  • the congestion determination unit 34 calculates the number of people considering the degree of human stress (hereinafter referred to as “environmental number of people”) from the estimated number of people calculated by the person / object analysis unit 33 and the environmental parameters acquired from the environmental parameter generating unit 40. Further, the congestion determination unit 34 determines the degree of congestion using the number of people in the environment, and outputs a determination result (for example, a quiet state, a normal state, a congestion state, etc.).
  • a determination result for example, a quiet state, a normal state, a congestion state, etc.
  • the environment parameter generation unit 40 of the congestion analysis apparatus 20 includes an environment analysis unit 41, an environment table 42, and a weather table 43, calculates environment parameters to be described later, and outputs them to the congestion determination unit 34.
  • the environment analysis unit 41 calculates the discomfort index based on the weather data acquired from the weather sensor 70, and based on the calculated discomfort index and the weather information acquired from the weather information acquisition device 80, the environment table 42 and the weather described later A stress parameter and a weather parameter are determined with reference to the table 43, an environmental parameter is calculated from the stress parameter and the weather parameter, and the environmental parameter is output to the congestion determination unit 34.
  • the environment table 42 includes a discomfort index 42a, a stress parameter 42 ⁇ ⁇ ⁇ ⁇ ⁇ b, and a general sense 42c, and a stress parameter 42b corresponding to the numerical value of the discomfort index 42a is set and registered.
  • the stress parameter is a value indicating the degree of stress felt by human beings with respect to the discomfort index.
  • the stress parameter increases in proportion to an increase in the discomfort index. That is, according to the environment table 42, for example, if the discomfort index 42a is 76 or more, some people are said to be uncomfortable, so the stress parameter is 1.3 and the discomfort index 42a is 81 or more. Then, since it is said that everyone is uncomfortable, the stress parameter 42b is 1.5.
  • the weather table 43 includes a weather 43a, a weather parameter 43b, and a general sense 43c, and the weather parameter 43b corresponding to the weather 43a is set and registered.
  • the weather parameter is a threshold value indicating the degree of stress felt by humans with respect to the weather condition. That is, according to the weather parameter 43, for example, the weather parameter 43b when the weather 43a is fine weather is 1.0, whereas the weather parameter 43b when the weather is rainy (rainfall is less than 1 mm) is 1.2.
  • the weather parameter 43b in rainy weather (rainfall of 1mm or more) is 1.5km, and there are more unpleasant factors such as possession of wet umbrellas, wearing boots and raincoats, and slow movement on wet floors and staircases as the weather gets worse Therefore, the parameter value is set to be large.
  • the meteorological sensor 70 outputs the meteorological data in the analysis target area to the environment analyzing unit 41 via the network in response to an instruction from the environment analyzing unit 41.
  • the weather sensor 70 is, for example, a temperature sensor, a humidity sensor, or a rain sensor, a wind speed sensor, a wind direction sensor, a barometric pressure sensor, etc. when outdoors.
  • meteorological data acquired from the indoor weather sensor 70 installed in the vicinity of the analysis target area is stored in the “temperature sensor” and “humidity sensor”. The information obtained from the two types is used. When the analysis target area is outdoors, the most suitable sensor is used outdoors.
  • the weather information acquisition device 80 In response to an instruction from the environment analysis unit 41, the weather information acquisition device 80 outputs the weather information of the analysis target area to the environment analysis unit 41 via the network. For example, the weather information acquisition device 80 periodically acquires the weather information of the analysis target area disclosed on the HP (homepage) of the Japan Meteorological Association and stores it in the storage unit.
  • FIG. 5 is a flowchart showing an example of processing in the congestion situation analysis system according to the embodiment of the present invention.
  • the image input step S ⁇ b> 201 the image input unit 31 of the object information analysis unit 30 of the congestion analysis device 20 performs image data captured from the imaging device 10, for example, a width of 640 pixels and a height of 480 pixels. Get the input image.
  • the motion information extraction unit 32 of the object information analysis unit 30 extracts an area where an object exists from the input image acquired in step S201.
  • the processing in this step corresponds to the processing from step S502 to step S508 described with reference to FIG. 9 of the prior art, and an image (hereinafter referred to as an extracted image) showing a range where a person or an object exists and its region information Create
  • the person / object analysis unit 33 of the object information analysis unit 30 should determine the total number of persons and the class of the object from the extracted image obtained in step S202.
  • the person / object analysis unit 33 uses the input image or the extracted image to extract, for example, “size”, “speed”, “traveling direction (when entering and leaving)” from the person or object existing in the extracted image.
  • Based on multiple features such as “cage contour shape”, for example, “person only”, “stroller”, “accompanied by assisting dog”, “carrying large luggage (suitcase or large sports bag)”, “wheelchair use cage” , “Carrying a white cane”, “with children” and the like.
  • cocoons can be implemented with known classifiers and analysis methods using machine learning such as SVM (Support Vector Machine), random forest and deep learning, and learning data ⁇ etc. are prepared in advance if necessary Keep it.
  • the person / object analysis unit 33 of the object information analysis unit 30 refers to the person / object information table 35 described above for the total number of persons, and the number of persons (estimated) that reflects the object type. Recalculation of the number of people). For example, referring to the object information table 35, the occupation area 35 c of the standard type 35 a “person” is 120 cm wide ⁇ 120 cm deep, and the type number 35 b is 1.0. Further, since the occupation area 3 5c of the type 35a “stroller” is 100 cm wide ⁇ 100 cm deep (only the main body), the number of types 35b assumes that the bag “person” is pushing the “stroller”. It is set to 8 people.
  • FIG. 6 is a diagram for explaining an input image in the congestion state analysis system according to the embodiment of the present invention, and an occupied area by a person, an object, and an object type in the input image.
  • FIG. 6A shows an example of the input image acquired in the image input step S201.
  • passers-by 901 to 903 can be confirmed, and in the image recognition process performed in the existing system, it is determined that there are three persons in the analysis target area.
  • the passerby 901 is the type 35a “person”
  • the passerby 902 is the type 35a “white cane (displayed as a black cane in the drawing)”
  • the passerby 903 is the “Large luggage”.
  • the passer-by 903 since the passer-by 903 has a suitcase, it is determined as the type 35a “large baggage”, and therefore the object region obtained in the object extraction step S202 has a baggage.
  • the size of the object is 170 cm (120 cm + 50 cm) ⁇ 120 cm in depth, and the occupied area 1003 of the object is larger than the occupied area 1001 of the type 35a “person”. .
  • this occupied area 1003 is converted into the number of people of a type based on the type 35a “person”.
  • the result is 4 people.
  • the estimated number of people calculation step S204 as a result of adding the occupied areas 1001 to 1003 corresponding to the types to all the passers-by 901 to 903 in FIG. 6B, the result in the input image of FIG.
  • the estimated number of people is 4.2 (1.0 +1.4 +1.8).
  • the process for calculating the estimated number of persons from the occupied area with the size of each type including “person” fixed is described.
  • the size of each object is calculated.
  • the type analysis step S203 only the number of people that can be estimated from the extracted image is calculated. Thus, this may be determined as the estimated number of people, and the estimated number of people calculation step S204 may be skipped.
  • the environmental analysis unit 41 of the environmental parameter generation unit 40 receives environmental parameters from a storage unit (not shown) of the object information analysis unit 30 (in this embodiment, from the weather sensor 70). It is determined whether there is a defect at the timing of updating the stress parameter based on the weather data and the correction parameter based on the weather parameter based on the weather information from the weather information acquisition device 80.
  • the determination conditions are set in advance and, for example, a set time (for example, 1 minute) or more has elapsed since the previous parameter update, or if the acquired weather information is different from the previously acquired information.
  • a set time for example, 1 minute
  • the environmental parameter acquisition step S2 06 is satisfied, and when the condition is not satisfied (NO), the environment is acquired. Proceed to the number of people calculation step S207.
  • the environment analysis unit 41 contacts the congestion determination unit 34 and outputs an environment parameter corresponding to the imaging environment in the analysis target area by the imaging device 10.
  • FIG. 7 is a flowchart showing an example of processing in the environment parameter generation unit of the congestion situation analysis system according to the embodiment of the present invention.
  • the environment analysis unit 41 of the environment parameter generation unit 40 acquires weather data from the weather sensor 70.
  • the environment analysis unit 41 calculates a discomfort index (DI) using the weather data of the analysis target area acquired in step S301.
  • the discomfort index is an index that quantitatively represents the summer heat and heat, and is calculated by the following (Formula 1) when the temperature is Td [° C.] and the humidity is H [%].
  • Discomfort index (DI) 0.81Td + 0.01H ⁇ (0.99Td ⁇ 14.3) +46.3 (Equation 1)
  • the environment analysis unit 41 determines a stress parameter with reference to the environment table 42 of FIG. 3 described above based on the discomfort index calculated in step S302.
  • the environment analysis unit 41 acquires weather information from the weather information acquisition device 80 via, for example, a network.
  • the said weather information shows the present weather data etc. of the vicinity (for example, municipality) where the imaging device 10 is installed.
  • the environment analysis unit 41 determines the weather parameter by referring to the weather table 43 of FIG. 4 described above based on the weather information obtained in step S304.
  • the weather parameter 43b is a uniform parameter according to the weather.
  • a parameter is prepared in advance for each item that can be stressed such as an umbrella, and a person's carry-on items, etc.
  • the calculation parameters suitable for the stress level of each person may be performed by changing the weather parameter for each person carrying these objects.
  • the carrying item is an “umbrella”, it is assumed that the umbrella is wet in case of rain or snowfall, and the umbrella is assumed to be dry in other weather conditions. There is also a need for parameters that take into account the relevance to the weather.
  • the weather table 43 described above shows the values of the weather parameters when indoor congestion judgment is assumed, but in the case of the outdoors, people wear umbrellas during rainy weather or snowfall, so it is normal However, since a personal space is automatically secured by inserting an umbrella, it is necessary to create a weather table 43 in consideration of reducing stress and the like. Further, in the environment analysis unit 41, if a rain sensor or the like can be installed in a place where there is no difference between the installation position of the imaging device 10 and the weather, the rainfall information output from the rain sensor instead of the weather information collecting step S304. May be obtained.
  • the environment analysis unit 41 calculates an environment parameter from the stress parameter set in step S303 and the weather parameter set in step S305.
  • the calculation method is shown in (Formula 2) below.
  • Environmental parameter Stress parameter ⁇ Weather parameter (Equation 2)
  • two parameters, stress parameter and weather parameter are used to calculate the environmental parameters.
  • the number of items can be increased according to the weather sensor used and weather information. This makes it possible to calculate more optimal environmental parameters.
  • the environment analysis unit 41 outputs the environmental parameter calculated in step S306 to the congestion determination unit 34, and proceeds to the environmental number calculation step S207 in FIG.
  • the congestion determination unit 34 calculates the number of persons considering the degree of human stress (hereinafter, environmental number) from the estimated number of persons calculated in step S204 and the environmental parameters acquired in step S206.
  • the calculation method of the number of people in the environment is shown below (Formula 3).
  • Number of people in the environment Estimated number of people x Environment parameters (Equation 3) As a result, even if the estimated number of people is the same, the number of people in the environment changes greatly if the environment is different.
  • the estimated number of people is 15, the number of people in the environment with a cloudy / discomfort index of 70 remains as it is, but the number of people in the environment with a rainy weather (less than 1 mm of precipitation) and a discomfort index of 80 is 23 ( 15 x 1.2 x 1.3), an increase of 8 people.
  • the congestion determination unit 34 determines the degree of congestion using the number of environmental people calculated in step S207.
  • the congestion determination unit 34 sets a threshold value (hereinafter referred to as a congestion threshold value) for the number of people to be congested in advance, and determines that it is “congested” if the environmental number of people is greater than or equal to the congestion threshold value. If it is less than the congestion threshold, it is determined that the state is “normal”.
  • the degree of congestion is determined in three stages, and the threshold value in the case of providing in three stages, for example, the threshold value of “quiet state” is 5 or less and the threshold value of “normal state” is 20 Depending on the number of people in the environment, it may be possible to make judgments in three stages: a quiet state, a normal state, and a crowded state.
  • the maximum number of people existing in the image may be set in advance, the congestion rate may be calculated by setting the maximum number of people to 10% to 0%, and this may be used as the determination result.
  • the congestion determination unit 34 outputs a determination result corresponding to the degree of congestion determined in step S208.
  • the congestion determination unit 34 for example, draws the determination result of the congestion degree determination step S208 on the image of the imaging device 10 displayed on the display device 60, or outputs an alarm when it is determined that the state is the congestion state. To inform users. Further, the input video and the congestion determination result acquired from the imaging device 10 are stored in the recording device 50 as necessary.
  • the congestion determination unit 34 holds the various parameters, environmental number of persons, and determination results calculated up to step S208 for a preset time. For example, when the number of people in the environment or the determination result of the congestion degree determination step S208 changes drastically within the set fixed time, these information defects are also output separately from the congestion determination result to output information on these abnormal states. To let you know. Also, in the information update step S210, the congestion determination unit 34 averages and updates and holds various parameters and the number of environmental persons calculated for every hour and day of the week. If there is a certain difference between the value and each value ⁇ acquired in the congestion degree determination step S208, the result may be output to notify the user.
  • overhead imaging may be performed by installing the imaging device 10 on the ceiling or the like.
  • a distance image may be obtained from the parallax of two camera images of the objects, and the position of each object and the total number of people may be accurately acquired.
  • the congestion degree is determined by using the number of people. However, the occupation area by each type and the total area are calculated, and the congestion degree is determined by the ratio to the area of the entire analysis target area. Also good. It can also be used to improve the environment, such as by adjusting the temperature and humidity appropriately to reduce the stress level of the person based on the acquired number of environmental people and the environmental parameters used. .
  • the digital congestion situation analysis system not only the number and movement of objects obtained from video information of the cocoon imaging device, but also environmental conditions, objects carried by humans, or objects used by cocoons. It is possible to analyze the congestion situation in consideration of human senses such as tightness and stress that vary depending on the situation.
  • the present invention relates to a congestion situation analysis system using video, and is particularly applied to a congestion situation analysis system that analyzes a congestion situation in consideration of the degree of human stress.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態や人が 携行または使用する物体によって変動する窮屈さやストレス等の人間の感覚も考慮して混 雑状況を分析することが可能な混雑状況分析システムを提供する。 分析対象となる領域の画像を撮像する撮像装置と、撮像装置で撮像した画像 を処理し分析対象領域内の情報を収集する混雑解析装置とから構成される混雑状況分析シ ステムにおいて、混雑解析装置は、物体情報解析部を有し、物体情報解析部は、撮像装置 で撮像した画像に含まれる人物と物体の情報を抽出する人物・物体情報抽出手段と、人物 ・物体抽出手段で抽出した人物と物体の種別を判定する種別判定手段と、人物・物体抽出 手段で抽出した人物のパーソナルスペース、並びに種別判定手段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを含めた推定人数を算出する推定人数算出手 段と、推定人数算出手段で算出した推定人数を基に人間の感覚に近い混雑度の判定を行う 混雑度判定手段と、を備えることを特徴とする。

Description

混雑状況分析システム
　本発明は、映像を用いた混雑状況分析システムに係り、特に、人間のストレス度合いを 考慮して混雑状況を分析することが可能な混雑状況分析システムに関する。
　混雑状況分析システムでは、例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置 を用いて分析対象領域内に進入する物体を撮像し、撮像した映像から領域内に存在する物 体の数や動きなどを分析して、領域内で混雑が発生しているか否かの判定を行っている。 また、混雑状況分析システムでは、ユーザによる有人監視ではなく、システムが自動的に 分析を行い、状況に応じて混雑状況をユーザに知らせる混雑状況分析システムが従来から 検討されている（例えば、特許文献１参照）。
　また、分析対象領域内に進入する物体を検出する技術として、例えば、背景差分法と呼 ばれる画像処理方法を用いた検出技術が従来から広く用いられている。そこで、背景差分 法の処理について、図８および図９を用いて説明する。図８は、背景差分法によって輝度 値が変化した領域を検出する手順の概略を説明するための図であり、また、図９は、背景 差分法を応用した監視方式の典型的な処理手順を示すフローチャートである。
　まず、図８を用いて、背景差分法によって撮像装置から逐次入力される入力画像の輝度 の変化領域を検出する手順を説明する。
　図８において、４０１は撮像装置から逐次入力される入力画像、４０２は予め用意した 検出すべき対象物体が映っていない背景画像である。この２枚の入力画像４０１および背 景画像４０２を差分器４０５に入力すると、差分器４０５によって画素毎の輝度値の差分 が計算され差分画像４０３を得る。
　次に、差分画像４０３を二値化器４０６に入力すると、二値化器４０６では、差分画像 ４０３の各画素をしきい値Ｔｈ（なお、Ｔｈは実験的に決定され、例えばＴｈ＝２０）で しきい値処理し、しきい値Ｔｈ未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値 を“２５５”として二値化画像４０４を得る。これによって、入力画像４０１に映った人 型の物体４０７は、差分器４０５によって差分が生じた領域４０８（入力画像の輝度の変 化領域）として計算され、二値化器４０６によって画素値“２５５”の画像４０９として 検出される。
　次に、図９を用いて背景差分法を応用した物体検出方式の典型的な処理手順について説明する。
　図９において、初期化処理ステップＳ５０１では、背景差分法による物体検出方式を実 するための外部機器、変数、画像メモリ等の初期化を行なう。
　画像入力ステップＳ５０２では、撮像装置から、例えば幅６４０画素、高さ４８０画素 の入力画像を得る。
　差分処理ステップＳ５０３では、ステップＳ５０２で得た入力画像（図８の入力画像４ ０１参照）と予め準備しておいた基準となる背景画像（図８の背景画像４０２参照）の各 画素の輝度値の差分（差分画像４０３）を計算する。
　二値化処理ステップＳ５０４では、ステップＳ５０３で得られた差分画像４０３の画素 値（差分値）が所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”（１画素の画素値を８ビットで計算。すなわち 、１画素が０から２５５までの値を持つ）として二値化画像（図８の二値化画像４０４参 照）を得る。
　次に、ラベリング処理ステップＳ５０５では、ステップＳ５０４で得られた二値化画像 ４０４の中の画素値“２５５”となる画素のかたまり（図８の画像４０９参照）を検出して各々に番号を付けて区別できるようにする。
　物体存在判定ステップＳ５０６では、番号付けされた変化領域のそれぞれに対して、大 きさ、面積等に基づいて当該変化領域が検出条件に合致するかを判定し、検出条件に合致 する場合（ＹＥＳ）には、物体情報出力ステップＳ５０７で物体が存在するとして物体の 位置やサイズを必要に応じた方法で出力し、これらの出力情報から判断した物体の合計数 等を用いて混雑状況を決定する。
　また、ステップＳ５０６で、検出条件に合致しない場合（ＮＯ）には、物体が存在しな いとして背景更新ステップＳ５０８へ分岐する。
　そして、背景更新ステップＳ５０８では、ステップＳ５０２で得た入力画像を用いて背 景画像を更新する。背景画像の更新方法は、例えば、現在の背景画像に現在の入力画像を 一定の重み（更新率）をかけて加重平均し、新しい背景画像を逐次作成する方法がある。
　このような混雑状況分析システムは、様々な用途に利用されており、例えば、駅構内や 空港、スタジアム、ショッピングモールといった不特定多数の人が訪れる施設において、 事件、事故等の防止の目的で利用されている。また、システムで使用される記録装置には 、長期間の画像データからの出力情報に基づいて記録される各種データが存在し、これら の蓄積されたデータをもとに事前に混雑予測する機能なども備えていることが多い。
特開２０１３－１２２７３５号公報
　上述したように、従来の混雑状況分析システムでは、撮像装置からの映像情報を用いて 混雑の度合いを判断している。しかしながら、環境状態の違いによって人が感じる混雑の 度合いは変わるため、混雑状況分析システムで判断した混雑状態と大きくかけ離れてしま い、映像情報から非混雑状態と判断された場合であっても人が不快に感じる場合がある。
　例えば、夏場の雨天日における駅構内では、殆どの人が傘を所持して移動するが、混雑 状況分析システムで混雑状況を分析する場合に、人に対して傘の体積は非常に小さいため 、通常時（例えば、春先の晴天時）との映像の相違は殆どないと判断され、通常時と同様 の混雑状況結果が出力される。
　しかし、実際には、駅構内の床面が濡れているために転倒を心配して自然にゆっくりと した移動となり、また、気温や湿度が高く、濡れた傘を所持しているなど、通常時よりも 環境状態が悪化している。このため、通常時と比較して、人のストレス度合いが上昇し、 他人に近付かれると不快に感じる空間である「パーソナルスペース（personal-space）」 がより広がるため、周りに通常時よりも少数の人がいるだけで歩き難く混雑であると感じることになる。従って、この悪環境下において混雑状況分析システムで混雑状態と判断された場合に、ストレスを抱えた通行人にとっては既に大混雑であると認識されており、こ のような環境下では、例えば、濡れた傘が原因で暴力事件が発生する等の事件や事故の発生する可能性が通常時よりも高くなる。
　このように、環境状態や付帯物の違いによって人間が感じる混雑度合いは大きく変わり 、想定外の事件や事故が発生する可能性がある。
　本発明は、このような状況に鑑みてなされたものであり、撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態や人が携行または使用する物体によって変動 する窮屈さやストレス等の人間の感覚も考慮して混雑状況を分析することが可能な混雑状 況分析システムを提供することを目的とする。
　上記目的を達成するために、本発明の混雑状況分析システムは、分析対象となる領域の 画像を撮像する撮像装置と、前記撮像装置で撮像した画像を処理し前記分析対象領域内の 情報を収集する混雑解析装置とから構成される混雑状況分析システムにおいて、前記混雑 解析装置は、物体情報解析部を有し、前記物体情報解析部は、前記撮像装置で撮像した画 像に含まれる人物と物体の情報を抽出する人物・物体情報抽出手段と、前記人物・物体抽 出手段で抽出した人物と物体の種別を判定する種別判定手段と、前記人物・物体抽出手段 で抽出した人物のパーソナルスペース、並びに前記種別判定手段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを含めた推定人数を算出する推定人数算出手 段と、前記推定人数算出手段で算出した前記推定人数を基に人間の感覚に近い混雑度の判 定を行う混雑度判定手段と、を備えることを特徴とする。
　また、上記目的を達成するために、本発明の混雑状況分析システムは、上記した混雑状 況分析システムにおいて、前記混雑解析装置は、環境パラメータ生成部を有し、前記環境 パラメータ生成部は、少なくとも1つの気象センサからの気象情報および天候情報を基に 環境パラメータを算出する環境パラメータ算出手段を備え、前記物体情報解析部は、前記 環境パラメータ算出手段で算出した前記環境パラメータを用い、前記推定人数算出手段で 算出した前記推定人数に対して、前記分析対象領域内の環境状態を反映した環境人数を算 出する環境人数算出手段を備え、前記混雑度判定手段は、前記環境人数算出手段で算出した前記環境人数を基に、前記分析対象領域内の環境状態による人間のストレス度合いを含めた混雑度の判定を行うことを特徴とする。
　また、上記目的を達成するために、本発明の混雑状況分析システムは、上記した混雑状 況分析システムにおいて、前記環境パラメータ算出手段は、環境テーブルおよび天候テー ブルを有し、前記環境テーブルから取得したストレスパラメータと前記天候テーブルから 取得した天候パラメータを用いて、前記分析対象領域内における人の不快度を示す前記環 境パラメータを算出することを特徴とする。
　本発明によれば、撮像装置の映像情報から得られる物体の数や動きだけではなく、環境 状態や人が携行または使用する物体によって変動する窮屈さやストレス等の人間の感覚も 考慮して混雑状況を分析することができる。
本発明の一実施形態に係る混雑状況分析システムの構成の一例を示すブロッ ク図である。 本発明の一実施形態に係る混雑状況分析システムの物体情報テーブルの一例 を示す図である。 本発明の一実施形態に係る混雑状況分析システムの環境テーブルの一例を示す図である。 本発明の一実施形態に係る混雑状況分析システムの天候テーブルの一例を示す図である。 本発明の一実施形態に係る混雑状況分析システムでの処理の一例を示すフローチャートである。 本発明の一実施形態に係る混雑状況分析システムでの入力画像、並びに当該 入力画像中の人物および物体と物体種別による占有面積を説明するための図である。 本発明の一実施形態に係る混雑状況分析システムの環境パラメータ生成部で の処理の一例を示すフローチャートである。 背景差分法によって輝度値が変化した領域を検出する手順の概略を説明する ための図である。 背景差分法を応用した監視方式の典型的な処理手順を示すフローチャートで ある。
　以下、本発明の一実施形態に係る混雑状況分析システムについて説明する。
　本発明の一実施形態に係る混雑状況分析システムは、分析対象となる領域の画像を撮像 する撮像装置と、撮像装置で撮像した画像を処理し分析対象領域内の情報を収集する混雑 解析装置とから構成される混雑状況分析システムにおいて、混雑解析装置は、物体情報解 析部を有し、物体情報解析部は、撮像装置で撮像した画像に含まれる人物と物体の情報を 抽出する人物・物体情報抽出手段と、人物・物体抽出手段で抽出した人物と物体の種別を 判定する種別判定手段と、人物・物体抽出手段で抽出した人物のパーソナルスペース、並びに種別判定手段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを 含めた推定人数を算出する推定人数算出手段と、推定人数算出手段で算出した推定人数を 基に人間の感覚に近い混雑度の判定を行う混雑度判定手段と、を備えることを特徴とし、 これによって、撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態 や人が携行または使用する物体によって変動する窮屈さやストレス等の人間の感覚も考慮 して混雑状況を分析することができるものである。
［混雑状況分析システムの構成］
　本発明の一実施形態に係る混雑状況分析システムの構成について、図１～図４を参照して説明する。図１は、本発明の一実施形態に係る混雑状況分析システムの構成の一例を示すブロック図である。図２は、本発明の一実施形態に係る混雑状況分析システムの物体情 報テーブルの一例を示す図である。図３は、本発明の一実施形態に係る混雑状況分析シス テムの環境テーブルの一例を示す図である。また、図４は、本発明の一実施形態に係る混 雑状況分析システムの天候テーブルの一例を示す図である。
　本発明の混雑状況分析システムは、図１に示すように、撮像装置１０と、物体情報解析 部３０と環境パラメータ生成部４０を有する混雑解析装置２０と、記録装置５０と、表示 装置６０とから構成されている。また、撮像装置１０は、混雑解析装置２０の図示していない画像入力Ｉ／Ｆ（インターフェース）に接続され、表示装置６０および記録装置５０ は、混雑解析装置２０の図示していない画像出力Ｉ／Ｆ（インターフェース）に接続され ている。また、気象センサ７０や天候情報取得装置８０は、混雑解析装置２０のＩ／Ｆ（ インターフェース）に接続されている。なお、撮像装置１０は、ネットワークを介して混 雑解析装置２０に接続するようにしてもよい。また、天候情報取得装置８０はネットワー クを介して混雑解析装置２０に接続するようにしてもよい。 なお、図１では、撮像装置１０を1台の構成としているが複数存在してもよい。
　撮像装置１０は、混雑解析装置２０の図示していない画像入力Ｉ／Ｆに接続され、分析 対象となる領域の画像を撮像し、撮像した画像データを混雑解析装置２０の画像入力部３ １に出力する。
　混雑解析装置２０の物体情報解析部３０は、画像入力部３１と、動き情報抽出部３２と 、人物・物体解析部３３と、混雑判定部３４と、物体情報テーブル３５とを備えている。
　画像入力部３１は、撮像装置１０から撮像された画像データ、例えば、幅６４０画素、 高さ４８０画素の入力画像を取得する。
　動き情報抽出部３２は、画像入力部３１から入力された入力画像から物体が存在するエ リアを抽出し、人物または物体が存在する範囲が示されている画像（以下、抽出画像）と その領域情報を作成する。
　人物・物体解析部３３は、動き情報抽出部３２から入力された抽出画像等から、人物の 合計人数および物体のクラスを判定する。また、人物・物体解析部３３は、入力画像や抽 出画像を用いて、抽出画像で存在する人物または物体から、例えば、「大きさ」、「速度 」、「進行方向（進入時および退去時）」、「輪郭形状」などの複数の特徴に基づいて、 例えば、「人物のみ」、「ベビーカー」、「補助犬同伴」、「大型荷物（スーツケースや 大きなスポーツバック）携行」、「車いす使用」、「白杖携行」、「子供連れ」などの複 数の種別に分類する。また、人物・物体解析部３３は、人物の合計人数に対して、後述する人物・物体情報テーブル３５を参照し、物体の種別を反映した人数（推定人数）の再算 出を実施する。
　人物・物体情報テーブル３５は、図２に示すように、種別３５ａと、種別人数３５ｂと 、占有面積（幅×奥行）３５ｃとから構成され、種別３５ａ「人」の場合の占有面積３５ ｃ「１２０×１２０」を基準（種別人数３５ｂ「１．０」）として、他の種別の場合に増加する占有面積を追加人数として算出した種別人数を登録したものである。なお、基準と なる種別３５ａ「人」の占有面積３５ｃは、人間のパーソナルスペースを考慮して、手を 伸ばせば指先が人に届く対人距離が６０ｃｍと仮定し、人がストレスを感じること無く移動するスペースを、例えば、幅１２０ｃｍ×奥行１２０ｃｍの矩形として設定されている 。
　混雑判定部３４は、人物・物体解析部３３で算出された推定人数および環境パラメータ 生成部４０から取得した環境パラメータから、人のストレス度合いを考慮した人数（以下 、環境人数）を算出する。また、混雑判定部３４は、環境人数を用いて混雑度合いを判定 し、判定結果（例えば、閑散状態、平常状態、混雑状態など）を出力する。
　また、混雑解析装置２０の環境パラメータ生成部４０は、環境解析部４１と、環境テー ブル４２と、天候テーブル４３とを備え、後述する環境パラメータを算出し、混雑判定部 ３４に出力する。
　環境解析部４１は、気象センサ７０より取得した気象データを基に不快指数を算出し、 算出した不快指数および天候情報取得装置８０から取得した天候情報を基に、後述する環 境テーブル４２および天候テーブル４３を参照してストレスパラメータと天候パラメータ を決定し、当該ストレスパラメータと天候パラメータから環境パラメータを算出して、当 該環境パラメータを混雑判定部３４に出力する。
　環境テーブル４２は、図３に示すように、不快指数４２ａと、ストレスパラメータ４２ ｂと、一般的感覚４２ｃとから構成され、不快指数４２ａの数値に応じたストレスパラメータ４２ｂが設定登録されている。ストレスパラメータとは、不快指数に対して、人間の 感じるストレス度合いを示す値である。ストレスパラメータは、図３に示すように、不快 指数の上昇に比例して値が大きくなる。すなわち、この環境テーブル４２によれば、例え ば、不快指数４２ａが７６以上であれば一部の人が不快になるといわれていることからス トレスパラメータは１．３となり、不快指数４２ａが８１以上であれば全員が不快になる と言われていることからストレスパラメータ４２ｂは１．５となる。
　天候テーブル４３は、図４に示すように、天候４３ａと、天候パラメータ４３ｂと、一 般的感覚４３ｃとから構成され、天候４３ａに応じた天候パラメータ４３ｂが設定登録さ れている。天候パラメータとは、天候状態に対して、人間の感じるストレス度合いを示す 値である。すなわち、この天候パラメータ４３によれば、例えば、天候４３ａが晴天時の 天候パラメータ４３ｂは１．０であるのに対して、雨天（降水量１ｍｍ未満）時の天候パ ラメータ４３ｂは１．２、雨天（降水量１ｍｍ以上）時の天候パラメータ４３ｂは１．５ となり、悪天候になるにつれて濡れた傘の所持や長靴・レインコートの着用、濡れた床や 階段での低速移動などの不快要素が多くなるため、パラメータ値は大きくなるように設定 されている。
　気象センサ７０は、環境解析部４１からの指示により、分析対象領域の気象データをネットワークを介して環境解析部４１に出力する。気象センサ７０とは、例えば、温度セン サ、湿度センサ、また、屋外であれば、感雨センサ、風速センサ、風向センサ、気圧セン サなどである。なお、本実施例では、分析対象領域が屋内の場合を想定し、分析対象領域 付近に設置された屋内用の気象センサ７０より取得する気象データを「温度センサ」およ び「湿度センサ」の２種から得られた情報とするが、分析対象領域が屋外の場合には、屋 外に最適なセンサを使用する。
　天候情報取得装置８０は、環境解析部４１からの指示により、分析対象領域の天候情報 をネットワークを介して環境解析部４１に出力する。天候情報取得装置８０は、例えば、 日本気象協会のＨＰ（ホームページ）に公開された分析対象地域の気象情報を定期的に取 得して記憶部に記憶する。
［混雑状況分析システムの動作］
　次に、本発明の一実施形態に係る混雑状況分析システムにおいて、撮像された物体情報 と撮像環境を基に分析した混雑結果を表示するまでの手順とその内容について、図５のフ ローチャートを用いて説明する。図５は、本発明の一実施形態に係る混雑状況分析システ ムでの処理の一例を示すフローチャートである。
　図５に示すように、画像入力ステップＳ２０１では、混雑解析装置２０の物体情報解析 部３０の画像入力部３１は、撮像装置１０から撮像された画像データ、例えば、幅６４０ 画素、高さ４８０画素の入力画像を取得する。
　物体抽出ステップＳ２０２では、物体情報解析部３０の動き情報抽出部３２は、ステッ プＳ２０１で取得した入力画像から物体が存在するエリアを抽出する。本ステップでの処 理は、従来技術の図９で説明したステップＳ５０２からステップＳ５０８の処理に該当し 、人物または物体が存在する範囲が示されている画像（以下、抽出画像）とその領域情報 を作成する。
　種別分析ステップＳ２０３では、物体情報解析部３０の人物・物体解析部３３は、ステップＳ２０２で取得した抽出画像等から、人物の合計人数および物体のクラスを判定する 。人物・物体解析部３３は、入力画像や抽出画像を用いて、抽出画像で存在する人物また は物体から、例えば、「大きさ」、「速度」、「進行方向（進入時および退去時）」、「 輪郭形状」などの複数の特徴に基づいて、例えば、「人物のみ」、「ベビーカー」、「補 助犬同伴」、「大型荷物（スーツケースや大きなスポーツバック）携行」、「車いす使用 」、「白杖携行」、「子供連れ」などの複数の種別に分類する。クラス分類の手段として は、ＳＶＭ（Support　Vector　Machine）、ランダムフォレストやディープラーニング等 の機械学習を用いた公知の識別器や分析手法で実施可能であり、必要に応じて学習データ 等を事前に準備しておく。
　推定人数算出ステップＳ２０４では、物体情報解析部３０の人物・物体解析部３３は、 人物の合計人数に対して、上述した人物・物体情報テーブル３５を参照し、物体の種別を 反映した人数（推定人数）の再算出を実施する。例えば、物体情報テーブル３５を参照すれば、基準となる種別３５ａ「人」の占有面積３５ｃは幅１２０ｃｍ×奥行１２０ｃｍで あり、種別人数３５ｂは１．０人である。また、種別３５ａ「ベビーカー」の占有面積３ ５ｃは（本体のみ）幅１００ｃｍ×奥行１００ｃｍであることから、種別人数３５ｂは、 「人」が「ベビーカー」を押している状態を想定して、１．８人と設定されている。
　そこで、推定人数算出ステップＳ２０４で行う推定人数算出処理の一例について、図６ を用いて説明する。図６は、本発明の一実施形態に係る混雑状況分析システムでの入力画 像、並びに当該入力画像中の人物および物体と物体種別による占有面積を説明するための 図である。
　図６（ａ）は、画像入力ステップＳ２０１で取得された入力画像の例を示している。図 ６（ａ）では、通行人９０１～９０３を確認することができ、既存システムで実施される 画像認識処理では、分析対象領域に３人の人物が存在すると判断される。更に、種別分析 ステップＳ２０３で、通行人９０１は種別３５ａ「人」、通行人９０２の携行物は種別３ ５ａ「白杖（図中では黒杖で表示）」、通行人９０３の携行物は「大型荷物」と判定され る。
　ここで、通行人９０３に着目すると、通行人９０３がスーツケースを持っているので種 別３５ａ「大型荷物」と判定されるため、物体抽出ステップＳ２０２で得られた物体領域 内には荷物を持つ「人」と携行物である「大型荷物」の二種類が存在することになる。
　つまり、推定人数算出ステップＳ２０４では、物体の大きさは幅１７０ｃｍ（１２０ｃ ｍ＋５０ｃｍ）×奥行１２０ｃｍとなり、本物体の占有面積１００３は種別３５ａ「人」 の占有面積１００１と比較して広くなることが分かる。人物・物体情報テーブル３５を用 いて、この占有面積１００３を種別３５ａ「人」を基準とした種別人数に換算すると１． ４人という結果になる。
　従って、推定人数算出ステップＳ２０４では、図６（ｂ）のすべての通行人９０１～９ ０３に対して、種別に対応した占有面積１００１～１００３を合算した結果、図６（ａ） の入力画像における推定人数は４．２人（１．０人＋１．４人＋１．８人）となる。この ように、本ステップでは、物体の種別によって移動時に占有する面積が大きく変わること を考慮した推定人数を算出することができる。
　なお、本実施例では、「人」を始めとした種別毎の大きさを一定として、占有面積から 推定人数を算出する処理を説明したが、抽出結果に基づき物体の個々の大きさに対してパーソナルスペースを付加した占有面積を用いて推定人数を算出することにより、更に正確 な推定人数を算出することが可能となる。
　また、抽出画像から物体同士の密集度合が非常に高いと判断した場合は、個々の人物・ 物体の種別判断が非常に難しくなるため、種別分析ステップＳ２０３では、抽出画像から 推定できる人数のみ算出して、これを推定人数と決定し、推定人数算出ステップＳ２０４ はスキップしてもよい。
　次に、環境パラメータ更新判定ステップＳ２０５では、環境パラメータ生成部４０の環 境解析部４１は、物体情報解析部３０の図示していない記憶部の環境パラメータ（本実施 例では、気象センサ７０からの気象データに基づくストレスパラメータと天候情報取得装 置８０からの天候情報に基づく天候パラメータによる補正係数）を更新するタイミングで あるかどうかを判定する。予め、判定条件を設定しておき、例えば、前回パラメータを更新してから設定時間（例えば１分）以上経過している場合、または、取得した天候情報が 前回取得した情報と異なっている場合、または、一定時間内で人数の急激な増加や減少が みられた場合等の判定条件を満たした場合（ＹＥＳ）は環境パラメータ取得ステップＳ２ ０６に、前記条件に当てはまらなかった場合（ＮＯ）は環境人数算出ステップＳ２０７に 進む。
　環境パラメータ取得ステップＳ２０６では、環境解析部４１は、混雑判定部３４に対し て、撮像装置１０による分析対象領域での撮像環境に応じた環境パラメータを出力する。
　そこで、環境パラメータ生成部４０で行われる処理について、図７を用いて説明する。 図７は、本発明の一実施形態に係る混雑状況分析システムの環境パラメータ生成部での処 理の一例を示すフローチャートである。
　気象データ取得ステップＳ３０１では、環境パラメータ生成部４０の環境解析部４１は 、気象センサ７０から気象データを取得する。
　不快指数算出ステップＳ３０２では、環境解析部４１は、ステップＳ３０１で取得した 分析対象領域の気象データを用いて、不快指数（ＤＩ：Discomfort　Index）を算出する 。ここで、不快指数とは夏の蒸し暑さを数量的に表した指数であり、気温をＴｄ［℃］、 湿度をＨ［％］とした時に以下の（数式１）で計算される。
　不快指数（ＤＩ）＝０．８１Ｔｄ＋０．０１Ｈ×（０．９９Ｔｄ－１４．３）
　　　　　　　　　　＋４６．３　　　　　　　　　　　　　　・・・（数式１）
　ストレスパラメータ設定ステップＳ３０３では、環境解析部４１は、ステップＳ３０２ で算出した不快指数を基に、上述した図３の環境テーブル４２を参照して、ストレスパラ メータを決定する。
　天候情報収集ステップＳ３０４では、環境解析部４１は、天候情報取得装置８０から、 例えば、ネットワークを介して天候情報を取得する。当該天候情報は、撮像装置１０が設置されている近辺（例えば、市町村）の現在の天気データ等を示す。
　天候パラメータ設定ステップＳ３０５では、環境解析部４１は、ステップＳ３０４で取 得した天候情報を基に、上述した図４の天候テーブル４３を参照して、天候パラメータを 決定する。
　なお、図４の天候テーブル４３では、天候パラメータ４３ｂを天候に応じた一律のパラ メータとしているが、予め傘などのストレスになり得る携行品毎でもパラメータを準備し ておき、人の携行物など詳細が把握できる明確な画角である場合は、これらの物体を携行 する人物毎に天候パラメータを変更することで、更に各人のストレス度合いに合った算出 を行うようにしてもよい。ただし、例えば、携行物を「傘」とした場合、雨天や降雪時の 場合は傘が濡れていると想定し、その他の天候の場合は傘が乾いていると想定するため、 携行物のみでは無く天候との関連性も考慮したパラメータが必要である。
　また、上記した天候テーブル４３は、屋内での混雑判定を想定した場合の天候パラメー タの値を記しているが、屋外の場合には、雨天時や降雪時には人は傘を差すため、通常時 よりも１人あたりの占有面積が広くなるが、傘を差すことにより自動的にパーソナルスペースが確保されるため、ストレスを軽減させること等を考慮した天候テーブル４３を作成 する必要がある。
　また、環境解析部４１では、撮像装置１０の設置位置と天候に相違がない場所に感雨セ ンサなどが設置可能であれば、天候情報収集ステップＳ３０４の代わりに感雨センサが出力する雨量情報を取得するようにしてもよい。
　環境解析ステップＳ３０６では、環境解析部４１は、ステップＳ３０３で設定されたス トレスパラメータとステップＳ３０５で設定された天候パラメータから環境パラメータを 算出する。算出方法を以下の（数式２）に示す。
　環境パラメータ ＝ ストレスパラメータ × 天候パラメータ　・・・（数式２）
　なお、本実施例では、環境パラメータの算出に、ストレスパラメータと天候パラメータ の２つを用いているが、使用する気象センサや天候情報に応じて更に項目を増やすことが 可能であり、項目を増やすことでより最適な環境パラメータを算出できるようになる。特 に、画像からの抽出や判別が難しい、例えば、畳んだ傘などによるストレス度合いへの影 響は大きいが、比較的小さな携行物については、占有面積に基づく人数を計測する代わり に環境パラメータを有効に活用することで、より適正な混雑解析が可能となる。
　環境パラメータ出力ステップＳ３０７では、環境解析部４１は、ステップＳ３０６で算 出した環境パラメータを混雑判定部３４に出力し、図５の環境人数算出ステップＳ２０７ に進む。
　環境人数算出ステップＳ２０７では、混雑判定部３４は、ステップＳ２０４で算出された推定人数およびステップＳ２０６で取得した環境パラメータから、人のストレス度合い を考慮した人数（以下、環境人数）を算出する。環境人数の算出方法を以下の（数式３） に示す。
　環境人数 ＝ 推定人数 × 環境パラメータ　　　　　　　　　・・・（数式３）
　これにより、同じ推定人数でも環境が異なると環境人数は大きく変わる。例えば、推定 人数が１５人の場合、曇天・不快指数７０の環境下では環境人数はそのまま１５人、しか し、雨天（降水量１ｍｍ未満）・不快指数８０の環境下では環境人数は２３人（１５×１ ．２×１．３）となり、８人増加する。
　なお、本実施では、推定人数と環境パラメータで環境人数を算出する説明を行ったが、 出勤時間帯は人数が多くても一定以上の速度で移動できればあまりストレス度合いが高く ならないなど、時間帯によって人流の平均速度も変化することより、時間帯に伴う移動速 度も反映した環境人数を算出してもよい。更に、同じ時間帯でも平日と休日で移動速度に 相違があるため、曜日による推定人数の変化も取り入れてもよい。
　また、人が蛇行移動しないと直進方向に進めない環境であれば、ストレス度合いが高く なるなども考慮して、人の軌跡による直進度合いも反映した環境人数を算出してもよい。
　混雑度判定ステップＳ２０８では、混雑判定部３４は、ステップＳ２０７で算出した環 境人数を用いて、混雑度合いを判定する。混雑判定部３４は、混雑とする人数のしきい値 （以下、混雑しきい値という）を予め設定しておき、環境人数が混雑しきい値以上である 場合は“混雑状態である”と判断し、混雑しきい値未満の場合は“通常状態である”と判断する。または、混雑度合いを３段階で判定するようにして、３段階に設けた場合のしきい値、例えば、“閑散状態”のしきい値を５人以下、“平常状態”のしきい値を２０人以 下として、環境人数に応じて、閑散状態、平常状態、混雑状態の３段階で判断を行うよう にしてもよい。または、画像内に存在する最大人数を予め設定しておき、最大人数を１０ ０％として混雑率を算出し、これを判定結果としてもよい。
　判定結果出力ステップＳ２０９では、混雑判定部３４は、ステップＳ２０８で判定された混雑度合いに応じた判定結果を出力する。混雑判定部３４は、例えば、表示装置６０に 表示する撮像装置１０の画像上に混雑度判定ステップＳ２０８の判定結果を描画したり、 混雑状態であると判定された場合はアラームを出力するなどしてユーザに知らせたりする 。また、必要に応じて記録装置５０に撮像装置１０から取得した入力映像や混雑判定結果 を保存する。
　情報更新ステップＳ２１０では、混雑判定部３４は、ステップＳ２０８までに算出した 各種パラメータや環境人数、判定結果を予め設定した時間分保持しておく。これらの情報 は、例えば、設定した一定時間内で環境人数や混雑度判定ステップＳ２０８の判定結果が 急激に変化した場合など、混雑判定結果とは別に、これらの異常状態の情報も出力してユーザに知らせるようにする。また、情報更新ステップＳ２１０では、混雑判定部３４は、 時間帯や曜日毎に算出された各種パラメータや環境人数を平均して更新・保持しておき、 上記より該当する時間帯や曜日の各平均値と混雑度判定ステップＳ２０８で取得した各値 に一定以上の相違があった場合は、その結果を出力してユーザに知らせるようにしてもよい。
　また、混雑状態でも画像上で個々の人物を分離し易くするため、撮像装置１０を天井に 設置するなどして俯瞰撮影してもよいし、撮像装置１０をステレオカメラにすることにより、重複した物体同士を２台のカメラ画像の視差から距離画像を求めて、各物体の位置や 人数の総数を正確に取得するようにしてもよい。
　また、本実施例では、人数を用いて混雑度判定を実施したが、各種別による占有面積と その合計面積を算出して、分析対象領域全体の面積に対する割合で混雑度を判定するよう にしてもよい。
　また、取得した環境人数と使用された環境パラメータから、人のストレス度合いを軽減 するための気温や湿度を逆算して、エアコンによる適切な温度調整をする等の環境改善に も使用することができる。
　上述したように、本発明の一実施形態に係るデジタル混雑状況分析システムによれば、 撮像装置の映像情報から得られる物体の数や動きだけではなく、環境状態や人が携行また は使用する物体によって変動する窮屈さやストレス等の人間の感覚も考慮して混雑状況を 分析することができる。
　なお、上記した実施形態の構成及び動作は一実施例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
　本発明は、映像を用いた混雑状況分析システムに係り、特に、人間のストレス度合いを 考慮して混雑状況を分析する混雑状況分析システムに適用される。
　１０：撮像装置、２０：混雑解析装置、３０：物体情報解析部、３１：画像入力部、３ ２：動き情報抽出部、３３：人物・物体解析部、３４：混雑判定部、３５：人物・物体情 報テーブル、３５ａ：種別、３５ｂ：種別人数、３５ｃ：占有面積（幅×奥行）、４０： 環境パラメータ生成部、４１：環境解析部、４２：環境テーブル、４２ａ：不快指数、４ ２ｂ：ストレスパラメータ、４２ｃ：一般的感覚、４３：天候テーブル、４３ａ：天候、 ４３ｂ：天候パラメータ、４３ｃ：一般的感覚、５０：記録装置、６０：表示装置、７０ ：気象センサ、８０：天候情報取得装置、４０１：入力画像、４０２：背景画像、４０３ ：差分画像、４０４：二値化画像、４０５：差分器、４０６：二値化器、４０７：人型の 物体、４０８：輝度変化領域、４０９：画素値“２５５”の画像、９０１，９０２，９０ ３：通行人、１００１，１００２，１００３：占有面積。

Claims (4)

  1. 　分析対象となる領域の画像を撮像する撮像装置と、前記撮像装置で撮像した画像を処理 し前記分析対象領域内の情報を収集する混雑解析装置とから構成される混雑状況分析シス テムにおいて、
    　前記混雑解析装置は、物体情報解析部を有し、
    　前記物体情報解析部は、
    　前記撮像装置で撮像した画像に含まれる人物と物体の情報を抽出する人物・物体情報抽 出手段と、
    　前記人物・物体抽出手段で抽出した人物と物体の種別を判定する種別判定手段と、
    　前記人物・物体抽出手段で抽出した人物のパーソナルスペース、並びに前記種別判定手 段で判定した物体の種別ごとの占有面積を用いて、人間の感じる窮屈さを含めた推定人数 を算出する推定人数算出手段と、
    　前記推定人数算出手段で算出した前記推定人数を基に人間の感覚に近い混雑度の判定を 行う混雑度判定手段と、
    　を備えることを特徴とする混雑状況分析システム。
  2. 　請求項１記載の混雑状況分析システムにおいて、
    　前記混雑解析装置は、環境パラメータ生成部を有し、
    　前記環境パラメータ生成部は、少なくとも1つの気象センサからの気象情報および天候 情報を基に環境パラメータを算出する環境パラメータ算出手段を備え、
    　前記物体情報解析部は、前記環境パラメータ算出手段で算出した前記環境パラメータを 用い、前記推定人数算出手段で算出した前記推定人数に対して、前記分析対象領域内の環 境状態を反映した環境人数を算出する環境人数算出手段を備え、
    　前記混雑度判定手段は、前記環境人数算出手段で算出した前記環境人数を基に、前記分 析対象領域内の環境状態による人間のストレス度合いを含めた混雑度の判定を行うことを 特徴とする混雑状況分析システム。
  3. 　請求項１に記載の混雑状況分析システムにおいて、
    　前記環境パラメータ算出手段は、環境テーブルおよび天候テーブルを有し、前記環境テーブルから取得したストレスパラメータと前記天候テーブルから取得した天候パラメータ を用いて、前記分析対象領域内における人の不快度を示す前記環境パラメータを算出する ことを特徴とする混雑状況分析システム。
  4. 請求項２に記載の混雑状況分析システムにおいて、
    　前記環境パラメータ算出手段は、環境テーブルおよび天候テーブルを有し、前記環境テーブルから取得したストレスパラメータと前記天候テーブルから取得した天候パラメータ を用いて、前記分析対象領域内における人の不快度を示す前記環境パラメータを算出する ことを特徴とする混雑状況分析システム。
PCT/JP2017/039589 2016-11-07 2017-11-01 混雑状況分析システム WO2018084191A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018549046A JP6908617B2 (ja) 2016-11-07 2017-11-01 混雑状況分析システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-217240 2016-11-07
JP2016217240 2016-11-07

Publications (1)

Publication Number Publication Date
WO2018084191A1 true WO2018084191A1 (ja) 2018-05-11

Family

ID=62075996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039589 WO2018084191A1 (ja) 2016-11-07 2017-11-01 混雑状況分析システム

Country Status (2)

Country Link
JP (1) JP6908617B2 (ja)
WO (1) WO2018084191A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126147A (zh) * 2019-11-22 2020-05-08 北京迈格威科技有限公司 图像处理方法、装置和电子系统
WO2020121479A1 (ja) * 2018-12-13 2020-06-18 三菱電機株式会社 アニメーション表示装置およびアニメーション表示方法
KR102162337B1 (ko) * 2020-03-01 2020-10-06 장영민 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법
JP2021114737A (ja) * 2020-01-21 2021-08-05 三菱電機株式会社 監視制御装置、集中監視システム、及び、監視制御プログラム
WO2023171068A1 (ja) * 2022-03-07 2023-09-14 株式会社日立国際電気 監視システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005025328A (ja) * 2003-06-30 2005-01-27 Ntt Data Corp 混雑監視システムおよび混雑監視プログラム
JP2005316535A (ja) * 2004-04-27 2005-11-10 Railway Technical Res Inst 歩行者空間の歩きやすさの評価方法およびその評価装置
JP2005326966A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 人数カウント装置
JP2006085366A (ja) * 2004-09-15 2006-03-30 Oki Electric Ind Co Ltd 速度分布分析装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017141454A1 (ja) * 2016-05-13 2017-08-24 株式会社日立製作所 混雑解析装置、混雑解析方法および混雑解析プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005025328A (ja) * 2003-06-30 2005-01-27 Ntt Data Corp 混雑監視システムおよび混雑監視プログラム
JP2005316535A (ja) * 2004-04-27 2005-11-10 Railway Technical Res Inst 歩行者空間の歩きやすさの評価方法およびその評価装置
JP2005326966A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 人数カウント装置
JP2006085366A (ja) * 2004-09-15 2006-03-30 Oki Electric Ind Co Ltd 速度分布分析装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121479A1 (ja) * 2018-12-13 2020-06-18 三菱電機株式会社 アニメーション表示装置およびアニメーション表示方法
JPWO2020121479A1 (ja) * 2018-12-13 2021-03-11 三菱電機株式会社 アニメーション表示装置およびアニメーション表示方法
CN111126147A (zh) * 2019-11-22 2020-05-08 北京迈格威科技有限公司 图像处理方法、装置和电子系统
CN111126147B (zh) * 2019-11-22 2023-10-24 天津极豪科技有限公司 图像处理方法、装置和电子系统
JP2021114737A (ja) * 2020-01-21 2021-08-05 三菱電機株式会社 監視制御装置、集中監視システム、及び、監視制御プログラム
JP7349919B2 (ja) 2020-01-21 2023-09-25 三菱電機株式会社 集中監視システム
KR102162337B1 (ko) * 2020-03-01 2020-10-06 장영민 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법
WO2023171068A1 (ja) * 2022-03-07 2023-09-14 株式会社日立国際電気 監視システム

Also Published As

Publication number Publication date
JP6908617B2 (ja) 2021-07-28
JPWO2018084191A1 (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
WO2018084191A1 (ja) 混雑状況分析システム
US11398018B2 (en) Video shadow and motion removal system
JP5870996B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6276519B2 (ja) 人数計測装置および人物動線解析装置
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
Celik et al. Fire detection using statistical color model in video sequences
KR101350922B1 (ko) 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR101339026B1 (ko) 열화상 카메라 가시성 개선 방법 및 장치
EP2362351A1 (en) Image processing apparatus, image processing method, and air conditioning control apparatus
Zin et al. Fusion of infrared and visible images for robust person detection
JP6436077B2 (ja) 画像処理システム、画像処理方法及びプログラム
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
US20100296703A1 (en) Method and device for detecting and classifying moving targets
KR20190078579A (ko) 정보 처리 장치, 정보 처리 방법, 및 기록 매체
CN103310180B (zh) 检测在目标图像中的随机对象的系统和方法
JP5679760B2 (ja) 侵入物体検出装置
Afsar et al. Automatic human trajectory destination prediction from video
CN111063145A (zh) 电子围栏智能处理器
JP2003256844A (ja) パターン推定方法、パターン推定装置、パターン推定方法のプログラムおよびこのプログラムを記録した記録媒体
KR101760325B1 (ko) 방향성 정보를 이용한 화재 검출방법
JPWO2015136828A1 (ja) 人物検出装置および人物検出方法
Fujiyoshi et al. Road observation and information providing system for supporting mobility of pedestrian
US20210150195A1 (en) Clothing information acquisition system and clothing information acquisition method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17867310

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018549046

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17867310

Country of ref document: EP

Kind code of ref document: A1