WO2022097277A1 - サーバ装置、サーバ装置の制御方法及び記憶媒体 - Google Patents

サーバ装置、サーバ装置の制御方法及び記憶媒体 Download PDF

Info

Publication number
WO2022097277A1
WO2022097277A1 PCT/JP2020/041551 JP2020041551W WO2022097277A1 WO 2022097277 A1 WO2022097277 A1 WO 2022097277A1 JP 2020041551 W JP2020041551 W JP 2020041551W WO 2022097277 A1 WO2022097277 A1 WO 2022097277A1
Authority
WO
WIPO (PCT)
Prior art keywords
congestion
facility
degree
server device
monitoring facility
Prior art date
Application number
PCT/JP2020/041551
Other languages
English (en)
French (fr)
Inventor
怜 平田
統 山下
健太 藍野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/033,708 priority Critical patent/US20230394836A1/en
Priority to JP2022560604A priority patent/JPWO2022097277A5/ja
Priority to PCT/JP2020/041551 priority patent/WO2022097277A1/ja
Publication of WO2022097277A1 publication Critical patent/WO2022097277A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a server device, a control method for the server device, and a storage medium.
  • Patent Document 1 describes that the user can immediately grasp the activity status of a person in the area of interest of the user in the facility.
  • Patent Document 2 describes that a system for visualizing the degree of congestion of the entire facility using a surveillance camera is provided. The document describes that the system detects the crowd from the surveillance camera image and derives the size (number of people) of the crowd from the edge amount to estimate the congestion situation within the camera image range.
  • the main object of the present invention is to provide a server device, a control method for the server device, and a storage medium that contribute to relieving congestion at an event venue or the like.
  • the calculation unit that calculates the degree of congestion of the monitoring facility, which is the facility for monitoring the congestion status, and the monitoring facility are congested based on the degree of congestion of the monitoring facility.
  • a server device including an instruction unit that determines whether or not the monitoring facility is congested and, if the monitoring facility is congested, instructs the staff of the venue including the monitoring facility to eliminate the congestion of the congested monitoring facility. Provided.
  • the congestion degree of the monitoring facility which is the facility to be monitored for the congestion status, is calculated, and the monitoring facility is congested based on the congestion degree of the monitoring facility.
  • a method for controlling a server device is provided, which determines whether or not the monitoring facility is congested, and when the monitoring facility is congested, instructs the staff of the venue including the monitoring facility to eliminate the congestion of the congested monitoring facility.
  • the computer mounted on the server device is subjected to a process of calculating the congestion degree of the monitoring facility, which is a facility to be monitored for the congestion status, and based on the congestion degree of the monitoring facility.
  • a computer-readable storage medium is provided that stores a program for executing.
  • a server device a control method for the server device, and a storage medium that contribute to relieving congestion at an event venue or the like are provided.
  • the effect of the present invention is not limited to the above. According to the present invention, other effects may be produced in place of or in combination with the effect.
  • the server device 100 includes a calculation unit 101 and an instruction unit 102 (see FIG. 1).
  • the calculation unit 101 calculates the degree of congestion of the monitoring facility, which is the facility to be monitored for the congestion status.
  • the instruction unit 102 determines whether or not the monitoring facility is congested based on the degree of congestion of the monitoring facility, and if the monitoring facility is congested, the venue including the monitoring facility can eliminate the congestion of the congested monitoring facility. Instruct the staff of.
  • the server device 100 calculates the degree of congestion of the facility to be monitored for the congestion status.
  • the server device 100 instructs the staff to eliminate the congestion of the congested facility based on the calculated congestion degree. As a result, congestion at event venues and the like will be eliminated.
  • FIG. 2 is a diagram showing an example of a schematic configuration of the monitoring system according to the first embodiment.
  • the monitoring system includes a server device 10 and a plurality of camera devices 20-1 to 20-4.
  • the monitoring system is a system for monitoring the congestion status of each facility (for example, a toilet, a shop, a cafeteria, etc.) at a venue such as a soccer stadium, a baseball field, or a concert hall.
  • a facility for example, a toilet, a shop, a cafeteria, etc.
  • a venue such as a soccer stadium, a baseball field, or a concert hall.
  • the monitoring system provides information on the congestion status of each facility to the manager (event manager, etc.).
  • the manager takes measures according to the congestion situation of each facility. For example, the manager instructs the staff working at the event venue to go to a crowded facility and eliminate the congestion at the facility.
  • the white person indicates the visitor of the event venue
  • the person marked with diagonal lines described as staff is the staff (employee) working at the event venue
  • the person marked with diagonal lines described as manager is managed. Indicates a person.
  • the server device 10 is a device that controls the entire monitoring system.
  • the server device 10 may be installed at the event venue or may be installed on the network (on the cloud).
  • Camera devices 20-1 to 20-4 are installed near the facility where you want to know the congestion status. For example, when grasping the congestion status of each of the toilets (north toilet, west toilet), cafeteria, and shop, camera devices 20-1 to 20-4 are installed so as to give a bird's-eye view of the lines of visitors lined up at each facility. Will be done.
  • the facility to be monitored for the congestion status will be referred to as “congestion status monitoring facility” or simply “monitoring facility”.
  • congestion status monitoring facility or simply “monitoring facility”.
  • each of the two toilets, the dining room, and the shop is a congestion status monitoring facility.
  • the aisle of the event venue may be set as a congestion monitoring facility.
  • camera device 20 In the following description, if there is no particular reason for distinguishing the camera devices 20-1 to 20-4, it is simply referred to as "camera device 20". Similarly, other configurations are represented by the reference numerals on the left side of the hyphen.
  • FIG. 2 illustrates the connection line between the server device 10 and the camera device 20-1, and omits the illustration of the other connection lines.
  • the configuration of the monitoring system shown in FIG. 2 is an example, and is not intended to limit the configuration.
  • the system may include a plurality of server devices 10.
  • FIG. 2 shows four camera devices 20, it goes without saying that the purpose is not to limit the number of camera devices 20 included in the monitoring system. Further, a plurality of camera devices 20 may be required to cover one monitoring facility.
  • the camera device 20 transmits image data (still images, moving images) acquired periodically or at a predetermined timing and a camera ID which is identification information of the own device to the server device 10.
  • the IP (Internet Protocol) address or MAC (MediaAccessControl) address of the camera device 20 can be used as the camera ID.
  • the server device 10 analyzes the image data obtained from the camera device 20 and calculates the degree of congestion of each monitoring facility. For example, the server device 10 may extract a face image (face region) from the image data and calculate the degree of congestion based on the number of the extracted face images.
  • a face image face region
  • the server device 10 provides the administrator with information using the generated congestion degree. More specifically, the server device 10 displays information indicating the congestion status of each monitoring facility on the administrator terminal 40. In the following description, the information indicating the congestion status of the monitoring facility will be referred to as "congestion status information".
  • the server device 10 displays information that visualizes the degree of congestion as shown in FIG. 3 on the administrator terminal 40.
  • FIG. 3 is map information (so-called heat map) expressing the change in the degree of congestion of the monitoring facility by the change in color.
  • the degree of congestion is expressed in three stages (congestion, normal, and quiet), and the darker the color, the higher the degree of congestion.
  • the server device 10 may display the calculated degree of congestion as it is on the map in place of or in addition to providing information on the congestion status by the heat map (see FIG. 4).
  • the server device 10 may convert the degree of congestion into a message and display it on the map (see FIG. 5). In this way, the server device 10 may display the map information of the event venue on which the congestion degree of the monitoring facility is superimposed and the map information on which the wording obtained from the congestion degree of the monitoring facility is superimposed on the administrator terminal 40. ..
  • the server device 10 is not limited to providing information using map information as shown in FIGS. 3 to 5, but may also provide information on congestion status by text as shown in FIG. That is, the information provision of the congestion status by the server device 10 is not limited to the information that visualizes the degree of congestion.
  • the administrator who comes into contact with the "congestion status information" provided by the server device 10 via the administrator terminal 40 determines whether or not it is necessary to eliminate the congestion of the monitoring facility. When it is determined that the congestion of the monitoring facility needs to be eliminated, the manager instructs the staff waiting at the event venue to eliminate the congestion.
  • the manager gives instructions to the staff to eliminate congestion based on his own experience.
  • the manager may not immediately instruct to clear the congestion of a specific monitoring facility just because it is congested. For example, even if a specific monitoring facility is temporarily congested, the manager does not instruct to relieve the congestion of the facility in a situation where the congestion is expected to be gradually relieved. On the other hand, when it is expected that the congestion will continue, the manager will instruct the staff to eliminate the congestion.
  • the administrator instructs the staff to eliminate the above congestion by means such as calling the terminal 30 owned by the staff or sending an e-mail. For example, when the manager who comes in contact with the display of FIGS. 3 to 6 determines that it is necessary to eliminate the congestion in the west toilet, the staff is instructed to eliminate the congestion in the facility. For example, the manager instructs the staff to guide visitors to the vacant north toilet. Alternatively, when the administrator determines that it is necessary to eliminate the congestion, the image data shown in FIGS. 3 to 6 may be transmitted to the terminal 30 possessed by the staff.
  • FIG. 7 is a diagram showing an example of a processing configuration (processing module) of the server device 10 according to the first embodiment.
  • the server device 10 includes a communication control unit 201, a congestion degree calculation unit 202, an information generation unit 203, an information output unit 204, and a storage unit 205.
  • the communication control unit 201 is a means for controlling communication with other devices. For example, the communication control unit 201 receives image data (packets containing image data) from the camera device 20. The communication control unit 201 transmits data to the administrator terminal 40.
  • the congestion degree calculation unit 202 is a means for calculating the congestion degree of the congestion status monitoring facility.
  • the congestion degree calculation unit 202 calculates the congestion degree of each monitoring facility by analyzing the image data obtained from the camera device 20.
  • the congestion degree calculation unit 202 identifies the monitoring facility based on the camera ID acquired from the camera device 20. At that time, the congestion degree calculation unit 202 identifies the monitoring facility by referring to the table information stored in association with the camera ID and the monitoring facility (see FIG. 8). In FIG. 8, for ease of understanding, a reference numeral assigned to the camera device 20 is used for the camera ID.
  • the congestion degree calculation unit 202 attempts to extract a face image from the image data acquired from the camera device 20.
  • the congestion degree calculation unit 202 may extract a face image (face region) from the image data by using a learning model learned by CNN (Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • the congestion degree calculation unit 202 may extract a face image by using a method such as template matching.
  • the congestion degree calculation unit 202 counts the number of facial images extracted from the image data using the above method.
  • the congestion degree calculation unit 202 acquires a constant (a number at which the congestion degree is determined to be normal) of each monitoring facility based on the camera ID acquired from the camera device 20. For example, the congestion degree calculation unit 202 acquires a constant (capacity) of the monitoring facility with reference to the table information as shown in FIG. The administrator or the like registers the constants of each monitoring facility in the server device 10 in advance.
  • the congestion degree calculation unit 202 may estimate the number of people in the monitoring facility by inputting image data into the learning model.
  • a learning model (estimator) that outputs the number of people in the monitoring facility when image data is input is prepared in advance.
  • the congestion degree calculation unit 202 may calculate the number of people in the monitoring facility by inputting the image data into the learning model.
  • image data showing a plurality of people and information on the number of people corresponding to the image data may be used as teacher data.
  • Any algorithm such as a support vector machine, boosting, or a neural network can be used to generate the learning model. Since known techniques can be used for algorithms such as the support vector machine, the description thereof will be omitted.
  • the congestion degree calculation unit 202 calculates the congestion degree of each monitoring facility on a regular basis or at a predetermined timing each time image data is acquired from the camera device 20.
  • the congestion degree calculation unit 202 stores (manages) the congestion degree calculated for each monitoring facility. For example, the congestion degree calculation unit 202 manages the congestion degree using a table as shown in FIG.
  • the information generation unit 203 is a means for generating congestion status information provided to the administrator.
  • the information generation unit 203 may generate the congestion status information in response to an instruction from the administrator, or may generate congestion status information periodically or at a predetermined timing.
  • the information generation unit 203 generates congestion status information provided to the manager who manages the event venue including the monitoring facility, based on the congestion degree of the monitoring facility calculated by the congestion degree calculation unit 202.
  • the information generation unit 203 generates a heat map (heat map regarding the degree of congestion) as shown in FIG. 3 based on the degree of congestion of each monitoring facility.
  • the information generation unit 203 may determine the shade (color) of each monitoring facility according to the numerical range to which the degree of congestion of each monitoring facility belongs.
  • the information generation unit 203 may generate congestion status information including map information that imitates the layout of the event venue on which the congestion degree of the monitoring facility is superimposed as it is.
  • the information generation unit 203 may classify the degree of congestion of the monitoring facility into classes and generate map information including words that simply express the situation of each class as congestion status information.
  • the degree of congestion is expressed by classifying it into three stages of "congestion", "normal”, and "quiet".
  • the information generation unit 203 may generate information on the monitoring facility whose congestion degree exceeds a predetermined value as congestion status information. That is, the information generation unit 203 may generate congestion status information that warns about the monitoring facility whose congestion degree exceeds a predetermined value. Alternatively, the information generation unit 203 may generate congestion status information including the degree of congestion of each monitoring facility.
  • the information generation unit 203 delivers the generated congestion status information to the information output unit 204.
  • the information output unit 204 is a means for outputting information. More specifically, the information output unit 204 outputs the congestion status information to the administrator terminal 40 used by the administrator. Alternatively, the information output unit 204 may output the congestion status information to the printer and print the information. The information output unit 204 may send the congestion status information to an e-mail address that can be received by a terminal (a terminal such as a smartphone) possessed by the administrator.
  • a terminal a terminal such as a smartphone
  • the storage unit 205 is a means for storing information necessary for the operation of the server device 10.
  • the terminal 30 is a mobile phone, a smartphone, or the like.
  • the administrator terminal 40 is a personal computer or the like.
  • FIG. 11 is a sequence diagram showing an example of the operation of the monitoring system according to the first embodiment. An operation when providing information to the administrator will be described with reference to FIG.
  • the camera device 20 installed so that the matrix formed in the monitoring facility can be photographed transmits the image data to the server device 10 (step S01).
  • the server device 10 calculates the degree of congestion of the monitoring facility by analyzing the image data (step S02).
  • the server device 10 generates congestion status information based on the degree of congestion of each monitoring facility (step S03).
  • the server device 10 outputs the congestion status information to the administrator terminal 40 (step S04).
  • the administrator terminal 40 displays the received congestion status information (step S05).
  • the server device 10 calculates the degree of congestion of the congestion status monitoring facility.
  • the server device 10 provides information to the manager who manages the event venue based on the calculated congestion degree.
  • the administrator who comes in contact with the congestion status information provided by the server device 10 can take measures such as instructing the staff to eliminate the congestion as necessary.
  • the server device 10 expresses the congestion information (congestion level) of the monitoring facility on the map (drawing) of the event venue as shown in FIG. 3, the administrator can take a bird's-eye view of the congestion level of the entire event venue. Can be monitored.
  • the server device 10 In the first embodiment, the case where the server device 10 generates congestion status information based on the congestion degree of the congestion status monitoring facility and provides the information to the administrator has been described.
  • the manager gives instructions to the staff regarding the elimination of congestion based on the information.
  • the server device 10 directly gives an instruction to the staff to eliminate the congestion. That is, in the second embodiment, the server device 10 transmits information to the terminal 30 owned by the staff without the judgment of the administrator, and the congestion is eliminated.
  • FIG. 12 is a diagram showing an example of a processing configuration (processing module) of the server device 10 according to the second embodiment.
  • the congestion elimination instruction unit 206 is added to the configuration according to the first embodiment.
  • the information generation unit 203 may or may not exist. That is, the server device 10 may instruct the staff to eliminate the congestion while providing information to the administrator as in the first embodiment, or the staff may instruct the staff to eliminate the congestion without providing information to the administrator. You may instruct.
  • the congestion elimination instruction unit 206 is a means for instructing the staff to eliminate congestion in the monitoring facility. When the monitoring facility is congested, the congestion elimination instruction unit 206 instructs the staff at the event venue to eliminate the congestion of the congested monitoring facility.
  • the congestion elimination instruction unit 206 generates a "congestion elimination instruction" based on the degree of congestion of each monitoring facility.
  • the congestion elimination instruction unit 206 passes the generated congestion elimination instruction to the information output unit 204.
  • the information output unit 204 transmits the acquired congestion elimination instruction to the terminal 30 possessed by the staff. When a plurality of staff members are working at the event venue, the information output unit 204 broadcasts a congestion elimination instruction to each terminal 30.
  • the congestion elimination instruction unit 206 executes threshold processing for the congestion degree of the monitoring facility, and generates a congestion elimination instruction according to the result. For example, in the example of FIG. 2, if the degree of congestion in the west toilet is higher than the first threshold value, the congestion elimination instruction unit 206 generates a congestion elimination instruction for the purpose of eliminating congestion in the west toilet. Specifically, the congestion elimination instruction unit 206 generates congestion elimination instructions (instructions, orders) for "congestion elimination target facility: west toilet".
  • the staff who come in contact with the display will go to the west toilet and take measures to eliminate the congestion around the facility.
  • the congestion elimination instruction unit 206 generates a congestion elimination instruction including information on the facility targeted for congestion elimination (for example, the name of the monitoring facility, etc.).
  • the generated congestion elimination instruction is transmitted to the terminal 30 owned by the staff via the information output unit 204.
  • the congestion elimination instruction unit 206 issues a congestion elimination instruction including information on monitoring facilities whose congestion degree is equal to or less than the second threshold value (for example, congestion degree) in addition to the congestion elimination target facility (monitoring facility whose congestion degree exceeds the threshold value). It may be generated. That is, the congestion elimination instruction unit 206 may generate a congestion elimination instruction including information on non-congested facilities in addition to information on congested facilities.
  • the second threshold value for example, congestion degree
  • the congestion degree of the north toilet and the shop is equal to or less than the second threshold value, in addition to the information of the west toilet which is a congestion facility (congestion elimination target facility), the north toilet which is a non-congested facility.
  • Congestion clearing instructions may be generated that include shop information.
  • the staff terminal 30 displays as shown in FIG. The staff who come in contact with the display will take measures such as guiding visitors to the west toilet to the north toilet and the cafeteria.
  • the congestion elimination instruction unit 206 may generate a congestion elimination instruction including information about a facility of the same type as the congestion facility. For example, although not shown in FIG. 2, consider the case where an east toilet and a south toilet are further installed at the event venue. In this case, when the congestion degree of at least one of the four toilets installed at the event venue exceeds the first threshold value, the congestion elimination instruction unit 206 issues a congestion elimination instruction including information on other toilets. Generate.
  • the congestion rate of the west toilet is 150%, which exceeds the first threshold value
  • the congestion rate of the north toilet is 120%
  • the congestion rate of the east toilet is 70%
  • the congestion rate of the south toilet is 60%.
  • the congestion elimination instruction unit 206 generates a congestion elimination instruction including the congestion rate of other toilets together with the congestion elimination instruction of the west toilet.
  • the terminal 30 displays as shown in FIG.
  • the staff who came in contact with the display in FIG. 15 guide the visitors lined up in the west toilet to go to the east toilet and the south toilet.
  • the congestion elimination instruction unit 206 includes congestion elimination instructions for the congestion facility (congestion elimination instruction for the west toilet) and information on facilities of the same type as the congestion facility (congestion rate of other toilets). May be generated.
  • the congestion elimination instruction unit 206 does not have to include information about a facility of the same type as the congestion facility and a congestion rate higher than the third threshold value in the congestion elimination instruction.
  • the congestion elimination instruction unit 206 may generate a congestion elimination instruction including information on a monitoring facility of the same type as the congestion facility and having a congestion degree of the third threshold value or less.
  • the information on the north toilet may not be transmitted to the terminal 30, and the information on the east toilet and the south toilet may be transmitted to the terminal 30. This is because it is rare for staff to guide visitors to a crowded surveillance facility.
  • the congestion elimination instruction unit 206 may generate a congestion elimination instruction including information on facilities of the same type as the facility targeted for congestion elimination in addition to the information on the facility targeted for congestion elimination.
  • the congestion elimination instruction unit 206 generates a congestion elimination instruction including information on a facility of the same type as the facility targeted for congestion elimination and whose congestion degree is equal to or less than a predetermined threshold value (third threshold value). May be good.
  • the congestion elimination instruction unit 206 may generate a congestion elimination instruction including a specific method for congestion elimination. For example, the congestion elimination instruction unit 206 may give an instruction to guide a visitor to a facility of the same type as the congestion facility and having a congestion degree of the third threshold value or less. In the above example, the congestion elimination instruction unit 206 may generate a congestion elimination instruction for guiding visitors to the east toilet or the south toilet, in addition to the congestion elimination instruction for the west toilet.
  • the server device 10 instructs the staff to eliminate the congestion of the congested facility based on the degree of congestion of each monitoring facility. As a result, congestion at the event venue can be eliminated even if the manager is absent.
  • the server device 10 predicts the future congestion degree and generates congestion status information and congestion elimination instruction using the predicted congestion degree will be described.
  • the configuration of the monitoring system according to the third embodiment can be the same as that of the first and second embodiments, the description thereof will be omitted.
  • FIG. 16 is a diagram showing an example of a processing configuration (processing module) of the server device 10 according to the third embodiment. Referring to FIG. 16, the congestion degree prediction unit 207 is added to the configuration according to the second embodiment.
  • the congestion degree prediction unit 207 is a means for predicting the future congestion degree of the monitoring facility. For example, the congestion degree prediction unit 207 predicts the congestion degree using a learning model generated based on the data collected in the past events held at the same event venue.
  • the manager, etc. collects image data showing the procession formed in the monitoring facility and the degree of congestion when the image is acquired.
  • the administrator or the like generates a learning model using the image data and the degree of congestion after a predetermined period of time has passed since the image data was acquired (for example, the degree of congestion 10 minutes after the image data was acquired) as teacher data. ..
  • the manager, etc. generates the learning model for each monitoring facility.
  • the administrator or the like implements the generated learning model on the server device 10.
  • a learning model may be generated according to sports (baseball, soccer), event types, sports teams, singers (artists), and the like. That is, congestion prediction may be performed according to the type of the event or the like.
  • each monitoring facility has a characteristic in eliminating congestion (matrix). For example, it is considered that the time required to eliminate the congestion of the toilet and the congestion of the shop are different. It is rare for a person to stay in the bathroom for a long time, but it is possible that the same person stays in the shop for a long time.
  • the learning model generated in the third embodiment reflects the characteristics of congestion for each monitoring facility.
  • the congestion degree prediction unit 207 acquires the degree of congestion after a predetermined period has elapsed (for example, after 10 minutes) by inputting the image data of the monitoring facility into the learning model corresponding to the monitoring facility.
  • the degree of congestion will be the predicted degree of congestion for the monitoring facility.
  • the congestion degree prediction unit 207 stores the congestion degree predicted for each monitoring facility (see FIG. 17).
  • the information generation unit 203 may generate congestion status information based on the predicted congestion degree. For example, the information generation unit 203 may generate congestion status information using the predicted congestion degree instead of the congestion degree described in the first embodiment. For example, the information generation unit 203 may generate congestion status information corresponding to FIGS. 3 to 6 using the predicted degree of congestion. That is, the information generation unit 203 may provide the manager with information on the future congestion status in each monitoring facility.
  • the information generation unit 203 may generate congestion status information based on the current congestion degree (real-time congestion degree) and the future congestion degree (predicted congestion degree). For example, the information generation unit 203 may generate congestion status information including a heat map based on two congestion degrees.
  • the administrator terminal 40 displays as shown in FIG. The manager who comes in contact with the congestion status information as shown in FIG. 18 can grasp that the congestion of the west toilet is cleared after 10 minutes, but the shop is crowded at the same time zone. Note that FIG. 18 is an example, and the administrator terminal 40 may display a future congestion degree other than after 10 minutes.
  • the congestion elimination instruction unit 206 may generate a congestion elimination instruction based on the future congestion degree instead of the current congestion degree. In this case, since the congestion elimination instruction unit 206 instructs the congestion elimination based on the future congestion degree, it can be expected to give a more accurate instruction. For example, even if there is a congested monitoring facility, if it is expected that the congestion will be eliminated after a predetermined period of time, the congestion elimination instruction unit 206 maintains the current situation. On the other hand, if there is no prospect of congestion elimination even after the lapse of a predetermined period, the congestion elimination instruction unit 206 can take measures such as giving an instruction to eliminate congestion in the congestion facility.
  • the congestion elimination instruction unit 206 can notify the staff to that effect. As a result, staff can also take precautionary measures in case of future congestion.
  • the server device 10 predicts the degree of congestion of each monitoring facility.
  • the server device 10 provides information to the administrator based on the predicted degree of congestion, and instructs the staff to eliminate the congestion. As a result, more useful information can be provided and more accurate congestion elimination instructions can be expected.
  • FIG. 19 is a diagram showing an example of the hardware configuration of the server device 10.
  • the server device 10 can be configured by an information processing device (so-called computer), and includes the configuration illustrated in FIG.
  • the server device 10 includes a processor 311, a memory 312, an input / output interface 313, a communication interface 314, and the like.
  • the components such as the processor 311 are connected by an internal bus or the like and are configured to enable mutual communication.
  • the configuration shown in FIG. 19 does not mean to limit the hardware configuration of the server device 10.
  • the server device 10 may include hardware (not shown) or may not include an input / output interface 313 if necessary.
  • the number of processors 311 and the like included in the server device 10 is not limited to the example shown in FIG. 19, and for example, a plurality of processors 311 may be included in the server device 10.
  • the processor 311 is a programmable device such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and a DSP (Digital Signal Processor). Alternatively, the processor 311 may be a device such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). The processor 311 executes various programs including an operating system (OS).
  • OS operating system
  • the memory 312 is a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), an HDD (HardDiskDrive), an SSD (SolidStateDrive), or the like.
  • the memory 312 stores an OS program, an application program, and various data.
  • the input / output interface 313 is an interface of a display device or an input device (not shown).
  • the display device is, for example, a liquid crystal display or the like.
  • the input device is, for example, a device that accepts user operations such as a keyboard and a mouse.
  • the communication interface 314 is a circuit, module, etc. that communicates with other devices.
  • the communication interface 314 includes a NIC (Network Interface Card) and the like.
  • the function of the server device 10 is realized by various processing modules.
  • the processing module is realized, for example, by the processor 311 executing a program stored in the memory 312.
  • the program can also be recorded on a computer-readable storage medium.
  • the storage medium may be a non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, or an optical recording medium. That is, the present invention can also be embodied as a computer program product. Further, the above program can be downloaded via a network or updated by using a storage medium in which the program is stored. Further, the processing module may be realized by a semiconductor chip.
  • the administrator terminal 40 and the like can also be configured by an information processing device like the server device 10, and the basic hardware configuration thereof is not different from that of the server device 10, so the description thereof will be omitted.
  • the server device 10 is equipped with a computer, and the function of the server device 10 can be realized by causing the computer to execute a program. Further, the server device 10 executes the control method of the server device by the program.
  • the server device 10 stores various table information and the like has been described.
  • the table information may be built on a database server different from the server device 10.
  • the monitoring system may include various means (congestion degree calculation unit 202, information generation unit 203, etc.) described in the above embodiment.
  • the instruction to eliminate congestion may be given by other methods.
  • an instruction to eliminate congestion may be given using a signage, a speaker, or the like installed in the waiting room where the staff is waiting.
  • the constant may be configured to be changeable by an administrator or the like.
  • the server device 10 may be provided with an interface that can change the constant between infestation and non-infestation.
  • the congestion status information and the like may be presented to the visitors at the event venue.
  • signs as shown in FIGS. 3 to 5 may be displayed on signage, LCD monitors, etc. installed at various places in the event venue.
  • the congestion status information may be transmitted to a smartphone or the like possessed by the visitor.
  • the signage or the like may make a proposal according to the status of the event (for example, the status of a game such as baseball or soccer).
  • signage and the like display information such as "it is recommended to use the toilet for the next inning" and "it is recommended to use the toilet after the second half of the game begins”.
  • the congestion status information generated by the server device 10 may be notified to the staff at the event venue.
  • the staff who come in contact with the information may voluntarily take measures to eliminate congestion.
  • the server device 10 may acquire the above constant by analyzing the image data.
  • a foot-shaped sticker (so-called sticker for ensuring social distance) may be affixed to the floor near the monitoring facility.
  • the server device 10 (congestion degree calculation unit 202) may count the number of foot-shaped stickers appearing in the image data, and use the number of the stickers as a "constant (capacity)" used for the congestion degree calculation.
  • the threshold value used for the threshold value processing may be changed according to the monitoring facility (camera device 20), or may be changed according to the time zone and the like. That is, the criteria for determining "congestion" may be changed depending on the place and time zone.
  • the degree of congestion is calculated using the image data obtained from the camera device 20 .
  • the calculation of the degree of congestion is not limited to the method using image data.
  • the degree of congestion may be calculated based on a detection signal from a motion sensor installed in the vicinity of a monitoring facility.
  • the camera device 20 may calculate the degree of congestion instead of the server device 10 calculating the degree of congestion.
  • the camera device 20 may calculate the degree of congestion of the monitoring facility to which the own device is assigned and report the calculated degree of congestion to the server device 10.
  • the camera device 20 may have the function of the congestion degree calculation unit 202 of the server device 10.
  • the learning model used for the prediction may be generated for each time zone. Specifically, when the congestion situation is different between the event held in the daytime and the event held in the nighttime, the learning model applied to the daytime time zone and the learning model applied to the nighttime time zone are the servers respectively. It may be mounted on the device 10.
  • the image data and the degree of congestion after a predetermined period of time has elapsed from the acquisition of the image data are treated as teacher data, but even if a plurality of congestion degrees having different elapsed times are used as teacher data. good.
  • the degree of congestion after 5 minutes, the degree of congestion after 10 minutes, and the degree of congestion after 30 minutes may be prepared as teacher data, and a learning model corresponding to each elapsed time may be generated.
  • the server device 10 may generate congestion status information or the like by using learning models having different elapsed times from the learning models related to the same monitoring facility.
  • the server device 10 may generate congestion status information and congestion elimination instructions by appropriately using the congestion degree after 5 minutes, the congestion degree after 10 minutes, and the congestion degree after 30 minutes.
  • the server device 10 may generate congestion status information or the like by combining a plurality of congestion degrees having different predicted time zones.
  • a learning model is used using image data related to multiple monitoring facilities and the degree of congestion at a specific monitoring facility after a predetermined period as teacher data. May be generated. For example, if there is a relationship that the cafeteria or shop is not crowded while the toilet is crowded, the image data of the toilet, cafeteria, or shop at the same time and the facility for which you want to calculate the degree of congestion (for example). , Toilet) and the degree of congestion after a predetermined period are prepared as teacher data to generate a learning model. By calculating the degree of congestion using the learning model, the degree of congestion that reflects the correlation between facilities can be obtained.
  • the server device 10 may include a person identification unit 208 that identifies a specific person predetermined from the image data (see FIG. 20).
  • the server device 10 stores biometric information of a person (so-called VIP (Very Important Person)) important for an event company (event venue) or the like. For example, the server device 10 registers the face image of the important person and the feature amount generated from the face image in the database.
  • the person identification unit 208 executes a collation process using the face image (biological information) extracted from the image data acquired from the camera device 20 and the biometric information registered in the database. When the collation process is successful (when important persons registered in advance are lined up in a line), the person identification unit 208 notifies the administrator terminal 40 and the terminal 30 possessed by the staff to that effect.
  • the manager for example, instructs the staff to go to the important person and use the staff toilet. Alternatively, the staff will go to the above important person and take appropriate measures.
  • each embodiment may be used alone or in combination. For example, it is possible to replace a part of the configuration of the embodiment with the configuration of another embodiment, or to add the configuration of another embodiment to the configuration of the embodiment. Further, it is possible to add, delete, or replace a part of the configuration of the embodiment with another configuration.
  • the present invention is suitably applicable to a monitoring system or the like executed at an event venue or the like.
  • [Appendix 1] The calculation unit that calculates the degree of congestion of the monitoring facility, which is the facility to be monitored for the congestion status, Whether or not the monitoring facility is congested is determined based on the degree of congestion of the monitoring facility, and if the monitoring facility is congested, the congestion of the congested monitoring facility can be resolved at the venue including the monitoring facility. Instructions and instructions to the staff of A server device.
  • [Appendix 2] A generation unit that generates congestion status information provided to the manager who manages the venue based on the calculated congestion degree of the monitoring facility. An output unit that outputs the generated congestion status information, The server device according to Appendix 1, further comprising.
  • [Appendix 3] The server device according to Appendix 2, wherein the output unit outputs the generated congestion status information to an administrator terminal used by the administrator.
  • [Appendix 4] The server device according to Appendix 2 or 3, wherein the calculation unit calculates the degree of congestion by analyzing image data obtained from a camera device installed so as to capture a matrix formed in the monitoring facility.
  • [Appendix 5] The server device according to any one of Supplementary note 2 to 4, wherein the generation unit generates the congestion status information including a heat map expressing a change in the degree of congestion of the monitoring facility by a change in color.
  • the generation unit generates the congestion status information including the map information of the venue on which the congestion degree of the monitoring facility is superimposed or the map information of the venue on which the wording obtained from the congestion degree of the monitoring facility is superimposed.
  • the server device according to any one of Supplementary note 2 to 5.
  • the instruction unit generates a congestion elimination instruction including information on the facility subject to the congestion elimination.
  • [Appendix 12] The server device according to Appendix 11, wherein the generation unit generates the congestion status information based on the predicted congestion degree.
  • [Appendix 13] The server device according to Appendix 11 or 12, wherein the instruction unit generates the congestion elimination instruction based on the predicted congestion degree.
  • [Appendix 14] In the server device Calculate the degree of congestion of the monitoring facility, which is the facility to be monitored for the congestion status, Whether or not the monitoring facility is congested is determined based on the degree of congestion of the monitoring facility. A method for controlling a server device, in which when the monitoring facility is congested, the staff at the venue including the monitoring facility is instructed to eliminate the congestion of the congested monitoring facility.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

イベント会場等の混雑解消に寄与するサーバ装置(100)を提供する。サーバ装置(100)は、算出部(101)と、指示部(102)と、を備える。算出部(101)は、混雑状況の監視対象となる施設である監視施設の混雑度を算出する。指示部(102)は、監視施設の混雑度に基づいて監視施設が混雑しているか否か判定し、監視施設が混雑している場合、混雑している監視施設の混雑解消を、監視施設を含む会場のスタッフに指示する。

Description

サーバ装置、サーバ装置の制御方法及び記憶媒体
 本発明は、サーバ装置、サーバ装置の制御方法及び記憶媒体に関する。
 監視カメラ等から得られる画像データを用いてイベント会場等の混雑状況を把握する技術が存在する。
 例えば、特許文献1には、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができるようにする、と記載されている。
 特許文献2には、監視カメラを用いて施設全体の混雑度を可視化するシステムを提供する、と記載されている。当該文献には、システムは、監視カメラ映像から群衆を検知し、そのエッジ量から群衆の大きさ(人数)を導くことで、カメラ映像範囲内の混雑状況を推定する、と記載されている。
特開2017-188023号公報 国際公開第2017/122258号
 野球場、サッカースタジアム等のイベント会場では、トイレや売店等の施設が混雑することがある。上記イベント会場は広く、イベント会社等は、局所的に混雑が発生しても当該混雑の発生を把握することは難しい。トイレ等の混雑が長期間続くと、イベント来場者の満足度が低下する。そのため、イベント会場等の混雑は速やかに解消されることが望ましい。上記問題は、特許文献1、2に開示された技術を適用しても解決することはできない。どちらの文献も混雑状況の可視化が目的となっているためである。
 本発明は、イベント会場等の混雑解消に寄与する、サーバ装置、サーバ装置の制御方法及び記憶媒体を提供することを主たる目的とする。
 本発明の第1の視点によれば、混雑状況の監視対象となる施設である監視施設の混雑度を算出する、算出部と、前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定し、前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する、指示部と、を備える、サーバ装置が提供される。
 本発明の第2の視点によれば、サーバ装置において、混雑状況の監視対象となる施設である監視施設の混雑度を算出し、前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定し、前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する、サーバ装置の制御方法が提供される。
 本発明の第3の視点によれば、サーバ装置に搭載されたコンピュータに、混雑状況の監視対象となる施設である監視施設の混雑度を算出する処理と、前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定する処理と、前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する処理と、を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体が提供される。
 本発明の各視点によれば、イベント会場等の混雑解消に寄与する、サーバ装置、サーバ装置の制御方法及び記憶媒体が提供される。なお、本発明の効果は上記に限定されない。本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る監視システムの概略構成の一例を示す図である。 第1の実施形態に係る監視システムの動作を説明するための図である。 第1の実施形態に係る監視システムの動作を説明するための図である。 第1の実施形態に係る監視システムの動作を説明するための図である。 第1の実施形態に係る監視システムの動作を説明するための図である。 第1の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第1の実施形態に係る混雑度算出部の動作を説明するための図である。 第1の実施形態に係る混雑度算出部の動作を説明するための図である。 第1の実施形態に係る混雑度算出部の動作を説明するための図である。 第1の実施形態に係る監視システムの動作の一例を示すシーケンス図である。 第2の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第2の実施形態に係る混雑解消指示部の動作を説明するための図である。 第2の実施形態に係る混雑解消指示部の動作を説明するための図である。 第2の実施形態に係る混雑解消指示部の動作を説明するための図である。 第3の実施形態に係るサーバ装置の処理構成の一例を示す図である。 第3の実施形態に係る混雑度予測部の動作を説明するための図である。 第3の実施形態に係る情報生成部の動作を説明するための図である。 本願開示に係るサーバ装置のハードウェア構成の一例を示す図である。 本願開示の変形例に係るサーバ装置の処理構成の一例を示す図である。
 はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、特段の釈明がない場合には、各図面に記載されたブロックはハードウェア単位の構成ではなく、機能単位の構成を表す。各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
 一実施形態に係るサーバ装置100は、算出部101と、指示部102と、を備える(図1参照)。算出部101は、混雑状況の監視対象となる施設である監視施設の混雑度を算出する。指示部102は、監視施設の混雑度に基づいて監視施設が混雑しているか否か判定し、監視施設が混雑している場合、混雑している監視施設の混雑解消を、監視施設を含む会場のスタッフに指示する。
 サーバ装置100は、混雑状況の監視対象である施設の混雑度を算出する。サーバ装置100は、当該算出された混雑度に基づいて、混雑している施設の混雑解消をスタッフに指示する。その結果、イベント会場等の混雑は解消する。
 以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
 第1の実施形態について、図面を用いてより詳細に説明する。
[システム構成]
 図2は、第1の実施形態に係る監視システムの概略構成の一例を示す図である。図2を参照すると、監視システムには、サーバ装置10と、複数のカメラ装置20-1~20-4と、が含まれる。
 第1の実施形態に係る監視システムは、サッカースタジアム、野球場、コンサートホール等の会場における各施設(例えば、トイレ、売店、食堂等)の混雑状況を監視するシステムである。
 監視システムは、管理者(イベントの責任者等)に各施設の混雑状況に関する情報提供を行う。管理者は、各施設の混雑状況に応じた処置を行う。例えば、管理者は、イベント会場で働くスタッフに対して、混雑している施設に出向き当該施設の混雑を解消するように指示する。
 図2において、白色の人物はイベント会場の来場者を示し、スタッフと記載している斜線標記の人物はイベント会場で働くスタッフ(従業員)、管理者と記載している斜線標記の人物は管理者を示す。
 サーバ装置10は、監視システムの全体を制御する装置である。サーバ装置10は、イベント会場に設置されていてもよいし、ネットワーク上(クラウド上)に設置されていてもよい。
 カメラ装置20-1~20-4は、混雑状況を把握したい施設の近傍に設置される。例えば、トイレ(北トイレ、西トイレ)、食堂、売店のそれぞれに関して混雑状況を把握する場合には、各施設に並ぶ来場者による行列を俯瞰するようにカメラ装置20-1~20-4が設置される。
 以降の説明において、混雑状況の監視対象となる施設を「混雑状況監視施設」又は単に「監視施設」と表記する。図2の例では、2つのトイレ、食堂、売店のそれぞれが混雑状況監視施設である。ただし、混雑状況監視施設をこれらの施設(場所)に限定する趣旨ではないことは勿論である。イベント会場の通路が混雑状況監視施設に設定されてもよい。
 また、以降の説明において、カメラ装置20-1~20-4を区別する特段の理由がない場合には単に「カメラ装置20」と表記する。他の構成についても同様に、ハイフンの左側の符号により当該構成を代表して表記する。
 図2に示す各装置は相互に接続されている。例えば、サーバ装置10とカメラ装置20は、有線又は無線の通信手段により接続され、相互に通信が可能となるように構成されている。スタッフが所持する端末30とサーバ装置10も無線の通信手段等により接続されている。なお、図2では、サーバ装置10とカメラ装置20-1の間の接続線を図示し、他の接続線に関する図示を省略している。
 図2に示す監視システムの構成は例示であって、その構成を限定する趣旨ではない。例えば、システムには複数のサーバ装置10が含まれていてもよい。また、図2には、4台のカメラ装置20を図示しているが、監視システムに含まれるカメラ装置20の台数を限定する趣旨ではないことは勿論である。また、1か所の監視施設をカバーするのに複数台のカメラ装置20が必要となる場合もある。
[動作概略]
 続いて、図面を参照しつつ、第1の実施形態に係る監視システムの動作の概略を説明する。
 カメラ装置20は、定期的又は所定のタイミングで取得した画像データ(静止画、動画)と自装置の識別情報であるカメラIDをサーバ装置10に送信する。カメラIDには、カメラ装置20のIP(Internet Protocol)アドレスやMAC(Media Access Control)アドレスを用いることができる。
 サーバ装置10は、カメラ装置20から得られる画像データを解析し、各監視施設の混雑度を算出する。例えば、サーバ装置10は、画像データから顔画像(顔領域)を抽出し、抽出された顔画像の数に基づいて混雑度を算出してもよい。
 サーバ装置10は、生成した混雑度を用いた情報提供を管理者に行う。より具体的には、サーバ装置10は、各監視施設の混雑状況を示す情報を管理者端末40に表示する。なお、以降の説明において、監視施設の混雑状況を示す情報を「混雑状況情報」と表記する。
 例えば、サーバ装置10は、管理者端末40において、図3に示すような混雑度を可視化した情報の表示を行う。図3は、監視施設の混雑度の変化を色彩の変化で表現した地図情報(所謂、ヒートマップ)である。図3では、混雑度は3段階(混雑、普通、閑散)で表現され、色が濃いほど混雑度が高いことを示す。
 あるいは、サーバ装置10は、ヒートマップによる混雑状況の情報提供に替えて又は加えて、算出した混雑度をそのままマップ上に表示してもよい(図4参照)。あるいは、サーバ装置10は、混雑度をメッセージに変換してマップ上に表示したりしてもよい(図5参照)。このように、サーバ装置10は、監視施設の混雑度が重畳されたイベント会場の地図情報や監視施設の混雑度から得られる文言が重畳された地図情報を管理者端末40に表示してもよい。
 サーバ装置10は、図3~図5に示すような地図情報を用いた情報提供に限らず、図6に示すようなテキストによる混雑状況情報の提供であってもよい。即ち、サーバ装置10による混雑状況の情報提供は混雑度を可視化した情報に限定されない。
 管理者端末40を介してサーバ装置10が提供する「混雑状況情報」に接した管理者は、監視施設の混雑を解消する必要があるか否か判断する。監視施設の混雑を解消する必要があると判断した場合、管理者は、インベント会場に待機しているスタッフに対して、混雑の解消を指示する。
 なお、管理者は、自身の経験等に基づいて混雑解消の指示をスタッフに行う。管理者は、特定の監視施設が混雑しているからといって即座に当該施設の混雑解消を指示しないこともある。例えば、特定の監視施設が一時的に混雑している状況であっても徐々に混雑の解消が予想される状況では、管理者は当該施設の混雑解消を指示しない。対して、混雑が継続して続く状況が予想される場合に、管理者は、当該混雑の解消をスタッフに指示する。
 管理者は、スタッフが所持する端末30に電話をかける、メールを送信する等の手段によって上記混雑の解消をスタッフに指示する。例えば、図3~図6の表示に接した管理者が西トイレの混雑解消が必要と判断した場合、当該施設の混雑解消をスタッフに指示する。例えば、管理者は、空いている北トイレに来場者を誘導するようにスタッフに指示する。あるいは、管理者は、混雑解消が必要と判断した場合は、図3~図6に示す画像データをスタッフが所持する端末30に送信してもよい。
 続いて、第1の実施形態に係る監視システムに含まれる各装置の詳細について説明する。
[サーバ装置]
 図7は、第1の実施形態に係るサーバ装置10の処理構成(処理モジュール)の一例を示す図である。図7を参照すると、サーバ装置10は、通信制御部201と、混雑度算出部202と、情報生成部203と、情報出力部204と、記憶部205と、を備える。
 通信制御部201は、他の装置との間の通信を制御する手段である。例えば、通信制御部201は、カメラ装置20から画像データ(画像データを含むパケット)を受信する。通信制御部201は、管理者端末40に対してデータを送信する。
 混雑度算出部202は、混雑状況監視施設の混雑度を算出する手段である。混雑度算出部202は、カメラ装置20から得られる画像データを解析することで、各監視施設の混雑度を算出する。
 具体的には、混雑度算出部202は、カメラ装置20から取得したカメラIDに基づき監視施設を特定する。その際、混雑度算出部202は、カメラIDと監視施設を対応付けて記憶するテーブル情報を参照して監視施設を特定する(図8参照)。なお、図8において、理解の容易のため、カメラIDにはカメラ装置20に割り当てられた符号を用いている。
 混雑度算出部202は、カメラ装置20から取得した画像データから顔画像の抽出を試みる。
 なお、混雑度算出部202による顔画像の検出処理や顔画像の抽出処理には既存の技術を用いることができるので詳細な説明を省略する。例えば、混雑度算出部202は、CNN(Convolutional Neural Network)により学習された学習モデルを用いて、画像データの中から顔画像(顔領域)を抽出してもよい。あるいは、混雑度算出部202は、テンプレートマッチング等の手法を用いて顔画像を抽出してもよい。
 混雑度算出部202は、上記手法を使って画像データから抽出できた顔画像の数をカウントする。
 混雑度算出部202は、カメラ装置20から取得したカメラIDに基づき各監視施設の定数(混雑度が普通と判定される数)を取得する。例えば、混雑度算出部202は、図9に示すようなテーブル情報を参照して、監視施設の定数(定員)を取得する。なお、管理者等は、各監視施設の定数を予めサーバ装置10に登録する。
 混雑度算出部202は、画像データから抽出された顔画像数を監視施設の定数で除算することで混雑度を計算する。例えば、売店の定数が「10」であり、売店の内部を写すカメラ装置20-4が撮影した画像データから7人分の顔画像が抽出できた場合、売店の混雑度は「7÷10×100=70%」と計算される。
 あるいは、混雑度算出部202は、学習モデルに画像データを入力することで監視施設内の人数を推定してもよい。例えば、画像データが入力されると監視施設内の人数を出力する学習モデル(推定器)を予め用意しておく。混雑度算出部202は、画像データを当該学習モデルに入力することで、監視施設内の人数を算出してもよい。上記学習モデルの学習には、複数の人物が写る画像データと当該画像データに対応する人数の情報を教師データとして用いればよい。上記学習モデルの生成には、サポートベクタマシン、ブースティングやニューラルネットワーク等の任意のアルゴリズムを用いることができる。なお、上記サポートベクタマシン等のアルゴリズムは公知の技術を使用することができるので、その説明を省略する。
 混雑度算出部202は、カメラ装置20から画像データを取得するたび、定期的又は所定のタイミングで各監視施設の混雑度を計算する。混雑度算出部202は、監視施設ごとに計算した混雑度を記憶(管理)する。例えば、混雑度算出部202は、図10に示すようなテーブルを用いて混雑度を管理する。
 情報生成部203は、管理者に提供する混雑状況情報を生成する手段である。情報生成部203は、管理者からの指示に応じて当該混雑状況情報を生成してもよいし、定期的又は所定のタイミングで混雑状況情報を生成してもよい。
 情報生成部203は、混雑度算出部202により算出された監視施設の混雑度に基づいて、監視施設を含むイベント会場を管理する管理者に対して提供される混雑状況情報を生成する。
 例えば、情報生成部203は、各監視施設の混雑度に基づいて図3に示すようなヒートマップ(混雑度に関するヒートマップ)を生成する。情報生成部203は、各監視施設の混雑度が属する数値範囲に応じて各監視施設の濃淡(色彩)を決定すればよい。
 あるいは、情報生成部203は、図4に示すように、監視施設の混雑度がそのまま重畳されたイベント会場のレイアウトを模した地図情報を含む混雑状況情報を生成してもよい。
 あるいは、情報生成部203は、図5に示すように、監視施設の混雑度をクラス分けし、各クラスの状況を端的に表現する文言を含む地図情報を混雑状況情報として生成してもよい。図5の例では、混雑度は「混雑」、「普通」、「閑散」の3段階にクラス分けされて表現されている。
 あるいは、情報生成部203は、図6に示すように、混雑度が所定値を超えている監視施設に関する情報を混雑状況情報として生成してもよい。即ち、情報生成部203は、混雑度が所定値を超えた監視施設に関する警告となるような混雑状況情報を生成してもよい。あるいは、情報生成部203は、各監視施設の混雑度を含む混雑状況情報を生成してもよい。
 情報生成部203は、生成した混雑状況情報を情報出力部204に引き渡す。
 情報出力部204は、情報を出力する手段である。より具体的には、情報出力部204は、混雑状況情報を管理者が使用する管理者端末40に出力する。あるいは、情報出力部204は、混雑状況情報をプリンターに出力し、当該情報を印刷してもよい。情報出力部204は、混雑状況情報を、管理者が所持する端末(スマートフォン等の端末)が受信可能なメールアドレスに送信してもよい。
 記憶部205は、サーバ装置10の動作に必要な情報を記憶する手段である。
[その他の装置]
 カメラ装置20、端末30及び管理者端末40に関する処理構成等の詳細な説明を省略する。これらの装置として既存の装置を用いることができ、且つ、当業者にとって明らかなためである。例えば、端末30は、携帯電話やスマートフォン等である。また、管理者端末40は、パーソナルコンピュータ等である。
[監視システムの動作]
 次に、第1の実施形態に係る監視システムの動作について説明する。
 図11は、第1の実施形態に係る監視システムの動作の一例を示すシーケンス図である。図11を参照して、管理者に情報提供する際の動作について説明する。
 監視施設に形成される行列を撮影可能に設置されたカメラ装置20は、画像データをサーバ装置10に送信する(ステップS01)。
 サーバ装置10は、画像データを解析することで監視施設の混雑度を計算する(ステップS02)。
 サーバ装置10は、各監視施設の混雑度に基づいて混雑状況情報を生成する(ステップS03)。
 サーバ装置10は、混雑状況情報を管理者端末40に向けて出力する(ステップS04)。
 管理者端末40は、受信した混雑状況情報を表示する(ステップS05)。
 以上のように、第1の実施形態に係る監視システムでは、サーバ装置10が混雑状況監視施設の混雑度を算出する。サーバ装置10は、当該算出された混雑度に基づいてイベント会場を管理する管理者に対して情報提供を行う。サーバ装置10から提供された混雑状況情報に接した管理者は、必要に応じて混雑の解消をスタッフに指示する等の対処が行える。とりわけ、サーバ装置10は、図3に示すような、イベント会場の地図(図面)に監視施設の混雑情報(混雑度レベル)を表現するので、管理者は、俯瞰的にイベント会場全体の混雑度をモニタリングすることができる。
[第2の実施形態]
 続いて、第2の実施形態について図面を参照して詳細に説明する。
 第1の実施形態では、サーバ装置10は、混雑状況監視施設の混雑度に基づいて混雑状況情報を生成し、当該情報を管理者に提供する場合について説明した。管理者は、当該情報に基づいてスタッフに混雑解消に関する指示を行う。
 第2の実施形態では、サーバ装置10がスタッフに直接、指示をすることで混雑を解消することを説明する。即ち、第2の実施形態では、サーバ装置10が、管理者の判断なしに、スタッフが所持する端末30に情報を送信し、混雑を解消する。
 第2の実施形態に係る監視システムの構成は第1の実施形態と同一とすることができるので、その説明を省略する。
 以下、第1及び第2の実施形態の相違点について説明する。
 図12は、第2の実施形態に係るサーバ装置10の処理構成(処理モジュール)の一例を示す図である。図12を参照すると、第1の実施形態に係る構成に対して、混雑解消指示部206が追加されている。
 なお、第2の実施形態において、情報生成部203は存在しなくともよいし、存在してもよい。即ち、サーバ装置10は、第1の実施形態と同様に管理者に情報提供をしつつ、混雑の解消をスタッフに指示してもよいし、管理者に情報提供を行わず混雑の解消をスタッフに指示してもよい。
 混雑解消指示部206は、監視施設における混雑解消をスタッフに指示する手段である。混雑解消指示部206は、監視施設が混雑している場合、当該混雑している監視施設の混雑解消を、イベント会場のスタッフに指示する。
 混雑解消指示部206は、各監視施設の混雑度に基づいて「混雑解消指示」を生成する。混雑解消指示部206は、生成した混雑解消指示を情報出力部204に引き渡す。情報出力部204は、取得した混雑解消指示をスタッフが所持する端末30に送信する。複数のスタッフがイベント会場で働いている場合には、情報出力部204は、混雑解消指示を各端末30にブロードキャストする。
 以下、混雑解消指示の生成について説明する。
 例えば、混雑解消指示部206は、監視施設の混雑度に対して閾値処理を実行し、その結果に応じて混雑解消指示を生成する。例えば、図2の例では、西トイレの混雑度が第1の閾値よりも高ければ、混雑解消指示部206は、西トイレの混雑解消を目的とした混雑解消指示を生成する。具体的には、混雑解消指示部206は、「混雑解消対象施設:西トイレ」とする混雑解消指示(指示書、命令書)を生成する。
 当該指示を受信した端末30は、図13に示すような表示を行う。当該表示に接したスタッフは、西トイレに出向き当該施設周辺の混雑を解消するための処置を行う。このように、混雑解消指示部206は、混雑解消の対象となる施設の情報(例えば、監視施設の名称等)を含む混雑解消指示を生成する。当該生成された混雑解消指示は、情報出力部204を介してスタッフが所持する端末30に送信される。
 混雑解消指示部206は、混雑解消対象施設(混雑度が閾値を超えた監視施設)に加え、混雑度が第2の閾値以下の監視施設の情報(例えば、混雑度)を含む混雑解消指示を生成してもよい。つまり、混雑解消指示部206は、混雑施設の情報に加え非混雑施設の情報を含む混雑解消指示を生成してもよい。
 例えば、図2の例では、北トイレ、売店の混雑度が第2の閾値以下であれば、混雑施設(混雑解消対象施設)である西トイレの情報に加え、非混雑施設である北トイレ、売店の情報を含む混雑解消指示が生成されてもよい。この場合、スタッフの端末30は、図14に示すような表示を行う。当該表示に接したスタッフは、西トイレの来場者を北トイレや食堂に案内する等の対応を行う。
 あるいは、混雑解消指示部206は、混雑施設と同種の施設に関する情報を含む混雑解消指示を生成してもよい。例えば、図2には図示していないが、インベント会場には東トイレ、南トイレがさらに設置されている場合を考える。この場合、イベント会場に設置された4つのトイレのうち少なくとも1以上のトイレの混雑度が第1の閾値を超えた場合、混雑解消指示部206は、他のトイレの情報も含む混雑解消指示を生成する。
 例えば、西トイレの混雑率が150%で第1の閾値を超え、北トイレの混雑率が120%、東トイレの混雑率が70%、南トイレの混雑率が60%とする。この場合、混雑解消指示部206は、西トイレの混雑解消指示と共に、他のトイレの混雑率を含む混雑解消指示を生成する。
 この場合、端末30は、図15に示すような表示を行う。図15の表示に接したスタッフは、西トイレに並ぶ来場者に対し東トイレや南トイレに向かうように案内する。このように、混雑解消指示部206は、混雑施設の混雑解消指示(西トイレの混雑解消指示)に加え、当該混雑施設と同種の施設の情報(他のトイレの混雑率)を含む混雑解消指示を生成してもよい。
 あるいは、混雑解消指示部206は、混雑施設と同種の施設であって混雑率が第3の閾値よりも高い施設に関する情報は混雑解消指示に含めなくともよい。換言すれば、混雑解消指示部206は、混雑施設と同種の施設であって混雑度が第3の閾値以下の監視施設の情報を含む混雑解消指示を生成してもよい。上記の例では、北トイレの情報は端末30に送信されず、東トイレ及び南トイレの情報が端末30に送信されてもよい。スタッフが、混雑している監視施設に来場者を案内することは稀だからである。
 このように、混雑解消指示部206は、混雑解消の対象となる施設の情報に加え、当該混雑解消の対象となる施設と同種の施設の情報を含む混雑解消指示を生成してもよい。あるいは、混雑解消指示部206は、混雑解消の対象となる施設と同種の施設であって、混雑度が所定の閾値(第3の閾値)以下の施設の情報を含む混雑解消指示を生成してもよい。
 混雑解消指示部206は、混雑解消の具体的方法を含む混雑解消指示を生成してもよい。例えば、混雑解消指示部206は、混雑施設と同種の施設であって混雑度が第3の閾値以下の施設に来場者を案内するような指示をしてもよい。上記の例では、混雑解消指示部206は、西トイレの混雑解消指示に加え、東トイレや南トイレに来場者を案内するような混雑解消指示を生成してもよい。
 以上のように、第2の実施形態では、サーバ装置10は、各監視施設の混雑度に基づいて、混雑施設の混雑解消をスタッフに指示する。その結果、管理者が不在であってもイベント会場の混雑を解消することができる。
[第3の実施形態]
 続いて、第3の実施形態について図面を参照して詳細に説明する。
 第3の実施形態では、サーバ装置10が将来の混雑度を予測し、当該予測された混雑度を用いて混雑状況情報や混雑解消指示を生成する場合について説明する。
 第3の実施形態に係る監視システムの構成は第1及び第2の実施形態と同一とすることができるので、その説明を省略する。
 以下、第1乃至第3の実施形態の相違点について説明する。
 図16は、第3の実施形態に係るサーバ装置10の処理構成(処理モジュール)の一例を示す図である。図16を参照すると、第2の実施形態に係る構成に対して、混雑度予測部207が追加されている。
 混雑度予測部207は、監視施設に関する将来の混雑度を予測する手段である。例えば混雑度予測部207は、同じイベント会場で開催された過去のイベントで収集されたデータに基づき生成された学習モデルを用いて上記混雑度の予測を行う。
 管理者等は、イベントが開催されるたびに、監視施設に形成される行列を写した画像データと、当該画像が取得された際の混雑度と、を収集する。管理者等は、画像データと、当該画像データの取得時から所定期間経過後の混雑度(例えば、画像データ取得時から10分経過後の混雑度)と、を教師データとして学習モデルを生成する。管理者等は、当該学習モデルを監視施設ごとに生成する。管理者等は、当該生成された学習モデルをサーバ装置10に実装する。なお、スポーツ(野球、サッカー)やイベントの種類、スポーツチーム、歌手(アーティスト)等に応じた学習モデルが生成されてもよい。即ち、上記イベントの種類等に即した混雑予測が行われてもよい。
 ここで、監視施設ごとに混雑(行列)の解消には特徴があると考えられる。例えば、トイレの混雑と売店の混雑では、その解消するのに要する時間等が異なると考えられる。トイレに長時間留まる人は稀であるが、同じ人物が売店に長時間留まることは起こり得るためである。第3の実施形態にて生成される上記学習モデルには、監視施設ごとの混雑に関する特徴が反映される。
 混雑度予測部207は、監視施設の画像データを当該監視施設に対応する学習モデルに入力することで、所定期間経過後(例えば、10分後)の混雑度を取得する。当該混雑度は、監視施設に関する予測された混雑度となる。
 混雑度予測部207は、監視施設ごとに予測された混雑度を記憶する(図17参照)。
 情報生成部203は、当該予測された混雑度に基づいて混雑状況情報を生成してもよい。例えば、情報生成部203は、第1の実施形態で説明した混雑度に替えて、上記予測された混雑度を用いて混雑状況情報を生成してもよい。例えば、情報生成部203は、予測された混雑度を用いて図3乃至図6に対応する混雑状況情報を生成してもよい。即ち、情報生成部203は、各監視施設における将来の混雑状況に関する情報提供を管理者に行ってもよい。
 あるいは、情報生成部203は、現在の混雑度(リアルタイムな混雑度)と将来の混雑度(予測された混雑度)に基づいて混雑状況情報を生成してもよい。例えば、情報生成部203は、2つの混雑度に基づくヒートマップを含む混雑状況情報を生成してもよい。この場合、管理者端末40は、図18に示すような表示を行う。図18に示すような混雑状況情報に接した管理者は、10分後には西トイレの混雑は解消するが、同じ時間帯に売店が混雑することを把握できる。なお、図18は例示であって、管理者端末40は、10分後以外の将来の混雑度を表示してもよい。
 情報生成部203と同様に、混雑解消指示部206は、現在の混雑度に替えて将来の混雑度に基づいて混雑解消指示を生成してもよい。この場合、混雑解消指示部206は、将来の混雑度に基づいて混雑解消を指示するのでより的確な指示を行うことが期待できる。例えば、混雑している監視施設が存在しても所定期間経過後に混雑解消の見込みであれば、混雑解消指示部206は、現在の状況を維持する。対して、所定期間経過後も混雑解消の見込みがなければ、混雑解消指示部206は、当該混雑施設の混雑解消指示をするといった対応ができる。あるいは、現在の監視施設の状況は「混雑」とは言えないが、所定期間経過後に混雑することが予測されるのであれば、混雑解消指示部206は、その旨をスタッフに通知できる。その結果、スタッフは将来の混雑に備えた予防的な措置を講じることもできる。
 以上のように、第3の実施形態に係るサーバ装置10は、各監視施設の混雑度を予測する。サーバ装置10は、予測した混雑度に基づいて管理者に情報提供したり、スタッフに混雑解消の指示をしたりする。その結果、より有益な情報提供やより的確な混雑解消指示が期待できる。
 続いて、監視システムを構成する各装置のハードウェアについて説明する。図19は、サーバ装置10のハードウェア構成の一例を示す図である。
 サーバ装置10は、情報処理装置(所謂、コンピュータ)により構成可能であり、図19に例示する構成を備える。例えば、サーバ装置10は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信が可能となるように構成されている。
 但し、図19に示す構成は、サーバ装置10のハードウェア構成を限定する趣旨ではない。サーバ装置10は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、サーバ装置10に含まれるプロセッサ311等の数も図19の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311がサーバ装置10に含まれていてもよい。
 プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
 メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
 入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
 通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
 サーバ装置10の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
 なお、管理者端末40等もサーバ装置10と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成はサーバ装置10と相違する点はないので説明を省略する。
 サーバ装置10は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることでサーバ装置10の機能が実現できる。また、サーバ装置10は、当該プログラムによりサーバ装置の制御方法を実行する。
[変形例]
 なお、上記実施形態にて説明した監視システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。
 上記実施形態では、サーバ装置10が各種テーブル情報等を記憶する場合について説明した。しかし、当該テーブル情報は、サーバ装置10とは異なるデータベースサーバに構築されていてもよい。また、監視システムには、上記実施形態にて説明した各種手段(混雑度算出部202、情報生成部203等)が含まれていればよい。
 上記実施形態では、端末30を介して混雑解消をスタッフに指示する場合について説明した。しかし、混雑解消の指示は他の方法によって行われてもよい。例えば、スタッフが待機している待機室に設置されたサイネージやスピーカー等を用いて、混雑解消の指示が行われてもよい。
 上記実施形態では、混雑度の計算に用いる「定数」は予め定められた値を用いることを説明した。しかし、当該定数は管理者等が変更可能に構成されていてもよい。例えば、サーバ装置10は、感染症の蔓延期と非蔓延期にて当該定数が変更できるようなインターフェイスを備えていてもよい。
 上記実施形態では、イベント会場の関係者(管理者、スタッフ)に混雑状況情報等が提供される場合について説明した。しかし、混雑状況情報は、イベント会場の来場者に提示されてもよい。例えば、イベント会場の各所に設置されたサイネージ、液晶モニタ等に図3乃至図5に示すような表示が行われてもよい。あるいは、来場者が所持するスマートフォン等に混雑状況情報が送信されてもよい。また、来場者に直接混雑状況情報を提供する場合には、サイネージ等は、イベントの状況(例えば、野球やサッカー等の試合状況)に応じた提案をしてもよい。例えば、サイネージ等は、「次のイニングにトイレを利用するのがお勧め」や「後半戦が始まってからトイレを使用するのがお勧め」といった情報を表示する。
 また、サーバ装置10が生成した混雑状況情報は、イベント会場のスタッフに通知されてもよい。当該情報に接したスタッフが自主的に混雑解消のための処置を講じてもよい。
 あるいは、サーバ装置10は、画像データの解析によって上記定数を取得してもよい。具体的には、監視施設付近の床に足形シール(所謂、ソーシャルディスタンスを確保するためのシール)が貼られることがある。サーバ装置10(混雑度算出部202)は、画像データに写る足形シールの数を計数し、当該シールの数を混雑度計算に用いる「定数(定員)」としてもよい。
 上記実施形態では、閾値処理によって各監視施設が混雑しているか否かを判定する場合について説明した。ここで、上記閾値処理に用いる閾値は、監視施設(カメラ装置20)に応じて変更してもよいし、時間帯等に応じて変更してもよい。即ち、場所や時間帯に応じて、「混雑」と判定される基準が変更されてもよい。
 上記実施形態では、カメラ装置20から得られる画像データを用いて混雑度を算出する場合について説明した。しかし、混雑度の算出は画像データを用いた方法に限定されない。例えば、監視施設の近傍に設置された人感センサからの検出信号に基づいて混雑度が計算されてもよい。
 あるいは、サーバ装置10が混雑度を計算するのではなく、カメラ装置20が混雑度を計算してもよい。カメラ装置20は、自装置が割り当てられた監視施設の混雑度を計算し、当該計算した混雑度をサーバ装置10に報告してもよい。この場合、カメラ装置20は、サーバ装置10の混雑度算出部202の機能を備えていればよい。
 第3の実施形態では、学習モデルを用いて混雑度の予測をする場合について説明した。当該予測に用いられる学習モデルは、時間帯ごとに生成されてもよい。具体的には、昼間に開催されるイベントと夜間に開催されるイベントで混雑の状況が異なる場合には、昼間の時間帯に適用する学習モデルと夜間の時間帯に適用する学習モデルがそれぞれサーバ装置10に実装されていてもよい。
 また、上記学習モデルの生成に関し、画像データと当該画像データの取得から所定期間経過後の混雑度を教師データとして扱うが、当該経過時間を変えた複数の混雑度が教師データとして使用されてもよい。例えば、西トイレにおいて、5分後の混雑度、10分後の混雑度、30分後の混雑度をそれぞれ教師データとして用意し、各経過時間に応じた学習モデルが生成されてもよい。サーバ装置10は、同じ監視施設に関する学習モデルのなかから経過時間が異なる学習モデルを使って混雑状況情報等を生成してもよい。上記の例では、サーバ装置10は、5分後の混雑度、10分後の混雑度、30分後の混雑度を適宜使い分けて、混雑状況情報や混雑解消指示を生成してもよい。あるいは、サーバ装置10は、これらの予測時間帯が異なる複数の混雑度を組み合わせて混雑状況情報等を生成してもよい。
 また、イベント会場の混雑状況に関し、監視施設間の相関関係が認められる場合には、複数の監視施設に関する画像データと、特定の監視施設における所定期間経過後の混雑度を教師データとして学習モデルを生成してもよい。例えば、トイレが混雑している最中は食堂や売店は混雑していない等の関係が認められる場合には、同時刻におけるトイレ、食堂、売店の画像データと、混雑度を算出したい施設(例えば、トイレ)における所定期間経過後の混雑度と、を教師データとして用意し学習モデルを生成する。当該学習モデルを用いて混雑度を算出することで、施設間の相関関係が反映された混雑度が得られる。
 サーバ装置10は、画像データの中から予め定めた特定の人物を特定する人物特定部208を備えていてもよい(図20参照)。サーバ装置10は、イベント会社(イベント会場)等にとって重要な人物(所謂、VIP(Very Important Person))の生体情報を記憶する。例えば、サーバ装置10は、上記重要人物の顔画像や当該顔画像から生成された特徴量をデータベースに登録する。人物特定部208は、カメラ装置20から取得した画像データから抽出した顔画像(生体情報)と上記データベースに登録された生体情報を用いた照合処理を実行する。人物特定部208は、当該照合処理に成功した場合(予め登録された重要人物が行列に並んでいた場合)、その旨を管理者端末40やスタッフが所持する端末30に通知する。管理者は、例えば、スタッフに対して当該重要人物のもとに向かいスタッフ用のトイレを使ってもらうように指示する。あるいは、スタッフが上記重要人物のもとに向かい的確な対処を講じる。
 上記説明で用いた流れ図(フローチャート、シーケンス図)では、複数の工程(処理)が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。
 上記の実施形態は本願開示の理解を容易にするために詳細に説明したものであり、上記説明したすべての構成が必要であることを意図したものではない。また、複数の実施形態について説明した場合には、各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。例えば、実施形態の構成の一部を他の実施形態の構成に置き換えることや、実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、実施形態の構成の一部について他の構成の追加、削除、置換が可能である。
 上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、イベント会場等で実行される監視システムなどに好適に適用可能である。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
 混雑状況の監視対象となる施設である監視施設の混雑度を算出する、算出部と、
 前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定し、前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する、指示部と、
 を備える、サーバ装置。
[付記2]
 前記算出された監視施設の混雑度に基づいて、前記会場を管理する管理者に対して提供される混雑状況情報を生成する、生成部と、
 前記生成された混雑状況情報を出力する、出力部と、
 をさらに備える、付記1に記載のサーバ装置。
[付記3]
 前記出力部は、前記生成された混雑状況情報を前記管理者が使用する管理者端末に出力する、付記2に記載のサーバ装置。
[付記4]
 前記算出部は、前記監視施設に形成される行列を撮影可能に設置されたカメラ装置から得られる画像データを解析することで、前記混雑度を算出する、付記2又は3に記載のサーバ装置。
[付記5]
 前記生成部は、前記監視施設の混雑度の変化を色彩の変化で表現したヒートマップを含む前記混雑状況情報を生成する、付記2乃至4のいずれか一に記載のサーバ装置。
[付記6]
 前記生成部は、前記監視施設の混雑度が重畳された前記会場の地図情報、又は、前記監視施設の混雑度から得られる文言が重畳された前記会場の地図情報を含む前記混雑状況情報を生成する、付記2乃至5のいずれか一に記載のサーバ装置。
[付記7]
 前記指示部は、前記監視施設の混雑度に対して閾値処理を実行し、前記監視施設が混雑しているか否か判定する、付記2乃至6のいずれか一に記載のサーバ装置。
[付記8]
 前記指示部は、前記混雑解消の対象となる施設の情報を含む混雑解消指示を生成し、
 前記出力部は、前記生成された混雑解消指示を前記スタッフが所持する端末に送信する、付記7に記載のサーバ装置。
[付記9]
 前記指示部は、前記混雑解消の対象となる施設の情報に加え、前記混雑解消の対象となる施設と同種の施設の情報を含む前記混雑解消指示を生成する、付記8に記載のサーバ装置。
[付記10]
 前記指示部は、前記混雑解消の対象となる施設と同種の施設であって、前記混雑度が所定の閾値以下の施設の情報を含む前記混雑解消指示を生成する、付記9に記載のサーバ装置。
[付記11]
 前記監視施設に関する将来の混雑度を予測する、予測部をさらに備える、付記8乃至10のいずれか一に記載のサーバ装置。
[付記12]
 前記生成部は、前記予測された混雑度に基づいて前記混雑状況情報を生成する、付記11に記載のサーバ装置。
[付記13]
 前記指示部は、前記予測された混雑度に基づいて前記混雑解消指示を生成する、付記11又は12に記載のサーバ装置。
[付記14]
 サーバ装置において、
 混雑状況の監視対象となる施設である監視施設の混雑度を算出し、
 前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定し、
 前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する、サーバ装置の制御方法。
[付記15]
 サーバ装置に搭載されたコンピュータに、
 混雑状況の監視対象となる施設である監視施設の混雑度を算出する処理と、
 前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定する処理と、
 前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する処理と、
 を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
 なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。即ち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得る各種変形、修正を含むことは勿論である。
10、100 サーバ装置
20、20-1~20-4 カメラ装置
30、30-1、30-2 端末
40 管理者端末
101 算出部
102 指示部
201 通信制御部
202 混雑度算出部
203 情報生成部
204 情報出力部
205 記憶部
206 混雑解消指示部
207 混雑度予測部
208 人物特定部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス

Claims (15)

  1.  混雑状況の監視対象となる施設である監視施設の混雑度を算出する、算出部と、
     前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定し、前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する、指示部と、
     を備える、サーバ装置。
  2.  前記算出された監視施設の混雑度に基づいて、前記会場を管理する管理者に対して提供される混雑状況情報を生成する、生成部と、
     前記生成された混雑状況情報を出力する、出力部と、
     をさらに備える、請求項1に記載のサーバ装置。
  3.  前記出力部は、前記生成された混雑状況情報を前記管理者が使用する管理者端末に出力する、請求項2に記載のサーバ装置。
  4.  前記算出部は、前記監視施設に形成される行列を撮影可能に設置されたカメラ装置から得られる画像データを解析することで、前記混雑度を算出する、請求項2又は3に記載のサーバ装置。
  5.  前記生成部は、前記監視施設の混雑度の変化を色彩の変化で表現したヒートマップを含む前記混雑状況情報を生成する、請求項2乃至4のいずれか一項に記載のサーバ装置。
  6.  前記生成部は、前記監視施設の混雑度が重畳された前記会場の地図情報、又は、前記監視施設の混雑度から得られる文言が重畳された前記会場の地図情報を含む前記混雑状況情報を生成する、請求項2乃至5のいずれか一項に記載のサーバ装置。
  7.  前記指示部は、前記監視施設の混雑度に対して閾値処理を実行し、前記監視施設が混雑しているか否か判定する、請求項2乃至6のいずれか一項に記載のサーバ装置。
  8.  前記指示部は、前記混雑解消の対象となる施設の情報を含む混雑解消指示を生成し、
     前記出力部は、前記生成された混雑解消指示を前記スタッフが所持する端末に送信する、請求項7に記載のサーバ装置。
  9.  前記指示部は、前記混雑解消の対象となる施設の情報に加え、前記混雑解消の対象となる施設と同種の施設の情報を含む前記混雑解消指示を生成する、請求項8に記載のサーバ装置。
  10.  前記指示部は、前記混雑解消の対象となる施設と同種の施設であって、前記混雑度が所定の閾値以下の施設の情報を含む前記混雑解消指示を生成する、請求項9に記載のサーバ装置。
  11.  前記監視施設に関する将来の混雑度を予測する、予測部をさらに備える、請求項8乃至10のいずれか一項に記載のサーバ装置。
  12.  前記生成部は、前記予測された混雑度に基づいて前記混雑状況情報を生成する、請求項11に記載のサーバ装置。
  13.  前記指示部は、前記予測された混雑度に基づいて前記混雑解消指示を生成する、請求項11又は12に記載のサーバ装置。
  14.  サーバ装置において、
     混雑状況の監視対象となる施設である監視施設の混雑度を算出し、
     前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定し、
     前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する、サーバ装置の制御方法。
  15.  サーバ装置に搭載されたコンピュータに、
     混雑状況の監視対象となる施設である監視施設の混雑度を算出する処理と、
     前記監視施設の混雑度に基づいて前記監視施設が混雑しているか否か判定する処理と、
     前記監視施設が混雑している場合、前記混雑している監視施設の混雑解消を、前記監視施設を含む会場のスタッフに指示する処理と、
     を実行させるためのプログラムを記憶する、コンピュータ読取可能な記憶媒体。
PCT/JP2020/041551 2020-11-06 2020-11-06 サーバ装置、サーバ装置の制御方法及び記憶媒体 WO2022097277A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/033,708 US20230394836A1 (en) 2020-11-06 2020-11-06 Server device, method for controlling server device, and storage medium
JP2022560604A JPWO2022097277A5 (ja) 2020-11-06 サーバ装置、サーバ装置の制御方法及びプログラム
PCT/JP2020/041551 WO2022097277A1 (ja) 2020-11-06 2020-11-06 サーバ装置、サーバ装置の制御方法及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041551 WO2022097277A1 (ja) 2020-11-06 2020-11-06 サーバ装置、サーバ装置の制御方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2022097277A1 true WO2022097277A1 (ja) 2022-05-12

Family

ID=81457102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041551 WO2022097277A1 (ja) 2020-11-06 2020-11-06 サーバ装置、サーバ装置の制御方法及び記憶媒体

Country Status (2)

Country Link
US (1) US20230394836A1 (ja)
WO (1) WO2022097277A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3111411U (ja) * 2005-02-14 2005-07-28 三共暖房株式会社 トイレ情報システム
JP2014127962A (ja) * 2012-12-27 2014-07-07 Pioneer Electronic Corp 情報提供装置、端末装置、情報提供方法、情報処理方法並びに情報提供用プログラム及び端末装置用プログラム
WO2017038450A1 (ja) * 2015-09-02 2017-03-09 日本電気株式会社 監視システム、監視ネットワーク構築方法、およびプログラム
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
JP2018042049A (ja) * 2016-09-06 2018-03-15 パナソニックIpマネジメント株式会社 混雑検知装置、混雑検知システムおよび混雑検知方法
JP2019191856A (ja) * 2018-04-24 2019-10-31 綜合警備保障株式会社 警備システム及び警備方法
JP2020181471A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3111411U (ja) * 2005-02-14 2005-07-28 三共暖房株式会社 トイレ情報システム
JP2014127962A (ja) * 2012-12-27 2014-07-07 Pioneer Electronic Corp 情報提供装置、端末装置、情報提供方法、情報処理方法並びに情報提供用プログラム及び端末装置用プログラム
WO2017038450A1 (ja) * 2015-09-02 2017-03-09 日本電気株式会社 監視システム、監視ネットワーク構築方法、およびプログラム
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
JP2018042049A (ja) * 2016-09-06 2018-03-15 パナソニックIpマネジメント株式会社 混雑検知装置、混雑検知システムおよび混雑検知方法
JP2019191856A (ja) * 2018-04-24 2019-10-31 綜合警備保障株式会社 警備システム及び警備方法
JP2020181471A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2022097277A1 (ja) 2022-05-12
US20230394836A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
US20220254161A1 (en) Real-time crowd measurement and management systems and methods thereof
JP6624852B2 (ja) 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム
EP3553739B1 (en) Image recognition system and image recognition method
US10225369B2 (en) Method and apparatus for providing a recommended action for a venue via a network
JP2007243342A (ja) 画像監視装置及び画像監視システム
US20100153597A1 (en) Generating Furtive Glance Cohorts from Video Data
JP6764214B1 (ja) 混雑情報報知システム
JP2010033474A (ja) 属性別人数集計装置、属性別人数集計方法、および属性別人数集計システム
JP6744652B1 (ja) 混雑情報報知システム
CN109905423A (zh) 一种智能管理系统
JP5813829B1 (ja) 防犯システム
CN111814646A (zh) 基于ai视觉的监控方法、装置、设备及介质
CN112070052A (zh) 一种间距监测方法、装置、系统及存储介质
JP2018151840A (ja) 照合システム、照合方法および照合プログラム
JP6399096B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
WO2022097277A1 (ja) サーバ装置、サーバ装置の制御方法及び記憶媒体
JP2022053126A (ja) 混雑状況推定装置、方法およびプログラム
JP2014215747A (ja) 追跡装置、追跡システム、及び、追跡方法
WO2022059223A1 (ja) 映像解析システムおよび映像解析方法
TWI613601B (zh) 智慧型影像辨識動態規劃之系統及方法
JP7084962B2 (ja) 推定プログラム、推定装置、推定方法、生成プログラム、生成装置及び生成方法
JP7433894B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
JP7353964B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
Babu et al. IoT based crowd estimation and stranger recognition in closed public areas
JP2021096695A (ja) 情報処理システム、情報処理システムの制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960829

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022560604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20960829

Country of ref document: EP

Kind code of ref document: A1